特許 6243087 撮像装置及び撮像装置の画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6243087

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】撮像装置及び撮像装置の画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171127BHJP

   G06T 5/00 20060101ALI20171127BHJP

   H04N 9/07 20060101ALI20171127BHJP

   G03B 11/00 20060101ALI20171127BHJP

   G03B 15/00 20060101ALI20171127BHJP

   G03B 17/02 20060101ALI20171127BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/232 450

   G06T5/00 710

   H04N9/07 A

   G03B11/00

   G03B15/00 S

   G03B17/02

【請求項の数】12

【全頁数】34

(21)【出願番号】特願2017-514100(P2017-514100)

(86)(22)【出願日】2016年4月15日

(86)【国際出願番号】JP2016062170

(87)【国際公開番号】WO2016171088

(87)【国際公開日】20161027

【審査請求日】2017年10月12日

(31)【優先権主張番号】特願2015-88229(P2015-88229)

(32)【優先日】2015年4月23日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】椚瀬 高志

(72)【発明者】

【氏名】成瀬 洋介

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１５−５６６７４（ＪＰ，Ａ）

【文献】 特開２００９−１０６７５（ＪＰ，Ａ）

【文献】 特開平１１−２７２８４９（ＪＰ，Ａ）

【文献】 特表２０１４−５０７８５６（ＪＰ，Ａ）

【文献】 特開２００６−３３３１３２（ＪＰ，Ａ）

【文献】 特開２０１３−１７２２１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １１／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／０２

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

固定位置に設置された撮像装置において、
赤外線カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、
前記赤外線カットフィルタが撮像光路に挿入された前記光学系を通して被写体を撮像し、前記被写体の可視光画像であってカラー画像である前記可視光画像を示す第１の画像データを取得する第１の撮像モードと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を通して被写体を撮像し、前記被写体の近赤外光画像であってモノクロ画像である前記近赤外光画像を含む第２の画像データを取得する第２の撮像モードとを有する撮像部と、
前記第１の撮像モードと前記第２の撮像モードとを交互に切り替える撮像モード切替部と、
前記撮像部が前記第２の撮像モードで動作している場合に、前記撮像部が取得した前記第２の画像データ内で、当該第２の画像データの前に前記撮像部が取得した前記第２の画像データと比較して変化がある変化領域を検出する変化領域検出部と、
前記変化領域検出部の検出結果に基づき、前記第２の画像データ内の前記変化領域に対応する変化領域画像データに、前記撮像部により前記第２の撮像モードの直前の前記第１の撮像モードで取得された前記第１の画像データに基づき生成され且つ前記第２の画像データ内の前記変化領域とは異なる背景領域に対応するカラー画像の背景画像データを合成した合成画像データを生成する合成画像データ生成部と、
を備え、
前記合成画像データ生成部は、前記第１の画像データ内の前記背景領域に対応する領域から抽出した色情報と、前記第２の画像データの前記背景領域における輝度情報とに基づき、前記背景画像データを生成する撮像装置。

【請求項2】

前記合成画像データ生成部は、前記第１の画像データ内の前記背景領域に対応する領域に含まれる画像データそのものを用いて前記背景画像データを生成する請求項１に記載の撮像装置。

【請求項3】

前記第１の撮像モードにおいて前記撮像部が異なるタイミングで取得した複数の前記第１の画像データの中の非変化領域を検出する非変化領域検出部を備え、
前記合成画像データ生成部は、前記非変化領域検出部の検出結果に基づき、前記第１の画像データ内の前記非変化領域に対応する画像データから、前記背景画像データを生成する請求項１または２に記載の撮像装置。

【請求項4】

少なくとも前記変化領域画像データに対して、鮮鋭化処理を行う鮮鋭化処理部を備える請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

少なくとも前記変化領域画像データに対して、倍率色収差補正処理を行う倍率色収差補正処理部を備える請求項１から３のいずれか１項に記載の撮像装置。

【請求項6】

少なくとも前記変化領域画像データに対して、近赤外光に対する前記光学系の第１の光学特性に基づく点像復元処理を行う第１の点像復元処理部を備える請求項１から３のいずれか１項に記載の撮像装置。

【請求項7】

前記第１の光学特性は、前記近赤外光に対する前記光学系の第１の点拡がり関数であり、
前記第１の点像復元処理部が前記変化領域画像データに対して行う前記点像復元処理は、当該変化領域画像データの振幅成分と、非点対称な前記第１の点拡がり関数の形状に起因する位相成分とを復元する請求項６に記載の撮像装置。

【請求項8】

前記第１の画像データに対して、可視光に対する前記光学系の第２の光学特性に基づく点像復元処理を行う第２の点像復元処理部を備える請求項６または７に記載の撮像装置。

【請求項9】

前記第２の光学特性は、赤色及び緑色及び青色の前記可視光に対する前記光学系の色毎の第２の点拡がり関数であり、
前記第２の点像復元処理部が前記第１の画像データに対して行う前記点像復元処理は、前記色毎の第２の点拡がり関数に基づく復元フィルタを用いた前記第１の画像データの位相成分の復元処理を含む請求項８に記載の撮像装置。

【請求項10】

赤外線カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、前記赤外線カットフィルタが撮像光路に挿入された前記光学系を通して被写体を撮像し、前記被写体の可視光画像であってカラー画像である前記可視光画像を示す第１の画像データを取得する第１の撮像モードと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を通して被写体を撮像し、前記被写体の近赤外光画像であってモノクロ画像である前記近赤外光画像を含む第２の画像データを取得する第２の撮像モードとを有する撮像部と、前記第１の撮像モードと前記第２の撮像モードとを交互に切り替える撮像モード切替部と、を備えており、固定位置に設置されている撮像装置の画像処理方法において、
前記撮像部が前記第２の撮像モードで動作している場合に、前記撮像部が取得した前記第２の画像データ内で、当該第２の画像データの前に前記撮像部が取得した前記第２の画像データと比較して変化がある変化領域を検出する変化領域検出ステップと、
前記変化領域検出ステップの検出結果に基づき、前記第２の画像データ内の前記変化領域に対応する変化領域画像データに、前記撮像部により前記第２の撮像モードの直前の前記第１の撮像モードで取得された前記第１の画像データに基づき生成され且つ前記第２の画像データ内の前記変化領域とは異なる背景領域に対応するカラー画像の背景画像データを合成した合成画像データを生成する合成画像データ生成ステップと、
前記第１の画像データ内の前記背景領域に対応する領域から抽出した色情報と、前記第２の画像データの前記背景領域における輝度情報とに基づき、前記背景画像データを生成するステップと、
を有する撮像装置の画像処理方法。

【請求項11】

赤外線カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、前記赤外線カットフィルタが撮像光路に挿入された前記光学系を通して被写体を撮像し、前記被写体の可視光画像であってカラー画像である前記可視光画像を示す第１の画像データを取得する第１の撮像モードと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を通して被写体を撮像し、前記被写体の近赤外光画像であってモノクロ画像である前記近赤外光画像を含む第２の画像データを取得する第２の撮像モードとを有する撮像部と、前記第１の撮像モードと前記第２の撮像モードとを交互に切り替える撮像モード切替部と、を備えており、固定位置に設置されている撮像装置のコンピュータを、
前記撮像部が前記第２の撮像モードで動作している場合に、前記撮像部が取得した前記第２の画像データ内で、当該第２の画像データの前に前記撮像部が取得した前記第２の画像データと比較して変化がある変化領域を検出する変化領域検出手段、
前記変化領域検出手段の検出結果に基づき、前記第２の画像データ内の前記変化領域に対応する変化領域画像データに、前記撮像部により前記第２の撮像モードの直前の前記第１の撮像モードで取得された前記第１の画像データに基づき生成され且つ前記第２の画像データ内の前記変化領域とは異なる背景領域に対応するカラー画像の背景画像データを合成した合成画像データを生成する合成画像データ生成手段であって、前記第１の画像データ内の前記背景領域に対応する領域から抽出した色情報と、前記第２の画像データの前記背景領域における輝度情報とに基づき、前記背景画像データを生成する合成画像データ生成手段、
として機能させるためのプログラム。

【請求項12】

請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、固定位置に設置され、昼夜を問わずに被写体の撮像を行う撮像装置、及びこの撮像装置の画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年、公共施設及び商業施設及び住居などにおいて固定位置（定点）に設置され、昼夜を問わずに被写体の撮像を行う監視カメラ（撮像装置）が広く用いられている。このような昼夜兼用（デイナイト機能ともいう）の監視カメラでは、昼間（日中）は被写体の可視光画像を撮像し、夜間は被写体の近赤外光画像を撮像するのが通常である。

【0003】

特許文献１には、被写体の可視光画像を撮像する可視光カメラと、被写体の熱画像を撮像する赤外線カメラとを備えるハイブリットカメラが記載されている。この特許文献１のハイブリットカメラを上述の監視カメラに適用して、２種類の撮像部を監視カメラに設けることにより、昼間の可視光画像の撮像と夜間の近赤外光画像の撮像とが可能になる。

【0004】

また、特許文献１のハイブリットカメラは、可視光画像の画像データに基づき被写体の背景領域に対応する背景画像データを生成すると共に、熱画像の画像データに基づき被写体内の動体に対応する動体画像データを生成して、背景画像データに動体画像データを合成することで合成画像データを生成する。このように、可視光画像に基づく背景画像に、熱画像に基づく動体画像を重ね合わせることにより、見易い画像を提供することができる。

【0005】

特許文献２には、赤外線カットフィルタが撮像光路に挿入された光学系を通して被写体の可視光画像を撮像し、且つ赤外線カットフィルタが撮像光路から退避された光学系を通して被写体の近赤外光画像を撮像する撮像装置が記載されている。この特許文献２の撮像装置を上述の昼夜兼用の監視カメラに適用することにより、昼間の可視光画像の撮像と夜間の近赤外光画像の撮像とが可能になる。

【0006】

この際に、赤外線カットフィルタの有無によって、光路長が変化するために焦点距離も大きく変化して画像ボケが生じるおそれがある。そこで、特許文献２に記載の撮像装置では、前述の撮像光路に位相変調素子を設けることにより、画像ボケの発生を抑えている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９−０１０６７５号公報

【特許文献2】特開２０１１−１２８２３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、監視カメラの夜間の撮像で得られる近赤外光画像は、モノクロ画像（白黒画像）であるため、昼間の撮像で得られる可視光画像と比較して見難くなるという問題が生じる。このため、前述の特許文献１に記載の技術を監視カメラに適用して、可視光画像データから生成した背景画像データに、近赤外光画像データから生成した動体画像データを合成して合成画像データを生成することで、近赤外光画像を見易くすることは可能である。しかしながら、この場合には可視光画像の撮像と近赤外光画像の撮像とを同時に行う必要がある。すなわち、監視カメラに、可視光画像の撮像用及び近赤外光画像の撮像用の２種類の撮像部を設ける必要がある。その結果、監視カメラの大型化及び部品点数が増加するという問題が生じる。

【0009】

また、前述の特許文献１に記載の技術を監視カメラに適用する場合には、低照度下の夜間における可視光画像の撮像を高感度カメラで行う必要があるが、この場合には可視光画像中のノイズが増加するという問題が生じる。

【0010】

特許文献２には、撮像光路に位相変調素子を設けて赤外線カットフィルタの有無に起因する画像ボケの発生を抑えることが記載されているものの、特許文献１のように合成画像データを生成することについての記載又は示唆はなされていない。このため、特許文献２の撮像装置では、夜間の撮像により得られるモノクロ画像の近赤外光画像が、昼間の撮像により得られる可視光画像と比較して見難いという問題は解決されていない。さらに、特許文献２の撮像装置では、撮像光路に位相変調素子を設ける必要があるため、監視カメラの大型化及び部品点数が増加するという問題が生じる。

【0011】

本発明はこのような事情に鑑みてなされたものであり、大型化及び部品点数の増加を抑えつつ、近赤外光画像を見易くすることができる撮像装置及び撮像装置の画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の目的を達成するための撮像装置は、固定位置に設置された撮像装置において、赤外線カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、赤外線カットフィルタが撮像光路に挿入された光学系を通して被写体を撮像し、被写体の可視光画像であってカラー画像である可視光画像を示す第１の画像データを取得する第１の撮像モードと、赤外線カットフィルタが撮像光路から退避された光学系を通して被写体を撮像し、被写体の近赤外光画像であってモノクロ画像である近赤外光画像を含む第２の画像データを取得する第２の撮像モードとを有する撮像部と、第１の撮像モードと第２の撮像モードとを交互に切り替える撮像モード切替部と、撮像部が第２の撮像モードで動作している場合に、撮像部が取得した第２の画像データ内で、第２の画像データの前に撮像部が取得した第２の画像データと比較して変化がある変化領域を検出する変化領域検出部と、変化領域検出部の検出結果に基づき、第２の画像データ内の変化領域に対応する変化領域画像データに、撮像部により第２の撮像モードの直前の第１の撮像モードで取得された第１の画像データに基づき生成され且つ第２の画像データ内の変化領域とは異なる背景領域に対応するカラー画像の背景画像データを合成した合成画像データを生成する合成画像データ生成部と、を備える。

【0013】

本発明によれば、第１の撮像モードで取得された可視光画像（カラー画像）を示す第１の画像データに基づき、第２の撮像モードで取得された近赤外光画像（モノクロ画像）を含む第２の画像データの背景領域をカラー表示することができる。

【0014】

本発明の他の態様に係る撮像装置において、合成画像データ生成部は、第１の画像データ内の背景領域に対応する領域から抽出した色情報と、第２の画像データの背景領域における輝度情報とに基づき、背景画像データを生成する。これにより、輝度情報に基づき実際の明暗を再現することができ、現実に近い画像（合成画像データ）が得られる。

【0015】

本発明の他の態様に係る撮像装置において、合成画像データ生成部は、第１の画像データ内の背景領域に対応する領域に含まれる画像データそのものを用いて背景画像データを生成する。背景画像データとして可視光画像の第１の画像データをそのまま用いるので、背景画像データは前述の色収差（倍率色収差）の影響を受けることが防止される。また、背景画像データの生成に複雑な画像処理などが不要でシステムの負荷が少なくなる。

【0016】

本発明の他の態様に係る撮像装置において、第１の撮像モードにおいて撮像部が異なるタイミングで取得した複数の第１の画像データの中の非変化領域を検出する非変化領域検出部を備え、合成画像データ生成部は、非変化領域検出部の検出結果に基づき、第１の画像データ内の非変化領域に対応する画像データから、背景画像データを生成する。これにより、背景画像データに基づく画像内から動体を除くことができる。

【0017】

本発明の他の態様に係る撮像装置において、少なくとも変化領域画像データに対して、鮮鋭化処理を行う鮮鋭化処理部を備える。これにより、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0018】

本発明の他の態様に係る撮像装置において、少なくとも変化領域画像データに対して、倍率色収差補正処理を行う倍率色収差補正処理部を備える。これにより、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0019】

本発明の他の態様に係る撮像装置において、少なくとも変化領域画像データに対して、近赤外光に対する光学系の第１の光学特性に基づく点像復元処理を行う第１の点像復元処理部を備える。これにより、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0020】

本発明の他の態様に係る撮像装置において、第１の光学特性は、近赤外光に対する光学系の第１の点拡がり関数であり、第１の点像復元処理部が変化領域画像データに対して行う点像復元処理は、変化領域画像データの振幅成分と、非点対称な第１の点拡がり関数の形状に起因する位相成分とを復元する。これにより、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0021】

本発明の他の態様に係る撮像装置において、第１の画像データに対して、可視光に対する光学系の第２の光学特性に基づく点像復元処理を行う。これにより、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0022】

本発明の他の態様に係る撮像装置において、第２の光学特性は、赤色及び緑色及び青色の可視光に対する光学系の色毎の第２の点拡がり関数であり、第２の点像復元処理部が第１の画像データに対して行う点像復元処理は、色毎の第２の点拡がり関数に基づく復元フィルタを用いた第１の画像データの位相成分の復元処理を含む。これにより、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0023】

本発明の目的を達成するための撮像装置の画像処理方法は、赤外線カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、赤外線カットフィルタが撮像光路に挿入された光学系を通して被写体を撮像し、被写体の可視光画像であってカラー画像である可視光画像を示す第１の画像データを取得する第１の撮像モードと、赤外線カットフィルタが撮像光路から退避された光学系を通して被写体を撮像し、被写体の近赤外光画像であってモノクロ画像である近赤外光画像を含む第２の画像データを取得する第２の撮像モードとを有する撮像部と、第１の撮像モードと第２の撮像モードとを交互に切り替える撮像モード切替部と、を備えており、固定位置に設置されている撮像装置の画像処理方法において、撮像部が第２の撮像モードで動作している場合に、撮像部が取得した第２の画像データ内で、第２の画像データの前に撮像部が取得した第２の画像データと比較して変化がある変化領域を検出する変化領域検出ステップと、変化領域検出ステップの検出結果に基づき、第２の画像データ内の変化領域に対応する変化領域画像データに、撮像部により第２の撮像モードの直前の第１の撮像モードで取得された第１の画像データに基づき生成され且つ第２の画像データ内の変化領域とは異なる背景領域に対応するカラー画像の背景画像データを合成した合成画像データを生成する合成画像データ生成ステップと、を有する。

【0024】

本発明の目的を達成するためのプログラムは、赤外線カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、赤外線カットフィルタが撮像光路に挿入された光学系を通して被写体を撮像し、被写体の可視光画像であってカラー画像である可視光画像を示す第１の画像データを取得する第１の撮像モードと、赤外線カットフィルタが撮像光路から退避された光学系を通して被写体を撮像し、被写体の近赤外光画像であってモノクロ画像である近赤外光画像を含む第２の画像データを取得する第２の撮像モードとを有する撮像部と、第１の撮像モードと第２の撮像モードとを交互に切り替える撮像モード切替部と、を備えており、固定位置に設置されている撮像装置のコンピュータを、撮像部が第２の撮像モードで動作している場合に、撮像部が取得した第２の画像データ内で、第２の画像データの前に撮像部が取得した第２の画像データと比較して変化がある変化領域を検出する変化領域検出手段、変化領域検出手段の検出結果に基づき、第２の画像データ内の変化領域に対応する変化領域画像データに、撮像部により第２の撮像モードの直前の第１の撮像モードで取得された第１の画像データに基づき生成され且つ第２の画像データ内の変化領域とは異なる背景領域に対応するカラー画像の背景画像データを合成した合成画像データを生成する合成画像データ生成手段、として機能させる。このプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体(a non-transitory computer-readable tangible medium)も本発明の態様に含まれる。

【発明の効果】

【0025】

本発明の撮像装置及び撮像装置の画像処理方法及びプログラムは、大型化及び部品点数の増加を抑えつつ、第２の撮像モード時の撮像により得られる近赤外光画像を見易くすることができる。

【図面の簡単な説明】

【0026】

【図1】昼夜兼用で用いられる監視カメラの機能構成例を示すブロック図であり、昼間（日中）に撮像を行っている状態を示すものである。

【図2】監視カメラの機能構成例を示すブロック図であり、夜間に撮像を行っている状態を示すものである。

【図3】カメラ本体コントローラの電気的構成を示すブロック図である。

【図4】デバイス制御部による制御（特に撮像モードの切替制御）を説明するための説明図である。

【図5】画像処理部の機能ブロック図である。

【図6】動体領域検出部の機能ブロック図の一例を示したものである。

【図7】動体領域検出部による動体領域の検出処理の流れを説明するための説明図である。

【図8】選択部による合成画像データの生成処理を説明するための説明図である。

【図9】第１の撮像モード時における監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。

【図10】第２の撮像モード時における監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。

【図11】第２実施形態の監視カメラを構成する画像処理部の機能ブロック図である。

【図12】選択部による色情報合成データの生成処理を説明するための説明図である。

【図13】第１の撮像モード時における第２実施形態の監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。

【図14】第２の撮像モード時における第２実施形態の監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。

【図15】第３実施形態の監視カメラを構成する画像処理部の機能ブロック図である。

【図16】第４実施形態の監視カメラを構成する画像処理部の機能ブロック図である。

【図17】第１の撮像モード時の点像復元処理部による点像復元処理を説明するための説明図である。

【図18】点像復元処理の位相補正と振幅補正を説明するための説明図である。

【図19】第２の撮像モード時の点像復元処理部による点像復元処理を説明するための説明図である。

【発明を実施するための形態】

【0027】

［第１実施形態の監視カメラの全体構成］
図１は、昼夜兼用で用いられる監視カメラ１０の機能構成例を示すブロック図であり、昼間（日中）に撮像を行っている状態を示すものである。図２は、監視カメラ１０の機能構成例を示すブロック図であり、夜間に撮像を行っている状態を示すものである。ここで、本明細書でいう「昼間」及び「夜間」は必ずしも特定の時間帯を規定したものではなく、「昼間」及び「夜間」にはそれぞれ払暁や薄暮が含まれることがある。

【0028】

図１及び図２に示すように、本発明の撮像装置に相当する監視カメラ１０は、デジタルカメラの一種であり、公共施設及び商業施設及び住居などにおいて固定位置（定点）に設置されている。この監視カメラ１０は、昼間は被写体（監視領域）の可視光画像の撮像を行い、夜間は被写体の近赤外光画像の撮像を行うことにより、昼夜を問わず被写体の撮像を行う。また、監視カメラ１０は、パーソナルコンピュータ（Personal Computer：ＰＣ）等のコンピュータ６０に接続されており、被写体の撮像により得られた画像データをコンピュータ６０に出力する。

【0029】

ここで、近赤外光画像とは、少なくとも近赤外光の波長帯域に感度をもって被写体を撮像して得られる画像である。この近赤外光の波長帯域は、特に限定されるものではないが７００ｎｍから２５００ｎｍの範囲にある。また、可視光画像とは、可視光の波長帯域（一般に３８０ｎｍから７８０ｎｍ）に感度をもって被写体を撮像して得られる画像である。

【0030】

監視カメラ１０は、レンズユニット１２と、カメラ本体１４とを備える。なお、監視カメラ１０の外観は、図１及び図２に示した外観に限定されず、例えばレンズユニット１２及びカメラ本体１４が透明なドームで覆われていてもよい。

【0031】

レンズユニット１２は、カメラ本体１４の前面に設けられている。レンズユニット１２は、近赤外光発光部１５と、フォーカスレンズやズームレンズ等を含むレンズ１６と、絞り１７と、レンズ１６及び絞り１７を駆動するレンズ駆動部１８とを備える。

【0032】

近赤外光発光部１５は、監視カメラ１０にて夜間の撮像を行う際に、被写体に向けて近赤外光を補助光として発光する。これにより、監視カメラ１０により夜間の暗い状態（低照度下）での撮像を行う場合でも鮮明な被写体の近赤外光画像の画像データが得られる。

【0033】

レンズ駆動部１８は、レンズユニットコントローラ２０と、レンズ１６及び絞り１７を駆動するアクチュエータ（図示せず）とを含む。レンズユニットコントローラ２０は、カメラ本体１４に設けられたレンズユニット入出力部２２を介してカメラ本体１４と電気的に接続されている。このレンズユニットコントローラ２０は、カメラ本体１４から入力される制御信号に基づき前述のアクチュエータによりレンズ１６及び絞り１７を駆動する。これにより、レンズ１６のレンズ移動によるフォーカス制御及びズーム制御と、絞り１７の絞り量制御とが行われる。

【0034】

カメラ本体１４は、前述のレンズユニット入出力部２２の他に、フィルタ駆動部２４と、赤外線（ＩＲ：infrared）カットフィルタ２５と、撮像部２６と、照度センサ２７と、カメラ本体コントローラ２８と、カメラ本体入出力部３０と、入出力インタフェース３２と、を備える。

【0035】

赤外線カットフィルタ２５は、赤外光を遮断するフィルタであり、レンズユニット１２のレンズ１６及び絞り１７と共に本発明の光学系を構成している。この赤外線カットフィルタ２５は、フィルタ駆動部２４によりレンズユニット１２の撮像光路Ｌに挿入、または撮像光路Ｌから退避可能である。ここで、撮像光路Ｌとは、レンズユニット１２に入射した光が後述の撮像部２６に到達するまでの光路である。なお、本実施形態では、赤外線カットフィルタ２５がカメラ本体１４内に設けられているが、レンズユニット１２内に設けられていてもよい。

【0036】

フィルタ駆動部２４は、カメラ本体コントローラ２８の制御の下、被写体の可視光画像の撮像時（後述の第１の撮像モード）には赤外線カットフィルタ２５を撮像光路Ｌに挿入し、被写体の近赤外光画像の撮像時（後述の第２の撮像モード）には赤外線カットフィルタ２５を撮像光路Ｌから退避させる。これにより、可視光画像の撮像時に後述の撮像部２６に入射する赤外光を遮断することができる。なお、赤外線カットフィルタ２５の種類は特に限定されず、例えば、近赤外光を遮断する近赤外光カットフィルタを用いてもよい。

【0037】

撮像部２６としては、ＣＣＤ（Charge Coupled Device）型の撮像素子あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子と、各種の信号処理回路とを含む。本実施形態の撮像部２６の撮像素子の撮像面には、赤色（Ｒ：Ｒｅｄ）及び緑色（Ｇ：Ｇｒｅｅｎ）及び青色（Ｂ：Ｂｌｕｅ）の３色（３色以上でも可）のカラーフィルタを有するＲＧＢ画素がマトリクス状に配列されている。ＲＧＢ画素は、可視光の波長帯域だけでなく近赤外光の波長帯域の一部（特に近赤外光発光部１５が発光する近赤外光の波長帯域）にも感度を有しており、近赤外光画像の撮像時（後述の第２の撮像モード時）には近赤外光画素として機能する。

【0038】

撮像部２６は、レンズユニット１２を通して被写体を撮像して被写体の画像データを取得し、この画像データをカメラ本体コントローラ２８に出力する。この撮像部２６は、撮像モードとして、昼間の撮像に対応する第１の撮像モードと夜間の撮像に対応する第２の撮像モードとを有する。なお、撮像部２６の撮像モードの切り替えは、カメラ本体コントローラ２８により実行される。

【0039】

第１の撮像モードにおいて撮像部２６は、赤外線カットフィルタ２５が撮像光路Ｌに挿入された状態でレンズユニット１２を通して被写体を撮像し、被写体のカラー画像である可視光画像を示す第１の画像データＤ１を取得する。第１の画像データＤ１はＲＧＢの各色の画像データにより構成される。なお、第１の撮像モードは、赤外線カットフィルタ２５が撮像光路Ｌに挿入されていれば、他の条件は任意である。

【0040】

また、第２の撮像モードにおいて撮像部２６は、赤外線カットフィルタ２５が撮像光路Ｌから退避された状態でレンズユニット１２を通して被写体を撮像し、被写体のモノクロ画像である近赤外光画像を含む第２の画像データＤ２を取得する。ここで、「近赤外光画像を含む第２の画像データＤ２」とは、夜間であっても時間帯や周囲の環境によっては撮像部２６への可視光の入射がゼロにならず、近赤外光だけでなく可視光の撮像により得られた第２の画像データＤ２を含むことを意味する。しかし、夜間の撮像では、可視光の光量は減少し、さらに本実施形態では近赤外光発光部１５にて近赤外光を補助光として発光しているので、撮像部２６に入射する可視光の光量は近赤外光の光量に比較して大幅に少なくなる。このため、第２の画像データＤ２は、色の情報を持たず、輝度情報（輝度信号）により構成されているモノクロ画像データとみなすことができる。なお、第２の撮像モード時に撮像部２６への可視光の入射が問題になる場合には、撮像光路Ｌに可視光を遮断する可視光カットフィルタを挿入してもよい。

【0041】

照度センサ２７は、監視カメラ１０により撮像される被写体（監視領域）の照度を検出し、この照度検出結果をカメラ本体コントローラ２８に出力する。照度センサ２７による照度検出結果は、例えば、近赤外光発光部１５による近赤外光の発光のＯＮ及びＯＦＦの切り替えと、赤外線カットフィルタ２５の挿入及び退避の切り替えと、撮像部２６の撮像モードの切り替えとに用いられる。

【0042】

カメラ本体コントローラ２８は、例えばＣＰＵ（Central Processing Unit）を含む各種形状の演算部及び処理部及び記憶部（メモリ）により構成されたものであり、監視カメラ１０の全体の動作や処理を統括的に制御する。

【0043】

図３は、カメラ本体コントローラ２８の電気的構成を示すブロック図である。図３に示すように、カメラ本体コントローラ２８は、デバイス制御部３４と、画像処理部３５と、記憶部３６と有している。

【0044】

デバイス制御部３４は、記憶部３６から読み出した制御用プログラム３７Ａを実行することで、監視カメラ１０の各部の動作を制御する。例えば、デバイス制御部３４は、レンズユニット１２を制御するための制御信号を生成し、この制御信号をカメラ本体入出力部３０からレンズユニットコントローラ２０に送信する（図１及び図２参照）。これにより、前述のフォーカス制御及びズーム制御と、絞り１７の絞り量制御とが実行される。また、デバイス制御部３４は、撮像部２６による撮像処理及び画像データの出力処理を制御する。

【0045】

さらに、デバイス制御部３４は、照度センサ２７による照度検出結果に基づき、撮像部２６の撮像モードの切り替えと、近赤外光発光部１５による近赤外光の発光のＯＮ及びＯＦＦの切り替えと、赤外線カットフィルタ２５の挿入及び退避の切り替えと、をそれぞれ制御する。すなわち、デバイス制御部３４は、本発明の撮像モード切替部として機能する。

【0046】

図４は、デバイス制御部３４による制御（特に撮像モードの切替制御）を説明するための説明図である。図４に示すように、デバイス制御部３４は、照度センサ２７から入力される被写体の照度検出結果を撮像モード切替条件として、撮像部２６の撮像モードの切り替えを行う。具体的に、デバイス制御部３４は、照度検出結果が予め定めた閾値以上であれば「昼間」であると判定し、撮像部２６の撮像モードを第１の撮像モードに切り替える。これにより、撮像部２６が第１の撮像モードでの撮像を行う。図中の符号「ａ_ｎ−１」、「ａ_ｎ」（ｎは任意の自然数）は撮像部２６による撮像のタイミングを示す。

【0047】

一方、デバイス制御部３４は、照度検出結果が予め定めた閾値未満であれば「夜間」であると判定し、撮像部２６の撮像モードを第２の撮像モードに切り替える。これにより、撮像部２６が第２の撮像モードでの撮像を行う。図中の符号「ｂ_ｎ−１」、「ｂ_ｎ」は撮像部２６による撮像のタイミングを示し、符号「Ａ」は撮像の時間間隔を示す。なお、第１の撮像モードでの撮像の時間間隔は特に限定はされないが、第２の撮像モードと同様の時間間隔Ａであってもよい。

【0048】

このようにデバイス制御部３４は、照度検出結果から判別される「昼間」、「夜間」、「昼間」、「夜間」、・・・の繰り返しに応じて、撮像部２６の撮像モードを第１の撮像モードと第２の撮像モードとに交互に切り替える。

【0049】

また、デバイス制御部３４は、撮像部２６を第１の撮像モードに切り替える場合、近赤外光発光部１５を制御して近赤外光の発光をＯＦＦさせると共に、フィルタ駆動部２４を制御して撮像光路Ｌに赤外線カットフィルタ２５を挿入させる。逆にデバイス制御部３４は、撮像部２６を第２の撮像モードに切り替える場合、近赤外光発光部１５を制御して近赤外光の発光をＯＮさせると共に、フィルタ駆動部２４を制御して撮像光路Ｌから赤外線カットフィルタ２５を退避させる。図中の符号「ＣＨ」は、撮像モードの切り替えのタイミング、すなわち、赤外線カットフィルタ２５の挿入及び退避の切り替えのタイミングである。

【0050】

なお、本実施形態のデバイス制御部３４は、照度センサ２７による照度検出結果に基づき、撮像部２６の撮像モードの切り替えを行っているが、撮像モード切替条件は照度検出結果に限定されるものではなく適宜変更してもよい。例えば、予め定めた時間帯（「昼間」はＡＭ６：００〜ＰＭ６：００、「夜間」はＰＭ６：００〜ＡＭ６：００）を撮像モード切替条件として、時間帯に応じて撮像部２６の撮像モードの切り替えを行ってもよい。

【0051】

図３に戻って、画像処理部３５は、記憶部３６から読み出した画像処理用プログラム３７Ｂを実行することで、撮像部２６から入力される画像データ（第１の画像データＤ１及び第２の画像データＤ２）に対して後述の画像処理を行う。そして、画像処理部３５は、画像処理後の画像データを入出力インタフェース３２（図１及び図２参照）に出力する。

【0052】

画像処理用プログラム３７Ｂは、本発明のプログラムに相当するものである。この画像処理用プログラム３７Ｂは、詳しくは後述するが、監視カメラ１０のコンピュータの一部を構成する画像処理部３５を、本発明の変化領域検出手段（動体領域検出部４８）と、本発明の合成画像データ生成手段（背景画像データ生成部４３及び選択部５０）と、を含む複数の処理部として機能させる（図５参照）。

【0053】

図１及び図２に戻って、入出力インタフェース３２は、外部機器類（コンピュータ６０等）に有線または無線接続されており、コンピュータ６０等に対して画像処理後の画像データを出力する。なお、コンピュータ６０等に送られる画像データのフォーマットは特に限定されず、任意のフォーマットとし得る。

【0054】

コンピュータ６０は、カメラ本体１４の入出力インタフェース３２及びコンピュータ入出力部６２を介して監視カメラ１０に接続されており、監視カメラ１０から送られてくる画像データ等のデータ類を受信する。このコンピュータ６０は、コンピュータコントローラ６４と、ディスプレイ６６とを有する。

【0055】

コンピュータコントローラ６４はコンピュータ６０を統括的に制御する。コンピュータコントローラ６４は、監視カメラ１０からの画像データを画像処理し、インターネット等のネットワーク回線７０を介してコンピュータ入出力部６２に接続されているサーバ８０等との通信を制御する。ディスプレイ６６は、監視カメラ１０から入力される画像を表示する。

【0056】

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、ネットワーク回線７０を介してコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

【0057】

なお、監視カメラ１０及びコンピュータ６０及びサーバ８０の間の通信は、有線通信及び無線通信のいずれでもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、さらに両者の一方あるいは両方が省略されてもよい。また、監視カメラ１０にサーバ８０との通信機能を持たせ、監視カメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

【0058】

［画像処理部の構成］
図５は、画像処理部３５の機能ブロック図である。画像処理部３５は、第１の撮像モード時において、撮像部２６から入力される第１の画像データＤ１に対して画像処理を施し、画像処理後の第１の画像データＤ１を入出力インタフェース３２へ出力する。また、画像処理部３５は、第１の画像データＤ１に基づき被写体の背景領域に対応する背景画像データＤＢを生成する。

【0059】

一方、画像処理部３５は、第２の撮像モード時において、その直前の第１の撮像モード時に生成した背景画像データＤＢに、第２の画像データＤ２内の動体領域に対応する動体画像データＤＭ（本発明の変化領域画像データに相当、図８参照）を合成した合成画像データＤ３を生成する。すなわち、画像処理部３５は、昼間に取得されたカラー画像の第１の画像データＤ１に基づき、夜間に取得されるモノクロ画像の第２の画像データＤ２の背景領域をカラー表示可能にする。なお、第２の撮像モード時において、その直前の第１の撮像モード時に生成した背景画像データＤＢとしては、第１の撮影モードから第２の撮像モードに移行する前の第１の撮影モード時（現在の第２の撮像モードの１つ前の第１の撮像モード時）に生成した背景画像データＤＢであれば特に限定されるものではない。例えば、第２の撮像モードに移行する前の第１の撮影モード時の最後のフレーム（第１の画像データＤ１）に基づき生成した背景画像データＤＢや、最後のフレームよりも特定の期間だけ前のフレームやこのフレームから最後のフレームまでの間のフレームに基づき生成した背景画像データＤＢであってもよい。また、背景画像データＤＢとして変化がない場合には、第１の撮影モードにおいて変化が生じなくなったタイミングから第１の撮影モードの最後のフレームまでの間のフレームに基づき生成した背景画像データＤＢを用いてもよい。更に、複数のフレームにおける背景画像データＤＢの平均値などを用いてもよい。

【0060】

図５に示すように、画像処理部３５は、前述の記憶部３６から読み出した画像処理用プログラム３７Ｂを実行することで、第１の撮像モード時には第１の画像処理部３５Ａとして機能し、第２の撮像モード時には第２の画像処理部３５Ｂとして機能する。なお、本実施形態では、説明の便宜上、画像処理部３５を第１の画像処理部３５Ａと第２の画像処理部３５Ｂとに分けているが、両者が一体であってもよい。

【0061】

［第１の画像処理部について］
第１の画像処理部３５Ａは、非変化領域検出部４２と、背景画像データ生成部４３として機能する。第１の画像処理部３５Ａは、図示しない画像処理回路によって撮像部２６から入力される第１の画像データＤ１に対しホワイトバランス補正や階調補正などの画像処理を施した後、画像処理後の第１の画像データＤ１を入出力インタフェース３２へ出力する。また、第１の画像処理部３５Ａは、非変化領域検出部４２及び背景画像データ生成部４３により前述の背景画像データＤＢの生成を行う。

【0062】

非変化領域検出部４２は、第１の撮像モードにおいて撮像部２６により異なるタイミングで取得された複数の第１の画像データＤ１の中の非変化領域Ｖ１（図７中の背景領域Ｖ３に相当）を検出する。この非変化領域Ｖ１は、監視カメラ１０の撮像対象となる被写体（監視領域）内の背景領域に相当するものであり、昼夜を問わず変化が生じないと想定される領域である。

【0063】

具体的に非変化領域検出部４２は、第１の撮像モードにおいて撮像部２６により取得された第１の画像データＤ１を予め定めた記憶タイミング毎に図示しないバッファに記憶させる。このバッファには、複数フレーム分の第１の画像データＤ１を記憶する記憶領域があり、新たな第１の画像データＤ１はバッファ内の最も古い第１の画像データＤ１に上書きされる。そして、非変化領域検出部４２は、予め定めた非変化領域Ｖ１の検出タイミング毎に、バッファ内の複数の第１の画像データＤ１を解析して非変化領域Ｖ１を検出する。なお、非変化領域Ｖ１の検出方法は、後述の動体領域検出部４８による動体領域検出と基本的には同じ方法が用いられるので、詳しくは後述する（図６及び図７参照）。非変化領域検出部４２は、非変化領域Ｖ１の検出結果（図５中では単に「Ｖ１」と表示）を背景画像データ生成部４３へ出力する。

【0064】

背景画像データ生成部４３は、非変化領域検出部４２から入力される非変化領域Ｖ１の検出結果と、撮像部２６により取得された第１の画像データＤ１とに基づき、この第１の画像データＤ１から非変化領域Ｖ１に対応する画像データを抽出して背景画像データＤＢを生成する。このように、非変化領域Ｖ１の検出結果に基づき背景画像データＤＢの生成を行うことで、背景画像データＤＢに基づく画像内から動体を除くことができる。そして、背景画像データ生成部４３は、生成した背景画像データＤＢを図示しないメモリ等に記憶させる。以下、背景画像データ生成部４３は、非変化領域検出部４２から非変化領域Ｖ１の検出結果が入力される度に新たな背景画像データＤＢを生成し、メモリ等に記憶されている背景画像データＤＢを更新する。

【0065】

［第２の画像処理部について］
第２の画像処理部３５Ｂは、倍率色収差補正処理部４６と、過去画像保持バッファ４７と、動体領域検出部４８と、変換部４９と、選択部５０として機能する。第２の画像処理部３５Ｂは、直前の第１の撮像モードで第１の画像処理部３５Ａにより生成された背景画像データＤＢに、第２の撮像モードにおいて撮像部２６により取得された第２の画像データＤ２内の動体領域に対応する動体画像データＤＭ（図８参照）を合成した合成画像データＤ３を生成する。

【0066】

倍率色収差補正処理部４６は、第２の撮像モードにおいて撮像部２６から時間間隔Ａ（図４参照）ごとに入力される第２の画像データＤ２に対して倍率色収差補正処理を施す。本実施形態では、前述の通り、可視光画像の第１の画像データＤ１に基づき生成した背景画像データＤＢに、近赤外光画像の第２の画像データＤ２内の動体画像データＤＭを合成した合成画像データＤ３を生成する。この際に、可視光と近赤外光の色収差（倍率色収差）によって、撮像部２６によって撮像される可視光画像と近赤外光画像との大きさに差が生じる。このため、何らの処理を行わないと、大きさ（画像サイズ）が異なる背景画像データＤＢと第２の画像データＤ２（動体画像データＤＭ）とを合成することになり、不自然な合成画像データＤ３が生成されてしまう。

【0067】

なお、昼夜兼用の監視カメラ１０で用いられるレンズ１６としては、可視光から近赤外域まで現実的な透過率を有しており、且つ可視光と近赤外光の色収差（倍率色収差）を光学的に補正した昼夜兼用レンズが用いられる。ただし、一般に昼夜兼用のレンズでも近赤外域までの完全な色収差補正は現実的でなく、レンズ枚数などの制約から収差は残存する。特に、監視用の広角ズームレンズなどでは、広角端で可視光と近赤外光のピントずれを優先して抑制する必要があり、色収差（倍率色収差）を抑えきれない傾向がある。

【0068】

そこで、倍率色収差補正処理部４６は、撮像部２６から時間間隔Ａ（図４参照）ごとに入力される第２の画像データＤ２に対して倍率色収差補正処理を施すことにより、可視光と近赤外光の色収差（倍率色収差）を補正する。倍率色収差補正処理は、例えば、第２の画像データＤ２の各画素の画素位置をシフトさせるなどの公知の方法により行う。また、この際の補正量については、監視カメラ１０の光学系（レンズ１６及び絞り１７及び赤外線カットフィルタ２５）の種類に応じて予め定められた補正量を用いる。倍率色収差補正処理部４６は、倍率色収差補正処理後の第２の画像データＤ２を過去画像保持バッファ４７と、動体領域検出部４８と、変換部４９とにそれぞれ出力する。

【0069】

過去画像保持バッファ４７は、倍率色収差補正処理部４６から入力される倍率色収差補正処理後の第２の画像データＤ２を一時的に記憶する。例えば、過去画像保持バッファ４７には２フレーム分の第２の画像データＤ２を記憶する記憶領域がある。倍率色収差補正処理部４６から過去画像保持バッファ４７に入力される新たな第１の画像データＤ１は、バッファ内の最も古い第２の画像データＤ２に上書きされる。

【0070】

動体領域検出部４８は、本発明の変化領域検出部に相当する。この動体領域検出部４８は、倍率色収差補正処理部４６から新たに入力される第２の画像データＤ２（以下、単に「新たな第２の画像データＤ２」と略す）内で、被写体内の動体に対応する動体領域Ｖ２（図７参照）を検出する。この動体領域Ｖ２の検出は、新たな第２の画像データＤ２と、倍率色収差補正処理部４６により先に過去画像保持バッファ４７に記憶された第２の画像データＤ２（以下、単に「先の第２の画像データＤ２」と略す）との比較により行われる。

【0071】

すなわち、動体領域検出部４８は、図４に示したような撮像タイミング「ｂ_ｎ」で得られた新たな第２の画像データＤ２内で、時間間隔Ａだけ前の撮像タイミング「ｂ_ｎ−１」で得られた先の第２の画像データＤ２と比較した際に変化のある変化領域を動体領域Ｖ２として検出する。従って、動体領域Ｖ２は本発明の変化領域に相当する。また、本明細書でいう「動体」は、必ずしも被写体（監視領域）内で移動しているものに限定されず、先の第２の画像データＤ２の取得時には被写体内に存在していなかった物体も含まれる。

【0072】

ここで時間間隔Ａが極めて短く設定されている場合、新たな第２の画像データＤ２と先の第２の画像データＤ２とを比較しても、被写体内の動体の位置及び形状等に明確な差が生じていないので、被写体内の動体に対応する動体領域Ｖ２を検出することができない。このため、時間間隔Ａは、新たな第２の画像データＤ２と先の第２の画像データＤ２とを比較した際に、両者の差から被写体内の動体を認識できる程度に長い時間間隔、例えば数十秒間から数分間に設定されている。

【0073】

図６は、動体領域検出部４８の機能ブロック図の一例を示したものである。また、図７（Ａ）から（Ｄ）は、動体領域検出部４８による動体領域Ｖ２の検出処理の流れを説明するための説明図である。なお、図７では、先の第２の画像データＤ２の取得時に被写体内に存在していない動体が、新たな第２の画像データＤ２の取得時に被写体内に出現したものとして説明を行う。

【0074】

図６に示すように、動体領域検出部４８は、差分領域抽出処理部５２と、２値化処理部５３と、メディアンフィルタ処理部５４と、膨張演算処理部５５と、収縮演算処理部５６と、を含む。

【0075】

図７（Ａ）に示すように、差分領域抽出処理部５２は、新たな第２の画像データＤ２と先の第２の画像データＤ２との差分領域を抽出する差分領域抽出処理を行い、この差分領域抽出処理の結果を示す差分領域抽出画像データＤＦを生成する。なお、実際の撮像系において、２枚の画像データ（第２の画像データＤ２）の撮像間隔が離れていた場合には、時間経過による暗電流成分の変化や環境光量の変化によって、画像毎のＱＬ（Quantum Level）値のオフセット値が変化してしまうことで、動体領域Ｖ２ではないのにもかかわらず、ＱＬ値が大きく変化してしまう現象が起こりうる。そのため、その現象を考慮して、経時オフセット補正の適用や、画像比較対象からＤＣ（direct current）成分を無視するようなロバストな動体検出処理を設ける必要がある。しかし、ここでは処理の簡単のために、そのようなＱＬ値の変化は生じることはなく、動体の存在領域でのみＱＬ値の変化が生じるものと想定する。

【0076】

次いで、２値化処理部５３は、差分領域抽出画像データＤＦに対して２値化処理を施す。これにより、差分領域抽出画像データＤＦの画素毎に、輝度値が予め定めた閾値以上の場合には輝度値が「１」に変換され、逆に輝度値が予め定めた閾値未満の場合には輝度値が「０」に変換される。その結果、例えば差分領域抽出画像データＤＦ内の動体領域Ｖ２に対応する画素の輝度値が「１」に変換され、差分領域抽出画像データＤＦ内の背景領域Ｖ３に対応する画素の輝度値が「０」に変換される。なお、背景領域Ｖ３は、実質的には前述の第１の画像データＤ１内の非変化領域Ｖ１と同じものになる。

【0077】

図７（Ｂ）に示すように、メディアンフィルタ処理部５４は、２値化処理後の差分領域抽出画像データＤＦに対してメディアンフィルタ処理を施すことにより、差分領域抽出画像データＤＦに混入している暗ノイズ等のノイズを除去する。

【0078】

図７（Ｃ）及び図７（Ｄ）に示すように、膨張演算処理部５５及び収縮演算処理部５６は、メディアンフィルタ処理後の差分領域抽出画像データＤＦに対してクロージング（Ｃｌｏｓｉｎｇ）処理を施す。具体的には、膨張演算処理部５５が差分領域抽出画像データＤＦに対して膨張演算処理を施した後（図７（Ｃ）参照）、収縮演算処理部５６が差分領域抽出画像データＤＦに対して収縮演算処理を施す（図７（Ｄ）参照）。このクロージング処理（膨張演算処理及び収縮演算処理）によって、差分領域抽出画像データＤＦに含まれる細かい（小さい）パターンが除去される。その結果、差分領域抽出画像データＤＦ内の動体領域Ｖ２と背景領域Ｖ３とが各々まだら状になることが防止される。

【0079】

このようなクロージング処理後の差分領域抽出画像データＤＦにおいて、輝度値が「１」の画素が集合している領域が動体領域Ｖ２となり、逆に輝度値が「０」の画素が集合している領域が背景領域Ｖ３となる。従って、動体領域検出部４８は、差分領域抽出画像データＤＦ内の動体領域Ｖ２を構成する各画素の位置座標に基づき、新たな第２の画像データＤ２内の動体領域Ｖ２を検出することができる。そして、動体領域検出部４８は、動体領域Ｖ２を構成する各画素の位置座標を、新たな第２の画像データＤ２内の動体領域Ｖ２の検出結果（図５中では単に「Ｖ２」と表示）として選択部５０に出力する。

【0080】

なお、前述の非変化領域検出部４２は、図６及び図７に示した動体領域検出部４８と基本的には同じ方法により（ここでは逆に背景領域Ｖ３を検出する）、異なるタイミングで取得された複数の第１の画像データＤ１内の非変化領域Ｖ１（背景領域Ｖ３に相当）を検出し、その検出結果を背景画像データ生成部４３へ出力する。

【0081】

図５に戻って、変換部４９は、倍率色収差補正処理部４６から入力される新たな第２の画像データＤ２を、前述の第１の画像データＤ１（背景画像データＤＢ）と同様のＲＧＢ画像データに変換する。ここで第２の画像データＤ２は、前述の通り輝度情報（輝度信号）のみにより構成される画像データであり、色情報を有していない。このため、変換部４９は、第２の画像データＤ２に色情報を付加した後、この第２の画像データＤ２をＲＧＢ画像データに変換する。

【0082】

最初に変換部４９は、倍率色収差補正処理部４６から入力される新たな第２の画像データＤ２に対して、予め定めた色情報である赤外光動体色５８（ＣｂＣｒ規定値）を付加して、第２の画像データＤ２をＹＣｂＣｒ画像データとする。これにより、合成画像データＤ３となる第２の画像データＤ２内の動体画像データＤＭ（図８参照）に色情報が付加され、合成画像データＤ３内の動体画像データＤＭをカラー表示することができる。この赤外光動体色５８は、合成画像データＤ３に基づく画像内に表示される動体の色を定めるものであり、任意の色を選択可能である。

【0083】

次いで、変換部４９は、ＹＣｂＣｒ画像データである第２の画像データＤ２をＲＧＢ画像データに変換した後、選択部５０に出力する。

【0084】

選択部５０は、前述の背景画像データ生成部４３と共に本発明の合成画像データ生成部を構成する。選択部５０は、動体領域検出部４８から入力される動体領域Ｖ２の検出結果に基づき、直前の第１の撮像モードで背景画像データ生成部４３が生成した背景画像データＤＢに、第２の画像データＤ２内の動体領域Ｖ２に対応する動体画像データＤＭを合成した合成画像データＤ３を生成する。

【0085】

図８は、選択部５０による合成画像データＤ３の生成処理を説明するための説明図である。なお、図８中における第２の画像データＤ２内のハッチング表示は、前述の赤外光動体色５８が付されていることを示す。

【0086】

図８に示すように、選択部５０は、動体領域検出部４８から入力された動体領域Ｖ２の検出結果に基づき、合成画像データＤ３の第１番目の画素（例えば左下隅の画素）が動体領域Ｖ２及び背景領域Ｖ３のいずれに属するかを判定する。そして、選択部５０は、合成画像データＤ３の第１番目の画素が背景領域Ｖ３に属する場合、背景画像データＤＢ及び第２の画像データＤ２の各々の第１番目の画素（左下隅の画素）のうち、背景画像データＤＢ内の第１番目の画素を選択して出力する。

【0087】

一方、選択部５０は、合成画像データＤ３の第１番目の画素が動体領域Ｖ２に属する場合、背景画像データＤＢ及び第２の画像データＤ２の各々の第１番目の画素のうち、第２の画像データＤ２内の第１番目の画素を選択して出力する。

【0088】

以下同様に、選択部５０は、合成画像データＤ３の残りの第Ｎ番目の画素についても、動体領域Ｖ２の検出結果に基づき、背景画像データＤＢ及び第２の画像データＤ２のうちの一方から選択した第Ｎ番目の画素を出力する。ここで「Ｎ」は、２以上で且つ合成画像データＤ３の全画素数以下の数である。これにより、合成画像データＤ３の各画素の中で、動体領域Ｖ２に属する画素としては第２の画像データＤ２の画素が選択され、背景領域Ｖ３に属する画素としては背景画像データＤＢの画素が選択される。その結果、背景画像データＤＢに、第２の画像データＤ２内の動体領域Ｖ２に対応する動体画像データＤＭを合成した合成画像データＤ３が生成される。

【0089】

なお、前述の動体領域検出部４８により動体領域Ｖ２が検出されなかった場合、選択部５０は、背景画像データＤＢのみに基づいて合成画像データＤ３を生成する。

【0090】

以下、第２の画像処理部３５Ｂでは、撮像部２６から時間間隔Ａで第２の画像データＤ２が入力される毎に、倍率色収差補正処理部４６による倍率色収差補正処理と、動体領域検出部４８による動体領域検出処理と、変換部４９による変換処理と、選択部５０による合成画像データ生成処理とが実行されて、合成画像データＤ３が生成される。合成画像データＤ３は、図示しない画像処理回路によってホワイトバランス補正や階調補正などの画像処理が施された後、第２の画像処理部３５Ｂから入出力インタフェース３２へ出力される。

【0091】

［第１実施形態の監視カメラの作用］
次に、図９及び図１０を用いて上記構成の監視カメラ１０の作用、特に撮像処理及び画像処理（本発明の撮像装置の画像処理方法）について説明を行う。ここで、図９は、第１の撮像モード時における監視カメラ１０の撮像処理及び画像処理の流れを示すフローチャートである。また、図１０は、第２の撮像モード時における監視カメラ１０の撮像処理及び画像処理の流れを示すフローチャートである。

【0092】

＜第１の撮像モード＞
図９に示すように、デバイス制御部３４は、照度センサ２７から入力される被写体の照度検出結果に基づき「夜間」から「昼間」に切り替わったと判定した場合には、撮像部２６の撮像モードを第１の撮像モードに切り替える（ステップＳ１）。また同時に、デバイス制御部３４は、近赤外光発光部１５を制御して近赤外光の発光をＯＦＦさせると共に、フィルタ駆動部２４を制御して撮像光路Ｌに赤外線カットフィルタ２５を挿入させる（ステップＳ２）。

【0093】

次いで、デバイス制御部３４は、撮像部２６により第１の撮像モードでの被写体（監視領域）の可視光画像の撮像を開始させる。撮像部２６は、赤外線カットフィルタ２５が撮像光路Ｌに挿入された状態でレンズユニット１２を通して被写体を撮像し、カラー画像である被写体の可視光画像を示す第１の画像データＤ１を取得する（ステップＳ３）。そして、撮像部２６は第１の画像データＤ１を画像処理部３５に出力する（ステップＳ４）。

【0094】

撮像部２６から出力された第１の画像データＤ１は、画像処理部３５の第１の画像処理部３５Ａに入力される。第１の画像処理部３５Ａでは、図示しない画像処理回路によって第１の画像データＤ１に対しホワイトバランス補正や階調補正などの画像処理を施した後、入出力インタフェース３２へ出力する。そして、画像処理済みの第１の画像データＤ１は、入出力インタフェース３２からコンピュータ６０及びサーバ８０の一方あるいは両方に出力される。以下、撮像部２６から第１の画像データＤ１が入力される毎に、第１の画像データＤ１に対する画像処理及びコンピュータ６０等への出力が繰り返し実行される（ステップＳ５でＮＯ）。

【0095】

この際に、撮像部２６から入力される第１の画像データＤ１は、予め定めた記憶タイミング毎に非変化領域検出部４２のバッファに記憶される（ステップＳ５でＹＥＳ）。そして、非変化領域検出部４２よる非変化領域Ｖ１の検出タイミングまで、撮像部２６の撮像が継続して行われることにより（ステップＳ５またはステップＳ６でＮＯ）、異なるタイミングで取得された複数の第１の画像データＤ１が非変化領域検出部４２のバッファに記憶される。

【0096】

非変化領域検出部４２は、非変化領域Ｖ１の検出タイミングになった場合、前述の図６及び図７で説明した方法に基づき、バッファ内の複数の第１の画像データＤ１を解析して非変化領域Ｖ１を検出する（ステップＳ６でＹＥＳ、ステップＳ７）。そして、非変化領域検出部４２は、非変化領域Ｖ１の検出結果を背景画像データ生成部４３へ出力する。

【0097】

背景画像データ生成部４３は、非変化領域検出部４２から入力される非変化領域Ｖ１の検出結果に基づき、撮像部２６より入力された第１の画像データＤ１から非変化領域Ｖ１に対応する画像データを抽出して背景画像データＤＢを生成する（ステップＳ８）。この背景画像データＤＢは、背景画像データ生成部４３により図示しないメモリ等に記憶される。

【0098】

以下、第１の撮像モードが継続する間、前述のステップＳ３からステップＳ８までの処理が繰り返し実行される（ステップＳ９でＹＥＳ）。これにより、非変化領域検出部４２のバッファ内への第１の画像データＤ１の記憶と、非変化領域検出部４２による非変化領域Ｖ１の検出と、背景画像データ生成部４３による背景画像データＤＢの生成とが繰り返し実行され、前述のメモリ等に記憶されている背景画像データＤＢが更新される。そして、後述のように、撮像部２６の撮像モードが第２の撮像モードに切り替えられると、第１の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ９でＮＯ）。

【0099】

＜第２の撮像モード＞
図１０に示すように、デバイス制御部３４は、照度センサ２７から入力される被写体の照度検出結果に基づき「昼間」から「夜間」に切り替わったと判定した場合に、撮像部２６の撮像モードを第１の撮像モードから第２の撮像モードに切り替える（ステップＳ１１）。また同時に、デバイス制御部３４は、近赤外光発光部１５を制御して近赤外光の発光をＯＮさせると共に、フィルタ駆動部２４を制御して撮像光路Ｌから赤外線カットフィルタ２５を退避させる（ステップＳ１２）。

【0100】

次いで、デバイス制御部３４は、撮像部２６により第２の撮像モードでの被写体の赤外光画像の撮像を開始させる。撮像部２６は、赤外線カットフィルタ２５が撮像光路Ｌから退避された状態でレンズユニット１２を通して被写体を撮像し、モノクロ画像である被写体の近赤外光画像を含む第２の画像データＤ２を取得する（ステップＳ１３）。そして、撮像部２６は第２の画像データＤ２を画像処理部３５に出力する（ステップＳ１４）。

【0101】

撮像部２６から出力された第２の画像データＤ２は、画像処理部３５における第２の画像処理部３５Ｂに入力される。第２の画像処理部３５Ｂの倍率色収差補正処理部４６は、撮像部２６から入力された第２の画像データＤ２に対して倍率色収差補正処理を施す（ステップＳ１５）。これにより、可視光と近赤外光の色収差（倍率色収差）が補正され、背景画像データＤＢと第２の画像データＤ２との大きさ（画像サイズ）を合わせることができるため、不自然な合成画像データＤ３が生成されることが防止される。

【0102】

また、倍率色収差補正処理部４６による倍率色収差補正処理は、ソフトウェア処理であり、上記特許文献２に記載のように撮像光路に位相変調素子を設けるといったハードウェア的な追加を行うことなく実施することができる。その結果、監視カメラ１０の大型化及び部品点数の増加を抑えることができる。

【0103】

なお、本実施形態の倍率色収差補正処理部４６は、第２の画像データＤ２の全体に倍率色収差補正処理を行っているが、例えば、倍率色収差補正処理よりも前に動体領域検出部４８による動体領域Ｖ２の検出を先に行い、この検出結果に基づき第２の画像データＤ２内の動体領域Ｖ２に対して倍率色収差補正処理を行ってもよい。すなわち、倍率色収差補正処理部４６は、少なくとも第２の画像データＤ２内の動体領域Ｖ２に対して倍率色収差補正処理を行えばよい。

【0104】

次いで、倍率色収差補正処理部４６は、倍率色収差補正処理後の第２の画像データＤ２を過去画像保持バッファ４７と、動体領域検出部４８と、変換部４９とにそれぞれ出力する。これにより、過去画像保持バッファ４７に新たな第２の画像データＤ２が記憶される（ステップＳ１６）。

【0105】

なお、図示は省略するが、第２の撮像モードへの切り替え後、少なくとも撮像部２６による第２の画像データＤ２の取得を２回以上行うことで、過去画像保持バッファ４７に前述の「先の第２の画像データＤ２」が記憶される。これにより、動体領域検出部４８による動体領域Ｖ２の検出が可能になる。以下、過去画像保持バッファ４７内に前述の「先の第２の画像データＤ２」が記憶されているものとして説明を行う。

【0106】

動体領域検出部４８は、倍率色収差補正処理部４６から新たな第２の画像データＤ２が入力された場合、動体領域Ｖ２の検出を開始する。前述の図６及び図７で説明した通り、動体領域検出部４８は、新たな第２の画像データＤ２と過去画像保持バッファ４７内の先の第２の画像データＤ２とを比較して、新たな第２の画像データＤ２内の動体領域Ｖ２を検出する（ステップＳ１７、本発明の変化領域検出ステップに相当）。そして、動体領域検出部４８は、動体領域Ｖ２の検出結果を選択部５０へ出力する。

【0107】

変換部４９は、倍率色収差補正処理部４６から入力される新たな第２の画像データＤ２に対し赤外光動体色５８（ＣｂＣｒ規定値）に基づく色情報を付加して、第２の画像データＤ２をＹＣｂＣｒ画像データとした後、ＲＧＢ画像データに変換する（ステップＳ１８）。変換部４９は、ＲＧＢ画像データに変換した第２の画像データＤ２を選択部５０へ出力する。

【0108】

選択部５０は、第２の撮像モードへの切り替え時に、その直前の第１の撮像モード時に背景画像データ生成部４３が生成した背景画像データＤＢを前述のメモリ等から読み出す。そして、選択部５０は、前述の図８で説明したように、動体領域検出部４８から入力された動体領域Ｖ２の検出結果に基づき、背景画像データＤＢに、変換部４９から入力された第２の画像データＤ２内の動体領域Ｖ２に対応する動体画像データＤＭを合成する。これにより、合成画像データＤ３が生成される（ステップＳ１９、本発明の合成画像データ生成ステップに相当）。

【0109】

このような合成画像データＤ３は、第２の画像データＤ２内の背景領域Ｖ３に対応する部分に対して、昼間に取得されたカラー画像である第１の画像データＤ１の色情報（カラー情報）を当てはめて色を付けた画像データであると言える。その結果、夜間の撮像で得られた画像内で、昼間の撮像で得られた画像内に写っている被写体と同一の被写体については昼間の被写体の色情報が付される。このため、夜間の撮像により得られる近赤外光画像を見易くすることができる。

【0110】

合成画像データＤ３は、図示しない画像処理回路によってホワイトバランス補正や階調補正などの画像処理が施された後、第２の画像処理部３５Ｂから入出力インタフェース３２へ出力される。そして、画像処理済みの合成画像データＤ３は、入出力インタフェース３２からコンピュータ６０及びサーバ８０の一方あるいは両方に出力される。

【0111】

以下、第２の撮像モードが継続する間、時間間隔Ａ毎に前述のステップＳ１３からステップＳ１９までの処理が繰り返し実行されて、第２の画像処理部３５Ｂにおいて合成画像データＤ３が繰り返し生成される。（ステップＳ２０でＹＥＳ、ステップＳ２１）。そして、撮像部２６の撮像モードが第２の撮像モードから第１の撮像モードに切り替えられると、第２の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ２０でＮＯ）。

【0112】

以下同様にして、「昼間」と「夜間」の切り替わりに応じて、前述の第１の撮像モードにおける撮像処理及び画像処理と、前述の第２の撮像モードにおける撮像処理及び画像処理とが交互に繰り返し実行される。

【0113】

［第１実施形態の効果］
以上のように、第１実施形態の監視カメラ１０では、昼間の第１の撮像モードで取得されたカラー画像の第１の画像データＤ１に基づき生成した背景画像データＤＢを用いて、夜間の第２の撮像モードで合成画像データＤ３を生成するので、夜間の第２の撮像モードで取得されたモノクロ画像の第２の画像データＤ２の背景領域をカラー表示することができる。その結果、前述の特許文献１に記載のように２種類の撮像部を設けるといった大型化及び部品点数の増加を抑えつつ、夜間の撮像により得られる近赤外光画像を見易くすることができる。

【0114】

また、合成画像データＤ３の背景画像データＤＢとして可視光画像の第１の画像データＤ１をそのまま用いるので、背景画像データＤＢは前述の色収差（倍率色収差）の影響を受けない。また、背景画像データＤＢの生成に複雑な画像処理などが不要で監視カメラ１０のシステムの負荷が少なくなる。

【0115】

［第２実施形態の監視カメラの全体構成］
次に、本発明の第２実施形態の監視カメラ９０について説明を行う。上記第１実施形態の監視カメラ１０では、合成画像データＤ３内の背景画像データＤＢとして可視光画像の第１の画像データＤ１をそのまま用いている。これに対して監視カメラ９０では、第１の画像データＤ１の色情報と第２の画像データＤ２の輝度情報とを用いて合成画像データＤ３内の背景画像データＤＢを生成する。

【0116】

図１１は、第２実施形態の監視カメラ９０を構成する画像処理部９１の機能ブロック図である。図１１に示すように、監視カメラ９０は、第１実施形態の画像処理部３５とは異なる画像処理部９１を備えている点を除けば、第１実施形態の監視カメラ１０と基本的に同じ構成である。従って、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

【0117】

画像処理部９１は、前述の記憶部３６から読み出した画像処理用プログラム３７Ｂを実行することで、第１の撮像モード時には第１の画像処理部９１Ａとして機能し、第２の撮像モード時には第２の画像処理部９１Ｂとして機能する。なお、第１実施形態と同様に、第１の画像処理部９１Ａと第２の画像処理部９１Ｂとが一体であってもよい。

【0118】

［第２実施形態の第１の画像処理部について］
第１の画像処理部９１Ａは、撮像部２６から入力される第１の画像データＤ１に対して画像処理を施し、画像処理後の第１の画像データＤ１を入出力インタフェース３２へ出力する点では第１実施形態の第１の画像処理部３５Ａと基本的に同じである。ただし、第１の画像処理部９１Ａは、第１実施形態の第１の画像処理部３５Ａとは異なり、第１の画像データＤ１の非変化領域Ｖ１から色情報（ＣｂＣｒ）の抽出を行う。この第１の画像処理部９１Ａは、第１変換部９３と、前述の非変化領域検出部４２と、色情報抽出部９４として機能する。

【0119】

第１変換部９３は、第１の撮像モードにおいて撮像部２６から入力されるＲＧＢ画像データである第１の画像データＤ１をＹＣｂＣｒ画像データに変換し、変換後の第１の画像データＤ１を非変化領域検出部４２へ出力する。

【0120】

非変化領域検出部４２は、第１実施形態で説明したように、撮像部２６により異なるタイミングで取得された複数の第１の画像データＤ１の中の非変化領域Ｖ１を検出し、この非変化領域Ｖ１の検出結果を色情報抽出部９４へ出力する。

【0121】

色情報抽出部９４は、非変化領域検出部４２から入力された非変化領域Ｖ１の検出結果と、撮像部２６により取得された第１の画像データＤ１とに基づき、この第１の画像データＤ１内の非変化領域Ｖ１から色情報９６（ＣｂＣｒ）を抽出する。そして、色情報抽出部９４は、非変化領域Ｖ１の色情報９６を図示しないメモリ等に記憶させる。以下、色情報抽出部９４は、非変化領域検出部４２から非変化領域Ｖ１の検出結果が入力される度に新たな色情報９６を抽出し、メモリ等に記憶されている色情報９６を更新する。

【0122】

［第２実施形態の第２の画像処理部について］
第２の画像処理部９１Ｂは、合成画像データＤ３の生成を行う点では第１実施形態の第２の画像処理部３５Ｂと同じである。ただし、第２の画像処理部９１Ｂは、第２の画像データＤ２から抽出した輝度情報と直前の第１の撮像モードで得られた色情報９６とに基づき合成画像データＤ３内の背景画像データＤＢを生成する。この第２の画像処理部９１Ｂは、前述の倍率色収差補正処理部４６及び過去画像保持バッファ４７及び動体領域検出部４８と、選択部１００と、輝度情報抽出部１０１と、第２変換部１０２として機能する。

【0123】

倍率色収差補正処理部４６は、撮像部２６から時間間隔Ａごとに入力される第２の画像データＤ２に対して倍率色収差補正処理を施し、倍率色収差補正処理後の第２の画像データＤ２を、過去画像保持バッファ４７及び動体領域検出部４８と、輝度情報抽出部１０１とにそれぞれ出力する。

【0124】

動体領域検出部４８は、第１実施形態と同様に、倍率色収差補正処理部４６から入力される新たな第２の画像データＤ２内の動体領域Ｖ２を検出し（図６及び図７参照）、動体領域Ｖ２の検出結果を選択部１００へ出力する。

【0125】

選択部１００は、動体領域検出部４８から入力された動体領域Ｖ２の検出結果に基づき、直前の第１の撮像モードで得られた非変化領域Ｖ１の色情報９６（ＣｂＣｒ）に、動体領域Ｖ２を示す色情報を合成して、合成画像データＤ３の色情報を示す色情報合成データＤＣ（ＣｂＣｒ）を生成する。

【0126】

図１２は、選択部１００による色情報合成データＤＣの生成処理を説明するための説明図である。図１２に示すように、選択部１００は、前述の動体領域Ｖ２の検出結果に基づき、色情報合成データＤＣの第１番目の画素（例えば左下隅の画素）が動体領域Ｖ２及び背景領域Ｖ３のいずれに属するかを判定する。そして、選択部１００は、色情報合成データＤＣの第１番目の画素が背景領域Ｖ３に属する場合、色情報９６及び動体領域Ｖ２を示す色情報である赤外光動体色５８のうち、色情報９６に含まれる第１番目の画素（左下隅の画素）に対応する色情報（ＣｂＣｒ）を選択して出力する。

【0127】

一方、選択部１００は、色情報合成データＤＣの第１番目の画素が動体領域Ｖ２に属する場合、色情報９６及び赤外光動体色５８のうち、赤外光動体色５８の色情報（ＣｂＣｒ規定値）を選択して出力する。

【0128】

以下同様に、選択部１００は、色情報合成データＤＣの残りの第Ｎ番目の画素についても、動体領域Ｖ２の検出結果に基づき、色情報９６及び赤外光動体色５８のうちの一方から選択した色情報を出力する。これにより、色情報合成データＤＣの各画素の中で、背景領域Ｖ３に属する画素の色情報としては色情報９６が選択され、動体領域Ｖ２に属する画素の色情報としては赤外光動体色５８の色情報が選択される。その結果、背景領域Ｖ３に対応する前述の非変化領域Ｖ１の色情報９６に、動体領域Ｖ２を示す色情報である赤外光動体色５８の色情報を合成した色情報合成データＤＣが生成される。そして、選択部１００は、色情報合成データＤＣを第２変換部１０２へ出力する。

【0129】

図１１に戻って、輝度情報抽出部１０１は、倍率色収差補正処理部４６から入力される新たな第２の画像データＤ２から画素ごとの輝度情報を抽出し、その抽出結果である輝度情報データＤＹを第２変換部１０２へ出力する。輝度情報データＤＹは、第２の撮像モードの撮像で取得されたリアルタイムの輝度情報である。

【0130】

第２変換部１０２は、前述の色情報抽出部９４及び選択部１００と共に本発明の合成画像データ生成部（合成画像データ生成手段）を構成する。第２変換部１０２は、選択部１００から入力される色情報合成データＤＣと、輝度情報抽出部１０１から入力される輝度情報データＤＹとに基づき、ＲＧＢ画像データである合成画像データＤ３を生成する。

【0131】

最初に、第２変換部１０２は、合成画像データＤ３の色情報を示す色情報合成データＤＣ（ＣｂＣｒ）と、リアルタイムの輝度情報データＤＹとに基づき、ＹＣｂＣｒ画像データである合成画像データＤ３を生成する。すなわち、第２変換部１０２は、色情報のみで構成される色情報合成データＤＣの輝度情報を、リアルタイムに得られた輝度情報データＤＹにより補間することで、画素ごとの輝度情報及び色情報を含む合成画像データＤ３（ＹＣｂＣｒ画像データ）を生成する。

【0132】

このように第２実施形態では、直前の第１の撮像モードで得られた色情報９６と、第２の画像データＤ２の背景領域Ｖ３における輝度情報データＤＹとに基づき、合成画像データＤ３内の背景画像データＤＢを生成する。また、第２実施形態では、赤外光動体色５８の色情報と、第２の画像データＤ２の動体領域Ｖ２における輝度情報データＤＹとに基づき、合成画像データＤ３内の動体画像データＤＭを生成する。これにより、合成画像データＤ３（ＹＣｂＣｒ画像データ）が生成される。

【0133】

次いで、第２変換部１０２は、ＹＣｂＣｒ画像データである合成画像データＤ３をＲＧＢ画像データに変換する。ＲＧＢ画像データである合成画像データＤ３は、第１実施形態と同様に、図示しない画像処理回路によってホワイトバランス補正や階調補正などの画像処理が施された後、第２の画像処理部３５Ｂから入出力インタフェース３２へ出力される。

【0134】

［第２実施形態の監視カメラの作用］
次に、図１３及び図１４を用いて上記構成の監視カメラ９０の作用、特に撮像処理及び画像処理（本発明の撮像装置の画像処理）について説明を行う。ここで、図１３は、第１の撮像モード時における監視カメラ９０の撮像処理及び画像処理の流れを示すフローチャートである。また、図１４は、第２の撮像モード時における監視カメラ９０の撮像処理及び画像処理の流れを示すフローチャートである。

【0135】

＜第１の撮像モード＞
図１３に示すように、ステップＳ３１からステップＳ３４までの処理の流れは、図９に示した第１実施形態（ステップＳ１からステップＳ４）と基本的に同じであるので、具体的な説明は省略する。ステップＳ３４までの処理により、撮像部２６は第１の画像データＤ１を画像処理部３５に出力する。そして、撮像部２６から出力された第１の画像データＤ１は、画像処理部３５の第１の画像処理部３５Ａに入力され、図示しない画像処理回路によってホワイトバランス補正や階調補正などの画像処理が施された後、入出力インタフェース３２へ出力される。

【0136】

この際に、撮像部２６から入力される第１の画像データＤ１は、予め定めた記憶タイミング毎に、第１変換部９３でＲＧＢ画像データからＹＣｂＣｒ画像データに変換された後、非変化領域検出部４２のバッファに記憶される（ステップＳ３５でＹＥＳ、ステップＳ３６）。そして、非変化領域検出部４２よる非変化領域Ｖ１の検出タイミングまで、撮像部２６の撮像が継続して行われる（ステップＳ３５またはステップＳ３７でＮＯ）。これにより、異なるタイミングで取得された複数の第１の画像データＤ１（ＹＣｂＣｒ画像データ）が非変化領域検出部４２のバッファに記憶される。

【0137】

非変化領域検出部４２は、非変化領域Ｖ１の検出タイミングになった場合、前述の図６及び図７で説明した方法に基づき、バッファ内の複数の第１の画像データＤ１を解析して非変化領域Ｖ１を検出する（ステップＳ３７でＹＥＳ、ステップＳ３８）。そして、非変化領域検出部４２は、非変化領域Ｖ１の検出結果を色情報抽出部９４へ出力する。

【0138】

色情報抽出部９４は、非変化領域検出部４２から入力された非変化領域Ｖ１の検出結果に基づき、撮像部２６より入力された第１の画像データＤ１内の非変化領域Ｖ１から色情報９６（ＣｂＣｒ）を抽出する（ステップＳ３９）。この色情報９６は、色情報抽出部９４により図示しないメモリ等に記憶される。

【0139】

以下、第１の撮像モードが継続する間、前述のステップＳ３３からステップＳ３９までの処理が繰り返し実行される（ステップＳ４０でＹＥＳ）。これにより、非変化領域検出部４２のバッファ内への第１の画像データＤ１の記憶と、非変化領域検出部４２による非変化領域Ｖ１の検出と、色情報抽出部９４による色情報９６の抽出とが繰り返し実行され、前述のメモリ等に記憶されている色情報９６が更新される。そして、後述のように、撮像部２６の撮像モードが第１の撮像モードから第２の撮像モードに切り替えられると、第１の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ４０でＮＯ）。

【0140】

＜第２の撮像モード＞
図１４に示すように、ステップＳ４１からステップＳ４７までの処理の流れは、図１０に示した第１実施形態（ステップＳ１１からステップＳ１７）と基本的に同じであるので、具体的な説明は省略する。ステップＳ４７までの処理により、倍率色収差補正処理部４６による倍率色収差補正処理後の新たな第２の画像データＤ２が、過去画像保持バッファ４７及び動体領域検出部４８と、輝度情報抽出部１０１とにそれぞれ出力される、また、動体領域検出部４８による新たな第２の画像データＤ２内の動体領域Ｖ２の検出が実行され（本発明の変化領域検出ステップに相当）、動体領域検出部４８から選択部１００へ動体領域Ｖ２の検出結果が出力される。

【0141】

選択部１００は、第２の撮像モードへの切り替え時に、その直前の第１の撮像モードで色情報抽出部９４により抽出された非変化領域Ｖ１の色情報９６（ＣｂＣｒ）を前述のメモリ等から読み出す。次いで、選択部１００は、前述の図１２で説明したように、動体領域検出部４８から入力される動体領域Ｖ２の検出結果に基づき、非変化領域Ｖ１の色情報９６（ＣｂＣｒ）に、動体領域Ｖ２を示す赤外光動体色５８の色情報を合成する。これにより、色情報合成データＤＣ（ＣｂＣｒ）が生成される（ステップＳ４８）。そして、選択部１００は、色情報合成データＤＣを第２変換部１０２へ出力する。

【0142】

一方、輝度情報抽出部１０１は、倍率色収差補正処理部４６から入力される新たな第２の画像データＤ２から画素ごとの輝度情報を抽出し、輝度情報データＤＹを第２変換部１０２へ出力する（ステップＳ４９）。

【0143】

第２変換部１０２は、合成画像データＤ３の色情報を示す色情報合成データＤＣと、リアルタイムの輝度情報データＤＹとに基づき、ＹＣｂＣｒ画像データである合成画像データＤ３を生成する。次いで、第２変換部１０２は、ＹＣｂＣｒ画像データである合成画像データＤ３をＲＧＢ画像データに変換する。これにより、ＲＧＢ画像データである合成画像データＤ３が生成される（ステップＳ５０、ステップＳ５１、本発明の合成画像データ生成ステップに相当）。この合成画像データＤ３は、第１実施形態と同様に、図示しない画像処理回路によってホワイトバランス補正や階調補正などの画像処理が施された後、第２の画像処理部３５Ｂから入出力インタフェース３２へ出力される。

【0144】

以下、第２の撮像モードが継続する間、時間間隔Ａ毎に前述のステップＳ４３からステップＳ５１までの処理が繰り返し実行されて、第２の画像処理部９１Ｂにおいて合成画像データＤ３が繰り返し生成される。（ステップＳ５２でＹＥＳ、ステップＳ５３）。そして、撮像部２６の撮像モードが第１の撮像モードに切り替えられると、第２の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ５２でＮＯ）。

【0145】

以下同様にして、「昼間」と「夜間」の切り替わりに応じて、前述の第１の撮像モードにおける撮像処理及び画像処理と、前述の第２の撮像モードにおける撮像処理及び画像処理とが交互に繰り返し実行される。

【0146】

［第２実施形態の効果］
以上のように、第２実施形態の監視カメラ９０では、第２の画像データＤ２から抽出した輝度情報データＤＹと第１の撮像モードで得られた色情報９６とに基づき生成される背景画像データＤＢに、前述の動体画像データＤＭを合成した合成画像データＤ３を生成するので、第１実施形態と同様に、夜間の第２の撮像モードで取得されたモノクロ画像の第２の画像データＤ２の背景領域をカラー表示することができる。その結果、第１実施形態と同様に、大型化及び部品点数の増加を抑えつつ、夜間の撮像により得られる近赤外光画像を見易くすることができる。

【0147】

また、第１の撮像モードで得られた色情報９６と、第２の撮像モードの撮像で取得されたリアルタイムの背景領域Ｖ３における輝度情報とに基づいて、合成画像データＤ３内の背景画像データＤＢを生成するので、実際の明暗を再現することができる。例えば、昼間から夜間にかけての明るさの変化や、近赤外光発光部１５からの近赤外光（補助光）により照明されている状態を再現することができるので、現実に近い画像（合成画像データＤ３）が得られる。

【0148】

［第３実施形態の監視カメラ］
図１５は、本発明の第３実施形態の監視カメラ１２０を構成する画像処理部１２１の機能ブロック図である。上記第１実施形態では、可視光と近赤外光の色収差（倍率色収差）を補正するため、第２の画像データＤ２に対して倍率色収差補正処理を行っているが、監視カメラ１２０では第２の画像データＤ２に対して鮮鋭化処理を行うことにより前述の色収差を補正する。

【0149】

図１５に示すように、監視カメラ１２０の画像処理部１２１は、第２の画像処理部３５Ｂｓに倍率色収差補正処理部４６の代わりに鮮鋭化処理部１２３を有する点を除けば、第１実施形態の監視カメラ１０と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

【0150】

鮮鋭化処理部１２３は、第２の撮像モードにおいて撮像部２６から時間間隔Ａ（図４参照）ごとに入力される第２の画像データＤ２に対して鮮鋭化処理を施す。鮮鋭化処理は、例えばラプラシアンフィルタなどの鮮鋭化フィルタを用いたフィルタ処理（畳み込み演算）により、第２の画像データＤ２に基づく画像のエッジ強調を行うことである。

【0151】

ここでフィルタ処理では、鮮鋭化フィルタのフィルタ係数を適切に調整することで、第２の画像データＤ２の位相をずらすことができる。すなわち、鮮鋭化処理を行った場合でも、倍率色収差補正処理を行った場合と同様に、第２の画像データＤ２の各画素の画素位置をシフトさせることができ、可視光と近赤外光の色収差（倍率色収差）を補正することができる。なお、鮮鋭化処理部１２３の鮮鋭化処理に用いられる鮮鋭化フィルタのフィルタ係数については、監視カメラ１２０の光学系（レンズ１６及び絞り１７及び赤外線カットフィルタ２５など）の種類に応じて予め定められているフィルタ係数を用いる。

【0152】

鮮鋭化処理部１２３は、鮮鋭化処理後の第２の画像データＤ２を過去画像保持バッファ４７と、動体領域検出部４８と、変換部４９とにそれぞれ出力する。これ以降の処理については上記第１実施形態と基本的に同じであるので、説明は省略する。

【0153】

なお、第３実施形態の鮮鋭化処理部１２３は、第２の画像データＤ２の全体に鮮鋭化処理を行っているが、例えば、鮮鋭化処理よりも前に動体領域検出部４８による動体領域Ｖ２の検出を先に行い、この検出結果に基づき第２の画像データＤ２内の動体領域Ｖ２に対して鮮鋭化処理を行ってもよい。すなわち、鮮鋭化処理部１２３は、少なくとも第２の画像データＤ２内の動体領域Ｖ２に対して鮮鋭化処理を行えばよい。

【0154】

また、第３実施形態では、上記第１実施形態の監視カメラ１０の倍率色収差補正処理部４６を鮮鋭化処理部１２３に置き換えた実施形態について説明を行ったが、上記第２実施形態の監視カメラ９０の倍率色収差補正処理部４６を鮮鋭化処理部１２３に置き換えてもよい。

【0155】

［第４実施形態の監視カメラ］
図１６は、本発明の第４実施形態の監視カメラ１３０を構成する画像処理部１３１の機能ブロック図である。上記第１実施形態では、可視光と近赤外光の色収差（倍率色収差）を補正するため、第２の画像データＤ２に対して倍率色収差補正処理を行っている。これに対して、監視カメラ１３０では第１の画像データＤ１及び第２の画像データＤ２に対して点像復元処理を行うことにより前述の色収差（倍率色収差）を補正する。

【0156】

点像復元処理とは、監視カメラ１３０の光学系の収差等による劣化を示す光学特性を予め求めておき、撮像された画像（劣化している画像）を、前述の光学特性に基づいて生成した復元（回復）フィルタを使用して復元処理することにより解像度の高い画像に復元する処理である。

【0157】

図１６に示すように、監視カメラ１３０の画像処理部１３１は、第１の撮像モードでは第１の画像処理部３５Ａｆとして機能し、第２の撮像モードでは第２の画像処理部３５Ｂｆとして機能する。

【0158】

ここで第１の画像処理部３５Ａｆは、本発明の第２の点像復元処理部に相当する点像復元処理部１３３Ａを有する点を除けば、第１実施形態の第１の画像処理部３５Ａと基本的に同じ構成である。また、第２の画像処理部３５Ｂｓは、倍率色収差補正処理部４６の代わりに本発明の第１の点像復元処理部に相当する点像復元処理部１３３Ｂを有する点を除けば、第１実施形態の第２の画像処理部３５Ｂと基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

【0159】

点像復元処理部１３３Ａは、前述の記憶部３６に記憶されている後述の３種類のＲ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを用いて、第１の撮像モードにおいて撮像部２６から入力される第１の画像データＤ１に対して点像復元処理を施す。また、点像復元処理部１３３Ｂは、記憶部３６に記憶されている後述の赤外用復元フィルタＦ_ＩＲを用いて、第２の撮像モードにおいて撮像部２６から入力される第２の画像データＤ２に対して点像復元処理を施す。

【0160】

＜第１の撮像モード時の点像復元処理＞
図１７は、第１の撮像モード時の点像復元処理部１３３Ａによる点像復元処理を説明するための説明図である。図１７では、理解を容易にするため、被写体として点像を撮像した場合を示している（後述の図１９も同様）。

【0161】

図１７に示すように、第１の撮像モード時に点像を被写体として撮像を行う場合、被写体の可視光画像は監視カメラ１３０の光学系（レンズ１６及び絞り１７及び赤外線カットフィルタ２５など）を通して撮像部２６により撮像され、この撮像部２６から第１の画像データＤ１が出力される。この第１の画像データＤ１は、可視光に対する監視カメラ１３０の光学系の光学特性に基づく点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は、非点対称なボケ画像となる。ここで、可視光は様々な波長帯域の光から構成されているので倍率色収差が発生し、第１の画像データＤ１を構成するＲ画像データとＧ画像データとＢ画像データとの位相にずれが発生している。以下、Ｒ画像データ及びＧ画像データ及びＢ画像データを、単に「Ｒ，Ｇ，Ｂ画像データ」と略す。

【0162】

点像復元処理部１３３Ａによる点像復元処理では、可視光に対する監視カメラ１３０の光学系の光学特性（本発明の第２の光学特性に相当）として、Ｒ光及びＧ光及びＢ光のそれぞれに対する色毎の点拡がり関数（ＰＳＦ：Point spread function）Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂを予め求めておく。これら点拡がり関数Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂは、本発明の第２の点拡がり関数に相当するものである。

【0163】

なお、点拡がり関数Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ（ＰＳＦ）の代わりに、光学伝達関数（ＯＴＦ：Optical Transfer Function）を予め求めてもよい。ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。また、これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ：Modulation Transfer Function）と位相伝達関数（ＰＴＦ：Phase Transfer Function）があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。

【0164】

本実施形態では、点拡がり関数Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ（ＰＳＦ）が予め求められて、復元フィルタ生成部１３５に入力される。復元フィルタ生成部１３５は、例えばコンピュータ等の演算装置が用いられる。この復元フィルタ生成部１３５は、点拡がり関数Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ（ＰＳＦ）に基づき、点像復元処理部１３３Ａによる点像復元処理で用いられるＲ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを生成する。

【0165】

一般に、ＰＳＦによるボケ画像の復元に用いられる復元フィルタとしては、コンボリューション型のウィナー（Ｗｉｅｎｅｒ）フィルタを利用することができる。ＰＳＦ（ｘ，ｙ）をフーリエ変換したＯＴＦと信号対雑音比（ＳＮＲ：signal-noise ratio、ＳＮ比ともいう）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

【0166】

【数1】

【0167】

ここで、Ｈ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）は信号対雑音比（ＳＮ比）を表す。

【0168】

復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

【0169】

このようにＲ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂは、第１の画像データＤ１の取得時の撮像条件に応じた監視カメラ１３０の光学系の点像情報（ＰＳＦ）から、所定の振幅復元及び位相補正フィルタ算出アルゴリズムによって得られる。光学系の点像情報は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮像条件によって変動し得る。従って、復元フィルタ生成部１３５によりＲ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを生成（算出）する際には、これらの撮像条件が取得される。復元フィルタ生成部１３５は、生成したＲ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを前述の記憶部３６に記憶させる。

【0170】

Ｒ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂは、例えばα×β（α及びβは２以上の整数）のタップによって構成される実空間上のフィルタであり、処理対象の第１の画像データＤ１のＲ，Ｇ，Ｂ画像データにそれぞれ適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（Ｒ，Ｇ，Ｂ画像データの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、回復処理後の画素データを算出することができる。Ｒ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを用いた加重平均処理を、対象画素を順番に代えながら、Ｒ，Ｇ，Ｂ画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

【0171】

図１８は、点像復元処理の位相補正と振幅補正を説明するための説明図である。図１８に示すように、点像復元処理は、「位相補正」（「位相復元」ともいう）と、「振幅補正」（「振幅復元」ともいう）とに大別することができる。「位相補正」は、Ｒ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを用いた第１の画像データＤ１のＲ，Ｇ，Ｂ画像データの位相成分の復元処理である。具体的に「位相補正」には、Ｒ，Ｇ，Ｂ画像データの位相ずれの復元と、非点対称な点拡がり関数Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ（ＰＳＦ）の形状に起因する位相成分の復元とが含まれる。なお、非点対称な点拡がり関数の形状に起因する位相成分の復元とは、非点対称な点広がり形状を点対称な点広がり形状に補正することである。

【0172】

「振幅補正」は、第１の画像データＤ１の振幅成分（ＭＴＦ）の復元処理である。振幅補正により、点広がり形状を点（デルタ関数）に補正することができる。

【0173】

図１７に戻って、点像復元処理部１３３Ａは、撮像部２６から入力された原画像データ（第１の画像データＤ１）のＲ，Ｇ，Ｂ画像データに対して、振幅復元及び位相補正のためのＲ，Ｇ，Ｂ用復元フィルタＦ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂを用いた点像復元処理を行う。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データ（第１の画像データＤ１）が得られる。

【0174】

＜第２の撮像モード時の点像復元処理＞
図１９は、第２の撮像モード時の点像復元処理部１３３Ｂによる点像復元処理を説明するための説明図である。図１９に示すように、第２の撮像モード時に点像を被写体として撮像を行う場合、被写体の近赤外光画像は監視カメラ１３０の光学系（レンズ１６及び絞り１７など）を通して撮像部２６により撮像され、この撮像部２６から第２の画像データＤ２が出力される。この第２の画像データＤ２は、近赤外光に対する監視カメラ１３０の光学系の光学特性に基づく点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は非点対称なボケ画像となる。

【0175】

点像復元処理部１３３Ｂによる点像復元処理では、近赤外光に対する監視カメラ１３０の光学系の光学特性（本発明の第１の光学特性に相当）として、近赤外光に対する点拡がり関数（ＰＳＦ：Point spread function）Ｋ_ＩＲを予め求めておく。この点拡がり関数Ｋ_ＩＲは、本発明の第１の点拡がり関数に相当するものである。

【0176】

本実施形態では、近赤外光に対応する点拡がり関数Ｋ_ＩＲ（ＰＳＦ）が予め求められて、前述の復元フィルタ生成部１３５に入力される。復元フィルタ生成部１３５は、近赤外光に対応する点拡がり関数Ｋ_ＩＲ（ＰＳＦ）に基づき、点像復元処理部１３３Ｂによる点像復元処理で用いられる赤外用復元フィルタＦ_ＩＲを生成する。赤外用復元フィルタＦ_ＩＲは、第２の画像データＤ２の取得時の撮像条件に応じた監視カメラ１３０の光学系の点像情報（ＰＳＦ）から、所定の振幅復元及び位相補正フィルタ算出アルゴリズムによって得られる。復元フィルタ生成部１３５は、生成した赤外用復元フィルタＦ_ＩＲを前述の記憶部３６に記憶させる。

【0177】

点像復元処理部１３３Ｂは、撮像部２６から入力された原画像データ（第２の画像データＤ２）に対して、振幅復元及び位相補正のための赤外用復元フィルタＦ_ＩＲを用いた点像復元処理を行う。ここで、夜間の近赤外光画像の撮像時には近赤外光以外の光の影響はほぼ無視することができるので、倍率色収差は発生しない。このため、点像復元処理部１３３Ｂによる点像復元処理では、第２の画像データＤ２の振幅成分の復元（振幅補正）と、非点対称な点拡がり関数Ｋ_ＩＲの形状に起因する位相成分の復元（位相補正）とが行われる。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データ（第２の画像データＤ２）が得られる。

【0178】

＜第４実施形態の効果＞
以上のように第４実施形態の監視カメラ１３０では、点像復元処理部１３３Ａ及び点像復元処理部１３３Ｂによる点像復元処理より、第１の画像データＤ１及び第２の画像データＤ２の振幅成分の復元と位相成分の復元とが行われるので、前述の倍率色収差補正処理を行った場合と同様の効果が得られ、可視光と近赤外光の色収差（倍率色収差）を補正することができる。

【0179】

＜第４実施形態の他実施例＞
第４実施形態では、第１の画像データＤ１及び第２の画像データＤ２の両方に点像復元処理を行っているが、第２の画像データＤ２に対してのみ点像復元処理を行ってもよい。また、上記第４実施形態では、第２の画像データＤ２の全体に点像復元処理を行っているが、例えば、点像復元処理よりも前に動体領域Ｖ２の検出を行い、この検出結果に基づき第２の画像データＤ２内の動体領域Ｖ２に対して点像復元処理を行ってもよい。すなわち、点像復元処理部１３３Ｂは、少なくとも第２の画像データＤ２内の動体領域Ｖ２に対して点像復元処理を行えばよい。

【0180】

また、第４実施形態では、上記第１実施形態の監視カメラ１０において倍率色収差補正処理の代わりに点像復元処理を行う実施形態について説明を行ったが、上記第２実施形態の監視カメラ９０において倍率色収差補正処理の代わりに点像復元処理を行う実施形態にても本発明を適用することができる。また、第４実施形態では、２つの点像復元処理部１３３Ａと点像復元処理部１３３Ｂが設けられているが、１つの点像復元処理部で第１の画像データＤ１及び第２の画像データＤ２に対する点像復元処理を行ってもよい。

【0181】

［その他］
上記実施形態では、いわゆる定点観測を行う監視カメラを例に挙げて説明を行ったが、パンチルト機能を有しており複数の被写体（広範囲な監視領域）を撮像可能な監視カメラにも本発明を適用することができる。

【0182】

上記各実施形態では、第１の画像処理部が非変化領域検出部４２として機能しているが、非変化領域検出部４２を省略することも可能である。また、上記各実施形態では、倍率色収差補正処理または鮮鋭化処理または点像復元処理により可視光と近赤外光の色収差（倍率色収差）の補正を行っているが、レンズ１６のレンズ枚数等に制約が無ければ色収差（倍率色収差）をある程度は抑えることができる。よって、この場合には色収差（倍率色収差）の補正を省略してもよい。

【0183】

上記実施形態では、固定位置に設置される本発明の撮像装置として監視カメラを例に挙げて説明を行ったが、本発明の撮像装置には、固定位置に設置されており特定の被写体（監視領域）を撮像する市販のデジタルカメラやスマートフォン等の各種の撮像装置が含まれる。

【0184】

上記各実施形態では、第２の撮像モードにおいて、ＲＧＢ画素を有する撮像素子を備える撮像部２６により第２の画像データＤ２を取得しているが、ＲＧＢ画素の他に近赤外光画素を有する撮像素子を備える撮像部により第２の画像データＤ２を取得してもよい。

【0185】

上述の実施形態で説明した撮像装置（監視カメラ）として、撮像装置のコンピュータを機能させるためのプログラム（前述の画像処理用プログラム３７Ｂ等）をＣＤ−ＲＯＭや磁気ディスクやその他のコンピュータ可読媒体（有体物たる非一時的な情報記憶媒体）に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【符号の説明】

【0186】

１０…監視カメラ，１２…レンズユニット，１６…レンズ，２５…赤外線カットフィルタ，２６…撮像部，３５…画像処理部，３７Ｂ…画像処理用プログラム，４２…非変化領域検出部，４３…背景画像データ生成部，４６…倍率色収差補正処理部，４８…動体領域検出部，４９…変換部，５０…選択部，９０…監視カメラ，９１…画像処理部，９４…色情報抽出部，１００…選択部，１２０…監視カメラ，１２１…画像処理部，１２３…鮮鋭化処理部，１３０…監視カメラ，１３１…画像処理部，１３３Ａ…点像復元処理部，１３３Ｂ…点像復元処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】