(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 25/535 20230101AFI20240806BHJP
H04N 25/707 20230101ALI20240806BHJP
【ＦＩ】
H04N25/535
H04N25/707
【請求項の数】
24
(21)【出願番号】P 2023039832
(22)【出願日】2023-03-14
(62)【分割の表示】P 2022021095の分割
【原出願日】2014-03-25
(65)【公開番号】P2023063450
(43)【公開日】2023-05-09
【審査請求日】2023-03-14
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110004370
【氏名又は名称】弁理士法人片山特許事務所
(74)【代理人】
【識別番号】100087480
【弁理士】
【氏名又は名称】片山 修平
(74)【代理人】
【識別番号】100136261
【弁理士】
【氏名又は名称】大竹 俊成
(72)【発明者】
【氏名】山口 悟史
【審査官】鈴木 明
(56)【参考文献】
【文献】国際公開第２０１３／１６４９１５（ＷＯ，Ａ１）
【文献】特開２０１２－０１５２７４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／００－２５／７９
(57)【特許請求の範囲】
【請求項1】
撮像範囲への動体の侵入を検出するための第１信号を出力する第１画素と、画像を生成するための第２信号を出力する第２画素とが行方向に沿って配置される画素領域と、
前記第１画素から前記第１信号を読み出すフレームレートと、前記第２画素から前記第２信号を読み出すフレームレートとを制御する駆動部と
を備え、
前記駆動部は、前記第１画素から読み出された前記第１信号を用いて前記撮像範囲への動体の侵入が検出される前において、前記第１画素から前記第１信号を読み出すフレームレートが、前記第２画素から前記第２信号を読み出すフレームレートよりも高くなるように制御する撮像装置。
【請求項2】
請求項１に記載の撮像装置において、前記第１画素は、前記画素領域において前記第２画素よりも周辺側に配置される撮像装置。
【請求項3】
請求項１または請求項２に記載の撮像装置において、前記駆動部は、前記第１画素から読み出された前記第１信号を用いて前記撮像範囲への動体の侵入が検出される前と、前記第１画素から読み出された前記第１信号を用いて前記撮像範囲への動体の侵入が検出された後とで前記第２画素から前記第２信号を読み出すフレームレートが異なるフレームレートになるように制御する撮像装置。
【請求項4】
請求項３に記載の撮像装置において、前記駆動部は、前記第１画素から読み出された前記第１信号を用いて前記撮像範囲への動体の侵入が検出された後の前記第２画素から前記第２信号を読み出すフレームレートが、前記第１画素から読み出された前記第１信号を用いて前記撮像範囲への動体の侵入が検出される前の前記第２画素から前記第２信号を読み出すフレームレートよりも高くなるように制御する撮像装置。
【請求項5】
請求項１から請求項４のいずれか一項に記載の撮像装置において、前記第１画素から読み出された前記第１信号が出力される第１出力配線と、
前記第２画素から読み出された前記第２信号が出力される第２出力配線と
を備える撮像装置。
【請求項6】
請求項５に記載の撮像装置において、前記第１出力配線に電流を供給する第１負荷電流源と、
前記第２出力配線に電流を供給する第２負荷電流源と
を備える撮像装置。
【請求項7】
請求項６に記載の撮像装置において、前記第１画素は、光を電荷に変換する第１光電変換部を有し、
前記第２画素は、光を電荷に変換する第２光電変換部を有し、
前記第１光電変換部と前記第２光電変換部とは、第１半導体チップに配置され、
前記第１負荷電流源と前記第２負荷電流源とは、前記第１半導体チップに接続される第２半導体チップに配置される撮像装置。
【請求項8】
請求項７に記載の撮像装置において、前記第１半導体チップと前記第２半導体チップとは、積層されている撮像装置。
【請求項9】
請求項１から請求項８のいずれか一項に記載の撮像装置において、前記第１画素から読み出された前記第１信号を第１増幅率で増幅する第１アンプと、
前記第２画素から読み出された前記第２信号を第２増幅率で増幅する第２アンプと
を備える撮像装置。
【請求項10】
請求項９に記載の撮像装置において、前記第２増幅率は、前記第１増幅率とは異なる増幅率である撮像装置。
【請求項11】
請求項９または請求項１０に記載の撮像装置において、前記第１画素は、光を電荷に変換する第１光電変換部を有し、
前記第２画素は、光を電荷に変換する第２光電変換部を有し、
前記第１光電変換部と前記第２光電変換部とは、第１半導体チップに配置され、
前記第１アンプと前記第２アンプとは、前記第１半導体チップに接続される第２半導体チップに配置される撮像装置。
【請求項12】
請求項１１に記載の撮像装置において、前記第１半導体チップと前記第２半導体チップとは、積層されている撮像装置。
【請求項13】
請求項１から請求項１２のいずれか一項に記載の撮像装置において、前記第１画素から読み出された前記第１信号を第１ビット数のデジタル信号に変換するための第１変換部と、
前記第２画素から読み出された前記第２信号を第２ビット数のデジタル信号に変換するための第２変換部と
を備える撮像装置。
【請求項14】
請求項１３に記載の撮像装置において、前記第２ビット数は、前記第１ビット数とは異なるビット数である撮像装置。
【請求項15】
請求項１３または請求項１４に記載の撮像装置において、前記第１画素は、光を電荷に変換する第１光電変換部を有し、
前記第２画素は、光を電荷に変換する第２光電変換部を有し、
前記第１光電変換部と前記第２光電変換部とは、第１半導体チップに配置され、
前記第１変換部と前記第２変換部とは、前記第１半導体チップに接続される第２半導体チップに配置される撮像装置。
【請求項16】
請求項１５に記載の撮像装置において、前記第１半導体チップと前記第２半導体チップとは、積層されている撮像装置。
【請求項17】
請求項１から請求項１６のいずれか一項に記載の撮像装置において、前記第１画素から読み出された前記第１信号に第１加算処理を行う第１演算回路と、
前記第２画素から読み出された前記第２信号に第２加算処理を行う第２演算回路と
を備える撮像装置。
【請求項18】
請求項１７に記載の撮像装置において、前記第２加算処理の加算数は、前記第１加算処理の加算数とは異なる加算数である撮像装置。
【請求項19】
請求項１７または請求項１８に記載の撮像装置において、前記第１画素は、光を電荷に変換する第１光電変換部を有し、
前記第２画素は、光を電荷に変換する第２光電変換部を有し、
前記第１光電変換部と前記第２光電変換部とは、第１半導体チップに配置され、
前記第１演算回路と前記第２演算回路とは、前記第１半導体チップに接続される第２半導体チップに配置される撮像装置。
【請求項20】
請求項１９に記載の撮像装置において、前記第１半導体チップと前記第２半導体チップとは、積層されている撮像装置。
【請求項21】
請求項１から請求項２０のいずれか一項に記載の撮像装置において、前記第１画素と前記第２画素とのうち、少なくとも一方の画素は、赤外光を透過させる分光特性を有するフィルタを含む撮像装置。
【請求項22】
請求項１から請求項２１のいずれか一項に記載の撮像装置において、
前記画素領域は、複数の前記第１画素と、複数の前記第２画素とを有する撮像装置。
【請求項23】
請求項２２に記載の撮像装置において、
前記第１画素は、前記行方向に沿ってそれぞれ配置され、
前記第２画素は、前記行方向に沿ってそれぞれ配置される撮像装置。
【請求項24】
請求項２２または請求項２３に記載の撮像装置において、
前記第１画素は、列方向に沿ってそれぞれ配置され、
前記第２画素は、前記列方向に沿ってそれぞれ配置される撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
従来、裏面照射型撮像チップと信号処理チップが、複数画素をまとめたセル単位毎にマイクロバンプを介して接続された撮像ユニットが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－４９３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位毎に撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
【0005】
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の電子機器（１）は、撮像素子（１００）を有し、第１領域（６１）と、当該第１領域の周辺の第２領域（６２）とを撮像可能な撮像部（２０）と、前記第１領域を撮像するフレームレートよりも前記第２領域を撮像するフレームレートを高く設定する制御部（７０）と、を備えている。
【0007】
本発明の電子機器（１）は、撮像素子（１００）を有し、第１領域（６１）と、当該第１領域の周辺の第２領域（６２）とを撮像可能な撮像部（２０）と、前記第２領域の撮像開始タイミングを前記第１領域の撮像開始タイミングよりも早いタイミングに設定する制御部（７０）と、を備えている。
【0008】
本発明の電子機器において、前記第２領域を撮像する画素には、赤外光を撮像する画素が含まれていてもよい。また、前記第１領域を撮像する画素には、赤外光を撮像する画素が含まれていてもよい。また、前記制御部は、前記第２領域を撮像する際の撮像条件と、前記第１領域を撮像する際の撮像条件とを異ならせてもよい。また、前記制御部は、前記第２領域の撮像結果に応じて、前記第１領域の撮像を実行することとしてもよい。この場合、前記制御部は、前記第２領域に存在する動体を撮像した場合に、前記第１領域の撮像を実行することとしてもよい。
【0009】
本発明の電子機器（１）は、可視光を撮像する第１画素（Ｒ，Ｇ，Ｂ）と、赤外光を撮像する第２画素（ＩＲ）とを含む撮像素子（１００）を有する撮像部（２０）と、前記第２画素による撮像開始タイミングを前記第１画素による撮像開始タイミングよりも早いタイミングに設定する制御部（７０）と、を備えている。
【0010】
この場合において、電子機器（１）は、被写界に赤外光を照射可能な照射部（９０）を備えていてもよい。この場合、前記照射部が前記赤外光を照射する範囲を変更する変更部（９６）を備えていてもよい。また、前記制御部は、前記第２画素による撮像を実行している間の、前記第１画素による撮像を制限することとしてもよい。また、前記制御部は、前記第２画素による撮像結果に応じて、前記第１画素による撮像を実行することとしてもよい。また、前記撮像部は、第１領域（６１）と、当該第１領域の周辺の第２領域（６２）と、を撮像し、前記制御部は、前記第１領域を撮像する際の撮像条件と、前記第２領域を撮像する際の撮像条件を異ならせることとしてもよい。この場合、前記制御部は、前記第１領域を撮像する際のゲインと、前記第２領域を撮像する際のゲインとを異ならせてもよい。
【0011】
また、電子機器は、前記第１、第２画素の一方の撮像結果に基づき、前記第１、第２画素の他方の撮像結果を補正する補正部（３０）を備えていてもよい。更に、前記第１画素により撮像された画像と、前記第２画素により撮像された画像とを表示する表示部を備えていてもよい。
【0012】
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【発明の効果】
【0013】
本発明の撮像装置は、使い勝手を向上することができるという効果を奏する。
【図面の簡単な説明】
【0014】
【図1】第１の実施形態に係る監視カメラシステムの構成を示す図である。
【図2】監視カメラの構成を示す図である。
【図3】撮像素子の断面図である。
【図4】撮像チップの画素配列と単位グループを説明する図である。
【図5】各画素の等価回路図を示す図である。
【図6】単位グループにおける画素の接続関係を示す回路図である。
【図7】撮像素子の機能的構成を示すブロック図である。
【図8】第１の実施形態に係る監視カメラの処理を示すフローチャートである。
【図12】第２の実施形態に係る監視カメラの構成を示す図である。
【図13】照射装置の機能を説明するための図である。
【図14】第２の実施形態に係る監視カメラの処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
≪第１の実施形態≫
以下、第１の実施形態に係る監視カメラシステム２００について、図１～図１１に基づいて詳細に説明する。図１には、本第１の実施形態に係る監視カメラシステム２００の構成が概略的に示されている。
以下、第１の実施形態に係る監視カメラシステム２００について、図１～図１１に基づいて詳細に説明する。図１には、本第１の実施形態に係る監視カメラシステム２００の構成が概略的に示されている。
【0016】
図１に示すように、監視カメラシステム２００は、複数の監視カメラ１と、管理装置２と、を備える。監視カメラ１と管理装置２は、ＬＡＮ（Local Area Network）などのネットワーク８０に接続されている。
【0017】
監視カメラ１は、ビル内や路上などを監視するために用いられるカメラであり、図２に示すような構成を有する。監視カメラ１は、図２に示すように、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５０、記録部６０、システム制御部７０、通信部６３、及び照度計６４を備えている。
【0018】
レンズ部１０は、複数のレンズ群から構成された撮像光学系である。レンズ部１０は、被写体からの光束を撮像部２０へ導く。なお、レンズ部１０は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
【0019】
撮像部２０は、撮像素子１００と、駆動部２１とを有する。撮像素子１００は、取得した画素信号を画像処理部３０へ引き渡す。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。なお、撮像素子１００の具体的構成、及び駆動部２１による撮像素子１００の具体的な駆動制御については、後述する。
【0020】
画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、画像データを生成する。画像処理部３０は、第１画像処理部３０Ａと、第２画像処理部３０Ｂと、を有する。本実施形態においては、後述するように、システム制御部７０は、撮像素子１００の画素領域（撮像領域）を一例として第１、第２ブロック（領域）に分割する。また、システム制御部７０は、第１、第２ブロックで異なる撮像条件によって撮像を行うように撮像素子１００を駆動制御する。この場合、例えば、第１画像処理部３０Ａは、第１ブロックに含まれる画素からの信号の画像処理を実行し、第２画像処理部３０Ｂは、第２ブロックに含まれる画素からの信号の画像処理を実行する。なお、撮像素子１００の画素領域（撮像領域）は、２つのブロックに分割される場合に限らず、３つ以上のブロックに分割されてもよい。この場合、各ブロックについての画像処理は、適宜、第１、第２画像処理部３０Ａ、３０Ｂに割り当てられる。
【0021】
画像処理部３０は、種々の画像処理を実行する。例えば、画像処理部３０は、撮像素子１００で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。
【0022】
画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。また、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部３０は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。
【0023】
ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。
【0024】
操作部５０は、使用者によって操作されるスイッチなどである。操作部５０は、使用者による操作に応じた信号をシステム制御部７０に出力する。なお、操作部５０は、タッチパネルを含んでいてもよい。
【0025】
記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。なお、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。
【0026】
システム制御部７０は、監視カメラ１の全体の処理及び動作を統括的に制御する。システム制御部７０はＣＰＵ（Central Processing Unit）７０Ａを有する。本実施形態において、システム制御部７０は、撮像素子１００の撮像面を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。
【0027】
また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、通信部６３に指示を出し、ネットワーク８０（図１参照）を介して、管理装置２と通信する。システム制御部７０は、管理装置２に対して、画像処理部３０において生成された画像データ等を送信する。
【0028】
照度計６４は、監視カメラ１周辺の照度を検出する。照度計６４の検出結果は、システム制御部７０に入力される。
【0029】
【0030】
図３には、撮像素子１００の断面図が示されている。図３に示すように、撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
【0031】
なお、図３に示すように、入射光は主に白抜き矢印で示す方向へ向かって入射する。本第１の実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。
【0032】
撮像チップ１１３は、一例として、裏面照射型のＭＯＳイメージセンサであり、ＰＤ層１０６、配線層１０８等を有する。
【0033】
ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Photodiode；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【0034】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してフィルタ部１０２が設けられている。フィルタ部１０２は、カラーフィルタと、赤外光透過フィルタとを有する。カラーフィルタは、可視光のうち特定の波長領域を通過させるフィルタであり、互いに異なる波長領域を透過する複数の種類を有している。また、赤外光透過フィルタは、入射光のうち赤外光成分を透過させるフィルタである。カラーフィルタと赤外光透過フィルタは、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ及び赤外光フィルタの配列については後述する。なお、フィルタ部１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。フィルタ部１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【0035】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。
【0036】
信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Through-Silicon Via；シリコン貫通電極）１１０を有する。なお、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。
【0037】
図４は、撮像チップの画素配列と単位グループ１３１を説明する図である。図４は、撮像チップ１１３を裏面側から見た状態を示す図である。撮像チップ１１３において画素が配列された領域を画素領域１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図４に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。なお、図４の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示している。なお、単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【0038】
単位グループ１３１は、画素領域１１３Ａの部分拡大図（図４の右下図）に示すように、緑色画素Ｇ、青色画素Ｂ、及び赤色画素Ｒ、赤外画素ＩＲの４種類の画素を含む。緑色画素Ｇは、フィルタ部１０２（カラーフィルタ）として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、フィルタ部１０２（カラーフィルタ）として青色フィルタを有する画素であり、青色波長帯の光を受光する。赤色画素Ｒは、フィルタ部１０２（カラーフィルタ）として赤色フィルタを有する画素であり、赤色波長帯の光を受光する。赤外画素ＩＲは、フィルタ部１０２として赤外光透過フィルタを有する画素であり、赤外光を受光する。
【0039】
図５は、各画素の等価回路図を示す図である。なお、以下においては、画素に符号１５０を付して説明する。各画素１５０は、上記ＰＤ１０４、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６及び選択トランジスタ１５８を有する。これらのトランジスタの少なくとも一部は図３のトランジスタ１０５に対応する。更に、各画素には、リセットトランジスタ１５４のオン信号が供給されるリセット配線３００、転送トランジスタ１５２のオン信号が供給される転送配線３０２、電源Ｖｄｄから電力の供給を受ける電源配線３０４、選択トランジスタ１５８のオン信号が供給される選択配線３０６、及び画素信号を出力する出力配線３０８が配される。以下、各トランジスタをｎチャンネル型ＦＥＴを例として説明するが、トランジスタの種類はこれに限られない。
【0040】
転送トランジスタ１５２のソース、ゲート、ドレインはそれぞれＰＤ１０４の一端、転送配線３０２、増幅トランジスタ１５６のゲートに接続される。また、リセットトランジスタ１５４のドレインは電源配線３０４に接続され、ソースは増幅トランジスタ１５６のゲートに接続される。増幅トランジスタ１５６のドレインは電源配線３０４に接続され、ソースは選択トランジスタ１５８のドレインに接続される。選択トランジスタ１５８のゲートは選択配線３０６に接続され、ソースは出力配線３０８に接続される。負荷電流源３０９は、出力配線３０８に電流を供給する。すなわち、選択トランジスタ１５８に対する出力配線３０８は、ソースフォロアにより形成される。なお、負荷電流源３０９は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
【0041】
【0042】
本第１の実施形態では、単位グループ１３１内で同じ色のカラーフィルタ又は赤外光透過フィルタを有する画素１５０が画素群を形成する。すなわち、本第１の実施形態では、６つの画素ＧがＧ画素群を形成し、４つの画素ＲがＲ画素群を形成し、４つの画素ＢがＢ画素群を形成し、２つの画素ＩＲがＩＲ画素群を形成する。
【0043】
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。すなわち、Ｇ画素群に含まれる画素の転送トランジスタのゲートは共通のＧ転送配線３３０に接続され、Ｒ画素群に含まれる画素の転送トランジスタのゲートは共通のＲ転送配線３３２に接続され、Ｂ画素群に含まれる画素の転送トランジスタのゲートは共通のＢ転送配線３３４に接続され、ＩＲ画素群に含まれる画素の転送トランジスタのゲートは共通のＩＲ転送配線３３６に接続されている。これにより、駆動部２１は、転送トランジスタのゲートを画素群内で一斉に、かつ、画素群間で独立して制御することができる。
【0044】
また、各画素群に含まれる複数の画素間で選択トランジスタの出力側が共通に接続されている。すなわち、Ｇ画素群の画素の選択トランジスタの出力側は共通のＧ出力配線３４０に接続され、Ｒ画素群の画素の選択トランジスタの出力側は共通のＲ出力配線３４２に接続され、Ｂ画素群の画素の選択トランジスタの出力側は共通のＢ出力配線３４４に接続され、ＩＲ画素群の画素の選択トランジスタの出力側は共通のＩＲ出力配線３４６に接続されている。
【0045】
なお、図６では図示していないが、リセット配線及び電源配線は、単位グループ１３１で共通である。また、選択配線は、各画素に一対一に１６本配され、対応する選択トランジスタのゲートに接続されている。さらに、出力配線には、それぞれ負荷電流源が接続される。
【0046】
以上により、駆動部２１は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、駆動部２１は、特定の画素群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。
【0047】
図７は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１のＧ画素群の６個の画素Ｇを順番に選択して、それぞれの画素信号をＧ出力配線３２０等へ出力させる。
【0048】
マルチプレクサ４１１を介して出力された画素信号は、アンプ４１６により増幅され、増幅された画素信号は、Ｇ出力配線３２０を介して、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）・アナログ／デジタル（Analog／Digital）変換を行う信号処理回路４１２により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。Ａ／Ｄ変換された画素信号は、Ｇ出力配線３２１を介してデマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。
【0049】
同様にマルチプレクサ４２１、４３１、４４１は、単位グループ１３１のＲ，Ｂ，ＩＲ画素群の画素をそれぞれ順番に選択して、各画素の画素信号を出力配線３２２，３２４，３２６へ出力させる。出力配線３２２，３２４，３２６へ出力された画素信号は、アンプ４２６、４３６，４４６により増幅され、信号処理回路４２２、４３２，４４２は、増幅された画素信号に対してＣＤＳ及びＡ／Ｄ変換を行う。Ａ／Ｄ変換された画素信号は、出力配線３２３，３２５，３２７を介してデマルチプレクサ４２３，４３３，４４３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。
【0050】
なお、マルチプレクサ４１１，４２１，４３１，４４１はそれぞれ、撮像チップ１１３上で、図５の選択トランジスタ１５８と選択配線３０６により形成される。アンプ４１６，４２６，４３６，４４６、及び信号処理回路４１２，４２２，４３２，４４２は、信号処理チップ１１１に形成される。デマルチプレクサ４１３、４２３，４３３，４４３及び画素メモリ４１４は、メモリチップ１１２に形成される。
【0051】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部３０に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図６では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１５がそれぞれの単位グループ１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
【0052】
次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などが挙げられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0053】
ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。
【0054】
また、ゲインとは、アンプ４１６、４２６，４３６，４４６の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
【0055】
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号の読み出しが行われることを意味する。
【0056】
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１５において行われる。演算回路４１５が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１５が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
【0057】
また、デジタル化のビット数とは、信号処理回路４１２、４２２，４３２，４４２がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
【0058】
本実施形態では、図２の駆動部２１は、一例として、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ１５４、転送トランジスタ１５２、及び選択トランジスタ１５８に印加するタイミング（又はタイミングの周期）を制御することにより、ブロック毎にフレームレートを制御する。また、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおけるブロックの設定を行う。なお、システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。
【0059】
図１に戻り、管理装置２は、ＰＣ（Personal Computer）等の端末を含み、監視カメラ１で撮像された画像をネットワーク８０を介して収集し、表示する。また、管理装置２は、ユーザ（管理者）からの監視カメラ１の操作や設定に関する指示を受け付けると、ネットワーク８０を介して、監視カメラ１に対して指示を送信する。
【0060】
【0061】
【0062】
図８の処理では、ステップＳ１０において、システム制御部７０は、ブロック・フレームレート設定処理のサブルーチンを実行する。このステップＳ１０の処理においては、図９のフローチャートに沿った処理が実行される。なお、ブロック・フレームレート設定処理は、撮像素子１００の画素領域１１３Ａを複数のブロックに分け、ブロック毎にフレームレートを設定する処理である。
【0063】
図９の処理において、システム制御部７０は、ステップＳ５０において、管理装置２を操作する管理者からブロック設定入力があったか否かを判断する。ここで、管理者は、手入力により、ブロックを設定する場合がある。この場合、管理者は、管理装置２から、あるいは監視カメラ１の操作部５０から入力を行う。このように、管理者がブロック設定を行った場合には、ステップＳ５０の判断が肯定されて、ステップＳ５２に移行する。
【0064】
ステップＳ５２に移行すると、システム制御部７０は、管理者からの入力に応じてブロック設定を行う。例えば、図１０（ａ）に示すように、監視カメラ１の撮像範囲内において通路が撮像されているような場合には、人が撮像領域内に侵入してくる可能性の高い領域として、ハッチングを付して示すブロックが管理者によって指定（入力）される場合がある。この場合、システム制御部７０は、指定されていない領域を第１ブロック６１、指定された領域を第２ブロック６２として設定する。その後は、ステップＳ５６に移行する。なお、図１０（ａ）等では、図示の便宜上、単位グループ１３１の大きさ（正方形の１マスの大きさ）を大きく表現している。
【0065】
一方、ステップＳ５０の判断が否定された場合、すなわち、管理者からのブロック設定入力がなかった場合には、ステップＳ５４に移行する。ステップＳ５４に移行すると、システム制御部７０は、図１０（ｂ）に示すように、画素領域（撮像範囲）の中央部を第１ブロック６１として設定するとともに、第１ブロック６１の周辺（撮像範囲の外縁部近傍）を第２ブロック６２として設定する。その後は、ステップＳ５６に移行する。
【0066】
ステップＳ５２又はＳ５４を経てステップＳ５６に移行すると、システム制御部７０は、ＩＲ撮像条件と合致するか否かを判断する。ここで、ＩＲ撮像条件と合致する場合とは、照度計６４の検出結果から、監視カメラ１の周辺が所定以上の暗さであることが判明した場合や、逆光である場合、サングラスをしている人の顔を特定したい旨の要求が管理者から入力された場合などである。なお、逆光であるか否かは、公知の技術（例えば、特開２００３－９１０３１号公報等参照）を用いて判断することができる。このステップＳ５６の判断が肯定された場合には、ステップＳ５８に移行し、否定された場合には、ステップＳ６０に移行する。
【0067】
ステップＳ５６の判断が肯定され、ステップＳ５８に移行すると、システム制御部７０は、第１ブロック６１、第２ブロック６２ともにＩＲ撮像を実行すると決定する。すなわち、第１、第２ブロック内に含まれる各単位グループにおいて、画素ＩＲを用いた撮像を実行すると決定する。なお、周囲が暗い場合には、画素ＩＲのみでの撮像を実行することとしてもよいが、逆光の場合やサングラスをしている人の顔を特定したい場合には、画素ＩＲでの撮像とともに画素Ｒ，Ｇ，Ｂでの撮像も行うこととしてもよい。
【0068】
一方、ステップＳ５６の判断が否定され、ステップＳ６０に移行すると、システム制御部７０は、第１ブロック６１、第２ブロック６２での可視光撮像を実行すると決定する。なお、システム制御部７０は、第１ブロック６１、第２ブロック６２において可視光撮像とともにＩＲ撮像を行うと決定してもよい。
【0069】
ステップＳ５８又はＳ６０の処理が終了した後は、ステップＳ６２に移行する。ステップＳ６２に移行すると、システム制御部７０は、第１ブロック６１内の画素による撮像を低フレームレートに設定し、第２ブロック６２内の画素による撮像を高フレームレートに設定する。
【0070】
【0071】
図８に戻り、ステップＳ１２では、システム制御部７０は、第１ブロック６１及び第２ブロック６２が設定され、各ブロックのフレームレートが設定された撮像素子１００を用いた撮像を開始する。なお、システム制御部７０は、駆動部２１に対して、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ１５４、転送トランジスタ１５２、及び選択トランジスタ１５８に印加するタイミング（又はタイミングの周期）を制御する指示を出すことにより、ブロック毎にフレームレートを制御する。
【0072】
なお、ステップＳ１２では、システム制御部７０は、画像処理部３０に指示を出し、第２ブロック６２で撮像される画像を用いた動体検知処理を実行させる。この場合、画像処理部３０は、直前に取得された画像との比較等を行うことで、動体を検知する。ここで、第２ブロック６２に設定されている範囲は、人などの動体が撮像範囲内に侵入してくる可能性が高い範囲である。したがって、この第２ブロック６２のフレームレートを第１ブロック６１のフレームレートよりも高く設定しておくことで、画像処理部３０による動体検知を精度よく行うことができる。また、動体が存在しない可能性が高い範囲を撮像する第１ブロック６１のフレームレートを低く設定しておいても問題がないため、消費電力の低減等を図ることが可能となる。
【0073】
また、システム制御部７０は、ステップＳ１２においては、通信部６３を介して、管理装置２に対して撮像データを送信する。管理装置２では、受信した撮像データをディスプレイ等に表示するため、管理者は、監視カメラ１で撮像された画像を見ることが可能となる。この場合、人などの動体が撮像範囲に侵入してくる可能性の高いブロック（第２ブロック６２）を高フレームレートとしているので、管理者は動体を発見しやすくなる。また、例えば監視カメラ１の周辺が暗い場合には、第２ブロック６２の画素ＩＲを用いた撮像が行われるため（Ｓ５８）、暗い場合であっても管理者は動体を確実に発見することができる。
【0074】
次いで、ステップＳ１４では、システム制御部７０は、画像処理部３０から第２ブロック６２で動体が検知されたことが通知されるまで待機する。すなわち、動体が検知されるまでは、システム制御部７０は、ステップＳ１０で設定されたブロック及びフレームレートでの撮像を継続する。そして、第２ブロック６２において動体が検知されたことが、画像処理部３０から通知されると、システム制御部７０は、ステップＳ１６に移行し、ブロック・フレームレートの再設定を行う。具体的には、図１１に示すように、システム制御部７０は、動体（図１１では人）が含まれる範囲を第２ブロック６２に設定し、その他の範囲を第１ブロック６１に設定する。なお、システム制御部７０は、第２ブロック６２のフレームレートは高く維持し、第１ブロック６１のフレームレートは低く維持する。
【0075】
次いで、ステップＳ１８では、システム制御部７０は、第１ブロック６１を動体に追従させる。すなわち、システム制御部７０は、画像処理部３０から得られる画像内の動体の動きに合わせて、第１ブロック６１に含まれるべき画素（単位グループ１３１）と、第２ブロック６２に含まれるべき画素（単位グループ１３１）とを随時異ならせるようにする。
【0076】
次いで、ステップＳ２０では、システム制御部７０は、記録部６０に指示を出し、画像データの記録を開始する。なお、画像データの記録は、ステップＳ１２の直後から開始してもよいが、本実施形態では、動体を検出した後から開始することとしている。これにより、動体が撮像されている画像のみを記録することができる。ここで、第２ブロック６２は動体に追従しており、該第２ブロック６２では高フレームレートで動体が撮像されることから、動体の様子を高画質で撮像・記録することが可能である。これにより、管理装置２を利用する管理者による、動体の監視等を行いやすくすることができる。なお、画像処理部３０では、画素Ｒ，Ｇ，Ｂの画像データを記録する場合において、画素ＩＲの位置に画素Ｇが存在した場合に得られるであろう画素信号を、近傍の画素Ｇの画像信号を用いて補間するものとする。
【0077】
次いで、ステップＳ２２では、システム制御部７０は、動体が画像内（被写界内）から存在しなくなるまで待機する。そして、動体が撮像範囲から外れた場合には、ステップＳ２４に移行し、システム制御部７０は、終了か否かを判断する。なお、システム制御部７０は、終了か否かを、管理者が管理装置２あるいは操作部５０から終了指示を入力したか否かにより判断する。ここでの判断が否定された場合、すなわち、終了でない場合には、ステップＳ２６に移行し、システム制御部７０は、第１、第２ブロックをステップＳ１０で設定した状態（図１０（ａ）又は図１０（ｂ）の状態）に戻し、ステップＳ１４に戻る。以降は、ステップＳ２４の判断が肯定されるまで、ステップＳ１４～Ｓ２６の処理・判断を繰り返す。
【0078】
なお、図８、図９の処理では、ＩＲ撮像条件と合致するか否かを常時モニタし、該モニタ結果に基づいて、撮像に用いる画素を切り替えることとしてもよい。例えば、周囲（被写界）が暗い場合には、画素ＩＲを用いた撮像を行い、周囲（被写界）が明るくなった場合には、画素Ｒ，Ｇ，Ｂを用いた撮像を開始することとしてもよい。
【0079】
以上、詳細に説明したように、本第１の実施形態によると、撮像部２０は、撮像素子１００を有し、第１ブロック６１と、当該第１ブロック６１の周辺を撮像可能な第２ブロック６２とを撮像可能であり、システム制御部７０は、第１ブロック６１のフレームレートよりも第２ブロック６２のフレームレートを高く設定する。これにより、本第１の実施形態では、撮像範囲内に動体が侵入してくる可能性が高い箇所（撮像範囲の外縁近傍）を撮像する第２ブロック６２の画素のフレームレートを高く設定することができるため、動体の検出精度（人による動体発見確率）を向上することができる。また、撮像範囲内に侵入してくる動体の速度が早い場合にも対応することが可能である。また、本第１の実施形態では、第２ブロック６２で得られる画像に基づいて、動体検知を行うため、人感センサと異なり、画像認識により精度よく動体検知を行うことができるとともに、動体が検知される前または直後の画像データを取得することもできる。
【0080】
また、本第１の実施形態では、第１、第２ブロックに含まれる単位グループに赤外光を撮像する画素ＩＲが含まれているので、暗い場合や、逆光の場合、サングラスをしている人の顔（目）を撮像したい場合などにおいて、適切な撮像を行うことが可能である。
【0081】
なお、上記第１の実施形態では、ステップＳ１２において、第１ブロック６１の撮像と、第２ブロック６２の撮像とを同時に開始する場合について説明したが、これに限られるものではない。例えば、ステップＳ１２では、第２ブロック６２の撮像を開始し、第２ブロック６２で動体が検知された場合（ステップＳ１４の判断が肯定された場合）に、第１ブロック６１の撮像を開始してもよい。すなわち、第２ブロック６２の撮像開始タイミングを第１ブロック６１の撮像開始タイミングよりも早いタイミングに設定してもよい。このようにしても、第２ブロック６２の撮像画像から動体検出をすることができるので、第１ブロック６１の撮像開始タイミングを遅らせることにより、消費電力の低減を図ることが可能となる。
【0082】
なお、上記第１の実施形態では、全ての単位グループ１３１に赤外光を撮像する画素ＩＲが含まれる場合について説明したが、これに限らず、少なくとも一つの単位グループに画素ＩＲが含まれていればよい。例えば、図９のステップＳ５４において設定される第１、第２ブロックのいずれか一方のブロックに含まれる単位グループに画素ＩＲが含まれていてもよい。
【0083】
なお、上記第１の実施形態では、システム制御部７０は、第１ブロック６１の撮像及び第２ブロック６２の撮像におけるフレームレートを異ならせる場合について説明したが、これに限られるものではない。システム制御部７０は、第１ブロック６１と第２ブロック６２とでその他の撮像条件を異ならせることとしてもよい。例えば、システム制御部７０は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）や撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）等を、ブロック毎に異ならせることとしてもよい。
【0084】
なお、上記第１の実施形態では、ステップＳ１６において、図１１に示すように動体を撮像可能な所定範囲を第２ブロック６２とし、第２ブロック６２を動体に追従させる場合について説明したが、これに限られるものではない。例えば、ステップＳ１６においては、撮像範囲の全範囲を第２ブロック６２に設定してもよい。すなわち、撮像範囲の全範囲において高フレームレートでの撮像を行うようにしてもよい。
【0085】
なお、上記第１の実施形態では、図１０（ａ）のようなブロックの指定を管理者の入力に応じて行う場合について説明したが、これに限られるものではない。例えば、システム制御部７０が画像から通路や道路を認識できた場合や、所定期間撮像した結果、動体（人等）が侵入してくる可能性が高い範囲を認識できた場合には、システム制御部７０が、該認識結果に基づいて、図１０（ａ）のようなブロックの設定を自動的に行うこととしてもよい。
【0086】
【0087】
図１２には、第２の実施形態に係る監視カメラ１’の構成が示されている。監視カメラ１’は、第１の実施形態の監視カメラ１の構成に加え、被写界に赤外光を照射する照射装置９０を備えている。
【0088】
照射装置９０は、図１２に示すように、第１照射部９２と、第２照射部９４と、切り替え制御部９６とを備える。第１照射部９２は、例えば、図１３に示すように、監視カメラ１’の被写界の外周縁の領域（ハッチングを付して示す領域）に対して赤外光を照射する。一方、第２照射部９４は、例えば、監視カメラ１’の被写界の全域に対して赤外光を照射する。切り替え制御部９６は、システム制御部７０の指示の下、第１照射部９２による赤外光の照射と第２照射部９４による赤外光の照射を切り替える。なお、第１照射部９２と第２照射部９４の照射量（光量）は同一であってもよいが、本第２の実施形態では、第１照射部９２よりも第２照射部９４の方の照射量を大きくしているものとする。
【0089】
次に、本第２の実施形態による処理について、図１４に基づいて説明する。
【0090】
図１４には、本第２の実施形態のシステム制御部７０の処理が示されている。なお、図１４の処理のうち、第１の実施形態の処理（図８の処理）と異なる処理・判断は、太線にて示している。以下、図８と異なる部分を中心に説明する。
【0091】
図１４の処理では、ステップＳ８において、システム制御部７０は、照度計６４の検出結果に基づいて、監視カメラ１’周辺が所定以上の暗さであるか否かを判断する。このステップＳ８の判断が肯定された場合には、ステップＳ１０’に移行するが、否定された場合には、第１の実施形態の処理（図８の処理）に移行する。
【0092】
ステップＳ１０’に移行した場合、システム制御部７０は、ブロック・フレームレート・使用する画素の設定処理を実行する。この処理では、システム制御部７０は、一例として、図１０（ｂ）に示すような撮像範囲の中央に位置する第１ブロック６１と、該第１ブロック６１周辺に位置する第２ブロック６２と、を設定する。また、システム制御部７０は、第１ブロック６１の撮像を低フレームレートで行い、第２ブロック６２の撮像を高フレームレートで行うものとする。更に、システム制御部７０は、第１ブロック６１、第２ブロック６２において、画素ＩＲを用いた撮像を行うものとする。
【0093】
次いで、ステップＳ１１では、システム制御部７０は、第１照射部９２による赤外光の照射を開始する。すなわち、システム制御部７０は、図１３に示す被写界の外周縁の領域に対する赤外光の照射を開始する。次いで、システム制御部７０は、第１の実施形態と同様、ステップＳ１２において撮像を開始する。なお、システム制御部７０は、各画素における感度を受光強度に基づいてそれぞれ最適化し、白トビや黒つぶれを抑制するものとする。
ステップＳ１２の後は、ステップＳ１４において第２ブロック６２において動体が検知されるまで待機し、動体が検知された段階で、ステップＳ１６’において、ブロック・フレームレート・使用する画素の再設定を行う。この場合、図１１のように動体周辺を撮像する単位グループを第２ブロック６２とし、それ以外を第１ブロック６１とする。そして、システム制御部７０は、第１ブロック６１の撮像を低フレームレート、第２ブロック６２の撮像を高フレームレートで維持する。更に、システム制御部７０は、第１ブロック６１、第２ブロック６２において、画素ＩＲ及び画素Ｒ，Ｇ，Ｂを用いた撮像を行うものとする。
ステップＳ１２の後は、ステップＳ１４において第２ブロック６２において動体が検知されるまで待機し、動体が検知された段階で、ステップＳ１６’において、ブロック・フレームレート・使用する画素の再設定を行う。この場合、図１１のように動体周辺を撮像する単位グループを第２ブロック６２とし、それ以外を第１ブロック６１とする。そして、システム制御部７０は、第１ブロック６１の撮像を低フレームレート、第２ブロック６２の撮像を高フレームレートで維持する。更に、システム制御部７０は、第１ブロック６１、第２ブロック６２において、画素ＩＲ及び画素Ｒ，Ｇ，Ｂを用いた撮像を行うものとする。
【0094】
次いで、ステップＳ１７では、システム制御部７０は、第２照射部９４による赤外光の照射を開始する。すなわち、システム制御部７０は、図１３に示す被写界全体に対する赤外光の照射を開始する。
【0095】
ここで、画素ＩＲ及び画素Ｒ，Ｇ，Ｂを用いた撮像結果は、画像処理部３０に送られる。画像処理部３０では、画素ＩＲで撮像された画像と画素Ｒ，Ｇ，Ｂで撮像された画像とを用いて、閲覧に適した画像を生成する。例えば、色が判別可能な画像の閲覧を管理者が要求している場合には、画像処理部３０は、ゲインを上げることで画素Ｒ，Ｇ，Ｂで撮像された画像から色を抽出するとともに、該抽出された色を用いて画素ＩＲで撮像された画像を補正するようにする。これにより、ノイズが少なく、かつ色を判別可能な画像を管理者に対して提供することが可能となる。なお、上記とは逆に、画像処理部３０は、画素ＩＲで撮像された画像から撮像された物体や動体の輪郭を抽出するとともに、該抽出された輪郭を用いて画素Ｒ，Ｇ，Ｂで撮像された画像を補正するようにしてもよい。
【0096】
その後は、システム制御部７０は、ステップＳ１８～Ｓ２４の処理・判断を実行する。そして、ステップＳ２４の判断が否定された場合、すなわち、動体が撮像範囲内に存在しなくなったが、終了ではない場合には、ステップＳ２６’に移行し、システム制御部７０は、第１、第２ブロックの範囲を図１０（ｂ）のように元に戻し、第１照射部９２による赤外光の照射を開始する。その後は、システム制御部７０は、ステップＳ１４に戻り、ステップＳ１４～Ｓ２６’の処理・判断を繰り返し、ステップＳ２４の判断が肯定された段階で、図１４の全処理を終了する。
【0097】
以上、説明したように、本第２の実施形態によると、撮像部２０は、可視光を撮像する画素Ｒ，Ｇ，Ｂと、赤外光を撮像する画素ＩＲとを含む撮像素子１００を有し、システム制御部７０は、画素ＩＲによる撮像開始タイミングを画素Ｒ，Ｇ，Ｂによる撮像開始タイミングよりも早いタイミングとする（Ｓ１０’、Ｓ１６’）。これにより、撮像状況にあわせて、適切な撮像を行うことができる。例えば、本第２の実施形態のように、動体検出がされるまで、画素ＩＲを用いて撮像を行い、動体検出が行われた後は、画素ＩＲと画素Ｒ，Ｇ，Ｂを用いて撮像を行うこととすることで、動体検出が行われるまでは消費電力を低減し、動体検出が行われた後は、色を判別可能な画像を管理者に提供することができるようになる。
【0098】
また、本第２の実施形態では、監視カメラ１が、被写界に赤外光を照射可能な照射装置９０を備えているので、赤外光により照射された動体を画素ＩＲで撮像することができる。これにより、動体（例えば人）に気づかれずに画素ＩＲにより鮮明な画像を撮像することが可能である。
【0099】
また、本第２の実施形態では、照射装置９０の切り替え制御部９６は、第１照射部９２による赤外光の照射と第２照射部９４による赤外光の照射とを切り替えるので、撮像部２０による撮像に合わせて、赤外光の照射範囲を変更することができる。また、本第２の実施形態では、第１照射部９２よりも第２照射部９４の方が照射量を大きくしているので、主に動体検出を行う場合と、主に撮像を行う場合とで、適切な赤外光の照射量とすることができる。
【0100】
また、本第２の実施形態では、システム制御部７０は、画素ＩＲによる撮像結果に応じて、画素Ｒ，Ｇ，Ｂによる撮像を実行する。これにより、例えば、画素ＩＲによる撮像結果から適切なタイミングと判断された場合（例えば、動体が検出された場合）に、画素Ｒ，Ｇ，Ｂによる撮像を実行することで、常に画素Ｒ，Ｇ，Ｂによる撮像を実行する場合に比べ、消費電力を低減することが可能である。
【0101】
また、本第２の実施形態では、第１の実施形態と同様、システム制御部７０は、第１ブロック６１のフレームレートよりも第２ブロック６２のフレームレートを高く設定するので、動体検出や動体の撮像に必要な範囲（第２ブロック６２）の画素のフレームレートを高く設定することができる。これにより、全てを高フレームレートとする場合と比べて、消費電力を低減することが可能となる。
【0102】
また、本第２の実施形態では、画像処理部３０は、第１、第２画素の一方の撮像結果に基づき、第１、第２画素の他方の撮像結果を補正するので、両画素により撮像された画像を用いて、閲覧に適した画像を得ることができる。
【0103】
なお、上記第２の実施形態では、システム制御部７０は、第１ブロックの撮像及び第２ブロックの撮像におけるフレームレートを異ならせる場合について説明したが、これに限られるものではない。第１の実施形態と同様、システム制御部７０は、その他の撮像条件、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数等を、ブロック毎に異ならせることとしてもよい。
【0104】
なお、上記第２の実施形態では、図１４のステップＳ１７’において、被写界の全体に赤外光を照射する場合について説明したが、これに限られるものではない。例えば、第２照射部９４が動体に対してピンポイントで赤外光を照射でき、不図示の駆動部により第２照射部９４の照射位置を変更できる場合には、切り替え制御部９６は、駆動部を制御することで、第２照射部９４が照射する赤外光により動体を追尾するようにしてもよい。なお、第１、第２照射部９２，９４は、赤外光を照射する範囲を変更可能な１つの照射部により実現してもよい。
【0105】
【0106】
なお、図１４のステップＳ１０では、第１ブロック６１を低フレームレートに設定する場合について説明したが、これに限らず、ステップＳ１６に移行するまでの間、第１ブロック６１における撮像を行わない（ＯＦＦする）ようにしてもよい。
【0107】
また、上記第２の実施形態では、ステップＳ１０’において、第１の実施形態と同様、第１、第２ブロックを図１０（ａ）のように設定してもよい。
【0108】
なお、上記各実施形態では、監視カメラ１がネットワーク８０を介して管理装置２と接続されている場合について説明したが、これに限らず、監視カメラ１は、管理装置２と接続されていなくてもよい。この場合、監視カメラ１は、撮像部２０で撮像された画像を表示するための表示部を備えていてもよい。これにより、監視カメラ１において、撮像された画像の確認を行うことが可能となる。
【0109】
なお、上記各実施形態では、単位グループ内の画素が図４、図６に示すような配列である場合について説明したが、これに限られるものではない。例えば、図１５（ａ）、図１５（ｂ）に示すような配列であってもよい。図１５（ａ）は、ベイヤー配列の２つの画素Ｇのうちの１つを画素ＩＲとしたような配列である。また、図１５（ｂ）は、図１５（ａ）の画素ＩＲと画素Ｂの位置を入れ替えたような配列である。このような配列を採用しても、上記各実施形態と同様の効果を得ることができる。
【0110】
なお、上記各実施形態において、単位グループ内の画素ＩＲと、画素Ｒ，Ｇ，Ｂとを併用する場合、画素ＩＲのフレームレートと、画素Ｒ，Ｇ，Ｂのフレームレートを異ならせてもよい。この場合、撮像環境（明るさや逆行等）などに応じて、各画素のフレームレートを決定すればよい。
【0111】
なお、上記各実施形態では、動体が人である場合について説明したがこれに限られるものではない。システム制御部７０は、例えば、人以外の動物、車、災害時に撮像される可能性のあるもの（水や、火等）などを検出することとしてもよい。
【0112】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【0113】
１ 監視カメラ
２０ 撮像部
３０ 画像処理部
６１ 第１ブロック
６２ 第２ブロック
７０ システム制御部
９０ 照射装置
９６ 切り替え制御部
１００ 撮像素子
２０ 撮像部
３０ 画像処理部
６１ 第１ブロック
６２ 第２ブロック
７０ システム制御部
９０ 照射装置
９６ 切り替え制御部
１００ 撮像素子
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】