(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144493
(43)【公開日】2024-10-11
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 25/535 20230101AFI20241003BHJP
H04N 25/40 20230101ALI20241003BHJP
【FI】
H04N25/535
H04N25/40
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2024117494
(22)【出願日】2024-07-23
(62)【分割の表示】P 2023039832の分割
【原出願日】2014-03-25
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110004370
【氏名又は名称】弁理士法人片山特許事務所
(72)【発明者】
【氏名】山口 悟史
(57)【要約】
【課題】使い勝手のよい撮像装置を提供する。
【解決手段】撮像装置は、被写体を検出するための第1信号を出力する第1画素と、行方向において前記第1画素と並んで配置される画素であって、画像を生成するための第2信号を出力する第2画素と、前記第1画素から前記第1信号を読み出すフレームレートと、前記第2画素から前記第2信号を読み出すフレームレートとが異なるフレームレートになるように制御する駆動部とを備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
被写体を検出するための第1信号を出力する第1画素と、
行方向において前記第1画素と並んで配置される画素であって、画像を生成するための第2信号を出力する第2画素と、
前記第1画素から前記第1信号を読み出すフレームレートと、前記第2画素から前記第2信号を読み出すフレームレートとが異なるフレームレートになるように制御する駆動部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
従来、裏面照射型撮像チップと信号処理チップが、複数画素をまとめたセル単位毎にマイクロバンプを介して接続された撮像ユニットが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位毎に撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
【0005】
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の電子機器(1)は、撮像素子(100)を有し、第1領域(61)と、当該第1領域の周辺の第2領域(62)とを撮像可能な撮像部(20)と、前記第1領域を撮像するフレームレートよりも前記第2領域を撮像するフレームレートを高く設定する制御部(70)と、を備えている。
【0007】
本発明の電子機器(1)は、撮像素子(100)を有し、第1領域(61)と、当該第1領域の周辺の第2領域(62)とを撮像可能な撮像部(20)と、前記第2領域の撮像開始タイミングを前記第1領域の撮像開始タイミングよりも早いタイミングに設定する制御部(70)と、を備えている。
【0008】
本発明の電子機器において、前記第2領域を撮像する画素には、赤外光を撮像する画素が含まれていてもよい。また、前記第1領域を撮像する画素には、赤外光を撮像する画素が含まれていてもよい。また、前記制御部は、前記第2領域を撮像する際の撮像条件と、前記第1領域を撮像する際の撮像条件とを異ならせてもよい。また、前記制御部は、前記第2領域の撮像結果に応じて、前記第1領域の撮像を実行することとしてもよい。この場合、前記制御部は、前記第2領域に存在する動体を撮像した場合に、前記第1領域の撮像を実行することとしてもよい。
【0009】
本発明の電子機器(1)は、可視光を撮像する第1画素(R,G,B)と、赤外光を撮像する第2画素(IR)とを含む撮像素子(100)を有する撮像部(20)と、前記第2画素による撮像開始タイミングを前記第1画素による撮像開始タイミングよりも早いタイミングに設定する制御部(70)と、を備えている。
【0010】
この場合において、電子機器(1)は、被写界に赤外光を照射可能な照射部(90)を備えていてもよい。この場合、前記照射部が前記赤外光を照射する範囲を変更する変更部(96)を備えていてもよい。また、前記制御部は、前記第2画素による撮像を実行している間の、前記第1画素による撮像を制限することとしてもよい。また、前記制御部は、前記第2画素による撮像結果に応じて、前記第1画素による撮像を実行することとしてもよい。また、前記撮像部は、第1領域(61)と、当該第1領域の周辺の第2領域(62)と、を撮像し、前記制御部は、前記第1領域を撮像する際の撮像条件と、前記第2領域を撮像する際の撮像条件を異ならせることとしてもよい。この場合、前記制御部は、前記第1領域を撮像する際のゲインと、前記第2領域を撮像する際のゲインとを異ならせてもよい。
【0011】
また、電子機器は、前記第1、第2画素の一方の撮像結果に基づき、前記第1、第2画素の他方の撮像結果を補正する補正部(30)を備えていてもよい。更に、前記第1画素により撮像された画像と、前記第2画素により撮像された画像とを表示する表示部を備えていてもよい。
【0012】
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【発明の効果】
【0013】
本発明の撮像装置は、使い勝手を向上することができるという効果を奏する。
【図面の簡単な説明】
【0014】
【
図1】第1の実施形態に係る監視カメラシステムの構成を示す図である。
【
図4】撮像チップの画素配列と単位グループを説明する図である。
【
図6】単位グループにおける画素の接続関係を示す回路図である。
【
図7】撮像素子の機能的構成を示すブロック図である。
【
図8】第1の実施形態に係る監視カメラの処理を示すフローチャートである。
【
図9】
図8のステップS10の処理を示すフローチャートである。
【
図11】
図8のステップS16を説明するための図である。
【
図12】第2の実施形態に係る監視カメラの構成を示す図である。
【
図13】照射装置の機能を説明するための図である。
【
図14】第2の実施形態に係る監視カメラの処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
≪第1の実施形態≫
以下、第1の実施形態に係る監視カメラシステム200について、
図1~
図11に基づいて詳細に説明する。
図1には、本第1の実施形態に係る監視カメラシステム200の構成が概略的に示されている。
【0016】
図1に示すように、監視カメラシステム200は、複数の監視カメラ1と、管理装置2と、を備える。監視カメラ1と管理装置2は、LAN(Local Area Network)などのネットワーク80に接続されている。
【0017】
監視カメラ1は、ビル内や路上などを監視するために用いられるカメラであり、
図2に示すような構成を有する。監視カメラ1は、
図2に示すように、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部50、記録部60、システム制御部70、通信部63、及び照度計64を備えている。
【0018】
レンズ部10は、複数のレンズ群から構成された撮像光学系である。レンズ部10は、被写体からの光束を撮像部20へ導く。なお、レンズ部10は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
【0019】
撮像部20は、撮像素子100と、駆動部21とを有する。撮像素子100は、取得した画素信号を画像処理部30へ引き渡す。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。なお、撮像素子100の具体的構成、及び駆動部21による撮像素子100の具体的な駆動制御については、後述する。
【0020】
画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。画像処理部30は、第1画像処理部30Aと、第2画像処理部30Bと、を有する。本実施形態においては、後述するように、システム制御部70は、撮像素子100の画素領域(撮像領域)を一例として第1、第2ブロック(領域)に分割する。また、システム制御部70は、第1、第2ブロックで異なる撮像条件によって撮像を行うように撮像素子100を駆動制御する。この場合、例えば、第1画像処理部30Aは、第1ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部30Bは、第2ブロックに含まれる画素からの信号の画像処理を実行する。なお、撮像素子100の画素領域(撮像領域)は、2つのブロックに分割される場合に限らず、3つ以上のブロックに分割されてもよい。この場合、各ブロックについての画像処理は、適宜、第1、第2画像処理部30A、30Bに割り当てられる。
【0021】
画像処理部30は、種々の画像処理を実行する。例えば、画像処理部30は、撮像素子100で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。
【0022】
画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。また、画像処理部30は、撮像部20から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを算出する。そして、画像処理部30は、算出した1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。
【0023】
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。
【0024】
操作部50は、使用者によって操作されるスイッチなどである。操作部50は、使用者による操作に応じた信号をシステム制御部70に出力する。なお、操作部50は、タッチパネルを含んでいてもよい。
【0025】
記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。なお、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
【0026】
システム制御部70は、監視カメラ1の全体の処理及び動作を統括的に制御する。システム制御部70はCPU(Central Processing Unit)70Aを有する。本実施形態において、システム制御部70は、撮像素子100の撮像面を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
【0027】
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、通信部63に指示を出し、ネットワーク80(
図1参照)を介して、管理装置2と通信する。システム制御部70は、管理装置2に対して、画像処理部30において生成された画像データ等を送信する。
【0028】
照度計64は、監視カメラ1周辺の照度を検出する。照度計64の検出結果は、システム制御部70に入力される。
【0029】
次に、撮像素子100について、
図3~
図7に基づいて詳細に説明する。本第1の実施形態の撮像素子100は、積層型撮像素子である。
【0030】
図3には、撮像素子100の断面図が示されている。
図3に示すように、撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
【0031】
なお、
図3に示すように、入射光は主に白抜き矢印で示す方向へ向かって入射する。本第1の実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。
【0032】
撮像チップ113は、一例として、裏面照射型のMOSイメージセンサであり、PD層106、配線層108等を有する。
【0033】
PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
【0034】
PD層106における入射光の入射側にはパッシベーション膜103を介してフィルタ部102が設けられている。フィルタ部102は、カラーフィルタと、赤外光透過フィルタとを有する。カラーフィルタは、可視光のうち特定の波長領域を通過させるフィルタであり、互いに異なる波長領域を透過する複数の種類を有している。また、赤外光透過フィルタは、入射光のうち赤外光成分を透過させるフィルタである。カラーフィルタと赤外光透過フィルタは、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ及び赤外光フィルタの配列については後述する。なお、フィルタ部102、PD104、及びトランジスタ105の組が一つの画素を形成する。フィルタ部102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
【0035】
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。
【0036】
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。なお、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
【0037】
図4は、撮像チップの画素配列と単位グループ131を説明する図である。
図4は、撮像チップ113を裏面側から見た状態を示す図である。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。
図4に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。なお、
図4の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示している。なお、単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
【0038】
単位グループ131は、画素領域113Aの部分拡大図(
図4の右下図)に示すように、緑色画素G、青色画素B、及び赤色画素R、赤外画素IRの4種類の画素を含む。緑色画素Gは、フィルタ部102(カラーフィルタ)として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、フィルタ部102(カラーフィルタ)として青色フィルタを有する画素であり、青色波長帯の光を受光する。赤色画素Rは、フィルタ部102(カラーフィルタ)として赤色フィルタを有する画素であり、赤色波長帯の光を受光する。赤外画素IRは、フィルタ部102として赤外光透過フィルタを有する画素であり、赤外光を受光する。
【0039】
図5は、各画素の等価回路図を示す図である。なお、以下においては、画素に符号150を付して説明する。各画素150は、上記PD104、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156及び選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は
図3のトランジスタ105に対応する。更に、各画素には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、及び画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャンネル型FETを例として説明するが、トランジスタの種類はこれに限られない。
【0040】
転送トランジスタ152のソース、ゲート、ドレインはそれぞれPD104の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続される。負荷電流源309は、出力配線308に電流を供給する。すなわち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
【0041】
図6は、単位グループ131における画素150の接続関係を示す回路図である。なお、
図6では、転送配線及び出力配線を示しているが、各画素の他の構成は省略して示している。
【0042】
本第1の実施形態では、単位グループ131内で同じ色のカラーフィルタ又は赤外光透過フィルタを有する画素150が画素群を形成する。すなわち、本第1の実施形態では、6つの画素GがG画素群を形成し、4つの画素RがR画素群を形成し、4つの画素BがB画素群を形成し、2つの画素IRがIR画素群を形成する。
【0043】
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。すなわち、G画素群に含まれる画素の転送トランジスタのゲートは共通のG転送配線330に接続され、R画素群に含まれる画素の転送トランジスタのゲートは共通のR転送配線332に接続され、B画素群に含まれる画素の転送トランジスタのゲートは共通のB転送配線334に接続され、IR画素群に含まれる画素の転送トランジスタのゲートは共通のIR転送配線336に接続されている。これにより、駆動部21は、転送トランジスタのゲートを画素群内で一斉に、かつ、画素群間で独立して制御することができる。
【0044】
また、各画素群に含まれる複数の画素間で選択トランジスタの出力側が共通に接続されている。すなわち、G画素群の画素の選択トランジスタの出力側は共通のG出力配線340に接続され、R画素群の画素の選択トランジスタの出力側は共通のR出力配線342に接続され、B画素群の画素の選択トランジスタの出力側は共通のB出力配線344に接続され、IR画素群の画素の選択トランジスタの出力側は共通のIR出力配線346に接続されている。
【0045】
なお、
図6では図示していないが、リセット配線及び電源配線は、単位グループ131で共通である。また、選択配線は、各画素に一対一に16本配され、対応する選択トランジスタのゲートに接続されている。さらに、出力配線には、それぞれ負荷電流源が接続される。
【0046】
以上により、駆動部21は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、駆動部21は、特定の画素群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。
【0047】
図7は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131のG画素群の6個の画素Gを順番に選択して、それぞれの画素信号をG出力配線320等へ出力させる。
【0048】
マルチプレクサ411を介して出力された画素信号は、アンプ416により増幅され、増幅された画素信号は、G出力配線320を介して、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路412により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。A/D変換された画素信号は、G出力配線321を介してデマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
【0049】
同様にマルチプレクサ421、431、441は、単位グループ131のR,B,IR画素群の画素をそれぞれ順番に選択して、各画素の画素信号を出力配線322,324,326へ出力させる。出力配線322,324,326へ出力された画素信号は、アンプ426、436,446により増幅され、信号処理回路422、432,442は、増幅された画素信号に対してCDS及びA/D変換を行う。A/D変換された画素信号は、出力配線323,325,327を介してデマルチプレクサ423,433,443に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
【0050】
なお、マルチプレクサ411,421,431,441はそれぞれ、撮像チップ113上で、
図5の選択トランジスタ158と選択配線306により形成される。アンプ416,426,436,446、及び信号処理回路412,422,432,442は、信号処理チップ111に形成される。デマルチプレクサ413、423,433,443及び画素メモリ414は、メモリチップ112に形成される。
【0051】
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部30に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、
図6では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路415は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路415がそれぞれの単位グループ131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
【0052】
次に、撮像素子100の画素領域113A(
図2参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などが挙げられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0053】
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
【0054】
また、ゲインとは、アンプ416、426,436,446の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
【0055】
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号の読み出しが行われることを意味する。
【0056】
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路415において行われる。演算回路415が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路415が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
【0057】
また、デジタル化のビット数とは、信号処理回路412、422,432,442がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
【0058】
本実施形態では、
図2の駆動部21は、一例として、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ154、転送トランジスタ152、及び選択トランジスタ158に印加するタイミング(又はタイミングの周期)を制御することにより、ブロック毎にフレームレートを制御する。また、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおけるブロックの設定を行う。なお、システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
【0059】
図1に戻り、管理装置2は、PC(Personal Computer)等の端末を含み、監視カメラ1で撮像された画像をネットワーク80を介して収集し、表示する。また、管理装置2は、ユーザ(管理者)からの監視カメラ1の操作や設定に関する指示を受け付けると、ネットワーク80を介して、監視カメラ1に対して指示を送信する。
【0060】
次に、本第1の実施形態の監視カメラ1の処理について、
図8~
図11に基づいて詳細に説明する。
【0061】
図8には、第1の実施形態に係る監視カメラ1の処理がフローチャートにて示されている。なお、
図8の処理は、監視カメラ1に電源が投入され、管理装置2との間の通信が成立した段階で開始される。
【0062】
図8の処理では、ステップS10において、システム制御部70は、ブロック・フレームレート設定処理のサブルーチンを実行する。このステップS10の処理においては、
図9のフローチャートに沿った処理が実行される。なお、ブロック・フレームレート設定処理は、撮像素子100の画素領域113Aを複数のブロックに分け、ブロック毎にフレームレートを設定する処理である。
【0063】
図9の処理において、システム制御部70は、ステップS50において、管理装置2を操作する管理者からブロック設定入力があったか否かを判断する。ここで、管理者は、手入力により、ブロックを設定する場合がある。この場合、管理者は、管理装置2から、あるいは監視カメラ1の操作部50から入力を行う。このように、管理者がブロック設定を行った場合には、ステップS50の判断が肯定されて、ステップS52に移行する。
【0064】
ステップS52に移行すると、システム制御部70は、管理者からの入力に応じてブロック設定を行う。例えば、
図10(a)に示すように、監視カメラ1の撮像範囲内において通路が撮像されているような場合には、人が撮像領域内に侵入してくる可能性の高い領域として、ハッチングを付して示すブロックが管理者によって指定(入力)される場合がある。この場合、システム制御部70は、指定されていない領域を第1ブロック61、指定された領域を第2ブロック62として設定する。その後は、ステップS56に移行する。なお、
図10(a)等では、図示の便宜上、単位グループ131の大きさ(正方形の1マスの大きさ)を大きく表現している。
【0065】
一方、ステップS50の判断が否定された場合、すなわち、管理者からのブロック設定入力がなかった場合には、ステップS54に移行する。ステップS54に移行すると、システム制御部70は、
図10(b)に示すように、画素領域(撮像範囲)の中央部を第1ブロック61として設定するとともに、第1ブロック61の周辺(撮像範囲の外縁部近傍)を第2ブロック62として設定する。その後は、ステップS56に移行する。
【0066】
ステップS52又はS54を経てステップS56に移行すると、システム制御部70は、IR撮像条件と合致するか否かを判断する。ここで、IR撮像条件と合致する場合とは、照度計64の検出結果から、監視カメラ1の周辺が所定以上の暗さであることが判明した場合や、逆光である場合、サングラスをしている人の顔を特定したい旨の要求が管理者から入力された場合などである。なお、逆光であるか否かは、公知の技術(例えば、特開2003-91031号公報等参照)を用いて判断することができる。このステップS56の判断が肯定された場合には、ステップS58に移行し、否定された場合には、ステップS60に移行する。
【0067】
ステップS56の判断が肯定され、ステップS58に移行すると、システム制御部70は、第1ブロック61、第2ブロック62ともにIR撮像を実行すると決定する。すなわち、第1、第2ブロック内に含まれる各単位グループにおいて、画素IRを用いた撮像を実行すると決定する。なお、周囲が暗い場合には、画素IRのみでの撮像を実行することとしてもよいが、逆光の場合やサングラスをしている人の顔を特定したい場合には、画素IRでの撮像とともに画素R,G,Bでの撮像も行うこととしてもよい。
【0068】
一方、ステップS56の判断が否定され、ステップS60に移行すると、システム制御部70は、第1ブロック61、第2ブロック62での可視光撮像を実行すると決定する。なお、システム制御部70は、第1ブロック61、第2ブロック62において可視光撮像とともにIR撮像を行うと決定してもよい。
【0069】
ステップS58又はS60の処理が終了した後は、ステップS62に移行する。ステップS62に移行すると、システム制御部70は、第1ブロック61内の画素による撮像を低フレームレートに設定し、第2ブロック62内の画素による撮像を高フレームレートに設定する。
【0070】
以上により、
図9の処理が終了すると、
図8のステップS12に移行する。
【0071】
図8に戻り、ステップS12では、システム制御部70は、第1ブロック61及び第2ブロック62が設定され、各ブロックのフレームレートが設定された撮像素子100を用いた撮像を開始する。なお、システム制御部70は、駆動部21に対して、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ154、転送トランジスタ152、及び選択トランジスタ158に印加するタイミング(又はタイミングの周期)を制御する指示を出すことにより、ブロック毎にフレームレートを制御する。
【0072】
なお、ステップS12では、システム制御部70は、画像処理部30に指示を出し、第2ブロック62で撮像される画像を用いた動体検知処理を実行させる。この場合、画像処理部30は、直前に取得された画像との比較等を行うことで、動体を検知する。ここで、第2ブロック62に設定されている範囲は、人などの動体が撮像範囲内に侵入してくる可能性が高い範囲である。したがって、この第2ブロック62のフレームレートを第1ブロック61のフレームレートよりも高く設定しておくことで、画像処理部30による動体検知を精度よく行うことができる。また、動体が存在しない可能性が高い範囲を撮像する第1ブロック61のフレームレートを低く設定しておいても問題がないため、消費電力の低減等を図ることが可能となる。
【0073】
また、システム制御部70は、ステップS12においては、通信部63を介して、管理装置2に対して撮像データを送信する。管理装置2では、受信した撮像データをディスプレイ等に表示するため、管理者は、監視カメラ1で撮像された画像を見ることが可能となる。この場合、人などの動体が撮像範囲に侵入してくる可能性の高いブロック(第2ブロック62)を高フレームレートとしているので、管理者は動体を発見しやすくなる。また、例えば監視カメラ1の周辺が暗い場合には、第2ブロック62の画素IRを用いた撮像が行われるため(S58)、暗い場合であっても管理者は動体を確実に発見することができる。
【0074】
次いで、ステップS14では、システム制御部70は、画像処理部30から第2ブロック62で動体が検知されたことが通知されるまで待機する。すなわち、動体が検知されるまでは、システム制御部70は、ステップS10で設定されたブロック及びフレームレートでの撮像を継続する。そして、第2ブロック62において動体が検知されたことが、画像処理部30から通知されると、システム制御部70は、ステップS16に移行し、ブロック・フレームレートの再設定を行う。具体的には、
図11に示すように、システム制御部70は、動体(
図11では人)が含まれる範囲を第2ブロック62に設定し、その他の範囲を第1ブロック61に設定する。なお、システム制御部70は、第2ブロック62のフレームレートは高く維持し、第1ブロック61のフレームレートは低く維持する。
【0075】
次いで、ステップS18では、システム制御部70は、第1ブロック61を動体に追従させる。すなわち、システム制御部70は、画像処理部30から得られる画像内の動体の動きに合わせて、第1ブロック61に含まれるべき画素(単位グループ131)と、第2ブロック62に含まれるべき画素(単位グループ131)とを随時異ならせるようにする。
【0076】
次いで、ステップS20では、システム制御部70は、記録部60に指示を出し、画像データの記録を開始する。なお、画像データの記録は、ステップS12の直後から開始してもよいが、本実施形態では、動体を検出した後から開始することとしている。これにより、動体が撮像されている画像のみを記録することができる。ここで、第2ブロック62は動体に追従しており、該第2ブロック62では高フレームレートで動体が撮像されることから、動体の様子を高画質で撮像・記録することが可能である。これにより、管理装置2を利用する管理者による、動体の監視等を行いやすくすることができる。なお、画像処理部30では、画素R,G,Bの画像データを記録する場合において、画素IRの位置に画素Gが存在した場合に得られるであろう画素信号を、近傍の画素Gの画像信号を用いて補間するものとする。
【0077】
次いで、ステップS22では、システム制御部70は、動体が画像内(被写界内)から存在しなくなるまで待機する。そして、動体が撮像範囲から外れた場合には、ステップS24に移行し、システム制御部70は、終了か否かを判断する。なお、システム制御部70は、終了か否かを、管理者が管理装置2あるいは操作部50から終了指示を入力したか否かにより判断する。ここでの判断が否定された場合、すなわち、終了でない場合には、ステップS26に移行し、システム制御部70は、第1、第2ブロックをステップS10で設定した状態(
図10(a)又は
図10(b)の状態)に戻し、ステップS14に戻る。以降は、ステップS24の判断が肯定されるまで、ステップS14~S26の処理・判断を繰り返す。
【0078】
なお、
図8、
図9の処理では、IR撮像条件と合致するか否かを常時モニタし、該モニタ結果に基づいて、撮像に用いる画素を切り替えることとしてもよい。例えば、周囲(被写界)が暗い場合には、画素IRを用いた撮像を行い、周囲(被写界)が明るくなった場合には、画素R,G,Bを用いた撮像を開始することとしてもよい。
【0079】
以上、詳細に説明したように、本第1の実施形態によると、撮像部20は、撮像素子100を有し、第1ブロック61と、当該第1ブロック61の周辺を撮像可能な第2ブロック62とを撮像可能であり、システム制御部70は、第1ブロック61のフレームレートよりも第2ブロック62のフレームレートを高く設定する。これにより、本第1の実施形態では、撮像範囲内に動体が侵入してくる可能性が高い箇所(撮像範囲の外縁近傍)を撮像する第2ブロック62の画素のフレームレートを高く設定することができるため、動体の検出精度(人による動体発見確率)を向上することができる。また、撮像範囲内に侵入してくる動体の速度が早い場合にも対応することが可能である。また、本第1の実施形態では、第2ブロック62で得られる画像に基づいて、動体検知を行うため、人感センサと異なり、画像認識により精度よく動体検知を行うことができるとともに、動体が検知される前または直後の画像データを取得することもできる。
【0080】
また、本第1の実施形態では、第1、第2ブロックに含まれる単位グループに赤外光を撮像する画素IRが含まれているので、暗い場合や、逆光の場合、サングラスをしている人の顔(目)を撮像したい場合などにおいて、適切な撮像を行うことが可能である。
【0081】
なお、上記第1の実施形態では、ステップS12において、第1ブロック61の撮像と、第2ブロック62の撮像とを同時に開始する場合について説明したが、これに限られるものではない。例えば、ステップS12では、第2ブロック62の撮像を開始し、第2ブロック62で動体が検知された場合(ステップS14の判断が肯定された場合)に、第1ブロック61の撮像を開始してもよい。すなわち、第2ブロック62の撮像開始タイミングを第1ブロック61の撮像開始タイミングよりも早いタイミングに設定してもよい。このようにしても、第2ブロック62の撮像画像から動体検出をすることができるので、第1ブロック61の撮像開始タイミングを遅らせることにより、消費電力の低減を図ることが可能となる。
【0082】
なお、上記第1の実施形態では、全ての単位グループ131に赤外光を撮像する画素IRが含まれる場合について説明したが、これに限らず、少なくとも一つの単位グループに画素IRが含まれていればよい。例えば、
図9のステップS54において設定される第1、第2ブロックのいずれか一方のブロックに含まれる単位グループに画素IRが含まれていてもよい。
【0083】
なお、上記第1の実施形態では、システム制御部70は、第1ブロック61の撮像及び第2ブロック62の撮像におけるフレームレートを異ならせる場合について説明したが、これに限られるものではない。システム制御部70は、第1ブロック61と第2ブロック62とでその他の撮像条件を異ならせることとしてもよい。例えば、システム制御部70は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)や撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率)、撮像素子100からの信号を処理するための制御パラメータ(例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)等を、ブロック毎に異ならせることとしてもよい。
【0084】
なお、上記第1の実施形態では、ステップS16において、
図11に示すように動体を撮像可能な所定範囲を第2ブロック62とし、第2ブロック62を動体に追従させる場合について説明したが、これに限られるものではない。例えば、ステップS16においては、撮像範囲の全範囲を第2ブロック62に設定してもよい。すなわち、撮像範囲の全範囲において高フレームレートでの撮像を行うようにしてもよい。
【0085】
なお、上記第1の実施形態では、
図10(a)のようなブロックの指定を管理者の入力に応じて行う場合について説明したが、これに限られるものではない。例えば、システム制御部70が画像から通路や道路を認識できた場合や、所定期間撮像した結果、動体(人等)が侵入してくる可能性が高い範囲を認識できた場合には、システム制御部70が、該認識結果に基づいて、
図10(a)のようなブロックの設定を自動的に行うこととしてもよい。
【0086】
≪第2の実施形態≫
次に、第2の実施形態について、
図12~
図14に基づいて説明する。
【0087】
図12には、第2の実施形態に係る監視カメラ1’の構成が示されている。監視カメラ1’は、第1の実施形態の監視カメラ1の構成に加え、被写界に赤外光を照射する照射装置90を備えている。
【0088】
照射装置90は、
図12に示すように、第1照射部92と、第2照射部94と、切り替え制御部96とを備える。第1照射部92は、例えば、
図13に示すように、監視カメラ1’の被写界の外周縁の領域(ハッチングを付して示す領域)に対して赤外光を照射する。一方、第2照射部94は、例えば、監視カメラ1’の被写界の全域に対して赤外光を照射する。切り替え制御部96は、システム制御部70の指示の下、第1照射部92による赤外光の照射と第2照射部94による赤外光の照射を切り替える。なお、第1照射部92と第2照射部94の照射量(光量)は同一であってもよいが、本第2の実施形態では、第1照射部92よりも第2照射部94の方の照射量を大きくしているものとする。
【0089】
次に、本第2の実施形態による処理について、
図14に基づいて説明する。
【0090】
図14には、本第2の実施形態のシステム制御部70の処理が示されている。なお、
図14の処理のうち、第1の実施形態の処理(
図8の処理)と異なる処理・判断は、太線にて示している。以下、
図8と異なる部分を中心に説明する。
【0091】
図14の処理では、ステップS8において、システム制御部70は、照度計64の検出結果に基づいて、監視カメラ1’周辺が所定以上の暗さであるか否かを判断する。このステップS8の判断が肯定された場合には、ステップS10’に移行するが、否定された場合には、第1の実施形態の処理(
図8の処理)に移行する。
【0092】
ステップS10’に移行した場合、システム制御部70は、ブロック・フレームレート・使用する画素の設定処理を実行する。この処理では、システム制御部70は、一例として、
図10(b)に示すような撮像範囲の中央に位置する第1ブロック61と、該第1ブロック61周辺に位置する第2ブロック62と、を設定する。また、システム制御部70は、第1ブロック61の撮像を低フレームレートで行い、第2ブロック62の撮像を高フレームレートで行うものとする。更に、システム制御部70は、第1ブロック61、第2ブロック62において、画素IRを用いた撮像を行うものとする。
【0093】
次いで、ステップS11では、システム制御部70は、第1照射部92による赤外光の照射を開始する。すなわち、システム制御部70は、
図13に示す被写界の外周縁の領域に対する赤外光の照射を開始する。次いで、システム制御部70は、第1の実施形態と同様、ステップS12において撮像を開始する。なお、システム制御部70は、各画素における感度を受光強度に基づいてそれぞれ最適化し、白トビや黒つぶれを抑制するものとする。
ステップS12の後は、ステップS14において第2ブロック62において動体が検知されるまで待機し、動体が検知された段階で、ステップS16’において、ブロック・フレームレート・使用する画素の再設定を行う。この場合、
図11のように動体周辺を撮像する単位グループを第2ブロック62とし、それ以外を第1ブロック61とする。そして、システム制御部70は、第1ブロック61の撮像を低フレームレート、第2ブロック62の撮像を高フレームレートで維持する。更に、システム制御部70は、第1ブロック61、第2ブロック62において、画素IR及び画素R,G,Bを用いた撮像を行うものとする。
【0094】
次いで、ステップS17では、システム制御部70は、第2照射部94による赤外光の照射を開始する。すなわち、システム制御部70は、
図13に示す被写界全体に対する赤外光の照射を開始する。
【0095】
ここで、画素IR及び画素R,G,Bを用いた撮像結果は、画像処理部30に送られる。画像処理部30では、画素IRで撮像された画像と画素R,G,Bで撮像された画像とを用いて、閲覧に適した画像を生成する。例えば、色が判別可能な画像の閲覧を管理者が要求している場合には、画像処理部30は、ゲインを上げることで画素R,G,Bで撮像された画像から色を抽出するとともに、該抽出された色を用いて画素IRで撮像された画像を補正するようにする。これにより、ノイズが少なく、かつ色を判別可能な画像を管理者に対して提供することが可能となる。なお、上記とは逆に、画像処理部30は、画素IRで撮像された画像から撮像された物体や動体の輪郭を抽出するとともに、該抽出された輪郭を用いて画素R,G,Bで撮像された画像を補正するようにしてもよい。
【0096】
その後は、システム制御部70は、ステップS18~S24の処理・判断を実行する。そして、ステップS24の判断が否定された場合、すなわち、動体が撮像範囲内に存在しなくなったが、終了ではない場合には、ステップS26’に移行し、システム制御部70は、第1、第2ブロックの範囲を
図10(b)のように元に戻し、第1照射部92による赤外光の照射を開始する。その後は、システム制御部70は、ステップS14に戻り、ステップS14~S26’の処理・判断を繰り返し、ステップS24の判断が肯定された段階で、
図14の全処理を終了する。
【0097】
以上、説明したように、本第2の実施形態によると、撮像部20は、可視光を撮像する画素R,G,Bと、赤外光を撮像する画素IRとを含む撮像素子100を有し、システム制御部70は、画素IRによる撮像開始タイミングを画素R,G,Bによる撮像開始タイミングよりも早いタイミングとする(S10’、S16’)。これにより、撮像状況にあわせて、適切な撮像を行うことができる。例えば、本第2の実施形態のように、動体検出がされるまで、画素IRを用いて撮像を行い、動体検出が行われた後は、画素IRと画素R,G,Bを用いて撮像を行うこととすることで、動体検出が行われるまでは消費電力を低減し、動体検出が行われた後は、色を判別可能な画像を管理者に提供することができるようになる。
【0098】
また、本第2の実施形態では、監視カメラ1が、被写界に赤外光を照射可能な照射装置90を備えているので、赤外光により照射された動体を画素IRで撮像することができる。これにより、動体(例えば人)に気づかれずに画素IRにより鮮明な画像を撮像することが可能である。
【0099】
また、本第2の実施形態では、照射装置90の切り替え制御部96は、第1照射部92による赤外光の照射と第2照射部94による赤外光の照射とを切り替えるので、撮像部20による撮像に合わせて、赤外光の照射範囲を変更することができる。また、本第2の実施形態では、第1照射部92よりも第2照射部94の方が照射量を大きくしているので、主に動体検出を行う場合と、主に撮像を行う場合とで、適切な赤外光の照射量とすることができる。
【0100】
また、本第2の実施形態では、システム制御部70は、画素IRによる撮像結果に応じて、画素R,G,Bによる撮像を実行する。これにより、例えば、画素IRによる撮像結果から適切なタイミングと判断された場合(例えば、動体が検出された場合)に、画素R,G,Bによる撮像を実行することで、常に画素R,G,Bによる撮像を実行する場合に比べ、消費電力を低減することが可能である。
【0101】
また、本第2の実施形態では、第1の実施形態と同様、システム制御部70は、第1ブロック61のフレームレートよりも第2ブロック62のフレームレートを高く設定するので、動体検出や動体の撮像に必要な範囲(第2ブロック62)の画素のフレームレートを高く設定することができる。これにより、全てを高フレームレートとする場合と比べて、消費電力を低減することが可能となる。
【0102】
また、本第2の実施形態では、画像処理部30は、第1、第2画素の一方の撮像結果に基づき、第1、第2画素の他方の撮像結果を補正するので、両画素により撮像された画像を用いて、閲覧に適した画像を得ることができる。
【0103】
なお、上記第2の実施形態では、システム制御部70は、第1ブロックの撮像及び第2ブロックの撮像におけるフレームレートを異ならせる場合について説明したが、これに限られるものではない。第1の実施形態と同様、システム制御部70は、その他の撮像条件、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数等を、ブロック毎に異ならせることとしてもよい。
【0104】
なお、上記第2の実施形態では、
図14のステップS17’において、被写界の全体に赤外光を照射する場合について説明したが、これに限られるものではない。例えば、第2照射部94が動体に対してピンポイントで赤外光を照射でき、不図示の駆動部により第2照射部94の照射位置を変更できる場合には、切り替え制御部96は、駆動部を制御することで、第2照射部94が照射する赤外光により動体を追尾するようにしてもよい。なお、第1、第2照射部92,94は、赤外光を照射する範囲を変更可能な1つの照射部により実現してもよい。
【0105】
なお、
図14の処理において、監視カメラ1の周辺が所定の明るさになった場合には、システム制御部70は、ステップS10~S26’の処理を行っている場合でも、強制的に
図8の処理を実行するようにしてもよい。
【0106】
なお、
図14のステップS10では、第1ブロック61を低フレームレートに設定する場合について説明したが、これに限らず、ステップS16に移行するまでの間、第1ブロック61における撮像を行わない(OFFする)ようにしてもよい。
【0107】
また、上記第2の実施形態では、ステップS10’において、第1の実施形態と同様、第1、第2ブロックを
図10(a)のように設定してもよい。
【0108】
なお、上記各実施形態では、監視カメラ1がネットワーク80を介して管理装置2と接続されている場合について説明したが、これに限らず、監視カメラ1は、管理装置2と接続されていなくてもよい。この場合、監視カメラ1は、撮像部20で撮像された画像を表示するための表示部を備えていてもよい。これにより、監視カメラ1において、撮像された画像の確認を行うことが可能となる。
【0109】
なお、上記各実施形態では、単位グループ内の画素が
図4、
図6に示すような配列である場合について説明したが、これに限られるものではない。例えば、
図15(a)、
図15(b)に示すような配列であってもよい。
図15(a)は、ベイヤー配列の2つの画素Gのうちの1つを画素IRとしたような配列である。また、
図15(b)は、
図15(a)の画素IRと画素Bの位置を入れ替えたような配列である。このような配列を採用しても、上記各実施形態と同様の効果を得ることができる。
【0110】
なお、上記各実施形態において、単位グループ内の画素IRと、画素R,G,Bとを併用する場合、画素IRのフレームレートと、画素R,G,Bのフレームレートを異ならせてもよい。この場合、撮像環境(明るさや逆行等)などに応じて、各画素のフレームレートを決定すればよい。
【0111】
なお、上記各実施形態では、動体が人である場合について説明したがこれに限られるものではない。システム制御部70は、例えば、人以外の動物、車、災害時に撮像される可能性のあるもの(水や、火等)などを検出することとしてもよい。
【0112】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【0113】
1 監視カメラ
20 撮像部
30 画像処理部
61 第1ブロック
62 第2ブロック
70 システム制御部
90 照射装置
96 切り替え制御部
100 撮像素子