特開 2022-189835 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189835

(43)【公開日】2022-12-22

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221215BHJP

   H04N 5/225 20060101ALI20221215BHJP

   H04N 9/07 20060101ALI20221215BHJP

   G03B 19/06 20210101ALI20221215BHJP

   G03B 19/07 20210101ALI20221215BHJP

   G03B 35/08 20210101ALI20221215BHJP

   G03B 17/02 20210101ALI20221215BHJP

   G03B 15/00 20210101ALN20221215BHJP

【ＦＩ】

H04N5/232 300

H04N5/225 800

H04N5/232 290

H04N9/07 D

G03B19/06

G03B19/07

G03B35/08

G03B17/02

G03B15/00 V

G03B15/00 S

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022160382

(22)【出願日】2022-10-04

(62)【分割の表示】P 2020117477の分割

【原出願日】2016-06-03

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】大野 千代

(72)【発明者】

【氏名】大坪 宏安

(72)【発明者】

【氏名】石崎 修

(57)【要約】

【課題】可視画像と赤外画像の両方が撮影可能であり、可視光撮影時の色再現性を向上して高品質な画像を撮像可能な技術を提供すること。
【解決手段】可視画像と赤外画像の両方でステレオ撮影可能で、可視光撮影時の色再現性を向上することができる撮像システムを提供する。撮像システムは、２つの撮像センサ１２と、可視光帯域と、第２の波長帯域に透過特性を有するとともに、２つの撮像センサにそれぞれ対応して２つ設けられ光学フィルタであるＤＢＰＦを備える。撮像システムは、可視光帯域における波長に応じた分光透過特性が互いに異なるとともに第２の波長帯域における透過率が互いに近似する少なくとも４種類のフィルタ部を有するとともに、２つの撮像センサにそれぞれ対応して２つ設けられたカラーフィルタを備える。撮像システムは、２つの可視または赤外画像信号に基づき対象までの距離を測定する。
【選択図】図８

【特許請求の範囲】

【請求項1】

２つの撮像素子と、
前記２つの撮像素子のそれぞれに対応して設けられ、少なくとも、可視光波長領域と赤外波長領域とを透過する特性を有し、前記特性に基づき前記２つの撮像素子のそれぞれに入射される光をフィルタリングする２つのフィルタ部と、
前記フィルタ部を通過した光を前記撮像素子で撮像して得られた信号を処理して可視光信号と赤外信号とを出力する２つの信号処理部と、
前記２つの信号処理部によって出力される２つの前記可視光信号又は２つの前記赤外信号を用いて、対象物までの距離を算出する距離算出部と、
前記信号処理部から信号出力制御部に出力される前記可視光信号に基づく第１のデータ、もしくは前記赤外信号に基づく第３のデータに、前記距離算出部により生成される距離画像に基づく第２のデータを付加し又は掛け合わせ、前記付加された又は掛け合わされた第１のデータ又は第３のデータを外部に送信する信号出力制御部と、
を備え、
時刻または周囲の環境に応じて、前記信号出力制御部が外部に送信するデータを、前記付加された又は掛け合わされた第１のデータか、前記付加された又は掛け合わされた第３のデータかに自動的に切り替える、
撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および撮像システムに関する。

【背景技術】

【0002】

近年、画像認識技術と生体認証との組み合わせにより、犯罪者や万引き犯、テロリストなどを顔認証で検知する監視カメラや、自動車の自動運転に使用される車載カメラの開発が進められている。

【0003】

例えば、監視カメラでは、ステレオカメラを用いて距離検出を行い、不審者の侵入を検出するシステムが知られている（特許文献１参照）。特許文献１には、物体の形状や距離を計測する方法として、「ステレオ画像を用いた距離計測用画像認識装置」が記載されており、ステレオ画像から距離を求めるステレオ法と呼ばれる技術が知られている。このステレオ法は、まずステレオ画像と呼ばれる左右２枚の画像を入力し、画像中の特徴量の計算により左右画像の対応点（左画像のある位置の対象物体が、右画像ではどこの位置に写っているか）を求める。対応点の求め方の詳細は、例えば。特許文献２に「画像マッチング方法」として記載されている。そして、左右２枚の画像の対応点が求められると、三角測量の原理で物体表面までの距離を計算できるため、物体までの距離や物体表面の形状を知ることができる。

【0004】

また、特許文献１には、ステレオ画像の既知の対応関係を利用することで、高精度かつ高速に動物体を検出しその形状や距離を測定することができる動物体認識装置が提案されている。

【0005】

監視カメラや自動運転用カメラでは、屋外と屋内、昼と夜など場所や時間によらず撮影が必要になるが、状況によっては十分な照明が得られない場合がある。この場合、人間には見えない赤外照明を用いて赤外撮影することが考えられる。また、自動運転用カメラにおいても、夜間の対向車へのヘッドライトの影響を考慮して、遠方を照らす照明として赤外光を用いて赤外撮影を行うことが考えられる。いずれにしろ、可視光の光量が十分である可能性が高い昼間は照明無しで可視光撮影し、夜間照明を必要とする場合に人間の目には見え難い赤外照明を用いて赤外撮影を行うことが考えられる。

【0006】

このような状況を考慮すると、監視カメラや自動運転用カメラでは、カメラが可視光と赤外光との撮影を併用できることが好ましい。

【0007】

昼夜連続で撮影を行う監視カメラ等の撮像装置においては、夜間時には赤外光を検出して撮影することが行われている。ＣＣＤセンサやＣＭＯＳセンサといった撮像センサの受光部であるフォトダイオード（受光素子）は、１３００ｎｍ程度の近赤外の波長帯域まで受光可能であるため、これらの撮像センサを用いた撮像装置であれば、赤外帯域まで撮影することが原理的に可能である。

【0008】

なお、人間の視感度が高い光の波長帯域は４００ｎｍ～７００ｎｍであることから、撮像センサにおいて近赤外光を検出すると、人間の目には映像が赤みを増して見えることになる。このため、昼間や屋内の明るい場所での撮影時は、撮像センサの感度を人間の視感度に合わせるために、撮像センサの前に赤外帯域の光を遮断する赤外カットフィルタを設けて、波長が７００ｎｍ以上の光を除去することが望ましい。一方、夜間や暗い場所での撮影時には、赤外カットフィルタを設けずに撮影を行う必要がある。

【0009】

このような撮像装置としては、手動で赤外カットフィルタの取り付け・取り外しを行う撮像装置や、自動的に赤外カットフィルタを抜き差しする撮像装置が、従来から知られている。さらに、上述した赤外カットフィルタの抜き差しを不要とした撮像装置が開示されている。例えば、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタが提案されている（特許文献３参照）。このフィルタによれば、可視光帯域と、可視光帯域の長波長側、すなわち、赤外側で、可視光帯域から離れた第２の波長帯域との両方で光が透過可能となっている。

【0010】

以下、上述のように可視光帯域と、赤外側の第２の波長帯域との光を透過し、他の波長帯域の光を遮断する光学フィルタをＤＢＰＦ（ダブル・バンド・パス・フィルタ）と称する。

【0011】

また、近年、生体認証として、指紋、顔、虹彩、静脈、署名、声紋、歩行など、様々な認証技術開発が進んでいるが、上記した監視カメラや自動運転用カメラで撮像した画像認識技術と一緒に使用される生体認証としては、主に顔認証、虹彩認証が挙げられる。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】特開平３－８１８７８号公報

【特許文献2】特開昭６２－１０７３８６号公報

【特許文献3】特許第５００９３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

特許文献３のＤＢＰＦでは、赤外（近赤外）の波長帯域に含まれる第２の波長帯域の光（赤外波長帯域に含まれる比較的狭い波長帯域）が常時遮断されずに光が透過することになる。すなわち、可視光帯域より長波長側をカットする赤外カットフィルタを用いた場合と異なり、可視光帯域での撮影において、第２の波長帯域を透過した赤外光の影響を少なからず受けることになる。

【0014】

可視光帯域での撮影として、カラーの撮影を行う撮像センサには、カラーフィルタが用いられている。カラーフィルタは、撮像センサの各画素に対応して赤、緑、青の各色の領域（フィルタ部）が所定のパターンで配置され、基本的には、各色の波長帯域に光の透過率のピークを有し、他の色の波長帯域の光の透過を遮断する。

【0015】

しかし、可視光帯域より長波長側では、各色の領域および波長によって光透過率が異なるが、基本的に光を透過してしまう。したがって、上述のＤＢＰＦのように赤外側の第２の波長帯域で赤外光を透過すると、この赤外光がカラーフィルタを通過して撮像センサのフォトダイオード（受光素子）に至ってフォトダイオードにおける光電効果による電子の発生量を多くしてしまう。

【0016】

また、可視光でのカラー撮影と赤外光照明での撮影との両方を行う場合、例えば、赤、緑、青の各色の領域が所定のパターンで配置されたカラーフィルタに、上述の第２の波長帯域に光透過率のピークを有するような赤外光用の領域（赤外領域）を設けることになる。すなわち、カラーフィルタの配列（パターン）は、赤Ｒ、緑Ｇ、青Ｂ、赤外ＩＲの４つの領域からなる。この場合に赤外光用の領域は、可視光帯域の光を遮断し、第２の波長帯域の光を主に透過させるものであるから、カラーフィルタの赤外光用の領域を通過した光を受ける撮像センサから出力される赤外光の画像信号を利用して、赤、緑、青の各色の画像信号から赤外光成分を除去することが考えられる。しかし、このような信号処理によっても、赤外カットフィルタを用いた場合のカラー撮影時と略同等の色再現を行うことが難しかった。また、ステレオ化して距離を算出する場合に、左右の信号レベルにずれがあると、視差算出において誤差を発生させる要因となっていた。

【0017】

さらに、カメラの撮像画像を用いて顔認証を使用する場合、大きく、オフィスやビル等の入退室管理システムや空港での搭乗手続き、入出国管理などでユーザが所定のカメラに顔を合わせてもらうタイプと、犯人追跡やテロ防止、不審者の早期摘発などを目的に公共施設や空港、交通機関などの場所でユーザが無意識のうちに複数のカメラで撮影した不特定多数のユーザに対して認証するタイプがある。前者のタイプでは、撮影条件が限定されるために、近年の技術でも精度良く認識することが可能であるが、後者のタイプでは、環境変化により照明の具合や顔の向き、角度等の撮影条件が大きくばらつくために、認識率が大きく左右される。

【0018】

監視カメラを用いた不審者検知などを実施するためには、可視光と赤外光との両方を用いて撮影場所や撮影時間に依存することなく、２４時間連続での撮影を行うことを可能とし、さらに、撮影された像をできるだけノイズの少なく鮮明で解像度の高いものにできれば、不審者の早期検出や犯罪発生時の状況解析の能力が格段に高まると思われる。

【0019】

また、２つのカメラを用いてステレオ法で測距可能な構成とすることで、自動運転用カメラにおいても、上述のように赤外と可視による撮影を併用する場合に、ノイズの少ない鮮明な画像を得られることで、画像認識の精度の向上を図ることができる。

【0020】

以上のことから、赤外画像と可視画像の両方の同時撮影が可能で、かつ、ノイズや解像度、色再現性等の画質を、通常の赤外画像を含まない可視画像と同レベル以上とし、さらに２つのカメラ構成でステレオ撮影が可能であることが望まれている。

【0021】

本発明は、可視画像と赤外画像の両方が撮影可能であり、可視光撮影時の色再現性を向上して高品質な画像を撮像可能な技術を提供するものである。

【課題を解決するための手段】

【0022】

本発明に係る撮像装置あるいは撮像システムは、撮像素子と、少なくとも、可視光波長領域と赤外波長領域を透過する特性を有し、該特性に基づき前記撮像素子からの信号をフィルタリングするフィルタ部と、前記フィルタ部によってフィルタリングされた信号を処理して可視光信号と赤外信号を出力する信号処理部と、前記信号処理部から出力された赤外信号から、前記撮像素子で撮像された画像内の動体に関する情報を生成する動体領域抽出部と、前記信号処理から出力された可視光信号あるいは赤外信号の少なくともどちらか一方を含む第１のデータと、前記動体領域抽出部で生成された前記動体に関する情報に基づく第２のデータとを外部へ送信する信号出力制御部と、を備えることを特徴とする。

【0023】

さらに、本発明に係る撮像装置あるいは撮像システムは、２つの撮像素子と、少なくとも、可視光波長領域と赤外波長領域を透過する特性を有し、該特性に基づき前記撮像素子からの信号をフィルタリングする２つのフィルタ部と、前記フィルタ部によってフィルタリングされた信号を処理して可視光信号と赤外信号を出力する２つの信号処理部と、前記信号処理部から出力される２つの可視画像信号および／または２つの赤外画像信号を用いて可視画像信号による可視画像および／または赤外画像信号による赤外画像に写った被写体までの距離を算出する距離算出部と、前記信号処理部から出力された赤外信号から、前記撮像素子で撮像された画像内の動体に関する情報を生成する動体領域抽出部と、前記信号処理から出力された可視光信号あるいは赤外信号の少なくともどちらか一方を含む第１のデータと、前記動体領域抽出部で生成された前記動体に関する情報に基づく第２のデータと、前記距離算出部で算出した距離情報に基づく第３のデータとを、外部へ送信する信号出力制御部と、を備えることを別の特徴とする。

【発明の効果】

【0024】

本発明によれば、高品質な画像を得ることが可能となる。より詳細には、例えば本発明の一態様によれば、１つの撮像センサと１つの光学フィルムで構成されるカメラで高品質な赤外画像と可視画像の両方を同時に撮影することができるため、照明不足などの環境の変化や夜間においても視認性を向上することができる。また本発明の別の態様によれば、赤外画像と可視画像の両方で対象物の距離をより正確に測定でき、その情報を可視画像あるいは赤外画像と共に外部システムへ提供することできる。また本発明の別の態様によれば、可視画像ではなく赤外画像を用いることで、画像内の動体領域をより高速に抽出することができ、その情報を可視画像あるいは赤外画像と共に外部システムへ提供することできる。

【図面の簡単な説明】

【0025】

【図1】本発明の実施の形態１に係る撮像システムを示す概略図である。

【図2】本発明の実施の形態１に係る撮像システムの撮像センサ部の構成を示す概略図である。

【図3】本発明の実施の形態１に係る撮像システムの撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。

【図4】本発明の実施の形態１に係る撮像システムのカラーフィルタの一構成例を示す概略図である。

【図5】本発明の実施の形態１に係る撮像システムの信号処理部を説明するためのブロック図である。

【図6】本発明の実施の形態１に係る撮像システムのカメラとコントローラとの通信フローを説明するフローチャート図である。

【図7】本発明の実施の形態１に係る撮像システムで扱う各種の画像情報の一構成を示す図である。

【図8】本発明の実施の形態２に係る撮像システムを示す概略図である。

【図9】本発明の実施の形態２に係る撮像システムで扱う各種の解析メタデータ情報の一構成を示す図である。

【図10】本発明の実施の形態２に係る撮像システムのカメラとコントローラとの通信フローを説明するフローチャート図である。

【図11】本発明の実施の形態２に係る撮像システムで扱う画像のイメージ画面例を示す図である。

【図12】本発明の実施の形態２に係る撮像システムで扱う解析メタデータ情報の一構成例を示す図である。

【図13】本発明の実施の形態３に係る撮像システムを示す概略図である。

【図14】本発明の実施の形態３に係る撮像システムの別構成例を示す概略図である。

【図15】本発明の実施の形態３に係る撮像システムの別構成例を示す概略図である。

【図16】本発明の実施の形態３に係る撮像システムの別構成例を示す概略図である。

【図17】本発明の実施の形態３に係る撮像システムで扱う各種の画像情報の一構成を示す図である。

【図18】本発明の実施の形態３に係る撮像システムで扱う各種の画像情報の一構成を示す図である。

【図19】本発明の実施の形態３に係る撮像システムで扱う解析メタデータ情報の一構成を示す図である。

【図20】本発明の実施の形態３に係る撮像システムで扱う解析メタデータ情報の一構成例を示す図である。

【図21】本発明の実施の形態１に係る撮像システムの撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。

【図22】本発明の実施の形態３に係る撮像システムの撮像装置の処理フローを示す図である。

【図23】本発明の実施の形態３に係る撮像システムを運用した一例である。

【図24】本発明の実施の形態３に係る撮像システムを運用した一例である。

【発明を実施するための形態】

【0026】

（実施の形態１）
以下、図面を参照しながら、本発明の実施の形態について説明する。

【0027】

図１は、本発明の実施の形態１に係る撮像システムの構成例を示す。撮像システムは、大きく、１台以上の撮像装置１００（（ａ）～（ｎ））と１台以上のコントローラ装置２００で構成される。撮像装置１００とコントローラ装置２００は、ネットワーク３０３を介して接続される。ネットワーク３０３は、本実施の形態では有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を前提に説明するが、無線ＬＡＮ（ＷｉＦｉ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４などの汎用ネットワークでも良い。

【0028】

ネットワーク３０３においては、ネットワークプロトコルとして標準のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用し、上位のトランスポートプロトコルとしてはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いる。撮像装置１００が撮影した画像の転送には、さらに上位のアプリケーションプロトコル、例えばＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）／ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等を使用し、転送制御にはＲＴＳＰ（Ｒｅａｌ－Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）等を用いる。なお、ＩＰはＩＰｖ４、ＩＰｖ６のどちらを使用しても良い。また、上述したＨＴＴＰやＲＴＰなどの技術を用いたＷｅｂサービスを用いて、より上位アプリケーション間での通信も可能とする。また、図示していないが、ハブやルータを介してインターネット接続も可能である。

【0029】

コントローラ装置２００は、複数の撮像装置１００を制御することが可能であり、他のコントローラ装置２００との間で情報をやり取りすることも可能である。

【0030】

本実施の形態の撮像システムは、監視用途や入退室管理などのアプリケーションやサービスで利用することができる。

【0031】

本実施の形態の特徴である撮像装置１００は、レンズ１１、撮像センサ部１２、信号処理部１３、信号出力制御部１４、通信制御部１５、ＩＦ部１６、異常検出部１７、照度監視部１８、ＧＰＳ１９、時計２０、メモリ２１、保守ＩＦ部２２、制御部２３、赤外ＬＥＤ２４から構成される。

【0032】

レンズ１１は、被写体からの可視光３０１、赤外光（非可視光）３０２を撮像センサ部１２上の所定の焦点距離に結像させる撮影用の光学レンズであり、複数のレンズを含んで構成される。

【0033】

撮像センサ部１２は、レンズ１１によって結像された可視光と赤外光を各種フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する部分である。

【0034】

信号処理部１３は、前記撮像センサ部１２から出力される出力信号を処理して、内装処理や、カラー撮影時の第２の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理を画像信号に施し、可視画像の出力信号と赤外画像の出力信号を出力する部分である。

【0035】

信号出力制御部１４、前記信号処理部１３から出力された「同じタイミングで対象物を撮影した」可視画像信号と赤外画像信号を、通信制御部１５あるいは制御部２３の指示にしたがって、ＩＦ部１６を介して、ネットワーク接続された所定のコントローラ装置２００へ送信する。

【0036】

通信制御部１５は、前記信号出力制御部１４からＩＦ部１６経由で出力する画像信号の制御と、ＩＦ部経由で前記コントローラ装置２００との間で制御信号を送受信する部分である。前記したネットワークプロトコルやアプリケーションプロトコル、Ｗｅｂサービスなどを実行する部分でもある。

【0037】

ＩＦ部１６は、撮像装置１００とネットワーク３０３とを接続する通信ＩＦ部分である。

【0038】

異常検出部１７は、撮像装置１００のハードウェア、ソフトウェアに異常が発生していないかを常時あるいは定期的に監視し、異常を検出する部分である。例えば、撮像装置１００が所定の設置場所から取り外された場合や画像撮影できなくなった場合、ネットワーク通信できなくなった場合など、不正アクセスがあった場合などである。

【0039】

照度監視部１８は、照度センサなどを利用して撮像装置１００の撮影範囲の明るさを常時あるいは定期的に監視する部分である。照度が不足していることを検知した場合、制御部２３にその旨を通知し、赤外ＬＥＤ２４を照射する。

【0040】

ＧＰＳ１９は、衛星から受信した位置情報から撮像装置１００自身の現在位置を取得する部分である。取得した位置情報は、ＩＦ部１６を介してコントローラ装置２００へ通知することも可能である。

【0041】

時計２０は、現在の時間情報の管理、タイマー設定／解除を実行する部分である。時間情報は、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）や標準電波など汎用的な技術を用いて自動調整する。

【0042】

メモリ２１は、プログラムや各種設定情報、プロパティ情報を記憶する記憶装置（ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）エリア、ＦＲＯＭ（Ｆｌａｓｈ ＲＯＭ）エリア）、これらのプログラムやデータをロードして一時的に保管したり、ワークデータを記憶する記憶装置（ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）エリア）である。ここで、記録装置は、内蔵メモリの他に、外付けメモリ（ＵＳＢメモリやＮＡＳ（Ｎｅｔｗｏｒｋ－Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ））や可搬型媒体（マイクロフラッシュ、ＳＤカード、磁気テープ等）を併用しても良い。

【0043】

保守ＩＦ部２２は、撮像装置１００の保守員がプログラムの更新処理や故障発生時に診断するために通信するＩＦ部分である。また、前記異常検出部１７で異常を検知した場合に、遠隔にある保守サイトへ異常検知した内容を自動的に通知することも可能である。

【0044】

制御部２３は、上記した各構成要素の動作を統括的に制御する部分である。

【0045】

一方コントローラ装置２００は、ユーザＩＦ部２０１、表示部２０２、時計２０３、メモリ２０４、記録再生部２０５、通信制御部２０６、ＩＦ部２０７、カメラ管理部２０８、動体領域抽出部２０９、顔領域検出部２１０、顔特徴点検出部２１１、顔照合部２１２、顔ＤＢ２１３、制御部２１４から構成される。

【0046】

ユーザＩＦ部２０１は、リモコンやタッチパネル、キーボード、マウス、ボタンなどを用いてユーザがコントローラ装置２００を操作する部分である。

【0047】

表示部２０２は、外付けあるいは内蔵のモニタに、コントローラ装置２００の操作画面や、ネットワーク３０３経由で受信した可視画像や赤外画像、顔認証した結果、警告画面等を表示する部分である。

【0048】

時計２０３は、現在の時間情報の管理、タイマー設定／解除を実行する部分である。時間情報は、ＮＴＰや標準電波など汎用的な技術を用いて自動調整する。

【0049】

メモリ２０４は、プログラムや各種設定情報、プロパティ情報を記憶する記憶装置（ＲＯＭエリア、ＦＲＯＭエリア）、これらのプログラムやデータをロードして一時的に保管したり、ワークデータを記憶する記憶装置（ＲＡＭエリア）である。ここで、記録装置は、内蔵メモリの他に、外付けメモリ（ＵＳＢメモリやＮＡＳ）や可搬型媒体（マイクロフラッシュ、ＳＤカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、磁気テープ等）を併用しても良い。

【0050】

記録再生部２０５は、ネットワーク３０３とＩＦ部２０７経由で受信した可視画像や赤外画像、これらの画像に付随したメタデータなどを前記メモリ２０４に記録、再生する部分である。必要に応じてこれら記録対象データの暗号・復号化、圧縮・伸長を行う。

【0051】

通信制御部２０６は、ネットワーク３０３とＩＦ部２０７経由で前記撮像装置１００との間で制御信号を送受信する部分である。前記したネットワークプロトコルやアプリケーションプロトコル、Ｗｅｂサービスなどを実行する部分でもある。

【0052】

ＩＦ部２０７は、コントローラ装置２００とネットワーク３０３とを接続する通信ＩＦ部分である。

【0053】

カメラ管理部２０８は、ネットワーク３０３経由で当該コントロール装置２００が管理する１台以上の撮像装置１００を管理する部分である。管理対象の前記撮像装置１００に関する情報（例えば、ＩＰアドレス、設置場所、メーカー名、型名、導入時期／稼動時間、機能スペック、保守連絡先など）を作成、保持、更新、削除する部分である。

【0054】

動体領域抽出部２０９は、ＩＦ部２０７経由で受信あるいは記録再生部２０５で記録した可視画像や赤外画像内に存在する人や動物、物体などの動体を抽出し、その位置情報を取得する部分である。画像内の動体を抽出する方法としては、連続する複数枚の画像（例えば、３枚）から差分画像（例えば、１枚目と２枚目の差分画像、２枚目と３枚目の差分画像）を作成し、それを比較することで動体を抽出したり、撮像画像より背景画像を生成しながら背景差分法を用いることで動体を抽出する方法などがある。

【0055】

顔領域検出部２１０は、ＩＦ部２０７経由で受信あるいは記録再生部２０５で記録した可視画像や赤外画像内から直接、あるいは前記動体領域抽出部２０９で抽出した動体領域の中から人の顔が存在する領域を検出する。検出する方法は、Ｖｉｏｌａ＆Ｊｏｈｎｓの積分画像とカスケード型識別器を用いた高速顔検出アルゴリズムの技術などがある。

【0056】

顔特徴点検出部２１１は、前記顔領域検出部２１０で検出した顔領域内の目や鼻、口端などの特徴点を検出する部分である。これにより、正確に顔の特徴を取り出せるように画像位置補正が可能となる。

【0057】

顔照合部２１２は、前記顔特徴点検出部２１１で検出した特徴点の中から、個人を識別するために最適な特徴を選択し、顔ＤＢ２１３を用いてマッチングを行う部分である。ここで、顔を見分けるための特徴としては、顔領域内の濃淡情報全体を用いる方法（例えば、主成分分析を応用した固有法）や、顔領域内の局所的な濃淡変化の間隔と方向成分を特徴量とする方法（例えば、Ｅｌａｓｔｉｃ Ｂｕｎｃｈ Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ）、これら両方の方法を融合した方法などが利用できる。また、マッチングする方法として、最近傍法、線形判別分析などが適用できる。

【0058】

顔ＤＢ２１３は、前記顔照合部２１２でマッチングするために予め顔画像を登録したデータを内蔵あるいは外付けの記憶媒体に格納する部分である。これらの登録した画像から照明変化や顔向き変化などを人工的に生成した画像を登録することもできる。例えば、入退室管理システムでは特定のエリアに入ることが許可されたユーザや従業員であるユーザの顔画像を登録する。また、特定の場所で顔認証した結果、本人であると確認できた画像を追加で登録しておくことも可能である。ここで、この顔ＤＢ２１３はコントローラ装置２００ではなく、ネットワーク３０３経由でアクセス可能な外部のＤＢでも良い。例えば、空港などの監視カメラシステムでは、警察や法的機関から提供された容疑者やテロリストなどの顔ＤＢを利用する。また、複数のコントローラ装置間でＤＢを共有するようにしても良い。

【0059】

制御部２１４は、上記した各構成要素の動作を統括的に制御する部分である。また、前記顔照合部２１２でマッチングした結果、予め登録されたユーザでない（不審者など）場合や容疑者と一致した場合には、所定のフォーマットに基づくレポートを自動再生し、管理者や警察の連絡先に通知すると共に該レポートを送付することが可能となる。

【0060】

図２は、カメラ部１００の撮像センサ部１２の構成例を示す。

【0061】

撮像センサ部１２は、センサ本体２、カラーフィルタ３、カバーガラス４、ＤＢＰＦ５から構成される。

【0062】

センサ本体２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであり、各画素に受光素子としてフォトダイオードが配置されている部分である。ＣＣＤイメージセンサの代わりにＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ・Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサでも良い。

【0063】

カラーフィルタ３は、上記センサ本体２に設けられており、センサ本体２の各画素に対して赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各領域を所定の配列で配置した部分である。図４に本実施の形態で使用するカラーフィルタのバリエーションを示す。

【0064】

カバーガラス４は、前記センサ本体２およびカラーフィルタ３上を覆って保護するものである。

【0065】

ＤＢＰＦ５は、前記カバーガラス４に成膜された光学フィルタである。ＤＢＰＦ５は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。なお、ＤＢＰＦ５の配置位置は限定されるものではなく、例えばレンズ１１に設けても良い。

【0066】

図３は、前記カラーフィルタ３のＲ，Ｇ，Ｂ，ＩＲの各フィルタの透過率スペクトルを示し、縦軸が透過率、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、例えば３００ｎｍ～１１００ｎｍの波長範囲を示す。

【0067】

Ｒのフィルタ部は、グラフのＲ（二重線）に示すように、波長６００ｎｍで略最大の透過率となり、その長波長側は、１０００ｎｍを超えても透過率が略最大の状態が維持された状態となる。

【0068】

Ｇのフィルタ部は、グラフのＧ（間隔の広い破線）に示すように、波長が５４０ｎｍ程度の部分に透過率極大となるピークを有し、その長波長側の６２０ｎｍ程度の部分に、透過率極小となる部分がある。また、Ｇのフィルタ部は、透過率極小となる部分より長波長側が上昇傾向となり、８５０ｎｍ程度で透過率が最大となる。それより長波長側では、１０００ｎｍを超えても透過率が最大となった状態となっている。

【0069】

Ｂのフィルタ部は、グラフのＢ（間隔の狭い破線）に示すように、波長が４６０ｎｍ程度の部分に透過率が極大となるピークを有し、その長波長側の６３０ｎｍ程度の部分に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、８６０ｎｍ程度で透過率が最大となり、それより長波長側では、１０００ｎｍを超えても透過率が最大となった状態となっている。

【0070】

ＩＲのフィルタ部は、７８０ｎｍ程度から短波長側の光を遮断し、１０２０ｎｍ程度から長波長側の光を遮断し、８２０ｎｍ～９２０ｎｍ程度の部分が透過率最大となっている。

【0071】

Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部の透過率スペクトルは、図３等に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ３では、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す横軸の１は、光を１００％透過することを意味するものではなく、カラーフィルタ３において、例えば、最大の透過率を示す。

【0072】

ここで、本実施の形態で使用するＤＢＰＦ５は、グラフでＤＢＰＦ（実線）に示すように、ＤＢＰＦ（ＶＲ）で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のＤＢＰＦ（ＩＲ）で示す赤外帯域（第２の波長帯域）の２つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのＤＢＰＦ（ＶＲ）は、例えば、３７０ｎｍ～７００ｎｍ程度の波長帯域となっている。また、赤外側で透過率が高い第２の波長帯域としてのＤＢＰＦ（ＩＲ）は、例えば、８３０ｎｍ～９７０ｎｍ程度の帯域となっている。

【0073】

本実施の形態では、上述のカラーフィルタ３の各フィルタ部の透過率スペクトルと、ＤＢＰＦ５の透過率スペクトルの関係が以下のように規定されている。すなわち、ＤＢＰＦ５の透過率スペクトルの赤外光を透過する第２の波長帯域となるＤＢＰＦ（ＩＲ）は、Ｒのフィルタ部、Ｇのフィルタ部、Ｂのフィルタ部の全てがほぼ最大の透過率となって各フィルタ部で透過率が略同じとなる図２に示す波長帯域Ａ内に含まれ、かつ、ＩＲのフィルタ部の最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

【0074】

ここで、Ｒ，Ｇ，Ｂの各フィルタ部の透過率が同じになる波長帯域Ａとは、各フィルタ部の透過率の差が透過率で１０％以下である部分とする。なお、この波長帯域Ａより短波長側では、透過率が略最大のＲのフィルタ部に対して、Ｇ、Ｂのフィルタ部の透過率が低くなる。ＤＢＰＦ５では、このＲ，Ｇ，Ｂの各フィルタ部の透過率に差がある部分が、可視光帯域の透過率が高い部分であるＤＢＰＦ（ＶＲ）と、赤外光帯域の第２の波長帯域の透過率の高い部分であるＤＢＰＦ（ＩＲ）との間のＤＢＰＦ５の光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、Ｒ，Ｇ，Ｂの各フィルタ部の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各フィルタ部の透過率が最大となって透過率が同じになる波長帯域Ａで光を透過するようになっている。

【0075】

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるＤＢＰＦ５では、可視光帯域だけではなく、赤外光側の第２の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第２の波長帯域を通過した光の影響を受けることになる。しかし、上述のように第２の波長帯域がＲ，Ｇ，Ｂの各フィルタ部で透過率が異なる部分の光を透過せず、各フィルタ部の透過率が最大となって同じ透過率となる波長帯域の光だけを透過するようになっている。

【0076】

また、ＤＢＰＦ５の第２の波長帯域においては、ＩＲのフィルタ部で透過率が最大となる部分の光を透過するようになっている。したがって、同じ光が照射される極めて近接した４つの画素にＲ，Ｇ，Ｂ，ＩＲのフィルタ部がそれぞれ設けられていると仮定した場合に、第２の波長帯域においては、Ｒのフィルタ部、Ｇのフィルタ部、Ｂのフィルタ部、ＩＲのフィルタ部で同様に光が通過することになり、赤外側の光としては、ＩＲを含む各フィルタ部で同じ光量の光が撮像センサ本体のフォトダイオードに至ることになる。すなわち、Ｒ，Ｇ，Ｂの各フィルタを透過する光のうちの赤外側の第２の波長帯域を通過する光の光量は、ＩＲのフィルタ部を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にＲ，Ｇ，Ｂの各フィルタを透過した光を受光したセンサ本体２からの上述のように仮定された画素の出力信号とＩＲのフィルタを通過した光を受光したセンサ本体２からの上述のように仮定された画素の出力信号との差分が、各Ｒ，Ｇ，Ｂのフィルタ部で通過した赤外側の光をカットしたＲ，Ｇ，Ｂそれぞれの可視光部分の出力信号となる。

【0077】

実際には、カラーフィルタ３では、センサ本体２の各画素にＲ，Ｇ，Ｂ，ＩＲのいずれか１つのフィルタ部が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高い。そのため、例えば、各画素において、周知の内挿法（補間法）を用いて、各画素の各色の輝度を求め、この補間された各画素のＲ，Ｇ，Ｂの輝度と、同じく補間されたＩＲの輝度との差分をそれぞれＲ，Ｇ，Ｂの輝度とすることが可能である。なお、Ｒ，Ｇ，Ｂの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にＲ，Ｇ，Ｂの各輝度から第２の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いても良い。いずれの方法においても、ＤＢＰＦ５が、赤外側でＲ，Ｇ，Ｂのフィルタ部の透過率が１０％より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

【0078】

以上、上記撮像センサ部１２を用いることで、カラー撮影と、赤外光撮影との両方が可能な撮像装置１００を実現できる。一般的には、通常の撮影をカラー撮影で行い、夜間に可視光の照明を用いることなく、人間には認識困難な赤外光の照明を用いて赤外撮影することが考えられる。例えば、各種監視カメラ等において、夜間照明を必要としないか、夜間照明されないことが好ましい場所での夜間撮影に際し、赤外光照明を用いた赤外光による夜間撮影を行うことが考えられる。また、野生動物の観察のための昼間の撮影と夜間の撮影などの用途にも用いることができる。

【0079】

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。

【0080】

図２１に示すＤＢＰＦ５の透過率スペクトル（Ａ）と（Ｂ）は、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部の透過率スペクトルと、赤外光照明用の光、例えば、照明用赤外光ＬＥＤの発光スペクトルを考慮して決定されたものである。

【0081】

図２１では、図２と同様の各色のフィルタ部の透過率スペクトルＲ，Ｇ，Ｂ，ＩＲと、ＤＢＰＦ５の透過率スペクトルＤＢＰＦに加えて、ＬＥＤ照明の発光スペクトルＩＲ－ｌｉｇｈｔが図示されている。

【0082】

図２１（Ａ）に示すＤＢＰＦの赤外光を透過する部分であるＤＢＰＦ（ＩＲ）で示す第２の波長帯域は、図２に示すＤＢＰＦと同様に、Ｒのフィルタ部、Ｇのフィルタ部、Ｂのフィルタ部の全てが略最大の透過率となって各フィルタ部で透過率が略同じとなる図２に示す波長帯域Ａ内に含まれ、かつ、ＩＲのフィルタ部の最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

【0083】

それに加えて、上述の波長帯域Ａと波長帯域Ｂとの両方に含まれる赤外光照明の発光スペクトルのピークとなる波長帯域の略全体がＤＢＰＦ（ＩＲ）の波長帯域に含まれるようになっている。なお、赤外光撮影を夜間の自然光ではなく、赤外光照明下で行う場合にＤＢＰＦ（ＩＲ）で示す第２の波長帯域が赤外光照明の光学スペクトルのピーク幅より広い必要はなく、赤外光照明のスペクトルが上述の波長帯域Ａおよび波長帯域Ｂの両方に含まれる場合に、赤外光照明の発光スペクトルの例えば８６０程度を頂点とするピークのピーク幅と略同様のピーク幅で第２の波長帯域としてＤＢＰＦ（ＩＲ）で示されるＤＢＰＦ５の透過率のピーク部分を設けても良い。

【0084】

すなわち、図２１（Ａ）においては、ＩＲ－ｌｉｇｈｔで示す赤外光照明の発光スペクトルにおけるピークが上述の波長帯域Ａおよび波長帯域Ｂの短波長側にあり、ＤＢＰＦ（ＩＲ）で示すＤＢＰＦの第２の波長帯域が波長帯域Ａおよび波長帯域Ｂの短波長側部分のＩＲ－ｌｉｇｈｔにおける発光スペクトルのピークと重なるようになっている。

【0085】

また、図２１（Ｂ）に示すグラフも、（Ａ）と同様に、図２に示すグラフに赤外光照明の発光スペクトルを加えるとともに、ＤＢＰＦ５の透過率スペクトルの赤外側の透過率が高い部分であるＤＢＰＦ（ＩＲ）で示す第２の波長帯域を上述の赤外光照明のＩＲ－ｌｉｇｈｔで示す発光スペクトルのピークに合わせたものである。

【0086】

図２１（Ｂ）においては、赤外光照明として、（Ａ）よりも発光スペクトルのピークの波長が長いものを用いており、このピークは、上述の波長帯域Ａおよび波長帯域Ｂに含まれるとともに、波長帯域Ａおよび波長帯域Ｂの長波長側に存在する。それに対応してＤＢＰＦ５のＤＢＰＦ（ＩＲ）で示す第２の波長帯域が上述の波長帯域Ａおよび波長帯域Ｂ内で赤外照明のＩＲ－ｌｉｇｈｔで示されるピークと重なるように設けられている。

【0087】

ＤＢＰＦ５の第２の波長帯域は、図２、図２１のいずれに示すものであっても良く、第２の波長帯域が上述の波長帯域Ａと波長帯域Ｂとの両方に含まれていれば良い。また、夜間の赤外光撮影で用いられる赤外光照明の発光スペクトルのピークとなる波長帯域が決まっている場合に、その波長帯域を上述の波長帯域Ａと波長帯域Ｂの両方に含まれるようにすると共に、赤外光照明の発光スペクトルのピークにＤＢＰＦ５の第２の波長帯域を合わせることが好ましい。

【0088】

このような撮像センサでは、ＤＢＰＦ５の赤外側で光を透過する第２の波長帯域が、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部の赤外側で、各フィルタ部の透過率が最大となって、各フィルタ部の透過率が同じと波長帯域Ａに含まれるとともに、ＩＲのフィルタ部の透過率が最大となる波長帯域Ｂに含まれる。言い換えれば、可視光帯域より長波長側で、Ｒ，Ｇ，Ｂの各フィルタの透過率がＲのフィルタ部だけ最大となって、Ｇ、Ｂのフィルタ部は透過率が最大となっていないことにより、Ｒ，Ｇ，Ｂの各フィルタ部の透過率が同じとならずに異なる部分の光は、ＤＢＰＦ５によりカットされる。

【0089】

すなわち、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部では、赤外側で第２の波長帯域の光が透過するようになっていることから、各フィルタ部における赤外側の透過率が全て同じになる。第２の波長帯域となる光が同じ光量で照射されれば、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部における透過光量が同じになる。これにより、上述のようにＲ，Ｇ，Ｂの各フィルタ部に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第２の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

【0090】

また、第２の波長帯域を上述の波長帯域Ａと波長帯域Ｂに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられると共に、第２の波長帯域の幅を狭めて、カラー撮影時に、第２の波長帯域を通過する赤外光の影響を小さくすることができる。

【0091】

図５は、上記信号処理部１２における信号処理をブロック図で示したものである。

【0092】

図４に記載したカラーフィルタを搭載した前記撮像センサ部１２からの出力信号に対する処理概要について説明する。

【0093】

Ｒ，Ｇ，Ｂ，ＩＲの各画素の出力信号は、各内装処理ブロック２１ｒ、２１ｇ、２１ｂ、２１ｉｒに送られる。各内装処理ブロック２１ｒ、２１ｇ、２１ｂ、２１ｉｒでは、周知の方法を用いた内挿処理（補間処理）を用いて、上述のカラーフィルタ３の各フレームの画像データにおいて、それぞれ、全ての画素が赤Ｒで表された画像データ２０ｒ、全ての画素が緑Ｇで表された画像データ２０ｇと、全ての画素が青Ｂで表された画像データ２０ｂと、全ての画素が赤外ＩＲで表された画像データ２０ｉｒとするようにＲ，Ｇ，Ｂ，ＩＲの信号を変換する。

【0094】

次に、赤外光除去信号作成ブロック２２ｒ、２２ｇ、２２ｂ、２２ｉｒにおいて、上述の第２の波長帯域から受光される赤外光の影響を除去するために、Ｒ，Ｇ，Ｂの各色の信号から減算する信号をＩＲの信号から生成する。この赤外光除去信号作成ブロック２２ｒ、２２ｇ、２２ｂでＲ，Ｇ，Ｂ毎に作成された信号を、Ｒ，Ｇ，Ｂの各色の信号から減算する。この場合に、上述のように同じ画素では、基本的にＲ，Ｇ，Ｂの各信号からＩＲの信号を除去すればいいので、処理が容易になる。実際には、各画素のフィルタ部の特性等により各色の画素毎に感度が異なるので、Ｒ，Ｇ，Ｂの画像毎にＲ，Ｇ，Ｂの各信号から減算する信号をＩＲの信号から作成する。

【0095】

次に、Ｒ，Ｇ，Ｂの各信号は、画像処理ブロック２３において、行列式を用いてＲ，Ｇ，Ｂの各信号を変換して色を補正する周知のＲＧＢマトリックス処理と、画像で白となる部分でＲ，Ｇ，Ｂの各信号の出力値が同じとなるようにする周知のホワイトバランス処理、ディスプレイ等への画像出力のための補正である周知のガンマ補正を行う。次いで、輝度マトリックスブロック２４において、Ｒ，Ｇ，Ｂの各色の信号に係数を乗算して輝度Ｙの信号を生成する。また、青Ｂの信号と、赤Ｒの信号から輝度Ｙの信号を除算することにより、Ｒ－ＹとＢ－Ｙの色差信号を算出し、Ｙ、Ｒ－Ｙ、Ｂ－Ｙの信号を出力する。

【0096】

また、ＩＲの信号は、基本的に白黒のグラディエーションの画像として出力される。

【0097】

図６は、図１で示した撮像装置１００とコントローラ装置２００の間で可視画像や赤外画像、制御コマンドをやり取りするための通信フローを示す。ここで、通信フローは独自通信プロトコルでも良いが、例えば監視カメラの標準通信としてＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）が策定したプロトコルなどを使用しても良い。

【0098】

最初に、撮像装置１００を所定の場所に設置し、ネットワーク３０３に接続した後、電源を投入すると、該撮像装置１００が起動し、撮像装置１００の制御部２３は初期設定処理を実行する。例えば、メモリ２１に格納したプログラムのロードやＧＰＳ１９の現在場所取得など、主にハードウェアの起動やソフトウェアの初期パラメータ設定処理などである。なお、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）を利用し、ＰｏＥ対応ハブを利用してネットワーク３０３に接続したタイミングで起動するようにしても良い（ステップ６０１）。

【0099】

必要な初期設定処理が終了すると、撮像装置１００の制御部２３は、通信制御部１５やＩＦ部１６で使用するＩＰアドレスを設定する。ＩＰアドレスは保守ＩＦ部２２でＰＣやパッド端末などを直接接続し、Ｓｔａｔｉｃ ＩＰアドレスを設定する方法や、ＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ）を使用して自動的にＩＰアドレスを設定する方法など、汎用のネットワークプロトコルを使用して設定する（ステップ６０２）。

【0100】

ＩＰアドレスの設定が終了すると、撮像装置１００の制御部２３は通信制御部１５に指示して、自身の存在をコントローラ装置２００に通知する。ネットワーク上に存在する装置を自動発見する方法としてはＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）やＷＳ－Ｄｉｓｃｏｖｅｒｙ（Ｗｅｂ Ｓｅｒｖｉｃｅｓ Ｄｙｎａｍｉｃ Ｄｉｓｃｏｖｅｒｙ）などのプロトコルを利用しても良い。また、通知する際に、自身のメーカー名や型名、設置場所、日時などを含めても良い（ステップ６０３）。この際、設置場所は、予め初期設定された情報やＧＰＳ１９から取得した情報でも良い。また、ＧＰＳ１９や照度監視部１８を用いて屋外か屋内かを判定した情報を含んでも良い。

【0101】

前記通知を受信したコントローラ装置２００の制御部２１４は、撮像装置１００のＩＰアドレスを取得することで、撮像装置１００の存在を認識することができる。制御部２１４は、表示部２０２を介して新しい撮像装置１００が接続された旨を管理者に通知し、自分がその撮像装置１００を管理するか否かの管理者からの指示を待つ。ユーザＩＦ部２０１経由で管理者からの指示があった場合、あるいは、当該コントローラ装置２００が現在管理している撮像装置１００の数を確認し、最大数に達していない場合には、自動的に通信制御部２０６に指示して、前記撮像装置１００に対して搭載機能情報の取得要求を送信する（ステップ６０５）。

【0102】

前記機能情報取得要求を受信した撮像装置１００の制御部２３は、メモリ２１に格納した機能情報を取得し、通信制御部１５に指示して該機能情報をコントローラ装置２００に送信する。機能情報は、例えば、装置管理情報（ネットワークやシステム、セキュリティに関するサポート有無やパラメータ値）や撮像装置性能情報（逆光補正や明るさ、コントラスト、ホワイトバランス、フォーカス調整、ワイドダイナミックレンジなどの画質に関するパラメータ値や、解像度、フレームレート、コーデック種別などのメディアのプロファイルに関するパラメータ値）、ＰＴＺ（パン・チルト・ズーム）機能情報（座標系の定義、可動パラメータ、プリセットポジションなど）、解析機能情報（サポートする解析機能や認証の種類、解析結果のフォーマットなど）がある（ステップ６０６）。

【0103】

ここで、図７に、本実施の形態の撮像装置１００に関する情報の一構成を示す。本実施の形態の撮像装置１００は、出力画像の種別７０１として「可視画像」と「赤外画像」があり、コントローラ装置２００に送信する出力モード７０２として「可視画像のみ出力」、「赤外画像のみ出力」、「両画像を照度や時間によりどちらか一方に自動的に切り替えて出力」、「可視画像と赤外画像の両方を同時出力」の４種類を持つ。また、可視画像のアクセス先情報７０３として、コントローラ装置２００が撮像装置１００から可視画像に関する情報や実際の可視画像を取得するためにアクセスするＵＲＩ／ＵＲＬ情報、同様に赤外画像のアクセス先情報７０４としてコントローラ装置２００が撮像装置１００から赤外画像に関する情報や実際の赤外画像を取得するためにアクセスするＵＲＩ／ＵＲＬ情報を持つ。また、可視画像の情報７０５として出力可能な可視画像のコーデックや転送レート、解像度など、同様に赤外画像の情報７０６して出力可能な赤外画像のコーデックや転送レート、解像度などを含む。本構成は一例であり、その他情報を含んでも良い。

【0104】

前記撮像装置１００の機能情報を受信したコントローラ装置２００の制御部２１４は、機能情報の内容を表示部２０２を介して管理者に通知あるいは自動的に確認し、該コントローラ装置２００で管理すると決定した場合にはカメラ管理部２０８に管理対象として追加する。カメラ管理部２０８はメモリ２０４に機能情報の全部あるいは一部を格納して管理する。また、制御部２１４は、コントローラ装置２００自身がサポートする解析機能や認証機能を確認し、前記撮像装置１００の画像を利用するか否かを判断する。あるいは／さらに、撮像装置１００がサポートする解析機能情報を確認し、該撮像装置１００を利用する際に実行する認証の方法や解析方法を決定するようにしても良い（ステップ６０７）。

【0105】

コントローラ装置２００の制御部２１４が前記撮像装置１００を利用すると決定した場合、制御部２１４は、ステップ６０６で取得した機能情報に含まれるパラメータで変更や設定が必要なものを設定するために、通信制御部２０６に指示して、撮像装置１００に対して機器設定要求を送信する。例えば、本実施の形態では、前記出力モード７０２として「可視画像と赤外画像の両方を同時出力」を設定する（ステップ６０８）。ここで、例えば前記撮像装置１００の設置場所に基づき、前記出力モード７０２を決定するようにしても良い。

【0106】

前記機器設定要求を受信した撮像装置１００の制御部２３は、受信した設定が実行可能であるか否かを確認し、実行した結果をコントローラ装置２００に返信する（ステップ６０９）。

【0107】

次に、コントローラ装置２００の制御部２１４は、通信制御部２０６に指示して、実際に可視画像や赤外画像の取得に必要なプロトコルやパラメータを取得するためのアクセス先情報取得要求を送信する（ステップ６１０）。

【0108】

前記アクセス先情報取得要求を受信した撮像装置１００の制御部２３は、前記可視画像のアクセス先情報７０３や赤外画像のアクセス先情報７０４を含むメディアへのアクセス先情報（例えば、メディアタイプやポート番号、転送プロトコル、ペイロード番号など）を、通信制御部１５に指示して返信する（ステップ６１１）。

【0109】

前記アクセス先情報を受信したコントローラ装置２００の制御部２１４は、引き続き、画像の受信に必要なセッション情報（ＤＥＳＣＲＩＢＥ）の取得要求を撮像装置１００に対して送信する（ステップ６１２）。

【0110】

前記セッション情報取得要求を受信した撮像装置１００の制御部２３は、通信制御部１５に指示して、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いて記述したセッション情報を生成し、コントローラ装置２００へ送信する（ステップ６１３）。

【0111】

前記セッション情報を受信したコントローラ装置２００の制御部２１４は、通信制御部２０６に指示して、撮像装置１００との間でＲＴＳＰセッションを確立する。ここで、ＲＴＳＰセッションは、通常、可視画像の転送用と赤外画像の転送用とで別々に確立する（ステップ６１４）。

【0112】

前記ＲＴＳＰセッションを確立した後、コントローラ装置２００はこれらの画像の受信準備や顔認証の準備を行い（ステップ６１５）、撮像装置１００は可視画像や赤外画像の送信準備を行い（ステップ６１６）、結果を送信する（ステップ６１７）。

【0113】

コントローラ装置２００の制御部２１４は、全ての準備が完了したことを確認すると、通信制御部２０６に指示して、ストリーミング開始要求（ＰＬＡＹ）を撮像装置１００に送信する（ステップ６１８）。

【0114】

前記ストリーミング開始要求を受信した撮像装置１００の制御部２３は、ステップ６０８でコントローラ装置２００が要求した通りの画像を出力するように信号出力制御部１４に指示し、信号出力制御部１４が出力する画像を前記ステップ６１２／６１３で確立したセッション上でＲＴＰを用いて撮像装置１００へ送信するように通信制御部１５に指示する（ステップ６２０）。

【0115】

また、コントローラ装置２００の制御部２１４は、画像の受信を開始する（ステップ６２１）。

【0116】

その後、撮像装置１００が撮影した可視画像と赤外画像のＲＴＰ転送を実行する（ステップ６２１，６２２）。ここで、撮像装置１００の通信制御部１５は、コントローラ装置側の処理負担を軽減するために、ＲＴＰヘッダのマーカビットを利用し、フレームの切れ目が分かるようにしても良い。

【0117】

また、撮像装置１００の通信制御部１５は、所定のフレーム数を転送する毎に、ＲＴＣＰの送信レポートをコントローラ装置２００に送信する。可視画像と赤外画像が同時に撮像されたことを示すために、前記レポートの中に同じタイムスタンプやフレーム番号、パケットカウントなどを格納する（ステップ６２３）。

【0118】

撮像装置１００から可視画像および赤外画像を受信するコントローラ装置２００の制御部２１４は、記録再生部２０５を介してこれらの画像をメモリ２０４に格納しながら、動体領域抽出部２０９や顔領域検出部２１０、顔特徴点検出部２１１、顔照合部２１２を用いて顔認証を実行する。そして、必要に応じてストリームングの中断や停止を制御する（ステップ６２４）。

【0119】

以上が、コントローラ装置２００と撮像装置１００間の基本的な通信フローである。

【0120】

ここで、上記の通信フローではＲＴＰ通信を用いているが、ＨＴＴＰ通信や他の独自通信方法でも良い。また、可視画像と赤外画像を個別のストリームで転送するのではなく、同じストリームに重畳して転送するようにしても良い（例えば、共通ヘッダ（タイムスタンプやシーケンス番号を含む）＋１枚目の可視画像＋１枚目の赤外画像＋・・・等）。また、同時に両画像を転送すると通信帯域の使用率が高くなるため、赤外画像は１フレーム毎、可視画像は３０フレーム毎といった転送でも良い。この場合も、同タイミングで撮影したフレームについては、赤外画像と可視画像で同じタイムスタンプとフレーム番号を使用するようにする。

【0121】

ここで、ステップ６２３では、撮像装置１００がコントローラ装置２００に対して送信レポートを送付しているが、同様にコントローラ装置２００が撮像装置１００に対してパケット欠落や転送遅延に関する情報を含んだ受信レポートを送付しても良い。

【0122】

また、ステップ６２３で可視画像と赤外画像が同時に撮像されたことを示すために、同じタイムスタンプやフレーム番号を設定した送信レポートを送信すると記載したが、例えば、送信するＲＴＰヘッダのタイムスタンプやシーケンス番号を同じ値に設定する方法や、ＲＴＰヘッダの拡張ヘッダに同じタイムスタンプとフレーム番号を設定する方法もある。

【0123】

コントローラ装置２００の制御部２１４は、記録再生部２０５に指示して、受信した可視画像や赤外画像をメモリ２０４に格納し、動体領域抽出部２０９、顔領域検出部２１０、顔特徴点検出部２１１、顔照合部２１２を用いて、画像内に含まれた人物を検出し、不審者か否かなどの顔認証を実行する。この際、同タイミングで同対象物を撮影した可視画像と赤外画像を取得でき、さらに同じタイムスタンプやシーケンス番号が付加されることにより両画像の同期が容易であるメリットを生かし、両方の画像で顔認証して認証精度を向上させる方法や、通常はどちらか一方の画像だけで顔認証を行い（例えば、赤外画像のみ）、両画像を比較して確認したい場合（背景や色などの付加情報を把握したい、他方の画像で顔認証したい部分がある等）に同じシーケンス番号の他方の画像を利用する方法がある。

【0124】

また、本実施の形態では、ステップ６０８で前記出力モード７０２として「可視画像と赤外画像の両方を同時出力」を設定したが、日中は「視画像と赤外画像の両方を同時出力」を設定し、夜間は「赤外画像のみ」を設定など、時間や周囲の環境によって変更するようにしても良い。あるいは、どちらか一方の画像を受信しながら同時に顔認証を実行する場合に、顔照合部２１２でマッチングした結果、不審者と思しき人物のさらなる情報を取得したい場合に、途中で両方画像を受信するように自動的に切り替えるようにしても良い。

【0125】

コントローラ装置２００の制御部２１４は、顔照合部２１２で照合した結果、画像内に不審者がいると判断あるいは不審者の候補がいると判断した場合、表示部２０２経由で管理者に通知、あるいはＩＦ部２０７経由で他のコントローラ装置２００に通知や情報共有し、複数の撮像装置１００の間で当該不審者を追跡することも可能となる。

【0126】

（実施の形態２）
次に、本発明の実施の形態２に係る撮像システムの構成を説明する。

【0127】

図８は、本発明の実施の形態２に係る撮像システムの構成例を示す。なお、前記実施の形態１の撮像装置１００と、本実施の形態の撮像装置８００、８１０は、同じ撮像システム上に混在して複数設置することができ、コントローラ装置２００はこれらの撮像装置を管理することが可能である。

【0128】

本実施の形態の撮像装置８００は、前記実施の形態１の撮像装置１００に、コントローラ装置２００の動体領域抽出部２０９と同様の機能を備えた動体領域抽出部８０１を搭載した構成である。それ以外の構成部分は、撮像装置１００と同様の構成である。

【0129】

撮像装置８００の制御部２３は、信号処理部１３が出力する可視画像と赤外画像の内、赤外画像のみを動体領域抽出部８０１へ入力する。赤外画像のみを用いる理由としては、可視画像で検出できない物体を検出できること、可視画像より人間と背景とのコントラストが大きく人検出に有効であること、などが挙げられる。

【0130】

前記動体領域抽出部８０１は、入力された赤外画像を用いて画像内の動体領域を抽出し、その数と位置情報を出力する。これらの結果は、制御部２５あるいは信号出力制御部１４に出力する。メモリ２２に格納しても良い。

【0131】

以上により、前記撮像装置８００は、同タイミングで撮影した可視画像と赤外画像の内、赤外画像を用いて常に画像内の動体領域を監視し、高精度に抽出した動体領域に関する情報を可視画像あるいは赤外画像と一緒にコントローラ装置２００に提供できる。コントローラ装置２００は、画像と共に動体領域に関する情報を取得できるため、画像処理負担を軽減できる。

【0132】

ここで、撮像装置８００の制御部２３は、ネットワーク上の通信帯域の使用量を減らすために、動体領域抽出部８０１で動体領域を抽出した場合のみ信号出力制御部１４からＩＦ部１６を介して画像を出力し、動体領域が抽出できない場合は信号出力制御部１４から画像を出力しない、あるいは信号出力制御部１４から出力する画像のフレームレートを落とすようにしても良い。

【0133】

また、撮像装置８００の制御部２３は、動体領域抽出部８０１で抽出した動体領域と信号処理部１３で出力する可視画像および／または赤外画像を組み合わせ、画像上に動体領域が矩形で囲まれた画像を生成／加工するように信号出力制御部１４に指示するようにしても良い。

【0134】

同様に、本実施の形態の撮像装置８１０は、前記撮像装置８００に、コントローラ装置２００の顔領域検出部２１０と同様の機能を備えた顔領域検出部８０２を搭載した構成である。それ以外の構成部分は、撮像装置１００と同様の構成である。

【0135】

撮像装置８１０の制御部２３は、信号処理部１３が出力する可視画像と赤外画像の内、赤外画像のみを動体領域抽出部８０１へ入力する。前記動体領域抽出部８０１は、入力された赤外画像を用いて画像内の動体領域を抽出し、その数と位置情報を制御部２３あるいは信号出力制御部１４に出力すると同時に、顔領域検出部８０２に入力する。前記顔領域検出部８０２は、入力された動体領域の中から人の顔が存在する領域を検出し、制御部２３あるいは信号出力制御部１４に出力する。

【0136】

以上により、前記撮像装置８１０は、同タイミングで撮影した可視画像と赤外画像の内、赤外画像を用いて常に画像内の動体領域を監視し、高精度に動体領域を抽出でき、さらにその動体領域から人の顔が存在する領域を検出し、可視画像あるいは赤外画像と一緒に動体領域の情報と顔領域の情報をコントローラ装置２００に提供できる。コントローラ装置２００は、画像と共にこれらの情報を取得できるため、画像処理負担を軽減できる。

【0137】

ここで、撮像装置８１０の制御部２３は、ネットワーク上の通信帯域の使用量を減らすために、顔領域検出部８０２で人の顔領域を検知した場合のみ信号出力制御部１４からＩＦ部１６を介して画像を出力し、動体領域を抽出しても人の顔領域が検出できない場合は信号出力制御部１４から画像を出力しない、あるいは信号出力制御部１４から出力する画像のフレームレートを落とすようにしても良い。同様に、物体のみを検知するために、人の顔領域が検出できなかった動体領域を検知した場合のみ、信号出力制御部１４からＩＦ部１６を介して画像を出力するようにしても良い。

【0138】

また、撮像装置８１０の制御部２３は、顔領域検出部８０２で抽出した顔領域（および動体領域抽出部８０１で抽出した動体領域）と信号処理部１３で出力する可視画像および／または赤外画像を組み合わせ、画像上に顔領域が矩形で囲まれた画像を生成／加工するように信号出力制御部１４に指示するようにしても良い。

【0139】

撮像装置８００、８１０とコントローラ装置２００間の通信フローは、実施の形態１の図６に記載した内容とほぼ同じであるが、異なる点のみ以下に記載する。

【0140】

まず、図６のステップ６０６において、撮像装置８００、８１０がコントローラ装置２００へ提供する機能情報は、例として図７に示した情報に加え、図９に示すような情報を前記した解析機能情報として提供する。すなわち、機能情報の中に、撮像装置８００は自身が「動体領域抽出機能」を搭載することを示す内容を、撮像装置８０１は「動体領域抽出機能」と「顔領域検出機能」を搭載することを示す内容を含める。

【0141】

本実施の形態では、これらの情報を解析メタデータとし、機能情報（解析機能情報）として図９に示すような解析メタデータの種別９０１．解析メタデータの出力モード９０２、動体領域メタデータのアクセス先情報９０３、顔領域メタデータのアクセス先情報９０４、動体領域／顔領域メタデータのアクセス先情報９０５、動体領域メタデータの情報９０６、顔領域メタデータの情報９０７を含む。

【0142】

前記機能情報を受信したコントローラ装置２００の制御部２１４は、ステップ６０７において、コントローラ装置２００自身がサポートする解析機能や認証機能を確認し、前記撮像装置８００が出力する解析メタデータを利用するか否かを判断する。例えば、撮像装置８００、８１０の両方に対して解析メタデータ「動体領域の位置情報」のみを利用する、あるいは撮像装置８００の解析メタデータは利用せず、撮像装置８１０の解析メタデータの「顔領域の位置情報」のみを利用する、といった選択が可能となる。

【0143】

図１０は、撮像装置８００、８１０とコントローラ装置２００との間で可視画像や赤外画像、解析メタデータを送信するための通信フローを示す。この説明では、撮像装置８００は「動体領域の位置情報」、撮像装置８１０は「動体領域の位置情報」「顔領域の位置情報」の両方の解析メタデータを送信するものとする。また、撮像装置８００、８１０は、図６のステップ６１４において、可視画像と赤外画像に加え、解析メタデータ転送用のセッションも確立するものとする。

【0144】

撮像装置８００、８１０は、可視画像と赤外画像のフレーム転送を開始し（ステップ１００１、１００２）、所定のフレーム数を転送する毎に（ステップ１００３、１００４）、動体領域抽出部８０１や顔領域検出部８０２で抽出した解析メタデータを送信する（ステップ１００５）。ここで、解析メタデータの送付は、動体領域や顔領域を検出したタイミングで送付するようにしても良い。

【0145】

前記解析メタデータ１２００を受信したコントローラ装置２００の制御部２１４は、前記解析メタデータ１２００に動体領域の情報か顔領域の情報が含まれているか否かを確認する（ステップ１００６）。そして、動体領域の情報が含まれていない場合は自身が持つ動体領域抽出部２０９を用いて動体領域の抽出処理を実行する（ステップ１００７）。

【0146】

一方、動体領域の情報か顔領域の情報が含まれている場合は、顔領域の情報が含まれているか否かを確認する（ステップ１００８）。そして、顔領域の情報が含まれていない（すなわち、動体領域の情報のみ含まれる）場合は受信した動体領域の情報と、自身が持つ顔領域検出部２１０を用いて顔領域の検出処理を実行する（ステップ１００８）。

【0147】

一方、顔領域の情報が含まれている場合は、受信した顔領域の情報と、自身が持つ顔特徴点検出部２１１を用いて顔の特徴点を抽出し（ステップ１０１０）、顔照合部２１２を用いてマッチングを実行する（ステップ１０１００）。

【0148】

図１１に、撮像装置８００、８１０で扱う画像イメージを示す。画像１１００は、撮像装置８００、８１０が撮影した可視画像の例である。画像１１００から背景を除去し、動体領域のみを抽出したものが画像１１０１である。この画像例では、（Ａ）（Ｂ）（Ｃ）の３つの領域（点線の四角で囲っている部分）が抽出できている。画像１１０１からさらに顔領域を抽出したものが画像１１０２である。この画像例では、（ａ）（ｂ）の２つの領域（実線の四角で囲っている部分）が抽出できている。

【0149】

図１２に、ステップ１００５で撮像装置８００、８１０が送付する解析メタデータ１２００の構成例を示す。

【0150】

解析メタデータ１２００は、大きく通信ヘッダ１２０１とペイロード１２１０で構成される。通信ヘッダ１２０１は例えば、ＲＴＰヘッダやＨＴＴＰヘッダなどと同様である。

【0151】

ペイロード１２１０には、解析メタデータを格納する。例えば、動体領域あるいは顔領域の抽出に使用した赤外画像のフレーム番号１２１１、可視画像のフレーム番号１２１２、撮像装置８００、８１０が抽出できる動体領域の最大数１２１３、実際に動体領域抽出部８０１で抽出できた動体領域抽出数１２１４（ここではｎ個）、抽出した動体領域の座標情報１～ｎ（１２１５～１２１６）、撮像装置８１０が抽出できる顔領域の最大数１２１７、実際に顔領域検出部８０２で抽出できた顔領域抽出数１２１８（ここではｍ個≦ｎ個）、抽出した動体領域の座標情報１～ｍ（１２１９～１２２０）から構成される。

【0152】

以上により、本実施の形態の前記撮像装置８００、８１０は、可視画像、赤外画像に加え、赤外画像を用いて精度良く抽出した動体領域に関する情報や人領域に関する情報を、必要な画像出力と同時にコントローラ装置２００へ提供することができる。

【0153】

一方、コントローラ装置２００は、受信した動体領域の情報や人領域の情報を即座に利用することで従来の手順を省くことができるため、従来よりも顔認証の実行時間を短縮することができる。これは、１台のコントローラ装置２００で多くの撮像装置を管理する場合に、コントローラ装置２００の処理負荷を軽減する点で有効である。

【0154】

ここで、本実施の形態では、撮像装置８００、８１０がコントローラ装置２００に対して、少なくとも可視画像、赤外画像のいずれか１つの画像と解析パラメータを送信する例について記載したが、ネットワーク上のデータ量を削減するために、解析パラメータと、解析パラメータが示す部分（動体領域、顔領域）のみの画像を送付するようにしても良い。

【0155】

また、撮像装置８００、８１０の制御部２３は、動体領域抽出部８０１で画像内の動体領域を最初に検知すると該当する画像のフレーム番号を保持し、その画像に連続して撮像された画像からその動体領域の対象が存在しなくなるまで追跡し、図１２に示す解析メタデータ１２００内の座標情報の付属情報として前記フレーム番号を追加するようにしても良い。これにより、コントローラ装置２００は、解析メタデータ１２００を参照することで、動体領域が含まれるフレーム番号を容易に把握し、時間を算出することができる。

【0156】

（実施の形態３）
次に、本発明の実施の形態３に係る撮像システムの構成を説明する。

【0157】

前述の実施の形態１、実施の形態２の撮像装置は、１組のレンズ１１、撮像センサ部１２、信号処理部１３を用いて可視画像と赤外画像を撮影していた。本実施の形態の撮像装置は、２組のレンズ１１、撮像センサ部１２、信号処理部１３を左右に配置した構成とし、可視光と赤外光とでそれぞれ左右２つの画像からなるステレオ画像（距離画像）を撮影可能とする。

【0158】

図１３は、本実施の形態の撮像システムの構成例を示す。本撮像システムは、１台以上の撮像装置１３００とコントローラ装置１３１０から構成する。

【0159】

撮像装置１３００は、前述した通り、２組のレンズ１１、撮像センサ部１２、信号処理部１３を備え、新たに補正パラメータ算出部１３０１、距離算出部１３０２を備える。２つのレンズ１１（ａ）（ｂ）は、それぞれの光軸が互いに平行になるように左右に配置する。それ以外の構成部分は、基本的に実施の形態１、実施の形態２の撮像装置１００、８００、８１０と同様の構成である。

【0160】

補正パラメータ算出部１３０１は、２つの信号処理部１３（ａ）（ｂ）から出力されるそれぞれの可視画像の信号強度（信号レベル）を近似させるようにクリップレベルや信号レベルの補正値（例えば、可視画像信号や赤外画像信号、赤外信号や各色信号等の信号に加算や減算や乗算や除算される補正値）等のパラメータを設定して、２つの可視画像信号（２つの赤外画像信号）の信号レベルが近似するようにする。画像信号補正処理部２０３における補正量については、２つの信号処理部１３（ａ）（ｂ）からの出力を見て、それぞれに設定することで画像信号のレベル合わせ込む。左右の画像信号のレベルを合わせ込む処理は、赤外画像信号と可視画像信号の両方で行うことが可能である。

【0161】

すなわち、補正パラメータ算出部１３０１が２つの信号処理部１３（ａ）（ｂ）から出力される画像信号の信号レベルに基づいて補正量を決定して、２つの信号処理部１３（ａ）（ｂ）から出力される画像信号の信号レベルが近似するようにする。これにより、２つの画像データで例えば輝度レベルが異なることにより、被写体の異なる部分を同じ部分（対応点）と認知して、測定する距離に誤差が生じたり、エラー発生したりするのを抑制することができる。

【0162】

距離算出部１３０２は、２つの信号処理部１３（ａ）（ｂ）からそれぞれ入力される２つの可視画像信号あるいは赤外画像信号を用いて、対象物までの距離を算出する。この際、２つの画像から同一の被写体（対応点）を決定し、これら同一の被写体の画像上の位置の違いとしての視差を検出することで、従来と同様に距離を求める。すなわち、差の測定用の対応点は、画像認識により決定し、対応点の画像中の位置の違いである視差に基づいて距離を算出する。そして、各画素に対応した距離情報を元にステレオ画像（距離画像）を生成し、信号出力制御部１４に出力する。

【0163】

信号出力制御部１４は、左右で撮像した２つの可視画像、赤外画像に加え、前記距離算出部１３０２が生成したステレオ画像（距離画像）をコントローラ装置１３１０に提供することが可能となる。

【0164】

以上から、本撮像装置１３００では、被写体の可視光画像、赤外画像を同時に取得することができ、両方の画像から距離を算出することができる。この際、可視画像と赤外画像の位置があっているので、両画像間で計測される距離が変化してしまうことを防止できる。

【0165】

ここで、上記距離算出部１３０２は、２枚の可視画像、２枚の赤外画像を用いて、それぞれの距離を算出した後、２枚のステレオ画像（距離画像）を生成してそのまま出力しても良い。あるいは、生成した２枚のステレオ画像を比較し、それら距離情報の差異が所定の閾値範囲内であればどちらか一方の距離画像を出力し、閾値を超える場合は両方の距離画像を出力する、あるいは予め出力設定していた距離画像（例えば、赤外画像で計算した距離画像を優先、距離が近い値を示している距離画像など）を出力する、あるいは超えている領域部分を解析メタデータとして個別に出力するようにしても良い。図２２に、距離算出部１３０２の処理概要の一例を示す。

【0166】

また、本撮像装置１３００の制御部２３は、コントローラ装置２００の指示に従い、信号出力制御部１４を用いて、２つの信号処理部１３（ａ）（ｂ）から出力された可視画像、赤外画像と、距離算出部１３０２から出力されたステレオ画像（距離画像）のうち、ＩＦ部１６経由で出力するデータを制御する。例えば、本撮像装置１３００がプライベート保護の必要な場所（例えば、トイレや更衣室）に設置されている場合にはステレオ画像のみを出力し、高いセキュリティが要求される場所に設置されている場合は全ての画像を出力する、といった利用が可能となる。

【0167】

一方、コントローラ装置１３１０は、実施の形態１、実施の形態２のコントローラ装置２００の動体領域抽出部２０９、顔領域検出部２１０、顔特徴点検出部２１１、顔照合部２１２、顔ＤＢ２１３の代わりに、可視画像と赤外画像に加えてステレオ画像（距離画像）を使用あるいはステレオ画像のみを使用して解析処理や認証処理を行うために、異なる動体領域抽出部１３１１、顔領域検出部１３１２、顔特徴点検出部１３１３、顔照合部１３１４、３Ｄ顔ＤＢ１３１５を搭載する。これにより、例えば、顔認識において、顔の凸凹に関する３次元データを取得し、それを利用することで、精度良くかつ容易に顔領域の検出や、顔特徴点の検出を実行することができる。

【0168】

また、コントローラ装置１３１０は、撮像装置１３００からステレオ画像（距離画像）を取得することで、動体領域抽出部２０９で抽出した動体領域の距離を参照し、所定の距離以内であれば顔認証を実行し、それ以外は実行しない等を判断することができる。

【0169】

図２３に、コントローラ装置１３１０が別々の場所に設置された撮像装置１３００（ａ）（ｂ）（ｃ）の様子を表示した例を示す。オフィスやビル等のエントランスに設置された撮像装置１３００（ａ）から受信した可視画像あるいは赤外画像と距離画像を用いて、コントローラ装置１３１０は３Ｄベースの顔認証を行い、実行結果を表示する。これにより、来場者や不審者の確認が容易となり、受付時の混雑解消に役立つ。また、公共施設や商業施設等の店舗に設置された撮像装置１３００（ｂ）から受信した距離画像を用いて、コントローラ装置１３１０は商品棚を眺める人の数や、人物が特定できない範囲の情報（例えば、性別や身長、顔の向き、身体の向き、姿勢など）を表示する。これにより、買い物客の購買層や視線や姿勢による関心度などを判断し、商品や陳列に関するマーケティング／販売力強化に役立つ。遊園地や公園等の屋外に設置された撮像装置１３００（ｃ）から受信した可視画像、赤外画像、距離画像を用いて、コントローラ装置１３１０は、画像の中から人物を抽出し、３Ｄベースの顔認証を行い、予め登録した人物であると確認できた場合はその部分を距離画像で表示し、確認できなかった人物のみを可視画像あるいは赤外画像で表示する。あるいは、人物が特定できない範囲の情報（例えば、性別や身長、顔の向き、子供連れ、姿勢など）を表示する。これにより、来園客の安全確保と不審者の早期発見に役立つ。

【0170】

次に、図１４に、本実施の形態の撮像システムの別構成例を示す。本撮像システムは、１台以上の撮像装置１４００とコントローラ装置１４１０から構成する。また、図示していないが、ネットワーク３０３上に、実施の形態１の撮像装置１００、実施の形態２の撮像装置８００、８１０、そして上記撮像装置１３００が混在しても良い。コントローラ装置１４１０は、いずれの撮像装置も管理可能とする。

【0171】

撮像装置１４００は、前記撮像装置１３００に、２つの動体領域抽出部１４０１（ａ）（ｂ）を搭載する。この動体領域抽出部１４０１は、前記コントローラ装置１３１０の動体領域抽出部１３１１と同様でも良い。それ以外の構成部分は、撮像装置１３００と同様の構成である。

【0172】

動体領域抽出部１４０１（ａ）（ｂ）は、２つの信号処理部１３（ａ）（ｂ）から出力される赤外画像を用いて、それぞれの画像から動体領域を抽出する部分である。これらの抽出した動体領域の情報は、前記実施の形態２と同様に、信号出力制御部１４あるいは制御部２３に出力し、コントローラ装置１４１０に提供することが可能である。また、動体領域抽出部１４０１（ａ）（ｂ）は、前記距離算出部１３０２から出力されるステレオ画像（距離画像）を用いて動体領域を抽出し、前述の方法と結果を比較することでより精度良く動体領域を抽出できる。あるいは、最初にステレオ画像（距離画像）を用いて動体領域を抽出し、次に赤外画像を用いて前記抽出した動体領域の部分のみをさらに詳細に確認するようにしても良い。

【0173】

ここで、制御部２３は、前記動体領域抽出部１４０１（ａ）（ｂ）から出力された２つの動体領域の情報を参照し、抽出した数や位置を比較し、その比較結果を解析メタデータとして送信することもできる。コントローラ装置１４１０は、前記解析メタデータを利用し、左右どちらの可視画像あるいは赤外画像を用いて顔認証するかを選択することができる。例えば、動体領域抽出部１４０１（ａ）（ｂ）で動体領域を抽出した結果、動体領域抽出部１４０１（ａ）（あるいは動体領域抽出部１４０１（ｂ））で抽出した結果の方が動体領域の数が多い場合に、撮像装置１４００の制御部２３は動体領域抽出部１４０１（ａ）（あるいは動体領域抽出部１４０１（ｂ））で抽出した動体領域の情報と信号処理部１３（ａ）（あるいは信号処理部１３（ｂ））から出力される可視画像あるいは赤外画像を送付する。

【0174】

一方、コントローラ装置１４１０は、前記コントローラ装置１３１０に、実施の形態１に記載したコントローラ装置２００の顔領域検出部２１０、顔特徴点２１１、顔照合部２１２、顔ＤＢ２１３と、総合判定部１４１１を搭載する。

【0175】

これにより、撮像装置１４００は、実施の形態１に記載した顔領域検出部２１０、顔特徴点２１１、顔照合部２１２、顔ＤＢ２１３を用いた顔認証処理（可視画像、赤外画像を使用）と、前述した顔領域検出部１３１２、顔特徴点検出部１３１３、顔照合部１３１４、３Ｄ顔ＤＢ１３１５を用いた顔認証処理（可視画像、赤外画像、ステレオ画像を使用）とを併用して実行することができる。総合判定部１４１１は、両方の顔認証処理を実行した結果に基づき、人認証結果の最終判定を行う部分である。これにより２種類の異なる顔認証方法を実行することで、より精度の高い顔認証を実行できる。

【0176】

同様に、図１５に、本実施の形態の撮像システムの別構成例を示す。本撮像システムは、１台以上の撮像装置１５００とコントローラ装置１５１０から構成する。また、図示していないが、ネットワーク３０３上に、実施の形態１の撮像装置１００、実施の形態２の撮像装置８００、８１０、そして上記撮像装置１３００、１４００が混在しても良い。コントローラ装置１５１０は、いずれの撮像装置も管理可能とする。

【0177】

撮像装置１５００は、前記撮像装置１４００に、２つの顔領域検出部１５０２（ａ）（ｂ）を搭載する。この顔領域検出部１５０２は、前記コントローラ装置１３１０の顔領域検出部１３１２と同様でも良い。それ以外の構成部分は、撮像装置１４００と同様の構成である。

【0178】

顔領域検出部１５０１（ａ）（ｂ）は、２つの動体領域抽出部１４０１（ａ）（ｂ）から出力される動体領域の情報を用いて、人の顔領域を抽出する部分である。これらの抽出した顔領域の情報は、前記実施の形態２と同様に、信号出力制御部１４あるいは制御部２３に出力し、コントローラ装置１５１０に提供することが可能である。

【0179】

ここで、制御部２３は、前記顔領域検出部１５０１（ａ）（ｂ）から出力された２つの顔領域の情報を参照し、抽出した数や位置、そして顔の向きを比較し、その比較結果を解析メタデータとして送信することができる。コントローラ装置１５１０は、前記解析メタデータを利用し、より顔認証に適した画像を選択することで、より精度の高い顔認証を実行できる。

【0180】

一方、コントローラ装置１５１０は、前記コントローラ装置２００あるいはコントローラ装置１４１０に、新たに認証方式選択部１５１１、虹彩検出部１５１２、虹彩照合部１５１３、虹彩ＤＢ１５１４を搭載する。

【0181】

認証方式選択部１５１１は、撮像装置１５００から受信した可視画像、赤外画像、ステレオ画像（距離画像）、解析パラメータ情報などを用いて、顔認証と虹彩認証のどちらを実行するかを選択する部分である。例えば、対象物が所定の距離範囲に入った場合は虹彩認証を実行し、それ以外は顔認証を実行する。あるいは、通常は顔認証を実行し、虹彩認証が可能な条件を満たしている場合には虹彩認証も実行する。

【0182】

虹彩検出部１５１２は、撮像装置１５００から受信した赤外画像と、その画像から抽出した顔領域を含む解析パラメータを用いて、人の目の虹彩位置を検出し、さらに虹彩と白目の境の検出および虹彩と同行の境を検出し、虹彩エリアの特定を行い、瞳孔コードを生成する。なお、これらの方法は、周知のいずれの手法を適用しても良い。

【0183】

虹彩照合部１５１３は、前記虹彩検出部１５１２で検出した情報を元に、顔認証と同様に、虹彩ＤＢ１５１４を用いてマッチングを行う。

【0184】

これによりコントローラ装置１５１０は、撮像装置１５００から受信した可視画像、赤外画像、ステレオ画像（距離画像）、解析パラメータ情報などを用いて、最適な生体認証を選択することができ、より精度の高い本人認証を実行することが可能となる。

【0185】

図２４に、空港やビルエントランスなどに設置された撮像装置１５００の撮像映像を、コントローラ装置１４１０、コントローラ装置１５１０が処理する例を示す。本例では、コントローラ装置１４１０は、撮像装置１５００から可視画像と解析パラメータとして顔領域と距離情報を取得することで、距離が遠い顔領域に対しては比較的画像処理負担が軽い２Ｄ顔認証を実施し、距離が近い顔領域については画像処理負担の大きい３Ｄ顔認証する。また、コントローラ装置１５１０は、撮像装置１５００から可視画像、赤外画像、解析パラメータとして顔領域と距離情報を取得することで、距離が遠い顔領域に対しては可視画像を用いて顔認証し、距離が近い顔領域に対しては赤外画像を用いて虹彩認証を行う。また、順番待ちなどによる混雑を解消するために、撮像画像内で所定の位置から近い距離に居る人を判断し、その順番に顔認証を実行することもできる。

【0186】

図１６は、本実施の形態の撮像システムの別構成例を示す。本撮像システムは、例えばスマートフォンやタブレットのような携帯端末に搭載した例を示す。

【0187】

図１７、図１８は、本実施の形態の形態で使用する撮像装置１４００、１５００に関する機能情報や解析パラメータの構成例を示す。

【0188】

前記撮像装置が生成するステレオ画像（距離画像）は、図１７に示すように、可視画像や赤外画像と同様の転送方法で、コントローラ装置へ提供することが可能である。

【0189】

あるいは、図１８に示すように、動体領域の位置情報や顔領域の位置情報に付加した方法で提供することも可能である。その場合は、動体領域や顔領域に該当する座標領域に関する距離情報のみを切り出して付加する。

【0190】

図２０に、解析パラメータの一部として距離情報を送付する構成例を示す。ペイロード１２１０内に距離情報を格納し、例えば抽出した動体領域（個数ｎ）に関する距離情報は動体領域の座標情報の直後に格納（２００１、２００２）し、顔領域（個数ｍ）に関する距離情報は顔領域の座標情報直後に格納（２００３、２００４）する。この構成の他、座標情報と距離情報を交互に格納した構成でも良い。

【0191】

図１９は、本実施の形態の撮像システムの別構成例を示す。本撮像システムの撮像装置１９００は、１つの動体領域抽出部１９０１を備え、左右の信号処理部１３（ａ）（ｂ）のどちらか一方の赤外画像を用いて動体領域を抽出する構成である。あるいはどちらか一方の赤外画像と、距離算出部１３０２から出力されたステレオ画像とを用いて動体領域を抽出する構成である。

【符号の説明】

【0192】

２…センサ本体、３…カラーフィルタ、５…ＤＢＰＦ（光学フィルタ）、１１…レンズ（光学系）、１２…撮像センサ部、１３…信号処理部、１４…信号出力制御部、１５…通信制御部、１６…ＩＦ部、２３…制御部、１００、８００、８１０、１３００、１４００、１５００…撮像装置、２００、１３１０、１４１０、１５１０…コントローラ装置、８０１、１４０１…動体領域抽出部、８０２、１５０１…顔領域検出部、１３０１…補正パラメータ算出部、１３０２…距離算出部、１６００…携帯端末。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】