特許 6585668 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6585668

(24)【登録日】2019年9月13日

(45)【発行日】2019年10月2日

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/174 20170101AFI20190919BHJP

   G06T 7/254 20170101ALI20190919BHJP

【ＦＩ】

   G06T7/174

   G06T7/254 B

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2017-140983(P2017-140983)

(22)【出願日】2017年7月20日

(65)【公開番号】特開2019-21189(P2019-21189A)

(43)【公開日】2019年2月7日

【審査請求日】2018年9月27日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】太田 鮎子

(72)【発明者】

【氏名】大津 全史

(72)【発明者】

【氏名】森 敦

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１５−１２８２２８（ＪＰ，Ａ）

【文献】 特開２０１１−１５０６８６（ＪＰ，Ａ）

【文献】 佐藤智 外１名，偏光情報を利用した陰影領域の分割，電子情報通信学会技術研究報告 ＰＲＭＵ２００８−１１１〜１４６ パターン認識・メディア理解，社団法人電子情報通信学会，２００８年１１月２０日，第108巻 第327号，第201−206頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

空間を撮影した入力画像から、局所領域内の各画素の偏光情報を取得する偏光情報取得部と、
前記局所領域について、前記入力画像の前記偏光情報と、前記入力画像と撮影時刻が異なる前記空間を撮影した比較画像の前記偏光情報との相関が高いほど高くなる類似度を算出する類似度算出部と、
前記類似度が所定値以下である場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化があった領域であると判定する物体判定部と、
を含む物体検出装置。

【請求項2】

前記物体判定部は、前記類似度が前記所定値よりも高い場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化がなかった領域であると判定する請求項１記載の物体検出装置。

【請求項3】

前記類似度算出部は、前記局所領域について、画素毎に前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報とを比較した比較結果の傾向の有無を表す相関値を、前記類似度として算出する請求項１又は２記載の物体検出装置。

【請求項4】

前記類似度算出部は、前記局所領域について、画素毎の、前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報との差分のばらつきを、前記類似度として算出する請求項１〜請求項３の何れか１項記載の物体検出装置。

【請求項5】

前記入力画像の対象領域を検出する対象領域検出部と、
前記対象領域内の局所領域のうち、前記物体による変化があった領域であると判定された局所領域を結合した物体領域を生成し、前記物体領域が検出対象を表すか否かを判定する検出対象判定部と、
を更に含む請求項１〜請求項４の何れか１項記載の物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出対象を検出するための物体検出装置に関する。

【背景技術】

【0002】

可視光画像から侵入者を検出する画像センサでは、背景差分によって変化領域を抽出し、変化領域の形状や大きさが、人物らしいか否かを判定することで侵入者を検出している。

【0003】

このとき、人物とその影が入力画像に出現した場合は、人物と影が一体となって１つの変化領域として抽出される。この場合、変化領域の形状や大きさからでは、人物を精度良く検出できないため、人物と影を分離する必要がある。

【0004】

従来、影が低輝度で撮影されることを利用して、人物と影を区別していた。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平５−１５１３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、人物が影と同じ輝度で撮影されていた場合（黒服の人物などが撮影されていた場合）は、低輝度であるという特徴から人物と影を区別することが困難であった。また、影だけではなく光についても同様に、人物が光と同じ輝度で撮影されていた場合は、高輝度であるという特徴から人物と光を区別することが困難であった。

【0007】

本発明は、上記課題を鑑みてなされたものであり、偏光情報の時間変化に着目することで、物体による変化があるか否かを精度良く判定することができる物体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の目的を達成するために本発明に係る物体検出装置は、空間を撮影した入力画像から、局所領域内の各画素の偏光情報を取得する偏光情報取得部と、前記局所領域について、前記入力画像の前記偏光情報と、前記入力画像と撮影時刻が異なる前記空間を撮影した比較画像の前記偏光情報との相関が高いほど高くなる類似度を算出する類似度算出部と、前記類似度が所定値以下である場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化があった領域であると判定する物体判定部と、を含んで構成されている。

【0009】

本発明に係る物体判定部は、前記類似度が前記所定値よりも高い場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化がなかった領域であると判定する。

【0010】

本発明に係る類似度算出部は、前記局所領域について、画素毎に前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報とを比較した比較結果の傾向の有無を表す相関値を、前記類似度として算出する。

【0011】

本発明に係る類似度算出部は、前記局所領域について、画素毎の、前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報との差分のばらつきを、前記類似度として算出する。

【0012】

本発明に係る物体検出装置は、前記入力画像の対象領域を検出する対象領域検出部と、前記対象領域内の局所領域のうち、前記物体による変化があった領域であると判定された局所領域を結合した物体領域を生成し、前記物体領域が検出対象を表すか否かを判定する検出対象判定部と、を更に含む。

【発明の効果】

【0013】

以上説明したように、本発明の物体検出装置によれば、偏光情報の時間変化を利用することによって、物体による変化があるか否かを精度良く判定することができる、という効果が得られる。

【図面の簡単な説明】

【0014】

【図1】本発明を適用した物体検出装置１００の概略構成を示した図である。

【図2】偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。

【図3】（ａ）入力画像と、入力画像内の対象領域の偏光情報を示す図、（ｂ）背景画像と、背景画像内の対象領域の偏光情報を示す図、（ｃ）背景画像と入力画像における、実体領域である局所領域の変更情報を示す図、及び（ｄ）背景画像と入力画像における、非実体領域である局所領域の変更情報を示す図である。

【図4】本発明の実施の形態に係る物体検出装置による全体処理の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0016】

＜本発明の実施の形態の原理＞
本発明の実施の形態では、入力画像の局所領域毎に、入力画像の偏光情報（偏光度や偏光方向）と背景画像の偏光情報の空間的な分布の類似度を求める。類似度が低い局所領域は、背景画像と比較して、実体（人物など）による偏光情報の時間変化がある領域であると判定する。類似度が高い局所領域は、背景画像と比較して、実体（人物など）による偏光情報の時間変化がない領域であると判定し、例えば、光や影（もしくは背景がそのまま映っている）と判定する。

【0017】

なお、本発明の実施の形態では、背景差分によって変化領域を抽出し、その変化領域内をＳＬＩＣ（Ｓｉｍｐｌｅ Ｌｉｎｅａｒ Ｉｔｅｒａｔｉｖｅ Ｃｌｕｓｔｅｒｉｎｇ）や所定のグリッドで分割したものを局所領域としている。しかし、変化領域を用いずに、入力画像をＳＬＩＣや所定のグリッドで分割したものでもよい。また、変化領域自体を局所領域としてもよい。

【0018】

背景画像と入力画像では、撮影時の照明条件が必ずしも一致するわけではない。このため、図３（ｃ）、（ｄ）のように、「物体による変化がある実体領域」も「影が映っている非実体領域」も、入力画像の偏光情報と背景画像の偏光情報（偏光方向や偏光度）は一致しない。

【0019】

しかし、「影が映っている非実体領域」については、偏光情報自体は背景画像と一致しないものの、局所領域内における画素間の偏光情報の関係性が保たれたまま、偏光情報が変化していることがわかる。すなわち、入力画像と背景画像で映っている物体の形状が同じ場合（影や光などが映っている場合や、そのまま背景が映っている場合）、入力画像と背景画像で偏光情報の相対関係が変化していない。

【0020】

一方、「実体による変化がある実体領域」については、入力画像と背景画像で、偏光情報自体も一致しないし、局所領域内における画素間の偏光情報の関係性が保たれることなく、偏光情報が時間変化していることがわかる。すなわち、入力画像と背景画像で映っている物体の形状が違う場合（実体が出現・消失した場合など）、入力画像と背景画像で、偏光情報の相対関係が時間変化している。

【0021】

本発明の実施の形態は、これを利用したものであり、各局所領域について、入力画像の偏光情報と背景画像の偏光情報の空間的な分布の類似度を求める。

【0022】

そして、空間的な分布の類似度が高い場合には、偏光情報の相対関係が時間変化していないと判断し、局所領域は、光や影（背景物そのもの）を表していると判定する。

【0023】

一方、空間的な分布の類似度が低い場合には、偏光情報の相対関係が時間変化していると判断し、局所領域は、人物などの検出対象を表していると判定する。これにより、影や光と区別して、検出対象（人物など）を精度良く検出することができる。

【0024】

なお、本発明の実施の形態では、「空間的な分布の類似度」として、局所領域内における偏光情報の相関値や、偏光情報の差分のバラつき具合を算出する。

【0025】

＜物体検出装置１００の構成＞
以下、本発明を適用した物体検出装置１００の概略構成を示した図１を参照し、本発明の実施の形態の構成を説明する。

【0026】

（物体検出装置１００）
物体検出装置１００は、監視空間を撮影した画像から取得した偏光情報を用いて、当該監視空間内に存在する検出対象を検出する。本実施の形態では、物体検出装置１００にて、監視空間に存在する人物を検出対象として検出し、その検出結果を外部の監視センタなどに出力する例を説明する。

【0027】

図１は、本実施の形態における物体検出装置１００の構成を示した図である。

【0028】

図１に示すように、本実施の形態における物体検出装置１００は、撮影部１０、偏光情報取得部２０、記憶部３０、情報処理部４０、及び出力部５４から構成される。

【0029】

（撮影部１０）
撮影部１０は、カメラなどの撮影装置であり、所定の空間を撮影する。

【0030】

撮影部１０は、光学系、ＣＣＤ素子またはＣＭＯＳ素子から構成される。

【0031】

本実施の形態における撮影部１０は、空間を撮影したデータをＡ/Ｄ変換し、そのデジタル画像を、偏光情報取得部２０に出力する。

【0032】

撮影部１０は、特定の偏光方向の光のみを透過する偏光フィルタを備え、偏光フィルタが透過する偏光方向が少なくとも３種類以上になるように、監視空間を撮影する。

【0033】

具体的には、撮影部１０は、偏光フィルタを回転させて、透過させる光の偏光方向を切換えながら、都度、撮影を行うことで、異なる３種類以上の偏光方向の画像（以下、偏光画像）を撮影する。

【0034】

本実施の形態における撮影部１０は、偏光フィルタを備え、それを回転させることで、４種類の偏光方向（０deg、４５deg、９０deg、１３５deg）の偏光画像を撮影する。すなわち、撮影部は、１シーン毎に４枚の偏光画像を撮影し、それらの偏光画像をシーン毎に対応付けて偏光情報取得部２０に出力する。

【0035】

なお、偏光画像の撮影方法はこれに限らない。例えば、画素毎に異なる偏光方向の偏光フィルタをモザイク状に配置した偏光カメラを用いて、偏光方向が互いに異なる３種類以上の偏光画像を撮影してもよい。このように、撮影部１０の構成や撮影方法は特に限定されず、偏光方向が互いに異なる３種類以上の偏光画像を撮影できるものであればよい。

【0036】

また、本実施の形態における物体検出装置１００は、偏光フィルタを備えた撮影部１０のみを用いているが、これに限らない。例えば、偏光フィルタを備えた撮影装置に加えて、偏光フィルタを備えない撮影装置を設け、当該撮影装置を用いて、監視空間を、偏光フィルタを備えた撮影装置と略同じ画角・略同時に撮影するようにしてもよい。そして、この偏光フィルタを備えない撮影装置で撮影された画像を、後述する情報処理部４０の対象領域の検出処理に用いてもよい。

【0037】

（偏光情報取得部２０）
偏光情報取得部２０は、撮影部１０から受け取った、同じシーンを撮影した３種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する。具体的には、本実施の形態における偏光情報取得部２０は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部２０は、各偏光画像の輝度値の平均値（平均輝度値）から、そのシーンにおける平均輝度値画像を生成する。以下、この画像を入力画像とする。

【0038】

本実施の形態における偏光情報取得部２０は、画素毎に算出した偏光情報を、入力画像の各画素に対応付けて、後述する情報処理部４０に出力する。

【0039】

また、本実施の形態では、物体検出装置１００の撮影部１０で撮影した偏光画像を用いて、偏光情報取得部２０にて偏光情報の算出と入力画像の生成を行ったが、これに限らない。例えば、予め、物体検出装置１００の外部で入力画像の画素毎に偏光情報を予め対応付けておき、それを物体検出装置１００の記憶部３０に記憶しておく。そして、後述する情報処理部４０は、記憶部３０からそれらの情報を取得して各種の処理を行うようにしてもよい。

【0040】

また、平均輝度値画像を入力画像とするのではなく、前述したように、偏光フィルタを備えない撮影装置で撮影した画像について、当該画像の画素毎に、同一のシーンを撮影した偏光画像から算出した偏光情報を対応付けて、情報処理部４０に出力するようにしてもよい。

【0041】

また、対象領域検出手段４２によって検出された対象領域、及び領域分割手段４４によって得られた局所領域を用いて、対象領域の局所領域内の各画素についてのみ偏光情報を取得してもよい。

【0042】

（偏光度・偏光方向・平均輝度値の算出）
次に、偏光度・偏光方向・平均輝度値の算出について説明する。図２は、偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。

【0043】

偏光した光の輝度値は、偏光方向に対して正弦波として変化する。すなわち、偏光方向ｍ[deg]の光が透過する偏光フィルタを介して撮影した場合の輝度値Ｉ_mは、以下の式で表される。

【0044】

【数1】

【0045】

偏光情報取得部２０は、入力画像の画素毎に、最も強い輝度値を示す偏光方向の角度ρ（偏光角度ρ）を求め、それを当該画素の偏光方向とする。また、平均輝度値Ｍに対する正弦波の振幅Ａの比率Ｄを偏光度とする。

【0046】

本実施の形態のように、４種類の偏光方向の偏光画像（０deg、４５deg、９０deg、１３５deg）から偏光情報を算出する場合、ある画素における偏光画像の輝度値をそれぞれＩ₀、Ｉ₄₅、Ｉ₉₀、Ｉ₁₃₅とすると、偏光角度ρ、偏光度Ｄ、平均輝度値Ｍは、以下の式で求められる。

【0047】

【数2】

【0048】

（記憶部３０）
記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。

【0049】

記憶部３０は、物体検出装置１００において、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。また、記憶部３０は、物体検出装置１００を構成する各部などからアクセス可能である。

【0050】

本実施の形態における記憶部３０は、背景画像３０Ａを記憶する。背景画像３０Ａは、検出対象が映っていない入力画像である。すなわち、背景画像３０Ａは、情報処理部４０の処理対象となる入力画像とは撮影時刻が異なる画像である。背景画像は、比較画像の一例である。

【0051】

本実施の形態では、後述する情報処理部４０の背景画像更新手段５２にて、対象領域や検出対象が検出されなかった入力画像を背景画像として記憶部３０に記憶する。これにより、背景画像が適宜更新される。また、背景画像の各画素について、入力画像と同様に取得した偏光情報を対応付けて、記憶部３０に背景画像を記憶する。

【0052】

（情報処理部４０）
情報処理部４０は、取得した入力画像の偏光情報と記憶部３０に記憶されている背景画像３０Ａの偏光情報を比較し、その比較結果に基づいて監視空間における検出対象の存在を検出する。

【0053】

本実施の形態における情報処理部４０は、対象領域検出手段４２、領域分割手段４４、類似度算出手段４６、実体判定手段４８、検出対象判定手段５０、及び背景画像更新手段５２から構成される。なお、領域分割手段４４は、局所領域抽出部の一例であり、実体判定手段４８が、物体判定部の一例である。

【0054】

（対象領域検出手段４２）
対象領域検出手段４２は、入力画像から検出対象が撮影されている可能性が高い領域を対象領域として検出する。本実施の形態では、対象領域検出手段４２は、記憶部３０から取得した背景画像３０Ａと入力画像を比較して、対象領域を検出する。

【0055】

具体的には、本実施の形態における対象領域検出手段４２は、入力画像と背景画像の輝度値の差分をとり、差分が所定値以上となった画素を、変化画素として検出する。そして、検出された変化画素について、８近傍で隣接する画素をひとまとまりとして、それらの変化画素の集合を対象領域とする。

【0056】

なお、対象領域の検出方法はこれに限らない。例えば、輝度値の差分の他に、偏光方向や偏光度に対しても入力画像と背景画像の差分を画素毎に求め、輝度値、偏光方向、偏光度のいずれかで差分が所定値以上となった画素を変化画素としてもよい。

【0057】

また、背景差分ではなく、フレーム間差分によって変化画素を検出してもよい。この場合、フレーム間差分を求める入力画像と撮影時刻の異なる画像が比較画像の一例である。

【0058】

なお、この対象領域の検出方法を用いた場合、背景画像は必須ではないため、記憶部３０に背景画像３０Ａを記憶することや、後述する背景画像更新手段５２は不要となる。その代わりに、フレーム間差分を求める入力画像と撮影時刻の異なる画像を記憶しておけばよい。

【0059】

また、本実施の形態では、入力画像である平均輝度値画像から対象領域を検出しているが、これに限らず、前述した偏光フィルタを備えない撮影装置で撮影した画像から対象領域を検出してもよい。

【0060】

（領域分割手段４４）
領域分割手段４４は、入力画像を複数の小領域に分割する。この小領域を局所領域とする。本実施の形態では、領域分割手段４４は、対象領域に対して分割処理を行う。具体的には、領域分割手段４４は、入力画像の対象領域内の各画素について、互いに隣接する画素同士をグループ化し、グループ化された画素からなる領域を局所領域とする。

【0061】

例えば、ＳＬＩＣ（Ｓｉｍｐｌｅ Ｌｉｎｅａｒ Ｉｔｅｒａｔｉｖｅ Ｃｌｕｓｔｅｒｉｎｇ）法などのクラスタリング技術を用いて、平均輝度値および／または画素間の距離が近い画素同士をグループ化する。なお、平均輝度値に限らず、偏光方向や偏光度などを用いてグループ化してもよい。また、前述した偏光フィルタを備えない撮影装置で撮影した画像の輝度値を用いてグループ化してもよい。

【0062】

また、分割方法は、ＳＬＩＣ法に限らず、入力画像を固定サイズの矩形でメッシュ状に分割してもよい。

【0063】

局所領域のサイズは、物体検出装置１００が検出すべき物体（検出対象）のサイズよりも小さいサイズにすることが好ましい。

【0064】

なお、本実施の形態では、対象領域に対して分割処理を行ったが、入力画像全体に対して分割処理を行ってもよい。この場合、対象領域の検出処理は不要である。また、対象領域自体を１つの局所領域としてもよい。

【0065】

（類似度算出手段４６）
類似度算出手段４６は、各局所領域について、入力画像の偏光情報と背景画像の偏光情報を比較することで、偏光情報の空間的な分布の類似度を算出する。

【0066】

本実施の形態では、以下の２つの方法で、入力画像の偏光情報と背景画像の偏光情報の空間的な分布の類似度を算出する。なお、それぞれの方法で算出した類似度を併用してもよいし、それぞれを単独で使用してもよい。また、偏光情報の空間的な分布の類似度は、これらの方法で算出したものに限らず、公知の技術を用いればよい。

【0067】

＜方法１：偏光情報の相関値＞
局所領域内の画素数をＫとし、ある画素での入力画像の偏光角度、偏光度をρ_i（ｋ）、Ｄ_i（ｋ）、背景画像の偏光角度、偏光度をρ_b（ｋ）、Ｄ_b（ｋ）とする（ただし、 ｋ＝０，１，・・・，Ｋ−１）。

【0068】

このとき、偏光度が低い場合、偏光角度の精度が落ちてしまうという問題がある。このため、局所領域内の入力画像、背景画像の平均偏光度を￣Ｄ_l、￣Ｄ_bとし、どちらの平均偏光度も所定値以上であった場合は、偏光角度の相関値を類似度として用いる。また、いずれかの平均偏光度が所定値未満であった場合、偏光度の相関値を類似度として用いる。

【0069】

なお、偏光度と偏光角度で、相関値の分布範囲が変わる可能性が高いので、後述する実体判定手段４８にて、相関値が高いか低いかを判定する判定閾値をそれぞれ別に設定するか、所定の係数をかけて補正を行うことが好ましい。

【0070】

偏光角度、偏光度の相関値をそれぞれＣｏｒｒ_ρ、Ｃｏｒｒ_Dとすると、以下の式で表すことができる。

【0071】

【数3】

【0072】

ここで、ＳＴＤ（Ｄ_i（ｋ））、ＳＴＤ（Ｄ_b（ｋ））は、それぞれ、入力画像の局所領域内での偏光度の標準偏差と、背景画像の局所領域内での偏光度の標準偏差を表す。ＳＴＤ（ρ_i（ｋ））、ＳＴＤ（ρ_b（ｋ））は、それぞれ、入力画像の局所領域内での偏光角度の標準偏差と、背景画像の局所領域内での偏光角度の標準偏差を表す。ＤＩＦＦ（θ，γ）は、偏光角度θ，γの差を表す。

【0073】

ただし、偏光角度の平均、標準偏差は単純には求められないため、偏光角度ρ_i（ｋ）を極座標（ｃｏｓ２ρ_i（ｋ），ｓｉｎ２ρ_i（ｋ））に変換して算出する。また、偏光角度は０〜１８０degで循環するため、差分も−９０〜９０degの範囲となるように丸める処理が必要となる。

【0074】

＜方法２：偏光情報の差分のばらつき度＞
局所領域内について、入力画像の偏光情報と背景画像の偏光情報の差分値を画素毎に算出する。算出した画素毎の差分値の分散を類似度として用いる。

【0075】

ここで、偏光情報の差分値を以下のように算出する。まず、入力画像のある座標の偏光角度、偏光度を使い、極座標系で２次元空間上の点として表現した際の直交座標系での座標位置（ｘ_i（ｋ），ｙ_i（ｋ））＝（Ｄ_i（ｋ）ｃｏｓ２ρ_i（ｋ），Ｄ_i（ｋ）ｓｉｎ２ρ_i（ｋ））を求める。同様にして、背景画像についても （ｘ_b（ｋ），ｙ_b（ｋ））＝（Ｄ_b（ｋ）ｃｏｓ２ρ_b（ｋ），Ｄ_b（ｋ）ｓｉｎ２ρ_b（ｋ））を求める。

【0076】

そして、２次元空間上での（ｘ_i（ｋ），ｙ_i（ｋ））と（ｘ_b（ｋ），ｙ_b（ｋ））の差分ベクトル（ｘ_diff（ｋ），ｙ_diff（ｋ））を求める。差分ベクトルは以下の式で表すことができる。

【0077】

【数4】

【0078】

２次元空間上で、局所領域内の差分ベクトル（ｘ_diff（ｋ），ｙ_diff（ｋ））が大きくばらついて分布している（分散が高い）場合は、類似度が低くなり、ばらつきが小さく、固まって分布している（分散が低い）場合は類似度が高くなる。

【0079】

局所領域内の差分ベクトルのばらつき度としては、例えば差分ベクトルの局所領域内平均（￣ｘ_diff，￣ｙ_diff）からの平均距離を用いればよい。

【0080】

【数5】

【0081】

（実体判定手段４８）
実体判定手段４８は、類似度算出手段４６が算出した類似度を用いて、各局所領域について、実体領域か非実体領域かを判定する。実体領域は、背景画像に映っていた物体と異なる形状の物体が入力画像に映っている領域である。すなわち、実体領域は、実体によって入力画像が変化した領域である。非実体領域は、背景画像に映っていた物体と同じ形状の物体が入力画像に映っている領域である。すなわち、非実体領域は、実体による入力画像の変化が生じていない領域である。

【0082】

本実施の形態における実体判定手段４８は、類似度が低い局所領域を実体領域であると判定し、類似度が高い局所領域を非実体領域であると判定する。例えば、偏光情報の相関値を類似度として算出した場合、相関値が判定閾値未満の場合に局所領域を実体領域であると判定する。そして、相関値が判定閾値以上の場合に局所領域を非実体領域であると判定する。

【0083】

例えば、図３（ａ）に示すような入力画像６０内の対象領域６０Ａの局所領域のうち、図３（ｂ）に示すような背景画像６２内の対応する局所領域との画素毎の比較結果がある傾向を有している局所領域（図３（ｄ）参照）は、偏光情報の相関値が判定閾値以上となり、非実体領域であると判定される。一方、入力画像６０内の対象領域６０Ａの局所領域のうち、背景画像６２内の対応する局所領域との画素毎の比較結果がなんら傾向を有していない局所領域（図３（ｃ）参照）は、偏光情報の相関値が判定閾値未満となり、実体領域であると判定される。

【0084】

また、偏光情報の差分のばらつき度を類似度として算出した場合、ばらつき度が判定閾値以上の場合に局所領域が実体領域であると判定する。そして、ばらつき度が判定閾値以上の場合に局所領域が非実体領域であると判定する。このとき、ばらつき度をそのまま類似度として用いるのではなく、ばらつき度が高いほど低くなり、ばらつき度が低いほど高くなるような評価値を求め、その評価値を類似度として判定閾値と比較するようにしてもよい。

【0085】

（検出対象判定手段５０）
検出対象判定手段５０は、実体判定手段４８の判定結果を用いて、監視空間に検出対象が存在するか否かを判定する。本実施の形態では、対象領域毎に、当該対象領域内の局所領域のうち実体領域と判定された局所領域同士を結合した領域（実体領域群）の大きさや形状に基づいて、当該対象領域が検出対象であるか否かを判定する。なお、実体領域群が、物体領域の一例である。

【0086】

本実施の形態では、人物を検出対象としているため、検出対象判定手段５０は、実体領域群の大きさや形状が人物らしい場合に「検出対象あり」と判定する。例えば、大きさが所定範囲内、かつ縦長形状である（外接矩形のアスペクト比が一定範囲内である）場合に、人物らしいと判定する。

【0087】

また、これに限らず、対象領域毎に、当該対象領域内の局所領域のうち非実体領域と判定された局所領域を除外して、その除外後の対象領域の大きさや形状に基づいて、当該対象領域が検出対象であるか否かを判定するようにしてもよい。

【0088】

これにより、１つの対象領域内に、人物とその影が含まれていても、人物と影を分離して、精度良く人物の存在を判定することができる。また、対象領域内に含まれる、実体領域や非実体領域の割合に基づいて、実体による変化と、影や光による変化とを区別するようにしてもよい。例えば、対象領域内に含まれる非実体領域の割合が所定割合以上（例えば９０％以上）である場合に、当該対象領域は実体のない影や光による変化と判定し、検出対象ではないと判定するようにしてもよい。

【0089】

なお、検出対象は、人物に限らず、車両などでもよい。

【0090】

また、本実施の形態では、対象領域を用いて検出対象を判定したが、これに限らない。例えば、入力画像中の実体領域を隣接するもの同士で結合して、１つの実体領域群とし、実体領域群の形状や大きさなどに基づいて、検出対象か否かを判定するようにしてもよい。

【0091】

（背景画像更新手段５２）
背景画像更新手段５２は、記憶部３０に記憶されている背景画像を更新する。本実施の形態における背景画像更新手段５２は、検出対象が撮影されている対象領域が検出されなかった入力画像を、新たな背景画像として記憶する。なお、背景画像の更新方法は、これに限らず、公知の方法を用いればよい。

【0092】

（出力部５４）

【0093】

出力部５４は、検出対象判定手段５０の検出結果を外部に出力する。本実施の形態では、出力部５４は、検出対象判定手段５０にて、入力画像中に人物などの検出対象が撮影されていると判定された対象領域が１つ以上存在する場合に、監視空間内に侵入物体が存在すると判定して、外部の監視センタなどに、その旨を出力する。

【0094】

＜物体検出装置１００の動作＞
以下、図４に示したフローチャートを参照しつつ、本発明を適用した物体検出装置１００による全体処理の動作を説明する。図４に示すフローチャートは、ユーザーの指示等によって開始される。

【0095】

最初に、撮影部１０は、偏光フィルタが透過する偏光方向が少なくとも３種類以上になるように、監視空間を撮影し、同じシーンを撮影した３種類以上の偏光画像を取得する（ステップＳ１）。

【0096】

そして、偏光情報取得部２０は、撮影部１０から受け取った、同じシーンを撮影した３種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する（ステップＳ２）。具体的には、本実施の形態における偏光情報取得部２０は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部２０は、各偏光画像の輝度値の平均値（平均輝度値）から、そのシーンにおける平均輝度値画像を生成し、入力画像とする。

【0097】

そして、対象領域検出手段４２は、入力画像から検出対象が撮影されている可能性が高い領域を対象領域として検出する（ステップＳ３）。本実施の形態では、対象領域検出手段４２は、記憶部３０から取得した背景画像３０Ａと入力画像を比較して、対象領域を検出する。

【0098】

そして、情報処理部４０は、上記ステップＳ３で対象領域が検出されたか否かを判定する（ステップＳ４）。上記ステップＳ３で対象領域が検出されなかったと判定された場合には、ステップＳ１１へ移行する。

【0099】

一方、上記ステップＳ３で対象領域が検出されたと判定された場合には、検出された対象領域の数だけ、後述するステップＳ５〜ステップＳ８を繰り返し実行する。このとき、検出された対象領域の各々を、処理対象となる対象領域として、ステップＳ５〜ステップＳ８を繰り返し実行する。

【0100】

まず、領域分割手段４４は、処理対象となる対象領域を複数の小領域に分割し、この小領域を局所領域とする（ステップＳ５）。

【0101】

次に、上記ステップＳ５で得られた局所領域の数だけ、後述するステップＳ６〜ステップＳ７を繰り返し実行する。このとき、局所領域の各々を、処理対象となる局所領域として、ステップＳ６〜ステップＳ７を繰り返し実行する。

【0102】

類似度算出手段４６は、処理対象の局所領域について、入力画像の偏光情報と背景画像の偏光情報を比較することで、偏光情報の空間的な分布の類似度を算出する（ステップＳ６）。

【0103】

そして、実体判定手段４８は、類似度算出手段４６が算出した類似度を用いて、処理対象の局所領域について、実体領域か非実体領域かを判定する。

【0104】

検出対象判定手段５０は、実体判定手段４８による各局所領域の判定結果を用いて、処理対象の対象領域が検出対象であるか否かを判定する（ステップＳ８）。本実施の形態では、検出対象判定手段５０は、実体判定手段４８による各局所領域の判定結果を用いて、処理対象の対象領域内の局所領域のうち実体領域と判定された局所領域同士を結合した領域（実体領域群）の大きさや形状を求め、処理対象の対象領域が検出対象であるか否かを判定する。

【0105】

そして、情報処理部４０は、上記ステップＳ８で検出対象が撮影されていると判定された対象領域が１つ以上存在するか否かを判定する（ステップＳ９）。上記ステップＳ８で検出対象が撮影されていると判定された対象領域が１つも存在しないと判定された場合には、ステップＳ１１へ移行する。

【0106】

一方、上記ステップＳ８で検出対象が撮影されていると判定された対象領域が１つ以上存在すると判定された場合には、ステップＳ１０へ移行する。

【0107】

出力部５４は、検出対象判定手段５０の検出結果を外部に出力する（ステップＳ１０）。本実施の形態では、出力部５４は、監視空間内に侵入物体が存在すると判定して、外部の監視センタなどに、その旨を出力し、上記ステップＳ１へ戻る。

【0108】

背景画像更新手段５２は、記憶部３０に記憶されている背景画像を更新する（ステップＳ１１）。本実施の形態における背景画像更新手段５２は、検出対象が撮影されている対象領域が検出されなかった入力画像を、新たな背景画像３０Ａとして記憶部３０に記憶し、上記ステップＳ１へ戻る。

【0109】

以上説明してきたように、本発明の実施の形態に係る物体検出装置は、局所領域について、入力画像の偏光情報と背景画像の偏光情報との相関が高いほど高くなる類似度を算出し、類似度が所定値以下であるか否かを判定することにより、偏光情報を用いて、背景画像（比較画像）と比較して物体による変化がある領域であるか否かを判定することができる。また、被写体の立体形状に関する成分を含んだ偏光情報を用いて、入力画像の偏光情報と背景画像（比較画像）の偏光情報を比較することで、実体のない影や光と、実体のある人物などを区別することができる。

【0110】

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0111】

１０ 撮影部
２０ 偏光情報取得部
３０ 記憶部
３０Ａ 背景画像
４０ 情報処理部
４２ 対象領域検出手段
４４ 領域分割手段
４６ 類似度算出手段
４８ 実体判定手段
５０ 検出対象判定手段
５２ 背景画像更新手段
５４ 出力部
１００ 物体検出装置

【図1】

【図2】

【図3】

【図4】