特許 7381369 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/254 20170101AFI20231108BHJP

【ＦＩ】

G06T7/254 B

【請求項の数】 6

(21)【出願番号】P 2020036856

(22)【出願日】2020-03-04

(65)【公開番号】P2021140406

(43)【公開日】2021-09-16

【審査請求日】2022-08-16

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100067323

【弁理士】

【氏名又は名称】西村 教光

(74)【代理人】

【識別番号】100124268

【弁理士】

【氏名又は名称】鈴木 典行

(72)【発明者】

【氏名】太田 鮎子

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－０２１１８９（ＪＰ，Ａ）

【文献】特開２００６－０３９６８９（ＪＰ，Ａ）

【文献】特開２０１５－１２８２２８（ＪＰ，Ａ）

【文献】特開２０１８－０４１２７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２５４

(57)【特許請求の範囲】

【請求項1】

撮影エリアを撮影して得た入力画像と、前記入力画像を撮影した時刻とは異なる時刻に前記撮影エリアを撮影して得た背景画像情報との画素ごとの比較により、物体による変化領域を前記入力画像から抽出する画像処理装置であって、
前記入力画像の画素の偏光度と偏光角度と輝度値、および前記背景画像情報の画素の偏光度と偏光角度と輝度値を取得する偏光情報算出手段と、
偏光度と偏光角度と輝度値とに対応した３次元の画素情報空間に、前記入力画像の画素の偏光度と偏光角度と輝度値とに基づく投影点、および前記背景画像情報の画素の偏光度と偏光角度と輝度値とに基づく投影点を、それぞれ投影する画素情報投影手段と、
前記画素情報空間における前記入力画像の画素の投影点と前記背景画像情報の画素の投影点の距離を算出する距離算出手段と、
前記距離が所定値以上である前記入力画像の画素を、前記変化領域の画素と判定する判定手段と、
を有することを特徴とした画像処理装置。

【請求項2】

前記画素情報空間を構成する次元の一つである前記偏光角度に替えて前記偏光角度の２倍を用いる請求項１に記載の画像処理装置。

【請求項3】

前記距離算出手段は、前記偏光度が小さいほど小さな値になる重みを前記偏光角度に乗じて前記距離を算出する請求項１又は２に記載の画像処理装置。

【請求項4】

前記判定手段は、前記入力画像の画素の輝度値と前記背景画像情報の画素の輝度値の差が所定値以上であると、当該画素を前記変化領域の画素と判定することを特徴とする請求項１乃至３の一つに記載の画像処理装置。

【請求項5】

撮影エリアを撮影して得た入力画像と、前記入力画像を撮影した時刻とは異なる時刻に前記撮影エリアを撮影して得た背景画像情報との画素ごとの比較により、物体による変化領域を前記入力画像から抽出する画像処理方法であって、
前記入力画像の画素の偏光度と偏光角度と輝度値、および前記背景画像情報の画素の偏光度と偏光角度と輝度値を取得する偏光情報算出工程と、
偏光度と偏光角度と輝度値とに対応した３次元の画素情報空間に、前記入力画像の画素の偏光度と偏光角度と輝度値とに基づく投影点、および前記背景画像情報の画素の偏光度と偏光角度と輝度値とに基づく投影点を、それぞれ投影する画素情報投影工程と、
前記画素情報空間における前記入力画像の画素の投影点と前記背景画像情報の画素の投影点の距離を算出する距離算出工程と、
前記距離が所定値以上である前記入力画像の画素を、前記変化領域の画素と判定する判定工程と、
を有することを特徴とした画像処理方法。

【請求項6】

撮影エリアを撮影して得た入力画像と、前記入力画像を撮影した時刻とは異なる時刻に前記撮影エリアを撮影して得た背景画像情報を画素ごとに比較して、物体による変化領域を前記入力画像から抽出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記入力画像の画素の偏光度と偏光角度と輝度値、および前記背景画像情報の画素の偏光度と偏光角度と輝度値を取得する偏光情報算出手段、
偏光度と偏光角度と輝度値とに対応した３次元の画素情報空間に、前記入力画像の画素の偏光度と偏光角度と輝度値とに基づく投影点、および前記背景画像情報の画素の偏光度と偏光角度と輝度値とに基づく投影点を、それぞれ投影する画素情報投影手段、
前記画素情報空間における前記入力画像の画素の投影点と前記背景画像情報の画素の投影点の距離を算出する距離算出手段、及び、
前記距離が所定値以上である前記入力画像の画素を、前記変化領域の画素と判定する判定手段、
として機能させることを特徴とした画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影エリアを撮影して得た入力画像と、入力画像とは異なる時刻に撮影エリアを撮影して得た背景画像情報との比較により、撮影エリアに進入した物体による変化領域を入力画像から抽出する画像処理装置に係り、特に入力画像と背景画像情報を構成する画素の偏光情報を利用して変化領域を抽出する画像処理装置に関する。

【背景技術】

【0002】

例えばセキュリティーを含む種々の目的で所定の撮影エリアをカメラで撮影し、撮影エリアに進入した物体の種類を画像処理により認識する物体認識の技術が知られている。

【0003】

前述した物体認識には背景差分処理が広く用いられている。一般的な背景差分処理では、輝度変化があった領域を変化領域として抽出しており、これを輝度背景差分処理と称する。

【0004】

下記特許文献１には、このような輝度背景差分処理を利用した動体検出装置の発明が開示されている。この発明では、輝度背景差分処理によって画像から変化領域を抽出して動体としているが、変化領域において影と判断した部分を変化領域の中から取り除いて実体ある物体のみを検出している。

【0005】

輝度背景差分処理を利用して物体認識を確実に行うには、当該物体に種々の判断基準を当てはめて当該物体の種類について判断するにあたり、認識しようとする物体についての大きさ情報や形状情報が不可欠である。このような情報を当てはめて判断する必要性から、変化領域をなるべくきれいに抽出する必要がある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平０５－１５１３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述した輝度背景差分処理の技術分野では広く知られているように、背景の明るさと似通った明るさの物体は抽出しにくい。例えば、上半身は白いシャツで下半身は白以外の色彩の衣服を着た人物が白色の背景の中に存在する場合、当該人物の露出した顔及び手と下半身は抽出できても、白いシャツに包まれた胴や腕は背景とは明るさの差が小さく、閾値処理を行っても変化が無いと判定されてしまう場合がある。明るさに応じた閾値調整なども行われているが、輝度のみでは変化領域の抽出が難しくなる場合がある。そうすると、入力画像から物体の形をきれいに抽出できないので、その物体の大きさや形の情報が使えなくなり、物体認識が困難になってしまう。

【0008】

本発明は、以上説明した従来の技術における課題に鑑みてなされたものであり、撮影エリアの入力画像と背景画像情報の比較により撮影エリアに進入した物体による変化領域を入力画像から抽出する背景差分処理の技術を用いた画像処理装置において、背景と似たような輝度の物体であっても正確かつ確実に変化領域として抽出できる画像処理装置を提供することを目的としている。

【課題を解決するための手段】

【0009】

本発明は、物体の表面における反射光の偏光情報（偏光度、偏光角度）は光源の位置や物体の形状（物体表面の法線方向）により変化することに着目し、輝度値とは異なる光の情報である偏光情報を用いて、入力画像と背景画像情報の差分処理を行うことを特徴としている。

【0010】

本発明の画像処理装置は、撮影エリアを撮影して得た入力画像と、前記入力画像を撮影した時刻とは異なる時刻に前記撮影エリアを撮影して得た背景画像情報との画素ごとの比較により、物体による変化領域を前記入力画像から抽出する画像処理装置であって、
前記入力画像の画素の偏光度と偏光角度と輝度値、および前記背景画像情報の画素の偏光度と偏光角度と輝度値を取得する偏光情報算出手段と、偏光度と偏光角度と輝度値とに対応した３次元の画素情報空間に、前記入力画像の画素の偏光度と偏光角度と輝度値とに基づく投影点、および前記背景画像情報の画素の偏光度と偏光角度と輝度値とに基づく投影点を、それぞれ投影する画素情報投影手段と、前記画素情報空間における前記入力画像の画素の投影点と前記背景画像情報の画素の投影点の距離を算出する距離算出手段と、
前記距離が所定値以上である前記入力画像の画素を、前記変化領域の画素と判定する判定手段と、を有することを特徴としている。

【0013】

本発明の画像処理装置は、さらに、前記画素情報空間を構成する次元の一つである前記偏光角度に替えて、前記偏光角度の２倍を用いることを特徴としている。

【0014】

本発明の画像処理装置は、さらに、前記距離算出手段が、前記偏光度が小さいほど小さな値になる重みを前記偏光情報に乗じて前記距離を算出することを特徴としている。

【0015】

本発明の画像処理装置は、さらに、前記判定手段は、前記入力画像の画素の輝度値と前記背景画像情報の画素の輝度値の差が所定値以上であると、当該画素を前記変化領域の画素と判定することを特徴としている。

【0016】

本発明の画像処理方法は、撮影エリアを撮影して得た入力画像と、前記入力画像を撮影した時刻とは異なる時刻に前記撮影エリアを撮影して得た背景画像情報との画素ごとの比較により、物体による変化領域を前記入力画像から抽出する画像処理方法であって、前記入力画像の画素の偏光度と偏光角度と輝度値、および前記背景画像情報の画素の偏光度と偏光角度と輝度値を取得する偏光情報算出工程と、偏光度と偏光角度と輝度値とに対応した３次元の画素情報空間に、前記入力画像の画素の偏光度と偏光角度と輝度値とに基づく投影点、および前記背景画像情報の画素の偏光度と偏光角度と輝度値とに基づく投影点を、それぞれ投影する画素情報投影工程と、前記画素情報空間における前記入力画像の画素の投影点と前記背景画像情報の画素の投影点の距離を算出する距離算出工程と、前記距離が所定値以上である前記入力画像の画素を、前記変化領域の画素と判定する判定工程と、を有することを特徴としている。

【0017】

本発明の画像処理プログラムは、撮影エリアを撮影して得た入力画像と、前記入力画像を撮影した時刻とは異なる時刻に前記撮影エリアを撮影して得た背景画像情報を画素ごとに比較して、物体による変化領域を前記入力画像から抽出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記入力画像の画素の偏光度と偏光角度と輝度値、および前記背景画像情報の画素の偏光度と偏光角度と輝度値を取得する偏光情報算出手段、偏光度と偏光角度と輝度値とに対応した３次元の画素情報空間に、前記入力画像の画素の偏光度と偏光角度と輝度値とに基づく投影点、および前記背景画像情報の画素の偏光度と偏光角度と輝度値とに基づく投影点を、それぞれ投影する画素情報投影手段、前記画素情報空間における前記入力画像の画素の投影点と前記背景画像情報の画素の投影点の距離を算出する距離算出手段、及び、
前記距離が所定値以上である前記入力画像の画素を、前記変化領域の画素と判定する判定手段、として機能させることを特徴としている。

【発明の効果】

【0018】

撮影エリアの入力画像中に物体が映り込んでおり、その輝度が背景画像情報の輝度に近いため、輝度を用いた背景差分処理では当該物体を変化領域として入力画像から抽出することが難しい場合であっても、物体の表面における反射光の偏光状態は、物体の法線方向や光源の位置に依存して変化するので、背景の偏光情報とは異なる可能性が高い。従って、本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、輝度を用いた背景差分処理では変化領域の抽出が難しい物体、例えば背景と同じような輝度の物体であっても、偏光情報に基づいて、物体に相当する領域を背景領域からの変化領域として正確かつ確実に抽出することが可能となる。

【図面の簡単な説明】

【0019】

【図1】実施形態の画像処理装置の機能を備えた物体認識システムの機能ブロック図である。

【図2】実施形態の物体認識システムにおいて撮影装置として用いられる偏光カメラの偏光フィルタアレイを示す模式図である。

【図3】実施形態の物体認識システムにおいて画像の取得から物体の認識結果の出力に至る物体認識手順を示すフロー図である。

【図4】実施形態の物体認識システムにおいて偏光カメラによって撮影された画像から偏光情報取得手段が取得した偏光方向と輝度値の関係を例示するグラフである。

【図5】分図（ａ）は、実施形態の物体認識システムにおいて、入力画像の画素の偏光情報及び輝度値と、背景画像の画素の偏光情報及び輝度値を、画素情報投影手段がそれぞれ投影点として投影する画素情報空間の図であり、分図（ｂ）は、偏光角度の値域を０度から１８０度とした同画素情報空間のＸＹ平面において投影された偏光角度が約１８０度離れた２つの投影点を示す図であり、分図（ｃ）は、偏光角度の値域を０度から３６０度で表現した同画素情報空間のＸＹ平面において投影された偏光角度が約１８０度離れた２つの投影点を示す図である。

【発明を実施するための形態】

【0020】

本発明に係る画像処理装置２０を適用した物体認識システム１の実施形態について、図１～図５を参照して説明する。
以下、図１の機能ブロック図を参照して物体認識システム１の構成を説明するとともに、当該構成に係る物体認識の手順については、図３のフロー図におけるステップ番号（Ｓ１００等）を示して説明し、併せて図２、図４及び図５を適宜参照して偏光カメラの構成、入力画像の取得や入力画像における変化領域の抽出手法等について説明する。

【0021】

図１に示す撮影装置１０は、光学系と、光学系からの光が入射するＣＣＤ素子またはＣＭＯＳ素子等の撮影素子と、光学系と撮影素子の間に設けられた図２に示す偏光フィルタアレイ等から構成された偏光カメラである。

【0022】

図２に示すように、偏光フィルタアレイは、ＣＭＯＳ素子等の撮影素子の各画素に対応する微小な偏光フィルタの集合であり、撮影素子の４画素に対応する太線で囲った４つの偏光フィルタが一つの組を構成している。一つの組を構成する４個の偏光フィルタそれぞれを透過する光が最大となる角度は互いに異なっており、図２中の矢印の方向で模式的に示すように、例えば０度、４５度、９０度、１３５度のようになっている。なお、図２は模式的な図であって、偏光フィルタアレイにおける偏光フィルタの角度や配置等は例示に過ぎず、これに限定するものではない。撮影装置１０の偏光フィルタアレイは、角度が異なる４つの偏光フィルタを備えているが、各偏光フィルタを透過した光による偏光画像の輝度値から偏光情報を算出するためには角度が少なくとも３種類以上の偏光フィルタを有することが必要である。

【0023】

撮影装置１０は、撮影エリアとしての監視領域を撮影し、互いに異なる４方向に偏光した４つのアナログの偏光画像のデータを取得し、これをＡ／Ｄ変換し、デジタルの画像データとして画像処理装置２０の偏光情報取得手段である偏光情報算出部２１０に出力する（ステップＳ１００）。なお、画像処理装置２０はコンピュータによって実現することができる。このコンピュータは、必要なプログラムを読み込ませることにより、以下に説明するように、本実施形態において必要な情報の処理を行うための各種の機能を実現する手段として機能する。

【0024】

なお、偏光画像を取得するためには、モータで回転可能な偏光フィルタをカメラの前に設置した撮影装置を用いてもよい。偏光フィルタを回転させて、回転角について異なる３種類以上の適宜の位置に設定し、その都度カメラで監視エリアを撮影して偏光方向が異なる３以上の偏光画像を取得する。

【0025】

偏光情報算出部２１０は、各画素について、撮影装置１０が取得した各方向（本実施形態では４種類）の偏光画像から偏光情報として偏光度と偏光角度を次のような手順で算出する（ステップＳ１１０）。

【0026】

偏光した光の輝度値は、偏光方向に対して正弦波として変化する。すなわち、基準となる角度を０[deg] として、ｍ[deg] の光が最大に透過するよう回転角をもつ偏光フィルタを介して撮影した場合の輝度値Imは、
I _m ＝Ｍ＋Ａｃｏｓ｛２（ｍ－ρ）｝
と表すことができる。この式が表す偏光フィルタの角度ｍと輝度値I _m の関係をグラフに示すと図４のようになる。
ここで、最も高い輝度値を示す角度ρを偏光角度、４つの輝度値I₀、 I₄₅、I₉₀ 、I₁₃₅を平均して得た平均輝度値Ｍに対する正弦波の振幅Ａの比率Ｄを偏光度と呼ぶ。

【0027】

撮影装置１０によって画素ごとに取得された４種類の偏光画像から偏光情報を算出する場合、とある画素について、図４のグラフにおける４種類の偏光画像( 偏光方向が0deg、45deg 、90deg 、135deg) の各輝度値をそれぞれI₀、 I₄₅、I₉₀ 、I₁₃₅とすると、偏光角度ρ、平均輝度値Ｍ、振幅Ａ、偏光度Ｄは次のように求めることができる。
ρ＝（１／２）ｔａｎ^-1｛（ I₄₅－I₁₃₅）／（I₀－I₉₀ ）｝…式（１）
Ｍ＝（I₀＋ I₄₅＋I₉₀ ＋I₁₃₅）／４ …式（２）
Ａ＝（１／２）｛（I₀－I₉₀ ）² ＋（ I₄₅－I₁₃₅）² ｝^1/2 …式（３）
Ｄ＝Ａ／Ｍ …式（４）

【0028】

本実施形態では、判定対象となる画素が、撮影装置１０の撮影エリアに進入してきた物体を示す変化領域の画素であるか否かを判定するために、偏光情報としての偏光角度ρと偏光度Ｄに加え、後に詳述するように輝度値も使用している。なお、偏光角度ρ、偏光度Ｄがとり得る値の範囲はそれぞれ、０≦ρ＜１８０[deg] 、０≦Ｄ≦１である。以下の説明では、平均輝度値を簡便に「輝度値」と表現する場合もある。

【0029】

変化領域抽出部２３０は、撮影エリアへの物体の進入を検出するため、動きがない撮影エリアを撮影して得た背景画像（これは本発明における背景画像情報の一形態である）と、監視時に撮影エリアを撮影して得た入力画像を比較する。すなわち、物体が進入した撮影エリアの偏光情報等と比較するため、背景画像の偏光情報等を予め用意しておく必要がある。そこで、偏光情報算出部２１０は、撮影装置１０が取得した偏光画像のうち、時間的な変化が無いと判定された場合の偏光画像を背景画像とし、この背景画像又はこの背景画像から算出した偏光情報等を記憶部２２０に記憶しておくものとする。

【0030】

なお、先に説明した回転式の偏光フィルタを有する撮影装置を用いた場合には、各方向（４方向）について１枚ずつの偏光画像を取得してそのまま記憶部２２０に記憶しておく。さらに、記憶部２２０には、その他、画像処理装置の各構成要素を実現するためのプログラム類やパラメーター類も記憶しておく。

【0031】

変化領域抽出部２３０は、監視時に撮影エリアを撮影して取得した入力画像から偏光情報算出部２１０が求めた偏光情報および輝度値と、記憶部２２０に記憶されている背景画像の偏光情報および輝度値を、画素ごとに比較して、入力画像に生じた変化領域を抽出する（ステップＳ１２０）。そのために変化領域抽出部２３０は、投影手段２３１、距離算出手段２３２、領域判定手段２３３を有する。

【0032】

画素情報投影手段である投影手段２３１は、入力画像の偏光情報（偏光度及び偏光角度）および輝度値と、背景画像の偏光情報（偏光度及び偏光角度）および輝度値を、３次元の画素情報空間に投影してそれぞれ投影点を得る手段である。図５（ａ）に示すように、本実施形態の画素情報空間は、ｘｙｚの３軸からなる直交座標系で表される３次元空間では、ｚ軸上の位置で輝度値を示し、ｘｙ平面における原点からの距離で偏光度を示し、ｘｙ平面におけるｘ軸を０度とした回転角度で偏光角度の２倍を示す円筒座標系で表現される。このように偏光情報だけでなく輝度値も併用して投影点を得ることによって、変化領域の抽出をより正確かつ確実に行うことが可能となる。また、画素情報空間を構成する次元として偏光度と偏光角度を用いているので、輝度を用いた背景差分処理では変化領域の抽出が難しい場合であっても、偏光度と偏光角度という２つの偏光情報の違いに基づいて、物体に相当する領域を背景領域からの変化領域として正確かつ確実に抽出することが可能となる。

【0033】

図５（ａ）に示すように、投影手段２３１は、偏光角度については、上述のように偏光情報算出部２１０が求めた偏光角度を２倍して画素情報空間に投影している。これは、偏光角度の値域が０～１８０度であり、０度と１８０度が同じ方向を表す性質があるためである。この性質によれば、入力画像と背景画像の輝度値及び偏光度は差が小さいが、図５（ｂ）に示すように偏光角度が例えば１度と１７９度であった場合には、本来は差が小さいために変化領域を構成する画素として抽出すべきではないにもかかわらず、偏光角度が大きいがゆえに画素情報空間内で距離が大きいと判断されて誤抽出される可能性が否定できない。そこで本発明においては、偏光角度を敢えて２倍とすることで値域を０～３６０度とした。これにより、上記の場合には、図５（ｃ）に示すように、入力画像と背景画像の画素情報空間内における偏光角度は、それぞれ２度と３５８度となって画素情報空間では近くに投影されることになり、誤抽出を防ぐことができる。

【0034】

距離算出手段２３２は、投影手段２３１により画素情報空間に投影された入力画像の画素の投影点と、背景画像の画素の投影点の距離を求める。偏光角度ρ、偏光度Ｄ、輝度値Ｍの画素について、円筒座標系での位置は、（ｘ，ｙ，ｚ）軸による直交座標表現では、図５（ａ）から理解されるように、次のように表される。
（ｘ，ｙ，ｚ）＝（Ｄｃｏｓ２ρ，Ｄｓｉｎ２ρ，ｗＭ）
ただし、偏光情報（偏光角度ρ、偏光度Ｄ）と輝度値Ｍは、物理的な意味が異なる量であるため、これらを同様の演算で座標変換するため、輝度値Ｍには値域を修正する係数としてｗを乗じてある。

【0035】

本実施形態では、偏光度Ｄが小さいほど偏光角度ρが距離差に与える重みが小さくなるよう次式で表される重み付けを行っている。
（ｘ，ｙ，ｚ）＝（ｆ（Ｄ）ｃｏｓ２ρ，ｆ（Ｄ）ｓｉｎ２ρ，ｗＭ）
ｆ（Ｄ）＝Ｄ²
この意義を説明する。偏光度Ｄが小さいほど図４に示す正弦波の振幅が小さく、それは、４つの輝度値I₀、 I₄₅、I₉₀ 、I₁₃₅の差が小さいことを表す。すると、式（１）からわかるように、ノイズ等の影響で輝度値が少しずれただけでも、偏光角度ρの変化が大きくなるため、求めた投影点間の距離が不正確になりやすい。そこで上記重み付けを行うことで、背景画像情報と入力画像の偏光度がどちらも０に近く偏光角度の差がある場合にもノイズの影響を受けにくくなり、誤抽出は防止される。
なお、偏光度Ｄは前述のように０≦Ｄ≦１であるため、重みｆ（Ｄ）は値が０に近いほど急峻に０に近い小さな値となる。

【0036】

距離算出手段２３２は、入力画像の画素を示す投影点（ｘ_in, ｙ_in, ｚ_in）と、背景画像の画素を示す投影点（ｘ_bg, ｙ_bg, ｚ_bg）との距離を求める。本実施形態では次式のようにユークリッド距離ｄで求める。
ｄ＝｛（ｘ_in－ｘ_bg）² ＋（ｙ_in－ｙ_bg）² ＋（ｚ_in－ｚ_bg）² ｝^1/2

【0037】

領域判定手段２３３は、距離算出手段２３２にて求めたユークリッド距離ｄが所定の閾値以上の場合には、その画素は背景にはない物体を写していると判断し、変化領域を構成する画素として抽出する。そして、抽出された画素の中で、一定の距離にある複数の画素を同一物体によって変化を生じた画素と判断し、同一のラベルを付与するラベリング処理を行う。さらに、ラベリング処理された一群の画素によって構成される領域の中で、検出対象として仮定している物体が撮影エリアに写り込んだ場合に想定される大きさや縦横比などの判定条件を満たす領域を、変化領域として認識部２４０に出力する。

【0038】

認識部２４０は、変化領域抽出部２３０にて抽出された変化領域について、入力画像（偏光情報算出部２１０からの出力）の偏光情報、輝度値を用いてその変化領域に写っている物体が何であるかの認識処理を行う（ステップＳ１３０）。例えば、大きさや縦横比について閾値処理をしても良い。あるいは大量のサンプルデータを用いて学習したＳＶＭや識別器を用いて認識処理を行っても良い。

【0039】

物体認識システム１において検出された物体の種類に関する認識結果は、図示しない外部の装置に出力する（ステップＳ１４０）。例えば、認識結果は別途用意した画像監視装置に入力しても良い。その場合、物体認識システム１によって同一物体によるものと判断される変化領域が一定時間連続して抽出された場合には、画像監視装置が警報を発するようにしても良い。あるいは警備センターに変化領域の輝度から構成される画像を送信して、警備センターにて画面表示しても良い。

【0040】

以上説明した実施形態では、輝度値と、偏光度と、偏光角度の２倍を示す値という３つの次元による円筒座標系で画素情報空間を表現した。しかしながら、画素の性質を示す画素情報がこれら３つの次元に限定されるものではなく、画素情報空間には次の１～３に例示するように、画素の他の性質も含めた他の表現も考えられる。
１．カラーカメラに偏光フィルタを取り付けて取得したカラー偏光画像について、輝度値（ＲＧＢの３次元) と、ＲＧＢそれぞれについての偏光情報( 偏光度、偏光角度の２つ×３次元) で定義される９次元空間
２．同じくカラー偏光画像に対して、輝度値（ＲＧＢの３次元) と偏光情報( 偏光度、偏光角度の２次元) で定義される５次元空間
３．偏光度と偏光角度の２次元平面（輝度は使用せず、偏光情報のみについて背景画像と入力画像の差分を取る）

【0041】

また、領域判定手段２３３は、入力画像と背景画像情報の輝度の差が所定値以上である画素をも、従来の輝度背景差分による判定と同様に変化領域の画素と判定してもよい。例えば、距離算出手段２３２は、輝度の差分に基づいて閾値を大きく超える値となるようなパラメーターをユークリッド距離ｄにセットする。これにより、領域判定手段２３３は偏光情報の差異の大小に関わらず、入力画像と背景画像の各輝度の差分が所定値以上である画素を変化領域を構成するものとして、より確実に抽出できる。あるいは、領域判定手段２３３が、まずは輝度差が大きいか否かを調べて、小さい場合には偏光情報の差を調べるという段階を踏むこととしても良い。

【0042】

これまで述べてきた実施形態では、背景画像情報は一般的な背景差分処理に沿った背景画像であったが、それに限らず、背景画像情報の他の具体例として背景モデルを用いることとしてもよい。背景モデルは、複数のサンプル画像を統計処理して作成する。

【0043】

背景モデルを作成するために記憶部２２０はサンプル画像として複数枚（Ｎ枚）の偏光画像を記憶する。

【0044】

それぞれの背景画像の各画素について上述したように偏光情報算出部２１０は、偏光度、偏光角度、平均輝度値を求め、画素を示す投影点Ｐ₁ ＝（Ｘ_bg1,Ｙ_bg1,Ｚ_bg1,）, …, Ｐ_N ＝（Ｘ_bgN,Ｙ_bgN,Ｚ_bgN ）（Ｘ_bgN Ｙ_bgN Ｚ_bgN ）を求めておく。そして、（数１）に示すサンプル画像の平均値Ｐ_Mean（式（５））と、（数２）に示す分散共分散行列Σ_P （式（６））を求めておく。

【0045】

【数1】

【0046】

【数2】

【0047】

そして変化領域抽出部２３０は入力画像の画素を表す投影点Ｐ_in＝（Ｘ_in, Ｙ_in, Ｚ_in）に対して、（Ｐ_in－Ｐ_Mean）ΣＰ^-1（Ｐ_in－Ｐ_Mean）^T またはその平方根が所定の閾値以上の場合に、その画素は背景にはない物体を表していると判断して抽出を行う。ただし、ΣＰ^-1は分散共分散行列の逆行列である。

【0048】

このような背景モデルによることで、背景に存在するが抽出対象ではない物体が揺れ続けるような場合（例えば植栽が風で揺れるような場合）であっても、精度が高い抽出が可能となる。また、物体が映っていないと判定された画像を利用して、サンプル画像や背景モデルを順次更新してもよい。背景モデル自体を複数作成して記憶してもよい。

【符号の説明】

【0049】

１…物体認識システム
１０…撮影装置
２０…画像処理装置
２１０…偏光情報取得手段としての偏光情報算出手段
２３０…変化領域抽出部
２３１…画像情報投影手段としての投影手段
２３２…距離算出手段
２３３…判定手段としての領域判定手段

【図1】

【図2】

【図3】

【図4】

【図5】