特許 6240116 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6240116

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/254 20170101AFI20171120BHJP

   H04N 7/18 20060101ALI20171120BHJP

【ＦＩ】

   G06T7/254 B

   H04N7/18 D

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2015-73961(P2015-73961)

(22)【出願日】2015年3月31日

(65)【公開番号】特開2016-194778(P2016-194778A)

(43)【公開日】2016年11月17日

【審査請求日】2016年3月3日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(72)【発明者】

【氏名】野中 陽介

(72)【発明者】

【氏名】宮北 豊

(72)【発明者】

【氏名】▲高▼橋 功

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特表２００８−５２７８０６（ＪＰ，Ａ）

【文献】 特開２００９−１２３１５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

所定の空間を撮影して撮影画像を生成するカメラと、
前記空間を構成する複数の構成物それぞれの三次元座標値と反射特性、および前記空間を照明する光源の位置と照明条件を含む環境モデルを、前記カメラの撮影面にレンダリングした背景画像を記憶している背景画像記憶手段と、
前記背景画像において前記構成物それぞれの前記三次元座標値に対応する構成物領域を記憶している構成物領域記憶手段と、
前記構成物領域それぞれにおける前記背景画像の画素値を当該構成物領域における前記撮影画像の画素値に応じて補正する背景画像補正手段と、
前記撮影画像を前記背景画像補正手段が補正した背景画像と比較して前記空間に現れた前記構成物以外の物体を検出する物体検出手段と、
を備えたことを特徴とする物体検出装置。

【請求項2】

前記構成物領域記憶手段は、前記各構成物の前記構成物領域を前記三次元座標値から得られる当該構成物の構成面それぞれと対応する構成面領域に区分して記憶し、
前記背景画像補正手段は、前記構成面領域それぞれにおける前記背景画像の画素値を当該構成面領域における前記撮影画像の画素値に応じて補正する、請求項１に記載の物体検出装置。

【請求項3】

前記背景画像記憶手段は、前記照明条件を複数通りに変更して前記環境モデルそれぞれをレンダリングした照明条件ごとの前記背景画像を記憶し、
前記背景画像補正手段は、前記照明条件ごとの背景画像のうち前記撮影画像との相違度が最も低い背景画像を補正する、請求項１または２に記載の物体検出装置。

【請求項4】

前記物体検出手段は、前記撮影画像を複数の小領域に区分して前記小領域ごとに前記撮影画像の代表特徴量と前記背景画像の代表特徴量の相違度を算出し、前記相違度が第一所定値以上である小領域に前記物体が存在すると判定する、請求項１から３に記載の物体検出装置。

【請求項5】

前記物体検出手段は、前記撮影画像を画素値が類似する近傍画素どうしをまとめた複数の前記小領域に区分して前記物体を検出する請求項４に記載の物体検出装置。

【請求項6】

所定の空間を構成する複数の構成物それぞれの三次元座標値と反射特性、および前記空間を照明する光源の位置と照明条件を含む環境モデルを記憶した環境モデル記憶手段と、
前記光源の照明条件を複数通りに変更する照明条件変更手段と、
前記空間を撮影して撮影画像を生成するカメラと、
前記環境モデルを前記照明条件変更手段が複数通りに変更した照明条件にて前記カメラの撮影面にレンダリングして照明条件ごとの背景画像を生成し、生成した前記背景画像の中から前記撮影画像との相違度が所定値以下である背景画像を選定し、選定した背景画像の画素値を前記撮影画像の画素値に応じて補正することによって前記空間の背景画像を生成する背景画像生成手段と、
前記撮影画像を前記背景画像生成手段が補正した背景画像と比較して前記空間に現れた前記構成物以外の物体を検出する物体検出手段と、
を備えたことを特徴とする物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の空間を撮影した撮影画像から人などの物体を検出する物体検出装置に関し、特に当該空間を模した環境モデルから生成した背景画像を撮影画像と比較することによって物体を検出する物体検出装置に関する。

【背景技術】

【0002】

防犯等の目的で、監視空間を撮影した撮影画像を背景差分処理あるいは背景相関処理して、監視空間に現れた人や不審物などの物体を検出する技術が知られている。これらの処理においては、人や不審物が写っていない背景画像を生成し、随時更新する必要がある。

【0003】

ところが、イベント会場など多くの人が行き交う混雑空間においては人や不審物が写っていないシーンの出現頻度が低いため、背景画像の生成・更新が困難化する。

【0004】

そこで、従来、人と人の隙間などに断続的に撮影される背景をその時間頻度に着目して選出することによって混雑空間においても背景画像を生成・更新していた。

【0005】

また、従来、移動体が検出されなかった領域（変化の小さい領域）における入力画像と背景画像の間の変化率を基に、移動体が検出された領域（変化の大きい領域）における背景画像の変化率を推定し、移動体が検出された領域においては背景画像に推定した変化率を乗じることによって背景画像を更新していた。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２−２０３６８０号公報

【0007】

【特許文献2】特開平０３−１１８６７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、時間頻度に着目する従来技術では混雑空間において照明の点消灯、雲の通過による陰りなどの急激な照明変動が生じたときに背景画像を即座に追従できない問題があった。

【0009】

そのため、背景の領域においても照明変動による差分や相関値低下が生じ、背景の領域を人や不審物によるものと誤検出してしまう問題があった。

【0010】

また、監視空間は一般に壁、床、棚、路面および標識など複数の構成物からなり、照明変動による背景画像の画素値変化は構成物の凹凸、光源に対する向き、材質などに影響される。そのため、構成物が異なる領域の変化率を利用して背景画像を更新しても高精度な検出を実現することは困難であり、構成物ごとに画素値を調整する必要があった。

【0011】

本発明は上記問題を鑑みてなされたものであり、混雑空間において急激な照明変動が生じても背景画像を即時に追従させ、当該空間に現れた物体を高精度に検出することができる物体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

かかる課題を解決するために、本発明は、所定の空間を撮影して撮影画像を生成するカメラと、空間を構成する複数の構成物それぞれの三次元座標値と反射特性、および空間を照明する光源の位置と照明条件を含む環境モデルを、カメラの撮影面にレンダリングした背景画像を記憶している背景画像記憶手段と、背景画像において構成物それぞれの三次元座標値に対応する構成物領域を記憶している構成物領域記憶手段と、構成物領域それぞれにおける背景画像の画素値を当該構成物領域における撮影画像の画素値に応じて補正する背景画像補正手段と、撮影画像を背景画像補正手段が補正した背景画像と比較して空間に現れた構成物以外の物体を検出する物体検出手段と、を備えたことを特徴とする物体検出装置を提供する。

【0013】

また、構成物領域記憶手段は、各構成物の構成物領域を三次元座標値から得られる当該構成物の構成面それぞれと対応する構成面領域に区分して記憶し、背景画像補正手段は、構成面領域それぞれにおける背景画像の画素値を当該構成面領域における撮影画像の画素値に応じて補正することが好ましい。

【0014】

また、背景画像記憶手段は、照明条件を複数通りに変更して環境モデルそれぞれをレンダリングした照明条件ごとの背景画像を記憶し、背景画像補正手段は、照明条件ごとの背景画像のうち撮影画像との相違度が所定値以下である背景画像を補正することが好ましい。

【0015】

また、物体検出手段は、撮影画像を複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が第一所定値以上である小領域に物体が存在すると判定することが好ましい。

【0016】

また、物体検出手段は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して物体を検出することが好ましい。

【0017】

また、本発明は、所定の空間を構成する複数の構成物それぞれの三次元座標値と反射特性、および空間を照明する光源の位置と照明条件を含む環境モデルを記憶した環境モデル記憶手段と、光源の照明条件を複数通りに変更する照明条件変更手段と、空間を撮影して撮影画像を生成するカメラと、環境モデルを照明条件変更手段が複数通りに変更した照明条件にてカメラの撮影面にレンダリングして照明条件ごとの背景画像を生成し、生成した背景画像の中から撮影画像との相違度が最も低い背景画像を選定することによって空間の背景画像を生成する背景画像生成手段と、撮影画像を背景画像と比較して空間に現れた構成物以外の物体を検出する物体検出手段と、を備えたことを特徴とする物体検出装置を提供する。

【発明の効果】

【0018】

本発明によれば、所定の空間において急激な照明変動が生じても当該空間の背景画像を即時に追従させることができる。そのため、当該空間に現れた物体を高精度に検出することが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態に係る監視カメラシステムの概略の構成を示すブロック図である。

【図2】背景画像生成装置の機能ブロック図である。

【図3】環境モデルを模式的に表した図の例である。

【図4】環境モデルのデータ例である。

【図5】複数の照明条件にて生成された背景画像の例を示す図である。

【図6】構成物領域の例を示す図である。

【図7】第一実施形態に係る物体検出装置の機能ブロック図である。

【図8】背景画像補正処理の様子を模式的に例示した図である。

【図9】監視カメラシステムが背景画像生成装置として機能するときの動作を示すフローチャートである。

【図10】監視カメラシステムが物体検出装置としての機能を含んで動作するときのフローチャートである。

【図11】背景画像選定処理のフローチャートである。

【図12】補正画像生成処理のフローチャートである。

【図13】物体検出処理のフローチャートである。

【図14】第一実施形態の変形例に係る物体検出装置の機能ブロック図である。

【図15】第二実施形態に係る物体検出装置の機能ブロック図である。

【図16】第二実施形態に係る監視カメラシステムの動作を示すフローチャートである。

【図17】第二実施形態に係る監視カメラシステムの動作を示すフローチャートの続きである。

【図18】構成面領域の例を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態として、本発明の物体検出装置を用いて監視カメラの撮影画像に写った人の領域を検出し、検出した領域にプライバシー保護処理を施した撮影画像を表示する監視カメラシステムの例を説明する。この監視カメラシステムは、監視カメラが撮影する監視空間の環境モデル（三次元モデルおよび照明モデル）を利用して監視空間の照明条件に適合した背景画像を生成し、当該背景画像を撮影画像と比較することによって人の領域を検出する物体検出装置の例を含む。

【0021】

＜第一実施形態＞
第一実施形態においては、監視カメラシステム１に含まれる物体検出装置が、予め環境モデルから生成した背景画像等を記憶し、当該背景画像を撮影画像に応じて補正することにより、急激な照明変動が生じても背景画像を即座に追従させて物体を検出する。

【0022】

［監視カメラシステム１の構成］
図１は監視カメラシステム１の概略の構成を示すブロック図である。監視カメラシステム１は、カメラ２、記憶部３、画像処理部４、出力部５およびユーザーインターフェース部６からなる。

【0023】

カメラ２はいわゆる監視カメラである。カメラ２は、画像処理部４と接続され、所定の空間を撮影して撮影画像を生成し、撮影画像を画像処理部４に入力する。例えば、カメラ２は、イベント会場内に設定した各監視空間の天井に当該監視空間を俯瞰する視野に固定された状態で設置され、当該監視空間を所定時間間隔で撮影し、撮影画像を順次入力する。

【0024】

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部３は、画像処理部４と接続されて画像処理部４との間でこれらの情報を入出力する。

【0025】

画像処理部４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部４は、記憶部３および出力部５と接続され、記憶部３からプログラムを読み出して実行することにより各種処理・制御手段として動作し、各種データを記憶部３に記憶させ、読み出す。また、画像処理部４は、カメラ２および出力部５とも接続され、カメラ２からの撮影画像を処理し、処理結果を出力部５に出力する。さらに、画像処理部４は、ユーザーインターフェース部６とも接続され、ユーザーからの操作入力を受け付ける。

【0026】

出力部５は、画像処理部４と接続され、画像処理部４の処理結果を外部出力する。例えば、出力部５は、ディスプレイ装置であり、マスク処理後の撮影画像を表示する。

【0027】

ユーザーインターフェース部６は、キーボード、マウス、ディスプレイ等からなるユーザーインターフェース機器である。例えば、ユーザーインターフェース部６は、設置業者などのユーザーにより使用され、カメラパラメータなどの入力作業に用いられる。

【0028】

［背景画像生成装置の機能］
監視カメラシステム１は、物体検出装置としての機能を実行する以前に、環境モデルから背景画像等を生成してこれらを格納する背景画像生成装置として機能する。図２は背景画像生成装置の機能ブロック図である。背景画像生成装置において、記憶部３は環境モデル記憶手段３０、カメラ情報記憶手段３１、背景画像記憶手段３２および構成物領域記憶手段３３等として機能し、画像処理部４は照明条件変更手段４０、カメラ情報入力手段４１およびレンダリング手段４２等として機能する。

【0029】

以下、図２〜図６を参照して各手段について説明する。

【0030】

環境モデル記憶手段３０は、カメラ２が撮影する監視空間を構成する複数の構成物の三次元モデルおよび当該監視空間の照明モデルを含む環境モデルを予め記憶している。

【0031】

環境モデルは、建築設計時に作成されたＩＦＣ（Industry Foundation Classes）規格の建物情報、三次元ＣＡＤデータ等あるいは事前の実計測データから取得できる。

【0032】

構成物は、例えば、壁、床、ドアなどの建築構造物、机や椅子などの什器であり、監視空間を監視する観点において当該監視空間に存在すべきとされる常設物体である。各構成物には当該構成物を識別する構成物番号を予め付与しておく。

【0033】

三次元モデルは、監視空間を模したＸＹＺ座標系における各構成物の位置、姿勢、立体形状にて表される三次元座標値および各構成物の表面の色、テクスチャ、反射特性のデータを含み、これらのデータが対応する構成物番号と紐付けて記憶されている。

【0034】

なお、三次元モデルは精密であるほど良く、例えばドアであればドア板とドアノブ、机であれば天板と脚というように色、テクスチャおよび反射特性が異なるパーツそれぞれを構成物と定義して三次元モデルを記憶させておくのが好適である。他方、壁のように大きな構成物は各面の光源からの距離の差が大きくなるため各面を構成物と定義するのが好適である。

【0035】

照明モデルは、監視空間を照明する１以上の光源について、監視空間を模したＸＹＺ座標系における当該光源の位置および当該光源の配光、色温度などで表される照明特性を含む。光源は人工照明や太陽等である。各光源には当該光源を識別する光源番号を予め付与され、位置および照明特性のデータが対応する光源番号と紐付けて記憶されている。照明モデルは、各光源の点消灯状態を設定し、点灯状態が設定された光源の出力を照明特性に演算することにより、監視空間に対する複数の照明条件を模擬できる。

【0036】

すなわち、環境モデル記憶手段３０は、カメラ２が撮影対象としている所定の空間を構成する複数の構成物それぞれの三次元座標値と各構成物の色、テクスチャ、反射特性、および該空間を照明する光源の照明特性を含んだ環境モデルを記憶している。

【0037】

図３は環境モデルを模式的に表した図の例である。監視空間を構成する壁７００、床７０１、壁７０２、壁７０３、天井７０４、棚７０５、蛍光灯７０６、蛍光灯７０７、カメラ７０８（カメラ２）にはそれぞれ構成物番号Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９が付与されている。各構成物の三次元モデルはそれぞれのＸＹＺ座標系における三次元座標値により監視空間を立体的に模擬している。また、蛍光灯７０６、蛍光灯７０７にはそれぞれ光源番号Ｌ１、Ｌ２が付与され、各光源の照明モデルはそれぞれのＸＹＺ座標系における位置を模擬している。

【0038】

図４は図３に対応する環境モデルのデータ例であり、図４（ａ）は三次元モデル、図４（ｂ）は照明モデルのデータ例である。

【0039】

例えば、構成物番号Ｃ１の三次元モデルは、壁７００が、立体形状が幅４００ｃｍ、奥行き１０ｃｍ、高さ２００ｃｍの直方体であり、ＸＹＺ座標（０，−１０，０）が表す位置に、ピッチ０度、ロール０度、ヨー０度の姿勢で設置されており、その表面の色はグレー、テクスチャは無地、反射特性がＡの構成物であることを表している。さらに環境モデルには床７０１、壁７０２、壁７０３、天井７０４、棚７０５、蛍光灯７０６、蛍光灯７０７、カメラ７０８のそれぞれに対応する構成物番号Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の三次元モデルが含まれる。

【0040】

また例えば、光源番号Ｌ１の照明モデルは、蛍光灯７０６が、ＸＹＺ座標（１００，１００，２００）が表す位置に設置された型番ＸＸＸＸＸＸＸ、配光ＢＺ９、色温度５７００Ｋの光源であることを示している。さらに環境モデルには光源番号Ｌ２の照明モデルが含まれる。

【0041】

照明条件変更手段４０は、環境モデル記憶手段３０から照明モデルを読み出して、予め定めた規則に従い当該照明モデルに対する複数の照明条件を設定し、これらの設定をレンダリング手段４２に入力する。例えば、光源が複数あれば点消灯状態を組み合わせ、複数段階の出力が可能な光源があれば当該各段階をさらに組み合わせ、光源に太陽が含まれていれば太陽高度および天候による照度変化を組み合わせて複数の照明条件を設定する。

【0042】

カメラ情報記憶手段３１は監視空間を模したＸＹＺ座標系におけるカメラ２のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータからなる。外部パラメータはＸＹＺ座標系におけるカメラ２の位置姿勢である。内部パラメータはカメラ２の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、ユーザーインターフェース部６を介して入力され、カメラ情報記憶手段３１に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってＸＹＺ座標系の座標をカメラ２の撮影面を表すｘｙ座標系に変換できる。

【0043】

カメラ情報入力手段４１は、カメラ情報記憶手段３１からカメラパラメータを読み出して、読み出したカメラパラメータをレンダリング手段４２に入力する。

【0044】

レンダリング手段４２は、環境モデル記憶手段３０から環境モデルを読み出し、カメラ情報入力手段４１から入力されたカメラパラメータにより求まるカメラ２の撮影面に、照明条件変更手段４０から入力された複数の照明条件に対応して環境モデルをレンダリングすることによって各照明条件に対応した監視空間の背景画像を仮想的に生成し、生成した背景画像を背景画像記憶手段３２に記憶させる。

【0045】

具体的には、まずレンダリング手段４２は、カメラパラメータから環境モデルのＸＹＺ座標系におけるカメラ２の撮影面を導出する。次にレンダリング手段４２は、照明モデルに記憶された位置および照明特性に従った光線データを生成し、光線データの有無や出力を各照明条件に合わせて調整する。続いてレンダリング手段４２は、構成物での反射による光線データの色や出力の変化を構成物の色、テクスチャ、反射特性に従って調整する。そしてレンダリング手段４２は光源から撮影面に到達する直接光、反射光の光線データを撮影面の各画素値に設定して背景画像を生成する。

【0046】

また、レンダリング手段４２は、カメラ２の撮影面に設定する画素値を光線の反射元である構成物の構成物番号に置き換えたレンダリングをすることによって構成物領域を算出し、算出した構成物領域を構成物領域記憶手段３３に記憶させる。

【0047】

背景画像記憶手段３２は、レンダリング手段４２が生成した照明条件ごとの背景画像を記憶している。すなわち、背景画像記憶手段３２は、カメラ２が撮影対象としている所定の空間を複数の照明条件にて照明した場合の環境モデルそれぞれをカメラの撮影面にレンダリングした複数の背景画像を記憶している。

【0048】

図５は図３および図４で例示した環境モデルを基に４通りの照明条件にて生成された背景画像の例を示す図である。背景画像８００は光源Ｌ１（蛍光灯７０６）および光源Ｌ２（蛍光灯７０７）が点灯状態という照明条件に対応して生成された背景画像であり、画像全体が明るくなっている。背景画像８０１は光源Ｌ１が点灯状態、光源Ｌ２が消灯状態という照明条件に対応して生成された背景画像であり、画像の向かって右側が左側より暗くなっている。背景画像８０２は光源Ｌ１が消灯状態、光源Ｌ２が点灯状態という照明条件に対応して生成された背景画像であり、画像の向かって左側が右側より暗くなっている。背景画像８０３は光源Ｌ１および光源Ｌ２が消灯状態という照明条件に対応して生成された背景画像であり、画像全体が暗くなっている。

【0049】

環境モデルは構成物および光源ごとの三次元座標値を保持しているためレンダリングによって構成物による隠ぺいが再現された背景画像が生成できる。また、環境モデルは構成物ごとの反射特性、および光源ごとの照明特性を保持しているため照明条件に応じた反射を再現した背景画像が生成できる。

【0050】

構成物領域記憶手段３３は、レンダリング手段４２が生成した構成物領域を記憶している。すなわち、構成物領域記憶手段３３は背景画像において構成物それぞれの三次元座標値に対応する構成物領域を記憶している。

【0051】

図６は図５の背景画像に対応する構成物領域の例を示す図である。壁７００と対応する構成物領域８５１の画素値に構成物番号Ｃ１が設定され、床７０１、壁７０２、棚７０５のそれぞれと対応する構成物領域８５２、構成物領域８５３、構成物領域８５４それぞれの画素値に構成物番号Ｃ２、Ｃ３、Ｃ６が設定された画像形式のデータ８５０が構成物領域記憶手段３３に記憶されている。

【0052】

［物体検出装置の機能］
物体検出装置は、混雑環境下においても急激な照明変動に追従した背景画像を得るために、照明条件を変更可能な環境モデルを基に生成した背景画像を利用する。カメラ２が撮影する空間は一般に複数の立体物から構成される複雑な構造となっている。そのため、照明変動による背景画像の画素値変化は各構成物の凹凸、各構成物の光源に対する向きや距離、各構成物の材質、構成物間の多重反射などに影響される他、空間に現れた人物など構成物以外の物体にも影響される。

【0053】

そのため、背景画像の画素値変化は背景画像全体でみると一様ではなく複雑な非線形変化となる。複数の構成物の三次元座標値を保持した環境モデルを基に生成した背景画像を利用すれば、各構成物の凹凸、向き、距離、材質、多重反射の影響を比較的精度よく再現できるが、物体検出処理に要求される精度で再現することは難しい。また、構成物以外の影響を再現することも困難である。

【0054】

そこで、物体検出装置は、撮影画像に適合する照明条件の背景画像を選定することによって一次近似を行い、選定した背景画像を構成物領域ごとに撮影画像に近づける補正を行うことによって高精度な背景画像を得る。

【0055】

図７は物体検出装置の機能ブロック図である。物体検出装置において、記憶部３は背景画像記憶手段３２および構成物領域記憶手段３３等として機能し、画像処理部４は背景画像補正手段４３および物体検出手段４４等として機能する。背景画像補正手段４３には背景画像選定手段４３０および補正画像生成手段４３１等が含まれる。

【0056】

以下、図７、図８を参照して各手段について説明する。

【0057】

背景画像記憶手段３２は、上述した通り、カメラ２が撮影対象としている所定の空間を複数の照明条件にて照明した場合の環境モデルそれぞれをカメラの撮影面にレンダリングした複数の背景画像を記憶している。これらの背景画像が一次近似のための候補となる。

【0058】

構成物領域記憶手段３３は、上述した通り、背景画像において構成物それぞれが投影された領域である構成物領域を記憶している。これらの領域が補正の単位となる。

【0059】

背景画像補正手段４３は、背景画像選定手段４３０により補正の対象となる背景画像を選定し、補正画像生成手段４３１により領域単位の補正を行って、補正した背景画像を物体検出手段４４に入力する。

【0060】

以下、背景画像選定手段４３０および補正画像生成手段４３１について説明する。
背景画像選定手段４３０は、背景画像記憶手段３２に記憶された複数の背景画像のうち撮影画像との相違度が最も低い背景画像を選定する。

【0061】

そのために背景画像選定手段４３０は、撮影画像の画素値の代表特徴量と背景画像の画素値の代表特徴量の差を相違度として算出する。代表特徴量は例えば平均画素値とすることができる。或いは平均画素値および画素値の分散を代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。

【0062】

また、代表特徴量は撮影画像において構成物以外が写った領域（人物領域など）を除いて算出することが望ましい。ところが、この領域を代表特徴量の抽出に先立って特定するのは困難である。そのため、背景画像選定手段４３０は選定した背景画像と撮影画像を局所ごとに比較して相違度が予め定めた閾値Ｔ０以下である評価領域を設定し、評価領域の代表特徴量の相違度が最も小さな背景画像を選定し直す、という一連の処理を選定結果が連続一致するまで反復する。

【0063】

また、背景画像は三次元モデルにおけるテクスチャの微小な誤差を含み得る。そのため、背景画像選定手段４３０は、画素単位ではなく複数の近傍画素をまとめた小領域単位で比較を行う。小領域は、撮影画像を格子状に区分した各ブロックとすることもできるが、人物領域等の形状をより高精度に検出するためにスーパーピクセルとすることが望ましい。すなわち、背景画像選定手段４３０は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が閾値Ｔ０以下である小領域を評価領域に設定する。この場合の代表特徴量は例えば各小領域の平均画素値および画素値の分散とすることができる。或いは平均画素値を代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。

【0064】

背景画像選定手段４３０は、選定した背景画像を補正画像生成手段４３１に入力する。また、背景画像選定手段４３０は、必要に応じて、小領域の区分および反復処理終了時の評価領域を補正画像生成手段４３１に入力する。

【0065】

補正画像生成手段４３１は、構成物領域記憶手段３３から構成物領域を読み出して、背景画像選定手段４３０から入力された背景画像の構成物領域それぞれにおける画素値を当該構成物領域における撮影画像の画素値に応じて補正する。具体的には、補正画像生成手段４３１は、構成物領域ごとに、当該構成物領域における撮影画像の平均画素値と背景画像の平均画素値の差を算出し、当該差を当該構成物領域における背景画像の各画素値に加算する。

【0066】

このとき、構成物領域から、撮影画像において構成物以外が写った領域（人物領域など）を除くことによって補正を高精度化できる。そのために、補正画像生成手段４３１は背景画像と撮影画像を局所ごとに比較して相違度が予め定めた閾値Ｔ１以上である相違領域を検出し、構成物領域における相違領域以外の画素値に応じて補正を行う。

【0067】

また、背景画像は三次元モデルにおけるテクスチャの微小な誤差を含み得る。そのため、補正画像生成手段４３１は複数の近傍画素をまとめた小領域単位で比較を行う。小領域は、撮影画像を格子状に区分した各ブロックとすることもできるが、人物等の形状をより高精度に検出するためにスーパーピクセルとすることが望ましい。すなわち、補正画像生成手段４３１は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が閾値Ｔ１以上である小領域を相違領域として検出する。この場合の代表特徴量は例えば各小領域の平均画素値および画素値の分散とすることができる。或いは平均画素値を代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。

【0068】

以上のように、補正画像生成手段４３１は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、構成物領域ごとに、構成物領域から相違度が閾値Ｔ１以上である小領域を除いた残余領域における撮影画像の平均画素値と背景画像の平均画素値の差を算出して当該差を当該構成物領域における背景画像の各画素値に加算する。

【0069】

補正画像生成手段４３１は、補正した背景画像を物体検出手段４４に入力する。また、背景画像選定手段４３０は、必要に応じて、小領域の区分を物体検出手段４４に入力する。

【0070】

図８は背景画像補正手段４３による処理の様子を模式的に例示した図である。

【0071】

撮影画像９００には２人の人物が写っている。また２つの蛍光灯は点灯状態であるが棚が通常よりやや暗めに写っている。

【0072】

背景画像選定手段４３０は図５にて例示した４つの背景画像８００〜８０３の中から撮影画像９００に最も類似する背景画像８００を選定する。撮影画像９００と背景画像８００を対比すると棚の領域の再現精度が低く、背景画像８００をそのまま用いると物体検出手段４４により棚の領域が誤検出され得る。

【0073】

補正画像生成手段４３１は、相違領域を検出し、相違領域を除いた構成物領域ごとに撮影画像９００と背景画像８００を比較して補正量を算出する。すなわち画像９１０と９２０、画像９１１と９２１、画像９１２と９２２、画像９１３と９２３を比較する。その結果、棚の領域において画像９２３の平均画素値を画像９１３の平均画素値に近づける補正量などが算出される。

【0074】

補正画像生成手段４３１は、算出した補正量で各構成物領域を補正し、その結果、撮影画像９００の背景を高精度に再現した背景画像９３０が生成される。

【0075】

物体検出手段４４は、撮影画像を背景画像補正手段４３１が補正した背景画像と比較して空間に現れた構成物以外の物体を検出する。検出される物体は例えば監視空間に現れた人物である。

【0076】

上述したように、環境モデルから生成した背景画像は三次元モデルにおけるテクスチャの微小な誤差を含み得る。そのため、物体検出手段４４は、複数の近傍画素をまとめた小領域単位で比較を行う。小領域は、撮影画像を格子状に分割した各ブロックとすることもできるが、人物等の形状をより高精度に検出するためにスーパーピクセルとすることが望ましい。

【0077】

すなわち、物体検出手段４４は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が予め定めた閾値Ｔ２（第一所定値）以上である小領域に構成物以外の物体が存在すると判定する。

【0078】

代表特徴量は例えば各小領域の平均画素値および画素値の分散とすることができる。この場合、撮影画像と背景画像のそれぞれから算出した平均画素値どうしの差、画素値の分散どうしの差を予め定めた重みで重みづけて加算した重みづけ和を相違度とすることができる。或いは環境によっては平均画素値のみ、エッジ密度のみを代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。

【0079】

ここで、構成物の手前に当該構成物と色が類似する服を着た人物などが存在する場合、画素値の代表特徴量のみでは検出対象物体の一部を検出し損ねる場合がある。そこで物体検出手段４４は、閾値Ｔ２による小領域の検出に加えて、予め定めた閾値Ｔ３（第二所定値）以上の有意なエッジ差分が検出された小領域において閾値Ｔ２よりも低く定めた閾値Ｔ４（第三所定値）以上である小領域にも構成物以外の物体が存在すると判定する。このように画素値の特徴量とエッジの特徴量の両方を評価することで、構成物の手前に当該構成物と画像の複雑度が類似する検出対象物体が存在しても、構成物の手前に当該構成物と色が類似する検出対象物体が存在しても高精度な検出が可能となる。

【0080】

物体検出手段４４が撮影画像の処理を終えると、画像処理部４は、撮影画像に、物体検出手段４４が検出した物体の領域をマスクする処理を施して、マスク処理後の撮影画像を出力部５に入力する。

【0081】

［監視カメラシステム１の動作］
上述したように、監視カメラシステム１は、まず背景画像生成装置として動作し、その動作を終えると物体検出装置としての動作を含めた動作を行う。

【0082】

［背景画像生成装置としての動作］
図９のフローチャートを参照して監視カメラシステム１が背景画像生成装置として機能するときの動作を説明する。

【0083】

まず、照明条件変更手段４０は、環境モデル記憶手段３０から照明モデルを読み出して、読み出した照明モデルに対する複数の照明条件を設定し、これらの設定をレンダリング手段４２に入力する（Ｓ１０）。

【0084】

複数の照明条件を入力されたレンダリング手段４２は、環境モデル記憶手段３０から環境モデルすなわち三次元モデルおよび照明モデルを読み出し（Ｓ１１）、さらにカメラ情報入力手段４１にカメラ２のカメラパラメータを入力させ（Ｓ１２）、各照明条件に対応した環境モデルをカメラパラメータにより導出されるカメラ２の撮影面にレンダリングして各照明条件に対応した背景画像を生成し（Ｓ１３）、生成した複数の背景画像をそれぞれにインデックスを付与して背景画像記憶手段３２に格納する（Ｓ１４）。

【0085】

続いてレンダリング手段４２は、カメラ２の撮影面に設定する画素値を光線の反射元である構成物の構成物番号に置き換えたレンダリングをすることによって構成物領域を算出し（Ｓ１５）、算出した構成物領域を構成物領域記憶手段３３に格納する（Ｓ１６）。なお、カメラ２の視野が固定されている本実施形態において構成物領域は全背景画像に共通であるため、ステップＳ１５のレンダリングは１つの照明条件で行えばよい。

【0086】

以上の処理を終えると、監視カメラシステム１は、背景画像生成装置としての動作を終了し、物体検出装置としての動作を含めた動作に移行する。

【0087】

［物体検出装置としての機能を含んだ動作］
図１０〜図１３のフローチャートを参照して、物体検出装置としての機能を含んだ監視カメラシステム１の動作を説明する。

【0088】

画像処理部４は、カメラ２が撮影画像を生成するたびに図１０に示すステップＳ２０〜Ｓ２６の処理を繰り返す。

【0089】

カメラ２は、撮影を行うと、生成した撮影画像を背景画像補正手段４３に入力する（Ｓ２０）。

【0090】

撮影画像を入力された背景画像補正手段４３は背景画像選定手段４３０として動作し、背景画像記憶手段３２に記憶されている複数の背景画像の中から撮影画像に最も類似した背景画像を選定する背景画像選定処理を行う（Ｓ２１）。

【0091】

図１１のフローチャートを参照して背景画像選定処理を説明する。

【0092】

まず背景画像選定手段４３０は、撮影画像を複数の小領域に区分する（Ｓ２１０）。例えば、背景画像選定手段４３０はＳＬＩＣ(Simple Linear Iterative Clustering)法を用いて撮影画像をスーパーピクセルに区分する。またはこの方法以外にも公知である種々のクラスタリング法で区分することができる。

【0093】

次に背景画像選定手段４３０は、画像全体すなわちカメラ２の撮影面全体を評価領域に設定する初期化を行い（Ｓ２１１）、ステップＳ２１２〜Ｓ２１６の反復処理を開始する。

【0094】

反復処理において、まず背景画像選定手段４３０は、撮影画像と背景画像記憶手段３２に記憶されている各背景画像の間で評価領域における代表特徴量の相違度を算出する（Ｓ２１２）。例えば、背景画像選定手段４３０は、評価領域における撮影画像の平均画素値、およびと評価領域における各背景画像の平均画素値を算出し、撮影画像の平均画素値と各背景画像の平均画素値の差を相違度として算出する。

【0095】

続いて背景画像選定手段４３０は、ステップＳ２１２で算出した相違度が最小である背景画像を選定する（Ｓ２１３）。

【0096】

背景画像選定手段４３０は、ステップＳ２１３で選定した背景画像のインデックスが反復の前回で選定した背景画像のインデックスと一致しているか否か、すなわち選定結果が連続一致しているか否かを確認する（Ｓ２１４）。なお反復の初回においては選定結果によらず連続一致していないとみなす。

【0097】

連続一致していなければ（ステップＳ２１４にてＮｏ）、背景画像選定手段４３０は、反復の次回で参照するために今回選定した背景画像のインデックスを記憶部３に一時記憶させて、反復処理を続行する。

【0098】

すなわち、背景画像選定手段４３０は、撮影画像と、選定した背景画像の間で各小領域における代表特徴量の相違度を算出し（Ｓ２１５）、相違度が閾値Ｔ０以下の小領域を評価領域に設定することで評価領域を更新し（Ｓ２１６）、処理をステップＳ２１２に戻す。例えば、背景画像選定手段４３０は、各小領域における撮影画像の平均画素値と画素値の分散および各小領域における各背景画像の平均画素値と画素値の分散を算出する。背景画像選定手段４３０は、小領域ごとに、撮影画像の平均画素値と各背景画像の平均画素値との差と、撮影画像の分散と各背景画像の分散との差の重みづけ和を相違度として算出する。そして背景画像選定手段４３０は、相違度がＴ０以下の小領域の和領域を評価領域に設定する。

【0099】

他方、ステップＳ２１４において連続一致が確認されると、背景画像選定手段４３０は、連続一致したインデックスが示す背景画像を補正画像生成手段４３１に入力して処理を図１０のステップＳ２２に進める。このとき、ステップＳ２０にて生成された撮影画像も補正画像生成手段４３１に入力される。

【0100】

図１０のステップＳ２２において、背景画像補正手段４３は補正画像生成手段４３１として動作し、背景画像選定手段４３０が選定した背景画像を撮影画像に応じて補正する補正画像生成処理を行う。

【0101】

図１２のフローチャートを参照して補正画像生成処理を説明する。

【0102】

まず補正画像生成手段４３１は、撮影画像を複数の小領域に区分し（Ｓ２２０）、撮影画像と背景画像選定手段４３０が選定した背景画像の間で各小領域における代表特徴量の相違度を算出する（Ｓ２２１）。区分は図１１のステップＳ２１０と同様に公知である種々のクラスタリング法で実現できる。ステップＳ２１０の区分結果を流用してもよい。代表特徴量は例えば平均画素値および画素値の分散とすることができる。すなわち補正画像生成手段４３１は、各小領域における撮影画像の平均画素値と画素値の分散および各小領域における各背景画像の平均画素値と画素値の分散を算出する。補正画像生成手段４３１は、小領域ごとに、撮影画像の平均画素値と各背景画像の平均画素値との差と、撮影画像の分散と各背景画像の分散との差の重みづけ和を相違度として算出する。算出した相違度は後のステップＳ２２４で参照される。

【0103】

次に補正画像生成手段４３１は、構成物領域記憶手段３３から構成物領域を読み出し（Ｓ２２２）、読み出した構成物領域を順次注目領域に設定して（Ｓ２２３）、ステップＳ２２３〜Ｓ２２７のループ処理を行う。

【0104】

ループ処理において構成物領域記憶手段３３は、まず注目構成物領域から相違度がＴ１以上の小領域を除いた残余領域を算出する（Ｓ２２４）。

【0105】

次に補正画像生成手段４３１は、残余領域における撮影画像と背景画像の平均画素値の差を補正量として算出し（Ｓ２２５）、算出した差を注目構成物領域における背景画像の各画素値に加算することによって背景画像の注目構成物領域を撮影画像に近似する補正を行う（Ｓ２２６）。

【0106】

続いて補正画像生成手段４３１は、読み出した構成物領域を全て処理し終えたか否かを確認し（Ｓ２２７）、未処理の構成物領域があれば（ステップＳ２２７にてＮｏ）、処理をステップＳ２２３に戻してループ処理を続ける。

【0107】

他方、全構成物領域を処理し終えると（ステップＳ２２７にてＹｅｓ）、補正画像生成手段４３１は、補正した背景画像を物体検出手段４４に入力して処理を図１０のステップＳ２３に進める。

【0108】

図１０のステップＳ２３において、物体検出手段４４は補正画像生成手段４３１が補正した背景画像を用いて撮影画像から構成物以外の物体を検出する物体検出処理を行う。

【0109】

図１３のフローチャートを参照して物体検出処理を説明する。

【0110】

まず物体検出手段４４は、撮影画像を複数の小領域に区分し（Ｓ２３０）、撮影画像と補正画像生成手段４３１が補正した背景画像の間で各小領域における代表特徴量の相違度を算出する（Ｓ２３１）。区分は図１１のステップＳ２１０または図１２のステップＳ２２０と同様に公知である種々のクラスタリング法で実現できる。ステップＳ２１０またはＳ２２０の区分結果を流用してもよい。代表特徴量は例えば平均画素値および画素値の分散とすることができる。すなわち物体検出手段４４は、各小領域における撮影画像の平均画素値と画素値の分散および各小領域における各背景画像の平均画素値と画素値の分散を算出する。物体検出手段４４は、小領域ごとに、撮影画像の平均画素値と各背景画像の平均画素値との差と、撮影画像の分散と各背景画像の分散との差の重みづけ和を相違度として算出する。

【0111】

次に物体検出手段４４は、ステップＳ２３１で算出した相違度が閾値Ｔ２以上である小領域を構成物以外の物体が存在する物体領域として検出する（Ｓ２３２）。

【0112】

続いて物体検出手段４４は、撮影画像と背景画像の間でエッジ差分を検出し（Ｓ２３３）、エッジ差分が検出され、且つステップＳ２３１で算出した相違度が閾値Ｔ４（＜Ｔ２）以上である小領域を構成物以外の物体が存在する物体領域として追加検出する（Ｓ２３４）。

【0113】

以上の処理を終えた物体検出手段４４は、ステップＳ２３２で検出した小領域およびステップＳ２３４で検出した小領域の和領域を構成物以外の物体が存在する物体領域として画像処理部４に出力し、処理を図１０のステップＳ２４に進める。

【0114】

図１０のステップＳ２４において画像処理部４は、ステップＳ２３にて構成物以外の物体の存在が判定されたか否かを確認する（Ｓ２４）。

【0115】

構成物以外の物体の存在が判定された場合（Ｓ２４にてＹｅｓ）、画像処理部４は物体領域を単一色で塗りつぶしてプライバシーマスクを生成し（Ｓ２５）、撮影画像にプライバシーマスクを重畳したマスク画像を出力部５に出力して該画像を表示させる（Ｓ２６）。他方、物体の存在が判定されなかった場合（Ｓ２４にてＮｏ）、ステップＳ２５をスキップして撮影画像をそのまま表示させる。

【0116】

＜第一実施形態の変形例＞
上記実施形態においては、背景画像記憶手段３２が複数の背景画像を記憶し、背景画像補正手段４３がこれらの中からひとつを補正対象として選定することにより、複雑な照明変動を一時近似した。これに対しカメラ２の撮影する空間が比較的単純な構造の場合、背景画像記憶手段３２には代表的なひとつの背景画像を記憶させ、選定を省略してもよい。この場合、背景画像補正手段４３は、図１０のフローチャートにおけるステップＳ２１の処理を省略して背景画像記憶手段３２から読み出した背景画像を補正する。

【0117】

また上記実施形態およびその変形例においては、監視カメラシステム１が、図２を参照して説明した背景画像生成装置としての機能と、図７を参照して説明した物体検出装置としての機能を備える例を示した。別の実施形態においては、監視カメラシステム１とは別体のシステムが背景画像生成装置としての機能を備え、監視カメラシステム１に含まれる物体検出装置は別体のシステムにて生成されたデータを事前に背景画像記憶手段３２および構成物領域記憶手段３３に複製しておくことによって機能する。

【0118】

また上記各実施形態においては、視野が固定され、カメラパラメータが一定値であるカメラ２の例を説明したが、パン、チルト、ズームが可能なＰＴＺカメラのように、または車載カメラ、空撮カメラなどのように、カメラパラメータが変動するカメラ２を利用することもできる。

【0119】

その場合、図１４に示すように、カメラ２が撮影時のカメラパラメータを都度算出してカメラ情報入力手段４１に入力し、カメラ情報入力手段４１が当該カメラパラメータを背景画像補正手段４３の背景画像選定手段４３０および補正画像生成手段４３１に入力する。例えば、ＰＴＺカメラであればカメラ２は、撮影時のカメラ制御値（パン角度、チルト角度およびズーム値）に基づいて自身のカメラパラメータを算出する。また、例えば、車載カメラおよび空撮カメラであればカメラ２にＳＬＡＭ（Simultaneous Localization and Mapping）法などにより自己位置を推定する自己位置推定手段を設け、カメラ２は自己位置に基づいて自身のカメラパラメータを算出する。

【0120】

また、レンダリング手段４２はカメラ制御値または自己位置ごとに背景画像および構成物領域を予め生成してそれぞれを背景画像記憶手段３２および構成物領域記憶手段３３に記憶させておき、背景画像補正手段４３の背景画像選定手段４３０および補正画像生成手段４３１は背景画像記憶手段３２および構成物領域記憶手段３３からカメラ制御値または自己位置が適合する背景画像及び構成物領域を読み出して背景画像の補正を行う。

【0121】

＜第二実施形態＞
第二実施形態においては、監視カメラシステム１に含まれる物体検出装置が、環境モデルを記憶し、撮影画像に応じて環境モデルから背景画像を生成することにより、急激な照明変動が生じても背景画像を即座に追従させて物体を検出する。

【0122】

［第二実施形態に係る監視カメラシステム１の構成］
第二実施形態に係る監視カメラシステム１の概略構成は第一実施形態と同様である。すなわち第二実施形態に係る監視カメラシステム１は、カメラ２、記憶部３、画像処理部４、出力部５およびユーザーインターフェース部６からなる。

【0123】

［第二実施形態に係る物体検出装置の機能］
第二実施形態に係る監視カメラシステム１が備える物体検出装置の機能を説明する。

【0124】

図１５は第二実施形態に係る物体検出装置の機能ブロック図である。第二実施形態に係る物体検出装置において、記憶部３は環境モデル記憶手段３５およびカメラ情報記憶手段３６等として機能し、画像処理部４は照明条件変更手段４５、カメラ情報入力手段４６、レンダリング手段４７、背景画像選定手段４８、補正画像生成手段４９および物体検出手段５０等として機能する。レンダリング手段４７、背景画像選定手段４８および補正画像生成手段４９は背景画像生成手段を構成する。

【0125】

環境モデル記憶手段３５は、第一実施形態と同様、カメラ２が撮影対象としている所定の空間を構成する複数の構成物それぞれの三次元座標値と各構成物の色、テクスチャ、反射特性、および該空間を照明する光源の位置と照明特性を含んだ環境モデルを記憶している。

【0126】

照明条件変更手段４５は、環境モデル記憶手段３５から照明モデルを読み出し、当該照明モデルが表す光源の照明条件を複数通りに変更する。このとき照明条件変更手段４５は、背景画像選定手段４８から入力される相違度に応じて照明条件を都度変更して、照明条件をレンダリング手段４７に入力する。相違度とは、撮影画像と、照明条件に対応してレンダリング手段４７が生成する背景画像との相違度である。

【0127】

具体的に、照明条件変更手段４５は、相違度が低いほど照明条件を小さく変更し、相違度が高いほど照明条件を大きく変更する。例えば、はじめにランダムに照明条件を設定し、その後に低い相違度が入力されると光源の出力を微小に変更し、高い相違度が入力されると光源の出力を大きく変更する、または高い相違度が入力されると複数の光源の点消灯状態を変更する。相違度と照明条件の変更幅の関係は、変更可能な範囲に応じて予め定めておいてもよい。または、過去の相違度と変更幅の関係から定めてもよい。例えば、前々回の相違度と前回の相違度の差と前回の変更幅の大きさの比を算出して、前回の相違度と今回の相違度の差に当該比を乗じた変更幅で照明条件を変更する。

【0128】

カメラ情報記憶手段３６は、第一実施形態と同様、監視空間を模したＸＹＺ座標系におけるカメラ２のカメラパラメータを予め記憶している。

【0129】

カメラ情報入力手段４６は、カメラ情報記憶手段３６からカメラパラメータを読み出して、読み出したカメラパラメータをレンダリング手段４７に入力する。

【0130】

レンダリング手段４７は、環境モデル記憶手段３５から環境モデルを読み出し、カメラ情報入力手段４６から入力されたカメラパラメータにより求まるカメラ２の撮影面に、照明条件変更手段４５から入力された複数の照明条件に対応して環境モデルをレンダリングすることによって各照明条件に対応した監視空間の背景画像を仮想的に生成し、生成した背景画像を背景画像選定手段４８に入力する。背景画像のレンダリング方法は第一実施形態と同様である。

【0131】

また、レンダリング手段４７は、カメラ２の撮影面に設定する画素値を光線の反射元である構成物の構成物番号に置き換えたレンダリングをすることによって構成物領域を算出し、算出した構成物領域を補正画像生成手段４９に入力する。構成物領域のレンダリング方法は第一実施形態と同様である。

【0132】

背景画像選定手段４８は、レンダリング手段４７から入力された複数の背景画像の中から撮影画像との相違度が所定値以下の背景画像を選定し、選定した補正画像生成手段４９に入力する。

【0133】

すなわち背景画像選定手段４８は、評価領域における撮影画像の画素値の代表特徴量と背景画像の画素値の代表特徴量の差を相違度として算出し、算出した相違度を予め定めた閾値Ｔ５と比較するとともに照明条件変更手段４５に入力してレンダリング手段４７に照明条件を変更した背景画像を新たに生成させ、新たに背景画像と撮影画像を局所ごとに比較して相違度が予め定めた閾値Ｔ０以下である評価領域を設定し、評価領域の代表特徴量の相違度を閾値Ｔ５と比較する、という一連の処理を評価領域の相違度が閾値Ｔ５以下である背景画像が選定されるまで反復する。評価領域の代表特徴量および相違度の算出方法、局所領域の区分方法および局所領域単位での代表特徴量および相違度の算出方法は第一実施形態と同様である。

【0134】

補正画像生成手段４９は、背景画像選定手段４８から入力された背景画像の画素値を撮影画像の画素値に応じて補正し、補正した背景画像を物体検出手段５０に入力する。

【0135】

このとき補正画像生成手段４９は、レンダリング手段４７から入力された構成物領域を参照し、構成物領域ごとに補正を行う。すなわち、補正画像生成手段４９は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、構成物領域ごとに、構成物領域から相違度が閾値Ｔ１以上である小領域を除いた残余領域における撮影画像の平均画素値と背景画像の平均画素値の差を算出して当該差を当該構成物領域における背景画像の各画素値に加算する。局所領域の区分方法および局所領域単位での代表特徴量および相違度の算出方法は第一実施形態と同様である。

【0136】

物体検出手段５０は、撮影画像を補正画像生成手段４９が補正した背景画像と比較して空間に現れた構成物以外の物体を検出する。

【0137】

具体的には物体検出手段５０は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が予め定めた閾値Ｔ２（第一所定値）以上である小領域に構成物以外の物体が存在すると判定する。また物体検出手段５０は、閾値Ｔ２による小領域の検出に加えて、予め定めた閾値Ｔ３（第二所定値）以上の有意なエッジ差分が検出された小領域において閾値Ｔ２よりも低く定めた閾値Ｔ４（第三所定値）以上である小領域にも構成物以外の物体が存在すると判定する。

【0138】

［第二実施形態に係る監視カメラシステム１の動作］
図１６および図１７のフローチャートを参照して第二実施形態に係る監視カメラシステム１の動作を説明する。

【0139】

画像処理部４は、カメラ２が撮影画像を生成するたびにステップＳ５０〜Ｓ６１の処理を繰り返す。

【0140】

カメラ２が撮影を行うと、照明条件変更手段４５およびレンダリング手段４７が起動され、生成した撮影画像が背景画像選定手段４８に入力される（Ｓ５０）。レンダリング手段４７が環境モデル記憶手段３５から環境モデルすなわち三次元モデルおよび照明モデルを読み出し、照明条件変更手段４５はが環境モデル記憶手段３５から照明モデルを読み出し（Ｓ５１）、さらにレンダリング手段４７がカメラ情報入力手段４６にカメラ２のカメラパラメータを入力させ（Ｓ５２）、照明条件変更手段４５、レンダリング手段４７および背景画像選定手段４８による反復処理が開始される。

【0141】

反復処理においては、まず照明条件変更手段４５が照明条件を変更して当該照明条件をレンダリング手段４７に入力する（Ｓ５３）。反復処理の初回において、照明条件変更手段４５は乱数に基づいて照明条件を設定する。反復の２回目以降において、照明条件変更手段４５は背景画像選定手段４８から入力される相違度に応じて照明条件を変更する。

【0142】

照明条件を入力されたレンダリング手段４７は当該照明条件に対応した環境モデルをカメラパラメータにより導出されるカメラ２の撮影面にレンダリングして当該照明条件に対応した背景画像を生成し（Ｓ５４）、生成した背景画像を背景画像選択手段４８に入力する。

【0143】

背景画像を入力された背景画像選定手段４８は、撮影画像と背景画像の相違度を算出して（Ｓ５５）、算出した相違度を閾値Ｔ５と比較する（Ｓ５６）。

【0144】

相違度がＴ５以上の場合（ステップＳ５６にてＮｏ）、背景画像選定手段４８は、ステップＳ５５で算出した相違度を照明条件変更手段４５に入力して反復処理を続行させる。この入力により処理は再びステップＳ５３に戻される。

【0145】

他方、相違度がＴ５未満の場合（ステップＳ５６にてＹｅｓ）、背景画像選定手段４８は、反復処理を終了し、反復終了時の背景画像を補正画像生成手段４９に入力する。このとき、ステップＳ５０で生成された撮影画像が補正画像生成手段４９にも入力される。

【0146】

背景画像と撮影画像の入力を受けた補正画像生成手段４９はレンダリング手段４７に構造物領域を要求する。要求を受けたレンダリング手段４７はカメラパラメータと環境モデルを基に構成物領域を算出し（Ｓ５７）、算出した構成物領域を補正画像生成手段４９に入力する。

【0147】

補正画像生成手段４９は、構成物領域ごとに撮影画像の画素値に応じて背景画像の画素値を補正することによって補正画像を算出し（Ｓ５８）、補正した背景画像を物体検出手段５０に入力する。このとき、ステップＳ５０で生成された撮影画像が物体検出手段５０にも入力される。

【0148】

背景画像と撮影画像の入力を受けた物体検出手段５０は撮影画像を背景画像と比較し、監視画像において構成物以外の物体が存在する物体領域を検出して画像処理部４に出力する（Ｓ５９）。

【0149】

画像処理部４は、ステップＳ５９にて構成物以外の物体の存在が判定されたか否かを確認し（Ｓ６０）、構成物以外の物体の存在が判定された場合は（Ｓ６０にてＹｅｓ）、物体領域を単一色で塗りつぶしてプライバシーマスクを生成し（Ｓ６１）、撮影画像にプライバシーマスクを重畳したマスク画像を出力部５に出力して該画像を表示させる（Ｓ６２）。他方、物体の存在が判定されなかった場合（Ｓ６０にてＮｏ）、ステップＳ６１をスキップして撮影画像をそのまま表示させる。

【0150】

＜第二実施形態の変形例＞
上記第二実施形態においては、視野が固定され、カメラパラメータが一定値であるカメラ２の例を説明したが、パン、チルト、ズームが可能なＰＴＺカメラのように、または車載カメラ、空撮カメラなどのように、カメラパラメータが変動するカメラ２を利用することもできる。その場合、カメラ２が撮影時のカメラパラメータを都度算出してカメラ情報入力手段４６に入力し、カメラ情報入力手段４６が当該カメラパラメータをレンダリング手段４７に入力する。

【0151】

＜その他の変形例＞
上記各実施形態およびそれらの変形例においては、物体検出装置が人を検出する例を説明したが、検出対象は人に限らず空間に現れた構成物以外の各種物体を検出対象とすることができる。例えば、車両や動物などの各種移動物体、空間に持ち込まれた物品などを検出することもできる。

【0152】

上記各実施形態およびそれらの変形例においては、物体検出装置の検出結果をプライバシーマスクの生成に用いる例を説明したが、物体検出装置の検出結果はこれに限らず、侵入検知、不審物の検知、物体の計数、移動物体の追跡など様々な用途に利用することができる。

【0153】

また別の実施形態においては、上記実施形態およびそれらの変形例において説明した構成物領域をさらに細分化した構成面領域とすることもできる。構成面領域は背景画像において構成物の各面と対応する領域である。構成物領域に代えて構成面領域を用いることで、埃の蓄積や汚れ等が原因で環境モデルによる再現精度が低下した面がある場合に、高精度な背景画像を生成することが可能となる。

【0154】

この場合、予め構成物の面ごとに構成面番号を付与して環境モデルに構成面番号のデータを加えて、環境モデル記憶手段３０または環境モデル記憶手段３５に記憶させておく。レンダリング手段４２またはレンダリング手段４７は、構成物番号に代えて構成面番号をレンダリングすることによって構成面領域を算出する。

【0155】

図１８は図５の背景画像に対応する構成面領域の例を示す図である。壁７００、床７０１、壁７０２のそれぞれと対応する構成面領域８６１、構成面領域８６２、構成面領域８６３それぞれの画素値に構成面番号Ｆ１、Ｆ２、Ｆ３が設定され、棚７０５の上面と対応する構成面領域８６４の画素値に構成面番号Ｆ６が設定され、棚７０５の手前面と対応する構成面領域８６５の画素値に構成面番号Ｆ７が設定され、棚７０５の左面と対応する構成面領域８６６の画素値に構成面番号Ｆ８が設定された画像形式のデータ８６０が算出され、必要に応じて記憶される。

【0156】

また、この場合、補正画像生成手段４３１または補正画像生成手段４９は、構成面領域それぞれにおける背景画像の画素値を当該構成面領域における撮影画像の画素値に応じて補正する。

【符号の説明】

【0157】

１・・・監視カメラシステム
２・・・カメラ
３・・・記憶部
４・・・画像処理部
５・・・出力部
６・・・ユーザーインターフェース部
３０、３５・・・環境モデル記憶手段
３１、３６・・・カメラ情報記憶手段
３２・・・背景画像記憶手段
３３・・・構成物領域記憶手段
４０、４５・・・照明条件変更手段
４１、４６・・・カメラ情報入力手段
４２、４７・・・レンダリング手段
４３・・・背景画像補正手段
４３０、４８・・・背景画像選定手段
４３１、４９・・・補正画像生成手段
４４、５０・・・物体検出手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】