特開 2018-185623 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-185623(P2018-185623A)

(43)【公開日】2018年11月22日

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20181026BHJP

   G06T 1/00 20060101ALI20181026BHJP

   H04N 7/18 20060101ALI20181026BHJP

【ＦＩ】

   G06T7/00 300F

   G06T7/00 660B

   G06T1/00 340B

   H04N7/18 D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】29

(21)【出願番号】特願2017-86322(P2017-86322)

(22)【出願日】2017年4月25日

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(72)【発明者】

【氏名】前田 昌宏

(72)【発明者】

【氏名】氏家 秀紀

(72)【発明者】

【氏名】黒川 高晴

【テーマコード（参考）】

5B057

5C054

5L096

【Ｆターム（参考）】

5B057AA19

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CH09

5B057DA07

5B057DB02

5B057DB09

5B057DC09

5B057DC23

5B057DC36

5C054FC01

5C054FC03

5C054FC07

5C054FC12

5C054FC14

5C054FC15

5C054FD07

5C054GB15

5C054HA19

5L096AA06

5L096BA02

5L096CA02

5L096DA02

5L096EA13

5L096FA06

5L096FA14

5L096FA37

5L096FA46

5L096HA08

5L096JA09

(57)【要約】

【課題】混雑が生じ得る空間が撮影された撮影画像から個々の物体を精度良く検出する。
【解決手段】画像解析装置は、所定の密度ごとに当該密度にて物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、撮影画像に撮影された物体の密度の分布を推定する密度推定手段５０と、撮影画像内に個々の物体が存在し得る候補位置を設定するとともに候補位置を基準として撮影画像内に物体を構成する複数の部分のそれぞれと対応する部分領域を設定して、部分領域ごとに当該部分領域と対応する部分の画像特徴が現れている度合いを表す部分評価値を算出し、候補位置を基準に設定した複数の部分領域の部分評価値を当該部分領域の密度が低いほど重視して統合した統合評価値が所定の判定基準を満たす候補位置を物体の位置と判定する物体位置判定手段５１を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定の物体による混雑が生じ得る空間が撮影された撮影画像から個々の前記物体を検出する物体検出装置であって、
所定の密度ごとに当該密度にて前記物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、前記撮影画像に撮影された前記物体の前記密度の分布を推定する密度推定手段と、
前記撮影画像内に個々の前記物体が存在し得る候補位置を設定するとともに前記候補位置を基準として前記撮影画像内に前記物体を構成する複数の部分のそれぞれと対応する部分領域を設定して、前記部分領域ごとに当該部分領域と対応する部分の画像特徴が現れている度合いを表す部分評価値を算出し、前記候補位置を基準に設定した複数の前記部分領域の前記部分評価値を当該部分領域の前記密度が低いほど重視して統合した統合評価値が所定の判定基準を満たす候補位置を前記物体の位置と判定する物体位置判定手段と、
を備えたことを特徴とする物体検出装置。

【請求項2】

前記物体位置判定手段は、前記部分領域ごとに当該部分領域における前記密度が低いほど高く当該部分領域における前記密度が高いほど低い重み係数を設定し、前記候補位置を基準に設定した複数の前記部分領域の前記部分評価値を当該部分領域の前記重み係数にて重み付けて総和して前記統合評価値を算出する、請求項１に記載の物体検出装置。

【請求項3】

前記物体位置判定手段は、前記候補位置における前記密度が高いほど前記物体を構成する前記部分のうちの少ない部分に対応する前記部分領域を設定する、請求項１または２に記載の物体検出装置。

【請求項4】

前記物体位置判定手段は、
それぞれが１以上の前記候補位置を含む互いに異なる複数通りの配置を生成する配置生成手段と、
前記複数通りの配置それぞれについて、前記各候補位置を基準とする前記複数の部分のそれぞれと対応する前記部分領域に、当該部分を模した部分モデルを描画してモデル画像を生成するモデル画像生成手段と、
前記複数通りの配置の前記モデル画像それぞれについて、前記部分領域ごとに前記部分モデルの前記撮影画像に対する類似の度合いを表す前記部分評価値を算出し、複数の前記部分領域の前記部分評価値を統合して前記統合評価値を算出する評価値算出手段と、
前記統合評価値が最大の配置における前記候補位置を前記物体の位置と決定する最適配置決定手段と、
を含む請求項１〜３のいずれかひとつに記載の物体検出装置。

【請求項5】

前記物体位置判定手段は、
前記撮影画像内に複数の前記候補位置を設定する候補位置設定手段と、
前記各候補位置を基準に設定した前記複数の部分のそれぞれと対応する前記部分領域の画像特徴を当該部分の画像特徴を学習した識別器に入力して当該部分領域の前記部分評価値を算出し、前記候補位置ごとに当該候補位置を基準に設定した複数の前記部分領域の前記部分評価値を統合して前記統合評価値を算出する評価値算出手段と、
前記判定基準を満たす前記統合評価値が算出された前記候補位置を前記物体の位置と決定する位置決定手段と、
を含む請求項１〜３のいずれかひとつに記載の物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人等の所定の物体が存在し得る空間が撮影された撮影画像から個々の物体を検出する物体検出装置に関し、特に、混雑が生じ得る空間が撮影された撮影画像から個々の物体を検出する物体検出装置に関する。

【背景技術】

【0002】

イベント会場等の混雑が発生し得る空間においては事故防止等のために、混雑が発生している区域に警備員を多く配置するなどの対応が求められる。そこで、会場の各所に監視カメラを配置して撮影画像から人の分布を推定し、推定した分布を表示することによって監視員による混雑状況の把握を容易化することができる。

【0003】

その際、個々の人の位置を検出して、検出した各位置に人の形状を模したモデルを表示し、または／および人の位置関係（例えば行列を為している、取り囲んでいる）を解析して解析結果を報知することによって、より一層の監視効率向上が期待できる。

【0004】

複数人が撮影された撮影画像から個々の人の位置を検出する方法に、人を模したモデルを複数個組み合わせて撮影画像に当てはめる方法や、単独の人が撮影された画像の特徴量を事前に学習した識別器を用いて撮影画像をスキャンする方法など、予め用意した単独の人の画像特徴を用いて撮影画像から単独の人の画像特徴が現れている位置を検出する方法がある。

【0005】

例えば、特許文献１に記載の移動物体追跡装置においては、監視画像と背景画像との比較によって変化画素が抽出された位置に、追跡中の移動物体の形状を模した移動物体モデルを追跡中の移動物体の数だけ組み合わせて当てはめることによって個々の移動物体の位置を検出している。この移動物体追跡装置においては、人の全身の形状を近似した移動物体モデルを用いることが例示されている。

【0006】

また、例えば、特許文献２に記載の物体検出装置は、多数の「人」の画像データ、「人以外」の画像データを用いて予め学習させた識別器を用いて入力画像から人を検出する。この物体検出装置が用いる識別器は、人の全身の画像データを用いて学習したものであることが示唆されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１２−１５９９５８

【特許文献2】特開２０１１−１８６６３３

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、混雑が生じ得る空間が撮影された撮影画像においては、混雑状態に応じて人の隠蔽状態が変化する。そのため、単独の人の画像特徴として、混雑状態によらず常に物体の各部分の画像特徴を一様に評価していると個々の人を精度良く検出し続けることが困難となる問題があった。

【0009】

すなわち、混雑が生じておらず、全身が撮影されている人が多い撮影画像については、人を模したモデルを用いる方法においても、人の画像を学習した識別器を用いる方法においても、全身の画像特徴を用いた方が一部（例えば頭部近傍のみ）の画像特徴を用いるよりも高い精度で当該人を検出できる。

【0010】

一方、混雑が生じ、隠蔽状態が多発している撮影画像については、人を模したモデルを用いる方法においても、人の画像を学習した識別器を用いる方法においても、全身の画像特徴を用いるよりも隠蔽が生じている可能性が低い部分のみの画像特徴を用いた方が高い精度で当該人を検出できる。

【0011】

そのため、撮影画像において混雑している領域の左側に撮影されている人はその左側部分、右側に撮影されている人はその右側部分、上方に撮影されている人はその上部、下方に撮影されている人はその下部を他の部分よりも重視して評価した方が高い精度で検出できる。

【0012】

また、例えば、混雑時の検出精度を高めるために頭部近傍のみの画像特徴を常に用いていると混雑が生じていない時の検出精度が低下し、混雑が生じていない時の検出精度を高めるために全身の画像特徴を常に用いていると混雑時の検出精度が低下する。

【0013】

このように、混雑が生じ得る空間が撮影された撮影画像においては検出対象の物体の個々の隠蔽状態が混雑状態に応じて変化するため、常に物体の各部分を一様に評価していると当該撮影画像から個々の物体を精度良く検出することが困難であった。

【0014】

本発明は上記問題に鑑みてなされたものであり、混雑が生じ得る空間が撮影された撮影画像であっても当該撮影画像中の個々の物体を精度良く検出することができる物体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0015】

かかる目的を達成するために本発明は、所定の物体による混雑が生じ得る空間が撮影された撮影画像から個々の物体を検出する物体検出装置であって、所定の密度ごとに当該密度にて物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、撮影画像に撮影された物体の密度の分布を推定する密度推定手段と、撮影画像内に個々の物体が存在し得る候補位置を設定するとともに候補位置を基準として撮影画像内に物体を構成する複数の部分のそれぞれと対応する部分領域を設定して、部分領域ごとに当該部分領域と対応する部分の画像特徴が現れている度合いを表す部分評価値を算出し、候補位置を基準に設定した複数の部分領域の部分評価値を当該部分領域の密度が低いほど重視して統合した統合評価値が所定の判定基準を満たす候補位置を物体の位置と判定する物体位置判定手段と、を備えたことを特徴とする物体検出装置を提供する。

【0016】

また、物体位置判定手段は、部分領域ごとに当該部分領域における密度が低いほど高く当該部分領域における密度が高いほど低い重み係数を設定し、候補位置を基準に設定した複数の部分領域の部分評価値を当該部分領域の重み係数にて重み付けて総和して統合評価値を算出することが好適である。

【0017】

また、物体位置判定手段は、候補位置における密度が高いほど物体を構成する部分のうちの少ない部分に対応する部分領域を設定することが好適である。

【0018】

また、物体位置判定手段は、それぞれが１以上の候補位置を含む互いに異なる複数通りの配置を生成する配置生成手段と、複数通りの配置それぞれについて、各候補位置を基準とする複数の部分のそれぞれと対応する部分領域に、当該部分を模した部分モデルを描画してモデル画像を生成するモデル画像生成手段と、複数通りの配置のモデル画像それぞれについて、部分領域ごとに部分モデルの撮影画像に対する類似の度合いを表す部分評価値を算出し、複数の部分領域の部分評価値を統合して統合評価値を算出する評価値算出手段と、統合評価値が最大の配置における候補位置を物体の位置と決定する最適配置決定手段と、を含むことが好適である。

【0019】

また、物体位置判定手段は、撮影画像内に複数の候補位置を設定する候補位置設定手段と、各候補位置を基準に設定した複数の部分のそれぞれと対応する部分領域の画像特徴を当該部分の画像特徴を学習した識別器に入力して当該部分領域の部分評価値を算出し、候補位置ごとに当該候補位置を基準に設定した複数の部分領域の部分評価値を統合して統合評価値を算出する評価値算出手段と、判定基準を満たす統合評価値が算出された候補位置を物体の位置と決定する位置決定手段と、を含むことが好適である。

【発明の効果】

【0020】

本発明によれば、混雑が生じ得る空間が撮影された撮影画像から個々の物体を精度良く検出できる。

【図面の簡単な説明】

【0021】

【図1】第一および第二の実施形態に係る画像監視装置の概略の構成を示すブロック図である。

【図2】第一および第二の実施形態に係る画像監視装置の機能を示す機能ブロック図である。

【図3】第一の実施形態に係る画像監視装置の機能を示す機能ブロック図である。

【図4】第一の実施形態に係る物体モデル記憶手段が記憶している物体モデルの情報の一例を模式的に表した図である。

【図5】第一の実施形態に係る物体モデル記憶手段が記憶している物体モデルの情報の一例を模式的に表した図である。

【図6】第一の実施形態に係る重み記憶手段が記憶している重み（重み係数の比率）の一例を模式的に表した図である。

【図7】第一の実施形態に係る密度推定手段、配置生成手段およびモデル画像生成手段による処理例を模式的に示した図である。

【図8】第一の実施形態に係るモデル画像７４３の各部分領域に対応してモデル画像生成手段が算出した重み係数を模式的に示した画像である。

【図9】第一および第二の実施形態に係る画像監視装置の動作を示したフローチャートである。

【図10】第一の実施形態に係る画像監視装置による物体位置判定処理のフローチャートである。

【図11】第一の実施形態に係る画像監視装置による物体位置判定処理のフローチャートである。

【図12】第二の実施形態に係る画像監視装置の機能を示す機能ブロック図である。

【図13】第二の実施形態に係る部分識別器記憶手段が記憶している部分識別器の情報および重み記憶手段が記憶している重みの情報を模式的に表した図である。

【図14】候補位置について第二の実施形態に係る評価値算出手段が統合スコアを算出する様子を模式的に示した図である。

【図15】第二の実施形態に係る画像監視装置による物体位置判定処理のフローチャートである。

【発明を実施するための形態】

【0022】

［第一の実施形態］
以下、本発明の実施形態として、イベント会場が撮影された撮影画像から個々の人を検出する物体検出装置の例を含み、検出結果を監視員に対して表示する画像監視装置１の例を説明する。この実施形態に係る画像監視装置１は、特に、物体検出装置が人を模した物体モデルを用いて個々の人を検出し、その際に物体検出装置が物体モデルを構成する複数の部分モデルを用いて個々の人を検出する例を含む。

【0023】

＜第一の実施形態に係る画像監視装置１の構成＞
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および表示部６からなる。

【0024】

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、イベント会場に設置されたポールに当該監視空間を俯瞰する視野を有して設置される。その視野は固定されていてもよいし、予めのスケジュール或いは通信部３を介した外部からの指示に従って変更されてもよい。また、例えば、撮影部２は監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

【0025】

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された検出結果を表示部６に出力する。

【0026】

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

【0027】

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより個々の人を検出し、検出結果を通信部３経由で表示部６に表示させる。

【0028】

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による検出結果を表示する表示手段である。監視員は表示された検出結果を視認して混雑の発生等を判断し、必要に応じて人員配置の変更等の対処を行う。

【0029】

なお、本実施形態においては、撮影部２と画像処理部５の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と画像処理部５の個数を多対１或いは多対多とすることもできる。

【0030】

＜第一の実施形態に係る画像監視装置１の機能＞
図２および図３は画像監視装置１の機能を示す機能ブロック図である。通信部３は画像取得手段３０および物体位置出力手段３１等として機能し、記憶部４は密度推定器記憶手段４０および単体特徴記憶手段４１等として機能する。画像処理部５は、密度推定手段５０および物体位置判定手段５１等として機能する。また、単体特徴記憶手段４１は物体モデル記憶手段４１０ａおよび重み記憶手段４１２ａとしての機能を含み、物体位置判定手段５１は配置生成手段５１０ａ、モデル画像生成手段５１２ａ、評価値算出手段５１４ａおよび最適配置決定手段５１６ａとしての機能を含む。

【0031】

画像取得手段３０は、撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を密度推定手段５０および物体位置判定手段５１に順次出力する。

【0032】

密度推定器記憶手段４０は、所定の密度ごとに当該密度にて物体（人）が存在する空間を撮影した密度画像それぞれの画像特徴を学習した推定密度算出関数であって、画像の特徴量を入力されると当該画像に撮影されている物体の密度の推定値（推定密度）を算出し、算出した推定密度を出力する推定器（密度推定器）の情報を予め記憶している。つまり上記推定密度算出関数の係数等のパラメータを密度推定器の情報として予め記憶している。

【0033】

密度推定手段５０は、画像取得手段３０から入力された撮影画像の各所から密度推定用の特徴量（推定用特徴量）を抽出するとともに密度推定器記憶手段４０から密度推定器を読み出して、抽出した推定用特徴量のそれぞれを密度推定器に入力することによって推定密度の分布（密度分布）を推定し、推定した密度分布を物体位置判定手段５１に出力する。

【0034】

密度推定の処理と密度推定器について具体的に説明する。

【0035】

密度推定手段５０は、撮影画像の各画素の位置に窓（推定用抽出窓）を設定し、各推定用抽出窓における撮影画像から推定用特徴量を抽出する。推定用特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。

【0036】

各推定用抽出窓に撮影されている監視空間内の領域は同一サイズであることが望ましい。すなわち、好適には密度推定手段５０は不図示のカメラパラメータ記憶手段から予め記憶されている撮影部２のカメラパラメータを読み出し、カメラパラメータを用いたホモグラフィ変換により撮影画像の任意の画素に撮影されている監視空間内の領域が同一サイズとなるように撮影画像を変形してから推定用特徴量を抽出する。

【0037】

密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ（Support Vector Machine）法で学習した識別関数とすることができる。

【0038】

密度は、例えば、人が存在しない「背景」クラス、０人／ｍ^２より高く２人／ｍ^２以下である「低密度」クラス、２人／ｍ^２より高く４人／ｍ^２以下である「中密度」クラス、４人／ｍ^２より高い「高密度」クラスの４クラスと定義することができる。

【0039】

推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」「低密度」「中密度」「高密度」と表記する。

【0040】

すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習した、各クラスの画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお、密度画像の特徴量は、推定用特徴量と同種であり、ＧＬＣＭ特徴である。

【0041】

密度推定手段５０は、各画素に対応して抽出した推定用特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度を取得する。なお、撮影画像を変形させて推定用特徴量を抽出した場合、密度推定手段５０は、カメラパラメータを用いたホモグラフィ変換により密度分布を元の撮影画像の形状に変形させる。

【0042】

こうして得られた、撮影画像の画素ごとの推定密度の集まりが密度分布である。

【0043】

密度推定手段５０が出力する密度分布から撮影画像の各所における人の粗密状況が分かるが、密度分布から個々の人の位置までは分からない。
これに対し、密度推定手段５０の後段の物体位置判定手段５１は、撮影画像に現れている個々の人の位置を判定する手段である。

【0044】

物体位置判定手段５１は、単独の人（物体）としての画像特徴が現れている箇所を撮影画像上で探索することにより個々の物体を検出して個々の物体の位置を判定する。すなわち、物体位置判定手段５１は、撮影画像内に個々の物体が存在し得る候補位置を設定して当該候補位置の撮影画像に単独の物体の画像特徴（単体特徴）が現れている度合いを表す評価値（統合評価値）を算出し、統合評価値が所定値以上である候補位置を物体の位置と判定する。例えば、単体特徴は人の形状であり、単体特徴記憶手段４１が予め単体特徴を記憶している。また例えば、統合評価値は撮影画像のエッジと人の形状を表すモデルとの類似度である。統合評価値は物体を構成する複数の部分それぞれに対する評価値（部分評価値）を統合した評価値である。

【0045】

ここで、混雑が生じ得る空間が撮影された撮影画像においては、密度が高い領域ほど隠蔽が生じやすくなるため評価値の信頼性は低いと考えられる。その逆に、密度が低い領域ほど隠蔽は生じにくく評価値の信頼性は高いと考えられる。また、混雑が生じ得る空間が撮影された撮影画像においては、密度の境目に存在している物体のようにその信頼性の高い部分と低い部分が混在する物体も多々含まれ得る。

【0046】

そこで、物体位置判定手段５１は、物体全体を一様に評価するのではなく、密度分布を参照して物体の部分ごとに密度に応じた重み付けを行うことによって物体の検出精度を向上させる。
すなわち、物体位置判定手段５１は、撮影画像内に個々の物体が存在し得る候補位置を設定するとともに候補位置を基準として撮影画像内に物体を構成する複数の部分のそれぞれと対応する部分領域を設定して、部分領域ごとに当該部分領域と対応する部分の画像特徴が現れている度合いを表す部分評価値を算出し、候補位置を基準に設定した各部分領域の部分評価値を当該部分領域の密度が低いほど重視して統合した統合評価値が所定の判定基準を満たす候補位置を物体の位置と判定する。より具体的には、物体位置判定手段５１は、前記部分領域ごとに当該部分領域における密度が低いほど高く当該部分領域における密度が高いほど低い重み係数を設定し、候補位置を基準に設定した複数の部分領域の部分評価値を当該部分領域の重み係数にて重み付けて総和して統合評価値を算出する。

【0047】

また、密度が高い領域ほど重度の隠蔽が生じる可能性は高くなり、隠れている部分についても評価を行うと誤評価が生じる機会を増加させ、物体の検出精度を低下させることにつながる。例えば、撮影部２が俯瞰設置されている場合は、足元に近いほど隠蔽は発生しやすく、頭に近いほど隠蔽は発生しにくい。このことを考慮し、混雑に適応させるべく単体特徴を人の頭部だけにすると混雑時の検出し損ねは減少する。しかし、頭部だけの単体特徴は肩などに対しても比較的高い統合評価値が算出されてしまうため、混雑していないときの誤検出が増加する。

【0048】

物体位置判定手段５１は、密度分布を参照することによって、このような評価する部分の多寡と個々の物体の検出精度との間に存在するトレードオフを解消する。すなわち、物体位置判定手段５１は、候補位置における密度が高いほど物体を構成する部分のうちの少ない部分に対応する部分領域を設定する。つまり、物体位置判定手段５１は、候補位置における密度が高いほど、物体を構成する部分のうちの少ない部分の画像特徴を評価して統合評価値を算出する。例えば、物体位置判定手段５１は、候補位置の推定密度が低密度であれば全身の画像特徴を評価して統合評価値を算出し、中密度であれば上半身の画像特徴を評価して統合評価値を算出し、高密度であれば頭部近傍の画像特徴を評価して統合評価値を算出する。

【0049】

以下、個々の物体の検出と単体特徴について説明する。

【0050】

単体特徴記憶手段４１は、単独の人（物体）の形状を模した物体モデルの情報を予め記憶した物体モデル記憶手段４１０ａ、および評価値の算出において用いる重みの情報を予め記憶した重み記憶手段４１２ａとして機能し、物体モデルの情報および重みの情報を単体特徴として記憶している。

【0051】

図４〜図６は単体特徴記憶手段４１が記憶している単体特徴を模式的に表した図である。そのうちの図４はおよび図５は物体モデル記憶手段４１０ａが記憶している物体モデルの情報の一例であり、図６は重み記憶手段４１２ａが記憶している重み（重み係数の比率）の一例である。

【0052】

物体モデル記憶手段４１０ａが記憶している物体モデルは、具体的には立位の人の頭部、胴部、脚部に対応する３つの回転楕円体から構成される立体モデル７００である。なお頭部重心を人の代表位置とする。さらに物体モデル記憶手段４１０ａは、立体モデル７００と併せて、密度ごとの評価範囲７０２を記憶し、また立体モデル７００を撮影画像の座標系に投影するために撮影部２のカメラパラメータ７０１を記憶している。カメラパラメータ７０１は、実際の監視空間における撮影部２の設置位置及び撮像方向といった外部パラメータ、撮影部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む情報である。

【0053】

評価範囲７０２は、複数の部分に分けて密度ごとに設定され、密度が高いほど単独の物体を構成する部分のうちの少ない部分となっている。
具体的には物体モデル記憶手段４１０ａは、低密度クラスを表す値と対応付けて人の６つの部分「上１／３、左１／２」、「上１／３、右１／２」、「中１／３、左１／２」、「中１／３、右１／２」、「下１／３、左１／２」および「下１／３、右１／２」を表す評価範囲を記憶している。これら６つの部分を合わせると人の「全体」となる。
また物体モデル記憶手段４１０ａは、中密度クラスを表す値と対応付けて人の４つの部分「上１／３、左１／２」、「上１／３、右１／２」、「中１／３、左１／２」および「中１／３、右１／２」を表す評価範囲を記憶している。これら４つの部分を合わせると人の「上部２／３」となる。
また物体モデル記憶手段４１０ａは、高密度クラスを表す値と対応付けて人の４つの部分「上１／３、左１／２」および「上１／３、右１／２」を表す評価範囲を記憶している。これら２つの部分を合わせると人の「上部１／３」となる。

【0054】

以下、評価範囲「上１／３、左１／２」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される物体モデル７１０を左上部モデル、評価範囲「上１／３、右１／２」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される部分モデル７１１を右上部モデル、評価範囲「中１／３、左１／２」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される部分モデル７１２を左中部モデル、評価範囲「中１／３、右１／２」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される部分モデル７１３を右中部モデル、評価範囲「下１／３、左１／２」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される部分モデル７１４を左下部モデル、評価範囲「下１／３、右１／２」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される部分モデル７１５を右下部モデルと称する。また評価範囲「全体」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される物体モデル７２０を全身モデル、評価範囲「上部２／３」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される物体モデル７２１を上半身モデル、評価範囲「上部１／３」と立体モデル７００とカメラパラメータ７０１との組み合わせによって表される物体モデル７２２を頭部近傍モデルと称する。

【0055】

このように、物体モデル記憶手段４１０ａは、低密度クラスと対応付けて左上部モデル７１０、右上部モデル７１１、左中部モデル７１２、右中部モデル７１３、左下部モデル７１４および右下部モデル７１５からなる全身モデル７２０を、中密度クラスと対応付けて左上部モデル７１０、右上部モデル７１１、左中部モデル７１２および右中部モデル７１３からなる上半身モデル７２１を、高密度クラスと対応付けて左上部モデル７１０および右上部モデル７１１からなる頭部近傍モデル７２２を物体モデルの情報として記憶している。
なお、部分モデルとして描画されるのは、物体の形状を表す輪郭線（図５の実線部）である。

【0056】

重みは、物体の各部分と対応する部分領域の密度に応じて当該部分を重視する度合いであり、密度間の相対的な比率で表される。密度が低い部分ほど重視され密度が高い部分ほど軽視されるため、密度が低いほど高く密度が高いほど低い重みが設定されている。例えば、低密度、中密度および高密度の重みは比率１０：７：５とすることができる。なお部分領域の密度の決定に際しては背景クラスは低密度クラスとみなすことができる。

【0057】

このように重み記憶手段４１２ａは、密度が低いほど高く密度が高いほど低い、密度ごとの重みを記憶している。

【0058】

配置生成手段５１０ａは、それぞれが１以上の候補位置を含む互いに異なる複数通りの配置を生成し、生成した各配置をモデル画像生成手段５１２ａに出力する。

【0059】

そのために、配置生成手段５１０ａは、乱数に基づき撮影画像の画素のうち推定密度が低密度、中密度または高密度である画素の中から１個以上上限個数以下の個数（配置数）の画素をランダムに決定し、決定した各画素の位置を候補位置とすることで配置を生成する。配置生成手段５１０ａは、この生成を、配置数を順次増加させながら配置数ごとに予め定めた回数ずつ反復することによって、互いに異なる複数通りの配置を生成する。なお、配置数の上限個数は監視空間に存在し得る物体の数の上限とすることができ、例えば監視空間を模した仮想空間中に立位の人の立体モデルを重ならずに配置可能な数として算出できる。

【0060】

モデル画像生成手段５１２ａは、配置生成手段５１０ａから入力された複数通りの配置それぞれについて、各候補位置を基準とする複数の部分のそれぞれと対応する部分領域に、当該部分を模した部分モデルを描画してモデル画像を生成する。またその際に、モデル画像生成手段５１２ａは、各候補位置に、当該候補位置における密度が高いほど、単独の物体を構成する部分のうちの少ない部分を模した物体モデルを描画してモデル画像を生成し、生成した各モデル画像を評価値算出手段５１４ａに出力する。

【0061】

そのために、モデル画像生成手段５１２ａは、物体モデル記憶手段４１０ａからカメラパラメータを読み出し、配置ごとに、カメラパラメータを用いて、各候補位置を立体モデルの頭部重心の高さ（例えば１．５ｍ）の水平面に逆投影することで、当該候補位置に投影される立体モデルの、監視空間を模した仮想空間内における代表位置を算出する。

【0062】

また、モデル画像生成手段５１２ａは、物体モデル記憶手段４１０ａから頭部近傍モデルを読み出して各候補位置と対応する仮想空間内の代表位置に頭部近傍モデルを配置し、カメラパラメータを用いて頭部近傍モデルを撮影画像の座標系に投影する。そして、モデル画像生成手段５１２ａは、密度推定手段５０から入力された密度分布を参照して各候補位置に対応する頭部近傍モデルの投影領域内の推定密度を集計し、各候補位置における最多の推定密度（ただし背景クラスは除く）を当該候補位置の密度と決定する。

【0063】

また、モデル画像生成手段５１２ａは、候補位置ごとに当該候補位置の密度に応じた物体モデルを物体モデル記憶手段４１０ａから読み出す。具体的には、モデル画像生成手段５１２ａは、候補位置の密度が低密度であれば６つの部分モデルからなる全身モデルを読み出し、中密度であれば４つの部分モデルからなる上半身モデルを読み出し、高密度であれば２つの部分モデルからなる頭部近傍モデルを読み出す。そして、モデル画像生成手段５１２ａは、各配置について、各候補位置に対応して読み出した物体モデルを当該候補位置と対応する仮想空間内の代表位置に配置し、カメラパラメータを用いて各物体モデルを為す部分モデルそれぞれを撮影画像の座標系に投影し、物体の形状（輪郭線）を描画することによって、配置ごとのモデル画像を生成する。
なお、モデル画像生成手段５１２ａは、撮影部２からの距離が遠い代表位置に配置した物体モデルから順に投影し、投影領域を上書きすることによって、物体モデル間の隠蔽を表現したモデル画像を生成する。

【0064】

また、モデル画像生成手段５１２ａは、配置ごとに、モデル画像における物体モデルどうしの重なり度合いを表す隠蔽度を次式に従って算出する。
隠蔽度＝物体モデル間の重複領域の面積／物体モデルの投影領域の和領域の面積（１）

【0065】

また、モデル画像生成手段５１２ａは、各モデル画像と対応して、当該モデル画像における各部分領域について当該部分領域の推定密度に応じた重み係数を算出する。

【0066】

そのために、モデル画像生成手段５１２ａは、密度分布を参照して各部分領域内の推定密度を集計し、各部分領域における最多の推定密度を当該部分領域の密度と決定する。ただし背景クラスは低密度クラスとみなして集計する。
次にモデル画像生成手段５１２ａは、重み記憶手段４１２ａから各部分領域の密度に対応する重み（重み係数の比率）を読み出し、配置ごとに全部分領域の重みの和を求める。
続いてモデル画像生成手段５１２ａは、配置ごとに、各部分領域の重みを重みの和で除して、当該部分領域の重み係数を算出する。すなわち各配置における重み係数の和は１となるように正規化される。

【0067】

モデル画像生成手段５１２ａは、こうして求めた配置とモデル画像と隠蔽度と重み係数とを対応付けて評価値算出手段５１４ａに出力する。

【0068】

図７は、第一の実施形態に係る密度推定手段５０、配置生成手段５１０ａおよびモデル画像生成手段５１２ａによる処理例を模式的に示した図である。
画像７４０は、密度推定手段５０が推定した密度分布を画像化したものである。当該密度分布においては、白抜き部は推定密度が背景である領域、横線部は推定密度が低密度である領域、斜線部は推定密度が中密度である領域、格子部は推定密度が高密度である領域をそれぞれ示している。
画像７４１は、配置生成手段５１０ａが生成した配置に含まれる８個の候補位置を撮影画像の座標系に×印でプロットしたものである。
３次元モデル７４２は、モデル画像生成手段５１２ａが画像７４１に示した８個の候補位置と対応する仮想空間内の代表位置に立体モデルを配置した様子を図示したものである。
画像７４３は、モデル画像生成手段５１２ａが、画像７４０で示した密度分布に基づいて各候補位置の密度を特定し、当該密度に応じた評価範囲の立体モデルを各候補位置に投影して作成したモデル画像を示している。

【0069】

モデル画像７４３が表す配置においては、１個の部分領域（集団中の中段右の人の左中部）が完全に隠蔽されており、３３個の部分領域が描画されている。３３個の部分領域の内訳は、密度が低密度または背景であるものが２３個、密度が中密度であるものが６個、密度が高密度であるものが４個である。モデル画像７４３が表す配置の全部分領域についての重み係数比率の和は、１０×２３＋７×６＋５×４＝２９２となる。３３個の部分領域のうちの部分領域７４４の密度は低密度、部分領域７４５は中密度、部分領域７４６は高密度である。部分領域７４４の重み係数は１０／２９２、部分領域７４５の重み係数は７／２９２、部分領域７４６の重み係数は５／２９２となる。他の部分領域についても同様にして重み係数が算出される。

【0070】

図８の画像７５０は、モデル画像７４３の各部分領域に対応してモデル画像生成手段５１２ａが算出した重み係数を模式的に示した画像である。

【0071】

評価値算出手段５１４ａは、複数通りの配置それぞれについて、モデル画像生成手段５１２ａから入力されたモデル画像の撮影画像に対する類似の度合いを表す統合評価値を算出し、配置ごとの統合評価値を最適配置決定手段５１６ａに出力する。

【0072】

具体的には、評価値算出手段５１４ａは、各モデル画像と撮影画像の重み付け類似度を次式に従って算出する。
重み付け類似度 ＝ 重み付け形状適合度 − Ｗ_Ｈａ×隠蔽度 （２）
ただし、Ｗ_Ｈａは０より大きな重み係数であり、事前の実験に基づいて予め設定される。重み付け形状適合度から減じる隠蔽度は過剰な物体モデルの重なりを抑制するためのペナルティ値である。このように隠蔽度を含めた類似度に基づいて最適配置を決定することで、本来の物体数以上の物体モデルが当てはまることによる物体位置の誤検出を防止できる。

【0073】

評価値算出手段５１４ａは、重み付け形状適合度を、モデル画像と撮影画像との部分領域ごとの形状適合度を当該部分領域の重み係数で重み付けて総和して算出する。部分領域ごとの形状適合度が部分評価値である。形状適合度はエッジの類似度とすることができる。評価値算出手段５１４ａは、各モデル画像と撮影画像のそれぞれからエッジを抽出し、各モデル画像について、モデル画像から有効なエッジが抽出された画素と当該画素に対応する撮影画像の画素のエッジとの差の絶対値を算出して総和し、総和値を撮影画像から有効なエッジが抽出された画素数とモデル画像から有効なエッジが抽出された画素数の和で除して符号を反転した値を重み付け形状適合度として算出する。

【0074】

或いは、評価値算出手段５１４ａは、各モデル画像と撮影画像のそれぞれからエッジ画像を生成し、各モデル画像について、撮影画像から生成したエッジ画像と当該モデル画像から生成したエッジ画像とのチャンファーマッチング（Chamfer Matching）を行って得られる距離の符号を反転した値を、撮影画像から有効なエッジが抽出された画素数とモデル画像から有効なエッジが抽出された画素数の和で除して、当該モデル画像の重み付け形状適合度とすることもできる。

【0075】

最適配置決定手段５１６ａは、評価値算出手段５１４ａから入力された配置ごとの統合評価値を参照し、統合評価値が最大の配置における候補位置を物体の位置と決定し、決定した物体位置の情報を物体位置出力手段３１に出力する。すなわち、最適配置決定手段５１６ａは、最大の類似度が算出された配置に含まれる各候補位置を撮影画像に撮影されている各人の位置と決定する。
例えば、最適配置決定手段５１６ａは、監視員が視認し易いよう、各物体位置に物体モデルを当該物体位置の密度に応じて色分けして描画して物体位置の情報を生成し、出力する。または、物体位置の情報は物体位置の座標値そのものとすることもでき、物体位置の情報は、描画した各物体モデルの、他の物体モデルと重複していない領域とすることもできる。或いは、物体位置の情報は、上述したデータのうちの２以上を含んだデータとしてもよい。

【0076】

物体位置出力手段３１は物体位置判定手段５１から入力された物体位置の情報を表示部６に順次出力し、表示部６は物体位置出力手段３１から入力された物体位置の情報を表示する。例えば、物体位置の情報は、インターネット経由で送受信され、表示部６に表示される。監視員は、表示された情報を視認することによって監視空間に混雑が発生している地点を把握し、当該地点に警備員を派遣し或いは増員するなどの対処を行う。

【0077】

＜第一の実施形態に係る画像監視装置１の動作＞
図９〜図１１のフローチャートを参照して画像監視装置１の動作を説明する。

【0078】

画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して撮影画像を画像処理部５が設置されている画像解析センター宛に順次送信する。そして、画像処理部５は撮影画像を受信するたびに図９のフローチャートに従った動作を繰り返す。

【0079】

まず、通信部３は画像取得手段３０として動作し、撮影部２からの撮影画像の受信待ち状態となる。撮影画像を取得した画像取得手段３０は当該撮影画像を画像処理部５に出力する（ステップＳ１）。

【0080】

撮影画像を入力された画像処理部５は密度推定手段５０として動作し、撮影画像から密度分布を推定する（ステップＳ２）。密度推定手段５０は、撮影画像の各画素の位置にて推定用特徴量を抽出するとともに記憶部４の密度推定器記憶手段４０から密度推定器を読み出し、各推定用特徴量を密度推定器に入力して撮影画像の各画素における推定密度を取得することにより密度分布を推定する。

【0081】

密度分布を推定した画像処理部５は物体位置判定手段５１としても動作し、物体位置判定手段５１には画像取得手段３０から撮影画像が入力されるとともに密度推定手段５０から密度分布が入力される。これらを入力された物体位置判定手段５１は、密度分布に背景クラス以外の推定密度が含まれているか否かを確認する（ステップＳ３）。

【0082】

背景クラス以外の推定密度が含まれている場合は（ステップＳ３にてＹＥＳ）、物体位置判定手段５１は、少なくとも１人以上の人が撮影されているとして、撮影画像から個々の物体の位置を判定する処理を行う（ステップＳ４）。他方、背景クラスのみの場合は（ステップＳ３にてＮＯ）、人が撮影されていないとして、ステップＳ４，Ｓ５の処理を省略する。

【0083】

図１０および図１１のフローチャートを参照して、ステップＳ４の物体位置判定処理を説明する。単体特徴記憶手段４１が物体モデル記憶手段４１０ａおよび重み記憶手段４１２ａとして動作し、物体位置判定手段５１が配置生成手段５１０ａ、モデル画像生成手段５１２ａ、評価値算出手段５１４ａおよび最適配置決定手段５１６ａとして動作して、物体位置判定処理が実行される。

【0084】

配置生成手段５１０ａは、１から上限個数以下の範囲で配置数を順次設定して（ステップＳ１００）、ステップＳ１００〜Ｓ１１７のループ処理を制御する。

【0085】

また、配置生成手段５１０ａは、反復回数をカウントするための変数Ｔを用意してＴを０に初期化し（ステップＳ１０１）、ステップＳ１０２〜Ｓ１１６の反復処理を開始する。

【0086】

次に、配置生成手段５１０ａは、密度推定手段５０から入力された密度分布において推定密度が低密度、中密度または高密度の領域内に、ステップＳ１００にて設定した配置数と同数の候補位置をランダムに設定することによって、当該配置数におけるＴ通り目の配置を生成し、モデル画像生成手段５１２ａに出力する（ステップＳ１０２）。

【0087】

モデル画像生成手段５１２ａは、物体モデル記憶手段４１０ａからカメラパラメータを読み出し、カメラパラメータを用いて、ステップＳ１０２で生成した配置に含まれる各候補位置を仮想空間の三次元座標に変換する（ステップＳ１０３）。

【0088】

次に、モデル画像生成手段５１２ａは、撮影画像と同サイズのモデル画像を用意して初期化するとともに、各候補位置の三次元座標の撮影部２までの距離を算出し、距離が遠い候補位置から順に処理対象に設定して（ステップＳ１０４）、ステップＳ１０４〜Ｓ１１０のループ処理を実行する。

【0089】

続いて、モデル画像生成手段５１２ａは密度分布を参照して処理対象の候補位置の密度を特定する（ステップＳ１０５）。モデル画像生成手段５１２ａは、物体モデル記憶手段４１０ａから頭部近傍モデルを読み出して当該候補位置の三次元座標に配置し、カメラパラメータを用いて、頭部近傍モデルを撮影画像の座標系に投影し、投影領域内で最多の推定密度（ただし背景クラス以外）を候補位置の密度として特定する。

【0090】

続いて、モデル画像生成手段５１２ａは、ステップＳ１０５で特定した密度に対応する物体モデルを物体モデル記憶手段４１０ａから読み出して（ステップＳ１０６）、処理対象の候補位置の三次元座標に配置し、カメラパラメータを用いて、配置した物体モデルをモデル画像に上書き投影する（ステップＳ１０７）。また、このとき、モデル画像生成手段５１２ａは物体モデルの投影面積を記録しておく。
物体モデルは複数の部分モデルから構成されており、これら複数の部分モデルにおける物体の輪郭がモデル画像中の候補位置を基準とする各位置に上書き投影される。各部分の部分モデルを投影した投影領域が当該部分の部分領域である。モデル画像生成手段５１２ａは、候補位置と部分の組み合わせに識別番号を付与し、当該部分と対応する部分領域の画素値に、投影した部分の識別番号を部分モデルにおける物体の輪郭の強度値とともに設定する。

【0091】

続いて、モデル画像生成手段５１２ａは密度分布を参照して各部分領域の密度を特定する（ステップＳ１０８）。モデル画像生成手段５１２ａは、各部分領域内で最多の推定密度（ただし背景クラスは低密度クラスとみなす）を当該部分領域の密度として特定する。

【0092】

続いて、モデル画像生成手段５１２ａは重み記憶手段４１２ａを参照して各部分領域の密度に対応する重み（重み係数の比率）を設定する（ステップＳ１０９）。すなわちモデル画像生成手段５１２ａは、各部分領域の重みを当該部分領域に対応する部分の識別番号とともに記録する。なお、この際に、ステップＳ１０７における上書き投影によりモデル画像上で完全に隠蔽された部分領域の重みは記録から削除する。

【0093】

そして、モデル画像生成手段５１２ａは、現配置数におけるＴ通り目の配置に含まれる全ての候補位置を処理し終えたか否かを確認し（ステップＳ１１０）、未処理の候補位置がある場合は（ステップＳ１１０にてＮＯ）、処理をステップＳ１０４に戻して次の候補位置を処理する。

【0094】

他方、全ての候補位置を処理し終えた場合は（ステップＳ１１０にてＹＥＳ）、現配置数におけるＴ通り目の配置についてのモデル画像の完成となる。モデル画像を完成させたモデル画像生成手段５１２ａは当該モデル画像における物体モデルの隠蔽度を算出する（ステップＳ１１１）。すなわち、モデル画像生成手段５１２ａは、「モデルの投影領域の和領域の面積」であるモデル画像上の投影領域の面積を求めるとともに、ステップＳ１０７で記録していた物体モデルごとの投影面積を総和し、総和値からモデルの投影領域の和領域の面積を差し引いて「モデル間の重複領域の面積」を求め、これらを式（１）に代入して隠蔽度を算出する。

【0095】

また、モデル画像生成手段５１２ａはステップＳ１０９で記録していた部分領域の重みを総和し、各部分領域の重みを総和値で除することによって各部分領域の重み係数を算出する（ステップＳ１１２）。

【0096】

重み係数を算出したモデル画像生成手段５１２ａはモデル画像と隠蔽度と部分領域ごとの重み係数を評価値算出手段５１４ａに出力する。

【0097】

モデル画像と隠蔽度と重み係数を入力された評価値算出手段５１４ａは、当該モデル画像と撮影画像の部分領域ごとの形状適合度を当該部分領域の部分評価値として算出し（ステップＳ１１３）、さらに、部分領域ごとの形状適合度と当該部分領域の重み係数の積を総和した重み付け形状適合度と隠蔽度から、モデル画像と撮影画像の重み付け類似度を現配置数におけるＴ通り目の配置についての統合評価値として算出する（ステップＳ１１４）。すなわち、評価値算出手段５１４ａは、モデル画像生成手段５１２ａから入力されたモデル画像と撮影画像のそれぞれからエッジ画像を生成し、これらのエッジ画像の部分領域ごとの類似度と部分領域ごとの重み係数を積和して重み付け形状適合度を算出する。そして、重み付け形状適合度と隠蔽度を式（２）に代入して重み付け類似度を算出する。

【0098】

現配置数におけるＴ通り目の配置についての重み付け類似度が算出されると、評価値算出手段５１４ａは当該配置と重み付け類似度を対応付けて記録し、配置生成手段５１０ａは反復回数Ｔを１だけ増加させて（ステップＳ１１５）、規定回数Ｔ_ＭＡＸと比較し（ステップＳ１１６）、ＴがＴ_ＭＡＸ未満の場合は（ステップＳ１１６にてＮＯ）、処理をステップＳ１０２に戻して現配置数における反復処理を継続させる。

【0099】

反復回数Ｔが規定回数Ｔ_ＭＡＸに達した場合（ステップＳ１１６にてＹＥＳ）、配置生成手段５１０ａは、現配置数における反復処理を終了させ、全ての配置数を設定し終えたか否かを確認する（ステップＳ１１７）。未設定の配置数がある場合は（ステップＳ１１７にてＮＯ）、処理をステップＳ１００に戻して次の配置数についての処理を行う。

【0100】

他方、全ての配置数を設定し終えた場合は（ステップＳ１１７にてＹＥＳ）、評価値算出手段５１４ａはステップＳ１１５で記録した配置と重み付け類似度を最適配置決定手段５１６ａに入力し、最適配置決定手段５１６ａは、それらの中で重み付け類似度が最大の配置を特定し（ステップＳ１１８）、当該配置を撮影画像に撮影されている個々の人の位置を表している情報と判定する。

【0101】

再び図９を参照して説明を続ける。物体位置判定手段５１はステップＳ４にて判定した個々の人の位置（物体位置）の情報を通信部３に出力する（ステップＳ５）。物体位置の情報を入力された通信部３は物体位置出力手段３１として動作し、物体位置の情報を表示部６に送信する。

【0102】

以上の処理を終えると、処理はステップＳ１に戻され、次の撮影画像に対する処理が行われる。

【0103】

［第二の実施形態］
以下、第一の実施形態とは異なる本発明の好適な実施形態として、単独の人の画像特徴を学習した識別器を用いて個々の人を検出し、特に、単独の人を構成する複数の部分のそれぞれの画像特徴を学習した部分識別器を用いて個々の人を検出する物体検出装置の例を含んだ画像監視装置１の例を説明する。

【0104】

第二の実施形態に係る画像監視装置は、単体特徴記憶手段４１が記憶している単体特徴の細部および物体位置判定手段５１が行う処理の細部が第一の実施形態に係る画像監視装置と異なり、概略の構成、概略の機能および動作の一部は共通する。そのため、概略の構成、概略の機能および動作の一部については、それぞれ第一の実施形態で参照した図１のブロック図、図２の機能ブロック図および図９のフローチャートを再び参照して説明する。

【0105】

＜第二の実施形態に係る画像監視装置１の構成＞
図１のブロック図を参照して第二の実施形態に係る画像監視装置１の概略の構成を説明する。
画像監視装置１は、第一の実施形態と同様、監視空間を所定時間おきに撮影して撮影画像を出力する撮影部２と、物体位置の情報を入力されて当該情報を表示する表示部６と、撮影画像を取得して当該撮影画像から個々の人（物体）を検出し、検出した物体の位置（物体位置）の情報を生成して出力する画像処理部５とが、撮影画像および物体位置の情報等の入出力を介在する通信部３に接続されるとともに、プログラムおよび各種データ等を記憶してこれらを入出力する記憶部４が画像処理部５に接続されてなる。

【0106】

＜第二の実施形態に係る画像監視装置１の機能＞
図２および図１２の機能ブロック図を参照し、第二の実施形態に係る画像監視装置１の機能について説明する。

【0107】

通信部３は、第一の実施形態と同様、撮影部２から撮影画像を取得して密度推定手段５０と物体位置判定手段５１に出力する画像取得手段３０、および物体位置判定手段５１から入力された物体位置の情報を表示部６に出力する物体位置出力手段３１等としての機能を含む。

【0108】

また、記憶部４は、第一の実施形態と同様、所定の密度ごとに当該密度にて物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を記憶している密度推定器記憶手段４０、および予めの学習により生成された単独の物体の画像特徴（単体特徴）を記憶している単体特徴記憶手段４１等としての機能を含み、単体特徴記憶手段４１が記憶している単体特徴は、物体を構成する部分ごとの画像特徴の情報および密度に対する重みの情報となっている。

【0109】

また、画像処理部５は、第一の実施形態と同様、撮影画像を密度推定器で走査することによって撮影画像に撮影された物体の密度の分布を推定し、推定した密度分布を物体位置判定手段５１に出力する密度推定手段５０、および撮影画像内に個々の物体が存在し得る候補位置を設定して当該候補位置の撮影画像に単独の物体の画像特徴が現れている度合いを表す評価値（統合評価値）を算出し、統合評価値が判定基準を満たす候補位置を物体の位置と判定して物体位置の情報を物体位置出力手段３１に出力する物体位置判定手段５１等としての機能を含み、物体位置判定手段５１は、候補位置を基準として撮影画像内に物体を構成する複数の部分のそれぞれと対応する部分領域を設定して、部分領域ごとに当該部分領域と対応する部分の画像特徴が現れている度合いを表す部分評価値を算出し、候補位置を基準に設定した各部分領域の部分評価値を当該部分領域の密度が低いほど重視して統合することによって統合評価値を算出する。

【0110】

ただし、上述したように、第二の実施形態に係る物体位置判定手段５１が行う処理の細部および単体特徴記憶手段４１が記憶している単体特徴の細部が第一の実施形態に係る画像監視装置１と異なる。これらの点について、図１２の機能ブロック図を参照して説明する。

【0111】

第二の実施形態に係る単体特徴記憶手段４１は、単独の人（物体）を構成する複数の部分のそれぞれの画像特徴を学習した部分ごとの識別器（部分識別器）を予め記憶した部分識別器記憶手段４１１ｂ、および評価値の算出において用いる重みの情報を予め記憶した重み記憶手段４１２ｂとして機能し、部分識別器の情報および重みの情報を単体特徴として記憶している。

【0112】

図１３は、第二の実施形態に係る単体特徴記憶手段４１が記憶している単体特徴、すなわち部分識別器記憶手段４１１ｂが記憶している部分識別器の情報および重み記憶手段４１２ｂが記憶している重みの情報を模式的に表した図である。

【0113】

物体の各部分についての部分識別器のそれぞれは、画像の特徴量を入力されると当該画像が当該部分の画像（部分画像）であることの尤もらしさを表す部分スコア（部分評価値）を算出して出力するスコア算出関数の係数等で表される。部分識別器記憶手段４１１ｂは、各部分識別器を表す係数等、各部分の基準位置からの相対位置および密度と使用する部分識別器の対応関係等のパラメータを記憶している。基準位置は例えば頭部重心である。

【0114】

部分識別器は、例えば、多数の人についての部分画像と多数の無人画像からなる学習用画像の特徴量に線形ＳＶＭ法を適用して学習した識別器とすることができる。学習アルゴリズムとして線形ＳＶＭを用いた場合、スコア算出関数の係数は重みベクトルである。この重みベクトルは、特徴量の各要素に対する重みであり、入力された画像の特徴量と重みベクトルとの内積の値が部分スコアを表す。学習において、当該重みベクトルと特徴量との内積が０以上である場合は人の部分画像、０未満である場合は人の部分画像ではないと識別されるように調整される。よって、統合スコアに適用して、入力された画像が単独の人の画像であるか否かを識別する閾値は原理上は０であり、通常、閾値は０に設定することができる。ただし、単独の人の画像を単独の人の画像ではないと識別する誤りを減じるために、閾値を０よりも小さな値に設定してもよい。
学習用画像の特徴量は例えばＨＯＧ（Histograms of Oriented Gradients）特徴量とすることができる。

【0115】

部分識別器記憶手段４１１ｂは、具体的には、低密度クラスを表す値と対応付けて人の６つの部分「上１／３、左１／２」、「上１／３、右１／２」、「中１／３、左１／２」、「中１／３、右１／２」、「下１／３、左１／２」および「下１／３、右１／２」の画像特徴を学習した部分識別器８００〜８０５を記憶している。これら６つの部分を合わせると人の「全体」となる。
以下、「上１／３、左１／２」を左上部、「上１／３、右１／２」を右上部、「中１／３、左１／２」を左中部、「中１／３、右１／２」を右中部、「下１／３、左１／２」を左下部、「下１／３、右１／２」を右下部と称する。また、左上部用の部分識別器８００を左上部識別器、右上部用の部分識別器８０１を右上部識別器、左中部用の部分識別器８０２を左中部識別器、右中部用の部分識別器８０３を右中部識別器、左下部用の部分識別器８０４を左下部識別器、右下部用の部分識別器８０５を右下部識別器と称する。また、合わせると評価範囲が「全体」となる６つの部分識別器８００〜８０５のセット８１０を全体識別器と称する。
また部分識別器記憶手段４１１ｂは、中密度クラスを表す値と対応付けて左上部識別器８００、右上部識別器８０１、左中部識別器８０２および右中部識別器８０３を記憶している。これら４つの部分識別器の評価範囲を合わせると人の「上部２／３」となる。合わせると評価範囲が「上部２／３」となる４つの部分識別器８００〜８０３のセット８１１を上半身識別器と称する。
また部分識別器記憶手段４１１ｂは、高密度クラスを表す値と対応付けて左上部識別器８００および右上部識別器８０１を記憶している。これら２つの部分識別器の評価範囲を合わせると人の「上部１／３」となる。合わせると評価範囲が「上部１／３」となる２つの部分識別器８００，８０１のセット８１２を頭部近傍識別器と称する。

【0116】

このように、部分識別器記憶手段４１１ｂは、低密度クラスと対応付けて左上部識別器８００、右上部識別器８０１、左中部識別器８０２、右中部識別器８０３、左下部識別器８０４および右下部識別器８０５からなる全体識別器８１０を、中密度クラスと対応付けて左上部識別器８００、右上部識別器８０１、左中部識別器８０２および右中部識別器８０３からなる上半身識別器８１１を、高密度クラスと対応付けて左上部識別器８００および右上部識別器８０１からなる頭部近傍識別器８１２を、統合評価値に適用する閾値等とともに記憶している。
なお、ここでは密度間で同一部分の部分識別器を共用する例を示したが、密度ごとに部分の区分けを異ならせてもよい。

【0117】

重み８２０は、物体の各部分と対応する部分領域の密度に応じて当該部分を重視する度合いであり、密度間の相対的な比率で表される。密度が低い部分ほど重視され密度が高い部分ほど軽視されるため、密度が低いほど高く密度が高いほど低い重み８２０が設定されている。例えば、低密度、中密度および高密度の重み８２０は比率１０：７：５とすることができる。なお部分領域の密度の決定に際しては背景クラスは低密度クラスとみなすことができる。

【0118】

このように重み記憶手段４１２ｂは、密度が低いほど高く密度が高いほど低い、密度ごとの重みを記憶している。

【0119】

候補位置設定手段５１１ｂは、撮影画像内に所定間隔にて複数の候補位置を設定し、設定した候補位置を評価値算出手段５１４ｂに出力する。具体的には、所定間隔は１画素であり、候補位置設定手段５１１ｂは撮影画像の各画素の位置を順次候補位置に設定する。なお候補位置は人の頭部重心を表すものとする。

【0120】

評価値算出手段５１４ｂは、候補位置設定手段５１１ｂから入力された各候補位置を基準として撮影画像内に単独の物体を構成する複数の部分のそれぞれと対応する部分領域を設定して、複数の部分のそれぞれと対応する部分領域の画像特徴を当該部分の画像特徴を学習した部分識別器に入力して当該部分領域の部分評価値を算出し、候補位置ごとに当該候補位置を基準に設定した部分領域の部分評価値を当該部分領域の密度が低いほど重視して統合することにより統合評価値を算出し、算出した統合評価値とそれに付随する情報を位置決定手段５１７ｂに出力する。
またその際に、評価値算出手段５１４ｂは、各候補位置に、当該候補位置における密度が高いほど、単独の物体を構成する部分のうちの少ない部分に対応する部分領域を設定する。

【0121】

そのために、評価値算出手段５１４ｂは、各候補位置に上部１／３の窓を設定し、密度推定手段５０から入力された密度分布を参照して当該窓内の推定密度を集計する。ただし背景クラスは除いて集計する。そして、評価値算出手段５１４ｂは各候補位置における最多の推定密度を当該候補位置の密度と決定する。

【0122】

また、評価値算出手段５１４ｂは、部分識別器記憶手段４１１ｂから各候補位置の密度に応じた部分識別器の情報を読み出し、各候補位置に当該候補位置の密度に対応づけられた部分識別器と対応する窓（部分領域）を設定し、各部分領域内の撮影画像から識別用の特徴量（識別用特徴量）を抽出する。これらの部分領域は、各部分の部分識別器の学習に用いた部分画像の形状（図１３に示した実線の矩形）を有し、予め定めた複数の倍率で拡大・縮小した大きさの窓である。低密度の候補位置に対しては合わせると人の「全体」となる６つの部分領域、中密度の候補位置に対しては合わせると人の「上部２／３」となる４つの部分領域、高密度の候補位置に対しては合わせると人の「上部１／３」となる２つの部分領域が設定される。識別用特徴量は、学習用画像の特徴量と同種であり、ＨＯＧ特徴量である。

【0123】

また、評価値算出手段５１４ｂは、各部分の識別用特徴量を当該部分の部分識別器に入力してその出力値である部分スコアを部分評価値として取得する。

【0124】

また、評価値算出手段５１４ｂは、各部分領域について当該部分領域の推定密度に応じた重み係数を算出する。

【0125】

そのために、評価値算出手段５１４ｂは、密度分布を参照して各部分領域内の推定密度を集計し、各部分領域における最多の推定密度を当該部分領域の密度と決定する。ただし背景クラスは低密度クラスとみなして集計する。
次に評価値算出手段５１４ｂは、重み記憶手段４１２ｂから各部分領域の密度に対応する重み（重み係数の比率）を読み出し、候補位置ごとに当該候補位置を基準に設定した部分領域の重みの和を求める。
続いて評価値算出手段５１４ｂは、候補位置ごとに、各部分領域の重みを全部分領域の重みの和で除して、当該部分領域の重み係数を算出する。すなわち各候補位置における重み係数の和は１となるように正規化される。
このようにして評価値算出手段５１４ｂは、部分領域ごとに当該部分領域における密度が低いほど高く当該部分領域における密度が高いほど低い重み係数を設定する。

【0126】

また、評価値算出手段５１４ｂは、候補位置ごとに、候補位置を基準に設定した各部分領域の部分評価値を当該部分領域の重み係数にて重み付けて総和して統合評価値を算出する。

【0127】

つまり、左上部識別器による部分スコアをＳ_ＵＬ、右上部識別器による部分スコアをＳ_ＵＲ、左中部識別器による部分スコアをＳ_ＭＬ、右中部識別器による部分スコアをＳ_ＭＲ、左下部識別器による部分スコアをＳ_ＬＬ、右下部識別器による部分スコアをＳ_ＬＲとし、左上部の重み係数をＷ_ＵＬ、右上部の重み係数をＷ_ＵＲ、左中部の重み係数をＷ_ＭＬ、右中部の重み係数をＷ_ＭＲ、左下部の重み係数をＷ_ＬＬ、右下部の重み係数をＷ_ＬＲとすると、評価値算出手段５１４ｂは、次のようにして統合スコアを算出する。

【0128】

評価値算出手段５１４ｂは、注目している候補位置の密度が低密度であれば次式によって当該候補位置の統合スコアを算出する。
統合スコア＝Ｗ_ＵＬＳ_ＵＬ＋Ｗ_ＵＲＳ_ＵＲ＋Ｗ_ＭＬＳ_ＭＬ＋Ｗ_ＭＲＳ_ＭＲ
＋Ｗ_ＬＬＳ_ＬＬ＋Ｗ_ＬＲＳ_ＬＲ （３）
また、評価値算出手段５１４ｂは、注目している候補位置の密度が中密度であれば次式によって当該候補位置の統合スコアを算出する。
統合スコア＝Ｗ_ＵＬＳ_ＵＬ＋Ｗ_ＵＲＳ_ＵＲ＋Ｗ_ＭＬＳ_ＭＬ＋Ｗ_ＭＲＳ_ＭＲ （４）
また、評価値算出手段５１４ｂは、注目している候補位置の密度が高密度であれば次式によって当該候補位置の統合スコアを算出する。
統合スコア＝Ｗ_ＵＬＳ_ＵＬ＋Ｗ_ＵＲＳ_ＵＲ （５）

【0129】

図１４は、図７で例示した密度分布が得られている場合に、図７で例示した各候補位置について評価値算出手段５１４ｂが統合スコアを算出する様子を模式的に示した図である。画像８３０は、これらの候補位置のうち密度が低密度である３つの候補位置について、各部分と重み係数の関係を示している。画像８３１は、密度が中密度である３つの候補位置について、各部分と重み係数の関係を示している。画像８３２は、密度が高密度である２つの候補位置について、各部分と重み係数の関係を示している。

【0130】

例えば、候補位置８４０は、その密度が低密度であるため候補位置８４０を基準に６つの部分領域が設定され、６つの部分領域の密度がいずれも低密度であるため各部分領域の重み係数比率は１０、その和は６０となる。よって、重み係数はＷ_ＵＬ＝Ｗ_ＵＲ＝Ｗ_ＭＬ＝Ｗ_ＭＲ＝Ｗ_ＬＬ＝Ｗ_ＬＲ＝１０／６０となり、これらの重み係数と各部分の部分スコアを式（３）に代入して統合スコアが算出される。
また例えば、候補位置８４１は、その密度が中密度であるため候補位置８４１を基準に４つの部分領域が設定され、４つの部分領域のうちの上２つは密度が中密度であるため重み係数比率は７、下２つは密度が低密度であるため重み係数比率は１０、その和は３４となる。よって、重み係数はＷ_ＵＬ＝Ｗ_ＵＲ＝７／３４、Ｗ_ＭＬ＝Ｗ_ＭＲ＝１０／３４となり、これらの重み係数と各部分の部分スコアを式（４）に代入して統合スコアが算出される。
また例えば、候補位置８４２は、その密度が高密度であるため候補位置８４２を基準に２つの部分領域が設定され、２つの部分領域の密度がいずれも高密度であるため各部分領域の重み係数比率は５、その和は１０となる。よって、重み係数はＷ_ＵＬ＝Ｗ_ＵＲ＝５／１０となり、これらの重み係数と各部分の部分スコアを式（５）に代入して統合スコアが算出される。
他の候補位置についても同様にして統合スコアが算出される。

【0131】

そして、評価値算出手段５１４ｂは、候補位置ごとに、候補位置、候補位置の密度、統合スコアおよび使用した部分領域の和領域（統合窓）を対応付けた情報を位置決定手段５１７ｂに出力する。

【0132】

位置決定手段５１７ｂは、評価値算出手段５１４ｂから入力された情報を参照し、予め定めた判定基準を満たす統合評価値が算出された候補位置を物体の位置と決定する。

【0133】

具体的には、位置決定手段５１７ｂは、統合スコアが予め定めた閾値（例えば０）以上である候補位置を抽出し、抽出した候補位置のうち対応する密度が同一であり且つ互いに近接する複数の候補位置（統合窓同士の重複が予め定めた割合より大きな候補位置）を一つにまとめ、まとめた候補位置を人が撮影されている位置と決定する。

【0134】

この候補位置をまとめる処理は、実際に人が撮影されている位置に加えてその近傍においても同一人物に対して高い統合スコアが算出されることに対処するために行う。具体的には、例えば、位置決定手段５１７ｂは、候補位置の密度ごとに、閾値以上の統合スコアが算出された候補位置を統合スコアが高い順に順次注目位置に設定するとともに注目位置より統合スコアが低い候補位置を比較位置に設定する。そして、位置決定手段５１７ｂは、比較位置のうち当該比較位置の統合窓と注目位置の統合窓との重なりが予め定めた割合より大きい比較位置の情報を削除することで複数の候補位置を一つにまとめる。

【0135】

そして、位置決定手段５１７ｂは、人が撮影されている位置と決定した候補位置を物体位置の情報として物体位置出力手段３１に出力する。

【0136】

＜第二の実施形態に係る画像監視装置１の動作＞
以下、図９および図１５を参照し、第二の実施形態に係る画像監視装置１の動作を説明する。

【0137】

画像監視装置１が動作を開始すると、第一の実施形態と同様に、撮影部２は順次撮影画像を送信し、画像処理部５は撮影画像を受信するたびに図９のフローチャートに従った動作を繰り返す。

【0138】

通信部３は画像取得手段３０として動作し、撮影画像を受信して画像処理部５に出力する（ステップＳ１）。撮影画像を入力された画像処理部５は密度推定手段５０として動作して記憶部４の密度推定器記憶手段４０から密度推定器を読み出し、撮影画像を密度推定器にて走査することによって密度分布を推定する（ステップＳ２）。

【0139】

次に、画像処理部５は物体位置判定手段５１として動作し、物体位置判定手段５１は、画像取得手段３０から撮影画像および密度推定手段５０から密度分布を入力されて、密度分布に背景クラス以外の推定密度が含まれているか否かを確認する（ステップＳ３）。

【0140】

物体位置判定手段５１は、背景クラス以外の推定密度が含まれている場合は（ステップＳ３にてＹＥＳ）、撮影画像から個々の物体の位置を判定する処理を行い（ステップＳ４）、背景クラスのみの場合は（ステップＳ３にてＮＯ）、ステップＳ４，Ｓ５の処理を省略する。

【0141】

図１５のフローチャートを参照して、ステップＳ４の物体位置判定処理を説明する。単体特徴記憶手段４１が部分識別器記憶手段４１１ｂおよび重み記憶手段４１２ｂとして動作し、物体位置判定手段５１が候補位置設定手段５１１ｂ、評価値算出手段５１４ｂおよび位置決定手段５１７ｂとして動作して、物体位置判定処理が実行される。

【0142】

候補位置設定手段５１１ｂは、撮影画像中の各画素の位置を順次候補位置に設定して評価値算出手段５１４ｂに入力し（ステップＳ２００）、ステップＳ２００〜Ｓ２０６のループ処理を制御する。

【0143】

候補位置を入力された評価値算出手段５１４ｂは密度分布を参照して候補位置の密度を特定する（ステップＳ２０１）。すなわち評価値算出手段５１４ｂは候補位置に単独の人の上部１／３の形状に定められた窓を設定して当該窓内で最多の推定密度（ただし背景クラスは除く）を候補位置の密度として特定する。

【0144】

候補位置の密度を特定した評価値算出手段５１４ｂは、部分識別器記憶手段４１１ｂから当該密度に応じた複数の部分識別器を読み出し、各部分識別器に対応する部分領域を設定して部分領域内の撮影画像から識別用特徴量をそれぞれ抽出し（ステップＳ２０２）、抽出した識別用特徴量を該当する部分識別器に入力して、それぞれの部分スコア（部分評価値）を算出する（ステップＳ２０３）。

【0145】

部分評価値を算出した評価値算出手段５１４ｂは密度分布を参照して各部分領域の密度を特定する（ステップ２０４）。すなわち、評価値算出手段５１４ｂは各部分領域内で最多の推定密度（ただし背景クラスは低密度クラスとみなす）を当該部分領域の密度として特定する。

【0146】

各部分領域の密度を特定した評価値算出手段５１４ｂは、重み記憶手段４１２ｂから各部分領域の密度に応じた重み係数の比率を読み出し、各部分領域の重み係数の比率を全部分領域の重み係数の比率の和で除して当該部分領域の重み係数を算出し、算出した重み係数とステップＳ２０３で算出した部分評価値を積和することにより候補位置の統合評価値を算出する（ステップＳ２０５）。候補領域の密度が低密度の場合は式（３）、中密度の場合は式（４）、高密度の場合は式（５）に従って、積和することになる。

【0147】

そして、評価値算出手段５１４ｂは、候補位置と、部分領域の和領域の窓（統合窓）と、候補位置の密度と、統合評価値とを対応付けて記録するとともに、撮影画像の全ての画素の位置を候補位置に設定し終えたか否かを確認し（ステップＳ２０６）、未設定の画素がある場合は（ステップＳ２０６にてＮＯ）、処理をステップＳ２００に戻して次の画素の位置を処理する。

【0148】

他方、全ての画素の位置を候補位置に設定し終えた場合（ステップＳ２０６にてＹＥＳ）、位置決定手段５１７ｂは、ステップＳ２０６で記録された候補位置と統合窓と候補位置の密度と統合評価値の組の中から統合評価値が閾値未満の組を削除し（ステップＳ２０７）、さらに、削除されずに残った組について、候補位置の密度ごとに、互いの統合窓が予め定めた割合よりも大きく重複している組を同一人物のものとして一つの組にまとめる（ステップＳ２０８）。そして位置決定手段５１７ｂはまとめた後の各組の候補位置を撮影画像に撮影されている個々の人の位置（物体位置）と判定する。

【0149】

再び図９を参照して説明を続ける。物体位置判定手段５１はステップＳ４にて判定した物体位置の情報を通信部３に出力し（ステップＳ５）、通信部３は物体位置出力手段３１として動作して物体位置の情報を表示部６に送信する。

【0150】

以上の処理を終えると、処理はステップＳ１に戻され、次の撮影画像に対する処理が行われる。

【0151】

＜変形例＞
（１）上記各実施形態およびその変形例においては、検出対象の物体を人とする例を示したが、これに限らず、検出対象の物体を車両、牛や羊等の動物等とすることもできる。

【0152】

（２）上記各実施形態およびその各変形例においては物体を高さ方向に３分割し幅方向に２分割した部分を単位として部分領域を設定する例を示したが、分け方はこれに限らない。検出対象や撮影する監視空間の特性、採用する特徴量や評価値の種類などの違いに応じ、それぞれに適した別の比率で分けた部分領域とすることができる。またオーバーラップさせて部分領域を設定してもよい。

【0153】

（３）上記各実施形態およびその各変形例において示した重みは一例であり、検出対象や撮影する監視空間の特性、採用する特徴量や評価値の種類などの違いに応じ、それぞれに適した別の値とすることができる。

【0154】

（４）上記各実施形態およびその各変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。
或いは識別型のＣＮＮ（Convolutional Neural Network）を用いた密度推定器とすることもできる。

【0155】

（５）上記各実施形態およびその各変形例においては、密度推定器が推定する背景以外の密度のクラスを３クラスとしたが、より細かくクラスを分けてもよい。
その場合、３段階の重みに代えて、クラス分けに対応したより細かい段階の重みとし、クラスと重みを対応付けて単体特徴記憶手段４１に記憶させておくことができる。或いは、クラスと３段階の重みを多対一で対応付けて単体特徴記憶手段４１に記憶させておくこともできる。

【0156】

（６）上記各実施形態およびその各変形例においては、多クラスに分類する密度推定器を例示したがこれに代えて、特徴量から密度の値（推定密度）を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から推定密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。
或いは回帰型のＣＮＮを用いた密度推定器とすることもできる。
これらの場合、密度クラスの値の代わりに連続値で出力される推定密度の値域を、部分モデルおよび重み、または部分識別器および重みと対応付けて単体特徴記憶手段４１に記憶させておく。またこれらの場合、部分領域の密度は部分領域内で最多の推定密度とする以外にも、部分領域内の推定密度の平均値または中央値などとすることもできる。

【0157】

（７）上記各実施形態およびその各変形例においては、密度推定器が学習する特徴量および推定用特徴量としてＧＬＣＭ特徴を例示したが、これらはＧＬＣＭ特徴に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、ＨＯＧ特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＧＬＣＭ特徴とこれらのうちの複数を組み合わせた特徴量とすることもできる。

【0158】

（８）上記各実施形態およびその各変形例においては、密度推定手段５０および物体位置判定手段５１が１画素間隔で走査して処理を行う例を示したが、これらの走査を２画素以上の間隔を空けて行うことも可能である。

【0159】

（９）上記各実施形態およびその各変形例においては、候補位置を推定密度が低密度、中密度または高密度の領域内から選んで設定する例を示したが、配置生成手段５１０ａおよび候補位置設定手段５１１ｂのそれぞれは、変化領域内に限定して候補位置を設定することもできる。その場合、記憶部４は監視空間の背景画像を記憶する背景画像記憶手段（不図示）を備え、画像処理部５は、撮影画像と背景画像との差分処理を行って差分値が所定の差分閾値以上である画素の集まりを変化領域として抽出する、または撮影画像と背景画像との相関処理を行って相関値が所定の相関閾値以下である画素の集まりを変化領域として抽出する変化領域抽出手段（不図示）を備え、配置生成手段５１０ａおよび候補位置設定手段５１１ｂのそれぞれは、変化領域抽出手段が抽出した変化領域を参照して候補位置を設定する。
なお、候補位置を設定する領域を限定する場合、配置生成手段５１０ａは限定した領域の大きさに応じて配置数の上限個数を変更することができる。
このような候補位置を設定する領域の限定によって、撮影画像とモデル画像の偶発的な類似または背景に対する高い識別スコアの偶発的な算出を防止でき、物体位置の誤検出を低減できる。

【0160】

（１０）上記第一の実施形態とその各変形例においては、配置生成手段５１０ａが反復の都度ランダムに配置を生成する例を示したが、反復の２回目以降に一回前の候補位置から微小にずらした候補位置に更新することで配置を生成してもよいし、反復の２回目以降に一回前の配置に対する類似度を参照してＭＣＭＣ（Markov chain Monte Carlo）法により確率的に候補位置を探索する方法や山登り法により候補位置を逐次改善することで配置を生成してもよい。

【0161】

（１１）上記各実施形態およびその各変形例においては、注目している候補位置に人の上部１／３の形状に定められたモデルの投影領域または該形状に定められた窓を設定して当該領域内の推定密度を集計することによって、当該候補位置における推定密度を決定する例を示したが、処理量を削減するために当該領域に代えて候補位置の画素、候補位置の８近傍領域または１６近傍領域などの小さな領域とすることもできる。或いは、確度を上げるために当該領域に代えて候補位置を代表位置とする単独の人の上部２／３の形状に定められたモデルの投影領域または該形状に定められた窓、または候補位置を代表位置とする単独の人の全身の形状に定められたモデルの投影領域または該形状に定められた窓などの大きな領域とすることもできる。

【0162】

（１２）第二の実施形態およびその変形例においては、線形ＳＶＭ法により学習された部分識別器を例示したが、線形ＳＶＭ法に代えてアダブースト（AdaBoost）法など、従来知られた各種の学習法を用いて学習した部分識別器とすることもできる。また、識別器の代わりにパターンマッチング器を用いることもでき、その場合の部分スコアは人の学習用画像から抽出した特徴量の平均パターンと入力画像の特徴量との内積などとなり、評価値算出関数は当該スコアを出力値とし撮影画像の特徴量を入力値とする関数とすることができる。また部分識別器として識別型のＣＮＮを用いても良い。

【0163】

（１３）第二の実施形態およびその各変形例においては、部分識別器が学習および識別に用いる特徴量としてＨＯＧ特徴量を例示したが、これらはＨＯＧ特徴量に代えて、局所二値パターン特徴量、ハールライク特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＨＯＧ特徴量とこれらのうちの複数を組み合わせた特徴量とすることもできる。

【0164】

（１４）第二の実施形態およびその各変形例においては、評価値算出手段５１４ｂが候補位置ごとに重みの和が１となるように正規化する例を示したが、さらに水平方向（左右方向）の重みの和が１となるように正規化してもよい。

【0165】

（１５）第二の実施形態およびその各変形例においては、物体の部分を重視する度合いを重みによって切り替える例を示したが、部分評価値に対する閾値（部分閾値）を切り替えることもできる。その場合、例えば、単体特徴記憶手段４１は密度が低いほど低く密度が高いほど高く予め定められた部分閾値を各密度に対応づけて記憶し、評価値算出手段５１４ｂは部分評価値が部分閾値以上である部分領域の個数の割合を統合評価値として算出する。そして、位置決定手段５１７ｂは統合評価値が予め定めた閾値（例えば５０％）以上である候補位置を物体位置と判定する。

【0166】

以上の各実施形態およびその変形例によれば、物体検出装置は、候補位置および部分領域ごとの密度に応じ、当該密度により物体に生じ得る隠蔽状態に適した部分の特徴および重視する度合いを切り替えて個々の物体の位置を判定するので、混雑状態の変化に伴う物体の隠蔽状態の変化に適応した精度の高い物体検出が可能となる。

【0167】

またそのうちの第一の実施形態およびその変形例に係る物体検出装置は、物体の各部分の画像特徴を表す部分モデルおよび部分モデルの撮影画像に対する部分評価値を評価する際に重視する度合いを密度に応じて切り替えることによって混雑状態の変化に伴う物体の隠蔽状態の変化に適応した精度の高い物体検出を可能とする。

【0168】

またそのうちの第二の実施形態およびその変形例に係る物体検出装置は、物体の各部分の画像特徴を学習した部分識別器および部分識別器による部分ごとの部分評価値を総和する際に重視する度合いを密度に応じて切り替えることによって混雑状態の変化に伴う物体の隠蔽状態の変化に適応した精度の高い物体検出を可能とする。

【符号の説明】

【0169】

１・・・画像監視装置
２・・・撮影部
３・・・通信部
３０・・・画像取得手段
３１・・・物体位置出力手段
４・・・記憶部
４０・・・密度推定器記憶手段
４１・・・単体特徴記憶手段
４１０ａ・・・物体モデル記憶手段
４１１ｂ・・・部分識別器記憶手段
４１２ａ、４１２ｂ・・・重み記憶手段
５・・・画像処理部
５０・・・密度推定手段
５１・・・物体位置判定手段
５１０ａ・・・配置生成手段
５１１ｂ・・・候補位置設定手段
５１２ａ・・・モデル画像生成手段
５１４ａ、５１４ｂ・・・評価値算出手段
５１６ａ・・・最適配置決定手段
５１７ｂ・・・位置決定手段
６・・・表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】