(58)【調査した分野】(Int.Cl.,DB名)
前記重複度算出部は、重複している二つの前記物体候補領域のうち一方は前記物体適合度が最小の物体候補領域を選択する請求項2または請求項3に記載の物体検出装置。
前記物体候補領域画定部は、前記物体存否判定部にて物体存在との判定に使用した複数の部位領域の和領域に統合して物体候補領域を画定する請求項1〜請求項4の何れか1項に記載の物体検出装置。
前記部位検出部は、前記検出窓画像における部位毎の所定位置に設定した部位窓画像に部位が存在する可能性の程度を示す部位適合度を算出し、当該部位適合度が部位であると判断できる値以上であると当該部位窓画像の領域を部位領域として検出し、
前記物体存否判定部は、抽出された各部位領域の部位適合度の総和が物体の存在を判断できる値以上であると物体が存在すると判定する請求項1〜請求項5の何れか1項に記載の物体検出装置。
【発明を実施するための形態】
【0019】
以下、本発明の物体検出装置を人物検出装置に適応した形態について図を参照しつつ説明する。
なお、物体検出装置の対象物体は、人物に限定されることなく、車両、かばん、扉など、画像中に表れる物体であれば良い。また、本実施形態では、人物検出装置が、頭部、右腕、左腕、胴体、腰部、右脚、左脚等の人物を構成する複数の部位を検出することにより人物を検出する例について説明する。本実施の形態では、7つの部位適合度を用いているが、これに限らず、1つの部位適合度の分布を用いて人物を検出しても良い。または、部位を詳細に分けて多数の部分を用いてもよい。
【0020】
図1は、本実施形態による人物検出システム100の概略構成を示す図である。人物検出システム100は、人物検出装置1、撮像装置2及び表示装置3を有する。
【0021】
撮像装置2は、所定の撮影領域を撮影するカメラであり、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子(例えば、CCDセンサ、C−MOSなど)と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。撮像装置2は、人物検出装置1と接続され、撮影した撮影画像を人物検出装置1へ出力する。
【0022】
表示装置3は、液晶ディスプレイ、有機ELディスプレイなどの表示デバイスで構成され、人物検出装置1と接続され、人物検出装置1から受け取った各種情報等を表示する。
【0023】
人物検出装置1は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、周辺回路、端子、各種メモリなどから構成され、撮像装置2が撮影した撮影画像から、検出対象である人物を検出し、検出した人物の数、位置等を表す情報を表示装置3に表示するとともに監視センタへ送信する。人物検出装置1は、画像取得部10、記憶部11、検出窓設定部12、部位検出部13、人物判定部14、人物候補領域画定部15、重複度算出部16、人物領域特定部17、出力部18及び通信部19を有する。なお、検出窓設定部12、部位検出部13、人物判定部14、人物候補領域画定部15、重複度算出部16及び人物領域特定部17は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータ上で動作するソフトウェアにより実現される機能モジュールである。なお、これらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。以下、人物検出装置1の各部について詳細に説明する。
【0024】
画像取得部10は、撮像装置2と接続され、撮像装置2から撮影画像を取得するインタフェース及びその制御回路である。なお、本実施形態では、画像取得部10は、撮像装置2から撮影画像を取得して検出窓設定部12へ出力するが、ハードディスク等の媒体から画像を取得して検出窓設定部12へ出力してもよい。以下では、画像取得部10が取得して検出窓設定部12へ出力する画像を入力画像と称する。
【0025】
記憶部11は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部11は、人物検出装置1を制御するためのコンピュータプログラム及び各種データを記憶し、検出窓設定部12等との間でこれらの情報を入出力する。各種データは、検出窓設定情報111、部位学習データ112、部位領域情報113及び人物領域情報114を少なくとも含んでいる。
検出窓設定情報111は、入力画像内に設定される複数の検出窓のうち、相互に隣接する検出窓の間のずらし量を示す情報であり、検出窓設定部12において検出窓を設定する際に用いられる。検出窓設定情報111の詳細については、後述する。
部位学習データ112は、部位の識別に有用な一つ以上の特徴量である部位特徴量を算出するための情報、部位特徴量についての特徴量空間において部位が写っている画像について算出された部位特徴量が分布する空間とそれ以外の空間とを分ける識別境界、部位特徴量が識別境界のどちら側に位置するかと、部位特徴量と識別境界の間の距離とを求めるための情報等を含む。部位学習データ112は、部位が写っている複数の学習用部位画像及び部位が写っていない複数の学習用非部位画像から事前学習により決定される。部位学習データ112は、部位検出部13において部位適合度を算出する際に用いられる。
部位領域情報113は、検出窓内に設定された部位窓の情報であり、部位検出部13により各部位を検出する際に用いられる。部位領域情報113の詳細については、後述する。
人物領域情報114は、入力画像内で検出された人物候補領域の情報であり、人物候補領域画定部15が人物候補領域を画定した際に記憶され、人物領域特定部17が人物領域を特定する際に用いられる。人物領域情報114の詳細については、後述する。
【0026】
検出窓設定部12は、撮像装置2の解像度や設置条件、人物の標準的な身長(例えば170cm)から想定される、入力画像中での検出したい人物の大きさを考慮したサイズの検出窓を、検出窓設定情報111に基づいて所定画素数ずつずらしながら、入力画像の全体を順次走査するように設定する。
【0027】
検出窓設定情報111は、検出窓のサイズおよび相互に隣接する検出窓の間のずらし量からなる。
検出窓のサイズは、検出窓設定部12が、入力画像において設定する検出窓の大きさであり、横60画素、縦120画素を標準に複数種類が記憶される。
ずらし量は、検出窓設定部12が、入力画像において検出窓をずらしながら走査するときの所定画素数である。本実施の形態では、検出窓のサイズが横60画素、縦120画素であるときのずらし量として4画素が記憶されるものとする。
なお、これらの値は、撮像装置2の解像度や設置条件、計算負荷等に応じて、管理者により事前に設定される。
この他、図示しないが、記憶部11には、後述する処理において人物候補領域画定部15が二つの検出窓内にそれぞれ画定した二つの人物候補領域に同一の人物が写っているか否かを判定するための、二つの人物候補領域の重なりの程度を表す重複度の閾値である重複度判定閾値が記憶されている。重複度が重複度判定閾値以上では二つの人物候補領域は同一の人物のものと判定し、重複度が重複度判定閾値未満では二つの人物候補領域は別の人物のものと判定する。本実施の形態では、重複度判定閾値は50%としている。
【0028】
ここで、
図2を参照して、検出窓設定部12が入力画像に検出窓を設定する様子を説明する。
図2は、撮像装置2に対して正面を向いている人物201と、人物201の背後に位置し且つ横を向いている人物202とが写っている入力画像200を模式的に示した図である。検出窓設定部12は、矢印204に示すように、入力画像200に対して左上端から水平方向に検出窓設定情報111のずらし量ずつずらしながら検出窓203を設定し、右上端に到達すると、走査するラインを垂直方向に検出窓設定情報111のずらし量だけずらして検出窓203を設定していく。
【0029】
以下、検出窓設定部12が入力画像中の各走査位置にて設定した検出窓内の画像を検出窓画像と称する。検出窓設定部12は、検出窓画像のサイズを正規化してスケールを合わせた検出窓画像を生成する。本実施の形態では、横60画素、縦120画素に正規化している。
【0030】
部位検出部13は、頭部を検出する頭部検出手段131、右腕を検出する右腕検出手段132、左腕を検出する左腕検出手段133、胴体を検出する胴体検出手段134、腰部を検出する腰部検出手段135、右脚を検出する右脚検出手段136及び左脚を検出する左脚検出手段137を有する。
【0031】
頭部検出手段131は、部位学習データ112に含まれる頭部の部位窓設定情報に基づいて、頭部の部位窓を検出窓画像の所定位置に順次設定する。同様に、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、各部位の部位窓設定情報に基づいて、各部位の部位窓を検出窓画像の所定位置に順次設定する。以下、部位窓内の画像を部位窓画像と称する。
【0032】
ここで、部位窓設定情報について、
図3を参照して説明する。部位窓設定情報には、検出窓画像における人物の頭部301、右腕302、左腕303、胴体304、腰部305、右脚306、左脚307の各部位を検出するための情報として、基準位置311、基準サイズ312、探索範囲313及び投票ベクトル314が含まれる。なお、
図3に記載の値は、検出窓画像のサイズを横60画素、縦120画素に正規化したときの部位窓設定情報を例示したものである。
【0033】
基準位置311は、経験的に定めた各部位の重心位置を部位窓の重心位置とし、検出窓画像の左上を原点(0、0)として表した座標値である。
図3に示す通り、頭部(30、30)、右腕(10、50)、左腕(50、50)、胴体(30、55)、腰部(30、70)、右脚(20、95)、左脚(40、95)が記憶されている。なお、本実施の形態では、部位の重心位置を経験的に定めたが、部位学習データ112の事前学習に用いた複数の学習用人物画像における各部位画像の外接矩形の重心の平均位置等を用いても良い。なお、事前学習に用いた人物画像は検出窓画像と同様に正規化してスケールを合わせてある。
【0034】
基準サイズ312は、経験的に定めた各部位の外接矩形を部位窓とし、その縦横の画素数で表している。本実施の形態では、
図3に示す通り、頭部30×30、右腕20×40、左腕20×40、胴体30×40、腰部40×20、右脚20×40、左脚20×40が記憶されている。なお、本実施の形態では、基準サイズ312を経験的に定めたが、部位学習データ112の事前学習に用いた複数の学習用部位画像における各部位の外接矩形の縦横長の平均等を用いても良い。
【0035】
探索範囲313は、各部位の位置が変動し基準位置から外れる可能性がある範囲であって、その範囲を部位窓にて走査探索するために設定する。具体的には、各部位の基準位置311に基準サイズ312の部位窓を設定した場合に、この部位窓に同じ基準サイズ312の部位窓が重なる割合で表現する。本実施の形態では、
図3に示す通り、頭部70%、右腕80%、左腕80%、胴体90%、腰部90%、右脚70%、左脚70%が記憶されている。なお、本実施の形態では、探索範囲313を経験的に定めたが、部位学習データ112の事前学習に用いた複数の学習用部位画像における各部位の外接矩形の基準位置からの外れ量の平均等を用いても良い。
【0036】
投票ベクトル314は、各部位窓の基準位置311を始点とし、人物の中心付近に所在する胴体部の重心位置を終点としたベクトルであって、後述する部位適合度分布を生成する際に用いる。
【0037】
なお、基準サイズ312の部位窓のみでなく、人物によって異なる体型や撮影時によって異なる環境の変動に対応するために、基準サイズ以外のサイズの部位窓も設定されてもよい。
【0038】
ここで、
図4を参照して、検出窓画像に部位窓が設定された様子を説明する。
図4は、検出窓画像に理想的な状況にて人物が撮影された場合の検出窓画像と部位窓との位置関係を模式的に示した図である。
【0039】
図4(a)は、部位窓401〜407を基準位置に配置した場合を示している。
図4(a)では、各部位窓401〜407の基準位置を黒丸(●)で、投票ベクトルを各部位窓401〜407の基準位置から胴体の重心位置への矢印で示している。
【0040】
図4(b)は、頭部を例に、部位窓の探索範囲と投票ベクトルを示している。
図4(b)では、部位窓設定情報の探索範囲の外縁を点線411で、各部位窓の重心位置を黒丸(●)で示し、それぞれの投票ベクトルにしたがって投票した投票位置が示されている。本実施の形態では、右腕、左腕、胴体、腰部、右脚、左脚の各部位についても、探索範囲に部位窓を順次設定し、部位適合度を投票して部位適合度分布を作成する。かかる部位適合度分布は、各部位の投票ベクトルの終点を一致させることにより、一部の部位適合度が低い値となっても、各部位を持つ人物全体としての有効な特徴となる。
【0041】
各部位の検出手段は、
図4(a)、(b)に示すように、各部位窓の位置を変化させつつ、検出窓画像に部位窓を順次設定する。
【0042】
頭部検出手段131は、検出窓画像における頭部の各部位窓画像から頭部の部位特徴量を算出する。同様に、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、検出窓画像における各部位の各部位窓画像から各部位の部位特徴量を算出する。本実施形態では、部位特徴量としてHOG(Histograms of Oriented Gradients)特徴量が用いられる。HOG特徴量は、各部位窓画像において複数のブロックを設定し、さらに各ブロックを分割した複数のセルごとに、各勾配方向の勾配強度の総和を度数としたヒストグラムを正規化して算出される。
【0043】
頭部検出手段131は、頭部の部位特徴量が算出された部位窓画像に頭部が存在する可能性の程度を示す部位適合度を算出する。同様に、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、各部位の部位特徴量が算出された部位窓画像における各部位についての部位適合度を算出する。
【0044】
なお、本実施形態では、各部位の検出手段を、部位学習データ112を用いるリアルアダブースト識別器により実現している。リアルアダブースト識別器の詳細については、例えば、R.E.Schapire and Y.Singer, Improved boosting algorithms using confidence-rated predictions, Machine Learning, 37, pp.297-336, 1999に開示されている。
【0045】
頭部検出手段131は、頭部の部位窓画像について算出した部位適合度を記憶部11の部位領域情報113に記憶するとともに、投票ベクトルにしたがって投票する。同様に、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、各部位の部位窓画像について算出した部位適合度を部位領域情報113に記憶するとともに、投票ベクトルにしたがって投票する。これにより、投票値(投票された部位適合度の総和)の分布である部位適合度分布が作成される。
【0046】
ここで、部位領域情報113について、
図5を参照して説明する。部位領域情報113として、部位窓画像毎に、その部位窓画像の識別情報であるID501、対応する部位502、検出窓画像内の位置503、算出された部位適合度504が記憶される。位置503は、検出窓画像の左上を原点(0、0)として表した座標値である。
【0047】
次に、投票について、
図4(b)を参照して説明する。まず、頭部検出手段131は、
図4(b)に示すように、頭部について探索範囲内に設定された各部位窓から算出された部位適合度を
図3に示す投票ベクトル314にしたがって投票する。同様に、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、右腕、左腕、胴体、腰部、右脚、左脚の各部位について各部位窓画像から算出された部位適合度を
図3に示す投票ベクトル314にしたがって投票する。
【0048】
次に、部位適合度を投票した結果である部位適合度分布について、
図6を参照して説明する。
図6は、理想的な状況で人物が写っている検出窓画像600から生成された部位適合度分布601を模式的に示した図である。
図6には、検出窓画像600の水平方向及び垂直方向をそれぞれx軸及びy軸とし、検出窓画像600の各画素に対応する位置における投票値をz軸とした部位適合度分布601が示される。同図に示すように、検出窓画像600に理想的な状況で人物が写っている場合の部位適合度分布601では、胴体の重心位置602において投票値が最も高くなり、胴体の重心位置602から離れるにつれて投票値が低くなる。
【0049】
人物判定部14は、部位検出部13により生成された部位適合度分布のピーク値を、その検出窓画像に人物が存在する可能性の程度である人物適合度とし、人物適合度が、人物であると判断できる人物判定閾値以上であるか否かにより、検出窓画像に人物が存在するか否かを判定する。なお、人物判定部14は、部位ごとの識別器を用いて人物が存在するか否かを判定するのではなく、検出窓画像から人物特徴量を算出し、人物特徴量に基づいて人物適合度を出力する全身識別器を用いて人物が存在するか否かを判定してもよい。
【0050】
人物判定部14により検出窓画像に人物が存在すると判定された場合、頭部検出手段131は、部位窓設定情報の頭部の投票ベクトル314の逆ベクトルにしたがって、部位適合度分布のピーク位置から、そのピーク値の元となった頭部の部位窓画像を特定し、特定した部位窓画像から所定範囲内にある頭部の部位窓画像をさらに特定する。所定範囲は、最初に特定した部位窓画像の近傍の範囲、例えば同一人物の部位が写っていると想定できる範囲に設定される。さらに、頭部検出手段131は、部位領域情報113を参照して、特定した頭部の部位窓画像の中で部位適合度が最大である部位窓画像を特定し、その部位適合度が、頭部であると判断できる頭部判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を頭部が存在する頭部領域として検出する。同様に、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、部位窓設定情報の各部位の投票ベクトル314の逆ベクトルにしたがって、部位適合度分布のピーク位置から、そのピーク値の元となった各部位の部位窓画像及びその所定範囲内にある各部位の部位窓画像を特定する。さらに、右腕検出手段132、左腕検出手段133、胴体検出手段134、腰部検出手段135、右脚検出手段136及び左脚検出手段137は、それぞれ、部位領域情報113を参照して、特定した各部位の部位窓画像の中で部位適合度が最大である部位窓画像を特定し、その部位適合度が各部位の判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を各部位が存在する部位領域として検出する。
【0051】
人物候補領域画定部15は、部位検出部13により検出された各部位領域を各部位領域の和集合である和領域に統合することにより人物候補領域を画定し、画定した人物候補領域の情報を人物領域情報114に一時記憶する。なお、部位検出部13により特定の部位の部位領域が検出されなかった場合は、人物候補領域にその部位の領域は含まれない。しかしながら、部位検出部13により特定の部位の部位領域が検出されなかった場合でも、例えば部位適合度が最大であった部位領域を人物候補領域に含ませるようにしてもよい。
【0052】
ここで、人物領域情報114について、
図7を参照して説明する。人物領域情報114として、人物候補領域毎に、その人物候補領域の識別情報であるID701、入力画像内の位置702、形状情報703、人物適合度704が記憶される。位置702は、入力画像の左上を原点(0、0)として表した、人物候補領域の重心位置の座標値である。形状情報703は、人物候補領域又はその外縁を構成する各画素の座標値の集合で表される。人物適合度704は、人物候補領域を構成する各部位領域について算出された部位適合度の総和である。
また、部位領域情報113には、画定された人物候補領域の総数705が含まれる。
【0053】
人物候補領域画定部15は、人物候補領域を画定すると、画定した人物候補領域の位置、形状情報、人物適合度を求めて人物領域情報114に一時記憶するとともに、総数705をインクリメントする。
【0054】
重複度算出部16は、人物候補領域画定部15により複数の人物候補領域が抽出された場合に、相互に重複する人物候補領域があるか否かを判定し、相互に重複する人物候補領域同士の重なりの程度である重複度を算出する。
【0055】
ここで、重複度について、
図8を参照して説明する。
図8(a)には、
図2に示した入力画像200に写っている人物201及び人物202が示される。
図8(a)に示すように、人物201の人物候補領域801と、人物202の人物候補領域802は、領域811及び812において相互に重複している。重複度算出部16は、人物候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出する。
なお、
図8(b)及び(c)に示すように、人物候補領域801の面積と人物候補領域802の面積は必ずしも一致しないため、人物候補領域801の面積に対する重複領域811及び812の面積が占める割合と、人物候補領域802の面積に対する重複領域811及び812の面積が占める割合は異なる。そこで、重複度算出部16は、重複している二つの人物候補領域のうち面積が小さい人物候補領域802の面積に対し、重複領域811及び812の面積が占める割合を重複度として算出する。これにより、重複による影響をより大きく受けている方の人物候補領域に係る重複度を求めることができる。
【0056】
なお、重複度算出部16は、重複している二つの人物候補領域のうち人物適合度が小さい人物候補領域の面積に対し、重複領域の面積が占める割合を重複度として算出してもよい。この場合、オクルージョンが発生して人物適合度が小さくなっている可能性の高い方の人物候補領域に係る重複度を求めることができる。
【0057】
また、重複度算出部16は、各部位の部位窓画像毎の面積に対し、重複している領域の面積が占める割合を用いて重複度を算出してもよい。すなわち、重複度算出部16は、重複している二つの人物候補領域について、一方の人物候補領域内の頭部の部位窓画像と、他方の人物候補領域内の頭部の部位窓画像との重複度を算出する。同様に、重複度算出部16は、右腕の部位窓画像の重複度、左腕の部位窓画像の重複度、胴体の部位窓画像の重複度、腰部の部位窓画像の重複度、右脚の部位窓画像の重複度、左脚の部位窓画像の重複度をそれぞれ算出する。そして、重複度算出部16は、各部位の重複度の総和を人物候補領域の重複度とする。これにより、部位毎の重複を考慮した、より高精度な重複度を求めることができる。
【0058】
以下、人物候補領域から重複度を求めることの利点について説明する。一般に、人物を適切に検出するために、検出窓画像は想定する人物の大きさより大きく設定され、検出窓画像には人物が写っていない余白部分が大きく存在する。特に、
図2の人物202のように撮像装置2に対して横を向いているときは、人物自体が写っている領域が小さくなり、余白部分が大きくなる傾向にある。したがって、仮に、検出窓画像から重複度を求めると、重複度は人物が実際に重複している度合いよりはるかに大きくなる。一方、各部位領域から構成される人物候補領域から重複度を求めることにより、人物が実際に重複している度合いに限りなく近い重複度を求めることが可能となる。
【0059】
人物領域特定部17は、重複度算出部16により算出された重複度が重複判定閾値以上であれば、重複度が算出された二つの人物候補領域は同一の人物のものであり、人物適合度が小さい方の人物候補領域を、以降の処理では不要として、人物領域でないと判定する。また、人物領域特定部17は、人物領域でないと判定した人物候補領域を消去していき、最終的に残った人物候補領域を人物領域と判定する。人物領域特定部17は、人物領域と判定した人物候補領域の数を入力画像に含まれる人物の数として計数する。そして、人物領域特定部17は、入力画像に含まれる人物の数と、入力画像から検出した各人物領域の情報(例えば入力画像における位置及び大きさ)とを記憶部11に記憶するとともに出力部18に送る。なお、各人物領域の情報は、例えば入力画像において人物領域の外縁を赤色に表示し、人物の数を表示させた画像とすることができる。また、人物領域特定部17は、入力画像に含まれる人物の数が、撮影領域への進入が許可されている数(例えば1)を越えている場合に限り、各情報を出力部18に送ってもよい。
【0060】
出力部18は、表示装置3と接続するインタフェース及びその制御回路、並びに通信部19と接続するインタフェース及びその制御回路を有する。出力部18は、人物領域特定部17から、入力画像に含まれる人物の数と人物領域の情報とを受け取ると、接続されている表示装置3が受信可能な形式の信号と、通信部19が受信可能な形式の信号にそれぞれ変換して出力する。
【0061】
通信部19は、一般公衆回線、携帯電話回線などの通信回線を介して監視センタと接続するためのインタフェース回路及びそのドライバソフトウェア等で構成される。通信部19は、出力部18から受け取った、入力画像に含まれる人物の数と人物領域の情報とを監視センタへ送信する。
【0062】
以下、
図9及び
図10を参照して、人物検出装置1の全体の動作フローを説明する。
ステップS101では、人物検出装置1の画像取得部10が、撮像装置2にて撮影した画像を入力画像として取得し、検出窓設定部12に出力する。
ステップS102では、検出窓設定部12が、画像取得部10から取得した入力画像に対して、記憶部11に記憶された検出窓設定情報111を参照して、検出窓を設定し、入力画像中の検出窓内画像を検出窓画像として取得し、部位検出部13に出力する。なお、検出窓の設定は、後述するステップS112にて入力画像全体を順次走査し終わるまで実行される。
【0063】
ステップS103〜ステップS105の処理は、記憶部11に記憶された部位学習データ112を参照して処理する。
ステップS103では、部位検出部13が、検出窓画像に対して、部位学習データ112の部位窓設定情報を参照して、部位窓を設定する。具体的には、先ず、頭部検出手段131が頭部301について、基準サイズ312の「30×30」の矩形窓の重心位置が基準位置311の「(30、30)」になる位置へ部位窓を設定する。なお、頭部でなく、右腕であれば右腕検出手段132、左腕であれば左腕検出手段133、胴体であれば胴体検出手段134、腰部であれば腰部検出手段135、右脚であれば右脚検出手段136、左脚であれば左脚検出手段137がそれぞれ選択されて部位窓を設定する。
【0064】
ステップS104では、部位検出部13が、先ず、検出窓画像中の設定した部位窓内の部位窓画像についてHOG特徴である部位特徴量を算出する。そして、部位検出部13が、この部位特徴量と記憶部11に記憶している部位学習データ112とを参照して部位適合度を算出し、記憶部11の部位領域情報113に記憶する。ここでは、頭部301の場合であるので、頭部検出手段131が頭部について学習した部位学習データを用いて、部位特徴量との適合している程度を算出する。なお、頭部でなく、右腕であれば右腕検出手段132、左腕であれば左腕検出手段133、胴体であれば胴体検出手段134、腰部であれば腰部検出手段135、右脚であれば右脚検出手段136、左脚であれば左脚検出手段137がそれぞれ選択されて部位適合度を算出する。
【0065】
ステップS105では、部位検出部13が、投票ベクトル314を参照して部位適合度を投票する。ここでは、頭部301の場合であるので、頭部の投票ベクトル314「(0、30)」にしたがって部位適合度を投票し、部位適合度分布の各位置の投票値に加算する。なお、頭部でなく、右腕であれば右腕検出手段132、左腕であれば左腕検出手段133、胴体であれば胴体検出手段134、腰部であれば腰部検出手段135、右脚であれば右脚検出手段136、左脚であれば左脚検出手段137がそれぞれ選択されて部位適合度を投票する。その後、
図3に示す頭部301、右腕302、左腕303、胴体304、腰部305、右脚306、左脚307の順に投票が全て行われていなければ、ステップS103に戻り次の部位窓を設定する。他方、全ての部位窓に対する処理が終了していれば、ステップS106に進む。
【0066】
ステップS106では、人物判定部14が、部位検出部13により生成された部位適合度分布のピーク値が人物判定閾値以上であるか否かにより、人物の存否を判定する。そして、人物が存在していないとの判定であれば(S107−No)、そのまま、ステップS112に進み、入力画像全体に検出窓を設定したか判定する。他方、人物が存在しているとの判定であれば(S107−Yes)、ステップS108〜S111の処理を実行する。
【0067】
ステップS108〜ステップS109の処理は、記憶部11に記憶された部位窓設定情報及び部位領域情報113を参照して処理する。
ステップS108では、部位検出部13が、部位窓設定情報の各部位の投票ベクトル314を参照し、部位適合度分布のピーク位置に投票した部位窓画像及びその所定範囲内の部位窓画像を特定する。具体的には、先ず、頭部検出手段131が、部位適合度分布のピーク位置から、頭部の投票ベクトル314の逆ベクトル「(0、−30)」にしたがって、そのピーク値の元となった頭部の部位窓画像及びその所定範囲内の頭部の部位窓画像を特定する。なお、頭部でなく、右腕であれば右腕検出手段132、左腕であれば左腕検出手段133、胴体であれば胴体検出手段134、腰部であれば腰部検出手段135、右脚であれば右脚検出手段136、左脚であれば左脚検出手段137がそれぞれ選択されて各部位の部位窓画像を特定する。
【0068】
ステップS109では、部位検出部13が、部位領域情報113を参照し、特定した各部位の部位窓画像の中で部位適合度が最大である部位窓画像を特定し、その部位適合度が各部位の判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を部位領域として検出する。具体的には、先ず、頭部検出手段131が、特定した頭部の部位窓画像の中で、部位適合度が最大である部位窓画像を特定し、その部位適合度が頭部判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を頭部領域として検出する。なお、頭部でなく、右腕であれば右腕検出手段132、左腕であれば左腕検出手段133、胴体であれば胴体検出手段134、腰部であれば腰部検出手段135、右脚であれば右脚検出手段136、左脚であれば左脚検出手段137がそれぞれ選択されて各部位領域を検出する。その後、
図3に示す頭部301、右腕302、左腕303、胴体304、腰部305、右脚306、左脚307の順に部位領域の検出が全て行われていなければ、ステップS108に戻り次の部位窓について処理する。他方、全ての部位窓に対する処理が終了していれば、ステップS110に進む。
【0069】
ステップS110では、人物候補領域画定部15が、部位検出部13により検出された各部位領域を統合することにより人物候補領域を画定する。ステップS111では、人物候補領域画定部15が、画定した人物候補領域の位置、形状情報、人物適合度を求めて記憶部11の人物領域情報114に一時記憶するとともに、総数705をインクリメントする。ステップS112では、検出窓の設定が終了していなければ(S112−No)、ステップS102に戻り、同様の処理を実行する。他方、検出窓の設定が終了していれば(S112−Yes)、ステップS113の処理に進む。
【0070】
ステップS113では、記憶部11に記憶された人物領域情報114を参照し、重複度算出部16が、人物候補領域画定部15が画定した人物候補領域の総数705が複数であるか否か判定する。総数705が複数でなければ(S113−No)、ステップS114の処理に進み、他方、総数705が複数であれば(S113−Yes)、ステップS116の処理に進む。
【0071】
ステップS114では、人物領域特定部17が、人物領域情報114に記憶された人物候補領域を人物領域と判定し、人物領域と判定した人物候補領域の数を入力画像に含まれる人物の数として計数する。なお、ステップS113でNoと判定された場合、入力画像に含まれる人物の数は一人となり、画定された一つの人物候補領域が人物領域と判定される。そして、人物領域特定部17が、入力画像に含まれる人物の数と、入力画像から検出した人物領域の情報とを記憶部11に記憶するとともに出力部18に送る。
ステップS115では、出力部18が、人物領域特定部17から受け取った入力画像に含まれる人物の数と人物領域の情報とを表示装置3に表示させるとともに、通信部19を介して監視センタへ送信して、一連のステップを終了し、次の入力画像を取得する。
【0072】
ステップS116〜ステップS124の処理は、記憶部11に記憶された人物領域情報114を参照して処理する。
ステップS116では、重複度算出部16が、人物領域情報114を参照し、人物適合度が最小の人物候補領域を選択する。ステップS117では、重複度算出部16が、人物領域情報114を参照し、選択した人物候補領域と重複する人物候補領域が存在するか否かを判定する。重複する人物候補領域が存在しなければ(S117−No)、そのまま、ステップS123の処理に進み、他方、重複する人物候補領域が存在すれば(S117−Yes)、ステップS118の処理に進む。ステップS118では、重複度算出部16が、人物領域情報114を参照して、選択した人物候補領域と、その人物候補領域と重複する人物候補領域のペアを選択する。ステップS119では、重複度算出部16が、選択したペアの人物候補領域の重複度を算出する。
【0073】
ステップS120では、人物領域特定部17が、算出した重複度が重複判定閾値以上であるか否かを判定する。重複度が重複判定閾値以上であれば(S120−Yes)、人物候補領域のペアのうち、人物適合度が小さい方の人物候補領域を人物領域でないと判定して、その人物候補領域を人物領域情報114から消去するとともに、総数705をデクリメントする(S121)。他方、重複度が重複判定閾値未満であれば(S120−No)、そのまま、ステップS122に進み、選択した人物候補領域について、重複する全ての人物候補領域に対する処理が終了したか、又は、選択した人物候補領域が人物領域情報114から消去されたか否かを判定する。まだ、重複する全ての人物候補領域に対する処理が終了しておらず、且つ、選択した人物候補領域が人物領域情報114から消去されていなければ(S122−No)、ステップS118に戻り、同様の処理を実行する。他方、重複する全ての人物候補領域に対する処理が終了したか、又は、選択した人物候補領域が人物領域情報114から消去されていれば(S122−Yes)、ステップS123に進み、人物適合度が最高の人物候補領域まで処理が終了したか否かを判定する。人物適合度が最高の人物候補領域まで処理が終了していなければ(S123−No)、ステップS124に進み、選択した人物候補領域の次に人物適合度が小さい人物候補領域を選択し、ステップS117に戻り、同様の処理を実行する。他方、人物適合度が最高の人物候補領域まで処理が終了していれば(S123−Yes)、ステップS114に進む。
【0074】
この場合、ステップS114では、人物領域情報114に残っている全ての人物候補領域が人物領域と判定され、その数、即ち総数705が入力画像に含まれる人物の数として計数される。
【0075】
なお、例えば、入力画像に人物がちょうど収まるように撮像装置2が設置されるような場合、入力画像中に検出窓を設定する必要がないため、入力画像を検出窓画像として用いてもよい。その場合、検出窓設定手段41が省略され、
図9のフローチャートにおいて、ステップS102及びS112の処理が省略される。
【0076】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、重複度が、重複している二つの人物候補領域のうち、面積又は人物適合度が小さい人物候補領域の面積に対し、重複領域の面積が占める割合である例について説明したが、本発明はこれに限定されない。例えば、重複度算出部は、検出窓画像ごとの人物候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出してもよい。この場合、人物領域特定部は、何れかの重複度が重複判定閾値以上である場合、重複度が大きい方の人物候補領域を人物領域でないと判定して、その人物候補領域を人物領域情報から消去する。他方、重複度が重複判定閾値未満である人物候補領域、及び、重複度が小さい方の人物候補領域は、そのまま消去せず残しておく。これにより、同一人物による人物候補領域のそれぞれで判断できるため、より高速に消去することができ、より高速に人物検知処理を実行することが可能となる。
【0077】
また、特定の人物候補領域と重複している人物候補領域が一つだけである場合、人物領域特定部は、その特定の人物候補領域について算出した重複度が重複判定閾値以上であれば、その特定の人物候補領域を人物領域でないと判定し、重複度が重複判定閾値未満であれば、その特定の人物候補領域を人物領域であると判定してもよい。これによっても、重複している人物候補領域が一つだけである場合には、適切に人物検知処理を実行することができる。
【0078】
また、本実施形態では、識別器により部位適合度を算出する例について説明したが、パターンマッチングにより部位適合度を算出してもよい。その場合、部位が写っている複数の画像に平均化処理等を実施した画像のパターンを予め生成して記憶部に記憶しておく。部位検出部は、各部位窓と、記憶部に記憶しておいた画像のパターンの類似の程度を求め、求めた類似の程度を部位適合度とする。類似の程度は、例えば、部位窓画像と、画像のパターンを部位窓と同じサイズに拡大/縮小した画像との正規化相互相関値とすることができる。
【0079】
また、部位検出部は、検出窓ごとに個別に部位適合度を算出するのではなく、入力画像内に設定された全ての部位窓に対して部位適合度を算出し、算出した部位適合度を記憶部に記憶しておいてもよい。その場合、部位検出部は、
図9のステップS104において、記憶部から対応する部位適合度を読み出すことにより部位適合度を取得する。これにより、各検出窓において重複する部位窓について重複して部位適合度を算出することがなくなり、処理負荷を低減することが可能となる。
【0080】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。