特許 6579950 カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6579950

(24)【登録日】2019年9月6日

(45)【発行日】2019年9月25日

(54)【発明の名称】カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20190912BHJP

   G06T 1/00 20060101ALI20190912BHJP

【ＦＩ】

   G06T7/60

   G06T1/00 340B

【請求項の数】14

【全頁数】17

(21)【出願番号】特願2015-252655(P2015-252655)

(22)【出願日】2015年12月24日

(65)【公開番号】特開2017-117244(P2017-117244A)

(43)【公開日】2017年6月29日

【審査請求日】2018年3月6日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】小林 達也

(72)【発明者】

【氏名】加藤 晴久

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００４−０７２６２８（ＪＰ，Ａ）

【文献】 特開２００９−２１１１２２（ＪＰ，Ａ）

【文献】 特開２０１３−１４９１４６（ＪＰ，Ａ）

(57)【特許請求の範囲】

【請求項1】

カメラによる撮影画像の中から人物を検出する画像解析装置であって
前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
前記撮影画像から、前景領域を抽出する前景領域抽出手段と、
前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する人物領域検出手段と
を有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする画像解析装置。

【請求項2】

前記人物領域候補記憶手段は、１人の人物に対して、足元から又は頭部から遮蔽されることによって前記撮影画像に映るであろう異なる遮蔽状態を、異なる面積の複数の異なる人物領域候補を対応付けて記憶する
ことを特徴とする請求項１に記載の画像解析装置。

【請求項3】

前記前景領域抽出手段は、前記撮影画像から、背景差分によって前記前景領域を抽出することを特徴とする請求項１又は２に記載の画像解析装置。

【請求項4】

人物領域候補記憶手段は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた重み係数を付与し、
前記人物領域検出手段は、前記人物領域候補とマッチングさせる際に、前記重み係数に応じて、前記前景領域に類似する人物領域を検出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像解析装置。

【請求項5】

前記人物領域検出手段は、検出された人物領域が、複数の前景領域を包含する場合、複数の前景領域を統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補と改めてマッチングさせて検出する
ことを特徴とする請求項１から４のいずれか１項に記載の画像解析装置。

【請求項6】

前記人物領域検出手段は、人物領域候補との類似度が閾値以下となった第１の前景領域についても、第１の前景領域と最も類似度の高い人物領域候補の全身領域が、他の第２の前景領域を包含する場合に、第１の前景領域と第２の前景領域とを統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補と改めてマッチングさせて検出する
ことを特徴とする請求項１から５のいずれか１項に記載の画像解析装置。

【請求項7】

前記人物領域候補記憶手段の中で、前記足元位置毎に、前記人物領域検出手段によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補を除外するべく、人物領域候補を絞り込む人物領域候補除外手段を更に有する
ことを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。

【請求項8】

前記人物領域候補除外手段は、
前記人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットし、
当該タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を全て元に復活させる
ことを特徴とする請求項７に記載の画像解析装置。

【請求項9】

前記カメラは、広い画角を１フレームとして撮影するパノラマカメラであり、
前記撮影画像によれば、異なる足元位置に映る人物領域は、同１人物であっても、異なる輪郭画像として映る
ことを特徴とする請求項１から８のいずれか１項に記載の画像解析装置。

【請求項10】

前記人物領域候補記憶手段は、前記撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を前記足元位置として、前記人物領域候補に対応させて記憶する
ことを特徴とする請求項１から９のいずれか１項に記載の画像解析装置。

【請求項11】

前記人物領域検出手段は、前景領域Ａ１と、比較すべき人物領域候補Ａ２とを重畳し、その包含領域Ａ１∪Ａ２に対する重複領域Ａ１∩Ａ２の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出する
ことを特徴とする請求項１から１０のいずれか１項に記載の画像解析装置。

【請求項12】

前記人物領域候補記憶手段は、前記人物領域候補毎に、前記撮影画像（ピクセル画像）における中心座標及び面積を対応付けて記憶しており、
前記人物領域検出手段は、前記前景領域の中心座標及び面積と、前記人物領域候補の中心座標及び面積とを比較して、類似する前記人物領域を検出する
ことを特徴とする請求項１から１１のいずれか１項に記載の画像解析装置。

【請求項13】

カメラによる撮影画像の中から人物を検出する装置に搭載されたコンピュータを機能させるプログラムであって、
前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
前記撮影画像から、前景領域を抽出する前景領域抽出手段と、
前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する人物領域検出手段と
してコンピュータを機能させ、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする画像解析用のプログラム。

【請求項14】

カメラによる撮影画像の中から人物を検出する装置の画像解析方法であって、
前記装置は、前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶部を有し、
前記装置は、
前記撮影画像から、前景領域を抽出する第１のステップと、
前記前景領域に類似する人物領域を、前記人物領域候補記憶部の前記人物領域候補とマッチングさせて検出する第２のステップと
を実行し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする装置の画像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの撮影画像に映る人物を検出する画像解析技術に関する。

【背景技術】

【0002】

従来、カメラによる撮影画像を解析し、その撮影画像に映る人物を検出する技術がある。このような技術は、例えば所定の撮影対象範囲における人の混雑度調査や、動線解析、監視のための不審者検知等に利用される。撮影画像内に人物の全身がはっきりと写る場合、比較的容易に人物を検出することができる。しかしながら、実際の利用シーンでは、障害物による遮蔽（オクルージョン）によって、人物を検出することができないことも多い。

【0003】

これに対し、撮影対象範囲を複数のカメラを用いて撮影し、重複して撮影された視差画像から人物領域を検出する技術がある（例えば特許文献１参照）。
また、複数のカメラからの視差に応じて、人物頭部のテンプレート画像のサイズを変更し、人物の検出精度を高める技術もある（例えば特許文献２参照）。
更に、複数のカメラを用いることなく、人物同士が重なる遮蔽領域について輝度変化から各人物頭部の位置を特定し、身長（例えば標準的な人物の身長）を仮定して足元位置を推定する技術がある（例えば特許文献３参照）。
更に、画像中の人物頭部の位置と、足元位置と、カメラパラメータとを用いて、その人物の身長を推定し、一時的に障害物に遮蔽された場合に、遮蔽されていない足元又は頭部から遮蔽領域を推定する技術もある（例えば特許文献４参照）。
更に、カメラパラメータを用いて、撮影範囲内の各位置に人物の３次元モデルを投影することによって、各位置に対応した人物の輪郭モデルを作成し、各輪郭モデルと撮影画像とをマッチングすることによって人物位置を検出する技術もある（例えば特許文献５参照）。尚、投影時に、障害物の３次元モデルを併用することによって、遮蔽を考慮した輪郭モデルを作成することもできる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許４９７０１９５号公報

【特許文献2】特許４５１６５１６号公報

【特許文献3】特開２０１４−２２９０６８号公報

【特許文献4】特開２０１０−２３７８７２号公報

【特許文献5】特開２００９−２８２７４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１及び２に記載の技術によれば、複数のカメラが重複して撮影できない領域については、遮蔽に対してロバストな人物検出を実現することはできない。また、撮影対象範囲が広くなるほど、複数のカメラで重複して撮影できるようにするためには、カメラの設置コストも問題となる。
特許文献３に記載の技術によれば、異なる動き方の人物同士が重なる遮蔽領域にしか対応することができず、同じ動き方や、障害物による遮蔽に対しては、人物の足元位置を検出することができない。
特許文献４に記載の技術によれば、遮蔽の発生前に人物の全身が検出されていることが前提となっている。即ち、最初から人物が遮蔽されている場合、その人物の全身が撮影されない限り検出することができない。
特許文献５に記載の技術によれば、障害物の３次元モデルが事前に取得されている必要があり、撮影対象範囲における障害物の位置が未知の場合には適用できない。

【0006】

そこで、本発明は、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる画像解析装置、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明によれば、カメラによる撮影画像の中から人物を検出する画像解析装置であって
カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
撮影画像から、前景領域を抽出する前景領域抽出手段と、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段と
を有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。

【0008】

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、１人の人物に対して、足元から又は頭部から遮蔽されることによって撮影画像に映るであろう異なる遮蔽状態を、異なる面積の複数の異なる人物領域候補を対応付けて記憶することも好ましい。

【0009】

本発明の画像解析装置における他の実施形態によれば、
前景領域抽出手段は、撮影画像から、背景差分によって前景領域を抽出することも好ましい。

【0010】

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた重み係数を付与し、
人物領域検出手段は、人物領域候補とマッチングさせる際に、重み係数に応じて、前景領域に類似する人物領域を検出する
ことも好ましい。

【0011】

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、検出された人物領域が、複数の前景領域を包含する場合、複数の前景領域を統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補と改めてマッチングさせて検出することも好ましい。

【0012】

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、人物領域候補との類似度が閾値以下となった第１の前景領域についても、第１の前景領域と最も類似度の高い人物領域候補の全身領域が、他の第２の前景領域を包含する場合に、第１の前景領域と第２の前景領域とを統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補と改めてマッチングさせて検出することも好ましい。

【0013】

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段の中で、足元位置毎に、人物領域検出手段によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補を除外するべく、人物領域候補を絞り込む人物領域候補除外手段を更に有することも好ましい。

【0014】

本発明の画像解析装置における他の実施形態によれば、
人物領域候補除外手段は、
人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットし、
当該タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を全て元に復活させることも好ましい。

【0015】

本発明の画像解析装置における他の実施形態によれば、
カメラは、広い画角を１フレームとして撮影するパノラマカメラであり、
撮影画像によれば、異なる足元位置に映る人物領域は、同１人物であっても、異なる輪郭画像として映ることも好ましい。

【0016】

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を足元位置として、人物領域候補に対応させて記憶することも好ましい。

【0017】

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、前景領域Ａ１と、比較すべき人物領域候補Ａ２とを重畳し、その包含領域Ａ１∪Ａ２に対する重複領域Ａ１∩Ａ２の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出することも好ましい。

【0018】

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、人物領域候補毎に、撮影画像（ピクセル画像）における中心座標及び面積を対応付けて記憶しており、
人物領域検出手段は、前景領域の中心座標及び面積と、人物領域候補の中心座標及び面積とを比較して、類似する人物領域を検出する
ことも好ましい。

【0019】

本発明によれば、カメラによる撮影画像の中から人物を検出する装置に搭載されたコンピュータを機能させるプログラムであって、
カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
撮影画像から、前景領域を抽出する前景領域抽出手段と、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段と
してコンピュータを機能させ、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。

【0020】

本発明によれば、カメラによる撮影画像の中から人物を検出する装置の画像解析方法であって、
装置は、カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶部を有し、
装置は、
撮影画像から、前景領域を抽出する第１のステップと、
前景領域に類似する人物領域を、人物領域候補記憶部の人物領域候補とマッチングさせて検出する第２のステップと
を実行し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。

【発明の効果】

【0021】

本発明の画像解析装置、プログラム及び方法によれば、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる。

【図面の簡単な説明】

【0022】

【図1】本発明における画像解析装置の機能構成図である。

【図2】天井の全方位カメラからの撮影画像図である。

【図3】天井の全方位カメラからの撮影画像と、遮蔽された人物の位置との関係を表す説明図である。

【図4】天井の全方位カメラからの撮影画像と、人物の足元位置との関係を表す説明図である。

【図5】人物領域候補記憶部に記憶された人物領域候補及び足元位置を表す説明図である。

【図6】図２の撮影画像から背景差分によって抽出した前景領域を表す画像図である。

【図7】前景領域と人物領域候補とのマッチングを表す説明図である。

【図8】図２の撮影画像から検出された人物の足元位置を表す説明図である。

【図9】前景領域と人物領域候補との重複面積に基づく類似度を表す説明図である。

【図10】複数の前景領域を統合した統合前景領域を表す撮影画像図である。

【図11】人物領域候補記憶部の中で、除外された人物領域候補を表す説明図である。

【図12】除外された人物領域候補を修正する過程を表す説明図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0024】

図１は、本発明における画像解析装置の機能構成図である。

【0025】

画像解析装置１は、１台のカメラによる撮影画像の中から人物を検出する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの（例えばライブ映像）であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。

【0026】

カメラは、何ら限定されることなく、既存のものであってもよい。人物の足元位置を検出することを目的とする場合、例えば広い画角を１フレームとして撮影するパノラマカメラであることも好ましい。具体的には、室内の天井から床面全域を撮影することができる全方位カメラであってもよい。

【0027】

図２は、天井の全方位カメラからの撮影画像図である。
図３は、天井の全方位カメラからの撮影画像と、遮蔽された人物の位置との関係を表す説明図である。
図４は、天井の全方位カメラからの撮影画像と、人物の足元位置との関係を表す説明図である。

【0028】

全方位カメラの撮影画像によれば、異なる足元位置に映る人物領域は、同１人物であっても、異なる輪郭画像として映る。また、カメラから見た視線上に障害物が介在することによって、人物領域について足元から又は頭部からその一部が遮蔽される場合がある。即ち、障害物によって、撮影画像に映るであろう人物領域の遮蔽状態も異なるものとなる。

【0029】

図３及び図４によれば、人物Ａは、全身が撮影画像に映っている。人物Ｂは、床に設置された障害物によって、頭部以外の部分が遮蔽されて撮影画像に映っていない。また、人物Ｃは、天井から下がった障害物によって、頭部が遮蔽されて撮影画像に映っていない。

【0030】

本発明の画像解析装置は、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置をロバストに検出することができる。画像解析装置１は、人物領域候補記憶部１０と、前景領域抽出部１１と、人物領域検出部１２と、人物領域除外部１３と、足元位置抽出部１４とを有する。これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。

【0031】

［人物領域候補記憶部１０］
人物領域候補記憶部１０は、カメラによって撮影可能な撮影対象範囲における「足元位置」と、当該足元位置の人物が撮影画像に映るであろう「人物領域候補」とを対応付けて記憶したものである。撮影対象範囲で人物が存在し得る全ての足元位置に、様々な遮蔽状態の人物モデルを投影した、異なる複数の人物領域候補を予め作成しておく。

【0032】

「人物領域候補」とは、撮影対象範囲における各足元位置に人物が存在した場合に、撮影画像中で当該人物が占めると想定される、遮蔽状態に応じた輪郭画像である。人物領域候補は、事前に、遮蔽状態に応じた人物の３次元モデルを、足元位置とカメラパラメータとを用いて撮影画像中に投影して作成したものであってもよい。一方で、障害物の３次元モデルを不要とすることができる。

【0033】

図５は、人物領域候補記憶部に記憶された人物領域候補及び足元位置を表す説明図である。

【0034】

人物領域候補記憶部１０は、１人の人物に対して、足元から又は頭部から遮蔽されることによって撮影画像に映るであろう異なる遮蔽状態を、異なる面積の異なる人物領域候補として対応付けて記憶する。例えば「足元（下半身）から３０％が遮蔽」や「頭部（上半身）から６０％が遮蔽」と表すこともできる。

【0035】

「足元位置」とは、撮影画像中の足元のピクセル座標から、カメラパラメータを用いて撮影シーンの３次元座標に変換したものである。例えば撮影対象範囲（パノラマカメラによる俯瞰地図）中の所定位置を原点とした絶対座標を表す。人物の足元位置を特定することによって、人物の混雑度だけでなく、回遊傾向を推定することもできる。

【0036】

人物領域候補記憶部１０は、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を足元位置として、人物領域候補に対応させて記憶するものであってもよい。カメラパラメータ及び／又はキャリブレーションパラメータは、事前にキャリブレーションによって取得された公知のものである。これらパラメータは、基本的に撮影中には変化しないと想定しているが、複数種類のパラメータを事前に用意するか、公知の動的キャリブレーション技術を用いて、内部パラメータの動的変化（パン・チルト・ズームなどの変化）や、移動カメラに適用することもできる。

【0037】

また、他の実施形態によれば、人物領域候補記憶部１０は、人物領域候補毎に、撮影画像（ピクセル画像）における中心座標及び面積を対応付けて記憶することも好ましい。

【0038】

［前景領域抽出部１１］
前景領域抽出部１１は、撮影画像から、例えば背景差分技術やフレーム差分技術等を用いて、前景領域を抽出する。

【0039】

図６は、図２の撮影画像から背景差分によって抽出した前景領域を表す画像図である。

【0040】

「背景差分(background subtraction)」とは、現時刻の撮影画像と過去時刻の撮影画像とを比較して、過去時刻の撮影画像に映らない物体を抽出する技術をいう。このとき、過去時刻の撮影画像を背景画像と称す。また、背景画像に存在しない物体が占める領域を「前景領域」、それ以外を「背景領域」と称す。具体的には、事前に過去の複数枚の撮影画像から背景画像を作成しておき、その差分となる前景領域を抽出することも好ましい。前景領域には、静止物体は映り込むことなく除外され、人物のような移動物体のみが映り込む。

【0041】

［人物領域検出部１２］
人物領域検出部１２は、前景領域に類似する人物領域を、人物領域候補記憶部１０の人物領域候補とマッチングさせて検出する。例えば前景領域と人物領域候補とを比較して、類似度が最も高い人物領域候補を検出するものであってもよい。そして、検出された人物領域候補における足元位置を、その人物の位置として検出する。

【0042】

図７は、前景領域と人物領域候補とのマッチングを表す説明図である。
図７によれば、前景領域は、１人の人物の全身に対して一部遮蔽されている。このとき、その前景領域に対して、下半身３０％遮蔽の人物領域候補が最も類似度が高いものであるとしてマッチングされている。そして、その人物領域候補の足元位置が検出される。

【0043】

図８は、図２の撮影画像から検出された人物の足元位置を表す説明図である。
図８によれば、前景領域から抽出された人物領域候補毎に、撮影対象範囲に足元位置が対応付けられる。

【0044】

＜重み係数の利用＞
他の実施形態として、人物領域検出部１２は、人物領域候補とマッチングさせる際に、重み係数に応じて、前景領域に類似する人物領域を検出することも好ましい。人物領域候補記憶部１０は、同一の足元位置に対応付けられた複数の異なる人物領域候補毎に、異なる重み係数を付与する。重み係数は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた割合を意味する。

【0045】

例えばパノラマカメラ２が室内の天井に設置された場合、天井から下がる物体が無い室内であれば、人物の頭部が撮影画像に映る割合は高いと想定することができる。この場合、上半身が映り且つ下半身が遮蔽された人物領域候補ほど、重み係数Ｗを高くする。
例えば図５によれば、重み係数Ｗを以下のような大きさで設定する。
Ｗ1a ＞ Ｗ1b ＞ Ｗ1d ＞ Ｗ1c ＞ Ｗ1e
（全身） （上半身）（頭部） （下半身）（足元）
そして、人物領域検出部１２は、前景領域を、重み係数が高い人物領域候補から順に、マッチングさせて検出する。そのために、前景領域が、全身の人物領域候補とマッチングしなくても、頭部のみが映る人物領域候補を、足元のみが映る人物領域候補よりも優先的に検出する。

【0046】

勿論、逆に、頭部が映る人物領域候補よりも、足元が映る人物領域候補を優先的に検出するものであってもよい。また、遮蔽面積が小さい人物領域候補ほど重み係数を大きく設定し、遮蔽面積が大きい人物領域候補ほど重み係数を小さく設定することも有効である。これらは、カメラ位置と障害物との関係によって決定される。
同一の足元位置における複数の人物領域候補の重み係数は、室内環境に応じて、オペレータ自ら設定するものであってもよい。

【0047】

＜面積を利用した類似度＞
他の実施形態として、人物領域検出部１２は、前景領域と人物候補領域の重複度を用いて、人物領域を検出することも好ましい。人物領域検出部１２は、前景領域Ａ１と、比較すべき人物領域候補Ａ２とを重畳し、その論理和領域の面積Ａ１∪Ａ２に対する論理積（重複）領域の面積Ａ１∩Ａ２の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出する。
類似度＝（Ａ１∩Ａ２）／（Ａ１∪Ａ２）
類似度が最も高い人物領域候補を検出する。

【0048】

図９は、前景領域と人物領域候補との重複面積に基づく類似度を表す説明図である。

【0049】

図９（ａ）によれば、人物領域候補の中で、遮蔽がない全身領域同士の重複面積を算出している。図９（ｂ）によれば、人物領域候補の中で、頭部（頭部以外が遮蔽状態）領域同士の重複面積を算出している。
このように、本発明によれば、前景領域に映る人物領域の一部が遮蔽状態であっても、その遮蔽状態に対応した人物領域候補を検出することができる。

【0050】

＜中心座標及び面積を利用した類似度＞
他の実施形態として、人物領域検出部１２は、前景領域の中心座標及び面積と、人物領域候補の中心座標及び面積とを比較して、類似する人物領域を検出することも好ましい。

【0051】

人物領域候補記憶部１０は、事前に、全ての人物領域候補について、その中心座標と面積を、木構造又はハッシュ等でインデクシング（構造化）しておくことも好ましい。これによって、中心座標と面積が類似する人物領域候補を高速に検索することができる。

【0052】

＜複数の前景領域の統合＞
公知の背景差分法を用いた場合、人物の服装や背景の色によっては、人物領域が単一の前景領域ではなく、複数の前景領域に分割されて映り込むことが起こりうる。その場合、人物領域検出部１２は、複数の前景領域を統合した統合前景領域を生成し、その統合前景領域と人物領域候補とをマッチングして、人物領域を検出することが好ましい。

【0053】

図１０は、複数の前景領域を統合した統合前景領域を表す撮影画像図である。

【0054】

図１０（ａ）は、全方位カメラによって撮影された撮影画像を表す。
図１０（ｂ）は、図１０（ａ）の撮影画像に対して抽出された２つの前景領域Ａ及びＢを表す。ここでは、前景領域Ａ及びＢを別々に、人物領域候補とマッチングするために、人物領域Ａ及びＢが検出されている。このような場合、過検出によって人物検出精度が劣化することとなる。
図１０（ｃ）は、図１０（ｂ）の前景領域Ａ及びＢを統合した統合前景領域Ｃと、人物領域候補とをマッチングすることによって、人物領域ａが検出されている。このように、１人の人物が複数の前景領域で映り込んだ際に、前景領域を統合することによって正当な１つの人物領域を検出することができる。

【0055】

統合前景領域を用いた実施形態として、以下の２つの実施形態がある。
（第１の実施形態）
人物領域検出部１２は、検出された人物領域（マッチングされた人物領域候補における、遮蔽部分も含めた全身領域）が、複数の前景領域を包含する場合、それら複数の前景領域を統合した統合前景領域を生成する。そして、その統合前景領域と、人物領域候補記憶部１０の人物領域候補と改めてマッチングして、人物領域を検出する。

【0056】

具体的には例えば、前景領域Ａから検出された人物領域ａが、他の前景領域Ｂを包含する場合に、前景領域Ａと前景領域Ｂとを統合した統合前景領域Ｃを生成する。勿論、統合される前景領域Ｂは、複数であってもよい。そして、統合前景領域Ｃと人物領域候補とをマッチングして、改めて人物領域ａを検出することができる。これにより、人物領域ｂが検出されず、人物の誤検出を抑止することができる。

【0057】

人物領域ａによる前景領域Ｂの包含を判定する具体的な方法として、人物領域ａの面積と前景領域Ｂの面積との論理積領域ａ∩Ｂを用いて、以下の式によって「包含率」を算出する。その包含率が閾値以上の場合に、包含すると判定することができる。
包含率＝ａ∩Ｂ／Ｂ
又は、人物領域ａが前景領域Ｂの重心点を包含する場合に、人物領域ａによる前景領域Ｂの包含率を算出し、閾値以上の場合に包含すると判定してもよい。

【0058】

前景領域Ａと前景領域Ｂとを統合する具体的な方法として、前景領域Ａと前景領域Ｂとの「凸包(convex hull)」を算出し、凸包領域を前景領域Ｃとすることができる。凸包領域は、例えば「ギフト包装法」等で算出することができる。凸包とは、与えられた集合を含む最小の凸集合である。例えばユークリッド平面内の有界な点集合Ｘについて、その凸包は直観的にはＸを包んだゴム膜が作る図形として視認することができる。

【0059】

（第２の実施形態）
１人の人物が複数の前景領域として分割して映り込んだ結果、人物領域候補との類似度が低下し、人物領域として検出されず、検出率が劣化することも起こりうる。ここで、第２の実施形態によれば、検出結果に含まれる人物領域は、必ずしも単一の前景領域が特定の人物領域候補とマッチングされた結果として検出される必要はない。
具体的には、人物領域検出部１２によれば、人物領域候補との類似度が閾値以下となった前景領域Ｄを検出していたとする。このとき、前景領域Ｄと最も類似度の高い人物領域候補の全身領域が、他の前景領域Ｅを包含する場合に、前景領域Ｄと前景領域Ｅとを統合した統合前景領域Ｆを試みる。統合前景領域Ｆと、人物領域候補記憶部１０の人物領域候補とを改めてマッチングさせることで、人物領域ａを検出してもよい。
統合前景領域Ｆと類似する人物領域候補が存在しない場合、具体的には、統合前景領域Ｆと最も類似する人物領域候補との間の類似度が所定閾値以下の場合については、統合前景領域Ｆ及び前景領域Ｄ、前景領域Ｅはいずれも、人物領域として検出しないようにする。

【0060】

［人物領域除外部１３］
人物領域除外部１３は、人物領域候補記憶部１０の中で、足元位置毎に、人物領域検出部１２によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補を除外するべく、人物領域候補を絞り込むものである。

【0061】

人物領域候補記憶部１０は、撮影対象範囲における撮影画像の全ての足元位置について、複数の異なる人物領域候補を対応付けている。
しかし、人物の全身が映る足元位置には、遮蔽された複数の人物領域候補を用意しておく必要もない。また、障害物の位置によっては、実際には絶対に撮影画像に映らない人物領域候補を記憶しておく必要もない。更に、複数の遮蔽状態に基づく異なる人物領域候補の数が多くなるほど、異なる足元位置に存在するにも拘わらず、類似度が高い複数の人物領域候補が検出されることとなる。
即ち、検索対象となる人物領域候補の数が多いほど、計算リソースが必要となり、人物領域候補の検出精度を向上させることも難しい。

【0062】

図１１は、人物領域候補記憶部の中で、除外された人物領域候補を表す説明図である。

【0063】

図１１によれば、人物領域候補記憶部１０の中で、人物領域検出部１２によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補が除外されている。これによって、障害物によって映る実際の撮影画像に適合させる。
図１１について人影が黒い部分は、全身の人物領域候補のみが記憶されており、それよりも面積が小さい人物領域候補は除外されている。
一方で、人影が破線で遮蔽された部分は、遮蔽状態の人物領域候補よりも面積が小さい人物領域候補のみが除外されている。即ち、全身の人物領域候補は記憶されている。

【0064】

例えば前述した図３のように、人物Ａについて撮影画像に全身が映っている場合、遮蔽される障害物が無いとして、遮蔽無しの全身の人物領域候補（足元位置Ｘ１）以外は全て、人物領域候補から除外される。全身の人物領域候補は、他の人物領域候補よりも遮蔽部分は必ず小さい（人物領域の面積が大きい）ためである。足元位置Ｘ１では、誤って遮蔽された人物領域候補が検出されることがなくなる。

【0065】

また、人物Ｂについて撮影画像に頭部しか映っていない場合、下半身６０％遮蔽の人物領域候補（足元位置Ｘ２）よりも面積が小さい人物領域候補は全て、人物領域候補から除外される。
同様に、人物Ｃについて撮影画像に足元しか映っていない場合、上半身６０％遮蔽の人物領域候補（足元位置Ｘ３）よりも面積が小さい人物領域候補は全て、人物領域候補から除外される。

【0066】

図１２は、除外された人物領域候補を修正する過程を表す説明図である。

【0067】

図１２（ａ）によれば、前述した図３と同様に、人物領域候補記憶部１０は、足元位置Ｘ１（人物Ａ）については、全身の人物領域候補以外は全て、人物領域候補から除外する。また、足元位置Ｘ２（人物Ｂ）については頭部の領域よりも小さい人物領域候補を除外する。更に、足元位置Ｘ３（人物３）については足元の領域よりも小さい人物領域候補を除外する。

【0068】

図１２（ｂ）によれば、床に設置されていた障害物が移動したとする。このとき、前景領域には、足元位置Ｘ２については全身の人物領域が映り込む。この場合、足元位置Ｘ２については全身の人物領域候補がマッチングされ、その人物領域候補よりも小さい人物領域候補は、雑音領域として除外される。

【0069】

図１２（ｃ）によれば、更に天井から下がっていた障害物が移動したとする。このとき、前景領域には、足元位置Ｘ３については全身の人物領域が映り込む。この場合、足元位置Ｘ３については全身の人物領域候補がマッチングされ、その人物領域候補よりも小さい人物領域候補は、無効（不要）な人物領域候補として除外される。

【0070】

＜人物領域候補の追加＞
図１２に基づく人物領域候補の修正は、障害物が除去された場合について説明した。一方で、障害物が新たに設置された場合、その障害物によって遮蔽される人物領域候補をマッチングすることができない。即ち、障害物が無いとして全身の人物領域候補のみを記憶しているものの、その後、新たに障害物が撮影対象領域に設置される場合がある。

【0071】

そこで、人物領域候補除外部１３は、障害物の存在によって人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットする。タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を、全身も含めて元に復活させる。これによって、障害物が移動して、全身の人物領域が撮影画像に映り込む場合には、改めて全身の人物領域候補とマッチングすることができる。即ち、人物領域候補除外部１３は、所定時間だけ人物領域候補を除外するように制御することによって、障害物の変化に対応することができるようにする。

【0072】

［足元位置抽出部１４］
足元位置抽出部１４は、オプション的なものであって、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した、撮影対象範囲における絶対座標を、足元位置として抽出する。この場合、人物領域候補記憶部１０は、足元位置をカメラパラメータによって特定することなく、単なるピクセル画像とすることができる。

【0073】

以上、詳細に説明したように、本発明の画像解析装置、プログラム及び方法によれば、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる。

【0074】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0075】

１ 画像解析装置
１０ 人物領域候補記憶部
１１ 前景領域抽出部
１２ 人物領域検出部
１３ 人物領域除外部
１４ 足元位置抽出部
２ 全方位カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】