特許 5976198 人数計数装置および人数計数方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5976198

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月23日

(54)【発明の名称】人数計数装置および人数計数方法

(51)【国際特許分類】

   G06M 11/00 20060101AFI20160809BHJP

【ＦＩ】

   G06M11/00 D

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2015-508305(P2015-508305)

(86)(22)【出願日】2014年3月14日

(86)【国際出願番号】JP2014056954

(87)【国際公開番号】WO2014156733

(87)【国際公開日】20141002

【審査請求日】2015年9月17日

(31)【優先権主張番号】特願2013-63652(P2013-63652)

(32)【優先日】2013年3月26日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】伊藤 渡

【審査官】 吉田 久

(56)【参考文献】

【文献】 特開２０１２−１１８７９０（ＪＰ，Ａ）

【文献】 特開２００４−２８０４５１（ＪＰ，Ａ）

【文献】 特開２０１０−１９８５６６（ＪＰ，Ａ）

【文献】 特開平１１−２９６６５３（ＪＰ，Ａ）

【文献】 特開２０１２−２１２９６９（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１２４１４６（ＷＯ，Ａ１）

【文献】 特開平１１−２５９６２５（ＪＰ，Ａ）

【文献】 特開２０１１−２０６５６（ＪＰ，Ａ）

【文献】 特開平９−２８２４５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｍ ７／００−１５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

対象領域を上方から撮影した平面画像からエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジに基づいて、前記平面画像に含まれる円の候補を検出する円候補検出手段と、
前記円候補検出手段により検出された円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定手段と、
前記人物判定手段により人物の頭部であると判定された円の候補を計数する人数計数手段と、
を備えたことを特徴とする人数計数装置。

【請求項2】

前記人物判定手段は、前記円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いに加えて輝度勾配の方向の分布が円の中心から放射状に分布する度合いを算出し、各エッジ画素に係る輝度勾配の大きさのばらつき度合いと、輝度勾配の方向の分布が円の中心から放射状に分布する度合いとの算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する、
ことを特徴とする請求項１に記載の人数計数装置。

【請求項3】

対象領域を上方から撮影した平面画像及び前記平面画像の背景画像からエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジに基づいて、前記平面画像及び前記背景画像に含まれる円の候補を検出する円候補検出手段と、
前記円候補検出手段により検出された円の候補の内、前記平面画像に含まれる円の候補から前記背景画像に含まれる円の候補を除いた円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定手段と、
前記人物判定手段により人物の頭部であると判定された円の候補を計数する人数計数手段と、
を備えたことを特徴とする人数計数装置。

【請求項4】

対象領域を上方から撮影した平面画像からエッジを抽出するエッジ抽出処理と、
前記エッジ抽出処理により抽出されたエッジに基づいて、前記平面画像に含まれる円の候補を検出する円候補検出処理と、
前記円候補検出処理により検出された円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定処理と、
前記人物判定処理により人物の頭部であると判定された円の候補を計数する人数計数処理と、
を備えたことを特徴とする人数計数方法。

【請求項5】

前記人物判定処理は、前記円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いに加えて輝度勾配の方向の分布が円の中心から放射状に分布する度合いを算出し、各エッジ画素に係る輝度勾配の大きさのばらつき度合いと、輝度勾配の方向の分布が円の中心から放射状に分布する度合いとの算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する、
ことを特徴とする請求項４に記載の人数計数方法。

【請求項6】

対象領域を上方から撮影した平面画像及び前記平面画像の背景画像からエッジを抽出するエッジ抽出処理と、
前記エッジ抽出処理により抽出されたエッジに基づいて、前記平面画像及び前記背景画像に含まれる円の候補を検出する円候補検出処理と、
前記円候補検出処理により検出された円の候補の内、前記平面画像に含まれる円の候補から前記背景画像に含まれる円の候補を除いた円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定処理と、
前記人物判定処理により人物の頭部であると判定された円の候補を計数する人数計数処理と、
を備えたことを特徴とする人数計数方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象領域に存在する人物の人数を計数する人数計数装置に関する。

【背景技術】

【0002】

従来の人数計数装置では、例えば、赤外線センサなどにより人物の有無を検知し、人物が存在した場合に装置内に設けたカウンタを増加させることで対象領域内の人物の数を計測することが行なわれる。

【0003】

また、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などといった固体撮像素子を搭載した撮像装置によって対象領域を撮像した画像（入力画像）を画像処理し、入力画像中の所定の物体を自動的に検出し、当該物体の位置や移動経路といった属性情報を基に何人の人物が存在するかを測定し、装置内に設けたカウンタを増加させることで対象領域内の人物の数を計測することが行なわれる。

【0004】

一例として、特許文献１には、人を撮像した場合に画像の各部において期待される頭部の大きさ（頭部モデルの大きさに対するエッジの割合）に応じた頭部モデルを位置をずらしつつ設定し、設定された頭部モデルに基づいて、画像に含まれる人の頭部を抽出し、動画像に含まれる複数の画像の間で抽出された頭部を互いに関連付け、互いに関連付けられた頭部の軌跡の本数に基づいて、所定の条件（時間、領域）に該当する動画像に含まれる人数を計数する人数計数装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−１９８５６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したような人数計数装置では、例えば赤外線センサによる方式であれば、人物の移動方向を認識していないので特定方向のみに移動する人物を計数することができなかったり、例えば画像処理手段による方式であれば、視野内に複数人物が重なって映った場合に正確な人数を計数することができなかったりする問題があった。

【0007】

本発明は、このような従来の事情に鑑みて為されたもので、画像中に含まれる人物を精度よく計数することが可能な技術を提案することを目的とする。

【課題を解決するための手段】

【0008】

本発明では、上記目的を達成するために、人数計数装置を以下のように構成した。 すなわち、本発明に係る人数計数装置では、対象領域の平面画像からエッジを抽出するエッジ抽出手段と、エッジ抽出手段により抽出されたエッジに基づいて、平面画像に含まれる円の候補を検出する円候補検出手段と、円候補検出手段により検出された円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有する円の候補を人物の頭部であると判定する人物判定手段と、人頭部判定手段により人物の頭部であると判定された円の候補を計数する人数計数手段と、を備えた。

【0009】

このような構成によれば、対象領域の平面画像に含まれる円の候補について、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度から、当該円の候補が人物の頭部のような円形らしさを持つか否かを効果的に判断でき、平面画像に含まれる人物の人数を精度よく計数することが可能となる。

【0010】

ここで、第１の例として、人物判定手段は、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いを算出し、この算出結果を所定の閾値と比較することで、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有するかを判断することとする。 これは、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向に着目し、各エッジ画素に係る輝度勾配が放射状に分布する度合いが高いもの（円形らしさが高いもの）を人物の頭部と判定するものである。

【0011】

また、第２の例として、人物判定手段は、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有するかを判断することとする。 これは、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさに着目し、各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低いもの（円形らしさが高いもの）を人物の頭部と判定するものである。

【発明の効果】

【0012】

本発明によれば、対象領域の平面画像に含まれる円の候補について、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度から、当該円の候補が人物の頭部のような円形らしさを持つか否かを効果的に判断でき、平面画像に含まれる人物の人数を精度よく計数することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る人数計数装置を適用した監視装置の構成例を示す図である。

【図2】本発明に係る人数計数処理のフローチャートの例を示す図である。

【図3】（ａ）は入力画像の例を示す図であり、（ｂ）はエッジ画像の例を示す図である。

【図4】（ａ）はｉ番目のエッジ画素（ｘi、ｙi）を通る円の例であり、（ｂ）はｉ番目のエッジ画素（ｘi、ｙi）を通る円の分布を３次元ハフ空間で表現した例である。

【図5】（ａ）は各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが高い円の候補の例を示す図であり、（ｂ）は前記分布の度合いが低い円の候補の例を示す図である。

【図6】（ａ）は各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低い円の候補の例を示す図であり、（ｂ）は前記ばらつきの度合いが高い円の候補の例を示す図である。

【図7】本発明に係る人数計数処理のフローチャートの他の例を示す図である。

【発明を実施するための形態】

【0014】

本発明の一実施形態について図面を参照して説明する。 図１には、本発明に係る人数計数装置を適用した監視装置の構成例を示してある。 本例の監視装置は、撮像装置１０１と、映像入力回路１０２と、画像処理プロセッサ１０３と、プログラムメモリ１０４と、ワークメモリ１０５と、外部Ｉ／Ｆ回路１０６と、映像出力回路１０７と、データバス１０８と、指示装置１０９と、表示装置１１０を有している。 また、映像入力回路１０２と、画像処理プロセッサ１０３と、プログラムメモリ１０４と、ワークメモリ１０５と、外部Ｉ／Ｆ回路１０６と、映像出力回路１０７は、データバス１０８に接続されている。 撮像装置の構成としては、本例の構成の他にも、撮像装置制御のための装置や、各種外部記録装置等の構成要素を持つものも存在するが、説明を簡単にするために本例では省略している。

【0015】

撮像装置１０１は、監視の対象となる領域を撮像する。撮像装置１０１により得られた監視領域の映像は、映像入力回路１０２へ与えられ、映像入力回路１０２を介してワークメモリ１０５へ記録される。本例では、監視領域を鉛直上方から見下ろす視点で撮像する。

【0016】

画像処理プロセッサ１０３は、プログラムメモリ１０４に記録されているプログラムに従って、ワークメモリ１０５内に記録された映像を処理し、その処理結果を映像出力回路１０７を介して表示装置１１０へ表示する。また、画像処理プロセッサ１０３は、外部Ｉ／Ｆ回路１０６を介して入力される、例えばマウス、キーボードなど指示装置１０９を使ったオペレータからの指示に基づいて、プログラムのパラメータを変更や修正しながら前記した映像を処理する。また、画像処理プロセッサ１０３は、前記した映像に含まれる人物の人数を計数する人数計数処理を行う。

【0017】

図２には、本例の監視装置による人数計数処理のフローチャートの例を示してある。ここで、鉛直上方から人物を撮影した平面画像における人物の頭部は、図３（ａ）に示すように円形の輪郭を有することに着目し、本例の人数計数処理では、映像から円形の輪郭を有する領域を見つけ出して処理することで、映像に含まれる人物の人数を計数する。

【0018】

本例の人数計数処理では、画像入力ステップ２０１、物体エッジ抽出ステップ２０２、円形領域抽出ステップ２０３、人物特徴量算出ステップ２０４、物体候補判定ステップ２０５、物体追跡・軌跡検出ステップ２０６、軌跡評価・物体カウントステップ２０７、背景学習ステップ２０８を順に繰り返して実行する。

【0019】

画像入力ステップ２０１では、撮像装置１０１で撮像された監視領域の映像中の或る１フレームの画像を取り込み、処理対象の入力画像とする。図３（ａ）は、入力画像の例であり、一人の人物３０３が鉛直上方から映されている。

【0020】

物体エッジ抽出ステップ２０２では、入力画像に含まれる物体のエッジを抽出し、エッジ画像を生成する。図３（ｂ）は、図３（ａ）の入力画像から生成されたエッジ画像の例である。エッジ画像は、エッジを表す所定値を持つエッジ画素と、他の所定値を持つ非エッジ画素とで構成される。

【0021】

円形領域抽出ステップ２０３では、物体エッジ抽出ステップ２０２で生成されたエッジ画像から、円形のエッジ形状（輪郭）を有する領域を特定し、これを円の候補として抽出する。 本例では、以下のように、公知の一般化ハフ変換の技術を用いて、円形のエッジ形状を有する領域を特定する。 すなわち、エッジ画像に含まれるＮ個のエッジ画素のうち、或るｉ番目（ｉは、１〜Ｎの整数）のエッジ画素（ｘi、ｙi）を通る円（点（ｘi、ｙi）を円周上に有する円）を想定する。この円は、図４（ａ）に示すように、中心座標（ｘ、ｙ）及び半径ｒの３つのパラメータで表現することができる。ここで、或るエッジ画素（ｘi、ｙi）を通る円は無数に想定することができ、３つのパラメータ（ｘ、ｙ、ｒ）からなる３次元ハフ空間を用いて表現すれば、エッジ画素（ｘi、ｙi）を通る円のパラメータの分布は、図４（ｂ）に示すような分布となる。そこで、エッジ画像に含まれる全てのエッジ画素（点）について、その位置を通ると想定される円のパラメータの分布を調べ、分布が集中したパラメータを特定することで、円形のエッジ形状を有する領域（円の候補）を検出することができる。

【0022】

具体的には、例えば、３次元ハフ空間上の各座標を表すパラメータ配列ｈ［ｘ］［ｙ］［ｒ］を用意して、全ての値を０に初期化しておく。そして、エッジ画像に含まれる全てのエッジ画素を順に対象とし、その位置を通ると想定される全ての円のパラメータ（ｘ、ｙ、ｒ）に対応するパラメータ配列ｈ［ｘ］［ｙ］［ｒ］を１つずつ加算（投票）していく。全てのエッジ画素について上記の投票を終えたのち、パラメータ配列ｈ［ｘ］［ｙ］［ｒ］の値が大きい順（投票数が多い順）に所定数（例えば、１０個以内）を選び出すことで、円形のエッジ形状を有する領域（円の候補）を検出することができる。

【0023】

図３（ｂ）のエッジ画像を例にすれば、人物の頭部３０２、左肩部３０２、右肩部３０３の各領域は、それぞれ一部又は全部に円形のエッジ形状を有するので、これら３つの各領域が円の候補として検出されることになる。

【0024】

人物特徴量算出ステップ２０４では、円形領域抽出ステップ２０３で抽出された円の候補毎に人物特徴量を算出する。この人物特徴量は、円の候補（円形のエッジ形状を有する領域）が人物の頭部らしさをどの程度有するかを表す指標である。

【0025】

本例では、人物特徴量を算出する対象となる円の候補のエッジにおける或るエッジ画素（ｘi、ｙi）について、入力画像における隣接画素間での輝度勾配のＸ方向成分ｄｘi及びＹ方向成分ｄｙiを算出する。ここで、エッジ画素（ｘi、ｙi）に係る輝度勾配のＸ方向成分ｄｘiとしては、例えば、Ｘ方向の１つ前の画素（ｘi-1、ｙi）の輝度と１つ後の画素（ｘi+1、ｙi）の輝度の差分を用いることができる。また、エッジ画素（ｘi、ｙi）に係る輝度勾配の大きさのＹ方向成分ｄｙiとしては、例えば、Ｙ方向の１つ前の画素（ｘi、ｙi-1）の輝度と１つ後の画素（ｘi、ｙi+1）の輝度の差分を用いることができる。そして、円の候補のエッジを構成する各エッジ画素について算出した輝度勾配のＸ方向成分ｄｘi及びＹ方向成分ｄｙiから、これらのエッジ画素に係る輝度勾配の均一度Ｓを求め、これを円の候補が有する人物特徴量とする。

【0026】

円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度Ｓは、例えば、円の中心から見た各エッジ画素に係る輝度勾配の方向が同一方向であるか、換言すれば、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布しているか、という尺度で表すことができる。

【0027】

この場合には、例えば、円の中心（ｘ0、ｙ0）から見た各エッジ画素（ｘi、ｙi）の方向を表す角度値φiを（式１）により算出し、各エッジ画素（ｘi、ｙi）における輝度勾配の方向を表す角度値θiを（式２）により算出し、これら角度値φi，θiの差分絶対値を総和したスコアＳ1を（式３）により算出し、当該算出したスコアＳ1を人物特徴量として用いればよい。

【0028】

【数1】

【数2】

【数3】

【0029】

上記のようにして算出されるスコアＳ1は、その値が小さいほど、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが高く、輝度勾配の均一度が高いことを表す。このため、スコアＳ1が小さいほど、円形らしさ（人物の頭部らしさ）が高いことになる。

【0030】

物体候補判定ステップ２０５では、人物特徴量算出ステップ２０４で算出された人物特徴量に基づいて、円形領域抽出ステップ２０３で抽出された円の候補が人物の頭部であるか否かを判定する。 本例では、人物特徴量算出ステップ２０４で前記のスコアＳ1を人物特徴量として算出しており、その値が小さいほど円形らしさ（人物の頭部らしさ）が高いことを表すので、或る円の候補について算出されたスコアＳ1が所定の閾値Ｔ1に比べて小さい場合（閾値Ｔ1以下又は未満の場合）に、当該円の候補を構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有すると判断し、当該円の候補は人物の頭部であると判定する。

【0031】

例えば、図５（ａ）に示すように、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが高い場合には、スコアＳ1の値が小さくなるので人物の頭部であると判定されることになる。一方、図５（ｂ）に示すように、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが低い場合には、スコアＳ1の値が大きくなるので人物の頭部でないと判定されることになる。

【0032】

図３（ｂ）のエッジ画像を例にすれば、円の候補として検出された３つの領域３０２，３０３，３０４のうち、領域３０２は、円形らしさが高い（スコアＳ1の値が小さい）ので人物の頭部である判定されるが、領域３０３，３０４は、いずれも円形らしさが低い（スコアＳ1の値が大きい）ので人物の頭部でないと判定される。

【0033】

また、本例の人数計数処理では、入力画像から動く物体を取り除いた背景画像を用意し、この背景領域についても物体エッジ抽出ステップ２０２や円形領域抽出ステップ２０３等を行って円の候補（円形のエッジ形状を有する領域）を抽出しており、物体候補判定ステップ２０５は、背景画像から抽出された円の候補を除いて上記の判定を行う。すなわち、背景画像から抽出された円の候補は、背景の要素（床面の模様など）とみなすこととし、円形らしさが非常に高い場合であっても人物の頭部とは判定しないようにする。

【0034】

物体追跡・軌跡検出ステップ２０６では、過去の入力画像において人物と判定された円の候補と、今回の入力画像において人物と判定された円の候補とに基づいて、人物（円形のエッジ領域）の移動を追跡して、その軌跡を検出する。

【0035】

軌跡評価・物体カウントステップ２０７では、物体追跡・軌跡検出ステップ２０６で検出された移動の軌跡を評価して、入力画像に含まれる人物の人数を計数する。本例では、軌跡の本数を計数し、これを人物の人数とする。

【0036】

背景学習ステップ２０８では、今回の入力画像を利用して背景画像を更新する。具体的には、今回の入力画像に所定の係数αを乗じた画像と、今回の背景画像に（１−α）を乗じた画像とを合成（加算）し、これを次回の背景画像に用いるようにする。これにより、入力画像中の動く物体（人物等）を取り除いた最新の背景画像を得ることができる。

【0037】

以上のように、本例の人数計数処理では、監視領域を上方から撮影した平面画像を取り込む処理（画像入力ステップ２０１）と、平面画像からエッジを抽出する処理（物体エッジ抽出ステップ２０２）と、抽出したエッジに基づいて、平面画像に含まれる円の候補（円形のエッジ形状を有する領域）を検出する処理（円形領域抽出ステップ２０３）と、検出した円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を示す指標値を算出する処理（人物特徴量算出ステップ２０４）と、算出した指標値を所定の閾値と比較して、円の候補が人物の頭部であるか否かを判定する処理（物体候補判定ステップ２０５）と、人物の頭部であると判定された円の候補に基づいて、平面画像に含まれる人物の人数を計数する処理（物体追跡・軌跡検出ステップ２０６及び軌跡評価・物体カウントステップ２０７）と、平面画像に含まれる背景の要素の除外に用いる背景画像を更新する処理（背景学習ステップ２０８）と、を行う。

【0038】

このような人数計数処理によれば、監視領域の平面画像に含まれる円の候補について、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度から、当該円の候補が人物の頭部のような円形らしさを持つか否かを効果的に判断でき、平面画像に含まれる人物の人数を精度よく計数することができる。

【0039】

なお、上記の各ステップ２０１〜２０８は、撮像装置１０１で撮像された監視領域の映像中の１フレームの画像毎に行ってもよく、所定数のフレームの画像毎に行ってもよい。 また、上記の例では、監視領域の平面画像に含まれる人物の人数の計数精度を高めるため、物体追跡・軌跡検出ステップ２０６で検出された移動の軌跡の本数を計数し、これを人物の人数としているが、物体候補判定ステップ２０５で人物の頭部であると判定された円形のエッジ領域の個数を計数し、これを人物の人数としても構わない。

【0040】

また、上記の例では、人物特徴量算出ステップ２０４において、円の候補が有する人物的特徴量として、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いを示す指標値を算出したが、以下のように、他の指標値を人物特徴量として算出してもよい。

【0041】

一例として、人物特徴量として、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いを示す指標値を算出する場合について説明する。 この場合には、例えば、人物特徴量を算出する対象となる円の候補のエッジにおける或るエッジ画素（ｘi、ｙi）について、入力画像における隣接画素間での輝度勾配のＸ方向成分ｄｘi及びＹ方向成分ｄｙiを算出する。ここで、エッジ画素（ｘi、ｙi）に係る輝度勾配のＸ方向成分ｄｘiとしては、例えば、Ｘ方向の１つ前の画素（ｘi-1、ｙi）の輝度と１つ後の画素（ｘi+1、ｙi）の輝度の差分を用いることができる。また、エッジ画素（ｘi、ｙi）に係る輝度勾配の大きさのＹ方向成分ｄｙiとしては、例えば、Ｙ方向の１つ前の画素（ｘi、ｙi-1）の輝度と１つ後の画素（ｘi、ｙi+1）の輝度の差分を用いることができる。

【0042】

そして、これらを用いて、エッジ画素（ｘi、ｙi）に係る輝度勾配の大きさｄiを（式４）により算出する。また、円の候補の領域を所定角度ずつ扇状に分割した複数の扇状領域について、扇状領域毎にその領域内の各エッジ画素に係る輝度勾配の大きさｄiを総和する。ここでは、円の候補の領域の分割数（扇状領域の数）をＭとし、或るｊ番目の扇状領域（ｊは、１〜Ｍの整数）におけるエッジ画像に係る輝度勾配の大きさの総和ｇjを算出する。そして、円の候補のエッジを構成するエッジ画素の総数をｎとして、各々の扇状領域について算出した総和ｇjに関するエントロピーを表すスコアＳ2を（式５）により算出し、当該算出したスコアＳ2を円の候補が有する人物特徴量として用いればよい。

【0043】

【数4】

【数5】

【0044】

上記のようにして算出されるスコアＳ2は、その値が小さいほど、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低く、輝度勾配の均一度が高いことを表す。このため、スコアＳ2が小さいほど、円形らしさ（人物の頭部らしさ）が高いことになる。従って、後続の物体候補判定ステップ２０５では、或る円の候補について算出されたスコアＳ2が所定の閾値Ｔ2に比べて小さい場合（閾値Ｔ2以下又は未満の場合）に、当該円の候補を構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有すると判断し、当該円の候補は人物の頭部であると判定すればよい。

【0045】

図６には、円の候補の領域を８分割（Ｍ＝８）した場合の例を示してある。 例えば、図６（ａ）に示すように、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低い場合には、スコアＳ2の値が小さくなるので人物の頭部であると判定されることになる。一方、図６（ｂ）に示すように、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いが高い場合には、スコアＳ2の値が大きくなるので人物の頭部でないと判定されることになる。

【0046】

なお、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向に関する指標であるスコアＳ1と、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさに関する指標であるスコアＳ2とをそれぞれ算出し、スコアＳ1，Ｓ2のいずれか一方が各閾値Ｔ1，Ｔ2に比べて低い場合に、円の候補は人物の頭部であると判定してもよく、或いは、スコアＳ1，Ｓ2の両方が各閾値Ｔ1，Ｔ2に比べて低い場合に、円の候補は人物の頭部であると判定してもよい。また、スコアＳ1，Ｓ2のそれぞれに所定の重み値β1，β2を乗じて加算した結果Ｓ1,2を所定の閾値Ｔ1,2と比較して、円の候補は人物の頭部であるか否かを判定してもよい。

【0047】

ここで、以上の説明で用いた監視装置では、本発明に係るエッジ抽出手段の処理を物体エッジ抽出ステップ２０２により実現し、本発明に係る円候補検出手段の処理を円形領域抽出ステップ２０３により実現し、本発明に係る人物判定手段の処理を人物特徴量算出ステップ２０４及び物体候補判定ステップ２０５により実現し、本発明に係る人数計数手段の処理を物体追跡・軌跡検出ステップ２０６及び軌跡評価・物体カウントステップ２０７により実現している。

【0048】

なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。 図７には、他の構成の一例として、撮像装置１０１のレンズとして魚眼レンズを用いる場合における人数計数処理のフローチャートの例を示してある。ここで、魚眼レンズを用いる場合には広い画角の映像を撮像することができるが、画像の中心から離れるほど歪が大きくなり、画像周縁付近では本来円形に近い形状であるはずの人物の頭部が歪んだ状態で撮像されるため、円形領域抽出ステップ２０３における円の候補の抽出に影響がでてしまう。

【0049】

そこで、図７の例では、円形領域抽出ステップ２０３の前に、エッジ画像に対して魚眼レンズによる歪の逆方向の歪を加える魚眼補正を行う魚眼補正ステップ２１１を実施するようにした。これにより、魚眼レンズによる歪を補正（低減）したエッジ画像に対して円の候補の検出を行なえる。この結果、広い画角の画像から円（人物の頭部）の候補を的確に検出することができるので、広範な監視領域を設定しつつ、その領域内に存在する人物を精度よく計数することが可能となる。

【0050】

なお、図７の例では、物体エッジ抽出ステップ２０２の後に魚眼補正ステップ２１１を配置して、物体エッジ抽出ステップ２０２で生成されたエッジ画像に対して魚眼補正を行うようにしてあるが、画像入力ステップ２０１の後に魚眼補正ステップ２１１を配置して、画像入力ステップ２０１で取り込んだ入力画像に対して魚眼補正を行い、その結果の画像から物体エッジ抽出ステップ２０２でエッジ画像を生成するようにしてもよい。

【0051】

ここで、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0052】

本発明に係る人数計数装置（或いはその方法やプログラム等）は、対象領域に存在する人物の人数を計数する種々の場面に適用することができる。

【符号の説明】

【0053】

１０１：撮像装置、 １０２：映像入力回路、 １０３：画像処理プロセッサ、 １０４：プログラムメモリ、 １０５：ワークメモリ、 １０６：外部Ｉ／Ｆ回路、 １０７：映像出力回路、 １０８：データバス、 １０９：指示装置、 １１０：表示装置、 ２０１：画像入力ステップ、 ２０２：物体エッジ抽出ステップ、 ２０３：円形領域抽出ステップ、 ２０４：人物特徴量算出ステップ、 ２０５：物体候補判定ステップ、 ２０６：物体追跡・軌跡検出ステップ、 ２０７：軌跡評価・物体カウントステップ、 ２０８：背景学習ステップ２０８、 ２１１：魚眼補正ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】