特許 6542279 画像監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6542279

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】画像監視装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20190628BHJP

   G08B 13/196 20060101ALI20190628BHJP

   G08B 25/00 20060101ALI20190628BHJP

   H04N 7/18 20060101ALI20190628BHJP

【ＦＩ】

   G06T7/20 300Z

   G08B13/196

   G08B25/00 510M

   H04N7/18 D

   H04N7/18 K

【請求項の数】5

【全頁数】34

(21)【出願番号】特願2017-34125(P2017-34125)

(22)【出願日】2017年2月24日

(65)【公開番号】特開2018-142037(P2018-142037A)

(43)【公開日】2018年9月13日

【審査請求日】2018年5月23日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(72)【発明者】

【氏名】黒川 高晴

(72)【発明者】

【氏名】徳見 修

(72)【発明者】

【氏名】宗片 匠

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１７−００５４８５（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０１３２９８（ＷＯ，Ａ１）

【文献】 特開２０１７−０２８３６４（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１３９９０６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／０２２１０９４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０８Ｂ １３／１９６

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ７／１８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

人が存在する監視空間を撮影した監視画像から前記人の要注視行動を検出する画像監視装置であって、
前記監視画像から前記監視空間における前記人の分布を推定して前記監視画像を前記人の混雑度ごとの領域に区分する領域区分手段と、
前記領域区分手段が区分した区分領域それぞれにおいて、前記混雑度が高い前記区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の前記監視画像から前記人の行動特徴量を抽出する行動特徴量抽出手段と、
前記混雑度ごとに予め定められた前記要注視行動の検出基準を記憶している検出基準記憶手段と、
前記区分領域ごとの前記行動特徴量が当該区分領域の前記混雑度に応じた検出基準を満たす場合に当該行動特徴量が抽出された前記抽出対象領域において前記要注視行動が発生していると判定する要注視行動検出手段と、
を備えたことを特徴とする画像監視装置。

【請求項2】

前記領域区分手段は、前記監視画像を、低混雑度、中混雑度、高混雑度の順に高い３段階で定められた前記混雑度ごとの前記区分領域に区分し、
前記行動特徴量抽出手段は、前記区分領域のうち、前記混雑度が前記低混雑度である区分領域においては個々の前記人の領域を前記抽出対象領域に設定し、前記混雑度が前記中混雑度である区分領域においては個々の前記人の人物位置を求めて複数の前記人物位置により囲まれた前記抽出対象領域を設定し、前記混雑度が前記高混雑度である区分領域においては当該混雑度が推定された領域のまとまりを前記抽出対象領域に設定する、
請求項１に記載の画像監視装置。

【請求項3】

前記行動特徴量抽出手段は、前記抽出対象領域を構成する複数の構成要素の動き分布を前記行動特徴量として抽出する、請求項１または２に記載の画像監視装置。

【請求項4】

前記行動特徴量抽出手段は、前記抽出対象領域の形状変化量を前記行動特徴量として抽出する、請求項１〜３のいずれかひとつに記載の画像監視装置。

【請求項5】

前記行動特徴量抽出手段は、前記抽出対象領域の形状特徴量を前記行動特徴量として抽出する、請求項１〜３のいずれかひとつに記載の画像監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人が存在する空間を撮影した監視画像から監視員等が注視すべき要注視行動を検出する画像監視装置に関し、特に、混雑が生じ得る空間における要注視行動を検出する画像監視装置に関する。

【背景技術】

【0002】

イベント会場、空港、駅などの混雑が生じ得る空間は不特定多数の人が集まるため、監視員が注視すべき要注視行動は、ひったくり、割り込み、逆行、転倒、取り囲みなど多岐にわたる。そのため、これらの空間を撮影した監視画像から様々な要注視行動を検出して監視員に報知すること等によって監視効率を向上させることが望まれている。

【0003】

例えば、特許文献１に記載の画像監視システムにおいては、不特定多数の人が集まる監視領域を撮影した画像から、人物追跡を行って接近のあった人物ペアを検出し、または互いに向けて手を伸ばした人物ペアの姿勢を検出することによって受け渡しを検知する。

【0004】

また例えば、特許文献２に記載された移動物体の状態検出装置においては、画像の全領域中で部分的に異なる動きをする領域を検出している。すなわち、画像の全領域で、追跡によって移動物体ごとに求めた移動方向の頻度分布から最大頻度の基準方向を求めて、基準方向と所定以上の違いがある物体を、人流を横切る特異な動きをした人などとして検出する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７−０２８５６１号公報

【特許文献2】特開平０６−２６６８４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、監視対象の空間の混雑度に依らずに、特徴量の抽出対象とする「空間方向の大きさの単位」を一定にしていると、類似する正常行動が増加して誤検出多発の要因となる、または特徴量の抽出精度が低下して検出精度が低下する問題があった。このような検出精度の低下は監視効率の低下につながる。

【0007】

また、監視画像中に混雑度の異なる領域が混在する場合にも、領域ごとに検出精度が変わることとなり、問題がより複雑化する。

【0008】

例えば、混雑度が高くなると人物同士の接近が多発するため、混雑度が高い領域において人物ペアという単位で接近に係る特徴量を抽出すると受け渡しの誤検出が増加し得る。また例えば、混雑度が高くなるとオクルージョンが多発して人物の特定の姿勢を検出することが困難となるため、混雑度が高い領域において人物ペアという単位で姿勢に係る特徴量を抽出すると受け渡しの検出精度が低下し得る。

【0009】

また例えば、混雑度が低くなると人の移動方向のデータ数が減少するため、混雑度が低いときに全領域という単位で最大頻度の基準方向という特徴量を抽出すると、安定した基準方向が定まらずに特異な動きの誤検出の増加、または検出精度の低下が生じ得る。

【0010】

本発明は上記問題を鑑みてなされたものであり、混雑が生じ得る空間において要注視行動を高精度に検出可能な画像監視装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

かかる課題を解決するため本発明は、人が存在する監視空間を撮影した監視画像から人の要注視行動を検出する画像監視装置であって、監視画像から監視空間における人の分布を推定して監視画像を人の混雑度ごとの領域に区分する領域区分手段と、領域区分手段が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して抽出対象領域の監視画像から人の行動特徴量を抽出する行動特徴量抽出手段と、混雑度ごとに予め定められた要注視行動の検出基準を記憶している検出基準記憶手段と、区分領域ごとの行動特徴量が区分領域の混雑度に応じた検出基準を満たす場合に行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定する要注視行動検出手段とを備えたことを特徴とする。

【0012】

かかる画像監視装置において、領域区分手段は、監視画像を、低混雑度、中混雑度、高混雑度の順に高い３段階で定められた混雑度ごとの区分領域に区分し、行動特徴量抽出手段は、区分領域のうち、混雑度が低混雑度である区分領域においては個々の人の領域を抽出対象領域に設定し、混雑度が中混雑度である区分領域においては個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域を設定し、混雑度が高混雑度である区分領域においては混雑度が推定された領域のまとまりを抽出対象領域に設定することが好適である。

【0013】

かかる画像監視装置において、行動特徴量抽出手段は、抽出対象領域を構成する複数の構成要素の動き分布を行動特徴量として抽出することが好適である。

【0014】

かかる画像監視装置において、行動特徴量抽出手段は、抽出対象領域の形状変化量を行動特徴量として抽出することが好適である。

【0015】

かかる画像監視装置において、行動特徴量抽出手段は、抽出対象領域の形状特徴量を行動特徴量として抽出することが好適である。

【発明の効果】

【0016】

本発明によれば、混雑が生じ得る空間において要注視行動を高精度に検出可能な画像監視装置を提供することが可能となる。

【図面の簡単な説明】

【0017】

【図1】第一の実施形態に係る画像監視装置１の概略の構成を示すブロック図である。

【図2】画像監視装置１の構成要素の一部について機能を説明するブロック図である。

【図3】領域区分手段５０が監視画像を区分する処理を模式的に例示した図である。

【図4】第一の実施形態に係る画像監視装置１の動作を説明するメインフロー図である。

【図5】第一の実施形態に係る低混雑領域の要注視行動検出処理を説明するフロー図である。

【図6】第一の実施形態に係る中混雑領域の要注視行動検出処理を説明するフロー図である。

【図7】第一の実施形態に係る高混雑領域の要注視行動検出処理を説明するフロー図である。

【図8】第二の実施形態に係る低混雑領域の要注視行動検出処理を説明するフロー図である。

【図9】第二の実施形態に係る中混雑領域の要注視行動検出処理を説明するフロー図である。

【図10】第二の実施形態に係る高混雑領域の要注視行動検出処理を説明するフロー図である。

【図11】第三の実施形態に係る低混雑領域の要注視行動検出処理を説明するフロー図である。

【図12】第三の実施形態に係る中混雑領域の要注視行動検出処理を説明するフロー図である。

【図13】第三の実施形態に係る高混雑領域の要注視行動検出処理を説明するフロー図である。

【発明を実施するための形態】

【0018】

［第一の実施形態］
以下、本発明の画像監視装置の好適な実施形態の一例として、イベント会場を撮影した監視画像を基に要注視行動を検出し、要注視行動を検出した場合に報知する画像監視装置１について説明する。特に、第一の実施形態に係る画像監視装置１は、人物領域における部位の動きの分布のように抽出対象領域を構成する構成要素の動きの分布を行動特徴量として抽出し、当該行動特徴量に基づいて要注視行動を検出する。

【0019】

図１は第一の実施形態に係る画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および報知部６からなる。

【0020】

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して監視画像を生成し、監視画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

【0021】

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および報知部６と接続される。通信部３は、撮影部２から監視画像を取得して画像処理部５に入力し、画像処理部５から入力された要注視情報を報知部６に出力する。要注視情報は、画像処理部５が検出した要注視行動の種類や検出時の監視画像等が含まれた情報である。

【0022】

例えば、撮影部２および報知部６がイベント会場内の監視センターに設置され、通信部３、記憶部４および画像処理部５が遠隔地の画像解析センターに設置される場合、通信部３と撮影部２、および通信部３と報知部６をそれぞれインターネット回線にて接続し、通信部３と画像処理部５はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部３と撮影部２を同軸ケーブルまたはＬＡＮ（Local Area Network）、通信部３と報知部６はディスプレイケーブル、通信部３と画像処理部５はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。

【0023】

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

【0024】

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。また、画像処理部５は、通信部３経由で撮影部２から取得した監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して通信部３に出力させる。

【0025】

報知部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３から入力された要注視情報に含まれる要注視行動の種類や検出時の監視画像等の情報を表示することによって監視員に報知する。報知部６には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された要注視行動の情報を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。

【0026】

なお、本実施形態においては、通信部３と画像処理部５の組に対して撮影部２が１台である画像監視装置１を例示するが、別の実施形態においては、通信部３と画像処理部５の組に対して撮影部２が２台以上接続された構成とすることもできる。その場合、通信部３は各撮影部から監視画像を時分割で受信し、画像処理部５は各撮影部からの監視画像を時分割処理または並列処理する。

【0027】

以下、図２および図３を参照し、第一の実施形態に係る画像監視装置１の機能について説明する。

【0028】

図２は、画像監視装置１における、通信部３、記憶部４および画像処理部５の機能を説明する機能ブロック図である。通信部３は画像取得手段３０および要注視情報出力手段３１等として機能し、記憶部４は検出基準記憶手段４０等として機能する。画像処理部５は領域区分手段５０、行動特徴量抽出手段５１および要注視行動検出手段５２等として機能する。また、行動特徴量抽出手段５１は低混雑時抽出手段５１０、中混雑時抽出手段５１１および高混雑時抽出手段５１２を含み、要注視行動検出手段５２は低混雑時検出手段５２０、中混雑時検出手段５２１および高混雑時検出手段５２２を含む。

【0029】

画像取得手段３０は、撮影手段である撮影部２から監視画像を順次取得して、取得した監視画像を領域区分手段５０および行動特徴量抽出手段５１に順次出力する。

【0030】

領域区分手段５０は、画像取得手段３０が取得した監視画像を、予め様々な密度にて人が存在する空間を撮影した密度画像を用いて密度ごとの特徴量を学習した密度推定器で走査することによって、監視画像から監視空間における人の分布を推定し、監視画像を人の混雑度ごとの領域に区分し、区分した領域（区分領域）の情報を行動特徴量抽出手段５１に出力する。

【0031】

以下、密度推定器の学習および密度推定器による推定に用いる特徴量を、後述する行動特徴量等と区別するために密度特徴量と称する。密度特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。なお、密度特徴量はＧＬＣＭ特徴に限らずＨＯＧ（Histograms of Oriented Gradients）特徴量、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、輝度パターンなどの種々の特徴量またはこれらのうちの複数を組み合わせた特徴量とすることができる。

【0032】

混雑度は人の密度に応じた３段階で予め定義され、具体的には混雑度は、０．０人／ｍ^２以上２．０人／ｍ^２以下と推定される低混雑度、２．０人／ｍ^２より高く４．０人／ｍ^２以下と推定される中混雑度、４．０人／ｍ^２よりも高いと推定される高混雑度と定義される。領域区分手段５０は、低混雑度と推定された領域（低混雑領域）の画素値に低混雑度を識別する符号「低」を、中混雑度と推定された領域（中混雑領域）の画素値に中混雑度を識別する符号「中」を、高混雑度と推定された領域（高混雑領域）の画素値に高混雑度を識別する符号、「高」をそれぞれ設定した三値画像を出力する。

【0033】

密度推定器は、多クラスＳＶＭ（Support Vector Machine：サポートベクターマシーン）法を用いて学習することができる。密度推定器の学習においては、例えば、人が写っていない０．０人／ｍ^２の無人画像、０．０人／ｍ^２よりも高く２．０人／ｍ^２以下の密度で人が写っている低密度画像、２．０人／ｍ^２より高く４．０人／ｍ^２以下の密度で人が写っている中密度画像および４．０人／ｍ^２よりも高い密度で人が写っている高密度画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した密度特徴量に多クラスＳＶＭ法を適用して、無人画像、低密度画像、中密度画像、高密度画像の４クラスの密度特徴量を一定以上の確率で分類可能な分類関数のパラメータが導出される。このパラメータを領域区分手段５０のプログラムに含めて記憶させておく。

【0034】

具体的には、領域区分手段５０は、まず、監視画像の全体に渡って複数の窓領域を設定し、各窓領域における監視画像から密度特徴量を抽出する。なお、ＧＬＣＭ特徴のように注目画素の密度特徴量を注目画素とその近傍領域から抽出する密度特徴量の場合、監視画像の各画素における密度特徴量を抽出してから窓領域内の画素に対応する密度特徴量を選択するのが効率的である。

【0035】

次に、領域区分手段５０は、各窓領域の密度特徴量を密度推定器に入力し、その出力値すなわち推定値として各窓領域の監視画像が無人画像、低密度画像、中密度画像、高密度画像のいずれのクラスに帰属するかを示す符号を取得する。

【0036】

続いて、領域区分手段５０は、無人画像および低密度画像に帰属すると推定された窓領域の画素値に符号「低」を、中密度画像に帰属すると推定された窓領域の画素値に符号「中」を、高密度画像に帰属すると推定された窓領域の画素値に符号「高」をそれぞれ設定した三値画像を出力する。

【0037】

図３は領域区分手段５０が監視画像を区分する処理を模式的に例示した図である。
図３の例では、多数の人が撮影された監視画像１００をブロック分割することによって１４×１１個の窓領域が設定されている。そして、各窓領域から密度特徴量が抽出されて密度推定器に入力され、窓領域ごとに帰属するクラスが推定される。推定結果１１０においては、窓領域１１１，１１２等の白抜きの窓領域が低密度画像または無人画像に帰属すると推定されたことを示し、窓領域１１３等の斜線を記した窓領域が中密度画像に帰属すると推定されたことを示し、窓領域１１４等の網掛けした窓領域が高密度画像に帰属すると推定されたことを示している。これらの窓領域が混雑度ごとの領域にまとめられることによって混雑度ごとの領域に区分される。区分結果１２０においては、白抜き区分領域１２１，１２２が低混雑領域を、斜線を記した区分領域１２３が中混雑領域を、網掛けした区分領域１２４が高混雑領域をそれぞれ示している。

【0038】

行動特徴量抽出手段５１は、領域区分手段５０が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段５２に出力する。

【0039】

行動特徴量抽出手段５１は、低混雑時抽出手段５１０として、区分領域のうちの混雑度が低混雑度である低混雑領域における人の行動特徴量を抽出する。低混雑時抽出手段５１０は、低混雑領域の監視画像から個々の人の領域を検出して、検出した領域それぞれを抽出対象領域に設定する。そして、低混雑時抽出手段５１０は、各抽出対象領域を構成する複数の構成要素すなわち各人の領域を構成する複数の部位の動き分布を、低混雑領域における人の行動特徴量（低混雑時特徴量）として抽出し、低混雑時特徴量を要注視行動検出手段５２に出力する。複数の部位の動き分布とは、例えば、頭、胴、右上腕、右下腕、左上腕、左下腕、右上肢、右下肢、左上肢、左下肢といった部位それぞれの位置を追跡して得られる複数の部位の移動方向の頻度分布、および／または速さの頻度分布である。

【0040】

また、行動特徴量抽出手段５１は、中混雑時抽出手段５１１として、区分領域のうちの混雑度が中混雑度である中混雑領域における人の行動特徴量を抽出する。中混雑時抽出手段５１１は、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域を設定する。そして、中混雑時抽出手段５１１は、各抽出対象領域を構成する複数の構成要素すなわち複数の人物位置により囲まれた領域を構成する複数の人物位置の動き分布を、中混雑領域における人の行動特徴量（中混雑時特徴量）として抽出し、中混雑時特徴量を要注視行動検出手段５２に出力する。複数の人物位置の動き分布とは、例えば、各人物の位置を追跡して得られる複数の人物位置の移動方向の頻度分布、および／または速さの頻度分布である。

【0041】

また、行動特徴量抽出手段５１は、高混雑時抽出手段５１２として、区分領域のうちの混雑度が高混雑度である高混雑領域における人の行動特徴量を抽出する。高混雑時抽出手段５１２は、高混雑領域の監視画像から当該混雑度が推定された領域のまとまり、すなわち高混雑領域全体を抽出対象領域に設定する。そして、高混雑時抽出手段５１２は、各抽出対象領域を構成する複数の構成要素すなわち高混雑領域を構成する複数の時空間セグメントまたはブロック等の局所領域の動き分布を、高混雑領域における人の行動特徴量（高混雑時特徴量）として抽出し、高混雑時特徴量を要注視行動検出手段５２に出力する。複数の時空間セグメント複数の動き分布とは、例えば、高混雑領域の監視画像を時間軸に沿って並べた時空間画像に時空間セグメンテーションを施して得られる複数の時空間セグメントにおける重心位置の移動方向の頻度分布、および／または速さの頻度分布である。また、ブロックの動き分布とは、例えば、高混雑領域を分割したブロックそれぞれのオプティカルフローの移動方向の頻度分布、および／または速さの頻度分布である。

【0042】

検出基準記憶手段４０は要注視行動を検出するために予め定められた検出基準を記憶している。この検出基準は混雑度ごとに記憶され、各検出基準はそれぞれに対応する混雑度が推定された区分領域において抽出された行動特徴量との比較・判定に用いられる。

【0043】

要注視行動検出手段５２は、行動特徴量抽出手段５１から区分領域ごとの行動特徴量を入力されて検出基準記憶手段４０から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較して、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定する。

【0044】

すなわち、要注視行動検出手段５２は、低混雑時特徴量である複数の部位の動き分布が入力されると、低混雑時検出手段５２０として、当該動き分布を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0045】

また、要注視行動検出手段５２は、中混雑時特徴量である複数の人物位置の動き分布が入力されると、中混雑時検出手段５２１として、当該動き分布を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0046】

また、要注視行動検出手段５２は、高混雑時特徴量である複数の局所領域の動き分布が入力されると、高混雑時検出手段５２２として、当該動き分布を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0047】

ここで、要注視行動検出手段５２は、例えば、対応付けられている検出基準が要注視行動の特徴量である要注視パターンおよび閾値である場合は、要注視パターンと区分領域から抽出された行動特徴量との類似度を算出して、類似度が閾値以上である場合に要注視行動が発生していると判定する。また、要注視行動検出手段５２は、対応付けられている検出基準が正常行動の特徴量である正常パターンおよび閾値である場合は、正常パターンと区分領域から抽出された行動特徴量との相違度を算出して、相違度が閾値以上である場合に要注視行動が発生していると判定する。

【0048】

要注視行動検出手段５２は、要注視行動が発生していると判定した場合に、検出基準を満たした行動特徴量が抽出された位置、満たされた検出基準と対応する事象名を重畳させた監視画像を要注視情報として生成し、生成した要注視情報を要注視情報出力手段３１に出力する。

【0049】

要注視情報出力手段３１は要注視行動検出手段５２から入力された要注視情報を報知部６に順次出力し、報知部６は要注視情報出力手段３１から入力された要注視情報に含まれる情報を表示する。例えば、要注視情報は、インターネット経由で送受信され、報知部６に表示される。監視員は、表示された情報を視認することによって要注視行動の対処要否を判断し、対処が必要と判断すると対処員を派遣するなどの対処を行う。

【0050】

以下、図４〜図７を参照し、第一の実施形態に係る画像監視装置１の動作を説明する。
画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して監視画像を順次画像処理部５が設置されている画像解析センター宛に送信する。画像処理部５は監視画像を受信するたびに図４のフローチャートに従った動作を繰り返す。

【0051】

まず、通信部３は画像取得手段３０として動作し、監視画像の受信を待機する。撮影部２が監視画像を送信すると、画像取得手段３０は当該監視画像を受信して画像処理部５に出力する（ステップＳ１）。

【0052】

監視画像を入力された画像処理部５は領域区分手段５０として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し（ステップＳ２）、推定結果から監視画像を混雑度ごとの領域に区分する（ステップＳ３）。これによって、監視画像は低混雑領域、中混雑領域および高混雑領域に区分される。

【0053】

領域の区分を行った画像処理部５は、行動特徴量抽出手段５１としても動作し、領域区分手段５０による区分結果を行動特徴量抽出手段５１に入力する。

【0054】

区分結果を入力された行動特徴量抽出手段５１は、区分結果に低混雑領域の情報が含まれているか否かを確認する（ステップＳ４）。行動特徴量抽出手段５１は、低混雑領域の情報が含まれている場合は（ステップＳ４にてＹＥＳ）、処理を低混雑領域の要注視行動検出処理（ステップＳ５）に進める。他方、低混雑領域の情報が含まれていない場合（ステップＳ４にてＮＯ）、行動特徴量抽出手段５１はステップＳ５を省略して処理をステップＳ６に進める。

【0055】

図５のフローチャートを参照し、第一の実施形態に係る低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を低混雑時抽出手段５１０として実行し、要注視行動検出手段５２はこの処理を低混雑時検出手段５２０として実行する。

【0056】

まず、低混雑時抽出手段５１０は、低混雑領域の監視画像を、予め単独の人の画像の特徴量を学習した人識別器で走査することによって、低混雑領域の監視画像から個々の人の領域（人物領域）を検出する（ステップＳ５００）。

【0057】

以下、人識別器の学習および人識別器による識別に用いる特徴量を、後述する行動特徴量と区別するために人特徴量と称する。人特徴量はＨＯＧ（Histograms of Oriented Gradients：ヒストグラム・オブ・オリエンティッド・グラディエント）とすることができる。
人識別器は、アダブースト（AdaBoost）法を用いて学習することができる。人識別器の学習においては、例えば、単独の人が写っている人画像および人が写っていない無人画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した人特徴量にアダブースト法を適用して、人画像と無人画像の２クラスの人特徴量を一定以上の確率で識別可能な識別関数のパラメータが導出される。このパラメータを低混雑時抽出手段５１０のプログラムに含めて記憶させおく。

【0058】

低混雑時抽出手段５１０は、低混雑領域の監視画像の全体に渡って複数の窓領域を設定し、各窓領域における監視画像から人特徴量を抽出する。なお、ＨＯＧのように注目画素の人特徴量を注目画素とその近傍領域から抽出する人特徴量の場合、低混雑領域の各画素における人特徴量を抽出してから窓領域内の画素に対応する人特徴量を選択するのが効率的である。

【0059】

そして、低混雑時抽出手段５１０は、各窓領域の人特徴量を人識別器に入力し、その出力値すなわち識別値として各窓領域の監視画像が人画像と無人画像のいずれのクラスに帰属するかを示す符号を取得し、人画像に帰属すると識別された窓領域を抽出対象領域に設定する。

【0060】

続いて、低混雑時抽出手段５１０は、公知の追跡法を用いて、各人物領域の追跡すなわち各人物領域と過去に低混雑領域の監視画像から検出された人物領域との対応付けを行う（ステップＳ５０１）。すなわち、低混雑時抽出手段５１０は、例えば、過去に検出された各人物領域とステップＳ５００で検出された各人物領域の組合せに対し、人物領域の重心位置と過去の人物領域の重心位置に基づく予測位置との類似度、人物領域における監視画像の平均色についての類似度、人物領域の形状についての類似度を総和して、総和した値が最大となるペアを対応付ける。

【0061】

続いて、低混雑時抽出手段５１０は、各人物領域を順次抽出対象領域に設定して（ステップＳ５０２）、ステップＳ５０２〜Ｓ５１０のループ処理を行う。

【0062】

続いて、低混雑時抽出手段５１０は、ステップＳ５０１の追跡結果を参照して、人物領域の動き分布を算出する（ステップＳ５０３）。低混雑時抽出手段５１０は、抽出対象領域である人物領域に対応する過去の複数時刻の人物領域の位置と抽出対象領域の位置とから時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから人物領域の移動方向の頻度分布と人物領域の速さの頻度分布を算出する。

【0063】

続いて、低混雑時抽出手段５１０は、人物領域から複数の部位を検出する（ステップＳ５０４）。低混雑時抽出手段５１０は、予め無人時の監視画像などから生成して記憶部４に記憶させてある背景画像と、ステップＳ１で取得した監視画像の、抽出対象領域である人物領域内における輝度差が閾値以上である画素を抽出し、抽出した画素のまとまりを変化領域とする。低混雑時抽出手段５１０は、頭、胴、右上腕、右下腕、左上腕、左下腕、右上肢、右下肢、左上肢、左下肢の部位形状モデルそれぞれを各部位の可動範囲内で移動・回転・拡大縮小させて複数通りに配置した姿勢形状モデルと変化領域との形状マッチングを行って、当てはめ誤差が最小の配置を特定する。そして、低混雑時抽出手段５１０は、特定した配置における各部位の部位形状モデルの位置と向きを検出する。

【0064】

続いて、低混雑時抽出手段５１０は、ステップＳ５０４で検出した各部位の動き分布を算出する（ステップＳ５０５）。行動特徴量抽出手段５１は、抽出対象領域である人物領域の各部位に対応する過去の複数時刻の部位の位置と抽出対象領域の各部位の位置とから、各部位の時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから各部位の移動方向の頻度分布と各部位の速さの頻度分布を算出する。

【0065】

動き分布を算出した画像処理部５は低混雑時検出手段５２０として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0066】

低混雑時検出手段５２０は、まず、検出基準記憶手段４０から低混雑時の検出基準を読み出す（ステップＳ５０６）。すなわち、低混雑時検出手段５２０は、人物領域の動き分布の正常パターンと閾値Ｔ_Ｌ１１、および部位の動き分布の正常パターンと閾値Ｔ_Ｌ１２を読み出す。

【0067】

低混雑時検出手段５２０は、次に、ステップＳ５０３およびステップＳ５０５で算出した各分布をそれぞれと対応する検出基準と比較して相違度を算出する（ステップＳ５０７）。低混雑時検出手段５２０は、ステップＳ５０３で算出した人物領域の動き分布とその正常パターンの面積差Ｄ_Ｌ１１を算出し、およびステップＳ５０５で算出した部位の動き分布とその正常パターンとの面積差Ｄ_Ｌ１２を算出する。

【0068】

低混雑時検出手段５２０は、続いて、ステップＳ５０３およびステップＳ５０５で算出した各分布が要注視行動の検出基準を満たすか否かを判定する（ステップＳ５０８）。低混雑時検出手段５２０は、面積差Ｄ_Ｌ１１を閾値Ｔ_Ｌ１１と比較し、Ｄ_Ｌ１１≧Ｔ_Ｌ１１である場合は検出基準を満たすと判定し、Ｄ_Ｌ１１＜Ｔ_Ｌ１１である場合は検出基準を満たさないと判定する。また、低混雑時検出手段５２０は、面積差Ｄ_Ｌ１２を閾値Ｔ_Ｌ１２と比較し、Ｄ_Ｌ１２≧Ｔ_Ｌ１２である場合は検出基準を満たすと判定し、Ｄ_Ｌ１２＜Ｔ_Ｌ１２である場合は検出基準を満たさないと判定する。

【0069】

Ｄ_Ｌ１１≧Ｔ_Ｌ１１である場合は、人物領域が急加速もしくは急減速しており、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。
また、Ｄ_Ｌ１２≧Ｔ_Ｌ１２の場合は、腕を高速に動作させており、ひったくりや置き引きなどの動作そのものを捉えている可能性がある。

【0070】

要注視行動の検出基準を満たす分布が検出された場合（ステップＳ５０８にてＹＥＳ）、低混雑時検出手段５２０は、当該分布についての要注視情報を生成する（ステップＳ５０９）。低混雑時検出手段５２０は、当該分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、抽出対象領域である人物領域の座標を要注視情報として生成する。

【0071】

他方、分布が検出基準を満たさない場合（ステップＳ５０８にてＮＯ）、ステップＳ５０９は省略される。

【0072】

低混雑時検出手段５２０は、全ての人物領域を処理し終えたか否かを判定し（ステップＳ５１０）、未処理の人物領域がある場合は（ステップＳ５１０にてＮＯ）、処理をステップＳ５０２に戻して次の人物領域に対する処理に移行させ、全ての人物領域を処理し終えた場合は（ステップＳ５１０にてＹＥＳ）、処理を図４のステップＳ６へ進める。

【0073】

次に、画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する（ステップＳ６）。行動特徴量抽出手段５１は、中混雑領域の情報が含まれている場合は（ステップＳ６にてＹＥＳ）、処理を中混雑領域の要注視行動検出処理（ステップＳ７）に進める。他方、中混雑領域の情報が含まれていない場合（ステップＳ６にてＮＯ）、行動特徴量抽出手段５１はステップＳ７を省略して処理をステップＳ８に進める。

【0074】

図６のフローチャートを参照し、第一の実施形態に係る中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を中混雑時抽出手段５１１として実行し、要注視行動検出手段５２はこの処理を中混雑時検出手段５２１として実行する。

【0075】

まず、中混雑時抽出手段５１１は、中混雑領域の監視画像から変化領域を検出して、当該変化領域と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置（人物位置）を検出する（ステップＳ７００）。中混雑時抽出手段５１１は、予め無人時の監視画像などから生成して記憶部４に記憶させてある背景画像とステップＳ１で取得した監視画像の、中混雑領域内における輝度差が閾値以上である画素を抽出し、抽出した画素のまとまりを変化領域とする。中混雑時抽出手段５１１は、当該変化領域における監視画像からエッジ画像を生成する。中混雑時抽出手段５１１は、人の上半身の形状を模した複数の形状モデルを、中混雑度に適合する範囲内の個数で変化領域内に複数通りに配置して、配置ごとにエッジ画像との一致度を算出し、一致度が最大の配置を特定する。そして、中混雑時抽出手段５１１は、特定した配置における各形状モデルの位置それぞれを人物位置とする。

【0076】

次に、中混雑時抽出手段５１１は、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループを人物グループとして検出する（ステップＳ７０１）。また、中混雑時抽出手段５１１は、各人物グループの外接矩形を当該人物グループの領域として算出する。なお、外接矩形に代えて、ステップＳ７００にてマッチした形状モデルの領域の和領域、または人物位置同士を結んだ線分を輪郭線とする幾何学図形を人物グループの領域として算出してもよい。

【0077】

続いて、中混雑時抽出手段５１１は、各人物グループの領域を順次抽出対象領域に設定して（ステップＳ７０２）、ステップＳ７０２〜Ｓ７０９のループ処理を行う。

【0078】

人物グループのループ処理において、まず、中混雑時抽出手段５１１は、抽出対象領域である人物グループの領域の追跡すなわち当該人物グループの領域と過去に中混雑領域の監視画像から検出された人物グループの領域との対応付けを行う（ステップＳ７０３）。中混雑時抽出手段５１１は、ステップＳ７０１で検出した人物グループの領域と所定以上の割合で重複している過去の人物グループの領域を検出して、抽出対象領域に対応付ける。

【0079】

次に、中混雑時抽出手段５１１は人物グループの動きの分布を算出する（ステップＳ７０４）。中混雑時抽出手段５１１は、抽出対象領域である人物グループの領域に含まれる人物位置と、ステップＳ７０３で検出した過去の複数時刻の人物グループの領域それぞれに含まれる人物位置から、対応する各人物位置の時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから抽出対象領域に含まれる人物位置ごとに移動方向の頻度分布および速さの頻度分布をそれぞれ算出する。

【0080】

さらに、中混雑時抽出手段５１１は、抽出対象領域に含まれる人物位置ごとに、上記移動ベクトルを基に移動予測をおこない、中混雑領域内での予測軌跡に沿って、各人物が移動する確率を加算していく移動予測確率マップを生成する。なお１人あたりの確率は、中混雑領域内に存在する人数分の１とする。全ての人の移動軌跡が一致する位置では確率が１となる。

【0081】

移動方向の頻度分布、速さの頻度分布および移動予測確率マップを算出した画像処理部５は中混雑時検出手段５２１として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0082】

まず、中混雑時検出手段５２１は、検出基準記憶手段４０から中混雑時の検出基準を読み出す（ステップＳ７０５）。すなわち、中混雑時検出手段５２１は、移動方向が特定方向に偏った頻度を有する複数の移動方向の頻度分布とその閾値Ｔ_Ｍ１１を読み出す。また移動方向の偏りが無い移動方向の頻度分布とその閾値Ｔ_Ｍ１２を読み出す。併せて人が同一方向に向かうことを示す移動予測確率マップの閾値Ｔ_Ｍ１３を読み出す。これら頻度分布および確率マップは要注視パターンに相当する。

【0083】

次に、中混雑時検出手段５２１は、ステップＳ７０４で算出した移動方向の頻度分布および移動予測確率マップを、それぞれと対応する検出基準と比較して類似度を算出する（ステップＳ７０６）。中混雑時検出手段５２１は、ステップＳ７０４で算出した移動方向の頻度分布とその要注視パターンである偏った頻度を有する複数のパターンとの重複面積Ｓ_Ｍ１１、偏りの無い頻度を有するパターンとの重複面積Ｓ_Ｍ１２を算出する。次に、中混雑時検出手段５２１は、ステップＳ７０４で算出した移動方向の頻度分布および移動予測確率マップをそれぞれと対応する検出基準と比較して、要注視行動の検出基準を満たすか否かを判定する（ステップＳ７０７）。中混雑時検出手段５２１は、ステップＳ７０４で算出した移動予測確率マップ上の確率Ｐ_Ｍ１３と閾値Ｔ_Ｍ１３を比較し、Ｐ_Ｍ１３≧Ｔ_Ｍ１３となる領域がある場合は、検出基準を満たす候補と判断し、全ての領域がＰ_Ｍ１３＜Ｔ_Ｍ１３である場合は検出基準を満たさないと判断する。

【0084】

検出基準を満たす候補の人物グループに対し、ステップＳ７０６で算出した重複面積Ｓ_Ｍ１１と閾値Ｔ_Ｍ１１と比較し、Ｓ_Ｍ１１≧Ｔ_Ｍ１１であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が一致していることから、当該人物グループは、行列を生成している。

【0085】

また検出基準を満たす候補の人物グループに対し、ステップＳ７０６で算出した重複面積Ｓ_Ｍ１２と閾値Ｔ_Ｍ１２と比較し、Ｓ_Ｍ１２≧Ｔ_Ｍ１２であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が均等であることから、当該人物グループは、特定位置に向かって囲い込む行動をとっており、急病人や喧嘩などのトラブルが生じている可能性を示す。

【0086】

要注視行動の検出基準を満たす分布が検出された場合（ステップＳ７０７にてＹＥＳ）、中混雑時検出手段５２１は、当該分布についての要注視情報を生成する（ステップＳ７０８）。中混雑時検出手段５２１は、当該分布が満たした検出基準と対応する事象名「囲い込み発生」、抽出対象領域である人物グループの領域の座標を要注視情報として生成する。

【0087】

他方、検出基準を満たす分布が検出されなかった場合（ステップＳ７０７にてＮＯ）、ステップＳ７０８は省略される。

【0088】

中混雑時検出手段５２１は、全ての人物グループを処理し終えたか否かを判定し（ステップＳ７０９）、未処理の人物グループがある場合は（ステップＳ７０９にてＮＯ）、処理をステップＳ７０２に戻して次の人物グループに対する処理に移行させ、全ての人物グループを処理し終えた場合は（ステップＳ７０９にてＹＥＳ）、処理を図４のステップＳ８へ進める。

【0089】

続いて、画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する（ステップＳ８）。行動特徴量抽出手段５１は、高混雑領域の情報が含まれている場合は（ステップＳ８にてＹＥＳ）、処理を高混雑領域の要注視行動検出処理（ステップＳ９）に進める。他方、高混雑領域の情報が含まれていない場合（ステップＳ８にてＮＯ）、行動特徴量抽出手段５１はステップＳ９を省略して処理をステップＳ１０に進める。

【0090】

図７のフローチャートを参照し、第一の実施形態に係る高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を高混雑時抽出手段５１２として実行し、要注視行動検出手段５２はこの処理を高混雑時検出手段５２２として実行する。

【0091】

高混雑領域では、不特定多数の人の集団を表す高混雑領域そのものが抽出対象領域に設定される。

【0092】

まず、高混雑時抽出手段５１２は、高混雑領域での時空間セグメンテーションを行う（ステップＳ９００）。高混雑時抽出手段５１２は、記憶部４から過去４時刻の監視画像を読み出し、それらと現時刻の監視画像を時刻順に並べた時空間画像の高混雑領域において、画素位置および撮影時刻が隣接する画素間にて画素値の相違度を算出し、相違度が小さければ同一セグメントとして結合させる、という処理を繰り返すことで、複数の時空間セグメントに分割する。

【0093】

次に、高混雑時抽出手段５１２は、ステップＳ９００にて生成した各時空間セグメントを構成するセグメントの動きベクトルを算出する（ステップＳ９０１）。高混雑時抽出手段５１２は、複数の時空間セグメントのそれぞれを構成する５時刻分のセグメントそれぞれの重心を求め、時空間セグメントごとに重心位置の時間変化を一次近似して動きベクトルを算出する。

【0094】

続いて、高混雑時抽出手段５１２は、ステップＳ９０１にて算出した複数の動きベクトルからセグメントの動き分布を算出する（ステップＳ９０２）。高混雑時抽出手段５１２は、複数のセグメントそれぞれの動きベクトルと当該セグメントの周囲のセグメントの動きベクトルとの差ベクトルの平均ベクトル（相対動きベクトル）を算出して、複数のセグメントそれぞれの重心と相対動きベクトルを対応付けた動き分布を算出する。なお、注目セグメントに隣接するセグメントを注目セグメントの周囲のセグメントとしてもよいし、注目セグメントの重心から予め定めた半径の円内に重心が含まれるセグメントを注目セグメントの周囲のセグメントとしてもよい。

【0095】

動き分布を算出した画像処理部５は高混雑時検出手段５２２として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0096】

まず、高混雑時検出手段５２２は、検出基準記憶手段４０から高混雑時の検出基準を読み出す（ステップＳ９０３）。すなわち、高混雑時検出手段５２２は、高混雑領域の動き分布の正常パターンと閾値Ｔ_Ｈ１１、閾値Ｔ_Ｈ１２を読み出す。

【0097】

次に、高混雑時検出手段５２２は、ステップＳ９０２で算出した分布を検出基準と比較して相違度を算出する（ステップＳ９０４）。高混雑時検出手段５２２は、ステップＳ９０２で算出した動き分布とその正常パターンの間で対応するセグメントの相対動きベクトルどうしの差ベクトルの大きさを閾値Ｔ_Ｈ１１と比較して、差ベクトルの大きさが閾値Ｔ_Ｈ１１以上であるセグメントの総面積Ｄ_Ｈ１２を算出する。なお、注目セグメントの重心に最も近い重心を有するセグメントを注目セグメントに対応するセグメントとしてもよいし、注目セグメントの重心から予め定めた半径の円内に重心が含まれるセグメントを注目セグメントに対応するセグメントとしてもよい。

【0098】

続いて、高混雑時検出手段５２２は、ステップＳ９０２で算出した分布が要注視行動の検出基準を満たすか否かを判定する（ステップＳ９０５）。高混雑時検出手段５２２は、総面積Ｄ_Ｈ１２を閾値Ｔ_Ｈ１２と比較し、Ｄ_Ｈ１２≧Ｔ_Ｈ１２である場合は検出基準を満たすと判定し、Ｄ_Ｈ１２＜Ｔ_Ｈ１２である場合は検出基準を満たさないと判定する。

【0099】

Ｄ_Ｈ１２≧Ｔ_Ｈ１２である場合は、高混雑領域中に他の大勢の動きとは異なる動きが生じており、人の集団移動の中での逆行や滞留など、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。

【0100】

要注視行動の検出基準を満たす分布が検出された場合（ステップＳ９０５にてＹＥＳ）、高混雑時検出手段５２２は、当該分布についての要注視情報を生成する（ステップＳ９０６）。高混雑時検出手段５２２は、当該分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、抽出対象領域である高混雑領域において差ベクトルの大きさが閾値Ｔ_Ｈ１１以上であったセグメントの重心座標を要注視情報として生成する。

【0101】

他方、分布が検出基準を満たさない場合（ステップＳ９０５にてＮＯ）、ステップＳ９０６は省略される。

【0102】

こうして高混雑領域についての処理を終えた高混雑時検出手段５２２は、処理を図４のステップＳ１０へ進める。

【0103】

要注視行動検出手段５２は、図５のステップＳ５０９、図６のステップＳ７０８、図７のステップＳ９０６で要注視情報が生成されたか否かを確認し（ステップＳ１０）、１以上の要注視情報が生成された場合は（ステップＳ１０にてＹＥＳ）、それらの要注視情報を参照して、監視画像の要注視行動が検出された座標と対応する位置に枠などを重畳するとともに要注視行動の事象名を重畳して要注視情報を再生成し、再生成した要注視情報を通信部３に出力する（ステップＳ１１）。要注視情報を入力された通信部３は、要注視情報出力手段３１として動作し、当該要注視情報を報知部６に送信する。報知部６は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。

【0104】

以上の処理を終えると、画像処理部５は処理を再びステップＳ１に戻し、次の監視画像の処理を行う。

【0105】

以上で述べたように、第一の実施形態に係る画像監視装置は、領域区分手段５０が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段５１が混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出するので、混雑度の変化、特に監視画像内で異なる混雑度が混在する変化があっても混雑度に適した単位で行動特徴量を抽出し、抽出した行動特徴量から要注視行動を適確に検知することが可能となる。よって、混雑が生じ得る空間において要注視行動を高精度に検知することが可能となり、監視員による監視効率が向上する。

【0106】

特に、第一の実施形態に係る画像監視装置においては、行動特徴量抽出手段５１は、上述した抽出対象領域から、当該抽出対象領域を構成する複数の構成要素の動き分布を行動特徴量として抽出するので、混雑が生じ得る空間においても動き分布という一貫した尺度に基づいて要注視行動を高精度に検知し続けることが可能となり、監視員による監視効率が向上する。

【0107】

［第二の実施形態］
以下、本発明の画像監視装置の第一の実施形態とは異なる好適な実施形態の一例として、人物領域の形状の変化のように抽出対象領域の形状の変化を行動特徴量として抽出し、当該行動特徴量に基づいて要注視行動を検出する画像監視装置について説明する。

【0108】

第二の実施形態に係る画像監視装置は、行動特徴量抽出手段と要注視行動検出手段が行う処理の内容および検出基準記憶手段が記憶している検出基準の内容が第一の実施形態に係る画像監視装置と異なり、概略構成、多くの機能および多くの動作は共通する。そのため、構成は第一の実施形態で参照した図１のブロック図および図２の機能ブロック図を再び参照して説明し、動作の一部については第一の実施形態で参照した図４のフローチャートを参照して説明する。

【0109】

図１のブロック図を参照して第二の実施形態に係る画像監視装置１の概略の構成を説明する。
第二の実施形態に係る画像監視装置１は、第一の実施形態と同様、監視空間を所定時間おきに撮影して監視画像を出力する監視カメラである撮影部２と、要注視情報を入力されて当該要注視情報を監視員に報知するディスプレイ装置等である報知部６とが、監視画像および要注視情報等の入出力を介在する通信回路である通信部３を介して、監視画像を取得して当該監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して出力する演算装置を含む画像処理部５に接続されるとともに、プログラムおよび各種データ等を記憶してこれらを入出力するメモリ装置である記憶部４が画像処理部５に接続されてなる。

【0110】

図２の機能ブロック図を参照し、第二の実施形態に係る画像監視装置１の機能について説明する。
第二の実施形態に係る画像監視装置１においても、第一の実施形態と同様、通信部３は撮影手段である撮影部２から監視画像を順次取得して領域区分手段５０および行動特徴量抽出手段５１に順次出力する画像取得手段３０および要注視行動検出手段５２から入力された要注視情報を報知部６に順次出力する要注視情報出力手段３１等として機能し、画像処理部５は監視画像を密度推定器で走査することによって人の分布を推定し、監視画像を人の混雑度ごとの領域に区分して区分領域の情報を行動特徴量抽出手段５１に出力する領域区分手段５０としての機能を含む。

【0111】

また、第二の実施形態に係る画像監視装置１においても、第一の実施形態と同様、画像処理部５は、領域区分手段５０が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段５２に出力する行動特徴量抽出手段５１としての機能を含む。

【0112】

ただし、第二の実施形態に係る行動特徴量抽出手段５１は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出して抽出対象領域における人の行動特徴量を抽出する低混雑時抽出手段５１０、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域における人の行動特徴量を抽出する中混雑時抽出手段５１１、および高混雑領域を抽出対象領域として当該領域の監視画像から人の行動特徴量を抽出する高混雑時抽出手段５１２を含む点で第一の実施形態と共通し、これらの各手段が行動特徴量として抽出対象領域の形状変化量を算出する点で第一の実施形態と相違する。

【0113】

すなわち、第二の実施形態に係る低混雑時抽出手段５１０は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出し、当該各抽出対象領域の形状変化量を低混雑領域における人の行動特徴量（低混雑時特徴量）として抽出する。個々の人の領域の形状変化量とは、例えば、胴から両脚までの距離の時間変化量である。

【0114】

また、第二の実施形態に係る中混雑時抽出手段５１１は、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域それぞれの形状変化量を中混雑領域における人の行動特徴量（中混雑時特徴量）として抽出する。複数の人物位置により囲まれた領域の形状変化量とは、例えば、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループの外接矩形の時間変化量である。

【0115】

また、第二の実施形態に係る高混雑時抽出手段５１２は、高混雑領域それぞれを抽出対象領域として各抽出対象領域の形状変化量を高混雑領域における人の行動特徴量（高混雑時特徴量）として抽出する。高混雑領域の形状変化量とは、例えば、高混雑領域の外接矩形の時間変化量である。

【0116】

第二の実施形態に係る記憶部４は、要注視行動を検出するために予め定められた検出基準を混雑度ごとに記憶している検出基準記憶手段４０等として機能する点で第一の実施形態と共通し、記憶している検出基準が形状変化量についての検出基準である点で第一の実施形態とは異なる。

【0117】

また、第二の実施形態に係る画像監視装置１においても、第一の実施形態と同様、画像処理部５は、行動特徴量抽出手段５１から区分領域ごとの行動特徴量を入力されて検出基準記憶手段４０から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較し、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定して要注視情報を要注視情報出力手段３１に出力する要注視行動検出手段５２としての機能を含む点で第一の実施形態と共通し、これらの処理や情報が形状変化量についてのものである点で第一の実施形態とは異なる。

【0118】

すなわち、要注視行動検出手段５２は、低混雑時特徴量である人物領域の形状変化量が入力されると、低混雑時検出手段５２０として、当該形状変化量を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0119】

また、要注視行動検出手段５２は、中混雑時特徴量である複数の人物位置により囲まれた領域の形状変化量が入力されると、中混雑時検出手段５２１として、当該形状変化量を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0120】

また、要注視行動検出手段５２は、高混雑時特徴量である高混雑領域の形状変化量が入力されると、高混雑時検出手段５２２として、当該形状変化量を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0121】

以下、図４および図８〜図１０を参照し、第二の実施形態に係る画像監視装置１の動作を説明する。
第一の実施形態と同様に、第二の実施形態に係る画像監視装置１が動作を開始すると、撮影部２は順次監視画像を送信し、画像処理部５は監視画像を受信するたびに図４のフローチャートに従った動作を繰り返す。

【0122】

通信部３は画像取得手段３０として動作し、監視画像を受信して画像処理部５に出力する（ステップＳ１）。監視画像を入力された画像処理部５は領域区分手段５０として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し（ステップＳ２）、推定結果から監視画像を混雑度ごとの領域に区分する（ステップＳ３）。

【0123】

続いて、画像処理部５は行動特徴量抽出手段５１として動作し、区分結果に低混雑領域の情報が含まれているか否かを確認する（ステップＳ４）。行動特徴量抽出手段５１は、低混雑領域の情報が含まれている場合は（ステップＳ４にてＹＥＳ）、処理を低混雑領域の要注視行動検出処理（ステップＳ５）に進め、含まれていない場合は（ステップＳ４にてＮＯ）、ステップＳ５を省略して処理をステップＳ６に進める。

【0124】

図８のフローチャートを参照し、第二の実施形態に係る低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を低混雑時抽出手段５１０として実行し、要注視行動検出手段５２はこの処理を低混雑時検出手段５２０として実行する。

【0125】

まず、低混雑時抽出手段５１０は、図５のステップＳ５００の処理と同様に、低混雑領域の監視画像を、予め単独の人の画像の特徴量を学習した人識別器で走査することによって、低混雑領域の監視画像から個々の人の領域（人物領域）を検出する（ステップＳ５２０）。

【0126】

次に、低混雑時抽出手段５１０は、図５のステップＳ５０１の処理と同様に、各人物領域の追跡すなわち各人物領域と過去に低混雑領域の監視画像から検出された人物領域との対応付けを行う（ステップＳ５２１）。

【0127】

続いて、低混雑時抽出手段５１０は、各人物領域を順次抽出対象領域に設定して（ステップＳ５２２）、ステップＳ５２２〜Ｓ５２９のループ処理を行う。

【0128】

人物領域のループ処理において、まず、低混雑時抽出手段５１０は、人物領域の形状を記述する形状パラメータを算出する（ステップＳ５２３）。形状パラメータは例えばグラフ構造で記述することができる。低混雑時抽出手段５１０は、図５のステップＳ５０４の処理と同様に、背景差分処理および形状マッチングによって、人物領域に対応する変化領域に最も当てはまる姿勢形状モデルを特定する。そして、低混雑時抽出手段５１０は、特定した姿勢形状モデルにおいて、胴の部位形状モデルの重心、右上肢と右下肢の部位形状モデルの重心の中間点および左上肢と左下肢の部位形状モデルの重心の中間点のそれぞれをノードとし、胴と右脚および胴の部位形状モデルの重心と上記各中間点を結んだ各線分をエッジとするグラフを生成し、各エッジの長さ（エッジ長）を算出する。

【0129】

次に、低混雑時抽出手段５１０は、人物領域の形状変化量を算出する（ステップＳ５２４）。低混雑時抽出手段５１０は、ステップＳ５２１の追跡結果を参照して抽出対象領域である人物領域と対応する過去の人物領域における各脚についてのエッジ長を特定し、脚ごとに、ステップＳ５２３で算出したエッジ長と追跡結果から特定したエッジ長との差（エッジ長差）を算出する。

【0130】

形状変化量を算出した画像処理部５は低混雑時検出手段５２０として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0131】

まず、低混雑時検出手段５２０は、検出基準記憶手段４０から低混雑時の検出基準を読み出す（ステップＳ５２５）。すなわち、低混雑時検出手段５２０は、立位歩行時の各脚のエッジ長差とその閾値Ｔ_Ｌ２１，Ｔ_Ｌ２２を読み出す。これらのエッジ長差は正常パターンに相当する。

【0132】

次に、低混雑時検出手段５２０は、ステップＳ５２４で算出した形状変化量をそれぞれと対応する検出基準と比較して相違度を算出する（ステップＳ５２６）。低混雑時検出手段５２０は、ステップＳ５２４で算出した右脚及び左脚のエッジ長差とステップＳ５２５で読み出した右脚及び左脚のエッジ長差とのそれぞれの差Ｄ_Ｌ２１および差Ｄ_Ｌ２２を算出する。

【0133】

続いて、低混雑時検出手段５２０は、ステップＳ５２４で算出した形状変化量が要注視行動の検出基準を満たすか否かを判定する（ステップＳ５２７）。低混雑時検出手段５２０は、ステップＳ５２６で算出した差Ｄ_Ｌ２１および差Ｄ_Ｌ２２のそれぞれを閾値Ｔ_Ｌ２１と比較し、Ｄ_Ｌ２１≧Ｔ_Ｌ２１且つＤ_Ｌ２２≧Ｔ_Ｌ２２である場合は検出基準を満たすと判定し、Ｄ_Ｌ２１＜Ｔ_Ｌ２１またはＤ_Ｌ２２＜Ｔ_Ｌ２２である場合は検出基準を満たさないと判定する。

【0134】

Ｄ_Ｌ２１≧Ｔ_Ｌ２１且つＤ_Ｌ２２≧Ｔ_Ｌ２２である場合は、両脚が屈曲しており急病等によりしゃがみ込んでいる可能性がある。

【0135】

要注視行動の検出基準を満たす形状変化量が検出された場合（ステップＳ５２７にてＹＥＳ）、低混雑時検出手段５２０は、当該形状変化量についての要注視情報を生成する（ステップＳ５２８）。低混雑時検出手段５２０は、当該分布が満たした検出基準と対応する事象名「しゃがみ込み発生」、抽出対象領域である人物領域の座標を要注視情報として生成する。

【0136】

他方、検出基準を満たす分布がひとつもない場合（ステップＳ５２７にてＮＯ）、ステップＳ５２８は省略される。

【0137】

低混雑時検出手段５２０は、全ての人物領域を処理し終えたか否かを判定し（ステップＳ５２９）、未処理の人物領域がある場合は（ステップＳ５２９にてＮＯ）、処理をステップＳ５２２に戻して次の人物領域に対する処理に移行させ、全ての人物領域を処理し終えた場合は（ステップＳ５２９にてＹＥＳ）、処理を図４のステップＳ６へ進める。

【0138】

次に、画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する（ステップＳ６）。行動特徴量抽出手段５１は、中混雑領域の情報が含まれている場合は（ステップＳ６にてＹＥＳ）、処理を中混雑領域の要注視行動検出処理（ステップＳ７）に進め、含まれていない場合は（ステップＳ６にてＮＯ）、ステップＳ７を省略して処理をステップＳ８に進める。

【0139】

図９のフローチャートを参照し、第二の実施形態に係る中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を中混雑時抽出手段５１１として実行し、要注視行動検出手段５２はこの処理を中混雑時検出手段５２１として実行する。

【0140】

まず、中混雑時抽出手段５１１は、図６のステップＳ７００の処理と同様に、中混雑領域の監視画像の変化領域におけるエッジ画像と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置（人物位置）を検出する（ステップＳ７２０）。

【0141】

次に、中混雑時抽出手段５１１は、図６のステップＳ７０１の処理と同様にして、ステップＳ７２０で検出した人物位置の中から、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループを人物グループとして検出する（ステップＳ７２１）。また、中混雑時抽出手段５１１は、各人物グループの外接矩形を当該人物グループの領域として算出する。

【0142】

続いて、中混雑時抽出手段５１１は、各人物グループの領域を順次抽出対象領域に設定して（ステップＳ７２２）、ステップＳ７２２〜Ｓ７３０のループ処理を行う。

【0143】

人物グループのループ処理において、まず、中混雑時抽出手段５１１は、図６のステップＳ７０３の処理と同様にして、抽出対象領域である人物グループの領域の追跡すなわち当該人物グループの領域と過去に中混雑領域の監視画像から検出された人物グループの領域との対応付けを行う（ステップＳ７２３）。

【0144】

次に、中混雑時抽出手段５１１は人物グループの形状パラメータを算出する（ステップＳ７２４）。形状パラメータは例えばグラフ構造で記述することができる。中混雑時抽出手段５１１は、抽出対象領域である人物グループに含まれる各人物位置をノードとし当該人物グループに含まれる人物位置の各ペアを結んだ線分をエッジとするグラフを生成し、各エッジの長さおよび方向を求め、エッジ長の頻度分布（エッジ長分布）およびエッジ方向の頻度分布（エッジ方向分布）を算出する。ここで、例えばエッジ方向は、監視画像のＸ軸の正方向を０°とする反時計回りに０°〜１８０°の範囲で、エッジの傾きを２０°刻みで９方向に量子化して算出する。

【0145】

続いて、中混雑時抽出手段５１１は、人物グループの形状変化量を算出する（ステップＳ７２５）。中混雑時抽出手段５１１は、ステップＳ７２４で算出したエッジ長分布およびエッジ方向分布と、ステップＳ７２３で検出した過去の人物グループのエッジ長分布およびエッジ方向分布との間で、それぞれ分布の差（エッジ長差分布およびエッジ方向差分布）を算出する。

【0146】

形状変化量を算出した画像処理部５は中混雑時検出手段５２１として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0147】

まず、中混雑時検出手段５２１は、検出基準記憶手段４０から中混雑時の検出基準を読み出す（ステップＳ７２６）。すなわち、中混雑時検出手段５２１は、短いエッジ長に偏った頻度を有するエッジ長差分布とその閾値Ｔ_Ｍ２１、およびそれぞれが特定のエッジ方向に偏った頻度を有する複数のエッジ方向差分布とその閾値Ｔ_Ｍ２２を読み出す。これらの差分布は要注視パターンに相当する。

【0148】

次に、中混雑時検出手段５２１は、ステップＳ７２５で算出した形状変化量をそれぞれと対応する検出基準と比較して類似度を算出する（ステップＳ７２７）。中混雑時検出手段５２１は、ステップＳ７２５で算出したエッジ長差分布とステップＳ７２６で読み出したエッジ長差分布の重複面積Ｓ_Ｍ２１を算出する。また、中混雑時検出手段５２１は、ステップＳ７２５で算出したエッジ方向差分布とステップＳ７２６で読み出した各エッジ方向差分布の重複面積Ｓ_Ｍ２２を算出する。

【0149】

続いて、中混雑時検出手段５２１は、ステップＳ７２５で算出した形状変化量が要注視行動の検出基準を満たすか否かを判定する（ステップＳ７２８）。中混雑時検出手段５２１は、ステップＳ７２７で算出した重複面積Ｓ_Ｍ２１を閾値Ｔ_Ｍ２１と比較し、Ｓ_Ｍ２１≧Ｔ_Ｍ２１である場合はさらにステップＳ７２７で算出した重複面積Ｓ_Ｍ２２それぞれを閾値Ｔ_Ｍ２２と比較する。要注視行動検出手段５２は、Ｓ_Ｍ２２≧Ｔ_Ｍ２２であるエッジ方向差分布が１つ以上検出された場合は検出基準を満たすと判定し、Ｓ_Ｍ２２≧Ｔ_Ｍ２２であるエッジ方向差分布が検出さなかった場合は検出基準を満たさないと判定する。

【0150】

Ｓ_Ｍ２１≧Ｔ_Ｍ２１であり且つＳ_Ｍ２２≧Ｔ_Ｍ２２である人物グループの領域は、人物位置の間隔が短い範囲に偏っており且つ人物位置が特定の方向に連なっている。そのため検出基準を満たす人物グループは行列をなしている。

【0151】

要注視行動の検出基準を満たす形状変化量が検出された場合（ステップＳ７２８にてＹＥＳ）、中混雑時検出手段５２１は、当該形状変化量についての要注視情報を生成する（ステップＳ７２９）。要注視行動検出手段５２は、当該形状変化量が満たした検出基準と対応する事象名「行列発生」、抽出対象領域である人物グループの領域の座標を要注視情報として生成する。

【0152】

他方、検出基準を満たす形状変化量が検出されなかった場合（ステップＳ７２８にてＮＯ）、ステップＳ７２９は省略される。

【0153】

中混雑時検出手段５２１は、全ての人物グループを処理し終えたか否かを判定し（ステップＳ７３０）、未処理の人物グループがある場合は（ステップＳ７３０にてＮＯ）、処理をステップＳ７２２に戻して次の人物グループに対する処理に移行させ、全ての人物グループを処理し終えた場合は（ステップＳ７３０にてＹＥＳ）、処理を図４のステップＳ８へ進める。

【0154】

続いて、画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する（ステップＳ８）。行動特徴量抽出手段５１は、高混雑領域の情報が含まれている場合は（ステップＳ８にてＹＥＳ）、処理を高混雑領域の要注視行動検出処理（ステップＳ９）に進め、高混雑領域の情報が含まれていない場合は（ステップＳ８にてＮＯ）、ステップＳ９を省略して処理をステップＳ１０に進める。

【0155】

図１０のフローチャートを参照し、第二の実施形態に係る高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を高混雑時抽出手段５１２として実行し、要注視行動検出手段５２はこの処理を高混雑時検出手段５２２として実行する。

【0156】

高混雑時抽出手段５１２は、各高混雑領域の領域を順次抽出対象領域に設定して（ステップＳ９２０）、ステップＳ９２０〜Ｓ９２８のループ処理を行う。

【0157】

高混雑領域のループ処理において、まず、高混雑時抽出手段５１２は、抽出対象領域である高混雑領域の追跡すなわち当該高混雑領域と過去に監視画像から検出された高混雑領域との対応付けを行う（ステップＳ９２１）。行動特徴量抽出手段５１は、記憶部４から過去の高混雑領域を読み出して、抽出対象領域である高混雑領域の対応付け先として、当該領域との重複領域が所定割合以上である過去の高混雑領域を検出する。

【0158】

次に、高混雑時抽出手段５１２は抽出対象領域である高混雑領域の形状パラメータを算出する（ステップＳ９２２）。高混雑時抽出手段５１２は、予め定めた各方位における当該高混雑領域の重心から当該高混雑領域の輪郭線までの距離を求めて、方位を横軸とし距離を縦軸とするヒストグラム（距離ヒストグラム）を算出する。また、高混雑時抽出手段５１２は、当該高混雑領域の重心からの各方位における輪郭線の法線方向を求め、方位を横軸とし法線方向を縦軸とするヒストグラム（法線方向ヒストグラム）を算出する。なお、方位は例えば反時計回りに１０度刻みとすることができる。

【0159】

続いて、高混雑時抽出手段５１２は抽出対象領域である高混雑領域の形状変化量を算出する（ステップＳ９２３）。高混雑時抽出手段５１２は、ステップＳ９２２で算出した距離ヒストグラムおよび法線方向ヒストグラムとステップＳ９２１で検出した過去の高混雑領域の距離ヒストグラムおよび法線方向ヒストグラムのそれぞれとの間で、方位ごとに距離の差（距離差ヒストグラム）および法線方向の差（法線方向差ヒストグラム）を算出する。

【0160】

形状変化量を算出した画像処理部５は高混雑時検出手段５２２として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0161】

まず、高混雑時検出手段５２２は、検出基準記憶手段４０から高混雑時の検出基準を読み出す（ステップＳ９２４）。すなわち、高混雑時検出手段５２２は、距離差ヒストグラムの正常パターンとその閾値Ｔ_Ｈ２１、法線方向差ヒストグラムの正常パターンとその閾値Ｔ_Ｈ２１を読み出す。

【0162】

次に、高混雑時検出手段５２２は、ステップＳ９２３で算出した各形状変化量を検出基準と比較して相違度を算出する（ステップＳ９２５）。高混雑時検出手段５２２は、ステップＳ９２３で算出した距離差ヒストグラムとその正常パターンの間で方位ごとの差の絶対値を求めて総和し、相違度Ｄ_Ｈ２１を算出する。また、高混雑時検出手段５２２は、ステップＳ９２３で算出した法線方向差ヒストグラムとその正常パターンの間で方位ごとの差の絶対値を求めて総和し、相違度Ｄ_Ｈ２２を算出する。

【0163】

続いて、高混雑時検出手段５２２は、ステップＳ９２３で算出した各形状変化量が要注視行動の検出基準を満たすか否かを判定する（ステップＳ９２６）。高混雑時検出手段５２２は、相違度Ｄ_Ｈ２１を閾値Ｔ_Ｈ２１と比較し、Ｄ_Ｈ２１≧Ｔ_Ｈ２１である場合は検出基準を満たすと判定し、Ｄ_Ｈ２１＜Ｔ_Ｈ２１である場合は検出基準を満たさないと判定する。また、高混雑時検出手段５２２は、相違度Ｄ_Ｈ２２を閾値Ｔ_Ｈ２２と比較し、Ｄ_Ｈ２２≧Ｔ_Ｈ２２である場合は検出基準を満たすと判定し、Ｄ_Ｈ２２＜Ｔ_Ｈ２２である場合は検出基準を満たさないと判定する。

【0164】

Ｄ_Ｈ２１≧Ｔ_Ｈ２１である場合は、高混雑領域が急激に大きく或いは急激に小さく変化しており、人の集団にパニックなどの要注視行動が発生している可能性がある。また、Ｄ_Ｈ２２≧Ｔ_Ｈ２２である場合は、高混雑領域の形状が急激に変化しており、人の集団にパニックなどの要注視行動が発生している可能性がある。

【0165】

要注視行動の検出基準を満たす形状変化量が検出された場合（ステップＳ９２６にてＹＥＳ）、高混雑時検出手段５２２は、当該形状変化量についての要注視情報を生成する（ステップＳ９２７）。高混雑時検出手段５２２は、当該形状変化量が満たした検出基準と対応する事象名「パニックの可能性あり」、抽出対象領域である高混雑領域の座標を要注視情報として生成する。他方、検出基準を満たす形状変化量がひとつもない場合（ステップＳ９２６にてＮＯ）、ステップＳ９２７は省略される。

【0166】

高混雑時検出手段５２２は、全ての高混雑領域を処理し終えたか否かを判定し（ステップＳ９２８）、未処理の高混雑領域がある場合は（ステップＳ９２８にてＮＯ）、処理をステップＳ９２０に戻して次の高混雑領域に対する処理に移行させ、全ての高混雑領域を処理し終えた場合は（ステップＳ９２８にてＹＥＳ）、処理を図４のステップＳ１０へ進める。

【0167】

要注視行動検出手段５２は、図８のステップＳ５２８、図９のステップＳ７２９、図１０のステップＳ９２７で要注視情報が生成されたか否かを確認し（ステップＳ１０）、１以上の要注視情報が生成された場合は（ステップＳ１０にてＹＥＳ）、それらの要注視情報を監視画像に重畳して要注視情報を再生成し、再生成した要注視情報を通信部３に出力する（ステップＳ１１）。要注視情報を入力された通信部３は、要注視情報出力手段３１として動作し、当該要注視情報を報知部６に送信する。報知部６は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。

【0168】

以上の処理を終えると、画像処理部５は処理を再びステップＳ１に戻し、次の監視画像の処理を行う。

【0169】

以上で述べたように、第二の実施形態に係る画像監視装置も第一の実施形態に係る画像監視装置と同様に、領域区分手段５０が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段５１が混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出するので、混雑が生じ得る空間において要注視行動を高精度に検知することが可能となり、監視員による監視効率が向上する。

【0170】

特に、第二の実施形態に係る画像監視装置においては、行動特徴量抽出手段５１は、上述した抽出対象領域から、当該抽出対象領域の形状変化量を行動特徴量として抽出するので、混雑が生じ得る空間において形状変化量という一貫した尺度に基づいて要注視行動を高精度に検知し続けることが可能となり、監視員による監視効率が向上する。

【0171】

［第三の実施形態］
以下、本発明の画像監視装置の第一および第二の実施形態とは異なる好適な実施形態の一例として、人物領域の形状のように抽出対象領域の形状を行動特徴量として抽出し、当該行動特徴量に基づいて要注視行動を検出する画像監視装置について説明する。

【0172】

第三の実施形態に係る画像監視装置は、行動特徴量抽出手段と要注視行動検出手段が行う処理の内容および検出基準記憶手段が記憶している検出基準の内容が第一および第二の実施形態に係る画像監視装置と異なり、概略構成、多くの機能および多くの動作は共通するため、構成は第一および第二の実施形態で参照した図１のブロック図および図２の機能ブロック図を再び参照して説明し、動作の一部については第一および第二の実施形態で参照した図４のフローチャートを参照して説明する。

【0173】

図１のブロック図を参照して第三の実施形態に係る画像監視装置１の概略の構成を説明する。
第三の実施形態に係る画像監視装置１は、第一および第二の実施形態と同様、監視空間を所定時間おきに撮影して監視画像を出力する監視カメラである撮影部２と、要注視情報を入力されて当該要注視情報を監視員に報知するディスプレイ装置等である報知部６とが、監視画像および要注視情報等の入出力を介在する通信回路である通信部３を介して、監視画像を取得して当該監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して出力する演算装置を含む画像処理部５に接続されるとともに、プログラムおよび各種データ等を記憶してこれらを入出力するメモリ装置である記憶部４が画像処理部５に接続されてなる。

【0174】

図２の機能ブロック図を参照し、第三の実施形態に係る画像監視装置１の機能について説明する。
第三の実施形態に係る画像監視装置１においても、第一および第二の実施形態と同様、通信部３は撮影手段である撮影部２から監視画像を順次取得して領域区分手段５０および行動特徴量抽出手段５１に順次出力する画像取得手段３０および要注視行動検出手段５２から入力された要注視情報を報知部６に順次出力する要注視情報出力手段３１等として機能し、記憶部４は要注視行動を検出するために予め定められた検出基準を混雑度ごとに記憶している検出基準記憶手段４０等として機能し、画像処理部５は監視画像を密度推定器で走査することによって人の分布を推定し、監視画像を人の混雑度ごとの領域に区分して区分領域の情報を行動特徴量抽出手段５１に出力する領域区分手段５０としての機能を含む。

【0175】

また、第三の実施形態に係る画像監視装置１においても、第一および第二の実施形態と同様、画像処理部５は、領域区分手段５０が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段５２に出力する行動特徴量抽出手段５１としての機能を含む。

【0176】

ただし、第三の実施形態に係る行動特徴量抽出手段５１は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出して抽出対象領域における人の行動特徴量を抽出する低混雑時抽出手段５１０、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域における人の行動特徴量を抽出する中混雑時抽出手段５１１、および高混雑領域を抽出対象領域として当該領域の監視画像から人の行動特徴量を抽出する高混雑時抽出手段５１２を含む点で第一および第二の実施形態と共通し、これらの各手段が行動特徴量として抽出対象領域の形状特徴量を算出する点で第一および第二の実施形態と相違する。

【0177】

すなわち、第三の実施形態に係る低混雑時抽出手段５１０は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出し、当該各抽出対象領域の形状特徴量を低混雑領域における人の行動特徴量（低混雑時特徴量）として抽出する。個々の人の領域の形状特徴量とは、例えば、当該領域の形状を表す二値画像である。

【0178】

また、第三の実施形態に係る中混雑時抽出手段５１１は、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域それぞれの形状特徴量を中混雑領域における人の行動特徴量（中混雑時特徴量）として抽出する。複数の人物位置により囲まれた領域の形状特徴量とは、例えば、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループの外接矩形のアスペクト比である。

【0179】

また、第三の実施形態に係る高混雑時抽出手段５１２は、高混雑領域それぞれを抽出対象領域として各抽出対象領域の形状特徴量を高混雑領域における人の行動特徴量（高混雑時特徴量）として抽出する。高混雑領域の形状特徴量とは、例えば、高混雑領域の外接矩形のアスペクト比である。

【0180】

第三の実施形態に係る記憶部４は、要注視行動を検出するために予め定められた検出基準を混雑度ごとに記憶している検出基準記憶手段４０等として機能する点で第一および第二の実施形態と共通し、記憶している検出基準が形状特徴量についての検出基準である点で第一および第二の実施形態とは異なる。

【0181】

また、第三の実施形態に係る画像監視装置１においても、第一および第二の実施形態と同様、画像処理部５は、行動特徴量抽出手段５１から区分領域ごとの行動特徴量を入力されて検出基準記憶手段４０から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較し、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定して要注視情報を要注視情報出力手段３１に出力する要注視行動検出手段５２としての機能を含む点で第一および第二の実施形態と共通し、これらの処理や情報が形状特徴量についてのものである点で第一および第二の実施形態とは異なる。

【0182】

すなわち、要注視行動検出手段５２は、低混雑時特徴量である人物領域の形状特徴量が入力されると、低混雑時検出手段５２０として、当該形状特徴量を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0183】

また、要注視行動検出手段５２は、中混雑時特徴量である複数の人物位置により囲まれた領域の形状特徴量が入力されると、中混雑時検出手段５２１として、当該形状特徴量を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0184】

また、要注視行動検出手段５２は、高混雑時特徴量である高混雑領域の形状特徴量が入力されると、高混雑時検出手段５２２として、当該形状特徴量を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。

【0185】

以下、図４および図１１〜図１３を参照し、第三の実施形態に係る画像監視装置１の動作を説明する。
第一および第二の実施形態と同様に、第三の実施形態に係る画像監視装置１が動作を開始すると、撮影部２は順次監視画像を送信し、画像処理部５は監視画像を受信するたびに図４のフローチャートに従った動作を繰り返す。

【0186】

通信部３は画像取得手段３０として動作し、監視画像を受信して画像処理部５に出力する（ステップＳ１）。監視画像を入力された画像処理部５は領域区分手段５０として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し（ステップＳ２）、推定結果から監視画像を混雑度ごとの領域に区分する（ステップＳ３）。

【0187】

続いて、画像処理部５は行動特徴量抽出手段５１として動作し、区分結果に低混雑領域の情報が含まれているか否かを確認する（ステップＳ４）。行動特徴量抽出手段５１は、低混雑領域の情報が含まれている場合は（ステップＳ４にてＹＥＳ）、処理を低混雑領域の要注視行動検出処理（ステップＳ５）に進め、含まれていない場合は（ステップＳ４にてＮＯ）、ステップＳ５を省略して処理をステップＳ６に進める。

【0188】

図１１のフローチャートを参照し、第三の実施形態に係る低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を低混雑時抽出手段５１０として実行し、要注視行動検出手段５２はこの処理を低混雑時検出手段５２０として実行する。

【0189】

まず、低混雑時抽出手段５１０は、図５のステップＳ５００の処理と同様に、低混雑領域の監視画像を、予め単独の人の画像の特徴量を学習した人識別器で走査することによって、低混雑領域の監視画像から個々の人の領域（人物領域）を検出する（ステップＳ５４０）。

【0190】

続いて、低混雑時抽出手段５１０は、各人物領域を順次抽出対象領域に設定して（ステップＳ５４１）、ステップＳ５４１〜Ｓ５４７のループ処理を行う。

【0191】

人物領域のループ処理において、まず、低混雑時抽出手段５１０は、人物領域の形状特徴量を算出する（ステップＳ５４２）。形状特徴量は例えばグラフ構造で記述することができる。低混雑時抽出手段５１０は、図５のステップＳ５０４の処理と同様に、背景差分処理および形状マッチングによって、人物領域に対応する変化領域に最も当てはまる姿勢形状モデルを特定する。そして、低混雑時抽出手段５１０は、図８のステップＳ５２３の処理と同様に、特定した姿勢形状モデルを基に、胴と右脚および胴の部位形状モデルの重心と上記各中間点を結んだ各線分をエッジとするグラフを生成し、各エッジの長さ（エッジ長）と各エッジの方向（エッジ方向）を算出する。

【0192】

形状特徴量を算出した画像処理部５は低混雑時検出手段５２０として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0193】

まず、低混雑時検出手段５２０は、検出基準記憶手段４０から低混雑時の検出基準を読み出す（ステップＳ５４３）。すなわち、低混雑時検出手段５２０は、立位歩行時の、胴と右脚のエッジ方向の上限閾値Ｔ_Ｌ３１と下限閾値Ｔ_Ｌ３２胴と左脚のエッジ方向の上限閾値Ｔ_Ｌ３３と下限閾値Ｔ_Ｌ３４を読み出す。これらのエッジ方向は正常パターンに相当する。

【0194】

次に、低混雑時検出手段５２０は、ステップＳ５４２で算出した形状特徴量をそれぞれと対応する検出基準と比較して相違度を算出する（ステップＳ５４４）。低混雑時検出手段５２０は、ステップＳ５４２で算出した胴と右脚のエッジ方向Ｄ_Ｌ３１および胴と左脚のエッジ方向Ｄ_Ｌ３２を算出し、それぞれステップＳ５４３で読み出した閾値の上限下限の範囲内外をチェックする。

【0195】

続いて、低混雑時検出手段５２０は、ステップＳ５４２で算出した形状特徴量が要注視行動の検出基準を満たすか否かを判定する（ステップＳ５４５）。低混雑時検出手段５２０は、ステップＳ５４２で算出した角度Ｄ_Ｌ３１および角度Ｄ_Ｌ３２のそれぞれを、閾値上限Ｔ_Ｌ３１閾値下限Ｔ_Ｌ３２と閾値上限Ｔ_Ｌ３３閾値下限Ｔ_Ｌ３４と比較し、Ｄ_Ｌ３１≧Ｔ_Ｌ３１またはＤ_Ｌ３１≦Ｔ_Ｌ３２であり、なおかつＤ_Ｌ３２≧Ｔ_Ｌ３３またはＤ_Ｌ３２≦Ｔ_Ｌ３４である場合は検出基準を満たすと判定し、それ以外は検出基準を満たさないと判定する。

【0196】

胴と両脚の位置関係が立位時には上下関係に位置することを正常パターンとし、角度の閾値上限下限をエッジ方向が垂直に近い角度の範囲に限定すれば、Ｄ_Ｌ３１≧Ｔ_Ｌ３１またはＤ_Ｌ３１≦Ｔ_Ｌ３２であり、なおかつＤ_Ｌ３２≧Ｔ_Ｌ３３またはＤ_Ｌ３２≦Ｔ_Ｌ３４である場合は、すなわち、胴と脚の位置関係が水平に配置されたことを示すため、倒れている可能性がある。

【0197】

要注視行動の検出基準を満たす形状特徴量が検出された場合（ステップＳ５４５にてＹＥＳ）、低混雑時検出手段５２０は、当該形状特徴量についての要注視情報を生成する（ステップＳ５４６）。低混雑時検出手段５２０は、当該分布が満たした検出基準と対応する事象名「倒れ発生」、抽出対象領域である人物領域の座標を要注視情報として生成する。

【0198】

他方、検出基準を満たす分布がひとつもない場合（ステップＳ５４５にてＮＯ）、ステップＳ５４６は省略される。

【0199】

低混雑時検出手段５２０は、全ての人物領域を処理し終えたか否かを判定し（ステップＳ５４７）、未処理の人物領域がある場合は（ステップＳ５４７にてＮＯ）、処理をステップＳ５４１に戻して次の人物領域に対する処理に移行させ、全ての人物領域を処理し終えた場合は（ステップＳ５４７にてＹＥＳ）、処理を図４のステップＳ６へ進める。

【0200】

次に、画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する（ステップＳ６）。行動特徴量抽出手段５１は、中混雑領域の情報が含まれている場合は（ステップＳ６にてＹＥＳ）、処理を中混雑領域の要注視行動検出処理（ステップＳ７）に進め、含まれていない場合は（ステップＳ６にてＮＯ）、ステップＳ７を省略して処理をステップＳ８に進める。

【0201】

図１２のフローチャートを参照し、第三の実施形態に係る中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を中混雑時抽出手段５１１として実行し、要注視行動検出手段５２はこの処理を中混雑時検出手段５２１として実行する。

【0202】

まず、中混雑時抽出手段５１１は、図６のステップＳ７００の処理と同様に、中混雑領域の監視画像の変化領域におけるエッジ画像と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置（人物位置）を検出する（ステップＳ７４０）。

【0203】

次に、中混雑時抽出手段５１１は、図６のステップＳ７０１の処理と同様にして、ステップＳ７４０で検出した人物位置の中から、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループを人物グループとして検出する（ステップＳ７４１）。また、中混雑時抽出手段５１１は、各人物グループの外接矩形を当該人物グループの領域として算出する。

【0204】

続いて、中混雑時抽出手段５１１は、各人物グループの領域を順次抽出対象領域に設定して（ステップＳ７４２）、ステップＳ７４２〜Ｓ７４８のループ処理を行う。

【0205】

人物グループのループ処理において、まず、中混雑時抽出手段５１１は人物グループの形状特徴量を算出する（ステップＳ７４３）。形状特徴量は例えば人物グループの抽出領域の長短軸比で記述することができる。

【0206】

形状特徴量を算出した画像処理部５は中混雑時検出手段５２１として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0207】

まず、中混雑時検出手段５２１は、検出基準記憶手段４０から中混雑時の検出基準を読み出す（ステップＳ７４４）。すなわち、中混雑時検出手段５２１は、人物グループの抽出領域の長軸の長さとそれに直交する短軸の長さの比率の閾値Ｔ_Ｍ３１を読み出す。これらの閾値は要注視パターンに相当する。

【0208】

次に、中混雑時検出手段５２１は、ステップＳ７４２で算出した形状特徴量を対応する検出基準と比較する。

【0209】

続いて、中混雑時検出手段５２１は、ステップＳ７４３で算出した形状特徴量が要注視行動の検出基準を満たすか否かを判定する（ステップＳ７４６）。中混雑時検出手段５２１は、ステップＳ７４３で算出した抽出領域の長短軸比Ｒ_Ｍ３１を閾値Ｔ_Ｍ３１と比較し、Ｒ_Ｍ３１≧Ｔ_Ｍ３１である場合は検出基準を満たすと判定し、Ｒ_Ｍ３１＜Ｔ_Ｍ３１である場合は検出基準を満たさないと判定する。

【0210】

Ｒ_Ｍ３１≧Ｔ_Ｍ３１である人物グループの領域は、１方向に人が連なっている。そのため検出基準を満たす人物グループは行列をなしている。

【0211】

要注視行動の検出基準を満たす形状特徴量が検出された場合（ステップＳ７４６にてＹＥＳ）、中混雑時検出手段５２１は、当該形状特徴量についての要注視情報を生成する（ステップＳ７４７）。要注視行動検出手段５２は、当該形状特徴量が満たした検出基準と対応する事象名「行列発生」、抽出対象領域である人物グループの領域の座標を要注視情報として生成する。

【0212】

他方、検出基準を満たす形状特徴量が検出されなかった場合（ステップＳ７４６にてＮＯ）、ステップＳ７４７は省略される。

【0213】

中混雑時検出手段５２１は、全ての人物グループを処理し終えたか否かを判定し（ステップＳ７４８）、未処理の人物グループがある場合は（ステップＳ７４８にてＮＯ）、処理をステップＳ７４２に戻して次の人物グループに対する処理に移行させ、全ての人物グループを処理し終えた場合は（ステップＳ７４８にてＹＥＳ）、処理を図４のステップＳ８へ進める。

【0214】

続いて、画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する（ステップＳ８）。行動特徴量抽出手段５１は、高混雑領域の情報が含まれている場合は（ステップＳ８にてＹＥＳ）、処理を高混雑領域の要注視行動検出処理（ステップＳ９）に進め、高混雑領域の情報が含まれていない場合は（ステップＳ８にてＮＯ）、ステップＳ９を省略して処理をステップＳ１０に進める。

【0215】

図１３のフローチャートを参照し、第三の実施形態に係る高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を高混雑時抽出手段５１２として実行し、要注視行動検出手段５２はこの処理を高混雑時検出手段５２２として実行する。

【0216】

高混雑時抽出手段５１２は、各高混雑領域の領域を順次抽出対象領域に設定して（ステップＳ９４０）、ステップＳ９４０〜Ｓ９４６のループ処理を行う。

【0217】

高混雑領域のループ処理において、まず、高混雑時抽出手段５１２は抽出対象領域である高混雑領域の形状特徴量を算出する（ステップＳ９４１）。高混雑時抽出手段５１２は、抽出対象領域を１、抽出対象領域以外を０とした２値画像とする。

【0218】

形状特徴量を算出した画像処理部５は高混雑時検出手段５２２として動作し、記憶部４は検出基準記憶手段４０として動作する。

【0219】

まず、高混雑時検出手段５２２は、検出基準記憶手段４０から高混雑時の検出基準を読み出す（ステップＳ９４２）。すなわち、高混雑時検出手段５２２は、監視範囲内の立ち入り規制エリアを１、立ち入り許可エリアを０とした２値画像と、規制エリアはみ出し率閾値をＴ_Ｈ３１読みだす。これらの閾値は要注視パターンに相当する。

【0220】

次に、高混雑時検出手段５２２は、ステップＳ９４１で算出した形状特徴量を検出基準と比較して相違度を算出する（ステップＳ９４３）。高混雑時検出手段５２２は、ステップＳ９４１で算出した２値画像と要注視パターンの論理積演算により求まる画素数をカウントする。その画素数は規制エリアにはみ出した人の面積に相当する。その画素数と高混雑領域の２値画像の総画素数との比率からはみ出し率Ｒ_Ｈ３１を算出する。

【0221】

続いて、高混雑時検出手段５２２は、ステップＳ９４１で算出した形状特徴量が要注視行動の検出基準を満たすか否かを判定する（ステップＳ９４４）。高混雑時検出手段５２２は、はみ出し率Ｒ_Ｈ３１を閾値Ｔ_Ｈ３１と比較し、Ｒ_Ｈ３１≧Ｔ_Ｈ３１である場合は検出基準を満たすと判定し、Ｒ_Ｈ３１＜Ｔ_Ｈ３１である場合は検出基準を満たさないと判定する。

【0222】

Ｒ_Ｈ３１≧Ｔ_Ｈ３１である場合は、高混雑領域が規制エリアに一定の割合ではみ出るほどの混雑状況であり、なだれ込みなどの要注視行動が発生する可能性がある。

【0223】

要注視行動の検出基準を満たす形状特徴量が検出された場合（ステップＳ９４４にてＹＥＳ）、高混雑時検出手段５２２は、当該特徴量についての要注視情報を生成する（ステップＳ９４５）。高混雑時検出手段５２２は、当該分布が満たした検出基準と対応する事象名「なだれ込みの可能性あり」、抽出対象領域である高混雑領域の座標を要注視情報として生成する。他方、検出基準を満たす分布がひとつもない場合（ステップＳ９４４にてＮＯ）、ステップＳ９４５は省略される。

【0224】

高混雑時検出手段５２２は、全ての高混雑領域を処理し終えたか否かを判定し（ステップＳ９４６）、未処理の高混雑領域がある場合は（ステップＳ９４６にてＮＯ）、処理をステップＳ９４０に戻して次の高混雑領域に対する処理に移行させ、全ての高混雑領域を処理し終えた場合は（ステップＳ９４６にてＹＥＳ）、処理を図４のステップＳ１０へ進める。

【0225】

要注視行動検出手段５２は、図１１のステップＳ５４６、図１２のステップＳ７４７、図１３のステップＳ９４５で要注視情報が生成されたか否かを確認し（ステップＳ１０）、１以上の要注視情報が生成された場合は（ステップＳ１０にてＹＥＳ）、それらの要注視情報を監視画像に重畳して要注視情報を再生成し、再生成した要注視情報を通信部３に出力する（ステップＳ１１）。要注視情報を入力された通信部３は、要注視情報出力手段３１として動作し、当該要注視情報を報知部６に送信する。報知部６は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。

【0226】

以上の処理を終えると、画像処理部５は処理を再びステップＳ１に戻し、次の監視画像の処理を行う。

【0227】

以上で述べたように、第三の実施形態に係る画像監視装置も第一および第二の実施形態に係る画像監視装置と同様に、領域区分手段５０が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段５１が混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出するので、混雑が生じ得る空間において要注視行動を高精度に検知することが可能となり、監視員による監視効率が向上する。

【0228】

特に、第三の実施形態に係る画像監視装置においては、行動特徴量抽出手段５１は、上述した抽出対象領域から、当該抽出対象領域の形状特徴量を行動特徴量として抽出するので、混雑が生じ得る空間において形状特徴量という一貫した尺度に基づいて要注視行動を高精度に検知し続けることが可能となり、監視員による監視効率が向上する。

【0229】

＜変形例＞
（１）上記各実施形態においては、混雑度を３段階で定義し、２．０人／ｍ^２および４．０人／ｍ^２をその境界とする例を示したが、段階数は採用する行動特徴量の種類や特性に合わせて２段階、４段階、…などと適宜に定義でき、またその境界も採用する行動特徴量の特性に合わせて適宜に定義できる。

【0230】

（２）上記各実施形態およびその変形例においては、行動特徴量抽出手段５１および要注視行動検出手段５２が低、中、高混雑領域の順に処理を実行する例を示したが、高、中、低混雑領域の順に処理を実行するなど、これらの順序を入れ替えて実行してもよいし、これらの処理を並列して実行してもよい。

【0231】

（３）上記各実施形態およびその変形例においては、互いに異なる種類の行動特徴量を用いて要注視行動を検出する画像監視装置の例を示したが、その変形例に係る画像監視装置においては、これらの行動特徴量のうちの複数種類の行動特徴量を抽出して各行動特徴量に対応する要注視行動を検出することもできる。

【0232】

また、上記各実施形態およびその変形例においては、混雑度の段階と行動特徴量の抽出対象領域の単位とが１対１に対応する例を示したが、その一部にＮ対１（Ｎ＞１）の対応関係が混在してもよい。例えば、行動特徴量抽出手段５１は、低混雑領域および中混雑領域において個々の人物領域の監視画像から行動特徴量Ａを抽出し（２対１の関係）、高混雑領域の監視画像から行動特徴量Ｂを抽出する（１対１の関係）ようにしてもよい。

【0233】

（４）上記各実施形態およびその変形例においては、領域区分手段５０が多クラスＳＶＭ法にて学習した密度推定器を用いる例を示したが、領域区分手段５０はこれに代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器を用いることができる。或いは多クラスに分類する密度推定器に代えて、特徴量から密度の値を回帰する回帰型の密度推定器とすることもできる。すなわち領域区分手段５０は、リッジ回帰法、サポートベクターリグレッション法または回帰木型のランダムフォレスト法などによって、特徴量から密度を求める回帰関数のパラメータを学習した回帰型の密度推定器を用いて各窓領域の密度を推定し、混雑度ごとに、当該混雑度と対応する密度が推定された窓領域をまとめることによって監視画像を当該混雑度の領域に区分する。

【符号の説明】

【0234】

３１・・・要注視情報出力手段
５０・・・領域区分手段
５１０・・・低混雑時抽出手段
５１１・・・中混雑時抽出手段
５１２・・・高混雑時抽出手段
５２０・・・低混雑時検出手段
５２１・・・中混雑時検出手段
５２２・・・高混雑時検出手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】