特許 7190871 画像解析装置、画像解析方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】画像解析装置、画像解析方法、及びプログラム

(51)【国際特許分類】

   G06M 7/00 20060101AFI20221209BHJP

   H04N 7/18 20060101ALI20221209BHJP

   G06T 7/215 20170101ALI20221209BHJP

   G06T 7/00 20170101ALI20221209BHJP

【ＦＩ】

G06M7/00 301Q

H04N7/18 K

G06T7/215

G06T7/00 660B

【請求項の数】 15

(21)【出願番号】P 2018206875

(22)【出願日】2018-11-01

(65)【公開番号】P2020071783

(43)【公開日】2020-05-07

【審査請求日】2021-10-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】矢野 光太郎

(72)【発明者】

【氏名】馬塲 康夫

(72)【発明者】

【氏名】澤井 陽輔

【審査官】平野 真樹

(56)【参考文献】

【文献】特開平１１－２８２９９９（ＪＰ，Ａ）

【文献】国際公開第２０１８／１６３８０４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｍ ７／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００，７／２１５

(57)【特許請求の範囲】

【請求項1】

時系列画像から取得された被写体の流量に基づいて、前記被写体の滞留状況を判定する判定手段と、
前記時系列画像において設定領域を通った被写体の流量の出力モードを、前記判定手段によって判定された、前記設定領域における前記被写体の滞留状況に基づいて決定する決定手段と、
前記決定手段が決定した出力モードに従って、前記流量を出力する出力手段と、
を備えることを特徴とする画像解析装置。

【請求項2】

前記判定手段は、前記時系列画像から取得された前記被写体の密度及び移動を示す情報に基づいて、前記被写体の滞留状況を判定することを特徴とする、請求項１に記載の画像解析装置。

【請求項3】

前記判定手段は、前記被写体の方向別の流量分布に基づいて、前記被写体の滞留状況を判定することを特徴とする、請求項１に記載の画像解析装置。

【請求項4】

前記判定手段は、前記被写体の方向別の流量のばらつきを示す情報に基づいて、前記被写体の滞留状況を判定することを特徴とする、請求項１に記載の画像解析装置。

【請求項5】

前記出力モードは、第１の出力モード及び第２の出力モードを含み、前記第１の出力モードと前記第２の出力モードとでは、それぞれ異なる方法で得られた流量が出力されることを特徴とする、請求項１から４のいずれか１項に記載の画像解析装置。

【請求項6】

前記出力モードは、第１の出力モード及び第２の出力モードを含み、前記第１の出力モードにおいて前記流量は第１の個数の流量値で表され、前記第２の出力モードにおいて前記流量は前記第１の個数とは異なる第２の個数の流量値で表されることを特徴とする、請求項１から５のいずれか１項に記載の画像解析装置。

【請求項7】

前記出力モードは、第１の出力モード及び第２の出力モードを含み、前記第１の出力モードにおいてはライン状の設定領域を通った被写体の双方向の流量がそれぞれ出力され、前記第２の出力モードにおいては前記双方向の流量が相殺された後の流量が出力されることを特徴とする、請求項１から６のいずれか１項に記載の画像解析装置。

【請求項8】

前記第２の出力モードにおいては、前記ライン状の設定領域を通った被写体の双方向の流量が所定の時間にわたって相殺された後の流量が出力されることを特徴とする、請求項７に記載の画像解析装置。

【請求項9】

前記決定手段は、前記被写体が滞留していないとの判定に応じて前記第１の出力モードを決定し、前記被写体が滞留しているとの判定に応じて前記第２の出力モードを決定することを特徴とする、請求項５から８のいずれか１項に記載の画像解析装置。

【請求項10】

前記判定手段は、
前記時系列画像を用いて前記被写体の移動を示す情報を生成する推定手段と、
前記被写体の移動を示す情報を用いて、前記設定領域を通った被写体の流量を示す情報を生成する生成手段と、
をさらに備え、
前記設定領域を通った被写体の流量を示す情報に基づいて、前記被写体の滞留状況を判定することを特徴とする、請求項１から４のいずれか１項に記載の画像解析装置。

【請求項11】

前記被写体の移動を示す情報には、前記時系列画像における被写体の密度及び移動を表す情報が含まれ、
前記推定手段は、ニューラルネットワークに前記時系列画像を入力し、前記ニューラルネットワークの出力として前記被写体の密度及び移動を表す情報を得ることを特徴とする、請求項１０に記載の画像解析装置。

【請求項12】

前記被写体が人であることを特徴とする、請求項１から１１のいずれか１項に記載の画像解析装置。

【請求項13】

前記設定領域を前記時系列画像に設定する設定手段をさらに備え、
前記設定手段によって前記時系列画像に複数の前記設定領域が設定された場合、前記判定手段は、複数の前記設定領域それぞれにおける前記被写体の流量に基づいて、前記被写体の滞留状態を判定することを特徴とする請求項１から４のいずれか１項に記載の画像解析装置。

【請求項14】

画像解析システムが行う画像解析方法であって、
時系列画像から取得された被写体の流量に基づいて、前記被写体の滞留状況を判定する判定工程と、
前記時系列画像において設定領域を通った被写体の流量の出力モードを、前記判定工程によって判定された、前記設定領域における前記被写体の滞留状況に基づいて決定する決定工程と、
前記決定工程で決定した出力モードに従って、前記流量を出力する出力工程と、
を有することを特徴とする画像解析方法。

【請求項15】

コンピュータを、請求項１乃至１３の何れか１項に記載の画像解析装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法、及びプログラムに関し、特に画像から被写体の流量を計測する技術に関する。

【背景技術】

【0002】

近年、カメラで所定のエリアを撮影し、撮影された映像を解析することにより映像中の人物の数を計測するシステムが提案されている。このようなシステムを用いることにより、公共空間における混雑時の人の流れを把握し、得られた情報を混雑解消及び災害時の避難誘導等のために活用することが期待されている。

【0003】

このようなシステムにおいて映像中の被写体の流量を計測する方法として、特許文献１は、映像中の人物の軌跡を検出し、計測ラインを横切った人物の数をカウントする方法を提案している。また、特許文献２は、映像から人物の動きを検出し、各人物の動きに基づいて、人物の逆行等の非定常状態を検出する方法を提案している。また、映像中の被写体の密度を推定する方法として、非特許文献１は、事前に機械学習によって得られたニューラルネットワークを用いる方法を提案している。

【先行技術文献】

【非特許文献】

【0004】

【文献】Walach E., Wolf L. (2016) Learning to Count with CNN Boosting. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision - ECCV 2016. ECCV 2016. Lecture Notes in Computer Science, vol 9906. Springer, Cham

【特許文献】

【0005】

【文献】特開２００９－２１１３１１号公報

【文献】特開２０１２－２２３７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、混雑状態においては被写体の検出が困難になるため、映像中の被写体の動きの検出精度が低下する。このため、被写体の流量（例えば計測ラインを横切った人物の数）の測定精度も低下するという課題が存在した。また、被写体が滞留している状態においては、被写体の一部（例えば人物の頭部）が部分的に動くことにより被写体が計測ラインを横切ったと判定され、測定された流量にさらなる誤差が含まれる可能性もある。

【0007】

本発明は、より精度の高い被写体の流量情報を出力することが目的とする。

【課題を解決するための手段】

【0008】

本発明の目的を達成するために、例えば、本発明の画像解析装置は以下の構成を備える。すなわち、
時系列画像から取得された被写体の流量に基づいて、前記被写体の滞留状況を判定する判定手段と、前記時系列画像において設定領域を通った被写体の流量の出力モードを、前記判定手段によって判定された、前記設定領域における前記被写体の滞留状況に基づいて決定する決定手段と、
前記決定手段が決定した出力モードに従って、前記流量を出力する出力手段と、
を備えることを特徴とする。

【発明の効果】

【0009】

より精度の高い被写体の流量情報を出力することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る画像解析装置の機能構成例を示す図。

【図2】一実施形態に係る画像解析装置の処理例を示す図。

【図3】通常の歩行シーン及び滞留シーンの例を示す図。

【図4】一実施形態に係る画像解析装置のハードウェア構成例を示す図。

【図5】一実施形態における推定部の機能を示す図。

【図6】流量分布の例を示す図。

【図7】通常の歩行シーン及び滞留シーンにおける流量の表示例を示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。

【0012】

図４は一実施形態に係る画像解析装置のハードウェア構成を示す。画像解析装置１０は、演算処理装置１、記憶装置２、入力装置３、及び出力装置４を備える。各装置は、バス等により接続されることで、互いに通信可能に構成されている。

【0013】

演算処理装置１は、記憶装置２に格納されたプログラムの実行等を行い、画像解析装置１０の動作をコントロールする。演算処理装置１は、例えばＣＰＵ(Central Processing Unit)又はＧＰＵ(Graphics Processing Unit)で構成されることができる。記憶装置２はプログラム及びデータを記憶する。記憶装置２は、例えば磁気記憶装置又は半導体メモリ等のストレージデバイスであり、演算処理装置１の動作に基づいて読み込まれたプログラム及び長時間記憶しなくてはならないデータ等を記憶できる。記憶装置２は、また、画像解析装置１０の処理対象である画像、及び画像解析装置１０による検出結果を記憶することができる。本実施形態では、演算処理装置１が、記憶装置２に格納されたプログラムに従って処理を行うことで、例えば図１に示す画像解析装置１０の各機能及び図２に示すフローチャートに係る処理が実現される。

【0014】

入力装置３は、画像解析装置１０に各種の指示又は情報を入力可能なデバイスである。入力装置３は、例えばマウス、キーボード、タッチパネルデバイス、又はボタン等を含むことができる。入力装置３は、また、カメラ等の撮像装置を含むことができる。出力装置４は画像解析装置１０から各種の情報を出力可能なデバイスである。出力装置４は、例えば液晶パネル又は外部モニタ等のディスプレイデバイスを含むことができる。

【0015】

本実施形態に係る画像解析装置１０のハードウェア構成は、上述した構成に限られない。例えば、画像解析装置１０は、他装置との通信を行うためのＩ／Ｏ装置を備えていてもよい。Ｉ／Ｏ装置は、例えば、メモリーカード若しくはＵＳＢケーブル等を接続可能な入出力部、又は、有線若しくは無線等を用いる送受信部を含むことができる。また、演算処理装置１が有する機能のうち少なくとも一部が、プログラムの代わりに、専用のハードウェアによって実現されてもよい。

【0016】

図１は、本実施形態に係る画像解析装置１０の機能構成例を示す。図１に示すように、画像解析装置１０は、撮像部１８０、画像取得部１１０、領域設定部１２０、推定部１３０、分布算出部１４０、判定部１５０、流量算出部１６０、及び表示部１９０を備える。

【0017】

撮像部１８０は、解析対象のシーンを撮影する。撮像部１８０は、例えば、監視カメラのような固定されたカメラであってもよく、同一の撮影範囲を連続して撮影することにより、時系列画像として表される映像を得ることができる。時系列画像は、異なる時刻に撮像された複数のフレームで構成されている。

【0018】

画像取得部１１０は、撮像部１８０により撮像された時系列画像を取得する。画像取得部１１０は、例えば、連続する異なる時刻に撮像された２フレームの画像を取得することができる。

【0019】

領域設定部１２０は、時系列画像に設定領域を設定する。この設定領域は、撮像部１８０により撮影したシーンにおける被写体の流れ（例えば人の流れ）を解析するために用いられる。すなわち、設定領域を通った被写体の流量を、画像解析装置１０は測定することかできる。この流量は、例えば、１フレームで通った被写体の数、又は一定時間に通った被写体の数、により表すことができる。設定領域の形状は特に限定されないが、例えばライン状の領域を設定することができる。このライン状の領域は、１画素幅の領域であってもよい。この場合、ライン上の領域を一方向に通過した被写体の流量と、ライン上の領域を逆方向に通過した被写体の流量とを、画像解析装置１０はそれぞれ測定することができる。領域設定部１２０は、時系列画像に含まれる複数のフレームについて共通の設定領域を設定することができる。以下では、領域設定部１２０がライン状の領域を設定する場合について説明し、この領域のことを計測ラインと呼ぶ。

【0020】

推定部１３０は、画像取得部１１０が取得した時系列画像を用いて、画像中の被写体の移動を示す情報を生成する。例えば、推定部１３０は、第１の時刻に撮像されたフレームと、第２の時刻に撮像されたフレームとを用いて、フレーム間での被写体の移動を推定することができる。また、推定部１３０は、画像取得部１１０が取得した時系列画像を用いて、画像中の被写体の密度を示す情報を生成してもよい。例えば推定部１３０は、第１の時刻に撮像されたフレームと、第２の時刻に撮像されたフレームと、の少なくとも一方を用いて、第１の時刻若しくは第２の時刻における被写体の密度、又は第１の時刻及び第２の時刻における被写体の密度の平均値を推定できる。もっとも、推定部１３０が、被写体の移動を推定するために用いたフレームと同一のフレームから被写体の密度を推定する必要はない。例えば、推定部１３０は、一定の間隔で被写体の密度を推定してもよい。

【0021】

被写体の密度及び移動の推定方法は特に限定されない。例えば、推定部１３０は、各フレームから被写体（例えば人物の顔）を検出することができる。この検出結果に基づいて、推定部１３０は、被写体の密度を推定することができる。また、推定部１３０は、２つのフレーム間で類似する被写体を対応付けることにより、フレーム間の被写体の移動を検出することができる。以下に説明する実施形態においては、推定部１３０はニューラルネットワークに時系列画像を入力し、ニューラルネットワークの出力として被写体の密度及び移動を表す情報を得る。このような方法により、推定部１３０はニューラルネットワークを用いて画像中の被写体の密度及び移動ベクトルを推定することができる。

【0022】

分布算出部１４０、判定部１５０、及び流量算出部１６０は、時系列画像において設定領域を通った被写体の流量の出力モードを、設定領域における被写体の滞留状況に基づいて設定する。本実施形態において、分布算出部１４０、判定部１５０、及び流量算出部１６０は、計測ラインにおける被写体の滞留状況を判定し、画像中に設定された計測ラインを通過した被写体の流量の出力モードを、滞留状況に基づいて設定する。滞留状況とは、被写体があまり動かない状況のことを指す。例えば、被写体群が一定の方向に移動しておらず、様々な方向に移動している場合、被写体はスムーズに移動せず同じ位置に留まりやすいため、被写体が滞留していると判定することができる。また、被写体の密度が高い場合にも、被写体はスムーズに移動せず同じ位置に留まりやすいため、被写体が滞留していると判定することができる。

【0023】

このように滞留状況は、時系列画像における被写体の密度及び移動を示す情報に基づいて判定することができる。滞留状況は例えば、被写体の密度と移動の少なくとも一方に基づいて判定され、被写体が同じ位置に留まっている傾向を表すパラメータである滞留度により表すことができる。例えば、被写体の方向別の流量のばらつきが大きいほど、又は被写体の密度が大きいほど、高くなるように滞留度を定義することができる。このように、滞留度の算出方法は特に限定されない。一方、本実施形態においては、分布算出部１４０が、推定部１３０がニューラルネットワークを用いて推定した画像中の被写体の密度及び移動に基づいて、領域設定部１２０が設定した計測ラインにおける被写体の方向別の流量分布を算出する。また、判定部１５０は、分布算出部１４０が求めた流量分布に基づいて、被写体の滞留状況を判定し、撮像部１８０が撮像したシーンにおいて滞留が起こっているか否かを判定する。

【0024】

流量算出部１６０は、設定領域を通った被写体の流量を算出し、判定部１５０の判定結果に基づいて設定された被写体の流量の出力モードに従って、算出された流量を表示部１９０に出力する。流量算出部１６０は、推定部１３０により得られた被写体の移動を示す情報を用いて、被写体が設定領域を通ったかを判断し、被写体の流量を示す情報を生成することができる。本実施形態の場合、流量算出部１６０は、推定部１３０により得られた被写体の密度及び移動を示す情報を用いて、被写体の流量を示す情報を生成する。ここで、流量算出部１６０は、被写体の流量の出力モードに応じた算出方法を用いて、計測ラインを通過した被写体の流量を算出することができる。

【0025】

表示部１９０は、設定された出力モードに従って流量を出力する。例えば表示部１９０は、流量算出部１６０が求めた被写体の流量を、解析結果として出力装置４などに表示することができる。

【0026】

一実施形態に係る画像解析装置が、図１に示す構成の全てを有する必要はない。例えば、画像解析装置は、時系列画像を別個の撮像装置から取得してもよいし、時系列画像を解析した結果得られた滞留状況、被写体の移動を示す情報、及び流量を示す情報などを別個の解析装置から取得してもよい。この場合、画像解析装置は、取得した情報に従って流量の出力モードを設定し、設定された出力モードに従って流量を出力することができる。また、図１に示す機能のうち１以上を実現する装置の組み合わせによって構成された画像解析システムも、本発明の範囲に含まれる。

【0027】

以下、本実施形態に係る画像解析装置１０の動作を図２に示す処理の流れに従って説明する。ステップＳ１００において画像取得部１１０は、撮像部１８０が撮像した時系列画像のうち複数の画像を取得する。この説明において、画像取得部１１０は、連続する異なる時刻に撮像された２フレームの画像を取得し、記憶装置２に格納する。

【0028】

図３（Ａ）及び（Ｂ）は、画像解析装置１０による解析対象となる画像の例を示す。図３（Ａ）は、ある通路において人物が歩行している通常の歩行シーンにおいて撮像されたフレームであり、図３（Ｂ）は同じ通路において人物が滞留している滞留シーンにおいて撮像されたフレームである。これらのフレームは、同一の撮像装置によって同じ位置から撮像されているため、撮像範囲は同一である。図中、破線Ｌは領域設定部１２０が設定した計測ラインを示す。この計測ラインは、例えば入力装置３を用いたユーザ操作により、他のフレームを参照しながらユーザが解析を行うために予め指定することができる。

【0029】

ステップＳ２００において推定部１３０は、画像取得部１１０が取得した複数の画像を用いて、人の密度及び移動ベクトルを推定する。本実施形態において推定部１３０は、非特許文献１に記載されている方法を用いて、画像中の人物の密度分布及び移動ベクトル分布を推定する。非特許文献１には、事前の機械学習によって得られたニューラルネットワークに、画像を入力することにより、画像中の人物の密度分布を求める方法が開示されている。本実施形態ではこの方法を応用し、連続する２フレームの画像が入力されると、画像中の人物の密度分布及び移動ベクトル分布を同時に推定するニューラルネットワークが、推定のために用いられる。

【0030】

非特許文献１には、４８×４８画素の入力画像から、１６チャネルの７×７畳み込み層、プーリング及びドロップアウト層、１６チャネルの７×７畳み込み層、プーリング及びドロップアウト層、１６チャネルの５×５畳み込み層、４００ニューロンの全結合層、並びに２００ニューロンの全結合層を経て、１２×１２画素の人物の密度マップを与えるニューラルネットワークが紹介されている。このようなニューラルネットワークを本実施形態に応用する場合、例えば、連続する２フレームの画像である２チャネルのデータが入力されるように、ニューラルネットワークを修正することができる。また、１６チャネルの５×５畳み込み層から別の４００ニューロンの全結合層が分岐し、２００ニューロンの全結合層を経て、人物の横方向の移動量マップを与えるように、ニューラルネットワークをさらに修正することができる。さらには、１６チャネルの５×５畳み込み層からさらなる４００ニューロンの全結合層が分岐し、２００ニューロンの全結合層を経て、人物の縦方向の移動量マップを与えるように、ニューラルネットワークをさらに修正することができる。これら人物の横方向及び縦方向の移動量マップにより、人物の移動ベクトル分布を表すことができる。すなわち、このように修正されたニューラルネットワークを用いることにより、連続する２フレームの画像から、画像中の人物の密度分布及び移動ベクトル分布を同時に推定することができる。このようなニューラルネットワークの学習は、２フレームの画像と、正しい密度分布及び移動ベクトル分布と、のセットを用いて、公知の誤差逆伝播法により予め行うことができる。２フレームの画像に対する正しい密度分布及び移動ベクトル分布は、予めユーザ入力などに基づいて用意することができる。

【0031】

図５は、上記のようなニューラルネットワークを用いる推定部１３０の機能を概略的に示す。図５に示すように、ニューラルネットワーク５６０には、時刻ｔの画像５１０と、画像５１０に連続して撮像された時刻ｔ＋１の画像５２０と、が入力される。そして、ニューラルネットワーク５６０からは、人物の密度分布を示すマップ５３０、人物の横方向移動量分布を示すマップ５４０、及び人物の縦方向移動量分布を示すマップ５５０が出力される。図５においては、濃淡の濃い部分が人物頭部の位置を表すように、密度分布を示すマップ５３０は描かれている。また、濃淡が濃いほど移動量が大きいことを表すように、移動量分布を示すマップ５４０，５５０は描かれている。図５の例では、群衆が横方向に移動しており、各人物の横方向の移動量は大きいが、縦方向の移動量は小さい値を持っている。

【0032】

ステップＳ３００において分布算出部１４０は、推定部１３０が推定した人物の密度及び移動ベクトル分布と、領域設定部１２０が設定した計測ラインとに基づいて、方向別の流量分布を算出する。画像中の位置（ｉ，ｊ）における人物の密度をｄ（ｉ，ｊ）、移動ベクトルをｖ（ｉ，ｊ）とすると、求める方向の位置（ｉ，ｊ）における流量ｆ（ｉ，ｊ）は、式（１）のように表すことができる。
ｆ（ｉ，ｊ）＝ｄ（ｉ，ｊ）×ｖ（ｉ，ｊ）・ｎ ……式（１）
ただし、ｎは求める方向を表す単位ベクトルである。

【0033】

連続する２フレームの画像に対する方向ごとの流量は、計測ラインＬに沿った各画素（ｉ，ｊ）について求めた流量ｆ（ｉ，ｊ）のうち、正の値を取る流量のみを足し合わせることによって求めることができる。分布算出部１４０は、計測ラインＬに関し、例えば３０°ごとに、０°～３３０°の方向についての流量分布を求めることができる。このようにして求められる流量分布の例を図６に示す。なお、分布算出部１４０は、計測ラインＬ上の各画素における流量に基づいて流量分布を求めてもよいし、計測ラインＬを含む所定範囲の画素における流量に基づいて流量分布を求めてもよい。また、密度及び移動ベクトル分布を示すマップの解像度と、画像の解像度とが一致しない場合は、適宜補間を行うことができる。

【0034】

ステップＳ４００において判定部１５０は、分布算出部１４０が求めた流量分布に基づいて、撮像部１８０が撮影した、２フレームの画像に表されるシーンが、滞留シーンであるか否かを判定する。例えば、図３（Ａ）に示す通常の歩行シーンにおいては、計測ラインに直交する正方向及び逆方向に人の流量が偏る傾向がある。この場合、被写体の方向別の流量のばらつきが大きくなる。一方、図３（Ｂ）に示す滞留シーンにおいては、様々な方向の流量が現れる傾向がある。特に、計測ライン上で人の流れがないとしても、頭部が計測ライン上で前後又は左右に振れることにより、様々な方向の流量が現れる。この場合、被写体の方向別の流量のばらつきが小さくなる。

【0035】

本実施形態において判定部１５０は、被写体の方向別の流量のばらつきを示す情報に基づいて、被写体の滞留状況を判定する。具体例として、判定部１５０は、分布算出部１４０が求めた方向別の流量分布における、方向別の流量の分散に基づいて、２フレームの画像に表されるシーンを判定することができる。この際、判定部１５０は、方向別の流量の総和にさらに基づいて、シーンを判定することができる。例えば、判定部１５０は、方向別の流量の総和が第１の所定値ｔｈ１より大きく、方向別の流量の分散が第２の所定値ｔｈ２より大きい場合に、シーンが通常の歩行シーンであると判定することができる。一方、判定部１５０は、方向別の流量の総和が第１の所定値ｔｈ１より大きく、方向別の流量の分散が第２の所定値ｔｈ２以下である場合に、シーンが滞留シーンであると判定することができる。さらに、判定部１５０は、方向別の流量の総和が第１の所定値ｔｈ１以下である場合には、シーンが流量の少ない通常の歩行シーンであると判定することができる。図６において、実線で示した流量分布は通常の歩行シーン、破線で示した流量分布は滞留シーンに、それぞれ対応する。

【0036】

さらに判定部１５０は、時系列画像において設定領域を通った被写体の流量の出力モードを、設定領域における被写体の滞留状況に基づいて設定することができる。判定部１５０が設定した出力モードに従って、表示部１９０は画像解析装置１０によって得られた流量を出力する。本実施形態においては、流量算出部１６０は出力モードに従う流量を算出し、算出された流量が表示部１９０によって出力される。判定部１５０が設定可能な出力モードには、第１の出力モード及び第２の出力モードが含まれる。判定部１５０は、例えば、被写体が滞留していないとの判定に応じて第１の出力モードを設定してもよく、また被写体が滞留しているとの判定に応じて第２の出力モードを設定してもよい。ここで、第１の出力モードにおいて出力される流量の値が、第２の出力モードにおいて出力される流量の値とは異なるように、出力モードを設定することができる。例えば、以下に説明するように、本実施形態においては、第１の出力モードと第２の出力モードとでは、それぞれ異なる方法で得られた流量が出力される。

【0037】

ステップＳ５００において流量算出部１６０は、判定部１５０の判定結果に基づいて、人の流量を算出する。例えば、シーンが滞留シーンであると判定された場合、流量算出部１６０は計測ラインに直交する正方向及び逆方向の流量を相殺するように足し合わせることにより、流量を算出することができる。この場合、頭部が計測ライン上で前後又は左右に振れた場合であっても、このような部分的な動きの流量への影響を抑え、より正確に通過人数のカウントを行うことが可能となる。このように、本実施形態においては、滞留シーンで用いられる第２の出力モードにおいては双方向の流量が相殺された後の流量が出力される。

【0038】

一方、シーンが通常の歩行シーンであると判定された場合、流量算出部１６０は計測ラインに直交する正方向及び逆方向の流量を別々に算出することができる。このように、通常の歩行シーンで用いられる第１の出力モードにおいてはライン状の設定領域を通過した被写体の双方向の流量がそれぞれ出力される。

【0039】

ここで、計測ラインに直交する正方向の流量及び逆方向の流量とは、計測ラインを一方向に交差して移動する流量及び計測ラインを逆方向に交差して移動する流量のことを指す。本実施形態の場合、計測ラインに直交する正方向及び逆方向の流量のそれぞれは、計測ライン上の各位置（ｉ，ｊ）における正方向又は逆方向の正の値を取る流量ｆ（ｉ，ｊ）を合計することにより算出することができる。

【0040】

なお、人物の滞留状況に応じた出力モードの制御は、ここに挙げた例には限定されない。例えば、流量算出部１６０は、シーンが滞留シーンであると判定された場合、２方向の流量を足し合わせる代わりに、３方向以上の流量を足し合わせてもよい。また、大きい設定領域が設定された場合、設定領域を通った被写体の流量として、通常の歩行シーンでは設定領域に入る人の流量と設定領域から出る人の流量とをそれぞれ出力し、滞留シーンではこれらの流量が相殺された後の流量が出力されてもよい。

【0041】

別の方法として、流量算出部１６０は、シーンが通常の歩行シーンであると判定された場合には、推定部１３０が推定した移動ベクトル分布に含まれる全ての移動ベクトルを用いて、流量を算出してもよい。一方で、流量算出部１６０は、シーンが滞留シーンであると判定された場合には、推定部１３０が推定した移動ベクトル分布に含まれる移動ベクトルのうち、計測ラインとなす角が所定値以上である移動ベクトルを用いて、流量を算出してもよい。計測ラインとなす角が所定値以上である移動ベクトルは、計測ラインの向きとは十分に異なる向きを有する移動ベクトルに相当する。このような構成によっても、滞留シーンにおいて人物の部分的な動きの流量への影響を抑えることができる。

【0042】

上記の例においては、通常の歩行シーンにおいては人の流量は第１の個数の流量値（すなわち、正方向及び逆方向の２つの流量）で表されていた。また、滞留シーンにおいて人の流量は第１の個数とは異なる第２の個数の流量値（すなわち、相殺により得られた１つの流量）で表されていた。さらなる別の方法として、流量算出部１６０は、シーンが通常の歩行シーンであると判定された場合には、計測ラインを分割して得られた複数のセグメントのそれぞれについて、セグメントを通過した人の流量を算出してもよい。一方で、流量算出部１６０は、シーンが滞留シーンであると判定された場合には、単に計測ラインを通過した人の流量を算出してもよい。このような構成によれば、滞留シーンにおいて精度の低い情報を得ることを抑制することができる。

【0043】

ステップＳ６００において表示部１９０は、流量算出部１６０により算出された人の流量を、解析結果として出力装置４に出力する。出力装置４は、表示部１９０から得た解析結果を表示することができる。図７（Ａ）及び（Ｂ）は、判定部１５０がシーンは通常の歩行シーンであると判定した場合、及び滞留シーンであると判定した場合の表示例をそれぞれ示す。図７（Ａ）の例では、流量算出部１６０が算出した正方向及び逆方向の流量が、それぞれ矢印の太さにより表されている。また、図７（Ｂ）の例では、流量算出部１６０が算出した正方向及び逆方向の流量を足し合わせた結果得られた流量及びその向きが、矢印の太さにより表されている。図７（Ｂ）の例では、さらに、滞留シーンであることを示す「混雑」等の表示がなされている。

【0044】

流量の出力モードは、このような例には限定されない。例えば、表示部１９０は、推定部１３０が推定した動きベクトルに基づいて人の流れの速度を求め、流量とともに速度を出力することができる。速度は、例えば矢印の長さで表すことができる。また、表示部１９０は、正方向と逆方向の流量を見分けることを容易とするために、正方向と逆方向の流量をそれぞれ異なる色の矢印で表すことができる。さらに、表示部１９０は、矢印とともに、又は矢印に変えて、流量を数値として出力することもできる。

【0045】

図２に示すように、ステップＳ１００～Ｓ６００の処理は、撮像部１８０が撮像したフレーム毎に繰り返すことができる。なお、人物の滞留状況に応じた出力モードのさらなる例として、シーンが滞留シーンであると判定された場合、ライン状の設定領域を通過した被写体の双方向の流量が所定の時間にわたって相殺された後の流量が出力されてもよい。例えば、表示部１９０は、所定時間内の各フレームについて流量算出部１６０が求めた流量を時間平均又は単に合計して出力してもよい。表示部１９０は、流量算出部１６０が求めた各フレームについての正方向又は逆方向の流量を相殺することにより、計測ライン上での部分的な動きにより正確ではない流量が出力されることを、さらに抑制することができる。

【0046】

以上説明したように、本実施形態においては、計測ラインにおける被写体の滞留状況に基づいて、人の流れの出力モードが制御される。とりわけ、図２を参照して説明した例においては、画像中に設定した計測ラインに基づいて方向別の流量分布が算出され、方向別の流量分布に基づいてシーンが滞留シーンであるか否かが判定される。そして、この結果に基づいて、人の流量が算出され、出力される。このような構成をとることにより、混雑時又は滞留時において、映像からより高い精度で人の流れ及び通過人数を推定することができる。

【0047】

なお、以上では、画像中に１つの計測ラインを設定して流量を算出する場合について説明した。一方で、画像中に複数の計測ラインを設定し、それぞれの計測ラインを通過する流量を算出してもよい。この場合、それぞれの計測ラインに対して上述した処理を行うことで、例えば図２に示す処理フローに従ってステップＳ３００～Ｓ６００の処理を繰り返すことで、それぞれの計測ラインを通過する流量を得ることができる。

【0048】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0049】

１００：画像取得部、１２０：領域設定部、１３０：推定部、１４０：分布算出部、１５０：判定部、１６０：流量算出部、１８０：撮像部、１９０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】