(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187237
(43)【公開日】2022-12-19
(54)【発明の名称】群集流動分析装置、群集流動分析方法およびプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20221212BHJP
【ＦＩ】
G06T7/20 300Z
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021095154
(22)【出願日】2021-06-07
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】米山 一幸
(72)【発明者】
【氏名】生富 直孝
(72)【発明者】
【氏名】氷室 福
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA05
5L096FA52
5L096FA69
5L096HA04
5L096HA08
5L096JA11
(57)【要約】
【課題】計算負荷を低減し時系列の静止画像から平均的な群集の流動を適切に把握する。
【解決手段】群集流動分析装置は、複数の対象物が撮影された時系列の静止画像を取得する画像取得部と、画像取得部によって取得された時系列の静止画像のそれぞれを複数の領域に分割する画像分割部と、画像分割部によって分割された複数の領域のそれぞれに含まれる対象物を検出し、複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出部と、画像分割部によって分割された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出部と、対象物数算出部によって算出された複数の領域のそれぞれに含まれる対象物の数と移動速度方向算出部によって算出された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて静止画像全体における平均的な群集の流動を算出する群集流動算出部とを備える。
【選択図】図１
【解決手段】群集流動分析装置は、複数の対象物が撮影された時系列の静止画像を取得する画像取得部と、画像取得部によって取得された時系列の静止画像のそれぞれを複数の領域に分割する画像分割部と、画像分割部によって分割された複数の領域のそれぞれに含まれる対象物を検出し、複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出部と、画像分割部によって分割された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出部と、対象物数算出部によって算出された複数の領域のそれぞれに含まれる対象物の数と移動速度方向算出部によって算出された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて静止画像全体における平均的な群集の流動を算出する群集流動算出部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の対象物が撮影された時系列の静止画像を取得する画像取得部と、
前記画像取得部によって取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割部と、
前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出部と、
前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出部と、
前記対象物数算出部によって算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出部によって算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出部とを備える群集流動分析装置。
前記画像取得部によって取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割部と、
前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出部と、
前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出部と、
前記対象物数算出部によって算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出部によって算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出部とを備える群集流動分析装置。
【請求項2】
前記複数の対象物は、複数の歩行者であり、
前記対象物数算出部は、前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる歩行者の顔のみを検出することによって、前記複数の領域のそれぞれに含まれる歩行者の数を算出する、
請求項１に記載の群集流動分析装置。
前記対象物数算出部は、前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる歩行者の顔のみを検出することによって、前記複数の領域のそれぞれに含まれる歩行者の数を算出する、
請求項１に記載の群集流動分析装置。
【請求項3】
前記移動速度方向算出部は、前記複数の領域のそれぞれにおける特徴量の変化に基づいて、前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する、
請求項１に記載の群集流動分析装置。
請求項１に記載の群集流動分析装置。
【請求項4】
複数の対象物が撮影された時系列の静止画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出ステップと、
前記対象物数算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出ステップとを備える群集流動分析方法。
前記画像取得ステップにおいて取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出ステップと、
前記対象物数算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出ステップとを備える群集流動分析方法。
【請求項5】
コンピュータに、
複数の対象物が撮影された時系列の静止画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出ステップと、
前記対象物数算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出ステップとを実行させるためのプログラム。
複数の対象物が撮影された時系列の静止画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出ステップと、
前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出ステップと、
前記対象物数算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出ステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、群集流動分析装置、群集流動分析方法およびプログラムに関する。
【背景技術】
【0002】
国内外のスマートシティ計画などにおいて、屋内外に設置されたカメラによって撮影された画像を利用して、人工知能（ＡＩ）による画像分析技術により歩行者、車両、自転車などの位置・流動をデータ化・可視化し、さまざまな行政サービスや商業目的に利用する事例が増えている。
【0003】
図５はカメラによって撮影された画像から歩行者などの流動をデータ化する従来手法を模式的に示す図である。
図５に示すような従来手法では、主に以下の（１）および（２）が用いられている（以下の（１）および（２）では歩行者を例にするが、自動車・自転車でも原理は同じである）。
（１）撮影される動画（＝時系列の静止画）を構成するそれぞれの静止画において、深層学習などを用いて画像分析を行って歩行者を検出し、画面内での位置から実空間における座標を求める。
（２）時系列の各静止画において（１）で検出された歩行者を同定（＝同一の歩行者として識別）することにより、個々の歩行者の各時刻における座標を求め、その時間変化から各歩行者の動線をデータ化する。各画像間の歩行者の同定方法については、以下の（２－１）、（２－２）などがあり、（２－１）、（２－２）などを組み合わせて用いることもある。
（２－１）時間的に連続する画像間で歩行者の位置を比較し、近接する歩行者を同一と識別する。
（２－２）各歩行者の服装などの特徴量から異なる時刻の画像において同一の歩行者を識別する。
図５に示すような従来手法では、主に以下の（１）および（２）が用いられている（以下の（１）および（２）では歩行者を例にするが、自動車・自転車でも原理は同じである）。
（１）撮影される動画（＝時系列の静止画）を構成するそれぞれの静止画において、深層学習などを用いて画像分析を行って歩行者を検出し、画面内での位置から実空間における座標を求める。
（２）時系列の各静止画において（１）で検出された歩行者を同定（＝同一の歩行者として識別）することにより、個々の歩行者の各時刻における座標を求め、その時間変化から各歩行者の動線をデータ化する。各画像間の歩行者の同定方法については、以下の（２－１）、（２－２）などがあり、（２－１）、（２－２）などを組み合わせて用いることもある。
（２－１）時間的に連続する画像間で歩行者の位置を比較し、近接する歩行者を同一と識別する。
（２－２）各歩行者の服装などの特徴量から異なる時刻の画像において同一の歩行者を識別する。
【0004】
以上の方法では、歩行者ひとりひとりを認識してその動線をデータ化するため、個々の歩行者の流動を詳細に分析することができる。一方で、同一画像内に数十人の歩行者が存在する、いわゆる「群集」の流動分析に用いる場合、以下の＜１＞～＜３＞の理由で計算負荷が大きくなる。
＜１＞画像内の歩行者数が増えることにより、深層学習などで対象を検出するための計算負荷が増加する。
＜２＞画像間の歩行者の同定に上記（２－１）の手法を用いる場合、歩行者が密集する中で位置により同一歩行者を精度よく同定するためには分析する静止画の時間間隔を短くする必要があり、対象時間当たりの計算量が増える（５～１０フレーム／秒）。
＜３＞画像間の歩行者の同定に上記（２－２）の手法を用いる場合、歩行者の検出に加えて各歩行者の特徴量から画像間で同一歩行者を同定する計算プロセスが必要になり、計算量が大幅に増加する。また、画面内の歩行者が重なり合って密集し個々の歩行者の全身画像が得られない場合などは、特徴量による同定が困難になる場合もある。
＜１＞画像内の歩行者数が増えることにより、深層学習などで対象を検出するための計算負荷が増加する。
＜２＞画像間の歩行者の同定に上記（２－１）の手法を用いる場合、歩行者が密集する中で位置により同一歩行者を精度よく同定するためには分析する静止画の時間間隔を短くする必要があり、対象時間当たりの計算量が増える（５～１０フレーム／秒）。
＜３＞画像間の歩行者の同定に上記（２－２）の手法を用いる場合、歩行者の検出に加えて各歩行者の特徴量から画像間で同一歩行者を同定する計算プロセスが必要になり、計算量が大幅に増加する。また、画面内の歩行者が重なり合って密集し個々の歩行者の全身画像が得られない場合などは、特徴量による同定が困難になる場合もある。
【0005】
このため、例えば群集の流動をリアルタイムで分析して利用するような目的（災害時の避難誘導など）では、大きな計算負荷に対応した高性能の計算機が必要となる。また、そのような高速の処理を行うためにはクラウドサーバー等を用いることが多いが、歩行者などが撮影された画像をインターネットなどを介して送信する必要があり、個人情報保護上のリスクとなる。
【0006】
また従来から、個々の車両などミクロな挙動を捉えずに、ダイレクトに交通流など集団のマクロな挙動を捉える映像監視システムが知られている（特許文献１参照）。特許文献１に記載された技術では、監視カメラにより取得された交通監視映像に対して、直近のあらかじめ設定された時間（フレーム）で逐次、フレーム画像の画素毎の画像信号を平均化するフレーム間平均処理を施してフレーム間平均映像が得られる。また、特許文献１に記載された技術では、フレーム間平均映像に対して、映像内の動きの場（オプティカルフロー）を算出して軌跡の動きが得られる。
ところで、特許文献１に記載された技術では、１つのオプティカルフロー（移動ベクトル）が、何台の車両の動きをまとめて表しているかについて考慮されていない。そのため、特許文献１に記載された技術では、平均的な群集の流動を適切に把握できないおそれがある。
ところで、特許文献１に記載された技術では、１つのオプティカルフロー（移動ベクトル）が、何台の車両の動きをまとめて表しているかについて考慮されていない。そのため、特許文献１に記載された技術では、平均的な群集の流動を適切に把握できないおそれがある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１０－１４０３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述した点に鑑み、本発明は、計算負荷を低減しつつ時系列の静止画像から平均的な群集の流動を適切に把握することができる群集流動分析装置、群集流動分析方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様は、複数の対象物が撮影された時系列の静止画像を取得する画像取得部と、前記画像取得部によって取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割部と、前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出部と、前記画像分割部によって分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出部と、前記対象物数算出部によって算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出部によって算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出部とを備える群集流動分析装置である。
【0010】
本発明の一態様は、複数の対象物が撮影された時系列の静止画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割ステップと、前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出ステップと、前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出ステップと、前記対象物数算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出ステップとを備える群集流動分析方法である。
【0011】
本発明の一態様は、コンピュータに、複数の対象物が撮影された時系列の静止画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記時系列の静止画像のそれぞれを複数の領域に分割する画像分割ステップと、前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物を検出し、前記複数の領域のそれぞれに含まれる対象物の数を算出する対象物数算出ステップと、前記画像分割ステップにおいて分割された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する移動速度方向算出ステップと、前記対象物数算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の数と、前記移動速度方向算出ステップにおいて算出された前記複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、前記静止画像全体における平均的な群集の流動を算出する群集流動算出ステップとを実行させるためのプログラムである。
【発明の効果】
【0012】
本発明によれば、計算負荷を低減しつつ時系列の静止画像から平均的な群集の流動を適切に把握することができる群集流動分析装置、群集流動分析方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態の群集流動分析装置の一例を示す図である。
【図2】画像分割部によって分割された複数の領域の一例などを説明するための図である。
【図3】第１実施形態の群集流動分析装置において実行される処理の一例を説明するためのフローチャートである。
【図4】第１実施形態の群集流動分析装置において算出された静止画像全体における平均的な群集の流動の適用例を説明するための図である。
【図5】カメラによって撮影された画像から歩行者などの流動をデータ化する従来手法を模式的に示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照し、本発明の群集流動分析装置、群集流動分析方法およびプログラムの実施形態について説明する。
【0015】
［第１実施形態］
図１は第１実施形態の群集流動分析装置１の一例を示す図である。
図１に示す例では、群集流動分析装置１が画像取得部１１と、画像分割部１２と、対象物数算出部１３と、移動速度方向算出部１４と、群集流動算出部１５とを備えている。
画像取得部１１は、複数の対象物が撮影された時系列の静止画像を取得する。画像取得部１１は、例えば数秒毎に撮影された複数の静止画像を取得する。複数の対象物は、複数の静止画像のそれぞれに含まれている。
画像分割部１２は、画像取得部１１によって取得された時系列の静止画像のそれぞれを複数の領域に分割する。
図１は第１実施形態の群集流動分析装置１の一例を示す図である。
図１に示す例では、群集流動分析装置１が画像取得部１１と、画像分割部１２と、対象物数算出部１３と、移動速度方向算出部１４と、群集流動算出部１５とを備えている。
画像取得部１１は、複数の対象物が撮影された時系列の静止画像を取得する。画像取得部１１は、例えば数秒毎に撮影された複数の静止画像を取得する。複数の対象物は、複数の静止画像のそれぞれに含まれている。
画像分割部１２は、画像取得部１１によって取得された時系列の静止画像のそれぞれを複数の領域に分割する。
【0016】
図２は画像分割部１２によって分割された複数の領域の一例などを説明するための図である。詳細には、図２（Ａ）は画像分割部１２によって分割された複数の領域の一例を示している。
図２（Ａ）に示す例では、画像取得部１１によって取得された静止画像（詳細には、時間ｔ１にカメラ（図示せず）によって撮影された静止画像）が、画像分割部１２によって９６（＝８×１２）個の領域に分割されている。
他の例では、画像取得部１１によって取得された静止画像が、画像分割部１２によって９６以外の数の領域に分割されてもよい。
図２（Ａ）に示す例では、画像取得部１１によって取得された静止画像（詳細には、時間ｔ１にカメラ（図示せず）によって撮影された静止画像）が、画像分割部１２によって９６（＝８×１２）個の領域に分割されている。
他の例では、画像取得部１１によって取得された静止画像が、画像分割部１２によって９６以外の数の領域に分割されてもよい。
【0017】
図２（Ａ）に示す例では、画像取得部１１によって取得された静止画像に、複数の対象物として、複数の人物（詳細には、歩行者）が含まれている。
他の例では、画像取得部１１によって取得された静止画像に、複数の対象物として、複数のランナー等が含まれていてもよい。
他の例では、画像取得部１１によって取得された静止画像に、複数の対象物として、複数のランナー等が含まれていてもよい。
【0018】
図１に示す例では、対象物数算出部１３が、画像分割部１２によって分割された複数の領域のそれぞれに含まれる対象物を検出し、画像分割部１２によって分割された複数の領域のそれぞれに含まれる対象物の数を算出する。
図２（Ａ）に示す例では、対象物数算出部１３が、例えば、左から１番目かつ上から１番目の領域に含まれる対象物の数として「１」を算出する。また、対象物数算出部１３は、例えば、左から１番目かつ上から６番目の領域に含まれる対象物の数として「０」を算出する。
図２（Ａ）に示す例では、対象物数算出部１３が、例えば、左から１番目かつ上から１番目の領域に含まれる対象物の数として「１」を算出する。また、対象物数算出部１３は、例えば、左から１番目かつ上から６番目の領域に含まれる対象物の数として「０」を算出する。
【0019】
図２（Ａ）に示すように、画像分割部１２によって分割された９６個の領域のそれぞれに含まれる対象物の数は、「１」または「０」とは限らない。図２（Ａ）に示す例では、例えば、右から１番目かつ上から２番目の領域に含まれる対象物の数は「２」である。
そこで、図１に示す例では、移動速度方向算出部１４が、画像分割部１２によって分割された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する。詳細には、移動速度方向算出部１４は、画像分割部１２によって分割された複数の領域のそれぞれにおける特徴量の変化に基づいて、複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する。
そこで、図１に示す例では、移動速度方向算出部１４が、画像分割部１２によって分割された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する。詳細には、移動速度方向算出部１４は、画像分割部１２によって分割された複数の領域のそれぞれにおける特徴量の変化に基づいて、複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する。
【0020】
図２（Ａ）および図２（Ｂ）に示す例では、移動速度方向算出部１４が、９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向（例えば、右から１番目かつ上から２番目の領域に含まれる２人の歩行者の平均移動速度および平均移動方向など）を算出する。
図２（Ｂ）は移動速度方向算出部１４によって算出された９６個の領域のそれぞれに含まれる対象物（歩行者）の平均移動速度および平均移動方向をベクトル（矢印）で示している。詳細には、図２（Ｂ）は、時間ｔ１に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向と、時間ｔ１よりも後の時間ｔ２に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向と、時間ｔ２よりも後の時間ｔ３に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とをベクトルで示している。
図２（Ｂ）は移動速度方向算出部１４によって算出された９６個の領域のそれぞれに含まれる対象物（歩行者）の平均移動速度および平均移動方向をベクトル（矢印）で示している。詳細には、図２（Ｂ）は、時間ｔ１に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向と、時間ｔ１よりも後の時間ｔ２に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向と、時間ｔ２よりも後の時間ｔ３に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とをベクトルで示している。
【0021】
図１に示す例では、群集流動算出部１５が、対象物数算出部１３によって算出された複数の領域のそれぞれに含まれる対象物の数と、移動速度方向算出部１４によって算出された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、静止画像全体における平均的な群集の流動を算出する。
【0022】
図２（Ａ）および図２（Ｂ）に示す例では、群集流動算出部１５が、時間ｔ１に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の数と、時間ｔ１に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、時間ｔ１に撮影された静止画像全体における平均的な群集の流動を算出する。
また、群集流動算出部１５は、時間ｔ２に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の数と、時間ｔ２に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、時間ｔ２に撮影された静止画像全体における平均的な群集の流動を算出し、時間ｔ３に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の数と、時間ｔ３に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、時間ｔ３に撮影された静止画像全体における平均的な群集の流動を算出する。
また、群集流動算出部１５は、時間ｔ２に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の数と、時間ｔ２に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、時間ｔ２に撮影された静止画像全体における平均的な群集の流動を算出し、時間ｔ３に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の数と、時間ｔ３に撮影された静止画像を構成する９６個の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、時間ｔ３に撮影された静止画像全体における平均的な群集の流動を算出する。
【0023】
群集流動算出部１５は、例えば時間ｔ３に撮影された静止画像全体における平均的な群集の流動を算出する場合に、対象物の数が「１」の領域（例えば図２（Ａ）および図２（Ｂ）の左から１番目かつ上から６番目の領域）のベクトルの重みと、対象物の数が「２」の領域（例えば図２（Ａ）および図２（Ｂ）の右から１番目かつ上から２番目の領域）のベクトルの重みとを異ならせる。詳細には、群集流動算出部１５は、対象物の数が「２」の領域のベクトルの重みを、対象物の数が「１」の領域のベクトルの重みより大きくする。そのため、領域内の対象物の数が考慮されない場合よりも適切に平均的な群集の流動を算出することができる。
更に、群集流動算出部１５は、時間ｔ１に撮影された静止画像全体における平均的な群集の流動と、時間ｔ２に撮影された静止画像全体における平均的な群集の流動と、時間ｔ３に撮影された静止画像全体における平均的な群集の流動とに基づいて、時間ｔ１～時間ｔ３の期間における静止画像全体の平均的な群集の流動の変化を算出することもできる。
更に、群集流動算出部１５は、時間ｔ１に撮影された静止画像全体における平均的な群集の流動と、時間ｔ２に撮影された静止画像全体における平均的な群集の流動と、時間ｔ３に撮影された静止画像全体における平均的な群集の流動とに基づいて、時間ｔ１～時間ｔ３の期間における静止画像全体の平均的な群集の流動の変化を算出することもできる。
【0024】
上述したように、第１実施形態の群集流動分析装置１では、画像分割部１２が、対象画像（複数の対象物が撮影された静止画像）を例えばグリッドなどの複数の領域に分割する。
対象物数算出部１３は、一定時間間隔ごとにサンプリングした静止画像を用いた対象物（例えば歩行者など）の検出・カウントを行う。
移動速度方向算出部１４は、オプティカルフロー（optical flow）などによる静止画像内の特徴点の移動ベクトルの検出を行う。
群集流動算出部１５は、対象物数算出部１３による処理の結果と、移動速度方向算出部１４による処理の結果とを組み合わせることによって、領域毎の平均的な対象物の密度・流動（速度・方向）を算出する。更に、群集流動算出部１５は、領域毎の平均的な対象物の密度・流動（速度・方向）を統合することによって、静止画像全体の群集流動をモデル化する。
対象物数算出部１３は、一定時間間隔ごとにサンプリングした静止画像を用いた対象物（例えば歩行者など）の検出・カウントを行う。
移動速度方向算出部１４は、オプティカルフロー（optical flow）などによる静止画像内の特徴点の移動ベクトルの検出を行う。
群集流動算出部１５は、対象物数算出部１３による処理の結果と、移動速度方向算出部１４による処理の結果とを組み合わせることによって、領域毎の平均的な対象物の密度・流動（速度・方向）を算出する。更に、群集流動算出部１５は、領域毎の平均的な対象物の密度・流動（速度・方向）を統合することによって、静止画像全体の群集流動をモデル化する。
【0025】
図２（Ａ）に示す例では、画像分割部１２が、静止画像を例えばグリッド状に例えば９６個の領域に分割する。
対象物数算出部１３は、上述した深層学習などの手法により、図２（Ａ）の各領域内の矩形で示すように、対象物（例えば歩行者など）を検出し、各領域内の対象物の数をカウントする。対象とする群集流動の速度・密度にもよるが、対象物数算出部１３は、この処理を数秒に１回程度実行する。そのため、図５に示す従来手法（５～１０フレーム／秒）よりも検出の頻度を低減することができ、計算負荷を軽減することができる。また、対象物数算出部１３による処理では、対象物の数のみがわかればよいため、特徴量などによる対象物の同定も不要であり、対象物が歩行者である場合には歩行者の顔のみを検出してもよい。歩行者の顔のみを検出する場合には、歩行者の全身を検出する場合よりも計算負荷を軽減することができ、歩行者が密集して歩行者の全身像を得られない場合においても歩行者を精度良く検出する（歩行者の数を精度良く算出する）ことができる。
対象物数算出部１３は、上述した深層学習などの手法により、図２（Ａ）の各領域内の矩形で示すように、対象物（例えば歩行者など）を検出し、各領域内の対象物の数をカウントする。対象とする群集流動の速度・密度にもよるが、対象物数算出部１３は、この処理を数秒に１回程度実行する。そのため、図５に示す従来手法（５～１０フレーム／秒）よりも検出の頻度を低減することができ、計算負荷を軽減することができる。また、対象物数算出部１３による処理では、対象物の数のみがわかればよいため、特徴量などによる対象物の同定も不要であり、対象物が歩行者である場合には歩行者の顔のみを検出してもよい。歩行者の顔のみを検出する場合には、歩行者の全身を検出する場合よりも計算負荷を軽減することができ、歩行者が密集して歩行者の全身像を得られない場合においても歩行者を精度良く検出する（歩行者の数を精度良く算出する）ことができる。
【0026】
図２（Ｂ）に示すようなオプティカルフローなどによる動体検出技術は、動画（＝時系列の静止画）の画像の変化から「動くもの」を検出する手法であり、ＯｐｅｎＣＶにも実装されている。移動速度方向算出部１４は、画像の特徴量の変化から対象物の動きを捉えるため、深層学習などにより対象物を検出する手法に比べて計算負荷を低減することができる。移動速度方向算出部１４は、画像分割部１２によって分割された複数の領域のそれぞれにおいて画面内の特徴量から平均的な流動の方向・速度を算出する。対象とする群集流動の速度にもよるが、移動速度方向算出部１４は、この処理を１秒に１回程度実行する。
【0027】
上述したように、対象物数算出部１３が、複数の領域のそれぞれに含まれる対象物（例えば歩行者など）の数を算出し、移動速度方向算出部１４が、複数の領域のそれぞれに含まれる対象物（例えば歩行者など）の平均移動速度および平均移動方向を算出する。
群集流動算出部１５は、対象物数算出部１３による処理の結果と、移動速度方向算出部１４による処理の結果とを統合することによって、複数の領域のそれぞれに含まれる対象物の平均的な流動を算出する。更に、群集流動算出部１５は、複数の領域のそれぞれに含まれる対象物の平均的な流動を統合することによって、静止画像全体の平均的な群集の流動を算出する。
群集流動算出部１５は、対象物数算出部１３による処理の結果と、移動速度方向算出部１４による処理の結果とを統合することによって、複数の領域のそれぞれに含まれる対象物の平均的な流動を算出する。更に、群集流動算出部１５は、複数の領域のそれぞれに含まれる対象物の平均的な流動を統合することによって、静止画像全体の平均的な群集の流動を算出する。
【0028】
第１実施形態の群集流動分析装置１では、対象物の個々の動線を検出する既存手法に比べて計算負荷を大幅に低減することができる。そのため、第１実施形態の群集流動分析装置１では、既存手法と比較して簡素な計算環境を用いて、実時刻の画像をリアルタイムで処理することができる。
第１実施形態の群集流動分析装置１によって得られるデータは画像内の平均的な群集の流動（密度・速度）であるため、歩行者個々の動きを追跡する目的には適さないが、大規模な群集流動のリアルタイムの分析と、その結果に基づく誘導などに有用である。
実際に、初詣の人手の推計などでは、計測点における目視による歩行者の密度と流動速度から全体の参拝者を算出する手法が用いられており、第１実施形態の群集流動分析装置１は、この手法に画像処理とＡＩとが適用される手法であるといえる。
第１実施形態の群集流動分析装置１によって得られるデータは画像内の平均的な群集の流動（密度・速度）であるため、歩行者個々の動きを追跡する目的には適さないが、大規模な群集流動のリアルタイムの分析と、その結果に基づく誘導などに有用である。
実際に、初詣の人手の推計などでは、計測点における目視による歩行者の密度と流動速度から全体の参拝者を算出する手法が用いられており、第１実施形態の群集流動分析装置１は、この手法に画像処理とＡＩとが適用される手法であるといえる。
【0029】
図３は第１実施形態の群集流動分析装置１において実行される処理の一例を説明するためのフローチャートである。
図３に示す例では、ステップＳ１１において、画像取得部１１は、複数の対象物が撮影された時系列の静止画像を取得する。
次いで、ステップＳ１２では、画像分割部１２が、ステップＳ１１において取得された時系列の静止画像のそれぞれを複数の領域に分割する。
次いで、ステップＳ１３では、対象物数算出部１３が、ステップＳ１２において分割された複数の領域のそれぞれに含まれる対象物を検出し、ステップＳ１２において分割された複数の領域のそれぞれに含まれる対象物の数を算出する。
また、ステップＳ１４では、ステップＳ１２において分割された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する。
次いで、ステップＳ１５では、群集流動算出部１５が、ステップＳ１３において算出された複数の領域のそれぞれに含まれる対象物の数と、ステップＳ１４において算出された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、静止画像全体における平均的な群集の流動を算出する。
図３に示す例では、ステップＳ１１において、画像取得部１１は、複数の対象物が撮影された時系列の静止画像を取得する。
次いで、ステップＳ１２では、画像分割部１２が、ステップＳ１１において取得された時系列の静止画像のそれぞれを複数の領域に分割する。
次いで、ステップＳ１３では、対象物数算出部１３が、ステップＳ１２において分割された複数の領域のそれぞれに含まれる対象物を検出し、ステップＳ１２において分割された複数の領域のそれぞれに含まれる対象物の数を算出する。
また、ステップＳ１４では、ステップＳ１２において分割された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向を算出する。
次いで、ステップＳ１５では、群集流動算出部１５が、ステップＳ１３において算出された複数の領域のそれぞれに含まれる対象物の数と、ステップＳ１４において算出された複数の領域のそれぞれに含まれる対象物の平均移動速度および平均移動方向とに基づいて、静止画像全体における平均的な群集の流動を算出する。
【0030】
図４は第１実施形態の群集流動分析装置１において算出された静止画像全体における平均的な群集の流動の適用例を説明するための図である。詳細には、第１実施形態の群集流動分析装置１において算出された人流が可視化された例を示している。
図４に示す例では、第１実施形態の群集流動分析装置１が、図４の左上に示す時系列の静止画像（カメラ画像）に基づいて「移動小・滞流」の人流を算出し、その人流の方向・密度がヒストグラムで可視化されている。また、第１実施形態の群集流動分析装置１が、図４の左下に示す時系列の静止画像（カメラ画像）に基づいて「移動大（多方向）」の人流を算出し、その人流の方向・密度がヒストグラムで可視化されている。更に、第１実施形態の群集流動分析装置１が、図４の右下に示す時系列の静止画像（カメラ画像）に基づいて「移動大（一方向）」の人流を算出し、その人流の方向・密度がヒストグラムで可視化されている。
図４に示す例では、第１実施形態の群集流動分析装置１が、図４の左上に示す時系列の静止画像（カメラ画像）に基づいて「移動小・滞流」の人流を算出し、その人流の方向・密度がヒストグラムで可視化されている。また、第１実施形態の群集流動分析装置１が、図４の左下に示す時系列の静止画像（カメラ画像）に基づいて「移動大（多方向）」の人流を算出し、その人流の方向・密度がヒストグラムで可視化されている。更に、第１実施形態の群集流動分析装置１が、図４の右下に示す時系列の静止画像（カメラ画像）に基づいて「移動大（一方向）」の人流を算出し、その人流の方向・密度がヒストグラムで可視化されている。
【0031】
第１実施形態の群集流動分析装置１およびその適用例では、カメラ画像分析による群集などの流動の分析に関して、比較的簡素な計算環境で平均的な群集の流動（密度、流速、流動方向など）をデータ化・可視化することができる。
また、第１実施形態の群集流動分析装置１では、オンプレミスで群集流動のリアルタイムな分析を行うことができ、リアルタイムでの誘導などの対策が可能になる。また、画像をリアルタイムで処理してデータのみを保続することにより、画像をインターネット経由で転送したり、録画したりする手法に比べて個人情報に配慮した処理が可能となる。
また、第１実施形態の群集流動分析装置１では、オンプレミスで群集流動のリアルタイムな分析を行うことができ、リアルタイムでの誘導などの対策が可能になる。また、画像をリアルタイムで処理してデータのみを保続することにより、画像をインターネット経由で転送したり、録画したりする手法に比べて個人情報に配慮した処理が可能となる。
【0032】
［第２実施形態］
以下、本発明の群集流動分析装置、群集流動分析方法およびプログラムの第２実施形態について説明する。
第２実施形態の群集流動分析装置１は、後述する点を除き、上述した第１実施形態の群集流動分析装置１と同様に構成されている。従って、第２実施形態の群集流動分析装置１によれば、後述する点を除き、上述した第１実施形態の群集流動分析装置１と同様の効果を奏することができる。
以下、本発明の群集流動分析装置、群集流動分析方法およびプログラムの第２実施形態について説明する。
第２実施形態の群集流動分析装置１は、後述する点を除き、上述した第１実施形態の群集流動分析装置１と同様に構成されている。従って、第２実施形態の群集流動分析装置１によれば、後述する点を除き、上述した第１実施形態の群集流動分析装置１と同様の効果を奏することができる。
【0033】
上述したように、第１実施形態の群集流動分析装置１の画像取得部１１によって取得される時系列の静止画像には、複数の対象物として、複数の人物が含まれている。一方、第２実施形態の群集流動分析装置１の画像取得部１１によって取得される時系列の静止画像には、複数の対象物として、複数の人物以外のもの（例えば自動車、自転車、動物など）が含まれている。
第２実施形態の群集流動分析装置１においても、第１実施形態の群集流動分析装置１と同様に、計算負荷を低減しつつ時系列の静止画像から平均的な群集の流動を適切に把握することができる。
第２実施形態の群集流動分析装置１においても、第１実施形態の群集流動分析装置１と同様に、計算負荷を低減しつつ時系列の静止画像から平均的な群集の流動を適切に把握することができる。
【0034】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこれらの実施形態および各例に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
【0035】
なお、上述した実施形態における群集流動分析装置１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【0036】
１ 群集流動分析装置
１１ 画像取得部
１２ 画像分割部
１３ 対象物数算出部
１４ 移動速度方向算出部
１５ 群集流動算出部
１１ 画像取得部
１２ 画像分割部
１３ 対象物数算出部
１４ 移動速度方向算出部
１５ 群集流動算出部
【図1】
【図2】
【図3】
【図4】
【図5】
