(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161559
(43)【公開日】2024-11-19
(54)【発明の名称】情報管理方法及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20241112BHJP
G06T 7/254 20170101ALI20241112BHJP
G06T 7/00 20170101ALI20241112BHJP
H04N 7/18 20060101ALI20241112BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/254 A
G06T7/00 660B
H04N7/18 D
H04N7/18 K
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024139502
(22)【出願日】2024-08-21
(62)【分割の表示】P 2022515201の分割
【原出願日】2020-11-26
(31)【優先権主張番号】P 2020071807
(32)【優先日】2020-04-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100199314
【弁理士】
【氏名又は名称】竹内 寛
(72)【発明者】
【氏名】宮田 淳司
(72)【発明者】
【氏名】市村 大治郎
(72)【発明者】
【氏名】秦 秀彦
(57)【要約】 （修正有）
【課題】撮像画像から複数の移動体を検知する処理を効率良くする移動体検知システム及びその情報管理装置を提供する。
【解決手段】動線検知システムは、所定周期で画像を撮像して画像データを夫々生成する複数の撮像装置（カメラ）と、各撮像装置による画像データに画像認識を行って各画像データが示す撮像画像における移動体を夫々検知する複数の画像認識装置（動線抽出サーバ）と、各撮像装置から各画像認識装置へ供給される画像データを管理する情報管理装置（混雑管理サーバ）と、を備え、情報管理装置は、各撮像装置及び各画像認識装置とデータ通信を行う通信部と、通信部の動作を制御する制御部と、を備える。制御部は、撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理し、混雑情報が示す数量の大きさに応じて、複数の撮像装置による画像データを分配して各画像認識装置に供給するように通信部を制御する。
【選択図】図５
【解決手段】動線検知システムは、所定周期で画像を撮像して画像データを夫々生成する複数の撮像装置（カメラ）と、各撮像装置による画像データに画像認識を行って各画像データが示す撮像画像における移動体を夫々検知する複数の画像認識装置（動線抽出サーバ）と、各撮像装置から各画像認識装置へ供給される画像データを管理する情報管理装置（混雑管理サーバ）と、を備え、情報管理装置は、各撮像装置及び各画像認識装置とデータ通信を行う通信部と、通信部の動作を制御する制御部と、を備える。制御部は、撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理し、混雑情報が示す数量の大きさに応じて、複数の撮像装置による画像データを分配して各画像認識装置に供給するように通信部を制御する。
【選択図】図５
【特許請求の範囲】
【請求項1】
撮像画像に基づき複数の移動体を検知する移動体検知システムであって、
画像を撮像して、画像データをそれぞれ生成する複数の撮像装置と、
前記複数の撮像装置にそれぞれ対応して設けられ、対応した前記各撮像装置による画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する複数の画像認識装置と、
前記各撮像装置から前記各画像認識装置へ供給される画像データを管理する情報管理装置とを備え、
前記情報管理装置は、
前記各撮像装置及び前記各画像認識装置とデータ通信を行う通信部と、
前記通信部の動作を制御する制御部とを備え、
前記複数の撮像装置は、第１の撮像装置を含み、
前記複数の画像認識装置は、前記第１の撮像装置に対応した第１の画像認識装置と、前記第１の撮像装置に対応していない第２の画像認識装置とを含み、
前記制御部は、
前記撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理し、
前記第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記第１の画像データを前記第１の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と前記第２の画像認識装置とに供給するように、前記通信部を制御する
移動体検知システム。
画像を撮像して、画像データをそれぞれ生成する複数の撮像装置と、
前記複数の撮像装置にそれぞれ対応して設けられ、対応した前記各撮像装置による画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する複数の画像認識装置と、
前記各撮像装置から前記各画像認識装置へ供給される画像データを管理する情報管理装置とを備え、
前記情報管理装置は、
前記各撮像装置及び前記各画像認識装置とデータ通信を行う通信部と、
前記通信部の動作を制御する制御部とを備え、
前記複数の撮像装置は、第１の撮像装置を含み、
前記複数の画像認識装置は、前記第１の撮像装置に対応した第１の画像認識装置と、前記第１の撮像装置に対応していない第２の画像認識装置とを含み、
前記制御部は、
前記撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理し、
前記第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記第１の画像データを前記第１の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と前記第２の画像認識装置とに供給するように、前記通信部を制御する
移動体検知システム。
【請求項2】
前記各画像認識装置は、前記移動体を繰り返し検知して、前記移動体による動線を示す動線情報を生成する
請求項１に記載の移動体検知システム。
請求項１に記載の移動体検知システム。
【請求項3】
前記各画像認識装置により生成された動線情報に基づいて、前記複数の撮像装置により撮像される範囲の全体において前記移動体の動線を示す情報を生成する情報統合装置をさらに備える
請求項２に記載の移動体検知システム。
請求項２に記載の移動体検知システム。
【請求項4】
前記制御部は、
前記各撮像装置によって順次撮像される複数フレームの画像データに基づいて、前記撮像画像における移動体の動き量を算出して、
前記算出した動き量に基づいて、前記混雑情報を生成する
請求項１から３のいずれか１項に記載の移動体検知システム。
前記各撮像装置によって順次撮像される複数フレームの画像データに基づいて、前記撮像画像における移動体の動き量を算出して、
前記算出した動き量に基づいて、前記混雑情報を生成する
請求項１から３のいずれか１項に記載の移動体検知システム。
【請求項5】
前記制御部は、
前記各画像認識装置によって検知された移動体の個体数を取得して、
前記取得した移動体の個体数に基づき、前記混雑情報を生成する
請求項１から４のいずれか１項に記載に移動体検知システム。
前記各画像認識装置によって検知された移動体の個体数を取得して、
前記取得した移動体の個体数に基づき、前記混雑情報を生成する
請求項１から４のいずれか１項に記載に移動体検知システム。
【請求項6】
前記制御部は、前記複数の撮像装置において前記第１の撮像装置に隣接した撮像装置に関する前記混雑情報と、前記複数の撮像装置が配置された環境において前記移動体の移動により前記混雑情報が変化する傾向を示す情報と、の少なくとも一方に応じて前記第１の撮像装置による第１の画像データにおいて前記混雑情報が示す数量の大きさが前記所定量以上になる前に前記第１の画像データを分配することを予め決定して、前記混雑情報を更新する
請求項１から５のいずれか１項に記載の移動体検知システム。
請求項１から５のいずれか１項に記載の移動体検知システム。
【請求項7】
前記制御部は、
前記複数の撮像装置による各々の画像データにおいて、各画像データが示す画像を分割する領域毎に、当該領域における混雑情報を示す混雑度を算出し、
前記算出した混雑度に基づき、前記複数の撮像装置による各々の画像データを前記複数の画像認識装置に分配して送信する
請求項１から６のいずれか１項に記載の移動体検知システム。
前記複数の撮像装置による各々の画像データにおいて、各画像データが示す画像を分割する領域毎に、当該領域における混雑情報を示す混雑度を算出し、
前記算出した混雑度に基づき、前記複数の撮像装置による各々の画像データを前記複数の画像認識装置に分配して送信する
請求項１から６のいずれか１項に記載の移動体検知システム。
【請求項8】
前記複数の撮像装置は、前記第２の画像認識装置に対応した第２の撮像装置を含み、
前記第２の撮像装置による第２の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量未満である
請求項１から７のいずれか１項に記載の移動体検知システム。
前記第２の撮像装置による第２の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量未満である
請求項１から７のいずれか１項に記載の移動体検知システム。
【請求項9】
前記制御部は、
前記第２の画像データを前記第２の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データが示す撮像画像を複数の領域に分割する複数の分割データを、分配先の前記第１及び第２の画像認識装置に別個に供給するように、前記通信部を制御する
請求項８に記載の移動体検知システム。
前記第２の画像データを前記第２の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データが示す撮像画像を複数の領域に分割する複数の分割データを、分配先の前記第１及び第２の画像認識装置に別個に供給するように、前記通信部を制御する
請求項８に記載の移動体検知システム。
【請求項10】
複数の撮像装置と、前記複数の撮像装置にそれぞれ対応して設けられ、対応した前記各撮像装置による画像データに基づいて各画像データが示す撮像画像における移動体をそれぞれ認識する複数の画像認識装置とを備えた移動体検知システムにおける情報管理装置であって、
前記情報管理装置は、
前記各撮像装置及び前記各画像認識装置とデータ通信を行う通信部と、
前記各撮像装置から前記各画像認識装置へ供給される画像データを管理するように、前記通信部の動作を制御する制御部とを備え、
前記複数の撮像装置は、第１の撮像装置を含み、
前記複数の画像認識装置は、前記第１の撮像装置に対応した第１の画像認識装置と、前記第１の撮像装置に対応していない第２の画像認識装置とを含み、
前記制御部は、
前記撮像装置毎に各画像データが示す撮像画像における移動体の数量を示す混雑情報を管理し、
前記第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記第１の画像データを前記第１の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と前記第２の画像認識装置とに供給するように、前記通信部を制御する
情報管理装置。
前記情報管理装置は、
前記各撮像装置及び前記各画像認識装置とデータ通信を行う通信部と、
前記各撮像装置から前記各画像認識装置へ供給される画像データを管理するように、前記通信部の動作を制御する制御部とを備え、
前記複数の撮像装置は、第１の撮像装置を含み、
前記複数の画像認識装置は、前記第１の撮像装置に対応した第１の画像認識装置と、前記第１の撮像装置に対応していない第２の画像認識装置とを含み、
前記制御部は、
前記撮像装置毎に各画像データが示す撮像画像における移動体の数量を示す混雑情報を管理し、
前記第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記第１の画像データを前記第１の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と前記第２の画像認識装置とに供給するように、前記通信部を制御する
情報管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像画像に基づき複数の移動体を検知する移動体検知システム、及び移動体検知システムにおける情報管理装置に関する。
【背景技術】
【0002】
特許文献１は、１以上の監視カメラと、監視サーバと、ユーザが所持する携帯端末とを備える監視システムを開示している。特許文献１の監視サーバは、監視カメラの映像から人物といった移動体オブジェクトの動線を抽出し、携帯端末の周辺領域等に含まれる動線を選択する。監視サーバは、選択した動線に基づき、動線の通過経路を含む領域の映像を特定してユーザに提示する。このように特許文献１では、動線の解析結果に応じた映像をユーザに提示することにより、ユーザによる映像の確認作業の効率化を図っている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６５３２２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、複数の撮像装置を用いた移動体検知システムにおいて撮像画像から複数の移動体を検知する処理を効率良くすることができる移動体検知システム、及びその情報管理装置を提供する。
【課題を解決するための手段】
【0005】
本開示の一態様に係る移動体検知システムは、撮像画像に基づき複数の移動体を検知する。移動体検知システムは、複数の撮像装置と、複数の画像認識装置と、情報管理装置とを備える。複数の撮像装置は、所定周期で画像を撮像して、画像データをそれぞれ生成する。複数の画像認識装置は、各撮像装置による画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する。情報管理装置は、各撮像装置から各画像認識装置へ供給される画像データを管理する。情報管理装置は、各撮像装置及び各画像認識装置とデータ通信を行う通信部と、通信部の動作を制御する制御部とを備える。制御部は、撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理し、混雑情報が示す数量の大きさに応じて、複数の撮像装置による画像データを分配して各画像認識装置に供給するように通信部を制御する。
【0006】
本開示の一態様に係る情報管理装置は、複数の撮像装置と、各撮像装置による画像データに基づいて各画像データが示す撮像画像における複数の移動体をそれぞれ認識する複数の画像認識装置とを備えた移動体検知システムにおける情報管理装置である。情報管理装置は、各撮像装置及び各画像認識装置とデータ通信を行う通信部と、各撮像装置から各画像認識装置へ供給される画像データを管理するように、通信部の動作を制御する制御部とを備える。制御部は、撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理し、混雑情報が示す数量の大きさに応じて、複数の撮像装置による画像データを分配して各画像認識装置に供給するように通信部を制御する。
【発明の効果】
【0007】
本開示に係る移動体検知システム及び情報管理装置によると、撮像画像から複数の移動体を検知する処理を効率良くすることができる。
【図面の簡単な説明】
【0008】
【図1】本開示の実施の形態１に係る動線検知システムの概要を示す図
【図2】実施形態１の混雑管理サーバの構成を例示するブロック図
【図3】実施形態１の動線抽出サーバの構成を例示するブロック図
【図4】実施形態１の動線結合サーバの構成を例示するブロック図
【図5】動線検知システム１の動作例を説明するための図
【図6】動線検知システム１における混雑時の動作を説明するための図
【図7】実施形態１の混雑管理サーバにおける混雑判定処理を例示するフローチャート
【図8】実施形態１の混雑判定処理を説明するための図
【図9】実施形態１の混雑判定処理における混雑情報テーブルを例示する図
【図10】実施形態１の混雑管理サーバにおける画像分配処理を例示するフローチャート
【図11】実施形態１の画像分配処理を説明するための図
【図12】実施形態１の動線抽出サーバにおける動線抽出処理を例示するフローチャート
【図13】実施形態１の動線抽出処理を説明するための図
【図14】実施形態１の動線結合サーバにおける動線結合処理を例示するフローチャート
【図15】実施形態２の複数のカメラ間での混雑状態の伝搬を説明するための図
【図16】実施形態３の画像分配処理を例示するフローチャート
【図17】実施形態４の混雑判定処理を例示するフローチャート
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0010】
【0011】
１－１．システムの概要
本システム１は、図１に示すように、複数のカメラ２－１～２－３と、混雑管理サーバ７と、複数の動線抽出サーバ８－１～８－３と、動線結合サーバ９とを備える。以下、カメラ２－１，２－２，２－３を総称して「カメラ２」ともいう。又、動線抽出サーバ８－１，８－２，８－３を総称して「動線抽出サーバ８」ともいう。
本システム１は、図１に示すように、複数のカメラ２－１～２－３と、混雑管理サーバ７と、複数の動線抽出サーバ８－１～８－３と、動線結合サーバ９とを備える。以下、カメラ２－１，２－２，２－３を総称して「カメラ２」ともいう。又、動線抽出サーバ８－１，８－２，８－３を総称して「動線抽出サーバ８」ともいう。
【0012】
本システム１は、店舗の売り場、作業場または工場等の環境６において複数の人物１１等がそれぞれ移動する軌跡すなわち動線を検知対象として、環境６の全体を撮像するように複数のカメラ２を用いる移動体検知システムの一例である。本システム１は、例えば環境６の管理者または分析担当者といったユーザ３に、環境６における様々な人物１１の動線を提示するための表示端末４を備えてもよい。
【0013】
本システム１では、各カメラ２－１，２－２，２－３に対応して各動線抽出サーバ８－１，８－２，８－３が設けられる。動線抽出サーバ８は、カメラ２による撮像画像から動線を抽出するための画像認識の処理を実行するサーバ装置である。混雑管理サーバ７は、各カメラ２－１，２－２，２－３から各動線抽出サーバ８－１，８－２，８－３に供給される画像データを管理するためのサーバ装置である。動線結合サーバ９は、各動線抽出サーバ８－１，８－２，８－３によって抽出された動線等を統合した情報を生成するためのサーバ装置である。
【0014】
本実施形態では、以上のような動線検知システム１において、混雑管理サーバ７を用いることにより、多数の人物１１による混雑が生じたとしても環境６全体の動線等をリアルタイムに得やすくする。
【0015】
以下、本システム１におけるカメラ２、混雑管理サーバ７、動線抽出サーバ８、および動線結合サーバ９それぞれの具体的な構成を説明する。
【0016】
１－２．カメラの構成
カメラ２は、本システム１における撮像装置の一例である。カメラ２は、画像を撮像する撮像部と、撮像部が撮像した画像を示す画像データを送信する送信部とを備える。撮像部は、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサなどで実現される。送信部は、所定の通信規格（例えばＩＥＥＥ８０２．１１、ＵＳＢ）に準拠して外部機器との通信を行うためのインタフェース回路を含む。
カメラ２は、本システム１における撮像装置の一例である。カメラ２は、画像を撮像する撮像部と、撮像部が撮像した画像を示す画像データを送信する送信部とを備える。撮像部は、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサなどで実現される。送信部は、所定の通信規格（例えばＩＥＥＥ８０２．１１、ＵＳＢ）に準拠して外部機器との通信を行うためのインタフェース回路を含む。
【0017】
本実施形態のカメラ２は、例えば魚眼レンズを備えた全方位カメラである。本システム１のカメラ２は、特に全方位カメラに限らない種々の撮像装置であってもよい。又、図１では、３つのカメラ２－１，２－２，２－３を例示しているが、本システム１に含まれるカメラ２の個数は特に３つに限定されず、２つ又は４つ以上であってもよい。
【0018】
本システム１において、例えば環境６中の各所を移動する人物１１の動線を精度良く検知する観点から、環境６において各カメラ２－１，２－２，２－３が撮像する撮像範囲が、例えば部分的に互いに重畳するように設定される。
【0019】
１－３．混雑管理サーバの構成
図２は、本実施形態の混雑管理サーバ７の構成を例示するブロック図である。混雑管理サーバ７は、本実施形態における情報管理装置の一例である。図２に例示する混雑管理サーバ７は、制御部７０と、記憶部７４と、通信インタフェース７５とを備える。
図２は、本実施形態の混雑管理サーバ７の構成を例示するブロック図である。混雑管理サーバ７は、本実施形態における情報管理装置の一例である。図２に例示する混雑管理サーバ７は、制御部７０と、記憶部７４と、通信インタフェース７５とを備える。
【0020】
制御部７０は、混雑管理サーバ７の動作を制御する。制御部７０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵまたはＭＰＵで構成される。制御部７０は、記憶部７４に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部７０は、混雑管理サーバ７の各種処理を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、例えばアプリケーションプログラムであり、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記憶媒体に格納されてもよい。
【0021】
図２に例示する混雑管理サーバ７において、制御部７０は、例えば機能的構成として混雑判定部７１および画像分配部７２を備える。混雑判定部７１は、各カメラ２－１，２－２，２－３の撮像画像が後述する混雑状態であるか否かを判定する処理である混雑判定処理を行う。画像分配部７２は、混雑判定処理の結果に基づき、複数の動線抽出サーバ８から複数のカメラ２の画像データを分配する分配先を決定し、各動線抽出サーバ８－１，８－２，８－３に画像データを送信する処理である画像分配処理を行う。
【0022】
なお、制御部７０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部７０は、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の半導体集積回路で構成されてもよい。また、制御部７０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
【0023】
記憶部７４は、データ及びプログラムを記憶する。記憶部７４は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。記憶部７４は、複数のカメラ２から取得した画像データを記憶する。記憶部７４は、例えばＤＲＡＭまたはＳＲＡＭ等のＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部７０の作業領域として機能してもよい。例えば記憶部７４は、混雑判定部７１の判定結果および画像分配部７２による分配先の決定結果を一時的に記憶してもよい。
【0024】
通信インタフェース７５は、例えばＵＳＢ、ＩＥＥＥ ８０２．１１またはＢｌｕｅｔｏｏｔｈ（登録商標）といった規格に準拠して、機器間の接続及びデータの通信等を行う接続回路である。通信インタフェース７５は、例えば複数のカメラ２および複数の動線抽出サーバ８と、混雑管理サーバ７を接続する。通信インタフェース７５は、通信ネットワークと接続するための回路を備えてもよく、例えば複数のカメラ２および複数の動線抽出サーバ８等と通信ネットワークを介してデータの通信を行ってもよい。
【0025】
１－４．動線抽出サーバの構成
図３は、本実施形態の動線抽出サーバ８の構成を例示するブロック図である。動線抽出サーバ８は、本実施形態における画像認識装置の一例である。図３に例示する動線抽出サーバ８は、制御部８０と、記憶部８４と、通信インタフェース８５とを備える。
図３は、本実施形態の動線抽出サーバ８の構成を例示するブロック図である。動線抽出サーバ８は、本実施形態における画像認識装置の一例である。図３に例示する動線抽出サーバ８は、制御部８０と、記憶部８４と、通信インタフェース８５とを備える。
【0026】
制御部８０は、動線抽出サーバ８の動作を制御する。制御部８０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵまたはＴＰＵ或いはそれらの組み合わせで構成される。制御部８０は、記憶部８４に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
【0027】
図３に例示する動線抽出サーバ８において、制御部８０は、例えば機能的構成として動線抽出部８１を備える。動線抽出部８１は、混雑管理サーバ７から受信した画像データに基づいて、画像認識の対象として予め設定された人物１１等の物体を検知する画像認識の処理を含んだ動線抽出処理を行う。動線抽出処理では、画像認識による検知結果に基づいて人物１１等の位置情報が算出される。動線抽出部８１は、動線抽出サーバ８－１に対応するカメラ２－１の画像データから算出した位置情報に基づく動線を示す個別動線情報Ｌｎを生成して、記憶部８４に蓄積させる。動線抽出部８１における画像認識の処理には、例えば各種の機械学習による学習済みモデル等が適用される。
【0028】
なお、制御部８０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部８０は、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の半導体集積回路で構成されてもよい。また、制御部８０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
【0029】
記憶部８４は、データ及びプログラムを記憶する。記憶部８４は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。記憶部８４は、個別動線情報Ｌｎを記憶する。記憶部８４は、例えばＤＲＡＭまたはＳＲＡＭ等のＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部８０の作業領域として機能してもよい。
【0030】
通信インタフェース８５は、例えばＵＳＢ、ＩＥＥＥ ８０２．１１またはＢｌｕｅｔｏｏｔｈといった規格に準拠して、機器間の接続及びデータの通信等を行う接続回路である。通信インタフェース８５は、例えば混雑管理サーバ７及び動線結合サーバ９に通信接続する。通信インタフェース８５は、他の動線抽出サーバ８と通信可能に接続されてもよい。通信インタフェース８５は、通信ネットワークと接続するための回路を備えてもよく、例えば複数の動線抽出サーバ８の間で通信ネットワークを介してデータの通信を行ってもよい。
【0031】
１－５．動線結合サーバの構成
図４は、本実施形態の動線結合サーバ９の構成を例示するブロック図である。動線結合サーバ９は、本実施形態における情報統合装置の一例である。図４に例示する動線結合サーバ９は、制御部９０と、記憶部９４と、通信インタフェース９５と、出力インタフェース９６とを備える。
図４は、本実施形態の動線結合サーバ９の構成を例示するブロック図である。動線結合サーバ９は、本実施形態における情報統合装置の一例である。図４に例示する動線結合サーバ９は、制御部９０と、記憶部９４と、通信インタフェース９５と、出力インタフェース９６とを備える。
【0032】
制御部９０は、動線結合サーバ９の動作を制御する。制御部９０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵまたはＭＰＵで構成される。制御部９０は、記憶部９４に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
【0033】
図４に例示する動線結合サーバ９において、制御部９０は、例えば機能的構成として動線結合部９１を備える。動線結合部９１は、各動線抽出サーバ８－１，８－２，８－３から受信した各々の個別動線情報Ｌ１等を結合して、複数のカメラ２の画像データに基づく全体動線情報Ｌ０を生成し、記憶部９４に蓄積させる。
【0034】
なお、制御部９０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部９０は、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の半導体集積回路で構成されてもよい。また、制御部９０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
【0035】
記憶部９４は、データ及びプログラムを記憶する。記憶部９４は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。記憶部９４は、全体動線情報Ｌ０を記憶する。記憶部９４は、例えばＤＲＡＭまたはＳＲＡＭ等のＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部９０の作業領域として機能してもよい。
【0036】
通信インタフェース９５は、例えばＵＳＢ、ＩＥＥＥ ８０２．１１またはＢｌｕｅｔｏｏｔｈといった規格に準拠して、機器間の接続及びデータの通信等を行う接続回路である。通信インタフェース９５は、例えば複数の動線抽出サーバ８と動線結合サーバ９を通信接続する。通信インタフェース９５は、通信ネットワークと接続するための回路を備えてもよく、例えば複数の動線抽出サーバ８等と通信ネットワークを介してデータの通信を行ってもよい。
【0037】
出力インタフェース９６は、情報を出力する出力部の一例である。出力インタフェース９６は、例えばＨＤＭＩ（登録商標）規格などに準拠した映像信号等の出力インタフェース回路である。出力インタフェース９６は、各種の情報を表示するためにモニタ、プロジェクタ、およびヘッドマウントディスプレイなど外付けの表示デバイスに信号を出力する。また、情報統合装置の出力部は、出力インタフェース９６に限らず、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスとして構成されてもよい。
【0038】
【0039】
動線検知システム１において、各カメラ２－１，２－２，２－３は、環境６における各々の撮像範囲の画像を撮像して、例えば動画のフレーム周期で画像データを生成する。各カメラ２－１，２－２，２－３は、各々の画像データを、例えば互いに同期した撮像時刻と関連付けて順次、混雑管理サーバ７に送信する。
【0040】
本実施形態における混雑管理サーバ７は、例えば各カメラ２－１，２－２，２－３により撮像された画像の画像データを取得して、混雑判定部７１及び画像分配部７２としての処理を行う（図５のＳ１，Ｓ２参照）。例えば、後述する混雑状態が特に生じていない場合、混雑管理サーバ７は、各カメラ２－１，２－２，２－３からの画像データを、それぞれ対応する動線抽出サーバ８－１，８－２，８－３に送信する。
【0041】
各動線抽出サーバ８－１，８－２，８－３は、それぞれ受信した画像データに基づき、複数のカメラ２－１，２－２，２－３の撮像画像に対する画像認識処理を並列に行い、人物１１等による動線を検知する（図５のＳ３参照）。各動線抽出サーバ８－１，８－２，８－３は、各々の検知結果を示す個別動線情報をそれぞれ生成して、動線結合サーバ９に送信する。
【0042】
動線結合サーバ９は、例えば表示端末４において環境６の地図を示す地図画像上に動線が表示されるように、複数の動線抽出サーバ８により検知された動線等の情報を統合する（図５のＳ４参照）。
【0043】
【0044】
図５は、環境６における特定のカメラ２－３の撮像範囲のみが人物１１により混雑している場合における本システム１の動作を例示する。図６（Ａ），（Ｂ），（Ｃ）は、図５の動作例における各カメラ２－１，２－２，２－３の撮像画像Ｉ２１，Ｉ２２，Ｉ２３をそれぞれ例示する。混雑中の撮像画像Ｉ２３の状態を「混雑状態」といい、混雑状態でない撮像画像Ｉ２１，Ｉ２２の状態を「非混雑状態」という。
【0045】
混雑状態の撮像画像Ｉ２３によると、多数の人物が当該画像Ｉ２３の範囲内に局在していることから、画像認識を実行する動線抽出サーバ８－３の処理負荷が過大になる事態が想定される。この場合、複数の動線抽出サーバ８－１～８－３の内の特定の動線抽出サーバ８－３の処理の遅延により、動線結合サーバ９の処理（Ｓ４）が遅れ、ひいてはリアルタイムな動線の表示を実現困難になってしまう。
【0046】
そこで、本実施形態の動線検知システム１においては、混雑管理サーバ７によって撮像画像Ｉ２１～Ｉ２３における混雑状態を管理する。
【0047】
まず、混雑管理サーバ７は、混雑判定部７１により、各カメラ２－１，２－２，２－３について混雑判定処理（Ｓ１）を行う。図５の例では、特定のカメラ２－３の撮像画像Ｉ２３のみが混雑状態であると判定され、残りのカメラ２－１，２－２の撮像画像Ｉ２１，Ｉ２２は混雑状態でないと判定される。
【0048】
次に、混雑管理サーバ７は、混雑判定処理（Ｓ１）の結果にしたがい、画像分配部７２により画像データ２１，２２，２３の画像分配処理（Ｓ２）を行う。画像分配部７２は、非混雑状態と判定されたカメラ２－１，２－２の画像データ２１，２２を、それぞれのカメラ２－１，２－２に対応する動線抽出サーバ８－１，８－２に送信する。一方、画像分配部７２は、混雑状態と判定されたカメラ２－３の画像データ２３を、撮像画像Ｉ２３を分割するように、複数の動線抽出サーバ８に分配する。こうした分配の一例を図６（Ｃ）～（Ｆ）に示す。
【0049】
図６（Ｄ），（Ｅ），（Ｆ）は、図６（Ｃ）の撮像画像Ｉ２３を分割した分割画像Ｉ２３ｂ，Ｉ２３ｃ，Ｉ２３ａｄを例示する。図５の例では、混雑管理サーバ７は、分割画像Ｉ２３ａｄ，Ｉ２３ｂ，Ｉ２３ｃを示す画像データ２３ａｄ，２３ｂ，２３ｃを、特定の動線抽出サーバ８－３だけでなく、他の動線抽出サーバ８－１，８－２にも分配して供給する。
【0050】
各動線抽出サーバ８－１，８－２，８－３は、各々の動線抽出部８１により、混雑管理サーバ７から供給された画像データに画像認識の処理を実行して、対応するカメラ２－１，２－２，２－３の画像データに基づく動線を抽出する動線抽出処理（Ｓ３）を行う。この際、上記特定の動線抽出サーバ８－３は、画像認識の処理対象が図６（Ｃ），（Ｆ）に示すように混雑状態の撮像画像Ｉ２３から分割画像Ｉ２３ａｄに削減されることから、処理負荷が低減される。一方、残りの分割画像Ｉ２３ｂ，Ｉ２３ｃは、それぞれ混雑状態でない撮像画像Ｉ２１，Ｉ２２と共に、他の動線抽出サーバ８－１，８－２の処理対象となる。
【0051】
よって、複数の動線抽出サーバ８－１～８－３の間で処理負荷が分散され、動線抽出処理（Ｓ３）を効率良く行うことができる。また、本実施形態では、複数の動線抽出サーバ８－１～８－３は、分割画像Ｉ２３ａｄ、Ｉ２３ｂ、Ｉ２３ｃの画像認識による検知結果の情報を互いに送受信することで、それぞれ対応するカメラ２－１～２－３の画像データに基づく個別動線情報Ｌ１，Ｌ２，Ｌ３を生成する。各動線抽出サーバ８－１，８－２，８－３は、それぞれ個別動線情報Ｌ１，Ｌ２，Ｌ３を動線結合サーバ９に送信する。
【0052】
動線結合サーバ９は、受信した個別動線情報Ｌ１，Ｌ２，Ｌ３を統合して全体動線情報Ｌ０を生成する動線結合処理（Ｓ４）を行う。動線結合サーバ９は、全体動線情報Ｌ０を、例えば記憶部９４に予め格納された環境６の地図画像を示す地図画像データと合わせて、表示端末４に送信する。これにより、表示端末４は、地図画像と重畳させて全体動線情報Ｌ０が示す動線を表示する（Ｓ５）。
【0053】
動線検知システム１は、以上の処理（Ｓ１～Ｓ５）を、例えば周期的に繰り返す。これにより、例えば表示端末４において、動線の表示がリアルタイムに更新される。
【0054】
以上の動作によると、混雑状態の撮像画像Ｉ２３ａｄが生じたとしても、複数の動線抽出サーバ８－１～８－３間で処理負荷を分散させ、動線抽出処理（Ｓ３）を効率良く行うことができる。よって、その後の動線結合処理（Ｓ４）等の遅延も抑制でき、例えば表示端末４における動線のリアルタイム表示を行い易くすることができる。
【0055】
このような動線検知システム１によると、混雑判定処理（Ｓ１）の結果に応じて、複数のカメラ２の画像データが複数の動線抽出サーバ８に分配される（Ｓ２）。これにより、例えば混雑と判定されたカメラ２－３に対応する動線抽出サーバ８－３において、動線抽出処理（Ｓ３）での画像認識処理の負荷が集中して処理が遅れること抑制できる。環境６における人物１１等の移動に応じて、混雑判定処理（Ｓ１）の結果も変化して、画像分配処理（Ｓ２）における画像の分割及び分配が更新されることで、リアルタイムに動線結合処理（Ｓ４）及び動線の表示（Ｓ５）を行うことができる。
【0056】
２－２．混雑判定処理
混雑管理サーバ７における混雑判定処理（図５のＳ１）について、図７及び図８を用いて説明する。混雑判定処理（Ｓ１）では、各カメラ２の混雑情報が用いられる。混雑情報は、複数のカメラ２の各々の撮像画像における人物１１の数量に対応するような移動体による混雑の程度を示す種々の情報である。
混雑管理サーバ７における混雑判定処理（図５のＳ１）について、図７及び図８を用いて説明する。混雑判定処理（Ｓ１）では、各カメラ２の混雑情報が用いられる。混雑情報は、複数のカメラ２の各々の撮像画像における人物１１の数量に対応するような移動体による混雑の程度を示す種々の情報である。
【0057】
【0058】
図７のフローチャートに示す各処理は、混雑判定部７１として機能する混雑管理サーバ７の制御部７０によって、例えばカメラ２のフレーム周期で実行される。図７のフローチャートは、例えば、混雑管理サーバ７が通信インタフェース７５を介して、複数のカメラ２から画像データを受信すると開始される。画像データは、例えばカメラ２毎に２フレーム分など所定のフレーム数分、記憶部７４に保持される。
【0059】
図７のフローチャートにおいて、まず、混雑判定部７１は、例えば記憶部７４から、各カメラ２の画像データを取得する（Ｓ１０）。図８（Ａ），（Ｂ）に、ステップＳ１０で取得される画像データを例示する。図８（Ａ）は、１つのカメラ２において撮像された現在フレームＦ２の画像データを例示する。図８（Ｂ）は、図８（Ａ）と同じカメラ２で１フレーム前の過去フレームＦ１の画像データを例示する。ステップＳ１０において、混雑判定部７１は、図８（Ａ），（Ｂ）のような現在及び過去の画像データをカメラ２毎に取得する。
【0060】
混雑判定部７１は、複数のカメラ２－１～２－３の各々に関して、取得した画像データに基づいて、動き差分データＨを各々生成する（Ｓ１１）。図８（Ｃ）は、図８（Ａ），（Ｂ）の画像データに基づき生成される動き差分データＨを例示する。動き差分データＨは、例えば撮像画像の領域全体におけるヒートマップとして過去から現在への動きによる差分を示すデータである。混雑判定部７１は、例えば各画素におけるフレーム間の差分を演算するなど、過去フレームＦ１の画像データと、現在フレームＦ２の画像データとを画素毎に比較して、動き差分データＨを生成する。
【0061】
次に、混雑判定部７１は、複数のカメラ２－１～２－３の各々における動き差分データＨ１，Ｈ２，Ｈ３に基づき、各カメラ２の撮像画像における混雑状態を判定する（Ｓ１２）。混雑判定部７１は、例えば、１つのカメラ２当たりの現在フレームＦ２の混雑度として動き差分データＨの全画素にわたる合計値を計算して、混雑度が所定の閾値以上か否かにより混雑状態または非混雑状態を判定する。所定の閾値は、例えば撮像画像の範囲内で処理負荷が過大となる人物の人数を考慮して、当該人数と動き差分との相関関係から設定される。混雑判定部７１は、以上の処理を各カメラ２の動き差分データＨ１，Ｈ２，Ｈ３に行う。
【0062】
次に、混雑判定部７１は、例えば上記の判定結果などの各カメラ２の混雑情報を格納するための混雑情報テーブルＴ１を、例えば混雑管理サーバ７の記憶部７４に記憶する（Ｓ１３）。図９に、混雑情報テーブルＴ１を例示する。
【0063】
図９の例において、混雑情報テーブルＴ１は、複数のカメラ２－１～２－３の各々を識別する「カメラＩＤ」に対応付けて、上述した「動き差分データ」と上述した「混雑度」と、混雑状態の判定結果を示す「混雑フラグ」とをそれぞれ混雑情報の一例として格納する。混雑判定部７１は、カメラ２毎の混雑状態又は非混雑状態の判定結果に応じてそれぞれの混雑フラグを「オン」または「オフ」に設定する。
【0064】
図９の例では、各カメラ２－１，２－２，２－３の動き差分データＨ１，Ｈ２，Ｈ３、及び混雑度Ｘ１，Ｘ２，Ｘ３といった混雑情報が、混雑情報テーブルＴ１に格納される。更に、図９の混雑情報テーブルＴ１において、例えばカメラＩＤが「３」の混雑情報としては、カメラ２－３の動き差分データＨ３に基づき、混雑フラグが「オン」、すなわち「混雑状態」という判定結果が得られている。
【0065】
【0066】
以上のように、本実施形態の混雑管理サーバ７において、混雑判定部７１は、本システム１におけるカメラ２毎に、画像データを取得して（Ｓ１０）、現在の各種混雑情報を生成する（Ｓ１１，Ｓ１２）。これにより、混雑管理サーバ７は、カメラ２毎の画像データの種々の混雑情報を管理することができる。また、動き差分データＨ（Ｓ１１）によると、特に画像認識を用いなくとも、各カメラ２の撮像画像の範囲内における人物の人数に応じた混雑度を算出可能である。
【0067】
２－３．画像分配処理
混雑管理サーバ７における画像分配処理（図５のＳ２）について、図１０及び図１１を用いて説明する。画像分配処理（Ｓ２）では、カメラ２毎の混雑情報に基づき、複数の動線抽出サーバ８－１～８－３において各カメラ２の画像データを分配する分配先が決定される。
混雑管理サーバ７における画像分配処理（図５のＳ２）について、図１０及び図１１を用いて説明する。画像分配処理（Ｓ２）では、カメラ２毎の混雑情報に基づき、複数の動線抽出サーバ８－１～８－３において各カメラ２の画像データを分配する分配先が決定される。
【0068】
【0069】
図１０のフローチャートに示す各処理は、画像分配部７２として機能する混雑管理サーバ７の制御部７０によって実行される。図１０のフローチャートは、例えば、混雑判定部７１の動作により混雑情報テーブルＴ１が記憶された（図７のＳ１３）状態で開始される。
【0070】
図１０のフローチャートにおいて、まず、混雑管理サーバ７の画像分配部７２は、例えば記憶部７４から、複数のカメラ２の現在の画像データ及び混雑情報テーブルＴ１の各種混雑情報を取得する（Ｓ２０）。
【0071】
次に、画像分配部７２は、複数のカメラ２から、１つのカメラｉを選択する（Ｓ２１）。図５の例では、カメラ２－１，２－２，２－３が、ステップＳ２１ごとに順次、カメラｉとして選択される。
【0072】
画像分配部７２は、例えば図９の混雑情報テーブルＴ１を参照して、選択したカメラｉの混雑フラグが「オン」か否かを判断する（Ｓ２２）。画像分配部７２は、カメラｉのカメラＩＤに該当する混雑情報を参照することで当該判断を行う。例えば、図９の例において、カメラ２－１の選択時に参照される混雑フラグは「オフ」である。
【0073】
選択したカメラｉの混雑フラグが「オフ」である場合（Ｓ２２でＮＯ）、対応する撮像画像は非混雑状態と判定されている。この場合、画像分配部７２は、ステップＳ２３，Ｓ２４の処理を特に実行せず、ステップＳ２５に進む。
【0074】
画像分配部７２は、ステップＳ２１において全てのカメラ２－１，２－２，２－３が選択されたか否かを判断する（Ｓ２５）。全てのカメラ２－１，２－２，２－３が選択されるまで（Ｓ２５でＮＯ）、画像分配部７２は、ステップＳ２１以降の処理を繰り返す。
【0075】
図５の例では、カメラ２－１，２－２がそれぞれ選択された場合、混雑情報テーブルＴ１において混雑フラグが「オフ」であるため（Ｓ２２でＮＯ）、ステップＳ２５に進む。すると、未だ全てのカメラが選択されていない（Ｓ２５でＮＯ）ことから、カメラ２－３が選択される（Ｓ２１）。この際、カメラ２－３の選択時に図９の混雑情報テーブルＴ１において参照される混雑フラグは「オン」である。
【0076】
選択したカメラｉの混雑フラグが「オン」である場合（Ｓ２２でＹＥＳ）、対応する撮像画像は混雑状態と判定されている。この場合、画像分配部７２は、カメラｉの画像データが示す撮像画像を分割するための処理を行う（Ｓ２３）。
【0077】
ステップＳ２３の処理例を図１１に示す。画像分配部７２は、例えば、画像データが示す撮像画像Ｉ２３を所定の分割数（例えば４または９）に分割する領域Ｒ１～Ｒ４を設定する。図１１（Ａ），（Ｂ）では、分割数「４」の一例を示す。図１１（Ｂ）の例では、各領域Ｒ１～Ｒ４に対応する分割画像Ｉ２３ａ～Ｉ２３ｄが、互いに隣接する部分において重畳するように設定されている。
【0078】
ステップＳ２３において、画像分配部７２は、例えば図９の混雑情報テーブルＴ１を参照して、分割画像Ｉ２３ａ～Ｉ２３ｄの各々の混雑度を、図７のステップＳ１２と同様に算出する。例えば、画像分配部７２は、所定の閾値未満の混雑度が算出された場合、当該分割数を採用する。一方、画像分配部７２は、所定の閾値以上の混雑度が算出された場合、より大きい分割数を用いて以上の計算を再度行う。所定の閾値は、複数の動線抽出サーバ８の各々において、リアルタイムに動線抽出処理を実行できる程度に小さい値であり、例えばステップＳ１２の閾値と同様に設定される。
【0079】
分割画像Ｉ２３ａ～Ｉ２３ｄを示す画像データは、各々の混雑度と対応付けて、例えば混雑管理サーバ７の制御部７０の内部メモリに保持される。画像分配部７２は、こうした混雑度に基づいて、例えば上記の閾値未満の範囲内で２つ以上の分割画像Ｉ２３ａ，Ｉ２３ｄを統合した分割画像Ｉ２３ａｄとしてもよい（図６（Ｆ）参照）。
【0080】
図５の例では、ステップＳ２１においてカメラｉとしてカメラ２－３が選択された場合、混雑情報テーブルＴ１における各混雑情報の混雑フラグが「オン」である（Ｓ２２でＹＥＳ）ことから、図１１（Ａ），（Ｂ）に示すように、カメラ２－３の画像Ｉ２３が分割される。
【0081】
画像分配部７２は、複数のカメラ２の混雑情報に基づき、選択したカメラｉの分割画像を分配する分配先の動線抽出サーバ８を決定する（Ｓ２４）。各カメラ２に対応する動線抽出サーバ８は、予め当該カメラ２の画像データの供給先に設定されている。例えば、画像分配部７２は、混雑情報テーブルＴ１を参照して、混雑フラグが「オフ」であるカメラ２に対応する動線抽出サーバ８から追加の分配先を決定する。そして、画像分配部７２は、混雑フラグが「オン」であるカメラ２に対応して予め供給先に設定された動線抽出サーバ８への分割画像の配信を決定する。図５の例では、分割画像Ｉ２３ｂ，Ｉ２３ｃの分配先がそれぞれ動線抽出サーバ８－１，８－２に決定される。そして、動線抽出サーバ８－３への分割画像Ｉ２３ａ，Ｉ２３ｄを統合した分割画像Ｉ２３ａｄの配信が決定される。
【0082】
ステップＳ２４において、画像分配部７２は、例えば混雑情報テーブルＴ１における各カメラ２の混雑度と、分割画像毎に算出した混雑度とに基づき、各動線抽出サーバ８の混雑度が同程度とみなせる所定範囲内となるように、分配先を決定してもよい。また、分配先の決定に応じて混雑情報テーブルＴ１におけるカメラ２毎の混雑度が更新され、以降の処理が更新後の混雑情報テーブルＴ１に基づいて実行されてもよい。
【0083】
画像分配部７２としての制御部７０は、例えば全てのカメラ２－１～２－３が選択されたと判断すると（Ｓ２５でＹＥＳ）、通信インタフェース７５を制御して、各画像データを複数の動線抽出サーバ８に送信する（Ｓ２６）。各カメラ２に対応する動線抽出サーバ８には、各カメラ２の撮像画像又は分割画像の画像データが送信される。さらに、追加で分配先に決定された動線抽出サーバ８に、分割画像の画像データが送信される。この際、各画像データは、例えば各カメラ２のカメラＩＤと関連付けて送信される。
【0084】
画像分配部７２は、画像データを複数の動線抽出サーバ８に送信すると（Ｓ２６）、本フローチャートに示す処理を終了する。
【0085】
以上のように、画像分配部７２は、複数のカメラ２の混雑情報に基づき、各カメラ２の撮像画像のうち混雑情報に基づき「混雑状態」と判定されたカメラ２の撮像画像を分割して（Ｓ２２，Ｓ２３）、複数の動線抽出サーバ８に分配する（Ｓ２４）。これにより、複数の動線抽出サーバ８の各々における処理の負荷を分散させることができる。
【0086】
なお、ステップＳ２３において、混雑度の閾値は、図７のステップＳ１２と同様の値に限らず適宜、異なる値が設定されてもよい。例えば、画像分配部７２は、混雑情報テーブルＴ１に基づいて、選択されたカメラｉの近傍とみなす複数のカメラ２の混雑度の平均値を閾値として算出してもよい。この場合、例えば複数のカメラ２間の位置関係に基づいて各カメラの近傍とみなすカメラの組み合わせが予め設定される。
【0087】
また、ステップＳ２３において、画像の領域分割は、例えば図１１（Ｂ）に示すように各分割画像が隣接する分割画像と部分的に重畳するように行われてもよい。このように画像を重畳させて分割することで、複数の動線抽出サーバ８による後述の動線抽出処理において、人物１１といった移動体を分割画像の境界部分において検知する際に、検知漏れを抑制することができる。
【0088】
２－４．動線抽出処理
動線抽出サーバ８の動作について、図１２及び図１３を用いて説明する。各動線抽出サーバ８－１～８－３は、それぞれ複数のカメラ２－１～２－３のうち当該動線抽出サーバ８と対応するカメラ２の画像データに基づく個別動線情報を生成する、といった動線抽出処理（図５のＳ３）を行う。
動線抽出サーバ８の動作について、図１２及び図１３を用いて説明する。各動線抽出サーバ８－１～８－３は、それぞれ複数のカメラ２－１～２－３のうち当該動線抽出サーバ８と対応するカメラ２の画像データに基づく個別動線情報を生成する、といった動線抽出処理（図５のＳ３）を行う。
【0089】
図１２は、動線抽出サーバ８における動線抽出処理（Ｓ３）を例示するフローチャートである。図１３は、動線抽出処理を説明するための図である。図１２のフローチャートに示す各処理は、各動線抽出サーバ８において、動線抽出部８１として機能する制御部８０によって実行される。図１２のフローチャートは、例えば、動画のフレーム周期で開始される。
【0090】
図１２のフローチャートにおいて、まず、動線抽出部８１は、通信インタフェース８５を介して混雑管理サーバ７から画像データを受信する（Ｓ３０）。例えば、図５の例の動線抽出サーバ８－１は、対応するカメラ２－１（即ち担当のカメラ）による撮像画像Ｉ２１の画像データ２１と、分割画像Ｉ２３ｂの画像データ２３ｂとを受信する。
【0091】
動線抽出部８１は、受信した画像データにおいて、物体検知の画像認識処理を行って、認識対象である人物１１等の画像上の位置を示す画像位置を検出する（Ｓ３１）。ステップＳ３１の処理例を図１３（Ａ），（Ｂ）に示す。
【0092】
図１３（Ａ）は、非混雑状態の撮像画像Ｉ２１において、対応する動線抽出サーバ８－１により検出される画像位置Ｐ２１を例示する。図１３（Ｂ）は、図１３（Ａ）と同じ動線抽出サーバ８－１により、分割画像Ｉ２３ｂにおいて検出される画像位置Ｐ２３ｂを例示する。
【0093】
ステップＳ３１における物体検知の画像認識処理においては、図１３（Ａ）に例示するように、撮像画像Ｉ２１における認識対象の物体の検知結果として、例えば矩形状の検知領域４０が認識される。動線抽出部８１は、例えば検知領域４０における中心点の画像上の座標を、画像位置Ｐ２１として算出する。画像位置Ｐ２１は、例えば制御部８０の内部メモリに保持される。
【0094】
図１３（Ａ），（Ｂ）の例では、動線抽出サーバ８－１の動線抽出部８１は、図１３（Ａ）に示すように担当のカメラ２－１の画像データ２１における画像位置Ｐ２１を検出し、分割画像Ｉ２３ｂから担当外のカメラ２－３の画像データ２３ｂにおける画像位置Ｐ２３ｂを検出する。
【0095】
次に、動線抽出部８１は、ステップＳ３１において画像位置が検出された画像データにおいて、自機と対応していない担当外のカメラ２の画像データがあるか否かを判断する（Ｓ３２）。動線抽出部８１は、例えば画像データ毎に関連付けられたカメラＩＤを参照して、担当外のカメラ２の画像データか否かを判断する。
【0096】
動線抽出部８１は、担当外のカメラ２の画像データがあると判断すると（Ｓ３２でＹＥＳ）、複数の動線抽出サーバ８－１～８－３のうちの当該カメラ２に対応する動線抽出サーバ８に、上記画像データから検出した画像位置を示す情報を送信する（Ｓ３３）。本実施形態において、複数の動線抽出サーバ８は、各々の通信インタフェース８５を介して画像位置の情報を互いに送受信する。
【0097】
例えば、動線抽出サーバ８－１の動線抽出部８１は、分割画像Ｉ２３ｂ（図１３（Ｂ））の画像データ２３ｂが担当外のカメラ２－３の画像データであることから（Ｓ３２でＮＯ）、分割画像Ｉ２３ｂにおける画像位置Ｐ３２の情報を、当該カメラ２－３に対応する動線抽出サーバ８－３に送信する（Ｓ３３）。
【0098】
一方、動線抽出部８１は、担当外のカメラ２の画像データがないと判断すると（Ｓ３２でＮＯ）、ステップＳ３３を特に実行せず、ステップＳ３４に進む。
【0099】
動線抽出部８１は、自機の通信インタフェース８５が、複数の動線抽出サーバ８－１～８－３のうちの他の動線抽出サーバ８から画像位置の情報を、例えば所定期間以内に受信したか否かを判断する（Ｓ３４）。
【0100】
他の動線抽出サーバ８から担当のカメラ２についての画像位置の情報が受信された場合（Ｓ３４でＹＥＳ）、動線抽出部８１は、受信した画像位置の情報に基づき、担当のカメラ２の画像位置の検出結果を更新する（Ｓ３５）。図１３（Ｃ）は、混雑状態の撮像画像Ｉ２３における検出結果の画像位置Ｐ２３を例示する。例えば、動線抽出サーバ８－３の動線抽出部８１は、対応カメラ２－３の画像位置Ｐ２３ｂの情報を動線抽出サーバ８－１から受信して（Ｓ３２でＹＥＳ）、検出結果の画像位置Ｐ２３に追加する（Ｓ３５）。
【0101】
一方、画像位置の情報が他の動線抽出サーバ８から受信されなかった場合（Ｓ３４でＮＯ）、動線抽出部８１は、ステップＳ３５を特に実行せず、ステップＳ３６に進む。
【0102】
次に、動線抽出部８１は、検出結果の画像位置を座標変換する演算を行うことにより、例えば環境６の地図上における人物１１といった認識対象の位置を示す地図位置を算出する（Ｓ３６）。動線抽出サーバ８の各々において、動線抽出部８１は、例えば予め自機の記憶部８４に格納された、担当のカメラ２の画像位置から地図位置への変換を規定するパラメータに基づき、座標変換を行う。
【0103】
動線抽出部８１は、地図位置を算出した現在から数フレーム前までといった所定範囲の過去の動線情報を取得する（Ｓ３７）。動線抽出部８１は、例えば自機の記憶部８４に格納された個別動線情報から、地図位置及び速度といった過去の動線情報を取得する。
【0104】
次に、動線抽出部８１は、算出した現在の地図位置と、取得した過去の動線情報とに基づき、現在の個別動線情報を生成する（Ｓ３８）。動線抽出部８１は、例えば、各動線の過去の動線情報における地図位置と速度から予測される、現在のフレームにおける地図位置すなわち予測位置を算出し、予測位置と算出した地図位置の距離が所定値よりも近い動線に、現在の地図位置を紐づけることで、個別動線情報を生成する。距離の所定値は、例えば地図上で同じ点とみなせる程度に小さい値である。又、紐づけできなかった地図位置は、撮像範囲外から来た人物の位置等を示すと考えられることから、当該位置は個別動線情報に含める。生成された個別動線情報は、例えば記憶部８４に記憶される。
【0105】
動線抽出部８１は、例えば通信インタフェース８５を介して、生成した個別動線情報を動線結合サーバ９に送信する（Ｓ３９）と、本フローチャートに示す処理を終了する。各動線抽出サーバ８－１，８－２，８－３における以上の処理により、動線抽出サーバ８－１，８－２，８－３から、それぞれ個別動線情報Ｌ１，Ｌ２，Ｌ３が動線結合サーバ９に送信される。
【0106】
以上のように、複数の動線抽出サーバ８の各々において、動線抽出部８１は、混雑管理サーバ７の画像分配部７２から画像データを取得して（Ｓ３０）、対応カメラの画像データに基づく個別動線情報を生成する（Ｓ３８）。これにより、画像認識の処理負荷が複数の動線抽出サーバ８において分散され、一部の動線抽出サーバにおける処理時間の長期化を抑制することができる。
【0107】
また、動線抽出部８１は、画像データから画像認識処理により認識対象である移動体の画像位置を検出して（Ｓ３１）、複数の動線抽出サーバ８の間で画像位置を送受信する（Ｓ３３，Ｓ３４）ことで、動線抽出サーバ８毎の担当のカメラ２による画像位置を利用する。これにより、各動線抽出サーバ８において担当のカメラ２の画像データに基づく個別動線情報を得ることができる。
【0108】
２－５．動線結合処理
動線結合サーバ９の動作について、図１４を用いて説明する。動線結合サーバ９は、複数の動線抽出サーバ８－１～８－３の各々において生成された個別動線情報Ｌ１，Ｌ２，Ｌ３を、複数のカメラ２－１～２－３の撮像範囲における全ての動線を示す全体動線情報Ｌ０に結合する、動線結合処理（図５のＳ４）を行う。
動線結合サーバ９の動作について、図１４を用いて説明する。動線結合サーバ９は、複数の動線抽出サーバ８－１～８－３の各々において生成された個別動線情報Ｌ１，Ｌ２，Ｌ３を、複数のカメラ２－１～２－３の撮像範囲における全ての動線を示す全体動線情報Ｌ０に結合する、動線結合処理（図５のＳ４）を行う。
【0109】
図１４は、動線結合サーバ９による動線結合処理（Ｓ４）を例示するフローチャートである。図１４のフローチャートに示す各処理は、動線結合サーバ９において、動線結合部９１として機能する制御部９０によって実行される。図１４のフローチャートは、例えば、動画のフレーム周期で開始される。
【0110】
まず、動線結合部９１は、通信インタフェース９５を介して、複数の動線抽出サーバ８－１～８－３の各々から、それぞれの個別動線情報Ｌ１，Ｌ２，Ｌ３を受信する（Ｓ４０）。
【0111】
次に、動線結合部９１は、受信した複数の個別動線情報Ｌ１～Ｌ３に基づいて全体動線情報Ｌ０を生成する（Ｓ４１）。動線結合部９１は、例えば別々の個別動線情報Ｌ１～Ｌ３における各動線の地図位置を互いに比較して、同一人物の動線であると考えられる動線の結合を行う。動線の結合は、例えばステップＳ３８と同様に、地図上で同一とみなせる距離範囲を考慮して行われる。
【0112】
動線結合部９１は、例えば全体動線情報Ｌ０と、環境６の地図を示す地図データとを出力インタフェース９６を介して表示端末４に出力する（Ｓ４２）。地図データは、例えば予め記憶部８４に格納されている。これにより動線結合部９１は、表示端末４上で全体動線情報を地図データに重畳して表示させる。
【0113】
動線結合部９１は、全体動線情報Ｌ０の出力（Ｓ４２）により、本フローチャートに示す処理を終了する。
【0114】
以上のように、動線結合部９１は、複数の動線抽出サーバ８から取得した個別動線情報Ｌ１～Ｌ３を結合して全体動線情報Ｌ０を生成し（Ｓ４１，Ｓ４２）、例えば地図データと合わせて出力する（Ｓ４２）。これにより、複数のカメラ２に基づく動線を結合して表示させることができ、ユーザ３が、複数のカメラ２の各々の撮像範囲にわたる動線の分析を行い易くなる。
【0115】
３．効果等
以上のように、本実施形態に係る動線検知システム１は、撮像画像に基づき人物１１等の複数の移動体を検知する移動体検知システムの一例である。動線検知システム１は、所定周期で画像を撮像して画像データをそれぞれ生成する複数のカメラ２（複数の撮像装置）と、各カメラによる画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する複数の動線抽出サーバ８（複数の画像認識装置）と、各カメラから各動線抽出サーバへ供給される画像データを管理する混雑管理サーバ７（情報管理装置）とを備える。混雑管理サーバ７は、各カメラ２－１，２－２，２－３及び動線抽出サーバ８－１，８－２，８－３とデータ通信を行う通信インタフェース７５（通信部）と、通信インタフェース７５の動作を制御する制御部７０とを備える。制御部７０は、カメラ２－１，２－２，２－３毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を、例えば混雑情報テーブルＴ１のように管理し（Ｓ１）、混雑情報が示す混雑度などの数量の大きさに応じて、複数のカメラ２による画像データを分配して各動線抽出サーバ８－１，８－２，８－３に供給するように通信インタフェース７５を制御する（Ｓ２）。
以上のように、本実施形態に係る動線検知システム１は、撮像画像に基づき人物１１等の複数の移動体を検知する移動体検知システムの一例である。動線検知システム１は、所定周期で画像を撮像して画像データをそれぞれ生成する複数のカメラ２（複数の撮像装置）と、各カメラによる画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する複数の動線抽出サーバ８（複数の画像認識装置）と、各カメラから各動線抽出サーバへ供給される画像データを管理する混雑管理サーバ７（情報管理装置）とを備える。混雑管理サーバ７は、各カメラ２－１，２－２，２－３及び動線抽出サーバ８－１，８－２，８－３とデータ通信を行う通信インタフェース７５（通信部）と、通信インタフェース７５の動作を制御する制御部７０とを備える。制御部７０は、カメラ２－１，２－２，２－３毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を、例えば混雑情報テーブルＴ１のように管理し（Ｓ１）、混雑情報が示す混雑度などの数量の大きさに応じて、複数のカメラ２による画像データを分配して各動線抽出サーバ８－１，８－２，８－３に供給するように通信インタフェース７５を制御する（Ｓ２）。
【0116】
以上の動線検知システム１によると、混雑情報が示す数量の大きさに応じて、複数のカメラ２による画像データを分配して複数の動線抽出サーバ８に供給する。これにより、複数の動線抽出サーバ８において移動体を検知する処理を効率良く行うことができる。
【0117】
本実施形態において、制御部７０は、画像分配部７２として機能して、複数のカメラ２による画像データにおいて混雑情報が所定量以上の数量を示す画像データに、複数の分配先の動線抽出サーバを設定する（Ｓ２）。これにより、複数の動線抽出サーバ８の一部において画像認識を行って移動体を検知する処理の負荷が高くなることを抑制し、複数の動線抽出サーバ８における処理を効率良く行うことができる。
【0118】
本実施形態において、制御部７０は、画像分配部７２として機能して、１つの画像データが示す撮像画像を複数の領域に分割する複数の分割データを、複数の分配先の動線抽出サーバに別個に供給するように、通信インタフェース７５を制御する（Ｓ２）。これにより、各動線抽出サーバ８－１，８－２，８－３における処理の負荷を同程度に分散させ易くすることができる。
【0119】
本実施形態において、各動線抽出サーバ８－１，８－２，８－３は、移動体を繰り返し検知して、移動体による動線を示す動線情報の一例として個別動線情報Ｌ１，Ｌ２，Ｌ３を生成する（Ｓ３）。なお、各動線抽出サーバ８－１，８－２，８－３は、例えば画像認識のみを行い、それぞれ通信インタフェース８５を介して移動体の検知結果を送信してもよい。この場合、動線情報の生成は、例えば検知結果を受信した動線結合サーバ９または動線検知システム１の外部の情報処理装置により行われてもよい。
【0120】
本実施形態の動線検知システム１は、各動線抽出サーバ８－１，８－２，８－３により生成された個別動線情報Ｌ１，Ｌ２，Ｌ３に基づいて、複数のカメラ２により撮像される範囲の全体において移動体の動線を示す情報の一例として全体動線情報Ｌ０を生成する（Ｓ４）、動線結合サーバ９（情報統合装置）をさらに備える。これにより、例えばユーザ３が複数のカメラ２による撮像範囲の全体における動線を分析することができる。
【0121】
本実施形態において、制御部７０は、各カメラ２－１，２－２，２－３によって順次撮像される複数フレームの画像データに基づいて、撮像画像における移動体の動き量の一例として動き差分を算出して、算出した動き差分に基づいて、混雑情報を生成する（Ｓ１）。これにより、小さい計算量で算出可能な動き差分を用いることで、混雑管理サーバ７の処理負荷を抑えながら、最新のフレームに基づく情報を含めて混雑情報を生成することができる。
【0122】
本実施形態の混雑管理サーバ７は、複数のカメラ２と、各カメラ２－１，２－２，２－３による画像データに基づいて各画像データが示す撮像画像における複数の移動体をそれぞれ認識する複数の動線抽出サーバ８とを備えた動線検知システム１における情報管理装置の一例である。混雑管理サーバ７は、各カメラ２－１，２－２，２－３及び各動線抽出サーバ８－１，８－２，８－３とデータ通信を行う通信インタフェース７５と、各カメラ２－１，２－２，２－３から各動線抽出サーバ８－１，８－２，８－３へ供給される画像データを管理するように、通信インタフェース７５の動作を制御する制御部７０とを備える。制御部７０は、カメラ２－１，２－２，２－３毎に各画像データが示す撮像画像の範囲内に移動体が局在する混雑情報を管理し（Ｓ１）、混雑情報が示す数量の大きさに応じて、複数のカメラ２による画像データを分配して各動線抽出サーバ８－１，８－２，８－３に供給するように通信インタフェース７５を制御する（Ｓ２）。
【0123】
以上の混雑管理サーバ７によると、動線検知システム１において、複数の動線抽出サーバ８が移動体を認識する処理を効率良く行うことができる。
【0124】
（実施形態２）
以下、図１５を用いて本開示の実施形態２を説明する。実施形態２では、複数のカメラ２間の位置関係を利用して、混雑情報及び画像データの分配を管理する混雑管理サーバ７の動作を説明する。
以下、図１５を用いて本開示の実施形態２を説明する。実施形態２では、複数のカメラ２間の位置関係を利用して、混雑情報及び画像データの分配を管理する混雑管理サーバ７の動作を説明する。
【0125】
以下、実施形態１に係る動線検知システム１及び混雑管理サーバ７と同様の構成、動作の説明は適宜省略して、本実施形態に係る動線検知システム１及び混雑管理サーバ７について説明する。
【0126】
図１５は、本実施形態における複数のカメラ間での混雑状態の伝搬を説明するための図である。図１５（Ａ）は、複数のカメラ２の隣接情報を例示する。当該隣接情報は、複数のカメラ２が環境６に配置された状態におけるカメラ間の位置関係を示す配置情報の一例である。
【0127】
図１５（Ａ）では、複数のカメラ２において隣接するカメラの関係を実線で図示している。例えば、図１５（Ａ）の図示では、カメラ２－１がカメラ２－２，２－３と隣接する。隣接情報は、例えば予め混雑管理サーバ７の記憶部７４に格納される。図１５（Ｂ）は、図１５（Ａ）の隣接情報に基づく本実施形態の混雑判定処理を説明した図である。
【0128】
本実施形態において、混雑管理サーバ７の混雑判定部７１は、まず、複数のカメラ２における１つのカメラについて、例えば実施形態１と同様に当該カメラの画像データから混雑情報を生成する。なお、本実施形態の混雑情報は、特に動き差分データを含まず、カメラＩＤと混雑フラグとを対応付けた情報であればよい。図１５（Ｂ）は、カメラ２－１の混雑情報が生成され、当該混雑情報における混雑フラグが「オン」である場合の例を示す。
【0129】
混雑判定部７１は、次に、複数のカメラ２の隣接情報に基づき、混雑情報の混雑フラグが「オン」であるカメラに隣接するカメラについての混雑情報を更新する。混雑フラグが「オン」のカメラに隣接するカメラは、今後、混雑状態となる可能性が高いと考えられる。そこで、本実施形態の混雑判定部７１は、混雑フラグとは別のフラグなどにより、上記隣接するカメラが「混雑予定」であることを示す混雑情報を生成する。図１５（Ｂ）の例では、カメラ２－１に隣接するカメラ２－２，２－３が「混雑予定」に設定される。
【0130】
混雑判定部７１は、「混雑予定」であるカメラについて、例えば現在のフレームから所定のフレーム数後に、混雑フラグを「オン」に変更し、画像分配部７２の処理対象に設定する。所定のフレーム数は、隣接するカメラの撮像範囲における混雑が伝搬することが想定される期間を示す。当該フレーム数は、複数の動線抽出サーバ８における動線抽出処理の認識対象である移動体に応じて設定されてもよい。
【0131】
混雑判定部７１は、複数のカメラ２における混雑情報に基づき、複数のカメラ２によるフレーム周期で実行される混雑判定処理の度に、各カメラの混雑フラグを更新する。なお、混雑フラグが「オン」であるカメラについて、例えば現在のフレームから所定のフレーム数後に、他の混雑フラグが「オン」のカメラと隣接していなければ、混雑フラグが「オフ」に更新されてもよい。
【0132】
以上の処理によると、複数のカメラ２における各カメラの隣接情報に基づき、混雑情報の混雑フラグが更新され、人物１１といった移動体による混雑の状態の伝搬を反映するような混雑判定処理を実行することができる。これにより画像分配処理では、複数のカメラ２において混雑フラグが「オン」のカメラに隣接するカメラの画像を予め分割して、複数の動線抽出サーバ８に分配することができ、リアルタイムでの動線抽出処理を行い易くすることができる。
【0133】
以上のように、本実施形態に係る混雑管理サーバ７の制御部７０は、混雑判定部７１として機能して、複数のカメラ２の配置に関する情報の一例として隣接情報に基づき、混雑情報を更新する（図１５（Ａ），（Ｂ）参照）。これにより、例えば各カメラの撮像範囲に実際に移動体が移動する前に、画像の分割を開始することができる。
【0134】
（実施形態３）
以下、図１６を用いて本開示の実施形態３を説明する。実施形態１では、混雑管理サーバ７において、混雑判定部７１による判定結果の混雑フラグに基づいて画像分配部７２が動作する例を説明した。実施形態３では、画像分配部７２は特に混雑フラグを用いずに、まず複数のカメラ２における全てのカメラの画像を分割し、混雑情報に応じて分配する混雑管理サーバ７を説明する。
以下、図１６を用いて本開示の実施形態３を説明する。実施形態１では、混雑管理サーバ７において、混雑判定部７１による判定結果の混雑フラグに基づいて画像分配部７２が動作する例を説明した。実施形態３では、画像分配部７２は特に混雑フラグを用いずに、まず複数のカメラ２における全てのカメラの画像を分割し、混雑情報に応じて分配する混雑管理サーバ７を説明する。
【0135】
本実施形態の混雑管理サーバ７における画像分配部７２の動作を、図１６を用いて説明する。図１６は、実施形態３の画像分配部７２による画像分配処理を例示するフローチャートである。以下では、実施形態１の画像分配処理（図１０）と同様の処理の説明は適宜、省略する。
【0136】
まず、本実施形態の混雑管理サーバ７における画像分配部７２としての制御部７０は、複数のカメラ２の画像データを取得する（Ｓ２０Ａ）。
【0137】
制御部７０は、取得した各カメラの画像データに基づき、各々の撮像画像における混雑度を算出する（Ｓ５０）。制御部７０は、例えば実施形態１の混雑判定処理（図７）と同様に混雑度を算出する。制御部７０は、各カメラの混雑度の平均として、全カメラについての平均的な混雑度を示す平均混雑度を算出する（Ｓ５１）。
【0138】
制御部７０は、複数のカメラ２から１つのカメラｉを選択して（Ｓ２１）、カメラｉの画像データが示す画像を所定の分割数に分割する（Ｓ２３Ａ）。所定の分割数は、例えば図１０のステップＳ２３と同様に設定される。制御部７０は、分割画像毎にステップＳ５０と同様に混雑度を算出して各分割画像の画像データと対応付け、例えば内部メモリに保持する。所定の分割数は、ステップＳ５１の平均混雑度に応じて、分割後の画像データにおける混雑度が平均混雑度より小さくなるように、適宜設定されてもよい。
【0139】
次に、制御部７０は、カメラｉの分割画像についての混雑度と平均混雑度に基づき、複数の動線抽出サーバ８から分割画像の分配先を決定する（Ｓ２４Ａ）。具体的には、制御部７０は、複数の動線抽出サーバ８の各々について、分配する分割画像の混雑度の合計値が平均混雑度と同程度になるように、分配先を決定する。制御部７０は、例えば、分割画像の混雑度の合計値が平均混雑度より小さくなるように分配を行う。
【0140】
制御部７０は、複数のカメラ２における全てのカメラを選択するまで（Ｓ２５でＮＯ）、ステップＳ２１～Ｓ２４Ａを繰り返す。全てのカメラが選択されると（Ｓ２５でＹＥＳ）、制御部７０は、複数のカメラ２の各カメラの分割画像を示す画像データを、複数の動線抽出サーバ８から、ステップＳ２４Ａで分配先に決定された動線抽出サーバに送信する（Ｓ２６Ａ）。
【0141】
画像分配部７２は、複数の動線抽出サーバ８に画像データを送信（Ｓ２６Ａ）して、本フローチャートに示す処理を終了する。
【0142】
以上の処理によると、本実施形態の画像分配部７２は、複数のカメラ２における平均混雑度を算出し（Ｓ５１）、全てのカメラについて、画像を分割して（Ｓ２３Ａ）、分割画像の混雑度と平均混雑度といった混雑情報に基づき複数の動線抽出サーバ８に分配する（Ｓ２４Ａ）。これにより、複数の動線抽出サーバ８の各々における動線抽出処理での負荷が、均等に近づくように複数のカメラ２の画像を分配することができ、リアルタイムに動線抽出処理を実行し易くなる。
【0143】
また、本実施形態のステップＳ５０では、混雑判定部７１から取得した現在のフレームを示す画像データにおいて混雑度を算出したが、これに限らず、例えば、過去のフレームの画像データにおける混雑度を算出してもよく、ステップＳ２３Ａでは、過去のフレームにおける混雑度に基づき、現在のフレームの画像が分割されてもよい。
【0144】
以上のように、本実施形態に係る混雑管理サーバ７の制御部７０は、画像分配部７２として機能して、複数のカメラ２による各々の画像データにおいて、各画像データが示す画像を分割する領域毎に、当該領域における混雑情報を示す混雑度を算出する（Ｓ２３Ａ）。制御部７０は、算出した混雑度に基づき、複数のカメラ２による各々の画像データを複数の動線抽出サーバ８に分配して送信する（Ｓ２４Ａ，Ｓ２６Ａ）。なお、本実施形態において制御部７０は、複数のカメラ２により撮像された動画の過去のフレームの画像データから算出した混雑度に基づき、現在のフレームの画像を分割及び分配してもよい。
【0145】
（実施形態４）
以下、図１７を用いて本開示の実施形態４を説明する。実施形態１では、混雑管理サーバ７において、画像データにおける動き差分に基づく混雑度及び混雑情報を用いる動作例を説明した。実施形態４では、複数の動線抽出サーバ８の検出結果に基づく混雑情報を用いる混雑管理サーバ７の動作例を説明する。
以下、図１７を用いて本開示の実施形態４を説明する。実施形態１では、混雑管理サーバ７において、画像データにおける動き差分に基づく混雑度及び混雑情報を用いる動作例を説明した。実施形態４では、複数の動線抽出サーバ８の検出結果に基づく混雑情報を用いる混雑管理サーバ７の動作例を説明する。
【0146】
【0147】
本実施形態の混雑判定部７１は、複数の動線抽出サーバ８から、例えば通信インタフェース７５を介して、複数のカメラ２の各々の画像データにおける認識対象の検出結果を取得する（Ｓ６０）。具体的には、混雑判定部７１は、複数のカメラ２の各カメラについて、過去のフレームの画像データにおいて検出された認識対象の個数を取得する。過去のフレームは、例えば混雑判定処理が実行されるフレーム周期だけ前に複数の動線抽出サーバ８に送信されたフレームである。
【0148】
混雑判定部７１は、検出結果として取得した認識対象の個数に基づき、複数のカメラ２の混雑情報を生成する（Ｓ１２Ａ）。例えば、本実施形態の混雑判定部７１は、各カメラのカメラＩＤと、認識対象の個数が所定数以上か否かにより混雑または非混雑を判定した混雑フラグと、認識対象の個数とを対応付けた混雑情報を生成する。所定数は、実施形態１のステップＳ１２における所定の閾値と同様の観点において、十分に小さい数である。
【0149】
以上の処理によると、本実施形態の混雑判定部７１は、複数のカメラ２の各々について、過去のフレームの画像データにおける認識対象の個数に基づき、混雑情報を生成する。これにより画像分配部７２は、当該混雑情報に基づき、現在のフレームの画像データに画像分配処理を行う。
【0150】
以上のように、本実施形態に係る混雑管理サーバ７の制御部７０は、混雑判定部７１として機能して、複数の動線抽出サーバ８の各動線抽出サーバによって検知された人物１１等の移動体の個体数を取得して（Ｓ６０）、取得した移動体の個体数に基づき、混雑情報を生成する（Ｓ１２Ａ）。これにより、各動線抽出サーバによる検知結果を用いることで、混雑管理サーバ７が行う処理を軽減して、混雑判定処理を効率よく実行することができる。
【0151】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１～４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
以上のように、本出願において開示する技術の例示として、実施形態１～４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
【0152】
上記の実施形態では、動線抽出部８１は、混雑管理サーバ７から画像データを取得した（Ｓ３０）。本実施形態の動線抽出部８１は、画像データに加えて、混雑情報を取得してもよい。さらに本実施形態において、動線抽出サーバ８は、例えば通信インタフェース８５を介してカメラ２と通信可能に構成されてもよい。これにより動線抽出部８１は、例えば取得した混雑情報に応じて、分割画像以外の画像データを、混雑管理サーバ７を介さずにカメラ２から直接取得してもよい。
【0153】
実施形態１では、画像分配処理（Ｓ２）において、各カメラ２に対応する動線抽出サーバ８は、予め当該カメラ２の画像データの供給先に設定された（Ｓ２４）。本実施形態の画像分配処理では、複数のカメラ２の画像データが、１つの動線抽出サーバ８に供給されてもよい。例えば、本実施形態の画像分配部７２は、非混雑状態と判定されたカメラ２－１，２－２の画像データ２１，２２を何れも動線抽出サーバ８－１に送信してもよい。この場合、画像分配部７２は、混雑状態と判定されたカメラ２－３の画像データ２３は、撮像画像Ｉ２３を分割するように、動線抽出サーバ８－２、８－３に分配してもよい。
【0154】
上記の画像分配処理によれば、例えば撮像画像Ｉ２３における混雑度が、撮像画像Ｉ２１，Ｉ２２の混雑度より特に高い場合であっても、複数の動線抽出サーバ８－１～８－３の間で処理負荷を分散させ易くすることができる。
【0155】
実施形態１では、動線検知システム１において、各カメラ２－１，２－２，２－３に対応して各動線抽出サーバ８－１，８－２，８－３が設けられた。本実施形態の動線検知システム１では、複数のカメラ２の個数と複数の動線抽出サーバ８の個数が同数でなくてもよく、例えば複数のカメラ２の個数より多い個数の動線抽出サーバ８が設けられてもよい。
【0156】
実施形態１では、混雑判定部７１は、画像データに基づく動き差分を用いて、混雑情報を生成した（Ｓ１１，Ｓ１２）。本実施形態の混雑判定部７１は、動き差分に代えて、動線結合サーバ９の記憶部９４に格納された全体動線情報Ｌ０を取得して、全体動線情報Ｌ０における過去の動線情報を用いてもよい。これにより混雑判定部７１は、複数のカメラ２におけるカメラ毎に、例えば過去の動線情報における認識対象の位置及び速度と、各カメラの撮像範囲に基づき、混雑または非混雑の混雑フラグを混雑情報として生成してもよい。
【0157】
実施形態１では、画像分配部７２は、動き差分による混雑情報の混雑フラグに基づき、画像データを分割（Ｓ２２，Ｓ２３）及び分配（Ｓ２４）した。本実施形態の画像分配部７２は、混雑フラグに代えて、動線結合サーバ９の記憶部９４に格納された全体動線情報Ｌ０を取得して、全体動線情報Ｌ０における過去の動線情報を用いてもよい。画像分配部７２は、複数のカメラ２の各カメラの画像について、例えば過去の動線情報における人物１１といった認識対象の位置に基づき、各分割画像における人物の数が同程度になるように分割し、各分配先における分割画像内の人物の総数が同程度になるように分配先を決定してもよい。
【0158】
実施形態２では、複数のカメラ２の隣接情報に基づいて各カメラの混雑フラグを設定した。本実施形態の混雑管理サーバ７は、特に上記に限らず、混雑を予測して画像データを分配するための種々の情報を用いて混雑情報を更新してもよい。例えば、本実施形態の混雑判定部７１は、隣接情報の代わりに、複数のカメラ２の各々の撮像範囲における事前情報に基づいて混雑フラグを設定してもよい。事前情報としては、例えば、店舗の売り場のような環境６において、時間帯を分けて特定の販売を行うスケジュールを示す情報など、本システム１が適用される環境６現場の各種知識を用いることができる。
【0159】
上記のような事前情報は、例えば、複数のカメラ２における特定のカメラの撮像範囲において混雑フラグが「オン」である場合に、別のカメラの撮像範囲の混雑フラグが所定時間後に「オン」となることを示すように規定される。また、事前情報は、特定のカメラの撮像範囲において特定の時間帯に混雑フラグが「オン」であることを示すように規定されてもよい。これにより、隣接していないカメラであっても、混雑フラグを設定して、画像分配部７２による画像の分割及び分配に用いることができる。以上のような事前情報は、人物１１等の移動体が移動する傾向に関する情報の一例である。
【0160】
また、本実施形態では、過去の動線情報といった事前情報の機械学習により混雑予測を行う学習済みモデルを適用して、本システム１における混雑状態の管理が行われてもよい。こうした機械学習においては、例えば本システム１を用いる際の時刻、曜日、季節、天気および環境６に関する各種イベントなどを示す付加情報が利用されてもよい。
【0161】
上記の実施形態では、移動体検知システムの一例として動線検知システム１を説明した。本実施形態において、移動体検知システムは、特に動線検知システム１に限らず、例えば複数のカメラにより人物などの移動体の動きを監視するための監視システム、または追跡するための追跡システムに適用されてもよい。また、本実施形態において、移動体検知システムの検知対象は、特に人物に限らず、種々の移動体であってもよい。例えば、検知対象の移動体は、店舗のような環境６におけるカートであってもよいし、工場などの環境６における自動搬送機であってもよいし、各種の車両であってもよい。
【0162】
上記の実施形態では、画像認識装置の一例として、動線抽出サーバ８を説明した。本実施形態において、画像認識装置は、特に動線抽出サーバ８に限らず、例えばＧＰＵまたはＴＰＵとして構成されてもよい。また、画像認識の処理に深層学習による学習済みモデルを適用する場合、画像認識装置は、深層学習の処理に特化した専用のハードウェアとして構成されてもよい。
【0163】
上記の実施形態では、情報管理装置の一例として混雑管理サーバ７を説明した。本実施形態において、情報管理装置は、例えばＰＣであってもよい。また、情報統合装置及び画像認識装置も同様に、例えばそれぞれＰＣであってもよい。
【0164】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0165】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0166】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0167】
本開示は、複数の撮像装置に基づく情報をリアルタイムに処理する種々の移動体検知システムに適用可能であり、例えば動線検知システム、監視システム及び追跡システムに適用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2024-08-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報管理方法であって、
コンピュータが、複数の撮像装置から画像データを取得するステップと、
前記コンピュータの制御部が、前記撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を生成するステップと、
前記複数の撮像装置のうちの第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記制御部が、前記第１の画像データを複数の画像認識装置のうちの第１の画像認識装置に供給するステップと、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記制御部が、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と、前記複数の画像認識装置のうちの前記第１の画像認識装置とは異なる第２の画像認識装置とに供給するステップと、を含む
情報管理方法。
コンピュータが、複数の撮像装置から画像データを取得するステップと、
前記コンピュータの制御部が、前記撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を生成するステップと、
前記複数の撮像装置のうちの第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記制御部が、前記第１の画像データを複数の画像認識装置のうちの第１の画像認識装置に供給するステップと、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記制御部が、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と、前記複数の画像認識装置のうちの前記第１の画像認識装置とは異なる第２の画像認識装置とに供給するステップと、を含む
情報管理方法。
【請求項2】
前記各画像認識装置は、前記移動体を繰り返し検知して、前記移動体による動線を示す動線情報を生成する
請求項１に記載の情報管理方法。
請求項１に記載の情報管理方法。
【請求項3】
情報統合装置が、前記各画像認識装置により生成された動線情報に基づいて、前記複数の撮像装置により撮像される範囲の全体において前記移動体の動線を示す情報を生成するステップをさらに含む
請求項２に記載の情報管理方法。
請求項２に記載の情報管理方法。
【請求項4】
前記制御部は、
前記各撮像装置によって順次撮像される複数フレームの画像データに基づいて、前記撮像画像における移動体の動き量を算出して、
前記算出した動き量に基づいて、前記混雑情報を生成する
請求項１から３のいずれか１項に記載の情報管理方法。
前記各撮像装置によって順次撮像される複数フレームの画像データに基づいて、前記撮像画像における移動体の動き量を算出して、
前記算出した動き量に基づいて、前記混雑情報を生成する
請求項１から３のいずれか１項に記載の情報管理方法。
【請求項5】
前記制御部は、
前記各画像認識装置によって検知された移動体の個体数を取得して、
前記取得した移動体の個体数に基づき、前記混雑情報を生成する
請求項１から４のいずれか１項に記載に情報管理方法。
前記各画像認識装置によって検知された移動体の個体数を取得して、
前記取得した移動体の個体数に基づき、前記混雑情報を生成する
請求項１から４のいずれか１項に記載に情報管理方法。
【請求項6】
前記制御部は、前記複数の撮像装置において前記第１の撮像装置に隣接した撮像装置に関する前記混雑情報と、前記複数の撮像装置が配置された環境において前記移動体の移動により前記混雑情報が変化する傾向を示す情報と、の少なくとも一方に応じて前記第１の撮像装置による第１の画像データにおいて前記混雑情報が示す数量の大きさが前記所定量以上になる前に前記第１の画像データを分配することを予め決定して、前記混雑情報を更新する
請求項１から５のいずれか１項に記載の情報管理方法。
請求項１から５のいずれか１項に記載の情報管理方法。
【請求項7】
前記制御部は、
前記複数の撮像装置による各々の画像データにおいて、各画像データが示す画像を分割する領域毎に、当該領域における混雑情報を示す混雑度を算出し、
前記算出した混雑度に基づき、前記複数の撮像装置による各々の画像データを前記複数の画像認識装置に分配して送信する
請求項１から６のいずれか１項に記載の情報管理方法。
前記複数の撮像装置による各々の画像データにおいて、各画像データが示す画像を分割する領域毎に、当該領域における混雑情報を示す混雑度を算出し、
前記算出した混雑度に基づき、前記複数の撮像装置による各々の画像データを前記複数の画像認識装置に分配して送信する
請求項１から６のいずれか１項に記載の情報管理方法。
【請求項8】
前記複数の撮像装置は、前記第２の画像認識装置に対応した第２の撮像装置を含み、
前記第２の撮像装置による第２の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量未満である
請求項１から７のいずれか１項に記載の情報管理方法。
前記第２の撮像装置による第２の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量未満である
請求項１から７のいずれか１項に記載の情報管理方法。
【請求項9】
前記制御部は、
前記第２の画像データを前記第２の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データが示す撮像画像を複数の領域に分割する複数の分割データを、分配先の前記第１及び第２の画像認識装置に別個に供給する
請求項８に記載の情報管理方法。
前記第２の画像データを前記第２の画像認識装置に供給し、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データが示す撮像画像を複数の領域に分割する複数の分割データを、分配先の前記第１及び第２の画像認識装置に別個に供給する
請求項８に記載の情報管理方法。
【請求項10】
コンピュータプログラムであって、コンピュータの制御部により実行されると、前記コンピュータに、
複数の撮像装置から画像データを取得するステップと、
前記撮像装置毎に各画像データが示す撮像画像における移動体の数量を示す混雑情報を生成するステップと、
前記複数の撮像装置のうちの第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記第１の画像データを複数の画像認識装置のうちの第１の画像認識装置に供給するステップと、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と前記複数の画像認識装置のうちの前記第１の画像認識装置とは異なる第２の画像認識装置とに供給するステップと、を実行させる
コンピュータプログラム。
複数の撮像装置から画像データを取得するステップと、
前記撮像装置毎に各画像データが示す撮像画像における移動体の数量を示す混雑情報を生成するステップと、
前記複数の撮像装置のうちの第１の撮像装置による第１の画像データにおいて、前記混雑情報が示す数量の大きさが所定量未満の場合、前記第１の画像データを複数の画像認識装置のうちの第１の画像認識装置に供給するステップと、
前記第１の画像データにおいて、前記混雑情報が示す数量の大きさが前記所定量以上の場合、前記第１の画像データを分配して、少なくとも前記第１の画像認識装置と前記複数の画像認識装置のうちの前記第１の画像認識装置とは異なる第２の画像認識装置とに供給するステップと、を実行させる
コンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報管理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献１は、１以上の監視カメラと、監視サーバと、ユーザが所持する携帯端末とを備える監視システムを開示している。特許文献１の監視サーバは、監視カメラの映像から人物といった移動体オブジェクトの動線を抽出し、携帯端末の周辺領域等に含まれる動線を選択する。監視サーバは、選択した動線に基づき、動線の通過経路を含む領域の映像を特定してユーザに提示する。このように特許文献１では、動線の解析結果に応じた映像をユーザに提示することにより、ユーザによる映像の確認作業の効率化を図っている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６５３２２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、複数の撮像装置を用いた撮像画像に対する画像認識装置の処理を効率良くすることができる情報管理方法及びコンピュータプログラムを提供する。
【課題を解決するための手段】
【0005】
本開示の一態様に係る情報管理方法は、コンピュータが、複数の撮像装置から画像データを取得するステップと、コンピュータの制御部が、撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を管理生成するステップと、複数の撮像装置のうちの第１の撮像装置による第１の画像データにおいて、混雑情報が示す数量の大きさが所定量未満の場合、制御部が、第１の画像データを複数の画像認識装置のうちの第１の画像認識装置に供給するステップと、第１の画像データにおいて、混雑情報が示す数量の大きさが所定量以上の場合、制御部が、第１の画像データを分配して、少なくとも第１の画像認識装置と、複数の画像認識装置のうちの第１の画像認識装置とは異なる第２の画像認識装置とに供給するステップと、を含む。
【0006】
本開示の一態様に係るコンピュータプログラムは、コンピュータの制御部により実行されると、コンピュータに、複数の撮像装置から画像データを取得するステップと、撮像装置毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を生成するステップと、複数の撮像装置のうちの第１の撮像装置による第１の画像データにおいて、混雑情報が示す数量の大きさが所定量未満の場合、第１の画像データを複数の画像認識装置のうちの第１の画像認識装置に供給するステップと、第１の画像データにおいて、混雑情報が示す数量の大きさが所定量以上の場合、第１の画像データを分配して、少なくとも第１の画像認識装置と、複数の画像認識装置のうちの第１の画像認識装置とは異なる第２の画像認識装置とに供給するステップと、を実行させる。
【発明の効果】
【0007】
本開示に係る情報管理方法及びコンピュータプログラムによると、複数の撮像装置を用いた撮像画像に対する画像認識装置の処理を効率良くすることができる。
【図面の簡単な説明】
【0008】
【図1】本開示の実施の形態１に係る動線検知システムの概要を示す図
【図2】実施形態１の混雑管理サーバの構成を例示するブロック図
【図3】実施形態１の動線抽出サーバの構成を例示するブロック図
【図4】実施形態１の動線結合サーバの構成を例示するブロック図
【図5】動線検知システム１の動作例を説明するための図
【図6】動線検知システム１における混雑時の動作を説明するための図
【図7】実施形態１の混雑管理サーバにおける混雑判定処理を例示するフローチャート
【図8】実施形態１の混雑判定処理を説明するための図
【図9】実施形態１の混雑判定処理における混雑情報テーブルを例示する図
【図10】実施形態１の混雑管理サーバにおける画像分配処理を例示するフローチャート
【図11】実施形態１の画像分配処理を説明するための図
【図12】実施形態１の動線抽出サーバにおける動線抽出処理を例示するフローチャート
【図13】実施形態１の動線抽出処理を説明するための図
【図14】実施形態１の動線結合サーバにおける動線結合処理を例示するフローチャート
【図15】実施形態２の複数のカメラ間での混雑状態の伝搬を説明するための図
【図16】実施形態３の画像分配処理を例示するフローチャート
【図17】実施形態４の混雑判定処理を例示するフローチャート
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0010】
【0011】
１－１．システムの概要
本システム１は、図１に示すように、複数のカメラ２－１～２－３と、混雑管理サーバ７と、複数の動線抽出サーバ８－１～８－３と、動線結合サーバ９とを備える。以下、カメラ２－１，２－２，２－３を総称して「カメラ２」ともいう。又、動線抽出サーバ８－１，８－２，８－３を総称して「動線抽出サーバ８」ともいう。
本システム１は、図１に示すように、複数のカメラ２－１～２－３と、混雑管理サーバ７と、複数の動線抽出サーバ８－１～８－３と、動線結合サーバ９とを備える。以下、カメラ２－１，２－２，２－３を総称して「カメラ２」ともいう。又、動線抽出サーバ８－１，８－２，８－３を総称して「動線抽出サーバ８」ともいう。
【0012】
本システム１は、店舗の売り場、作業場または工場等の環境６において複数の人物１１等がそれぞれ移動する軌跡すなわち動線を検知対象として、環境６の全体を撮像するように複数のカメラ２を用いる移動体検知システムの一例である。本システム１は、例えば環境６の管理者または分析担当者といったユーザ３に、環境６における様々な人物１１の動線を提示するための表示端末４を備えてもよい。
【0013】
本システム１では、各カメラ２－１，２－２，２－３に対応して各動線抽出サーバ８－１，８－２，８－３が設けられる。動線抽出サーバ８は、カメラ２による撮像画像から動線を抽出するための画像認識の処理を実行するサーバ装置である。混雑管理サーバ７は、各カメラ２－１，２－２，２－３から各動線抽出サーバ８－１，８－２，８－３に供給される画像データを管理するためのサーバ装置である。動線結合サーバ９は、各動線抽出サーバ８－１，８－２，８－３によって抽出された動線等を統合した情報を生成するためのサーバ装置である。
【0014】
本実施形態では、以上のような動線検知システム１において、混雑管理サーバ７を用いることにより、多数の人物１１による混雑が生じたとしても環境６全体の動線等をリアルタイムに得やすくする。
【0015】
以下、本システム１におけるカメラ２、混雑管理サーバ７、動線抽出サーバ８、および動線結合サーバ９それぞれの具体的な構成を説明する。
【0016】
１－２．カメラの構成
カメラ２は、本システム１における撮像装置の一例である。カメラ２は、画像を撮像する撮像部と、撮像部が撮像した画像を示す画像データを送信する送信部とを備える。撮像部は、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサなどで実現される。送信部は、所定の通信規格（例えばＩＥＥＥ８０２．１１、ＵＳＢ）に準拠して外部機器との通信を行うためのインタフェース回路を含む。
カメラ２は、本システム１における撮像装置の一例である。カメラ２は、画像を撮像する撮像部と、撮像部が撮像した画像を示す画像データを送信する送信部とを備える。撮像部は、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサなどで実現される。送信部は、所定の通信規格（例えばＩＥＥＥ８０２．１１、ＵＳＢ）に準拠して外部機器との通信を行うためのインタフェース回路を含む。
【0017】
本実施形態のカメラ２は、例えば魚眼レンズを備えた全方位カメラである。本システム１のカメラ２は、特に全方位カメラに限らない種々の撮像装置であってもよい。又、図１では、３つのカメラ２－１，２－２，２－３を例示しているが、本システム１に含まれるカメラ２の個数は特に３つに限定されず、２つ又は４つ以上であってもよい。
【0018】
本システム１において、例えば環境６中の各所を移動する人物１１の動線を精度良く検知する観点から、環境６において各カメラ２－１，２－２，２－３が撮像する撮像範囲が、例えば部分的に互いに重畳するように設定される。
【0019】
１－３．混雑管理サーバの構成
図２は、本実施形態の混雑管理サーバ７の構成を例示するブロック図である。混雑管理サーバ７は、本実施形態における情報管理装置の一例である。図２に例示する混雑管理サーバ７は、制御部７０と、記憶部７４と、通信インタフェース７５とを備える。
図２は、本実施形態の混雑管理サーバ７の構成を例示するブロック図である。混雑管理サーバ７は、本実施形態における情報管理装置の一例である。図２に例示する混雑管理サーバ７は、制御部７０と、記憶部７４と、通信インタフェース７５とを備える。
【0020】
制御部７０は、混雑管理サーバ７の動作を制御する。制御部７０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵまたはＭＰＵで構成される。制御部７０は、記憶部７４に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部７０は、混雑管理サーバ７の各種処理を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、例えばアプリケーションプログラムであり、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記憶媒体に格納されてもよい。
【0021】
図２に例示する混雑管理サーバ７において、制御部７０は、例えば機能的構成として混雑判定部７１および画像分配部７２を備える。混雑判定部７１は、各カメラ２－１，２－２，２－３の撮像画像が後述する混雑状態であるか否かを判定する処理である混雑判定処理を行う。画像分配部７２は、混雑判定処理の結果に基づき、複数の動線抽出サーバ８から複数のカメラ２の画像データを分配する分配先を決定し、各動線抽出サーバ８－１，８－２，８－３に画像データを送信する処理である画像分配処理を行う。
【0022】
なお、制御部７０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部７０は、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の半導体集積回路で構成されてもよい。また、制御部７０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
【0023】
記憶部７４は、データ及びプログラムを記憶する。記憶部７４は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。記憶部７４は、複数のカメラ２から取得した画像データを記憶する。記憶部７４は、例えばＤＲＡＭまたはＳＲＡＭ等のＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部７０の作業領域として機能してもよい。例えば記憶部７４は、混雑判定部７１の判定結果および画像分配部７２による分配先の決定結果を一時的に記憶してもよい。
【0024】
通信インタフェース７５は、例えばＵＳＢ、ＩＥＥＥ ８０２．１１またはＢｌｕｅｔｏｏｔｈ（登録商標）といった規格に準拠して、機器間の接続及びデータの通信等を行う接続回路である。通信インタフェース７５は、例えば複数のカメラ２および複数の動線抽出サーバ８と、混雑管理サーバ７を接続する。通信インタフェース７５は、通信ネットワークと接続するための回路を備えてもよく、例えば複数のカメラ２および複数の動線抽出サーバ８等と通信ネットワークを介してデータの通信を行ってもよい。
【0025】
１－４．動線抽出サーバの構成
図３は、本実施形態の動線抽出サーバ８の構成を例示するブロック図である。動線抽出サーバ８は、本実施形態における画像認識装置の一例である。図３に例示する動線抽出サーバ８は、制御部８０と、記憶部８４と、通信インタフェース８５とを備える。
図３は、本実施形態の動線抽出サーバ８の構成を例示するブロック図である。動線抽出サーバ８は、本実施形態における画像認識装置の一例である。図３に例示する動線抽出サーバ８は、制御部８０と、記憶部８４と、通信インタフェース８５とを備える。
【0026】
制御部８０は、動線抽出サーバ８の動作を制御する。制御部８０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵまたはＴＰＵ或いはそれらの組み合わせで構成される。制御部８０は、記憶部８４に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
【0027】
図３に例示する動線抽出サーバ８において、制御部８０は、例えば機能的構成として動線抽出部８１を備える。動線抽出部８１は、混雑管理サーバ７から受信した画像データに基づいて、画像認識の対象として予め設定された人物１１等の物体を検知する画像認識の処理を含んだ動線抽出処理を行う。動線抽出処理では、画像認識による検知結果に基づいて人物１１等の位置情報が算出される。動線抽出部８１は、動線抽出サーバ８－１に対応するカメラ２－１の画像データから算出した位置情報に基づく動線を示す個別動線情報Ｌｎを生成して、記憶部８４に蓄積させる。動線抽出部８１における画像認識の処理には、例えば各種の機械学習による学習済みモデル等が適用される。
【0028】
なお、制御部８０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部８０は、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の半導体集積回路で構成されてもよい。また、制御部８０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
【0029】
記憶部８４は、データ及びプログラムを記憶する。記憶部８４は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。記憶部８４は、個別動線情報Ｌｎを記憶する。記憶部８４は、例えばＤＲＡＭまたはＳＲＡＭ等のＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部８０の作業領域として機能してもよい。
【0030】
通信インタフェース８５は、例えばＵＳＢ、ＩＥＥＥ ８０２．１１またはＢｌｕｅｔｏｏｔｈといった規格に準拠して、機器間の接続及びデータの通信等を行う接続回路である。通信インタフェース８５は、例えば混雑管理サーバ７及び動線結合サーバ９に通信接続する。通信インタフェース８５は、他の動線抽出サーバ８と通信可能に接続されてもよい。通信インタフェース８５は、通信ネットワークと接続するための回路を備えてもよく、例えば複数の動線抽出サーバ８の間で通信ネットワークを介してデータの通信を行ってもよい。
【0031】
１－５．動線結合サーバの構成
図４は、本実施形態の動線結合サーバ９の構成を例示するブロック図である。動線結合サーバ９は、本実施形態における情報統合装置の一例である。図４に例示する動線結合サーバ９は、制御部９０と、記憶部９４と、通信インタフェース９５と、出力インタフェース９６とを備える。
図４は、本実施形態の動線結合サーバ９の構成を例示するブロック図である。動線結合サーバ９は、本実施形態における情報統合装置の一例である。図４に例示する動線結合サーバ９は、制御部９０と、記憶部９４と、通信インタフェース９５と、出力インタフェース９６とを備える。
【0032】
制御部９０は、動線結合サーバ９の動作を制御する。制御部９０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵまたはＭＰＵで構成される。制御部９０は、記憶部９４に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
【0033】
図４に例示する動線結合サーバ９において、制御部９０は、例えば機能的構成として動線結合部９１を備える。動線結合部９１は、各動線抽出サーバ８－１，８－２，８－３から受信した各々の個別動線情報Ｌ１等を結合して、複数のカメラ２の画像データに基づく全体動線情報Ｌ０を生成し、記憶部９４に蓄積させる。
【0034】
なお、制御部９０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部９０は、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の半導体集積回路で構成されてもよい。また、制御部９０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
【0035】
記憶部９４は、データ及びプログラムを記憶する。記憶部９４は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。記憶部９４は、全体動線情報Ｌ０を記憶する。記憶部９４は、例えばＤＲＡＭまたはＳＲＡＭ等のＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部９０の作業領域として機能してもよい。
【0036】
通信インタフェース９５は、例えばＵＳＢ、ＩＥＥＥ ８０２．１１またはＢｌｕｅｔｏｏｔｈといった規格に準拠して、機器間の接続及びデータの通信等を行う接続回路である。通信インタフェース９５は、例えば複数の動線抽出サーバ８と動線結合サーバ９を通信接続する。通信インタフェース９５は、通信ネットワークと接続するための回路を備えてもよく、例えば複数の動線抽出サーバ８等と通信ネットワークを介してデータの通信を行ってもよい。
【0037】
出力インタフェース９６は、情報を出力する出力部の一例である。出力インタフェース９６は、例えばＨＤＭＩ（登録商標）規格などに準拠した映像信号等の出力インタフェース回路である。出力インタフェース９６は、各種の情報を表示するためにモニタ、プロジェクタ、およびヘッドマウントディスプレイなど外付けの表示デバイスに信号を出力する。また、情報統合装置の出力部は、出力インタフェース９６に限らず、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスとして構成されてもよい。
【0038】
【0039】
動線検知システム１において、各カメラ２－１，２－２，２－３は、環境６における各々の撮像範囲の画像を撮像して、例えば動画のフレーム周期で画像データを生成する。各カメラ２－１，２－２，２－３は、各々の画像データを、例えば互いに同期した撮像時刻と関連付けて順次、混雑管理サーバ７に送信する。
【0040】
本実施形態における混雑管理サーバ７は、例えば各カメラ２－１，２－２，２－３により撮像された画像の画像データを取得して、混雑判定部７１及び画像分配部７２としての処理を行う（図５のＳ１，Ｓ２参照）。例えば、後述する混雑状態が特に生じていない場合、混雑管理サーバ７は、各カメラ２－１，２－２，２－３からの画像データを、それぞれ対応する動線抽出サーバ８－１，８－２，８－３に送信する。
【0041】
各動線抽出サーバ８－１，８－２，８－３は、それぞれ受信した画像データに基づき、複数のカメラ２－１，２－２，２－３の撮像画像に対する画像認識処理を並列に行い、人物１１等による動線を検知する（図５のＳ３参照）。各動線抽出サーバ８－１，８－２，８－３は、各々の検知結果を示す個別動線情報をそれぞれ生成して、動線結合サーバ９に送信する。
【0042】
動線結合サーバ９は、例えば表示端末４において環境６の地図を示す地図画像上に動線が表示されるように、複数の動線抽出サーバ８により検知された動線等の情報を統合する（図５のＳ４参照）。
【0043】
【0044】
図５は、環境６における特定のカメラ２－３の撮像範囲のみが人物１１により混雑している場合における本システム１の動作を例示する。図６（Ａ），（Ｂ），（Ｃ）は、図５の動作例における各カメラ２－１，２－２，２－３の撮像画像Ｉ２１，Ｉ２２，Ｉ２３をそれぞれ例示する。混雑中の撮像画像Ｉ２３の状態を「混雑状態」といい、混雑状態でない撮像画像Ｉ２１，Ｉ２２の状態を「非混雑状態」という。
【0045】
混雑状態の撮像画像Ｉ２３によると、多数の人物が当該画像Ｉ２３の範囲内に局在していることから、画像認識を実行する動線抽出サーバ８－３の処理負荷が過大になる事態が想定される。この場合、複数の動線抽出サーバ８－１～８－３の内の特定の動線抽出サーバ８－３の処理の遅延により、動線結合サーバ９の処理（Ｓ４）が遅れ、ひいてはリアルタイムな動線の表示を実現困難になってしまう。
【0046】
そこで、本実施形態の動線検知システム１においては、混雑管理サーバ７によって撮像画像Ｉ２１～Ｉ２３における混雑状態を管理する。
【0047】
まず、混雑管理サーバ７は、混雑判定部７１により、各カメラ２－１，２－２，２－３について混雑判定処理（Ｓ１）を行う。図５の例では、特定のカメラ２－３の撮像画像Ｉ２３のみが混雑状態であると判定され、残りのカメラ２－１，２－２の撮像画像Ｉ２１，Ｉ２２は混雑状態でないと判定される。
【0048】
次に、混雑管理サーバ７は、混雑判定処理（Ｓ１）の結果にしたがい、画像分配部７２により画像データ２１，２２，２３の画像分配処理（Ｓ２）を行う。画像分配部７２は、非混雑状態と判定されたカメラ２－１，２－２の画像データ２１，２２を、それぞれのカメラ２－１，２－２に対応する動線抽出サーバ８－１，８－２に送信する。一方、画像分配部７２は、混雑状態と判定されたカメラ２－３の画像データ２３を、撮像画像Ｉ２３を分割するように、複数の動線抽出サーバ８に分配する。こうした分配の一例を図６（Ｃ）～（Ｆ）に示す。
【0049】
図６（Ｄ），（Ｅ），（Ｆ）は、図６（Ｃ）の撮像画像Ｉ２３を分割した分割画像Ｉ２３ｂ，Ｉ２３ｃ，Ｉ２３ａｄを例示する。図５の例では、混雑管理サーバ７は、分割画像Ｉ２３ａｄ，Ｉ２３ｂ，Ｉ２３ｃを示す画像データ２３ａｄ，２３ｂ，２３ｃを、特定の動線抽出サーバ８－３だけでなく、他の動線抽出サーバ８－１，８－２にも分配して供給する。
【0050】
各動線抽出サーバ８－１，８－２，８－３は、各々の動線抽出部８１により、混雑管理サーバ７から供給された画像データに画像認識の処理を実行して、対応するカメラ２－１，２－２，２－３の画像データに基づく動線を抽出する動線抽出処理（Ｓ３）を行う。この際、上記特定の動線抽出サーバ８－３は、画像認識の処理対象が図６（Ｃ），（Ｆ）に示すように混雑状態の撮像画像Ｉ２３から分割画像Ｉ２３ａｄに削減されることから、処理負荷が低減される。一方、残りの分割画像Ｉ２３ｂ，Ｉ２３ｃは、それぞれ混雑状態でない撮像画像Ｉ２１，Ｉ２２と共に、他の動線抽出サーバ８－１，８－２の処理対象となる。
【0051】
よって、複数の動線抽出サーバ８－１～８－３の間で処理負荷が分散され、動線抽出処理（Ｓ３）を効率良く行うことができる。また、本実施形態では、複数の動線抽出サーバ８－１～８－３は、分割画像Ｉ２３ａｄ、Ｉ２３ｂ、Ｉ２３ｃの画像認識による検知結果の情報を互いに送受信することで、それぞれ対応するカメラ２－１～２－３の画像データに基づく個別動線情報Ｌ１，Ｌ２，Ｌ３を生成する。各動線抽出サーバ８－１，８－２，８－３は、それぞれ個別動線情報Ｌ１，Ｌ２，Ｌ３を動線結合サーバ９に送信する。
【0052】
動線結合サーバ９は、受信した個別動線情報Ｌ１，Ｌ２，Ｌ３を統合して全体動線情報Ｌ０を生成する動線結合処理（Ｓ４）を行う。動線結合サーバ９は、全体動線情報Ｌ０を、例えば記憶部９４に予め格納された環境６の地図画像を示す地図画像データと合わせて、表示端末４に送信する。これにより、表示端末４は、地図画像と重畳させて全体動線情報Ｌ０が示す動線を表示する（Ｓ５）。
【0053】
動線検知システム１は、以上の処理（Ｓ１～Ｓ５）を、例えば周期的に繰り返す。これにより、例えば表示端末４において、動線の表示がリアルタイムに更新される。
【0054】
以上の動作によると、混雑状態の撮像画像Ｉ２３ａｄが生じたとしても、複数の動線抽出サーバ８－１～８－３間で処理負荷を分散させ、動線抽出処理（Ｓ３）を効率良く行うことができる。よって、その後の動線結合処理（Ｓ４）等の遅延も抑制でき、例えば表示端末４における動線のリアルタイム表示を行い易くすることができる。
【0055】
このような動線検知システム１によると、混雑判定処理（Ｓ１）の結果に応じて、複数のカメラ２の画像データが複数の動線抽出サーバ８に分配される（Ｓ２）。これにより、例えば混雑と判定されたカメラ２－３に対応する動線抽出サーバ８－３において、動線抽出処理（Ｓ３）での画像認識処理の負荷が集中して処理が遅れること抑制できる。環境６における人物１１等の移動に応じて、混雑判定処理（Ｓ１）の結果も変化して、画像分配処理（Ｓ２）における画像の分割及び分配が更新されることで、リアルタイムに動線結合処理（Ｓ４）及び動線の表示（Ｓ５）を行うことができる。
【0056】
２－２．混雑判定処理
混雑管理サーバ７における混雑判定処理（図５のＳ１）について、図７及び図８を用いて説明する。混雑判定処理（Ｓ１）では、各カメラ２の混雑情報が用いられる。混雑情報は、複数のカメラ２の各々の撮像画像における人物１１の数量に対応するような移動体による混雑の程度を示す種々の情報である。
混雑管理サーバ７における混雑判定処理（図５のＳ１）について、図７及び図８を用いて説明する。混雑判定処理（Ｓ１）では、各カメラ２の混雑情報が用いられる。混雑情報は、複数のカメラ２の各々の撮像画像における人物１１の数量に対応するような移動体による混雑の程度を示す種々の情報である。
【0057】
【0058】
図７のフローチャートに示す各処理は、混雑判定部７１として機能する混雑管理サーバ７の制御部７０によって、例えばカメラ２のフレーム周期で実行される。図７のフローチャートは、例えば、混雑管理サーバ７が通信インタフェース７５を介して、複数のカメラ２から画像データを受信すると開始される。画像データは、例えばカメラ２毎に２フレーム分など所定のフレーム数分、記憶部７４に保持される。
【0059】
図７のフローチャートにおいて、まず、混雑判定部７１は、例えば記憶部７４から、各カメラ２の画像データを取得する（Ｓ１０）。図８（Ａ），（Ｂ）に、ステップＳ１０で取得される画像データを例示する。図８（Ａ）は、１つのカメラ２において撮像された現在フレームＦ２の画像データを例示する。図８（Ｂ）は、図８（Ａ）と同じカメラ２で１フレーム前の過去フレームＦ１の画像データを例示する。ステップＳ１０において、混雑判定部７１は、図８（Ａ），（Ｂ）のような現在及び過去の画像データをカメラ２毎に取得する。
【0060】
混雑判定部７１は、複数のカメラ２－１～２－３の各々に関して、取得した画像データに基づいて、動き差分データＨを各々生成する（Ｓ１１）。図８（Ｃ）は、図８（Ａ），（Ｂ）の画像データに基づき生成される動き差分データＨを例示する。動き差分データＨは、例えば撮像画像の領域全体におけるヒートマップとして過去から現在への動きによる差分を示すデータである。混雑判定部７１は、例えば各画素におけるフレーム間の差分を演算するなど、過去フレームＦ１の画像データと、現在フレームＦ２の画像データとを画素毎に比較して、動き差分データＨを生成する。
【0061】
次に、混雑判定部７１は、複数のカメラ２－１～２－３の各々における動き差分データＨ１，Ｈ２，Ｈ３に基づき、各カメラ２の撮像画像における混雑状態を判定する（Ｓ１２）。混雑判定部７１は、例えば、１つのカメラ２当たりの現在フレームＦ２の混雑度として動き差分データＨの全画素にわたる合計値を計算して、混雑度が所定の閾値以上か否かにより混雑状態または非混雑状態を判定する。所定の閾値は、例えば撮像画像の範囲内で処理負荷が過大となる人物の人数を考慮して、当該人数と動き差分との相関関係から設定される。混雑判定部７１は、以上の処理を各カメラ２の動き差分データＨ１，Ｈ２，Ｈ３に行う。
【0062】
次に、混雑判定部７１は、例えば上記の判定結果などの各カメラ２の混雑情報を格納するための混雑情報テーブルＴ１を、例えば混雑管理サーバ７の記憶部７４に記憶する（Ｓ１３）。図９に、混雑情報テーブルＴ１を例示する。
【0063】
図９の例において、混雑情報テーブルＴ１は、複数のカメラ２－１～２－３の各々を識別する「カメラＩＤ」に対応付けて、上述した「動き差分データ」と上述した「混雑度」と、混雑状態の判定結果を示す「混雑フラグ」とをそれぞれ混雑情報の一例として格納する。混雑判定部７１は、カメラ２毎の混雑状態又は非混雑状態の判定結果に応じてそれぞれの混雑フラグを「オン」または「オフ」に設定する。
【0064】
図９の例では、各カメラ２－１，２－２，２－３の動き差分データＨ１，Ｈ２，Ｈ３、及び混雑度Ｘ１，Ｘ２，Ｘ３といった混雑情報が、混雑情報テーブルＴ１に格納される。更に、図９の混雑情報テーブルＴ１において、例えばカメラＩＤが「３」の混雑情報としては、カメラ２－３の動き差分データＨ３に基づき、混雑フラグが「オン」、すなわち「混雑状態」という判定結果が得られている。
【0065】
【0066】
以上のように、本実施形態の混雑管理サーバ７において、混雑判定部７１は、本システム１におけるカメラ２毎に、画像データを取得して（Ｓ１０）、現在の各種混雑情報を生成する（Ｓ１１，Ｓ１２）。これにより、混雑管理サーバ７は、カメラ２毎の画像データの種々の混雑情報を管理することができる。また、動き差分データＨ（Ｓ１１）によると、特に画像認識を用いなくとも、各カメラ２の撮像画像の範囲内における人物の人数に応じた混雑度を算出可能である。
【0067】
２－３．画像分配処理
混雑管理サーバ７における画像分配処理（図５のＳ２）について、図１０及び図１１を用いて説明する。画像分配処理（Ｓ２）では、カメラ２毎の混雑情報に基づき、複数の動線抽出サーバ８－１～８－３において各カメラ２の画像データを分配する分配先が決定される。
混雑管理サーバ７における画像分配処理（図５のＳ２）について、図１０及び図１１を用いて説明する。画像分配処理（Ｓ２）では、カメラ２毎の混雑情報に基づき、複数の動線抽出サーバ８－１～８－３において各カメラ２の画像データを分配する分配先が決定される。
【0068】
【0069】
図１０のフローチャートに示す各処理は、画像分配部７２として機能する混雑管理サーバ７の制御部７０によって実行される。図１０のフローチャートは、例えば、混雑判定部７１の動作により混雑情報テーブルＴ１が記憶された（図７のＳ１３）状態で開始される。
【0070】
図１０のフローチャートにおいて、まず、混雑管理サーバ７の画像分配部７２は、例えば記憶部７４から、複数のカメラ２の現在の画像データ及び混雑情報テーブルＴ１の各種混雑情報を取得する（Ｓ２０）。
【0071】
次に、画像分配部７２は、複数のカメラ２から、１つのカメラｉを選択する（Ｓ２１）。図５の例では、カメラ２－１，２－２，２－３が、ステップＳ２１ごとに順次、カメラｉとして選択される。
【0072】
画像分配部７２は、例えば図９の混雑情報テーブルＴ１を参照して、選択したカメラｉの混雑フラグが「オン」か否かを判断する（Ｓ２２）。画像分配部７２は、カメラｉのカメラＩＤに該当する混雑情報を参照することで当該判断を行う。例えば、図９の例において、カメラ２－１の選択時に参照される混雑フラグは「オフ」である。
【0073】
選択したカメラｉの混雑フラグが「オフ」である場合（Ｓ２２でＮＯ）、対応する撮像画像は非混雑状態と判定されている。この場合、画像分配部７２は、ステップＳ２３，Ｓ２４の処理を特に実行せず、ステップＳ２５に進む。
【0074】
画像分配部７２は、ステップＳ２１において全てのカメラ２－１，２－２，２－３が選択されたか否かを判断する（Ｓ２５）。全てのカメラ２－１，２－２，２－３が選択されるまで（Ｓ２５でＮＯ）、画像分配部７２は、ステップＳ２１以降の処理を繰り返す。
【0075】
図５の例では、カメラ２－１，２－２がそれぞれ選択された場合、混雑情報テーブルＴ１において混雑フラグが「オフ」であるため（Ｓ２２でＮＯ）、ステップＳ２５に進む。すると、未だ全てのカメラが選択されていない（Ｓ２５でＮＯ）ことから、カメラ２－３が選択される（Ｓ２１）。この際、カメラ２－３の選択時に図９の混雑情報テーブルＴ１において参照される混雑フラグは「オン」である。
【0076】
選択したカメラｉの混雑フラグが「オン」である場合（Ｓ２２でＹＥＳ）、対応する撮像画像は混雑状態と判定されている。この場合、画像分配部７２は、カメラｉの画像データが示す撮像画像を分割するための処理を行う（Ｓ２３）。
【0077】
ステップＳ２３の処理例を図１１に示す。画像分配部７２は、例えば、画像データが示す撮像画像Ｉ２３を所定の分割数（例えば４または９）に分割する領域Ｒ１～Ｒ４を設定する。図１１（Ａ），（Ｂ）では、分割数「４」の一例を示す。図１１（Ｂ）の例では、各領域Ｒ１～Ｒ４に対応する分割画像Ｉ２３ａ～Ｉ２３ｄが、互いに隣接する部分において重畳するように設定されている。
【0078】
ステップＳ２３において、画像分配部７２は、例えば図９の混雑情報テーブルＴ１を参照して、分割画像Ｉ２３ａ～Ｉ２３ｄの各々の混雑度を、図７のステップＳ１２と同様に算出する。例えば、画像分配部７２は、所定の閾値未満の混雑度が算出された場合、当該分割数を採用する。一方、画像分配部７２は、所定の閾値以上の混雑度が算出された場合、より大きい分割数を用いて以上の計算を再度行う。所定の閾値は、複数の動線抽出サーバ８の各々において、リアルタイムに動線抽出処理を実行できる程度に小さい値であり、例えばステップＳ１２の閾値と同様に設定される。
【0079】
分割画像Ｉ２３ａ～Ｉ２３ｄを示す画像データは、各々の混雑度と対応付けて、例えば混雑管理サーバ７の制御部７０の内部メモリに保持される。画像分配部７２は、こうした混雑度に基づいて、例えば上記の閾値未満の範囲内で２つ以上の分割画像Ｉ２３ａ，Ｉ２３ｄを統合した分割画像Ｉ２３ａｄとしてもよい（図６（Ｆ）参照）。
【0080】
図５の例では、ステップＳ２１においてカメラｉとしてカメラ２－３が選択された場合、混雑情報テーブルＴ１における各混雑情報の混雑フラグが「オン」である（Ｓ２２でＹＥＳ）ことから、図１１（Ａ），（Ｂ）に示すように、カメラ２－３の画像Ｉ２３が分割される。
【0081】
画像分配部７２は、複数のカメラ２の混雑情報に基づき、選択したカメラｉの分割画像を分配する分配先の動線抽出サーバ８を決定する（Ｓ２４）。各カメラ２に対応する動線抽出サーバ８は、予め当該カメラ２の画像データの供給先に設定されている。例えば、画像分配部７２は、混雑情報テーブルＴ１を参照して、混雑フラグが「オフ」であるカメラ２に対応する動線抽出サーバ８から追加の分配先を決定する。そして、画像分配部７２は、混雑フラグが「オン」であるカメラ２に対応して予め供給先に設定された動線抽出サーバ８への分割画像の配信を決定する。図５の例では、分割画像Ｉ２３ｂ，Ｉ２３ｃの分配先がそれぞれ動線抽出サーバ８－１，８－２に決定される。そして、動線抽出サーバ８－３への分割画像Ｉ２３ａ，Ｉ２３ｄを統合した分割画像Ｉ２３ａｄの配信が決定される。
【0082】
ステップＳ２４において、画像分配部７２は、例えば混雑情報テーブルＴ１における各カメラ２の混雑度と、分割画像毎に算出した混雑度とに基づき、各動線抽出サーバ８の混雑度が同程度とみなせる所定範囲内となるように、分配先を決定してもよい。また、分配先の決定に応じて混雑情報テーブルＴ１におけるカメラ２毎の混雑度が更新され、以降の処理が更新後の混雑情報テーブルＴ１に基づいて実行されてもよい。
【0083】
画像分配部７２としての制御部７０は、例えば全てのカメラ２－１～２－３が選択されたと判断すると（Ｓ２５でＹＥＳ）、通信インタフェース７５を制御して、各画像データを複数の動線抽出サーバ８に送信する（Ｓ２６）。各カメラ２に対応する動線抽出サーバ８には、各カメラ２の撮像画像又は分割画像の画像データが送信される。さらに、追加で分配先に決定された動線抽出サーバ８に、分割画像の画像データが送信される。この際、各画像データは、例えば各カメラ２のカメラＩＤと関連付けて送信される。
【0084】
画像分配部７２は、画像データを複数の動線抽出サーバ８に送信すると（Ｓ２６）、本フローチャートに示す処理を終了する。
【0085】
以上のように、画像分配部７２は、複数のカメラ２の混雑情報に基づき、各カメラ２の撮像画像のうち混雑情報に基づき「混雑状態」と判定されたカメラ２の撮像画像を分割して（Ｓ２２，Ｓ２３）、複数の動線抽出サーバ８に分配する（Ｓ２４）。これにより、複数の動線抽出サーバ８の各々における処理の負荷を分散させることができる。
【0086】
なお、ステップＳ２３において、混雑度の閾値は、図７のステップＳ１２と同様の値に限らず適宜、異なる値が設定されてもよい。例えば、画像分配部７２は、混雑情報テーブルＴ１に基づいて、選択されたカメラｉの近傍とみなす複数のカメラ２の混雑度の平均値を閾値として算出してもよい。この場合、例えば複数のカメラ２間の位置関係に基づいて各カメラの近傍とみなすカメラの組み合わせが予め設定される。
【0087】
また、ステップＳ２３において、画像の領域分割は、例えば図１１（Ｂ）に示すように各分割画像が隣接する分割画像と部分的に重畳するように行われてもよい。このように画像を重畳させて分割することで、複数の動線抽出サーバ８による後述の動線抽出処理において、人物１１といった移動体を分割画像の境界部分において検知する際に、検知漏れを抑制することができる。
【0088】
２－４．動線抽出処理
動線抽出サーバ８の動作について、図１２及び図１３を用いて説明する。各動線抽出サーバ８－１～８－３は、それぞれ複数のカメラ２－１～２－３のうち当該動線抽出サーバ８と対応するカメラ２の画像データに基づく個別動線情報を生成する、といった動線抽出処理（図５のＳ３）を行う。
動線抽出サーバ８の動作について、図１２及び図１３を用いて説明する。各動線抽出サーバ８－１～８－３は、それぞれ複数のカメラ２－１～２－３のうち当該動線抽出サーバ８と対応するカメラ２の画像データに基づく個別動線情報を生成する、といった動線抽出処理（図５のＳ３）を行う。
【0089】
図１２は、動線抽出サーバ８における動線抽出処理（Ｓ３）を例示するフローチャートである。図１３は、動線抽出処理を説明するための図である。図１２のフローチャートに示す各処理は、各動線抽出サーバ８において、動線抽出部８１として機能する制御部８０によって実行される。図１２のフローチャートは、例えば、動画のフレーム周期で開始される。
【0090】
図１２のフローチャートにおいて、まず、動線抽出部８１は、通信インタフェース８５を介して混雑管理サーバ７から画像データを受信する（Ｓ３０）。例えば、図５の例の動線抽出サーバ８－１は、対応するカメラ２－１（即ち担当のカメラ）による撮像画像Ｉ２１の画像データ２１と、分割画像Ｉ２３ｂの画像データ２３ｂとを受信する。
【0091】
動線抽出部８１は、受信した画像データにおいて、物体検知の画像認識処理を行って、認識対象である人物１１等の画像上の位置を示す画像位置を検出する（Ｓ３１）。ステップＳ３１の処理例を図１３（Ａ），（Ｂ）に示す。
【0092】
図１３（Ａ）は、非混雑状態の撮像画像Ｉ２１において、対応する動線抽出サーバ８－１により検出される画像位置Ｐ２１を例示する。図１３（Ｂ）は、図１３（Ａ）と同じ動線抽出サーバ８－１により、分割画像Ｉ２３ｂにおいて検出される画像位置Ｐ２３ｂを例示する。
【0093】
ステップＳ３１における物体検知の画像認識処理においては、図１３（Ａ）に例示するように、撮像画像Ｉ２１における認識対象の物体の検知結果として、例えば矩形状の検知領域４０が認識される。動線抽出部８１は、例えば検知領域４０における中心点の画像上の座標を、画像位置Ｐ２１として算出する。画像位置Ｐ２１は、例えば制御部８０の内部メモリに保持される。
【0094】
図１３（Ａ），（Ｂ）の例では、動線抽出サーバ８－１の動線抽出部８１は、図１３（Ａ）に示すように担当のカメラ２－１の画像データ２１における画像位置Ｐ２１を検出し、分割画像Ｉ２３ｂから担当外のカメラ２－３の画像データ２３ｂにおける画像位置Ｐ２３ｂを検出する。
【0095】
次に、動線抽出部８１は、ステップＳ３１において画像位置が検出された画像データにおいて、自機と対応していない担当外のカメラ２の画像データがあるか否かを判断する（Ｓ３２）。動線抽出部８１は、例えば画像データ毎に関連付けられたカメラＩＤを参照して、担当外のカメラ２の画像データか否かを判断する。
【0096】
動線抽出部８１は、担当外のカメラ２の画像データがあると判断すると（Ｓ３２でＹＥＳ）、複数の動線抽出サーバ８－１～８－３のうちの当該カメラ２に対応する動線抽出サーバ８に、上記画像データから検出した画像位置を示す情報を送信する（Ｓ３３）。本実施形態において、複数の動線抽出サーバ８は、各々の通信インタフェース８５を介して画像位置の情報を互いに送受信する。
【0097】
例えば、動線抽出サーバ８－１の動線抽出部８１は、分割画像Ｉ２３ｂ（図１３（Ｂ））の画像データ２３ｂが担当外のカメラ２－３の画像データであることから（Ｓ３２でＮＯ）、分割画像Ｉ２３ｂにおける画像位置Ｐ３２の情報を、当該カメラ２－３に対応する動線抽出サーバ８－３に送信する（Ｓ３３）。
【0098】
一方、動線抽出部８１は、担当外のカメラ２の画像データがないと判断すると（Ｓ３２でＮＯ）、ステップＳ３３を特に実行せず、ステップＳ３４に進む。
【0099】
動線抽出部８１は、自機の通信インタフェース８５が、複数の動線抽出サーバ８－１～８－３のうちの他の動線抽出サーバ８から画像位置の情報を、例えば所定期間以内に受信したか否かを判断する（Ｓ３４）。
【0100】
他の動線抽出サーバ８から担当のカメラ２についての画像位置の情報が受信された場合（Ｓ３４でＹＥＳ）、動線抽出部８１は、受信した画像位置の情報に基づき、担当のカメラ２の画像位置の検出結果を更新する（Ｓ３５）。図１３（Ｃ）は、混雑状態の撮像画像Ｉ２３における検出結果の画像位置Ｐ２３を例示する。例えば、動線抽出サーバ８－３の動線抽出部８１は、対応カメラ２－３の画像位置Ｐ２３ｂの情報を動線抽出サーバ８－１から受信して（Ｓ３２でＹＥＳ）、検出結果の画像位置Ｐ２３に追加する（Ｓ３５）。
【0101】
一方、画像位置の情報が他の動線抽出サーバ８から受信されなかった場合（Ｓ３４でＮＯ）、動線抽出部８１は、ステップＳ３５を特に実行せず、ステップＳ３６に進む。
【0102】
次に、動線抽出部８１は、検出結果の画像位置を座標変換する演算を行うことにより、例えば環境６の地図上における人物１１といった認識対象の位置を示す地図位置を算出する（Ｓ３６）。動線抽出サーバ８の各々において、動線抽出部８１は、例えば予め自機の記憶部８４に格納された、担当のカメラ２の画像位置から地図位置への変換を規定するパラメータに基づき、座標変換を行う。
【0103】
動線抽出部８１は、地図位置を算出した現在から数フレーム前までといった所定範囲の過去の動線情報を取得する（Ｓ３７）。動線抽出部８１は、例えば自機の記憶部８４に格納された個別動線情報から、地図位置及び速度といった過去の動線情報を取得する。
【0104】
次に、動線抽出部８１は、算出した現在の地図位置と、取得した過去の動線情報とに基づき、現在の個別動線情報を生成する（Ｓ３８）。動線抽出部８１は、例えば、各動線の過去の動線情報における地図位置と速度から予測される、現在のフレームにおける地図位置すなわち予測位置を算出し、予測位置と算出した地図位置の距離が所定値よりも近い動線に、現在の地図位置を紐づけることで、個別動線情報を生成する。距離の所定値は、例えば地図上で同じ点とみなせる程度に小さい値である。又、紐づけできなかった地図位置は、撮像範囲外から来た人物の位置等を示すと考えられることから、当該位置は個別動線情報に含める。生成された個別動線情報は、例えば記憶部８４に記憶される。
【0105】
動線抽出部８１は、例えば通信インタフェース８５を介して、生成した個別動線情報を動線結合サーバ９に送信する（Ｓ３９）と、本フローチャートに示す処理を終了する。各動線抽出サーバ８－１，８－２，８－３における以上の処理により、動線抽出サーバ８－１，８－２，８－３から、それぞれ個別動線情報Ｌ１，Ｌ２，Ｌ３が動線結合サーバ９に送信される。
【0106】
以上のように、複数の動線抽出サーバ８の各々において、動線抽出部８１は、混雑管理サーバ７の画像分配部７２から画像データを取得して（Ｓ３０）、対応カメラの画像データに基づく個別動線情報を生成する（Ｓ３８）。これにより、画像認識の処理負荷が複数の動線抽出サーバ８において分散され、一部の動線抽出サーバにおける処理時間の長期化を抑制することができる。
【0107】
また、動線抽出部８１は、画像データから画像認識処理により認識対象である移動体の画像位置を検出して（Ｓ３１）、複数の動線抽出サーバ８の間で画像位置を送受信する（Ｓ３３，Ｓ３４）ことで、動線抽出サーバ８毎の担当のカメラ２による画像位置を利用する。これにより、各動線抽出サーバ８において担当のカメラ２の画像データに基づく個別動線情報を得ることができる。
【0108】
２－５．動線結合処理
動線結合サーバ９の動作について、図１４を用いて説明する。動線結合サーバ９は、複数の動線抽出サーバ８－１～８－３の各々において生成された個別動線情報Ｌ１，Ｌ２，Ｌ３を、複数のカメラ２－１～２－３の撮像範囲における全ての動線を示す全体動線情報Ｌ０に結合する、動線結合処理（図５のＳ４）を行う。
動線結合サーバ９の動作について、図１４を用いて説明する。動線結合サーバ９は、複数の動線抽出サーバ８－１～８－３の各々において生成された個別動線情報Ｌ１，Ｌ２，Ｌ３を、複数のカメラ２－１～２－３の撮像範囲における全ての動線を示す全体動線情報Ｌ０に結合する、動線結合処理（図５のＳ４）を行う。
【0109】
図１４は、動線結合サーバ９による動線結合処理（Ｓ４）を例示するフローチャートである。図１４のフローチャートに示す各処理は、動線結合サーバ９において、動線結合部９１として機能する制御部９０によって実行される。図１４のフローチャートは、例えば、動画のフレーム周期で開始される。
【0110】
まず、動線結合部９１は、通信インタフェース９５を介して、複数の動線抽出サーバ８－１～８－３の各々から、それぞれの個別動線情報Ｌ１，Ｌ２，Ｌ３を受信する（Ｓ４０）。
【0111】
次に、動線結合部９１は、受信した複数の個別動線情報Ｌ１～Ｌ３に基づいて全体動線情報Ｌ０を生成する（Ｓ４１）。動線結合部９１は、例えば別々の個別動線情報Ｌ１～Ｌ３における各動線の地図位置を互いに比較して、同一人物の動線であると考えられる動線の結合を行う。動線の結合は、例えばステップＳ３８と同様に、地図上で同一とみなせる距離範囲を考慮して行われる。
【0112】
動線結合部９１は、例えば全体動線情報Ｌ０と、環境６の地図を示す地図データとを出力インタフェース９６を介して表示端末４に出力する（Ｓ４２）。地図データは、例えば予め記憶部８４に格納されている。これにより動線結合部９１は、表示端末４上で全体動線情報を地図データに重畳して表示させる。
【0113】
動線結合部９１は、全体動線情報Ｌ０の出力（Ｓ４２）により、本フローチャートに示す処理を終了する。
【0114】
以上のように、動線結合部９１は、複数の動線抽出サーバ８から取得した個別動線情報Ｌ１～Ｌ３を結合して全体動線情報Ｌ０を生成し（Ｓ４１，Ｓ４２）、例えば地図データと合わせて出力する（Ｓ４２）。これにより、複数のカメラ２に基づく動線を結合して表示させることができ、ユーザ３が、複数のカメラ２の各々の撮像範囲にわたる動線の分析を行い易くなる。
【0115】
３．効果等
以上のように、本実施形態に係る動線検知システム１は、撮像画像に基づき人物１１等の複数の移動体を検知する移動体検知システムの一例である。動線検知システム１は、所定周期で画像を撮像して画像データをそれぞれ生成する複数のカメラ２（複数の撮像装置）と、各カメラによる画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する複数の動線抽出サーバ８（複数の画像認識装置）と、各カメラから各動線抽出サーバへ供給される画像データを管理する混雑管理サーバ７（情報管理装置）とを備える。混雑管理サーバ７は、各カメラ２－１，２－２，２－３及び動線抽出サーバ８－１，８－２，８－３とデータ通信を行う通信インタフェース７５（通信部）と、通信インタフェース７５の動作を制御する制御部７０とを備える。制御部７０は、カメラ２－１，２－２，２－３毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を、例えば混雑情報テーブルＴ１のように管理し（Ｓ１）、混雑情報が示す混雑度などの数量の大きさに応じて、複数のカメラ２による画像データを分配して各動線抽出サーバ８－１，８－２，８－３に供給するように通信インタフェース７５を制御する（Ｓ２）。
以上のように、本実施形態に係る動線検知システム１は、撮像画像に基づき人物１１等の複数の移動体を検知する移動体検知システムの一例である。動線検知システム１は、所定周期で画像を撮像して画像データをそれぞれ生成する複数のカメラ２（複数の撮像装置）と、各カメラによる画像データに画像認識を行って、各画像データが示す撮像画像における移動体をそれぞれ検知する複数の動線抽出サーバ８（複数の画像認識装置）と、各カメラから各動線抽出サーバへ供給される画像データを管理する混雑管理サーバ７（情報管理装置）とを備える。混雑管理サーバ７は、各カメラ２－１，２－２，２－３及び動線抽出サーバ８－１，８－２，８－３とデータ通信を行う通信インタフェース７５（通信部）と、通信インタフェース７５の動作を制御する制御部７０とを備える。制御部７０は、カメラ２－１，２－２，２－３毎に各画像データが示す撮像画像の範囲内に移動体が局在する数量を示す混雑情報を、例えば混雑情報テーブルＴ１のように管理し（Ｓ１）、混雑情報が示す混雑度などの数量の大きさに応じて、複数のカメラ２による画像データを分配して各動線抽出サーバ８－１，８－２，８－３に供給するように通信インタフェース７５を制御する（Ｓ２）。
【0116】
以上の動線検知システム１によると、混雑情報が示す数量の大きさに応じて、複数のカメラ２による画像データを分配して複数の動線抽出サーバ８に供給する。これにより、複数の動線抽出サーバ８において移動体を検知する処理を効率良く行うことができる。
【0117】
本実施形態において、制御部７０は、画像分配部７２として機能して、複数のカメラ２による画像データにおいて混雑情報が所定量以上の数量を示す画像データに、複数の分配先の動線抽出サーバを設定する（Ｓ２）。これにより、複数の動線抽出サーバ８の一部において画像認識を行って移動体を検知する処理の負荷が高くなることを抑制し、複数の動線抽出サーバ８における処理を効率良く行うことができる。
【0118】
本実施形態において、制御部７０は、画像分配部７２として機能して、１つの画像データが示す撮像画像を複数の領域に分割する複数の分割データを、複数の分配先の動線抽出サーバに別個に供給するように、通信インタフェース７５を制御する（Ｓ２）。これにより、各動線抽出サーバ８－１，８－２，８－３における処理の負荷を同程度に分散させ易くすることができる。
【0119】
本実施形態において、各動線抽出サーバ８－１，８－２，８－３は、移動体を繰り返し検知して、移動体による動線を示す動線情報の一例として個別動線情報Ｌ１，Ｌ２，Ｌ３を生成する（Ｓ３）。なお、各動線抽出サーバ８－１，８－２，８－３は、例えば画像認識のみを行い、それぞれ通信インタフェース８５を介して移動体の検知結果を送信してもよい。この場合、動線情報の生成は、例えば検知結果を受信した動線結合サーバ９または動線検知システム１の外部の情報処理装置により行われてもよい。
【0120】
本実施形態の動線検知システム１は、各動線抽出サーバ８－１，８－２，８－３により生成された個別動線情報Ｌ１，Ｌ２，Ｌ３に基づいて、複数のカメラ２により撮像される範囲の全体において移動体の動線を示す情報の一例として全体動線情報Ｌ０を生成する（Ｓ４）、動線結合サーバ９（情報統合装置）をさらに備える。これにより、例えばユーザ３が複数のカメラ２による撮像範囲の全体における動線を分析することができる。
【0121】
本実施形態において、制御部７０は、各カメラ２－１，２－２，２－３によって順次撮像される複数フレームの画像データに基づいて、撮像画像における移動体の動き量の一例として動き差分を算出して、算出した動き差分に基づいて、混雑情報を生成する（Ｓ１）。これにより、小さい計算量で算出可能な動き差分を用いることで、混雑管理サーバ７の処理負荷を抑えながら、最新のフレームに基づく情報を含めて混雑情報を生成することができる。
【0122】
本実施形態の混雑管理サーバ７は、複数のカメラ２と、各カメラ２－１，２－２，２－３による画像データに基づいて各画像データが示す撮像画像における複数の移動体をそれぞれ認識する複数の動線抽出サーバ８とを備えた動線検知システム１における情報管理装置の一例である。混雑管理サーバ７は、各カメラ２－１，２－２，２－３及び各動線抽出サーバ８－１，８－２，８－３とデータ通信を行う通信インタフェース７５と、各カメラ２－１，２－２，２－３から各動線抽出サーバ８－１，８－２，８－３へ供給される画像データを管理するように、通信インタフェース７５の動作を制御する制御部７０とを備える。制御部７０は、カメラ２－１，２－２，２－３毎に各画像データが示す撮像画像の範囲内に移動体が局在する混雑情報を管理し（Ｓ１）、混雑情報が示す数量の大きさに応じて、複数のカメラ２による画像データを分配して各動線抽出サーバ８－１，８－２，８－３に供給するように通信インタフェース７５を制御する（Ｓ２）。
【0123】
以上の混雑管理サーバ７によると、動線検知システム１において、複数の動線抽出サーバ８が移動体を認識する処理を効率良く行うことができる。
【0124】
（実施形態２）
以下、図１５を用いて本開示の実施形態２を説明する。実施形態２では、複数のカメラ２間の位置関係を利用して、混雑情報及び画像データの分配を管理する混雑管理サーバ７の動作を説明する。
以下、図１５を用いて本開示の実施形態２を説明する。実施形態２では、複数のカメラ２間の位置関係を利用して、混雑情報及び画像データの分配を管理する混雑管理サーバ７の動作を説明する。
【0125】
以下、実施形態１に係る動線検知システム１及び混雑管理サーバ７と同様の構成、動作の説明は適宜省略して、本実施形態に係る動線検知システム１及び混雑管理サーバ７について説明する。
【0126】
図１５は、本実施形態における複数のカメラ間での混雑状態の伝搬を説明するための図である。図１５（Ａ）は、複数のカメラ２の隣接情報を例示する。当該隣接情報は、複数のカメラ２が環境６に配置された状態におけるカメラ間の位置関係を示す配置情報の一例である。
【0127】
図１５（Ａ）では、複数のカメラ２において隣接するカメラの関係を実線で図示している。例えば、図１５（Ａ）の図示では、カメラ２－１がカメラ２－２，２－３と隣接する。隣接情報は、例えば予め混雑管理サーバ７の記憶部７４に格納される。図１５（Ｂ）は、図１５（Ａ）の隣接情報に基づく本実施形態の混雑判定処理を説明した図である。
【0128】
本実施形態において、混雑管理サーバ７の混雑判定部７１は、まず、複数のカメラ２における１つのカメラについて、例えば実施形態１と同様に当該カメラの画像データから混雑情報を生成する。なお、本実施形態の混雑情報は、特に動き差分データを含まず、カメラＩＤと混雑フラグとを対応付けた情報であればよい。図１５（Ｂ）は、カメラ２－１の混雑情報が生成され、当該混雑情報における混雑フラグが「オン」である場合の例を示す。
【0129】
混雑判定部７１は、次に、複数のカメラ２の隣接情報に基づき、混雑情報の混雑フラグが「オン」であるカメラに隣接するカメラについての混雑情報を更新する。混雑フラグが「オン」のカメラに隣接するカメラは、今後、混雑状態となる可能性が高いと考えられる。そこで、本実施形態の混雑判定部７１は、混雑フラグとは別のフラグなどにより、上記隣接するカメラが「混雑予定」であることを示す混雑情報を生成する。図１５（Ｂ）の例では、カメラ２－１に隣接するカメラ２－２，２－３が「混雑予定」に設定される。
【0130】
混雑判定部７１は、「混雑予定」であるカメラについて、例えば現在のフレームから所定のフレーム数後に、混雑フラグを「オン」に変更し、画像分配部７２の処理対象に設定する。所定のフレーム数は、隣接するカメラの撮像範囲における混雑が伝搬することが想定される期間を示す。当該フレーム数は、複数の動線抽出サーバ８における動線抽出処理の認識対象である移動体に応じて設定されてもよい。
【0131】
混雑判定部７１は、複数のカメラ２における混雑情報に基づき、複数のカメラ２によるフレーム周期で実行される混雑判定処理の度に、各カメラの混雑フラグを更新する。なお、混雑フラグが「オン」であるカメラについて、例えば現在のフレームから所定のフレーム数後に、他の混雑フラグが「オン」のカメラと隣接していなければ、混雑フラグが「オフ」に更新されてもよい。
【0132】
以上の処理によると、複数のカメラ２における各カメラの隣接情報に基づき、混雑情報の混雑フラグが更新され、人物１１といった移動体による混雑の状態の伝搬を反映するような混雑判定処理を実行することができる。これにより画像分配処理では、複数のカメラ２において混雑フラグが「オン」のカメラに隣接するカメラの画像を予め分割して、複数の動線抽出サーバ８に分配することができ、リアルタイムでの動線抽出処理を行い易くすることができる。
【0133】
以上のように、本実施形態に係る混雑管理サーバ７の制御部７０は、混雑判定部７１として機能して、複数のカメラ２の配置に関する情報の一例として隣接情報に基づき、混雑情報を更新する（図１５（Ａ），（Ｂ）参照）。これにより、例えば各カメラの撮像範囲に実際に移動体が移動する前に、画像の分割を開始することができる。
【0134】
（実施形態３）
以下、図１６を用いて本開示の実施形態３を説明する。実施形態１では、混雑管理サーバ７において、混雑判定部７１による判定結果の混雑フラグに基づいて画像分配部７２が動作する例を説明した。実施形態３では、画像分配部７２は特に混雑フラグを用いずに、まず複数のカメラ２における全てのカメラの画像を分割し、混雑情報に応じて分配する混雑管理サーバ７を説明する。
以下、図１６を用いて本開示の実施形態３を説明する。実施形態１では、混雑管理サーバ７において、混雑判定部７１による判定結果の混雑フラグに基づいて画像分配部７２が動作する例を説明した。実施形態３では、画像分配部７２は特に混雑フラグを用いずに、まず複数のカメラ２における全てのカメラの画像を分割し、混雑情報に応じて分配する混雑管理サーバ７を説明する。
【0135】
本実施形態の混雑管理サーバ７における画像分配部７２の動作を、図１６を用いて説明する。図１６は、実施形態３の画像分配部７２による画像分配処理を例示するフローチャートである。以下では、実施形態１の画像分配処理（図１０）と同様の処理の説明は適宜、省略する。
【0136】
まず、本実施形態の混雑管理サーバ７における画像分配部７２としての制御部７０は、複数のカメラ２の画像データを取得する（Ｓ２０Ａ）。
【0137】
制御部７０は、取得した各カメラの画像データに基づき、各々の撮像画像における混雑度を算出する（Ｓ５０）。制御部７０は、例えば実施形態１の混雑判定処理（図７）と同様に混雑度を算出する。制御部７０は、各カメラの混雑度の平均として、全カメラについての平均的な混雑度を示す平均混雑度を算出する（Ｓ５１）。
【0138】
制御部７０は、複数のカメラ２から１つのカメラｉを選択して（Ｓ２１）、カメラｉの画像データが示す画像を所定の分割数に分割する（Ｓ２３Ａ）。所定の分割数は、例えば図１０のステップＳ２３と同様に設定される。制御部７０は、分割画像毎にステップＳ５０と同様に混雑度を算出して各分割画像の画像データと対応付け、例えば内部メモリに保持する。所定の分割数は、ステップＳ５１の平均混雑度に応じて、分割後の画像データにおける混雑度が平均混雑度より小さくなるように、適宜設定されてもよい。
【0139】
次に、制御部７０は、カメラｉの分割画像についての混雑度と平均混雑度に基づき、複数の動線抽出サーバ８から分割画像の分配先を決定する（Ｓ２４Ａ）。具体的には、制御部７０は、複数の動線抽出サーバ８の各々について、分配する分割画像の混雑度の合計値が平均混雑度と同程度になるように、分配先を決定する。制御部７０は、例えば、分割画像の混雑度の合計値が平均混雑度より小さくなるように分配を行う。
【0140】
制御部７０は、複数のカメラ２における全てのカメラを選択するまで（Ｓ２５でＮＯ）、ステップＳ２１～Ｓ２４Ａを繰り返す。全てのカメラが選択されると（Ｓ２５でＹＥＳ）、制御部７０は、複数のカメラ２の各カメラの分割画像を示す画像データを、複数の動線抽出サーバ８から、ステップＳ２４Ａで分配先に決定された動線抽出サーバに送信する（Ｓ２６Ａ）。
【0141】
画像分配部７２は、複数の動線抽出サーバ８に画像データを送信（Ｓ２６Ａ）して、本フローチャートに示す処理を終了する。
【0142】
以上の処理によると、本実施形態の画像分配部７２は、複数のカメラ２における平均混雑度を算出し（Ｓ５１）、全てのカメラについて、画像を分割して（Ｓ２３Ａ）、分割画像の混雑度と平均混雑度といった混雑情報に基づき複数の動線抽出サーバ８に分配する（Ｓ２４Ａ）。これにより、複数の動線抽出サーバ８の各々における動線抽出処理での負荷が、均等に近づくように複数のカメラ２の画像を分配することができ、リアルタイムに動線抽出処理を実行し易くなる。
【0143】
また、本実施形態のステップＳ５０では、混雑判定部７１から取得した現在のフレームを示す画像データにおいて混雑度を算出したが、これに限らず、例えば、過去のフレームの画像データにおける混雑度を算出してもよく、ステップＳ２３Ａでは、過去のフレームにおける混雑度に基づき、現在のフレームの画像が分割されてもよい。
【0144】
以上のように、本実施形態に係る混雑管理サーバ７の制御部７０は、画像分配部７２として機能して、複数のカメラ２による各々の画像データにおいて、各画像データが示す画像を分割する領域毎に、当該領域における混雑情報を示す混雑度を算出する（Ｓ２３Ａ）。制御部７０は、算出した混雑度に基づき、複数のカメラ２による各々の画像データを複数の動線抽出サーバ８に分配して送信する（Ｓ２４Ａ，Ｓ２６Ａ）。なお、本実施形態において制御部７０は、複数のカメラ２により撮像された動画の過去のフレームの画像データから算出した混雑度に基づき、現在のフレームの画像を分割及び分配してもよい。
【0145】
（実施形態４）
以下、図１７を用いて本開示の実施形態４を説明する。実施形態１では、混雑管理サーバ７において、画像データにおける動き差分に基づく混雑度及び混雑情報を用いる動作例を説明した。実施形態４では、複数の動線抽出サーバ８の検出結果に基づく混雑情報を用いる混雑管理サーバ７の動作例を説明する。
以下、図１７を用いて本開示の実施形態４を説明する。実施形態１では、混雑管理サーバ７において、画像データにおける動き差分に基づく混雑度及び混雑情報を用いる動作例を説明した。実施形態４では、複数の動線抽出サーバ８の検出結果に基づく混雑情報を用いる混雑管理サーバ７の動作例を説明する。
【0146】
【0147】
本実施形態の混雑判定部７１は、複数の動線抽出サーバ８から、例えば通信インタフェース７５を介して、複数のカメラ２の各々の画像データにおける認識対象の検出結果を取得する（Ｓ６０）。具体的には、混雑判定部７１は、複数のカメラ２の各カメラについて、過去のフレームの画像データにおいて検出された認識対象の個数を取得する。過去のフレームは、例えば混雑判定処理が実行されるフレーム周期だけ前に複数の動線抽出サーバ８に送信されたフレームである。
【0148】
混雑判定部７１は、検出結果として取得した認識対象の個数に基づき、複数のカメラ２の混雑情報を生成する（Ｓ１２Ａ）。例えば、本実施形態の混雑判定部７１は、各カメラのカメラＩＤと、認識対象の個数が所定数以上か否かにより混雑または非混雑を判定した混雑フラグと、認識対象の個数とを対応付けた混雑情報を生成する。所定数は、実施形態１のステップＳ１２における所定の閾値と同様の観点において、十分に小さい数である。
【0149】
以上の処理によると、本実施形態の混雑判定部７１は、複数のカメラ２の各々について、過去のフレームの画像データにおける認識対象の個数に基づき、混雑情報を生成する。これにより画像分配部７２は、当該混雑情報に基づき、現在のフレームの画像データに画像分配処理を行う。
【0150】
以上のように、本実施形態に係る混雑管理サーバ７の制御部７０は、混雑判定部７１として機能して、複数の動線抽出サーバ８の各動線抽出サーバによって検知された人物１１等の移動体の個体数を取得して（Ｓ６０）、取得した移動体の個体数に基づき、混雑情報を生成する（Ｓ１２Ａ）。これにより、各動線抽出サーバによる検知結果を用いることで、混雑管理サーバ７が行う処理を軽減して、混雑判定処理を効率よく実行することができる。
【0151】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１～４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
以上のように、本出願において開示する技術の例示として、実施形態１～４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
【0152】
上記の実施形態では、動線抽出部８１は、混雑管理サーバ７から画像データを取得した（Ｓ３０）。本実施形態の動線抽出部８１は、画像データに加えて、混雑情報を取得してもよい。さらに本実施形態において、動線抽出サーバ８は、例えば通信インタフェース８５を介してカメラ２と通信可能に構成されてもよい。これにより動線抽出部８１は、例えば取得した混雑情報に応じて、分割画像以外の画像データを、混雑管理サーバ７を介さずにカメラ２から直接取得してもよい。
【0153】
実施形態１では、画像分配処理（Ｓ２）において、各カメラ２に対応する動線抽出サーバ８は、予め当該カメラ２の画像データの供給先に設定された（Ｓ２４）。本実施形態の画像分配処理では、複数のカメラ２の画像データが、１つの動線抽出サーバ８に供給されてもよい。例えば、本実施形態の画像分配部７２は、非混雑状態と判定されたカメラ２－１，２－２の画像データ２１，２２を何れも動線抽出サーバ８－１に送信してもよい。この場合、画像分配部７２は、混雑状態と判定されたカメラ２－３の画像データ２３は、撮像画像Ｉ２３を分割するように、動線抽出サーバ８－２、８－３に分配してもよい。
【0154】
上記の画像分配処理によれば、例えば撮像画像Ｉ２３における混雑度が、撮像画像Ｉ２１，Ｉ２２の混雑度より特に高い場合であっても、複数の動線抽出サーバ８－１～８－３の間で処理負荷を分散させ易くすることができる。
【0155】
実施形態１では、動線検知システム１において、各カメラ２－１，２－２，２－３に対応して各動線抽出サーバ８－１，８－２，８－３が設けられた。本実施形態の動線検知システム１では、複数のカメラ２の個数と複数の動線抽出サーバ８の個数が同数でなくてもよく、例えば複数のカメラ２の個数より多い個数の動線抽出サーバ８が設けられてもよい。
【0156】
実施形態１では、混雑判定部７１は、画像データに基づく動き差分を用いて、混雑情報を生成した（Ｓ１１，Ｓ１２）。本実施形態の混雑判定部７１は、動き差分に代えて、動線結合サーバ９の記憶部９４に格納された全体動線情報Ｌ０を取得して、全体動線情報Ｌ０における過去の動線情報を用いてもよい。これにより混雑判定部７１は、複数のカメラ２におけるカメラ毎に、例えば過去の動線情報における認識対象の位置及び速度と、各カメラの撮像範囲に基づき、混雑または非混雑の混雑フラグを混雑情報として生成してもよい。
【0157】
実施形態１では、画像分配部７２は、動き差分による混雑情報の混雑フラグに基づき、画像データを分割（Ｓ２２，Ｓ２３）及び分配（Ｓ２４）した。本実施形態の画像分配部７２は、混雑フラグに代えて、動線結合サーバ９の記憶部９４に格納された全体動線情報Ｌ０を取得して、全体動線情報Ｌ０における過去の動線情報を用いてもよい。画像分配部７２は、複数のカメラ２の各カメラの画像について、例えば過去の動線情報における人物１１といった認識対象の位置に基づき、各分割画像における人物の数が同程度になるように分割し、各分配先における分割画像内の人物の総数が同程度になるように分配先を決定してもよい。
【0158】
実施形態２では、複数のカメラ２の隣接情報に基づいて各カメラの混雑フラグを設定した。本実施形態の混雑管理サーバ７は、特に上記に限らず、混雑を予測して画像データを分配するための種々の情報を用いて混雑情報を更新してもよい。例えば、本実施形態の混雑判定部７１は、隣接情報の代わりに、複数のカメラ２の各々の撮像範囲における事前情報に基づいて混雑フラグを設定してもよい。事前情報としては、例えば、店舗の売り場のような環境６において、時間帯を分けて特定の販売を行うスケジュールを示す情報など、本システム１が適用される環境６現場の各種知識を用いることができる。
【0159】
上記のような事前情報は、例えば、複数のカメラ２における特定のカメラの撮像範囲において混雑フラグが「オン」である場合に、別のカメラの撮像範囲の混雑フラグが所定時間後に「オン」となることを示すように規定される。また、事前情報は、特定のカメラの撮像範囲において特定の時間帯に混雑フラグが「オン」であることを示すように規定されてもよい。これにより、隣接していないカメラであっても、混雑フラグを設定して、画像分配部７２による画像の分割及び分配に用いることができる。以上のような事前情報は、人物１１等の移動体が移動する傾向に関する情報の一例である。
【0160】
また、本実施形態では、過去の動線情報といった事前情報の機械学習により混雑予測を行う学習済みモデルを適用して、本システム１における混雑状態の管理が行われてもよい。こうした機械学習においては、例えば本システム１を用いる際の時刻、曜日、季節、天気および環境６に関する各種イベントなどを示す付加情報が利用されてもよい。
【0161】
上記の実施形態では、移動体検知システムの一例として動線検知システム１を説明した。本実施形態において、移動体検知システムは、特に動線検知システム１に限らず、例えば複数のカメラにより人物などの移動体の動きを監視するための監視システム、または追跡するための追跡システムに適用されてもよい。また、本実施形態において、移動体検知システムの検知対象は、特に人物に限らず、種々の移動体であってもよい。例えば、検知対象の移動体は、店舗のような環境６におけるカートであってもよいし、工場などの環境６における自動搬送機であってもよいし、各種の車両であってもよい。
【0162】
上記の実施形態では、画像認識装置の一例として、動線抽出サーバ８を説明した。本実施形態において、画像認識装置は、特に動線抽出サーバ８に限らず、例えばＧＰＵまたはＴＰＵとして構成されてもよい。また、画像認識の処理に深層学習による学習済みモデルを適用する場合、画像認識装置は、深層学習の処理に特化した専用のハードウェアとして構成されてもよい。
【0163】
上記の実施形態では、情報管理装置の一例として混雑管理サーバ７を説明した。本実施形態において、情報管理装置は、例えばＰＣであってもよい。また、情報統合装置及び画像認識装置も同様に、例えばそれぞれＰＣであってもよい。
【0164】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0165】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0166】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0167】
本開示は、複数の撮像装置に基づく情報をリアルタイムに処理する種々の技術に適用可能であり、例えば動線検知システム、監視システム及び追跡システムなどの移動体検知システムに適用可能である。