(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137174
(43)【公開日】2024-10-07
(54)【発明の名称】密集判定システム、密集判定装置、密集判定方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240927BHJP
G08B 25/00 20060101ALI20240927BHJP
【FI】
G06T7/00 660B
G08B25/00 510M
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023048589
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】酒田 善史
【テーマコード(参考)】
5C087
5L096
【Fターム(参考)】
5C087AA09
5C087AA10
5C087AA19
5C087DD05
5C087DD31
5C087EE07
5C087FF01
5C087FF02
5C087GG08
5C087GG09
5C087GG66
5C087GG84
5L096AA06
5L096BA02
5L096CA05
5L096DA02
5L096FA66
5L096GA51
5L096HA04
(57)【要約】
【課題】所定の領域内での人物の密集状況を高精度に検出できる密集判定システムを提供する。
【解決手段】人物の密集を判定する密集判定システムであって、通路を通行する人物を検出する検出装置と、前記人物の密集を判定する密集判定装置と、を備える。前記密集判定装置は、前記検出装置により検出された複数の人物の少なくとも位置を特定可能な検出情報を取得し、前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定し、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定する。
【選択図】
図8A
【特許請求の範囲】
【請求項1】
人物の密集を判定する密集判定システムであって、
通路を通行する複数の人物を検出する検出装置と、
前記人物の密集を判定する密集判定装置と、
を備え、
前記密集判定装置は、
前記検出装置により検出された複数の人物の少なくとも位置を特定可能な検出情報を取得し、
前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定し、
同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定する、
密集判定システム。
【請求項2】
前記密集判定装置は、前記複数の人物のそれぞれの進行方向が異なる場合、前記密集グループが生じていないと判定する、
請求項1に記載の密集判定システム。
【請求項3】
前記密集判定装置は、前記密集グループが生じていると判定された場合、前記密集グループに属する複数の人物の少なくとも1人の人物に対して、人物の密集を分散させる情報である密集分散指示情報を出力する、
請求項1又は2に記載の密集判定システム。
【請求項4】
前記検出装置は、前記通路を通行する前記複数の人物を撮像する撮像装置を含み、
前記検出情報は、前記撮像装置により撮像された撮像画像を含む、
請求項3に記載の密集判定システム。
【請求項5】
前記通路の所定の位置に設置され、情報を提示する提示装置、を更に備え、
前記密集判定装置は、前記密集分散指示情報を前記提示装置に送信し、
前記提示装置は、前記密集分散指示情報を受信して提示する、
請求項4に記載の密集判定システム。
【請求項6】
人物を認証する認証サーバ、を更に備え、
前記認証サーバは、
前記撮像画像を取得し、
事前に登録された第1の生体特徴データと前記撮像画像から得られる人物の第2の生体特徴データとに基づいて、前記通路を通行する人物を認証し、
前記人物の認証状況を前記密集判定装置に送信し、
前記密集判定装置は、
前記認証サーバから前記密集グループに属する複数の人物のそれぞれの認証状況を取得して前記提示装置に送信し、
前記提示装置は、
前記密集グループに属する複数の人物のそれぞれの認証状況を取得し、
前記密集グループに属する複数の人物のそれぞれの前記密集分散指示情報と前記認証状況とを提示する、
請求項5に記載の密集判定システム。
【請求項7】
前記密集判定装置は、
前記密集グループにおいて進行方向の前方に位置する人物のうち、前記認証サーバによる認証状況が認証成功を示す第1の人物に対する前記密集分散指示情報に、前記第1の人物が前進することを指示する前進指示情報を含めて前記提示装置に送信し、
前記提示装置は、
前記密集分散指示情報に含まれる前記前進指示情報を提示する、
請求項6に記載の密集判定システム。
【請求項8】
前記密集判定装置は、
前記密集グループにおいて進行方向の前方に位置する人物のうち、前記認証サーバによる認証状況が認証成功を示さない第2の人物に対する前記密集分散指示情報に、前記撮像装置に対して前記第2の人物の顔の少なくとも一部を遮蔽する遮蔽物を除去するよう除去指示情報を含めて前記提示装置に送信し、
前記提示装置は、
前記密集分散指示情報に含まれる前記除去指示情報を提示する、
請求項6に記載の密集判定システム。
【請求項9】
前記密集判定装置は、
前記密集グループにおいて進行方向の前方に位置しない人物である第3の人物に対する前記密集分散指示情報に、前記第3の人物が前進以外の方向に移動する又は停止するよう指示する非前進指示情報を含めて前記提示装置に送信し、
前記提示装置は、
前記密集分散指示情報に含まれる前記非前進指示情報を提示する、
請求項6に記載の密集判定システム。
【請求項10】
前記密集判定条件は、
前記通路内を格子状に分割して所定のサイズの区域を複数形成した場合に、いずれかの区域に存在する同一方向に進行する人物の数が第1の閾値以上であることである、
請求項1又は2に記載の密集判定システム。
【請求項11】
前記区域は、隣接する区域の一部が重複して、前記通路における第4の人物の位置を基点として形成され、
前記隣接する区域には、いずれも前記第4の人物の位置が含まれ、
前記密集判定条件は、
いずれかの区域に存在する前記第4の人物と同一方向に進行する人物の数が、前記第4の人物を含めて前記第1の閾値以上であることである、
請求項10に記載の密集判定システム。
【請求項12】
前記密集判定条件は、
前記通路を同一の進行方向に進行する複数の人物の人物間距離が第2の閾値未満であることである、
請求項1又は2に記載の密集判定システム。
【請求項13】
前記密集判定条件は、
前記通路を同一の進行方向に進行する複数の人物の人物間距離が第2の閾値未満であることである、
請求項10に記載の密集判定システム。
【請求項14】
前記人物間距離は、
前記進行方向における前記複数の人物の間の距離である第1人物間距離と、
前記通路の水平面において前記進行方向に垂直な方向における前記複数の人物の間の距離である第2人物間距離と、を含み、
前記第2の閾値は、第3の閾値と前記第3の閾値よりも小さい第4の閾値とを含み、
前記密集判定条件は、前記第1人物間距離が前記第3の閾値未満である、又は、前記第2人物間距離が前記第4の閾値未満であることである、
請求項12に記載の密集判定システム。
【請求項15】
前記密集判定装置は、
前記通路を同一の進行方向に進行する複数の人物の歩行速度を取得し、
前記歩行速度が遅い程、前記第2の閾値を小さくし、
前記歩行速度が速い程、前記第2の閾値を大きくする、
請求項12に記載の密集判定システム。
【請求項16】
前記密集判定装置は、
前記通路を同一の進行方向に進行する複数の人物の歩行速度を取得し、
前記歩行速度が遅い程、前記第3の閾値又は前記第4の閾値を小さくし、
前記歩行速度が速い程、前記第3の閾値又は前記第4の閾値を大きくする、
請求項14に記載の密集判定システム。
【請求項17】
前記密集判定装置は、
前記通路を同一の進行方向に進行する複数の人物の歩行速度を取得し、
前記歩行速度が遅い程、前記区域のサイズを大きくし、又は前記区域の外周の一辺の長さを長くし、
前記歩行速度が速い程、前記区域のサイズを小さくし、又は前記区域の外周の一辺の長さを短くする、
請求項10に記載の密集判定システム。
【請求項18】
人物の密集を判定する密集判定装置であって、
プロセッサを備え、
前記プロセッサは、
通路を通行する複数の人物が検出された検出情報であって前記複数の人物の少なくとも位置を特定可能な検出情報を取得し、
前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定し、
同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定する、
密集判定装置。
【請求項19】
人物の密集を判定する密集判定方法であって、
通路を通行する複数の人物が検出された検出情報であって前記複数の人物の少なくとも位置を特定可能な検出情報を取得するステップと、
前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定するステップと、
同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定するステップと、
を有する密集判定方法。
【請求項20】
請求項19に記載の密集判定方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、密集判定システム、密集判定装置、密集判定方法及びプログラムに関する。
【背景技術】
【0002】
従来、監視領域内の異常事態を判断して監視者に注意を促す監視装置が知られている。この監視装置は、所定の監視領域を撮像した画像から群衆が検出された場合、当該群衆の密集度合いを算出した後、算出された密集度合いと基準値との比較を行う。そして、監視装置は、当該群衆の密集度合いが異常と判断された場合に、管理人などの監視者に対して異常が発生したことを報知する(特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像装置により撮像されて監視される領域において人物が密集している場合、密集は撮像装置から死角となり続ける人物を発生させる、つまりオクルージョンを発生させる要因となる。例えば、領域(例えば、通路)において顔認証が実施される場合、当該領域を移動する認証対象者の検出精度の低下や、死角(オクルージョン)を悪用した不正通行者の不正通行が発生し得る。
【0005】
特許文献1の監視装置では、所定の領域を撮像したタイミングで、密集度合いが基準値を超える群衆が瞬間的に当該所定の領域内に発生している場合、誤報(誤った警告表示)が発生し得る。より具体的には、例えば、所定の領域が双方向で通行可能な通路である場合、当該通路を異なる方向で進行する個々では密集と判断されない小集団(例えば、2~3人のグループ)がすれ違う際に、それぞれの小集団に属する人物間の距離が近くなる。警告表示をされるべきでない個々の小集団がすれ違う際には警告表示を避けたいが、密集度合いが基準値を超える群衆が瞬間的に形成されることで、誤報(警告表示)が発生し得る。
【0006】
所定の領域内における人物の密集に対する異常の検出及び報知は、当該所定の領域を監視している警備員の出動や、当該所定の領域を移動している人物の滞留(動きを止めること)に繋がる。そのため、当該所定の領域内の密集の検出精度には、ある程度の正確性が求められる。したがって、複数の人物が行き交う(異なる進行方向で移動する)所定の領域内においても、人物の密集状況を精度良く検出することが望まれている。
【0007】
本開示は、所定の領域内での人物の密集状況を高精度に検出できる密集判定システム、密集判定装置、密集判定方法及びプログラムを提供する。
【課題を解決するための手段】
【0008】
本開示の一態様は、人物の密集を判定する密集判定システムであって、通路を通行する複数の人物を検出する検出装置と、前記人物の密集を判定する密集判定装置と、を備え、前記密集判定装置は、前記検出装置により検出された前記複数の人物の少なくとも位置を特定可能な検出情報を取得し、前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定し、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定する、密集判定システムである。
【0009】
本開示の一態様は、人物の密集を判定する密集判定装置であって、プロセッサを備え、前記プロセッサは、通路を通行する複数の人物が検出された検出情報であって前記複数の人物の少なくとも位置を特定可能な検出情報を取得し、前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定し、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定する、密集判定装置である。
【0010】
本開示の一態様は、人物の密集を判定する密集判定方法であって、通路を通行する複数の人物が検出された検出情報であって前記複数の人物の少なくとも位置を特定可能な検出情報を取得するステップと、前記検出情報に基づいて、前記複数の人物のそれぞれの進行方向を判定するステップと、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、前記通路において人物が密集した密集グループが生じていると判定するステップと、を有する密集判定方法である。
【0011】
本開示の一態様は、上記の密集判定方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【0012】
本開示によれば、所定の領域内での人物の密集状況を高精度に検出できる。
【図面の簡単な説明】
【0013】
【
図1】本開示の実施形態の管理システムの構成例を示すブロック図
【
図2】ゲートに設置されたカメラ及びディスプレイの設置例を示す図
【
図9】区域重複がある場合と区域重複がない場合とにおける人物の密集の判定例を示す図
【
図10】密集グループに属する各人物に対する情報の表示例を示す図
【
図11A】監視員が所有する端末画面上に不正通行者を検出したことを通知する際の表示例を示す図
【
図11B】監視員が不正通行者の対応を行っている間の端末画面の表示例を示す図
【
図12】管理システムの動作例を示すフローチャート
【発明を実施するための形態】
【0014】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0015】
例えば、実施形態でいう「部」又は「装置」とは単にハードウェアによって機械的に実現される物理的構成に限らず、その構成が有する機能をプログラムなどのソフトウェアにより実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、又は2つ以上の構成の機能が例えば1つの物理的構成によって実現されていてもかまわない。
【0016】
図1は、本開示の実施形態の管理システム5の構成例を示すブロック図である。管理システム5は、カメラ10、ディスプレイ20、及び制御PC(Personal Computer)30を備える。カメラ10、ディスプレイ20、及び制御PC30は、例えばゲート50毎に設置される。ゲート50の数は1つでも複数でもよい。また、管理システム5は、管理装置100及び認証サーバ200を備える。
【0017】
各ゲート50のカメラ10及びディスプレイ20は、制御PC30に有線又は無線で通信可能に接続される。各ゲート50の制御PC30は、管理装置100に有線又は無線で通信可能に接続される。認証サーバ200は、管理装置100に有線又は無線で通信可能に接続される。なお、カメラ10、ディスプレイ20、制御PC30、管理装置100、及び認証サーバ200は、有線又は無線のネットワークを構成してそれぞれが通信可能に接続されてもよい。また、各ゲート50におけるカメラ10及びディスプレイ20の設置台数は任意である。
【0018】
カメラ10は、ゲート50毎に設置される。カメラ10は、各種の被写体を撮像し、例えば対応するゲート50を通過する人物を撮像する。カメラ10は、例えば、所定の方向(進行方向)に進行する人物の顔を撮像する。
【0019】
ディスプレイ20は、ゲート50毎に設置される。ディスプレイ20は、各種データや情報を表示する。ディスプレイ20は、例えば、対応するゲート50を通過する人物又はゲート50の周辺に所在する人物に対して、各種データや情報を表示する。
【0020】
制御PC30は、ゲート50毎に設置される。制御PC30は、対応するゲート50のカメラ10及びディスプレイ20の動作を制御する。例えば、制御PC30は、カメラ10の各種設定をカメラ10に対して指示したり、カメラ10により撮像された画像を取得したりする。例えば、制御PC30は、ディスプレイ20の各種設定をディスプレイ20に対して指示したり、ディスプレイ20により表示される情報(例えば警告情報、画像、案内情報)をディスプレイ20に送信したりする。
【0021】
管理装置100は、管理システム5における各装置を管理し、各装置と連携して、各ゲート50を通行(通過)する人物を管理し、つまりゲート50に向かう通路ALに所在する人物を管理する。管理装置100は、任意の位置に設置されてよく、例えばゲート50や管理システム5を管理する管理センタに設置されてよい。
【0022】
認証サーバ200は、制御PC30及び管理装置100を介して、各ゲート50に設置された各カメラ10により撮像された画像を取得する。認証サーバ200は、取得された画像に基づいて画像に映り込んだ人物の認証を行い、認証状況を示す認証状況情報を管理装置100に通知する。認証状況情報は、認証結果や認証中であることを示す情報などが含まれてよい。認証結果は、例えば認証の成功(OK)又は失敗(NG)を含む。認証サーバ200は、任意の位置に設置されてよく、例えばゲート50や管理システム5を管理する管理センタに設置されてよい。また、「認証」は「照合」と読み替えられてもよい。認証サーバ200は、例えば、プロセッサ、メモリ、通信デバイスを含む構成を有する。
【0023】
図2は、ゲート50毎に設置されたカメラ10及びディスプレイ20の設置例を示す図である。
図2では、ゲート50として、第1ゲート50Aと第2ゲート50Bとが設けられている。
図2では、第1ゲート50Aと第2ゲート50Bとが対向して配置されている。第1ゲート50Aは、例えばIN側(入場側)のゲートである。第2ゲート50Bは、例えばOUT側(退場側)のゲートである。第1ゲート50Aと第2ゲート50Bとで囲まれた範囲は、カメラ10により撮像された撮像画像に基づいて人物が検出される検出領域ARであり、複数の人物が行き交う通路ALの少なくとも一部である。なお、第1ゲート50A側に設置される各装置には、その符号の末尾に「A」を付し、第2ゲート50B側に設置される各装置には、その符号の末尾に「B」を付して説明する。
【0024】
第1ゲート50Aのカメラ10Aは、第1ゲート50Aから見て第2ゲート50B側の通路ALを通行する人物を撮像する。第2ゲート50Bのカメラ10Bは、第2ゲート50Bから見て第1ゲート50A側の通路ALを通行する人物を撮像する。第1ゲート50Aのディスプレイ20Aは、第2ゲート50Bから第1ゲート50Aに向かう人物が視認可能となるように設置される。つまり、第1ゲート50Aのディスプレイ20Aの表示面は、第2ゲート50B側を向いている。また、第2ゲート50Bのディスプレイ20Bは、第1ゲート50Aから第2ゲート50Bに向かう人物が視認可能となるように設置される。つまり、第2ゲート50Bのディスプレイ20Bの表示面は、第1ゲート50A側を向いている。本実施形態では、各人物の進行方向は、少なくとも、第1ゲート50Aから第2ゲート50Bに向かう方向(第1方向)と第2ゲート50Bから第1ゲート50Aに向かう方向(第2方向)とを含む。
【0025】
本実施形態では、第1ゲート50Aと第2ゲート50Bとを結ぶ方向をY軸方向とし、水平面においてY軸方向に垂直な方向をX軸方向とする。第1ゲート50Aから第2ゲート50Bに向かう方向をY軸正方向とし、第2ゲート50Bから第1ゲート50Aに向かう方向をY軸負方向とする。
【0026】
なお、第1ゲート50Aと第2ゲート50Bとで共通の内容を説明する際には、単に「ゲート50」として説明する。同様に、カメラ10Aとカメラ10Bとで共通の内容を説明する際には、単に「カメラ10」として説明する。同様に、ディスプレイ20Aとディスプレイ20Bとで共通の内容を説明する際には、単に「ディスプレイ20」として説明する。
【0027】
図2では、ゲート50のフレームの中央部にディスプレイ20が設置され、ディスプレイ20の水平方向に沿う両側に、カメラ10が設置されている。ゲート50は、所定のエリアに設置され、エリアの入退場口やエリア内に設置される。制御PC30は、
図2では図示されていないが、ゲート50毎に、ゲート50の位置に対して任意の位置に配置されてよい。
【0028】
なお、ゲート50の形状は、
図2の設置例に示した形状に限らず、他の形状であってもよい。例えば、ゲート50の形状は、奥行きのあるトンネル型の形状であったり、天井や人物が移動する通路の上方に設置された支持部材からカメラ10及びディスプレイ20が吊り下げられている天吊り型の形状であったりしてよい。また、ゲート50という形式に限られず、所定の地点における人物の生体特徴データ又は生体特徴データの元となるデータを取得可能であればよい。例えば、カメラ10及びディスプレイ20は、キャスター等で移動可能なディスプレイ20に、所定の地点を通行する人物を撮像するカメラ10を備えた形状であってもよい。
【0029】
ゲート50は、複数人(例えば多人数)が同時に通過可能なゲートである。ゲート50では、様々な人物HM(例えば人物HM1,HM2,…)が通過可能である。例えば、大人、子供(例えば幼児)、マスクを装着した人物、又はマスクを装着していない人物が、ゲート50を通過可能である。ゲート50を通過する人物は、管理装置100及び認証サーバ200によって認証される。
【0030】
図3は、管理装置100の構成例を示すブロック図である。
【0031】
管理装置100は、プロセッサ110と、メモリ120と、通信デバイス130と、を含む構成である。管理装置100は、所定の処理を行うサーバとして動作してもよいし、PCのように操作デバイスや表示デバイスを備えて、所定の処理を行うに際し、管理者からの操作の受け付けや管理者に対する表示を行ってもよい。
【0032】
プロセッサ110は、MPU(Micro processing Unit)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphical Processing Unit)等を含んでよい。プロセッサ110は、各種集積回路(例えばLSI(Large Scale Integration)、FPGA(Field Programmable Gate Array))により構成されてもよい。プロセッサ110は、メモリ120に保持されたプログラムを実行することで、各種機能を実現する。プロセッサ110は、管理装置100の各部を統括的に制御し、各種処理を行う。
【0033】
メモリ120は、一次記憶装置(例えばRAM(Random Access Memory)又はROM(Read Only Memory))を含む。メモリ120は、二次記憶装置(例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive))又は三次記憶装置(例えば光ディスク又はSDカード)等を含んでよい。また、メモリ120は、外部記憶媒体であり、管理装置100に対して着脱可能であってよい。メモリ120は、各種データ、情報又はプログラム等を記憶する。メモリ120は、例えば、後述する人物登録情報I1及び人物検出情報I2を保持する。なお、人物登録情報I1は、認証サーバ200においてもメモリに保持されてもよい。また、メモリ120は、例えば通信デバイス130を介してカメラ10から取得された撮像画像を保持してよい。この撮像画像は、例えば、不正通行の確認に使用され得る。
【0034】
通信デバイス130は、有線又は無線による通信方式に従って、各種データ又は情報等を通信する。通信デバイス130は、通信方式は、WAN(Wide Area Network)、LAN(Local Area Network)、携帯電話用のセルラー通信(例えばLTE、5G)、又は電力線通信等であってもよい。
【0035】
通信デバイス130は、カメラ10、ディスプレイ20、制御PC30、及びその他の通信装置と通信可能である。例えば、通信デバイス130は、カメラ10からカメラ10により撮像された画像を受信してよい。通信デバイス130は、ディスプレイ20により表示される表示情報と表示指示とをディスプレイ20に送信してよい。なお、ディスプレイ20は、管理装置100から表示情報と表示指示を受信し、表示指示に従って表示情報を表示してよい。
【0036】
図4は、人物登録情報I1の一例を示す図である。人物登録情報I1は、予め登録された人物に関する各種の情報を含む。人物登録情報I1には、例えば、人物の識別情報(例えば名前やID)及び人物の顔画像が含まれる。人物の顔画像は、人物の生体特徴データの一例であり、人物の認証に用いられる。また、人物登録情報I1は、人物の顔画像以外の画像を含んでもよい。
【0037】
図5は、人物検出情報I2の一例を示す図である。プロセッサ110は、ゲート50毎に、各人物のゲート50付近での検出(例えば通路ALの検出領域ARでの検出)に関する人物検出情報I2を生成する。人物検出情報I2は、例えば、各人物が検出された検出時刻、検出位置及び認証結果を含む。検出時刻は、各人物が撮像画像に基づいて検出された時刻であり、例えばこの撮像画像が撮像された撮像時刻でもよい。検出位置は、通路ALにおける位置である。検出位置は、例えばX軸方向の位置を示すX座標とY軸方向の位置を示すY座標とで表される。認証結果は、認証サーバ200から得られた認証結果(成功(OK)又は失敗(NG))である。
【0038】
なお、人物検出情報I2に含まれる検出時刻と検出位置とは、管理システム5による通路ALを通行する人物の管理を継続する限り、順次取得されてよい。よって、人物検出情報I2には、多数の検出時刻と多数の検出位置とが蓄積されていってよい。人物の多数の検出時刻と多数の検出位置とによって、この人物の位置を時系列で追跡可能である。
【0039】
次に、人物の進行方向の判定例について説明する。
【0040】
管理装置100のプロセッサ110は、人物の進行方向を判定する。プロセッサ110は、通信デバイス130を介して、カメラ10Aからカメラ10Aにより撮像された撮像画像GAを時系列で順次取得する。プロセッサ110は、通信デバイス130を介して、カメラ10Bからカメラ10Bにより撮像された撮像画像GBを時系列で順次取得する。
プロセッサ110は、カメラ10A及びカメラ10Bの少なくとも一方により撮像された1つ以上の撮像画像に基づいて、人物の進行方向を判定してよい。
【0041】
例えば、プロセッサ110は、人物毎に、人物が最初に検出された撮像画像を撮像したカメラ10がカメラ10Aであるかカメラ10Bであるかに基づいて、この人物の進行方向を判定してよい。プロセッサ110は、例えば、カメラ10Bにより撮像された撮像画像GBにおいて人物HM1が最初に検出された場合、人物HMが、撮像画像GBを撮像したカメラ10BとはY軸方向において反対側に位置する第1ゲート50A側(IN側)から進入し、第2ゲート50B側(OUT側)に向かっていると判定する。つまり、プロセッサ110は、人物HM1の進行方向がY軸正方向に向かう方向(第1方向)であると判定する。
【0042】
また、例えば、プロセッサ110は、撮像画像GAにおいて人物HM1が最初に検出された場合、カメラ10Aにより撮像された撮像画像GAを撮像したカメラ10AとはY軸正方向において反対側に位置する第2ゲート50B側(OUT側)から進入し、第1ゲート50A側(IN側)に向かっていると判定する。つまり、プロセッサ110は、この人物の進行方向がY軸負方向に向かう方向(第2方向)であると判定する。
【0043】
なお、プロセッサ110は、例えば、撮像画像に含まれる物体の特徴データ(例えば物体の形状)が人物の生体特徴データ(例えば身体や顔の形状や顔画像)に類似する場合に、撮像画像における人物を検出してもよいし、他の手法に従って撮像画像における人物を検出してもよい。
【0044】
また、プロセッサ110は、人物毎に、順次取得された撮像画像GA又は撮像画像GBにおいて検出された人物の時間経過に伴う移動方向に基づいて、この人物の進行方向を判定してもよい。この場合、撮像画像におけるこの人物の画像位置の移動に基づいて、実空間での人物の移動方向(つまり進行方向)を判定してよい。例えば、順次取得された撮像画像上で人物HM1が第1ゲート50A側から第2ゲート50B側に向かっていることが検出された場合、人物HM1の進行方向がY軸正方向に向かう方向(第1方向)であると判定する。また、順次取得された撮像画像上で人物HM1が第2ゲート50B側から第1ゲート50A側に向かっていることが検出された場合、人物HM1の進行方向がY軸負方向に向かう方向(第2方向)であると判定する。
【0045】
また、プロセッサ110は、人物毎に、検出領域ARにおけるどの位置で人物が最初に検出されたかに基づいて、人物の進行方向を判定してよい。
図6は、人物の移動方向の判定例を説明するための図である。例えば、プロセッサ110は、撮像画像GA又は撮像画像GBにおける人物HM1の検出位置に対応する実空間での人物HM1の位置が、検出領域ARにおける第1ゲート50Aに近い方の第1検出領域AR1に含まれる場合、人物HM1が第1ゲート50Aから検出領域AR内に進入し、第2ゲート50B側に向かっていると判定する。つまり、プロセッサ110は、人物HM1の進行方向がY軸正方向に向かう方向(第1方向)であると判定する。
【0046】
また、例えば、プロセッサ110は、撮像画像GA又は撮像画像GBにおける人物HM1の検出位置に対応する実空間での人物HM1の位置が、検出領域ARにおける第2ゲート50Bに近い方の第2検出領域AR2に含まれる場合、人物HM1が第2ゲート50Bから検出領域AR内に進入し、第1ゲート50A側に向かっている判定する。つまり、プロセッサ110は、人物HM1の進行方向がY軸負方向に向かう方向(第2方向)であると判定する。
【0047】
次に、通路ALにおける人物の密集について説明する。
【0048】
図7は、人物の密集状態を説明するための図である。
図7では、XY平面に沿う通路ALにおいて、所定の狭い範囲に5人の人物HM(HM1~HM5)が所在している。5人の人物HMは、Y軸負方向からY軸正方向つまり第1ゲート50Aから第2ゲート50Bに向かっているとする。この場合、5人の人物HMの前方にある第2ゲート50Bに設置されたカメラ10Bにより撮像される撮像画像には、カメラ10Bに近い側(集団の前方)に位置する2人の人物HM1,HM2が映り込む。また、5人の人物HMの後方にある第1ゲート50Aに設置されたカメラ10Aにより撮像される撮像画像には、カメラ10Aに近い側(集団の後方)に位置する2人の人物HM4,HM5が映り込む。一方、人物HM1,HM2,HM4,HM5に囲まれた人物HM3は、カメラ10Aによってもカメラ10Bによっても撮像されず、双方のカメラ10A,30Bの死角に位置することになる。そのため、人物HM3は、撮像画像に基づく検出、認証及び追跡を行わない。この場合、第2ゲート50Bを通過することが許可された正当な人物であるか否か(つまり人物登録情報I1が登録された人物であるか否か)が判別されず、セキュリティが低下する可能性がある。これに対し、管理システム5は、通路ALにおいて人物が密集している箇所がある場合には、人物の密集を分散させる様々な処理を行うことが可能である。
【0049】
次に、人物の密集の判定(密集判定)について説明する。
図8A及び
図8Bは、人物の密集の判定例を示す図である。
図9は、区域重複がある場合と区域重複がない場合とにおける人物の密集の判定例を示す図である。なお、
図8A、
図8B及び
図9に示された各人物は、同一の進行方向に進行することを想定する。
【0050】
管理装置100のプロセッサ110は、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、通路ALにおいて人物が密集していると判定し、人物が密集した密集グループMGが生じていると判定する。例えば、以下の密集判定条件A~Dの少なくとも1つを含み、その他の密集判定条件を含んでもよい。人物の密集の度合いとは、例えば、所定のサイズの区域における人物の密度や複数の人物間の距離等で示されてよい。
【0051】
密集判定条件Aは、任意のサイズ(例えば1.2m四方の正方形)の区域DR内において同一方向に進行する人物の人数が、閾値th1(例えば4人)以上であることである(
図8Aの状態A参照)。例えば、区域DR内に、同一方向に進行する人物の人数が4人以上である場合に、人物が密集していると判定し、密集グループMGが生じていると判定してよい。密集判定条件Aは、更に密集判定条件A1,A2,A3の少なくとも1つを含んでよい。
【0052】
密集判定条件A1は、第1ゲート50Aと第2ゲート50Bとの間の通路ALの検出領域ARが任意のサイズで格子状に分割されることで区域DRが複数生成されてよい。密集判定条件A1は、分割されて得られた区域DR内に所在する人物の人数が閾値th1以上であることである。なお、分割されて得られる複数の区域DRは、隣接する区域DR同士が重複していてもよいし、重複していなくてもよい。区域DRは、管理装置100のプロセッサ110により生成されてもよいし、他の装置により生成されてもよい。また、プロセッサ110又は他の装置は、区域DRのサイズや形状を任意に決定してもよい。
【0053】
図8Aの状態B及び
図8Bの状態Cでは、それぞれ、隣接する区域DR同士が重複している。
図8Aの状態B並びに
図8Bの状態C及び状態Dでは、それぞれの区域DR内に所在し同一の進行方向に進行する人物の人数が最大3人であり、閾値th1未満である。そのため、プロセッサ110は、これらの状態では、人物が密集しておらず、密集グループMGが生じていないと判定する。
【0054】
密集判定条件A2は、所定の人物(例えば
図9の人物HMC)の位置を基点として、所定の人物の進行方向の右前(X軸正方向且つY軸正方向)に形成された区域DR1、所定の人物の進行方向の左前(X軸負方向且つY軸正方向)に形成された区域DR2、所定の人物の進行方向の右後(X軸正方向且つY軸負方向)に形成された区域DR3、及び所定の人物の進行方向の左後(X軸負方向且つY軸負方向)に形成された区域DR4、の4つの区域DRが生成される。複数の区域DR1~DR4は、隣接する区域DR同士が重複しており、いずれの区域DRにも所定の人物が含まれている。プロセッサ110は、4つの区域DRのうちいずれかの区域DRに、所定の人物が進行する方向と同一の方向に進行する人物が、所定の人物を含めて閾値th1(例えば4人)以上存在する場合、この区域DRは人物が密集していると判定し、密集グループMGが生じていると判定する。
【0055】
図9では、区域重複有りの場合と区域重複無しの場合とでの密集の判定結果が異なることが示されている。つまり、
図9の区域重複有りの場合には、いずれの区域DR1~DR4にも人物HM2が含まれているので、この人物HMCを含めて区域DR3内における同一方向に進行する人物の人数が4人であり、閾値th1以上である。したがって、プロセッサ110は、区域DR3において人物が密集しており、密集グループMGが生じていると判定する。
【0056】
一方、
図9の区域重複無しの場合には、境界の位置によって密集判定されない可能性が増加する。例えば、区域重複無しの場合の区域DR3では、人物HM1,HM2,HM5の3人が境界付近に位置している。この場合、プロセッサ110は、区域DR1~DR4のいずれかの区域にて人物HM1,HM2,HM5を検出するものの、人物HM1,HM2,HM5が検出された位置が区域DR3でない可能性があるため、区域DR3において人物が密集しておらず、密集グループMGが生じていないと判定される。つまり、実際の状態は人物が密集しているにもかかわらず、人物が密集していないと判定されるので、誤判定となる。
【0057】
したがって、管理装置100は、区域重複有りで所定の人物を基点として検出領域ARを区分して複数の区域DRが生成されることで、人物の密集の判定精度を向上できる。
【0058】
密集判定条件A3は、区域DR内での人物の歩行速度が低速である程、区域DRのY軸方向の長さが短くされ、区域DR内での人物の歩行速度が高速である程、区域DRのY軸方向の長さが長くされてよい。この場合、プロセッサ110が、区域DR内での人物の歩行速度の情報を取得し、この歩行速度に基づいて、区域DRのY軸方向の長さを決定してよい。この場合、プロセッサ110は、区域DR内での人物の歩行速度が低速である程、区域DRのY軸方向の長さを短くし、区域DR内での人物の歩行速度が高速である程、区域DRのY軸方向の長さを長くしてよい。これにより、管理装置100は、歩行速度に応じて密集を判定するための区域DRのサイズを調整できる。
【0059】
ここで、人物の歩行速度の導出方法について補足する。例えば、カメラ10は、撮像画像とともに、距離画像を取得可能であり、つまりカメラ10と撮像範囲における任意の位置との距離を計測可能である。よって、管理装置100のプロセッサ110は、カメラ10による距離の計測結果を時系列で順次取得し、順次取得された距離の計測結果に基づいて、単位時間当たりの人物の移動距離を算出してよい。単位時間当たりの人物の移動距離が、通路ALを通行する人物の歩行速度に相当する。なお、プロセッサ110は、他の手法により人物の歩行速度を導出してもよい。また、プロセッサ110は、人物の歩行速度を、通路ALを通行する複数の人物の歩行速度の統計値(例えば平均値)として導出してもよい。
【0060】
密集判定条件Bは、同じ方向に進行する複数の人物の間の距離(人物間距離d1とも称する)が閾値th2(例えば0.5m)未満であることである。つまり、プロセッサ110は、人物間距離d1が閾値th2未満である場合、通路ALに人物が密集していると判定し、密集グループMGが生じていると判定してよい。
【0061】
なお、密集判定条件Bは、人物の数を加味してもよい。具体的には、密集判定条件Bは、通路AL内の所定の領域(例えば区域DR)において、人物間距離d1が閾値th2未満となる人数が閾値th3(例えば4人)以上である、ことであってもよい。この場合、管理装置100は、例えば単に2人の人物間の距離が短いことのみで密集と判定されることを回避できる。
【0062】
密集判定条件Cは、密集判定条件Bにおいて、人物間距離d1が第1人物間距離d11と第2人物間距離d12とを含み、閾値th2が閾値th21と閾値th22とを含む。第1人物間距離d11は、同じ方向に進行する複数の人物間の進行方向(Y軸方向)に沿う距離である(
図8A等参照)。第2人物間距離d12は、同じ方向に進行する複数の人物間の進行方向に垂直な方向(X軸方向)に沿う距離である(
図8A等参照)。閾値th21は第1人物間距離d11と比較される。閾値th22は第2人物間距離d12と比較される。閾値th22は、閾値th21よりも小さい。密集判定条件Cは、第1人物間距離d11が閾値th21未満である、又は、第2人物間距離d12が閾値th22未満である、ことである。つまり、プロセッサ110は、第1人物間距離d11が閾値th21未満である場合、通路ALに人物が密集していると判定し、密集グループMGが生じていると判定してよい。これは、複数の人物が横方向(X軸方向)に並んでゲート50に向かう場合には、複数の人物が縦方向(Y軸方向)より近づき易い傾向があるためである。複数の人物が縦方向に並ぶときは、歩行する人物の脚同士が接触し易いためである。
【0063】
なお、密集判定条件Cは、人物の数を加味してもよい。具体的には、密集判定条件Cは、通路AL内の所定の領域において、人物間距離d11が閾値th12未満となる人数が閾値th3以上である、ことであってもよい。また、密集判定条件Cは、通路AL内の所定の領域において、人物間距離d21が閾値th22未満となる人数が閾値th3以上である、ことであってもよい。これらの場合、管理装置100は、例えば単に2人の人物間のX軸方向又はY軸方向に沿う距離が短いことのみで密集と判定されることを回避できる。
【0064】
また、プロセッサ110は、通路ALを同一の進行方向に進行する複数の人物の歩行速度を取得してよい。プロセッサ110は、取得された歩行速度が遅い程、密集判定条件B又は密集判定条件Cにおける閾値th2を小さくしてよい。これにより、歩行速度が遅い場合には、人物間距離d1が短い場合でも人物が密集していると判定され易くなる。歩行速度が遅い場合には、複数の人物が身体を近づけながら移動可能であるが、このように身体を近づけながら複数の人物が移動する場合でも、適切に密集を判別できる。また、プロセッサ110は、取得された歩行速度が速い程、密集判定条件B又は密集判定条件Cにおける閾値th2を大きくしてよい。これにより、管理装置100は、歩行速度が速い場合には、人物間距離d1が短い場合に人物が密集していると過度に判定されることを抑制できる。よって、管理装置100は、歩行速度を速くして複数の人物間の距離を空けずに前方を通行する人物についていくことは困難であるが、少々離れている場合でも、適切に密集を判別できる。
【0065】
また、プロセッサ110は、取得された歩行速度が遅い程、密集判定条件Cにおける閾値th21又は閾値th22を小さくし、この歩行速度が速い程、密集判定条件Cにおける閾値th21又は閾値th22を大きくしてよい。つまり、管理装置100は、歩行速度が遅い場合には人物の進行方向の距離に応じて密集と判定され易くし、歩行速度が速い場合には人物の進行方向の距離に応じて密集と判定され難くできる。
【0066】
また、ここでは閾値th2,th21,th22等を変更することによって、歩行速度の速さに応じて密集判定のされ易さが調整されることを例示したが、これに限られない。例えば、プロセッサ110は、区域DRのサイズや区域DRの外周を構成する辺(例えば人物の進行方向に沿う辺)の長さを変更することで、密集判定のされ易さを調整してよい。
【0067】
例えば、プロセッサ110は、歩行速度が遅い程、区域DRのサイズを大きくし、又は区域DRの外周の一辺(例えば人物の進行方向に沿う辺)を長くしてよい。この場合、密集判定され易くなる。プロセッサ110は、歩行速度が速い程、区域DRのサイズを小さくし、又は区域DRの外周の一辺(例えば人物の進行方向に沿う辺)を短くしてよい。この場合、密集判定され難くなる。
【0068】
次に、密集判定の判定結果に基づく情報提示例について説明する。
【0069】
プロセッサ110は、密集判定の判定結果に基づいて、各種情報をディスプレイ20に提示させてよい。ここでの提示は、例えばディスプレイ20による表示やスピーカによる音声出力が挙げられるが、他の方法での提示であってもよい。スピーカは、例えばゲート50毎にゲート50に設置されてよい。ここでは一例として、情報を表示することを主に示す。なお、複数の人物が密集している場合、密集している複数の人物のグループを、密集グループMGとする。
【0070】
例えば、プロセッサ110は、密集判定により複数の人物が密集していると判定した場合、密集グループMGの前方(進行方向の前方)に位置する人物HMFに対して、密集を分散させる情報である密集分散指示情報MI1をディスプレイ20に表示させてよい。人物HMFは、例えば
図7における人物HM1及び人物HM2である。また、プロセッサ110は、人物HMFが認証成功したか認証失敗したかに基づいて、異なる密集分散指示情報MI1を表示させてもよい。例えば、密集分散指示情報MI1は、認証に成功した人物HMF(人物HMF1)に対して表示される密集分散指示情報MI11と、認証に成功していない人物HMF(人物HMF2)に対して表示される密集分散指示情報MI12と、を含んでよい。
【0071】
密集分散指示情報MI11は、例えば、「前に進んでください」、「横に進んでください」、「右に移動してください」、又は「左に移動してください」のようなメッセージを含んでよい。密集分散指示情報MI1は、任意の方向に人物HMFを移動させることで、人物の密集の分散に寄与する。
【0072】
密集分散指示情報MI12は、例えば、「認証中」、「認証NG」、「認証がNG。顔をよくみせてください」のようなメッセージを含んでよい。プロセッサ110は、例えば密集分散指示情報MI12としての「認証中」のメッセージを、撮像画像に基づく人物HMFの認証が行われている最中である場合にディスプレイ20に表示させてよい。プロセッサ110は、例えば密集分散指示情報MI12としての「認証NG」又は「認証がNG。顔をよくみせてください」のメッセージを、撮像画像に基づく人物HMFの認証に失敗した場合にディスプレイ20に表示させてよい。ここでの認証NGの人物は、例えば、ディスプレイ20やカメラ10を見ているが、マスクやサングラス等を顔に装着しており、顔の表面が十分に露出されていない人物が想定される。この場合、密集分散指示情報MI12は、カメラ10に対して認証NGの人物の顔の少なくとも一部を遮蔽する遮蔽物(例えばマスクやサングラス)を除去する(例えば取り外す)除去指示情報を含んでよい。密集分散指示情報MI12は、認証に成功していない人物がスムーズに認証に成功するように促し、人物HMFが認証に成功したら任意の方向に人物HMFを移動させることができるので、人物の密集の分散に寄与する。
【0073】
また、プロセッサ110は、密集判定により複数の人物が密集していると判定した場合、密集グループの前方以外(例えば後方)に位置する人物HMBに対して、密集を分散させる情報である密集分散指示情報MI2をディスプレイ20に表示させてよい。人物HMFは、例えば
図7における人物HM4及び人物HM5である。なお、
図7における人物HM3は、撮像画像から検出されていないので、プロセッサ110は、この時点では人物HM3を認識していない。
【0074】
密集分散指示情報MI2は、例えば、「立ち止まってください」、「後に戻ってください」、「横に進んでください」、「右に移動してください」、又は「左に移動してください」のようなメッセージを含んでよい。密集分散指示情報MI2は、前方以外の方向に人物HMBを移動させることで、人物の密集の分散に寄与する。また、密集分散指示情報MI2は、「立ち止まってください」のメッセージである場合でも、例えば人物HMFに対して移動指示のメッセージが行われることで、相対的に人物HMBと人物HMFとの距離が長くなり、人物の密集の分散に寄与する。
【0075】
図10は、密集グループMGに属する各人物に対する情報の表示例を示す図である。
【0076】
図10では、プロセッサ110は、密集グループMGとして4人の人物HM1,HM2,HM4,HM5を認識している。人物HM1,HM2は、人物HMFであり、人物HM4,HM5は、人物HMBである。また、人物HM1,HM2は、認証に成功済みである。人物HM4,HM5は未認証の状態でも、認証に成功済み又は失敗済みでもよい。
図10では、人物毎に、人物HMの顔画像と認証結果と密集分散指示情報とが表示されている。例えば、人物HM1,HM2の顔画像と、認証結果(認証OK)と密集分散指示情報MI11(例えば「前に進んでください」)とが表示されている。人物HM4,HM5の顔画像と認証結果(認証NG)と密集分散指示情報MI2(例えば「立ち止まってください」)とが表示されている。なお、認証結果は、例えば、顔画像の外周に付された認証結果枠WKの表示態様(例えば表示色や表示パターン)によって示されてよい。
【0077】
また、プロセッサ110は、密集グループMGに属する全人物に対する共通の情報として、密集分散指示情報MI3を表示させてよい。密集分散指示情報MI3は、例えば、「他の人との間隔を空けてください」のようなメッセージを含んでよい。また、プロセッサ110は、密集グループMGに属する人物の範囲を示すグループ枠WKGを表示させてもよい。
【0078】
また、プロセッサ110は、人物HM1,HM2,HM4,HM5で形成された密集グループMGの他にも密集グループMGが存在する場合には、同様に、人物HMの顔画像と認証結果と密集分散指示情報MI1~MI3を表示させてよい。また、プロセッサ110は、密集グループMG以外の人物、つまり密集していない人物に関する情報も、密集グループMGの人物の情報とともに表示させてよい。密集していない人物に関する情報は、例えば、顔画像や認証結果の情報が含まれてよい。
【0079】
図11Aは、監視員が所有する端末画面上に不正通行者を検出したことを通知する際の表示例を示す図である。
【0080】
本開示の実施形態において、管理装置100は、検出領域ARにおいて認証に失敗している状態で通路ALの移動を続けている人物を検出した場合、当該人物を不正通行者と判断する。管理装置100は、不正通行者を検出した場合、ゲート50近傍や警備室などで待機している監視員に対し、スマホを始めとしたタブレット端末を介して通路ALに不正通行者が存在することを知らせる通知を行う。つまり、管理装置100は、タブレット端末に対して、不正通行者に関する情報を送信する。不正通行者に関する情報は、例えば、不正通行者に関する人物登録情報I1の少なくとも一部の情報や、不正通行者に関する人物検出情報I2の少なくとも一部の情報を含んでよい。タブレット端末は、不正通行者に関する情報を通知一覧画面60等の各画面に含めて表示してよい。通知を受けとった監視員は、タブレット端末に表示される通知一覧画面60を確認することで、個別に対応を必要とする人物を把握することが出来る。なお、不正通行者は、監視員により何らかの対応が必要な人物であり、管理装置100により管理される。
【0081】
通知一覧画面60では、各不正通行者の対応状況(例えば、「対応待ち」「対応中」)、検出した時刻、検出した地点(例えば、「IN側ゲート」「OUT側ゲート」)、検出した際の進行方向(例えば、「入場方向」「退場方向」)、また顔画像などが表示されている。
【0082】
また、通知一覧画面60には表示切り替えタブ62が存在する。タブレット端末は、監視員から表示切り替えタブ62の押下を受け、未対応の不正通行者の一覧と対応完了済みの不正通行者の一覧を表示する。よって、監視員は、未対応の不正通行者の一覧と対応完了済みの不正通行者の一覧を確認することが出来る。監視員が未対応のタブ62Aを選択している場合、未対応一覧画面60Aが表示される。監視員が完了のタブ62Bを選択している場合、対応済み一覧画面60Bが表示される。
【0083】
なお、未対応一覧画面60Aにおいて、対応状況が対応待ちのステータスである不正通行者と、対応状況が対応中のステータスである不正通行者とでは、それぞれの不正通行者に関する情報が表示される行の表示形態が異なっていてもよい。例えば、対応待ちのステータスである不正通行者の行が赤色で表示されてもよいし、点滅によって強調されてもよい。これにより、監視員は、対応すべき対象を直感的に素早く把握することが出来る。
【0084】
図11Bは、監視員が不正通行者の対応を行っている間の端末画面の表示例を示す図である。
【0085】
タブレット端末は、通知一覧画面60Aにおいて、監視員からの、対応状況のステータスが対応待ちである人物を選択する操作を受けることで、不正通行者対応画面70に表示を切り替えることができる。なお、不正通行者対応画面70に表示が切り替わったタイミングで、監視員によって選択された人物の対応待ちのステータスは、対応中に自動的に更新される。つまり、タブレット端末は、例えば、対応待ちである人物の選択操作の情報を管理装置100に送信し、管理装置100は、選択操作の情報に基づいて対応待ちのステータスから対応中のステータスに変更し、対応中のステータスであるステータス情報をタブレット端末に送信してよい。
【0086】
不正通行者対応画面70では、タブレット端末を介して監視員が通知一覧画面60Aにおいて選択した人物の顔画像、検出した地点、検出してからの経過時間などが表示される。なお、タブレット端末は、前述の表示内容に限定されず、監視員が選択した不正通行者を発見する際の助けとなるような情報を更に表示してもよい。
【0087】
また、不正通行者対応画面70には、通知一覧画面60に戻るためのボタン72が存在する。タブレット端末は、監視員からボタン72の押下を受けることで、不正通行者対応画面70から通知一覧画面60へと画面表示を切り替えることが出来る。なお、通知一覧画面60に表示が切り替わったタイミングで、監視員によって選択された人物の対応中のステータスは、対応待ちに自動的に更新されてもよいし、個別対応することが出来なかったステータス(例えば、「対応失敗」)に自動的に更新されてもよい。つまり、タブレット端末は、例えば、ボタン72の操作情報を管理装置100に送信し、管理装置100は、ボタン72の操作情報に基づいて対応中のステータスから対応待ち又は対応失敗のステータスに変更し、対応待ち又は対応失敗のステータスであるステータス情報をタブレット端末に送信してよい。また、対応失敗にステータスを更新する場合には、管理装置100は、個別対応できなかった人物を要注意人物としてメモリ120に保管しておいてもよい。
【0088】
また、不正通行者対応画面70には、未登録者ボタン74と登録者ボタン76が存在する。監視員は、個別対応した人物が未登録者であるか登録者であるかに応じて、未登録者ボタン74又は登録者ボタン76を押下する。なお、未登録者であるか登録者であるかは、例えば、管理装置100からタブレット端末に送られる人物登録情報I1に基づいて、タブレット端末に表示されてよい。タブレット端末は、監視員から未登録者ボタン74若しくは登録者ボタン76のいずれかの押下を受けた場合、不正通行者対応画面70から個別対応完了画面80へと自動的に表示を切り替える。
【0089】
個別対応完了画面80には閉じるボタン82が存在する。タブレット端末は、監視員から閉じるボタン82の押下を受けることで、タブレット端末の表示画面を、個別対応完了画面80から通知一覧画面60へと自動的に切り替える。なお、通知一覧画面60に表示が切り替わったタイミングで、監視員によって選択された人物の対応状況のステータスは、対応中から対応完了に自動的に更新され、未対応一覧画面60Aに表示されていた状態から対応済み一覧画面60Bに表示される状態へと自動的に更新される。この場合、タブレット端末は、例えば、閉じるボタン82の操作情報を管理装置100に送信し、管理装置100は、閉じるボタン82の操作情報に基づいて対応中のステータスから対応完了のステータスに変更し、対応完了のステータスであるステータス情報をタブレット端末に送信してよい。
【0090】
次に、管理システム5の動作例について説明する。
図12は、管理システム5の動作例を示すフローチャートである。
【0091】
まず、管理装置100は、プロセッサ110が、通信デバイス130を介して撮像画像を時系列で順次取得する。取得された撮像画像は、カメラ10Aにより撮像された撮像画像GA及びカメラ10Bにより撮像された撮像画像GBの少なくとも一方を含む。プロセッサ110は、取得された各撮像画像に対して任意の画像解析を行うことで、各撮像画像に映り込んだ人物を検出する(S11)。ここで検出される人物の人数は複数であってよい。
【0092】
プロセッサ110は、時系列で順次取得された複数の撮像画像で検出された人物が、同一人物であるか否かを判定する(S12)。例えば、異なる撮像画像において検出された人物の形状や顔画像等の生体特徴データが類似(例えば一致)する場合に、異なる撮像画像に映り込んだ人物が同一人物であると判定する。なお、上述した手法に限らず、プロセッサ110は、異なるカメラ10で検出された人物であっても、各カメラ10で検出された人物の位置座標が誤差範囲内であれば同一人物であると判定してよい。プロセッサ110は、同一人物と判定された人物の移動を追跡可能である。また、同一人物であるか否かは、撮像画像において検出された複数の人物に対して行われてよい。つまり、プロセッサ110は、時系列で順次取得された複数の撮像画像で検出された4人の人物について同一人物であると判定された場合、この4人の人物を同時に追跡可能である。
【0093】
プロセッサ110は、同一人物であると判定された人物毎に、人物の進行方向を判定する(S13)。人物の進行方向の判定方法は、上述のいずれかの方法でよい。プロセッサ110は、進行方向が同一であると判定された1人以上の人物が密集しているか否かを判定する、つまり密集判定を行う(S14)。密集判定の判定方法は、上述したように、上述のいずれかの方法でよく、上述のいずれかの密集判定条件を満たすか否かを判定してよい。
【0094】
進行方向が同一の人物が密集していると判定された場合、プロセッサ110は、密集グループに属する各人物に対して警告表示(密集分散指示情報MIを含む表示情報)を、この密集グループMGの進行方向に設置されたディスプレイ20に表示させる(S15)。表示情報は、例えば、密集グループMGに属する各人物に関する情報を含み、顔画像や認証結果や密集分散指示情報MI(例えばI1~I3)の少なくとも1つを含んでよい。この場合、プロセッサ110は、表示情報と表示指示とをディスプレイ20に送信する。ディスプレイ20は、表示情報と表示指示とを受信し、表示指示に従って表示情報を表示する。
【0095】
また、ステップS15では、プロセッサ110は、時間経過を加味して、密集グループMGにおける各人物の相対的な位置に基づいて、各人物に対して表示される密集分散指示情報MIを決定してよい。例えば、人物HM4が時間経過に伴って人物HMBから人物HMFに変化した場合、人物HM4に対する密集分散指示情報MIを、密集分散指示情報MI2から密集分散指示情報MI1に変更してよい。また、プロセッサ110は、密集グループMGに属する認証ステータス(例えば認証中、認証成功、認証失敗)に基づいて、各人物に対して表示される密集分散指示情報MIを決定してよい。例えば人物HM1が時間経過に伴って認証に失敗した状態から認証に成功した状態に変化した場合、人物HM1に対する密集分散指示情報MIを、密集分散指示情報MI12から密集分散指示情報MI11に変更してよい。つまり、プロセッサ110は、通信デバイス130を介して、密集グループMGの各人物の位置又は認証ステータス等に基づいてディスプレイ20の画面表示の更新を指示してよい。ディスプレイ20は、ディスプレイ20の画面表示の更新の指示を受信して、この指示に従って画面表示を更新してよい。
【0096】
一方、ステップS15において、進行方向が同一の人物が密集していないと判定された場合、プロセッサ110は、撮像画像から検出された各人物に対して、顔画像や認証結果を含む表示情報を、各人物の進行方向に設置されたディスプレイ20に表示させる(S16)。この場合の表示は、非密集の場合の表示であり、通常時の画面表示である。
【0097】
このような本実施形態の管理システム5は、複数の人物が同時に通行可能なゲート50を通過する際に、各人物が様々な方向に進行可能であるが、同じ進行方向の人物間の距離や密度を基に、人物が密集しているか否かを判定可能である。よって、様々な方向に進行する多数の人物が混在し、偶発的に狭いエリア内に密集した場合でも、密集グループMGが生じていないと判定可能である。即ち、管理システム5は、人物の密集を高精度に判定できる。そのため、管理システム5は、密集グループMGが生じた場合に通知する密集分散指示情報MIの誤報を低減できる。
【0098】
また、管理システム5が密集分散指示情報MIを出力したり提示したりすることで、密集分散指示情報MIを確認した通行中の人物は、密集を分散するように行動できる。これにより、管理システム5は、各カメラ10からの死角に位置する新たな人物を検出できる可能性がある。よって、管理システム5は、死角(オクルージョン)を悪用した不正通行者の不正通行を抑制できる。
【0099】
なお、本実施形態では、進行方向を考慮して密集判定することを主に例示したが、これに限られない。管理装置100のプロセッサ110は、各人物の進行方向を考慮せず、密集判定して、密集分散指示情報MIを出力してもよい。
【0100】
なお、管理装置100は、いずれかのゲート50に設置されてもよく、認証装置付きゲートとして動作してもよい。または、管理装置100が独立した装置として設置されるのではなく、いずれかの装置が管理装置100としての機能を有してもよい。
【0101】
また、管理装置100と認証サーバ200とが別体の装置であることを例示したが、これ限られない。管理装置100と認証サーバ200とが一体の装置でよく、管理装置100が認証サーバ200の機能を有してもよい。
【0102】
また、管理装置100と制御PC30とが別体の装置であることを例示したが、いずれかの制御PC30と管理装置100とが一体の装置でもよく、制御PC30が管理装置100の機能を有してもよい。また、複数の制御PC30のうちのいずれか1つが管理装置100の機能を有してもよいし、複数の制御PC30のうちのいずれか複数が管理装置100の機能を分散して有してもよい。さらに、カメラ10又はディスプレイ20の少なくとも一方と管理装置100とが一体に構成され、カメラ10又はディスプレイ20の少なくとも一方が管理装置100の機能を有してもよい。
【0103】
なお、本実施形態では、カメラ10により撮像された撮像画像を基に人物の検出、認証、及び追跡等を行うことを例示したが、これに限られない。カメラ10以外の任意のセンサ(検出装置)が、人物を検出してもよい。例えば、プロセッサ110は、任意のセンサから少なくとも人物の位置を特定可能な検出情報を取得し、この検出情報(例えば人物の位置)に基づいて、人物の検出、認証、又は追跡等を行ってもよい。人物の位置を特定可能な検出情報は、人物の位置の情報そのものであってもよい。例えば、少なくとも人物の位置を特定可能な検出情報を検出するセンサとして、赤外線センサ、超音波センサ、又はLidar装置等が考えられる。撮像画像は、人物の位置を特定可能な検出情報に含まれる。
【0104】
なお、プロセッサ110は、カメラ10の位置、向き及び画角等の情報をメモリ120等から取得し、カメラ10の位置、向き及び画角等に基づいてカメラ10による撮像範囲を算出してよい。プロセッサ110は、カメラ10により撮像された撮像画像における人物が検出された領域の位置、大きさ、又は範囲等とカメラ10により計測された人物までの距離とに基づいて、カメラ10に対する人物の位置を特定し、つまり人物の絶対位置の位置座標を取得してよい。
【0105】
[実施形態の概要]
以上のように、本実施形態の管理システム5(密集判定システムの一例)は、人物の密集を判定する。管理システム5は、通路ALを通行する複数の人物を検出する検出装置(例えばカメラ10)と、人物の密集を判定する管理装置100(密集判定装置の一例)と、を備える。管理装置100は、検出装置により検出された複数の人物の少なくとも位置を特定可能な検出情報(例えば撮像画像)を取得し、検出情報に基づいて、複数の人物のそれぞれの進行方向を判定し、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、通路ALにおいて人物が密集した密集グループMGが生じていると判定する。
【0106】
これにより、管理システム5は、通路ALにおいて各人物が様々な方向に進行可能であるが、同じ進行方向の人物について所定の密集判定条件を満たすか否かによって、人物が密集しているか否かを判定可能である。即ち、管理システム5は、所定の領域内での人物の密集状況を高精度に判定できる。
【0107】
また、管理装置100は、複数の人物のそれぞれの進行方向が異なる場合、密集グループMGが生じていないと判定してよい。
【0108】
これにより、管理装置100は、例えば反対方向に進行する人物や交差して進行する人物が瞬間的に近い位置に存在することで密集グループMGが生じていると誤判定されることを抑制できる。この場合でも、管理システム5は、それぞれの人物が異なる方向に進行することで、複数の人物間の距離が近い状態は解消可能であり、各人物の認証を安定して実施できる。
【0109】
また、管理装置100は、密集グループMGが生じていると判定された場合、密集グループMGに属する複数の人物の少なくとも1人の人物に対して、人物の密集を分散させる情報である密集分散指示情報MIを出力してよい。
【0110】
これにより、例えば管理装置100は、任意の方法で密集分散指示情報MIを出力でき、例えば、ゲート50の近くに所在する監視人が、密集分散指示情報MIを確認することで、通路ALを通行中の人物に対して密集を分散するように行動するよう注意喚起できる。密集分散指示情報MIの出力は、例えば監視人が携帯する携帯端末に送信することを含んでよい。
【0111】
また、検出装置は、通路ALを通行する複数の人物を撮像するカメラ10(撮像装置の一例)を含んでよい。検出情報は、カメラ10により撮像された撮像画像を含んでよい。これにより、管理装置100は、人物の位置を含む人物の様々な情報を容易に得ることができる。
【0112】
また、管理システム5は、通路ALの所定の位置に設置され、情報を提示(例えば表示)するディスプレイ20(提示装置の一例)を備えてよい。管理装置100は、密集分散指示情報MIをディスプレイ20に送信してよい。ディスプレイ20は、密集分散指示情報MIを受信して提示してよい。
【0113】
これにより、通路ALを通行する人物は、ディスプレイ20に表示された密集分散指示情報MIを確認でき、人物の密集を分散するように行動できる。なお、提示装置は、ディスプレイ20以外の装置でもよく、例えば通路ALの所定の位置(例えばゲート50)に設置されたスピーカによって、館内放送のように音声データとして密集分散指示情報MIを音声出力してもよい。この場合、通路ALを通行する人物は、密集等によりディスプレイ20の視認が困難である場合でも、密集状態や密集分散指示情報MIを認識できる。
【0114】
また、管理システム5は、人物を認証する認証サーバ200を備えてよい。認証サーバ200は、撮像画像を取得し、事前に登録された第1の生体特徴データ(例えば顔画像)と撮像画像から得られる人物の第2の生体特徴データ(例えば顔画像)とに基づいて、通路ALを通行する人物を認証し、人物の認証状況を管理装置100に送信してよい。管理装置100は、認証サーバ200から密集グループMGに属する複数の人物のそれぞれの認証状況を取得してディスプレイ20に送信してよい。ディスプレイ20は、密集グループMGに属する複数の人物のそれぞれの認証状況を取得し、密集グループMGに属する複数の人物のそれぞれの密集分散指示情報MIと認証状況とを提示してよい。
【0115】
これにより、管理システム5は、例えば、通路ALを通行する人物が事前登録された人物であるか否かと、密集分散指示情報MIと、の双方を同時に提示できる。よって、通路ALを通行する各人物は、自身の認証状況を確認しつつ、人物の密集の分散方法を把握して行動することができる。
【0116】
また、管理装置100は、密集グループMGにおいて進行方向(例えばY軸正方向)の前方に位置する人物HMFのうち、認証サーバ200による認証状況が認証成功を示す人物HMF1(第1の人物の一例)に対する密集分散指示情報MIに、人物HMF1が前進することを指示する前進指示情報を含めてディスプレイ20に送信してよい。ディスプレイ20は、密集分散指示情報MIに含まれる前進指示情報を提示してよい。
【0117】
これにより、管理システム5は、密集グループの前方の人物に対して「前に進んでください」などのメッセージを提示できる。この場合でも、管理システム5は、認証に成功した人物を前進させるので、セキュリティが低下することを回避できる。また、管理システム5は、人物HMF1を前進させることで密集グループMGに含まれる人物を分散させることができ、例えば、密集グループMGが所在するエリアに所在するが検出されなかった人物を検出できる可能性がある。
【0118】
また、管理装置100は、密集グループMGにおいて進行方向の前方に位置する人物のうち、認証サーバ200による認証状況が認証成功を示さない人物HMF2(第2の人物の一例)に対する密集分散指示情報MIに、カメラ10に対して第2の人物の顔の少なくとも一部を遮蔽する遮蔽物(例えばマスク又はサングラス)を除去するよう除去指示情報を含めてディスプレイ20に送信してよい。ディスプレイ20は、密集分散指示情報MIに含まれる除去指示情報を提示してよい。
【0119】
これにより、管理システム5は、「顔をよくみせてください」等のメッセージを提示できる。この場合でも、管理システム5は、例えば密集により認証に失敗した人物について、再度の認証により認証に成功する可能性を高くできる。
【0120】
また、管理装置100は、密集グループMGにおいて進行方向の前方に位置しない人物である人物HMB(第3の人物の一例)に対する密集分散指示情報MIに、人物HMBが前進以外の方向に移動する又は停止するよう指示する非前進指示情報を含めてディスプレイ20に送信してよい。ディスプレイ20は、密集分散指示情報MIに含まれる非前進指示情報を提示してよい。
【0121】
これにより、管理システム5は、「立ち止まってください」等のメッセージを提示できる。この場合でも、管理システム5は、認証に成功していない可能性がある人物HMBが前進しないように指示でき、セキュリティを保てる。また、管理システム5は、例えば前進以外の横方向(X軸方向)に移動するよう指示する場合でも、密集を分散させることができ、例えば、密集グループMGが所在するエリアに所在するが検出されなかった人物を検出できる可能性がある。
【0122】
また、密集判定条件は、通路AL内を格子状に分割して所定のサイズの区域DRを複数形成した場合に、いずれかの区域DRに存在する同一方向に進行する人物の数が閾値th1(第1の閾値の一例)以上であることであってよい。
【0123】
これにより、管理システム5は、所定のサイズの区域DR内に同一の方向に進行する複数の人物が高密度な状態で位置している場合、密集グループMGが生じており、密集状態であると判定できる。
【0124】
また、区域DRは、隣接する区域DRの一部が重複して、通路ALにおける第4の人物の位置を基点として形成されてよい。隣接する区域DRには、いずれも第4の人物の位置が含まれてよい。密集判定条件は、いずれかの区域DRに存在する第4の人物と同一方向に進行する人物の数が、第4の人物を含めて閾値th1以上であることでよい。
【0125】
これにより、管理システム5は、例えば基点となる第4の人物が複数の区域DRの境界上に位置することを抑制できる。そのため、管理システム5は、第4の人物の周囲が密集状態であるかどうかを高精度に判定できる。
【0126】
また、密集判定条件は、通路ALを同一の進行方向に進行する複数の人物の人物間距離d1が閾値th2(第2の閾値の一例)未満であることでよい。
【0127】
これにより、管理システム5は、同一の方向に進行する複数の人物が近づきすぎている場合には、密集グループMGが生じており、密集状態であると判定できる。
【0128】
また、人物間距離d1は、進行方向(例えばY軸方向)における複数の人物の間の距離である第1人物間距離d11と、通路ALの水平面(例えばXY面)において進行方向に垂直な方向(例えばX軸方向)における複数の人物の間の距離である第2人物間距離d12と、を含んでよい。閾値th2は、閾値th21(第3の閾値の一例)と、閾値th21よりも小さい閾値th22(第4の閾値の一例と、を含んでよい。密集判定条件は、第1人物間距離d11が閾値th21未満である、又は、第2人物間距離d12が閾値th22未満であることでよい。
【0129】
これにより、管理システム5は、同一方向に進行する複数の人物が、進行方向に沿って近距離にいる場合には、進行方向に垂直な方向に沿って近距離にいる場合よりも密集していると判定し難くできる。進行方向に沿う方向では例えば前後に並ぶ人物が歩行により身体的に接触する可能性が高くなる。そのため、管理システム5は、歩行を加味した長さで閾値th21を設定することで、各人物を検出できる可能性が高く、セキュリティの低下を抑制しつつ、高頻度に密集であると判定されることを抑制できる。
【0130】
また、管理装置100は、通路ALを同一の進行方向に進行する複数の人物の歩行速度を取得してよい。管理装置100は、歩行速度が遅い程、閾値th2を小さくし、歩行速度が速い程、閾値th2を大きくしてよい。
【0131】
歩行速度が速い場合には、歩行速度が遅い場合と比較すると、例えば前後に並ぶ人物間距離が長くなり易い。これに対し、管理装置100は、歩行速度を加味した長さで閾値th2を設定することで、各人物を検出できる可能性が高く、セキュリティの低下を抑制しつつ、高頻度に密集であると判定されることを抑制できる。
【0132】
また、管理装置100は、通路ALを同一の進行方向に進行する複数の人物の歩行速度を取得してよい。管理装置100は、歩行速度が遅い程、閾値th21又は閾値th22を小さくし、歩行速度が速い程、閾値th21又は閾値th22を大きくしてよい。
【0133】
これにより、管理装置100は、歩行速度を加味した長さで閾値th21又は閾値th22を設定することで、各人物を検出できる可能性が高く、セキュリティの低下を抑制しつつ、高頻度に密集であると判定されることを抑制できる。
【0134】
また、管理装置100は、通路ALを同一の進行方向に進行する複数の人物の歩行速度を取得してよい。管理装置100は、歩行速度が遅い程、区域DRのサイズを大きくし、又は区域DRの外周の一辺の長さを長くしてよい。管理装置100は、歩行速度が速い程、区域DRのサイズを小さくし、又は区域DRの外周の一辺の長さを短くしてよい。
【0135】
これにより、管理装置100は、歩行速度を加味して密集判定を行う対象の区域DRのサイズを拡大したり区域DRの進行方向等の一辺の長さを長くしたりすることで、区域DR内で検出される検出人数を多くし易くできる。また、管理装置100は、歩行速度を加味して密集判定を行う対象の区域DRのサイズを縮小したり区域DRの進行方向等の一辺の長さを短くしたりすることで、区域DR内で検出される検出人数を少なくし易くできる。これにより、管理装置100は、セキュリティの低下を抑制しつつ、高頻度に密集であると判定されることを抑制できる。
【0136】
本実施形態の管理装置100は、人物の密集を判定する。管理装置100は、プロセッサ110を備える。プロセッサ110は、通路ALを通行する複数の人物が撮像された撮像画像を取得し、撮像画像に基づいて、複数の人物のそれぞれの進行方向を判定する。プロセッサ110は、同一の進行方向に進行する人物の密集の度合いが所定の密集判定条件を満たす場合、通路ALにおいて人物が密集した密集グループが生じていると判定する。
【0137】
これにより、管理装置100は、通路ALにおいて各人物が様々な方向に進行可能であるが、同じ進行方向の人物について所定の密集判定条件を満たすか否かによって、人物が密集しているか否かを判定可能である。即ち、管理装置100は、所定の領域内での人物の密集状況を高精度に判定できる。
【0138】
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【0139】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【産業上の利用可能性】
【0140】
本開示は、所定の領域内での人物の密集状況を高精度に検出できる密集判定システム、密集判定装置、密集判定方法及びプログラム等に有用である。
【符号の説明】
【0141】
5 管理システム
10,10A,10B カメラ
20,20A,20B ディスプレイ
30 制御PC
50 ゲート
50A 第1ゲート
50B 第2ゲート
100 管理装置
110 プロセッサ
120 メモリ
130 通信デバイス
200 認証サーバ
AL 通路
HM,HM1,HM2,HM3,HM4,HM5,HMB,HMF 人物
MG 密集グループ
MI1,MI11,MI12,MI2,MI3 密集分散指示情報