IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特開2024-168668人物照合システム、情報処理装置、人物照合方法、及び、人物照合プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168668
(43)【公開日】2024-12-05
(54)【発明の名称】人物照合システム、情報処理装置、人物照合方法、及び、人物照合プログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20241128BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023085542
(22)【出願日】2023-05-24
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】酒田 善史
(72)【発明者】
【氏名】宇野 嘉修
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC11
5L050CC11
(57)【要約】
【課題】通行が許可されている人物の共連れ人物に対して通行を許可するシステムにおいて、共連れ人物ではない人物に対して通行を許可することを抑制する。
【解決手段】人物照合システムは、所定の通路を移動する複数の人物を撮影する撮影装置と、撮影装置が撮影した人物の顔画像を用いて人物を照合する情報処理装置とを備え、情報処理装置は、通路に、第1領域と第2領域とを設定し、第1領域では、第1領域に存在する人物に対して顔画像を用いる照合を行い、照合に成功した人物の通路の移動を許可し、照合に失敗した人物の通路の移動を許可せず、第2領域では、第2領域に存在する人物に対して顔画像を用いる照合を行い、照合に成功した第1の人物の通路の移動を許可すると共に、第1の人物が第2領域に存在する間、照合に失敗した第2の人物の前記通路の移動を許可する。
【選択図】図17
【特許請求の範囲】
【請求項1】
所定の通路を移動する複数の人物を撮影する撮影装置と、
前記撮影装置が撮影した人物の顔画像を用いて前記人物を照合する情報処理装置とを備え、
前記情報処理装置は、
前記通路に、第1領域と第2領域とを設定し、
前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、
前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する、
人物照合システム。
【請求項2】
前記第2領域は、前記通路内の所定の範囲に予め設定されており、
前記情報処理装置は、前記第1の人物が前記第2領域に存在する間、かつ、前記第1の人物が所定の第1の動作を行った場合、前記第2領域を、前記第2の人物に対して前記通路の移動を許可する状態とする、
請求項1に記載の人物照合システム。
【請求項3】
前記情報処理装置は、前記第2領域において前記第1の人物が前記照合に成功した後で所定の第1の動作を行った場合、前記第1の人物を含む所定の範囲を前記第2領域として設定し、前記第2領域を、前記第2の人物に対して前記通路の移動を許可する状態とする、
請求項1に記載の人物照合システム。
【請求項4】
前記情報処理装置は、前記第2領域において前記第1の人物と前記第2の人物との間の距離が所定の閾値以下である場合、前記第2の人物の前記通路の移動を許可する、
請求項1から3のいずれか1項に記載の人物照合システム。
【請求項5】
表示装置をさらに備え、
前記情報処理装置は、前記第1の人物が前記第1の動作を行った場合、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態であることを前記表示装置に表示させる、
請求項2または3に記載の人物照合システム。
【請求項6】
表示装置をさらに備え、
前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第2領域を、前記第2の人物に対して前記通路の移動を許可しない状態とし、前記第2領域が前記第2の人物に対して前記通路の移動を許可しない状態であることを前記表示装置に表示させる、
請求項2または3に記載の人物照合システム。
【請求項7】
表示装置をさらに備え、
前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第2領域の設定を解除し、前記第2の人物の前記通路の移動を許可しないことを前記表示装置に表示させる、
請求項3に記載の人物照合システム。
【請求項8】
前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第1の人物が前記第2の動作を行う前に共連れを許可した前記第2の人物については、共連れ許可の状態を維持し続ける、
請求項6に記載の人物照合システム。
【請求項9】
前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第1の人物が前記第2の動作を行う前に共連れを許可した前記第2の人物については、共連れ許可の状態を解除して、前記通路の移動を許可しないことを前記表示装置に表示させる、
請求項6に記載の人物照合システム。
【請求項10】
端末をさらに備え、
前記情報処理装置は、前記第2領域において前記第2の人物を検知した場合、前記撮影装置によって撮影された前記第2の人物の顔画像を前記端末に送信する、
請求項1から3のいずれか1項に記載の人物照合システム。
【請求項11】
表示装置をさらに備え、
前記端末は、前記情報処理装置から受信した前記第2の人物の顔画像を表示し、前記第2の人物の前記通路の移動を許可するか否かの入力を受け付け、前記入力の結果を前記情報処理装置へ送信し、
前記情報処理装置は、前記端末から受信した前記入力の結果に関する情報を前記表示装置に表示させる、
請求項10に記載の人物照合システム。
【請求項12】
前記情報処理装置は、前記第1の人物が、前記顔画像を用いた照合に成功し、かつ、前記通路の移動の権限を有する場合に、前記第2の人物の前記通路の移動を許可する、
請求項1から3のいずれか1項に記載の人物照合システム。
【請求項13】
前記情報処理装置は、前記撮影装置によって撮影された、前記通路の移動を許可した前記第2の人物の顔画像のうち、前記顔画像を用いる照合に使用可能な品質の顔画像を、所定の記憶部に格納する、
請求項1から3のいずれか1項に記載の人物照合システム。
【請求項14】
表示装置をさらに備え、
前記情報処理装置は、前記第2の人物の顔画像を前記記憶部に格納する場合、その旨を前記表示装置に表示させる、
請求項13に記載の人物照合システム。
【請求項15】
所定の通路を移動する複数の人物を撮影する撮影装置によって撮影された人物の顔画像を用いて前記人物を照合する情報処理装置であって、プロセッサ及びメモリを備え、前記プロセッサは前記メモリと協働して、
前記通路に、第1領域と第2領域とを設定し、
前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、
前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する、
情報処理装置。
【請求項16】
所定の通路を移動する複数の人物を撮影する撮影装置によって撮影された人物の顔画像を用いて前記人物を照合する人物照合方法であって、
前記通路に、第1領域と第2領域とを設定し、
前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、
前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する、
人物照合方法。
【請求項17】
請求項16に記載の人物照合方法をコンピュータに実行させる、
人物照合プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人物照合システム、情報処理装置、人物照合方法、及び、人物照合プログラムに関する。
【背景技術】
【0002】
特許文献1には、入室管理システムが開示される。入室管理システムは、管理対象扉の開閉を制御する扉開閉制御部と、管理対象扉近傍の監視空間を撮像した監視画像を取得する撮像部と、撮像部が取得した画像から監視空間に存在する人物を認証する人物認証部と、人物認証部により認証された人物が、管理対象扉の開閉を通じて入室が許可される人物であるか否かを判定する許可判定部と、許可判定部により入室が許可される人物が予め定められた時間継続して実施する特定動作を認証する特定動作認証部と、を備え、扉開閉制御部は、特定動作認証部により特定動作が認証された場合には、管理対象扉を開けて、入室が許可される人物が、入室が許可されない人物を連れて入室する共連れ入室を許可し、特定動作認証部により特定動作が認証されない場合には、管理対象扉を開けずに、入室が許可される人物が、入室が許可されない人物を連れて入室する共連れ入室を許可しない技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-88462号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示される入室管理システムは、入室が許可される人物の特定動作が認証された場合に、管理対象扉を開けるため、入室が許可される人物の特定動作が認証されたタイミングで、入室が許可される人物が連れて入室しようとしている人物(以下、共連れ人物と称する)以外の人物(以下、不正通行者と称する)が管理対象扉を通って入室するおそれがある。
【0005】
また、特許文献1に開示される入室管理システムでは、不正通行者に対して入室を許可するフラグ付けを誤って行ってしまう可能性を回避するための手段として、入室を許可されている人物が前述の特定動作を行っている間、共連れ人物以外の人物に対して、共連れ人物の入室が完了するまで待機してもらう方法が考えられる。しかしながら、前述の方法の場合、不正通行者に該当しない、入室が許可される他の人物にまで入室待ちを強いることになり、管理対象扉前に滞留が発生してしまう。
【0006】
本開示の目的は、共連れ人物に対して通行を許可するシステムにおいて、通路上に共連れ判定を行わない領域とは別に共連れ判定を行う領域を設定する技術を提供することにある。
【課題を解決するための手段】
【0007】
本開示に係る人物照合システムは、所定の通路を移動する複数の人物を撮影する撮影装置と、前記撮影装置が撮影した人物の顔画像を用いて前記人物を照合する情報処理装置とを備え、前記情報処理装置は、前記通路に、第1領域と第2領域とを設定し、前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する。
【0008】
本開示に係る情報処理装置は、所定の通路を移動する複数の人物を撮影する撮影装置によって撮影された人物の顔画像を用いて前記人物を照合する情報処理装置であって、プロセッサ及びメモリを備え、前記プロセッサは前記メモリと協働して、前記通路に、第1領域と第2領域とを設定し、前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する。
【0009】
本開示に係る人物照合方法は、所定の通路を移動する複数の人物を撮影する撮影装置によって撮影された人物の顔画像を用いて前記人物を照合する人物照合方法であって、前記通路に、第1領域と第2領域とを設定し、前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する。
【0010】
本開示に係る人物照合プログラムは、上記に記載の人物照合方法をコンピュータに実行させる。
【0011】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0012】
本開示によれば、共連れ人物に対して通行を許可するシステムにおいて、通路上に共連れ判定を行わない領域とは別に共連れ判定を行う領域を設定することができる。これにより、顔照合に成功する人物(例えば従業員)が、顔照合に失敗する人物(例えば来客)を連れて通路を移動する場合、共連れ判定を行う領域を通行することで、通路における進行状況の快適さを維持しつつ、システムが共連れ人物ではない人物に対して通行許可を与えることの抑制および不正通行者の検出を可能とする。
【図面の簡単な説明】
【0013】
図1】実施の形態1に係るゲートシステムの概要を説明するための図
図2】実施の形態1に係る第1表示装置又は第2表示装置における照合結果の表示例を示す図
図3】実施の形態1に係るゲートシステムの構成例を示すブロック図
図4】実施の形態1に係る顔画像及び身体画像を説明するための図
図5】実施の形態1に係る第1エッジ装置が行う検出処理の一例を示すフローチャート
図6】実施の形態1に係る人物情報の構成例を示す図
図7】実施の形態1に係る管理装置が行う全体処理の一例を示すフローチャート
図8図7に示す顔検出情報処理(S202)の一例を示すフローチャート
図9図7に示す身体検出情報処理(S204)の一例を示すフローチャート
図10図7に示す移動後処理(S210)の一例を示すフローチャート
図11図7に示す顔照合結果情報処理(S206)の一例を示すフローチャート
図12】実施の形態1に係る第1エッジ装置が行う表示処理の一例を示すフローチャート
図13】実施の形態1に係る検出領域における顔照合ゾーンと通行判定ゾーンとを示す図
図14】実施の形態1に係る第1表示装置における表示パターンの一例を説明するための図
図15A】実施の形態1に係る身体検出情報が示す人物と同一人物のものと推定される人物情報を人物情報テーブルから検出する方法を説明するための第1の図
図15B】実施の形態1に係る身体検出情報が示す人物と同一人物のものと推定される人物情報を人物情報テーブルから検出する方法を説明するための第2の図
図16】実施の形態1に係る人物の移動方向を検出する方法を説明するための図
図17】実施の形態2に係る検出領域に、顔照合ゾーンと通行判定ゾーンと共連れ判定ゾーンとを設定する例を示す図
図18】実施の形態2に係る検出領域に顔照合ゾーンと共連れ判定ゾーンと通行判定ゾーンとを設定する場合に管理装置が行う処理の一例を示すフローチャート
図19】実施の形態2に係る顔照合処理の一例を示すフローチャート
図20】実施の形態2に係る顔照合及び共連れ判定処理の第1例を示すフローチャート
図21】実施の形態2に係る通行判定処理の一例を示すフローチャート
図22】実施の形態2に係る顔照合及び共連れ判定処理の第2例を示すフローチャート
図23】実施の形態2に係る顔登録人物の周囲に共連れ判定ゾーンを設定する例を示す図
図24】実施の形態2に係る顔照合及び共連れ判定処理の第3例を示すフローチャート
図25】実施の形態2に係る顔登録人物と顔未登録人物が協調動作を行うことで当該顔未登録人物を共連れ人物とする第1の方法を説明するための図
図26】実施の形態2に係る顔登録人物と顔未登録人物が協調動作を行うことで当該顔未登録人物を共連れ人物とする第2の方法を説明するための図
図27図25又は図26に示す処理を行う場合の第1表示装置における表示例を示す図
図28】実施の形態2に係る顔照合及び共連れ判定処理の第4例を示すフローチャート
図29】実施の形態2に係る共連れ許可モードを解除する場合における第1表示装置の第1の表示例を示す図
図30】実施の形態2に係る共連れ許可モードを解除する場合における第1表示装置の第2の表示例を示す図
図31】実施の形態2に係る端末における共連れを許可するか否かを入力する画面の一例を示す図
図32】本開示に係るコンピュータのハードウェア構成の一例を示す図
【発明を実施するための形態】
【0014】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
【0015】
(実施の形態1)
<ゲートシステムの概要>
図1は、実施の形態1に係るゲートシステム9の概要を説明するための図である。図2は、実施の形態1に係る第1表示装置31又は第2表示装置32における照合結果の表示例を示す図である。
【0016】
ゲートシステム9は、人物1の顔画像を照合し、当該人物1がゲートを通過する権利を有するか否かを判定するシステムである。ゲートシステム9は、第1ゲート11と第2ゲート12とを含む。第1ゲート11及び第2ゲート12は、所定の距離だけ離れて、人物1が移動する通路2に設置される。本実施の形態では、第2ゲート12から第1ゲート11に向かう方向を第1方向とし、第1ゲート11から第2ゲート12に向かう方向を第2方向とする。また、本実施の形態では、通路2における第1ゲート11と第2ゲート12との間の領域を、人物の検出領域3と称する。なお、ゲートシステム9は、必ずしも図1に示すような人物が下をくぐる第1ゲート11及び第2ゲート12を有する必要はなく、後述の図36に示すような構成であってもよい。この場合、ゲートシステム9は、第1ゲート11に代えて仮想的な第1ラインを設定し、第2ゲート12に代えて仮想的な第2ラインを設定し、第1ラインと第2ラインとの間の領域を、検出領域3としてよい。そして、第1ラインから第2ラインに向かう方向を第1方向とし、第2ラインから第1ラインに向かう方向を第2方向としてよい。したがって、以下の説明において、第1ゲート11は第1ラインと読み替えられ、第2ゲート12は第2ラインと読み替えられてもよい。
【0017】
また、本実施の形態では、説明の便宜上、第1方向又は第2方向に沿った軸をY軸、Y軸に直交し高さ方向に延びる軸をZ軸、Y軸及びZ軸に直交する軸をX軸として説明する。また、X軸の方向をゲートの幅方向と称する場合がある。
【0018】
第1ゲート11は、検出領域3の少なくとも一部を撮影可能な第1撮影装置21と、第2ゲート12の方向に画面を有する第1表示装置31とを備える。図1では、第1ゲート11が3つの第1撮影装置21を備えているが、第1ゲート11は1つ又は2つの第1撮影装置21を備えてもよいし、4つ以上の第1撮影装置21を備えてもよい。また、図1では、第1ゲート11が1つの第1表示装置31を備えているが、第1ゲート11は2つ以上の第1表示装置31を備えてもよい。
【0019】
第2ゲート12は、検出領域3の少なくとも一部を撮影可能な第2撮影装置22と、第1ゲート11の方向に画面を有する第2表示装置32とを備える。図1では、第2ゲート12が3つの第2撮影装置22を備えているが、第2ゲート12は1つ又は2つの第2撮影装置22を備えてもよいし、4つ以上の第2撮影装置22を備えてもよい。また、図1では、第2ゲート12が1つの第2表示装置32を備えているが、第2ゲート12は2つ以上の第2表示装置32を備えてもよい。
【0020】
本実施の形態では、第1方向が入退場の権利を有する施設等への入場方向であり、第2方向が当該施設等からの出場方向であるとして説明する。ただし、第1方向が施設等からの出場方向であり、第2方向が施設等への入場方向であってもよい。
【0021】
ゲートシステム9は、第1ゲート11の第1撮影装置21が撮影した第1方向に移動する人物1の顔画像を、予め登録済みの各照合用顔画像と照合し、照合結果を、図2に例示するように、第1表示装置31に表示する。
【0022】
ゲートシステム9は、第2ゲート12の第2撮影装置22が撮影した第2方向に移動する人物1の顔画像を、予め登録済みの各照合用顔画像と照合し、照合結果を、図2に例示するように、第2表示装置32に表示する。
【0023】
第1ゲート11及び第2ゲート12のゲート幅、あるいは、検出領域3のX方向の幅は、複数の人物1が並んで通過可能な幅であってよい。これにより、本実施の形態に係るゲートシステム9は、一人だけ通過可能なゲート幅であるゲートシステムと比較して、多くの人物1をスムーズに入場及び退場させることができる。例えば、一人分のゲート幅を有するゲートシステムの場合、前方の人物1の照合が失敗すると、後続する多数の人物1が足止めされてしまう。しかし、本実施の形態のように、複数の人物1が並んで通過可能なゲート幅を有するゲートシステム9の場合、前方の人物1の照合が失敗したとしても、後続する多数の人物1は、照合に失敗した前方の人物1を避けて移動すればよいため、足止めされずにスムーズにゲートを通過できる。すなわち、本実施の形態に係るゲートシステム9は、施設等への入退場の際の混雑の発生を抑制できる。以下、本実施の形態に係るゲートシステム9について詳細に説明する。
【0024】
<ゲートシステムの構成>
図3は、実施の形態1に係るゲートシステム9の構成例を示すブロック図である。図4は、実施の形態1に係る顔画像及び身体画像を説明するための図である。
【0025】
ゲートシステム9は、第1ゲート11及び第2ゲート12を備える。第1ゲート11は、第1撮影装置21及び第1表示装置31を備える。第2ゲート12は、第2撮影装置22及び第2表示装置32を備える。第1ゲート11、第1撮影装置21、第1表示装置31、第2ゲート12、第2撮影装置22、及び、第2表示装置32は、まとめてゲート装置10と称されてもよい。
【0026】
ゲートシステム9は、さらに、第1エッジ装置41、第2エッジ装置42、管理装置50、及び、顔照合装置60を備える。第1撮影装置21は、電気ケーブル(例えばUSBケーブル又はEthernet(登録商標)ケーブル)を通じて、第1エッジ装置41に接続される。第1表示装置31は、電気ケーブル(例えばHDMI(登録商標)ケーブル)を通じて、第1エッジ装置41に接続される。第2撮影装置22は、電気ケーブル(例えばUSBケーブル又はEthernetケーブル)を通じて、第2エッジ装置42に接続される。第2表示装置32は、電気ケーブル(例えばHDMIケーブル)を通じて、第2エッジ装置42に接続される。第1エッジ装置41及び第2エッジ装置42は、通信ネットワーク4を通じて、管理装置50に接続される。管理装置50は、通信ネットワーク4を通じて、顔照合装置60に接続される。通信ネットワーク4の例として、有線LAN、無線LAN、移動体通信網(例えばLTE、4G、5G)、インターネット、及び/又は、VPN等が挙げられる。
【0027】
第1撮影装置21は、検出領域3を撮影して撮影画像を生成し、当該撮影画像を第1エッジ装置41へ送信する。第2撮影装置22は、検出領域3を撮影して撮影画像を生成し、当該撮影画像を第2エッジ装置42へ送信する。撮影画像は、静止画像であってもよいし、動画像であってもよい。
【0028】
第1エッジ装置41は、図4(a)及び図4(b)に示すように、第1撮影装置21から受信した撮影画像から、人物1の身体全体を検出する。本実施の形態では、撮影画像から検出された人物1の身体全体の画像を、身体画像200と称する。第1エッジ装置41は、検出した身体画像200を管理装置50へ送信する。また、第1エッジ装置41は、図4(a)に示すように、第1撮影装置21から受信した撮影画像から、人物1の顔部分を検出する。本実施の形態では、撮影画像から検出された人物1の顔部分の画像を、顔画像220と称する。第1エッジ装置41は、検出した顔画像220を管理装置50へ送信する。
【0029】
第2エッジ装置42は、図4(a)及び図4(b)に示すように、第2撮影装置22から受信した撮影画像から、人物1の身体全体を検出する。第2エッジ装置42は、撮影画像から検出した身体画像200を管理装置50へ送信する。また、第2エッジ装置42は、図4(a)に示すように、第2撮影装置22から受信した撮影画像から、人物1の顔部分を検出する。第2エッジ装置42は、撮影画像から検出した顔画像220を管理装置50へ送信する。なお、第1エッジ装置41及び第2エッジ装置42が行う処理の詳細については後述する。
【0030】
管理装置50は、第1エッジ装置41から受信した身体画像200又は顔画像220、あるいは、第2エッジ装置42から受信した身体画像200又は顔画像220に基づいて、検出領域3に位置する人物1に対応する人物情報100(図6参照)を生成する。管理装置50は、検出領域3にて検出した人物1毎に人物情報100を生成してよい。なお、人物情報100の詳細については後述する(図6参照)。管理装置50は、顔画像220を含む顔照合要求を顔照合装置60へ送信する。
【0031】
顔照合装置60は、ゲートの通過(例えば入場又は退場)の権利を有する人物1の照合用顔画像を予め保持する。例えば、顔照合装置60は、施設への入場登録を予め行っている人物1の照合用顔画像を保持する。なお、顔照合装置60は、照合用顔画像に、人物1の氏名、年齢、性別、及び、クレジットカード情報等を紐づけて管理してもよい。
【0032】
また、顔照合装置60は、管理装置50から受信した顔画像220を、各照合用顔画像と照合する。顔照合装置60は、登録済みのいずれかの照合用顔画像との照合に成功した場合、照合成功を含む顔照合結果情報を生成し、管理装置50へ送信する。このとき、顔照合装置60は、照合に成功した照合用顔画像に紐づけられているクレジットカード情報を用いて、リアルタイムに課金を行ってもよい。顔照合装置60は、登録済みのいずれの照合用顔画像とも照合に失敗した場合、照合失敗を含む顔照合結果情報を生成し、管理装置50へ送信する。なお、顔画像220と照合用顔画像との照合は、公知の顔画像マッチング技術によって実現されてよい。また、「照合」は「認証」と読み替えられてもよい。
【0033】
管理装置50は、顔照合装置60から顔照合結果情報を受信する。管理装置50は、第1方向に移動している人物1の顔画像220に対する顔照合結果情報を含む人物照合情報を、第1エッジ装置41へ送信し、第2方向に移動している人物1の顔画像220に対する顔照合結果情報を含む人物照合情報を、第2エッジ装置42へ送信する。
【0034】
第1エッジ装置41は、管理装置50から人物照合情報を受信した場合、図2に示すように、人物照合情報に含まれる顔照合結果情報を第1表示装置31に表示する。これにより、検出領域3に位置し第1方向に移動している人物1は、移動方向先にある第1表示装置31の画面を見て、自分の照合結果を知ることができる。つまり、第1エッジ装置41は、第1方向に移動している人物1に、当該人物1の照合結果を視認させることができる。
【0035】
第2エッジ装置42は、管理装置50から人物照合情報を受信した場合、図2に示すように、人物照合情報に含まれる顔照合結果情報を第2表示装置32に表示する。これにより、検出領域3に位置し第2方向に移動している人物1は、移動方向先にある第2表示装置32の画面を見て、自分の照合結果を知ることができる。つまり、第2エッジ装置42は、第2方向に移動している人物1に、当該人物1の照合結果を視認させることができる。以下、第1エッジ装置41、第2エッジ装置42、及び、管理装置50が行う処理について詳細に説明する。
【0036】
<第1エッジ装置における検出処理>
図5は、実施の形態1に係る第1エッジ装置41が行う検出処理の一例を示すフローチャートである。なお、実施の形態1に係る第2エッジ装置42が行う検出処理については、以下の図5を参照した説明において、「第1撮影装置21」を「第2撮影装置22」と読み替えればよい。
【0037】
第1エッジ装置41は、第1撮影装置21から撮影画像を受信する(S101)。
【0038】
第1エッジ装置41は、第1撮影装置21から距離画像を受信する(S102)。このように、第1撮影装置21は、検出領域3に存在する人物1等までの距離を示す距離画像を生成できてよい。第2撮影装置22も同様である。距離画像の生成は、ステレオカメラ又は測距センサ(例えばLiDAR(Light Detection And Ranging))を利用するなど、どのような公知技術を用いて実現されてもよい。なお、本実施形態では、ステップS101の処理後にステップS102の処理を行っているが、これに限定されず、手順が入れ替わってもよい。
【0039】
第1エッジ装置41は、図4(a)に示すように、撮影画像から人物1の顔画像220を検出する(S103)。人物の顔画像220の検出は、パターンマッチング又はAI(Artificial Intelligence)を利用するなど、どのような公知技術を用いて実現されてもよい。また、AIは、ディープラーニング(例えばCNN(Convolutional Neural Network))を用いた画像認識技術等であってもよい。
【0040】
第1エッジ装置41は、ステップS103にて撮影画像から顔画像220を検出できたか否かを判定する(S104)。顔画像220を検出できなかった場合(S104:NO)、第1エッジ装置41は、処理をステップS108に進める。
【0041】
顔画像220を検出できた場合(S104:YES)、第1エッジ装置41は、距離画像を用いて、検出した顔画像220に関する3次元座標(以下、顔座標221(図4参照)と称する)を算出する(S105)。例えば、第1エッジ装置41は、図4(a)に示すように、顔画像220の中心点を顔座標221として算出する。
【0042】
第1エッジ装置41は、顔検出情報を生成する(S106)。例えば、第1エッジ装置41は、撮影画像の送信元である第1撮影装置21を識別するためのID(以下、撮影装置IDと称する)と、顔画像220と、当該顔画像220のサイズ(以下、顔画像サイズと称する)と、顔座標221と、撮影画像の撮影時刻とを含む顔検出情報を生成する。
【0043】
第1エッジ装置41は、生成した顔検出情報を管理装置50へ送信し(S107)、処理を次のステップS108に進める。
【0044】
第1エッジ装置41は、図4(a)又は図4(b)に示すように、撮影画像から人物1の身体画像200を検出する(S108)。人物1の身体画像200の検出は、パターンマッチング又はAIを利用するなど、どのような公知技術を用いて実現されてもよい。また、AIは、ディープラーニング(例えばCNN)を用いた画像認識技術等であってもよい。
【0045】
第1エッジ装置41は、ステップS108にて撮影画像から身体画像200を検出できたか否かを判定する(S109)。身体画像200を検出できなかった場合(S109:NO)、第1エッジ装置41は、処理をステップS101に戻す。
【0046】
身体画像200を検出できた場合(S109:YES)、第1エッジ装置41は、距離画像を用いて、検出した身体画像200に関する3次元座標(以下、身体座標201(図4参照)と称する)を算出する(S110)。例えば、第1エッジ装置41は、図4(a)及び図4(b)に示すように、身体画像200の中心点を身体座標201として算出する。
【0047】
第1エッジ装置41は、身体検出情報を生成する(S111)。例えば、第1エッジ装置41は、撮影装置IDと、身体画像200を識別するための身体IDと、身体画像200と、身体座標201と、撮影画像の撮影時刻とを含む身体検出情報を生成する。
【0048】
第1エッジ装置41は、生成した身体検出情報を管理装置50へ送信し(S112)、処理をステップS101に戻す。なお、本実施形態では、撮影画像から顔画像を検出する処理(S103~S107)を行った後に、撮影画像から身体画像を検出する処理(S108~S112)を行っているが、これに限定されず、手順が入れ替わってもよい。
【0049】
このように、第1エッジ装置41又は第2エッジ装置42にて、撮影画像から人物1の顔画像220及び/又は身体画像200を検出する処理と、顔座標221及び/又は身体座標201を算出する処理とを行うことにより、管理装置50にてこれらの処理を行う場合と比較して、処理負荷を分散させることができる。なお、処理負荷の分散を考慮しない場合、ゲートシステム9は、第1エッジ装置41及び第2エッジ装置42を備えなくてもよい。この場合、第1撮影装置21、第1表示装置31、第2撮影装置22、及び、第2表示装置32は、管理装置50に直接接続されてよい。そして、管理装置50が、撮影画像から人物1の顔画像220及び/又は身体画像200を検出する処理と、顔座標221及び/又は身体座標201を算出する処理とを行ってよい。
【0050】
<人物情報>
図6は、実施の形態1に係る人物情報100の構成例を示す。
【0051】
人物情報100は、検出領域3にて検出された人物1毎に生成される。人物情報100は、情報又はデータとして、追跡ID101、初回画像撮影時刻102、画像更新時刻103、身体画像104、身体画像更新時刻105、身体座標106、顔画像107、顔画像更新時刻108、顔座標109、顔照合ID110、照合状況111、及び、移動方向112を含む。
【0052】
追跡ID101には、検出領域3における同一人物の追跡に用いられるIDが設定される。追跡ID101は、当該人物情報100を識別するためのIDとも言える。
【0053】
初回画像撮影時刻102には、当該人物情報100に含まれる身体画像104又は顔画像107が初めて撮影された時刻が設定される。初回画像撮影時刻は、当該人物情報100が初めて生成された時刻とも言える。
【0054】
画像更新時刻103には、当該人物情報100に含まれる身体画像104又は顔画像107が最後に更新された時刻が設定される。画像更新時刻103は、当該人物情報100が最後に更新された時刻とも言える。
【0055】
身体画像104には、当該人物情報100が示す人物1の撮影画像から検出された身体画像200が設定される。身体画像104は、最新の撮影画像から検出された身体画像200に随時更新されてよい。
【0056】
身体画像更新時刻105には、当該人物情報100に含まれる身体画像104が最後に更新された時刻が設定される。
【0057】
身体座標106には、身体画像104に基づいて算出された身体座標201が設定される。身体座標106は、検出領域3における3次元座標(X座標、Y座標、Z座標)として表現されてよい。
【0058】
顔画像107には、当該人物情報100が示す人物1の撮影画像から検出された顔画像220が設定される。顔画像107は、最新の撮影画像から検出された顔画像220に随時更新されてよい。
【0059】
顔画像更新時刻108には、当該人物情報100に含まれる顔画像107が最後に更新された時刻が設定される。
【0060】
顔座標109には、顔画像107に基づいて算出された顔座標221が設定される。顔座標109は、検出領域3における3次元座標(X座標、Y座標、Z座標)として表現されてよい。
【0061】
顔照合ID110には、照合に成功した照合用顔画像に付与されているIDが設定される。つまり、顔照合ID110は、顔画像107に対応する人物1を証明するIDとも言える。照合に成功した照合用顔画像が存在しなかった場合(つまり顔照合に失敗した場合)、顔照合ID110にはNULLが設定されてよい。
【0062】
照合状況111には、顔画像107に対する照合の状況が設定される。例えば、照合状況111には、「照合要求前」、「照合中」、「照合成功」又は「照合失敗」のいずれかが設定される。
【0063】
移動方向112には、当該人物情報100が示す人物1の移動方向が設定される。例えば、移動方向には、第1方向、又は、第2方向のいずれかが設定される。
【0064】
管理装置50は、複数の人物情報100を人物情報テーブル(図示しない)として管理する。人物情報テーブルは、管理装置50が備えるメモリ1002又はストレージ1003(図37参照)に保持されてもよいし、管理装置50とは異なる装置に保持されてもよい。
【0065】
<管理装置における全体処理>
図7は、実施の形態1に係る管理装置50が行う全体処理の一例を示すフローチャートである。
【0066】
管理装置50は、第1エッジ装置41又は第2エッジ装置42から顔検出情報(図5のステップS107を参照)を受信したか否かを判定する(S201)。
【0067】
管理装置50は、顔検出情報を受信した場合(S201:YES)、顔検出情報処理を実行する(S202)。なお、顔検出情報処理の詳細については後述する(図8参照)。
【0068】
管理装置50は、顔検出情報を受信していない場合(S202:NO)、第1エッジ装置41又は第2エッジ装置42から身体検出情報(図5のステップS112を参照)を受信したか否かを判定する(S203)。
【0069】
管理装置50は、身体検出情報を受信した場合(S203:YES)、身体検出情報処理を実行する(S204)。なお、身体検出情報処理の詳細については後述する(図9参照)。
【0070】
管理装置50は、身体検出情報を受信していない場合(S203:NO)、顔照合結果情報を受信したか否かを判定する(S205)。顔照合結果情報は、後述する図8において管理装置50から顔照合装置60へ送信された顔照合要求に対して顔照合装置60から返信される情報であり、顔照合の結果(例えば照合成功又は照合失敗)を含む情報である。
【0071】
管理装置50は、顔照合結果情報を受信した場合(S205:YES)、顔照合結果情報処理を実行する(S206)。なお、顔照合結果情報処理の詳細については後述する(図11参照)。
【0072】
管理装置50は、顔照合結果情報を受信していない場合(S205:NO)、処理をステップS201に戻す。
【0073】
管理装置50は、顔検出情報処理(S202)又は身体検出情報処理(S204)を実行した後、移動後処理を実行し(S210)、処理をステップS201に戻す。なお、移動後処理の詳細については後述する(図10参照)。なお、本実施形態では、ステップS201、ステップS203およびステップS205の処理を段階的に行っているが、これに限定されず、ステップS201、ステップS203およびステップS205の処理を入れ替えてもよく、また同時並行で処理してもよい。
【0074】
<管理装置における顔検出情報処理>
図8は、図7に示す顔検出情報処理(S202)の一例を示すフローチャートである。
【0075】
管理装置50は、第1エッジ装置41又は第2エッジ装置42から受信した顔検出情報に対応する人物情報100を、人物情報テーブルから検出する(S301)。本実施の形態において、顔検出情報に対応する人物情報100とは、顔検出情報が示す人物1と同一人物のものと推定される人物情報100である。なお、顔検出情報が示す人物1と同一人物のものと推定される人物情報100を人物情報テーブルから検出する方法の詳細については後述する(図15A図15B参照)。
【0076】
管理装置50は、ステップS301において人物情報テーブルから人物情報100を検出できたか否かを判定する(S302)。
【0077】
次に、ステップS302において人物情報テーブルから人物情報100を検出できなかったと判定された場合(S302:NO)について説明する。
【0078】
管理装置50は、顔検出情報に基づき、新規の人物情報100を生成する(S303)。このとき、管理装置50は、次の内容を新規の人物情報100に設定する。
・人物情報100の追跡ID101に、新規の追跡IDを設定
・人物情報100の顔画像107に、顔検出情報に含まれる顔画像220を設定
・人物情報100の顔座標109に、顔検出情報に含まれる顔座標221を設定
・人物情報100の初回画像撮影時刻102に、最先の顔検出情報に含まれる撮影時刻(つまり最先に取得される撮影時刻)を設定
・人物情報100の照合状況111に、「照合要求前」を設定
【0079】
管理装置50は、顔検出情報に対応する人物1の移動方向を検出し、その検出した移動方向を、ステップS303にて生成した人物情報100の移動方向112に設定する(S304)。なお、人物の移動方向を検出する方法の詳細については後述する(図16参照)。
【0080】
管理装置50は、ステップS303及びステップS304にて生成及び設定した人物情報100を、人物情報テーブルに新規登録する(S305)。
【0081】
管理装置50は、顔画像107及び追跡ID101を含む顔照合要求を顔照合装置60へ送信し、当該人物情報100の照合状況111を「照合中」に更新する(S306)。そして、管理装置50は、本処理を完了する。
【0082】
次に、ステップS302において人物情報テーブルから人物情報100を検出できたと判定された場合(S302:YES)について説明する。
【0083】
管理装置50は、顔検出情報に基づき、ステップS301にて検出した人物情報100の内容を更新する(S310)。例えば、管理装置50は、検出した人物情報100を次のように更新する。
・人物情報100の顔座標109を、顔検出情報に含まれる顔座標221に更新
・人物情報100の画像更新時刻103及び顔画像更新時刻108を、顔検出情報に含まれる撮影時刻に更新
【0084】
管理装置50は、検出した人物情報100の照合状況111が「照合要求前」又は「照合失敗」であるか否かを判定する(S311)。照合状況111が「照合要求前」又は「照合失敗」でない場合(S311:NO)、管理装置50は、本処理を完了する。
【0085】
照合状況111が「照合要求前」又は「照合失敗」である場合(S311:YES)、管理装置50は、顔画像107及び追跡ID101を含む顔照合要求を顔照合装置60へ送信し、当該人物情報100の照合状況111を「照合中」に更新する(S312)。そして、管理装置50は、本処理を完了する。
【0086】
<制御装置における身体検出情報処理>
図9は、図7に示す身体検出情報処理(S204)の一例を示すフローチャートである。
【0087】
管理装置50は、第1エッジ装置41又は第2エッジ装置42から受信した身体検出情報に対応する人物情報100を、人物情報テーブルから検出する(S401)。本実施の形態において、身体検出情報に対応する人物情報100とは、身体検出情報が示す人物1と同一人物のものと推定される人物情報100である。なお、身体検出情報が示す人物1と同一人物のものと推定される人物情報100を人物情報テーブルから検出する方法の詳細については後述する(図15A図15B参照)。
【0088】
管理装置50は、ステップS401において人物情報テーブルから人物情報100を検出できたか否かを判定する(S402)。
【0089】
次に、ステップS402において人物情報テーブルから人物情報100を検出できなかったと判定された場合(S402:NO)について説明する。
【0090】
管理装置50は、受信した身体検出情報に基づき、新規の人物情報100を生成する(S403)。このとき、管理装置50は、次の内容を新規の人物情報100に設定する。
・人物情報100の追跡ID101に、新規の追跡IDを設定
・人物情報100の身体画像104に、身体検出情報に含まれる身体画像200を設定
・人物情報100の身体座標106に、身体検出情報に含まれる身体座標202をそれぞれ設定
・人物情報100の初回画像撮影時刻102に、最先の身体検出情報に含まれる撮影時刻(つまり最先に取得される撮影時刻)を設定
【0091】
管理装置50は、身体検出情報に対応する人物1の移動方向を検出し、その検出した移動方向を、ステップS403にて生成した人物情報100の移動方向112に設定する(S404)。なお、人物1の移動方向を検出する方法の詳細については後述する(図16参照)。
【0092】
管理装置50は、ステップS403及びステップS404にて生成及び設定した人物情報100を、人物情報テーブルに新規登録する(S405)。そして、管理装置50は、本処理を完了する。
【0093】
次に、ステップS402において人物情報テーブルから人物情報100を検出できたと判定された場合(S402:YES)について説明する。
【0094】
管理装置50は、身体検出情報に基づき、ステップS401にて検出した人物情報100の内容を更新する(S410)。例えば、管理装置50は、検出した人物情報100を次のように更新する。
・人物情報100の身体座標106を、身体検出情報に含まれる身体座標202に更新
・人物情報100の画像更新時刻103及び身体画像更新時刻105を、身体検出情報に含まれる身体撮影時刻に更新
【0095】
そして、管理装置50は、本処理を完了する。
【0096】
<管理装置における移動後処理>
図10は、図7に示す移動後処理(S210)の一例を示すフローチャートである。
【0097】
管理装置50は、対象人物情報に基づき、人物移動情報を生成する(S501)。本実施の形態において、対象人物情報とは、図8に示す顔検出情報処理において、人物情報テーブルから検出された人物情報100又は新規に生成された人物情報100、あるいは、図9に示す身体検出情報処理において、人物情報テーブルから検出された人物情報100又は新規に生成された人物情報100である。このとき、管理装置50は、次の内容を人物移動情報に設定する。
・追跡ID
・ゾーン情報
・顔画像(ただし、顔画像がない場合は身体画像)
・照合状況
・顔照合ID
【0098】
ここで、ゾーン情報は、対象人物情報に対応する人物1が、検出領域3における顔照合ゾーン301又は通行判定ゾーン302のいずれに位置するかを示す情報である。顔照合ゾーン301及び通行判定ゾーン302の詳細については後述する(図13参照)。
【0099】
管理装置50は、対象人物情報の移動方向が、第1方向又は第2方向のいずれであるかを判定する(S502)。
【0100】
移動方向が第1方向である場合(S502:第1方向)、管理装置50は、ステップS501にて生成した人物移動情報を第1エッジ装置41へ送信し(S503)、本処理を完了する。
【0101】
移動方向が第2方向である場合(S502:第2方向)、管理装置50は、ステップS501にて生成した人物移動情報を第2エッジ装置42へ送信し(S504)、本処理を完了する。
【0102】
<制御装置における顔照合結果情報処理>
図11は、図7に示す顔照合結果情報処理(S206)の一例を示すフローチャートである。
【0103】
管理装置50は、顔照合装置60から受信した顔照合結果情報の内容を、人物情報テーブルにおける、当該顔照合結果情報に対応する人物情報100に設定する(S601)。
例えば、管理装置50は、顔照合結果情報の内容を、次のように人物情報100に設定する。
・顔照合結果情報の顔照合IDを、人物情報100の顔照合ID110に設定
・顔照合結果情報の照合結果(照合成功又は照合失敗)を、人物情報100の照合状況111に設定
【0104】
管理装置50は、ステップS601にて設定された人物情報100に基づき、人物照合情報を生成する(S602)。
このとき、管理装置50は、次の内容を人物照合情報に設定する。
・追跡ID
・ゾーン情報
・顔画像
・照合状況
・顔照合ID
【0105】
管理装置50は、ステップS601にて設定された人物情報100の移動方向112が、第1方向又は第2方向のいずれであるかを判定する(S603)。
【0106】
移動方向112が第1方向である場合(S602:第1方向)、管理装置50は、ステップS602にて生成した人物照合情報を第1エッジ装置41へ送信し(S604)、本処理を完了する。
【0107】
移動方向112が第2方向である場合(S602:第2方向)、管理装置50は、ステップS602にて生成した人物照合情報を第2エッジ装置42へ送信し(S605)、本処理を完了する。
【0108】
<第1エッジ装置における表示処理>
図12は、実施の形態1に係る第1エッジ装置41が行う表示処理の一例を示すフローチャートである。なお、実施の形態1に係る第2エッジ装置42が行う表示処理については、以下の図12を参照した説明において、「第1エッジ装置41」を「第2エッジ装置42」と読み替え、「第1表示装置31」を「第2表示装置32」と読み替え、「第1方向」を「第2方向」と読み替えればよい。
【0109】
第1エッジ装置41は、管理装置50から、人物移動情報又は人物照合情報を受信したか否かを判定する(S701)。第1エッジ装置41は、人物移動情報及び人物照合情報のいずれも受信していない場合(S701:NO)、処理をステップS701に戻す。第1エッジ装置41は、人物移動情報又は人物照合情報のいずれかを受信した場合(S701:YES)、次の処理を行う。
【0110】
第1エッジ装置41は、受信した人物移動情報又は人物照合情報に含まれる追跡IDに対応する顔画像又は身体画像が、第1表示装置31に表示されているか否かを判定する(S702)。
【0111】
追跡IDに対応する顔画像又は身体画像が第1表示装置31に表示されていない場合(S702:NO)、第1エッジ装置41は、人物移動情報又は人物照合情報に含まれる、顔画像又は身体画像と照合状況とを第1表示装置31に新たに表示する(S703)。そして、第1エッジ装置41は、処理をステップS701に戻す。
【0112】
追跡IDに対応する顔画像又は身体画像が第1表示装置31に表示されている場合(S702:YES)、第1エッジ装置41は、当該表示されている顔画像又は身体画像と照合状況とを、人物移動情報又は人物照合情報に含まれる顔画像又は身体画像と照合状況とに更新して表示する(S704)。そして、第1エッジ装置41は、処理をステップS701に戻す。
【0113】
これにより、第1表示装置31には、図2に示すように、第1方向に移動している各人物1の顔画像又は身体画像と照合状況(例えば照合成功又は照合失敗等)とを示す照合結果画像が表示される。よって、第1方向に移動している各人物1は、移動方向先に設置されている第1表示装置31から、自分の照合結果を視認することができる。
【0114】
同様に、第2表示装置32には、図2に示すように、第2方向に移動している各人物1の顔画像又は身体画像と照合状況(例えば照合成功又は照合失敗等)とを示す照合結果画像が表示される。よって、第2方向に移動している各人物1は、移動方向先に設置されている第2表示装置32から、自分の照合結果を視認することができる。
【0115】
上述した表示処理に関する内容は次のように表現できる。すなわち、管理装置50は、第1ゲート11と第2ゲート12との間を移動する各人物1の移動方向を検出し、第1方向に移動する人物1の顔画像220の照合結果を、第1表示装置31に表示させ、第2表示装置32に表示させず、第2方向に移動する人物1の顔画像220の照合結果を、第2表示装置32に表示させ、第1表示装置31に表示させない。
【0116】
これにより、人物1の移動方向に設置されている表示装置に当該人物1の照合結果が表示され、人物1の移動方向と反対に設置されている表示装置には当該人物の照合結果が表示されない。よって、管理装置50は、通路2を第1方向に移動する人物1と第2方向に移動する人物1とのそれぞれに対して、適切に照合結果を見せることができる。
【0117】
<表示パターン>
図13は、実施の形態1に係る検出領域3における顔照合ゾーン301と通行判定ゾーン302とを示す図である。なお、以下では、第1ゲート11及び第1方向を例に説明するが、第2ゲート12及び第2方向についても同様である。
【0118】
第1ゲート11の第1撮影装置21が撮影する撮影画像は、第1方向に移動する人物1の顔照合に用いられる。検出領域3において、第2ゲート12に近い所定の領域を顔照合ゾーン301とし、第1ゲート11に近い所定の領域を通行判定ゾーン302とする。第1エッジ装置41は、人物1が顔照合ゾーン301と通行判定ゾーン302のどちらに位置するかによって、第1表示装置31における表示パターンを変化させてよい。次に、当該表示パターンについて説明する。
【0119】
図14は、実施の形態1に係る第1表示装置31における表示パターンの一例を説明するための図である。なお、第2表示装置32における表示パターンについては、以下の図14を参照した説明において、「第1エッジ装置41」を「第2エッジ装置42」と読み替え、「第1表示装置31」を「第2表示装置32」と読み替えればよい。
【0120】
人物1が検出領域3の外側(ゾーン外)に位置する場合、第1エッジ装置41は、第1表示装置31に人物1の照合結果画像を表示しない。
【0121】
人物1が顔照合ゾーン301に位置する場合、第1エッジ装置41は、次のパターン(A0)から(A3)ように第1表示装置31の表示を制御する。
(A0)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合中」である場合、当該人物1の顔画像220と「照合中」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。
(A1)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合成功」である場合、当該人物1の顔画像220と「照合成功」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、照合成功音を出力してもよい。
(A2)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合失敗」である場合、当該人物1の顔画像220と「照合失敗」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、照合失敗音を出力してもよい。
(A3)第1エッジ装置41は、人物1の顔画像220が存在せず、身体画像200が存在する場合、当該人物1の身体画像200と「警告」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、警告音を出力してもよい。
【0122】
人物1が通行判定ゾーン302に位置する場合、第1エッジ装置41は、次のパターン(A4)から(A7)のように第1表示装置31の表示を制御する。
(A4)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合中」である場合、当該人物1の顔画像220と「照合中」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。
(A5)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合成功」である場合、当該人物1の顔画像220と「通過」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、通過音を出力してもよい。
(A6)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合失敗」である場合、当該人物1の顔画像220と「不正通行」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、不正通行音を出力してもよい。
(A7)第1エッジ装置41は、人物1の顔画像220が存在せず身体画像200が存在する場合、当該人物1の身体画像200と「不正通行」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、不正通行音を出力してもよい。
【0123】
なお、表示優先度は次のように設定されてもよい。
・顔照合ゾーン301よりも通行判定ゾーン302の方が表示優先度は高い。
・「通過中」メッセージの表示優先度が最も高く、次に「照合成功」メッセージの表示優先度が高い。
・顔画像220がある場合、「照合中」メッセージの表示優先度が最も低い。
・身体画像200のみよりも顔画像220がある方が表示優先度が高い。
【0124】
例えば、上述したパターン(A0)から(A7)の表示優先度は、低い順から高い順に次のように設定されてよい。
(A3)<(A7)<(A0)<(A4)<(A2)<(A6)<(A1)<(A5)
【0125】
<同一人物の人物情報を検出する方法>
図15A及び図15Bは、実施の形態1に係る身体検出情報が示す人物1と同一人物のものと推定される人物情報100を人物情報テーブルから検出する方法を説明するための図である。なお、図15では、人物1が第1方向に移動しているとして説明する。人物1が第2方向に移動している場合については、以下の図15を参照した説明における、「第1撮影装置21」を「第2撮影装置22」と読み替え、「第2撮影装置22」を「第1撮影装置21」と読み替えればよい。
【0126】
第1撮影装置21が撮影した第1方向に移動している人物1の身体画像200には、当該人物1の正面の身体が映っている。以下、当該正面の身体画像200から算出される身体座標201AのX座標及びY座標を、それぞれ、身体正面のX座標201Ax及びY座標201Ayと称する。また、第1撮影装置21が撮影した第1方向に移動している人物1の顔画像220には、当該人物1の正面の顔が映っている。以下、当該正面の顔画像220から算出される顔座標221AのX座標及びY座標を、それぞれ、顔正面のX座標221Ax及びY座標221Ayと称する。
【0127】
第2撮影装置22が撮影した第1方向に移動している人物1の身体画像200には、当該人物1の背面の身体が映っている。以下、当該背面の身体画像200から算出される身体座標201BのX座標及びY座標を、それぞれ、身体背面のX座標201Bx及びY座標201Byと称する。
【0128】
図15Aに示すように、身体正面のY座標201Ayと、身体背面のY座標201Byとは、人物1の身体の前後方向の厚みの分、離れている。したがって、身体正面のY座標201Ayと身体背面のY座標201Byとの位置差分が、身体の厚みに基づく所定の閾値(以下、身体厚み閾値と称する)Wよりも小さい場合、当該身体正面のY座標201Ayと当該身体背面のY座標201Byとは、同一人物のY座標に相当すると推定できる。身体厚み閾値Wは、平均的な身体の厚みよりも少し大きい値であってよい。同様に、顔正面のY座標221Ayと身体背面のY座標201Byとの位置差分が、身体厚み閾値Wよりも小さい場合、当該顔正面のY座標221Ayと当該身体背面のY座標201Byとは、同一人物のY座標であると推定できる。
【0129】
また、図15Bに示すように、受信した身体検出情報に含まれる身体座標201AのX座標201Ax(つまり現在のX座標)と、人物情報100に含まれる身体座標201AのX座標201Ax(つまり過去のX座標)とのX成分変化量が所定の閾値(以下、身体幅閾値と称する)W2以下である場合、現在の身体座標のX座標201Axと過去の身体座標のX座標201Axとは、同一人物のX座標であると推定できる。なお、身体座標201Aに代えて、顔座標221Aが用いられてもよい。
【0130】
すなわち、管理装置50は、受信した身体検出情報に含まれる身体座標201(又は顔座標221)のX座標と、人物情報100に含まれる身体座標201(又は顔座標221)のX座標との位置差分が身体幅閾値W2以下であり、かつ、受信した身体検出情報に含まれる身体座標201のY座標と、人物情報100に含まれる身体座標201のY座標又は顔座標221のY座標との位置差分が身体厚み閾値Wよりも小さい人物情報100を、人物情報テーブルから検出できた場合、その検出できた当該人物情報100を、当該身体検出情報が示す人物1と同一人物のものであると推定してよい。
【0131】
同様に、管理装置50は、受信した身体検出情報に含まれる身体座標201(又は顔座標221)のX座標と、人物情報100に含まれる身体座標201(又は顔座標221)のX座標との位置差分が身体幅閾値W2以よりも小さく、かつ、受信した顔検出情報に含まれる顔座標221のY座標と、人物情報100に含まれる身体座標201のY座標又は顔座標221のY座標との位置差分が身体厚み閾値Wよりも小さい人物情報100を、人物情報テーブルから検出できた場合、その検出できた当該人物情報100を、当該顔検出情報が示す人物1と同一人物のものであると推定してよい。
【0132】
なお、上述したX座標の位置差分と身体幅閾値W2に関する条件、並びに、Y座標の位置差分と身体厚み閾値Wに関する条件は、顔検出情報に含まれる顔撮影時刻又は身体検出情報に含まれる身体撮影時刻と、人物情報100に含まれる顔画像更新時刻108又は身体画像更新時刻105との時間差分が十分に小さい場合(つまり当該時間差分が所定の時間閾値Tよりも小さい場合)に成立する。人物1は移動しているため、時間差分が大きいと、上述したX座標の位置差分と身体幅閾値W2に関する条件、並びに、Y座標の位置差分と身体厚み閾値Wに関する条件を満たす人物情報100は、過去にその位置にいた別の人物のものである可能性が高くなってしまうためである。
【0133】
すなわち、図8のステップS301では、次の処理が行われてよい。管理装置50は、顔検出情報に含まれる顔撮影時刻と人物情報100に含まれる顔画像更新時刻108又は身体画像更新時刻105との時間差分が所定の時間閾値T未満であり、顔検出情報に含まれる顔座標221のX座標と人物情報100に含まれる顔座標109のX座標との位置差分が身体幅閾値W2よりも小さく、かつ、顔検出情報に含まれる顔座標221のY座標と人物情報100に含まれる顔座標109のY座標又は身体座標106のY座標との位置差分が身体厚み閾値Wよりも小さくなる人物情報100を、人物情報テーブルから検出する。
【0134】
また、図9のステップS401では、次の処理が行われてよい。管理装置50は、身体検出情報に含まれる身体撮影時刻と人物情報100に含まれる顔画像更新時刻108又は身体画像更新時刻105との時間差分が所定の時間閾値T未満であり、身体検出情報に含まれる身体座標201のX座標と人物情報100に含まれる身体座標106のX座標との位置差分が身体幅閾値W2よりも小さく、かつ、身体検出情報に含まれる身体座標201のX座標と人物情報100に含まれる顔座標109のY座標又は身体座標106のY座標との位置差分が身体厚み閾値Wよりも小さくなる人物情報100を、人物情報テーブルから検出する。
【0135】
上述した内容は以下のように表現できる。すなわち、管理装置50は、第1撮影装置21にて撮影された第1の画像(例えば身体画像200又は顔画像220)に含まれる人物1の位置(例えば身体座標201又は顔座標221)と、第2撮影装置22にて撮影された第2の画像(例えば身体画像200又は顔画像220)に含まれる人物1の位置(例えば身体座標201又は顔座標221)との差分が、人物の身体の厚みに基づく所定の閾値Wよりも小さい場合、第1の画像に含まれる人物1の位置と第2の画像に含まれる人物1の位置とは、同一人物の位置を示すと推定する。
【0136】
これにより、管理装置50は、例えば、人物1の正面を撮影した第1の画像と、人物1の背面を撮影した第2の画像とが、同一人物のものであるか否かを推定することができる。
【0137】
<人物の移動方向を検出する方法>
図16は、実施の形態1に係る人物1の移動方向を検出する方法を説明するための図である。
【0138】
管理装置50は、例えば、次の第1の方法、第2の方法、又は、第3の方法のいずれかによって人物1の移動方向を検出する。
【0139】
<<第1の方法>>
管理装置50は、人物情報100に含まれる顔座標109又は身体座標106の時間経過に伴う移動方向に基づいて、当該人物情報100の移動方向112を検出する。例えば、管理装置50は、人物情報100に含まれる顔座標109のY座標又は身体座標106のY座標が、時間経過に伴ってY軸の負方向に移動していることを検出した場合、当該人物1の移動方向112を第1方向と検出する。管理装置50は、人物情報100に含まれる顔座標109のY座標又は身体座標106のY座標が、時間経過に伴ってY軸の正方向に移動していることを検出した場合、当該人物1の移動方向112を第2方向と検出する。
【0140】
<<第2の方法>>
管理装置50は、初めて検出された人物1の撮影画像が、第1撮影装置21で撮影されたものであるか、または第2撮影装置22で撮影されたものであるかを撮影装置IDに基づいて判定する。管理装置50は、初めて検出された人物1の撮影画像が第1撮影装置21で撮影されたものである場合、当該人物1の移動方向112を第1方向と検出する。第2ゲート12から検出領域3に進入してきた人物1は、第1ゲート11に備えられる第1撮影装置21に最初に撮影されるためである。管理装置50は、初めて検出された人物1の撮影画像が第2撮影装置22で撮影されたものである場合、当該人物1の移動方向112を第2方向と検出する。第1ゲート11から検出領域3に進入してきた人物1は、第2ゲート12に備えられる第2撮影装置22に最初に撮影されるためである。
【0141】
<<第3の方法>>
図16に示すように、管理装置50は、初めて検出された人物1の顔座標109又は身体座標106が、検出領域3のうち第2ゲート12に近い方の所定領域312に含まれる場合、当該人物1の移動方向112を第1方向と検出する。第2ゲート12から検出領域3に進入してきた人物1は、第2ゲート12に近い方の所定領域312に最初に進入するためである。管理装置50は、初めて検出された人物1の顔座標109又は身体座標106が、検出領域3のうち第1ゲート11に近い方の所定領域311に含まれる場合、当該人物1の移動方向112を第2方向と検出する。第1ゲート11から検出領域3に進入してきた人物1は、第1ゲート11に近い方の所定領域311に最初に進入するためである。
【0142】
(実施の形態2)
実施の形態2では、実施の形態1にて説明した顔照合に失敗した人物についても、所定の条件を満たした場合に、通行を許可するゲートシステム9について説明する。例えば、従業員が来客を連れてゲートシステム9を通行する場合、従業員の顔画像は登録済みであるが、来客の顔画像は未登録であるため、実施の形態1に示したゲートシステム9をそのまま使用すると、来客は全員、照合失敗となる。これを回避するために、ゲートシステム9を通行する前に来客全員の顔を撮影して一時的に顔画像を登録する方法も考えられる。しかし、一時的とはいえ顔が撮影されて顔画像が登録されることに抵抗を感じる来客もおり、また、来客が多数の場合、一人ひとりの顔を撮影していると時間がかかってしまう。そこで、以下では、顔画像が登録済みであり顔照合に成功する人物(例えば従業員)が連れている人物(例えば来客)については、顔画像を登録しなくても通行を許可することができるゲートシステム9について説明する。
【0143】
なお、実施の形態2では、実施の形態1にて説明済みの構成要素については、共通の参照符号を付して説明を省略する場合がある。また、実施の形態1の内容は、実施の形態2に組み込まれてよい。
【0144】
<共連れ判定ゾーンの設定及び処理>
図17は、実施の形態2に係る検出領域3に、顔照合ゾーン301と通行判定ゾーン302と共連れ判定ゾーン303とを設定する例を示す図である。
【0145】
管理装置50は、検出領域3に、顔照合ゾーン301と、通行判定ゾーン302と、共連れ判定ゾーン303とを設定する。例えば、図17に示すように、管理装置50は、第1方向の入口側に顔照合ゾーン301と共連れ判定ゾーン303とを設定し、第1方向の出口側に通行判定ゾーン302を設定する。なお、共連れ判定ゾーン303は、検出領域3の全体に設定されてもよい。また、顔照合ゾーン301は、第1領域と読み替えられ、共連れ判定ゾーン303は、第2領域と読み替えられてもよい。
【0146】
次に、図17に示すようなゾーンを設定した場合に管理装置50が行う処理について、図18を参照して説明する。
【0147】
図18は、実施の形態2に係る検出領域3に顔照合ゾーン301と共連れ判定ゾーン303と通行判定ゾーン302とを設定する場合に管理装置50が行う処理の一例を示すフローチャートである。
【0148】
なお、図18に示す処理は、一人の追跡人物に対する処理であり、管理装置50は、検出領域3から検出した複数の追跡人物のそれぞれに対して、図18に示す処理を実行する。
【0149】
管理装置50は、実施の形態1にて説明した方法により、検出領域3に進入した人物を追跡人物として検出する(S1001)。
【0150】
管理装置50は、追跡人物が顔照合ゾーン301、共連れ判定ゾーン303、及び、通行判定ゾーン302のいずれに位置しているかを判定する(S1002)。
【0151】
管理装置50は、追跡人物が顔照合ゾーン301に位置していると判定した場合(S1002:顔照合ゾーン)、顔照合処理を実行し(S1003)、処理をステップS1010に進める。なお、顔照合処理の詳細については後述する(図19参照)。
【0152】
管理装置50は、追跡人物が共連れ判定ゾーン303に位置していると判定した場合(S1002:共連れ判定ゾーン)、顔照合及び共連れ判定処理を実行し(S1004)、処理をステップS1010に進める。なお、顔照合及び共連れ判定処理の詳細については後述する(図20参照)。
【0153】
管理装置50は、追跡人物が通行判定ゾーン302に位置していると判定した場合(S1002:通行判定ゾーン)、通行判定処理を実行し(S1005)、処理をステップS1010に進める。なお、通行判定処理の詳細については後述する(図21参照)。
【0154】
管理装置50は、追跡人物の追跡を終了するか否かを判定する(S1010)。例えば、管理装置50は、追跡人物が検出領域3から検出されなくなった場合、追跡人物の追跡を終了する。管理装置50は、追跡人物の追跡を継続する場合(S1010:NO)、処理をステップS1002に戻し、追跡人物の追跡を終了する場合(S1010:YES)、本処理を終了する。
【0155】
<顔照合処理のフローチャート>
図19は、実施の形態2に係る顔照合処理の一例を示すフローチャートである。当該図19に示す処理は、図18に示すステップS1003の処理の詳細に相当する。
【0156】
管理装置50は、実施の形態1にて説明した方法により、追跡人物の顔照合を実施する(S1101)。このとき、管理装置50は、顔照合を開始してから顔照合の結果を表示するまで、照合中のメッセージを第1表示装置31に表示してもよい。
【0157】
管理装置50は、顔照合に成功したか否かを判定する(S1102)。
【0158】
管理装置50は、顔照合に成功した場合(S1102:YES)、照合成功のメッセージを第1表示装置31に表示する(S1103)。そして、管理装置50は、追跡人物に通行許可フラグを付与し(S1104)、本処理を完了する。
【0159】
管理装置50は、顔照合に失敗した場合(S1102:NO)、照合失敗のメッセージを第1表示装置31に表示し(S1105)、本処理を完了する。
【0160】
なお、管理装置50は、一度顔照合に成功又は失敗した追跡人物については、当該図19に示す処理を省略してもよい。本処理の完了後は、図18に示すステップS1010の処理が実行される。
【0161】
<第1例:顔照合及び共連れ判定処理のフローチャート>
図20は、実施の形態2に係る顔照合及び共連れ判定処理の第1例を示すフローチャートである。当該図20に示す処理は、図18に示すステップS1004の処理の詳細に相当する。
【0162】
管理装置50は、実施の形態1にて説明した方法により、追跡人物の顔照合を実施する(S1201)。
【0163】
管理装置50は、顔照合に成功したか否かを判定する(S1202)。
【0164】
管理装置50は、顔照合に成功した場合(S1202:YES)、共連れ判定ゾーン303において共連れ許可モード中であることを示すメッセージを第1表示装置31に表示する(S1203)。そして、管理装置50は、追跡人物に通行許可フラグを付与し(S1204)、本処理を終了する。
【0165】
管理装置50は、顔照合に失敗した場合(S1202:NO)、共連れ許可判定中のメッセージを第1表示装置31に表示する(S1205)。そして、管理装置50は、この顔照合に失敗した追跡人物とは別に、すでに顔照合に成功した人物(つまり顔登録人物1A)が共連れ判定ゾーン303内に存在するか否かを判定する(S1206)。
【0166】
すでに顔照合に成功した人物が共連れ判定ゾーン303内に存在しない場合(S1206:NO)、管理装置50は、共連れ許可判定中のメッセージを第1表示装置31に表示し(S1210)、本処理を終了する。
【0167】
すでに顔照合に成功した人物が共連れ判定ゾーン303内に存在する場合(S1206:YES)、管理装置50は、共連れ判定ゾーン303内において顔照合に失敗した追跡人物(つまり顔未登録人物1B)を、顔照合に成功した人物(例えば従業員)が連れてきた共連れ人物1C(例えば来客)であると判定する(S1207)。
【0168】
管理装置50は、共連れ人物1Cの通行を許可する旨のメッセージを第1表示装置31に表示する(S1208)。
【0169】
管理装置50は、顔照合に失敗した追跡人物(つまり共連れ人物1C)に通行許可フラグを付与し(S1209)、本処理を終了する。
【0170】
すなわち、管理装置50は、共連れ判定ゾーン303では、当該共連れ判定ゾーン303に存在する追跡人物に対して顔照合を行い、当該顔照合に成功した顔登録人物1A(例えば従業員)の通行を許可すると共に、当該顔登録人物1Aが共連れ判定ゾーン303に存在する間、共連れ判定ゾーン303に存在する顔照合に失敗した顔未登録人物1B(例えば来客)を顔登録人物1Aの共連れ人物1Cとして通行を許可する。一方、管理装置50は、顔登録人物1Aが共連れ判定ゾーン303に存在しない場合、顔未登録人物1Bの通行を許可しない。なお、顔登録人物1Aは、第1の人物と読み替えられ、顔未登録人物1Bは、第2の人物と読み替えられてもよい。
【0171】
これにより、顔画像が登録済みであり顔照合に成功する顔登録人物1Aが連れてきた共連れ人物1Cは、共連れ判定ゾーン303を通ることにより、顔登録を行うことなく、通路2を通行することができる。また、顔登録人物1Aが連れてきた人物ではなく、顔照合に失敗する顔未登録人物1Bは、顔照合ゾーン301はもちろんのこと、共連れ判定ゾーン303を通行することができない。
【0172】
<通行判定処理のフローチャート>
図21は、実施の形態2に係る通行判定処理の一例を示すフローチャートである。当該図21に示す処理は、図18に示すステップS1005の処理の詳細に相当する。
【0173】
管理装置50は、追跡人物に通行許可フラグが付与されているか否かを判定する(S1301)。
【0174】
管理装置50は、追跡人物に通行許可フラグが付与されている場合(S1301:YES)、通行可能のメッセージを第1表示装置31に表示し(S1302)、本処理を完了する。
【0175】
管理装置50は、追跡人物に通行許可フラグが付与されていない場合(S1301:NO)、不正通行のメッセージを第1表示装置31に表示する(S1303)。
【0176】
管理装置50は、通行許可フラグが付与されていない状態で通行中である、メモリ1002に記憶されている追跡人物(共連れ人物1Cも含む)の顔画像を、例えば入退場を監視するスタッフの端末に送信し(S1304)、本処理を完了する。
【0177】
これにより、顔照合ゾーン301において通行許可フラグを付与された追跡人物、及び、共連れ判定ゾーン303において通行許可フラグを付与された追跡人物(共連れ人物1Cも含む)は、通行判定ゾーン302を通行することができる。
【0178】
<第2例:顔登録人物の動作に応じて共連れ判定ゾーンを有効にする>
図22は、実施の形態2に係る顔照合及び共連れ判定処理の第2例を示すフローチャートである。当該図22に示す処理は、図18に示すステップS1004の処理の詳細に相当する。次に、図22を参照しながら、顔登録人物1Aが共連れ判定ゾーン303に存在し、かつ、第1の動作を行った場合に、共連れ判定ゾーン303を有効とする処理について説明する。
【0179】
管理装置50は、実施の形態1にて説明した方法により、追跡人物の顔照合を実施する(S1401)。
【0180】
管理装置50は、顔照合に成功したか否かを判定する(S1402)。
【0181】
まず、顔照合に成功した場合(S1402:YES)について説明する。
【0182】
管理装置50は、顔照合に成功した場合(S1402:YES)、照合成功のメッセージを第1表示装置31に表示する(S1403)。
【0183】
管理装置50は、追跡人物に通行許可フラグを付与する(S1404)。
【0184】
管理装置50は、追跡人物(つまり顔登録人物1A)が第1の動作を行っているか否かを判定する(S1405)。例えば、管理装置50は、第1の動作として、顔登録人物1Aが、共連れ判定ゾーン303において、一定時間立ち止まっているか否かを判定する。なお、第1の動作は、一定時間立ち止まる動作に限らず、例えば、顔登録人物1Aが所定のポーズを行っている動作(例えば手を挙げている動作)などであってもよい。
【0185】
管理装置50は、追跡人物(つまり顔登録人物1A)が第1の動作を行っていないと判定した場合(S1405:NO)、本処理を終了する。
【0186】
管理装置50は、追跡人物(つまり顔登録人物1A)が第1の動作を行っていると判定した場合(S1405:YES)、共連れ判定ゾーン303を共連れ許可モード中(つまり共連れ判定ゾーン303を有効)とする(S1406)。
【0187】
管理装置50は、共連れ許可モード中のメッセージを第1表示装置31に表示し(S1407)、本処理を終了する。
【0188】
次に、顔照合に成功した場合(S1402:NO)について説明する。
【0189】
管理装置50は、顔照合に失敗した場合(S1402:NO)、共連れ判定ゾーン303が共連れ許可モード中であるか否かを判定する(S1408)。
【0190】
共連れ判定ゾーン303が共連れ許可モード中でない場合(S1408:NO)、管理装置50は、追跡人物(つまり顔未登録人物1B)に対する照合失敗のメッセージを第1表示装置31に表示し(S1409)、本処理を終了する。
【0191】
共連れ判定ゾーン303が共連れ許可モード中である場合(S1408:YES)、管理装置50は、追跡人物(つまり顔未登録人物1B)に対する共連れ許可のメッセージを第1表示装置31に表示する(S1410)。そして、管理装置50は、追跡人物(つまり顔未登録人物1B)に通行許可フラグを付与して(S1411)、本処理を終了する。
【0192】
これにより、管理装置50は、顔登録人物1Aが共連れ判定ゾーン303において第1の動作を行っている間、共連れ判定ゾーン303を共連れ許可モード中とし、共連れ判定ゾーン303に存在する顔未登録人物1Bを当該顔登録人物1Aの共連れ人物1Cとして通行を許可することができる。また、管理装置50は、顔登録人物1Aが共連れ判定ゾーン303において第1の動作を行っていない場合、共連れ判定ゾーン303を共連れ許可モード中としない。これにより、顔登録人物1Aは、共連れ判定ゾーン303において第1の動作を行うか否かによって、共連れ判定ゾーン303を共連れ許可モード中とするか否かをコントロールできる。
【0193】
<第3例:顔登録人物の周囲に共連れ判定ゾーンを設定する>
図23は、実施の形態2に係る顔登録人物1Aの周囲に共連れ判定ゾーン303を設定する例を示す図である。図24は、実施の形態2に係る顔照合及び共連れ判定処理の第3例を示すフローチャートである。当該図24に示す処理は、図18に示すステップS1004の処理の詳細に相当する。
【0194】
次に、図23及び図24を参照しながら、顔登録人物1Aを含む所定の範囲に共連れ判定ゾーン303を設定する処理について説明する。
【0195】
管理装置50は、実施の形態1にて説明した方法により、追跡人物の顔照合を実施する(S1501)。
【0196】
管理装置50は、顔照合に成功したか否かを判定する(S1502)。
【0197】
まず、顔照合に成功した場合(S1502:YES)について説明する。
【0198】
管理装置50は、顔照合に成功した場合(S1502:YES)、照合成功のメッセージを第1表示装置31に表示する(S1503)。
【0199】
管理装置50は、追跡人物(つまり顔登録人物1A)に通行許可フラグを付与する(S1504)。
【0200】
管理装置50は、追跡人物(つまり顔登録人物1A)が第1の動作を行っているか否かを判定する(S1505)。
【0201】
管理装置50は、追跡人物(つまり顔登録人物1A)が第1の動作を行っていないと判定した場合(S1505:NO)、本処理を終了する。
【0202】
管理装置50は、追跡人物(つまり顔登録人物1A)が第1の動作を行っていると判定した場合(S1505:YES)、追跡人物(つまり顔登録人物1A)が存在する位置を含む所定の範囲を共連れ判定ゾーン303に設定する(S1506)。例えば、管理装置50は、図23に示すように、顔登録人物1Aを中心とする所定の半径の範囲を共連れ判定ゾーン303に設定する。なお、共連れ判定ゾーン303の形状は円に限られず、楕円形又は長方形等であってもよい。
【0203】
管理装置50は、共連れ許可モード中のメッセージを第1表示装置31に表示し(S1507)、本処理を終了する。
【0204】
次に、顔照合に失敗した場合(S1502:NO)について説明する。
【0205】
管理装置50は、顔照合に失敗した場合(S1502:NO)、追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在するか否かを判定する(S1508)。なお、管理装置50は、共連れ判定ゾーン303が設定されていない場合、追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在しないと判定する。
【0206】
追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在しない場合(S1508:NO)、管理装置50は、追跡人物(つまり顔未登録人物1B)に対する照合失敗のメッセージを第1表示装置31に表示し(S1509)、本処理を終了する。
【0207】
追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在する場合(S1508:YES)、管理装置50は、追跡人物(つまり顔未登録人物1B)に対する共連れ許可のメッセージを第1表示装置31に表示する(S1510)。そして、管理装置50は、追跡人物(つまり顔未登録人物1B)に通行許可フラグを付与し(S1511)、本処理を終了する。
【0208】
これにより、管理装置50は、顔登録人物1Aが第1の動作を行っている間、その顔登録人物1Aを含む所定の範囲に共連れ判定ゾーン303を設定し、共連れ判定ゾーン303に存在する顔未登録人物1Bを当該顔登録人物1Aの共連れ人物1Cとして通行を許可することができる。また、管理装置50は、顔登録人物1Aが第1の動作を行っていない場合、共連れ判定ゾーン303を設定しない。これにより、顔登録人物1Aは、第1の動作を行うか否かによって、共連れ判定ゾーン303を設定するか否かをコントロールできる。
【0209】
<第4例:顔登録人物と顔未登録人物が協調動作を行うことで顔未登録人物を共連れ人物とする>
図25は、実施の形態2に係る、顔登録人物1Aと顔未登録人物1Bが協調動作を行うことで当該顔未登録人物1Bを共連れ人物1Cとする第1の方法を説明するための図である。
【0210】
図25に示すように、管理装置50は、顔登録人物1Aに対する顔照合に成功した後、当該顔登録人物1Aと顔未登録人物1Bとの距離Lが所定の閾値以下、かつ、顔登録人物1Aと顔未登録人物1Bとが共に第1の動作(例えば一定時間立ち止まる動作)を行った場合(つまり顔登録人物1Aと顔未登録人物1Bが協調動作を行った場合)、顔未登録人物1Bを顔登録人物1Aの共連れ人物1Cとする。
【0211】
これにより、顔認証に成功した顔登録人物1Aと顔未登録人物1Bとが協調動作を行わない場合、顔未登録人物1Bは共連れ人物1Cと判定されない。よって、顔登録人物1Aが連れてきた人物でない顔未登録人物1Bを共連れ人物1Cと誤判定してしまう可能性を低減できる。
【0212】
図26は、実施の形態2に係る、顔登録人物1Aと顔未登録人物1Bが協調動作を行うことで当該顔未登録人物1Bを共連れ人物1Cとする第2の方法を説明するための図である。
【0213】
図26に示すように、管理装置50は、顔登録人物1Aに対する顔照合に成功した後、共連れ判定ゾーン303内において、当該顔登録人物1Aと顔未登録人物1Bとの距離Lが所定の閾値以下、かつ、顔登録人物1Aと顔未登録人物1Bとが共に第1の動作(例えば一定時間立ち止まる動作)を行った場合(つまり顔登録人物1Aと顔未登録人物1Bが協調動作を行った場合)、顔未登録人物1Bを顔登録人物1Aの共連れ人物1Cとする。共連れ判定ゾーン303は、図26に示すように、検出領域3の全体に設定されてもよいし、図17に示すように、検出領域3の一部に設定されてもよい。
【0214】
これにより、当該顔登録人物1Aと顔未登録人物1Bとの距離Lが所定の閾値以下であり、かつ顔認証に成功した顔登録人物1Aと顔未登録人物1Bとが協調動作を行った場合であったとしても、当該顔登録人物1A又は顔未登録人物Bが共連れ判定ゾーン303に存在しない場合は、顔未登録人物1Bは共連れ人物1Cと判定されない。よって、顔登録人物1Aが連れてきた人物でない顔未登録人物1Bを共連れ人物1Cと誤判定してしまう可能性を低減できる。
【0215】
図27は、図25又は図26に示す処理を行う場合の第1表示装置31における表示例を示す図である。
【0216】
管理装置50は、顔登録人物1Aに対する顔照合に成功した場合、図27(a)に示すように、第1表示装置31において、当該顔登録人物1Aに対して共連れ許可モード中のメッセージを表示し、顔未登録人物1Bに対して共連れ許可判定中のメッセージを表示する。
【0217】
そして、管理装置50は、当該顔登録人物1Aと顔未登録人物1Bとの距離Lが所定の閾値以下、かつ、顔登録人物1Aと顔未登録人物1Bとが共に第1の動作(例えば一定時間立ち止まる動作)を行った場合(つまり顔登録人物1Aと顔未登録人物1Bが協調動作を行った場合)、図27(b)に示すように、第1表示装置31において、顔未登録人物1Bに対して共連れ許可のメッセージを表示する。
【0218】
これにより、顔登録人物1Aは、第1表示装置31を見て、共連れ許可モード中であるか否かを認識できる。また、顔未登録人物1Bは、第1表示装置31を見て、共連れ許可判定中であるか否か、及び、共連れが許可されたか否かを認識できる。
【0219】
図28は、実施の形態2に係る顔照合及び共連れ判定処理の第4例を示すフローチャートである。当該図28に示す処理は、図18に示すステップS1004の処理の詳細に相当する。次に、図25図26図27及び図28を参照して、顔登録人物1Aと顔未登録人物1Bが協調動作を行うことで顔未登録人物1Bを共連れ人物1Cとする場合の顔照合及び共連れ判定処理について詳細に説明する。
【0220】
図28に示すS1601~S1605の処理は、図24に示すS1501~S1505の処理と共通であるので、ここでは説明を省略する。そして、ステップS1605の処理を実行した後、管理装置50は、追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在するか否かを判定する(S1606)。なお、図25のように、共連れ判定ゾーン303が存在しない場合、当該ステップS1606は省略され、ステップS1607の処理が実行されてよい。
【0221】
追跡人物(つまり顔未登録人物1B)が共連れゾーン303に存在しないと判定した場合(S1606:NO)、管理装置50は、本処理を終了する。
【0222】
追跡人物(つまり顔未登録人物1B)が共連れゾーン303に存在すると判定した場合(S1606:YES)、管理装置50は、共連れ許可モード中のメッセージを第1表示装置31に表示し(S1607)、本処理を終了する。
【0223】
次に、ステップS1602において、顔照合に失敗した場合(S1602:NO)について説明する。
【0224】
管理装置50は、顔照合に失敗した場合(S1602:NO)、追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在するか否かを判定する(S1608)。なお、図25のように、共連れ判定ゾーン303が存在しない場合、当該ステップS1608は省略され、ステップS1610の処理が実行されてよい。
【0225】
追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在しないと判定した場合(S1608:NO)、管理装置50は、追跡人物(つまり顔未登録人物1B)に対する照合失敗のメッセージを第1表示装置31に表示し(S1609)、本処理を終了する。
【0226】
追跡人物(つまり顔未登録人物1B)が共連れ判定ゾーン303に存在すると判定した場合(S1608:YES)、管理装置50は、図27(a)に示すように、追跡人物(つまり顔未登録人物1B)に対する共連れ許可判定中のメッセージを第1表示装置31に表示する(S1610)。
【0227】
管理装置50は、顔照合に成功済みで第1の動作を行っている人物(顔登録人物1A)と追跡人物(顔未登録人物1B)との距離Lが所定の閾値以下であるか否かを判定する(S1611)。
【0228】
管理装置50は、顔照合に成功済みで第1の動作を行っている人物(顔登録人物1A)と追跡人物(顔未登録人物1B)との距離Lが所定の閾値より大きい場合(S1611:NO)、追跡人物(つまり顔未登録人物1B)に対する照合失敗のメッセージを第1表示装置31に表示し(S1609)、本処理を終了する。
【0229】
管理装置50は、顔照合に成功済みで第1の動作を行っている人物(顔登録人物1A)と追跡人物(顔未登録人物1B)との距離Lが所定の閾値以下である場合(S1611:YES)、処理を次のステップS1612に進める。
【0230】
管理装置50は、追跡人物(顔未登録人物1B)が第1の動作に協調した動作を行っているか否かを判定する(S1612)。
【0231】
管理装置54は、追跡人物(顔未登録人物1B)が第1の動作に協調した動作を行っていないと判定した場合(S1612:NO)、追跡人物(つまり顔未登録人物1B)に対する照合失敗のメッセージを第1表示装置31に表示し(S1609)、本処理を終了する。
【0232】
管理装置54は、追跡人物(顔未登録人物1B)が第1の動作に協調した動作を行っていると判定した場合(S1612:YES)、図27(b)に示すように、追跡人物(つまり顔未登録人物1B)に対する共連れ許可のメッセージを第1表示装置31に表示する(S1613)。そして、管理装置50は、追跡人物(つまり顔未登録人物1B)に通行許可フラグを付与し(S1614)、本処理を終了する。
【0233】
これにより、管理装置50は、図25図26又は図27に示す動作を実現できる。
【0234】
なお、上述した図28に示す処理は、図24に示す処理をベースとしているが、図22又は図24に示す処理をベースとしても、上述した図28と同様の処理を実現できる。例えば、管理装置50は、図22に示すステップS1408~ステップS1411を、図28に示すステップS1608~ステップS1613に置き換えた処理を行ってもよい。あるいは、管理装置50は、図24に示すステップS1508~ステップS1511を、図28に示すステップS1608~ステップS1613に置き換えた処理を行ってもよい。
【0235】
<共連れ許可モードを解除する>
図29は、実施の形態2に係る、共連れ許可モードを解除する場合における、第1表示装置31の第1の表示例を示す図である。図30は、実施の形態2に係る、共連れ許可モードを解除する場合における、第1表示装置31の第2の表示例を示す図である。
【0236】
図22に示す処理において、管理装置50は、顔登録人物1Aが第1の動作を行っている間、共連れ判定ゾーン303を共連れ許可モード中とし、共連れ許可モード中に共連れ判定ゾーン303内に存在する顔未登録人物1Bを当該顔登録人物1Aの共連れ人物1Cとして通行を許可する。この場合、図29(a)又は図30(a)に示すように、第1表示装置31において、顔登録人物1Aに対して共連れ許可モード中のメッセージを表示し、共連れ人物1Cに対して共連れ許可のメッセージを表示してよい。
【0237】
ここで、管理装置50は、顔登録人物1Aが第1の動作と異なる第2の動作を行ったことを検知した場合、共連れ許可モードを解除してよい。例えば、第1の動作が一定時間立ち止まっている動作である場合、第2の動作は立ち止まっている状態から動き出す動作であってよい。例えば、第1の動作が一定時間手を上げる動作である場合、第2の動作は上げていた手を下ろす動作であってよい。
【0238】
そして、管理装置50は、共連れ許可モードを解除した場合、図29(b)又は図30(a)に示すように、顔登録人物1Aに対して照合成功及び共連れ許可モード解除を示すメッセージを表示してよい。
【0239】
管理装置50は、共連れ許可モードを解除した場合であっても、顔登録人物1Aが第2の動作を行う前に共連れを許可した顔未登録人物1Bについては、図29(b)に示すように、そのまま共連れ許可を維持してよい。
【0240】
あるいは、管理装置50は、共連れ許可モードを解除した場合、顔登録人物1Aが第2の動作を行う前に共連れを許可した顔未登録人物1Bについては、図30(b)に示すように、共連れ許可を解除し、例えば警告のメッセージを表示してもよい。
【0241】
なお、管理装置50は、図24又は図28に示す処理を行う場合、上述した共連れ許可モードを解除する代わりに、共連れ判定ゾーン303の設定を解除してもよい。
【0242】
<端末に共連れを許可するか否かを入力する>
図31は、実施の形態2に係る、端末における共連れを許可するか否かを入力する画面の一例を示す図である。
【0243】
管理装置50は、上述した方法によって共連れ人物1Cを検知した場合、当該共連れ人物1Cを直ちに共連れ許可するのではなく、当該検知した共連れ人物1Cに関する情報を、顔照合に成功した顔登録人物1A(例えば従業員)が所持する端末400に送信してよい。共連れ人物1Cに関する情報には、第1撮影装置21(又は第2撮影装置22)によって撮影された当該共連れ人物1Cの顔画像が含まれてよい。端末400の例として、タブレット端末、スマートフォン、又は、ノートPC等が挙げられる。
【0244】
端末400は、管理装置50から受信した情報を用いて、図31に示すように、共連れ人物1Cの顔画像410と、当該共連れ人物1Cを共連れ対象とするボタン(以下、共連れ対象ボタン411と称する)と、当該共連れ人物1Cを共連れ対象外とするボタン(以下、共連れ対象外ボタン412と称する)とを画面401に表示してよい。
【0245】
顔登録人物1Aは、端末400の画面401に表示された共連れ人物1Cの顔画像410を見て、当該共連れ人物1Cを共連れ対象とする場合(つまり通行を許可する場合)、共連れ対象ボタン411をタッチし、当該共連れ人物1Cを共連れ対象としない場合(つまり通行を許可しない場合)、共連れ対象外ボタン421をタッチする。
【0246】
なお、図31には、一人の共連れ人物1Cの顔画像410とそれに対するボタン411、412とが表示されているが、共連れ人物1Cが複数存在する場合、それぞれの共連れ人物1Cの顔画像410とそれに対応するボタン411、412とが表示されてよい。
【0247】
端末400は、共連れ人物1Cに関する情報と、それに対して押下されたボタン411又は412を示す情報とを管理装置50へ送信する。
【0248】
管理装置50は、その端末400から受信した情報に基づいて、各共連れ人物1Cに対して通行を許可するか否かを決定してよい。例えば、管理装置50は、第1表示装置31において、共連れ対象ボタン411がタッチされた共連れ人物1Cに対して共連れ許可を示すメッセージを表示し、共連れ対象外ボタン412がタッチされた共連れ人物1Cに対して警告又は照合失敗を示すメッセージを表示する。
【0249】
これにより、顔照合に成功した顔登録人物1A(例えば従業員)は、端末400を操作して、管理装置50が共連れ人物1Cと判定した人物のうち通行を許可したい人物(例えば連れてきた来客)を明示的に指示できる。よって、顔登録人物1Aが連れてきた人物でない人物に誤って通行許可が付与されることを回避できる。
【0250】
<顔登録の有無に加えて通行権限の有無も考慮する>
管理装置50は、顔画像が登録されているか否かによってゲートシステム9の通行を許可するか否かを判定する方法に限らず、ゲートシステム9ごとのセキュリティレベルを管理してもよい。この場合、管理装置50は、各顔登録人物1Aに付与されたセキュリティレベルと、各ゲートシステム9に付与されたセキュリティレベルとを管理する。そして、管理装置50は、顔登録人物1Aが通行しようとしているゲートシステム9に付与されているセキュリティレベルが、当該顔登録人物1Aに付与されているセキュリティレベル以下である場合、当該顔登録人物1Aは通行権限を有するとして通行を許可し、当該ゲートシステム9に付与されているセキュリティレベルが当該顔登録人物1Aに付与されているセキュリティレベルより高い場合、当該顔登録人物1Aは通行権限を有しないとして通行を許可しなくてもよい。この場合、管理装置50は、顔登録人物1Aの通行を許可する場合、当該顔登録人物1Aに連れられた顔未登録人物1Bにも通行許可フラグを付与し、顔登録人物1Aの通行を許可しない場合、当該顔登録人物1Aに連れられた顔未登録人物1Bには通行許可フラグを付与しなくてよい。
【0251】
これにより、管理装置50は、顔登録人物1Aが通行権限を有するゲートシステム9については共連れ人物1Cの通行も許可し、顔登録人物1Aが通行権限を有しないゲートシステム9については共連れ人物1Cの通行も許可しないことができる。
【0252】
<顔登録人物が複数人である場合>
上述では、説明をわかり易くするために、顔登録人物1Aが一人存在する場合について説明したが、顔登録人物1Aは複数人存在してもよい。この場合、管理装置50は、以下の(A1)~(A5)のいずれかの処理を行ってよい。
【0253】
(A1)図17に示す例では、管理装置50は、共連れ判定ゾーン303に少なくとも一人の顔登録人物1Aが存在すれば、図20のステップS1206の判定をYESとし、共連れ判定ゾーン303を共連れ許可モード中とし、共連れ判定ゾーン303に存在する顔未登録人物1Bを共連れ人物1Cとしてよい。
【0254】
(A2)図22に示す例では、管理装置50は、共連れ判定ゾーン303に存在する顔登録人物1Aの少なくとも一人が第1の動作を行っていれば、図22のステップS1405の判定をYESとし、共連れ判定ゾーン303を共連れ許可モード中とし、共連れ判定ゾーン303に存在する顔未登録人物1Bを共連れ人物1Cとしてよい。あるいは、図22に示す例では、管理装置50は、共連れ判定ゾーン303に存在する顔登録人物1Aの全員が第1の動作を行っていれば、図22のステップS1405の判定をYESとし、共連れ判定ゾーン303を共連れ許可モード中とし、共連れ判定ゾーン303に存在する顔未登録人物1Bを共連れ人物1Cとしてよい。
【0255】
(A3)図23に示す例では、管理装置50は、複数の顔登録人物1Aのそれぞれが存在する周囲に共連れ判定ゾーン303を設定し(S1506)、顔未登録人物1Bについては、その設定されたいずれかの共連れ判定ゾーン303に存在すれば、その顔未登録人物1Bを共連れ人物1Cとしてよい。
【0256】
(A4)図25に示す例では、管理装置50は、複数の顔登録人物1Aのいずれか一人と顔未登録人物1Bとの距離Lが所定の閾値以下、かつ、その一人の顔登録人物1Aと当該顔未登録人物1Bとが共に第1の動作を行った場合、顔未登録人物1Bを顔登録人物1Aの共連れ人物1Cとしてよい。
【0257】
(A5)図26に示す例では、管理装置50は、共連れ判定ゾーン303内において、複数の顔登録人物1Aのいずれか一人と顔未登録人物1Bとの距離Lが所定の閾値以下、かつ、その一人の顔登録人物1Aと顔未登録人物1Bとが共に第1の動作を行った場合、顔未登録人物1Bを顔登録人物1Aの共連れ人物1Cとしてよい。
【0258】
<共連れ許可された顔未登録人物の顔画像を登録する>
管理装置50は、通行を許可された共連れ人物1Cについて、当該共連れ人物1Cの顔を撮影した顔画像をメモリ1002又はストレージ1003(図32参照)等に登録してもよい。これにより、管理装置50は、初回は顔未登録人物1Bとして共連れで通行を許可した共連れ人物1Cを、次回以降、通路2を通行する際、顔登録人物1Aとして取り扱うことができる。これにより、初回の共連れ人物1Cは、次回以降、顔登録人物1Aに連れられなくても、通路2を通行できるようになる。
【0259】
管理装置50は、顔未登録人物1Bが共連れ人物1Cであるか否かを判定する際、第1撮影装置21又は第2撮影装置22にて当該顔未登録人物1Bの顔を撮影し、顔未登録人物1Bを共連れ人物1Cと判定した場合、その撮影した顔画像を登録してよい。このとき、管理装置50は、撮影した顔画像が顔照合に使用可能な品質であるか否かを判定し、顔照合に使用可能な品質である場合、撮影した顔画像を登録し、顔照合に使用可能な品質でない場合、撮影した顔画像を登録しなくてよい。例えば、管理装置50は、撮影した顔画像が、マスクを着用している顔画像である場合、目を瞑っている顔画像である場合、又は、顔が正面を向いていない顔画像である場合、当該撮影した顔画像を、顔照合に使用可能な品質でないと判定してよい。例えば、管理装置50は、撮影した顔画像が、マスクを着用しておらず、目を瞑っておらず、かつ、顔が正面を向いている顔画像である場合、当該撮影した顔画像を、顔照合に使用可能な品質であると判定してよい。
【0260】
また、管理装置50は、顔未登録人物1Bの顔画像を登録する際、当該登録する顔画像と、当該顔画像を登録する旨を示すメッセージとを、第1表示装置31(又は第2表示装置32)に表示してよい。これにより、共連れ人物1Cは、自分の顔画像が登録されたことを知ることができる。
【0261】
なお、共連れ人物1Cの顔画像の登録を許可するか否かは、当該共連れ人物1Cを連れている顔登録人物1Aによって指示されてよい。
【0262】
(ハードウェア構成)
図32は、本開示に係るコンピュータのハードウェア構成の一例を示す図である。
【0263】
上述した第1エッジ装置41、第2エッジ装置42、管理装置50、及び、顔照合装置60は、図32に示すコンピュータ1000を含んで構成されてよい。また、上述した第1エッジ装置41、第2エッジ装置42、管理装置50、及び、顔照合装置60が行う処理は、図32に示すコンピュータ1000がコンピュータプログラムを実行することにより実現されてよい。
【0264】
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU1007、及び、読取装置1008は、バス1009に接続され、バス1009を介して双方向にデータを送受信できる。
【0265】
プロセッサ1001は、メモリ1002に記憶されたコンピュータプログラムを実行し、上述した各装置が行う処理を実現する。したがって、上述した各装置が行う処理は、プロセッサ1001を主体とする処理に読み替えることができる。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
【0266】
メモリ1002は、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する。メモリ1002は、ROM(Read-Only Memory)及びRAM(Random Access Memory)を含んでよい。また、メモリ1002は、揮発性記憶媒体又は不揮発性記憶媒体のいずれで構成されてもよい。
【0267】
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する。ストレージ1003の例として、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、フラッシュメモリ等が挙げられる。
【0268】
入力装置1004は、プロセッサ1001に入力するデータを受け付ける。入力装置1004の例として、キーボード、マウス、タッチパッド、又は、マイク等が挙げられる。
【0269】
出力装置1005は、プロセッサ1001が生成したデータを出力する。例えば、出力装置1005は、プロセッサ1001が生成した表示データを第1表示装置31又は第2表示装置32に出力する。あるいは、出力装置1005は、ディスプレイであって、自ら表示データを表示してもよい。あるいは、出力装置1005は、プロセッサ1001が生成した音声データをスピーカに出力する。
【0270】
通信装置1006は、他の装置と、通信ネットワーク4を介して、データを送受信する。通信装置1006は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。
【0271】
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AIの処理(例えば機械学習又は深層学習等)に利用されてもよい。
【0272】
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリといった外部記録媒体からデータを読み取る装置である。
【0273】
(実施の形態2のまとめ)
以上の実施の形態2の記載により、下記の技術が開示される。
【0274】
<技術1>
人物照合システム(例えばゲートシステム9)は、所定の通路(2)を移動する複数の人物(1)を撮影する撮影装置(例えば第1撮影装置21、第2撮影装置22)と、前記撮影装置が撮影した人物の顔画像(107)を用いて前記人物を照合する情報処理装置(例えば管理装置50、顔照合装置60)とを備え、前記情報処理装置は、前記通路に、第1領域(例えば顔照合ゾーン301)と第2領域(例えば共連れ判定ゾーン303)とを設定し、前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する。
上記構成によれば、顔照合に成功する第1の人物(例えば従業員)は、顔照合に失敗する第2の人物(例えば来客)を連れて通路を移動する場合、第2領域を通行することにより、第2の人物も移動が許可されるようになる。これにより、第1の人物は、第2の人物に顔画像の登録を依頼することなく、第2の人物を連れて通路を移動することができる。
【0275】
<技術2>
技術1に記載の人物照合システムにおいて、前記第2領域は、前記通路内の所定の範囲に予め設定されており、前記情報処理装置は、前記第1の人物が前記第2領域に存在する間、かつ、前記第1の人物が所定の第1の動作を行った場合、前記第2領域を、前記第2の人物に対して前記通路の移動を許可する状態とする。
上記構成によれば、第1の人物が、第2領域に存在する間、かつ、第1の動作を行った場合に、第2の人物は、第2領域を通行することができるようになる。これにより、情報処理装置が、第1の人物が連れている第2の人物とは異なる人物に対して、移動を許可してしまう可能性を低減できる。
【0276】
<技術3>
技術1又は2に記載の人物照合システムにおいて、前記情報処理装置は、前記第2領域において前記第1の人物が前記照合に成功した後で所定の第1の動作を行った場合、前記第1の人物を含む所定の範囲を前記第2領域として設定し、前記第2領域を、前記第2の人物に対して前記通路の移動を許可する状態とする。
上記構成によれば、第1の人物の周囲に第2領域が設定され、その第2領域に存在する第2の人物は通路の移動が許可される。これにより、情報処理装置が、第1の人物が連れている第2の人物とは異なる人物に対して、移動を許可してしまう可能性を低減できる。
【0277】
<技術4>
技術1から3のいずれか1項に記載の人物照合システムにおいて、前記情報処理装置は、前記第2領域において前記第1の人物と前記第2の人物との間の距離が所定の閾値以下である場合、前記第2の人物の前記通路の移動を許可する。
上記構成によれば、第1の人物との距離が所定の閾値以下である第2の人物は通路の移動が許可される。これにより、情報処理装置が、第1の人物が連れている第2の人物とは異なる人物に対して、移動を許可してしまう可能性を低減できる。
【0278】
<技術5>
技術1から4のいずれか1項に記載の人物照合システムにおいて、表示装置(例えば第1表示装置31、第2表示装置32)をさらに備え、前記情報処理装置は、前記第1の人物が前記第1の動作を行った場合、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態であることを前記表示装置に表示させる。
上記構成によれば、表示装置の表示から、第1の人物及び/又は第2の人物は、第2領域が移動を許可する状態であるか否かを知ることができる。
【0279】
<技術6>
技術1から4のいずれか1項に記載の人物照合システムにおいて、表示装置をさらに備え、前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第2領域を、前記第2の人物に対して前記通路の移動を許可しない状態とし、前記第2領域が前記第2の人物に対して前記通路の移動を許可しない状態であることを前記表示装置に表示させる。
上記構成によれば、第1の人物は、第2の動作を行うことで、通路の移動を許可しない状態に切り替えることができる。また、第1の人物及び/又は第2の人物は、表示装置の表示から、第2領域が移動を許可する状態であるか否かを知ることができる。
【0280】
<技術7>
技術1から3のいずれか1項に記載の人物照合システムにおいて、表示装置をさらに備え、前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第2領域の設定を解除し、前記第2の人物の前記通路の移動を許可しないことを前記表示装置に表示させる。
上記構成によれば、第1の人物は、第2の動作を行うことで、通路の移動を許可しない状態に切り替えることができる。また、第1の人物及び/又は第2の人物は、表示装置の表示から、第2領域が移動を許可する状態であるか否かを知ることができる。
【0281】
<技術8>
技術6または7に記載の人物照合システムにおいて、前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第1の人物が前記第2の動作を行う前に共連れを許可した前記第2の人物については、共連れ許可の状態を維持し続ける。
上記構成によれば、第1の人物が所定の第2の動作を行った場合でも、第1の人物が第2の動作を行う前に共連れを許可した第2の人物については、共連れ許可の状態を維持し続けることができる。
【0282】
<技術9>
技術6または7に記載の人物照合システムにおいて、前記情報処理装置は、前記第2領域が前記第2の人物に対して前記通路の移動を許可する状態において、前記第1の人物が所定の第2の動作を行った場合、前記第1の人物が前記第2の動作を行う前に共連れを許可した前記第2の人物については、共連れ許可の状態を解除して、前記通路の移動を許可しないことを前記表示装置に表示させる。
上記構成によれば、第1の人物が第2の動作を行った場合、第1の人物が第2の動作を行う前に共連れを許可した第2の人物については、共連れ許可の状態を解除することができる。
【0283】
<技術10>
技術1から9のいずれか1項に記載の人物照合システムにおいて、端末(400)をさらに備え、前記情報処理装置は、前記第2領域において前記第2の人物を検知した場合、前記撮影装置によって撮影された前記第2の人物の顔画像を前記端末に送信する。
上記構成によれば、第2領域において検知された第2の人物の顔画像が端末に送信される。これにより、端末を所持する人物(例えば第1の人物)は、第2の人物が検知されたことを知ることができる。
【0284】
<技術11>
技術10に記載の人物照合システムにおいて、表示装置をさらに備え、前記端末は、前記情報処理装置から受信した前記第2の人物の顔画像を表示し、前記第2の人物の前記通路の移動を許可するか否かの入力を受け付け、前記入力の結果を前記情報処理装置へ送信し、前記情報処理装置は、前記端末から受信した前記入力の結果に関する情報を前記表示装置に表示させる。
上記構成によれば、端末を所持する人物(例えば第1の人物)は、検知された第2の人物のいずれに対して通路の移動を許可するかを決定することができる。これにより、情報処理装置が、第1の人物が連れていない人物の移動を許可してしまうことを防止できる。
【0285】
<技術12>
技術1から11のいずれか1項に記載の人物照合システムにおいて、前記情報処理装置は、前記第1の人物が、前記顔画像を用いた照合に成功し、かつ、前記通路の移動の権限を有する場合に、前記第2の人物の前記通路の移動を許可する。
上記構成によれば、顔照合に成功した第1の人物が、通路の移動の権限を有する場合に、第2の人物も通路の移動が許可される。これにより、第1の人物が移動の権限を有しない通路では、第1の人物が連れている第2の人物も移動が許可されなくなる。
【0286】
<技術13>
技術1から3のいずれか1項に記載の人物照合システムにおいて、前記情報処理装置は、前記撮影装置によって撮影された、前記通路の移動を許可した前記第2の人物の顔画像のうち、前記顔画像を用いる照合に使用可能な品質の顔画像を、所定の記憶部に格納する。
上記構成によれば、第2の人物の顔を撮影した顔画像のうち、顔照合に使用可能な顔画像が記憶部に格納される。これにより、次回以降、第2の人物は、第1の人物に連れられなくても、記憶部に格納された顔画像を用いて顔照合が行われ、通路の移動が可能となる。
【0287】
<技術14>
技術13に記載の人物照合システムにおいて、表示装置をさらに備え、前記情報処理装置は、前記第2の人物の顔画像を前記記憶部に格納する場合、その旨を前記表示装置に表示させる。
上記構成によれば、第2の人物は、当該第2の人物の顔画像が記憶部に格納されたことを知ることができる。
【0288】
<技術15>
所定の通路を移動する複数の人物を撮影する撮影装置によって撮影された人物の顔画像を用いて前記人物を照合する情報処理装置は、プロセッサ(1001)及びメモリ(1002)を備え、前記プロセッサは前記メモリと協働して、前記通路に、第1領域と第2領域とを設定し、前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する。
上記構成によれば、顔照合に成功する第1の人物(例えば従業員)は、顔照合に失敗する第2の人物(例えば来客)を連れて通路を移動する場合、第2領域を通行することにより、第2の人物も移動が許可されるようになる。これにより、第1の人物は、第2の人物に顔画像の登録を依頼することなく、第2の人物を連れて通路を移動することができる。
【0289】
<技術16>
所定の通路を移動する複数の人物を撮影する撮影装置によって撮影された人物の顔画像を用いて前記人物を照合する人物照合方法は、前記通路に、第1領域と第2領域とを設定し、前記第1領域では、前記第1領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した人物の前記通路の移動を許可し、前記照合に失敗した人物の前記通路の移動を許可せず、前記第2領域では、前記第2領域に存在する人物に対して前記顔画像を用いる照合を行い、前記照合に成功した第1の人物の前記通路の移動を許可すると共に、前記第1の人物が前記第2領域に存在する間、前記照合に失敗した第2の人物の前記通路の移動を許可する。
上記方法によれば、顔照合に成功する第1の人物(例えば従業員)は、顔照合に失敗する第2の人物(例えば来客)を連れて通路を移動する場合、第2領域を通行することにより、第2の人物も移動が許可されるようになる。これにより、第1の人物は、第2の人物に顔画像の登録を依頼することなく、第2の人物を連れて通路を移動することができる。
【0290】
<技術17>
人物照合プログラムは、上記技術14に記載の人物照合方法をコンピュータに実行させる。
上記人物照合プログラムによれば、顔照合に成功する第1の人物(例えば従業員)は、顔照合に失敗する第2の人物(例えば来客)を連れて通路を移動する場合、第2領域を通行することにより、第2の人物も移動が許可されるようになる。これにより、第1の人物は、第2の人物に顔画像の登録を依頼することなく、第2の人物を連れて通路を移動することができる。
【0291】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0292】
本開示の技術は、通行権を有する人物に連れられた通行権を有しない人物を考慮したシステム、装置、方法又はコンピュータプログラム等の実現に有用である。
【符号の説明】
【0293】
1 人物
1A 顔登録人物
1B 顔未登録人物
1C 共連れ人物
2 通路
3 検出領域
4 通信ネットワーク
9 ゲートシステム
10 ゲート装置
11 第1ゲート
12 第2ゲート
21 第1撮影装置
22 第2撮影装置
31 第1表示装置
32 第2表示装置
41 第1エッジ装置
42 第2エッジ装置
50 管理装置
60 顔照合装置
100 人物情報
102 初回画像撮影時刻
103 画像更新時刻
104 身体画像
105 身体画像更新時刻
106 身体座標
107 顔画像
108 顔画像更新時刻
109 顔座標
110 顔照合ID
111 照合状況
112 移動方向
200 身体画像
201、201A、201B 身体座標
202 身体座標
220 顔画像
221、221A 顔座標
301 顔照合ゾーン
302 通行判定ゾーン
303 共連れ判定ゾーン
311 第1ゲートに近い方の所定領域
312 第2ゲートに近い方の所定領域
400 端末
401 画面
411 共連れ対象ボタン
412 共連れ対象外ボタン
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15A
図15B
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32