特開 2023-75227 情報処理装置、及び、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023075227

(43)【公開日】2023-05-30

(54)【発明の名称】情報処理装置、及び、情報処理方法

(51)【国際特許分類】

   G07C 9/37 20200101AFI20230523BHJP

   G07B 15/00 20110101ALI20230523BHJP

【ＦＩ】

G07C9/37

G07B15/00 B

G07B15/00 M

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2023034809

(22)【出願日】2023-03-07

(62)【分割の表示】P 2021069724の分割

【原出願日】2021-04-16

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】窪田 賢雄

(57)【要約】

【課題】ゲートに対する対象（例えば、人物）の通過管理を簡易な構成にて実現する情報処理装置、及び、情報処理方法の提供に資する。
【解決手段】情報処理装置は、ゲートに進入する人物をゲートの出口から入口に向かう方向から撮影した画像を取得する取得部と、ゲートに対して規定された第１のエリアにおいて撮影された第１画像における人物の顔画像に基づく第１の顔認証処理に成功した人物について、第１のエリアとゲートの出口との間に規定された第２のエリアにおいて撮影された第２画像における人物の顔画像に基づく第２の顔認証処理を実行する処理部と、第２の顔認証処理により、第１の顔認証処理に成功した人物と第２画像に含まれる人物とが同一の人物であると判定された場合に、人物がゲートを通過した旨を出力する出力部とを備え、第１の顔認証処理が成功した場合と第２の顔認証処理が成功した場合とで、異なる音声又は画像を出力する。
【選択図】図２Ａ

【特許請求の範囲】

【請求項1】

ゲートに進入する人物を前記ゲートの出口から入口に向かう方向から撮影した画像を取得する取得部と、
前記ゲートに対して規定された第１のエリアにおいて撮影された第１画像における人物の顔画像に基づく第１の顔認証処理に成功した前記人物について、前記第１のエリアと前記ゲートの出口との間に規定された第２のエリアにおいて撮影された第２画像における前記人物の顔画像に基づく第２の顔認証処理を実行する処理部と、
前記第２の顔認証処理により、前記第１の顔認証処理に成功した前記人物と前記第２画像に含まれる人物とが同一の人物であると判定された場合に、前記人物が前記ゲートを通過した旨を出力する出力部とを備え、
前記第１の顔認証処理が成功した場合と、前記第２の顔認証処理が成功した場合とで、異なる音声又は画像を出力する、
情報処理装置。

【請求項2】

情報処理装置が、
ゲートに進入する人物を前記ゲートの出口から入口に向かう方向から撮影した画像を取得し、
前記ゲートに対して規定された第１のエリアにおいて撮影された第１画像における人物の顔画像に基づく第１の顔認証処理に成功した前記人物について、前記第１のエリアと前記ゲートの出口との間に規定された第２のエリアにおいて撮影された第２画像における前記人物の顔画像に基づく第２の顔認証処理を実行し、
前記第２の顔認証処理により、前記第１の顔認証処理に成功した前記人物と前記第２画像に含まれる人物とが同一の人物であると判定された場合に、前記人物が前記ゲートを通過した旨を出力し、
前記第１の顔認証処理が成功した場合と、前記第２の顔認証処理が成功した場合とで、異なる音声又は画像を出力する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、及び、情報処理方法に関する。

【背景技術】

【0002】

駅や空港などに設置されるゲートを通過する人物の入退出を管理する技術が知られている。特許文献１には、人物が、無線カードによるゲート通過の許可を得て、ゲートの入口からゲートへ進入した場合に、当該人物がゲートを通過したか否か（ゲートの入口へ戻ったりしていないか）を無線カードの位置の変化に基づいて追跡する装置が記載される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０９－３３０４４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

入退出を管理するゲートでは、どの人物がゲートを通過したか否かを管理することが望まれる。以下では、この管理を「通過管理」又は「追跡管理」とも略称することがある。通過管理を簡易な構成にて実現する方法については、検討の余地がある。

【0005】

本開示の非限定的な実施例は、ゲートに対する対象（例えば、人物）の通過管理を簡易な構成にて実現する情報処理装置、及び、情報処理方法の提供に資する。

【課題を解決するための手段】

【0006】

本開示の一実施例に係る情報処理装置は、ゲートに進入する人物を前記ゲートの出口から入口に向かう方向から撮影した画像を取得する取得部と、前記ゲートに対して規定された第１のエリアにおいて撮影された第１画像における人物の顔画像に基づく第１の顔認証処理に成功した前記人物について、前記第１のエリアと前記ゲートの出口との間に規定された第２のエリアにおいて撮影された第２画像における前記人物の顔画像に基づく第２の顔認証処理を実行する処理部と、前記第２の顔認証処理により、前記第１の顔認証処理に成功した前記人物と前記第２画像に含まれる人物とが同一の人物であると判定された場合に、前記人物が前記ゲートを通過した旨を出力する出力部と、を備え、前記第１の顔認証処理が成功した場合と、前記第２の顔認証処理が成功した場合とで、異なる音声又は画像を出力する。

【0007】

本開示の一実施例に係る情報処理方法は、情報処理装置が、ゲートに進入する人物を前記ゲートの出口から入口に向かう方向から撮影した画像を取得し、前記ゲートに対して規定された第１のエリアにおいて撮影された第１画像における人物の顔画像に基づく第１の顔認証処理に成功した前記人物について、前記第１のエリアと前記ゲートの出口との間に規定された第２のエリアにおいて撮影された第２画像における前記人物の顔画像に基づく第２の顔認証処理を実行し、前記第２の顔認証処理により、前記第１の顔認証処理に成功した前記人物と前記第２画像に含まれる人物とが同一の人物であると判定された場合に、前記人物が前記ゲートを通過した旨を出力し、前記第１の顔認証処理が成功した場合と、前記第２の顔認証処理が成功した場合とで、異なる音声又は画像を出力する。

【0008】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本開示の非限定的な実施例は、ゲートに対する対象（例えば、人物）の通過管理を簡易な構成にて実現できる。

【0010】

本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0011】

【図1】一実施の形態に係るゲートの一例を示す図

【図2A】一実施の形態に係る通過管理システムの概念的な構成の一例を示す図

【図2B】一実施の形態に係る通過管理システムの構成例を示すブロック図

【図3A】ゲートに規定されるゾーンの例を示す図

【図3B】ゲートに規定されるゾーンの例を示す図

【図4】２段階の顔認証処理の流れの概要を示すフローチャート

【図5】２段階の顔認証処理の流れの第１の例を示すフローチャート

【図6】２段階の顔認証処理の流れの第２の例を示すフローチャート

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

（一実施の形態）
＜本開示に至った知見＞
駅や空港といった施設に設置され、施設への入退出を管理するゲートでは、どの人物がゲートを通過したか否かを正確に管理する通過管理の利用が検討されている。通過管理が十分でない場合、例えば、ゲートの入口から入ったが、ゲートの出口へ向かわずに、ゲートの入口に引き返してしまった人を通過したと誤判定したり、実際に通過した人を通過していないと誤認識したりしてしまうことがある。このような誤りは、例えば、駅の改札機のようなゲートを通過した人に対価を請求するようなサービスにおいて、費用の誤請求につながり得る。

【0014】

通過管理を実施するためには、例えば、通過しようとする人を認証する認証処理（例えば、認証不能であると決定する処理が含まれてよい）と、その人の移動の履歴を記録する追跡処理とが実施される。これらの処理は、例えば、人の通過の記録、あるいは扉の開閉といった人の移動を規制するような処理を行う時間を確保するために早期に実施されることが望ましい。

【0015】

例えば、人及びゲートよりも上方（例えば、天井部）にカメラが設置され、天井部のカメラが人及びゲートを撮影し、撮影した画像の解析によって、撮影された人の追跡処理を行うことが検討される。

【0016】

しかしながら、天井部へカメラを設置する場合、設置場所の構造あるいは環境によっては、カメラの設置場所が制限され得る。また、設置が可能であっても、設置のために大規模な工事を要するような場合、設置コストが増大する。そのため、天井部へ設置するカメラを用いた通過管理システムの導入が困難となる場合がある。

【0017】

例えば、ゲートに、ゲートよりも上方に延びるアーチ型、又は、ポール型の支持部を設け、支持部にカメラを設置することが考えられるが、このような支持部を有するゲートは、支持部を有さないゲートよりも高さ方向のサイズが大きいため、ゲートの設置場所が制限され得る。また、デザイン面において、ゲートに支持部を設けることが、好ましくない場合もあり得る。

【0018】

本実施の形態では、ゲートを通過しようとする人の顔認証処理に用いるカメラが撮影した画像を用いて、追跡処理を行うことによって、認証処理と追跡処理とを含む通過管理処理を実施する。認証処理に用いるカメラを追跡処理と兼用とすることで、追跡処理のための装置（例えば、天井部等のカメラ）を別途設ける必要がない。したがって、通過管理の導入コストの増加を抑制できる。また、追跡処理に専用のカメラといった設備を設ける場合に比して、設置場所の制約が緩和されるので、設置場所の自由度が向上し、通過管理システムの導入が容易になる。

【0019】

＜ゲートの構成例＞
図１は、本実施の形態に係るゲート１０の一例を示す図である。図１は、ゲート１０を上方から見た図であり、ゲート１０の出入口Ｅ１から人物ｈが進入し、ゲート１０の出入口Ｅ２から当該人物が退出する様子が例示される。なお、図１に示すゲート１０に対して、人物は、出入口Ｅ２から進入し、出入口Ｅ１から退出してもよい。別言すると、ゲート１０は、双方向に人物が通過することを許容する。

【0020】

ゲート１０は、例えば、互いに向き合う側壁Ｖを有し、側壁Ｖの間に、ゲート１０を通過する人物を誘導する通路Ｌが形成される。高さ１ｍ程度の１つの側壁Ｖの上部には、例えば、側壁Ｖの中央部よりも出入口Ｅ１及びＥ２のそれぞれに近い２つの位置にカメラ１１が設けられ、２つの側壁Ｖに対して合計で４つのカメラ１１（１１－Ｒ１、１１－Ｒ２、１１－Ｌ１、１１－Ｌ２）が設けられる。

【0021】

カメラ１１－Ｒ１及び１１－Ｌ１は、例えば、ゲート１０の中央部よりも出入口Ｅ２に近い位置の側壁Ｖに設置されて、ゲート１０を反対側の出入口Ｅ１から進入して出入口Ｅ２へ通過する人物の撮影に用いられる。

【0022】

一方、カメラ１１－Ｒ２及び１１－Ｌ２は、例えば、ゲート１０の中央部よりも出入口Ｅ１に近い位置の側壁Ｖに設置されて、ゲート１０を反対側の出入口Ｅ２から進入して出入口Ｅ１へ通過する人物の撮影に用いられる。

【0023】

例示的に、カメラ１１－Ｒ１は、出入口Ｅ１から進入する人物の右前方から当該人物を撮影可能な位置に設置される。カメラ１１－Ｌ１は、例えば、出入口Ｅ１から進入する人物の左前方から当該人物を撮影可能な位置に設置される。

【0024】

カメラ１１－Ｒ２は、例えば、出入口Ｅ１とは反対の出入口Ｅ２から進入する人物の右前方から当該人物を撮影可能な位置に設置される。カメラ１１－Ｌ２は、例えば、出入口Ｅ１とは反対の出入口Ｅ２から進入する人物の左前方から当該人物を撮影可能な位置に設置される。

【0025】

したがって、ゲート１０を出入口Ｅ１から進入して出入口Ｅ２へ通過する人物は、例えば、２つの側壁Ｖの上部に通路Ｌを挟んで互いに離れた位置に設置された２つのカメラ１１－Ｒ１及び１１－Ｌ１によって２方向（例えば、左右方向）から撮影される。

【0026】

一方、ゲート１０を逆方向に通過する人物、すなわち、ゲート１０を出入口Ｅ２から進入して出入口Ｅ１へ通過する人物は、例えば、２つの側壁Ｖの上部に通路Ｌを挟んで互いに離れた位置に設置された２つのカメラ１１－Ｒ２及び１１－Ｌ２によって２方向（例えば、左右方向）から撮影される。

【0027】

なお、図１は、ゲート１０の出入口Ｅ１と出入口Ｅ２との両方から、人物が進入可能な構成例であるが、本開示はこれに限定されない。例えば、ゲート１０は、人物が一方の出入口（例えば、出入口Ｅ１）から進入でき、他方の出入口（例えば、出入口Ｅ２）から進入できない構成であってもよい。ゲート１０が出入口Ｅ２からの人物の進入を許容しない構成の場合、カメラ１１－Ｒ２及びカメラ１１－Ｌ２は設けられなくてよい。ゲート１０が出入口Ｅ１からの人物の進入を許容しない構成の場合、カメラ１１－Ｒ１及びカメラ１１－Ｌ１は設けられなくてよい。

【0028】

また、図１では、ゲート１０の出入口から進入する人物が２つのカメラ１１によって２方向から撮影される例を示したが、本開示はこれに限定されない。例えば、ゲート１０の出入口から進入する人物が１つのカメラ１１によって一つの方向（ゲート１０の出口から入口に向かう方向）から撮影されてもよい。あるいは、ゲート１０の出入口から進入する人物が２つのカメラ１１によって２方向から撮影される場合、２つのカメラ１１が撮影した画像の１つが選択され、選択された画像に基づいて認証処理、追跡処理が実行されてよい。

【0029】

以下では、例示的に、図１に示すゲート１０において、出入口Ｅ１から進入して出入口Ｅ２へ通過する人物の通過管理を、カメラ１１－Ｒ１又はカメラ１１－Ｌ１によって撮影された画像を使用して行う例について説明する。なお、カメラ１１－Ｒ１及びカメラ１１－Ｌ１は、便宜的に纏めてカメラ１１と記載する場合がある。

【0030】

また、ゲート１０に進入する人物は、顔認証処理を含む処理対象の人物に相当する。以下、処理対象の人物は、「対象者」と記載する。

【0031】

なお、図１のゲート１０は、例示であり、本開示はこれに限定されない。例えば、ゲート１０には、５つ以上のカメラ１１が設けられてもよいし、３つ以下のカメラ１１が設けられてよい。カメラ１１の撮影方向及び／又は角度を異ならせることにより、より広い範囲で人物の顔を撮影することができる。

【0032】

なお、複数のカメラ１１は、互いに同一でなくてもよい。例えば、複数のカメラ１１は、互いに異なる解像度、画角、画質の画像を撮影する構成であってもよい。また、カメラ１１の設置位置及び／又は撮影方向は、固定されてもよいし、調整可能であってもよい。

【0033】

＜システム構成＞
図２Ａは、本実施の形態に係る通過管理システムの概念的な構成の一例を示す図である。図２Ｂは、本実施の形態に係る通過管理システムの構成例を示すブロック図である。本実施の形態に係る通過管理システム１は、例えば、空港、駅、イベント会場といった施設の出入口に設置されるゲート１０（例えば、入場ゲート、改札ゲートなど）における人物の通過を管理するシステムである。

【0034】

本実施の形態に係る通過管理システム１では、例示的に、施設を利用する利用者の入退場の管理が、顔認証によって実行される。例えば、利用者がゲート１０を通過して施設内へ入場する場合、利用者が施設内への入場を許可された人物であるか否かが顔認証によって判定される。また、利用者がゲートを通過して施設外へ退場する場合、どの利用者が施設外へ退場するかが顔認証によって判定される。なお、「顔認証」とは、「顔画像を用いた照合」に含まれる概念と捉えてよい。

【0035】

通過管理システム１は、例えば、図１に例示したゲート１０と、カメラ１１（右カメラ１１又は左カメラ１１）と、顔認証機能部１２と、通過管理機能部１３と、顔認証サーバ１４と、通過履歴管理サーバ１５と、を含む。なお、通過管理システム１において、ゲート１０は、１つであってもよいし、複数であってもよい。

【0036】

ゲート１０は、例えば、空港、駅、イベント会場といった施設に設置される。施設の利用を許可された利用者は、施設へ入場する場合及び／又は施設から退場する場合にゲート１０を通過する。また、ゲート１０は、施設への入場を許可されていない人物の通過を阻止するように制御を行う。

【0037】

カメラ１１は、図１にて示したように、例えば、ゲート１０の側壁Ｖに設けられる。カメラ１１は、ゲート１０を通過する人物、及び、ゲート１０を通過しようとする人物が存在した場合の当該人物の顔を含む撮影範囲を撮影する。例えば、カメラ１１の撮影範囲は、人物の正面の顔を撮影可能な範囲である。

【0038】

顔認証機能部１２は、画像に対して顔認証処理を行う。本実施の形態において、例示的に、顔認証機能部１２は、少なくとも２段階の顔認証処理を行う。

【0039】

例えば、顔認証機能部１２は、カメラ制御部１２１と、第１顔照合処理部１２２と、第２顔照合処理部１２３と、を有する。第１顔照合処理部１２２は、１段階目の顔認証処理を行い、第２顔照合処理部１２３は、２段階目以降の顔認証処理を行う。

【0040】

カメラ制御部１２１は、例えば、カメラ１１の撮影タイミングを制御する。例えば、カメラ１１は、カメラ制御部１２１の制御によって、５ｆｐｓ程度の速度で撮影する。また、右カメラ１１と左カメラ１１とは、例えば、カメラ制御部１２１の制御によって、同時にあるいは許容される範囲内の撮影タイミングの差をもって撮影を行ってよいし、互いの撮影タイミングの同期が図られてもよい。あるいは、右カメラ１１と左カメラ１１とは、例えば、カメラ制御部１２１の制御によって、非同期で、互いに独立した撮影タイミングで撮影を行ってもよい。

【0041】

カメラ制御部１２１は、例えば、カメラ１１によって撮影された画像から、顔枠を検知する。顔枠を検知する方法については、特に限定されないが、例えば、画像から顔に含まれるパーツ（目、鼻及び口）を検知し、検知したパーツの位置と色の情報とに基づいて、顔の領域と顔の外の領域との境界を検知することで、顔の領域を囲む枠（顔枠）を検知する方法であってよい。カメラ制御部１２１は、例えば、顔枠が検知された場合、検知した顔枠に関する情報（顔枠情報）と撮影された画像とを第１顔照合処理部１２２及び／又は第２顔照合処理部１２３へ出力する。例えば、カメラ制御部１２１は、出力先を、ゲート１０と人物との位置関係に応じて、第１顔照合処理部１２２及び第２顔照合処理部１２３の何れかに決定する。なお、以下では、「顔枠」という記載は、顔の領域を囲む枠を指しもよいし、枠に囲まれた顔の領域を指してもよい。

【0042】

第１顔照合処理部１２２は、例えば、顔枠情報に基づいて、画像に含まれる顔領域を切り出し、切り出した顔領域の情報を含む顔認証依頼を顔認証サーバ１４に通知する。顔領域の情報は、例えば、顔領域の画像であってもよいし、顔領域の画像から抽出した特徴点を示す情報であってもよい。

【0043】

顔認証サーバ１４には、例示的に、ゲート１０の通過を許可する人物の顔画像が登録されている。顔認証サーバ１４に登録された顔画像は、登録顔画像と記載される場合がある。登録顔画像には、例えば、登録された人物のＩＤといった人物を一意に識別あるいは特定することが可能な情報が関連付けられてもよい。また、登録顔画像は、例えば、画像から抽出された特徴点を示す情報であってもよい。

【0044】

顔認証サーバ１４は、例えば、第１顔照合処理部１２２から顔認証依頼を受けた場合、顔認証依頼に含まれる顔領域の顔と同一人物の顔が、登録顔画像の中に含まれるか否かを判定する（照合する）。顔認証サーバ１４は、例えば、判定結果を含む顔照合結果を第１顔照合処理部１２２へ通知する。なお、顔照合結果には、例えば、顔領域の顔と同一人物の顔が登録顔画像の中に含まれるか否かを示す情報（例えば、「ＯＫ」又は「ＮＧ」を示すフラグ）と、顔領域の顔と同一人物の顔が登録顔画像の中に含まれる場合には登録顔画像に関連付けられた人物の情報（例えば、ＩＤ）とが含まれてよい。

【0045】

照合とは、例えば、登録顔画像と、ゲート１０を通過する人の顔画像とを照らし合わせることにより、事前に登録された登録顔画像とゲート１０を通過する人の顔画像とが一致するか否か、あるいは、事前に登録された登録顔画像とゲート１０を通過する人の顔画像とが同一人物の顔画像であるか否かを判定することである。

【0046】

一方、認証とは、例えば、事前に登録された顔画像に一致する顔画像の人が本人であること（別言すると、ゲート１０の通過を許可してよい人物であること）を外部（例えば、ゲート１０）に証明することである。

【0047】

ただし、本開示において、「照合」と「認証」とは相互に可換な用語として用いることがある。

【0048】

例えば、照合処理は、予め登録された登録顔画像の特徴点と、検知された顔領域から抽出された特徴点とを比較して、画像データにおける顔が誰であるかを特定する処理である。この照合処理には、例えば、機械学習を用いた手法が用いられてもよい。また、照合処理は、例えば、顔認証サーバ１４において実施されてよいが、ゲート１０のような他の装置内において実施されてもよいし、あるいは、複数の装置によって分散処理されたりしてもよい。

【0049】

第１顔照合処理部１２２は、例えば、照合処理結果を含む情報を、第２顔照合処理部１２３及び通過管理機能部１３へ出力する。照合処理結果には、例えば、登録顔画像に関する情報、照合スコアが含まれてよい。また、第１顔照合処理部１２２から出力される情報には、例えば、顔枠検知情報、顔枠を検知した顔撮影カメラ画像の撮影時刻、第１顔照合処理部１２２において切り出された顔領域の情報が含まれてよい。

【0050】

なお、第１顔照合処理部１２２の出力先は、第２顔照合処理部１２３及び通過管理機能部１３に限られない。例えば、第１顔照合処理部１２２は、照合処理結果を含む情報を、ゲート１０を通過しようとする人物に画像情報を提示する表示装置、及び／又は、当該人物に音声情報を提示する音声出力装置へ出力する。

【0051】

第２顔照合処理部１２３は、例えば、顔枠情報に基づいて、画像に含まれる顔領域を切り出し、切り出した顔領域の情報を用いて、顔照合を行う。

【0052】

例えば、第２顔照合処理部１２３は、第２顔照合処理部１２３において切り出した顔領域の情報と、第１顔照合処理部１２２において切り出された顔領域の情報とを照合し、第２顔照合処理部１２３において切り出した顔領域に相当する人物が、第１顔照合処理部１２２において切り出された顔領域に相当する人物と同一であるか否かを判定してよい。

【0053】

あるいは、第２顔照合処理部１２３は、第２顔照合処理部１２３において切り出した顔領域の情報と、照合処理結果に含まれる登録顔画像に関する情報とを照合し、第２顔照合処理部１２３において切り出した顔領域に相当する人物が、照合処理結果に含まれる登録顔画像に相当する人物と同一であるか否かを判定してよい。

【0054】

第２顔照合処理部１２３は、２つの顔領域に相当する人物が同一であるか否かの判定結果を含む情報を、通過管理機能部１３へ出力する。なお、第２顔照合処理部１２３の出力先は、通過管理機能部１３に限られない。例えば、第２顔照合処理部１２３は、判定結果を含む情報を、ゲート１０を通過しようとする人物に画像情報を提示する表示装置、及び／又は、当該人物に音声情報を提示する音声出力装置へ出力する。

【0055】

通過管理機能部１３は、例えば、顔認証機能部１２から出力される情報に基づいて、ゲート１０の周辺に位置する人物の通過を管理する。ゲート１０の周辺に位置する人物とは、例えば、ゲート１０を通過する人物、通過しようとする人物、及び、ゲート１０の周辺を通りかかる人物を含む。ここで、ゲート１０を通過しようとする人物とは、ゲート１０の通過を許可されている人物（例えば、顔画像が顔認証サーバ１４に登録済みの人物）に限られず、例えば、顔画像が顔認証サーバ１４に未登録であるが、通過を試みる人物であってよい。また、ゲート１０の周辺を通りかかる人物とは、例えば、ゲート１０を通過しようとはしていないが、カメラ１１の撮影範囲を通過したり、ゲート１０を通過しようとはしていないが撮影範囲に進入したりしている人物である。また、人物の状態とは、例えば、人物が移動しているか、静止しているか、及び、人物が移動している場合の移動方向といった人物の動きに関する状態であってよい。

【0056】

通過管理機能部１３は、例えば、通過管理状態遷移処理部１３１と、履歴管理部１３２と、履歴データベース（ＤＢ）１３３と、を有する。

【0057】

通過管理状態遷移処理部１３１は、例えば、人物の通過管理処理において、ゲート１０の通過を許可された人物が通過する場合のゲート１０の制御に関する制御情報をゲート１０へ送信する。また、通過管理状態遷移処理部１３１は、例えば、ゲート１０の通過を許可されない人物が通過しようとする場合のゲート１０の制御に関する制御情報をゲート１０へ送信する。

【0058】

履歴管理部１３２は、例えば、ゲート１０を通過した人物の履歴を示す情報（通過履歴情報）を記憶し、管理する。また、履歴管理部１３２は、例えば、通過履歴情報を履歴ＤＢ１３３に格納し、通過履歴情報を通過履歴管理サーバ１５へ送信する。例えば、鉄道網において、履歴管理部１３２は、１つの駅（又は１箇所の改札）単位のローカルな通過履歴情報を管理してよい。

【0059】

通過履歴管理サーバ１５は、例えば、ゲート１０を通過した人物の履歴を示す情報（通過履歴情報）を記憶し、管理する。例えば、通過履歴管理サーバ１５は、複数のゲート１０の通過履歴情報を管理してよい。例えば、複数の出入口が存在する大型施設では、複数の出入口のそれぞれに設けられるゲート１０の通過履歴情報が、通過履歴管理サーバ１５に集約されて管理されてよい。また、例えば、鉄道網では、複数の駅の改札に設置されたゲート１０それぞれの通過履歴情報が、通過履歴管理サーバ１５に集約されて管理されてよい。

【0060】

なお、通過管理機能部１３は、例えば、通過管理に関する情報（通過管理情報）を、図示を省略した表示装置へ出力してもよい。通過管理情報は、例えば、顔認証機能部１２から出力される情報を含んでよい。表示装置は、例えば、人物の状態（例えば、当該人物の顔認証の結果、及び、移動方向）を表示してよい。例えば、表示装置は、画像を表示し、検知された顔枠を画像に重畳してもよい。また、表示装置は、例えば、顔認証によって得られた当該人物に関する情報（人物のＩＤ）を画像に重畳して表示してもよい。

【0061】

上述した顔認証機能部１２は、例えば、通過管理機能部１３と同期して動作してもよいし非同期で動作してもよい。非同期の場合、例えば、顔認証機能部１２は、カメラ制御部１２１において顔枠が検知された場合に動作してよい。

【0062】

上述した顔認証機能部１２の機能及び通過管理機能部１３の機能の少なくとも一部が、互いに置き換えられてよい。例えば、通過管理機能部１３の機能の一部が、顔認証機能部１２に含まれてよい。例えば、顔認証機能部１２には、２つの顔領域に相当する人物が同一であると判定した場合、判定対象の人物がゲート１０を通過した旨を出力する出力部が含まれてよい。出力部から出力される情報には、ゲート１０の通過を許可された人物が通過する場合のゲート１０の制御に関する制御情報、例えば、ゲート１０の通過を許可されない人物が通過しようとする場合のゲート１０の制御に関する制御情報が含まれてよい。

【0063】

上述した顔認証機能部１２、及び、通過管理機能部１３の構成は、それぞれが１つの情報処理装置（例えば、サーバ装置）の形態を有してもよいし、２つが、１つの情報処理装置の中に含まれてもよい。例えば、顔認証機能部１２が１つの情報処理装置の形態を有し、通過管理機能部１３が、１つの情報処理装置の中に含まれてもよい。また、情報処理装置の形態を有する顔認証機能部１２、及び／又は、通過管理機能部１３は、ゲート１０に含まれてもよい。

【0064】

なお、上述した情報処理装置は、プロセッサと、メモリと、各種情報の伝送に利用される入出力インタフェースとを備えてよい。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを用いて実現される記憶装置である。プロセッサ、メモリ及び入出力インタフェースは、バスに接続され、バスを介して、各種情報の受け渡しを行う。プロセッサは、例えばＲＯＭに記憶されたプログラム、データなどを、ＲＡＭ上に読み出し、処理を実行することで、情報処理装置に含まれる構成の機能を実現する。

【0065】

上述した顔認証機能部１２では、例えば、人物がゲート１０の周辺に規定されたゾーンのどこに存在するかに応じて、顔認証処理のタイミングが決定されてよい。以下では、ゲート１０に規定されるゾーンの一例を以下に説明する。

【0066】

＜ゲート領域管理＞
図３Ａ及び図３Ｂは、ゲート１０に対して規定されるゾーンの例を示す図である。図３Ａ、図３Ｂでは、ゲート１０を上から俯瞰で見た場合の、複数のゾーンの例が示される。なお、図３Ａ及び図３Ｂでは、通路Ｌを形成するゲート１０の側壁Ｖが、紙面の上下方向に沿って延在する例が示される。

【0067】

なお、図１に示したように、ゲート１０の出入口Ｅ１及びＥ２のうち、例えば、特定の進入方向（例えば、入場方向）に沿った上流側が入口に対応し、下流側が出口に対応する。

【0068】

図３Ａには、人物が出入口Ｅ１とＥ２との両方から進入できるゲート１０において、人物が出入口Ｅ２から進入する場合に規定されるゾーンの一例が示される。また、図３Ｂには、人物が出入口Ｅ１から進入する場合に規定されるゾーンの一例が示される。

【0069】

ゲート１０が双方向に進入可能な場合、進入する出入口に応じて、移動方向が正常な方向か否かが異なることが考えられる。例えば、人物の出入口Ｅ１から出入口Ｅ２への移動方向が、出入口Ｅ１から入場した人物の場合には正常な移動方向である一方で、出入口Ｅ２から入場した人物の場合には正常ではない移動方向となる。このような規定の違いに対して、通過管理機能では、例えば、出入口Ｅ１の方を「北側（North側）」と規定し、出入口Ｅ２の方を「南側（South側）」と規定する。

【0070】

なお、北側及び南側という表現は、一例であり、本開示はこの表現に限定されない。例えば、北側及び南側という表現は、ゲート１０の配置を地理的な南北方向に沿った配置に限定するものではない。例えば、南北方向と異なる方向に沿ってゲート１０の通路Ｌが位置する場合、又は、通路に曲線が含まれる場合でも、一方を「北側」と規定し、他方を「南側」と規定してよい。

【0071】

例えば、図３Ａは、人物が出入口Ｅ２から進入する場合に規定されるゾーンの一例を示す。図３Ａでは、ゲート１０に対して、「Zone outside-S」（南側ゾーン外エリア）、「Zone A」（ゾーンＡ）、「Zone B」（ゾーンＢ）、「Zone C」（ゾーンＣ）が規定される。

【0072】

これに対し、図３Ｂは、人物が出入口Ｅ１から進入する場合に規定されるゾーンの一例を示す。図３Ｂでは、ゲート１０に対して、「Zone outside-N」（北側ゾーン外エリア）、「Zone A」（ゾーンＡ）、「Zone B」（ゾーンＢ）、「Zone C」（ゾーンＣ）が規定される。

【0073】

以下では、図３Ａの例を挙げて各ゾーンについて説明する。なお、図３Ｂの例は、人物が出入口Ｅ１から進入する点、及び、「Zone outside-S」（南側ゾーン外エリア）が「Zone outside-N」（北側ゾーン外エリア）に置き換わっている点を除いて、図３Ａと同様である。

【0074】

南側ゾーン外エリアとゾーンＡとの間の境界は、例えば、「顔認証開始ライン」と称されてよい。

【0075】

「顔認証開始ライン」は、例えば、第１顔照合処理部１２２における顔認証処理（顔照合処理）を開始するか否かの判定に用いられる。例えば、人物が「顔認証開始ライン」を越えてゲート１０に進入した場合、顔認証処理が開始される。例えば、第１顔照合処理部１２２が、顔枠情報から顔認証依頼を発行し、照合結果（顔認証ＩＤ）と人物検知情報とのリンク付けを行い、人物の追跡を開始する。なお、「顔認証開始ライン」は、「Ａライン（Ａ ＬＩＮＥ）」と称される場合がある。

【0076】

「顔認証開始ライン」は、ゲート１０の外（例えば、ゲート１０の経路に沿った上流側）に設けられてもよい。また、「顔認証開始ライン」は、１つの線分に限らず、例えば、コの字型のように、複数の線分を有してもよい。なお、複数の線分を有する形状としては、コの字型のような長方形状の一部の辺に相当する形状に限らず、他の多角形形状の一部の辺に相当する形状であってもよい。あるいは、「顔認証開始ライン」は、円弧を有してもよいし、直線と曲線が混在する形状であってもよい。例えば、「顔認証開始ライン」が複数の線分及び／又は円弧を有することによって、ゲート１０の正面に限らず、側面のように正面からずれた方向から人物が進入する場合に、顔認証処理を開始できる。

【0077】

ゾーンＡとゾーンＢとの間の境界は、例えば、「閉扉限界ライン」と称されてよい。

【0078】

「閉扉限界ライン」は、例えば、閉扉指示に応答した出口側ゲート扉の閉扉が、人物が通過するまでに間に合う位置を示す。「閉扉限界ライン」は、例えば、人がゲート１０を通過する速度として想定される最大の速度（例えば、６ｋｍ／ｈ。以下、「最大通過可能速度」）と、ゲート扉を物理的に閉じるまでに要する時間（例えば、０．５秒）とを考慮して決定される。例えば、「閉扉限界ライン」は、物理的なゲート扉の位置（「ゲート扉位置」）より、最大通過速度×ゲート扉を物理的に閉じるまでに要する時間に相当する距離の分、手前に設定される。このようにすることで、ゲート１０の通過が許可されていない人物が、「閉扉限界ライン」を通過し、最大通過可能速度で移動した場合に、当該人物が出口側ゲート扉を通過する前に、出口側ゲート扉が閉じられる。

【0079】

なお、「閉扉限界ライン」は、「不正侵入検知ライン」又は「Ｂライン（Ｂ ＬＩＮＥ）」と称されてもよい。

【0080】

ゾーンＢとゾーンＣとの間の境界は、「退場ライン」と称されてよい。

【0081】

「退場ライン」は、例えば、当該人物がゲート１０を退場したと判定する位置を示す。「退場ライン」は、例えば、上述した「顔認証開始ライン」と同様に、ゲート１０の外に設けられてもよい。また、「退場ライン」は、例えば、１つの線分に限らず、例えば、コの字型のように、複数の線分を有してもよい。あるいは、「退場ライン」は、円弧を有してもよい。なお、「退場ライン」は、例えば、「Ｚライン（Ｚ ＬＩＮＥ）」と称されてもよい。

【0082】

通過管理において、物理的なゲート扉の位置（「ゲート扉位置」）はあくまで通過点であってもよく、この場合、物理的なゲート扉の位置は、論理的に設定される「退場ライン」とは異なってもよいし、同一であってもよい。例えば、実運用では、「ゲート扉位置」と「退場ライン」とは同一に設定されてよい。

【0083】

例えば、通過する人物に対して課金を行うゲート１０の場合、「退場ライン」は、「課金ライン」に相当してよい。

【0084】

例えば、ゲート１０に進入した人物が課金ラインを越えた場合（例えば、ゾーンＢからゾーンＣに進入した場合）、当該人物に対して課金する。別言すると、人物が課金ラインを越えていない段階（例えば、ゾーンＣに進入していない段階）では、人物に対して課金は行われない。この課金ラインを設けることにより、ゲート１０に進入したが、課金ラインを越える前に引き返した人物に対して課金するという誤りを回避できる。

【0085】

なお、上述では、「課金ライン」が、「Ｚライン」（「退場ライン」）に相当する例を示したが、例えば、「課金ライン」は、「Ｂライン」に相当してもよい。

【0086】

なお、上述の例では、北側ゾーン外エリア及び南側ゾーン外エリアを除いて、３つのゾーンが規定される例を示したが、本開示はこれに限定されない。ゾーンの数、サイズ、位置、及び、形状は、本開示を適用するシチュエーションに応じて変更されてよい。

【0087】

本実施の形態における顔認証機能部１２は、例えば、人物が上述したゾーンＡに進入した場合に、１段階目の顔認証処理を実行し、人物がゾーンＡからゾーンＢに進入した場合に、２段階目の顔認証処理を実行する。２段階で認証処理を行うことによって、１段階目で認証された人物が、ゲート１０を通過したか否かを２段階目の顔認証処理によって確認できる。以下では、２段階の顔認証処理の流れを説明する。

【0088】

図４は、２段階の顔認証処理の流れの概要を示すフローチャートである。図４に示すフローは、例えば、通行者が接近する毎に開始されてよい。

【0089】

顔認証処理部１２は、通行者がゲート１０に接近し、通行者が第１認証エリア（例えば、ゾーンＡ）に進入したことを検知する（Ｓ１０１）。なお、第１認証エリアは、図３Ａ、図３Ｂに示したゾーンＡに限られない。第１認証エリアは、ゲート１０の課金ラインよりも上流側のエリアのうち、例えば、撮影された画像において、顔認証処理が可能なサイズの顔枠を取得できるエリアであってよい。なお、通行者が第１認証エリアに進入したか否かは、例えば、ゲート１０に設けられたセンサ（例えば、光電センサ）によって判定されてよい。

【0090】

顔認証機能部１２は、第１認証エリアに進入した通行者に対して、第１顔認証処理を実行する（Ｓ１０２）。例えば、顔認証機能部１２は、カメラ１１によって撮影された画像の中の顔枠に関する情報を含む顔認証依頼を顔認証サーバ１４に送信する。顔認証サーバ１４は、顔認証依頼を受信した場合、例えば、顔枠に関する情報に基づいて、登録者の中に通行者が存在するか否かを判定する。判定の結果、登録者の中に通行者が存在する場合、顔認証サーバ１４は、例えば、該当する登録者を示す情報を顔認証機能部１２へ送信する。一方、登録者の中に通行者が存在しない場合、顔認証サーバ１４は、その判定の結果を示す情報を顔認証機能部１２へ送信する。

【0091】

顔認証機能部１２は、第１顔認証処理の結果、認証に成功したか否かを判定する（Ｓ１０３）。

【0092】

認証に失敗した場合（Ｓ１０３にてＮＯ）、顔認証機能部１２は、Ｓ１０２の処理を再び実行する。ここで、認証に失敗した場合とは、例えば、通行者が顔認証サーバ１４に保持されている登録者の中に含まれていない場合である。通行者が顔認証サーバ１４に保持されている登録者の中に含まれていないことは、通行者がゲート１０の通過を許可されていない人物であると扱われてもよい。あるいは、認証に失敗した場合とは、通行者が登録者の中に含まれているにも関わらず、顔認証処理において通行者と登録者とが同一人物ではない、と誤って判定された場合であってもよい。

【0093】

認証に成功した場合（Ｓ１０３にてＹＥＳ）、通行者の第２認証エリア（ゾーンＢ）への進入を検知するまで待機する（Ｓ１０４）。なお、第２認証エリアは、図３Ａおよび図３Ｂに示したゾーンＢに限られない。例えば、第２認証エリアは、ゲート１０に設けられた課金ラインを越えたエリアであってもよい。

【0094】

顔認証処理部１２は、通行者が第２認証エリアに進入したことを検知する（Ｓ１０５）。通行者が第２認証エリアに進入したか否かは、例えば、光電センサといったセンサによって判定されてよい。

【0095】

顔認証機能部１２は、第２認証エリアに進入した通行者に対して第２顔認証処理を実行する（Ｓ１０６）。例えば、顔認証機能部１２は、第２顔認証処理を顔認証サーバ１４へ顔認証処理を要求する代わりに、第２顔認証処理をゲート１０自身（又は顔認証機能部１２自身）がローカルにおいて実行してよい。

【0096】

顔認証機能部１２は、第２顔認証処理の結果、認証に成功したか否かを判定する（Ｓ１０７）。

【0097】

認証に失敗した場合（Ｓ１０７にてＮＯ）、顔認証機能部１２は、例えば、通行者を通過不可である、と判定する（Ｓ１０９）。この場合、ゲート１０の扉を閉じる処理（閉扉処理）が実行される。なお、認証に失敗した場合（Ｓ１０７にてＮＯ）、通行者を通過不可である、と判定する前に、Ｓ１０３と同様の第１顔認証処理を再び行ってもよい（再認証又は再照合）。なお、この場合、Ｓ１０３と同様に、顔認証機能部１２は、顔認証依頼を顔認証サーバ１４に送信するが、顔認証依頼に含まれる情報は、Ｓ１０７における画像の中の顔枠に関する情報であってよい。そして、図４に示すフローは終了する。

【0098】

認証に成功した場合（Ｓ１０７にてＹＥＳ）、顔認証機能部１２は、通行者のゲート１０の通過を許可してよい、と判定する（Ｓ１０８）。この判定に応じて、顔認証機能部１２は、例えば、ゲート１０に対して、ゲート１０の通行を規制するドアの開扉を指示してよい。そして、図４に示すフローは終了する。

【0099】

以上のような２段階の顔認証処理によって、１段階目で認証に成功した人物が、ゲート１０を通過したか否かを２段階目の顔認証処理によって確認できる。

【0100】

なお、２段階で顔認証処理を行う場合、２段階目の顔認証処理の方法及び／又はタイミングが異なる複数の方式が存在する。例えば、以下に示すように、多重ローカル認証方式、ローカル顔認証追跡方式、及び、後バッチ方式が存在する。

【0101】

多重ローカル認証方式では、最初の段階の顔認証処理において顔認証サーバから取得した情報がローカル顔認証エンジンに登録され、２段階目以降の顔認証処理では、登録された情報が利用される。

【0102】

例えば、多重ローカル認証方式では、顔認証サーバ１４から顔照合結果を受信する場合に、当該候補者の顔の特徴量の情報を含む顔照合結果を受信する。そして、候補者の顔の特徴量の情報をローカル顔認証エンジンに登録する。ローカル顔認証エンジンに情報を登録した後の顔認証処理では、通行者を撮影した画像と登録された情報とによって、通行者と候補者とが同一人物であるか否かを示す一致度を確認する。なお、多重ローカル認証方式において、候補者の顔の特徴量の情報は、必ずしも顔照合結果に含まれていなくてもよい。顔認証機能部１２は、候補者の顔の特徴量の情報を、顔照合結果と別の情報として受信してもよいし、顔照合結果と異なるタイミングで受信してもよい。すなわち、顔認証サーバ１４において、第１顔画像領域の画像情報と登録者の情報との照合が成功した場合、その登録者に該当する候補者の顔の特徴量を顔認証機能部１２が受信できるのであれば、受信する情報のデータ構造及び／又はタイミングは、限定されない。

【0103】

多重ローカル認証方式では、複数回の顔認証処理を行うため、通行者がゲート１０の通過を許可された人物であることの正当性を向上できる。ここで、多重ローカル認証方式では、顔認証サーバ１４に登録されている特徴量を用いて２段階目以降の顔認証処理を行うため、２段階目以降の顔認証処理も顔認証サーバ１４を用いた顔認証処理と同等の精度で実施される。したがって、通行者がゲート１０の通行を許可された人物であることをより確実に確認できる。

【0104】

ローカル顔認証追跡方式では、最初の顔認証処理において使用した画像に含まれる通行者に関する情報がローカル顔認証エンジンに登録され、２段階目以降の顔認証処理では、登録された情報が利用される。

【0105】

例えば、ローカル顔認証追跡方式では、顔認証サーバ１４への顔認証依頼を送信するタイミングにおいて、ローカル顔認証エンジンに対して、通行者の顔登録を実行する。ここで、通行者の顔登録とは、通行者を撮影した画像から、通行者の顔の領域を抽出し、抽出した領域の画像（つまり、顔画像）の情報を登録することに相当してもよいし、抽出した顔画像から得られる特徴量を登録することに相当してもよい。ローカル顔認証エンジンに情報を登録した後の顔認証処理では、通行者を撮影した画像と、登録された顔画像との顔照合（１：１顔照合）を実行し、撮影された通行者と登録された通行者とが同一人物であることを確認する。そして、通行者を撮影した画像における顔枠のサイズおよび撮影領域が指定サイズ以上で、かつ、指定領域内に入り、さらに、顔認証サーバ１４からの照合結果がＯＫであった場合に通行可とする。

【0106】

ローカル顔認証追跡方式では、最初の顔認証処理においてゲート１０の通過を許可された人物であることの認証に成功した通行者が、２段階目以降の認証処理において、ゲート１０に進入し、通過したことを追跡できるため、ゲート１０の通過を保証できる。また、ローカル顔認証追跡方式では、２段階目以降の認証処理において、最初の顔認証処理で使用した特徴量を用いるため、２段階目以降の認証処理において直近の環境（例えば、照明、日当たり）等を反映した認証を行うことができる。これにより、ゲート１０の近傍の影の影響及び経年変化等により、顔認証サーバ１４に登録されている顔画像と最新の顔画像（例えば、カメラ１１において撮影された画像中の顔領域）との間に乖離がある場合にも、通過管理を適切に行うことができる。

【0107】

後バッチ方式は、上記のローカル顔認証追跡方式と同様に、最初の顔認証処理において使用した画像に含まれる通行者に関する情報がローカル顔認証エンジンに登録され、２段階目以降の顔認証処理では、登録された情報が利用される。ただし、ローカル顔認証追跡方式と異なり、後バッチ方式では、２段階目以降の顔認証処理がリアルタイムで実行されない。例えば、２段階目以降の顔認証処理は、或る特定のタイミングに、一括で実行される。或る特定のタイミングとは、ゲート１０を通過する人物が少ない時間帯（例えば、夜間）、あるいは、月末等のタイミングであってもよい。

【0108】

後バッチ方式では、リアルタイム性を追求しないため、制御装置、サーバ等において、顔認証処理に係る計算機資源（例えば、ＣＰＵの処理能力）の浪費を抑制できる。

【0109】

なお、２段階認証方式の例は、上記の例に限定されない。また、上記の例では、２段階目以降の認証は、顔認証サーバ１４に顔認証依頼を送信する代わりに、ローカル顔認証エンジンによって実行される例を示したが、本開示はこれに限定されない。例えば、２段階目においても、顔認証サーバに顔認証依頼を送信し、顔認証サーバ１４において、通行者と同一人物の候補者が存在するか否かが判定されてよい。

【0110】

なお、図４では、２段階認証方式において、認証を行うタイミングは、通行者が或る特定のエリアに進入したことを光電センサによって検知する例を示したが、本開示はこれに限定されない。

【0111】

例えば、カメラ１１は、ゲート１０の出口から入口に向かう方向から、ゲート１０の入口から進入する人物を撮影する。そのため、１段階目の顔認証を行うエリア（例えば、図３ＡにおけるゾーンＡ）に存在する人物の顔枠よりも、２段階目の顔認証を行うエリア（例えば、図３ＡにおけるゾーンＢ）に存在する人物の顔枠の方が、大きなサイズを有する。

【0112】

１段階目の顔認証を行うエリアと２段階目の顔認証を行うエリアとで顔枠のサイズが異なることを用いて、光電センサの代わりに、顔枠のサイズに基づいて、認証を行うタイミングが特定されてもよい。以下では、顔枠のサイズに基づく２段階の顔認証処理の例を説明する。

【0113】

図５は、２段階の顔認証処理の流れの第１の例を示すフローチャートである。図５に示すフローは、例えば、通行者が接近する毎に開始されてよい。

【0114】

顔認証機能部１２は、画像を取得し、顔枠を検出する（Ｓ２０１）。

【0115】

顔認証機能部１２は、顔枠のサイズが、所定の第１閾値以上か否かを判定する（Ｓ２０２）。なお、顔枠のサイズ及び顔枠のサイズと比較される第１閾値は、画像領域における面積によって規定されてもよいし、顔枠の縦方向の長さ又は横方向の長さによって規定されてもよい。また、第１閾値は、例えば、後述するＳ２０３における顔認証処理において用いられる顔枠のサイズの下限、又は、上限のサイズに基づいて規定されてよい。

【0116】

顔枠のサイズが第１閾値以上ではない場合（Ｓ２０２にてＮＯ）、顔認証機能部１２は、Ｓ２０１の処理を実行する。

【0117】

顔枠のサイズが第１閾値以上である場合（Ｓ２０２にてＹＥＳ）、顔認証機能部１２は、検出した顔枠について第１顔認証処理を実行する（Ｓ２０３）。第１顔認証処理では、顔認証依頼を顔認証サーバ１４に送信し、顔認証サーバ１４において、登録者の中に、通行者と同一人物である候補者が存在するか否かを判定する。

【0118】

第１顔認証処理の結果、顔認証機能部１２は、認証に成功したか否かを判定する（Ｓ２０４）。認証の失敗、成功については、図４のＳ１０４と同様であってよい。

【0119】

認証に失敗した場合（Ｓ２０４にてＮＯ）、顔認証機能部１２は、Ｓ２０１の処理を実行する。

【0120】

認証に成功した場合（Ｓ２０４にてＹＥＳ）、顔認証機能部１２は、次のタイミングの画像を取得し、顔枠を検出する（Ｓ２０５）。

【0121】

顔認証機能部１２は、タイムアウトが発生したか否かを判定する（Ｓ２０６）。例えば、Ｓ２０６の処理では、Ｓ２０３における第１顔認証処理にて認証に成功したタイミングにてタイマが起動し、タイマが示す時間が所定時間以上の場合、タイムアウトが発生したと判定する。ここで、タイマが示す時間は、Ｓ２０３おける第１顔認証処理にて認証に成功したタイミングから、Ｓ２０６の判定を実行するタイミングまでの時間である。また、例えば、所定時間は、第１顔認証処理において、認証に成功した通行者が、ゲート１０を通過するまでに許容される上限時間であってよい。このタイムアウトの判定によって、例えば、１段階目にて認証に成功した通行者が、ゲート１０の通路内で留まってしまう状況に対して、適切な処理（例えば、通行者に対する警告）を実行できる。

【0122】

タイムアウトが発生した場合（Ｓ２０６にてＹＥＳ）、フローは終了する。

【0123】

タイムアウトが発生しなかった場合（Ｓ２０６にてＮＯ）、顔認証機能部１２は、顔枠のサイズが、所定の第２閾値以上か否かを判定する（Ｓ２０７）。例えば、第２閾値は、第１閾値よりも大きい。例えば、第２閾値は、後述するＳ２０８の顔認証処理において用いられる顔枠のサイズの下限、又は、上限のサイズであってよい。あるいは、第２閾値は、平均的な顔のサイズを有し、課金ラインに到達した人物を撮影した画像の顔枠のサイズによって規定されてよい。また、第２閾値は、Ｓ２０３における処理対象の顔枠のサイズに、１より大きい係数を乗算した値によって規定されてもよい。

【0124】

顔枠のサイズが、第２閾値以上ではない場合（Ｓ２０７にてＮＯ）、顔認証機能部１２は、Ｓ２０５の処理を実行する。

【0125】

顔枠のサイズが、第２閾値以上である場合（Ｓ２０７にてＹＥＳ）、顔認証機能部１２は、Ｓ２０５にて検出した顔枠について、第２顔認証処理である１：１の顔認証処理を実行する（Ｓ２０８）。

【0126】

例えば、多重ローカル認証方式の第２顔認証処理では、Ｓ２０３にて取得した候補者の顔の特徴量の情報と、Ｓ２０５にて検出した通行者の顔枠の情報とを照合し、候補者と通行者とが同一人物であるか否かを判定する。

【0127】

また、例えば、ローカル顔認証追跡方式の第２顔認証処理では、Ｓ２０３にて第１顔認証処理を実行した顔枠の情報と、Ｓ２０５にて検出した通行者の顔枠の情報とを照合し、候補者と通行者とが同一人物であるか否かを判定する。

【0128】

第２顔認証処理の結果、顔認証機能部１２は、認証に成功したか否かを判定する（Ｓ２０９）。

【0129】

認証に失敗した場合（Ｓ２０９にてＮＯ）、顔認証機能部１２は、通行者を通過不可である、と扱う（Ｓ２１１）。この場合、ゲート１０の扉を閉じる処理（閉扉処理）が実行される。なお、認証に失敗した場合（Ｓ２０９にてＮＯ）、通行者を通過不可である、と扱う前に、Ｓ２０３と同様の第１顔認証処理を再び行ってもよい（再認証又は再照合）。なお、この場合、Ｓ２０３と同様に、顔認証機能部１２は、顔認証依頼を顔認証サーバ１４に送信するが、顔認証依頼には、Ｓ２０８における画像の中の顔枠に関する情報が含まれてよい。そして、フローは終了する。

【0130】

ここで、認証に失敗した場合とは、例えば、Ｓ２０３における第１顔認証処理によって特定された候補者の情報と、通行者を撮影した画像の情報とが、一致しない場合であってよい。情報が一致しない場合とは、例えば、顔認証処理によって得られるスコアが、同一人物であると判定される閾値よりも低い場合であってよい。なお、特定された候補者の情報と、通行者を撮影した画像の情報とが、一致しない場合とは、特定された候補者と、画像に含まれる通行者とが同一人物ではない場合（例えば、途中で入れ替わっている場合）であってよい。あるいは、特定された候補者の情報と、通行者を撮影した画像の情報とが、一致しない場合とは、特定された候補者と、画像に含まれる通行者とが同一人物であるにも関わらず、特定された候補者と、画像に含まれる通行者とが同一人物ではないと誤って判定された場合であってもよい。

【0131】

認証に成功した場合（Ｓ２０９にてＹＥＳ）、顔認証機能部１２は、通行者のゲート１０の通過を許可すると判定してよい（Ｓ２１０）。この判定に応じて、顔認証機能部１２は、例えば、ゲート１０に対して、ゲート１０の通行を規制するドアの開扉の指示を出力してよい。そして、フローは終了する。

【0132】

なお、図５では、２段階目の顔認証処理がローカルで実行される例を示したが、本開示はこれに限定されない。例えば、以下に図６を用いて示すように、２段階目の顔認証処理において、顔認証サーバ１４に顔認証を依頼してもよい。このようにすることで、ゲート１０から顔認証を行う機能を省略できるため、ゲート１０の構成を簡易なものにすることができる。

【0133】

図６は、２段階の顔認証処理の流れの第２の例を示すフローチャートである。図６に示すフローは、例えば、通行者が接近する毎に開始されてよい。なお、図６において、図５に示した処理と同様の処理については、同一の符番を付し説明を省略する。図６では、図５におけるＳ２０８が、Ｓ３０１に置き換わる。

【0134】

顔枠のサイズが、第２サイズ以上である場合（Ｓ２０７にてＹＥＳ）、顔認証機能部１２は、Ｓ２０５にて検出した顔枠について、第２顔認証処理を実行する（Ｓ３０１）。ここで、Ｓ３０１では、顔認証機能部１２は、顔認証依頼を顔認証サーバ１４に送信する。顔認証依頼には、例えば、Ｓ２０５にて検出した顔枠の情報が含まれる。また、顔認証サーバ１４では、登録者の中に、通行者と同一人物である候補者が存在するか否かが判定されてもよい。あるいは、顔認証サーバ１４は、Ｓ２０３における顔認証依頼に基づいて実行した照合結果を用いて、処理を簡略に行ってもよい。例えば、Ｓ２０３における顔認証依頼に基づいて実行した照合結果によって絞り込まれた登録者の情報と、新たに受信した顔認証依頼に含まれる顔枠の情報とを照合してもよい。

【0135】

以上、本実施の形態の通過管理システム１では、第１認証エリアに存在する人物を撮影した画像における顔枠に基づいて、第１顔認証処理が実行され、第１顔認証処理に成功した人物について、第１認証エリアとゲートの出口との間の第２認証エリアに存在する当該人物を撮影した画像における顔枠に基づいて、第２顔認証処理が実行される。この構成によって実行される２段階の顔認証処理によって、ゲートに対する対象（例えば、人物）の通過管理を簡易な構成にて実現できる。

【0136】

なお、上述した実施の形態では、２段階の顔認証処理を行う例を示したが、本開示はこれに限定されず、３段階以上の顔認証処理を行ってもよい。例えば、１段階目の顔認証処理に成功した人物について、１段階目の顔認証処理を行った後に撮影される画像のそれぞれに対して、顔枠の検出及び顔認証処理が実行され、当該人物が追跡されてよい。この場合、２段階目以降の顔認証処理は、ローカルで実行されてよい。この構成により、当該人物の移動を逐次追従でき、当該人物がゲート１０を通過したか否かを精度良く判定できる。例えば、当該人物が追従される構成では、ゲート１０の出口（又はゲート１０の課金ライン）に設けられたセンサが、当該人物の通過を検知した場合に、顔認証処理を停止し、追跡を終了してよい。

【0137】

なお、１段階目の顔認証処理では、顔認証（顔照合）の精度が担保されるため、２段階目の顔認証処理では、処理を簡略にしてもよい。例えば、２段階目の顔認証処理において使用する顔の特徴量の数は、１段階目の顔認証処理において使用する顔の特徴量の数よりも減らしてよい。例えば、１段階目の顔認証処理では顔のパーツのそれぞれの特徴量が使用される場合、２段階目の顔認証処理では、顔の目の特徴量が使用され、目以外のパーツの特徴量は使用されなくてよい。これにより、特徴量の比較に係る処理負荷を低減でき、２段階目の処理速度が向上する。

【0138】

また、例えば、顔認証処理において、２つの顔（例えば、登録者の顔と通行者の顔）の特徴量を比較することによって算出されるスコアが閾値と比較され、スコアが閾値以上である場合に２つの顔は同一人物の顔である、と判定される場合、閾値が顔認証処理の段階に応じて調整されてよい。２段階目の顔認証処理において使用する閾値は、１段階目の顔認証処理において使用する閾値より小さくてよい。閾値を調整することによって、スコアの比較に係る処理負荷を低減でき、２段階目の処理速度が向上する。

【0139】

なお、上述した本実施の形態では、２段階目の顔認証処理において、認証に失敗した場合、閉扉処理を行う例を示したが、本開示はこれに限定されない。例えば、２段階目の顔認証処理において、認証に失敗した場合に、ゲート１０の設置状況、及び／又は、混雑状況に応じて、閉扉処理を行わなくてよい。例えば、鉄道の駅に設けられたゲートの場合、ゲートを通過する人数が多いため、閉扉処理によって人の流れを止めてしまうと混雑が生じてしまう。このような場合、ゲートを不正に通過する人物を検出するよりも、人の流れを止めないように閉扉処理を行わなくてよい。

【0140】

また、上述した本実施の形態では、顔枠のサイズが、第１の閾値及び／又は第２の閾値以上となったか否かによって、人物が第１のエリア及び／又は第２のエリアに進入したか否かを判定していたが、これに限られない。顔枠のサイズに基づいて得られる顔枠のサイズの変化率が、人物が第１のエリア及び／又は第２のエリアに進入したか否かの判定に用いられてよい。顔枠のサイズの変化率は、時間の経過（又は人物の移動）に伴って変化する画像内の顔枠のサイズの変化の割合を表す。例えば、或る時点ｔにおける顔枠のサイズの変化率は、時点ｔにおいて取得された顔枠のサイズと、時点ｔよりも１時点前（又は複数時点前）に取得され、時点ｔにおける顔枠と同一人物の顔枠のサイズとを比較することによって算出される。一般的に、顔枠のサイズの変化率は、カメラに顔が近づくほど大きくなるため、人物とカメラとの間の距離に応じて顔枠のサイズの変化率が変わる。また、顔枠のサイズの変化率は、変化の割合（又は変化量）を示すため、人物ごとの顔の大きさの違いによる影響を受けにくい。そのため、顔枠のサイズの変化率が所定の閾値以上であるか否かを判定することで、人物ごとの顔の大きさの差を吸収しつつ、顔の接近（例えば、人物がどのエリアに進入したか）を判定できる。

【0141】

また、上述した本実施の形態では、顔枠の情報を用いて人物が第１のエリア及び／又は第２のエリアに進入したか否かを判定していたが、これに限られない。顔のパーツ同士の間の距離に基づいて、人物が第１のエリア及び／又は第２のエリアに進入したか否かを判定してもよい。一般的に顔のパーツは、カメラに顔が近づくほど撮像画像内での距離が離れるため、目と目との間の距離、及び、目と口との間の距離等、顔のパーツ間の距離が所定の閾値以上であるか否かを判定することで顔の接近を判定できる。顔のパーツとしては、目、鼻、口、耳などの顔の器官が例として挙げられるが、シミ、ほくろ、しわなど、一般的な器官とは異なる特徴を顔のパーツとして使用してもよい。また、パーツ間の距離に替えて、撮像画像における顔のパーツのサイズが用いられてもよい。顔枠のサイズと同様、顔のパーツのサイズも、顔がカメラに近づくほど大きくなるためである。また、パーツ間の距離に替えて、顔のパーツのサイズの変化率が用いられてもよい。顔枠のサイズの変化率と同様、顔のパーツのサイズの変化率も、顔がカメラに近づくほどが大きくなるためである。

【0142】

なお、ゲート１０を通過しようとする人物がどのエリアに進入したかの判定において、上述した各方法が組み合わせて用いられてもよいし、選択的に用いられてもよいし、同じ方法が常時用いられてもよい。

【0143】

また、上述した本実施の形態において、１段階目の顔認証処理と２段階目の顔認証処理それぞれの成否が、音声及び／又は画像によって出力されてもよい。この際、１段階目の顔認証処理の成否と２段階目以降の顔認証処理の成否とで異なる音声及び／又は画像が出力されてもよい。このようにすることで、ゲート１０を通過しようとする人物に対し、２段階以上の認証が行われていることを意識させることができる。また、人物の顔認証処理が失敗した場合、ゲート１０を通過する許可を得る段階（１段階目の顔認証処理の成否）と、ゲート１０の通過確認の段階（２段階目以降の顔認証処理の成否）のどちらで失敗したのかを区別して通知することができる。

【0144】

また、例えば、鉄道の駅に設けられ、鉄道の利用者の駅構内への入退場を管理するゲートでは、駅構内への入場の際には課金されず、退場の際に課金される。そのため、鉄道の利用者がゲートを通過して駅構内に入場する場合には、顔認証処理を簡略にしてもよい。例えば、入場する利用者の認証に失敗した場合、認証に失敗した画像の情報を記録し、当該利用者が退場する際に、入場時に記録した画像の情報を用いて、入場した場所を特定し、遡って課金を行ってもよい。

【0145】

なお、上述した実施の形態では、ゲート１０を通過する人物の通過を管理するシステムについて説明したが、本開示はこれに限定されない。例えば、通行路の側壁、及び、人物の通過を規制する規制部（例えば、扉）を有さない場合に本開示が適用されてもよい。例えば、或るゾーンから、認証処理に応じて人物の進入が許容される別のゾーンに向かう移動経路であれば、本開示が適用されてよい。この場合、移動経路を通過する人物の顔を撮影するカメラが、例えば、移動経路上に設けられた支持部等に設置されてよい。

【0146】

また、本実施の形態では、認証対象が人物である例を示したが、本開示はこれに限定されない。例えば、動物、車両等の移動体などに適用されてよい。また、本実施の形態では、顔認証を行う例を示したが、本開示はこれに限定されない。例えば、本開示は、ゲートの通行権を有することを示すＩＤカードを用いた認証、及び、生体認証等の他の認証方法に適用されてよい。

【0147】

また、顔認証と他の認証方法とが併用されてもよい。上述した実施の形態の開示により顔認証では通過が許可されない場合であっても、ＩＤカードの情報が入力されれば、例外的に通過が許可されてもよい。

【0148】

また、上述した実施の形態では、カメラ１１は、ゲート１０の側壁Ｖに設けられる例に限られない。例えば、カメラ１１は、ゲート１０に設けられる支持部に取り付けられてよい。支持部は、例えば、ゲート１０から垂直方向に延びるポールであってもよいし、ゲート１０の側壁を覆うように設けられるアーチ形状の部材であってもよい。

【0149】

また、上述した実施の形態では、ゲート１０の通過を規制する手段として扉を用いていたが、他の手段により直接的又は間接的に通過を規制してもよい。例えば、警報を鳴らしたり、警告灯を点灯させたりすることによって、ゲート１０を通過しようとする人物に対して、ゲート１０の通過が規制されたことを提示してよい。また、ゲート１０の近傍にいる従業員の所有する端末等に通知を送ることによって、当該従業員が通過を規制してもよい。

【0150】

また、混雑状況に応じて、通過を阻止する制御を行うか否か、又は、通過を規制する手段が切り替えられてもよい。例えば、多数の人物が入退場する場合など人物の通過を阻止又は規制すると安全性が低下し得るような環境では、ゲート１０の通過は阻止せず、不正な通過があったことを示す情報が記録されるようにしてもよい。この場合、不正な通過を行った人物の顔画像又は顔認証の結果を、不正な通過があったことを示す情報と関連付けて記録されるようにしてもよい。これにより、不正な通過を行った人物を後から追跡して、通行権の対価などを請求することが可能となる。

【0151】

また、上述した実施の形態では、通過管理システム１は、空港、駅、イベント会場などの施設の出入口における、施設への入場及び施設からの退場の両方を管理していたが、入口又は出口において、施設への入場又は施設からの退場の一方を管理し、他方については管理しなくてもよい。

【0152】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

【0153】

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0154】

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

【0155】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0156】

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置は無線送受信機（トランシーバー）と処理／制御回路を含んでもよい。無線送受信機は受信部と送信部、またはそれらを機能として、含んでもよい。無線送受信機（送信部、受信部）は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）モジュールと１または複数のアンテナを含んでもよい。ＲＦモジュールは、増幅器、ＲＦ変調器／復調器、またはそれらに類するものを含んでもよい。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

【0157】

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

【0158】

また、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）技術において、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるＣＰＳ（Ｃｙｂｅｒ Ｐｈｙｓｉｃａｌ Ｓｙｓｔｅｍｓ）が注目されている。上記の実施の形態においても、このＣＰＳコンセプトを採用することができる。

【0159】

すなわち、ＣＰＳの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとを、ネットワークを介して接続し、双方のサーバに搭載されたプロセッサにより、処理を分散して処理することが可能である。ここで、エッジサーバまたはクラウドサーバにおいて生成される各処理データは、標準化されたプラットフォーム上で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やＩｏＴアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。

【0160】

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

【0161】

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。

【0162】

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

【0163】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

【0164】

以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

【産業上の利用可能性】

【0165】

本開示の一実施例は、顔認証システムに好適である。

【符号の説明】

【0166】

１ 通過管理システム
１０ ゲート
１１ カメラ
１２ 顔認証機能部
１２１ カメラ制御部
１２２ 第１顔照合処理部
１２３ 第２顔照合処理部
１３ 通過管理機能部
１３１ 通過管理状態遷移処理部
１３２ 履歴管理部
１３３ 履歴ＤＢ
１４ 顔認証サーバ
１５ 通過履歴管理サーバ

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】