(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089981
(43)【公開日】2024-07-04
(54)【発明の名称】入場管理装置、システム、方法及びプログラム
(51)【国際特許分類】
G07C 9/37 20200101AFI20240627BHJP
G07C 9/38 20200101ALI20240627BHJP
G07B 15/00 20110101ALI20240627BHJP
G06V 40/16 20220101ALI20240627BHJP
G06T 7/00 20170101ALI20240627BHJP
【FI】
G07C9/37
G07C9/38
G07B15/00 B
G06V40/16 A
G06T7/00 510F
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022205573
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】高田 果奈子
【テーマコード(参考)】
3E127
3E138
5B043
【Fターム(参考)】
3E127AA03
3E127BA05
3E127CA02
3E127CA48
3E127CA56
3E127FA24
3E127FB04
3E138AA01
3E138CC01
3E138DA01
3E138DA07
3E138DB02
3E138GA02
3E138JA01
3E138JB16
3E138JC01
5B043AA04
5B043AA09
5B043BA04
5B043DA05
(57)【要約】
【課題】ゲートレス型の顔認証の利便性を向上すること。
【解決手段】入場管理装置(1)は、所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得部(11)と、複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、人物に対して領域への入場を許可したことを示す許可情報を設定する設定部(12)と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得手段と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定手段と、
を備える入場管理装置。
【請求項2】
前記複数の顔認証結果の中に顔認証の成功を示す顔認証結果が含まれる場合、当該顔認証結果が示す人物における顔認証の成功回数を算出する算出手段をさらに備え、
前記設定手段は、前記算出された成功回数が前記所定回数以上である場合、前記人物に対して前記許可情報を設定する
請求項1に記載の入場管理装置。
【請求項3】
前記顔認証の成功を示す人物に対応付けられたユーザ端末に対して、認証成功に関する通知情報を送信する送信手段をさらに備える
請求項1又は2に記載の入場管理装置。
【請求項4】
前記送信手段は、前記顔認証の成功を示す人物における前記成功回数を含めた前記通知情報を送信する
請求項3に記載の入場管理装置。
【請求項5】
前記送信手段は、前記算出された成功回数が前記所定回数より少ない場合、成功回数不足の旨を含めた前記通知情報を送信する
請求項3に記載の入場管理装置。
【請求項6】
前記送信手段は、前記算出された成功回数が前記所定回数より少ない場合、追加の顔認証が必要な旨を含めた前記通知情報を送信する
請求項3に記載の入場管理装置。
【請求項7】
前記送信手段は、所定期間内で、前記成功回数が前記所定回数以上となるまで一定間隔で、前記ユーザ端末に対して前記通知情報を送信する
請求項3に記載の入場管理装置。
【請求項8】
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラと、
前記カメラのそれぞれと接続された入場管理装置と、を備え、
前記入場管理装置は、
前記カメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得手段と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定手段と、
を備える入場管理システム。
【請求項9】
コンピュータが、
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得し、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する、
入場管理方法。
【請求項10】
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得処理と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定処理と、
をコンピュータに実行させる入場管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、入場管理装置、システム、方法及びプログラムに関する。
【背景技術】
【0002】
近年、所定の領域における人物の入退場の管理をゲートレスで実現するために、顔認証技術が普及しつつある。例えば、特許文献1には、ゲートを通過する人の顔画像を用いた照合を行う照合システムに関する技術が開示されている。特許文献1にかかる照合システムは、第1領域から、規制部より上流に位置する第2領域へ向かう人の流れがある経路において、第1領域を撮影した第1画像を用いた第1の顔画像照合の結果によって第1候補顔画像へ絞り込む。そして、当該照合システムは、絞り込まれた第1候補顔画像と、第2領域を撮影した第2画像と、を用いて第2の顔画像照合を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、所定の領域へ向かう通路上に顔認証装置を設置したとしても、通行する人物の顔の向き等によって、顔認証が適切に行えないなど、誤認証される場合もある。そのため、領域への入場許可の条件を、通路上に設置された複数の顔認証装置の全てにおいて顔認証に成功することとすると、条件が厳格となり過ぎて、ゲートレス型の顔認証の利便性が享受しし難くなるという課題がある。
【0005】
本開示の目的は、上述した課題を鑑み、ゲートレス型の顔認証の利便性を向上するための入場管理装置、システム、方法、及び、プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示にかかる入場管理装置は、
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得手段と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定手段と、
を備える。
【0007】
本開示にかかる入場管理システムは、
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラと、
前記カメラのそれぞれと接続された入場管理装置と、を備え、
前記入場管理装置は、
前記カメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得手段と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定手段と、
を備える。
【0008】
本開示にかかる入場管理方法は、
コンピュータが、
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得し、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する。
【0009】
本開示にかかる入場管理プログラムは、
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得処理と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定処理と、
をコンピュータに実行させる。
【発明の効果】
【0010】
本開示により、ゲートレス型の顔認証の利便性を向上するための入場管理装置、システム、方法、及び、プログラムを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態1にかかる入場管理装置の構成を示すブロック図である。
【
図2】本実施形態1にかかる入場管理方法の流れを示すフローチャートである。
【
図3】本実施形態2にかかる入場管理システムの構成を示すブロック図である。
【
図4】本実施形態2にかかる認証装置の構成を示すブロック図である。
【
図5】本実施形態2にかかる認証装置による顔情報登録処理の流れを示すフローチャートである。
【
図6】本実施形態2にかかる入場管理装置の構成を示すブロック図である。
【
図7】本実施形態2にかかる入場管理装置における入場管理処理の流れを示すフローチャートである。
【
図8】本実施形態2にかかる入場管理装置における入場管理処理の流れを示すフローチャートである。
【
図9】本実施形態2にかかる認証装置による顔認証処理の流れを示すフローチャートである。
【
図10】本実施形態2にかかるゲートレス改札の利用時の入場管理処理の例の流れを示すシーケンス図である。
【
図11】本実施形態2にかかる通知情報の表示例を示す図である。
【
図12】本実施形態2にかかる通知情報の表示例を示す図である。
【発明を実施するための形態】
【0012】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0013】
<実施形態1>
図1は、本実施形態1にかかる入場管理装置1の構成を示すブロック図である。入場管理装置1は、所定のサービスが提供される領域への入場を管理するための情報処理装置である。「所定のサービスが提供される領域」とは、例えば、交通機関の駅構内や車両内等、イベント会場等が挙げられるがこれらに限定されない。提供されるサービスは有料か無料かを問わない。前提として、所定のサービスが提供される領域に至る通路上には、3台以上のカメラが設置されているものとする。尚、「通路」は上述した「領域」に含まれても良い。そして、これらの3台以上のカメラのそれぞれは、通路の少なくとも一部が撮影可能であるものとする。そのため、各カメラは、上記領域へ入場するために通路を歩行する人物を撮影可能であり、特に、人物の顔の向きによっては顔認証、虹彩認証、又は歩容認証のための顔画像を撮影できる場合があるものとする。入場管理装置1は、上記3台以上のカメラのそれぞれと通信可能に接続されている。
【0014】
入場管理装置1は、取得部11と設定部12とを備える。取得部11は、3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する。ここで、顔認証結果は、撮影画像に基づく顔認証処理の結果を示す情報である。顔認証処理は、撮影画像に含まれる人物の顔領域に対応する顔画像から抽出される顔特徴情報(クエリ)と、事前に登録された照合用の顔特徴情報(マスタ)との照合により一致度が閾値以上か否かを判定し、一致度が閾値以上の場合、顔認証に成功したと判定する処理である。ここで、「顔特徴情報」とは、人物U0の顔画像から抽出された目、鼻、口等の位置に対応する各特徴点の間の距離等である特徴量の集合を示す特徴ベクトルである。
【0015】
取得部11は、少なくとも各撮影画像のそれぞれについての顔認証結果を取得するものであればよい。そのため、顔認証処理は、入場管理装置1の内部又は外部のいずれで行われても良い。例えば、上記カメラを搭載した認証端末(不図示)が通路上に設置されていたとする。その場合は、各認証端末は、カメラにより撮影された撮影画像について顔認証処理を行い、顔認証結果を入場管理装置1へ送信しても良い。このとき、各認証端末は、撮影画像、又は、撮影画像から抽出された顔画像もしくは顔特徴情報を、外部の認証基盤システム(不図示)へ送信して顔認証処理を実行させ、認証基盤システムから受信した顔認証結果を入場管理装置1へ送信してもよい。または、取得部11は、各認証端末から撮影画像、顔画像又は顔特徴情報を受信し、受信した撮影画像等を認証基盤システムへ送信して顔認証処理を実行させ、認証基盤システムから顔認証結果を取得してもよい。
【0016】
設定部12は、複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して領域への入場を許可したことを示す許可情報を設定する。具体的には、設定部12は、領域への入場を管理するデータベース(不図示)等に、顔認証に2回以上成功した人物の識別情報と許可情報とを対応付けて登録するとよい。許可情報は、領域へ入場したことを示すフラグ情報であってもよい。尚、許可情報の設定の仕方はこれに限定されない。
【0017】
図2は、本実施形態1にかかる入場管理方法の流れを示すフローチャートである。まず、取得部11は、所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する(S11)。そして、設定部12は、複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、その人物に対して領域への入場を許可したことを示す許可情報を設定する(S12)。
【0018】
ここで、一般に、顔認証の照合用の顔特徴情報(マスタ)は、人物の正面の顔画像から抽出されたものが多い。そのため、顔認証の際には、カメラの撮影方向に対して人物の顔が正面に近い向きで撮影された画像を用いることで、顔認証の精度を高めることができる。一方で、領域への入場管理をゲートレス型の顔認証で実現するために、領域に至る通路上で、人物の顔を正面から撮影することを優先して、通路全体を撮影可能な位置に認証端末等のカメラを設置した場合、領域へ入場するために歩行する人物の進行を阻害し得る。
【0019】
そこで、本実施形態では、通路上の少なくとも一部が撮影可能な(異なる)位置に3台以上のカメラを設置しておき、同一人物が各カメラの撮影画像のうち2画像以上で顔認証に成功した場合に、その人物が認証できたものとみなす。ここで、通路上の少なくとも一部が撮影可能な位置とは、例えば、通路の脇や天井等であり、通路を歩行する人物の進行を阻害し難い位置とする。この場合、一部のカメラの設置位置により、また、歩行中の人物が一時期に顔を下に向けるか、あるカメラの撮影方向から顔を背けていたことにより、当該カメラの撮影画像による顔認証には失敗する可能性もある。そのため、複数のカメラのうち1台のカメラの撮影画像による顔認証結果だけで入場を許可すると、誤認証等の場合に適切な入場管理が損なわれる。しかしながら、通路上の異なる箇所に3台以上のカメラを設置することで、少なくとも2以上のカメラによる撮影画像には顔認証のために十分な顔画像が含まれる可能性が高くなる。つまり、一部のカメラによる撮影画像においては顔認証に成功しなくとも、他の複数のカメラによる撮影画像において同一人物の顔認証に成功する可能性が高いといえる。そのため、本実施形態では、通路上の様々な位置や部分的な領域を撮影可能な位置に設置された複数台のカメラによる撮影画像による顔認証結果を総合的に判断し、複数回の顔認証結果により人物の認証の精度を担保して、人物の入場を適切に管理することができる。以上のことから、本実施形態により、所定のサービスが提供される領域へ向かう人物が、スムーズに進行できることと、顔認証の信頼性を担保することで、ゲートレス型の顔認証の利便性を向上することができる。
【0020】
尚、入場管理装置1は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる入場管理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラム等を前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部11、特定部12及び送信部13の機能を実現する。
【0021】
または、入場管理装置1の各構成要素は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、量子プロセッサ(量子コンピュータ制御チップ)等を用いることができる。
【0022】
また、入場管理装置1の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、入場管理装置1の機能がSaaS(Software as a Service)形式で提供されてもよい。
【0023】
<実施形態2>
図3は、本実施形態2にかかる入場管理システム1000の構成を示すブロック図である。入場管理システム1000は、駅4における改札(特に入場)を、顔認証を用いてゲートレスで実現するための情報システムである。駅4は、改札外41と通路42とを備える。改札外41は、駅4の外や駅4の構内で改札口に至る経路等である。通路42は、改札ゾーン421、ゲートレスゾーン422及びプラットフォーム423を含む。改札ゾーン421及びゲートレスゾーン422は、いわゆる改札口に相当する。改札ゾーン421は、一般的な改札機101-1から101-n(nは自然数。)が設置された領域である。尚、本実施形態において改札ゾーン421は必須ではない。
【0024】
列車43は、プラットフォーム423において停車及び発車する。列車43内は、本実施形態2にかかる所定のサービスが提供される領域である。尚、所定のサービスが提供される領域には、通路42の全て又は一部の領域を含めても良い。その他、所定のサービスが提供される領域には、他の交通機関の車両等、イベント会場等が含まれても良い。また、プラットフォーム423その他の駅構内(改札内)には、売店等の商業施設が設置されていてもよい。
【0025】
改札機101は、例えば無人の自動改札機であり、フラッパーゲートを有する。チケットt1は、プラットフォーム423への入場資格もしくは列車43へ乗車資格を証明する物理的な券、又は、入場資格情報が記録されたICカードもしくはスマートフォン等のモバイル端末等である。入場資格情報は、具体的には、鉄道等の交通機関の乗車券、定期券、入場券といったものである。例えば、人物U1-1は、チケットt1-1を携帯して改札外41から歩行して、改札機101-1にチケットt1-1を投入又はかざす。ここで、改札機101-1は、チケットt1-1が有効なものである場合、フラッパーゲートを開ける。これにより、人物U1-1は、改札外41からプラットフォーム423へ入場し、列車43に乗車できる。また、人物U1-2は、チケットt1-2を携帯してプラットフォーム423から歩行して、改札機101-2にチケットt1-2を投入又はかざす。ここで、改札機101-2は、チケットt1-2が有効なものである場合、フラッパーゲートを開ける。これにより、人物U1-2は、プラットフォーム423から改札外41へ退場できる。
【0026】
ゲートレスゾーン422及びプラットフォーム423は、列車43へ乗車するために人物が通過する通路である。言い換えると、ゲートレスゾーン422及びプラットフォーム423は、列車43内に至る通路といえる。また、通路には、駅構内の階段等も含まれる。ゲートレスゾーン422及びプラットフォーム423には、3台以上のカメラが設置されている。
図3の例では、ゲートレスゾーン422には、カメラ121から126が設置されており、プラットフォーム423には、カメラ131から135が設置されている。つまり、通路42には、3台以上のカメラが設置されている。そして、各カメラは、通路42上の少なくとも一部が撮影可能であるものとする。
【0027】
例えば、カメラ121は、ゲートレスゾーン422の入口付近(通路42の開始地点)の天井等に設置されている。また、カメラ122、123及び124は、ゲートレスゾーン422の壁際等に設置されている。そして、カメラ121~124は、ゲートレスゾーン422のうち改札外41方向を撮影範囲としている。例えば、カメラ121は、改札外41からプラットフォーム423へ向かう人物U2-1の顔を撮影する。また、カメラ123は、例えば、改札外41からプラットフォーム423へ向かう人物U2-3の顔を撮影する。一方、カメラ125及び126は、ゲートレスゾーン422の中央付近の天井等に設置されている。そして、カメラ125及び126は、ゲートレスゾーン422のうちプラットフォーム423方向を撮影範囲としている。例えば、カメラ126は、プラットフォーム423から改札外41へ向かう人物U2-6の顔を撮影する。
【0028】
また、カメラ131及び135は、プラットフォーム423の端に設置されている。そのため、カメラ131及び135は、プラットフォーム423上の端部を撮影範囲としている。カメラ132及び134は、列車43の乗車口、プラットフォーム423上のホームドア付近の天井等の列車43(領域)の入口に設置されている。そのため、カメラ132及び134は、列車43の乗車口やホームドア付近を撮影範囲としている。カメラ133は、プラットフォーム423の天井に設置され、ゲートレスゾーン422方向を撮影範囲としている。例えば、カメラ133は、ゲートレスゾーン422からプラットフォーム423へ入る人物U2-4の顔を撮影する。また、カメラ134は、プラットフォーム423から列車43へ乗り込もうとする人物U2-5の顔を撮影する。
【0029】
このように、本実施形態では、通路42の異なる複数の箇所に複数の一般的なカメラを設置することで適用可能なため、導入コストを低減できる。但し、本実施形態にかかるカメラ121等は、上述したようにカメラを搭載した認証端末であってもよい。
【0030】
入場管理システム1000は、改札機101-1~101-n、カメラ121等、ユーザ端末102-1~102-5、認証装置200、入場管理装置300及び管理者端末400を備える。改札機101-1等、カメラ121等、ユーザ端末102-1等、認証装置200、入場管理装置300及び管理者端末400のそれぞれは、ネットワークNを介して通信可能に接続されている。ここで、ネットワークNは、無線の通信回線を含む通信ネットワークであり、例えばインターネット、無線通信回線網、携帯電話回線網等である。また、ネットワークNは、通信プロトコルの種別を問わない。
【0031】
ここで、以下の説明において、改札ゾーン421を通行する人物U1-1やU1-2を総称して単に「人物U1」、ゲートレスゾーン422及びプラットフォーム423を通行する人物U2-1からU2-6等を総称して単に「人物U2」と記載する場合がある。また、「人物U1」や「人物U2」を総称して単に「人物U」と記載する場合がある。また、人物U2は、ネットワークNを介して無線通信が可能なユーザ端末102を携帯しているものとする。ユーザ端末102は、人物U2-1からU2-6のそれぞれが携帯するユーザ端末102-1から102-6の総称である。ユーザ端末102-1から102-6は、同等の機能を有するものとする。
【0032】
カメラ121等のそれぞれは、撮影した画像データ(撮影画像)を、ネットワークNを介して入場管理装置300へ送信するものとする。例えば、カメラ121等は、撮影画像、カメラ121等の識別情報又は設置位置、撮影日時等を含めた入場管理要求を入場管理装置300へ送信する。尚、カメラ121等が認証端末に搭載されている場合、認証端末は、撮影画像から顔画像又は顔特徴情報を抽出し、抽出した顔画像又は顔特徴情報を、撮影画像に代えて入場管理要求に含めても良い。
【0033】
ユーザ端末102は、無線通信可能なモバイル端末であり、例えば、スマートフォン又はタブレット端末等の情報処理装置である。ユーザ端末102は、ネットワークNを介して入場管理装置300から通知情報を受信し、画面に表示してもよい。
【0034】
管理者端末400は、駅4のスタッフや警備員が操作する情報処理装置である。管理者端末400は、ネットワークNを介して入場管理装置300から通知情報を受信し、画面に表示してもよい。
【0035】
認証装置200は、ユーザの顔特徴情報を管理し、顔認証を行う情報処理装置である。また、認証装置200は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(認証結果)を要求元へ返信する。
【0036】
図4は、本実施形態2にかかる認証装置200の構成を示すブロック図である。認証装置200は、顔情報DB(DataBase)210と、顔検出部220と、特徴点抽出部230と、登録部240と、認証部250とを備える。顔情報DB210は、ユーザID211と当該ユーザIDの顔特徴情報212とを対応付けて記憶する。顔特徴情報212は、人物の目、鼻、口等の位置に対応する各特徴点の間の距離等である特徴量の集合を示す特徴ベクトルである。尚、認証装置200は、顔特徴情報212に対応するユーザ等からの要望に応じて、顔情報DB210内の顔特徴情報212を削除してもよい。または、認証装置200は、登録から一定期間経過後に顔特徴情報212を削除してもよい。
【0037】
顔検出部220は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部230に出力する。特徴点抽出部230は、顔検出部220が検出した顔領域から特徴点を抽出し、抽出した各特徴点間の距離等を特徴量として算出し、算出した特徴点の集合を含めた特徴ベクトルを顔特徴情報として生成(抽出)する。特徴点抽出部230は、生成した顔特徴情報を登録部240又は認証部250へ出力する。
【0038】
登録部240は、顔特徴情報の登録に際して、ユーザID211を新規に発行する。登録部240は、発行したユーザID211と、登録画像から抽出した顔特徴情報212とを対応付けて顔情報DB210へ登録する。
【0039】
認証部250は、顔特徴情報212を用いた顔認証を行う。具体的には、認証部250は、顔画像から抽出された顔特徴情報(クエリ生体情報)と、顔情報DB210内の顔特徴情報212(マスタ生体情報)との1対Nの照合により、各マスタ生体情報との一致度を算出する。例えば、認証部250は、クエリ生体情報の特徴量と、マスタ生体情報の特徴量との間の類似度を一致度として算出してもよい。例えば、認証部250は、特徴ベクトルの間の距離が短いほど一致度を高く算出するとよい。そして、認証部250は、一致度が閾値以上である場合、認証に成功したとし、一致度が閾値未満である場合、認証に失敗したと判定する。認証に成功した場合、認証部250は、顔情報DB210の中から認証に成功した顔特徴情報212に対応付けられたユーザID211を特定し、認証成功の旨とユーザID211を含めた顔認証結果を顔認証要求の要求元へ返信する。一方、認証に失敗した場合、認証部250は、認証失敗の旨を含めた顔認証結果を要求元へ返信する。
【0040】
図5は、本実施形態2にかかる認証装置200による顔情報登録処理の流れを示すフローチャートである。まず、認証装置200は、入場管理装置300からネットワークNを介して顔情報登録要求を受信する(S201)。次に、認証装置200の顔検出部220は、顔情報登録要求に含まれる顔画像から顔領域を検出する(S202)。そして、認証装置200の特徴点抽出部230は、ステップS202で検出した顔領域から顔特徴情報を抽出する(S203)。そして、認証装置200の登録部240は、ユーザID211を発行する(S204)。そして、登録部240は、抽出した顔特徴情報212と発行したユーザID211を対応付けて顔情報DB210に登録する(S205)。その後、登録部240は、発行したユーザID211を要求元である入場管理装置300へ、ネットワークNを介して返信する(S206)。尚、認証装置200は、任意の情報登録端末から受信した顔情報登録要求に応じて顔情報登録処理を行っても良い。例えば、情報登録端末は、パーソナルコンピュータ、スマートフォン又はタブレット端末等の情報処理装置である。
【0041】
図3に戻り説明を続ける。入場管理装置300は、上述した入場管理装置1の一例である。入場管理装置300は、駅4のゲートレスゾーン422及びプラットフォーム423への入場、列車43への乗車を管理するための情報処理装置である。入場管理装置300は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
【0042】
図6は、本実施形態2にかかる入場管理装置300の構成を示すブロック図である。入場管理装置300は、記憶部310、メモリ320、通信部330及び制御部340を備える。記憶部310は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置の一例である。記憶部310は、プログラム311、入場管理情報312及び認証履歴313を記憶する。尚、記憶部310と認証装置200の顔情報DB210を合わせて、記憶部とみなしてもよい。また、記憶部310に記憶される情報の一部又は全部は、外部の記憶装置に記憶されても良い。プログラム311は、本実施形態2にかかる入場管理処理等が実装されたコンピュータプログラム(入場管理プログラム)である。
【0043】
入場管理情報312は、ユーザID3121、端末情報3122、入場資格情報3123及び入場状態情報3124を対応付けた情報である。ユーザID3121は、ユーザの識別情報であり、上述したユーザID211と対応する情報である。端末情報3122は、ユーザ端末102の識別情報や宛先情報である。尚、端末情報112は、ユーザ端末102の位置情報を含んでも良い。入場資格情報3123は、通路42内へ入場する資格(又は列車43に乗車する資格)を示す情報である。入場資格情報3123は、資格の内容や有効期限等を含む。入場資格情報3123は、例えば、入場券、乗車券、定期券、特急券等のチケット情報や、その他のサービスの利用資格を示す情報であるとよい。尚、入場資格情報3123は、入場に伴い課金された金額の決済に用いる情報であってもよい。例えば、入場資格情報3123は、電子決済手段を利用するための認証情報、電子決済のための経済的価値情報等であってもよい。電子決済手段とは、例えば、クレジットカード、デビットカード、電子マネー、ポイント、電子キャッシュ、仮想通貨、ウォレット、又はその他の電子バリュー等による支払いや銀行口座等からの引き落としが挙げられるが、これらに限定されない。また、電子決済のための経済的価値情報とは、電子マネーのチャージ残高、ポイント数、電子キャッシュ、仮想通貨、ウォレット、又はその他の電子バリュー等の残高や、銀行口座の残高等である。
【0044】
入場状態情報3124は、ユーザにおける入場状態を示す情報である。入場状態情報3124は、状態31241、成功回数31242及び許可情報31243を含む。尚、入場状態情報3124は、少なくとも許可情報31243を含めばよい。また、入場状態情報3124の内容は、これらに限定されない。
【0045】
状態31241は、例えば、正当な入場を示す「改札済」、保留を示す「未改札」、「入場資格無」、入場資格情報の「有効期限切れ」、「退場」等の状態を示す情報である。ここで、「改札済」は、顔認証の成功回数が所定回数以上、かつ、入場資格情報が有効期限内である状態を示す。また、「未改札」は、顔認証の成功回数が所定回数未満、顔認証に成功したが、入場資格情報の有効期限切れ等である状態を示す。「退場」は、一旦、入場した後に、退場した状態を示す。
【0046】
成功回数31242は、顔認証の成功回数である。尚、入場状態情報3124は、成功回数31242の代わりに、又は、共に、入場が許可となるまでに必要な残りの成功回数(不足回数)を含んでも良い。
【0047】
許可情報31243は、通路42への入場時の顔認証に所定回数以上成功した人物U2に対してプラットフォーム423への入場または列車43への乗車を許可することを示す情報である。許可情報31243は、例えば、改札の通過を示す情報(フラグ、日時)、乗車日時を示す情報等であるとよい。また、許可情報31243は、上述した状態31241のうち「改札済」であってもよい。また、入場状態情報3124は、顔認証の成功回数が所定回数未満のため、入場が許可されていないことを示すフラグを含んでも良い。
【0048】
認証履歴313は、認証に成功したユーザID、認証成功日時、認証に成功した位置(カメラの識別情報や設置位置)等を含む情報である。認証履歴313は、個別の顔認証に成功した際の履歴情報であってもよい。尚、認証履歴313には、顔認証の失敗日時及び位置情報、並びに、顔認証に失敗した際の顔画像等を履歴としてさらに含んでも良い。尚、認証履歴313はこれらに限定されない。
【0049】
メモリ320は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部340の動作時に一時的に情報を保持するための記憶領域である。通信部330は、ネットワークNとの通信インタフェースである。
【0050】
制御部340は、入場管理装置300の各構成を制御するプロセッサつまり制御装置である。制御部340は、記憶部310からプログラム311をメモリ320へ読み込ませ、プログラム311を実行する。これにより、制御部340は、登録部341、取得部342、認証制御部343、算出部344、設定部345及び送信部346の機能を実現する。
【0051】
登録部341は、入場管理情報312の登録処理を行う。具体的には、登録部341は、顔認証により駅4のサービス(構内への入場や列車43への乗車)を利用しようとする人物U2のユーザID3121、端末情報3122及び入場資格情報3123を対応付けて入場管理情報312に登録する。例えば、人物U2の顔情報(ユーザID211及び顔特徴情報212)が事前に認証装置200に登録済みの場合、入場管理装置300は、ユーザIDと端末情報と入場資格情報を含む入場資格登録要求を所定の情報登録端末から受信し、入場資格登録要求に含まれるユーザID3121と端末情報3122と入場資格情報3123とを対応付けて入場管理情報312に登録する。または、入場管理装置300は、顔画像と端末情報と入場資格情報を含む入場資格登録要求を所定の情報登録端末から受信し、顔画像を含めた顔認証要求を認証装置200へ送信する。入場管理装置300は、認証装置200において顔認証に成功したことにより特定されたユーザID3121と端末情報3122と入場資格情報3123とを対応付けて入場管理情報312に登録する。また、人物U2の顔情報が未登録の場合、入場管理装置300は、顔画像と端末情報と入場資格情報を含む入場資格登録要求を情報登録端末から受信し、顔画像を含めた顔情報登録要求を認証装置200へ送信し、認証装置200から受信した登録結果に含まれるユーザID3121と端末情報3122と入場資格情報3123とを対応付けて入場管理情報312に登録する。尚、「所定の情報登録端末」とは、人物U2が携帯するユーザ端末102であるか、他の情報処理装置であってもよい。また、人物U2は、所定の情報登録端末の例えばアプリケーションソフトウェアを介して顔画像と共に、通知情報の通知先の端末情報を入場管理情報に含めて登録してもよい。これにより、入場管理装置300は、入場管理処理による顔認証の結果や入場状態情報(許可情報等)をユーザへ通知できる。
【0052】
取得部342は、上述した取得部11の一例である。取得部342は、カメラ121等のそれぞれからネットワークNを介して撮影画像を含む入場管理要求を受信する。入場管理要求には、カメラ121等の識別情報や設置位置を示す位置情報、撮影日時等が含まれていても良い。また、入場管理要求には、撮影画像の代わりに、撮影画像から抽出された顔画像又は顔特徴情報が含まれていても良い。また、取得部342は、後述する認証制御部343により制御された顔認証における各撮影画像についての複数の顔認証結果を取得する。
【0053】
認証制御部343は、認証装置200を用いてユーザ(人物U2)の本人認証を制御する。特に、本実施形態にかかる認証制御部343は、3台以上のカメラのそれぞれにより撮影された各撮影画像について顔認証を制御する。つまり、認証制御部343は、撮影画像ごとに顔認証を行う。または、認証制御部343は、複数の撮影画像についてまとめて顔認証を制御し、各撮影画像についての顔認証結果を取得してもよい。具体的には、認証制御部343は、ユーザの顔画像から抽出された顔特徴情報を用いて、ユーザの顔認証を制御する。すなわち、認証制御部343は、認証装置200により、ユーザの認証用の本人認証情報(クエリ生体情報)と、顔情報DB210の顔特徴情報212(マスタ生体情報)とを照合させて、本人認証を制御する。例えば、認証制御部343は、カメラ121等から、上述した入場管理要求を受信した場合、顔認証を制御する。
【0054】
算出部344は、取得部342により取得された複数の顔認証結果の中に顔認証の成功を示す顔認証結果が含まれる場合、顔認証結果が示す特定の人物U2における顔認証の成功回数を算出する。例えば、算出部344は、認証履歴313を参照して、顔認証に成功した特定のユーザIDに対応付けられた顔認証の成功を示す履歴情報のレコード数を合計して成功数を算出してもよい。または、上述したように、入場管理情報312に、入場状態情報として顔認証の成功回数が含まれるものとする。このとき、算出部344は、顔認証結果が成功を示す場合、顔認証結果に含まれるユーザIDに対応付けられた成功回数を特定し、特定した成功回数に1を加算して成功回数を更新してもよい。
【0055】
設定部345は、上述した設定部12の一例である。設定部345は、顔認証に成功した特定のユーザ(人物U2)について、算出部344により算出された成功回数が所定回数以上であるか否かを判定する。ここで、「所定回数」は、少なくとも2以上、かつ、通路42内に設置されたカメラの台数以下である。成功回数が所定回数以上である場合、設定部345は、特定の人物U2に対して許可情報31243を設定する。つまり、設定部345は、許可情報31243を生成し、特定の人物U2のユーザID3121に許可情報31243を対応付けて入場管理情報312を更新(登録)する。また、設定部345は、顔認証に成功したユーザの入場資格情報及び成功回数に基づいて、状態31241を生成する。そして、設定部345は、状態31241、成功回数31242及び許可情報31243を含めて入場状態情報3124を更新する。
【0056】
送信部346は、顔認証結果、顔認証に成功したユーザの入場資格情報、成功回数の少なくともいずれかに基づいて、通知情報を生成し、ユーザ端末102又は管理者端末400の少なくともいずれかへ送信する。例えば、送信部346は、顔認証の成功を示す人物U2に対応付けられたユーザ端末102に対して、認証成功に関する通知情報を送信する。これにより、通路42を通行して顔認証による改札サービスを利用する人物U2自身が、顔認証が実施されたことやサービス利用に伴い課金されたこと等を認識することができ、プライバシーを保護できる。
【0057】
具体的には、送信部346は、顔認証の成功を示す人物U2における成功回数を含めた通知情報を送信するとよい。これにより、通路42を通行して顔認証による改札サービスを利用する人物U2は、顔認証の成功回数を認識でき、自身の通行時の顔の向き等が適切か等を把握できる。
【0058】
また、送信部346は、算出された成功回数が所定回数より少ない場合、成功回数不足の旨を含めた通知情報を送信するとよい。これにより、通路42を通行して顔認証による改札サービスを利用する人物U2は、成功回数の不足を認識し、現時点ではサービス利用ができないことを認識し易くなる。
【0059】
また、送信部346は、算出された成功回数が所定回数より少ない場合、追加の顔認証が必要な旨を含めた前記通知情報を送信するとよい。これにより、通路42を通行して顔認証による改札サービスを利用する人物U2は、サービス利用のために周辺のカメラに対して顔を向けるなど、顔認証の成功回数を増やすための行動をとり易くなる。
【0060】
尚、設定部345及び送信部346は、判定部や生成部としての機能を有するといえる。
【0061】
図7及び
図8は、本実施形態2にかかる入場管理装置300における入場管理処理の流れを示すフローチャートである。前提として、
図3の人物U2-1からU2-6の少なくとも一部は、事前に、上述したように入場管理情報312の登録処理が行われているものとする。そこで、人物U2は、改札外41からゲートレスゾーン422及びプラットフォーム423を通過して列車43に乗車しようとするものとする。そのため、カメラ121等は、撮影画像を入場管理装置300へ送信する。
【0062】
これに応じて、入場管理装置300の取得部342は、カメラ121等からネットワークNを介して撮影画像を含む入場管理要求を受信する(S301)。そして、入場管理装置300の認証制御部343は、受信した入場管理要求に含まれる撮影画像から人物の顔領域を検出し、顔領域を含む顔画像を抽出する(S302)。例えば、認証制御部343は、上述した認証装置200の顔検出部220(及び特徴点抽出部230)と同様の処理を行っても良い。そして、認証制御部343は、抽出した顔画像を含めた顔認証要求を、ネットワークNを介して認証装置200へ送信する(S303)。
【0063】
図9は、本実施形態2にかかる認証装置200による顔認証処理の流れを示すフローチャートである。まず、認証装置200は、入場管理装置300からネットワークNを介して、顔認証要求を受信する(S211)。次に、認証装置200は、顔認証要求に含まれる顔画像に対して、上述したステップS202及びS203と同様に、顔特徴情報を抽出する。そして、認証装置200の認証部250は、顔認証要求に含まれる顔画像から抽出した顔特徴情報を、顔情報DB210の顔特徴情報212と照合し(S212)、一致度を算出する。そして、認証部250は、一致度が閾値以上か否かを判定する(S213)。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が閾値以上である場合、認証部250は、顔特徴情報212に対応付けられたユーザID211を特定する(S214)。そして、認証部250は、顔認証に成功した旨と特定したユーザID211とを含めた顔認証結果を、ネットワークNを介して入場管理装置300へ返信する(S215)。ステップS213で一致度が閾値未満である場合、認証部250は、顔認証に失敗した旨を含めた顔認証結果を、ネットワークNを介して入場管理装置300へ返信する(S216)。
【0064】
図7に戻り説明を続ける。入場管理装置300の取得部342は、認証装置200からネットワークNを介して顔認証結果を受信する(S304)。そして、入場管理装置300は、顔認証結果から顔認証に成功したか否かを判定する(S305)。
【0065】
ステップS305で顔認証に失敗したと判定した場合、入場管理装置300は、入場管理処理を終了する。尚、入場管理装置300は、顔認証に失敗した旨、顔認証に失敗した顔画像、顔画像が撮影されたカメラの位置情報、認証日時(もしくは撮影日時)等を含めた通知情報を生成し、ネットワークNを介して管理者端末400へ通知情報を送信してもよい。
【0066】
ステップS305で顔認証に成功したと判定した場合、入場管理装置300は、顔認証結果を参照して、顔認証に成功したユーザIDを特定する(S306)。そして、入場管理装置300は、特定したユーザIDについて認証履歴を登録する(S307)。具体的には、入場管理装置300は、顔認証に成功したユーザID、認証成功日時、認証に成功した位置等を含めた認証履歴レコードを生成し、生成した認証履歴レコードを認証履歴313へ登録するとよい。
【0067】
続いて、入場管理装置300は、顔認証に成功した人物U2に入場資格があるか否かを判定する(S308)。具体的には、入場管理装置300は、入場管理情報312の中から、ステップS306で特定したユーザID3121に対応付けられた入場資格情報3123を検索し、入場資格情報3123の存在有無や有効期限等から、入場資格の有無を判定するとよい。例えば、有効期限以内の入場資格情報3123が存在する(特定したユーザID3121に対応付けられている)場合、入場管理装置300は、入場資格ありと判定する。
【0068】
ステップS308で入場資格ありと判定した場合、入場管理装置300の算出部344は、ステップS306で特定したユーザID(人物U2)について、顔認証の成功回数を算出する(S309)。例えば、算出部344は、上述したように、認証履歴313を参照して、特定したユーザIDを含む認証履歴レコードの数を合計して成功回数を算出すると良い。または、算出部344は、上述したように、特定したユーザID3121に対応付けられた成功回数を特定し、特定した成功回数に1を加算して成功回数を更新してもよい。
【0069】
そして、入場管理装置300の設定部345は、特定したユーザ(人物U2)についてステップS309で算出された成功回数が所定回数(例えば「2」)以上であるか否かを判定する(S310)。例えば、成功回数が2以上の場合、設定部345は、特定の人物U2に対して許可情報31243を設定して入場状態情報3124を更新する(S311)。具体的には、設定部345は、状態31241を「改札済」、許可情報31243のフラグをONとして設定し、状態31241、成功回数31242及び許可情報31243を含めて入場状態情報3124を更新する。そして、送信部346は、更新した入場状態情報3124に含まれる成功回数31242及び許可情報31243(又は「改札済」である状態31241)を含めた通知情報を生成する(S312)。
【0070】
その後、送信部346は、入場管理情報312の中から、ステップS306で特定したユーザID3121に対応付けられた端末情報3122を特定する。そして、送信部346は、特定した端末情報3122を宛先とするユーザ端末102に対して、ネットワークNを介して、ステップS314で生成した通知情報を送信する(S313)。
【0071】
一方、ステップS312で成功回数が所定回数(例えば「2」)未満の場合、設定部345は、入場状態情報3124を更新する(S314)。具体的には、設定部345は、状態31241を「未改札」、許可情報31243のフラグをOFFとして設定し、状態31241及び成功回数31242及び許可情報31243を含めて入場状態情報3124を更新する。送信部346は、成功回数不足の旨を含めた通知情報を生成する(S315)。このとき、送信部346は、追加の顔認証が必要な旨を含めた通知情報を生成してもよい。また、送信部346は、この時点での成功回数(例えば「1」)を含めた通知情報を生成してもよい。
【0072】
ステップS315の後、送信部346は、上記同様に特定した端末情報3122を宛先とするユーザ端末102に対して、ネットワークNを介して、ステップS315で生成した通知情報を送信する(S313)。
【0073】
また、ステップS308で入場資格なしと判定した場合、設定部345は、入場状態情報3124を更新する(S316)。具体的には、設定部345は、状態31241を「入場資格無」、許可情報31243のフラグをOFFとして設定し、状態31241及び成功回数31242及び許可情報31243を含めて入場状態情報3124を更新する。そして、送信部346は、入場資格無の旨を含めた通知情報を生成する(S317)。そして、送信部346は、ステップS317で生成した通知情報を、ネットワークNを介して管理者端末400へ送信する(S318)。その後、送信部346は、上記同様に特定した端末情報3122を宛先とするユーザ端末102に対して、ネットワークNを介して、ステップS317で生成した通知情報を送信する(S313)。
【0074】
図10は、本実施形態2にかかるゲートレス改札の利用時の入場管理処理の例の流れを示すシーケンス図である。例えば、
図3において、人物U2-1は、ユーザ端末102-1を携帯して改札外41からゲートレスゾーン422へ移動し始めたとする。このとき、カメラ121の撮影範囲に人物U2-1が入ったものとする。そして、カメラ121は、撮影を行う(S401)。ここでは、撮影画像に人物U2-1の顔が顔認識可能に含まれていたものとする。そして、カメラ121は、撮影画像、カメラ121の設置位置、撮影日時等を含めた入場管理要求を、ネットワークNを介して入場管理装置300へ送信する(S402)。例えば、カメラ121の撮影範囲を対象とした人感センサにより人物U2-1が検知されたことに応じて、カメラ121は、ステップS402の送信を行っても良い。または、カメラ121は、常時、撮影を続け、一定間隔で、ステップS402の送信を行っても良い。
【0075】
そして、入場管理装置300は、上述した
図7及び
図8のように、入場管理処理を行う(S403)。例えば、入場管理装置300は、上述したステップS301及びS302を行い、顔画像を含めた顔認証要求を、認証装置200へ送信する(S303、S404)。認証装置200は、入場管理装置300から受信した顔認証要求に基づいて、上述した
図9のように、顔認証処理を行う(S405)。ここでは、人物U2-1の顔認証に成功したものとする。そこで、認証装置200は、顔認証の成功の旨と人物U2-1のユーザID211を含めた顔認証結果を入場管理装置300へ返信する(S406)。
【0076】
これに応じて、入場管理装置300は、引き続き、上述したS304以降を実行する。ここでは、顔認証に成功し(S305でYES)、入場資格があり(S308でYES)、成功回数(=1)が2未満(S310でNO)と判定される。そこで、入場管理装置300は、ステップS315で生成した、成功回数(=1)、状態「未改札」、不足回数「1」を含む通知情報を、ネットワークNを介して(人物U2-1が携帯する)ユーザ端末102-1へ送信する(S313、S407)。これに応じて、ユーザ端末102-1は、受信した通知情報を画面に表示する(S408)。
【0077】
図11は、本実施形態2にかかる通知情報の表示例を示す図である。通知情報画面61は、ユーザ端末102-1に表示された例を示す。通知情報画面61は、顔画像611、メッセージ612、成功回数613、入場状態614及び不足回数615を含む。顔画像611は、ステップS401の撮影画像から抽出された人物U2-1の顔画像、又は、顔認証に成功したマスタの顔特徴情報212と共に登録されたマスタの顔画像である。尚、通知情報画面61には、顔画像611の代わりに、又は、顔画像611と共に、ステップS401の撮影画像が表示されても良い。メッセージ612は、人物U2-1の顔認証の成功の旨を示すテキスト情報である。成功回数613は、人物U2-1が通路42内で顔認証に成功した回数が「1回」であることを示す。入場状態614は、顔認証による改札が「未」、つまり、「未改札」であることを示す。不足回数615は、顔認証による改札のために必要な残りの成功回数が「あと1回」であることを示す。そのため、人物U2-1は、自身について顔認証が行われて、成功回数が1回であること、成功回数が不足しており未改札であること、改札に必要な残りの成功回数が1回であることを認識できる。さらに、人物U2-1は、通知情報画面61により、顔認証による未改札であることにより、有料サービスにおける課金や支払いが発生していないことを認識した上で、顔認証による改札を必要としない他のサービスの提供を受けることができる。例えば、人物U2-1は、列車43に乗車せず、プラットフォーム423内に設置された売店での購入を行うこともできる。そして、顔認証による改札を必要とする場合、人物U2-1は、サービス利用のために周辺のカメラに対して顔を向けるなど、顔認証の成功回数を増やすための行動をとり易くなる。尚、通知情報画面61は、顔認証による改札のために撮影を行うことができるカメラの位置(配置図)や、現在位置から当該カメラの位置までの経路等を表示しても良い。つまり、入場管理装置300は、当該カメラの位置等を通知情報に含めて、ユーザ端末102-1へ送信してもよい。
【0078】
図10に戻り説明を続ける。その後、人物U2-1は、ゲートレスゾーン422からプラットフォーム423へ移動し、カメラ133の撮影範囲に入ったものとする。そして、カメラ133は、撮影を行う(S409)。ここでは、人物U2-1の顔がカメラ133の方向を向いておらず、カメラ133の撮影画像に人物U2-1の顔が顔認識困難な状態で含まれていたものとする。そして、カメラ133は、撮影画像、カメラ133の設置位置、撮影日時等を含めた入場管理要求を、ネットワークNを介して入場管理装置300へ送信する(S410)。
【0079】
そして、入場管理装置300は、上述したステップS301及びS302を行い、顔画像を含めた顔認証要求を、認証装置200へ送信する(S303、S411)。認証装置200は、入場管理装置300から受信した顔認証要求に基づいて、上述した
図9のように、顔認証処理を行う(S412)。ここでは、人物U2-1の顔認証に失敗したものとする。つまり、ユーザIDが特定されず、撮影画像や顔画像の人物が特定できなかったものとする。そこで、認証装置200は、顔認証の失敗の旨を含めた顔認証結果を入場管理装置300へ返信する(S413)。
【0080】
その後、人物U2-1は、プラットフォーム423内で列車43の乗車口に移動し、カメラ134の撮影範囲に入ったものとする。そして、カメラ134は、撮影を行う(S414)。ここでは、人物U2-1の顔がカメラ134の方向を向いており、カメラ134の撮影画像に人物U2-1の顔が顔認識可能に含まれていたものとする。そして、カメラ134は、撮影画像、カメラ134の設置位置、撮影日時等を含めた入場管理要求を、ネットワークNを介して入場管理装置300へ送信する(S415)。
【0081】
そして、入場管理装置300は、上述したステップS301及びS302を行い、顔画像を含めた顔認証要求を、認証装置200へ送信する(S303、S416)。認証装置200は、入場管理装置300から受信した顔認証要求に基づいて、上述した
図9のように、顔認証処理を行う(S417)。ここでは、人物U2-1の顔認証に成功したものとする。そこで、認証装置200は、顔認証の成功の旨と人物U2-1のユーザID211を含めた顔認証結果を入場管理装置300へ返信する(S418)。
【0082】
これに応じて、入場管理装置300は、引き続き、上述したS304以降を実行する。ここでは、顔認証に成功し(S305でYES)、入場資格があり(S308でYES)、成功回数(=2)が2以上(S312でYES)と判定される。そこで、入場管理装置300は、ステップS311で生成した、成功回数(=2)及び状態「改札済」を含む通知情報を、ネットワークNを介して(人物U2-1が携帯する)ユーザ端末102-1へ送信する(S313、S419)。これに応じて、ユーザ端末102-1は、受信した通知情報を画面に表示する(S420)。
【0083】
図12は、本実施形態2にかかる通知情報の表示例を示す図である。通知情報画面62は、ユーザ端末102-1に表示された例を示す。通知情報画面62は、顔画像621、メッセージ622、成功回数623及び入場状態624を含む。顔画像621は、ステップS414の撮影画像から抽出された人物U2-1の顔画像、又は、顔認証に成功したマスタの顔特徴情報212と共に登録されたマスタの顔画像である。尚、通知情報画面62には、顔画像621の代わりに、又は、顔画像621と共に、ステップS414の撮影画像が表示されても良い。メッセージ622は、人物U2-1の顔認証の成功の旨を示すテキスト情報である。成功回数623は、人物U2-1が通路42内で顔認証に成功した回数が「2回」であることを示す。入場状態624は、顔認証による改札が「済」、つまり、「改札済」であることを示す。そのため、人物U2-1は、自身について顔認証が行われて、成功回数が2回であること、改札済であることを認識できる。さらに、人物U2-1は、通知情報画面62により、顔認証による改札済であることにより、有料サービスにおける課金や支払いが発生する旨を認識した上で、サービスの提供を受けることができる。
【0084】
以上のように本実施形態では、上述した実施形態1と同様に、所定のサービスが提供される領域へ向かう人物が、スムーズに進行できることと、顔認証の信頼性を担保することで、ゲートレス型の顔認証の利便性を向上することができる。さらに、入場管理システム1000を導入するために、通路42上の様々な箇所に設置される3台以上のカメラ121等として、汎用的なカメラを用いることが可能である。そのため、改札機のコストを削除できる。また、各カメラを通路42の天井など、人物U2の通行を妨げ難い位置に設置して実現できるため、通行の経路上に顔認証端末を設置する必要がない。よって、通路42の通行領域を有効活用できる。
【0085】
また、複数回以上の顔認証の成功により、改札済みとなり、乗車料金の課金が発生するため、入場券を悪用した不正乗車の抑止できる。さらに、改札エリア(ゲートレスゾーン422)を通過してプラットフォーム423に入ったとしても、複数回の顔認証の成功と共に、列車43に乗車することにより、乗車料金の支払いが発生するようにしてもよい。これにより、人物U2は、乗車をしない場合であっても気軽にプラットフォーム423に入り、プラットフォーム423付近(改札内)の売店等を利用し易くなる。つまり、改札内の売店の利用が促進し得る。また、改札内にある店舗内のカメラで顔認証に成功した場合、入場管理装置は、乗車による運賃の課金のために保持していた成功回数をリセットしてもよい。これにより、買物のために改札内にいる人に対し、運賃の誤課金を防ぐことができる。または、改札内にある店舗内のカメラで顔認証に成功した場合、入場管理装置は、顔認証の成功回数を加算しなくてもよい。例えば、人物U2が店舗に立ち寄った後に乗車することもあり、成功回数を維持した方が良い場合もあるためである。
【0086】
<その他の実施形態>
尚、上述した送信部は、所定期間内で、成功回数が所定回数以上となるまで一定間隔で、ユーザ端末に対して通知情報を送信するとよい。例えば、入場管理装置300は、所定回数が2回であり、成功回数が1回である人物U2のユーザ端末102に対して、未改札の旨やサービス利用のために必要な顔認証の成功回数(不足回数)を含めた通知情報を、一定間隔で繰り返し、送信してもよい。これにより、未改札の人物U2が追加の顔認証を行うことを支援できる。尚、入場管理装置300は、特定の人物U2における顔認証の成功回数が所定回数以上となった場合、当該通知情報の送信を停止し、代わりに、改札済みを示す通知情報を送信する。
【0087】
また、上述した送信部は、領域への入場資格とユーザ端末とが対応付けて登録された人物について、所定期間内に成功回数が所定回数未満である場合、当該人物に対応付けられたユーザ端末に対して、成功回数不足の旨を含めた通知情報をさらに送信するとよい。例えば、入場管理装置300は、入場管理情報312の中から、入場資格情報3123が有効期限内であり、有効期限より前の所定期間内で顔認証の成功回数31242が所定回数未満である人物U2の端末情報3122を特定する。そして、入場管理装置300は、特定した端末情報3122に対応するユーザ端末102に対して、成功回数不足の旨を含めた通知情報を送信するとよい。特に、成功回数が0回、つまり、通路42での顔認証に成功していない場合、例えば、列車43の発車時刻に近付いても駅4に到着していない人物U2に対して、早目に注意喚起を行うことができる。
【0088】
尚、上述した所定回数は、2以上かつ通路42に設置されたカメラの全台数未満であることが望ましい。つまり、領域への入場を許可するために、設置された全カメラによる顔認証の成功を条件とせず、2以上かつ一部のカメラでの撮影画像による顔認証を条件としてもよい。具体的には、ステップS310の判定条件を成功回数が2以上かつカメラの全台数未満の範囲であることとする。そして、成功回数が範囲を超えた場合には、ステップS313の通知情報の送信を抑止するとよい。これにより、過剰な通知を減らして、通信量を抑制でき、かつ、ユーザの利便性を向上できる。
【0089】
尚、上述した各実施形態は、通勤、通学、業務の必要上、買物、娯楽、外食、病院、役所、郵便局、銀行等の分野に適用可能である。また、上述した各実施形態は、入退場管理処理において、柔軟な料金体系を適用できる。例えば、対キロ区間制、均一制、ダイナミックプライシング等を容易に実現できる。
【0090】
尚、上述した送信部は、認証に成功した日時や場所の履歴を通知情報に含めて送信してもよい。そのため、上述した
図11や
図12において、認証に成功した日時や場所の履歴が表示されてもよい。
【0091】
また、上述した各実施形態では、例えば、ユーザが改札付近を彷徨っていたことにより、改札付近の同じカメラで複数回認証されてしまう可能性もある。そこで、入場管理装置は、同一人物における複数回の認証のうち、例えば乗車口のカメラでの認証に成功したことにより、入札(顔認証による改札、入場許可)と判定してもよい。また、同一人物における認証成功の場所の順序を考慮してもよい。その場合、入場管理装置は、例えば、特定の人物の顔認証の成功場所が、改札、階段、ホームの順序である場合に、入札と判定してもよい。また、同じカメラによる複数の撮影画像により同一人物が複数回、認証に成功したとしても、成功回数を1回とし、2回以上にカウントアップしないようにしてもよい。
【0092】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0093】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【0094】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得手段と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定手段と、
を備える入場管理装置。
(付記A2)
前記複数の顔認証結果の中に顔認証の成功を示す顔認証結果が含まれる場合、当該顔認証結果が示す人物における顔認証の成功回数を算出する算出手段をさらに備え、
前記設定手段は、前記算出された成功回数が前記所定回数以上である場合、前記人物に対して前記許可情報を設定する
付記A1に記載の入場管理装置。
(付記A3)
前記顔認証の成功を示す人物に対応付けられたユーザ端末に対して、認証成功に関する通知情報を送信する送信手段をさらに備える
付記A1又はA2に記載の入場管理装置。
(付記A4)
前記送信手段は、前記顔認証の成功を示す人物における前記成功回数を含めた前記通知情報を送信する
付記A3に記載の入場管理装置。
(付記A5)
前記送信手段は、前記算出された成功回数が前記所定回数より少ない場合、成功回数不足の旨を含めた前記通知情報を送信する
付記A3に記載の入場管理装置。
(付記A6)
前記送信手段は、前記算出された成功回数が前記所定回数より少ない場合、追加の顔認証が必要な旨を含めた前記通知情報を送信する
付記A3に記載の入場管理装置。
(付記A7)
前記送信手段は、所定期間内で、前記成功回数が前記所定回数以上となるまで一定間隔で、前記ユーザ端末に対して前記通知情報を送信する
付記A3に記載の入場管理装置。
(付記A8)
前記送信手段は、
前記領域への入場資格とユーザ端末とが対応付けて登録された人物について、所定期間内に前記成功回数が前記所定回数未満である場合、当該人物に対応付けられたユーザ端末に対して、成功回数不足の旨を含めた前記通知情報をさらに送信する
付記A3に記載の入場管理装置。
(付記A9)
前記所定回数は、2以上かつ前記カメラの全台数未満である
付記A1又はA2に記載の入場管理装置。
(付記A10)
前記3台以上のカメラのそれぞれにより撮影された各撮影画像について顔認証を制御する認証制御手段をさらに備え、
前記取得手段は、前記認証制御手段により制御された顔認証における各撮影画像についての前記複数の顔認証結果を取得する
付記A1又はA2に記載の入場管理装置。
(付記B1)
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラと、
前記カメラのそれぞれと接続された入場管理装置と、を備え、
前記入場管理装置は、
前記カメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得手段と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定手段と、
を備える入場管理システム。
(付記B2)
前記入場管理装置は、
前記複数の顔認証結果の中に顔認証の成功を示す顔認証結果が含まれる場合、当該顔認証結果が示す人物における顔認証の成功回数を算出する算出手段をさらに備え、
前記設定手段は、前記算出された成功回数が前記所定回数以上である場合、前記人物に対して前記許可情報を設定する
付記B1に記載の入場管理システム。
(付記B3)
前記カメラのそれぞれは、
前記通路の開始地点、及び、前記領域の入口を少なくとも含む、前記通路上に設置された
付記B1又はB2に記載の入場管理システム。
(付記C1)
コンピュータが、
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得し、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する、
入場管理方法。
(付記D1)
所定のサービスが提供される領域に至る通路上の少なくとも一部が撮影可能に設置された3台以上のカメラのそれぞれにより撮影された撮影画像における複数の顔認証結果を取得する取得処理と、
前記複数の顔認証結果に基づき、同一の人物における顔認証の成功回数が2以上の所定回数である場合、前記人物に対して前記領域への入場を許可したことを示す許可情報を設定する設定処理と、
をコンピュータに実行させる入場管理プログラムが格納された非一時的なコンピュータ可読媒体。
【0095】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0096】
1 入場管理装置
11 取得部
12 設定部
1000 入場管理システム
4 駅
41 改札外
42 通路
421 改札ゾーン
101 改札機
U1 人物
t1 チケット
422 ゲートレスゾーン
121 カメラ
122 カメラ
123 カメラ
124 カメラ
125 カメラ
126 カメラ
U2 人物
102 ユーザ端末
423 プラットフォーム
131 カメラ
132 カメラ
133 カメラ
134 カメラ
135 カメラ
43 列車
200 認証装置
210 顔情報DB
211 ユーザID
212 顔特徴情報
220 顔検出部
230 特徴点抽出部
240 登録部
250 認証部
300 入場管理装置
310 記憶部
311 プログラム
312 入場管理情報
3121 ユーザID
3122 端末情報
3123 入場資格情報
3124 入場状態情報
31241 状態
31242 成功回数
31243 許可情報
313 認証履歴
320 メモリ
330 通信部
340 制御部
341 登録部
342 取得部
343 認証制御部
344 算出部
345 設定部
346 送信部
400 管理者端末
N ネットワーク
61 通知情報画面
611 顔画像
612 メッセージ
613 成功回数
614 入場状態
615 不足回数
62 通知情報画面
621 顔画像
622 メッセージ
623 成功回数
624 入場状態