特表-17146161IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
再表2017-146161顔照合システム、顔照合装置、顔照合方法、及び記録媒体
<>
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000003
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000004
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000005
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000006
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000007
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000008
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000009
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000010
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000011
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000012
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000013
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000014
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000015
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000016
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000017
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000018
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000019
  • 再表WO2017146161-顔照合システム、顔照合装置、顔照合方法、及び記録媒体 図000020
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年8月31日
【発行日】2018年12月27日
(54)【発明の名称】顔照合システム、顔照合装置、顔照合方法、及び記録媒体
(51)【国際特許分類】
   G06F 21/32 20130101AFI20181130BHJP
   G06T 7/00 20170101ALI20181130BHJP
【FI】
   G06F21/32
   G06T7/00 510F
【審査請求】有
【予備審査請求】有
【全頁数】40
【出願番号】特願2018-501768(P2018-501768)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年2月23日
(31)【優先権主張番号】特願2016-36407(P2016-36407)
(32)【優先日】2016年2月26日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】早勢 典明
(72)【発明者】
【氏名】手塚 宏
【テーマコード(参考)】
5B043
【Fターム(参考)】
5B043AA01
5B043AA05
5B043AA09
5B043BA04
5B043CA10
5B043DA05
5B043EA07
5B043FA02
5B043FA03
5B043FA07
5B043GA02
5B043HA09
(57)【要約】
顔認証における照合に用いる登録顔画像が存在しない場合に登録顔画像を円滑に登録することができる顔照合システム、顔照合装置、顔照合方法、及び記録媒体を提供する。顔照合システムは、認証対象者が所持する媒体から識別情報を読み取る読み取り部と、画像を取得する撮影部と、撮影部により取得された画像から顔画像を検出顔画像として検出する顔検出部と、読み取り部により読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、顔検出部により検出された検出顔画像と登録顔画像とを照合する顔照合部であって、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像と登録顔画像とを照合する顔照合部と、読み取り部により読み取られた識別情報と関連付けられた登録顔画像が存在しない場合に、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像を登録顔画像として登録する登録部とを有する。
【特許請求の範囲】
【請求項1】
認証対象者が所持する媒体から識別情報を読み取る読み取り部と、
画像を取得する撮影部と、
前記撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、
前記読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、
前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を前記登録顔画像として登録する登録部と
を有することを特徴とする顔照合システム。
【請求項2】
前記撮影部が、複数フレームの前記画像を連続的に取得し、
前記顔検出部が、前記撮影部により取得された前記複数フレームの画像から複数枚の前記検出顔画像を検出し、
前記登録部が、前記複数枚の検出顔画像の中から選択された前記検出顔画像を前記登録顔画像として登録することを特徴とする請求項1記載の顔照合システム。
【請求項3】
前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部をさらに有することを特徴とする請求項1又は2に記載の顔照合システム。
【請求項4】
前記撮影部が、縦長の前記画像を撮影するように縦向きに設置されている請求項1乃至3のいずれか1項に記載の顔照合システム。
【請求項5】
画像を取得する撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、
認証対象者が所持する媒体から識別情報を読み取る読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、
前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部と
を有することを特徴とする顔照合装置。
【請求項6】
画像を取得する撮影ステップと、
前記撮影ステップで取得された前記画像から顔画像を検出顔画像として検出する検出ステップと、
認証対象者が所持する媒体から識別情報を読み取る読み取りステップと、
前記読み取りステップで読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出ステップで検出された前記検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、
前記読み取りステップで読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像を前記登録顔画像として登録する登録ステップと
を有することを特徴とする顔照合方法。
【請求項7】
コンピュータ装置に、
画像から顔画像を検出顔画像として検出する検出ステップと、
認証対象者が所持する媒体から読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出ステップで検出された検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記識別情報を読み取る前に撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、
前記認証対象者が所持する前記媒体から読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示ステップと
を実行させることを特徴とするプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔照合システム、顔照合装置、顔照合方法、及び記録媒体に関する。
【背景技術】
【0002】
近時、本人確認を行う場面において、人間の身体的特徴や行動的特徴に関する情報である生体情報を用いて認証を行う生体認証が利用されるようになっている。生体認証のひとつである顔認証は、認証対象者の心理的抵抗が少ない、離れた場所からでも認証が可能である、不正に対する心理的抑止効果がある等の利点を有している。
【0003】
顔認証技術は、様々な分野における本人確認に利用されている。例えば、テーマパーク等の施設の入場口に設置されるゲートシステムにおいて、その年間パス等のチケットを利用する来場者の本人確認に顔認証技術が利用されている(非特許文献1)。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】日本電気株式会社、“顔認証:ゲートシステム”、[online]、[平成28年2月12日検索]、インターネット<URL:http://jpn.nec.com/ad/usj/entry.html>
【発明の概要】
【発明が解決しようとする課題】
【0005】
チケットを利用する来場者等についての顔認証に際しては、チケットと関連付けられて予め登録された登録顔画像が、来場者の顔画像との照合に用いられる。しかしながら、登録顔画像が予め登録されていない未登録の場合がある。例えば、チケットの初回使用時に登録顔画像をチケットと関連付けて登録することがある。このような場合、顔認証を行う現場で、顔画像を撮影して登録顔画像を登録する必要がある。
【0006】
上記の場合、登録顔画像の登録に際しては、来場者の顔画像を撮影するカメラを施設のスタッフが操作する必要がある。また、顔画像の撮影に際して、来場者は、その顔の位置合わせを行う必要がある。しかしながら、カメラを施設のスタッフが操作したり、来場者が顔の位置合わせを行ったりしたのでは、円滑に登録顔画像を登録することは困難である。
【0007】
本発明は、顔認証における照合に用いる登録顔画像が存在しない場合に登録顔画像を円滑に登録することができる顔照合システム、顔照合装置、顔照合方法、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一観点によれば、認証対象者が所持する媒体から識別情報を読み取る読み取り部と、画像を取得する撮影部と、前記撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、前記読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を前記登録顔画像として登録する登録部とを有することを特徴とする顔照合システムが提供される。
【0009】
本発明の他の観点によれば、画像を取得する撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、認証対象者が所持する媒体から識別情報を読み取る読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部とを有することを特徴とする顔照合装置が提供される。
【0010】
本発明のさらに他の観点によれば、画像を取得する撮影ステップと、前記撮影ステップで取得された前記画像から顔画像を検出顔画像として検出する検出ステップと、認証対象者が所持する媒体から識別情報を読み取る読み取りステップと、前記読み取りステップで読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出ステップで検出された前記検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、前記読み取りステップで読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像を前記登録顔画像として登録する登録ステップとを有することを特徴とする顔照合方法が提供される。
【0011】
本発明のさらに他の観点によれば、コンピュータ装置に、画像から顔画像を検出顔画像として検出する検出ステップと、認証対象者が所持する媒体から読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出ステップで検出された検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記識別情報を読み取る前に撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、前記認証対象者が所持する前記媒体から読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示ステップとを実行させることを特徴とするプログラムが記録された記録媒体が提供される。
【発明の効果】
【0012】
本発明によれば、顔認証における照合に用いる登録顔画像が存在しない場合に登録顔画像を円滑に登録することができる。
【図面の簡単な説明】
【0013】
図1図1は、本発明の第1実施形態による顔照合システムを示す概略図である。
図2図2は、本発明の第1実施形態による顔照合システムの機能構成を示すブロック図である。
図3図3は、本発明の第1実施形態による顔照合システムにおける固定カメラにより撮影された画像の例を示す概略図である。
図4図4は、本発明の第1実施形態による顔照合システムにおける顔照合装置の記憶部に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。
図5図5は、本発明の第1実施形態による顔照合システムにおけるN:1照合の処理の例を示す概略図である。
図6図6は、本発明の第1実施形態による顔照合システムにおける顔照合装置のハードウェア構成の一例を示すブロック図である。
図7図7は、本発明の第1実施形態による顔照合システムにおけるデータセンタサーバのハードウェア構成の一例を示すブロック図である。
図8図8は、本発明の第1実施形態による顔照合方法を示すシーケンス図である。
図9図9は、本発明の第1実施形態による顔照合方法を示すフローチャート(その1)である。
図10図10は、本発明の第1実施形態による顔照合方法を示すフローチャート(その2)である。
図11図11は、本発明の第1実施形態による顔照合方法において表示部に表示する登録画面の例を示す概略図である。
図12図12は、本発明の第1実施形態による顔照合システムにおける固定カメラにより撮影された画像の他の例を示す概略図である。
図13図13は、本発明の第2実施形態による顔照合システムを示す概略図である。
図14図14は、本発明の第2実施形態による顔照合システムの機能構成を示すブロック図である。
図15図15は、本発明の第2実施形態による顔照合方法を示すフローチャートである。
図16図16は、コンピュータ装置の例を示す概略図である。
図17図17は、本発明の他の実施形態による顔照合システムの機能構成を示すブロック図である。
図18図18は、本発明の他の実施形態による顔照合装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0014】
[第1実施形態]
本発明の第1実施形態による顔照合システム及び顔照合方法について図1乃至図12を用いて説明する。
【0015】
まず、本実施形態による顔照合システムについて図1乃至図7を用いて説明する。図1は、本実施形態による顔照合システムを示す概略図である。図2は、本実施形態による顔照合システムの機能構成を示すブロック図である。図3は、本実施形態による顔照合システムにおける固定カメラにより撮影された画像の例を示す概略図である。図4は、本実施形態による顔照合システムにおける顔照合装置の記憶部に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。図5は、本実施形態による顔照合システムにおけるN:1照合の処理の例を示す概略図である。図6は、本実施形態による顔照合システムにおける顔照合装置のハードウェア構成の一例を示すブロック図である。図7は、本実施形態による顔照合システムにおけるデータセンタサーバのハードウェア構成の一例を示すブロック図である。
【0016】
本実施形態による顔照合システムは、施設の入場口において、入場チケットを利用して施設の場内に入場しようとする来場者を認証対象者として、顔照合により本人確認を行うものである。施設は、例えば、テーマパーク、イベント会場、競技場、コンサート会場等である。来場者が利用する入場チケットは、その種別が特に限定されるものではないが、例えば、年間パス、年間パスポート等と呼ばれる1年間等の特定の期間に何度でも入場可能な入場チケットである。入場チケットは、紙チケットであっても電子チケットであってもよく、その入場チケットを識別する識別情報が読み取り可能に記録されている媒体であればよい。以下では、来場者が年間パスを利用して施設の場内に入場しようとする際に、顔照合による本人確認を行う場合について説明する。
【0017】
図1及び図2に示すように、本実施形態による顔照合システム1は、ゲート装置10と、固定カメラ20と、顔照合装置30と、データセンタサーバ40とを含んでいる。ゲート装置10、固定カメラ20、及び顔照合装置30は、施設の入場口50に設置されている。一方、データセンタサーバ40は、例えば、入場口50から離れた地にあるデータセンタ内に設置されている。
【0018】
ゲート装置10等が設置された入場口50には、屋根502が設置されている。屋根には、照明器504が設けられている。また、屋根502には、ゲート装置10の上に位置するように、入場口50であることを表示する案内板508が設けられている。
【0019】
顔照合装置30及びデータセンタサーバ40は、それぞれネットワーク60を介してネットワーク接続されており、ネットワーク60を介して互いに通信可能になっている。ネットワーク60は、その種別が特に限定されるものではないが、例えば、WAN(Wide Area Network)、LAN(Local Area Network)である。
【0020】
また、ゲート装置10及び固定カメラ20は、それぞれケーブル接続等により顔照合装置30に通信可能に直接ローカル接続されている。ゲート装置10及び固定カメラ20と顔照合装置30との接続は、有線方式であっても無線方式であってもよい。
【0021】
年間パスは、ウェブチケットストア、チケットブースで購入することが可能になっている。ネットワーク60には、ウェブチケットストアを提供するウェブサーバ70と、チケットブース端末80とが接続されている。ウェブサーバ70及びチケットブース端末80は、それぞれネットワーク60を介して、データセンタサーバ40と通信可能になっている。ウェブサーバ70は、例えば、入場口50から離れた地にあるデータセンタ内に設置されている。チケットブース端末80は、例えば、入場口50に隣接するチケットブース内に設置されている。
【0022】
次に、本実施形態における顔照合システム1における各構成要素について詳述する。
【0023】
ゲート装置10は、本体部102と、柵104と、ゲート106と、読み取り部108と、手元カメラ110と、ゲート制御部112とを有している。
【0024】
本体部102及び柵104は、互いに対向するように設置されている。本体部102と柵104との間は、来場者が通行して施設の場内に入場する通路114となっている。通路114は、場外側が入口114aであり、場内側が出口114bである。本体部102は、通路114の入口114aから出口114bに向かって右側に設置されている。一方、柵104は、通路114の入口114aから出口114bに向かって左側に設置されている。
【0025】
ゲート106は、通路114側の本体部102の側壁に、待機時に通路114を遮蔽するように設けられている。ゲート106は、通路114を遮蔽する待機時の閉鎖状態から開放されることにより、来場者が通路114を通行して施設の場内に入場することを可能にする。ゲート106は、例えば、3本バーが回転するターンスタイルのゲートである。なお、ゲートとしては、これに限定されるものではなく、種々の方式のものを用いることができる。例えば、ゲート106として、通路114に対して両側から設けられた2枚のフラッパー又は片側から設けられた1枚のフラッパーが開閉するフラッパーゲートを用いることもできる。
【0026】
後述するように、ゲート106は、顔照合による本人確認に成功した場合に開放される。これにより、その来場者は、通路114を通行して施設の場内に入場することができる。
【0027】
なお、ゲート106は、待機時に開放状態であり、顔照合による本人確認に成功した場合に開放状態を維持し、顔照合による本人確認に失敗した場合に閉鎖されるものであってもよい。
【0028】
読み取り部108は、本体部102の上部におけるゲート106よりも通路114の入口114a側の部分に設けられている。読み取り部108は、来場者が所持する年間パスに記録された情報を年間パスから読み取るものである。具体的には、年間パスには、その年間パスを一意に特定する識別情報であるID(Identification)情報が記録されている。読み取り部108は、ID情報を年間パスから読み取る。読み取り部108が読み取るID情報は、例えば、年間パスの会員番号、シリアル番号である。年間パスは、認証対象者である来場者が所持し、その来場者が施設の場内に入場する際に必要となる媒体であって、これを一意に特定するID情報が記録されたものである。ここで、媒体は、カード、紙、スマートフォン等、認証対象者を識別する情報を有しているものであればよい。後述するように、データセンタサーバ40には、年間パスのID情報に関連付けられてその年間パスを購入した購入者に関する情報が蓄積されている。
【0029】
読み取り部108は、年間パスのID情報の記録方式に応じた読み取り方式を有している。例えば、年間パスが、バーコード等の一次元コード、QRコード(登録商標)等の二次元コードにID情報が記録されているものである場合、読み取り部108は、バーコードリーダ、QRコードリーダ等のコードリーダである。また、例えば、年間パスが、RFID(Radio Frequency Identification)による非接触ICカード又は非接触ICタグにID情報が記録されているものである場合、読み取り部108は、RFIDリーダである。
【0030】
読み取り部108は、読み取り部108に年間パスの着券があると、年間パスに記録されたID情報を年間パスから読み取る。なお、ここで、着券とは、認証対象者である来場者が、年間パスに記録されたID情報を含む情報を読み取り部108に読み取らせることをいう。
【0031】
読み取り部108は、年間パスから読み取ったID情報を後述のゲート制御部112に送信する。なお、認証対象者を特定する識別情報は、年間パス等の媒体が記憶するID情報に限られない。認証対象者を特定する識別情報は、例えば、指紋、静脈、虹彩等、認証対象者の生体情報等も含み、認証対象者を特定できる情報であればよい。この場合、読み取り部108は、指紋、静脈、虹彩等、認証対象者の生体情報を読み取ることができる指紋スキャナー、静脈スキャナー、カメラ等でもよい。
【0032】
手元カメラ110は、本体部102の上部におけるゲート106付近の部分に設けられている。手元カメラ110は、例えば、デジタルビデオカメラであり、施設のスタッフの操作により、認証対象者である来場者の顔画像を撮影してその顔画像を取得することができる。手元カメラは、固定カメラ20により撮影された顔画像に基づく顔照合に失敗した場合に用いられる他の撮影部である。なお、手元カメラ110は、来場者の顔画像を取得することができればよく、デジタルスチルカメラであってもよい。
【0033】
手元カメラ110は、撮影した来場者の顔画像の画像データを後述のゲート制御部112に送信する。
【0034】
ゲート制御部112は、ゲート装置10の動作を制御するものである。ゲート制御部112には、読み取り部108が通信可能に接続されている。また、ゲート制御部112には、ゲート106が制御可能に接続されている。また、ゲート制御部112には、手元カメラ110が通信可能に接続されている。
【0035】
ゲート制御部112には、読み取り部108により読み取られた年間パスのID情報が読み取り部108から送信される。ゲート制御部112は、読み取り部108から送信された年間パスのID情報を顔照合装置30に送信する。
【0036】
また、ゲート制御部112は、後述の顔照合装置30から送信される照合結果信号に基づき、ゲート106の開閉を制御する。
【0037】
また、ゲート制御部112には、手元カメラ110により撮影された来場者の顔画像の画像データが手元カメラ110から送信される。ゲート制御部112は、手元カメラ110から送信された顔画像の画像データを顔照合装置30に送信する。
【0038】
固定カメラ20は、ゲート装置10に対して施設の場内の側に設置された支柱202の上端部に固定されている。固定カメラ20は、ゲート装置10の前の場所を撮影する撮影部であり、施設の場外の側を向く向きが固定されている。固定カメラ20は、入場口50における地表面から例えば200cm程度の人の頭上に位置する高さに固定されており、ゲート装置10の前の場所に向けて斜め下を向いている。なお、固定カメラ20の固定方式は、支柱202による方式に限定されるものではない。例えば、固定カメラ20は、入場口50における屋根502から吊り下げられて固定されていてもよい。
【0039】
上記のように固定された固定カメラ20は、読み取り部108を含むゲート装置10の設置場所への入口側であるゲート装置10の前の場所を撮影するようになっている。すなわち、固定カメラ20は、読み取り部108の設置場所への入口側を撮影するようになっている。これにより、固定カメラ20は、読み取り部108の設置場所への入口側であるゲート装置10の前の場所にいる来場者Vを撮影することができる。したがって、固定カメラ20は、認証対象者を含む画像を撮影することができる。
【0040】
固定カメラ20は、例えば、デジタルビデオカメラであり、所定のフレームレートで動画を撮影して、そのフレームレートに同期した所定の周期で複数枚の画像を連続的に取得することが可能になっている。固定カメラ20は、例えば、15fpsで動画を撮影し、1秒間に15フレームの画像を連続的に取得することが可能になっている。
【0041】
なお、固定カメラ20は、デジタルスチルカメラであってもよい。この場合、固定カメラ20は、所定の撮影間隔で静止画像を連続撮影して、所定の周期で複数枚の画像を連続的に取得するように構成することができる。
【0042】
また、固定カメラ20は、可視光カメラであってもよいし、赤外線カメラであってもよい。固定カメラ20が赤外線カメラである場合、入場口50における屋根502には、可視光を含む照明光を発する通常の照明器504のほか、赤外線を発する赤外線照明器506を設けることができる。赤外線照明器506の下で固定カメラ20として赤外線カメラを用いることにより、周囲の明るさの影響を低減しつつ、固定カメラ20により撮影された顔画像に基づく顔照合を行うことができる。
【0043】
また、固定カメラ20は、縦長の画像を撮影するように縦向きに設置されている。これにより、固定カメラ20は、低身長の来場者から高身長の来場者にわたる幅広い身長の来場者の顔を含む画像を撮影することができる。具体的には、固定カメラ20は、例えば、身長99cm〜220cmの来場者の顔を含む画像を撮影することができる。なお、固定カメラ20は、必ずしも縦向きに設置されている必要はなく、横長の画像を撮影するように横向きに設置されていてもよい。
【0044】
固定カメラ20により撮影される画像には、ゲート装置10の前の場所にいる複数人の来場者の顔が含まれうる。
【0045】
固定カメラ20は、上記のようにして所定の周期で取得した複数枚の画像の画像データを、その周期に同期して顔照合装置30に送信する。
【0046】
顔照合装置30は、顔照合制御部302と、記憶部304と、表示部306とを有している。
【0047】
顔照合制御部302は、固定カメラ20により撮影された顔画像に基づく顔照合を行うものである。顔照合制御部302は、画像データ取得部308と、顔検出部310と、顔特徴量抽出部312と、顔照合部314とを含んでいる。
【0048】
画像データ取得部308は、所定の周期で固定カメラ20から送信される画像の画像データを順次取得する。なお、画像データ取得部308は、取得した画像データに対して補正処理等の画像処理を行うことができる。
【0049】
顔検出部310は、画像データ取得部308により順次取得される画像データの画像のそれぞれについて顔検出を行う。これにより、顔検出部310は、画像データ取得部308により順次取得される画像データの画像から、ゲート装置10の前の場所にいる来場者の顔画像を検出顔画像として検出する。顔検出部310が顔検出に用いるアルゴリズムとしては、特に限定されるものではなく、種々のアルゴリズムを用いることができる。
【0050】
図3は、固定カメラ20により撮影された1フレームの画像の例を示している。図3に示すように、1フレームの画像Iには、ゲート装置10の前の場所にいる1人の来場者V1が撮影されている。顔検出部310は、このように固定カメラ20により撮影された画像Iから、図3中の矩形状の検出枠316で示すように、来場者V1の顔画像を検出する。
【0051】
なお、固定カメラ20により撮影された1フレームの画像には、ゲート装置10の前の場所にいる複数人の来場者が撮影される場合がある。また、固定カメラ20により撮影された異なるフレームの画像に同一人物が撮影される場合もある。これらの場合については後述する。
【0052】
顔特徴量抽出部312は、顔検出部310により検出された顔画像のそれぞれについて、顔画像の特徴量である顔特徴量を抽出する。なお、以下では、顔検出部310により検出された顔画像を検出顔画像ともいう。顔特徴量は、ベクトル量であり、顔画像の特徴を表現するスカラ量の成分の組み合わせである。特徴量の成分としては、特に限定されるものではなく、種々の種類のものを用いることができる。例えば、特徴量の成分として、目、鼻、口等の顔の器官の中心又は端点に設定した特徴点間の距離や角度等の位置関係、顔の輪郭線の曲率、顔表面の色分布や濃淡値等を用いることができる。特徴量の成分数も、特に限定されるものではなく、要求される照合精度、処理速度等に応じて適宜設定することができる。
【0053】
また、顔特徴量抽出部312は、検出顔画像の画像データである顔画像データを、その検出顔画像から抽出した顔特徴量とともに両者を関連づけて記憶部304に一時的に保存する。さらに、顔特徴量抽出部312は、検出顔画像のそれぞれについて、顔画像データ及びその顔特徴量とともに、その画像データを特定する番号である検出番号と、その検出顔画像が撮影された撮影時刻とを関連づけて記憶部304に一時的に保存する。
【0054】
記憶部304には、リレーショナルデータベースが構成されている。記憶部304のリレーショナルデータベースには、上述のように顔特徴量抽出部312により抽出された顔特徴量が、検出番号、撮影時刻、及び顔画像データと関連付けられて一時的に保存される。互いに関連付けられたこれらのデータは、リレーショナルデータベース管理システム(Relational Database Management System、RDBMS)により管理される。RDBMSとしては、特に限定されるものではないが、例えばMicrosoft(登録商標)SQL Serverが用いられている。
【0055】
図4は、顔特徴量抽出部312により記憶部304に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。図4に示すように、記憶部304には、検出顔画像のそれぞれについて、検出番号、撮影時刻、顔画像データ、及び顔特徴量が互いに関連付けられて一時的に保存される。
【0056】
記憶部304には、検出顔画像のそれぞれについて、その撮影時刻から一定の期間だけ、顔特徴量及びこれに関連するデータが保存される。撮影時刻から一定の時間を経過した検出顔画像の顔特徴量及びこれに関連するデータは、記憶部304のリレーショナルデータベースから順次削除されていく。例えば、記憶部304には、固定カメラ20により直近の過去3分間に撮影された検出顔画像の顔特徴量及びこれに関連するデータが一時的に保存される。
【0057】
顔照合部314は、ゲート装置10の読み取り部108に年間パスの着券があると、年間パスを読み取り部108に着券した来場者について、顔照合による本人確認を行う。
【0058】
顔照合部314には、着券された年間パスから読み取り部108により読み取られたID情報が送信される。顔照合部314は、送信されたID情報を取得し、ネットワーク60を介して後述のデータセンタサーバ40から、そのID情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する。こうして顔照合部314により取得された登録顔画像の人物は、着券された年間パスを正当に利用することができる正当な利用者である。年間パスの正当な利用者は、例えば、その年間パスを購入した購入者である。
【0059】
ただし、ID情報によっては、関連付けられた登録顔画像及びその顔特徴量がデータセンタサーバ40に存在しない未登録の場合がある。例えば、年間パスの初回使用時には、その年間パスのID情報に関連付けられた登録顔画像及びその顔特徴量が存在しないことがある。このような未登録の場合の処理については、登録顔画像が存在する場合の処理を説明した後に説明する。
【0060】
また、顔照合部314は、記憶部304のリレーショナルデータベースを参照して、ID情報の取得より前である着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像の顔特徴量をオフラインで取得する。すなわち、顔照合部314は、読み取り部108がID情報を年間パスから読み取る前に固定カメラ20により撮影されたN枚の検出顔画像の顔特徴量を取得する。なお、Nは通常2以上の整数であり、顔照合部314が取得する検出顔画像は複数枚である。ただし、Nが1であり、顔照合部314が取得する検出顔画像が1枚である場合もありうる。検出顔画像を取得する着券前の所定の期間は、着券直前の期間とすることができ、要求される照合精度、処理速度等に応じてその長さを適宜設定することができる。例えば、検出顔画像を取得する着券前の所定の期間は、着券直前の数秒間に設定することができる。
【0061】
顔照合部314は、年間パスの着券前に撮影されたN枚の検出顔画像の顔特徴量のそれぞれと、登録顔画像の顔特徴量とを順次照合する照合処理を行う。ここでの照合処理は、最大N枚の検出顔画像と1枚の登録顔画像との間の照合を行うため、N:1照合という。このように、顔照合部314は、ID情報の取得より前に撮影された画像から顔検出部310が検出した検出顔画像と、取得したID情報に対応する登録顔画像とを照合する。
【0062】
顔照合部314は、N:1照合に際して、検出顔画像の顔特徴量と登録顔画像の顔特徴量との間の類似度に応じて照合スコアを算出する。照合スコアは、検出顔画像の顔特徴量と登録顔画像の顔特徴量との間の類似度が高いほど大きな値となる。顔照合部314は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値未満の場合に照合が不一致であると判定し、次の検出顔画像の顔特徴量と登録顔画像の顔特徴量との照合を行う。一方、顔照合部314は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値以上の場合に照合が一致したと判定し、照合処理を終了する。
【0063】
N枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序は、特に限定されるものではない。例えば、N枚の検出顔画像について、撮影時刻の古い順若しくは新しい順に、又はランダムに登録顔画像との顔特徴量の照合を行うことができる。また、N枚の検出顔画像のそれぞれについて優先度を求めておき、優先度に基づいて登録顔画像との顔特徴量の照合を行う順序を決定することもできる。
【0064】
図5は、本実施形態における顔照合部314によるN:1照合の処理の例を示す概略図である。図5に示すように、着券前の所定の期間に撮影されたN枚の検出顔画像の顔特徴量を、着券のあった年間パスのID情報と関連付けられて登録されている登録顔画像の顔特徴量と順次照合する。N枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序は、例えば、撮影時刻の古い順とすることができる。
【0065】
顔照合部314による照合が一致した場合、着券された年間パスの正当な利用者が、着券前にゲート装置10の前の来場者の中にいたことになる。このため、年間パスの正当な利用者が年間パスを着券したと推定することができる。したがって、この場合、顔照合による本人確認に成功したことになる。
【0066】
一方、顔照合部314による照合がいずれも不一致であった場合、着券された年間パスの正当な利用者が、着券前にゲート装置10の前の来場者の中にいなかったことになる。したがって、この場合、顔照合による本人確認に失敗したことになる。
【0067】
表示部306には、顔照合部314による照合結果等を表示することができる。施設のスタッフは、表示部306の表示を見ることにより照合結果等を確認することができる。また、表示部306には、後述するように、登録顔画像を新規に登録するための登録画面を表示することができる。
【0068】
顔照合部314は、上記照合結果を示す信号である照合結果信号をゲート装置10に送信する。具体的には、顔照合部314は、顔照合部314による照合が一致したことを示す信号である照合一致信号、又は顔照合部314による照合がいずれも不一致であったことを示す信号である照合不一致信号をゲート装置10に送信する。
【0069】
上述した顔照合装置30は、例えばコンピュータ装置により構成される。顔照合装置30のハードウェア構成の一例について図6を用いて説明する。なお、顔照合装置30は、単一の装置により構成されていてもよいし、有線又は無線で接続された2つ以上の物理的に分離された装置により構成されていてもよい。
【0070】
顔照合装置30は、図6に示すように、CPU(Central Processing Unit)3002と、ROM(Read Only Memory)3004と、RAM(Random Access Memory)3006と、HDD(Hard Disk Drive)3008とを有している。また、顔照合装置30は、通信インターフェース(I/F(Interface))3010を有している。また、顔照合装置30は、ディスプレイコントローラ3012と、ディスプレイ3014とを有している。さらに、顔照合装置30は、入力装置3016を有している。CPU3002、ROM3004、RAM3006、HDD3008、及び通信I/F3010、ディスプレイコントローラ3012、及び入力装置3016は、共通のバスライン3018に接続されている。
【0071】
CPU3002は、顔照合装置30の全体の動作を制御する。また、CPU3002は、上記顔照合制御部302における画像データ取得部308、顔検出部310、顔特徴量抽出部312、及び顔照合部314の各部の機能を実現するプログラムを実行する。CPU3002は、HDD3008等に記憶されたプログラムをRAM3006にロードして実行することにより、顔照合制御部302における各部の機能を実現する。
【0072】
ROM3004は、ブートプログラム等のプログラムが記憶されている。RAM3006は、CPU3002がプログラムを実行する際のワーキングエリアとして使用される。また、HDD3008には、CPU3002が実行するプログラムが記憶されている。
【0073】
また、HDD3008は、上記記憶部304の機能を実現する記憶装置である。なお、記憶部304の機能を実現する記憶装置は、HDD3008に限定されるものではない。種々の記憶装置を記憶部304の機能を実現するものとして用いることができる。
【0074】
通信I/F3010は、ネットワーク60に接続されている。通信I/F3010は、ネットワーク60に接続されたデータセンタサーバ40との間のデータの通信を制御する。
【0075】
ディスプレイコントローラ3012は、表示部306として機能するディスプレイ3014が接続されている。ディスプレイコントローラ3012は、顔照合部314による照合結果、登録画面をディスプレイ3014に表示させる。
【0076】
入力装置3016は、例えば、キーボード、マウス等である。また、入力装置3016は、ディスプレイ3014に組み込まれたタッチパネルであってもよい。施設のスタッフは、入力装置3016を介して、顔照合装置30の設定を行ったり、処理の実行の指示を入力したりすることができる。
【0077】
なお、顔照合装置30のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。
【0078】
ゲート装置10のゲート制御部112は、顔照合部314から送信される照合結果信号に基づき、ゲート106の開閉を制御する。すなわち、ゲート制御部112は、顔照合部314から照合一致信号が送信された場合、ゲート106を開放させる。これにより、着券した来場者は、本人確認に成功した者として、ゲート装置10の通路114を通行して施設の場内に入場することができる。ゲート制御部112は、来場者が通路114を通行した後、ゲート106を閉鎖状態とする。
【0079】
一方、ゲート制御部112は、顔照合部314から照合不一致信号が送信された場合、ゲート106の閉鎖状態を維持する。この際、ゲート制御部112は、ゲート装置10に設けられた不図示の警報器の警告音を鳴らしたり、警告灯を点灯させたりすること等により照合結果がいずれも不一致であることを示す警告を出すことができる。
【0080】
また、後述するように、登録顔画像が存在しない場合には、ゲート制御部112は、データセンタサーバ40から送信される登録完了信号を受けて、ゲート106を開放させる。登録完了信号は、データセンタサーバ40において登録顔画像の登録が完了したことを示す信号である。
【0081】
データセンタサーバ40は、制御部402と、記憶部404とを有している。
【0082】
制御部402は、データセンタサーバ40の動作を制御するものである。
【0083】
記憶部404は、発行された年間パスのID情報と関連付けられて登録されている登録顔画像及びその顔特徴量が蓄積されている。
【0084】
制御部402は、顔照合部314からの要求に応じて、着券があった年間パスのID情報と関連付けられて登録されている登録顔画像の顔特徴量を顔照合部314に提供する。
【0085】
登録顔画像は、ウェブサーバ70により提供されるウェブストアで年間パスを購入する際に、購入者の端末からウェブサーバ70にアップロードすることができる。ウェブサーバ70にアップロードされた登録顔画像は、ウェブサーバ70からデータセンタサーバ40に送信される。登録顔画像が送信されたデータセンタサーバ40において、制御部402は、送信された登録顔画像を記憶部404に蓄積する。
【0086】
また、チケットブースで年間パスを購入した購入者は、そのままチケットブースの手元カメラ(図示せず)で登録顔画像を撮影するようにしてもよい。チケットブースの手元カメラで撮影された登録顔画像は、チケットブース端末80により、ネットワーク60を介してデータセンタサーバ40に送信され、その記憶部404に蓄積される。
【0087】
ただし、登録顔画像は、年間パスの初回使用時に登録されていなくてもよい。このように登録顔画像が存在しない場合、制御部402は、後述するように登録顔画像の登録処理を行う登録部として機能する。
【0088】
上記のようにしてデータセンタサーバ40の記憶部404に蓄積される登録顔画像については、顔照合装置30の顔特徴量抽出部312により抽出される顔特徴量と同様の顔特徴量が抽出されている。顔特徴量の抽出は、顔特徴量抽出部として機能する制御部402によって行われる。抽出された顔特徴量は、制御部402により、その登録顔画像が関連付けられた年間パスのID情報と関連付けられて記憶部404に蓄積される。
【0089】
記憶部404には、リレーショナルデータベースが構成されている。記憶部404のリレーショナルデータベースには、上述のように、登録顔画像の顔特徴量が、年間パスのID情報、及び登録顔画像の顔画像データと関連付けられて保存される。互いに関連付けられたこれらのデータは、RDBMSにより管理される。RDBMSとしては、特に限定されるものではないが、例えばMicrosoft(登録商標)SQL Serverが用いられている。
【0090】
なお、記憶部404のリレーショナルデータベースには、上記のほか、例えば、年間パスの正当な利用者である年間パスの購入者の氏名、連絡先等の情報が、年間パスのID情報と関連付けられて保存されている。
【0091】
上述したデータセンタサーバ40は、例えばコンピュータ装置により構成される。データセンタサーバ40のハードウェア構成の一例について図7を用いて説明する。なお、データセンタサーバ40は、単一の装置により構成されていてもよいし、有線又は無線で接続された2つ以上の物理的に分離された装置により構成されていてもよい。
【0092】
データセンタサーバ40は、図7に示すように、CPU4002と、ROM4004と、RAM4006と、HDD4008とを有している。また、データセンタサーバ40は、通信I/F4010を有している。CPU4002、ROM4004、RAM4006、HDD4008、及び通信I/F4010は、共通のバスライン4012に接続されている。
【0093】
CPU4002は、データセンタサーバ40の全体の動作を制御する。また、CPU4002は、上記制御部402の機能を実現するプログラムを実行する。CPU4002は、HDD4008等に記憶されたプログラムをRAM4006にロードして実行することにより、制御部402の機能を実現する。
【0094】
ROM4004は、ブートプログラム等のプログラムが記憶されている。RAM4006は、CPU4002がプログラムを実行する際のワーキングエリアとして使用される。また、HDD4008には、CPU4002が実行するプログラムが記憶されている。
【0095】
また、HDD4008は、上記記憶部404の機能を実現する記憶装置である。なお、記憶部404の機能を実現する記憶装置は、HDD4008に限定されるものではない。種々の記憶装置を記憶部404の機能を実現するものとして用いることができる。
【0096】
通信I/F4010は、ネットワーク60に接続されている。通信I/F4010は、ネットワーク60に接続された顔照合装置30との間のデータの通信を制御する。
【0097】
なお、データセンタサーバ40のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。
【0098】
上述のように、本実施形態による顔照合システム1は、読み取り部108が年間パスからID情報を読み取る着券前に固定カメラ20により撮影された検出顔画像と、着券された年間パスのID情報と関連付けられて登録されている登録顔画像とを照合する。すなわち、本実施形態による顔照合システム1では、登録顔画像と照合すべき照合対象の画像である検出顔画像が、年間パスの着券前に予め取得されている。
【0099】
このため、本実施形態によれば、来場者が年間パスを着券した後に、登録顔画像と照合すべき照合対象の画像としてその来場者の顔画像を施設のスタッフにより撮影する必要がない。また、来場者は、その顔画像の撮影を意識する必要がなく、撮影のために顔の位置合わせ等の特別の動作を行う必要もない。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0100】
次に、上記本実施形態による顔照合システム1を用いた本実施形態による顔照合方法についてさらに図8乃至図11を用いて説明する。
【0101】
まず、登録顔画像が存在する場合の本実施形態による顔照合方法の全体のフローについて図8を用いて説明する。図8は、本実施形態による顔照合方法を示すシーケンス図である。
【0102】
固定カメラ20は、読み取り部108の設置場所への入口側であるゲート装置10の前の場所を撮影し、所定の周期で複数枚の画像を連続的に取得する(ステップS102)。また、固定カメラ20は、所定の周期で取得した複数枚の画像の画像データを、その周期に同期して顔照合装置30に送信する(ステップS104)。
【0103】
画像データが送信される顔照合装置30において、画像データ取得部308は、固定カメラ20から送信される画像データを順次取得する。顔検出部310は、各画像について顔検出を行って顔画像を検出顔画像として検出する(ステップS106)。顔特徴量抽出部312は、各検出顔画像について顔特徴量を抽出して一時的に保存する(ステップS108)。
【0104】
固定カメラ20及び顔照合装置30では、上記ステップS102〜S108が繰り返し行われる。
【0105】
一方、ゲート装置10において、年間パスの着券があると、読み取り部108は、着券のあった年間パスのID情報を読み取る(ステップS110)。続いて、ゲート制御部112は、読み取り部108により読み取られたID情報を顔照合装置30に送信する(ステップS112)。
【0106】
ID情報が送信された顔照合装置30において、顔照合部314は、データセンタサーバ40にネットワーク60を介してID情報を送信して(ステップS114)、そのID情報と関連付けられて登録されている登録顔画像の顔特徴量を要求する。これにより、顔照合部314は、そのID情報と関連付けられて登録されている登録顔画像の顔特徴量をデータセンタサーバ40からネットワーク60を介してオンラインで取得する(ステップS116)。
【0107】
また、顔照合部314は、その記憶部304のリレーショナルデータベースを参照して、着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像の顔特徴量をオフラインで取得する(ステップS118)。すなわち、顔照合部314は、読み取り部108がID情報を年間パスから読み取る前に固定カメラ20により撮影されたN枚の検出顔画像の顔特徴量を取得する。
【0108】
なお、上記のステップS116及びステップS118は、どちらが先に行われてもよく、同時に行われてもよい。
【0109】
次いで、顔照合部314は、取得した検出顔画像の顔特徴量及び登録顔画像の顔特徴量に基づき、N:1照合を行う(ステップS120)。
【0110】
N:1照合を行った顔照合部314は、照合結果を示す照合結果信号をゲート装置10に送信する(ステップS122)。
【0111】
照合結果信号が送信されたゲート装置10では、ゲート制御部112が、照合結果信号に基づき、ゲート106の開閉を制御する(ステップS124)。
【0112】
ゲート装置10の読み取り部108に年間パスの着券があるたびに、ステップS110〜S124が繰り返し行われる。
【0113】
次に、本実施形態による顔照合方法における処理の詳細について図9及び図10を用いて説明する。図9及び図10は、それぞれ本実施形態による顔照合方法を示すフローチャートである。
【0114】
まず、固定カメラ20による撮影から検出顔画像の顔特徴量を一時的に保存するまでの処理の詳細について図9を用いて説明する。
【0115】
顔照合装置30には、固定カメラ20により撮影された画像の画像データが周期的に送信される。画像データ取得部308は、固定カメラ20から画像データが送信されるタイミングか否かを判定する(ステップS202)。画像データが送信されるタイミングでなければ(ステップS202、NO)、そのタイミングの到来を待機する。
【0116】
固定カメラ20から画像データが送信されるタイミングであれば(ステップS202、YES)、画像データ取得部308は、固定カメラ20から送信される画像データを取得する(ステップS204)。画像データ取得部308は、次のステップS206の前に、取得した画像データに対して補正処理等の画像処理を行うことができる。
【0117】
次いで、顔検出部310は、画像データ取得部308により取得される画像データの画像について顔検出を行い、その画像から、ゲート装置10の前の場所にいる来場者の顔画像を検出する(ステップS206)。顔画像が検出されなければ(ステップS208、NO)、ステップS202に戻り、固定カメラ20による次の画像データの送信を待機する。
【0118】
顔検出部310により顔画像が検出されると(ステップS208、YES)、顔特徴量抽出部312は、検出された顔画像である検出顔画像について顔特徴量を抽出する(ステップS210)。
【0119】
また、顔特徴量抽出部312は、検出顔画像の顔画像データを、その検出顔画像から抽出した顔特徴量とともに両者を関連づけて記憶部304に一時的に保存する(ステップS212)。この際、顔特徴量抽出部312は、検出顔画像について、顔画像データ及びその顔特徴量とともに、その画像データを特定する番号である検出番号と、その検出顔画像が撮影された撮影時刻とを関連づけて一時的に保存する。
【0120】
上記図9に示す処理は、本実施形態による顔照合システム1が稼動している間、固定カメラ20から画像データが送信されるタイミングが到来するたびに繰り返し行われる。
【0121】
次に、年間パスの着券があってからゲート制御までの処理について図10を用いて説明する。以下では、読み取り部108により読み取られたID情報と関連付けられた登録顔画像が存在する場合及びしない場合の両場合の処理について説明する。
【0122】
ゲート装置10において、読み取り部108は、年間パスが着券されるまで待機する(ステップS302、NO)。着券を待機する間、ゲート106は、閉鎖状態となっている。
【0123】
来場者により読み取り部108に年間パスが着券されると(ステップS302、YES)、読み取り部108は、年間パスに記録されたID情報を年間パスから読み取る(ステップS306)。
【0124】
続いて、ゲート制御部112は、読み取り部108により読み取られたID情報を顔照合装置30に送信する(ステップS306)。
【0125】
顔照合装置30において、顔照合部314は、ゲート制御部112から送信されたID情報を、ネットワーク60を介してデータセンタサーバ40に送信する。これにより、顔照合部314は、データセンタサーバ40にそのID情報と関連付けられて登録されている登録顔画像の存在の有無を問い合わせる(ステップS308)。データセンタサーバ40は、登録顔画像の存在の有無を顔照合部314に対して回答する。
【0126】
登録顔画像が存在する場合(ステップS308、YES)、顔照合部314は、ネットワーク60を介してデータセンタサーバ40から、そのID情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する(ステップS310)。
【0127】
また、顔照合部314は、記憶部304のリレーショナルデータベースを参照して、年間パスの着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像の顔特徴量をオフラインで取得する(ステップS312)。
【0128】
顔照合部314は、取得したN枚の検出顔画像の顔特徴量のそれぞれと、取得した登録顔画像の顔特徴量とを順次照合するN:1照合を行う(ステップS314)。顔照合部314は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値未満の場合に照合が不一致であると判定し、次の検出顔画像の顔特徴量と登録顔画像の顔特徴量との照合を行う。一方、顔照合部314は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値以上の場合に照合が一致したと判定し、照合処理を終了する。
【0129】
顔照合部314による照合が一致した場合(ステップS316、YES)、顔照合部314は、顔照合部314による照合が一致したことを示す照合一致信号をゲート装置10に送信する(ステップS318)。
【0130】
ゲート装置10において、ゲート制御部112は、顔照合部314から照合一致信号が送信されると、ゲート106を開放させる(ステップS320)。これにより、着券した来場者は、本人確認に成功した者として、ゲート装置10の通路114を通行して施設の場内に入場することができる。
【0131】
ゲート制御部112は、来場者が通路114を通行した後、ゲート106を閉鎖状態とする(ステップS322)。
【0132】
一方、顔照合部314による照合がいずれも不一致であった場合(ステップS316、NO)、顔照合部314は、顔照合部314による照合がいずれも不一致であったことを示す照合不一致信号をゲート装置10に送信する(ステップS324)。
【0133】
ゲート装置10において、ゲート制御部112は、顔照合部314から照合不一致信号が送信されると、ゲート106の閉鎖状態を維持する(ステップS326)。この際、ゲート制御部112は、ゲート装置10に設けられた不図示の警報器の警告音を鳴らしたり、警告灯を点灯させたりすること等により警告を出す(ステップS328)。この結果、着券した来場者は、本人確認に失敗した者として、この段階では、施設の場内に入場することができない。この場合、例えば、施設のスタッフにより本人確認が改めて行われる等の対処がなされる。
【0134】
上記登録顔画像が存在する場合と異なり、登録顔画像が存在しない未登録の場合(ステップS308、NO)、顔照合部314は、施設のスタッフに対して登録画面を表示部306に表示する(ステップS330)。具体的には、顔照合部314は、年間パスの着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像を表示した登録画面を表示部306に表示する。ここで表示されるN枚の検出顔画像は、ステップS312で顔特徴量が取得されるN枚の検出顔画像と同様のものである。
【0135】
図11は、表示部306に表示される登録画面の例を示している。図11に示すように、登録画面318には、N枚の検出顔画像が表示されている。また、登録画面318には、登録顔画像が存在しない未登録の場合であることを示す「未登録」の表示が表示されている。このように、表示部306に表示される登録画面318には、N枚の検出顔画像の中から登録顔画像として登録すべき検出顔画像を施設のスタッフが目視により選択できるように表示される。
【0136】
施設のスタッフは、表示部306に表示された登録画面を見て、登録顔画像として登録すべき検出顔画像の選択をマニュアルで行う(ステップS332)。具体的には、施設のスタッフは、登録画面に表示されているN枚の検出顔画像の中から、着券した来場者と同一人物である判断される検出顔画像を、登録顔画像として登録すべき顔画像として選択する。表示部306は、例えば、タッチパネルで構成され、入力部としても機能するものになっている。この場合、施設のスタッフは、登録画面に表示されている検出顔画像をタッチして、選択結果を顔照合装置30に入力することができる。なお、マウス、キーボード等の他の入力部により選択結果を顔照合装置30に入力することもできる。
【0137】
このように、本実施形態では、登録顔画像が存在しない未登録の場合に、検出顔画像の中から登録顔画像として登録すべき顔画像が選択される。このため、登録顔画像として登録すべき顔画像を取得するために、施設のスタッフの撮影により、着券した来場者の顔を別途撮影する必要がない。したがって、本実施形態によれば、登録顔画像を円滑に登録することができる。
【0138】
顔照合装置30において、顔照合部314は、施設のスタッフによる選択結果をデータセンタサーバ40に送信する(ステップS334)。具体的には、顔照合部314は、登録顔画像として登録すべき顔画像として選択された検出顔画像の画像データ及びその顔特徴量をデータセンタサーバ40に送信する。
【0139】
データセンタサーバ40において、制御部402は、送信された検出顔画像を登録顔画像として、着券があった年間パスのID情報と関連付けて記憶部404に保存して登録する(ステップS336)。その際、制御部402は、新しい登録顔画像の顔特徴量もあわせて、着券があった年間パスのID情報と関連付けて記憶部404に保存する。こうして、登録部として機能する制御部402により、登録顔画像が新規に登録される。
【0140】
データセンタサーバ40は、登録顔画像の登録を完了すると、顔照合装置30を介して、登録顔画像の登録が完了したことを示す登録完了信号をゲート装置10に送信する(ステップS338)。
【0141】
ゲート装置10において、ゲート制御部112は、データセンタサーバ40から登録完了信号が送信されると、ゲート106を開放させる(ステップS320)。これにより、着券した来場者は、新規の登録顔画像を登録した者として、ゲート装置10の通路114を通行して施設の場内に入場することができる。
【0142】
ゲート制御部112は、来場者が通路114を通行した後、ゲート106を閉鎖状態とする(ステップS322)。
【0143】
上記図10に示す処理は、本実施形態による顔照合方法を行っている間、ゲート装置10の読み取り部108に着券があるたびに繰り返し行われる。
【0144】
このように、本実施形態によれば、年間パスの着券前に固定カメラ20により撮影された画像から検出された検出顔画像の顔特徴量と、着券された年間パスのID情報と関連付けられて登録されている登録顔画像の顔特徴量とを照合する。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0145】
さらに、本実施形態によれば、検出顔画像の中から登録顔画像として登録すべき顔画像を選択して登録するので、顔認証における照合に用いる登録顔画像が存在しない場合に、登録顔画像を円滑に登録することができる。
【0146】
なお、上記では、図3に示すように、固定カメラ20により撮影された1フレームの画像に1人の来場者が撮影されている場合を例に説明したが、固定カメラ20により撮影された1フレームの画像には、複数人の来場者が撮影される場合もありうる。
【0147】
図12は、固定カメラ20により撮影された1フレームの画像の他の例を示している。図12に示すように、1フレームの画像Iには、ゲート装置10の前の場所にいる3人の来場者Vp、Vq、Vrが撮影されている。このように、固定カメラ20により撮影された1フレームの画像Iに、複数人の来場者が撮影されている場合がある。このような場合、顔検出部310は、固定カメラ20により撮影された画像Iから、図12中の検出枠316p、316q、316rで示すように、複数人の来場者Vp、Vq、Vrのそれぞれの顔画像を検出する。こうして1フレームの画像から検出された複数の検出顔画像は、それぞれ登録顔画像と照合すべき照合対象の画像として上記と同様に処理される。
【0148】
[第2実施形態]
本発明の第2実施形態による顔照合システム及び顔照合方法について図13乃至図15を用いて説明する。なお、上記第1実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0149】
まず、本実施形態による顔照合システムについて図13及び図14を用いて説明する。図13は、本実施形態による顔照合システムを示す概略図である。図14は、本実施形態による顔照合システムの機能構成を示すブロック図である。
【0150】
上記第1実施形態では、施設の入場口において入場チケットを利用して施設の場内に入場しようとする来場者を認証対象者として顔照合により本人確認を行う場合について説明した。しかしながら、顔照合による本人確認を行う場面はこれに限定されるものではない。本実施形態では、店舗におけるレジ端末が設置されたレジカウンタ等の会計場所において、クレジットカード、デビットカード、電子マネー等による電子決済を行う買物客を認証対象者として、顔照合により本人確認を行う場合について説明する。
【0151】
図13及び図14に示すように、本実施形態による顔照合システム2は、レジ端末810と、固定カメラ20と、顔照合装置30と、データセンタサーバ40と、電子決済サーバ820とを含んでいる。レジ端末810、固定カメラ20、及び顔照合装置30は、店舗の会計場所850に設置されている。一方、データセンタサーバ40は、例えば、会計場所850から離れた地にあるデータセンタ内に設置されている。また、電子決済サーバ820は、例えば、電子決済のシステムを提供する事業者のサーバである。
【0152】
顔照合装置30及びデータセンタサーバ40は、第1実施形態と同様に、それぞれネットワーク60を介してネットワーク接続されており、ネットワーク60を介して互いに通信可能になっている。
【0153】
また、レジ端末810及び電子決済サーバ820は、それぞれネットワーク60を介してネットワーク接続されており、ネットワーク60を介して互いに通信可能になっている。
【0154】
また、レジ端末810及び固定カメラ20は、それぞれケーブル接続等により顔照合装置30に通信可能に直接ローカル接続されている。レジ端末810及び固定カメラ20と顔照合装置30との接続は、有線方式であっても無線方式であってもよい。
【0155】
次に、本実施形態における顔照合システム2における各構成要素について詳述する。
【0156】
レジ端末810は、買物客が購入する購入商品の価格情報その他の情報を読み取り、購入商品について会計処理を行うものである。レジ端末810は、後述するように、顔照合により本人確認に成功した場合に通知される電子決済情報に基づき、会計処理を実行する。
【0157】
レジ端末810には、読み取り部830が接続されている。読み取り部830は、レジ端末810に隣接してレジ端末810の近傍に設置されている。読み取り部830は、買物客が所持する店舗の会員カードに記録された情報を読み取るものである。具体的には、会員カードには、その会員カードを一意に特定するID情報が記録されている。読み取り部830は、ID情報を会員カードから読み取る。読み取り部830が読み取るID情報は、例えば、会員カードの会員番号である。店舗を利用する買物客は、店舗の利用に際して会員カードを所持しており、会計に際して会員カードを読み取り部830に読み取らせる。会員カードは、認証対象者である買物客が所持し、その買物客が会計をする際に必要となる媒体であって、これを一意に特定するID情報が記録されたものである。後述するように、データセンタサーバ40には、会員カードのID情報に関連付けられてその会員カードの発行を受けた会員登録者に関する情報が蓄積されている。
【0158】
読み取り部830は、会員カードのID情報の記録方式に応じた読み取り方式を有している。例えば、会員カードが、バーコード等の一次元コード、QRコード(登録商標)等の二次元コードにID情報が記録されているものである場合、読み取り部830は、バーコードリーダ、QRコードリーダ等のコードリーダである。また、例えば、会員カードが、RFIDによる非接触ICカード又は非接触ICタグにID情報が記録されているものである場合、読み取り部830は、RFIDリーダである。
【0159】
読み取り部830は、読み取り部830に会員カードの着券があると、年間パスに記録されたID情報を年間パスから読み取る。なお、ここで、着券とは、認証対象者である買物客が、会員カードに記録されたID情報を含む情報を読み取り部830に読み取らせることをいう。
【0160】
読み取り部830は、会員カードから読み取ったID情報をレジ端末810に送信する。レジ端末810は、読み取り部830から送信された会員カードのID情報を顔照合装置30に送信する。
【0161】
また、レジ端末810は、後述の顔照合装置30から送信される電子決済情報に基づき、会計処理を実行する。
【0162】
固定カメラ20は、レジ端末810に対して会計場所850の出口側に設置された支柱202の上端部に固定されている。固定カメラ20は、レジ端末810の前の場所を撮影するものであり、会計場所850の入口側を向く向きが固定されている。固定カメラ20は、会計場所850における地表面から例えば200cm程度の人の頭上に位置する高さに固定されており、レジ端末810の前の場所に向けて斜め下を向いている。なお、固定カメラ20の固定方式は、支柱202による方式に限定されるものではない。例えば、固定カメラ20は、天井から吊り下げられて固定されていてもよい。
【0163】
上記のように固定された固定カメラ20は、レジ端末810及び読み取り部830の設置場所への入口側であるレジ端末810の前の場所を撮影するようになっている。これにより、固定カメラ20は、読み取り部830の設置場所への入口側であるレジ端末810の前の場所にいる買物客Cを撮影することができる。
【0164】
固定カメラ20のその他の点は、上記第1実施形態と同様であるので説明を省略する。
【0165】
顔照合装置30は、第1実施形態と同様に、顔照合制御部302と、記憶部304と、表示部306とを有している。顔照合制御部302は、画像データ取得部308と、顔検出部310と、顔特徴量抽出部312と、顔照合部314とを含んでいる。
【0166】
画像データ取得部308は、第1実施形態と同様に、所定の周期で固定カメラ20から送信される画像の画像データを順次取得する。
【0167】
顔検出部310は、第1実施形態と同様に、画像データ取得部308により順次取得される画像データの画像のそれぞれについて顔検出を行う。なお、本実施形態では、レジ端末810の前の場所にいる買物客の顔画像を検出する。
【0168】
顔特徴量抽出部312は、第1実施形態と同様に、顔検出部310により検出された検出顔画像のそれぞれについて、顔特徴量を抽出する。また、顔特徴量抽出部312は、第1実施形態と同様に、顔特徴量抽出部312は、検出顔画像のそれぞれについて、顔画像データ、顔特徴量、検出番号、及び撮影時刻を関連づけて記憶部304に一時的に保存する。
【0169】
記憶部304には、第1実施形態と同様に、リレーショナルデータベースが構成されており、検出顔画像のそれぞれについて、その撮影時刻から一定の時間だけ、顔特徴量及びこれに関連するデータが保存される。
【0170】
顔照合部314は、レジ端末810に接続された読み取り部830に会員カードの着券があると、読み取り部830に会員カードを着券した買物客について、顔照合による本人確認を行う。
【0171】
顔照合部314には、着券された会員カードから読み取り部830により読み取られたID情報が送信される。顔照合部314は、送信されたID情報を取得し、ネットワーク60を介して後述のデータセンタサーバ40から、そのID情報と関連付けられて登録されている登録顔画像の顔特徴量を取得する。こうして顔照合部314により取得された登録顔画像の人物は、着券された会員カードを正当に利用することができる正当な利用者である。会員カードの正当な利用者は、例えば、その会員カードの発行を受けた会員登録者である。
【0172】
ただし、第1実施形態と同様に、ID情報によっては、関連付けられた登録顔画像及びその顔特徴量がデータセンタサーバ40に存在しない未登録の場合がある。例えば、会員カードの初回使用時には、その会員カードのID情報に関連付けられて登録された登録顔画像及びその顔特徴量が存在しないことがある。このような未登録の場合の処理については、登録顔画像が存在する場合の処理を説明した後に説明する。
【0173】
また、顔照合部314は、第1実施形態と同様に、記憶部304のリレーショナルデータベースを参照して、着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像の顔特徴量を取得する。すなわち、顔照合部314は、読み取り部830がID情報を会員カードから読み取る前に固定カメラ20により撮影されたN枚の検出顔画像の顔特徴量を取得する。
【0174】
顔照合部314は、第1実施形態と同様に、会員カードの着券前に撮影されたN枚の検出顔画像の顔特徴量のそれぞれと、登録顔画像の顔特徴量とを順次照合するN:1照合を行う。
【0175】
顔照合部314による照合が一致した場合、着券された会員カードの正当な利用者が、着券前にレジ端末810の前の買物客の中にいたことになる。このため、会員カードの正当な利用者が会員カードを着券したと推定することができる。したがって、この場合、顔照合による本人確認に成功したことになる。
【0176】
一方、顔照合部314による照合がいずれも不一致であった場合、着券された会員カードの正当な利用者が、着券前にレジ端末810の前の買物客の中にいなかったことになる。したがって、この場合、顔照合による本人確認に失敗したことになる。
【0177】
表示部306には、顔照合部314による照合結果等を表示することができる。店舗のスタッフは、表示部306の表示を見ることにより照合結果等を確認することができる。また、表示部306には、後述するように、登録顔画像を新規に登録するための登録画面を表示することができる。
【0178】
顔照合部314は、上記照合結果を示す信号である照合結果信号をレジ端末810に送信する。具体的には、顔照合部314は、顔照合部314による照合が一致したことを示す信号である照合一致信号、又は顔照合部314による照合がいずれも不一致であったことを示す信号である照合不一致信号をレジ端末810に送信する。
【0179】
さらに、顔照合部314は、照合が一致した場合に、ネットワーク60を介して後述のデータセンタサーバ40から決済手段情報を取得する。決済情報は、照合が一致した会員カードのID情報に関連付けられて保存されている電子決済を実行するための情報であり、例えば、クレジットカード番号、電子マネーのID情報である。顔照合部314は、取得した決済手段情報を、照合一致信号とともにレジ端末810に送信する。
【0180】
レジ端末810は、顔照合部314から照合一致信号が送信された場合に、電子決済を後述の電子決済サーバ820に要求する。この場合、レジ端末810は、照合一致信号とともに送信される決済手段情報と、購入商品の会計金額とを含む情報である電子決済情報を電子決済サーバ820に送信する。
【0181】
一方、レジ端末810は、顔照合部314から照合不一致信号が送信された場合、レジ端末810を操作する店舗のスタッフに対して、警告表示、警告音等により電子決済ができないことを示す警告を通知する。
【0182】
また、後述するように登録顔画像が存在しない場合、レジ端末810は、データセンタサーバ40から送信される登録完了信号及び決済手段情報を受けて、電子決済情報を電子決済サーバ820に送信する。登録完了信号は、データセンタサーバ40において登録顔画像の登録が完了したことを示す信号である。
【0183】
データセンタサーバ40は、第1実施形態と同様に、制御部402と、記憶部404とを有している。
【0184】
記憶部404は、発行された会員カードのID情報と関連付けられて登録されている登録顔画像及びその顔特徴量が蓄積されている。さらに、記憶部404には、会員カードのID情報に関連付けられた決済手段情報が保存されている。
【0185】
制御部402は、顔照合部314からの要求に応じて、着券があった会員カードのID情報と関連付けられて登録されている登録顔画像の顔特徴量を顔照合部314に提供する。さらに、制御部402は、顔照合部314からの要求に応じて、着券があった会員カードのID情報と関連付けられた決済手段情報を顔照合部314に提供する。
【0186】
登録顔画像は、例えば、店舗の会員カードを買物客が取得する際に、店舗内の端末、買物客の端末等からデータセンタサーバ40にアップロードすることができる。データセンタサーバ40において、制御部402は、アップロードされた登録顔画像を記憶部404に蓄積する。
【0187】
ただし、登録顔画像は、会員カードの初回使用時に登録されていなくてもよい。このように登録顔画像が存在しない場合、制御部402は、後述するように登録顔画像の登録処理を行う登録部として機能する。
【0188】
上記のようにしてデータセンタサーバ40の記憶部404に蓄積される登録顔画像については、第1実施形態と同様に、顔特徴量が抽出されて記憶部404に蓄積される。
【0189】
記憶部404には、第1実施形態と同様に、リレーショナルデータベースが構成されており、登録顔画像の顔特徴量が、会員カードのID情報、及び登録顔画像の顔画像データと関連付けられて保存される。さらに、記憶部404には、会員カードのID情報に関連付けられて決済手段情報が保存されている。
【0190】
なお、記憶部404のリレーショナルデータベースには、上記のほか、例えば、会員カードの正当な利用者である会員登録者の氏名、連絡先等の情報が、会員カードのID情報と関連付けられて保存されている。
【0191】
電子決済サーバ820は、クレジットカード、電子マネー等による電子決済を行う。電子決済サーバ820は、レジ端末810から送信される電子決済情報に基づき、買物客が購入した商品について電子決済を実行する。
【0192】
上述のように、本実施形態による顔照合システム2は、読み取り部830が会員カードからID情報を読み取る着券前に固定カメラ20により撮影された検出顔画像と、着券された会員カードのID情報と関連付けられて登録されている登録顔画像とを照合する。すなわち、本実施形態による顔照合システム2では、登録顔画像と照合すべき照合対象の画像である検出顔画像が、会員カードの着券前に予め取得されている。
【0193】
このため、本実施形態によれば、買物客が会員カードを着券した後に、登録顔画像と照合すべき照合対象の画像としてその買物客の顔画像を店舗のスタッフにより撮影する必要がない。また、買物客は、その顔画像の撮影を意識する必要がなく、撮影のために顔の位置合わせ等の特別の動作を行う必要もない。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0194】
次に、本実施形態による顔照合システム2を用いた本実施形態による顔照合方法についてさらに図15を用いて説明する。図15は、本実施形態による顔照合方法を示すフローチャートである。
【0195】
固定カメラ20は、読み取り部830の設置場所への入口側であるレジ端末810の前の場所を撮影し、所定の周期で複数枚の画像を連続的に取得する。固定カメラ20による撮影から検出顔画像の顔特徴量を一時的に保存するまでの処理は、固定カメラ20による撮影場所が異なる点を除き、第1実施形態の図9に示す処理と同様であるので説明を省略する。
【0196】
以下、会員カードの着券があってから電子的決済の実行までの処理について図15を用いて説明する。以下では、読み取り部830により読み取られたID情報と関連付けられて登録されている登録顔画像が存在する場合及びしない場合の両場合の処理について説明する。
【0197】
レジ端末810において、読み取り部830は、会員カードが着券されるまで待機する(ステップS702、NO)。
【0198】
買物客により読み取り部830に会員カードが着券されると(ステップS702、YES)、読み取り部830は、会員カードに記録されたID情報を会員カードから読み取る(ステップS704)。
【0199】
続いて、レジ端末810は、読み取り部830により読み取られたID情報を顔照合装置30に送信する(ステップS706)。
【0200】
顔照合装置30において、顔照合部314は、レジ端末810から送信されたID情報を、ネットワーク60を介してデータセンタサーバ40に送信する。これにより、顔照合部314は、データセンタサーバ40にそのID情報と関連付けられて登録されている登録顔画像の存在の有無を問い合わせる(ステップS708)。データセンタサーバ40は、登録顔画像の存在の有無を顔照合部314に対して回答する。
【0201】
登録顔画像が存在する場合(ステップS708、YES)、顔照合部314は、ネットワーク60を介してデータセンタサーバ40から、そのID情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する(ステップS710)。
【0202】
また、顔照合部314は、記憶部304のリレーショナルデータベースを参照して、会員カードの着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像の顔特徴量をオフラインで取得する(ステップS712)。すなわち、顔照合部314は、読み取り部830がID情報を会員カードから読み取る前に固定カメラ20により撮影されたN枚の検出顔画像の顔特徴量を取得する。
【0203】
顔照合部314は、第1実施形態と同様に、取得したN枚の検出顔画像の顔特徴量のそれぞれと、取得した登録顔画像の顔特徴量とを順次照合するN:1照合を行う(ステップS714)。
【0204】
顔照合部314による照合が一致した場合(ステップS716、YES)、顔照合部314は、ネットワーク60を介してデータセンタサーバ40から決済手段情報を取得する(ステップS718)。続いて、顔照合部314は、取得した決済手段情報とともに、顔照合部314による照合が一致したことを示す照合一致信号をレジ端末810に送信する(ステップS720)。
【0205】
レジ端末810は、顔照合部314から照合一致信号が送信されると、送信された決済手段情報と、購入商品の会計金額とを含む電子決済情報を電子決済サーバ820に送信する(ステップS722)。
【0206】
電子決済サーバ820は、レジ端末810から送信された電子決済情報に基づき、買物客が購入した商品について電子決済を実行する(ステップS724)。
【0207】
一方、顔照合部314による照合がいずれも不一致であった場合(ステップS716、NO)、顔照合部314は、顔照合部314による照合がいずれも不一致であったことを示す照合不一致信号をレジ端末810に送信する(ステップS726)。
【0208】
レジ端末810は、顔照合部314から照合不一致信号が送信されると、レジ端末810を操作する店舗のスタッフに対して、警告表示、警告音等により電子決済ができないことを示す警告を通知する(ステップS728)。
【0209】
上記登録顔画像が存在する場合と異なり、登録顔画像が存在しない未登録の場合(ステップS708、NO)、顔照合部314は、店舗のスタッフに対して登録画面を表示部306に表示する(ステップS730)。具体的には、顔照合部314は、会員カードの着券前の所定の期間に含まれる撮影時刻と関連付けられたN枚の検出顔画像を表示した登録画面を表示部306に表示する。ここで表示されるN枚の検出顔画像は、ステップS712で顔特徴量が取得されるN枚の検出顔画像と同様のものである。
【0210】
表示部306に表示される登録画面には、第1実施形態の図11に示す例と同様に、N枚の検出顔画像の中から登録顔画像として登録すべき検出顔画像を店舗のスタッフが目視により選択できるように表示される。
【0211】
店舗のスタッフは、表示部306に表示された登録画面を見て、登録顔画像として登録すべき検出顔画像の選択をマニュアルで行う(ステップS732)。具体的には、施設のスタッフは、登録画面に表示されているN枚の検出顔画像の中から、着券した来場者と同一人物である判断される検出顔画像を、登録顔画像として登録すべき顔画像として選択する。表示部306は、例えば、タッチパネルで構成され、入力部としても機能するものになっている。この場合、施設のスタッフは、登録画面に表示されている検出顔画像をタッチして、選択結果を顔照合装置30に入力することができる。なお、マウス、キーボード等の他の入力部により選択結果を顔照合装置30に入力することもできる。
【0212】
このように、本実施形態によれば、登録顔画像が存在しない未登録の場合に、第1実施形態と同様に、検出顔画像の中から登録顔画像として登録すべき顔画像が選択されるので、登録顔画像を円滑に登録することができる。
【0213】
顔照合装置30において、顔照合部314は、施設のスタッフによる選択結果をデータセンタサーバ40に送信する(ステップS734)。具体的には、顔照合部314は、登録顔画像として登録すべき顔画像として選択された検出顔画像の画像データ及びその顔特徴量をデータセンタサーバ40に送信する。
【0214】
データセンタサーバ40において、制御部402は、送信された検出顔画像を登録顔画像として、着券があった年間パスのID情報と関連付けて記憶部404に保存して登録する(ステップS736)。その際、制御部402は、新しい登録顔画像の顔特徴量もあわせて、着券があった年間パスのID情報と関連付けて記憶部404に保存する。こうして、登録部として機能する制御部402により、登録顔画像が新規に登録される。
【0215】
データセンタサーバ40は、登録顔画像の登録を完了すると、顔照合装置30を介して、登録顔画像の登録が完了したことを示す登録完了信号をレジ端末810に送信する。この際、データセンタサーバ40は、顔照合装置30を介して、登録完了信号とともに決済手段情報をレジ端末810に送信する(ステップS738)。
【0216】
レジ端末810は、顔照合部314から登録完了信号が送信されると、送信された決済手段情報と、購入商品の会計金額とを含む電子決済情報を電子決済サーバ820に送信する(ステップS722)。
【0217】
電子決済サーバ820は、レジ端末810から送信された電子決済情報に基づき、買物客が購入した商品について電子決済を実行する(ステップS724)。
【0218】
上記図15に示す処理は、本実施形態による顔照合方法を行っている間、レジ端末810に接続された読み取り部830に着券があるたびに繰り返し行われる。
【0219】
このように、本実施形態によれば、会員カードの着券前に固定カメラ20により撮影された画像から検出された検出顔画像の顔特徴量と、着券された会員カードのID情報と関連付けられて登録されている登録顔画像の顔特徴量とを照合する。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0220】
さらに、本実施形態によれば、検出顔画像の中から登録顔画像として登録すべき顔画像を選択して登録するので、顔認証における照合に用いる登録顔画像が存在しない場合に、登録顔画像を円滑に登録することができる。
【0221】
[第3実施形態]
本発明の第3実施形態によるコンピュータ装置について図16を用いて説明する。本実施形態では、上記第1及び第2実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置について説明する。
【0222】
図16は、上記第1及び第2実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置の例を示している。図16に示すコンピュータ装置1000は、特に限定されるものではなく、様々な種類、形態のものであってよい。例えば、コンピュータ装置1000は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。
【0223】
コンピュータ装置1000は、プロセッサ1002と、メモリ1004と、記憶装置1006とを有している。また、コンピュータ装置1000は、高速インターフェースを含む高速コントローラ1008、及び低速インターフェースを含む低速コントローラ1010を有している。高速コントローラ1008には、メモリ1004及び高速拡張ポート1012が接続されている。また、高速コントローラ1008には、ディスプレイ1016等の外部入出力装置が接続されている。一方、低速コントローラ1010には、低速拡張ポート1014及び記憶装置1006が接続されている。
【0224】
プロセッサ1002、メモリ1004、記憶装置1006、高速コントローラ1008、低速コントローラ1010、及び高速拡張ポート1012は、種々のバスにより相互に接続されている。また、プロセッサ1002、メモリ1004、記憶装置1006、高速コントローラ1008、低速コントローラ1010、及び高速拡張ポート1012は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。
【0225】
プロセッサ1002は、例えばCPUであり、コンピュータ装置1000内で実行する命令を処理することができる。そのような命令には、ディスプレイ1016等の外部入出力装置上にGUI(Graphical User Interface)のグラフィック情報を表示するための、メモリ1004内又は記憶装置1006内に格納された命令が含まれる。
【0226】
また、複数のプロセッサ、複数のバス、又は複数のプロセッサ及び複数のバスを、複数のメモリ及び複数のタイプのメモリとともに適宜使用することができる。また、複数のコンピュータ装置1000を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のコンピュータ装置1000を、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして互いに接続することができる。
【0227】
メモリ1004は、コンピュータ装置1000内の情報を格納する。例えば、メモリ1004は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ1004は、他のコンピュータ可読媒体であってもよく、例えば、磁気ディスク、光ディスク等であってもよい。
【0228】
記憶装置1006は、コンピュータ装置1000用のマスストレージを構成することができる。記憶装置1006は、例えば、フロッピー(登録商標)ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ可読媒体である。また、記憶装置1006は、そのようなコンピュータ可読媒体を含むことができる。記憶装置1006は、ストレージエリアネットワーク、他の構成の装置を含む。コンピュータプログラム製品は、情報担体において明確に具現化されうる。コンピュータプログラム製品は、実行されると上述のような1つ又は複数の処理を実行する命令も格納することができる。情報担体は、メモリ1004、記憶装置1006、プロセッサ1002上のメモリ、又は伝搬信号等のコンピュータ可読媒体若しくは機械可読媒体である。
【0229】
高速コントローラ1008は、コンピュータ装置1000に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ1010は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定さえるものではない。また、高速コントローラ1008の一部又は全部は、プロセッサ1002に内蔵されていてもよい。
【0230】
高速コントローラ1008は、メモリ1004、及び種々の拡張カードを受け入れることができる高速拡張ポート1012に接続されている。また、高速コントローラ1008は、例えばグラフィックスプロセッサ又はアクセラレータを介して、ディスプレイ1016に接続されている。
【0231】
また、低速コントローラ1010は、記憶装置1006及び低速拡張ポート1014に接続されている。低速拡張ポート1014は、例えば、USB(Universal Serial Bus)、Bluetooth(登録商標)、有線又は無線のイーサネット(登録商標)等の種々の規格の通信ポートを含むことができる。低速拡張ポート1014には、キーボード、ポインティングデバイス、スキャナー等の一又は複数の入出力装置を接続することができる。また、低速拡張ポート1014には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一又は複数のネットワーク機器を接続することができる。
【0232】
コンピュータ装置1000は、数多くの異なる形態で実施することができる。例えば、コンピュータ装置1000は、標準的なサーバ、又はそのようなサーバのグループの形態の複数台で実施することができる。また、コンピュータ装置1000は、ラックサーバシステムの一部としても実施することもできる。さらに、コンピュータ装置1000は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。
【0233】
上述したコンピュータ装置1000は、上記実施形態におけるゲート装置10の一部として機能することができる。この場合、コンピュータ装置1000のプロセッサ1002は、ゲート装置10のゲート制御部112の機能を実現するプログラムを実行することにより、ゲート制御部112として機能することができる。
【0234】
また、コンピュータ装置1000は、上記実施形態における顔照合装置30として機能することができる。この場合、コンピュータ装置1000のプロセッサ1002は、顔照合装置30における顔照合制御部302の機能を実現するプログラムを実行することにより、顔照合制御部302として機能することができる。すなわち、プロセッサ1002は、画像データ取得部308、顔検出部310、顔特徴量抽出部312、及び顔照合部314の各部の機能を実現するプログラムを実行する。これにより、プロセッサ1002は、画像データ取得部308、顔検出部310、顔特徴量抽出部312、及び顔照合部314の各部として機能することができる。また、コンピュータ装置1000の記憶装置1006は、顔照合装置30の記憶部304として機能することができる。
【0235】
また、コンピュータ装置1000は、上記実施形態におけるデータセンタサーバ40として機能することができる。この場合、コンピュータ装置1000のプロセッサ1002は、データセンタサーバ40における制御部402の機能を実現するプログラムを実行することにより、制御部402として機能することができる。また、コンピュータ装置1000の記憶装置1006は、データセンタサーバ40の記憶部404として機能することができる。
【0236】
なお、コンピュータ装置1000のプロセッサ1002に実行させるプログラムの一部又は全部は、これを記録したDVD−ROM(Digital Versatile Disc-Read Only Memory)、CD−ROM(Compact Disc-Read Only Memory)、USBメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。
【0237】
[他の実施形態]
上記各実施形態において説明した顔照合システムは、他の実施形態によれば、図17に示すように構成することもできる。図17は、他の実施形態による顔照合システムの機能構成を示すブロック図である。
【0238】
図17に示すように、他の実施形態による顔照合システム5000は、認証対象者が所持する媒体から識別情報を読み取る読み取り部5002と、読み取り部5002の設置場所への入口側を撮影して画像を取得する撮影部5004とを有している。また、顔照合システム5000は、撮影部5004により取得された画像から顔画像を検出顔画像として検出する顔検出部5006を有している。また、顔照合システム5000は、読み取り部5002により読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、顔検出部5006により検出された検出顔画像と登録顔画像とを照合する顔照合部5008を有している。顔照合部5008は、読み取り部5002が識別情報を読み取る前に撮影部5004により撮影された検出顔画像と登録顔画像とを照合する。さらに、顔照合システム5000は、読み取り部5002により読み取られた識別情報と関連付けられた登録顔画像が存在しない場合に、検出顔画像を登録顔画像として登録する登録部5010を有している。登録部5010は、読み取り部5002が識別情報を読み取る前に撮影部5004により撮影された検出顔画像を登録顔画像として登録する。
【0239】
また、上記各実施形態において説明した顔照合装置は、他の実施形態によれば、図18に示すように構成することもできる。図18は、他の実施形態による顔照合装置の機能構成を示すブロック図である。
【0240】
図18に示すように、他の実施形態による顔照合装置6000は、画像から顔画像を検出顔画像として検出する顔検出部6002を有している。顔検出部6002が検出顔画像を検出する画像は、認証対象者から識別情報を読み取る読み取り部の設置場所への入口側を撮影して画像を取得する撮影部により取得されたものである。また、顔照合装置6000は、読み取り部により読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、顔検出部6002により検出された検出顔画像と登録顔画像とを照合する顔照合部6004を有している。顔照合部6004は、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像と登録顔画像とを照合する。さらに、顔照合装置6000は、読み取り部により読み取られた識別情報と関連付けられた登録顔画像が存在しない場合に、検出顔画像を表示する表示部6006を有している。表示部6006は、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像を、登録顔画像として登録する検出顔画像を目視により選択できるように表示する。
【0241】
[変形実施形態]
本発明は、上記実施形態に限らず、種々の変形が可能である。
【0242】
例えば、上記実施形態では、施設の場内に入場しようとする来場者を認証対象者として、また、電子決済を行う買物客を認証対象者として、それぞれ顔照合による本人確認を行う場面を例に説明したが、これらに限定されるものではない。認証対象者とは、施設への入場者、出入国検査時の入国者等、何かの権限を備えているか確認する対象の人を指す。顔照合による本人確認を行う場面は、例えば、出入国管理、入退室管理等において顔照合により本人確認を行う場面であってもよい。
【0243】
また、上記実施形態では、撮影部として固定カメラ20を用いる場合を例に説明したが、撮影部として機能するカメラはこれに限定されるものではない。例えば、固定カメラ20に代えて、パン機能、チルト機能等により向きの変更が可能な可動カメラを撮影部として用いることもできる。可動カメラの場合、自動制御又は遠隔操作によりその向きを変更することができる。
【0244】
また、上記実施形態では、年間パス、会員カードの情報を読み取り部108、830に読み取らせる認証対象者による着券があってから顔照合による本人確認を行う場合を例に説明したが、これに限定されるものではない。例えば、読み取り部108、830は、着券という認証対象者の行為を必要とすることなく、無線通信等により、認証対象者が所持する媒体からその媒体を一意に特定するID情報等の識別情報を読み取るように構成することもできる。
【0245】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0246】
この出願は、2016年2月26日に出願された日本出願特願2016−036407を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0247】
1、2…顔照合システム
10…ゲート装置
20…固定カメラ
30…顔照合装置
40…データセンタサーバ
108…読み取り部
112…ゲート制御部
302…顔照合制御部
304…記憶部
308…画像データ取得部
310…顔検出部
312…顔特徴量抽出部
314…顔照合部
402…制御部
404…記憶部
810…レジ端末
830…読み取り部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18

【手続補正書】
【提出日】2017年12月26日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
認証対象者が所持する媒体から識別情報を読み取る読み取り部と、
画像を取得する撮影部と、
前記撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、
前記読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、
前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を前記登録顔画像として登録する登録部と
を有し、
前記顔検出部が、前記撮影部により取得された前記画像から複数の前記検出顔画像を検出し、
前記顔照合部が、前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とする顔照合システム。
【請求項2】
前記撮影部が、複数フレームの前記画像を連続的に取得し、
前記顔検出部が、前記撮影部により取得された前記複数フレームの画像から複数の前記検出顔画像を検出することを特徴とする請求項1記載の顔照合システム。
【請求項3】
前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部をさらに有することを特徴とする請求項1又は2に記載の顔照合システム。
【請求項4】
前記撮影部が、縦長の前記画像を撮影するように縦向きに設置されている請求項1乃至3のいずれか1項に記載の顔照合システム。
【請求項5】
画像を取得する撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、
認証対象者が所持する媒体から識別情報を読み取る読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、
前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部と
を有し、
前記顔検出部が、前記撮影部により取得された前記画像から複数の前記検出顔画像を検出し、
前記顔照合部が、前記複数の検出顏画像と前記登録顔画像とを照合することを特徴とする顔照合装置。
【請求項6】
画像を取得する撮影ステップと、
前記撮影ステップで取得された前記画像から顔画像を検出顔画像として検出する検出ステップと、
認証対象者が所持する媒体から識別情報を読み取る読み取りステップと、
前記読み取りステップで読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出ステップで検出された前記検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、
前記読み取りステップで読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像を前記登録顔画像として登録する登録ステップと
を有し、
前記検出ステップが、前記撮影ステップにより取得された前記画像から複数の前記検出顔画像を検出し、
前記照合ステップが、前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とする顔照合方法。
【請求項7】
コンピュータ装置に、
画像から顔画像を検出顔画像として検出する検出ステップと、
認証対象者が所持する媒体から読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出ステップで検出された検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記識別情報を読み取る前に撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、
前記認証対象者が所持する前記媒体から読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示ステップと
を実行させ、
前記検出ステップが、前記撮影ステップにより取得された前記画像から複数の前記検出顔画像を検出し、
前記照合ステップが、前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とするプログラムが記録された記録媒体。
【請求項8】
前記登録部が、前記複数の検出顔画像の中から選択された前記検出顔画像を前記登録顔画像として登録することを特徴とする請求項1乃至4のいずれか1項に記載の顔照合システム。
【請求項9】
前記顔照合部は、前記読み取り部により前記識別情報が読み取られる前の所定の期間に撮影された前記検出顔画像と、前記登録顔画像とを照合することを特徴とする請求項1、2、3、4及び8のいずれか1項に記載の顔照合システム。
【国際調査報告】