IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > 日本電気株式会社

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7196893顔照合システム、顔照合方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】顔照合システム、顔照合方法、及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221220BHJP
   G06F 21/32 20130101ALI20221220BHJP
【ＦＩ】
G06T7/00 510F
G06T7/00 660A
G06F21/32
【請求項の数】 15
(21)【出願番号】P 2020181056
(22)【出願日】2020-10-29
(62)【分割の表示】P 2018501767の分割
【原出願日】2017-02-23
(65)【公開番号】P2021015627
(43)【公開日】2021-02-12
【審査請求日】2020-10-29
(31)【優先権主張番号】P 2016036406
(32)【優先日】2016-02-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】早勢 典明
(72)【発明者】
【氏名】手塚 宏
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１２－０２７６６８（ＪＰ，Ａ）
【文献】特開２０１３－１３７６０４（ＪＰ，Ａ）
【文献】特開２００８－０４０７８１（ＪＰ，Ａ）
【文献】特開２００６－２３６２４４（ＪＰ，Ａ）
【文献】特開２００３－３１７１００（ＪＰ，Ａ）
【文献】特開２００２－３５２２９１（ＪＰ，Ａ）
【文献】特開２０１２－０６８９２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ ４０／００－４０／７０
Ｇ０６Ｆ ２１／３２
(57)【特許請求の範囲】
【請求項1】
複数フレームの画像から顔画像を検出顔画像として検出する顔検出部と、
前記検出顔画像を保存する記憶部と、
認証対象者が所持する媒体から識別情報を読み取る読み取り部と、
保存された前記検出顔画像から照合を行う検出顔画像を選定する選定部と、
前記識別情報を取得すると、前記選定部が選定した前記検出顔画像と、前記識別情報に対応する登録顔画像とを照合する顔照合部と、
を備え、
前記選定部は、前記識別情報を取得すると、保存された前記検出顔画像の中から前記識別情報を取得する前であって、所定の期間に取得された検出顔画像を照合を行う検出顔画像として選定する顔照合システム。
【請求項2】
前記所定の期間は、要求される照合精度又は処理速度に応じて設定される請求項１に記載の顔照合システム。
【請求項3】
前記顔検出部は、複数フレームの画像から複数の前記検出顔画像を検出し、
前記顔照合部が、前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とする請求項１又は２に記載の顔照合システム。
【請求項4】
前記複数の検出顔画像について前記登録顔画像と照合を行う順序を決定するための優先度を算出する優先度算出部をさらに有し、
前記顔照合部が、前記優先度算出部により算出された前記優先度が高い順に、前記複数の検出顔画像を前記登録顔画像と照合することを特徴とする請求項３記載の顔照合システム。
【請求項5】
前記複数の検出顔画像を同一人物ごとに分類し、前記同一人物に分類された前記検出顔画像について前記登録顔画像と照合を行う順序を決定するための優先度を算出する同一人物処理部をさらに有し、
前記顔照合部が、前記同一人物処理部により算出された前記優先度が高い順に、前記同一人物に分類された前記検出顔画像を前記登録顔画像と照合することを特徴とする請求項３又は４に記載の顔照合システム。
【請求項6】
前記登録顔画像との照合が一致した前記検出顔画像を、新たな登録顔画像として登録する更新部をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の顔照合システム。
【請求項7】
前記認証対象者を含む画像を撮影する撮影部と、
前記検出顔画像と前記登録顔画像との照合が一致しなかった場合に、前記認証対象者の顔画像を撮影して前記認証対象者の顔画像を取得する他の撮影部をさらに有し、
前記顔照合部が、前記他の撮影部により取得された前記認証対象者の前記顔画像と前記登録顔画像とを照合することを特徴とする請求項１乃至６のいずれか１項に記載の顔照合システム。
【請求項8】
前記検出顔画像と前記登録顔画像との照合が一致しなかった場合に、前記検出顔画像と前記登録顔画像とを表示する表示部をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の顔照合システム。
【請求項9】
前記顔照合部が、前記検出顔画像と照合する前記登録顔画像をオフラインで取得することを特徴とする請求項１乃至８のいずれか１項に記載の顔照合システム。
【請求項10】
前記認証対象者を含む画像を撮影する撮影部をさらに有し、
前記撮影部が、縦長の前記画像を撮影するように縦向きに設置されている請求項１乃至９のいずれか１項に記載の顔照合システム。
【請求項11】
前記記憶部は、前記認証対象者を識別する前記識別情報と、当該認証対象者の前記登録顔画像とを関連付けて記憶することを特徴とする請求項１乃至１０のいずれか１項に記載の顔照合システム。
【請求項12】
前記顔照合部は、前記取得より所定期間前に撮影された前記画像のうちから品質に応じて前記検出顔画像を特定することを特徴とする請求項１乃至１１のいずれか１項に記載の顔照合システム。
【請求項13】
複数フレームの画像から顔画像を検出顔画像として検出し、
前記検出顔画像を保存し、
認証対象者が所持する媒体から識別情報を読み取り、
保存された前記検出顔画像から照合を行う検出顔画像を選定し、
前記識別情報を取得すると、選定した前記検出顔画像と、前記識別情報に対応する登録顔画像とを照合し、
前記検出顔画像を選定することは、前記識別情報を取得すると、保存された前記検出顔画像の中から前記識別情報を取得する前であって、所定の期間に取得された検出顔画像を照合を行う検出顔画像として選定する顔照合方法。
【請求項14】
複数フレームの画像から複数の前記検出顔画像を検出し、
前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とする請求項１３記載の顔照合方法。
【請求項15】
コンピュータ装置に、
複数フレームの画像から顔画像を検出顔画像として検出し、
前記検出顔画像を保存し、
認証対象者が所持する媒体から識別情報を読み取り、
保存された前記検出顔画像から照合を行う検出顔画像を選定し、
前記識別情報を取得すると、選定した前記検出顔画像と、前記識別情報に対応する登録顔画像とを照合し、
前記検出顔画像を選定することは、前記識別情報を取得すると、保存された前記検出顔画像の中から前記識別情報を取得する前であって、所定の期間に取得された検出顔画像を照合を行う検出顔画像として選定する
ことを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔照合システム、顔照合方法、及び記録媒体に関する。
【背景技術】
【0002】
近時、本人確認を行う場面において、人間の身体的特徴や行動的特徴に関する情報である生体情報を用いて認証を行う生体認証が利用されるようになっている。生体認証のひとつである顔認証は、認証対象者の心理的抵抗が少ない、離れた場所からでも認証が可能である、不正に対する心理的抑止効果がある等の利点を有している。
【0003】
顔認証技術は、様々な分野における本人確認に利用されている。例えば、テーマパーク等の施設の入場口に設置されるゲートシステムにおいて、その年間パス等のチケットを利用する来場者の本人確認に顔認証技術が利用されている（非特許文献１）。
【先行技術文献】
【非特許文献】
【0004】
【文献】日本電気株式会社、“顔認証：ゲートシステム”、［online］、［平成２８年２月１２日検索］、インターネット＜URL：http://jpn.nec.com/ad/usj/entry.html＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のゲートシステムにおける顔認証技術では、ゲート装置の読み取り部に来場者がチケットの情報を読み取らせた着券後に、顔照合を行うため、施設のスタッフがカメラを操作して来場者の顔画像を撮影する必要がある。このように、従来のゲートシステムでは、チケットの情報を読み取らせてから入場するまでの間に、来場者の顔画像を撮影する作業を要するため、顔認証による本人確認を行うべき来場者が施設の入場口に滞留してしまう場合がある。
【0006】
本発明は、短時間で円滑に顔照合を行うことができる顔照合システム、顔照合方法、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一観点によれば、認証対象者を含む画像から顔画像を検出顔画像として検出する顔検出部と、前記認証対象者を識別する識別情報と、当該認証対象者の登録顔画像とを関連付けて記憶する記憶部と、前記認証対象者を識別する識別情報を取得すると、前記取得より前に撮影された画像から前記顔検出部が検出した前記検出顔画像と、取得した識別情報に対応する前記登録顔画像とを照合する顔照合部と、を備える顔照合システムが提供される。
【0008】
本発明の他の観点によれば、認証対象者を含む画像から顔画像を検出顔画像として検出し、前記認証対象者を識別する識別情報を取得すると、前記取得より前に撮影された画像から検出した前記検出顔画像と、取得した識別情報と関連付けられて登録されている登録顔画像とを照合する顔照合方法が提供される。
【0009】
本発明のさらに他の観点によれば、コンピュータ装置に、認証対象者を含む画像から顔画像を検出顔画像として検出し、前記認証対象者を識別する識別情報を取得すると、前記取得より前に撮影された画像から検出した前記検出顔画像と、取得した識別情報と関連付けられて登録されている登録顔画像とを照合することを実行させることを特徴とするプログラムが記録された記録媒体が提供される。
【発明の効果】
【0010】
本発明によれば、短時間で円滑に顔照合を行うことができる。
【図面の簡単な説明】
【0011】
【図1】図１は、本発明の第１実施形態による顔照合システムを示す概略図である。
【図2】図２は、本発明の第１実施形態による顔照合システムの機能構成を示すブロック図である。
【図3】図３は、本発明の第１実施形態による顔照合システムにおける固定カメラにより撮影された画像の例を示す概略図である。
【図4】図４は、本発明の第１実施形態による顔照合システムにおける顔照合装置の記憶部に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。
【図5】図５は、本発明の第１実施形態による顔照合システムにおけるＮ：１照合の処理の例を示す概略図である。
【図6】図６は、本発明の第１実施形態による顔照合システムにおける顔照合装置のハードウェア構成の一例を示すブロック図である。
【図7】図７は、本発明の第１実施形態による顔照合システムにおけるデータセンタサーバのハードウェア構成の一例を示すブロック図である。
【図8】図８は、本発明の第１実施形態による顔照合方法を示すシーケンス図である。
【図9】図９は、本発明の第１実施形態による顔照合方法を示すフローチャート（その１）である。
【図10】図１０は、本発明の第１実施形態による顔照合方法を示すフローチャート（その２）である。
【図11】図１１は、本発明の第１実施形態による顔照合システムにおける固定カメラにより撮影された画像の他の例を示す概略図である。
【図12】図１２は、本発明の第２実施形態による顔照合システムの機能構成を示すブロック図である。
【図13】図１３は、本発明の第２実施形態による顔照合システムにおけるＮ：１照合の処理の例を示す概略図である。
【図14A】図１４Ａは、本発明の第３実施形態による顔照合システムにおける固定カメラにより撮影された異なる画像の例を示す概略図である。
【図14B】図１４Ｂは、本発明の第３実施形態による顔照合システムにおける固定カメラにより撮影された異なる画像の例を示す概略図である。
【図15】図１５は、本発明の第３実施形態による顔照合システムの機能構成を示すブロック図である。
【図16】図１６は、本発明の第４実施形態による顔照合システムにおける登録顔画像の自動更新を示すフローチャートである。
【図17A】図１７Ａは、本発明の第４実施形態による顔照合システムにおける登録顔画像の自動更新における各種データを示す概略図である。
【図17B】図１７Ｂは、本発明の第４実施形態による顔照合システムにおける登録顔画像の自動更新における各種データを示す概略図である。
【図17C】図１７Ｃは、本発明の第４実施形態による顔照合システムにおける登録顔画像の自動更新における各種データを示す概略図である。
【図18】図１８は、本発明の第５実施形態による顔照合方法を示すフローチャートである。
【図19】図１９は、本発明の第６実施形態による顔照合方法を示すフローチャートである。
【図20】図２０は、本発明の第６実施形態による顔照合方法において表示部に表示する照合画面の例を示す概略図である。
【図21】図２１は、本発明の第７実施形態による顔照合システムの機能構成を示すブロック図である。
【図22】図２２は、本発明の第８実施形態による顔照合システムを示す概略図である。
【図23】図２３は、本発明の第８実施形態による顔照合システムの機能構成を示すブロック図である。
【図24】図２４は、本発明の第８実施形態による顔照合方法を示すフローチャートである。
【図25】図２５は、コンピュータ装置の例を示す概略図である。
【図26】図２６は、本発明の他の実施形態による顔照合システムの機能構成を示すブロック図である。
【図27】図２７は、本発明の他の実施形態による顔照合装置の機能構成を示すブロック図である。
【図28】図２８は、本発明のさらに他の実施形態による顔照合システムの機能構成を示すブロック図である。
【発明を実施するための形態】
【0012】
［第１実施形態］
本発明の第１実施形態による顔照合システム及び顔照合方法について図１乃至図１１を用いて説明する。
【0013】
まず、本実施形態による顔照合システムについて図１乃至図７を用いて説明する。図１は、本実施形態による顔照合システムを示す概略図である。図２は、本実施形態による顔照合システムの機能構成を示すブロック図である。図３は、本実施形態による顔照合システムにおける固定カメラにより撮影された画像の例を示す概略図である。図４は、本実施形態による顔照合システムにおける顔照合装置の記憶部に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。図５は、本実施形態による顔照合システムにおけるＮ：１照合の処理の例を示す概略図である。図６は、本実施形態による顔照合システムにおける顔照合装置のハードウェア構成の一例を示すブロック図である。図７は、本実施形態による顔照合システムにおけるデータセンタサーバのハードウェア構成の一例を示すブロック図である。
【0014】
本実施形態による顔照合システムは、施設の入場口において、入場チケットを利用して施設の場内に入場しようとする来場者を認証対象者として、顔照合により本人確認を行うものである。施設は、例えば、テーマパーク、イベント会場、競技場、コンサート会場等である。来場者が利用する入場チケットは、その種別が特に限定されるものではないが、例えば、年間パス、年間パスポート等と呼ばれる１年間等の特定の期間に何度でも入場可能な入場チケットである。入場チケットは、紙チケットであっても電子チケットであってもよく、その入場チケットを識別する識別情報が読み取り可能に記録されている媒体であればよい。以下では、来場者が年間パスを利用して施設の場内に入場しようとする際に、顔照合による本人確認を行う場合について説明する。
【0015】
図１及び図２に示すように、本実施形態による顔照合システム１は、ゲート装置１０と、固定カメラ２０と、顔照合装置３０と、データセンタサーバ４０とを含んでいる。ゲート装置１０、固定カメラ２０、及び顔照合装置３０は、施設の入場口５０に設置されている。一方、データセンタサーバ４０は、例えば、入場口５０から離れた地にあるデータセンタ内に設置されている。
【0016】
ゲート装置１０等が設置された入場口５０には、屋根５０２が設置されている。屋根には、照明器５０４が設けられている。また、屋根５０２には、ゲート装置１０の上に位置するように、入場口５０であることを表示する案内板５０８が設けられている。
【0017】
顔照合装置３０及びデータセンタサーバ４０は、それぞれネットワーク６０を介してネットワーク接続されており、ネットワーク６０を介して互いに通信可能になっている。ネットワーク６０は、その種別が特に限定されるものではないが、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）である。
【0018】
また、ゲート装置１０及び固定カメラ２０は、それぞれケーブル接続等により顔照合装置３０に通信可能に直接ローカル接続されている。ゲート装置１０及び固定カメラ２０と顔照合装置３０との接続は、有線方式であっても無線方式であってもよい。
【0019】
年間パスは、ウェブチケットストア、チケットブースで購入することが可能になっている。ネットワーク６０には、ウェブチケットストアを提供するウェブサーバ７０と、チケットブース端末８０とが接続されている。ウェブサーバ７０及びチケットブース端末８０は、それぞれネットワーク６０を介して、データセンタサーバ４０と通信可能になっている。ウェブサーバ７０は、例えば、入場口５０から離れた地にあるデータセンタ内に設置されている。チケットブース端末８０は、例えば、入場口５０に隣接するチケットブース内に設置されている。
【0020】
次に、本実施形態における顔照合システム１における各構成要素について詳述する。
【0021】
ゲート装置１０は、本体部１０２と、柵１０４と、ゲート１０６と、読み取り部１０８と、手元カメラ１１０と、ゲート制御部１１２とを有している。
【0022】
本体部１０２及び柵１０４は、互いに対向するように設置されている。本体部１０２と柵１０４との間は、来場者が通行して施設の場内に入場する通路１１４となっている。通路１１４は、場外側が入口１１４ａであり、場内側が出口１１４ｂである。本体部１０２は、通路１１４の入口１１４ａから出口１１４ｂに向かって右側に設置されている。一方、柵１０４は、通路１１４の入口１１４ａから出口１１４ｂに向かって左側に設置されている。
【0023】
ゲート１０６は、通路１１４側の本体部１０２の側壁に、待機時に通路１１４を遮蔽するように設けられている。ゲート１０６は、通路１１４を遮蔽する待機時の閉鎖状態から開放されることにより、来場者が通路１１４を通行して施設の場内に入場することを可能にする。ゲート１０６は、例えば、３本バーが回転するターンスタイルのゲートである。なお、ゲートとしては、これに限定されるものではなく、種々の方式のものを用いることができる。例えば、ゲート１０６として、通路１１４に対して両側から設けられた２枚のフラッパー又は片側から設けられた１枚のフラッパーが開閉するフラッパーゲートを用いることもできる。
【0024】
後述するように、ゲート１０６は、顔照合による本人確認に成功した場合に開放される。これにより、その来場者は、通路１１４を通行して施設の場内に入場することができる。
【0025】
なお、ゲート１０６は、待機時に開放状態であり、顔照合による本人確認に成功した場合に開放状態を維持し、顔照合による本人確認に失敗した場合に閉鎖されるものであってもよい。
【0026】
読み取り部１０８は、本体部１０２の上部におけるゲート１０６よりも通路１１４の入口１１４ａ側の部分に設けられている。読み取り部１０８は、来場者が所持する年間パスに記録された情報を年間パスから読み取るものである。具体的には、年間パスには、その年間パスを一意に特定する識別情報であるＩＤ（Identification）情報が記録されている。読み取り部１０８は、ＩＤ情報を年間パスから読み取る。読み取り部１０８が読み取るＩＤ情報は、例えば、年間パスの会員番号、シリアル番号である。年間パスは、認証対象者である来場者が所持し、その来場者が施設の場内に入場する際に必要となる媒体であって、これを一意に特定するＩＤ情報が記録されたものである。ここで、媒体は、カード、紙、スマートフォン等、認証対象者を識別する情報を有しているものであればよい。後述するように、データセンタサーバ４０には、年間パスのＩＤ情報に関連付けられてその年間パスを購入した購入者に関する情報が蓄積されている。
【0027】
読み取り部１０８は、年間パスのＩＤ情報の記録方式に応じた読み取り方式を有している。例えば、年間パスが、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コードにＩＤ情報が記録されているものである場合、読み取り部１０８は、バーコードリーダ、ＱＲコードリーダ等のコードリーダである。また、例えば、年間パスが、ＲＦＩＤ（Radio Frequency Identification）による非接触ＩＣカード又は非接触ＩＣタグにＩＤ情報が記録されているものである場合、読み取り部１０８は、ＲＦＩＤリーダである。
【0028】
読み取り部１０８は、読み取り部１０８に年間パスの着券があると、年間パスに記録されたＩＤ情報を年間パスから読み取る。なお、ここで、着券とは、認証対象者である来場者が、年間パスに記録されたＩＤ情報を含む情報を読み取り部１０８に読み取らせることをいう。
【0029】
読み取り部１０８は、年間パスから読み取ったＩＤ情報を後述のゲート制御部１１２に送信する。なお、認証対象者を特定する識別情報は、年間パス等の媒体が記憶するＩＤ情報に限られない。認証対象者を特定する識別情報は、例えば、指紋、静脈、虹彩等、認証対象者の生体情報等も含み、認証対象者を特定できる情報であればよい。この場合、読み取り部１０８は、指紋、静脈、虹彩等、認証対象者の生体情報を読み取ることができる指紋スキャナー、静脈スキャナー、カメラ等でもよい。
【0030】
手元カメラ１１０は、本体部１０２の上部におけるゲート１０６付近の部分に設けられている。手元カメラ１１０は、例えば、デジタルビデオカメラであり、施設のスタッフの操作により、認証対象者である来場者の顔画像を撮影してその顔画像を取得することができる。手元カメラは、後述するように、固定カメラ２０により撮影された顔画像に基づく顔照合に失敗した場合に用いられる他の撮影部である。なお、手元カメラ１１０は、来場者の顔画像を取得することができればよく、デジタルスチルカメラであってもよい。
【0031】
手元カメラ１１０は、撮影した来場者の顔画像の画像データを後述のゲート制御部１１２に送信する。
【0032】
ゲート制御部１１２は、ゲート装置１０の動作を制御するものである。ゲート制御部１１２には、読み取り部１０８が通信可能に接続されている。また、ゲート制御部１１２には、ゲート１０６が制御可能に接続されている。また、ゲート制御部１１２には、手元カメラ１１０が通信可能に接続されている。
【0033】
ゲート制御部１１２には、読み取り部１０８により読み取られた年間パスのＩＤ情報が読み取り部１０８から送信される。ゲート制御部１１２は、読み取り部１０８から送信された年間パスのＩＤ情報を顔照合装置３０に送信する。
【0034】
また、ゲート制御部１１２は、後述の顔照合装置３０から送信される照合結果信号に基づき、ゲート１０６の開閉を制御する。
【0035】
また、ゲート制御部１１２には、手元カメラ１１０により撮影された来場者の顔画像の画像データが手元カメラ１１０から送信される。ゲート制御部１１２は、手元カメラ１１０から送信された顔画像の画像データを顔照合装置３０に送信する。
【0036】
固定カメラ２０は、ゲート装置１０に対して施設の場内の側に設置された支柱２０２の上端部に固定されている。固定カメラ２０は、ゲート装置１０の前の場所を撮影する撮影部であり、施設の場外の側を向く向きが固定されている。固定カメラ２０は、入場口５０における地表面から例えば２００ｃｍ程度の人の頭上に位置する高さに固定されており、ゲート装置１０の前の場所に向けて斜め下を向いている。なお、固定カメラ２０の固定方式は、支柱２０２による方式に限定されるものではない。例えば、固定カメラ２０は、入場口５０における屋根５０２から吊り下げられて固定されていてもよい。
【0037】
上記のように固定された固定カメラ２０は、読み取り部１０８を含むゲート装置１０の設置場所への入口側であるゲート装置１０の前の場所を撮影するようになっている。すなわち、固定カメラ２０は、読み取り部１０８の設置場所への入口側を撮影するようになっている。これにより、固定カメラ２０は、読み取り部１０８の設置場所への入口側であるゲート装置１０の前の場所にいる来場者Ｖを撮影することができる。したがって、固定カメラ２０は、認証対象者を含む画像を撮影することができる。
【0038】
固定カメラ２０は、例えば、デジタルビデオカメラであり、所定のフレームレートで動画を撮影して、そのフレームレートに同期した所定の周期で複数枚の画像を連続的に取得することが可能になっている。固定カメラ２０は、例えば、１５ｆｐｓで動画を撮影し、１秒間に１５フレームの画像を連続的に取得することが可能になっている。
【0039】
なお、固定カメラ２０は、デジタルスチルカメラであってもよい。この場合、固定カメラ２０は、所定の撮影間隔で静止画像を連続撮影して、所定の周期で複数枚の画像を連続的に取得するように構成することができる。
【0040】
また、固定カメラ２０は、可視光カメラであってもよいし、赤外線カメラであってもよい。固定カメラ２０が赤外線カメラである場合、入場口５０における屋根５０２には、可視光を含む照明光を発する通常の照明器５０４のほか、赤外線を発する赤外線照明器５０６を設けることができる。赤外線照明器５０６の下で固定カメラ２０として赤外線カメラを用いることにより、周囲の明るさの影響を低減しつつ、固定カメラ２０により撮影された顔画像に基づく顔照合を行うことができる。
【0041】
また、固定カメラ２０は、縦長の画像を撮影するように縦向きに設置されている。これにより、固定カメラ２０は、低身長の来場者から高身長の来場者にわたる幅広い身長の来場者の顔を含む画像を撮影することができる。具体的には、固定カメラ２０は、例えば、身長９９ｃｍ～２２０ｃｍの来場者の顔を含む画像を撮影することができる。なお、固定カメラ２０は、必ずしも縦向きに設置されている必要はなく、横長の画像を撮影するように横向きに設置されていてもよい。
【0042】
固定カメラ２０により撮影される画像には、ゲート装置１０の前の場所にいる複数人の来場者の顔が含まれうる。
【0043】
固定カメラ２０は、上記のようにして所定の周期で取得した複数枚の画像の画像データを、その周期に同期して顔照合装置３０に送信する。
【0044】
顔照合装置３０は、顔照合制御部３０２と、記憶部３０４と、表示部３０６とを有している。
【0045】
顔照合制御部３０２は、固定カメラ２０により撮影された顔画像に基づく顔照合を行うものである。顔照合制御部３０２は、画像データ取得部３０８と、顔検出部３１０と、顔特徴量抽出部３１２と、顔照合部３１４とを含んでいる。
【0046】
画像データ取得部３０８は、所定の周期で固定カメラ２０から送信される画像の画像データを順次取得する。なお、画像データ取得部３０８は、取得した画像データに対して補正処理等の画像処理を行うことができる。
【0047】
顔検出部３１０は、画像データ取得部３０８により順次取得される画像データの画像のそれぞれについて顔検出を行う。これにより、顔検出部３１０は、画像データ取得部３０８により順次取得される画像データの画像から、ゲート装置１０の前の場所にいる来場者の顔画像を検出顔画像として検出する。顔検出部３１０が顔検出に用いるアルゴリズムとしては、特に限定されるものではなく、種々のアルゴリズムを用いることができる。
【0048】
図３は、固定カメラ２０により撮影された１フレームの画像の例を示している。図３に示すように、１フレームの画像Ｉには、ゲート装置１０の前の場所にいる１人の来場者Ｖ１が撮影されている。顔検出部３１０は、このように固定カメラ２０により撮影された画像Ｉから、図３中の矩形状の検出枠３１６で示すように、来場者Ｖ１の顔画像を検出する。
【0049】
なお、固定カメラ２０により撮影された１フレームの画像には、ゲート装置１０の前の場所にいる複数人の来場者が撮影される場合がある。また、固定カメラ２０により撮影された異なるフレームの画像に同一人物が撮影される場合もある。これらの場合については後述する。
【0050】
顔特徴量抽出部３１２は、顔検出部３１０により検出された顔画像のそれぞれについて、顔画像の特徴量である顔特徴量を抽出する。なお、以下では、顔検出部３１０により検出された顔画像を検出顔画像ともいう。顔特徴量は、ベクトル量であり、顔画像の特徴を表現するスカラ量の成分の組み合わせである。特徴量の成分としては、特に限定されるものではなく、種々の種類のものを用いることができる。例えば、特徴量の成分として、目、鼻、口等の顔の器官の中心又は端点に設定した特徴点間の距離や角度等の位置関係、顔の輪郭線の曲率、顔表面の色分布や濃淡値等を用いることができる。特徴量の成分数も、特に限定されるものではなく、要求される照合精度、処理速度等に応じて適宜設定することができる。
【0051】
また、顔特徴量抽出部３１２は、検出顔画像の画像データである顔画像データを、その検出顔画像から抽出した顔特徴量とともに両者を関連づけて記憶部３０４に一時的に保存する。さらに、顔特徴量抽出部３１２は、検出顔画像のそれぞれについて、顔画像データ及びその顔特徴量とともに、その画像データを特定する番号である検出番号と、その検出顔画像が撮影された撮影時刻とを関連づけて記憶部３０４に一時的に保存する。
【0052】
記憶部３０４には、リレーショナルデータベースが構成されている。記憶部３０４のリレーショナルデータベースには、上述のように顔特徴量抽出部３１２により抽出された顔特徴量が、検出番号、撮影時刻、及び顔画像データと関連付けられて一時的に保存される。互いに関連付けられたこれらのデータは、リレーショナルデータベース管理システム（Relational Database Management System、ＲＤＢＭＳ）により管理される。ＲＤＢＭＳとしては、特に限定されるものではないが、例えばＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒが用いられている。
【0053】
図４は、顔特徴量抽出部３１２により記憶部３０４に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。図４に示すように、記憶部３０４には、検出顔画像のそれぞれについて、検出番号、撮影時刻、顔画像データ、及び顔特徴量が互いに関連付けられて一時的に保存される。
【0054】
記憶部３０４には、検出顔画像のそれぞれについて、その撮影時刻から一定の期間だけ、顔特徴量及びこれに関連するデータが保存される。撮影時刻から一定の時間を経過した検出顔画像の顔特徴量及びこれに関連するデータは、記憶部３０４のリレーショナルデータベースから順次削除されていく。例えば、記憶部３０４には、固定カメラ２０により直近の過去３分間に撮影された検出顔画像の顔特徴量及びこれに関連するデータが一時的に保存される。
【0055】
顔照合部３１４は、ゲート装置１０の読み取り部１０８に年間パスの着券があると、年間パスを読み取り部１０８に着券した来場者について、顔照合による本人確認を行う。
【0056】
顔照合部３１４には、着券された年間パスから読み取り部１０８により読み取られたＩＤ情報が送信される。顔照合部３１４は、送信されたＩＤ情報を取得し、ネットワーク６０を介して後述のデータセンタサーバ４０から、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する。こうして顔照合部３１４により取得された登録顔画像の人物は、着券された年間パスを正当に利用することができる正当な利用者である。年間パスの正当な利用者は、例えば、その年間パスを購入した購入者である。
【0057】
また、顔照合部３１４は、記憶部３０４のリレーショナルデータベースを参照して、ＩＤ情報の取得より前である着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する。すなわち、顔照合部３１４は、読み取り部１０８がＩＤ情報を年間パスから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。なお、Ｎは通常２以上の整数であり、顔照合部３１４が取得する検出顔画像は複数枚である。ただし、Ｎが１であり、顔照合部３１４が取得する検出顔画像が１枚である場合もありうる。検出顔画像を取得する着券前の所定の期間は、着券直前の期間とすることができ、要求される照合精度、処理速度等に応じてその長さを適宜設定することができる。例えば、検出顔画像を取得する着券前の所定の期間は、着券直前の数秒間に設定することができる。
【0058】
顔照合部３１４は、年間パスの着券前に撮影されたＮ枚の検出顔画像の顔特徴量のそれぞれと、登録顔画像の顔特徴量とを順次照合する照合処理を行う。ここでの照合処理は、最大Ｎ枚の検出顔画像と１枚の登録顔画像との間の照合を行うため、Ｎ：１照合という。このように、顔照合部３１４は、ＩＤ情報の取得より前に撮影された画像から顔検出部３１０が検出した検出顔画像と、取得したＩＤ情報に対応する登録顔画像とを照合する。
【0059】
顔照合部３１４は、Ｎ：１照合に際して、検出顔画像の顔特徴量と登録顔画像の顔特徴量との間の類似度に応じて照合スコアを算出する。照合スコアは、検出顔画像の顔特徴量と登録顔画像の顔特徴量との間の類似度が高いほど大きな値となる。顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値未満の場合に照合が不一致であると判定し、次の検出顔画像の顔特徴量と登録顔画像の顔特徴量との照合を行う。一方、顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値以上の場合に照合が一致したと判定し、照合処理を終了する。
【0060】
Ｎ枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序は、特に限定されるものではない。例えば、Ｎ枚の検出顔画像について、撮影時刻の古い順若しくは新しい順に、又はランダムに登録顔画像との顔特徴量の照合を行うことができる。また、Ｎ枚の検出顔画像のそれぞれについて優先度を求めておき、優先度に基づいて登録顔画像との顔特徴量の照合を行う順序を決定することもできる。なお、優先度に基づいて登録顔画像との顔特徴量の照合を行う順序を決定する場合については、第２実施形態において説明する。
【0061】
図５は、本実施形態における顔照合部３１４によるＮ：１照合の処理の例を示す概略図である。図５に示すように、着券前の所定の期間に撮影されたＮ枚の検出顔画像の顔特徴量を、着券のあった年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量と順次照合する。Ｎ枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序は、例えば、撮影時刻の古い順とすることができる。
【0062】
顔照合部３１４による照合が一致した場合、着券された年間パスの正当な利用者が、着券前にゲート装置１０の前の来場者の中にいたことになる。このため、年間パスの正当な利用者が年間パスを着券したと推定することができる。したがって、この場合、顔照合による本人確認に成功したことになる。
【0063】
一方、顔照合部３１４による照合がいずれも不一致であった場合、着券された年間パスの正当な利用者が、着券前にゲート装置１０の前の来場者の中にいなかったことになる。したがって、この場合、顔照合による本人確認に失敗したことになる。
【0064】
表示部３０６には、顔照合部３１４による照合結果等を表示することができる。施設のスタッフは、表示部３０６の表示を見ることにより照合結果等を確認することができる。
【0065】
顔照合部３１４は、上記照合結果を示す信号である照合結果信号をゲート装置１０に送信する。具体的には、顔照合部３１４は、顔照合部３１４による照合が一致したことを示す信号である照合一致信号、又は顔照合部３１４による照合がいずれも不一致であったことを示す信号である照合不一致信号をゲート装置１０に送信する。
【0066】
上述した顔照合装置３０は、例えばコンピュータ装置により構成される。顔照合装置３０のハードウェア構成の一例について図６を用いて説明する。なお、顔照合装置３０は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。
【0067】
顔照合装置３０は、図６に示すように、ＣＰＵ（Central Processing Unit）３００２と、ＲＯＭ（Read Only Memory）３００４と、ＲＡＭ（Random Access Memory）３００６と、ＨＤＤ（Hard Disk Drive）３００８とを有している。また、顔照合装置３０は、通信インターフェース（Ｉ／Ｆ（Interface））３０１０を有している。また、顔照合装置３０は、ディスプレイコントローラ３０１２と、ディスプレイ３０１４とを有している。さらに、顔照合装置３０は、入力装置３０１６を有している。ＣＰＵ３００２、ＲＯＭ３００４、ＲＡＭ３００６、ＨＤＤ３００８、及び通信Ｉ／Ｆ３０１０、ディスプレイコントローラ３０１２、及び入力装置３０１６は、共通のバスライン３０１８に接続されている。
【0068】
ＣＰＵ３００２は、顔照合装置３０の全体の動作を制御する。また、ＣＰＵ３００２は、上記顔照合制御部３０２における画像データ取得部３０８、顔検出部３１０、顔特徴量抽出部３１２、及び顔照合部３１４の各部の機能を実現するプログラムを実行する。ＣＰＵ３００２は、ＨＤＤ３００８等に記憶されたプログラムをＲＡＭ３００６にロードして実行することにより、顔照合制御部３０２における各部の機能を実現する。
【0069】
ＲＯＭ３００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ３００６は、ＣＰＵ３００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ３００８には、ＣＰＵ３００２が実行するプログラムが記憶されている。
【0070】
また、ＨＤＤ３００８は、上記記憶部３０４の機能を実現する記憶装置である。なお、記憶部３０４の機能を実現する記憶装置は、ＨＤＤ３００８に限定されるものではない。種々の記憶装置を記憶部３０４の機能を実現するものとして用いることができる。
【0071】
通信Ｉ／Ｆ３０１０は、ネットワーク６０に接続されている。通信Ｉ／Ｆ３０１０は、ネットワーク６０に接続されたデータセンタサーバ４０との間のデータの通信を制御する。
【0072】
ディスプレイコントローラ３０１２は、表示部３０６として機能するディスプレイ３０１４が接続されている。ディスプレイコントローラ３０１２は、顔照合部３１４による照合結果をディスプレイ３０１４に表示させる。
【0073】
入力装置３０１６は、例えば、キーボード、マウス等である。また、入力装置３０１６は、ディスプレイ３０１４に組み込まれたタッチパネルであってもよい。施設のスタッフは、入力装置３０１６を介して、顔照合装置３０の設定を行ったり、処理の実行の指示を入力したりすることができる。
【0074】
なお、顔照合装置３０のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。
【0075】
ゲート装置１０のゲート制御部１１２は、顔照合部３１４から送信される照合結果信号に基づき、ゲート１０６の開閉を制御する。すなわち、ゲート制御部１１２は、顔照合部３１４から照合一致信号が送信された場合、ゲート１０６を開放させる。これにより、着券した来場者は、本人確認に成功した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。ゲート制御部１１２は、来場者が通路１１４を通行した後、ゲート１０６を閉鎖状態とする。
【0076】
一方、ゲート制御部１１２は、顔照合部３１４から照合不一致信号が送信された場合、ゲート１０６の閉鎖状態を維持する。この際、ゲート制御部１１２は、ゲート装置１０に設けられた不図示の警報器の警告音を鳴らしたり、警告灯を点灯させたりすること等により照合結果がいずれも不一致であることを示す警告を出すことができる。
【0077】
データセンタサーバ４０は、制御部４０２と、記憶部４０４とを有している。
【0078】
制御部４０２は、データセンタサーバ４０の動作を制御するものである。
【0079】
記憶部４０４は、発行された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像及びその顔特徴量が蓄積されている。
【0080】
制御部４０２は、顔照合部３１４からの要求に応じて、着券があった年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を顔照合部３１４に提供する。
【0081】
登録顔画像は、ウェブサーバ７０により提供されるウェブストアで年間パスを購入する際に、購入者の端末からウェブサーバ７０にアップロードすることができる。ウェブサーバ７０にアップロードされた登録顔画像は、ウェブサーバ７０からデータセンタサーバ４０に送信される。登録顔画像が送信されたデータセンタサーバ４０において、制御部４０２は、送信された登録顔画像を記憶部４０４に蓄積する。
【0082】
また、チケットブースで年間パスを購入した購入者は、施設への初回の来場時に、ゲート装置１０の手元カメラ１１０で登録顔画像を撮影することができる。手元カメラ１１０で撮影された登録顔画像は、顔照合装置３０により、ネットワーク６０を介してデータセンタサーバ４０に送信され、その記憶部４０４に蓄積される。
【0083】
また、チケットブースで年間パスを購入した購入者は、そのままチケットブースの手元カメラ（図示せず）で登録顔画像を撮影するようにしてもよい。チケットブースの手元カメラで撮影された登録顔画像は、チケットブース端末８０により、ネットワーク６０を介してデータセンタサーバ４０に送信され、その記憶部４０４に蓄積される。
【0084】
上記のようにしてデータセンタサーバ４０の記憶部４０４に蓄積される登録顔画像については、顔照合装置３０の顔特徴量抽出部３１２により抽出される顔特徴量と同様の顔特徴量が抽出されている。顔特徴量の抽出は、顔特徴量抽出部として機能する制御部４０２によって行われる。抽出された顔特徴量は、制御部４０２により、その登録顔画像が関連付けられた年間パスのＩＤ情報と関連付けられて記憶部４０４に蓄積される。
【0085】
記憶部４０４には、リレーショナルデータベースが構成されている。記憶部４０４のリレーショナルデータベースには、上述のように、登録顔画像の顔特徴量が、年間パスのＩＤ情報、及び登録顔画像の顔画像データと関連付けられて保存される。互いに関連付けられたこれらのデータは、ＲＤＢＭＳにより管理される。ＲＤＢＭＳとしては、特に限定されるものではないが、例えばＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒが用いられている。
【0086】
なお、記憶部４０４のリレーショナルデータベースには、上記のほか、例えば、年間パスの正当な利用者である年間パスの購入者の氏名、連絡先等の情報が、年間パスのＩＤ情報と関連付けられて保存されている。
【0087】
上述したデータセンタサーバ４０は、例えばコンピュータ装置により構成される。データセンタサーバ４０のハードウェア構成の一例について図７を用いて説明する。なお、データセンタサーバ４０は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。
【0088】
データセンタサーバ４０は、図７に示すように、ＣＰＵ４００２と、ＲＯＭ４００４と、ＲＡＭ４００６と、ＨＤＤ４００８とを有している。また、データセンタサーバ４０は、通信Ｉ／Ｆ４０１０を有している。ＣＰＵ４００２、ＲＯＭ４００４、ＲＡＭ４００６、ＨＤＤ４００８、及び通信Ｉ／Ｆ４０１０は、共通のバスライン４０１２に接続されている。
【0089】
ＣＰＵ４００２は、データセンタサーバ４０の全体の動作を制御する。また、ＣＰＵ４００２は、上記制御部４０２の機能を実現するプログラムを実行する。ＣＰＵ４００２は、ＨＤＤ４００８等に記憶されたプログラムをＲＡＭ４００６にロードして実行することにより、制御部４０２の機能を実現する。
【0090】
ＲＯＭ４００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ４００６は、ＣＰＵ４００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ４００８には、ＣＰＵ４００２が実行するプログラムが記憶されている。
【0091】
また、ＨＤＤ４００８は、上記記憶部４０４の機能を実現する記憶装置である。なお、記憶部４０４の機能を実現する記憶装置は、ＨＤＤ４００８に限定されるものではない。種々の記憶装置を記憶部４０４の機能を実現するものとして用いることができる。
【0092】
通信Ｉ／Ｆ４０１０は、ネットワーク６０に接続されている。通信Ｉ／Ｆ４０１０は、ネットワーク６０に接続された顔照合装置３０との間のデータの通信を制御する。
【0093】
なお、データセンタサーバ４０のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。
【0094】
上述のように、本実施形態による顔照合システム１は、読み取り部１０８が年間パスからＩＤ情報を読み取る着券前に固定カメラ２０により撮影された検出顔画像と、着券された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像とを照合する。すなわち、本実施形態による顔照合システム１では、登録顔画像と照合すべき照合対象の画像である検出顔画像が、年間パスの着券前に予め取得されている。
【0095】
このため、本実施形態によれば、来場者が年間パスを着券した後に、登録顔画像と照合すべき照合対象の画像としてその来場者の顔画像を施設のスタッフにより撮影する必要がない。また、来場者は、その顔画像の撮影を意識する必要がなく、撮影のために顔の位置合わせ等の特別の動作を行う必要もない。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0096】
次に、上記本実施形態による顔照合システム１を用いた本実施形態による顔照合方法についてさらに図８乃至図１０を用いて説明する。
【0097】
まず、本実施形態による顔照合方法の全体のフローについて図８を用いて説明する。図８は、本実施形態による顔照合方法を示すシーケンス図である。
【0098】
固定カメラ２０は、読み取り部１０８の設置場所への入口側であるゲート装置１０の前の場所を撮影し、所定の周期で複数枚の画像を連続的に取得する（ステップＳ１０２）。また、固定カメラ２０は、所定の周期で取得した複数枚の画像の画像データを、その周期に同期して顔照合装置３０に送信する（ステップＳ１０４）。
【0099】
画像データが送信される顔照合装置３０において、画像データ取得部３０８は、固定カメラ２０から送信される画像データを順次取得する。顔検出部３１０は、各画像について顔検出を行って顔画像を検出顔画像として検出する（ステップＳ１０６）。顔特徴量抽出部３１２は、各検出顔画像について顔特徴量を抽出して一時的に保存する（ステップＳ１０８）。
【0100】
固定カメラ２０及び顔照合装置３０では、上記ステップＳ１０２～Ｓ１０８が繰り返し行われる。
【0101】
一方、ゲート装置１０において、年間パスの着券があると、読み取り部１０８は、着券のあった年間パスのＩＤ情報を読み取る（ステップＳ１１０）。続いて、ゲート制御部１１２は、読み取り部１０８により読み取られたＩＤ情報を顔照合装置３０に送信する（ステップＳ１１２）。
【0102】
ＩＤ情報が送信された顔照合装置３０において、顔照合部３１４は、データセンタサーバ４０にネットワーク６０を介してＩＤ情報を送信して（ステップＳ１１４）、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を要求する。これにより、顔照合部３１４は、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をデータセンタサーバ４０からネットワーク６０を介してオンラインで取得する（ステップＳ１１６）。
【0103】
また、顔照合部３１４は、その記憶部３０４のリレーショナルデータベースを参照して、着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する（ステップＳ１１８）。すなわち、顔照合部３１４は、読み取り部１０８がＩＤ情報を年間パスから読み取る前に撮影されたＮ枚の検出顔画像の顔特徴量を取得する。
【0104】
なお、上記のステップＳ１１６及びステップＳ１１８は、どちらが先に行われてもよく、同時に行われてもよい。
【0105】
次いで、顔照合部３１４は、取得した検出顔画像の顔特徴量及び登録顔画像の顔特徴量に基づき、Ｎ：１照合を行う（ステップＳ１２０）。
【0106】
Ｎ：１照合を行った顔照合部３１４は、照合結果を示す照合結果信号をゲート装置１０に送信する（ステップＳ１２２）。
【0107】
照合結果信号が送信されたゲート装置１０では、ゲート制御部１１２が、照合結果信号に基づき、ゲート１０６の開閉を制御する（ステップＳ１２４）。
【0108】
ゲート装置１０の読み取り部１０８に年間パスの着券があるたびに、ステップＳ１１０～Ｓ１２４が繰り返し行われる。
【0109】
次に、本実施形態による顔照合方法における処理の詳細について図９及び図１０を用いて説明する。図９及び図１０は、それぞれ本実施形態による顔照合方法を示すフローチャートである。
【0110】
まず、固定カメラ２０による撮影から検出顔画像の顔特徴量を一時的に保存するまでの処理の詳細について図９を用いて説明する。
【0111】
顔照合装置３０には、固定カメラ２０により撮影された画像の画像データが周期的に送信される。画像データ取得部３０８は、固定カメラ２０から画像データが送信されるタイミングか否かを判定する（ステップＳ２０２）。画像データが送信されるタイミングでなければ（ステップＳ２０２、ＮＯ）、そのタイミングの到来を待機する。
【0112】
固定カメラ２０から画像データが送信されるタイミングであれば（ステップＳ２０２、ＹＥＳ）、画像データ取得部３０８は、固定カメラ２０から送信される画像データを取得する（ステップＳ２０４）。画像データ取得部３０８は、次のステップＳ２０６の前に、取得した画像データに対して補正処理等の画像処理を行うことができる。
【0113】
次いで、顔検出部３１０は、画像データ取得部３０８により取得される画像データの画像について顔検出を行い、その画像から、ゲート装置１０の前の場所にいる来場者の顔画像を検出する（ステップＳ２０６）。顔画像が検出されなければ（ステップＳ２０８、ＮＯ）、ステップＳ２０２に戻り、固定カメラ２０による次の画像データの送信を待機する。
【0114】
顔検出部３１０により顔画像が検出されると（ステップＳ２０８、ＹＥＳ）、顔特徴量抽出部３１２は、検出された顔画像である検出顔画像について顔特徴量を抽出する（ステップＳ２１０）。
【0115】
また、顔特徴量抽出部３１２は、検出顔画像の顔画像データを、その検出顔画像から抽出した顔特徴量とともに両者を関連づけて記憶部３０４に一時的に保存する（ステップＳ２１２）。この際、顔特徴量抽出部３１２は、検出顔画像について、顔画像データ及びその顔特徴量とともに、その画像データを特定する番号である検出番号と、その検出顔画像が撮影された撮影時刻とを関連づけて一時的に保存する。
【0116】
上記図９に示す処理は、本実施形態による顔照合システム１が稼動している間、固定カメラ２０から画像データが送信されるタイミングが到来するたびに繰り返し行われる。
【0117】
次に、年間パスの着券があってからゲート制御までの処理について図１０を用いて説明する。
【0118】
ゲート装置１０において、読み取り部１０８は、年間パスが着券されるまで待機する（ステップＳ３０２、ＮＯ）。着券を待機する間、ゲート１０６は、閉鎖状態となっている。
【0119】
来場者により読み取り部１０８に年間パスが着券されると（ステップＳ３０２、ＹＥＳ）、読み取り部１０８は、年間パスに記録されたＩＤ情報を年間パスから読み取る（ステップＳ３０６）。
【0120】
続いて、ゲート制御部１１２は、読み取り部１０８により読み取られたＩＤ情報を顔照合装置３０に送信する（ステップＳ３０６）。
【0121】
顔照合装置３０において、顔照合部３１４は、ゲート制御部１１２から送信されたＩＤ情報を、ネットワーク６０を介してデータセンタサーバ４０に送信して、登録顔画像の顔特徴量を要求する。これにより、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から、送信したＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する（ステップＳ３０８）。
【0122】
また、顔照合部３１４は、記憶部３０４のリレーショナルデータベースを参照して、年間パスの着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する（ステップＳ３１０）。
【0123】
顔照合部３１４は、取得したＮ枚の検出顔画像の顔特徴量のそれぞれと、取得した登録顔画像の顔特徴量とを順次照合するＮ：１照合を行う（ステップＳ３１２）。顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値未満の場合に照合が不一致であると判定し、次の検出顔画像の顔特徴量と登録顔画像の顔特徴量との照合を行う。一方、顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値以上の場合に照合が一致したと判定し、照合処理を終了する。
【0124】
顔照合部３１４による照合が一致した場合（ステップＳ３１４、ＹＥＳ）、顔照合部３１４は、顔照合部３１４による照合が一致したことを示す照合一致信号をゲート装置１０に送信する（ステップＳ３１６）。
【0125】
ゲート装置１０において、ゲート制御部１１２は、顔照合部３１４から照合一致信号が送信されると、ゲート１０６を開放させる（ステップＳ３１８）。これにより、着券した来場者は、本人確認に成功した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。
【0126】
ゲート制御部１１２は、来場者が通路１１４を通行した後、ゲート１０６を閉鎖状態とする（ステップＳ３２０）。
【0127】
一方、顔照合部３１４による照合がいずれも不一致であった場合（ステップＳ３１４、ＮＯ）、顔照合部３１４は、顔照合部３１４による照合がいずれも不一致であったことを示す照合不一致信号をゲート装置１０に送信する（ステップＳ３２２）。
【0128】
ゲート装置１０において、ゲート制御部１１２は、顔照合部３１４から照合不一致信号が送信されると、ゲート１０６の閉鎖状態を維持する（ステップＳ３２４）。この際、ゲート制御部１１２は、ゲート装置１０に設けられた不図示の警報器の警告音を鳴らしたり、警告灯を点灯させたりすること等により警告を出す（ステップＳ３２６）。この結果、着券した来場者は、本人確認に失敗した者として、この段階では、施設の場内に入場することができない。この場合、例えば、施設のスタッフにより本人確認が改めて行われる等の対処がなされる。
【0129】
上記図１０に示す処理は、本実施形態による顔照合方法を行っている間、ゲート装置１０の読み取り部１０８に着券があるたびに繰り返し行われる。
【0130】
このように、本実施形態によれば、年間パスの着券前に固定カメラ２０により撮影された画像から検出された検出顔画像の顔特徴量と、着券された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量とを照合する。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0131】
なお、上記では、図３に示すように、固定カメラ２０により撮影された１フレームの画像に１人の来場者が撮影されている場合を例に説明したが、固定カメラ２０により撮影された１フレームの画像には、複数人の来場者が撮影される場合もありうる。
【0132】
図１１は、固定カメラ２０により撮影された１フレームの画像の他の例を示している。図１１に示すように、１フレームの画像Ｉには、ゲート装置１０の前の場所にいる３人の来場者Ｖｐ、Ｖｑ、Ｖｒが撮影されている。このように、固定カメラ２０により撮影された１フレームの画像Ｉに、複数人の来場者が撮影されている場合がある。このような場合、顔検出部３１０は、固定カメラ２０により撮影された画像Ｉから、図１１中の検出枠３１６ｐ、３１６ｑ、３１６ｒで示すように、複数人の来場者Ｖｐ、Ｖｑ、Ｖｒのそれぞれの顔画像を検出する。こうして１フレームの画像から検出された複数の検出顔画像は、それぞれ登録顔画像と照合すべき照合対象の画像として上記と同様に処理される。
【0133】
［第２実施形態］
本発明の第２実施形態による顔照合システム及び顔照合方法について図１２及び図１３を用いて説明する。図１２は、本実施形態による顔照合システムの機能構成を示すブロック図である。図１３は、本実施形態による顔照合システムにおけるＮ：１照合の処理の例を示す概略図である。なお、上記第１実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0134】
本実施形態による顔照合システムの基本的構成は、第１実施形態による顔照合システムの構成とほぼ同様である。本実施形態による顔照合システムは、顔照合装置３０が、検出顔画像についてＮ：１照合を行う際の優先度を算出する優先度算出部をさらに有する点で、第１実施形態による顔照合システムとは異なっている。
【0135】
図１２に示すように、本実施形態による顔照合システム２において、顔照合装置３０の顔照合制御部３０２が、優先度算出部３１８をさらに有している。
【0136】
優先度算出部３１８は、顔検出部３１０により検出された検出顔画像のそれぞれについて、登録顔画像との顔特徴量の照合を行う順序を決定するための優先度を算出する。優先度算出部３１８は、種々の要素に基づき優先度を算出することができる。
【0137】
優先度算出部３１８が優先度を算出するための要素としては、固定カメラ２０により撮影された画像における検出顔画像の位置関係が例示される。固定カメラ２０により撮影された画像においてゲート装置１０の読み取り部１０８により近い位置の検出顔画像の人物ほど、読み取り部１０８に年間パスを着券する可能性がより高い。したがって、固定カメラ２０により撮影された画像において読み取り部１０８により近い位置の検出顔画像ほど、優先度をより高く設定することができる。
【0138】
また、優先度算出部３１８が優先度を算出するための要素として、検出顔画像の顔らしさを評価する評価値である顔らしさスコアを例示することができる。例えば、顔らしさスコアは、その値がより高いほど、検出顔画像がより顔らしいことを示している。したがって、顔らしさスコアがより高い検出顔画像ほど、優先度をより高く設定することができる。
【0139】
また、優先度算出部３１８が優先度を算出するための要素として、検出顔画像の品質が例示される。検出顔画像の品質がより高いほど、精度のより高い照合を行うことができる。したがって、品質がより高い検出顔画像ほど、優先度をより高く設定することができる。
【0140】
優先度算出部３１８は、上述したような要素のうちのいずれか又は要素の組み合わせに基づき、優先度を算出することができる。例えば、優先度の値は、優先度がより高いほど小さな値とすることができる。
【0141】
優先度算出部３１８は、検出顔画像のそれぞれについて、算出した優先度を、記憶部３０４に構成されているリレーショナルデータベースに、検出番号、撮影時刻、及び顔画像データと関連付けて保存する。
【0142】
なお、本実施形態においても、顔照合装置３０は、図６に示すハードウェア構成と同様のハードウェア構成を有することができる。この場合、ＣＰＵ３００２は、優先度算出部３１８の機能を実現するプログラムを実行する。
【0143】
図１３は、本実施形態における顔照合部３１４によるＮ：１照合の処理の例を示す概略図である。顔照合部３１４は、図１３に示すように、年間パスの着券前の所定の期間に撮影されたＮ枚の検出顔画像の顔特徴量を、優先度が高い順に、着券のあった年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量と順次照合する。
【0144】
このように、本実施形態では、Ｎ枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序を、優先度の高い順とするので、Ｎ：１照合を効率よく行うことができる。したがって、本実施形態によれば、より短時間でより円滑に顔照合を行うことができる。
【0145】
［第３実施形態］
本発明の第３実施形態による顔照合システム及び顔照合方法について図１４Ａ、図１４Ｂ及び図１５を用いて説明する。図１４Ａ及び図１４Ｂは、本実施形態による顔照合システムにおける固定カメラにより撮影された異なる画像の例を示す概略図である。図１５は、本実施形態による顔照合システムの機能構成を示すブロック図である。なお、上記第１及び第２実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0146】
本実施形態による顔照合システムの基本的構成は、第１実施形態による顔照合システムの構成とほぼ同様である。本実施形態による顔照合システムは、顔照合装置３０が、固定カメラ２０により撮影された異なるフレームの画像に同一人物の来場者が撮影されている場合の処理を行う同一人物処理部をさらに有する点で、第１実施形態による顔照合システムとは異なっている。
【0147】
固定カメラ２０によりゲート装置１０の前の場所を撮影している場合、異なるフレームの画像に、同一人物の来場者が撮影される場合がある。
【0148】
図１４Ａ及び図１４Ｂは、それぞれ固定カメラ２０により連続して撮影された異なるフレームの画像Ｉｍ、Ｉｎを示している。画像Ｉｎは、画像Ｉｍよりも新しいフレームの画像である。画像Ｉｍに、来場者Ｖｓ、Ｖｔ、Ｖｕが撮影されている。一方、画像Ｉｍよりも新しい画像Ｉｎにも、画像Ｉｍに撮影されていた来場者Ｖｓが撮影されている。
【0149】
本実施形態では、このように異なるフレームの画像に同一人物の来場者が撮影された場合に、検出顔画像を同一人物ごとに分類する。そして、その同一人物の検出顔画像について、品質等に基づく優先度を求め、優先度の高い順に登録顔画像との顔特徴量の照合を行う。これにより、より効率的なＮ：１照合を行うことができる。
【0150】
図１５に示すように、本実施形態による顔照合システム３において、顔照合装置３０の顔照合制御部３０２が、同一人物処理部３２０をさらに有している。
【0151】
同一人物処理部３２０は、顔検出部３１０により検出された検出顔画像のそれぞれ同一人物ごとに分類する。さらに、同一人物処理部３２０は、同一人物ごとに分類された複数の検出顔画像について、登録顔画像との顔特徴量の照合を行う順序を決定するための優先度を算出する。同一人物処理部３２０は、第２実施形態による優先度算出部３１８と同様に、検出顔画像の位置関係、顔らしさスコア、品質等の要素に基づき、優先度を算出することができる。
【0152】
なお、本実施形態においても、顔照合装置３０は、図６に示すハードウェア構成と同様のハードウェア構成を有することができる。この場合、ＣＰＵ３００２は、同一人物処理部３２０の機能を実現するプログラムを実行する。
【0153】
顔照合部３１４は、Ｎ：１照合の際に、同一人物に分類された複数の検出顔画像については、優先度の高い順に登録顔画像との顔特徴量の照合を行う。
【0154】
このように、本実施形態によれば、Ｎ：１照合の際に、同一人物に分類された検出顔画像については、優先度の高い順に登録顔画像との顔特徴量の照合を行うので、Ｎ：１照合を効率よく行うことができる。したがって、本実施形態によれば、より短時間でより円滑に顔照合を行うことができる。
【0155】
なお、上記では、第１実施形態による顔照合システムの構成に加えて同一人物処理部３２０をさらに有する場合について説明したが、これに限定されるものではない。第２実施形態による顔照合システムの構成に加えて同一人物処理部３２０をさらに有するようにすることもできる。
【0156】
［第４実施形態］
本発明の第４実施形態による顔照合システム及び顔照合方法について図１６、図１７Ａ、図１７Ｂ及び図１７Ｃを用いて説明する。図１６は、本実施形態による顔照合システムにおける登録顔画像の自動更新を示すフローチャートである。図１７Ａ、図１７Ｂ及び図１７Ｃは、本実施形態による顔照合システムにおける登録顔画像の自動更新における各種データを示す概略図である。なお、上記第１乃至第３実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0157】
本実施形態による顔照合システムの基本的構成は、第１実施形態による顔照合システムの構成とほぼ同様である。本実施形態による顔照合システムは、顔照合装置３０の顔照合部３１４による照合が一致した場合に、その照合結果に基づき、データセンタサーバ４０に保存されている登録顔画像を更新するものである。
【0158】
以下、本実施形態による顔照合システムにおける登録顔画像の更新処理について図１６、図１７Ａ、図１７Ｂ及び図１７Ｃを用いて説明する。
【0159】
顔照合装置３０において、顔照合部３１４は、Ｎ：１照合の結果、照合が一致した場合に、その照合結果を保存する（ステップＳ４０２）。顔照合部３１４は、照合結果を記憶部３０４に保存することもできるし、記憶部３０４とは別個に設けられた記憶部に保存することもできる。
【0160】
図１７Ａは、顔照合部３１４が保存する照合結果の例を示している。図１７（Ａに示すように、着券された年間パスのＩＤ情報と、登録顔画像との照合が一致した検出顔画像の画像データと、その検出顔画像の顔特徴量と、照合スコアとを関連付けて保存する。照合結果は、着券があった年間パスのＩＤ情報ごとに保存される。なお、顔照合部３１４は、さらに、例えば、照合が一致した検出顔画像の顔らしさスコアその他の情報もあわせて関連付けて保存することができる。
【0161】
次いで、顔照合部３１４は、保存した照合結果を、定期又は不定期にデータセンタサーバ４０に送信する（ステップＳ４０４）。例えば、顔照合部３１４は、日次で照合結果をデータセンタサーバ４０に送信することができる。
【0162】
照合結果が送信されるデータセンタサーバ４０において、制御部４０２は、送信された照合結果を保存する（ステップＳ４０６）。制御部４０２は、照合結果を記憶部４０４に保存することもできるし、記憶部４０４とは別個に設けられた記憶部に保存することもできる。
【0163】
次いで、制御部４０２は、保存した照合結果を、定期又は不定期に処理する。具体的には、制御部４０２は、ＩＤ情報に関連付けられた検出顔画像を、そのＩＤ情報に関連付けられた登録顔画像として新たに追加して記憶部４０４に保存する（ステップＳ４０８）。また、新たに追加した登録顔画像の顔特徴量も、そのＩＤ情報に関連付けて記憶部４０４に保存する。こうして、同一のＩＤ情報について、複数の登録顔画像及びその顔特徴量が関連付けられて保存されて登録される。このように、制御部４０２は、登録顔画像との照合が一致した検出顔画像を新たな登録顔画像として追加登録して、登録顔画像を追加更新する更新部として機能する。
【0164】
図１７Ｂは、同一のＩＤ情報に関連付けられて登録された複数の登録顔画像及びその顔特徴量を示している。図１７Ｂに示すように、制御部４０２は、既存の登録顔画像に加えて、新たな登録顔画像として、照合が一致した検出顔画像を顔特徴量とともに追加保存する。
【0165】
次いで、制御部４０２は、同一のＩＤ情報に関連付けられて保存された複数の登録顔画像の優先度を更新する（ステップＳ４１０）。制御部４０２は、第２実施形態による優先度算出部３１８と同様に顔らしさスコア等に基づき優先度を算出して、複数の登録顔画像の優先度を更新することができる。
【0166】
図１７Ｃは、図１７Ｂに示す複数の登録顔画像について優先度を算出した場合を示している。
【0167】
こうして優先度が更新された複数の登録顔画像は、優先度の高い順に、顔照合装置３０の顔照合部３１４によるＮ：１照合が行われる。
【0168】
上記図１６に示す処理は、本実施形態による顔照合システムが稼働している間、繰り返し行われる。
【0169】
このように、本実施形態によれば、顔照合装置３０の顔照合部３１４による照合結果に基づき、データセンタサーバ４０に保存されている登録顔画像を更新するので、顔照合の精度を高く維持することができる。
【0170】
なお、上記では、第１実施形態による顔照合システムにおいて登録顔画像を更新するも場合について説明したが、これに限定されるものではない。第２及び第３実施形態による顔照合システムにおいても上記と同様に登録顔画像を更新することができる。
【0171】
［第５実施形態］
本発明の第５実施形態による顔照合システム及び顔照合方法について図１８を用いて説明する。図１８は、本実施形態による顔照合方法を示すフローチャートである。なお、上記第１乃至第４実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0172】
本実施形態では、第１実施形態による顔照合システムにおいて、固定カメラ２０により撮影された画像に基づく顔照合による本人確認に失敗した場合に、手元カメラ１１０により来場者の顔画像を撮影して顔照合を行う。以下、本実施形態による顔照合方法について図１８を用いて説明する。
【0173】
本実施形態でも、第１実施形態と同様に、固定カメラ２０により撮影された画像に基づき、顔照合による本人確認が行われる。図１８に示すように、ステップＳ３０２～Ｓ３１４、照合が一致した場合のステップＳ３１６～Ｓ３２０、及び照合がいずれも不一致であった場合のステップＳ３２２～Ｓ３２６は、第１実施形態と同様に行われるので、説明を省略する。
【0174】
固定カメラ２０により撮影された画像に基づく顔照合による本人確認に失敗して警告が出されると（ステップＳ３２６）、施設のスタッフは、ゲート装置１０の手元カメラ１１０を用いて、その本人確認に失敗した来場者の顔を撮影する（ステップＳ５０２）。なお、以下では、手元カメラ１１０により撮影された来場者の顔の顔画像を手元顔画像ともいう。
【0175】
手元カメラ１１０により手元顔画像が撮影されると、ゲート制御部１１２は、手元顔画像の画像データを顔照合装置３０に送信する。
【0176】
顔照合装置３０において、顔特徴量抽出部３１２は、送信された手元顔画像の顔特徴量を抽出する。
【0177】
次いで、顔照合部３１４は、顔特徴量抽出部３１２により抽出された手元顔画像の顔特徴量と、着券があった年間パスのＩＤ情報に関連付けられて登録されている登録顔画像の顔特徴量とを照合する（ステップＳ５０４）。
【0178】
手元顔画像に基づく顔照合部３１４による照合が一致した場合（ステップＳ５０６、ＹＥＳ）、ステップＳ３１６に移行して、ゲート１０６を開放する（ステップＳ３１８）。着券した来場者は、手元顔画像に基づく顔照合により本人確認に成功した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。その後、ゲート１０６を閉鎖状態とする（ステップＳ３２０）。
【0179】
一方、手元顔画像に基づく顔照合部３１４による照合が不一致であった場合（ステップＳ５０６、ＮＯ）、着券した来場者は、手元顔画像に基づく顔照合による本人確認にも失敗した者として、施設のスタッフにより対処がなされる（ステップＳ５０８）。例えば、施設のスタッフによる対処として、施設のスタッフにより改めて本人確認が行われる。
【0180】
本実施形態のように、固定カメラ２０による検出顔画像に基づく顔照合による本人確認が失敗した場合には、手元カメラ１１０による手元顔画像に基づく顔照合による本人確認を行うことができる。
【0181】
なお、上記では、第１実施形態による顔照合システムにおいて手元カメラ１１０による手元顔画像に基づく顔照合を行う場合について説明したが、これに限定されるものではない。第２乃至第４実施形態による顔照合システムにおいても上記と同様に手元カメラ１１０による手元顔画像に基づく顔照合を行うことができる。
【0182】
［第６実施形態］
本発明の第６実施形態による顔照合システム及び顔照合方法について図１９及び図２０を用いて説明する。図１９は、本実施形態による顔照合方法を示すフローチャートである。図２０は、本実施形態による顔照合方法において表示部に表示する照合画面の例を示す概略図である。なお、上記第１乃至第５実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0183】
本実施形態では、第１実施形態による顔照合システムにおいて、固定カメラ２０により撮影された画像に基づく顔照合による本人確認に失敗した場合に、施設のスタッフの目視により登録顔画像と検出顔画像とをマニュアルで照合する。以下、本実施形態による顔照合方法について図１９及び図２０を用いて説明する。
【0184】
本実施形態でも、第１実施形態と同様に、固定カメラ２０により撮影された画像に基づき、顔照合による本人確認が行われる。図１９に示すように、ステップＳ３０２～Ｓ３１４、照合が一致した場合のステップＳ３１６～Ｓ３２０、及び照合がいずれも不一致であった場合のステップＳ３２２～Ｓ３２６は、第１実施形態と同様に行われるので、説明を省略する。
【0185】
固定カメラ２０により撮影された画像に基づく顔照合による本人確認に失敗して警告が出されると（ステップＳ３２６）、顔照合装置３０において、顔照合部３１４は、施設のスタッフに対して照合画面を表示部３０６に表示する（ステップＳ６０２）。具体的には、顔照合部３１４は、Ｎ：１照合を行った登録顔画像とＮ枚の検出顔画像とを表示した照合画面を表示部３０６に表示する。
【0186】
図２０は、表示部３０６に表示される照合画面の例を示している。図２０に示すように、照合画面３２２には、登録顔画像とともに、顔照合部３１４による照合が一致しなかったＮ枚の検出顔画像が表示されている。Ｎ枚の検出顔画像は、いずれも顔照合部３１４による照合の結果、照合が不一致であると判定されたものである。このように、表示部３０６に表示される照合画面３２２には、登録顔画像と、顔照合部３１４による照合が一致しなかったＮ枚の検出顔画像とが、施設のスタッフが目視により照合できるように表示される。
【0187】
施設のスタッフは、表示部３０６に表示された照合画面を見て、マニュアルで照合を行う（ステップＳ６０４）。具体的には、施設のスタッフは、照合画面に表示されているＮ枚の検出顔画像の中から、あわせて表示されている登録顔画像の人物と同一人物であると判断される検出顔画像を選択する。表示部３０６は、例えば、タッチパネルで構成され、入力部としても機能するものになっている。この場合、施設のスタッフは、照合画面に表示されている検出顔画像をタッチして、選択結果を顔照合装置３０に入力することができる。なお、マウス、キーボード等の他の入力部により選択結果を顔照合装置３０に入力することもできる。
【0188】
マニュアル照合の結果、照合が一致した場合（ステップＳ６０６、ＹＥＳ）、すなわち登録顔画像の人物と同一人物であると判断される検出顔画像が選択された場合、ステップＳ３１６に移行して、ゲート１０６を開放する（ステップＳ３１８）。着券した来場者は、施設のスタッフによるマニュアル照合に基づく顔照合により本人確認に成功した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。その後、ゲート１０６を閉鎖状態とする（ステップＳ３２０）。
【0189】
一方、マニュアル照合の結果、照合が不一致であった場合（ステップＳ６０６、ＮＯ）、すなわち、登録顔画像の人物と同一人物であると判断される検出顔画像がない場合、施設のスタッフにより本人確認が改めて行われる等の対処がなされる（ステップＳ６０８）。
【0190】
上記のようにマニュアル照合において施設のスタッフにより選択された検出顔画像は、新しい登録顔画像として登録することができる。この場合、顔照合装置３０の顔照合部３１４は、選択された検出顔画像の画像データ及びその顔特徴量をデータセンタサーバ４０に送信する。
【0191】
データセンタサーバ４０において、制御部４０２は、送信された検出顔画像を新しい登録顔画像として、着券があった年間パスのＩＤ情報と関連付けて記憶部４０４に保存する。その際、制御部４０２は、新しい登録顔画像の顔特徴量もあわせて、着券があった年間パスのＩＤ情報と関連付けて記憶部４０４に保存する。
【0192】
本実施形態のように、固定カメラ２０による検出顔画像に基づく顔照合による本人確認が失敗した場合には、施設のスタッフの目視によるマニュアル照合に基づいて本人確認を行うことができる。
【0193】
なお、上記では、第１実施形態による顔照合システムにおいて施設のスタッフの目視によるマニュアル照合を行う場合について説明したが、これに限定されるものではない。第２乃至第５実施形態による顔照合システムにおいても上記と同様に施設のスタッフの目視によるマニュアル照合を行うことができる。
【0194】
［第７実施形態］
本発明の第７実施形態による顔照合システム及び顔照合方法について図２１を用いて説明する。図２１は、本実施形態による顔照合システムの機能構成を示すブロック図である。なお、上記第１乃至第６実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0195】
本実施形態による顔照合システムの基本的構成は、第１実施形態による顔照合システムの構成とほぼ同様である。本実施形態による顔照合システムは、データセンタサーバ４０の記憶部４０４に蓄積されている情報の一部が顔照合装置３０に保存されている。この点で、本実施形態による顔照合システムは、第１実施形態による顔照合システムとは異なっている。
【0196】
図２１に示すように、本実施形態による顔照合システム４において、記憶部３２４をさらに有している。なお、記憶部３２４は、記憶部３０４と同一の記憶装置により構成されていてもよい。
【0197】
記憶部３２４は、発行された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像及びその顔特徴量が保存されている。記憶部３２４に保存されている登録顔画像及びその顔特徴量は、データセンタサーバ４０の記憶部４０４に蓄積されている登録顔画像及びその顔特徴量の一部である。
【0198】
記憶部３２４には、リレーショナルデータベースが構成されている。記憶部３２４のリレーショナルデータベースには、上述のように、登録顔画像の顔特徴量が、年間パスのＩＤ情報、及び登録顔画像の顔画像データと関連付けられて保存される。互いに関連付けられたこれらのデータは、ＲＤＢＭＳにより管理される。ＲＤＢＭＳとしては、特に限定されるものではないが、例えばＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒが用いられている。
【0199】
本実施形態においても、第１実施形態と同様に、まず、顔照合部３１４は、着券があった年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をデータセンタサーバ４０からネットワーク６０を介してオンラインで取得することを試みる。
【0200】
この際、顔照合装置３０がオフライン状態にある等の理由により、顔照合装置３０がネットワーク６０を介してデータセンタサーバ４０に接続することができないことがある。顔照合装置３０がデータセンタサーバ４０に接続することができなければ、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から登録顔画像の顔特徴量をオンラインで取得することができない。
【0201】
この場合、顔照合部３１４は、顔照合装置３０が有する記憶部３２４のリレーショナルデータベースを参照して、着券があった年間パスのＩＤ情報に関連付けられて登録されている登録顔画像の顔特徴量をオフラインで取得する。
【0202】
顔照合部３１４は、顔照合装置３０が有する記憶部３２４から取得した登録顔画像を用いて、第１実施形態と同様にＮ：１照合を行うことができる。
【0203】
このように、本実施形態によれば、顔照合装置３０が、年間パスのＩＤ情報と関連付けられて登録されている登録顔画像及びその顔特徴量が保存されている記憶部３２４をオフラインで有する。したがって、本実施形態によれば、データセンタサーバ４０から登録顔画像の顔特徴量をオンラインで取得することができない場合であっても顔照合を行うことができる。
【0204】
［第８実施形態］
本発明の第８実施形態による顔照合システム及び顔照合方法について図２２乃至図２４を用いて説明する。なお、上記第１乃至第７実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
【0205】
まず、本実施形態による顔照合システムについて図２２及び図２３を用いて説明する。図２２は、本実施形態による顔照合システムを示す概略図である。図２３は、本実施形態による顔照合システムの機能構成を示すブロック図である。
【0206】
上記第１乃至第８実施形態では、施設の入場口において入場チケットを利用して施設の場内に入場しようとする来場者を認証対象者として顔照合により本人確認を行う場合について説明した。しかしながら、顔照合による本人確認を行う場面はこれに限定されるものではない。本実施形態では、店舗におけるレジ端末が設置されたレジカウンタ等の会計場所において、クレジットカード、デビットカード、電子マネー等による電子決済を行う買物客を認証対象者として、顔照合により本人確認を行う場合について説明する。
【0207】
図２２及び図２３に示すように、本実施形態による顔照合システム５は、レジ端末８１０と、固定カメラ２０と、顔照合装置３０と、データセンタサーバ４０と、電子決済サーバ８２０とを含んでいる。レジ端末８１０、固定カメラ２０、及び顔照合装置３０は、店舗の会計場所８５０に設置されている。一方、データセンタサーバ４０は、例えば、会計場所８５０から離れた地にあるデータセンタ内に設置されている。また、電子決済サーバ８２０は、例えば、電子決済のシステムを提供する事業者のサーバである。
【0208】
顔照合装置３０及びデータセンタサーバ４０は、第１実施形態と同様に、それぞれネットワーク６０を介してネットワーク接続されており、ネットワーク６０を介して互いに通信可能になっている。
【0209】
また、レジ端末８１０及び電子決済サーバ８２０は、それぞれネットワーク６０を介してネットワーク接続されており、ネットワーク６０を介して互いに通信可能になっている。
【0210】
また、レジ端末８１０及び固定カメラ２０は、それぞれケーブル接続等により顔照合装置３０に通信可能に直接ローカル接続されている。レジ端末８１０及び固定カメラ２０と顔照合装置３０との接続は、有線方式であっても無線方式であってもよい。
【0211】
次に、本実施形態における顔照合システム５における各構成要素について詳述する。
【0212】
レジ端末８１０は、買物客が購入する購入商品の価格情報その他の情報を読み取り、購入商品について会計処理を行うものである。レジ端末８１０は、後述するように、顔照合により本人確認に成功した場合に通知される電子決済情報に基づき、会計処理を実行する。
【0213】
レジ端末８１０には、読み取り部８３０が接続されている。読み取り部８３０は、レジ端末８１０に隣接してレジ端末８１０の近傍に設置されている。読み取り部８３０は、買物客が所持する店舗の会員カードに記録された情報を読み取るものである。具体的には、会員カードには、その会員カードを一意に特定するＩＤ情報が記録されている。読み取り部８３０は、ＩＤ情報を会員カードから読み取る。読み取り部８３０が読み取るＩＤ情報は、例えば、会員カードの会員番号である。店舗を利用する買物客は、店舗の利用に際して会員カードを所持しており、会計に際して会員カードを読み取り部８３０に読み取らせる。会員カードは、認証対象者である買物客が所持し、その買物客が会計をする際に必要となる媒体であって、これを一意に特定するＩＤ情報が記録されたものである。後述するように、データセンタサーバ４０には、会員カードのＩＤ情報に関連付けられてその会員カードの発行を受けた会員登録者に関する情報が蓄積されている。
【0214】
読み取り部８３０は、会員カードのＩＤ情報の記録方式に応じた読み取り方式を有している。例えば、会員カードが、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コードにＩＤ情報が記録されているものである場合、読み取り部８３０は、バーコードリーダ、ＱＲコードリーダ等のコードリーダである。また、例えば、会員カードが、ＲＦＩＤによる非接触ＩＣカード又は非接触ＩＣタグにＩＤ情報が記録されているものである場合、読み取り部８３０は、ＲＦＩＤリーダである。
【0215】
読み取り部８３０は、読み取り部８３０に会員カードの着券があると、会員カードに記録されたＩＤ情報を会員カードから読み取る。なお、ここで、着券とは、認証対象者である買物客が、会員カードに記録されたＩＤ情報を含む情報を読み取り部８３０に読み取らせることをいう。
【0216】
読み取り部８３０は、会員カードから読み取ったＩＤ情報をレジ端末８１０に送信する。レジ端末８１０は、読み取り部８３０から送信された会員カードのＩＤ情報を顔照合装置３０に送信する。
【0217】
また、レジ端末８１０は、後述の顔照合装置３０から送信される電子決済情報に基づき、会計処理を実行する。
【0218】
固定カメラ２０は、レジ端末８１０に対して会計場所８５０の出口側に設置された支柱２０２の上端部に固定されている。固定カメラ２０は、レジ端末８１０の前の場所を撮影するものであり、会計場所８５０の入口側を向く向きが固定されている。固定カメラ２０は、会計場所８５０における地表面から例えば２００ｃｍ程度の人の頭上に位置する高さに固定されており、レジ端末８１０の前の場所に向けて斜め下を向いている。なお、固定カメラ２０の固定方式は、支柱２０２による方式に限定されるものではない。例えば、固定カメラ２０は、天井から吊り下げられて固定されていてもよい。
【0219】
上記のように固定された固定カメラ２０は、レジ端末８１０及び読み取り部８３０の設置場所への入口側であるレジ端末８１０の前の場所を撮影するようになっている。これにより、固定カメラ２０は、読み取り部８３０の設置場所への入口側であるレジ端末８１０の前の場所にいる買物客Ｃを撮影することができる。
【0220】
固定カメラ２０のその他の点は、上記第１実施形態と同様であるので説明を省略する。
【0221】
顔照合装置３０は、第１実施形態と同様に、顔照合制御部３０２と、記憶部３０４と、表示部３０６とを有している。顔照合制御部３０２は、画像データ取得部３０８と、顔検出部３１０と、顔特徴量抽出部３１２と、顔照合部３１４とを含んでいる。
【0222】
画像データ取得部３０８は、第１実施形態と同様に、所定の周期で固定カメラ２０から送信される画像の画像データを順次取得する。
【0223】
顔検出部３１０は、第１実施形態と同様に、画像データ取得部３０８により順次取得される画像データの画像のそれぞれについて顔検出を行う。なお、本実施形態では、レジ端末８１０の前の場所にいる買物客の顔画像を検出する。
【0224】
顔特徴量抽出部３１２は、第１実施形態と同様に、顔検出部３１０により検出された検出顔画像のそれぞれについて、顔特徴量を抽出する。また、顔特徴量抽出部３１２は、第１実施形態と同様に、顔特徴量抽出部３１２は、検出顔画像のそれぞれについて、顔画像データ、顔特徴量、検出番号、及び撮影時刻を関連づけて記憶部３０４に一時的に保存する。
【0225】
記憶部３０４には、第１実施形態と同様に、リレーショナルデータベースが構成されており、検出顔画像のそれぞれについて、その撮影時刻から一定の時間だけ、顔特徴量及びこれに関連するデータが保存される。
【0226】
顔照合部３１４は、レジ端末８１０に接続された読み取り部８３０に会員カードの着券があると、読み取り部８３０に会員カードを着券した買物客について、顔照合による本人確認を行う。
【0227】
顔照合部３１４には、着券された会員カードから読み取り部８３０により読み取られたＩＤ情報が送信される。顔照合部３１４は、送信されたＩＤ情報を取得し、ネットワーク６０を介して後述のデータセンタサーバ４０から、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を取得する。こうして顔照合部３１４により取得された登録顔画像の人物は、着券された会員カードを正当に利用することができる正当な利用者である。会員カードの正当な利用者は、例えば、その会員カードの発行を受けた会員登録者である。
【0228】
また、顔照合部３１４は、第１実施形態と同様に、記憶部３０４のリレーショナルデータベースを参照して、着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量を取得する。すなわち、顔照合部３１４は、読み取り部８３０がＩＤ情報を会員カードから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。
【0229】
顔照合部３１４は、第１実施形態と同様に、会員カードの着券前に撮影されたＮ枚の検出顔画像の顔特徴量のそれぞれと、登録顔画像の顔特徴量とを順次照合するＮ：１照合を行う。
【0230】
顔照合部３１４による照合が一致した場合、着券された会員カードの正当な利用者が、着券前にレジ端末８１０の前の買物客の中にいたことになる。このため、会員カードの正当な利用者が会員カードを着券したと推定することができる。したがって、この場合、顔照合による本人確認に成功したことになる。
【0231】
一方、顔照合部３１４による照合がいずれも不一致であった場合、着券された会員カードの正当な利用者が、着券前にレジ端末８１０の前の買物客の中にいなかったことになる。したがって、この場合、顔照合による本人確認に失敗したことになる。
【0232】
表示部３０６には、顔照合部３１４による照合結果等を表示することができる。店舗のスタッフは、表示部３０６の表示を見ることにより照合結果等を確認することができる。
【0233】
顔照合部３１４は、上記照合結果を示す信号である照合結果信号をレジ端末８１０に送信する。具体的には、顔照合部３１４は、顔照合部３１４による照合が一致したことを示す信号である照合一致信号、又は顔照合部３１４による照合がいずれも不一致であったことを示す信号である照合不一致信号をレジ端末８１０に送信する。
【0234】
さらに、顔照合部３１４は、照合が一致した場合に、ネットワーク６０を介して後述のデータセンタサーバ４０から決済手段情報を取得する。決済情報は、照合が一致した会員カードのＩＤ情報に関連付けられて保存されている電子決済を実行するための情報であり、例えば、クレジットカード番号、電子マネーのＩＤ情報である。顔照合部３１４は、取得した決済手段情報を、照合一致信号とともにレジ端末８１０に送信する。
【0235】
レジ端末８１０は、顔照合部３１４から照合一致信号が送信された場合に、電子決済を後述の電子決済サーバ８２０に要求する。この場合、レジ端末８１０は、照合一致信号とともに送信される決済手段情報と、購入商品の会計金額とを含む情報である電子決済情報を電子決済サーバ８２０に送信する。
【0236】
一方、レジ端末８１０は、顔照合部３１４から照合不一致信号が送信された場合、レジ端末８１０を操作する店舗のスタッフに対して、警告表示、警告音等により電子決済ができないことを示す警告を通知する。
【0237】
データセンタサーバ４０は、第１実施形態と同様に、制御部４０２と、記憶部４０４とを有している。
【0238】
記憶部４０４は、発行された会員カードのＩＤ情報と関連付けられて登録されている登録顔画像及びその顔特徴量が蓄積されている。さらに、記憶部４０４には、会員カードのＩＤ情報に関連付けられた決済手段情報が保存されている。
【0239】
制御部４０２は、顔照合部３１４からの要求に応じて、着券があった会員カードのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を顔照合部３１４に提供する。さらに、制御部４０２は、顔照合部３１４からの要求に応じて、着券があった会員カードのＩＤ情報と関連付けられた決済手段情報を顔照合部３１４に提供する。
【0240】
登録顔画像は、例えば、店舗の会員カードを買物客が取得する際に、店舗内の端末、買物客の端末等からデータセンタサーバ４０にアップロードすることができる。データセンタサーバ４０において、制御部４０２は、アップロードされた登録顔画像を記憶部４０４に蓄積する。
【0241】
上記のようにしてデータセンタサーバ４０の記憶部４０４に蓄積される登録顔画像については、第１実施形態と同様に、顔特徴量が抽出されて記憶部４０４に蓄積される。
【0242】
記憶部４０４には、第１実施形態と同様に、リレーショナルデータベースが構成されており、登録顔画像の顔特徴量が、会員カードのＩＤ情報、及び登録顔画像の顔画像データと関連付けられて保存される。さらに、記憶部４０４には、会員カードのＩＤ情報に関連付けられて決済手段情報が保存されている。
【0243】
なお、記憶部４０４のリレーショナルデータベースには、上記のほか、例えば、会員カードの正当な利用者である会員登録者の氏名、連絡先等の情報が、会員カードのＩＤ情報と関連付けられて保存されている。
【0244】
電子決済サーバ８２０は、クレジットカード、電子マネー等による電子決済を行う。電子決済サーバ８２０は、レジ端末８１０から送信される電子決済情報に基づき、買物客が購入した商品について電子決済を実行する。
【0245】
上述のように、本実施形態による顔照合システム５は、読み取り部８３０が会員カードからＩＤ情報を読み取る着券前に固定カメラ２０により撮影された検出顔画像と、着券された会員カードのＩＤ情報と関連付けられて登録されている登録顔画像とを照合する。すなわち、本実施形態による顔照合システム５では、登録顔画像と照合すべき照合対象の画像である検出顔画像が、会員カードの着券前に予め取得されている。
【0246】
このため、本実施形態によれば、買物客が会員カードを着券した後に、登録顔画像と照合すべき照合対象の画像としてその買物客の顔画像を店舗のスタッフにより撮影する必要がない。また、買物客は、その顔画像の撮影を意識する必要がなく、撮影のために顔の位置合わせ等の特別の動作を行う必要もない。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0247】
次に、本実施形態による顔照合システム５を用いた本実施形態による顔照合方法についてさらに図２４を用いて説明する。図２４は、本実施形態による顔照合方法を示すフローチャートである。
【0248】
固定カメラ２０は、読み取り部８３０の設置場所への入口側であるレジ端末８１０の前の場所を撮影し、所定の周期で複数枚の画像を連続的に取得する。固定カメラ２０による撮影から検出顔画像の顔特徴量を一時的に保存するまでの処理は、固定カメラ２０による撮影場所が異なる点を除き、第１実施形態の図９に示す処理と同様であるので説明を省略する。
【0249】
以下、会員カードの着券があってから電子的決済の実行までの処理について図２４を用いて説明する。
【0250】
レジ端末８１０において、読み取り部８３０は、会員カードが着券されるまで待機する（ステップＳ７０２、ＮＯ）。
【0251】
買物客により読み取り部８３０に会員カードが着券されると（ステップＳ７０２、ＹＥＳ）、読み取り部８３０は、会員カードに記録されたＩＤ情報を会員カードから読み取る（ステップＳ７０４）。
【0252】
続いて、レジ端末８１０は、読み取り部８３０により読み取られたＩＤ情報を顔照合装置３０に送信する（ステップＳ７０６）。
【0253】
顔照合装置３０において、顔照合部３１４は、レジ端末８１０から送信されたＩＤ情報を、ネットワーク６０を介してデータセンタサーバ４０に送信して、登録顔画像の顔特徴量を要求する。これにより、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から、送信したＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する（ステップＳ７０８）。
【0254】
また、顔照合部３１４は、記憶部３０４のリレーショナルデータベースを参照して、会員カードの着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する（ステップＳ７１０）。すなわち、顔照合部３１４は、読み取り部８３０がＩＤ情報を会員カードから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。
【0255】
顔照合部３１４は、第１実施形態と同様に、取得したＮ枚の検出顔画像の顔特徴量のそれぞれと、取得した登録顔画像の顔特徴量とを順次照合するＮ：１照合を行う（ステップＳ７１２）。
【0256】
顔照合部３１４による照合が一致した場合（ステップＳ７１４、ＹＥＳ）、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から決済手段情報を取得する（ステップＳ７１６）。続いて、顔照合部３１４は、取得した決済手段情報とともに、顔照合部３１４による照合が一致したことを示す照合一致信号をレジ端末８１０に送信する（ステップＳ７１８）。
【0257】
レジ端末８１０は、顔照合部３１４から照合一致信号が送信されると、送信された決済手段情報と、購入商品の会計金額とを含む電子決済情報を電子決済サーバ８２０に送信する（ステップＳ７２０）。
【0258】
電子決済サーバ８２０は、レジ端末８１０から送信された電子決済情報に基づき、買物客が購入した商品について電子決済を実行する（ステップＳ７２２）。
【0259】
一方、顔照合部３１４による照合がいずれも不一致であった場合（ステップＳ７１４、ＮＯ）、顔照合部３１４は、顔照合部３１４による照合がいずれも不一致であったことを示す照合不一致信号をレジ端末８１０に送信する（ステップＳ７２４）。
【0260】
レジ端末８１０は、顔照合部３１４から照合不一致信号が送信されると、レジ端末８１０を操作する店舗のスタッフに対して、警告表示、警告音等により電子決済ができないことを示す警告を通知する（ステップＳ７２６）。
【0261】
上記図２４に示す処理は、本実施形態による顔照合方法を行っている間、レジ端末８１０に接続された読み取り部８３０に着券があるたびに繰り返し行われる。
【0262】
このように、本実施形態によれば、会員カードの着券前に固定カメラ２０により撮影された画像から検出された検出顔画像の顔特徴量と、着券された会員カードのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量とを照合する。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。
【0263】
なお、上記店舗におけるレジ端末が設置された会計場所で顔照合により本人確認を行う場合においても、さらに、上記第２乃至第７実施形態と同様に顔照合システムを構成し、第２乃至第７実施形態と同様の処理を行うこともできる。
【0264】
［第９実施形態］
本発明の第９実施形態によるコンピュータ装置について図２５を用いて説明する。本実施形態では、上記第１乃至第８実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置について説明する。
【0265】
図２５は、上記第１乃至第８実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置の例を示している。図２５に示すコンピュータ装置１０００は、特に限定されるものではなく、様々な種類、形態のものであってよい。例えば、コンピュータ装置１０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。
【0266】
コンピュータ装置１０００は、プロセッサ１００２と、メモリ１００４と、記憶装置１００６とを有している。また、コンピュータ装置１０００は、高速インターフェースを含む高速コントローラ１００８、及び低速インターフェースを含む低速コントローラ１０１０を有している。高速コントローラ１００８には、メモリ１００４及び高速拡張ポート１０１２が接続されている。また、高速コントローラ１００８には、ディスプレイ１０１６等の外部入出力装置が接続されている。一方、低速コントローラ１０１０には、低速拡張ポート１０１４及び記憶装置１００６が接続されている。
【0267】
プロセッサ１００２、メモリ１００４、記憶装置１００６、高速コントローラ１００８、低速コントローラ１０１０、及び高速拡張ポート１０１２は、種々のバスにより相互に接続されている。また、プロセッサ１００２、メモリ１００４、記憶装置１００６、高速コントローラ１００８、低速コントローラ１０１０、及び高速拡張ポート１０１２は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。
【0268】
プロセッサ１００２は、例えばＣＰＵであり、コンピュータ装置１０００内で実行する命令を処理することができる。そのような命令には、ディスプレイ１０１６等の外部入出力装置上にＧＵＩ（Graphical User Interface）のグラフィック情報を表示するための、メモリ１００４内又は記憶装置１００６内に格納された命令が含まれる。
【0269】
また、複数のプロセッサ、複数のバス、又は複数のプロセッサ及び複数のバスを、複数のメモリ及び複数のタイプのメモリとともに適宜使用することができる。また、複数のコンピュータ装置１０００を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のコンピュータ装置１０００を、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして互いに接続することができる。
【0270】
メモリ１００４は、コンピュータ装置１０００内の情報を格納する。例えば、メモリ１００４は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ１００４は、他のコンピュータ可読媒体であってもよく、例えば、磁気ディスク、光ディスク等であってもよい。
【0271】
記憶装置１００６は、コンピュータ装置１０００用のマスストレージを構成することができる。記憶装置１００６は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ可読媒体である。また、記憶装置１００６は、そのようなコンピュータ可読媒体を含むことができる。記憶装置１００６は、ストレージエリアネットワーク、他の構成の装置を含む。コンピュータプログラム製品は、情報担体において明確に具現化されうる。コンピュータプログラム製品は、実行されると上述のような１つ又は複数の処理を実行する命令も格納することができる。情報担体は、メモリ１００４、記憶装置１００６、プロセッサ１００２上のメモリ、又は伝搬信号等のコンピュータ可読媒体若しくは機械可読媒体である。
【0272】
高速コントローラ１００８は、コンピュータ装置１０００に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１０１０は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定されるものではない。また、高速コントローラ１００８の一部又は全部は、プロセッサ１００２に内蔵されていてもよい。
【0273】
高速コントローラ１００８は、メモリ１００４、及び種々の拡張カードを受け入れることができる高速拡張ポート１０１２に接続されている。また、高速コントローラ１００８は、例えばグラフィックスプロセッサ又はアクセラレータを介して、ディスプレイ１０１６に接続されている。
【0274】
また、低速コントローラ１０１０は、記憶装置１００６及び低速拡張ポート１０１４に接続されている。低速拡張ポート１０１４は、例えば、ＵＳＢ（Universal Serial Bus）、Bluetooth（登録商標）、有線又は無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１０１４には、キーボード、ポインティングデバイス、スキャナー等の一又は複数の入出力装置を接続することができる。また、低速拡張ポート１０１４には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一又は複数のネットワーク機器を接続することができる。
【0275】
コンピュータ装置１０００は、数多くの異なる形態で実施することができる。例えば、コンピュータ装置１０００は、標準的なサーバ、又はそのようなサーバのグループの形態の複数台で実施することができる。また、コンピュータ装置１０００は、ラックサーバシステムの一部としても実施することもできる。さらに、コンピュータ装置１０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。
【0276】
上述したコンピュータ装置１０００は、上記実施形態におけるゲート装置１０の一部として機能することができる。この場合、コンピュータ装置１０００のプロセッサ１００２は、ゲート装置１０のゲート制御部１１２の機能を実現するプログラムを実行することにより、ゲート制御部１１２として機能することができる。
【0277】
また、コンピュータ装置１０００は、上記実施形態における顔照合装置３０として機能することができる。この場合、コンピュータ装置１０００のプロセッサ１００２は、顔照合装置３０における顔照合制御部３０２の機能を実現するプログラムを実行することにより、顔照合制御部３０２として機能することができる。すなわち、プロセッサ１００２は、画像データ取得部３０８、顔検出部３１０、顔特徴量抽出部３１２、顔照合部３１４、優先度算出部３１８、及び同一人物処理部３２０の各部の機能を実現するプログラムを実行する。これにより、プロセッサ１００２は、画像データ取得部３０８、顔検出部３１０、顔特徴量抽出部３１２、顔照合部３１４、優先度算出部３１８、及び同一人物処理部３２０の各部として機能することができる。また、コンピュータ装置１０００の記憶装置１００６は、顔照合装置３０の記憶部３０４、３２４として機能することができる。
【0278】
また、コンピュータ装置１０００は、上記実施形態におけるデータセンタサーバ４０として機能することができる。この場合、コンピュータ装置１０００のプロセッサ１００２は、データセンタサーバ４０における制御部４０２の機能を実現するプログラムを実行することにより、制御部４０２として機能することができる。また、コンピュータ装置１０００の記憶装置１００６は、データセンタサーバ４０の記憶部４０４として機能することができる。
【0279】
なお、コンピュータ装置１０００のプロセッサ１００２に実行させるプログラムの一部又は全部は、これを記録したＤＶＤ－ＲＯＭ（Digital Versatile Disc-Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。
【0280】
［他の実施形態］
上記各実施形態において説明した顔照合システムは、他の実施形態によれば、図２６に示すように構成することもできる。図２６は、他の実施形態による顔照合システムの機能構成を示すブロック図である。
【0281】
図２６に示すように、他の実施形態による顔照合システム５０００は、認証対象者が所持する媒体から識別情報を読み取る読み取り部５００２と、読み取り部５００２の設置場所への入口側を撮影して画像を取得する撮影部５００４とを有している。また、顔照合システム５０００は、撮影部５００４により取得された画像から顔画像を検出顔画像として検出する顔検出部５００６を有している。さらに、顔照合システム５０００は、顔検出部５００６により検出された検出顔画像と、読み取り部５００２により読み取られた識別情報と関連付けられて登録されている登録顔画像とを照合する顔照合部５００８を有している。顔照合部５００８は、読み取り部５００２が識別情報を読み取る前に撮影部５００４により撮影された検出顔画像と登録顔画像とを照合する。
【0282】
また、上記各実施形態において説明した顔照合装置は、他の実施形態によれば、図２７に示すように構成することもできる。図２７は、他の実施形態による顔照合装置の機能構成を示すブロック図である。
【0283】
図２７に示すように、他の実施形態による顔照合装置６０００は、画像から顔画像を検出顔画像として検出する顔検出部６００２を有している。顔検出部６００２が検出顔画像を検出する画像は、認証対象者から識別情報を読み取る読み取り部の設置場所への入口側を撮影して画像を取得する撮影部により取得されたものである。さらに、顔照合装置６０００は、顔検出部６００２により検出された検出顔画像と、読み取り部により読み取られた識別情報と関連付けられて登録されている登録顔画像とを照合する顔照合部６００４を有している。顔照合部６００４は、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像と登録顔画像とを照合する。
【0284】
また、上記各実施形態において説明した顔照合システムは、さらに他の実施形態によれば、図２８に示すように構成することもできる。図２８は、さらに他の実施形態による顔照合システムの機能構成を示すブロック図である。
【0285】
図２８に示すように、さらに他の実施形態による顔照合システム７０００は、認証対象者を含む画像から顔画像を検出顔画像として検出する顔検出部７００２を有している。また、顔照合システム７０００は、認証対象者を識別する識別情報と、当該認証対象者の登録顔画像とを関連付けて記憶する記憶部７００４を有している。さらに、顔照合システム７０００は、認証対象者を識別する識別情報を取得すると、その取得より前に撮影された画像から顔検出部７００２が検出した検出顔画像と、取得した識別情報に対応する登録顔画像とを照合する顔照合部７００６を有している。
【0286】
［変形実施形態］
本発明は、上記実施形態に限らず、種々の変形が可能である。
【0287】
例えば、上記実施形態では、施設の場内に入場しようとする来場者を認証対象者として、また、電子決済を行う買物客を認証対象者として、それぞれ顔照合による本人確認を行う場面を例に説明したが、これらに限定されるものではない。認証対象者とは、施設への入場者、出入国検査時の入国者等、何かの権限を備えているか確認する対象の人を指す。顔照合による本人確認を行う場面は、例えば、出入国管理、入退室管理等において顔照合により本人確認を行う場面であってもよい。
【0288】
また、上記実施形態では、撮影部として固定カメラ２０を用いる場合を例に説明したが、撮影部として機能するカメラはこれに限定されるものではない。例えば、固定カメラ２０に代えて、パン機能、チルト機能等により向きの変更が可能な可動カメラを撮影部として用いることもできる。可動カメラの場合、自動制御又は遠隔操作によりその向きを変更することができる。
【0289】
また、上記実施形態では、年間パス、会員カードの情報を読み取り部１０８、８３０に読み取らせる認証対象者による着券があってから顔照合による本人確認を行う場合を例に説明したが、これに限定されるものではない。例えば、読み取り部１０８、８３０は、着券という認証対象者の行為を必要とすることなく、無線通信等により、認証対象者が所持する媒体からその媒体を一意に特定するＩＤ情報等の識別情報を読み取るように構成することもできる。
【0290】
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0291】
（付記１）
認証対象者を含む画像から顔画像を検出顔画像として検出する顔検出部と、
前記認証対象者を識別する識別情報と、当該認証対象者の登録顔画像とを関連付けて記憶する記憶部と、
前記認証対象者を識別する識別情報を取得すると、前記取得より前に撮影された画像から前記顔検出部が検出した前記検出顔画像と、取得した識別情報に対応する前記登録顔画像とを照合する顔照合部と、
を備える顔照合システム。
【0292】
（付記２）
前記顔検出部は、複数フレームの画像から複数の前記検出顔画像を検出し、
前記顔照合部が、前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とする付記１記載の顔照合システム。
【0293】
（付記３）
前記複数の検出顔画像について前記登録顔画像と照合を行う順序を決定するための優先度を算出する優先度算出部をさらに有し、
前記顔照合部が、前記優先度算出部により算出された前記優先度が高い順に、前記複数の検出顔画像を前記登録顔画像と照合することを特徴とする付記２記載の顔照合システム。
【0294】
（付記４）
前記複数の検出顔画像を同一人物ごとに分類し、前記同一人物に分類された前記検出顔画像について前記登録顔画像と照合を行う順序を決定するための優先度を算出する同一人物処理部をさらに有し、
前記顔照合部が、前記同一人物処理部により算出された前記優先度が高い順に、前記同一人物に分類された前記検出顔画像を前記登録顔画像と照合することを特徴とする付記２又は３に記載の顔照合システム。
【0295】
（付記５）
前記登録顔画像との照合が一致した前記検出顔画像を、新たな登録顔画像として登録する更新部をさらに有することを特徴とする付記１乃至４のいずれかに記載の顔照合システム。
【0296】
（付記６）
前記認証対象者を含む画像を撮影する撮影部と、
前記検出顔画像と前記登録顔画像との照合が一致しなかった場合に、前記認証対象者の顔画像を撮影して前記認証対象者の顔画像を取得する他の撮影部をさらに有し、
前記顔照合部が、前記他の撮影部により取得された前記認証対象者の前記顔画像と前記登録顔画像とを照合することを特徴とする付記１乃至５のいずれかに記載の顔照合システム。
【0297】
（付記７）
前記検出顔画像と前記登録顔画像との照合が一致しなかった場合に、前記検出顔画像と前記登録顔画像とを表示する表示部をさらに有することを特徴とする付記１乃至５のいずれかに記載の顔照合システム。
【0298】
（付記８）
前記顔照合部が、前記検出顔画像と照合する前記登録顔画像をオフラインで取得することを特徴とする付記１乃至７のいずれかに記載の顔照合システム。
【0299】
（付記９）
前記認証対象者を含む画像を撮影する撮影部をさらに有し、
前記撮影部が、縦長の前記画像を撮影するように縦向きに設置されている付記１乃至８のいずれかに記載の顔照合システム。
【0300】
（付記１０）
認証対象者を含む画像から顔画像を検出顔画像として検出し、
前記認証対象者を識別する識別情報を取得すると、前記取得より前に撮影された画像から検出した前記検出顔画像と、取得した識別情報と関連付けられて登録されている登録顔画像とを照合する顔照合方法。
【0301】
（付記１１）
複数フレームの画像から複数の前記検出顔画像を検出し、
前記複数の検出顔画像と前記登録顔画像とを照合することを特徴とする付記１０記載の顔照合方法。
【0302】
（付記１２）
コンピュータ装置に、
認証対象者を含む画像から顔画像を検出顔画像として検出し、
前記認証対象者を識別する識別情報を取得すると、前記取得より前に撮影された画像から検出した前記検出顔画像と、取得した識別情報と関連付けられて登録されている登録顔画像とを照合する
ことを実行させることを特徴とするプログラムが記録された記録媒体。
【0303】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0304】
この出願は、２０１６年２月２６日に出願された日本出願特願２０１６－０３６４０６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0305】
１、２、３、４、５…顔照合システム
１０…ゲート装置
２０…固定カメラ
３０…顔照合装置
４０…データセンタサーバ
１０８…読み取り部
１１０…手元カメラ
１１２…ゲート制御部
３０２…顔照合制御部
３０４…記憶部
３０８…画像データ取得部
３１０…顔検出部
３１２…顔特徴量抽出部
３１４…顔照合部
３１８…優先度算出部
３２０…同一人物処理部
３２４…記憶部
４０２…制御部
４０４…記憶部
８１０…レジ端末
８３０…読み取り部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
Copyright © 2010-2024 Science Impact Inc. All Rights Reserved.