知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】認証方法、認証プログラム及び認証装置
(51)【国際特許分類】
G06F 21/32 20130101AFI20230808BHJP
【ＦＩ】
G06F21/32
【請求項の数】
8
(21)【出願番号】P 2022522446
(86)(22)【出願日】2020-05-14
(86)【国際出願番号】 JP2020019328
(87)【国際公開番号】W WO2021229763
(87)【国際公開日】2021-11-18
【審査請求日】2022-07-29
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】長村 一樹
(72)【発明者】
【氏名】村瀬 太一
【審査官】行田 悦資
(56)【参考文献】
【文献】特開２００６－０３１３８７（ＪＰ，Ａ）
【文献】特開２００５－２７５５０８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ２１／３２
(57)【特許請求の範囲】
【請求項1】
第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定し、
センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、
処理をコンピュータが実行することを特徴とする認証方法。
【請求項2】
前記第１の生体情報群のリストに前記第１の顔画像の特徴情報のラベルが付与された第１のリストデータと、前記第２の生体情報群のリストに前記第２の顔画像の特徴情報のラベルが付与された第２のリストデータとを生成する処理を前記コンピュータがさらに実行し、前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が基準を満たすラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項１に記載の認証方法。
【請求項3】
前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が閾値を超えるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項２に記載の認証方法。
【請求項4】
前記特定する処理は、前記第３の顔画像の特徴情報と前記第１のリストデータのラベルとの類似度と、前記第３の顔画像の特徴情報および前記第２のリストデータのラベルとの類似度とのうち、類似度が最大であるラベルが付与されたリストデータに含まれる生体情報群を特定する処理を含む請求項２に記載の認証方法。
【請求項5】
前記記憶部は、前記人物の顔画像が前記第１のカメラに撮影されてから前記第２のカメラに撮影されるまでの所要時間をさらに記憶し、前記特定する処理は、前記第３の顔画像の特徴情報と、前記第１のリストデータのラベルおよび前記第２のリストデータのラベルそれぞれとの照合を前記所要時間の昇順に行う処理を含む請求項２に記載の認証方法。
【請求項6】
前記認証処理は、手のひら静脈の認証処理であることを特徴とする請求項１に記載の認証方法。
【請求項7】
第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定し、
センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、
処理をコンピュータに実行させることを特徴とする認証プログラム。
【請求項8】
第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定する第１の特定部と、第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定する第２の特定部と、
センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う認証部と、
を有することを特徴とする認証装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認証技術に関する。
【背景技術】
【0002】
認証方式の１つとして、１種類の生体情報を用いて多数の人の中から特定の個人を特定する１対Ｎ認証が知られている。１対Ｎ認証は、ＩＤ（IDentification）のキー入力やカードの提示が不要である一方で、単一の生体情報モダリティだけではその精度に限界がある。
【0003】
このような背景から、複数種類の生体情報を併用するマルチ生体認証技術の開発が進められている。あくまで一例として、顔認証および静脈認証を併用する認証システムが提案されている。例えば、認証システムでは、店舗の入口に設置された第１撮影装置が店舗の入口から入店する人物の顔を撮影する。このような第１撮影装置により撮影される顔画像を用いてＮ人の利用者の静脈認証登録データから一部の静脈認証登録データが認証候補として絞り込まれる。認証候補として絞り込まれた静脈認証登録データのうち、店舗内のカウンタに設置される第２撮影装置により静脈画像が撮影された時点から過去の所定時間帯の顔画像撮影日時に対応付けられた静脈認証登録データを対象に静脈認証における照合が行われる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１２８８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しなしながら、上記の認証システムは、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
【0006】
すなわち、上記の認証システムでは、過去の所定時間帯の顔画像撮影日時に対応付けられた静脈認証登録データが店舗への入店順に静脈認証の照合に用いられる。ところが、入店の順番とカウンタ到着の順番は必ずしも一致するとは限らない。例えば、店舗へ最後に入店する利用者が最初にカウンタへ訪れる場合、最終入店の利用者よりも先に店舗へ入店した他の利用者の顔画像撮影時に認証候補として絞り込まれた静脈認証登録データが先に照合される。この場合、最後に認証候補として絞り込まれた静脈認証登録データが照合されるまで静脈認証の照合が繰り返される結果、認証時間が増大する。
【0007】
１つの側面では、本発明は、認証時間の短縮を実現できる認証方法、認証プログラム及び認証装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
一態様の認証方法では、第１のカメラにより撮影された第１の撮影データ及び第２の撮影データを受け付けると、人物の生体情報を前記人物の顔画像の特徴情報に対応付けて記憶する記憶部を参照して、前記第１の撮影データに含まれる第１の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第１の生体情報群と、前記第２の撮影データに含まれる第２の顔画像の特徴情報との類似度が基準を満たす特徴情報に対応付けられた複数の生体情報を含む第２の生体情報群とを特定し、第２のカメラにより撮影された第３の撮影データを受け付けると、前記第３の撮影データに含まれる第３の顔画像の特徴情報と、前記第１の顔画像の特徴情報及び前記第２の顔画像の特徴情報それぞれとの類似度に基づき、前記第１の生体情報群及び前記第２の生体情報群のうち、いずれかの生体情報群を特定し、センサにより検出された生体情報を取得すると、特定した前記生体情報群に含まれる複数の生体情報と、取得した前記生体情報とによる認証処理を行う、処理をコンピュータが実行する。
【発明の効果】
【0009】
認証時間の短縮を実現できる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下に添付図面を参照して本願に係る認証方法、認証プログラム及び認証装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例1】
【0012】
［システム構成の一例］
図１は、実施例１に係る認証システムに含まれる各装置の機能的構成の一例を示すブロック図である。図１に示す認証システム１は、あくまで１つの側面として、生体情報の登録者数Ｎが数百万や数千万といった規模に拡大され得るユースケースに対応する側面から、複数種類の生体情報を用いて本人を認証するマルチ生体認証サービスを提供するものである。
図１は、実施例１に係る認証システムに含まれる各装置の機能的構成の一例を示すブロック図である。図１に示す認証システム１は、あくまで１つの側面として、生体情報の登録者数Ｎが数百万や数千万といった規模に拡大され得るユースケースに対応する側面から、複数種類の生体情報を用いて本人を認証するマルチ生体認証サービスを提供するものである。
【0013】
図１に示す認証システム１では、ＩＤのキー入力やカードの提示を不要すると共に非接触な認証を実現する側面から、複数種類の生体情報の例として、手のひら静脈および顔情報が用いられる。例えば、登録者数Ｎから本人認証で照合する照合対象者を絞り込む第１モダリティとして顔情報が用いられると共に、第１モダリティにより絞り込まれた照合対象者の中から本人を認証する第２モダリティとして手のひら静脈が用いられる。ここで言う「モダリティ」は、生体情報の種類、あるいは生体識別部位などの用語に対応し得る。
【0014】
このような認証システム１のユースケースの一例として、レジ無し店舗や無人レジ、セルフレジ等における購入商品の手ぶら決済時の本人認証にマルチ生体認証サービスを適用する例が挙げられる。
【0015】
図１に示すように、認証システム１には、あくまで一例として、サーバ装置１０と、店舗側システム３０とが含まれ得る。これらサーバ装置１０及び店舗側システム３０の間は、任意のネットワークを介して接続され得る。
【0016】
サーバ装置１０は、上記のマルチ生体認証サービスを提供するコンピュータの一例である。サーバ装置１０は、認証装置の一例に対応する。一実施形態として、サーバ装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記のマルチ生体認証サービスを実現する認証プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記のマルチ生体認証サービスに関する機能をオンプレミスに提供するサーバ、例えばＷｅｂサーバとして実装することができる。これに限定されず、サーバ装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記のマルチ生体認証サービスをクラウドサービスとして提供することとしてもかまわない。
【0017】
店舗側システム３０は、図１に示す認証システム１のうち店舗側に設けられる構成要素の一例に対応する。例えば、店舗側システム３０は、店舗の入口から入店する人物の顔が撮影された顔画像から第１モダリティの生体情報、例えば顔特徴量を抽出したり、店舗で決済が行われるカウンタで取得される静脈画像から第２モダリティの生体情報、例えば手のひら静脈の特徴量を抽出したりする。
【0018】
［課題の一側面］
上記の背景技術の欄で説明したように、上記の従来技術は、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
上記の背景技術の欄で説明したように、上記の従来技術は、店舗への入店順に不特定多数の認証候補を絞り込むものに過ぎず、認証時間が増大する場合がある。
【0019】
図２は、絞込リストデータの一例を示す図である。図２には、あくまで一例として、従来技術を用いて生成された３つの絞込リストデータＬ１１～Ｌ１３が例示されている。例えば、絞込リストデータＬ１１には、店舗へ入店する利用者Ｕ１の顔が２０１９年１２月２４日９時００分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L11のリストが含まれる。また、絞込リストデータＬ１２には、店舗へ入店する利用者Ｕ２の顔が２０１９年１２月２４日９時０１分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L12のリストが含まれる。さらに、絞込リストデータＬ１３には、店舗へ入店する利用者Ｕ３の顔が２０１９年１２月２４日９時０２分に撮影された撮影データに含まれる顔画像を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L13のリストが含まれる。なお、図２には、利用者登録が行われた登録手のひら静脈情報のうち、入店時に撮影される顔画像から取得された入力顔情報との類似度が上位所定数、例えば上位９個までの登録顔情報に対応付けられた登録手のひら静脈情報が絞り込まれる例が挙げられている。
【0020】
このように店舗への入店順が利用者Ｕ１、利用者Ｕ２、利用者Ｕ３の順である場合、店舗のカウンタで取得される入力手のひら静脈情報は、店舗への入店順、すなわち絞込リストデータＬ１１、絞込リストデータＬ１２、絞込リストデータＬ１３の順に照合される。
【0021】
ここで、入店の順番とカウンタ到着の順番は必ずしも一致するとは限らない。例えば、利用者Ｕ１、利用者Ｕ２及び利用者Ｕ３の中で店舗へ最後に入店した利用者Ｕ３が最初にカウンタへ訪れる事例も発生し得る。このように店舗のカウンタ等で取得された利用者Ｕ３の入力手のひら静脈情報ｆPalm_U3は、次のような順序で照合されることになる。すなわち、図２に示すように、絞込リストデータＬ１１の登録手のひら静脈情報群ＦPalm_L11、絞込リストデータＬ１２の登録手のひら静脈情報群ＦPalm_L12、絞込リストデータＬ１３の登録手のひら静脈情報群ＦPalm_L13の順に照合される。この場合、利用者Ｕ３の顔画像撮影時に絞り込まれた絞込リストデータＬ１３は、利用者Ｕ３よりも先に入店した利用者Ｕ１及び利用者Ｕ２の顔画像撮影時に絞り込まれた絞込リストデータＬ１１および絞込リストデータＬ１２の後に照合される。
【0022】
このように、利用者Ｕ３の入力手のひら静脈情報ｆPalm_U3と一致する登録手のひら静脈情報ＦPalm_U3との照合が行われるまでに、余分な絞込リストデータＬ１１および絞込リストデータＬ１２との照合が行われる結果、認証時間が増大する。このような余分な照合は、利用者Ｕ３よりも先に入店した利用者の数が多くなるほど増加し、さらに、顔画像を用いて絞り込まれる登録手のひら静脈情報の数が多くなるほど増加し得る。
【0023】
［課題解決のアプローチの一側面］
そこで、本実施例に係るマルチ生体認証サービスでは、顔情報を用いる絞り込みを２回に分割するアプローチを採用する。あくまで１つ側面として、本実施例に係るマルチ生体認証サービスでは、入店時に撮影される第１モダリティの顔画像を第２モダリティの登録生体情報群を含む絞込リストの生成に用いる。更なる側面として、本実施例に係るマルチ生体認証サービスでは、決済時に撮影される第１モダリティの顔画像を複数の絞込リストから第２モダリティの本人認証で照合対象とする絞込リストの特定に用いる。
そこで、本実施例に係るマルチ生体認証サービスでは、顔情報を用いる絞り込みを２回に分割するアプローチを採用する。あくまで１つ側面として、本実施例に係るマルチ生体認証サービスでは、入店時に撮影される第１モダリティの顔画像を第２モダリティの登録生体情報群を含む絞込リストの生成に用いる。更なる側面として、本実施例に係るマルチ生体認証サービスでは、決済時に撮影される第１モダリティの顔画像を複数の絞込リストから第２モダリティの本人認証で照合対象とする絞込リストの特定に用いる。
【0024】
【0025】
図３に示すように、店舗側システム３０には、店舗３の入口から入店する人物の顔を撮影可能な状態で設置される第１のカメラ３１Ａが含まれ得る。さらに、店舗側システム３０には、店舗３の決済カウンタに設置される端末３２が含まれ得る。例えば、端末３２には、商品に付与されたタグやバーコード等から商品情報、例えば商品の名称や金額などを読み取る読取部の他、店舗３の利用者が購入対象とする商品のリストや合計金額などの各種の表示を行う表示部３５などが接続され得る。さらに、店舗側システム３０には、端末３２を利用する人物の顔を撮影可能な状態で設置される第２のカメラ３２Ａが含まれ得る。例えば、第２のカメラ３２Ａは、表示部３５のスクリーンの向きと同一の方向にレンズを向けて配置されるインカメラとして実現され得る。さらに、店舗側システム３０には、端末３２を利用する人物の手のひら静脈を検出するセンサ３３が含まれ得る。
【0026】
このような店舗側システム３０の下、１つの側面として、第１のカメラ３１Ａの撮影データに含まれる顔画像から抽出される顔情報、例えば顔特徴量を用いて上記の絞込リストが生成される。ここで、第１のカメラ３１Ａの撮影データに含まれる顔画像から抽出される顔情報は、店舗３への入店時に抽出される側面があるので、以下、「入店時顔情報」と記載する場合がある。例えば、絞込リストは、利用者登録が行われた登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数までの登録顔情報の各々に対応付けられた登録手のひら静脈情報をリスト化することにより生成される。このようにリスト化される登録手のひら静脈情報には、入店時顔情報を関連付けることができる。例えば、入店時顔情報は、絞込リストを識別するラベルとして絞込リストに付与することができる。この他、撮影データの撮影日時等の任意の識別情報を介して、入店時顔情報および絞込リストを関連付けることもできる。
【0027】
【0028】
例えば、店舗３へ入店する利用者Ｕ１の顔が２０１９年１２月２４日９時００分に撮影された撮影データに含まれる利用者Ｕ１の顔画像から利用者Ｕ１の入店時顔情報ｆface1_U1が抽出される。このように抽出された利用者Ｕ１の入店時顔情報ｆface1_U1がラベルとして付与されると共に、入店時顔情報ｆface1_U1を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L1がリスト化された絞込リストデータＬ１が生成される。
【0029】
また、店舗３へ入店する利用者Ｕ２の顔が２０１９年１２月２４日９時０１分に撮影された撮影データに含まれる利用者Ｕ２の顔画像から利用者Ｕ２の入店時顔情報ｆface1_U2が抽出される。このように抽出された利用者Ｕ２の入店時顔情報ｆface1_U2がラベルとして付与されると共に、入店時顔情報ｆface1_U2を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L2がリスト化された絞込リストデータＬ２が生成される。
【0030】
さらに、店舗３へ入店する利用者Ｕ３の顔が２０１９年１２月２４日９時０２分に撮影された撮影データに含まれる利用者Ｕ３の顔画像から利用者Ｕ３の入店時顔情報ｆface1_U3が抽出される。このように抽出された利用者Ｕ３の入店時顔情報ｆface1_U3がラベルとして付与されると共に、入店時顔情報ｆface1_U3を用いて絞り込まれた登録手のひら静脈情報群ＦPalm_L3がリスト化された絞込リストデータＬ３が生成される。
【0031】
他の側面として、第２のカメラ３２Ａの撮影データに含まれる顔画像から抽出される顔情報、例えば顔特徴量を用いて、複数の絞込リストから第２モダリティの静脈認証で照合対象とする絞込リストが特定される。ここで、第２のカメラ３２Ａの撮影データに含まれる顔画像から抽出される顔情報は、店舗３のカウンタでの決済時に抽出される側面があるので、以下、「決済時顔情報」と記載する場合がある。例えば、決済時顔情報は、絞込リストの各々に含まれる入店時の顔情報と照合される。あくまで一例として、絞込リストのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストが特定される。他の一例として、絞込リストのうち、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストが特定される。
【0032】
例えば、第２のカメラ３２Ａの撮影データから利用者Ｕ３の決済時顔情報ｆface2_U3が抽出された場合、図４に示すように、決済時顔情報ｆface2_U3は、店舗への入店順に、絞込リストデータＬ１の入店時顔情報ｆface1_U1、絞込リストデータＬ２の入店時顔情報ｆface1_U2及び絞込リストデータＬ３の入店時顔情報ｆface1_U3が照合される。このとき、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U1の類似度と、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U2の類似度は、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の類似度よりも小さく、閾値を超えない。一方、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の類似度は、３つの類似度の間で最大であり、閾値を超える。このため、３つの絞込リストデータＬ１～Ｌ３のうち入店時顔情報ｆface1_U3がラベルとして付与された絞込リストデータＬ３が第２モダリティの静脈認証における照合対象と特定される。この結果、センサ３３から検出される入力手のひら静脈情報が絞込リストデータＬ３の登録手のひら静脈情報群ＦPalm_L1と照合される。
【0033】
このように、本実施例に係るマルチ生体認証サービスでは、利用者Ｕ３の入力手のひら静脈情報ｆPalm_U3と一致する登録手のひら静脈情報ＦPalm_U3との照合が行われるまでに、余分な絞込リストデータＬ１１および絞込リストデータＬ１２との照合を省略できる。具体的には、決済時顔情報face2_U3と類似しない入店時顔情報ｆface1_U1に対応付けられた登録手のひら静脈情報群ＦPalm_L1との照合、さらには、決済時顔情報face2_U3と類似しない入店時顔情報ｆface1_U2に対応付けられた登録手のひら静脈情報群ＦPalm_L2との照合をスキップできる。
【0034】
したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能になる。
【0035】
［店舗側システム３０の構成］
次に、本実施例に係る店舗側システム３０の機能的構成の一例について説明する。図１には、上記のマルチ生体認証サービスの機能に対応するブロックがサーバ装置１０および店舗側システム３０ごとに示されている。図１に示すように、店舗側システム３０は、第１のカメラ３１Ａと、第１の抽出部３１Ｂと、第２のカメラ３２Ａと、第２の抽出部３２Ｂと、センサ３３と、表示部３５とを有する。なお、図１には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示しない機能部、例えば上記の読取部等が店舗側システム３０に備わることを妨げない。
次に、本実施例に係る店舗側システム３０の機能的構成の一例について説明する。図１には、上記のマルチ生体認証サービスの機能に対応するブロックがサーバ装置１０および店舗側システム３０ごとに示されている。図１に示すように、店舗側システム３０は、第１のカメラ３１Ａと、第１の抽出部３１Ｂと、第２のカメラ３２Ａと、第２の抽出部３２Ｂと、センサ３３と、表示部３５とを有する。なお、図１には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示しない機能部、例えば上記の読取部等が店舗側システム３０に備わることを妨げない。
【0036】
第１のカメラ３１Ａおよび第２のカメラ３２Ａは、いずれも第１モダリティの顔画像を撮影する機能部である。一実施形態として、これら第１のカメラ３１Ａおよび第２のカメラ３２Ａは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置により実現できる。
【0037】
ここで、第１のカメラ３１Ａが撮影する「撮影データ」には、利用者が店舗３の入口から商品の選択や移動等を経て決済カウンタに訪れるまでに顔情報に基づく絞り込みを終了させる側面で利用される。このような側面から、第１のカメラ３１Ａは、店舗３の入口から入店する人物の顔を撮影可能な状態で設置される。第１のカメラ３１Ａは、必ずしも上記のマルチ生体認証サービス専用のカメラでなくともよく、他のシステム、例えば監視システムで用いられる監視カメラを上記のマルチ生体認証サービスに共用できる。
【0038】
また、第２のカメラ３２Ａが撮影する「撮影データ」には、複数の絞込リストの中から第２モダリティの静脈認証で照合対象とする絞込リストを特定する側面で利用される。このような側面から、第２のカメラ３２Ａは、端末３２を利用する人物の顔を撮影可能な状態で設置される。例えば、第２のカメラ３２Ａは、表示部３５のスクリーンの向きと同一の方向にレンズを向けて配置されるインカメラとして実現され得る。
【0039】
第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、第１モダリティの生体情報を抽出する機能部である。例えば、第１モダリティが顔情報である場合、当該顔情報は、顔が撮影された画像そのものであってもよいし、顔の画像から抽出された顔の特徴量であってもよい。以下、顔情報のあくまで一例として、埋め込みベクトルを用いる場合を例示する。この場合、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、ディープラーニング等により埋め込み空間の学習が行われたモデル、例えばＣＮＮ（Convolutional Neural Network）を用いることができる。例えば、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、第１のカメラ３１Ａまたは第２のカメラ３２Ａの出力、例えばフレーム単位で撮像された画像に顔検出を行う。その上で、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、顔検出で得られた顔領域に対応する部分画像、すなわち顔画像を埋め込み空間が学習済みであるＣＮＮへ入力する。これによって、ＣＮＮから埋め込みベクトルを得ることができる。その上で、第１の抽出部３１Ｂおよび第２の抽出部３２Ｂは、上記の顔情報を入店時顔情報または決済時顔情報として所定の暗号方式、例えば公開鍵暗号などのアルゴリズムにしたがって暗号化した上で暗号化された入店時顔情報または決済時顔情報をサーバ装置１０へ伝送する。なお、埋め込みベクトルは、顔情報のあくまで一例に過ぎず、他の特徴量、例えばＳＩＦＴ（Scale-Invariant Feature Transform）などが抽出されることとしてもよい。
【0040】
センサ３３は、第２モダリティの生体情報を検出する機能部である。一実施形態として、センサ３３は、手のひらの内部に存在する静脈の血管パターンを映すのに適切な波長を持つ赤外光、例えば近赤外光を照射する照明と、赤外光を捉えることができるカメラとを含むセンサユニットとして実現できる。例えば、手のひらが所定の撮影位置に載置されると、照明によって赤外光が手のひらに照射される。この赤外光の照射に連動して起動されたカメラによって手のひらの内部から反射して戻ってきた赤外光が撮影される。このような撮影によって、静脈中の赤血球によって赤外光が吸収される結果、手のひらの静脈の血管パターンが現れた手のひら静脈画像が生体画像として得られる。その後、センサ３３は、手のひら静脈画像から血管部分を取り出した上で細線化し、血管における分岐点の座標、分岐点間の長さ、分岐点の分岐角度などの特徴量を手のひら静脈情報として抽出する。その上で、センサ３３は、手のひら静脈情報を入力手のひら静脈情報として所定の暗号方式、例えば公開鍵暗号などのアルゴリズムにしたがって暗号化した上で暗号化された入力手のひら静脈情報をサーバ装置１０へ伝送する。
【0041】
表示部３５は、各種の情報を表示する機能部である。あくまで一例として、表示部３５は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどにより実現できる。なお、表示部３５は、図示しない入力部と一体化することにより、タッチパネルとして実現されることとしてもよい。
【0042】
なお、第１の抽出部３１Ｂや第２の抽出部３２Ｂの他、センサ３３で行われる一部の処理、例えば手のひら静脈の特徴抽出等の機能は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のハードウェアプロセッサにより仮想的に実現され得る。ここで、プロセッサは、上記の店舗側システム３０の如何なる装置に搭載されるものであってもかまわない。あくまで一例として、第１のカメラ３１Ａ、第２のカメラ３２Ａ及びセンサ３３が接続される端末３２に搭載されたプロセッサを利用できる。例えば、プロセッサは、図示しない記憶装置、例えばＲＯＭ（Read Only Memory）、あるいは補助記憶装置から、上記の特徴抽出等の機能を実現する特徴抽出プログラムを読み出す。その上で、プロセッサは、上記の特徴抽出プログラムを実行することにより、ＲＡＭ（Random Access Memory）等のメモリ上に上記の機能に対応するプロセスを展開する。この結果、上記の機能がプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
【0043】
［サーバ装置１０の構成］
次に、本実施例に係るサーバ装置１０の機能的構成の一例について説明する。図１に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部、例えば入力部や表示部等がサーバ装置１０に備わることを妨げない。
次に、本実施例に係るサーバ装置１０の機能的構成の一例について説明する。図１に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記のマルチ生体認証サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部、例えば入力部や表示部等がサーバ装置１０に備わることを妨げない。
【0044】
通信インタフェイス部１１は、他の装置、例えば店舗側システム３０との間で通信制御を行う通信制御部の一例に対応する。
【0045】
あくまで一例として、通信インタフェイス部１１は、ＬＡＮ（Local Area Network）カードなどのネットワークインターフェイスカードにより実現される。例えば、通信インタフェイス部１１は、第１の抽出部３１Ｂから入店時顔情報を受け付けたり、第２の抽出部３２Ｂから決済時顔情報を受け付けたり、センサ３３から入力手のひら静脈情報を受け付けたりする。また、通信インタフェイス部１１は、本人認証のリトライ要求、認証結果や決済処理結果などを表示部３５へ出力する。
【0046】
記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、上記のマルチ生体認証サービスを実現する認証プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
【0047】
一実施形態として、記憶部１３は、補助記憶装置により実現され得る。例えば、ＨＤＤ（Hard Disk Drive）や光ディスク、ＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応し得る。
【0048】
記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、登録データ１３Ａと、絞込リストデータＬ１～Ｌｍとを記憶する。これら登録データ１３Ａや絞込リストデータＬ１～Ｌｍ以外にも、記憶部１３は、第１のカメラ３１Ａや第２のカメラ３２Ａの撮影データなどの各種のデータを記憶することができる。なお、絞込リストデータＬ１～Ｌｍは、第１のカメラ３１Ａの撮影データからダイナミックに生成される側面があるので、絞込リストデータＬ１～Ｌｍを生成する機能部の説明に合わせて後述する。
【0049】
登録データ１３Ａは、所定の登録処理、例えば利用者登録が行われたデータである。例えば、登録データ１３Ａには、Ｎ人の利用者、例えば利用者登録が行われた登録者の識別情報ごとに登録顔情報および登録手のひら静脈情報が対応付けられたデータを採用できる。これら登録顔情報および登録手のひら静脈情報の例として、利用者登録時に撮影された撮影データの顔画像や静脈画像から抽出された顔情報および手のひら静脈情報が登録される。なお、登録データ１３Ａには、上記の項目の他、利用者の属性情報、例えば氏名や年齢、性別などが含まれることとしてもかまわない。
【0050】
制御部１５は、サーバ装置１０の全体制御を行う処理部である。一実施形態として、制御部１５は、ＣＰＵやＭＰＵなどのハードウェアプロセッサにより実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによって実現されてもよい。
【0051】
制御部１５は、図示しないメモリ、例えばＲＡＭのワークエリア上に、上記の認証プログラムを展開することにより、下記の処理部を仮想的に実現する。図１に示すように、制御部１５は、第１の特定部１５Ａと、生成部１５Ｂと、第２の特定部１５Ｃと、認証部１５Ｄとを有する。
【0052】
第１の特定部１５Ａは、記憶部１３に記憶された登録データ１３Ａを参照して、入店時顔情報との類似度が所定の基準を満たす登録顔情報に対応付けられた第２モダリティの登録生体情報を特定する処理部である。一実施形態として、第１の特定部１５Ａは、第１の抽出部３１Ｂから入店時顔情報を受け付けた場合に起動し得る。例えば、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録顔情報ごとに、当該登録顔情報と、第１の抽出部３１Ｂにより抽出された入店時顔情報との間で類似度を算出する。あくまで一例として、顔情報として埋め込みベクトルが抽出される場合、類似度には、登録顔情報および入力顔情報の間のハミング距離を用いることができる。その上で、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数、例えば上位Ｋ（＜Ｎ）個までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する。これによって、登録手のひら静脈情報は、Ｎ個からＫ個まで絞り込まれる。
【0053】
なお、ここでは、上記の基準の一例として、入店時顔情報との類似度が上位所定数までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する例を挙げたが、これに限定されない。例えば、入店時顔情報との類似度が所定の絞込率ＲＮｄ、例えば登録者数Ｎの１％などに対応する上位所定割合に該当する登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定することもできる。
【0054】
生成部１５Ｂは、絞込リストを生成する処理部である。一実施形態として、生成部１５Ｂは、第１の抽出部３１Ｂにより抽出された入店時顔情報をラベルとして付与すると共に、第１の特定部１５Ａにより特定された登録手のひら静脈情報群がリスト化された絞込リストデータＬｊを生成する。このように生成された絞込リストデータＬｊが記憶部１３に保存される。このように記憶部１３へ保存された絞込リストデータＬｊは、所定の条件を満たす場合に削除することができる。例えば、認証または決済に使用された絞込リストデータＬｊを削除したり、保存後から一定期間、例えば１時間が経過した場合に絞込リストデータＬｊを削除したり、定期時刻、例えば閉店時刻になったりした場合に絞込リストデータＬ１～Ｌｍを削除したりすることができる。また、絞込リストデータＬｊは、必ずしも削除せずともよく、認証または決済に使用後のものと未使用のものとの間でフラグ等を用いて区別することもできる。
【0055】
第２の特定部１５Ｃは、決済時顔情報と入店時顔情報との間の類似度に基づいて、いずれかの入店時顔情報を用いて絞り込まれた登録生体情報群を特定する処理部である。一実施形態として、第２の特定部１５Ｃは、記憶部１３に記憶された絞込リストデータＬ１～Ｌｍごとに、当該絞込リストデータＬｊのラベルとして付与された入店時顔情報と、第２の抽出部３２Ｂにより抽出された決済時顔情報との類似度を算出する。その上で、第２の特定部１５Ｃは、絞込リストデータＬ１～Ｌｍのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストデータを第２モダリティの静脈認証における照合対象の絞込リストとして特定する。なお、ここでは、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストデータを特定する例を挙げたが、これに限定されない。例えば、絞込リストデータＬ１～Ｌｍのうち、決済時顔情報との類似度が最大である入店時顔情報がラベルとして付与された絞込リストデータを特定することもできる。
【0056】
認証部１５Ｄは、第２モダリティの認証処理を実行する処理部である。一実施形態として、認証部１５Ｄは、第２の特定部１５Ｃにより特定された絞込リストデータに含まれる登録手のひら静脈情報群と、センサ３３により検出された入力手のひら静脈情報との類似度を算出する。このような類似度の一例として、登録手のひら静脈情報および入力手のひら静脈情報のパターンマッチングで得られる相互相関を用いることができる。このとき、認証部１５Ｄは、入力手のひら静脈との類似度が所定の閾値以上である登録手のひら静脈が存在する場合、入力手のひら静脈が登録者本人のものであると認証する。一方、認証部１５Ｄは、入力手のひら静脈との類似度が所定の閾値以上である登録手のひら静脈が存在しない場合、入力手のひら静脈が登録者本人のものでないと認証する。その上で、認証部１５Ｄは、認証結果、例えば認証ＯＫまたは認証ＮＧを店舗側システム３０へ通知する。このように通知された認証結果は、表示部３５等で出力され得る。
【0057】
なお、ここでは、サーバ装置１０が認証結果を店舗側システム３０へ通知する例を挙げたが、これに限定されない。例えば、サーバ装置１０は、登録者本人であると認証された利用者に対応付けられた決済情報、例えばクレジットカードやデビッドカード、電子マネー等を用いて購入対象とする商品の決済処理を実行し、決済処理結果を店舗側システム３０へ通知することもできる。この他、サーバ装置１０は、サーバ装置１０の内部または外部で決済処理を実行するアプリケーションへ認証結果を転送することもできる。
【0058】
［処理の流れ］
次に、本実施例に係るサーバ装置１０の処理の流れについて説明する。以下、サーバ装置１０により実行される（１）第１の特定処理を説明した後に、（２）第２の特定処理を説明することとする。
次に、本実施例に係るサーバ装置１０の処理の流れについて説明する。以下、サーバ装置１０により実行される（１）第１の特定処理を説明した後に、（２）第２の特定処理を説明することとする。
【0059】
（１）第１の特定処理
図５は、実施例１に係る第１の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第１のカメラ３１Ａにより撮影が行われる単位、例えばフレーム単位で実行することができる。
図５は、実施例１に係る第１の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第１のカメラ３１Ａにより撮影が行われる単位、例えばフレーム単位で実行することができる。
【0060】
図５に示すように、第１のカメラ３１Ａの撮影データが取得されると（ステップＳ１０１）、第１の抽出部３１Ｂは、ステップＳ１０１で取得された撮影データに含まれる顔画像から顔の特徴量を抽出する（ステップＳ１０２）。続いて、第１の抽出部３１Ｂは、ステップＳ１０２で抽出された顔の特徴量を入店時顔情報としてサーバ装置１０へ通知する（ステップＳ１０３）。
【0061】
続いて、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録顔情報ごとに、当該登録顔情報と、ステップＳ１０３で通知された入店時顔情報とを照合する（ステップＳ１０４）。そして、第１の特定部１５Ａは、登録データ１３Ａに含まれる登録手のひら静脈情報のうち、入店時顔情報との類似度が上位所定数、例えば上位Ｋ（＜Ｎ）個までの登録顔情報の各々に対応付けられた登録手のひら静脈情報を特定する（ステップＳ１０５）。
【0062】
その上で、生成部１５Ｂは、ステップＳ１０３で通知された入店時顔情報をラベルとして付与すると共に、ステップＳ１０５で特定された登録手のひら静脈情報群がリスト化された絞込リストデータＬｊを生成する（ステップＳ１０６）。その後、生成部１５Ｂは、ステップＳ１０６で生成された絞込リストデータＬｊを記憶部１３に保存し（ステップＳ１０７）、処理を終了する。
【0063】
（２）第２の特定処理
図６は、実施例１に係る第２の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第２のカメラ３２Ａにより撮影が行われる単位、例えばフレーム単位で実行することができる。
図６は、実施例１に係る第２の特定処理の制御シーケンスの一例を示す図である。この処理は、あくまで一例として、第２のカメラ３２Ａにより撮影が行われる単位、例えばフレーム単位で実行することができる。
【0064】
図６に示すように、第２のカメラ３２Ａの撮影データが取得されると（ステップＳ３０１）、第２の抽出部３２Ｂは、ステップＳ３０１で取得された撮影データに含まれる顔画像から顔の特徴量を抽出する（ステップＳ３０２）。続いて、第２の抽出部３２Ｂは、ステップＳ３０２で抽出された顔の特徴量を決済時顔情報としてサーバ装置１０へ通知する（ステップＳ３０３）。
【0065】
以下、上記のステップＳ３０３の実行後、サーバ装置１０で行われるステップＳ３０４Ａ及びステップＳ３０５Ａの処理と、店舗側システム３０で行われるステップＳ３０４Ｂ及びステップＳ３０５Ｂの処理とは、並列に実行される。
【0066】
例えば、ステップＳ３０４Ａでは、第２の特定部１５Ｃは、記憶部１３に記憶された絞込リストデータＬ１～Ｌｍごとに、当該絞込リストデータＬｊのラベルとして付与された入店時顔情報と、ステップＳ３０２で通知された決済時顔情報とを照合する。
【0067】
その上で、第２の特定部１５Ｃは、絞込リストデータＬ１～Ｌｍのうち、決済時顔情報との類似度が所定の閾値を超える入店時顔情報がラベルとして付与された絞込リストデータを第２モダリティの静脈認証における照合対象の絞込リストとして特定する（ステップＳ３０５Ａ）。
【0068】
一方、センサ３３は、ステップＳ３０４Ａ及びステップＳ３０５Ａと並行して、センサ３３の撮影データに含まれる手のひら静脈画像から手のひら静脈の特徴量を検出する（ステップＳ３０４Ｂ）。そして、センサ３３は、ステップＳ３０４Ｂで検出された手のひら静脈の特徴量を入力手のひら静脈情報としてサーバ装置１０へ通知する（ステップＳ３０５Ｂ）。
【0069】
その後、認証部１５Ｄは、ステップＳ３０５Ａで特定された絞込リストデータに含まれる登録手のひら静脈情報群と、ステップＳ３０５Ｂで通知された入力手のひら静脈情報とに基づいて入力手のひら静脈情報が登録者本人のものであるか否かを認証する認証処理を実行する（ステップＳ３０６）。その上で、認証部１５Ｄは、ステップＳ３０６における認証結果を店舗側システム３０へ通知する（ステップＳ３０７）。
【0070】
このとき、ステップＳ３０７で通知された認証結果が認証ＯＫ、すなわち入力手のひら静脈が登録者本人のものであると認証された場合（ステップＳ３０８Ｙｅｓ）、店舗側システム３０の端末３２は、次のような処理を実行する。すなわち、端末３２は、登録者本人であると認証された利用者に対応付けられた決済情報、例えばクレジットカードやデビッドカード、電子マネー等を用いて購入対象とする商品の決済処理を実行し（ステップＳ３０９）、処理を終了する。
【0071】
なお、ステップＳ３０７で通知された認証結果が認証ＮＧ、すなわち入力手のひら静脈が登録者本人のものでないと認証された場合（ステップＳ３０８Ｎｏ）、ステップＳ３０９の決済処理は実行されず、そのまま処理を終了する。
【0072】
［効果の一側面］
上述してきたように、本実施例に係るマルチ生体認証サービスは、入店時顔情報ごとに絞り込まれた登録手のひら静脈情報群のうち、決済時顔情報と類似する入店時顔情報を用いて絞り込まれた登録手のひら静脈情報群を入力手のひら静脈情報と照合する。このため、本実施例に係るマルチ生体認証サービスでは、決済時顔情報と類似しない入店時顔情報で絞り込んだ生体情報群との照合を省略できる。したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能である。
上述してきたように、本実施例に係るマルチ生体認証サービスは、入店時顔情報ごとに絞り込まれた登録手のひら静脈情報群のうち、決済時顔情報と類似する入店時顔情報を用いて絞り込まれた登録手のひら静脈情報群を入力手のひら静脈情報と照合する。このため、本実施例に係るマルチ生体認証サービスでは、決済時顔情報と類似しない入店時顔情報で絞り込んだ生体情報群との照合を省略できる。したがって、本実施例に係るマルチ生体認証サービスによれば、認証時間の低減を実現することが可能である。
【実施例2】
【0073】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【0074】
［所要時間を用いるソート］
上記の実施例１では、決済時顔情報および各絞込リストの入店時顔情報の照合は、店舗３への入店順、すなわち入店時顔情報の抽出に用いる顔画像が撮影された順に行われる例を挙げたが、必ずしも店舗３への入店順でなくともかまわない。
上記の実施例１では、決済時顔情報および各絞込リストの入店時顔情報の照合は、店舗３への入店順、すなわち入店時顔情報の抽出に用いる顔画像が撮影された順に行われる例を挙げたが、必ずしも店舗３への入店順でなくともかまわない。
【0075】
例えば、サーバ装置１０は、利用者ごとに当該利用者の顔画像が第１のカメラ３１Ａに撮影されてから第２のカメラ３２Ａに撮影されるまでの所要時間を対応付けて記憶することができる。あくまで一例として、サーバ装置１０は、絞込リストデータが生成された時間と、当該絞込リストデータが決済時顔情報を用いて第２モダリティの生体認証における照合対象として特定された時間との時間差を上記の所要時間として算出することができる。このように算出された所要時間は、利用者の識別情報に対応付けて登録データ１３Ａに格納することができる。このとき、登録データ１３Ａに初期値、例えばＮＵＬＬ値以外の値が既に保存されている場合、算出値および保存値の統計値、例えば平均値や中央値を角にすることとすればよい。
【0076】
このような所要時間の管理の下、サーバ装置１０は、新規の絞込リストデータが生成された場合、新規の絞込リストデータＬｊを含むｍ個の絞込リストデータＬ１～Ｌｍごとに当該絞込リストの入店時顔情報との類似度が最大である登録顔情報に対応付けられた所要時間を登録データ１３Ａから取得する。そして、サーバ装置１０は、ｍ個の絞込リストデータＬ１～Ｌｍを所要時間の昇順にソートする。その後、サーバ装置１０は、所要時間の昇順にソート後のｍ個の絞込リストデータＬ１～Ｌｍを記憶部１３に保存する。
【0077】
図７は、応用例に係る第１の特定処理の制御シーケンスの一例を示す図である。図７には、図５に示された処理と同一の処理には同一のステップ番号が付与されると共に図５に示された処理と異なる処理には新規のステップ番号が付与されている。なお、ここでは、図５に示された処理と同一の処理の説明を省略し、差分を抜粋して説明することとする。
【0078】
すなわち、ステップＳ１０６で新規の絞込リストデータＬｊが生成された後、生成部１５Ｂは、新規の絞込リストデータＬｊを含むｍ個の絞込リストデータＬ１～Ｌｍごとに当該絞込リストの入店時顔情報との類似度が最大である登録顔情報に対応付けられた所要時間を登録データ１３Ａから取得し、ｍ個の絞込リストデータＬ１～Ｌｍを所要時間の昇順にソートする（ステップＳ５０１）。
【0079】
その上で、生成部１５Ｂは、所要時間の昇順にソート後のｍ個の絞込リストデータＬ１～Ｌｍを記憶部１３に保存し（ステップＳ５０２）、処理を終了する。
【0080】
図７に示すステップＳ５０１及びステップＳ５０２の処理によって、記憶部１３には、所要時間が短い絞込リストデータから順にｍ個の絞込リストデータＬ１～Ｌｍが記憶されることになる。これによって、第２の特定部１５Ｃは、図６に示されたステップＳ３０４Ａにおいて、決済時顔情報および各絞込リストの入店時顔情報の照合を所要時間が短い順に行うことができる。
【0081】
図８は、ソート後の絞込リストデータの一例を示す図である。図８には、図４に示された絞込リストデータＬ１～Ｌ３が所要時間の昇順にソートされたものが示されている。図８には、あくまで一例として、所要時間の大小関係が「絞込リストデータＬ３＜絞込リストデータＬ１＜絞込リストデータＬ２」である場合が示されている。
【0082】
図８に示すように、所要時間の昇順にソート後の絞込リストデータＬ１～Ｌ３では、決済時顔情報ｆface2_U3は、絞込リストデータＬ３の入店時顔情報ｆface1_U3、絞込リストデータＬ１の入店時顔情報ｆface1_U1、絞込リストデータＬ２の入店時顔情報ｆface1_U2の順に照合される。この場合、決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の照合時に決済時顔情報ｆface2_U3及び入店時顔情報ｆface1_U3の類似度が閾値を超える。それ故、図４に示す例と比べて、決済時顔情報ｆface2_U3と、絞込リストデータＬ１の入店時顔情報ｆface1_U1および絞込リストデータＬ２の入店時顔情報ｆface1_U2との照合を省略できる。
【0083】
以上のように、ｍ個の絞込リストデータＬ１～Ｌｍを所要時間の昇順にソートすることで、決済時顔情報および各絞込リストの入店時顔情報の照合時間を低減できる。なお、ここでは、記憶部１３への保存時にソートを実行する例を挙げたが、必ずしも保存時にソートを実行せずともよく、図６に示すステップＳ３０４Ａの参照時にソートを実行することもできる。
【0084】
［スタンドアローンへの適用］
上記の実施例１では、サーバ装置１０および店舗側システム３０を含むマルチ生体認証サービスの機能がクライアントサーバシステムで動作される例を挙げたが、上記のマルチ生体認証サービスはスタンドアローンで動作されることとしてもかまわない。
上記の実施例１では、サーバ装置１０および店舗側システム３０を含むマルチ生体認証サービスの機能がクライアントサーバシステムで動作される例を挙げたが、上記のマルチ生体認証サービスはスタンドアローンで動作されることとしてもかまわない。
【0085】
［モダリティの応用例］
上記の実施例１では、第２モダリティが手のひら静脈である例を挙げたが、各モダリティは特定の認証部位に限定されない。例えば、第２モダリティに指紋や虹彩などの他の認証部位を適用することを妨げない。
上記の実施例１では、第２モダリティが手のひら静脈である例を挙げたが、各モダリティは特定の認証部位に限定されない。例えば、第２モダリティに指紋や虹彩などの他の認証部位を適用することを妨げない。
【0086】
［ユースケースの応用例］
上記の実施例１では、上記のマルチ生体認証サービスのユースケースの一例として手ぶら決済を例示したが、金融機関におけるＡＴＭ（Automatic Teller Machine）の利用や入退室管理などの他のユースケースにも上記のマルチ生体認証サービスを適用できる。
上記の実施例１では、上記のマルチ生体認証サービスのユースケースの一例として手ぶら決済を例示したが、金融機関におけるＡＴＭ（Automatic Teller Machine）の利用や入退室管理などの他のユースケースにも上記のマルチ生体認証サービスを適用できる。
【0087】
［認証プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例１及び実施例２に係る認証プログラムを実行するコンピュータの一例について説明する。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例１及び実施例２に係る認証プログラムを実行するコンピュータの一例について説明する。
【0088】
図９は、コンピュータのハードウェア構成例を示す図である。図９に示すように、コンピュータ１００は、第１のカメラ１１０ａと、第２のカメラ１１０ｂと、センサ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
【0089】
ＨＤＤ１７０には、図９に示すように、上記の実施例１で示した第１の特定部１５Ａ、生成部１５Ｂ、第２の特定部１５Ｃ及び認証部１５Ｄと同様の機能を発揮する認証プログラム１７０ａが記憶される。この認証プログラム１７０ａは、図１に示した第１の特定部１５Ａ、生成部１５Ｂ、第２の特定部１５Ｃ及び認証部１５Ｄの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【0090】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から認証プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、認証プログラム１７０ａは、図９に示すように、認証プロセス１８０ａとして機能する。この認証プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち認証プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、認証プロセス１８０ａが実行する処理の一例として、図５～図７に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【0091】
なお、上記の認証プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【0092】
１ 認証システム
１０ サーバ装置
１１ 通信インタフェイス部
１３ 記憶部
１３Ａ 登録データ
Ｌ１～Ｌｍ 絞込リストデータ
１５ 制御部
１５Ａ 第１の特定部
１５Ｂ 生成部
１５Ｃ 第２の特定部
１５Ｄ 認証部
３０ 店舗側システム
３１Ａ 第１のカメラ
３１Ｂ 第１の抽出部
３２ 端末
３２Ａ 第２のカメラ
３２Ｂ 第２の抽出部
３３ センサ
３５ 表示部
１０ サーバ装置
１１ 通信インタフェイス部
１３ 記憶部
１３Ａ 登録データ
Ｌ１～Ｌｍ 絞込リストデータ
１５ 制御部
１５Ａ 第１の特定部
１５Ｂ 生成部
１５Ｃ 第２の特定部
１５Ｄ 認証部
３０ 店舗側システム
３１Ａ 第１のカメラ
３１Ｂ 第１の抽出部
３２ 端末
３２Ａ 第２のカメラ
３２Ｂ 第２の抽出部
３３ センサ
３５ 表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】