特許 7335651 顔認証決済システムおよび顔認証決済方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-22

(45)【発行日】2023-08-30

(54)【発明の名称】顔認証決済システムおよび顔認証決済方法

(51)【国際特許分類】

   G06Q 20/20 20120101AFI20230823BHJP

   G06F 21/32 20130101ALI20230823BHJP

   G06Q 20/40 20120101ALI20230823BHJP

   G06V 40/50 20220101ALI20230823BHJP

   G06V 40/70 20220101ALI20230823BHJP

【ＦＩ】

G06Q20/20 340

G06F21/32

G06Q20/40

G06V40/50

G06V40/70

【請求項の数】 4

(21)【出願番号】P 2022125523

(22)【出願日】2022-08-05

【審査請求日】2022-08-05

【早期審査対象出願】

(73)【特許権者】

【識別番号】519378182

【氏名又は名称】株式会社ＩＮＴＥＲＩＯＲ ＨＡＲＡＧＵＣＨＩ

(74)【代理人】

【識別番号】100121418

【弁理士】

【氏名又は名称】河野 修

(72)【発明者】

【氏名】原口 祐二

【審査官】久宗 義明

(56)【参考文献】

【文献】国際公開第２０２１／０３３２１９（ＷＯ，Ａ１）

【文献】特開２０１９－０６７０７５（ＪＰ，Ａ）

【文献】特開２０２１－１０７９７９（ＪＰ，Ａ）

【文献】特開２０１８－１８０６６０（ＪＰ，Ａ）

【文献】特表２０１８－５０８７９９（ＪＰ，Ａ）

【文献】特表２０１９－５２５３２５（ＪＰ，Ａ）

【文献】特開２０１７－０２１４５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０３７４３７３（ＵＳ，Ａ１）

【文献】特開２０１４－６７１７１（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２１－０１２４６２０（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｖ ４０／５０

Ｇ０６Ｖ ４０／７０

(57)【特許請求の範囲】

【請求項1】

店舗に設置された顔認証決済用端末装置と、該顔認証決済用端末装置と通信接続される顔認証決済用サーバを備え、前記顔認証決済用端末装置は少なくとも顔画像を含む複数種類の生体データを取得する少なくともカメラを含む複数の生体データ取得部と、顔認証決済用サーバに対して決済要求を行う決済要求部と、顔認証決済用サーバからの追認証要求を受け付ける追認証受付部を有し、前記顔認証決済用サーバは、顔認証決済のための種々の演算処理を行う制御部と、前記顔認証決済用端末装置からの決済要求を受け付ける決済要求受付部と、予め登録された顔画像を含む複数種類の登録生体データが蓄積された登録生体データ蓄積部と、該登録生体データ蓄積部に登録されている生体データと関連付けられた決済情報が蓄積された決済情報蓄積部と、前記顔認証決済用端末装置の生体データ取得部で取得された生体データと前記登録生体データ蓄積部で蓄積されている登録生体データのそれぞれの特徴点を抽出照合して同一人物度を判定する同一人物ＡＩ判定部を有し、該同一人物ＡＩ判定部が、生体認証を実行する生体認証部と、前記生体データ取得部で取得された顔画像と前記登録生体データ蓄積部に蓄積されている顔画像とを解析して同一人物度をランク付けするランク付け手段と、該ランク付け手段で判定されたランクによって、追加の生体データの要否を判断する追認証判断手段と、追認証判断手段で要追認証と判断された場合に、前記顔認証決済用端末装置に対して追認証を要求する追認証要求手段と、前記追認証判断手段での認証結果に基づいて決済判定を行う決済判定手段を有しており、更に前記顔認証決済用サーバは、前記決済判定手段での決済判定に基づいて決済処理を実行する決済実行部と、決済登録者の個人情報、顔画像を含む生体データおよび決済情報の登録を受け付ける登録情報受付部を備え、前記同一人物ＡＩ判定部が登録生体データ蓄積部で蓄積されている生体データを教師データとして機械学習によるディープニューラルネットワークを実行する機能を有しており、更に、前記顔認証決済用サーバが、登録生体データ蓄積部に蓄積されている顔画像を更新する顔画像更新部を有し、該顔画像更新部は、タイマー手段と顔画像の置換手段を有し、前記タイマー手段で各顔画像の所定の更新期間の経過がカウントされ、その経過後において、同一人物ＡＩ判定部のランク付け手段でランク付けした顔画像が高ランクであった場合に、前記置換手段によって、前記顔認証決済用端末装置から送信されてきた前記顔画像を前記登録生体データ蓄積部に登録されている顔画像と置換することを特徴とする、顔認証決済システム。

【請求項2】

生体データが、顔画像の他に、指の静脈データ、声帯の声紋データまたは眼の虹彩データのうちの一以上のデータを含み、該データを生体データ取得部が取得することを特徴とする、請求項１記載の顔認証決済システム。

【請求項3】

顔認証決済用サーバの登録生体データ蓄積部に蓄積されている登録生体データが暗号化されている、請求項１または請求項２記載の顔認証決済システム。

【請求項4】

生体データ取得部のカメラが３Ｄカメラであり、顔画像が３Ｄデータである、請求項１または請求項２記載の顔認証決済システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、商品やサービスの提供を受ける消費者が顔認証によって料金の決済を行うための顔認証決済システムおよび顔認証決済方法等に関する。

【背景技術】

【0002】

顔認証による決済サービスは、消費者が現金やクレジットカードを携行する必要がなく、また決済端末で暗証番号を入力したり、サインを行ったりする必要もなく、また商品やサービスの提供を受ける店舗で、該店舗の従業員と消費者が非接触で決済が完了するために、利便性が高いとされている。

【0003】

また、顔画像データを使った電子商取引システムとして、予め登録された利用者による無人店舗の利用状況を顔認証により管理する無人店舗システムであって、 利用者の入店時の顔画像を第１のカメラにより取得して、入店時の前記顔画像に基づいて、利用者の入店を許可するための顔認証に関する処理を行う第１の顔認証機と、利用者の決済時の顔画像を第２のカメラにより取得して、決済時の前記顔画像に基づいて、利用者の決済を許可するための顔認証に関する処理を行う第２の顔認証機と、 利用者の退店時の顔画像を第３のカメラにより取得して、退店時の前記顔画像に基づいて、利用者の退店を確認するための顔認証に関する処理を行う第３の顔認証機とを備え、前記第１のカメラは、ゲート装置の近傍に設置され、入店する利用者の顔が撮影領域に含まれるように設置され、 前記第１の顔認証機は、顔認証結果に応じて前記ゲート装置の開閉を制御するように制御され、更に精算及び顔認証に関する情報を表示する表示部を備え、前記第２のカメラは、前記表示部の近傍に配置されて、前記表示部を目視する利用者の顔が撮影領域に含まれるように設置された無人店舗システムが知られている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１６６６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

前述した通り、顔認証による決済は、種々の面で利便性が高いが、顔認証の設定精度その他において後述するような課題があった。

【0006】

すなわち、顔認証は、予めデータベースに登録された顔画像データと店舗等に設置された顔撮影用カメラで実際に撮影された顔画像データの各々の特徴点検出を行って、その一致度によって認証を行うのであるが、その際、画像処理における閾値が高いと本人が認証を行っているにもかかわらず、「他人」と判断する誤認証（偽陰性）が発生し易く、前記閾値が低いと他人であるにもかからず、「本人」であると誤認証（偽陽性）してしまい易い。また、認証する際に、認証対象者がマスクをしていたり、撮影現場が影になっていたり、反射光が強い場合等々、撮影環境の問題や撮影対象者の容姿の経年変化等の容姿上の問題で、誤認証が発生するという欠点があった。

【0007】

また、前述した無人店舗システムでは、無人店舗における買い物客の挙動が撮影されて無人での買い物が行えるものの、前述した顔認証の精度については、全く考慮されていなかった。

【0008】

本発明の目的は、前述した顔認証による決済の問題を一挙に解決することができる顔認証決済システムおよび顔認証決済方法を提供することにある。

【課題を解決するための手段】

【0009】

請求項１記載の本発明は、店舗に設置された顔認証決済用端末装置と、該顔認証決済用端末装置と通信接続される顔認証決済用サーバを備え、前記顔認証決済用端末装置は少なくとも顔画像を含む複数種類の生体データを取得する少なくともカメラを含む複数の生体データ取得部と、顔認証決済用サーバに対して決済要求を行う決済要求部と、顔認証決済用サーバからの追認証要求を受け付ける追認証受付部を有し、前記顔認証決済用サーバは、顔認証決済のための種々の演算処理を行う制御部と、前記顔認証決済用端末装置からの決済要求を受け付ける決済要求受付部と、予め登録された顔画像を含む複数種類の登録生体データが蓄積された登録生体データ蓄積部と、該登録生体データ蓄積部に登録されている生体データと関連付けられた決済情報が蓄積された決済情報蓄積部と、前記顔認証決済用端末装置の生体データ取得部で取得された生体データと前記登録生体データ蓄積部で蓄積されている登録生体データのそれぞれの特徴点を抽出照合して同一人物度を判定する同一人物ＡＩ判定部を有し、該同一人物ＡＩ判定部が、生体認証を実行する生体認証部と、前記生体データ取得部で取得された顔画像と前記登録生体データ蓄積部に蓄積されている顔画像とを解析して同一人物度をランク付けするランク付け手段と、該ランク付け手段で判定されたランクによって、追加の生体データの要否を判断する追認証判断手段と、追認証判断手段で要追認証と判断された場合に、前記顔認証決済用端末装置に対して追認証を要求する追認証要求手段と、前記追認証判断手段での認証結果に基づいて決済判定を行う決済判定手段を有しており、更に前記顔認証決済用サーバは、前記決済判定手段での決済判定に基づいて決済処理を実行する決済実行部と、決済登録者の個人情報、顔画像を含む生体データおよび決済情報の登録を受け付ける登録情報受付部を備え、前記同一人物ＡＩ判定部が登録生体データ蓄積部で蓄積されている生体データを教師データとして機械学習によるディープニューラルネットワークを実行する機能を有しており、更に、前記顔認証決済用サーバが、登録生体データ蓄積部に蓄積されている顔画像を更新する顔画像更新部を有し、該顔画像更新部は、タイマー手段と顔画像の置換手段を有し、前記タイマー手段で各顔画像の所定の更新期間の経過がカウントされ、その経過後において、同一人物ＡＩ判定部のランク付け手段でランク付けした顔画像が高ランクであった場合に、前記置換手段によって、前記顔認証決済用端末装置から送信されてきた前記顔画像を前記登録生体データ蓄積部に登録されている顔画像と置換することを特徴とする顔認証決済システムである。

【0010】

請求項２記載の本発明は、前記請求項１記載の顔認証決済システムについて、生体データが、顔画像の他に、指の静脈データ、声帯の声紋データまたは眼の虹彩データのうちの一以上のデータを含み、該データを生体データ取得部が取得することを特徴とする。

【0011】

請求項３記載の本発明は、前記請求項１または請求項２記載の顔認証決済システムについて、顔認証決済用サーバの登録生体データ蓄積部に蓄積されている登録生体データが暗号化されていることを特徴とする。

【0012】

請求項４記載の本発明は、前記請求項１または請求項２記載の顔認証決済システムについて、生体データ取得部のカメラが３Ｄカメラであり、顔画像が３Ｄデータであることを特徴とする。

【発明の効果】

【0013】

本発明は、店舗に設置された顔認証決済用端末装置と、該顔認証決済用端末装置と通信接続される顔認証決済用サーバを備えた顔認証決済システムにおいて、人工知能ＡＩによって、単に顔認証による決済の可否を判定して決済処理を行うのではなく、先ず顔認証における類似性をランク付けし、該ランク付けによって追認証の要否判断を行い、必要に応じて、顔認証以外の静脈認証や虹彩認証等の他の認証を適宜組み合わせることにより、認証精度が高く、且つ利用者にとっても利便性の高い認証決済が実現され得る。

【0014】

そのため、従来の顔認証決済において、課題であった所謂、偽陽性や偽陰性の問題も解消され、システムの運営者にとってもシステムの利用者にとっても信頼性の高い顔認証決済が実現される。

【0015】

更に、前記顔認証決済用サーバで、登録蓄積されている顔画像データを所定期間ごとに更新する本発明においては、顔認証の対象者の顔画像が適宜、近況のものに更新されていくため、より精度の高い顔認証が実現され得るという実用的利点が得られる。

【図面の簡単な説明】

【0016】

【図1】本発明に係る顔認証決済システムの全体構成を示す概要図である。

【図2】顔認証決済用端末装置の実施形態を示す機能ブロック図である。

【図3】顔認証決済用サーバの実施形態を示す機能ブロック図である。

【図4】顔認証決済用サーバの登録生体データ蓄積部に記憶されている登録情報の一例をテーブルである。

【図5】顔認証決済用サーバの決済情報蓄積部に記憶されている決済情報の一例を示すテーブルである。

【図6】顔認証決済用サーバのランク付け手段によるランク付けの一例を示すテーブルである。

【図7】顔認証決済用サーバの追認証判断手段におけるランク付けと追認証の関連付けを示すテーブルである。

【図8】顔認証決済用サーバの決済判定手段による決済判定の要領を示すフローチャートである。

【図9】顔認証決済用サーバの生体認証部の構成を示す機能ブロック図である。

【図10】生体データのセグメンテーション例を示す模式図である。

【図11】ディープラーニング部における識別部の機械学習（教師あり学習）の一例を示す模式図である。

【図12】顔認証決済用サーバの生体認証部における顔画像認証の要領を示すフローチャートである。

【図13】本発明に係る顔認証決済システムによる顔認証決済方法の一例を示すフローチャートである。

【図14】本発明に係る顔認証決済システムでのクラウドの構成を示す概要図である。

【発明を実施するための形態】

【0017】

次に、本発明の実施形態を図面にしたがって説明するが、本発明はかかる実施形態に限定されるものではない。

【0018】

図１に示すように、本実施形態に係る顔認証決済システムは、各店舗（ＳＴ１～ＳＴ４）に設置された顔認証決済用端末装置（０００１）と、該顔認証決済用端末装置（０００１）と通信接続されて顔認証による決済処理を行う顔認証決済用サーバ（０００２）を備えている。

【0019】

当該顔認証決済システムは、通常、全体構成が所謂クラウドサーバシステムであって、後述する通り、クラウドを構成する前記顔認証決済用サーバ（０００２）を含むサーバ群（０００３）と、該サーバ群（０００３）との間で本実施形態に係る顔認証決済システムに係る種々の処理が行われる前記顔認証決済用端末装置（０００１）等で構成される。

【0020】

前記サーバ群（０００３）は、前記顔認証決済用サーバ（０００２）の他、例えばＤＮＳサーバ（０００５）やアプリケーションサーバ（０００６）等を有する。

【0021】

ただし、本発明のシステムは、クラウドサーバシステム以外のもので構成される場合もある。

【0022】

図１４に示すように、本実施形態に係るクラウドサーバシステムにおけるクラウドは、例えば、クラウド基盤層（６００１）と、その上層のクラウドサービス提供層（６００２）およびクラウドアプリケーション層（６００３）といった階層で構成され、後述するような種々の情報処理を行うものである。

【0023】

また、本発明で使用する前記顔認証決済用サーバ（０００２）は、少なくともコンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって機能するものである。

【0024】

図２に示すように、前記顔認証決済用端末装置（０００１）は、少なくとも顔画像を含む複数種類の生体データを取得する少なくともカメラ（０００４）を含む複数の生体データ取得部（２００１）と、インターネットまたは専用回線を介して前記顔認証決済用サーバ（０００２）等と通信接続するための通信モジュール（２００４）と、種々の表示を行うための顔認証用表示装置（２００５）と、顔認証等に係る種々の演算処理を行うＭＰＵ（Micro-Processing Unit）（２００６）と、顔認証決済処理に係る種々のデータを適宜記憶するメモリ部（２００７）と、当該顔認証決済を行うための種々の入力を実行する入力部（２００８）と、前記顔認証決済用サーバ（０００２）に対して決済要求を行う決済要求部（２０１１）と、後述する顔認証決済用サーバ（０００２）からの追認証要求を受け付ける追認証受付部（２００９）等を有する。

【0025】

そして、本実施形態では、前記生体データ取得部（２００１）は、認証対象者の顔を撮影したり、認証対象者の眼の虹彩を撮影する前記カメラ（０００４）の他、認証対象者の指の静脈パターンを検知する赤外線センサ（２００２）と、認証対象者の声を取得するマイク（２００３）等を有する。また、これら各認証機器は、通常、公知の付属機器等と共にユニット化されている。また、カメラ（０００４）は、通常、３Ｄ機能を有するものが好ましく、撮影された顔画像の奥行等の認証も可能とする。

【0026】

図３に示すように、前記顔認証決済用サーバ（０００２）は、前記顔認証決済用端末装置（０００１）等との通信を行う通信機能部（３０１１）と、顔認証決済のための種々の演算処理を行うＣＰＵ等の制御部（３００９）と、決済登録者の個人情報、顔画像を含む生体データおよび決済情報等の登録を受け付ける登録情報受付部（３００５）と、決済要求を受け付ける決済要求受付部（３００６）と、予め登録された顔画像を含む複数種類の登録生体データが蓄積された登録生体データ蓄積部（３００１）と、該登録生体データ蓄積部（３００１）で登録されている生体データと関連付けられた決済情報が蓄積された決済情報蓄積部（３００７）と、前記顔認証決済用端末装置（０００１）の生体データ取得部（２００１）で取得された生体データと前記登録生体データ蓄積部（３００１）で蓄積されている登録生体データのそれぞれの特徴点を抽出照合して同一人物度を判定する同一人物ＡＩ判定部（３００２）を有し、該同一人物ＡＩ判定部（３００２）が、生体認証を実行する生体認証部（３０１０）と、前記生体データ取得部（２００１）で取得された顔画像と前記登録生体データ蓄積部（３００１）に登録蓄積されている顔画像とを解析して同一人物度をランク付けするランク付け手段（３００３）と、該ランク付け手段（３００３）で判定されたランクによって、追加の生体データの要否を判断する追認証判断手段（３００４）と、追認証判断手段で要追認証と判断された場合に、前記顔認証決済用端末装置（０００１）に対して追認証を要求する追認証要求手段（３０１５）と、前記追認証判断手段での認証結果に基づいて決済判定を行う決済判定手段（３０１６）等を有している。また更に、顔認証決済用サーバ（０００２）は、同一人物ＡＩ判定部（３００２）の前記決済判定手段（３０１６）による決済判定に基づいて決済処理を実行する決済実行部（３０１７）と、登録生体データ蓄積部（３００１）に蓄積されている顔画像を更新する顔画像更新部（３０１２）を有する。

【0027】

前記顔画像更新部（３０１２）は、所定の顔画像更新期間をカウントするタイマー手段（３０１３）と、顔認証決済用端末装置（０００１）から送信された顔画像を登録されている顔画像と置換する置換手段（３０１４）を有する 。

【0028】

そして、顔画像更新部（３０１２）では、前記タイマー手段（３０１３）で所定の更新期間の経過がカウントされ、その経過後において、前記同一人物ＡＩ判定部（３００２）におけるランク付け手段（３００３）で、ランクＡと判定された場合に、前記置換手段（３０１４）によって、前記顔認証決済用端末装置（０００１）から送信されてきた顔画像が登録生体データ蓄積部（３００１）に記憶されている顔画像と置換される。

【0029】

なお、前記顔画像更新部（３０１２）は、通常、ソフトウェアによって実現されるものである。

【0030】

前記同一人物ＡＩ判定部（３００２）は、後述する通り、登録生体データ蓄積部（３００１）に蓄積されている生体データを教師データとする機械学習によるディープニューラルネットワークの機能を有する。

【0031】

図４に示すように、前記登録生体データ蓄積部（３００１）は、本実施形態では、当該システムを利用する登録者の登録番号と共に、顔画像、指の静脈データ、眼の虹彩データおよび声の声紋データが蓄積されたデータベースである。前述した各生体データは暗号化されているのが好ましい。

【0032】

図５に示すように、前記決済情報蓄積部（３００７）は、より詳細には、登録者の登録番号とクレジットカードまたはデビットカード等の決済情報と前記顔画像等の生体データが対となって関連付けされて蓄積されているデータベースである。

【0033】

前記ランク付け手段（３００３）は、登録生体データ蓄積部（３００１）で登録蓄積されている顔画像と前記顔認証決済用端末装置（０００１）の生体データ取得部（２００１）で得られた顔画像のそれぞれの特徴点を抽出して比較し、その類似度によってランク付けを行う機能を有するものであり、通常、ソフトウェアによって実現される。

【0034】

図６に示すように、前記ランク付け手段（３００３）は、本実施形態では、Ａ～Ｄの合計４段階のランク付けを行う。より詳細には、前記ランク付け手段（３００３）において、Ａが、前述した登録された顔画像と取得された顔画像との特徴点の一致度が非常に高く、類似性が非常に強い場合である。Ｂは、登録された顔画像と取得された顔画像との特徴点の一致度が高いものの、一部に相違点があるため、類似性がある程度強い場合である。Ｃは、登録された顔画像と取得された顔画像との特徴点の一致性が認められるものの、相違点もあり、類似性が弱い場合である。Ｄは、登録された顔画像と取得された顔画像との特徴点の一致度が認められず、相違点が多く、類似性が認められない場合である。そして、これらランク付けは、通常、所定のパラメータ設定によって行われる。

【0035】

前記追認証判断手段（３００４）は、前記ランク付け手段（３００３）によるランク付けに基づいて、追認証の要否を判断する機能を有するものであり、通常、ソフトウェアによって実現されるが、回路で構成しても良い。

【0036】

図７に示すように、より詳細には、追認証判断手段（３００４）は、前記ランク付け手段（３００３）でランクＡの場合には追認証不要と判断し、ランクＢの場合には、追認証として他の静脈認証、虹彩認証または声紋認証のいずれか一つが必要と判断し、ランクＣの場合には、追認証として他の静脈認証、虹彩認証または声紋認証のいずれか二つが必要と判断し、ランクＤの場合には、追認証不可と判断する。

【0037】

そして、前記追認証要求手段（３０１５）は、前記追認証判断手段（３００４）で、ランクＢまたはランクＣと判断された場合に、これをトリガーとして、前記顔認証決済用端末装置（０００１）に対して所定の追認証要求を行う機能を有するものであり、通常、ソフトウェアによって実現されるが、ハードで構築しても良い。

【0038】

前記決済判定手段（３００６）は、前述した通り、前記追認証判断手段での認証結果に基づいて決済判定を行う機能を有するものであり、通常、ソフトウェアによって実現されるが、回路で構成しても良い。

【0039】

図８に示すように、より詳細には、決済判定手段（３００６）は、前述した生体認証部（３０１０）、前記ランク付け手段（３００３）、前記追認証判断手段（３００４）および前記追認証要求手段（３０１５）による認証処理において、前記ランクＡの場合には、直ちに決済可能判定を行い、前記ランクＤの場合には、直ちに決済不可判定を行う。また、前記ランクＢまたはランクＣであった場合には、一または二の追認証の結果によって、決済実行の可否を判定する。すなわち、追認証で同一人物と認証された場合には、決済実行判定を行い、追認証で同一人物と認証されなかった場合には、決済不可判定を行う。

【0040】

前記生体認証部（３０１０）は、同一人物ＡＩ判定部（３００２）における認証エンジンとして機能するものであり、通常、ソフトウェアによって実現される。

【0041】

そして、生体認証部（３０１０）は、前記制御部（３００９）と協働して、前述した登録生体データ蓄積部（３００１）に蓄積されている顔画像や静脈データ、虹彩データ、声紋データ等の生体データを教師データとして機械学習によるディープニューラルネットワーク機能によって、生体認証を実行するものである。

【0042】

図９に示すように、前記生体認証部（３０１０）は、全体の制御コントロールを担う機械学習制御部（９００１）と、教師用データを作成する教師用データ作成部（９００２）と、ディープラーニングによるＡＩを実行するディープラーニング部（９００３）を有する。

【0043】

前記ディープラーニング部（９００３）は、例えば、学習部（９１０１）、評価部（９１０２）および識別部（９１０３）を有する。そして、前記学習部（９１０１）は、学習完了前の識別部（９１０３）に対して、生体データに係る教師用データ（９１０４）を与えて教師有り学習をさせ、所定の正解率となったことで、前記識別部（９１０３）を学習済み識別部（９１０３）として構築するものとする。

【0044】

すなわち、本実施形態における前記ディープラーニング部（９００３）は、教師有り学習を行うディープラーニング（深層学習）である。そして、前記学習部（９１０１）は、前記教師用データ作成部（９００２）が作成した教師用データを前記識別部（９１０３）に与えて教師有り学習を行うことで、重み係数等のパラメータを最適値に調整する機能を有する。

【0045】

図１０に示すように、本実施形態では、教師用データ作成部（９００２）は、顔認証、静脈認証、虹彩認証および声紋認証に係る各生体データをグループａ１～グループａｎにグループ化して、複数のフォルダａＤを作成するものである。より詳細にはフォルダａＤのファイルは、顔画像、静脈データ、虹彩データおよび声紋データといったデータファイル化されている。そして、これらグループ分けされた教師用データは畳み込み画像分析処理（チャンネル）に供される。この場合、ＦＣＮ(Fully Convolutional Networks ; FCN)，ＣＮＮ（Convolutional Neural Network）等が用いられる。

【0046】

また、前記評価部（９１０２）は、前述した通り、前記構築される識別部（９１０３）が前記教師用データを用いてディープラーニングによる教師有りの機械学習を行って最終的に抽出された生体データの特定を行った結果に基づいて正解率を算出し、所定の正解率に達した時点で識別部（９１０３）が学習済みとなったことを評価する機能を有するものであり、通常、ソフトウェアによって実現される。

【0047】

図１１に示すように、前記ディープラーニング部（９００３）における前記識別部（９１０３）は、ニューラルネットワークのモデルを有し、例えば畳み込みニューラルネットワーク等が採用される。識別部（９１０３）は、入力層（１７０１）と、中間層（１７０２）と、出力層（１７０３）を有する。入力層（１７０１）は、複数のパーセプトロンａ１、ａ２、・・・，ａｊ，ａｎ＝計ｎ個を有する。すなわち、本実施形態では、入力層（１７０１）は、ある特定個のパーセプトロンａ１～ａｎを有し、そして、前記中間層（１７０２）は、前記複数のパーセプトロンで構成される複数層となる（畳み込み）。また、前記出力層（１７０３）は、最終的な顔画像等の生体データのＡＩ分析による出力結果を出力ｂ１～ｂ３として検出し、その結果に基づいて生体認証が行われる。

【0048】

そして、本発明では前述したようなディープラーニングニューラルネットワークによって、顔認証、静脈認証、虹彩認証および声紋認証が行われる。

【0049】

図１２に示すように、前記生体認証部（３０１０）において、例えば、前述したようなディープラーニングニューラルネットワークによる顔認証を行う場合、店舗（ＳＴ１～ＳＴ４）に設置された前記顔認証決済用端末装置（０００１）のカメラ（０００４）で撮影された顔画像ＦＩと前記顔認証決済用サーバ（０００２）の登録生体データ蓄積部（３００１）に蓄積されている登録顔画像Ｆ２の検出が行われ（Ｓ１２０１）、その後、それぞれの特徴点抽出が行われて（Ｓ１２０２）、それら特徴のデータ化（Ｓ１２０３）の後、特徴データの照合処理がされて（Ｓ１２０４）、前記類似度が算出される（Ｓ１２０５）。そして、該類似度によって、所定のパラメータ等で前記ランク付け手段（３００３）によるランク付けが行われる。

【0050】

次に、図１３に示すように、本実施形態に係る顔認証決済システムによる顔認証決済方法について説明すると、先ず、前記顔認証決済用端末装置（０００１）の生体データ取得部（２００１）で顔画像を撮影し（Ｓ１３０１），該顔画像を付した決済要求を前記顔認証決済用サーバ（０００２）に対して送信し（Ｓ１３０２）、該顔認証決済用サーバ（０００２）では前記決済要求を受信して受付け（Ｓ１３０３）、その後、前記撮影された顔画像を同一人物ＡＩ判定部（３００２）の生体認証部（３０１０）で認証し（Ｓ１３０４）、その該認証結果に基づいてランク付け手段（３００３）によるランク付けを行い（Ｓ１３０５）、その後、該ランク付けに基づいて追認証判断手段（３００４）で追認証の要否を判断し（Ｓ１３０６）、ランクＢまたはランクＣの場合に要追認証と判断されて、追認証要求手段（３０１５）から前記顔認証決済用端末装置（０００１）に対して、追認証要求が送信され（Ｓ１３０７）、該追認証要求を顔認証決済用端末装置（０００１）の追認証受付部（２００９）で受け付け（Ｓ１３０８）、その後、顔認証決済用端末装置（０００１）の生体データ取得部（２００１）で顔画像以外の静脈データ等の所定数の生体データを取得し（Ｓ１３０９）、該生体データを前記顔認証決済用サーバ（０００２）に対して送信し（Ｓ１３１０）、その後、顔認証決済用サーバ（０００２）の生体認証部（３０１０）で追認証に係る一または二の生体データの認証を行い（Ｓ１３１１）、該追認証に基づいて決済判定手段（３００６）で決済判定を行い（Ｓ１３１２）、決済可能と判定した場合には、決済実行部（３０１７）で所定の決済処理が実行される（Ｓ１３１３）。

【0051】

なお、前記ランク付け手段（３００３）によるランク付けで（Ｓ１３０５）、ランクがＡであった場合には、追認証要求手段（３０１５）で追認証要求不要と判断すると共に、決済実行部（３０１７）による決済処理が実行される（Ｓ１３１３）。一方、前記ランク付け手段（３００３）によるランク付けで（Ｓ１３０５）、ランクがＤであった場合には、追認証要求手段（３０１５）で追認証不可と判断すると共に、前記開始処理に戻される。

【0052】

また、顔認証決済用端末装置（０００１）からの決済要求に際し、送信されてきた顔画像が前記ランク付け手段（３００３）でランクＡであった場合には、前記顔画像更新部（３０１２）のタイマー手段（１３１３）で予め設定されている更新期間の経過を検知し（Ｓ１３１４）、経過している場合には、前記送信されてきた顔画像が、前記顔画像更新部（３０１２）の置換手段（３０１４）によって、登録生体データ蓄積部（３００１）に記憶されている顔画像と置換されて更新される（Ｓ１３１５）。

【産業上の利用可能性】

【0053】

本発明に係る顔認証決済システムは、人工知能ＡＩを使って認証のランク付けを行い、その後に追認証を要求するという二段階の生体認証によって、適切な決済処理が可能となるため、顔認証決済の分野において幅広い利用が期待できる。

【符号の説明】

【0054】

（０００１） 顔認証決済用端末装置
（０００２） 顔認証決済用サーバ
（０００４） カメラ
（２００１） 生体データ取得部
（２００９） 追認証受付部
（２０１１） 決済要求部
（３００１） 登録生体データ蓄積部
（３００２） 同一人物ＡＩ判定部
（３００３） ランク付け手段
（３００４） 追認証判断手段
（３００６） 決済要求受付部
（３００７） 決済情報蓄積部
（３００９） 制御部
（３０１０） 生体認証部
（３０１５） 追認証要求手段
（３０１６） 決済判定手段
（３０１７） 決済実行部

【要約】

【課題】 人工知能ＡＩを使った顔認証決済における偽陽性や偽陰性の問題を解消しつつ、信頼性が高く、且つ利便性も高い顔認証決済が行えるようにする。
【解決手段】 各店舗（ＳＴ１～ＳＴ４）に設置された顔認証決済用端末装置（０００１）と、該顔認証決済用端末装置（０００１）と通信接続されて顔認証による決済処理を行う顔認証決済用サーバ（０００２）を備え、前記顔認証決済用端末装置（０００１）は、顔画像を含む他の生体データを取得する生体データ取得部（２００１）を有し、前記顔認証決済用サーバ（０００２）は同一人物ＡＩ判定部（３００２）や顔認証のランク付けを行うランク付け手段（３０１０）、追認証判断手段（３００４）等を有する。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】