▶ サントリーホールディングス株式会社の特許一覧 ▶ 日本電気株式会社の特許一覧
特許7180869自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラム
(51)【国際特許分類】
G06Q 20/18 20120101AFI20221122BHJP
G06Q 30/06 20120101ALI20221122BHJP
G07F 7/08 20060101ALI20221122BHJP
G07F 7/12 20060101ALI20221122BHJP
【ＦＩ】
G06Q20/18
G06Q30/06
G07F7/08 Q
G07F7/12 A
【請求項の数】
14
(21)【出願番号】P 2018222207
(22)【出願日】2018-11-28
(65)【公開番号】P2020087093
(43)【公開日】2020-06-04
【審査請求日】2021-10-07
(73)【特許権者】
【識別番号】309007911
【氏名又は名称】サントリーホールディングス株式会社
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(74)【代理人】
【識別番号】100119415
【弁理士】
【氏名又は名称】青木 充
(74)【代理人】
【識別番号】100168310
【弁理士】
【氏名又は名称】▲高▼橋 幹夫
(72)【発明者】
【氏名】松瀬 侑
(72)【発明者】
【氏名】岡本 宏之
(72)【発明者】
【氏名】清水 康孝
(72)【発明者】
【氏名】池上 輝哉
【審査官】速水 雄太
(56)【参考文献】
【文献】特開２０１７－０６８３７０（ＪＰ，Ａ）
【文献】特開２０１１－０９０４０７（ＪＰ，Ａ）
【文献】特開２０１３－１９６０４６（ＪＰ，Ａ）
【文献】特開２００４－２５８９６３（ＪＰ，Ａ）
【文献】特開２００４－０３０３３４（ＪＰ，Ａ）
【文献】特開２０１７－０９７７４３（ＪＰ，Ａ）
【文献】特開２０１７－１６２１９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０７Ｆ ７／１２
Ｇ０７Ｆ ７／０８
(57)【特許請求の範囲】
【請求項1】
顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、
前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、自動販売機と、
を含み、
前記自動販売機は、自装置周辺に存在する顧客を検出するのに応じて、
検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成し、
前記顔認証サーバは、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成し、
前記自動販売機は、前記顧客を検出するタイミングと異なるタイミングにおいて、
商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成し、
前記顔認証サーバは、
前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行う、
自動販売機決済システム。
【請求項2】
前記第１及び第３の特徴ベクトルの次数は、前記第２及び第４の特徴ベクトルの次数よりも低い、請求項１の自動販売機決済システム。
【請求項3】
前記第２及び第４の特徴ベクトルのそれぞれは、前記第１及び第３の特徴ベクトルそれぞれに含まれる特徴量とは異なる種類の特徴量を要素として含む、請求項１又は２の自動販売機決済システム。
【請求項4】
前記自動販売機は、撮像した画像データに顔画像が含まれる場合に、自装置の周辺に顧客が存在すると判断し、前記自装置の周辺に存在する顧客の顔画像から前記第３の特徴ベクトルを生成する、請求項１乃至３のいずれか一項に記載の自動販売機決済システム。
【請求項5】
前記自動販売機は、撮像した画像データに複数の顔画像が含まれる場合に、前記複数の顔画像それぞれから前記第３の特徴ベクトルを生成する、請求項４の自動販売機決済システム。
【請求項6】
前記顔認証サーバは、前記複数の顔画像それぞれから生成された第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い前記第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として複数生成し、前記生成された複数の顔認証候補を前記顔認証に用いる、請求項５の自動販売機決済システム。
【請求項7】
複数の前記自動販売機が含まれ、前記顔認証サーバは、前記複数の自動販売機からの顔認証の要求を処理する、請求項１乃至６のいずれか一項に記載の自動販売機決済システム。
【請求項8】
前記顔認証サーバは、前記自動販売機ごとに、前記顔認証候補と前記顔認証候補の生成に使用した第３の特徴ベクトルを対応付ける生成済み候補リストを生成し、
同じ自動販売機から同じ前記第３の特徴ベクトルを取得した場合には、前記データベースから第１の特徴ベクトルを抽出する処理を行わず、前記生成済み候補リストの顔認証候補を顔認証に用いる、請求項７に記載の自動販売機決済システム。
【請求項9】
前記顔認証サーバは、前記自動販売機ごとに、顔認証に成功した前記第４の特徴ベクトルからなる認証成功リストを生成し、
前記顔認証候補に優先して前記認証成功リストを参照して顔認証を行う、請求項８の自動販売機決済システム。
【請求項10】
前記顔認証サーバは、前記認証成功リストにおいて顔認証に成功した回数を前記第４の特徴ベクトルに対応付けて管理し、前記顔認証に成功した回数が所定の値よりも小さい前記第４の特徴ベクトルを前記認証成功リストから削除する、請求項９の自動販売機決済システム。
【請求項11】
前記顔認証サーバは、前記複数の自動販売機をグループ分けし、同一のグループに属する前記自動販売機に関する前記生成済み候補リスト、及び／又は、前記認証成功リストを共有する、請求項９又は１０の自動販売機決済システム。
【請求項12】
顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、に接続され、
前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、装置であって、
自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成し、
前記顔認証サーバに対して前記第３の特徴ベクトルを送信すると共に、前記顔認証サーバに、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成することを要求し、
前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成し、
前記顔認証サーバに対して、前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行うように要求する、
自動販売機。
【請求項13】
顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、
商品購入に関する決済を行う、決済サーバと、
前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、自動販売機と、
を含む自動販売機決済システムにおいて、
自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成するステップと、
前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成するステップと、
前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成するステップと、
前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行うステップと、
を含む、自動販売機決済方法。
【請求項14】
顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、に接続され、前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、自動販売機に搭載されたコンピュータに、
自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成する処理と、
前記顔認証サーバに対して前記第３の特徴ベクトルを送信すると共に、前記顔認証サーバに、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成することを要求する処理と、
前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成する処理と、
前記顔認証サーバに対して、前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行うように要求する処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラムに関する。
【背景技術】
【0002】
近年、自動販売機は高機能化している。例えば、現金を用いた通常の決済（商品購入）だけでなく、ＩＣ（Integrated Circuit）カードによる決済に対応した自動販売機の普及が始まっている。また、スマートフォン等の端末を介して自動販売機とサーバを接続し、当該サーバを通じて種々のサービスを顧客に提供するシステムが存在する。例えば、特許文献１には、顧客の商品購入に応じてポイントを付与する自動販売機が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－２２００３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自動販売機は、駅や商業施設内に設置されているだけでなく、職場や学校等に設置されていることも多い。職場では財布等の現金やＩＣカードを常に携帯していない人も多く、このような人が自動販売機にて商品を購入しようと思えば財布等を持ち出して自動販売機まで出向く必要がある。しかし、財布等を持ち出すことを手間であると考える人もおり、手ぶらで商品購入をしたいという要望がある。このような要望に応えるため、自動販売機を含むシステムに顔認証機能を組み込むことが考えられる。
【0005】
しかし、単に顔認証機能を組み込んだだけでは、顧客による商品選択から決済完了までの時間が長くなり、自動販売機の持つ利便性が低下する。つまり、膨大なデータ（顧客の識別子と認証情報）を有するデータベースから決済の対象となる顧客を特定するためには、多くの処理時間を必要とする。
【0006】
換言すれば、商品を選択してから決済が完了するまでの長い時間、顧客は自動販売機の面前で待機しなければならず、このような顧客への強要は「早く商品を購入したい」という顧客の意図に反するものであり許容されない。
【0007】
そこで、顔認証による迅速な決済を可能とすることに寄与する、自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラムを提供することが望まれる。
【課題を解決するための手段】
【0008】
本発明乃至開示の第１の視点によれば、顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、自動販売機と、を含み、前記自動販売機は、自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成し、前記顔認証サーバは、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成し、前記自動販売機は、前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成し、前記顔認証サーバは、前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行う、自動販売機決済システムが提供される。
【0009】
本発明乃至開示の第２の視点によれば、顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、に接続され、前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、装置であって、自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成し、前記顔認証サーバに対して前記第３の特徴ベクトルを送信すると共に、前記顔認証サーバに、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成することを要求し、前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成し、前記顔認証サーバに対して、前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行うように要求する、自動販売機が提供される。
【0010】
本発明乃至開示の第３の視点によれば、顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、サーバであって、前記データベースに記憶された第１の特徴ベクトルであって、自動販売機により生成された第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成し、前記自動販売機が商品を購入しようとする顧客の顔画像から生成した第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行う、顔認証サーバが提供される。
【0011】
本発明乃至開示の第４の視点によれば、顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、自動販売機と、を含む自動販売機決済システムにおいて、自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成するステップと、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成するステップと、前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成するステップと、前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行うステップと、を含む、自動販売機決済方法が提供される。
【0012】
本発明乃至開示の第５の視点によれば、顧客ＩＤ（Identifier）と、前記顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う、顔認証サーバと、商品購入に関する決済を行う、決済サーバと、に接続され、前記顔認証サーバに顔認証を要求し、前記顔認証サーバによる認証が成功した顧客が購入する商品の決済を前記決済サーバに要求する、自動販売機に搭載されたコンピュータに、自装置周辺に存在する顧客を検出するのに応じて、検出した前記顧客の顔画像から前記第１の特徴ベクトルに対応する第３の特徴ベクトルを生成する処理と、前記顔認証サーバに対して前記第３の特徴ベクトルを送信すると共に、前記顔認証サーバに、前記データベースに記憶された第１の特徴ベクトルであって、前記第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出し、前記抽出された第１の特徴ベクトルに対応する前記顧客ＩＤからなるリストを顔認証候補として生成することを要求する処理と、前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成する処理と、前記顔認証サーバに対して、前記第４の特徴ベクトルと、前記顔認証候補に含まれる顧客ＩＤに対応する前記第２の特徴ベクトルと、に基づき、前記商品を購入しようとする顧客の顔認証を行うように要求する処理と、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【0013】
本発明乃至開示の各視点によれば、顔認証による迅速な決済を可能とすることに寄与する、自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラムが、提供される。
【図面の簡単な説明】
【0014】
【図1】一実施形態の概要を説明するための図である。
【図2】第１の実施形態に係る自動販売機決済システムの一例を示す図である。
【図3】第１の実施形態に係る自動販売機決済システムの動作の一例を示すシーケンス図である。
【図4】第１の実施形態に係る自動販売機の概略の一例を示す図である。
【図5】第１の実施形態に係る自動販売機のハードウェア構成の一例を示す図である。
【図6】第１の実施形態に係る自動販売機の処理構成の一例を示す図である。
【図7】顔画像抽出部の動作を説明するための図である。
【図8】顔画像抽出部の動作を説明するための図である。
【図9】特徴ベクトル生成部の動作を説明するための図である。
【図10】特徴ベクトル生成部の動作を説明するための図である。
【図11】第１の実施形態に係る顔認証サーバのハードウェア構成の一例を示す図である。
【図12】第１の実施形態に係る顔認証サーバの処理構成の一例を示す図である。
【図13】第１の実施形態に係る顔認証サーバの内部データベースに格納される情報の一例を示す図である。
【図14】第１の実施形態に係る自動販売機決済システムの動作の一例を示すシーケンス図である。
【図15】第１の実施形態に係る自動販売機決済システムの動作の一例を示すシーケンス図である。
【図16】第１の実施形態に係る自動販売機決済システムの動作の一例を示すシーケンス図である。
【図17】第１の実施形態に係る自動販売機の動作を説明するための図である。
【図18】第１の実施形態に係る自動販売機の動作を説明するための図である。
【図19】第１の実施形態に係る自動販売機決済システムの別の動作の一例を示すシーケンス図である。
【図20】第１の実施形態に係る自動販売機の動作を説明するための図である。
【図21】第２の実施形態に係る顔画像抽出部の動作を説明するための図である。
【図22】第２の実施形態に係る顔認証サーバの動作を説明するための図である。
【図23】第３の実施形態に係る決済制御部の動作を説明するための図である。
【図24】自動販売機の別の概略の一例を示す図である。
【発明を実施するための形態】
【0015】
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。
【0016】
一実施形態に係る自動販売機決済システムは、顔認証サーバ１０１と、決済サーバ１０２と、自動販売機１０３と、を含む（図１参照）。顔認証サーバ１０１は、 顧客ＩＤ（Identifier）と、顧客ＩＤに対応する人物の顔画像から生成された第１、第２の特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う。決済サーバ１０２は、商品購入に関する決済を行う。自動販売機１０３は、顔認証サーバ１０１に顔認証を要求し、顔認証サーバ１０１による認証が成功した顧客が購入する商品の決済を決済サーバ１０２に要求する。自動販売機１０３は、自装置周辺に存在する顧客を検出するのに応じて、検出した顧客の顔画像から第１の特徴ベクトルに対応する第３の特徴ベクトルを生成する。顔認証サーバ１０１は、データベースに記憶された第１の特徴ベクトルであって、第３の特徴ベクトルとの間の類似度が所定の閾値よりも高い第１の特徴ベクトルを抽出する。さらに、顔認証サーバ１０１は、抽出された第１の特徴ベクトルに対応する顧客ＩＤからなるリストを顔認証候補として生成する。自動販売機１０３は、前記顧客を検出するタイミングと異なるタイミングにおいて、商品を購入しようとする顧客の顔画像から第４の特徴ベクトルを生成する。顔認証サーバ１０１は、第４の特徴ベクトルと、顔認証候補に含まれる顧客ＩＤに対応する第２の特徴ベクトルと、に基づき、商品を購入しようとする顧客の顔認証を行う。
【0017】
自動販売機１０３は、自装置前の顧客を認識すると、当該認識した顧客の顔画像から第３の特徴ベクトル（後述する概略特徴ベクトル）を生成する。顔認証サーバ１０１は、自動販売機１０３から送信されてくる第３の特徴ベクトルを利用し、データベースに格納された膨大な顧客のなかから、自動販売機１０３の面前に存在する顧客と類似する特徴を持つ顧客を予め絞り込む。当該絞込には、顧客の顔画像から生成された第３の特徴ベクトルに対応する第１の特徴ベクトル（後述する絞込特徴ベクトル）が用いられる。その後、自動販売機１０３は、商品の購入意志を持つ顧客の顔画像から第４の特徴ベクトル（後述する詳細特徴ベクトル）を生成する。顔認証サーバ１０１は、先に生成した顔認証候補に含まれる顧客を認証対象として扱う。顔認証サーバ１０１は、顔認証候補に含まれる顧客の顔を詳細に特徴付ける第２の特徴ベクトル（後述する認証特徴ベクトル）と、自動販売機１０３から取得した第４の特徴ベクトルと、を用いて顔認証を実行する。
【0018】
このように、図１に示す自動販売機決済システムでは、自動販売機１０３が顧客（将来の顧客）を認識すると、当該顧客の顔を特徴付ける特徴ベクトルを顔認証サーバ１０１に送信し、今後、顔認証が生じるであろう顧客を予め絞り込んでおく。その後、自動販売機１０３は、実際に顧客が商品を購入する意思を示すと、当該顧客の顔をより詳細に特徴付ける特徴ベクトルを顔認証サーバ１０１に送信して顔認証の実行を依頼する。顔認証サーバ１０１では、予め絞り込まれた顧客のなかから商品を購入しようとする顧客を特定（認証）すればよいため、顔認証による迅速な決済が実現できる。
【0019】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
【0020】
［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。
第１の実施形態について、図面を用いてより詳細に説明する。
【0021】
図２は、第１の実施形態に係る自動販売機決済システムの一例を示す図である。図２を参照すると、自動販売機決済システムは、自動販売機１０－１～１０－Ｎ（Ｎは正の整数、以下同じ）と、顔認証サーバ２０と、決済サーバ３０と、を含んで構成される。
【0022】
なお、以降の説明において、自動販売機１０－１～１０－Ｎを区別する特段の理由がない場合には、単に「自動販売機１０」と表記する。
【0023】
自動販売機１０は、飲料等の商品を無人で販売する装置である。自動販売機１０は、現金及びＩＣカードを用いた既存の決済手段に加え、顔認証等による決済に対応している。
【0024】
顔認証サーバ２０は、自動販売機１０にて商品を購入しようとする顧客の認証を行う装置である。顔認証サーバ２０は、システムに含まれる複数の自動販売機１０からの顔認証の要求を処理する。顔認証サーバ２０は、予め登録された顧客を識別する識別子（ＩＤ；IDentifier）と顧客の顔画像から抽出された特徴量（特徴ベクトル）を対応付けて記憶している。なお、顔認証サーバ２０に登録される特徴ベクトルには２種類存在するが、各特徴ベクトルの詳細は後述する。
【0025】
決済サーバ３０は、顧客による商品購入に関する決済を行う装置である。より具体的には、決済サーバ３０は、顔認証にて正当性が確認された顧客の商品購入に関する決済処理を行う。決済サーバ３０は、予め登録された顧客の識別子（ＩＤ）と決済に用いる情報（例えば、クレジットカードに関する情報）を対応付けて記憶している。
【0026】
なお、図２に示す自動販売機決済システムを利用する顧客は、自分の顔画像を自動販売機１０の運営会社等に送信し、当該顔画像から抽出された特徴ベクトルを顔認証サーバ２０に予め登録しておく必要がある。同様に、顧客は、決済に使用するカード情報を上記運営会社等に連絡し、当該カード情報を決済サーバ３０に予め登録しておく必要ある。また、特に制限されないが、顔認証サーバ２０と決済サーバ３０に登録する顧客ＩＤは共通とすることが望ましい。２つのサーバで同じ顧客ＩＤを用いることで、顧客ＩＤの相互変換等が不要となるためである。
【0027】
これらの情報登録には、運営会社のホームページを利用した登録、スマートフォン等の端末を利用した登録、必要情報を記入した書類を送付することによる登録等種々の形態があり得る。また、これらの登録処理は、当業者にとって明らかであり、その詳細な説明を省略する。
【0028】
なお、顔認証サーバ２０に登録する特徴ベクトルは、自動販売機１０から送信される情報（特徴ベクトル）と整合をとる必要がある。この点に関する説明は後述する。
【0029】
図２に示す構成は例示であって、システムの構成を限定する趣旨ではない。例えば、自動販売機決済システムには、顔認証に対応していない自動販売機が含まれていてもよい。あるいは、顔認証サーバ２０と決済サーバ３０の機能を有する１台のサーバ装置を用意してもよい。あるいは、顔認証サーバ２０等が利用するデータベースを管理するデータベースサーバ等がシステムに含まれていてもよい。
【0030】
［システムの概略動作］
続いて、図３を参照しつつ、第１の実施形態に係る自動販売機決済システムの概略動作を説明する。
続いて、図３を参照しつつ、第１の実施形態に係る自動販売機決済システムの概略動作を説明する。
【0031】
図３は、第１の実施形態に係る自動販売機決済システムの動作の一例を示すシーケンス図である。なお、図３に示すシーケンス図は、顧客が商品購入時の決済手段として顔認証を選択する場合の動作を示す。現金による決済等を含む動作の詳細は後述する。
【0032】
自動販売機１０は、自装置の周辺に「人」が現れると当該人物を検出する（ステップＳ０１）。
【0033】
「人」を検出すると、自動販売機１０は、自装置の動作モードを「選択モード」に設定する。なお、選択モードは、自動販売機１０の周辺に存在する人（顧客）が購入する商品を選択している（商品を購入しようとしている）と想定されるモードである。
【0034】
選択モードに遷移する前の動作モードは「待機モード」である。待機モードは、顧客が自動販売機１０の面前に現れるのを待つモードである。
【0035】
選択モードの自動販売機１０は、周辺に存在する人物の顔画像を取得し、当該顔画像から特徴ベクトルを生成する（ステップＳ０２）。
【0036】
特徴ベクトルの生成が終了すると、自動販売機１０は、顔認証サーバ２０に対して「絞込要求」を送信する。その際、自動販売機１０は、自装置のＩＤ、上記生成した特徴ベクトルを絞込要求に含めて顔認証サーバ２０に送信する。
【0037】
以下、絞込要求と共に送信する特徴ベクトルを「概略特徴ベクトル」と表記する。概略特徴ベクトルは、顔画像の大まかな特徴を特徴付けるベクトル（複数の特徴量を要素とする集合）であり、顔認証に用いた場合の精度は低いという特性を持つ。
【0038】
顔認証サーバ２０は、絞込要求を受信し、概略特徴ベクトルを取得する。顔認証サーバ２０は、取得した概略特徴ベクトルと、内部のデータベース（顧客ＩＤと特徴ベクトルを対応付けるデータベース）に格納された特徴ベクトルと、を用いて「顔認証候補」を生成する（ステップＳ１１）。
【0039】
顔認証候補とは、内部データベースに登録された特徴ベクトルであって、自動販売機１０から取得した概略特徴ベクトルとの間の類似度が所定の閾値よりも高い特徴ベクトルに対応する顧客（顧客ＩＤ）のリストである。より具体的には、顔認証サーバ２０は、内部データベースに登録された多数の顧客の中から、取得した概略特徴ベクトルに類似する（顔が似ている）小数の顧客を抽出し、当該抽出した顧客を「顔認証処理の候補」に設定する。なお、概略特徴ベクトルが有する上記特性（認証精度は低い）から、通常、複数の顧客（特徴ベクトル）が抽出される。
【0040】
顔認証サーバ２０の「顔認証候補」に関する生成処理に並行して、自動販売機１０は、顧客が商品を選択したか否かを判定する。具体的には、自動販売機１０は、顧客による商品選択操作（例えば、商品サンプルに対応付けられたボタンの押下）を検出する（ステップＳ０３）。
【0041】
顧客による商品購入動作を検出すると、自動販売機１０は、顧客が決済手段を選択するための表示を行う（決済選択画面を表示；ステップＳ０４）。例えば、自動販売機１０は、ＩＣカードによる決済及び顔認証による決済のいずれかを選択するように顧客を促す表示を行う。ここでは、「顔認証」による決済が選択されたものとする。
【0042】
顔認証による決済が選択されると、自動販売機１０は、自装置の動作モードを「認証モード」に設定する。認証モードは、顧客が商品購入を完了させるための顔認証を行うモードである。
【0043】
認証モードの自動販売機１０は、商品を選択した顧客の顔画像を取得し、当該顔画像から特徴ベクトルを生成する（ステップＳ０５）。
【0044】
特徴ベクトルの生成が終了すると、自動販売機１０は、顔認証サーバ２０に対して「認証要求」を送信する。その際、自動販売機１０は、自装置のＩＤ、上記生成した特徴ベクトルを認証要求に含めて顔認証サーバ２０に送信する。
【0045】
以下、認証要求と共に送信する特徴ベクトルを「詳細特徴ベクトル」と表記する。詳細特徴ベクトルは、顔画像の詳細な特徴を特徴付けるベクトルであり、顔認証に用いた場合の精度は高いという特性を持つ。
【0046】
顔認証サーバ２０は、認証要求を受信し、詳細特徴ベクトルを取得する。自動販売機１０は、先に生成した顔認証候補に含まれる顧客それぞれに対応する特徴ベクトルと、取得した詳細特徴ベクトルと、を用いて、顔認証サーバ２０から送信された詳細特徴ベクトルに対応する人物の認証を行う（ステップＳ１２）。
【0047】
顔認証サーバ２０は、自動販売機１０に向けて認証結果を送信する。具体的には、顔認証サーバ２０は、自動販売機１０から送信された詳細特徴ベクトルに対応する人物（認証対象の人物）が正当な権限を持つ場合（被認証者の証明を受理する場合）、認証結果として「認証成功」を送信する。
【0048】
対して、顔認証サーバ２０は、認証対象の人物が正当な権限を持たない場合（被認証者の証明を棄却する場合）、認証結果として「認証失敗」を送信する。なお、顔認証サーバ２０は、少なくとも認証成功に係る認証結果を自動販売機１０に送信する際には認証に成功した顧客のＩＤも合わせて送信する。
【0049】
顔認証サーバ２０から「認証成功」の認証結果を取得した場合、自動販売機１０は、顔認証サーバ２０により認証された顧客ＩＤを指定しつつ、決済サーバ３０に対して当該顧客による商品購入に関する決済処理を要求する（ステップＳ０６）。
【0050】
決済サーバ３０は、決済情報（顧客ＩＤ、決済金額）を取得すると、指定されたＩＤの顧客に関する決済を実行し、その結果を自動販売機１０に通知する（ステップＳ２１）。
【0051】
自動販売機１０は、決済サーバ３０から「決済は正常終了」に係る通知を受信した場合に、選択された商品を排出する（ステップＳ０７）。その際、自動販売機１０は、顔認証による決済は終了したので自装置の動作モードを「待機モード」に設定し、新たな顧客による商品購入に備える。
【0052】
続いて、自動販売機決済システムをなす各装置の詳細について説明する。
【0053】
［自動販売機の外観］
図４は、自動販売機１０の概略の一例を示す図である。図４に示すように、自動販売機１０には、商品サンプル１１と商品を選択するための選択ボタン１２が含まれる。顧客は、選択ボタン１２を押下することで希望する商品の選択を行う。
図４は、自動販売機１０の概略の一例を示す図である。図４に示すように、自動販売機１０には、商品サンプル１１と商品を選択するための選択ボタン１２が含まれる。顧客は、選択ボタン１２を押下することで希望する商品の選択を行う。
【0054】
自動販売機１０は、複数種類の決済手段に対応している。具体的には、自動販売機１０は、現金、ＩＣカード及び顔認証による決済に対応している。なお、上記決済手段は例示であって、例えば、自動販売機１０はＩＣカードによる決済に対応していなくともよい。
【0055】
現金による決済を希望する顧客は、希望する商品の代金以上の金額を現金投入口１３から投入し、希望する商品が選択可能となった後に選択ボタン１２を押下する。
【0056】
一方、ＩＣカードや顔認証による決済を希望する顧客は、希望する商品に対応する選択ボタン１２を押下した後に、いずれかの手段により決済する。その際、自動販売機１０は、ＩＣカードによる支払いを希望するのか、顔認証による支払いを希望するのかを選択するための表示を行い、顧客の選択に応じた決済処理を行う。
【0057】
具体的には、ＩＣカードによる支払いを希望する場合には、顧客は、ＩＣカードリーダ１４にＩＣカードを近づけ支払いを完了する。顔認証による支払いを希望する場合には、顧客は、特段の動作を行わず顔認証による決済が完了するのを待てば良い。但し、必要に応じて液晶パネル１５（表示手段）に顔画像の取得に関する表示がなされるので、顧客は当該表示される指示に従って顔認証による決済を完了させる。
【0058】
現金、ＩＣカード及び顔認証のいずれかによる決済が正常に終了すると、排出口１６から商品が排出される。
【0059】
なお、図４には、商品サンプル１１を陳列するタイプの自動販売機の外観を図示しているが、商品サンプルと対応する選択ボタンを液晶パネルで表示するタイプの自動販売機でもよいことは勿論である。
【0060】
［自動販売機のハードウェア構成］
図５は、第１の実施形態に係る自動販売機１０のハードウェア構成の一例を示す図である。自動販売機１０は、図５に例示する構成を備える。例えば、自動販売機１０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）２１、メモリ２２、表示モジュール２３、カメラモジュール２４、アンテナ２５に接続された無線通信モジュール２６等を備える。
図５は、第１の実施形態に係る自動販売機１０のハードウェア構成の一例を示す図である。自動販売機１０は、図５に例示する構成を備える。例えば、自動販売機１０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）２１、メモリ２２、表示モジュール２３、カメラモジュール２４、アンテナ２５に接続された無線通信モジュール２６等を備える。
【0061】
なお、図５に示す構成は、自動販売機１０のハードウェア構成を限定する趣旨ではない。自動販売機１０は、図示しないハードウェアも含む。具体的には、図５には、自動販売機１０が有する自動販売機としての機能を実現するためのハードウェア（商品を格納する格納手段、顧客が選択した商品を外部に排出する手段、商品購入代金を処理する手段等）が図示されていない。これらのハードウェアは既存の自動販売機にて用いられている手段を使用することができる。
【0062】
自動販売機１０は、無線通信モジュール２６を介してネットワークにアクセスし、顔認証サーバ２０、決済サーバ３０と通信を行う。なお、自動販売機１０は無線通信に変えて、イーサネット（登録商標）等の有線によりネットワークと接続されていてもよい。
【0063】
メモリ２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等である。
【0064】
表示モジュール２３は、液晶パネル１５を含んで構成される。表示モジュール２３は、ＣＰＵ２１から表示データを受け取り、当該表示データを用いて液晶パネル１５を駆動することで、顧客に情報を提供する。また、表示モジュール２３は、タッチパネル等の操作デバイスを含む。当該操作モジュールは、タッチパネル等による顧客の操作を検出し、その結果（例えば、顧客による押下座標）を操作データとしてＣＰＵ２１に出力する。
【0065】
なお、液晶パネル１５とタッチパネルを一体として構成することにより、ＧＵＩ（Graphical User Interface）を構築することができる。第１の実施形態に係る自動販売機１０は、液晶パネル１５とタッチパネルが一体して構成されているものとして説明を行う。
【0066】
カメラモジュール２４は、レンズ等の光学系の部品と、受光素子やメモリ等の電子系の部品と、を含んで構成される。カメラモジュール２４は、所定の周期にて自動販売機１０の周辺を撮影し、撮像データをＣＰＵ２１に出力するように構成される。あるいは、ＣＰＵ２１がカメラモジュール２４に指示を行うことで、定期的に撮像データを取得するようにしてもよい。なお、自動販売機１０が有するカメラは、少なくとも商品を購入しようとする顧客の顔を含む正面が撮像できるように設置される。
【0067】
後述する自動販売機１０の各処理モジュールは、例えば、メモリ２２に格納されたプログラムをＣＰＵ２１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。
【0068】
［自動販売機の処理構成］
自動販売機１０は、顔認証サーバ２０に顔認証を要求し、顔認証サーバ２０による認証が成功した顧客が購入する商品の決済を決済サーバ３０に要求する機能を有する。自動販売機１０は、当該機能を実現するため下記の処理モジュールを備える。
自動販売機１０は、顔認証サーバ２０に顔認証を要求し、顔認証サーバ２０による認証が成功した顧客が購入する商品の決済を決済サーバ３０に要求する機能を有する。自動販売機１０は、当該機能を実現するため下記の処理モジュールを備える。
【0069】
図６は、第１の実施形態に係る自動販売機１０の処理構成の一例を示す図である。図６を参照すると、自動販売機１０は、通信制御部３０１と、自動販売機制御部３０２と、決済制御部３０３と、顔画像抽出部３０４と、特徴ベクトル生成部３０５と、記憶部３０６と、を含んで構成される。
【0070】
通信制御部３０１は、他の装置（顔認証サーバ２０、決済サーバ３０）との間の通信を制御する手段である。
【0071】
自動販売機制御部３０２は、自動販売機としての機能を制御（実現）する手段である。例えば、自動販売機制御部３０２は、選択ボタン１２の制御（ボタンの点灯、消滅）、ＩＣカードによる決済、決済が完了した商品の排出等を実現する。
【0072】
決済制御部３０３は、主に顧客の顔決済に係る自動販売機１０の制御を行う手段である。具体的には、決済制御部３０３は、上述の３つの動作モード（待機モード、選択モード、認証モード）に関する状態遷移を管理する。
【0073】
また、決済制御部３０３は、表示モジュール２３を制御し、上述の決済選択画面等の表示を液晶パネル１５に行って顧客にＧＵＩを提供する。
【0074】
さらに、決済制御部３０３は、レンズに映る状況を撮像して得られる画像データ（撮像データ）をカメラモジュール２４から取得する。決済制御部３０３は、カメラモジュール２４から画像データを取得すると、当該画像データを顔画像抽出部３０４に引き渡す。
【0075】
顔画像抽出部３０４は、取得した画像データから顔画像（人の顔に相当する領域）を抽出する手段である。
【0076】
例えば、特開２０１４－１７０９７９号公報（参考文献１）に開示されているように、顔画像抽出部３０４は、取得した画像データ（顔画像を含むデータ）と、顔画像のテンプレート画像と、を比較する。その後、顔画像抽出部３０４は、両者の差分が閾値以下であるか否かにより、取得した画像データにおける顔画像の存否を判定する。
【0077】
取得した画像データに顔画像が存在する場合に、顔画像抽出部３０４は、当該顔画像の領域を切り出して顔画像を抽出する。
【0078】
なお、顔画像の抽出には種々の方法が考えられ、上記内容に限定されないのは勿論である。例えば、色情報やエッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、入力フレームからモデルに類似した領域が検出された場合に顔画像が存在すると判定し、顔画像を抽出することもできる。
【0079】
さらに、顔（頭部）の輪郭は楕円、目や口は矩形形状をしていることを利用して作成したテンプレートを使用し、顔画像を抽出することも可能である。さらにまた、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用した顔検出手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法等を用いてもよい。
【0080】
あるいは、大量の顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法を用いてもよい。即ち、ディープラーニングやサポートベクターマシン等の機械学習に係る技術を顔画像の抽出に用いてもよい。
【0081】
顔画像抽出部３０４は、自動販売機１０の動作モードに応じて顔画像抽出動作を切り替える。
【0082】
動作モードが「待機モード」の場合には、顔画像抽出部３０４は、取得した画像データからなるべく多くの顔画像を抽出するように動作する。例えば、顔画像抽出部３０４は、上記参考文献１の技術を適用する際、顔画像の存否に利用する閾値を低く設定し、多くの画像が顔画像として抽出されるようにする。
【0083】
より具体的には、顧客が自動販売機１０に対して正対していない場合や、顧客が自動販売機１０から離れた距離に位置し顔画像と想定される領域が小さい場合であっても、顔画像抽出部３０４は、画像データから顔画像の抽出を試みる。
【0084】
例えば、顔画像抽出部３０４は、図７に示す画像データを取得したとする。この場合、顔画像抽出部３０４は、図７（ａ）及び図７（ｂ）の画像データそれぞれから点線に囲まれた領域を顔画像として抽出する。つまり、図７（ａ）に示すような適切なサイズの顔画像だけではなく、図７（ｂ）に示すような小さいサイズの顔画像も抽出される。
【0085】
顔画像抽出部３０４は、顔画像の抽出に成功すると、当該抽出した顔画像を記憶部３０６に格納すると共に、決済制御部３０３に対してその旨（顔画像の抽出成功）を通知する。
【0086】
決済制御部３０３は、「待機モード」時に顔画像抽出部３０４が少なくとも１つの顔画像を抽出した場合に、自装置前に顧客が存在すると判定し、動作モードを「選択モード」に設定する。このように、自動販売機１０は、待機モード中に撮像した画像データに顔画像が含まれる場合に、自装置の周辺に顧客が存在すると判断する。
【0087】
動作モードが「認証モード」の場合には、顔画像抽出部３０４は、所定の条件を満たす顔画像を抽出するように動作する。例えば、顔画像抽出部３０４は、商品を購入しようとする顧客の顔画像のサイズが所定の大きさよりも大きい場合に、上記所定の条件をみたすと判断する。より具体的には、顔画像抽出部３０４は、抽出された顔画像の面積（画像のサイズ）に対して閾値処理を施し、所定の面積以上の顔画像を抽出する。
【0088】
例えば、顔画像抽出部３０４は、図８に示す２つの画像データを取得したとする。この場合、顔画像抽出部３０４は、図８（ａ）に示す顔画像は所定の面積以上であると判定し抽出する。一方、顔画像抽出部３０４は、図８（ｂ）に示す顔画像は所定の面積よりも小さいと判定し抽出しない。顔画像抽出部３０４は、所定の条件を満たす顔画像の抽出に成功した場合には、当該抽出した顔画像を記憶部３０６に格納すると共に、その旨を決済制御部３０３に通知する。
【0089】
また、顔画像を抽出したが、当該顔画像が所定の条件を満たさない場合には、顔画像抽出部３０４は、その旨を決済制御部３０３に通知する。例えば、顔画像抽出部３０４は、顔画像を抽出したが、その大きさが予め定めた大きさよりも小さい旨を通知する。
【0090】
特徴ベクトル生成部３０５は、顔画像抽出部３０４が抽出した顔画像から特徴ベクトルを生成する手段である。特徴ベクトル生成部３０５は、自動販売機１０の動作モードに応じて特徴ベクトル生成処理を切り替える。
【0091】
より具体的には、動作モードが「選択モード」の場合には、特徴ベクトル生成部３０５は「概略特徴ベクトル」を生成する。動作モードが「認証モード」の場合には、特徴ベクトル生成部３０５は「詳細特徴ベクトル」を生成する。
【0092】
なお、特徴ベクトル生成部３０５は、特徴ベクトルの生成にあたり顔画像の正規化を行う。顔画像抽出部３０４により抽出された顔画像は、画像データ取得時の環境や条件により、大きさやサイズが不統一である。特徴ベクトル生成部３０５は、顔画像が所定の大きさとなるように拡大・縮小処理を実行したり、輝度の平均化等を行ったりすることで画像の正規化を行う。
【0093】
正規化後の顔画像には、例えば、図９に示すように、両眼の端点を特徴点とする特徴点Ａ１、Ａ２、口の両端点を特徴点する特徴点Ａ３、Ａ４、鼻頭を特徴点とする特徴点Ａ５が含まれる。特徴ベクトル生成部３０５は、テンプレートマッチング等の手法を用いて顔画像からこれらの特徴点を抽出し、当該特徴点の座標（Ｘ座標、Ｙ座標）を並べることで特徴ベクトルを生成できる。
【0094】
その際、特徴ベクトル生成部３０５は、動作モードに応じて選択する特徴点を切り替える。例えば、特徴点Ａ１～Ａ５それぞれの座標は、図１０のとおりであるとする。
【0095】
動作モードが「選択モード」の場合には、特徴ベクトル生成部３０５は、両眼の端点（特徴点Ａ１、Ａ２）の位置（Ｘ座標、Ｙ座標）を要素とする「概略特徴ベクトル」を生成する。この場合に生成される特徴ベクトルは下記の式（１）で表される４次元のベクトルである。
ＦＶ＝｛Ｘ１、Ｙ１、Ｘ２、Ｙ２｝ ・・・（１）
ＦＶ＝｛Ｘ１、Ｙ１、Ｘ２、Ｙ２｝ ・・・（１）
【0096】
動作モードが「認証モード」の場合には、特徴ベクトル生成部３０５は、上記５つの特徴点の位置を要素とする「詳細特徴ベクトル」を生成する。この場合に生成される特徴ベクトルは下記の式（２）で表される１０次元のベクトルである。
ＦＶ＝｛Ｘ１、Ｙ１、Ｘ２、Ｙ２、・・・、Ｘ５、Ｙ５｝ ・・・（２）
ＦＶ＝｛Ｘ１、Ｙ１、Ｘ２、Ｙ２、・・・、Ｘ５、Ｙ５｝ ・・・（２）
【0097】
なお、上記特徴ベクトル生成部３０５の動作は例示であって、２つの特徴ベクトルの生成は上記内容に限定されないことは勿論である。つまり、特徴ベクトル生成部３０５が生成する２つの特徴ベクトルは、上述した特徴（概略特徴ベクトルは低精度；詳細特徴ベクトルは高精度）を備えるものであればどのようなものであってもよい。
【0098】
ここで、通常、次数が低い特徴ベクトルはその生成は早いが認証に用いた場合の精度が低く、次数が高い特徴ベクトルはその生成に長い時間を要するが認証に用いた場合の精度が高い。当該事実によれば、特徴ベクトル生成部３０５は、次数の高い特徴ベクトル（詳細特徴ベクトル）と次数の低い特徴ベクトル（詳細特徴ベクトルよりも次数の低い概略特徴ベクトル）の生成を動作モードにより切り替えているとも言える。
【0099】
特徴ベクトル生成部３０５は、特徴ベクトルの生成処理が完了すると、当該特徴ベクトルを記憶部３０６に格納すると共に、特徴ベクトル生成処理が完了した旨を決済制御部３０３に通知する。決済制御部３０３は、生成された特徴ベクトルを顔認証サーバ２０に向けて送信する。
【0100】
次に、顔認証サーバ２０について説明する。
【0101】
［顔認証サーバのハードウェア構成］
図１１は、第１の実施形態に係る顔認証サーバ２０のハードウェア構成の一例を示す図である。顔認証サーバ２０は、所謂、コンピュータであり、図１１に例示する構成を備える。例えば、顔認証サーバ２０は、ＣＰＵ３１、メモリ３２に加え、入出力インターフェイス３３及び通信手段であるＮＩＣ（Network Interface Card）３４等を備える。
図１１は、第１の実施形態に係る顔認証サーバ２０のハードウェア構成の一例を示す図である。顔認証サーバ２０は、所謂、コンピュータであり、図１１に例示する構成を備える。例えば、顔認証サーバ２０は、ＣＰＵ３１、メモリ３２に加え、入出力インターフェイス３３及び通信手段であるＮＩＣ（Network Interface Card）３４等を備える。
【0102】
入出力インターフェイス３３は、図示しない入出力装置のインターフェイスとなる手段である。入出力装置には、例えば、表示装置、操作デバイス等が含まれる。表示装置は、例えば、液晶ディスプレイ等である。操作デバイスは、例えば、キーボードやマウス等である。
【0103】
後述する顔認証サーバ２０の各処理モジュールは、自動販売機１０と同様に、例えば、メモリ３２に格納されたプログラムをＣＰＵ３１が実行することで実現される。
【0104】
［顔認証サーバの処理構成］
顔認証サーバ２０は、顧客ＩＤと、顧客ＩＤに対応する人物の顔画像から生成された２つの特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う機能を有する。顔認証サーバ２０は、当該機能を実現するため下記の処理モジュールを備える。
顔認証サーバ２０は、顧客ＩＤと、顧客ＩＤに対応する人物の顔画像から生成された２つの特徴ベクトルと、を関連付けて記憶するデータベースにアクセスし、要求された人物の顔認証を行う機能を有する。顔認証サーバ２０は、当該機能を実現するため下記の処理モジュールを備える。
【0105】
図１２は、第１の実施形態に係る顔認証サーバ２０の処理構成の一例を示す図である。図１２を参照すると、顔認証サーバ２０は、通信制御部４０１と、記憶部４０２と、候補生成部４０３と、顔認証部４０４と、を含んで構成される。
【0106】
通信制御部４０１は、他の装置（自動販売機１０）との間の通信を制御する手段である。
【0107】
記憶部４０２は、顧客ＩＤと特徴ベクトルを関連付けて記憶する。例えば、記憶部４０２には、図１３に示すようなデータベースが構築される。図１３に示すように、顔認証サーバ２０の内部データベースには、顧客ＩＤと２種類の特徴ベクトル（絞込特徴ベクトル、認証特徴ベクトル）が関連付けられて格納（登録）される。
【0108】
顔認証サーバ２０に登録する２種類の特徴ベクトルの算出方法には、自動販売機１０が算出する２つの特徴ベクトルと同様の手法を用いる。具体的には、自動販売機１０が生成する「概略特徴ベクトル」と同様の方法（例えば、同じ箇所の特徴点）により「絞込特徴ベクトル」が生成され顔認証サーバ２０の内部データベースに格納される。同様に、自動販売機１０が生成する「詳細特徴ベクトル」と同様の方法により「認証特徴ベクトル」が生成され顔認証サーバ２０の内部データベースに格納される。換言するならば、顔認証サーバ２０の内部データベースには、自動販売機１０が生成する２つの特徴ベクトルそれぞれと比較可能な特徴ベクトルが予め登録される。
【0109】
候補生成部４０３は、上述の「顔認証候補」を生成する手段である。具体的には、候補生成部４０３は、「絞込要求」を自動販売機１０から取得すると、内部データベースに格納された絞込特徴ベクトルそれぞれに関し、自動販売機１０から取得した概略特徴ベクトルとの類似度を算出する。
【0110】
例えば、候補生成部４０３は、２つの特徴ベクトル間のカイ二乗距離やユークリッド距離等を算出する。算出されたカイ二乗距離やユークリッド距離は、２つの特徴ベクトル（特徴ベクトルにより特徴付けられる２つの顔画像）間の類似度を示す指標となる。なお、２つの特徴ベクトルの類似度を示す指標は上記のユークリッド距離やカイ二乗距離に限定されない。類似度は、２つの特徴ベクトルの相関値（Correlation）等の指標であってもよい。
【0111】
候補生成部４０３は、算出した類似度それぞれに対して閾値処理を実行し、所定の閾値よりも高い絞込特徴ベクトルを抽出する。この抽出された絞込特徴ベクトルに対応する顧客（顧客ＩＤ）が顔認証候補を構成するメンバとなる。なお、概略特徴ベクトル及び概略特徴ベクトルと同様の方法により算出された絞込特徴ベクトルは、通常、次数が低いので上記類似度の算出処理に要する時間は短い。
【0112】
顔認証部４０４は、自動販売機１０から送信される詳細特徴ベクトルを用いて顔認証を実行する手段である。具体的には、顔認証部４０４は、「認証要求」を自動販売機１０から取得すると、先に算出された顔認証候補から得られる認証特徴ベクトルそれぞれに関し、自動販売機１０から取得した詳細特徴ベクトルとの類似度を算出する。例えば、顔認証部４０４は、２つの特徴ベクトル間のカイ二乗距離やユークリッド距離等を算出する。
【0113】
顔認証部４０４は、算出した類似度に対して閾値処理を実行し、所定の閾値よりも高い認証特徴ベクトルが存在するか否かを判定する。
【0114】
判定の結果、所定の閾値よりも類似度の高い認証特徴ベクトルが存在すれば、顔認証部４０４は、自動販売機１０から取得した詳細特徴ベクトルに対応する顧客を認証する（認証成功に設定する）。
【0115】
判定の結果、所定の閾値よりも類似度の高い認証特徴ベクトルが存在しなければ、顔認証部４０４は、自動販売機１０から取得した詳細特徴ベクトルに対応する顧客を認証しない（認証失敗に設定する）。認証結果は、通信制御部４０１を介して自動販売機１０に送信される。
【0116】
［決済サーバ］
決済サーバ３０は、顔認証サーバ２０と同様に情報処理装置（コンピュータ）により構成され、その機能の実現は当業者にとって明らかであるので、決済サーバ３０に関する詳細な説明は省略する。
決済サーバ３０は、顔認証サーバ２０と同様に情報処理装置（コンピュータ）により構成され、その機能の実現は当業者にとって明らかであるので、決済サーバ３０に関する詳細な説明は省略する。
【0117】
［システムの動作］
続いて、図面を参照しつつ、自動販売機決済システムの動作について説明する。
続いて、図面を参照しつつ、自動販売機決済システムの動作について説明する。
【0118】
【0119】
ステップＳ１０１において、自動販売機１０は、自装置前に顧客が存在するか否かを判定する。具体的には、自動販売機１０は、自装置に取り付けられたカメラによる画像データから少なくとも１つの顔画像を抽出できた場合に、自装置前に顧客が存在すると判定する。
【0120】
顧客が存在しなければ（ステップＳ１０１、Ｎｏ分岐）、自動販売機１０は上記判定処理を繰り返す。
【0121】
顧客が存在すれば（ステップＳ１０１、Ｙｅｓ分岐）、自動販売機１０は、画像データから「概略特徴ベクトル」を生成し、絞込要求と共に顔認証サーバ２０に向けて送信する（ステップＳ１０２）。つまり、自動販売機１０は、自装置周辺に存在する顧客を検出するのに応じて、検出した顧客の顔画像から顔認証サーバ２０が保持する絞込特徴ベクトルに対応する概略特徴ベクトルを生成し、送信する。
【0122】
顔認証サーバ２０は、取得した「概略特徴ベクトル」と、内部データベースに格納された複数の「絞込特徴ベクトル」それぞれとの間の類似度を算出する（ステップＳ２０１）。
【0123】
顔認証サーバ２０は、算出した類似度に対して閾値処理を実行し、所定の類似度よりも高い「絞込特徴ベクトル」に対応する顧客ＩＤを抽出することで、顔認証候補を生成する（ステップＳ２０２）。
【0124】
このように、顔認証サーバ２０は、内部データベースに記憶された絞込特徴ベクトルであって、取得した概略特徴ベクトルとの間の類似度が所定の閾値よりも高い絞込特徴ベクトルを抽出する。その後、顔認証サーバ２０は、当該抽出された絞込特徴ベクトルに対応する顧客ＩＤからなるリストを顔認証候補として生成する。
【0125】
自動販売機１０は、顧客が現金投入口１３に現金を投入したか否かを検出する（ステップＳ１０３）。
【0126】
現金が投入された場合（ステップＳ１０３、Ｙｅｓ分岐）、自動販売機１０（自動販売機制御部３０２）は、顧客は現金による決済を希望していると判断し、現金による購入処理を行う（ステップＳ１０４）。
【0127】
現金が投入されていない場合（ステップＳ１０３、Ｎｏ分岐）、自動販売機１０は、顧客が商品を選択したか否かを判定する（ステップＳ１０５）。
【0128】
商品が選択されていなければ（ステップＳ１０５、Ｎｏ分岐）、自動販売機１０は、ステップＳ１０３に戻り、現金投入、商品選択に係る判定処理を繰り返す。
【0129】
商品が選択されていれば（ステップＳ１０５、Ｙｅｓ分岐）、自動販売機１０は、決済選択画面を液晶パネル１５に表示する（ステップＳ１０６）。自動販売機１０は、例えば、図１７に示すような表示を行う。
【0130】
なお、決済選択画面が表示されているにも関わらず、顧客が現金を現金投入口１３に投入することも想定される。このような場合に備え、自動販売機１０は、決済選択画面の表示中であっても現金が投入されたか否かを検出する（ステップＳ１０７）。
【0131】
現金が投入された場合（ステップＳ１０７、Ｙｅｓ分岐）、自動販売機１０は、ステップＳ１０４の現金による購入処理を行う。
【0132】
現金が投入されなければ（ステップＳ１０７、Ｎｏ分岐）、自動販売機１０は、顧客が選択した決済手段による決済処理を行う。
【0133】
具体的には、ＩＣカードが選択されれば（ステップＳ１０８、Ｙｅｓ分岐）、自動販売機１０は、ＩＣカードによる購入処理を行う（ステップＳ１０９）。
【0134】
ＩＣカードが選択されなければ（ステップＳ１０８、Ｎｏ分岐）、自動販売機１０は、顔認証による決済が選択されたか否かを判定する（ステップＳ１１０）。
【0135】
顔認証が選択されれば（ステップＳ１１０、Ｙｅｓ分岐）、自動販売機１０は、ステップＳ１１１以降の処理を実行する。
【0136】
顔認証が選択されなければ（ステップＳ１１０、Ｎｏ分岐）、自動販売機１０は、ステップＳ１０７に戻り、顧客による決済手段選択に関する判定処理を繰り返す。
【0137】
【0138】
顔決済が選択されると、自動販売機１０は、自装置の動作モードを「認証モード」に設定する。
【0139】
ステップＳ１１１において、自動販売機１０は、画像データから顧客の顔画像を抽出する。その後、自動販売機１０は、抽出した顔画像が所定の条件を満たすか否かを判定する（ステップＳ１１２）。具体的には、自動販売機１０は、抽出した顔画像の面積が所定値よりも小さい場合などに、上記所定の条件を満たさないと判断する。
【0140】
抽出した顔画像が所定条件を満たさない場合（ステップＳ１１２、Ｎｏ分岐）、自動販売機１０は、「画像修正画面」を表示する（ステップＳ１１３）。画像修正画面とは、顧客を撮像した画像データから抽出した顔画像が上記所定の条件を満たすように、顧客に所定の動作を要望する（督促する）画面である。自動販売機１０は、例えば、図１８に示すような表示を行う。図１８では、顔の大きさの目安となるガイドを表示している。
【0141】
図１８に示すような表示に接した顧客は、立ち位置を変更し、自身の顔と枠がほぼ一致した場合に、ＯＫボタンを押すことになる。このように、図１８に示すような画面に接した顧客は、顔認証による決済が一度失敗し、顔画像が再び取得されることを認識する。換言するならば、自動販売機１０は、顧客を撮像した画像データから抽出した顔画像が所定の条件を満たさないと判断した場合に、顔認証による決済が失敗したことを表すメッセージと、顔画像の再撮像を知らせるメッセージとを含む画面を表示する。
【0142】
顧客が画像修正画面の内容に従った後（例えば、上記ＯＫボタンが押された後）、自動販売機１０は、再び顔画像を抽出する（ステップＳ１１１に戻る）。
【0143】
抽出した顔画像が所定条件を満たす場合（ステップＳ１１２、Ｙｅｓ分岐）、自動販売機１０は、「詳細特徴ベクトル」を生成し、認証要求と共に顔認証サーバ２０に向けて送信する（ステップＳ１１４）。このように、認証モード時の自動販売機１０は、商品を購入しようとする顧客の顔画像から、先に顧客を検出するタイミングと異なるタイミングにおいて、詳細特徴ベクトルを生成し、顔認証サーバ２０に送信する。
【0144】
顔認証サーバ２０は、取得した「詳細特徴ベクトル」と、顔認証候補から特定される複数の「認証特徴ベクトル」それぞれとの間の類似度を算出する（ステップＳ２０３）。
【0145】
顔認証サーバ２０は、算出した類似度に対して閾値処理を実行し、取得した「詳細特徴ベクトル」に対応する顧客の顔認証を行う（ステップＳ２０４）。
【0146】
顔認証サーバ２０は、認証結果（認証成功、認証失敗）を自動販売機１０に送信する。その際、顔認証サーバ２０は、認証に成功した場合には、成功した顧客ＩＤも合わせて自動販売機１０に送信する。このように、顔認証サーバ２０は、詳細特徴ベクトルと、顔認証候補に含まれる顧客ＩＤに対応する認証特徴ベクトルと、に基づき、商品を購入しようとする顧客の顔認証を行う。
【0147】
自動販売機１０は、顔認証サーバ２０による認証結果を確認し、顧客の顔認証に成功したか否かを判定する（ステップＳ１１５）。
【0148】
顔認証に成功した場合（ステップＳ１１５、Ｙｅｓ分岐）には、自動販売機１０は、認証に成功した顧客のＩＤと決済金額を少なくとも含む決済情報を決済サーバ３０に送信する（ステップＳ１１６）。
【0149】
ステップＳ１１７以降の動作は、図１６を参照して説明する。
【0150】
決済情報を取得すると、決済サーバ３０は、当該決済情報に基づいて決済の対象となる顧客を特定し、当該特定した顧客のカード情報等を用いて決済を行う（ステップＳ３０１）。その後、決済サーバ３０は、決済結果（決済は正常終了、決済不可）を自動販売機１０に向けて送信する。
【0151】
自動販売機１０は、決済サーバ３０による決済結果を確認し、決済が正常に終了したか否かを判定する（ステップＳ１１７）。
【0152】
決済が正常に終了した場合（ステップＳ１１７、Ｙｅｓ分岐）、自動販売機１０は、排出口１６から選択された商品を排出する（ステップＳ１１８）。
【0153】
認証に失敗した場合（ステップＳ１１５、Ｎｏ分岐）や決済に失敗した場合（ステップＳ１１７、Ｎｏ分岐）には、自動販売機１０は、ステップＳ１１９のエラー処理を実行する。
【0154】
例えば、自動販売機１０は、顔認証による決済が失敗した旨を液晶パネル１５に表示し、他の決済手段の選択を顧客に促す。あるいは、自動販売機１０は、顔認証による再試行（リトライ）を促す画面を液晶パネル１５に表示する。その際、自動販売機１０は、図１８に示す枠（ガイド）と共に顔画像の撮像を知らせるメッセージを表示する。あるいは、自動販売機１０は、図１８に示すような画像修正画面に変えて（画像修正画面は表示せずに）、他の決済手段の選択を促すメッセージを含む画面を表示してもよい。
【0155】
あるいは、自動販売機１０は、他の決済手段による決済を促すために、ＩＣカードリーダ１４や現金投入口１３の周りに配置したＬＥＤ（Light Emitting Diode）を点灯してもよい。あるいは、自動販売機１０は、新商品を紹介するような動画を再生しつつ、顧客の顔画像を撮像し、顔認証を再度実施してもよい。あるいは、自動販売機１０は、商品やポイントが得られるゲームを顧客に提供しつつ、顔認証を再実施してもよい。
【0156】
［第１の実施形態の変形例］
上記自動販売機決済システムの構成や動作は例示であって、下記の変形例があり得る。
上記自動販売機決済システムの構成や動作は例示であって、下記の変形例があり得る。
【0157】
［変形例１］
例えば、図１４等のシーケンス図では、現金決済と、ＩＣカード及び顔認証による決済と、に関する動作を分離している。つまり、現金が投入された場合には、顧客は現金による決済を希望するものと判断され、図１７に示す決済選択画面には「現金」による支払いに関する選択肢が表示されていない。しかし、現金、ＩＣカード及び顔認証による決済選択方法を統一することもできる。
例えば、図１４等のシーケンス図では、現金決済と、ＩＣカード及び顔認証による決済と、に関する動作を分離している。つまり、現金が投入された場合には、顧客は現金による決済を希望するものと判断され、図１７に示す決済選択画面には「現金」による支払いに関する選択肢が表示されていない。しかし、現金、ＩＣカード及び顔認証による決済選択方法を統一することもできる。
【0158】
例えば、図１９に示すように、自動販売機１０は、自装置前に顧客を検出すると、商品が選択されるか否かを検出し、選択された場合に、現金を選択肢として含む決済選択画面を表示してもよい（ステップＳ１０６ａ）。この場合、自動販売機１０は、図２０に示すような決済選択画面を表示する。自動販売機１０は、現金が選択された場合（ステップＳ１０７ａ）に、現金による購入処理を実行する（ステップＳ１０４）。なお、図１９において、図１４に示す処理と同一の処理については同じ符号を付している。
【0159】
［変形例２］
上記実施形態では、特徴ベクトル生成部３０５は、概略特徴ベクトルの生成と詳細特徴ベクトルの生成に同種の特徴量（例えば、特徴点の座標位置）を用いる場合を説明した。しかし、２つの特徴ベクトルをなす各要素は異なる種類の特徴量であってもよい。より具体的には、詳細特徴ベクトル及び認証特徴ベクトルのそれぞれは、概略特徴ベクトル及び絞込特徴ベクトルそれぞれに含まれる特徴量とは異なる種類の特徴量を要素として含んでもよい。
上記実施形態では、特徴ベクトル生成部３０５は、概略特徴ベクトルの生成と詳細特徴ベクトルの生成に同種の特徴量（例えば、特徴点の座標位置）を用いる場合を説明した。しかし、２つの特徴ベクトルをなす各要素は異なる種類の特徴量であってもよい。より具体的には、詳細特徴ベクトル及び認証特徴ベクトルのそれぞれは、概略特徴ベクトル及び絞込特徴ベクトルそれぞれに含まれる特徴量とは異なる種類の特徴量を要素として含んでもよい。
【0160】
例えば、特開２０１５－０９７０００号公報（参考文献２）の開示のように、顔画像から特徴点（例えば、目、鼻、口等の中心点や端点）を抽出し、特徴点近傍の濃淡値や特性（周期性、方向性、色分布等）を特徴量として扱い、特徴ベクトルの要素としてもよい。あるいは、特徴点の座標に加え、特徴点の座標から計算できる値（例えば、眉間の長さ）を詳細特徴ベクトル等の要素としてもよい。
【0161】
このように、概略特徴ベクトル（絞込特徴ベクトル）と詳細特徴ベクトル（認証特徴ベクトル）に含まれる要素は、異なる種類の特徴量から算出されたものであってもよい。つまり、特徴ベクトル生成部３０５は、算出に多少の時間を要するが、認証に用いた場合に高い精度が期待できる特徴量を要素とする詳細特徴ベクトルを生成してもよい。このような詳細特徴ベクトルを用いることで、より高い認証精度が実現できる。
【0162】
あるいは、特徴ベクトル生成部３０５は、概略特徴ベクトルに上記参考文献２に開示された特徴量等を追加して詳細特徴ベクトルを生成してもよい。つまり、特徴ベクトル生成部３０５は、概略特徴ベクトルを包含しつつ、概略特徴ベクトルの次数よりも高い次数を有する詳細特徴ベクトルを生成してもよい。
【0163】
通常、次数が高い特徴ベクトルはその生成に長い時間を要するが認証に用いた場合の精度が高く、顔画像の特徴を漏れなく表現することができる。そのような詳細特徴ベクトルを用いることで、高い認証精度が得られる。
【0164】
なお、概略特徴ベクトルを用いた認証では十分な精度が得られない可能性が高い。上述のように、概略特徴ベクトルは、小さい顔画像からも生成される。小さい顔画像には、顔の細部を特徴付ける特徴が含まれていない。また、特徴ベクトル生成部３０５の正規化処理により小さい顔画像が拡大されても当初から含まれていない特徴が現出するわけでもない。このような理由から、概略特徴ベクトルを用いた顔認証では十分高い精度は期待できない。
【0165】
以上のように、第１の実施形態に係る自動販売機決済システムでは、自動販売機１０が自装置前の顧客を認識すると即座に（商品選択前に）、当該認識した顧客の顔画像から概略特徴ベクトルを生成する。顔認証サーバ２０は、当該概略特徴ベクトルを利用して、内部データベースに格納された膨大な顧客のなかから、自動販売機１０の面前に存在する顧客と類似する特徴を持つ顧客を予め絞り込んでおく。つまり、顔認証サーバ２０は、将来、発生するであろう顔認証の候補となる顧客のリストを「顔認証候補」として予め生成しておく。その後、顧客が商品を選択し顔認証による決済を希望した場合には、自動販売機１０は、当該顧客の顔画像から詳細特徴ベクトルを生成する。顔認証サーバ２０は、予め生成した顔認証候補に含まれる顧客を認証対象として扱い、詳細特徴ベクトルと認証特徴ベクトルを用いた正確な（精度の高い）顔認証を実現する。上記自動販売機決済システムの動作により、顔認証による迅速な決済が可能となる。
【0166】
通常、顧客が商品を購入する際には、自動販売機１０の面前に位置してから商品を選択するまでの間に多少の時間がある（タイムラグがある）。第１の実施形態に係る自動販売機決済システムでは、このタイムラグを利用し、面前の顧客に似た顔を持つ顧客を予め絞り込んでおく。当該絞込に利用する特徴ベクトル（概略特徴ベクトル、絞込特徴ベクトル）は次数が低いので、類似度生成処理や閾値処理の対象が多数であっても、これらの処理に要する時間は短時間であると言える。一方、実際に決済処理が必要となった場合には、高い認証精度が得られる特徴ベクトル（詳細特徴ベクトル、認証特徴ベクトル）を用いた顔認証が実行される。これら２つの特徴ベクトルは、次数が高く類似度生成処理や閾値処理に要する時間は長くなる。しかし、当該処理の対象となる顧客は顔認証サーバ２０の内部データベースに格納された多数の顧客ではなく、既に絞込された顧客であるので、認証結果を得るまでの時間は短時間で済む。このようにして、第１の実施形態に係る自動販売機決済システムは、顔認証を用いた迅速な決済を提供できる。
【0167】
また、第１の実施形態に係る自動販売機決済システムでは、顔認証に使用する顔画像を抽出する際に、当該抽出した顔画像が所定の条件を満たすか否かを判定している。つまり、自動販売機１０は、所定の条件を満たす品質の良い顔画像を抽出し、当該顔画像から顔認証に用いる詳細特徴ベクトルを生成している。このようにして生成された詳細特徴ベクトルは、商品を購入しようとする顧客の顔に表れている特徴を漏れなく含み、高い認証精度が期待できる。このようにして、第１の実施形態に係る自動販売機決済システムは、精度の高い顔認証による決済を提供することもできる。
【0168】
［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。
続いて、第２の実施形態について図面を参照して詳細に説明する。
【0169】
第２の実施形態は、顧客が商品を選択してから認証を行うまでの時間をより短くする自動販売機決済システムについて説明する。
【0170】
第１の実施形態では、待機モードにて撮像される顧客は１人であることを前提として説明したが、待機モードでは２以上の人物の顔画像が得られることがある。例えば、自動販売機１０が食堂や工場等に設置された場合には、決まった時間（例えば、昼休み等）に自動販売機１０の前に行列ができることが想定される。このような状況下にて、待機モードにて取得される画像データから２以上の顔画像が抽出された場合の自動販売機１０の動作について説明する。
【0171】
第２の実施形態に係る顔画像抽出部３０４は、待機モードにおいて１枚の画像データから複数の顔画像の存在を認めた場合、当該複数の顔画像それぞれを抽出し、記憶部３０６に格納する。例えば、図２１に示すように１枚の画像データに２つの顔画像５０１、５０２が含まれる場合には、顔画像抽出部３０４は、当該２つの顔画像５０１、５０２を抽出し、記憶部３０６に格納する。
【0172】
続いて、特徴ベクトル生成部３０５は、抽出された複数の顔画像それぞれについて、「概略特徴ベクトル」を生成する。決済制御部３０３は、生成された複数の概略特徴ベクトルをまとめて顔認証サーバ２０に送信する。
【0173】
第２の実施形態に係る顔認証サーバ２０の候補生成部４０３は、取得した複数の概略特徴ベクトルそれぞれについて、顔認証候補の生成に係る処理を実行する。
【0174】
その後、候補生成部４０３は、各概略特徴ベクトルから生成した顔認証候補を統合して、後の顔認証に用いる顔認証候補（最終的な顔認証候補）を生成する。例えば、図２１の例では、候補生成部４０３は、顔画像５０１の概略特徴ベクトルを利用して第１の顔認証候補を生成し、顔画像５０２の概略特徴ベクトルを利用して第２の顔認証候補を生成する。
【0175】
その後、候補生成部４０３は、第１及び第２の顔認証候補を統合することで、顔認証候補を生成する。例えば、候補生成部４０３は、顧客ＩＤを要素とする各顔認証候補の和集合を生成することで、複数の顔認証候補を統合する。
【0176】
ここで、１枚の画像データに２以上の顔画像が含まれたとしても、最終的に商品を購入するのは１人である。つまり、認証モードにて取得される顔画像は原則として１つであり、対応して生成される詳細特徴ベクトルも１つである。従って、顔認証サーバ２０が複数の詳細特徴ベクトルを同時に取得することはなく、顔認証部４０４は、自動販売機１０から１人の顔認証を依頼されることになる。
【0177】
第２の実施形態に係る顔認証部４０４は、詳細特徴ベクトルを取得すると、第１の実施形態と同様に、顔認証を行う。即ち、顔認証サーバ２０は、複数の顔画像それぞれから生成された概略特徴ベクトルに対応する複数の顔認証候補を生成し、当該生成された複数の顔認証候補を統合して顔認証に用いる顔認証候補を生成する。その後、顔認証サーバ２０は、生成された顔認証候補（複数の顔認証候補が統合された顔認証候補）を用いて、顔認証を実行する。
【0178】
例えば、上述の例では、図２１に示す顔画像５０１の人物を認証する場合であっても、顔画像５０２の人物を認証する場合であっても、第１及び第２の顔認証候補が統合された新たな顔認証候補から得られる認証特徴ベクトルが用いられて顔認証が行われる。その結果、１枚の画像データに写る複数の人物のいずれかが、商品を購入したとしても迅速に認証処理を完了することができる。
【0179】
例えば、図２１の例において、顔画像５０１が抽出され、顔画像５０２が抽出されない（抽出しない）場合を考える。この場合、顔認証サーバ２０にて、顔画像５０１に対応する顔認証候補は生成されるが、顔画像５０２に対応する顔認証候補は生成されない。このような状況下で、顔画像５０２に相当する人物が商品を選択したとすると、当該人物の詳細特徴ベクトルが顔認証サーバ２０に送信される。しかし、顔画像５０２に対応する顔認証候補は未だ作成されていないので、顔認証サーバ２０は「認証失敗」を自動販売機１０に送信する。この場合、自動販売機１０のリカバリー処理やエラー処理によって、顔画像５０２の人物の決済に関する処理が行われるが、決済完了までに多くの時間を要してしまう。
【0180】
しかし、第２の実施形態によれば、複数の概略特徴ベクトルから顔認証候補が生成されるため、上記のような問題は生じない。例えば、上記の例では、顔画像５０２の人物が商品を選択しても、既に生成された顔認証候補には、当該人物と類似する特徴をもつ顧客が予め候補として抽出されているので、顔認証サーバ２０は、当該人物を早期に認証できる。
【0181】
なお、上記説明では、複数の顔認証候補を統合して新たな顔認証候補を生成する場合を説明したが、複数の顔認証候補を統合せずシステムを運用してもよい。つまり、候補生成部４０３は、複数の顔画像それぞれから生成された概略特徴ベクトルとの間の類似度が所定の閾値よりも高い絞込特徴ベクトルを抽出し、抽出された絞込特徴ベクトルに対応する顧客ＩＤからなるリストを顔認証候補として複数生成してもよい。顔認証部４０４は、当該生成された複数の顔認証候補を顔認証に用いることができる。
【0182】
また、顔認証サーバ２０は、自動販売機１０ごとに、顔認証候補と顔認証候補の生成に使用した概略特徴ベクトルを対応付ける生成済み候補リストを生成してもよい。顔認証サーバ２０は、同じ自動販売機１０から同じ概略特徴ベクトルを取得した場合には、内部データベースから絞込特徴ベクトルを抽出する処理を行わず、生成済み候補リストの顔認証候補を顔認証に用いることができる。
【0183】
顔認証サーバ２０は、自動販売機１０のＩＤと取得した概略特徴ベクトルを確認し、同じ自動販売機１０から同じ概略特徴ベクトルを取得した場合には、顔認証候補の生成を省略することができる。即ち、第２の実施形態に係る顔認証サーバ２０は、顔認証候補の作成に係る処理を早期に終了できる。その結果、例えば、顧客が直ぐに商品を選択し、概略特徴ベクトルと詳細特徴ベクトルの間の送信間隔が短い場合であっても、顔認証候補生成に係る処理がボトルネックとなることを防止できる。
【0184】
あるいは、顔認証サーバ２０は、自動販売機１０ごとに、顔認証に成功した絞込特徴ベクトルからなる認証成功リストを生成してもよい。顔認証サーバ２０は、顔認証候補に優先して当該認証成功リストを参照して顔認証を行うことができる。
【0185】
ある顧客が自動販売機１０にて商品を購入し、顔認証に成功していれば、当該顧客の認証特徴ベクトルは自動販売機１０のＩＤと共に認証成功リストに格納される。そして、同じ顧客が同じ自動販売機１０にて商品を購入すれば、当該顧客の詳細特徴ベクトルと過去に認証に成功した認証特徴ベクトルと比較されるので、早期に「認証成功」に係る結果が得られる。即ち、顔認証サーバ２０は、認証に成功した詳細特徴ベクトルを自動販売機１０ごとにキャッシュする。すると、同じ顧客の詳細特徴ベクトルはキャッシュにヒットすることになるから、無駄な類似度算出が不要となる。
【0186】
なお、認証に成功した詳細特徴ベクトルを数多く保持することは、顔認証候補を算出する意味を没却することになる。そこで、保持する（キャッシュする）詳細特徴ベクトルの数を制限する、あるいは、認証に成功した回数も合わせて対応付けて管理し、成功した回数の高い詳細特徴ベクトルを保持する等の対応が有効である。例えば、顔認証サーバ２０は、認証成功リストにおいて顔認証に成功した回数を認証特徴ベクトルに対応付けて管理し、顔認証に成功した回数が所定の値よりも小さい認証特徴ベクトルを認証成功リストから削除する。
【0187】
あるいは、顔認証サーバ２０は、複数の自動販売機１０をグループ分けし、同一のグループに属する自動販売機１０に関する生成済み候補リスト、認証成功リストを共有してもよい。例えば、自動販売機１０の位置（設置場所）にて自動販売機をグループ分けすることができる。より詳細には、所定範囲のエリアに存在する自動販売機１０を１つのグループとして管理し、当該グループ内で生成済み候補リストや認証成功リストを共有する。
【0188】
例えば、図２２に示すように、ある自動販売機１０からの顧客の認証に成功すれば、対応する顧客ＩＤが認証成功リスト（グループごとに管理するリスト）に登録される。顔認証サーバ２０は、上記自動販売機１０と同じグループに属する他の自動販売機１０から詳細特徴ベクトルを取得した場合には、認証成功リストに登録された顧客の認証特徴ベクトルに関する認証処理を優先的に行う。
【0189】
このようにグループ間で情報共有することで、顔認証等の処理を高速化することができる。顧客の行動範囲は、職場や自宅の近辺であることも多い。そこで、自動販売機１０の設置位置で自動販売機１０をグループ化することで近い場所にある自動販売機１０により生成された情報を共有し、認証処理等を高速化する。
【0190】
以上、第２の実施形態によれば、自動販売機決済システムは、顔認証を用いたより一層迅速な決済を提供できる。
【0191】
［第３の実施形態］
続いて、第３の実施形態について図面を参照して詳細に説明する。
続いて、第３の実施形態について図面を参照して詳細に説明する。
【0192】
第３の実施形態では、顧客の顔認証をより正確に行う自動販売機決済システムについて説明する。
【0193】
第１の実施形態では、認証モードにおいて顔画像抽出部３０４は、所定の条件を満たす顔画像を抽出することを説明した。より具体的には、第１の実施形態では、上記所定の条件として顔画像の大きさを設定している。この所定の条件を変更すること、あるいは、条件を追加することで顔認証の精度をより向上させることができる。
【0194】
例えば、自動販売機１０の前に２人の顧客が立っている場合が想定できる。このような場合、自動販売機１０は、いずれの顧客の顔画像を取得すればよいか判断できない。そこで、第３の実施形態に係る決済制御部３０３は、認証モードにて取得する画像データに２以上の顔画像が含まれる場合には、商品購入希望者だけが液晶パネル１５に写るように顧客に促す画像修正画面を表示する。
【0195】
自動販売機１０は、例えば、図２３に示すような表示を行う。このように、自動販売機１０は、撮像した画像データから複数の顔画像を検出した場合には、所定の条件を満たさないと判断し、画像修正画面により１人の顧客が液晶パネル１５に写るように促すことができる。自装置の前に立つ顧客が１人になることで、自動販売機１０は、決済意志を持った顧客を正確に特定できるようになる。
【0196】
第３の実施形態に係る顔画像抽出部３０４は、所定期間の間に得られる複数の画像データそれぞれに含まれる顔画像に変化がある場合に、所定の条件をみたすと判断してもよい。より具体的には、顔画像抽出部３０４は、複数の画像データから顔画像を抽出し、これら抽出した複数の顔画像にて変化を認めた場合に、顔画像を記憶部３０６に格納してもよい。顔画像抽出部３０４が確認する顔画像の変化には、例えば、位置のずれ、瞬き等が挙げられる。顔画像抽出部３０４は、これらの変化を検出することで、真に自装置の前に立つ「人」の存在を確認できる（人以外の情報により顔認証をしてしまうことを排除できる）。
【0197】
以上のように、第３の実施形態に係る自動販売機１０は、商品を購入しようとする顧客を撮像したデータから抽出した顔画像が所定の条件を満たすか否かを判定している。そして、自動販売機１０は、当該顔画像が所定の条件を満たさない場合には、所定の条件を満たすように顧客に所定の動作を要望する画面を表示する。その結果、顔認証に適した顔画像及び詳細特徴ベクトルが得られるので、第３の実施形態に係る自動販売機決済システムは、より一層認証精度の高い顔認証による決済を提供できる。
【0198】
［変形例］
第１乃至第３の実施形態にて説明した自動販売機決済システムの構成及び動作は例示であって、種々の変形が可能である。例えば、自動販売機決済システム及びその構成装置は、以下のような構成又は動作であってもよい。
第１乃至第３の実施形態にて説明した自動販売機決済システムの構成及び動作は例示であって、種々の変形が可能である。例えば、自動販売機決済システム及びその構成装置は、以下のような構成又は動作であってもよい。
【0199】
上記実施形態では、カメラから撮像した画像データ（撮像データ）を用いて自動販売機１０の周囲に人が存在するか否かを判定しているが、赤外線等を用いた人感センサにより当該人物の検出を行ってもよい。あるいは、自動販売機１０は、人感センサにて物体を検出した後、画像データを用いて真に人が自装置の周辺に存在するか否かを判定してもよい。つまり、人感センサによる人の検出までは、カメラモジュール２４の電源を切って自動販売機１０の低消費電力化を実現してもよい。
【0200】
上記実施形態では、自動販売機１０は静止画を取得し、当該静止画から顔画像を抽出することを前提としている。しかし、カメラモジュール２４は動画を取得し、当該動画から所定間隔でフレームを抜き出して画像データを取得してもよい。また、自動販売機１０が取得する画像データのフォーマットやサイズに制限はなく、例えば、自動販売機１０は、モノクロ画像を取得してもよいし、カラー画像を取得してもよい。
【0201】
上記実施形態では、液晶パネル１５が自動販売機１０に組み込まれている構成を説明したが、液晶パネルを備えるタブレットと既存の自動販売機１０を接続して自動販売機１０の機能を実現してもよい。例えば、図２４に示すように、タブレット１７を自動販売機１０ａにマウントし、タブレット１７のカメラ機能や通信機能を利用して上記実施形態にて説明した自動販売機１０を実現してもよい。この場合、図６に示す自動販売機制御部３０２が既存の自動販売機１０ａのコントローラに相当し、決済制御部３０３がタブレット１７のコントローラに相当する。２つのコントローラが連携（制御情報の送受信）することで、自動販売機１０の機能を実現する。
【0202】
上記実施形態では、１つのカメラモジュール２４により撮像された画像を用いて２つの特徴ベクトル（概略特徴ベクトル、詳細特徴ベクトル）を生成する場合を説明した。しかし、生成する特徴ベクトル（自動販売機１０の動作モード）に応じて使用するカメラモジュールを使い分けても良い。例えば、待機モード時の概略特徴ベクトルを生成する際には、自動販売機１０の上部に据え付けられたカメラを使用し、認証モード時の詳細特徴ベクトルを生成する際には自動販売機１０の中心に据え付けられたカメラを使用してもよい。
【0203】
また、自動販売機１０に取り付けたカメラの位置（例えば、上記のような自動販売機１０の上部）と顧客の位置との関係によっては、顔画像が歪んでいることも考えられる。このような場合、特徴ベクトル生成部３０５は、アフィン変換等の幾何学的変換を適宜実行することで特徴ベクトルの算出に適した画像を取得してもよい。
【0204】
上記実施形態では、顔認証サーバ２０による認証結果は自動販売機１０を経由して決済サーバ３０に送信されているが、顔認証サーバ２０から決済サーバ３０に認証結果を送信してもよい。この場合、決済サーバ３０は、自動販売機１０に対して商品排出指示を行う。
【0205】
さらに、各装置（自動販売機１０、顔認証サーバ２０、決済サーバ３０）の間で送受信する情報は共通鍵暗号や公開鍵暗号等の暗号化方式により暗号化されていてもよいし、平文で送信されてもよい。但し、決済情報や特徴ベクトルは個人情報と捉える余地もあるので、装置間でやり取りする情報は暗号化されているのが望ましい。
【0206】
上記実施形態では、自動販売機１０が検出した人物は商品を購入することを前提として説明したが、実際には、商品を購入せず立ち去ってしまう人も存在する。そのような場合、顔認証サーバ２０にて顔認証前に事前準備した「顔認証候補」は不要となる。そこで、自動販売機１０は、概略特徴ベクトルを顔認証サーバ２０に送信したが、商品の購入意思を示すことなく顧客が立ち去った場合は、送信した概略特徴ベクトルを指定して「顔認証候補」の削除指示を顔認証サーバ２０に送信してもよい。不要な顔認証候補を削除することで、顔認証サーバ２０のリソースを有効活用できる。
【0207】
上記実施形態では、顔認証サーバ２０には２種類の特徴ベクトルを登録することを説明したが、１つの特徴ベクトルで２種類の特徴ベクトルを表現することも可能である。例えば、認証特徴ベクトルの要素のうち一部の要素を絞込特徴ベクトルと扱えば、顔認証サーバ２０に登録する特徴ベクトルを１つとすることができる。例えば、認証特徴ベクトルを１０次元のベクトルとし、絞込特徴ベクトルを認証特徴ベクトルの先頭から４つの要素（４次元のベクトル）と決めれば、１つの特徴ベクトルには実質的に２つの特徴ベクトルが含まれることになる。
【0208】
上記実施形態では、自動販売機１０が特徴ベクトルを生成しているが、自動販売機１０から顔認証サーバ２０に顔画像（又は顔画像を含む画像データ）を送信してもよい。つまり、サーバ側にて顔画像抽出処理や特徴ベクトル生成処理を実行しても良い。但し、この場合には、自動販売機１０と顔認証サーバ２０間のネットワークにおける通信帯域が十分確保されている必要がある。
【0209】
上記実施形態では、詳細特徴ベクトルの生成に使用する顔画像を抽出する際、所定の条件を満たさない場合には、画像修正画面を用いて顧客に立ち位置を変更してもらうようにしている。しかし、所定の条件を満たさない場合、自動販売機１０は、所定の条件を満たすようにカメラ（レンズ）を制御してもよい。例えば、所定の条件に顔の面積が設定されていれば、自動販売機１０は、レンズを移動する、あるいはズームする等の対応により顔画像が所定の条件を満たすようにしてもよい。
【0210】
上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0211】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【0212】
１０、１０－１～１０－Ｎ、１０ａ、１０３ 自動販売機
１１ 商品サンプル
１２ 選択ボタン
１３ 現金投入口
１４ ＩＣカードリーダ
１５ 液晶パネル
１６ 排出口
１７ タブレット
２０、１０１ 顔認証サーバ
２１、３１ ＣＰＵ（Central Processing Unit）
２２、３２ メモリ
２３ 表示モジュール
２４ カメラモジュール
２５ アンテナ
２６ 無線通信モジュール
３０、１０２ 決済サーバ
３３ 入出力インターフェイス
３４ ＮＩＣ（Network Interface Card）
３０１、４０１ 通信制御部
３０２ 自動販売機制御部
３０３ 決済制御部
３０４ 顔画像抽出部
３０５ 特徴ベクトル生成部
３０６、４０２ 記憶部
４０３ 候補生成部
４０４ 顔認証部
５０１、５０２ 顔画像
１１ 商品サンプル
１２ 選択ボタン
１３ 現金投入口
１４ ＩＣカードリーダ
１５ 液晶パネル
１６ 排出口
１７ タブレット
２０、１０１ 顔認証サーバ
２１、３１ ＣＰＵ（Central Processing Unit）
２２、３２ メモリ
２３ 表示モジュール
２４ カメラモジュール
２５ アンテナ
２６ 無線通信モジュール
３０、１０２ 決済サーバ
３３ 入出力インターフェイス
３４ ＮＩＣ（Network Interface Card）
３０１、４０１ 通信制御部
３０２ 自動販売機制御部
３０３ 決済制御部
３０４ 顔画像抽出部
３０５ 特徴ベクトル生成部
３０６、４０２ 記憶部
４０３ 候補生成部
４０４ 顔認証部
５０１、５０２ 顔画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】