特許 7525223 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20240723BHJP

   G06Q 20/20 20120101ALI20240723BHJP

   G07G 1/12 20060101ALI20240723BHJP

【ＦＩ】

G07G1/00 331B

G06Q20/20

G07G1/12 321Z

【請求項の数】 6

(21)【出願番号】P 2022007731

(22)【出願日】2022-01-21

(62)【分割の表示】P 2018557531の分割

【原出願日】2017-09-05

(65)【公開番号】P2022048234

(43)【公開日】2022-03-25

【審査請求日】2022-01-21

【審判番号】

【審判請求日】2023-06-08

(31)【優先権主張番号】P 2016246537

(32)【優先日】2016-12-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】山田 慎太郎

【合議体】

【審判長】篠塚 隆

【審判官】山澤 宏

【審判官】富澤 哲生

(56)【参考文献】

【文献】特開２０１３－０４５１３２（ＪＰ，Ａ）

【文献】特開２０１６－１２６７４９（ＪＰ，Ａ）

【文献】特開２０１６－０２４６０１（ＪＰ，Ａ）

【文献】特開２０１５－１８６２０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G07G 1/00- 1/12

(57)【特許請求の範囲】

【請求項1】

第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定した前記第１の顧客に対する決済処理を行う決済手段と、を備え、
前記特定手段は、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の予め決定された所定のエリアに含まれる人物を、次に決済処理を行う顧客として特定する処理を開始し、
前記第１のカメラにより生成される前記画像には、決済処理を行っている顧客と、次に決済処理を行う顧客の両方が写り、
前記画像の中の前記所定のエリアは、決済処理を行っている顧客が写らず、次に決済処理を行う顧客が写る一部エリアである情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
認証結果に関する情報と、決済に関する情報とを表示させる表示制御手段をさらに備え、
前記決済手段は、決済処理を行う旨の入力を受付けると、特定した前記第１の顧客に対する決済処理を行う情報処理システム。

【請求項3】

請求項２に記載の情報処理システムにおいて、
前記表示制御手段は、前記第１のカメラが生成した前記第１の顧客の顔の画像と、前記データベース情報が有する前記第１の顧客の顔の画像と、を精算装置に表示させる情報処理システム。

【請求項4】

請求項１に記載の情報処理システムにおいて、
予め、顧客毎に顧客が指定した決済方法が登録されており、
前記決済手段は、前記第１の顧客に紐付けて登録されている前記決済方法で前記第１の顧客に対する決済処理を行う情報処理システム。

【請求項5】

コンピュータが、
第１のカメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定工程と、
特定した前記第１の顧客に対する決済処理を行う決済工程と、
を実行し、
前記特定工程では、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の予め決定された所定のエリアに含まれる人物を、次に決済処理を行う顧客として特定する処理を開始し、
前記第１のカメラにより生成される前記画像には、決済処理を行っている顧客と、次に決済処理を行う顧客の両方が写り、
前記画像の中の前記所定のエリアは、決済処理を行っている顧客が写らず、次に決済処理を行う顧客が写る一部エリアである情報処理方法。

【請求項6】

コンピュータを、
第１のカメラにより生成された顔の画像を取得する取得手段、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段、
特定した前記第１の顧客に対する決済処理を行う決済手段、として機能させ、
前記特定手段は、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の予め決定された所定のエリアに含まれる人物を、次に決済処理を行う顧客として特定する処理を開始し、
前記第１のカメラにより生成される前記画像には、決済処理を行っている顧客と、次に決済処理を行う顧客の両方が写り、
前記画像の中の前記所定のエリアは、決済処理を行っている顧客が写らず、次に決済処理を行う顧客が写る一部エリアであるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、顧客特定装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１に、会計作業に顔認証処理を用いる情報処理システムが開示されている。当該情報処理システムは、来店者の顔情報を含む情報を取得し、取得した情報に含まれる来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを用いて顔認証を実施することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１２６７４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

顔認証処理においては、登録されている情報が多いほど認証処理に時間がかかる。結果、会計中に、顔認証処理の待ち時間が発生し得る。本発明は、顔認証処理を用いた会計中における顔認証処理の待ち時間を抑制することを目的とする。

【課題を解決するための手段】

【0005】

本発明によれば、
第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定した前記第１の顧客に対する決済処理を行う決済手段と、
を備え、
前記特定手段は、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の予め決定された所定のエリアに含まれる人物を、次に決済処理を行う顧客として特定する処理を開始し、
前記第１のカメラにより生成される前記画像には、決済処理を行っている顧客と、次に決済処理を行う顧客の両方が写り、
前記画像の中の前記所定のエリアは、決済処理を行っている顧客が写らず、次に決済処理を行う顧客が写る一部エリアである情報処理システムが提供される。

【0006】

また、本発明によれば、
第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定した前記第１の顧客に対する決済処理を行う決済手段と、を備え、
前記特定手段は、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の所定のエリアに含まれる次に決済処理を行う顧客を特定する処理を開始する、
情報処理システムが提供される。

【0007】

また、本発明によれば、
第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定された前記顧客に対応する該顧客を識別する情報を精算装置に通知する通知手段と、
を備え、
前記特定手段は、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の所定のエリアに含まれる次に決済処理を行う顧客を特定する処理を開始する、
顧客特定装置が提供される。

【0008】

また、本発明によれば、
コンピュータが、
第１のカメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定工程と、
特定した前記第１の顧客に対する決済処理を行う決済工程と、
を実行し、
前記特定工程では、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の予め決定された所定のエリアに含まれる人物を、次に決済処理を行う顧客として特定する処理を開始し、
前記第１のカメラにより生成される前記画像には、決済処理を行っている顧客と、次に決済処理を行う顧客の両方が写り、
前記画像の中の前記所定のエリアは、決済処理を行っている顧客が写らず、次に決済処理を行う顧客が写る一部エリアである情報処理方法が提供される。

【0009】

また、本発明によれば、
コンピュータを、
第１のカメラにより生成された顔の画像を取得する取得手段、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段、
特定した前記第１の顧客に対する決済処理を行う決済手段、として機能させ、
前記特定手段は、前記第１の顧客に対する決済処理を開始する操作がなされると、前記画像の中の予め決定された所定のエリアに含まれる人物を、次に決済処理を行う顧客として特定する処理を開始し、
前記第１のカメラにより生成される前記画像には、決済処理を行っている顧客と、次に決済処理を行う顧客の両方が写り、
前記画像の中の前記所定のエリアは、決済処理を行っている顧客が写らず、次に決済処理を行う顧客が写る一部エリアであるプログラムが提供される。

【発明の効果】

【0010】

本発明によれば、顔認証処理を用いた会計中における顔認証処理の待ち時間を抑制できる。

【図面の簡単な説明】

【0011】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0012】

【図1】本実施形態の情報処理システムの機能ブロック図の一例である。

【図2】本実施形態のシステム及び装置のハードウエア構成の一例を概念的に示す図である。

【図3】本実施形態の顧客特定装置の機能ブロック図の一例である。

【図4】本実施形態のデータベース情報の一例を模式的に示す図である。

【図5】本実施形態の顧客特定装置により生成される情報の一例を模式的に示す図である。

【図6】本実施形態の顧客特定装置の処理の流れの一例を示すフローチャートである。

【図7】本実施形態の顧客特定装置の処理の流れの一例を示すフローチャートである。

【図8】本実施形態の情報処理システムの実現例を説明するための図である。

【図9】本実施形態の情報処理システムの実現例を説明するための図である。

【図10】会計作業の一例を説明するための図である。

【図11】本実施形態の顧客特定装置の処理を説明するための図である。

【図12】本実施形態の情報処理システムによる画面表示の一例である。

【図13】本実施形態の情報処理システムによる画面表示の一例である。

【図14】本実施形態の情報処理システムの機能ブロック図の一例である。

【図15】本実施形態の情報処理システムの機能ブロック図の一例である。

【図16】本実施形態の精算装置の機能ブロック図の一例である。

【図17】本実施形態の情報処理システムの処理の流れの一例を示すシーケンス図である。

【図18】本実施形態のデータベース情報の一例を模式的に示す図である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
まず、本実施形態の情報処理システムの概要を説明する。本実施形態の情報処理システムは、精算対象の商品を登録する処理（登録処理）や決済処理等を行う装置である。本実施形態の情報処理システムは、例えばＰＯＳ（point of sales）レジスターである。ＰＯＳレジスターは、店員に操作されることを前提としたものであってもよいし、顧客に操作されることを前提としたものであってもよい。

【0014】

本実施形態の情報処理システムは、顔認証処理を利用した決済処理を行うことができる。
顔認証処理とは、顧客の顔の画像を使って、その顧客を特定する処理である。すなわち、情報処理システムは、顧客を撮影した画像と、顧客の外観の特徴量を登録したデータベースとを利用して代金を支払う顧客（第１の顧客）を特定する。そして、情報処理システムは、特定した顧客に対応する電子マネー情報やポイント情報を利用して、決済処理を行う。

【0015】

なお、情報処理システムは、決済処理を開始する操作がなされる前の所定のタイミングから、画像を用いた顧客の特定処理（以降の説明における認証処理と同一）を開始する。このため、決済処理を開始する操作がなされるまでに、顧客の特定を終了することが期待される。結果、顔認証処理を用いた会計中における顔認証処理の待ち時間を抑制できる。

【0016】

次に、情報処理システムの構成を説明する。まず、情報処理システムのハードウエア構成の一例について説明する。本実施形態の情報処理システムが備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0017】

図２は、本実施形態の情報処理システムのハードウエア構成を例示するブロック図である。図２に示すように、情報処理システムは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。

【0018】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0019】

次に、情報処理システムの機能構成を説明する。図１４に、情報処理システム１００の機能ブロック図の一例を示す。図示するように、情報処理システム１００は、取得部１１と、特定部１２と、精算部２１とを有する。図１５に示すように、情報処理システムは、さらに判定部１４を有してもよい。また、図示しないが、情報処理システム１００は、さらに表示制御部を有してもよい。

【0020】

精算部２１は、精算対象の商品を登録する処理（登録処理）を行う手段（登録手段）と、決済処理を行う手段（決済手段）とを有する。

【0021】

まず、精算部２１による登録処理を説明する。精算部２１は、精算対象の商品を識別する情報を入力する手段を有する。当該入力は、コードリーダ、物理キー、タッチパネルディスプレイ、マイク、カメラ等のあらゆる装置を介して実現される。

【0022】

例えば、商品に付された商品を識別する情報を示すコードをコードリーダで読み取ることで、商品を識別する情報の入力がなされてもよい。その他、物理キーやタッチパネルディスプレイの操作により、商品を識別する情報の入力がなされてもよい。その他、マイクを介して音声で商品を識別する情報の入力がなされてもよい。その他、精算対象の商品を撮影するカメラと、商品の外観の特徴量や画像に含まれるコード（商品に付された商品を識別する情報）に基づきカメラが生成した画像に含まれる商品を特定する手段とを用いて、商品を識別する情報の入力がなされてもよい。

【0023】

精算部２１は、精算対象の商品を識別する情報に対応する商品情報（例：価格等）を、予め用意された商品マスタから取得することができる。そして、精算部２１は、精算対象の１つまたは複数の商品の価格の合計を算出する精算処理を実施することができる。精算部２１は、さらに、精算対象の商品を識別する情報や算出した合計等をディスプレイ等に表示することができる。ここで、情報処理システムは、ディスプレイ等の表示部の表示を制御する表示制御部を備えることもできる。

【0024】

次に、精算部２１による決済処理を説明する。決済処理は、支払金額が決定したものを選択された支払い方法（現金、クレジットカード、ポイントなど）によって、売買取引を完了させることである。精算部２１は、顔認証処理により特定された顧客に対応する電子マネー情報やポイント情報を利用して、決済処理を行うことができる。すなわち、精算部２１は、以下で説明する特定部１２により特定された顧客を識別する情報を取得すると、当該顧客に対応する電子マネー情報やポイント情報をサーバから取得することができる。そして、精算部２１は、当該電子マネー情報やポイント情報を利用して、決済処理を行うことができる。すなわち、精算対象の商品の価格の合計分を電子マネーやポイントで支払う決済処理や、今回の買い物で付与されるポイントをポイント情報で示される残ポイントに加える決済処理を行ってもよい。また、会社等の組織内部に設置された店舗内の情報処理システム１００である場合、当該組織内で顧客を識別する情報（例：社員番号）に支払金額を対応付けて蓄積していき、給料から天引きする決済処理を行ってもよい。

【0025】

なお、精算部２１は、現金、クレジットカード、その他の電子マネーやポイント等を用いた決済処理を行うことができてもよい。例えば、特定部１２により顧客が特定されなかった場合、例示したその他の方法で決済処理を行ってもよい。

【0026】

精算部２１は、登録処理及び決済処理をこの順に行う。精算部２１は、少なくとも１つの商品を登録する登録処理の後に決済処理を開始する操作がなされると、それに応じて決済処理を開始する。

【0027】

決済処理を開始する操作は、例えば、「決済処理の開始」に対応する物理キーの押下であってもよい。その他、当該操作は、例えば、タッチパネルエリア上の「決済処理の開始」に対応するエリアへの操作（例：タッチ）であってもよい。その他、当該操作は、マイクを介して「決済処理の開始」に対応する所定のワードを入力するものあってもよい。なお、ここでの例示はあくまで一例であり、これらに限定されない。

【0028】

取得部１１は、顧客を撮像するカメラ（第１のカメラ）により生成された顧客の顔を含む画像を取得する。第１のカメラは、情報処理システム１００の付近に位置する顧客、より詳細には会計中の顧客の顔を撮影するよう設置される。第１のカメラは動画像を連続的に撮影してもよいし、所定のタイミングで静止画像を撮影してもよい。すなわち、取得部１１は、所定時間間隔で連続的に生成された複数のフレームの画像を第１のカメラから取得してもよいし、あるタイミングで生成された１つの画像を第１のカメラから取得してもよい。つまり、取得部１１は、異なるタイミングで撮像された画像を複数取得することもできる。

【0029】

特定部１２は、複数の人物の顔の特徴量を登録したデータベース情報（図４参照）及び取得部１１により取得された画像に基づき、顧客を特定することができる。例えば、特定部１２は、代金を支払う第１の顧客を特定する。図４のデータベース情報は、顧客を識別する情報（顧客氏名、顧客会員番号、社員番号等）と、顧客の顔の特徴量とを対応付けている。図４のデータベース情報は、さらに、各顧客の顔の写真を有してもよい。

【0030】

特定部１２は、取得部１１により取得された画像の中から人物を抽出するとともに、その人物の外観の特徴量を抽出する。そして、特定部１２は、画像内で抽出した人物の特徴量と、データベース情報に含まれる複数の人物各々の外観の特徴量とを照合し、類似度が基準値以上の人物を特定する。

【0031】

類似度が基準値以上の人物をデータベース情報内で特定できた場合、特定結果としてその人物を識別する情報を出力する。一方、類似度が基準値以上の人物をデータベース情報内で特定できなかった場合、特定結果として「該当者なし」を出力する。当該照合処理の詳細は特段制限されず、あらゆる技術を採用して実現できる。

【0032】

なお、特定部１２は、第１の顧客に対する決済処理を開始する操作がなされる前に、第１の顧客を特定するための認証処理を開始することができる。このため、第１の顧客に対する決済処理を開始する操作がなされる前に、第１の顧客を特定することが可能となる。

【0033】

例えば、特定部１２は、第１の顧客に対する商品の登録処理が開始された場合に、それに応じて、第１の顧客を特定するための認証処理を開始してもよい。図１５に示す判定部１４が、第１の顧客に対する商品の登録処理が開始されたことを判定してもよい。判定部１４は、例えば、最初の商品の登録がなされた場合に、商品の登録処理が開始されたと判定することができる。なお、特定部１２は、決済処理を開始する操作がなされる前のその他の操作に応じて、第１の顧客を特定するための認証処理を開始してもよい。例えば、特定部１２は、第１の顧客の前の顧客（第２の顧客）に対する会計処理（登録処理、精算処理、及び決済処理等）中に起きる所定のイベント（例：決済処理を開始する操作、レシートやクーポンが出力されたこと、釣銭を払い出したこと）をトリガとして、第１の顧客を特定するための認証処理を開始してもよい。例えば、特定部１２は、第１の顧客より前に決済処理が行われる第２の顧客に対して決済処理を開始する操作がなされた場合に、当該第１の顧客の特定を開始してもよい。ここで、第２の顧客は、第１の顧客の直前の顧客であっても良いし、所定人数前の顧客であっても良い。

【0034】

第１のカメラが動画像を撮影している場合、特定部１２は、認証処理を開始すると、所定のフレームの画像（例：その時点で最新のフレームの画像）を処理対象として決定し、当該画像に含まれる人物を特定する処理を行う。以降、特定部１２は、所定時間おきのその後のフレームの画像各々を処理対象とし、各画像に含まれる人物を特定する処理を継続してもよい。すなわち、特定部１２は、画像に含まれる人物を特定する処理を開始した後、その後に生成された複数のフレームの画像（所定時間おきのフレームの画像）を順に処理して、各画像に含まれる人物を特定してもよい。

【0035】

この場合、特定部１２は、予め定められた終了タイミングで、第１の顧客に対する認証処理を終了する。終了タイミングは、第１の顧客に対する決済処理を開始する操作がなされたタイミングであってもよいし、次の顧客に対する登録処理が開始されたタイミングであってもよいし、その他であってもよい。つまり、特定部１２は、第１の顧客に対する認証処理を終了した後に、第１の顧客の次の顧客（第３の顧客）に対する処理を開始する構成とすることができる。また、特定部１２は、第１の顧客に対する認証処理を終了したと略同時に、第１の顧客の次の顧客（第３の顧客）に対する処理を開始する構成とすることもできる。

【0036】

第１のカメラが動画像を撮影している場合、第１の顧客に対応して、複数の特定結果が蓄積されることとなる（図５参照）。すなわち、フレーム毎に、特定結果（抽出した人物を識別する情報又は該当者なし）が蓄積される。上述した精算部２１は、複数の特定結果の中の所定の特定結果を用いて、上述した決済処理を行うことができる。例えば、精算部２１は、第１の顧客に対する決済処理を開始する操作がなされた時点で最新の特定結果（例：その時点までに蓄積された特定結果の中の最新の特定結果、または、その時点までに取得された画像の中の最新の画像に基づく特定結果）を用いて、決済処理を行ってもよい。そして、最新の特定結果が該当者なしである場合または特定する処理が終了していない場合（第１の顧客が特定できていない）、所定の検索条件で抽出した他の特定結果を用いて、決済処理を行ってもよい。他の特定結果としては、最新のフレームより１つ前のフレームの特定結果であってもよいし、特定結果が抽出した人物を識別できているフレームの中で最新のフレームの結果であってもよい。他の特定結果も該当者なしである場合、所定の検索条件でさらに他の特定結果を抽出してもよい。そして、所定数連続で抽出した特定結果が該当者なしである場合、精算部２１は、顔認証処理を利用した決済処理と異なる方法で、決済処理を行ってもよい。また、第１の顧客に対する決済処理を開始する操作がなされた時点で最新の画像において第１の顧客を特定できていない場合、精算部２１は、当該最新の画像より前に取得した画像で特定した第１の顧客に対する決済処理を行ってもよい。

【0037】

次に、第１のカメラが静止画像を撮影している場合、取得部１１は、所定のタイミング（特定部１２が認証処理を開始するタイミング）で、第１のカメラに画像を要求してもよい。そして、特定部１２は、上記要求に応じて第１のカメラが生成した静止画像を処理対象とし、当該画像に含まれる人物を特定する処理を行ってもよい。類似度が基準値以上の人物をデータベース情報内で特定できなかった場合、取得部１１及び特定部１２は、画像の要求及び画像に含まれる人物の特定を、類似度が基準値以上の人物をデータベース情報内で特定できるまで、所定回数を上限として繰り返してもよい。そして、類似度が基準値以上の人物をデータベース情報内で特定できた場合、特定結果としてその人物を識別する情報を出力してもよい。一方、所定回数繰り返しても類似度が基準値以上の人物をデータベース情報内で特定できなかった場合、特定結果として「該当者なし」を出力してもよい。特定結果として人物を識別する情報が出力された場合、上述した精算部２１は、当該情報を用いた上記決済処理を行う。一方、特定結果として該当者なしが出力された場合、精算部２１は、顔認証処理を利用した決済処理と異なる方法で決済処理を行う。

【0038】

次に、図１７のシーケンス図を用いて、本実施形態の情報処理システム１００の処理の流れの一例を説明する。ここでは、取得部１１が動画像を取得する場合の処理を説明する。

【0039】

情報処理システム１００は、登録・決済処理と、認証処理とを並行して行う。まず、登録・決済処理において、商品の登録処理が開始されると（Ｓ３０）、その旨が認証処理に通知される（Ｓ３１）。これに応じて、認証処理では、顧客を特定する処理を開始する。具体的には、画像を取得し（Ｓ３４）、その画像に含まれる人物を特定する処理を行う（Ｓ３５）。そして、特定結果（抽出した人物を識別する情報又は該当者なし）を蓄積する（Ｓ３６）。認証処理では、Ｓ３７の通知を受けるまで、Ｓ３４乃至Ｓ３６を繰り返す。

【0040】

一方、登録・決済処理では、Ｓ３０の商品の登録処理の開始以降も、商品の登録を受付ける（Ｓ３２）。決済処理を開始する操作がなされない間（Ｓ３３のＮｏ）、商品の登録を受付ける（Ｓ３２）。決済処理を開始する操作がなされると（Ｓ３３のＹｅｓ）、その旨が認証処理に通知される（Ｓ３７）。

【0041】

認証処理では、例えばＳ３７の通知に応じて、その顧客を特定する処理（Ｓ３４乃至Ｓ３６）を終了する。そして、それまでに蓄積した特定結果（画像解析した各フレームに、人物を識別する情報又は該当者なしを対応付けたもの）の中から所定の特定結果（所定のフレームに対応付けられた人物を識別する情報又は該当者なし）を抽出し（Ｓ３８）、登録・決済処理に通知する（Ｓ３９）。

【0042】

例えば、Ｓ３７の通知がなされた時点で最新の特定結果を抽出してもよい。そして、最新の特定結果が人物を識別する情報である場合、その特定結果を登録・決済処理に通知してもよい。一方、最新の特定結果が該当者なしである場合、所定の検索条件で他の特定結果を抽出してもよい。そして、他の特定結果が人物を識別する情報である場合、その特定結果を登録・決済処理に通知してもよい。一方、他の特定結果が該当者なしである場合、所定の検索条件で他の特定結果をさらに抽出してもよい。そして、所定数連続で特定結果が該当者なしである場合、該当者なしを登録・決済処理に通知してもよい。

【0043】

登録・決済処理では、Ｓ３９で取得した特定結果に基づき、決済処理を行う（Ｓ４０）。特定結果として人物を識別する情報を取得した場合、例えば、その人物を識別する情報に対応する電子マネー情報やポイント情報をサーバから取得し、当該電子マネー情報やポイント情報を利用して決済処理を行うことができる。一方、特定結果として該当者なしを取得した場合、例えば、その他の方法で決済処理を行うことができる。

【0044】

ここで、図１２及び図１３を用いて、情報処理システム１００のディスプレイに表示される画面の一例を説明する。当該表示は、表示制御部により制御される。まず、登録処理中の画面Ｄを、図１２及び図１３の左側に示している。登録処理中の画面Ｄには、登録された商品の情報（名称、個数、単価等）の一覧や、合計金額等が表示されている。この例の場合、図示する「お会計」エリアのタッチ操作が、決済処理を開始する操作となる。

【0045】

決済処理を開始する操作がなされると、それに応じて画面が遷移する。Ｓ３９で取得した特定結果が人物を識別する情報である場合には、例えばその人物を識別する情報を用いた決済処理を行うこととなる。この決済処理の間、図１３の右側に示すような当該決済処理に対応した画面（決済処理中であることを通知する画面）をディスプレイに表示することができる。ここで、表示制御部は、当該決済処理に対応した画面（決済処理中であることを通知する画面）をディスプレイに表示させることができる。

【0046】

なお、登録・決済処理では、Ｓ３９で取得した人物を識別する情報（特定結果）を用いた決済処理を開始する前に、第１のカメラが生成した画像、及び、特定結果に対応する人物の画像（予め特徴量とともに登録されている画像）をディスプレイに表示し、認証結果に問題ないか否かをオペレータに問い合わせてもよい。そして、問題ない旨の入力を受付けると、それに応じて、その人物の識別情報を用いた決済処理を行ってもよい。

【0047】

一方、Ｓ３９で取得した特定結果が該当者なしである場合には、情報処理システム１００は、図１２の右側に示すように、支払方法の選択を受ける画面をディスプレイに表示してもよい。以降、選択に応じた決済処理を行うことができる。

【0048】

以上説明した本実施形態の情報処理システム１００によれば、決済処理を開始する操作がなされる前、例えば商品の登録処理が開始されると、画像を用いた顧客を特定する処理を開始することができる。このため、精算対象の商品を登録する処理と並行して、顧客を特定する処理を行うことができる。かかる場合、決済処理を開始する操作がなされた時点で、顧客の特定が完了していることが期待される。そして、決済処理を開始する操作がなされると、それに応じて、その時点で得られている特定結果を用いて決済処理を開始することができる。結果、顔認証処理を用いた会計中における顔認証処理の待ち時間を抑制できる。

【0049】

また、本実施形態の情報処理システム１００は、動画像に含まれる複数のフレームの画像各々を処理して各々に含まれる人物を特定し、その中の所定の特定結果に基づき決済処理を行うことができる。かかる場合、あるタイミングで顧客を特定できなかった場合でも、他のタイミングで顧客を特定できた場合には、その特定結果を利用して決済処理を行うことができる。結果、利便性が向上する。
＜第２の実施形態＞
まず、図１を用いて、本実施形態の情報処理システム１００の全体像及び概要を説明する。図示するように、情報処理システム１００は、顧客特定装置１０と精算装置２０とを有する。情報処理システム１００は、顧客特定装置１０と精算装置２０との協働した処理により、所定の処理を実現する。後で実現例を説明するが、顧客特定装置１０と精算装置２０とは、物理的及び／又は論理的に一体となって構成されてもよいし、物理的及び／又は論理的に分かれて構成されてもよい。

【0050】

精算装置２０は、精算対象の商品を登録する処理（登録処理）、及び、決済処理を行う。オペレータ（店員又は顧客）は、所定の入力装置を介して精算対象の商品を精算装置２０に登録する。そして、オペレータは、商品の登録が完了すると、所定の入力装置を介して決済処理を開始する操作を行う。

【0051】

顧客特定装置１０は、精算装置２０付近に設置された第１のカメラにより生成された画像と、複数の人物各々の外観の特徴量を登録したデータベース情報とに基づき、会計中の顧客を特定する。顧客特定装置１０は、精算装置２０に対して決済処理を開始する操作がなされる前に、顧客を特定する処理を開始することができる。そして、顧客特定装置１０は、特定結果（抽出した人物を識別する情報又は該当者なし）を精算装置２０に通知する。

【0052】

精算装置２０は、顧客特定装置１０から取得した特定結果（抽出した人物を識別する情報又は該当者なし）を利用して、決済処理を行う。例えば、精算装置２０は、所定のデータベースから、人物を識別する情報に対応する電子マネー情報やポイント情報等を取得し、取得した情報を利用して決済処理を行う。また、会社等の組織内部に設置された店舗内の情報処理システム１００である場合、当該組織内で顧客を識別する情報（例：社員番号）に支払金額を対応付けて蓄積していき、給料から天引きする決済処理を行ってもよい。なお、精算装置２０は、現金、クレジットカード、その他の電子マネーやポイント等を用いた決済処理を行うことができてもよい。例えば、画像を用いた処理で顧客を特定できなかった場合、例示したその他の方法で決済処理を行ってもよい。

【0053】

このような本実施形態の情報処理システム１００によれば、決済処理を開始する操作がなされる前に、画像を用いた顧客を特定する処理を開始することができる。このため、精算対象の商品を登録する処理等と並行して、顧客を特定する処理を行うことができる。かかる場合、決済処理を開始する操作がなされた時点で、顧客の特定が完了していることが期待される。そして、決済処理を開始する操作がなされると、それに応じて、その時点で特定されている顧客の識別情報を用いた決済処理を開始することができる。結果、顔認証処理を用いた会計中における顔認証処理の待ち時間を抑制できる。

【0054】

次に、顧客特定装置１０及び精算装置２０の構成を説明する。まず、顧客特定装置１０及び精算装置２０のハードウエア構成の一例について説明する。本実施形態の顧客特定装置１０及び精算装置２０が備える各機能部は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0055】

図２は、本実施形態の顧客特定装置１０及び精算装置２０のハードウエア構成を例示するブロック図である。図１に示すように、顧客特定装置１０及び精算装置２０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、顧客特定装置１０及び精算装置２０を物理的及び／又は論理的に分けて構成する場合、顧客特定装置１０及び精算装置２０各々が図１に示すようなハードウエア構成を備える。

【0056】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵやＧＰＵなどの演算処理装置である。メモリ２Ａは、例えばＲＡＭやＲＯＭなどのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0057】

次に、精算装置２０の機能構成を説明する。図１６に、精算装置２０の機能ブロック図の一例を示す。図示するように、精算装置２０は精算部２１を有する。図示しないが、精算装置２０は、さらに表示制御部を有してもよい。精算部２１及び表示制御部の機能は、第１の実施形態で説明した精算部２１の機能と同様である。

【0058】

なお、精算装置２０は、顧客特定装置１０との間で情報のやりとりを行うよう構成される。例えば、精算装置２０は、顧客特定装置１０から顧客を識別する情報を取得する。

【0059】

また、精算装置２０は、所定の操作がなされたことを顧客特定装置１０に通知する。一例として、精算装置２０は、ある顧客に対する会計処理（登録処理及び決済処理等）の中で、決済処理を開始する操作がなされる前に行われる所定の操作がなされると、それに応じてその操作がなされことを顧客特定装置１０に通知してもよい。例えば、精算装置２０は、当該顧客に対する会計処理の中で最初の商品登録がなされたことを、顧客特定装置１０に通知してもよい。他の一例として、精算装置２０は、決済処理を開始する操作がなされたことを顧客特定装置１０に通知してもよい。

【0060】

次に、顧客特定装置１０の機能構成を説明する。図３に、顧客特定装置１０の機能ブロック図の一例を示す。図示するように、顧客特定装置１０は、取得部１１と、特定部１２と、通知部１３とを有する。

【0061】

取得部１１の構成は、第１の実施形態で説明した取得部１１の構成と同様である。特定部１２の構成は、第１の実施形態で説明した特定部１２の構成と同様である。

【0062】

通知部１３は、特定部１２による特定結果を精算装置２０に通知する。例えば、通知部１３は、特定部１２により特定された「顧客（第１の顧客）を識別する情報」や、「該当者なし」等の特定結果を精算装置２０に通知する。尚、「該当者なし」の場合には、通知しない構成とすることもできる。また、顧客を識別する情報の変わりに、クレジットカードの番号を通知する構成としても良い。さらに、他の決済方法がある場合には、特定した顧客に対応する決済方法を通知しても良い。

【0063】

次に、図１７のシーケンス図を用いて、本実施形態の情報処理システム１００の処理の流れの一例を説明する。ここでは、取得部１１が動画像を取得する場合の処理を説明する。なお、図示する登録・決済処理は、精算装置２０の処理である。図示する認証処理は、顧客特定装置１０の処理である。

【0064】

情報処理システム１００は、精算装置２０による登録・決済処理と、顧客特定装置１０による認証処理とを並行して行う。まず、精算装置２０は、商品の登録処理が開始されると（Ｓ３０）、その旨を顧客特定装置１０に通知する（Ｓ３１）。これに応じて、顧客特定装置１０は、顧客を特定する処理を開始する。具体的には、顧客特定装置１０は、画像を取得し（Ｓ３４）、その画像に含まれる人物を特定する処理を行う（Ｓ３５）。そして、顧客特定装置１０は、特定結果（抽出した人物を識別する情報又は該当者なし）を蓄積する（Ｓ３６）。顧客特定装置１０は、Ｓ３７の通知を受けるまで、Ｓ３４乃至Ｓ３６を繰り返す。

【0065】

一方、精算装置２０は、Ｓ３０の商品の登録処理の開始以降も、商品の登録を受付ける（Ｓ３２）。決済処理を開始する操作がなされない間（Ｓ３３のＮｏ）、精算装置２０は、商品の登録を受付ける（Ｓ３２）。決済処理を開始する操作がなされると（Ｓ３３のＹｅｓ）、精算装置２０は、その旨を顧客特定装置１０に通知する（Ｓ３７）。

【0066】

顧客特定装置１０は、例えばＳ３７の通知に応じて、その顧客を特定する処理（Ｓ３４乃至Ｓ３６）を終了する。次いで、顧客特定装置１０の通知部１３は、それまでに蓄積された特定結果の中から所定の特定結果を抽出し（Ｓ３８）、抽出した特定結果を精算装置２０に通知する（Ｓ３９）。

【0067】

例えば、通知部１３は、Ｓ３７の通知がなされた時点で最新の特定結果を抽出してもよい。そして、最新の特定結果が人物を識別する情報である場合、通知部１３は、その特定結果を精算装置２０に通知してもよい。一方、最新の特定結果が該当者なしである場合、通知部１３は、所定の検索条件で他の特定結果を抽出してもよい。そして、他の特定結果が人物を識別する情報である場合、通知部１３は、その特定結果を精算装置２０に通知してもよい。一方、他の特定結果が該当者なしである場合、通知部１３は、所定の検索条件で他の特定結果をさらに抽出してもよい。そして、所定数連続で特定結果が該当者なしである場合、通知部１３は、該当者なしを精算装置２０に通知してもよい。

【0068】

精算装置２０は、Ｓ３９で取得した特定結果に基づき、決済処理を行う（Ｓ４０）。特定結果として人物を識別する情報を取得した場合、精算装置２０は、例えば、その人物を識別する情報に対応する電子マネー情報やポイント情報をサーバから取得し、当該電子マネー情報やポイント情報を利用して決済処理を行うことができる。一方、特定結果として該当者なしを取得した場合、精算装置２０は、例えば、その他の方法で決済処理を行うことができる。

【0069】

ここで、図１２及び図１３を用いて、精算装置２０のディスプレイに表示される画面の一例を説明する。まず、登録処理中の画面Ｄを、図１２及び図１３の左側に示している。登録処理中の画面Ｄには、登録された商品の情報（名称、個数、単価等）の一覧や、合計金額等が表示されている。この例の場合、図示する「お会計」エリアのタッチ操作が、決済処理を開始する操作となる。

【0070】

決済処理を開始する操作がなされると、それに応じて画面が遷移する。Ｓ３９で取得した特定結果が人物を識別する情報である場合には、例えばその人物を識別する情報を用いた決済処理を行うこととなる。この決済処理の間、図１３の右側に示すような当該決済処理に対応した画面（決済処理中であることを通知する画面）をディスプレイに表示することができる。

【0071】

なお、精算装置２０は、Ｓ３９で取得した人物を識別する情報（特定結果）を用いた決済処理を開始する前に、第１のカメラが生成した画像、及び、特定結果に対応する人物の画像（予め特徴量とともに登録されている画像）をディスプレイに表示し、認証結果に問題ないか否かをオペレータに問い合わせてもよい。そして、精算装置２０は、問題ない旨の入力を受付けると、それに応じて、その人物の識別情報を用いた決済処理を行ってもよい。

【0072】

一方、Ｓ３９で取得した特定結果が該当者なしである場合には、精算装置２０は、図１２の右側に示すように、支払方法の選択を受ける画面をディスプレイに表示してもよい。以降、精算装置２０は、選択に応じた決済処理を行うことができる。

【0073】

次に、図６のフローチャートを用いて、本実施形態の顧客特定装置１０の処理の流れの一例を説明する。当該処理例は、取得部１１が第１のカメラから動画像を取得する場合の例である。

【0074】

まず、顧客特定装置１０は、画像に含まれる人物を特定する処理を開始するための通知待ち状態となる（Ｓ２０）。そして、精算装置２０から所定の通知を受けると（Ｓ２０のＹｅｓ）、画像に含まれる人物を特定する処理を開始する。なお、画像に含まれる人物を特定する処理を開始するための通知は、例えば、ある顧客に対する会計処理（登録処理及び決済処理等）の中で、決済処理を開始する操作がなされる前に行われる所定の操作がなされたことの通知（例：最初の商品登録がなされたことを示す通知））である。

【0075】

Ｓ２１では、特定部１２は、処理対象とする画像を取得部１１から取得する。Ｓ２２では、特定部１２は、Ｓ２１で取得した画像、及び、複数の人物各々の外観の特徴量を登録したデータベース情報に基づき、画像に含まれる人物を特定する。その後、画像に含まれる人物を特定する処理を終了するための通知がない場合（Ｓ２３のＮｏ）、再びＳ２１に戻り、次のフレームの画像を取得する。以降、同様の処理を繰り返す。結果、Ｓ２２での特定結果が蓄積されていく。

【0076】

そして、画像に含まれる人物を特定する処理を終了するための通知を精算装置２０から受けると（Ｓ２３のＹｅｓ）、Ｓ２４に進む。画像に含まれる人物を特定する処理を終了するための通知は、例えば、決済処理を開始する操作がなされたことの通知である。

【0077】

Ｓ２４では、通知部１３は、それまでに蓄積された特定結果の中の所定の特定結果を精算装置２０に通知する。その後、Ｓ２０に戻って、再び、画像に含まれる人物を特定する処理を開始するための通知待ち状態となる。

【0078】

次に、図７のフローチャートを用いて、本実施形態の顧客特定装置１０の処理の流れの一例を説明する。当該処理例は、取得部１１が第１のカメラから静止画像を取得する場合の例である。

【0079】

まず、顧客特定装置１０は、画像に含まれる人物を特定する処理を開始するための通知待ち状態となる（Ｓ１０）。そして、精算装置２０から所定の通知を受けると（Ｓ１０のＹｅｓ）、画像に含まれる人物を特定する処理を開始する。なお、画像に含まれる人物を特定する処理を開始するための通知は、例えば、ある顧客に対する会計処理（登録処理及び決済処理等）の中で、決済処理を開始する操作がなされる前に行われる所定の操作がなされたことの通知（例：最初の商品登録がなされたことを示す通知））である。

【0080】

Ｓ１１では、取得部１１は、第１のカメラに画像を要求し、当該要求に応じて撮影された画像を第１のカメラから取得する。そして、特定部１２は、取得部１１から当該画像を取得する。

【0081】

Ｓ１２では、特定部１２は、Ｓ１１で取得した画像、及び、複数の人物各々の外観の特徴量を登録したデータベース情報に基づき、画像に含まれる人物を特定する。Ｓ１３では、通知部１３は、特定部１２による特定結果を精算装置２０に通知する。その後、Ｓ１０に戻って、再び、画像に含まれる人物を特定する処理を開始するための通知待ち状態となる。

【0082】

次に、顧客特定装置１０及び精算装置２０により実現される本実施形態の情報処理システム１００の実現例を説明する。

【0083】

顧客特定装置１０及び精算装置２０は物理的及び／又は論理的に一体となった１つの装置で実現されてもよい。例えば、１つのＰＯＳレジスターにより、顧客特定装置１０及び精算装置２０が実現されてもよい。

【0084】

その他、図８に示すように、物理的及び／又は論理的に分かれたＰＯＳレジスター１と付属装置２とにより、顧客特定装置１０及び精算装置２０が実現されてもよい。ＰＯＳレジスター１と付属装置２とは、有線及び／又は無線で互いに通信可能に構成される。ＰＯＳレジスター１と付属装置２とは、図示するように１対１で接続されてもよいし、１つの付属装置２に対して複数のＰＯＳレジスター１が接続されてもよい。

【0085】

図８の例の場合、ＰＯＳレジスター１により精算装置２０が実現され、付属装置２により顧客特定装置１０が実現されてもよい。

【0086】

その他、ＰＯＳレジスター１により精算装置２０と、顧客特定装置１０の一部機能とが実現され、付属装置２により顧客特定装置１０の他の一部機能が実現されてもよい。例えば、ＰＯＳレジスター１により、顧客特定装置１０の取得部１１と、特定部１２の一部機能（例：画像から人物を抽出する機能、及び、その人物の特徴量を抽出する機能）とが実現されてもよい。そして、付属装置２により、特定部１２の他の一部機能（例：画像から抽出された人物の特徴量と、複数の人物各々の外観の特徴量を登録したデータベース情報とを照合する機能）と、通知部１３とが実現されてもよい。

【0087】

その他、図９に示すように、物理的及び／又は論理的に分かれたＰＯＳレジスター１とサーバ３とにより、顧客特定装置１０及び精算装置２０が実現されてもよい。ＰＯＳレジスター１とサーバ３とは、有線及び／又は無線で互いに通信可能に構成される。図示するように、１つのサーバ３に対して複数のＰＯＳレジスター１が接続される。

【0088】

図９の例の場合、ＰＯＳレジスター１により精算装置２０が実現され、サーバ３により顧客特定装置１０が実現されてもよい。

【0089】

その他、ＰＯＳレジスター１により精算装置２０と、顧客特定装置１０の一部機能とが実現され、サーバ３により顧客特定装置１０の他の一部機能が実現されてもよい。例えば、ＰＯＳレジスター１により、顧客特定装置１０の取得部１１と、特定部１２の一部機能（例：画像から人物を抽出する機能、及び、その人物の特徴量を抽出する機能）とが実現されてもよい。そして、サーバ３により、特定部１２の他の一部機能（例：画像から抽出された人物の特徴量と、複数の人物各々の外観の特徴量を登録したデータベース情報とを照合する機能）と、通知部１３とが実現されてもよい。

【0090】

ここで、変形例を説明する。情報処理システム１００は、顧客を特定しやすい状態で撮影できるようにするため、第１のカメラの方に顧客の顔を向かせる手段を有してもよい。例えば、情報処理システム１００は、第１のカメラの付近に設置されたディスプレイに所定の情報を表示することで、第１のカメラの方に顧客の顔を向けさせてもよい。例えば、ディスプレイに選択画面を表示させることにより、顧客の顔を第１のカメラの方に向けさせることとしても良い。具体的には、レジ袋の有無の選択画面を表示させ、顧客の顔の向きを変えるような構成としても良い。さらに、レジ袋の有無を表示するタイミングとしては、精算装置２０が、顧客特定装置１０に顧客を特定する処理を開始させるための通知をした後に実施されることが好ましい。その他、情報処理システム１００は、第１のカメラの付近に設置されたスピーカから所定の音声を出力することで、第１のカメラの方に顧客の意識を向けさせてもよい。その他、情報処理システム１００は、第１のカメラの付近に設置されたランプを点灯したり点滅したりすることで、第１のカメラの方に顧客の意識を向けさせてもよい。

【0091】

他の変形例を説明する。情報処理システム１００は、他の位置に設置された第２のカメラにより生成された画像を取得する第２の取得部と、複数の人物各々の外観の特徴量を登録したデータベース情報とに基づき、店舗に来店している人物を特定する第２の特定部をさらに有してもよい。そして、顧客特定装置１０の特定部１２は、第２の特定部により特定された人物群の上記データベース情報に基づき、第１のカメラにより生成された画像に含まれる人物を特定してもよい。かかる場合、第１のカメラにより生成された画像に含まれる人物を特定するために照合する情報の数を減らすことができる。結果、照合処理の速度を向上させることができる。

【0092】

第２のカメラは、店舗内の任意の場所に設置される。例えば、第２のカメラは店舗の出入口に設置されてもよい。なお、顧客特定装置１０が前段階特定部を有してもよいし、顧客特定装置１０及び精算装置２０と物理的及び／又は論理的に分かれた他の装置が前段階特定部を有してもよい。この場合、顧客特定装置１０と他の装置とは有線及び／又は無線で互いに通信可能に構成される。

【0093】

尚、情報処理システム１００は、上記第２の取得部及び第２の特定部に加えて、顧客データベースおよびデータベース生成部をさらに備える構成とすることもできる。第２の特定部は、第２のカメラから取得された画像の中から人物を抽出するとともに、その人物の外観の特徴量を抽出する。そして、第２の特定部は、画像内で抽出した人物の特徴量と、データベース情報に含まれる複数の人物各々の外観の特徴量とを照合し、類似度が基準値以上の人物を特定する。データベース生成部は、第２の特定部で特定された人物を識別する情報（氏名、会員番号、社員番号等）と、人物の顔の特徴量とを対応付けて顧客データベースに記憶させる。顧客データベースは、第２のカメラが設置されている店舗に来店した顧客を識別する情報（氏名、会員番号、社員番号等）と、その顧客の顔の特徴量を対応付けて記憶する。尚、顧客データベースは、これまで来店したことがある顧客すべてを記憶する構成であっても良いし、顧客の退店を検知し、顧客の退店時に顧客データベースから削除する構成であっても良いし、所定期間（１日や１週間など）の期間で顧客データベースに記憶されている情報を削除する構成とすることもできる。特定部１２は、構築された顧客データベースと、第１のカメラから取得した顧客の顔画像に基づいて、顧客を特定する。

【0094】

他の変形例を説明する。取得部１１が第１のカメラから取得した画像は、一時的に顧客特定装置１０の記憶装置内に記憶される。そして、顧客特定装置１０は、所定のタイミングで、当該記憶装置内から画像を消去してもよい。例えば、通知部１３により精算装置２０への特定結果の通知がなされると、それに応じて、それまでに記憶装置に蓄積された画像を消去してもよい。このようにすることで、来店者の個人情報が保護される。

【0095】

他の変形例を説明する。情報処理システム１００は、複数の人物各々の外観の特徴量を登録したデータベース情報において、複数の人物各々の画像（登録画像）をさらに記憶してもよい。そして、情報処理システム１００は、第１のカメラにより生成された画像、及び、顧客特定装置１０により特定された人物の登録画像を並べてディスプレイ（例：精算装置２０のディスプレイ）に表示してもよい。ディスプレイは、精算装置２０を操作するオペレータ（店員又は顧客）に向けられたものであってもよいし、店員が精算装置２０を操作している間、待っている顧客に向けられたものであってもよい。これにより、店員や顧客が、情報処理システム１００による顧客の認識間違いを検知できる。

【0096】

他の変形例を説明する。情報処理システム１００は、図１８に示すように、顧客ごとに顧客が指定した支払方法を登録しておいてもよい。そして、情報処理システム１００は、画像を用いて特定した顧客を識別する情報に対応する決済方法で、決済処理を行ってもよい。

【0097】

なお、ここで説明した変形例はいずれも、他の実施形態においても適用可能である。

【0098】

以上説明した本実施形態の情報処理システム１００によれば、第１の実施形態と同様の作用効果が得られる。また、図８及び図９に示すように、ＰＯＳレジスター１と他の装置（付属装置２又はサーバ３）とで情報処理システム１００を実現する構成とすることで、顔認証処理を実行する機能を有さない既存のＰＯＳレジスター１を利用することができる。結果、新たなシステムを導入する費用を抑えることができる。

【0099】

＜第３の実施形態＞
本実施形態は、第２の実施形態の変形例である。図６等を用いて説明した第２の実施形態では、顧客特定装置１０が動画像を処理して得られた複数の特定結果を蓄積し、所定のタイミングでその中から１つを抽出して精算装置２０に通知する例を説明した。本実施形態では、顧客特定装置１０は動画像を連続的に処理することで得られた複数の特定結果を精算装置２０に送信してもよい。そして、精算装置２０内の記憶装置に複数の特定結果が蓄積されてもよい。かかる場合、精算装置２０が、任意のタイミング（決済処理を開始する操作がなされたタイミング）で、蓄積された複数の特定結果の中から１つを抽出し、抽出した特定結果を用いて決済処理を行う。複数の特定結果の中から１つを抽出する処理は、上述した通知部１３による処理と同様である。本実施形態の情報処理システム１００も第１及び第２の実施形態と同様の作用効果を実現できる。

【0100】

＜第４の実施形態＞
本実施形態の顧客特定装置１０は、決済処理を開始する操作がなされたことの通知を精算装置２０から受けると、当該通知に応じて、取得部１１により取得された画像内の所定のエリアに含まれる人物を次の顧客（次に決済処理を行う顧客）として特定する処理を開始する点で、第２及び第３の実施形態と異なる。顧客特定装置１０のその他の構成及び精算装置２０の構成は、第２及び第３の実施形態と同様である。

【0101】

図１０を用いて、会計処理の流れの一例を説明する。精算装置２０はカウンターに設置される。精算装置２０を操作する店員と、会計中の顧客は、カウンターを挟んで対峙する。会計中の顧客は、精算装置２０や店員の前に位置する。図では、会計処理の順番待ちの顧客が示されている。図中、矢印で、会計処理が終了した顧客の移動方向、及び、それに応じた次の顧客の移動方向を示している。

【0102】

次の順番の顧客は、例えば前の顧客が決済処理を開始すると、前の顧客との間の距離を保ちながら図示する矢印の向きに少しずつ移動し、例えばカウンターの図中右端付近においてあった精算対象の商品を精算装置２０の方に移動させたりする。そして、前の顧客がカウンターの前からいなくなると、さらに矢印の方向に移動して精算装置２０や店員の前に位置する。

【0103】

本実施形態では、第１のカメラは、精算装置２０や店員の前にいる会計中の顧客のみならず、当該位置よりも順番待ちの顧客がいる側を含んで撮影するよう設置される。

【0104】

そして、特定部１２は、決済処理を開始する操作がなされたことの通知を精算装置２０から受けると、当該通知に応じて、取得部１１により取得された画像内の所定のエリアに含まれる人物を次の顧客として特定する処理を開始する。

【0105】

所定のエリアは、次の顧客がうつりこんでくるエリア（フェードインしてくるエリア）である。所定のエリアは、第１のカメラの設置位置や向き、会計中の顧客がいる位置、次の順番の顧客がいる位置等に応じて決定される。例えば、図１０の関係で、図中下側から上側に向かって第１のカメラが撮影する場合、図１１に示すフレーム画像Ｆの中のエリアＡ２（右側のエリア）を、上記所定のエリアとすることができる。なお、エリアＡ１（左側のエリア）には、前の顧客がうつっている可能性がある。

【0106】

第１のカメラが動画像を撮影する場合、特定部１２は、エリアＡ２内で人物を特定後、特定した人物の動きを監視してもよい。そして、当該人物がエリアＡ１内に移動すると、それ以降、人物を特定する処理の対象エリアを、エリアＡ２から画像全体に切り替えてもよい。

【0107】

なお、本実施形態の構成を、第１の実施形態の情報処理システム１００に採用することもできる。

【0108】

以上説明した本実施形態によれば、第１乃至第３の実施形態と同様の作用効果を実現できる。また、本実施形態の情報処理システム１００によれば、第１乃至第３の実施形態で説明したタイミングよりも早いタイミングで、顧客を特定する処理を開始することができる。このため、より早い段階で、顧客を特定することができる。結果、より確実に、顔認証処理を用いた会計中に、顔認証処理の待ち時間を抑制できる。

【0109】

上記の実施形態の一部または全部は、以下の付記の要にも記載されうるが、以下には限られない。
１． 第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定した前記第１の顧客に対する決済処理を行う決済手段と、
を備え、
前記特定手段は、前記決済処理の開始操作がなされる前に前記第１の顧客を特定する、情報処理システム。
２． １に記載の情報処理システムにおいて、
前記特定手段は、前記第１の顧客が購入する商品の登録処理が開始された場合に、当該第１の顧客の特定を開始する情報処理システム。
３． １に記載の情報処理システムにおいて、
前記特定手段は、前記第１の顧客より前に決済処理が行われる第２の顧客に対して決済処理を開始する操作がなされた場合に、当該第１の顧客の特定を開始する情報処理システム。
４． １から３のいずれかに記載の情報処理システムにおいて、
前記特定手段が前記第１の顧客を特定できなかった場合、決済方法を選択する画面を表示させる表示制御手段をさらに備える情報処理システム。
５． １から４のいずれかに記載の情報処理システムにおいて、
前記取得手段は、異なるタイミングで撮像された複数の前記画像を前記第１のカメラから取得し、
前記決済手段は、前記第１の顧客に対する決済処理の開始操作がなされた時点における最新の画像で特定した前記第１の顧客に対する決済処理を行う情報処理システム。
６． ５に記載の情報処理システムにおいて、
前記決済手段は、前記特定手段が前記最新の画像で前記第１の顧客を特定できていない場合、当該最新の画像より前に取得した前記画像で特定した前記第１の顧客に対する決済処理を行う情報処理システム。
７． １から６のいずれか１項に記載の情報処理システムにおいて、
前記第１のカメラとは異なる位置に設置された第２のカメラから顔の画像を取得する第２取得手段と、
前記第２のカメラから取得した前記画像と、前記データベース情報とに基づき、店舗に来店中の顧客を特定するための顧客データベースを生成する生成手段をさらに備え、
前記特定手段は、前記生成手段が生成した顧客データベースの情報に基づき、前記第１の顧客を特定する情報処理システム。
８． 第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定した前記第１の顧客に対する決済処理を行う決済手段と、を備え、
前記特定手段は、前記第１の顧客が購入する商品の登録処理が開始された場合に、前記第１の顧客を特定する、情報処理システム。
９． 第１のカメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段と、
特定された前記第１の顧客に対応する該顧客を識別する情報を精算装置に通知する通知手段と、
を備え、
前記特定手段は、決済処理の開始操作がなされる前に前記第１の顧客を特定する、顧客特定装置。
１０． コンピュータが、
第１のカメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定工程と、
特定した前記第１の顧客に対する決済処理を行う決済工程と、
を実行し、
前記特定工程では、前記決済処理の開始操作がなされる前に前記第１の顧客を特定する、情報処理方法。
１１． コンピュータを、
第１のカメラにより生成された顔の画像を取得する取得手段、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段、
特定した前記第１の顧客に対する決済処理を行う決済手段、
として機能させ、
前記特定手段は、前記決済処理の開始操作がなされる前に前記第１の顧客を特定する、プログラム。
１２． コンピュータが、
第１のカメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定工程と、
特定した前記第１の顧客に対する決済処理を行う決済工程と、を実行し、
前記特定工程では、前記第１の顧客が購入する商品の登録処理が開始された場合に、前記第１の顧客を特定する、情報処理方法。
１３． コンピュータを、
第１のカメラにより生成された顔の画像を取得する取得手段、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段、
特定した前記第１の顧客に対する決済処理を行う決済手段、として機能させ、
前記特定手段は、前記第１の顧客が購入する商品の登録処理が開始された場合に、前記第１の顧客を特定する、プログラム。
１４． コンピュータが、
第１のカメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定工程と、
特定された前記顧客に対応する該顧客を識別する情報を前記精算装置に通知する通知工程と、
を実行し、
前記特定工程では、前記決済処理の開始操作がなされる前に前記第１の顧客を特定する、顧客特定方法。
１５． コンピュータを、
第１のカメラにより生成された顔の画像を取得する取得手段、
取得した前記画像と、顔の特徴量を登録したデータベース情報とに基づき、代金を支払う第１の顧客を特定する特定手段、
特定された前記顧客に対応する該顧客を識別する情報を前記精算装置に通知する通知手段、
として機能させ、
前記特定手段は、前記決済処理の開始操作がなされる前に前記第１の顧客を特定する、プログラム。

【0110】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0111】

この出願は、２０１６年１２月２０日に出願された日本出願特願２０１６－２４６５３７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】