特開 2024-103810 情報処理システム、顧客特定装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103810

(43)【公開日】2024-08-01

(54)【発明の名称】情報処理システム、顧客特定装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06Q 20/40 20120101AFI20240725BHJP

【ＦＩ】

G06Q20/40

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024093537

(22)【出願日】2024-06-10

(62)【分割の表示】P 2023099842の分割

【原出願日】2017-09-06

(31)【優先権主張番号】P 2016248811

(32)【優先日】2016-12-22

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】関根 瑞人

(72)【発明者】

【氏名】北田 正人

(72)【発明者】

【氏名】江原 誉典

(72)【発明者】

【氏名】後藤 彩加

(57)【要約】

【課題】本発明は、顔認証処理を用いて決済対象者を特定する新たな技術を提供する。
【解決手段】本発明によれば、カメラにより生成された顔の画像を取得する取得部と、取得した画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択部と、選択された人物が含まれる画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定部と、特定された人物に対して決済処理を行う決済部（精算部）と、を有する情報処理システムが提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択手段と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段と、
特定された前記人物に対して決済処理を行う決済手段と、
を有する情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記選択手段は、前記動きのある人物として複数の人物が選択された場合、選択された前記複数の人物の中から、精算装置との距離が小さい人物を、決済処理を行う人物として選択する情報処理システム。

【請求項3】

請求項１に記載の情報処理システムにおいて、
前記選択手段は、前記動きのある人物として複数の人物が選択された場合、選択された前記複数の人物の中から、所定の時間帯の間に前記カメラで撮影された頻度が高い人物及び時間が長い人物の少なくともいずれか一方を、決済処理を行う人物として選択する情報処理システム。

【請求項4】

請求項１から３のいずれか１項に記載の情報処理システムにおいて、
前記選択手段は、前記画像に基づき推定された推定年齢が基準値以上の人物を、決済処理を行う人物として選択する情報処理システム。

【請求項5】

請求項１から４のいずれか１項に記載の情報処理システムにおいて、
前記選択手段は、複数の人物が抽出された場合、動きのない人物を、決済処理を行う人物から除外する情報処理システム。

【請求項6】

請求項１から５のいずれか１項に記載の情報処理システムにおいて、
前記選択手段は、複数の人物が抽出された場合、抽出された複数の人物の中から動きのない人物を除外し、残った人物の中から決済処理を行う人物を選択する情報処理システム。

【請求項7】

カメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択手段と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段と、
前記特定手段により特定された前記決済処理を行う人物に対する該人物を識別する情報を精算装置に通知する通知手段と、
を有する顧客特定装置。

【請求項8】

コンピュータが、
カメラにより生成された顔の画像を取得し、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択し、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定し、
特定された前記人物に対して決済処理を行う、
情報処理方法。

【請求項9】

コンピュータを、
カメラにより生成された顔の画像を取得する取得手段、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択手段、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段、
特定された前記人物に対して決済処理を行う決済手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、顧客特定装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１に、会計作業に顔認証処理を用いる情報処理システムが開示されている。当該情報処理システムは、来店者の顔情報を含む情報を取得し、取得した情報に含まれる来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを用いて顔認証を実施することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１２６７４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

顔認証処理を用いて決済対象者を特定する技術においては、画像から複数の人物が抽出された場合、決済対象者の特定精度が低下するという問題がある。本発明は、顔認証処理を用いた決済対象者の特定精度を向上することを目的とする。

【課題を解決するための手段】

【0005】

本発明によれば、
カメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択手段と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段と、
特定された前記人物に対して決済処理を行う決済手段と、
を有する情報処理システムが提供される。

【0006】

また、本発明によれば、
カメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択手段と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段と、
前記特定手段により特定された前記決済処理を行う人物に対する該人物を識別する情報を精算装置に通知する通知手段と、
を有する顧客特定装置が提供される。

【0007】

また、本発明によれば、
コンピュータが、
カメラにより生成された顔の画像を取得し、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択し、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定し、
特定された前記人物に対して決済処理を行う、
情報処理方法が提供される。

【0008】

また、本発明によれば、
コンピュータを、
カメラにより生成された顔の画像を取得する取得手段、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、動きのある人物を、決済処理を行う人物として選択する選択手段、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段、
特定された前記人物に対して決済処理を行う決済手段、
として機能させるプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、顔認証処理を用いた決済対象者の特定精度を向上することができる。

【図面の簡単な説明】

【0010】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0011】

【図1】本実施形態の情報処理システムの機能ブロック図の一例である。

【図2】本実施形態のシステム及び装置のハードウエア構成の一例を概念的に示す図である。

【図3】本実施形態の情報処理システムの処理の流れの一例を示すシーケンス図である。

【図4】本実施形態の情報処理システムの処理の流れの一例を示すシーケンス図である。

【図5】本実施形態の情報処理システムの処理の流れの一例を示すシーケンス図である。

【図6】本実施形態の情報処理システムの機能ブロック図の一例である。

【図7】本実施形態の精算装置の機能ブロック図の一例である。

【図8】本実施形態の顧客特定装置の機能ブロック図の一例である。

【図9】本実施形態の情報処理システムの実現例を説明するための図である。

【図10】本実施形態の情報処理システムの実現例を説明するための図である。

【図11】本実施形態の情報処理システムの機能ブロック図の一例である。

【図12】本実施形態の情報処理システムの機能ブロック図の一例である。

【図13】本実施形態の情報処理システムの機能ブロック図の一例である。

【図14】本実施形態の情報処理システムの機能ブロック図の一例である。

【発明を実施するための形態】

【0012】

＜第１の実施形態＞
図１に本実施形態の情報処理システム１００の機能ブロック図の一例を示す。図示するように、情報処理システム１００は、取得部１１と、特定部１２と、選択部１４と、精算部２１とを有する。本実施形態の情報処理システム１００は、例えばＰＯＳ（point of sales）レジスターである。ＰＯＳレジスターは、店員に操作されることを前提としたものであってもよいし、顧客に操作されることを前提としたものであってもよい。

【0013】

ここで、情報処理システム１００のハードウエア構成の一例について説明する。本実施形態の情報処理システム１００が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0014】

図２は、本実施形態の情報処理システム１００のハードウエア構成を例示するブロック図である。図２に示すように、情報処理システム１００は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。

【0015】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0016】

次に、図１に示す各機能部を詳細に説明する。

【0017】

精算部２１は、精算対象の商品を登録する処理（登録処理）を行う手段（登録手段）、及び、決済処理を行う手段（決済手段）を有する。

【0018】

まず、精算部２１による登録処理を説明する。精算部２１は、精算対象の商品を識別する情報を入力する手段を有する。当該入力は、コードリーダ、物理キー、タッチパネルディスプレイ、マイク、カメラ等のあらゆる装置を介して実現される。

【0019】

例えば、商品に付された商品を識別する情報を示すコードをコードリーダで読み取ることで、商品を識別する情報の入力がなされてもよい。その他、物理キーやタッチパネルディスプレイの操作により、商品を識別する情報の入力がなされてもよい。その他、マイクを介して音声で商品を識別する情報の入力がなされてもよい。その他、精算対象の商品を撮影するカメラと、商品の外観の特徴量や画像に含まれるコード（商品に付された商品を識別する情報）に基づきカメラが生成した画像に含まれる商品を特定する手段とを用いて、商品を識別する情報の入力がなされてもよい。

【0020】

精算部２１は、精算対象の商品を識別する情報に対応する商品情報（例：価格等）を、予め用意された商品マスタから取得することができる。そして、精算部２１は、精算対象の１つまたは複数の商品の価格の合計を算出することができる。精算部２１は、さらに、精算対象の商品を識別する情報や算出した合計等をディスプレイ等に表示することができる。

【0021】

次に、精算部２１による決済処理を説明する。決済処理は、支払金額が決定したものを選択された支払い方法（現金、クレジットカード、ポイントなど）によって、売買取引を完了させることである。精算部２１は、顔認証処理により特定された顧客に対応する電子マネー情報やポイント情報を利用して、決済処理を行うことができる。すなわち、精算部２１は、以下で説明する特定部１２により特定された顧客（代金を支払う人物）を識別する情報を取得すると、当該顧客に対応する電子マネー情報やポイント情報をサーバから取得することができる。そして、精算部２１は、当該電子マネー情報やポイント情報を利用して、決済処理を行うことができる。すなわち、精算対象の商品の価格の合計分を電子マネーやポイントで支払う決済処理や、今回の買い物で付与されるポイントをポイント情報で示される残ポイントに加える決済処理を行ってもよい。また、会社等の組織内部に設置された店舗内の情報処理システム１００である場合、当該組織内で顧客を識別する情報（例：社員番号）に支払金額を対応付けて蓄積していき、給料から天引きする決済処理を行ってもよい。

【0022】

なお、精算部２１は、現金、クレジットカード、その他の電子マネーやポイント等を用いた決済処理を行うことができてもよい。例えば、特定部１２により顧客が特定されなかった場合、例示したその他の方法で決済処理を行ってもよい。

【0023】

精算部２１は、登録処理及び決済処理をこの順に行う。精算部２１は、少なくとも１つの商品を登録する登録処理の後に決済処理を開始する操作がなされると、それに応じて決済処理を開始する。

【0024】

決済処理を開始する操作は、例えば、「決済処理の開始」に対応する物理キーの押下であってもよい。その他、当該操作は、例えば、タッチパネルエリア上の「決済処理の開始」に対応するエリアへの操作（例：タッチ）であってもよい。その他、当該操作は、マイクを介して「決済処理の開始」に対応する所定のワードを入力するものあってもよい。なお、ここでの例示はあくまで一例であり、これらに限定されない。

【0025】

取得部１１は、顧客を撮影するカメラにより生成された画像（顧客の顔の画像）を取得する。カメラは、情報処理システム１００の付近、例えば情報処理システム１００と一体となって設置される。そして、カメラは、情報処理システム１００の付近に位置する顧客、より詳細には会計中の顧客を撮影するよう設置される。カメラは動画像を連続的に撮影してもよいし、所定のタイミングで静止画像を撮影してもよい。すなわち、取得部１１は、所定時間間隔で連続的に生成された複数のフレームの画像をカメラから取得してもよいし、あるタイミングで生成された１つの画像をカメラから取得してもよい。

【0026】

選択部１４は、取得部１１により取得された画像内の人物を抽出し、複数の人物が抽出された場合、精算装置（本実施形態の場合、情報処理システム１００）との距離、出現する頻度（すなわち、所定の時間帯の間にカメラで撮影された頻度）、及び、出現する時間（すなわち、所定の時間帯の間にカメラで撮影された時間）の中の少なくとも１つに基づき、複数の人物の中から決済処理を行う人物を選択することができる。

【0027】

本実施形態の選択部１４は、主として精算装置との距離に基づき、複数の人物の中から決済処理を行う人物を選択することができる。カメラが精算装置の付近、例えば精算装置と一体となって設置される場合、「カメラと人物との距離」は「精算装置と人物との距離」を示す。

【0028】

例えば、選択部１４は、カメラとの距離が最も小さい人物を、決済処理を行う人物として選択してもよい。その他、選択部１４は、カメラとの距離が基準値以下の人物を、決済処理を行う人物の候補として選択してもよい。そして、選択部１４は、カメラとの距離に基づき選択した候補が複数いる場合、その他の条件に基づいて、複数の候補の中から決済処理を行う人物を選択してもよい。

【0029】

カメラとの距離は、画像解析により推定してもよい。例えば、体の所定の部位（例：目間）の長さが最も長くうつっている人物を、カメラとの距離が最も小さい人物として特定してもよい。その他、体の所定の部位（例：目間）の長さが基準値以上でうつっている人物を、カメラとの距離が基準値以下の人物として特定してもよい。なお、その他の方法で、カメラとの距離を推定してもよい。

【0030】

ここで、精算装置との距離に基づき選択した候補が複数いる場合に適用される上記その他の条件を説明する。例えば、選択部１４は、複数の候補の中の、所定の時間帯の間にカメラで撮影された時間（画像に含まれる時間）が最も長い人物を、決済処理を行う人物として選択してもよい。その他、選択部１４は、複数の候補の中の、所定の時間帯の間にカメラで撮影された頻度（画像に含まれる頻度）が最も高い人物を、決済処理を行う人物として選択してもよい。撮影された頻度は、例えば、１つのフレームの画像で抽出された場合を１回としてカウントした回数であってもよい。撮影された時間は、動画像の中に含まれる時間と同義である。撮影された時間や頻度を算出するためには、複数のフレームの画像に跨って含まれる同一人物をグループ化する必要がある。例えば、画像から抽出した各人物の特徴量が類似するもの同士をまとめてグループ化してもよい。

【0031】

上記所定の時間帯の開始タイミングは、例えば、決済処理を開始する操作の前に行われる所定の操作であってもよい。一例として、最初の商品登録があったタイミング等が例示されるが、これに限定されない。上記所定の時間帯の終了タイミングは、例えば、決済処理を開始する操作があったタイミング等が例示されるが、これに限定されない。

【0032】

上記その他の条件の他の例を説明する。例えば、選択部１４は、複数の候補の中の、予め定められた所定の行動をした人物を、決済処理を行う人物として選択してもよい。所定の行動は、決済処理を行う人物が行うと考えられる所定の行動である。例えば、「挙手」、「指等で自分を指す」等が例示されるが、これらに限定されない。これは、店員からの「お支払いはどなたが？」との問い合わせに対して決済処理を行う人物が行うと考えられる行動である。

【0033】

上記その他の条件の他の例を説明する。例えば、選択部１４は、複数の候補の中の、予め定められた発言をした人物を、決済処理を行う人物として選択してもよい。発言内容は、決済処理を行う人物が発すると考えらえるものである。発言内容は、例えば、決済方法を識別する情報等が考えられる。すなわち、「げんきん」、「かーど」等や、所定の支払サービスの名称や通称等が考えられる。例えば、顔認証を利用した支払サービスの名称が「顔パス」である場合、選択部１４は、「かおぱす」と発言した人物を特定してもよい。

【0034】

この例の場合、情報処理システム１００はマイク（音声取得手段）を有してもよい。そして、選択部１４は、マイクで集音された音を音声解析することで、上述のような所定の発言がなされたことを検出してもよい。そして、選択部１４は、カメラが撮影した動画像を解析し、所定の発言を検出したタイミングで口が動いている（又は、発言内容に対応した所定の動きをしている）人物を特定してもよい。

【0035】

なお、選択部１４は、画像に基づき推定された推定年齢が基準値以上の人物の中から、決済処理を行う人物（上記カメラとの距離の条件やその他の条件を満たす人物）を選択してもよい。換言すれば、選択部１４は、画像に基づき推定された推定年齢が基準値未満の人物を、決済処理を行う人物から除外してもよい。

【0036】

なお、画像から、推定年齢が基準値以上の人物と、推定年齢が基準値未満の人物とが抽出された場合に、選択部１４は、推定年齢が基準値以上の人物の中から決済処理を行う人物を選択してもよい。すなわち、推定年齢が基準値未満の人物のみが抽出された場合には、選択部１４は、推定年齢が基準値未満の人物の中から決済処理を行う人物を選択してもよい。

【0037】

その他、選択部１４は、動きのある人物の中から、決済処理を行う人物（上記カメラとの距離の条件やその他の条件を満たす人物）を選択してもよい。換言すれば、選択部１４は、動きのない人物を、決済処理を行う人物から除外してもよい。

【0038】

なお、選択部１４は、画像から１人の人物が抽出された場合、当該人物を、決済処理を行う人物として選択することができる。

【0039】

特定部１２は、複数の人物各々の外観の特徴量を登録したデータベース情報に基づき、画像内で抽出された人物を特定する。特定部１２は、画像の中から抽出された人物の外観の特徴量を抽出する。そして、特定部１２は、画像内で抽出した人物の特徴量と、データベース情報に含まれる複数の人物各々の外観の特徴量とを照合し、類似度が基準値以上の人物を特定する。

【0040】

類似度が基準値以上の人物をデータベース情報内で特定できた場合、特定部１２は、特定結果としてその人物を識別する情報を出力する。一方、類似度が基準値以上の人物をデータベース情報内で特定できなかった場合、特定結果として「該当者なし」を出力する。

【0041】

ここで、図３のシーケンス図を用いて、情報処理システム１００の処理の流れの一例を説明する。ここでは、選択部１４は、カメラとの距離が最も小さい人物を、決済処理を行う人物として選択するものとする。

【0042】

情報処理システム１００は、登録・決済処理と、認証処理（決済処理を行う人物を特定する処理）とを並行して行う。まず、登録・決済処理において、商品登録処理が開始されると（Ｓ１０）、その旨が認証処理に通知される（Ｓ１１）。これに応じて、認証処理では、顧客を特定する処理を開始する。具体的には、画像を取得し（Ｓ１４）、画像に含まれる人物の中から決済処理を行う人物を選択する（Ｓ１５）。Ｓ１５では、まず、画像に含まれる人物を抽出する。そして、画像に含まれる人物が複数の場合、カメラとの距離が最も小さい人物を、決済処理を行う人物として選択する。一方、画像に含まれる人物が１人の場合、その人物を、決済処理を行う人物として選択する。

【0043】

その後、情報処理システム１００は、決済処理を行う人物を特定する処理を行う（Ｓ１６）。すなわち、Ｓ１５で決済処理を行うと選択された人物の外観の特徴量を抽出し、上記データベース情報を用いて照合処理を行う。そして、情報処理システム１００は、当該照合処理により得られた特定結果（人物を識別する情報又は該当者なし）を蓄積する（Ｓ１７）。認証処理では、Ｓ１８の通知を受けるまで、Ｓ１４乃至Ｓ１７を繰り返す。

【0044】

一方、登録・決済処理では、Ｓ１０の商品登録処理の開始以降も、商品の登録を受付ける（Ｓ１２）。決済処理を開始する操作がなされない間（Ｓ１３のＮｏ）、商品の登録を受付ける（Ｓ１２）。決済処理を開始する操作がなされると（Ｓ１３のＹｅｓ）、その旨が認証処理に通知される（Ｓ１８）。

【0045】

認証処理では、例えばＳ１８の通知に応じて、顧客を特定する処理（Ｓ１４乃至Ｓ１７）を終了する。そして、それまでに蓄積した特定結果（画像解析した各フレームに、人物を識別する情報又は該当者なしを対応付けたもの）の中から所定の特定結果（所定のフレームに対応付けられた人物を識別する情報又は該当者なし）を抽出し（Ｓ１９）、登録・決済処理に通知する（Ｓ２０）。

【0046】

例えば、Ｓ１８の通知がなされた時点で最新の特定結果を抽出してもよい。そして、最新の特定結果が人物を識別する情報である場合、その特定結果を登録・決済処理に通知してもよい。一方、最新の特定結果が該当者なしである場合、所定の検索条件で他の特定結果を抽出してもよい。そして、他の特定結果が人物を識別する情報である場合、その特定結果を登録・決済処理に通知してもよい。一方、他の特定結果が該当者なしである場合、所定の検索条件で他の特定結果をさらに抽出してもよい。そして、所定数連続で特定結果が該当者なしである場合、該当者なしを登録・決済処理に通知してもよい。

【0047】

登録・決済処理では、Ｓ２０で取得した特定結果に基づき、決済処理を行う（Ｓ２１）。特定結果として人物を識別する情報を取得した場合、例えば、その人物を識別する情報に対応する電子マネー情報やポイント情報をサーバから取得し、当該電子マネー情報やポイント情報を利用して決済処理を行うことができる。一方、特定結果として該当者なしを取得した場合、例えば、その他の方法で決済処理を行うことができる。

【0048】

ここでは、カメラが動画像を撮影する例を説明した。カメラが静止画像を撮影する場合、認証処理は、Ｓ１１の通知に応じてＳ１４乃至Ｓ１６を実行し、その特定結果を任意のタイミングで登録・決済処理に通知する。そして、登録・決済処理は、決済処理を開始する操作を受付けると（Ｓ１３のＹｅｓ）、任意のタイミングで認証処理から通知された特定結果に基づき、決済処理を行う（Ｓ２１）。

【0049】

次に、図４のシーケンス図を用いて、本実施形態の情報処理システム１００の処理の流れの他の一例を説明する。ここでは、選択部１４は、カメラとの距離が基準値以下の人物を、決済処理を行う人物の候補として決定し、候補の中の所定の条件を満たす人物を、決済処理を行う人物として決定するものとする。

【0050】

情報処理システム１００は、登録・決済処理と、認証処理（決済処理を行う人物を特定する処理）とを並行して行う。まず、登録・決済処理において、商品登録処理が開始されると（Ｓ３０）、その旨が認証処理に通知される（Ｓ３１）。これに応じて、認証処理では、顧客を特定する処理を開始する。具体的には、画像を取得し（Ｓ３４）、画像に含まれる人物の中から決済処理を行う候補を選択する（Ｓ３５）。Ｓ３５では、まず、画像に含まれる人物を抽出する。そして、画像に含まれる人物の中の、カメラとの距離が基準値以下の人物を、決済処理を行う人物の候補として選択する。

【0051】

その後、情報処理システム１００は、決済処理を行う人物の候補各々を特定する処理を行う（Ｓ３６）。すなわち、候補各々の外観の特徴量を抽出し、上記データベース情報を用いて照合処理を行う。そして、情報処理システム１００は、特定結果（人物を識別する情報又は該当者なし）を、候補ごとに蓄積する（Ｓ３７）。認証処理では、Ｓ３８の通知を受けるまで、Ｓ３４乃至Ｓ３７を繰り返す。

【0052】

一方、登録・決済処理では、Ｓ３０の商品登録処理の開始以降も、商品の登録を受付ける（Ｓ３２）。決済処理を開始する操作がなされない間（Ｓ３３のＮｏ）、商品の登録を受付ける（Ｓ３２）。決済処理を開始する操作がなされると（Ｓ３３のＹｅｓ）、その旨が認証処理に通知される（Ｓ３８）。

【0053】

認証処理では、例えばＳ３８の通知に応じて、顧客を特定する処理（Ｓ３４乃至Ｓ３７）を終了する。そして、決済処理を行う人物の候補の中から決済処理を行う人物を決定し（Ｓ３９）、その人物の特定結果を登録・決済処理に通知する（Ｓ４０）。

【0054】

Ｓ３９では、情報処理システム１００は、例えば、それまでに蓄積した結果（例：画像解析した各フレームに、各候補の特定結果（人物を識別する情報又は該当者なし）及び外観の特徴量を対応付けたもの）に基づき、複数のフレームに跨って候補として選択された同一人物をグループ化する。例えば、画像から抽出した各人物の特徴量が類似するもの同士をまとめてグループ化してもよい。そして、複数のグループが生成された場合、情報処理システム１００は、決済処理を行う人物の候補が複数いると判断してもよい。一方、１つのグループが生成された場合、情報処理システム１００は、決済処理を行う人物の候補が１人と判断してもよい。

【0055】

決済処理を行う人物の候補が複数いる場合、その中のその他の条件を満たす人物を、決済処理を行う人物として選択することができる。その他の条件は、上述の通りである。一方、決済処理を行う人物の候補が１人の場合、その人物を、決済処理を行う人物として選択することができる。

【0056】

登録・決済処理では、Ｓ４０で取得した特定結果に基づき、決済処理を行う（Ｓ４１）。特定結果として人物を識別する情報を取得した場合、例えば、その人物を識別する情報に対応する電子マネー情報やポイント情報をサーバから取得し、当該電子マネー情報やポイント情報を利用して決済処理を行うことができる。一方、特定結果として該当者なしを取得した場合、例えば、その他の方法で決済処理を行うことができる。

【0057】

ここでは、カメラが動画像を撮影する例を説明した。カメラが静止画像を撮影する場合、認証処理は、Ｓ３１の通知に応じてＳ３４、Ｓ３５、Ｓ３６及びＳ３９をこの順に実行し、その特定結果を任意のタイミングで登録・決済処理に通知する。そして、登録・決済処理は、決済処理を開始する操作を受付けると（Ｓ３３のＹｅｓ）、任意のタイミングで認証処理から通知された特定結果に基づき、決済処理を行う（Ｓ４１）。

【0058】

以上説明した本実施形態の情報処理システム１００によれば、例えば画像に複数の人物が含まれ、画像から複数の人物が抽出された場合であっても、その中から決済処理を行う１人を選択することができる。結果、選択した人物に対応する情報（例：電子マネー情報やポイント情報）に基づき、適切に決済処理を行うことができる。

【0059】

また、本実施形態の情報処理システム１００は、精算装置との距離に基づき、決済処理を行う人物を選択することができる。例えば、決済処理を行う人物は、決済のための作業や店員への対応等を行うため、精算装置の近くに位置すると考えられる。このため、本実施形態の情報処理システム１００は、精算装置との距離が最も小さい人物を、決済処理を行う人物として選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0060】

また、情報処理システム１００は、精算装置との距離が基準値以下であり、かつ、他の条件を満たす人物を、決済処理を行う人物として選択することができる。また、情報処理システム１００は、出現する頻度が所定値以上であり、かつ、他の条件を満たす人物を、決済処理を行う人物として選択することができる。また、情報処理システム１００は、出現する時間が所定値以上であり、かつ、他の条件を満たす人物を、決済処理を行う人物として選択することができる。

【0061】

例えば、決済処理を行う人物は、決済のための作業や店員への対応等を行うため、最も長い間、情報処理システム１００や店員の前に位置し、最も長い間、カメラで撮影した画像に含まれると考えられる。このため、情報処理システム１００は、精算装置との距離が基準値以下であり、かつ、所定の時間帯（例：会計を行っている時間帯）にカメラで撮影された頻度又は時間が最も大きい人物を、決済処理を行う人物として選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0062】

その他、精算装置との距離が基準値以下であり、かつ、決済のための所定の言動をした人物を、決済処理を行う人物として選択することができる。例えば、支払方法を発言した人物などを、決済処理を行う人物として選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0063】

その他、例えば親子で来店している場合、親が決済を行うと考えられる。このため、本実施形態の情報処理システム１００は、例えば推定年齢が基準値以上の人物と推定年齢が基準値未満の人物とが抽出された場合、推定年齢が基準値未満の人物を外して、決済処理を行う人物を選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0064】

その他、例えば、ポスターや看板などに含まれる人物が画像に含まれた場合、情報処理システム１００は画像からその人物を抽出し得る。本実施形態の情報処理システム１００は、動きのない人物を外して、決済処理を行う人物を選択することで、ポスターや看板などに含まれる人物を外して、決済処理を行う人物を選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0065】

その他、本実施形態では、「精算装置との距離が基準値以下」という比較的容易に判断できる条件に基づき決済処理を行う人物を選択できる。そして、当該指標で複数の人物が選択された場合、すなわち１人に絞り込めなかった場合のみ、検出の難易度が高くなるその他の条件に基づき、決済処理を行う人物を選択することができる。このような構成とすることで、コンピュータの処理負担を軽減できる。

【0066】

＜第２の実施形態＞
本実施形態の情報処理システム１００は、選択部１４の構成が第１の実施形態と異なる。その他の構成は、第１の実施形態と同様である。

【0067】

選択部１４は、画像内の人物を抽出し、複数の人物が抽出された場合、主として、出現する頻度（すなわち、所定の時間帯の間にカメラで撮影された頻度）、及び、出現する時間（すなわち、所定の時間帯の間にカメラで撮影された時間）の少なくとも一方に基づき決済処理を行う人物を選択する。

【0068】

例えば、選択部１４は、所定の時間帯の間にカメラで撮影された頻度が最も高い人物、又は、所定の時間帯の間にカメラで撮影された時間が最も長い人物を、決済処理を行う人物として選択してもよい。その他、選択部１４は、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間が基準値以上の人物を、決済処理を行う人物の候補として選択してもよい。そして、選択部１４は、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間に基づき選択した候補が複数いる場合、その他の条件に基づいて、複数の候補の中から決済処理を行う人物を選択してもよい。

【0069】

ここで、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間に基づき選択した候補が複数いる場合に適用される上記その他の条件を説明する。例えば、選択部１４は、複数の候補の中の、精算装置（本実施形態の場合、情報処理システム１００）との距離が最も小さい人物を、決済処理を行う人物として選択してもよい。例えば、所定の時間帯の間に、精算装置との距離が最も小さくなっている頻度が高い又は時間が長い人物を、決済処理を行う人物として選択してもよい。その他、所定のタイミング（例：決済処理を開始する操作がなされたタイミング）で精算装置との距離が最も小さい人物を、決済処理を行う人物として選択してもよい。

【0070】

上記その他の条件の他の例を説明する。例えば、選択部１４は、複数の候補の中の、予め定められた所定の行動をした人物を、決済処理を行う人物として選択してもよい。所定の行動は、決済処理を行う人物が行うと考えられる所定の行動である。例えば、「挙手」、「指等で自分を指す」等が例示されるが、これらに限定されない。これは、店員からの「お支払いはどなたが？」との問い合わせに対して決済処理を行う人物が行うと考えられる行動である。

【0071】

上記その他の条件の他の例を説明する。例えば、選択部１４は、複数の候補の中の、予め定められた発言をした人物を、決済処理を行う人物として選択してもよい。発言内容は、決済処理を行う人物が発すると考えらえるものである。発言内容は、例えば、決済方法を識別する情報等が考えられる。すなわち、「げんきん」、「かーど」等や、所定の支払サービスの名称や通称等が考えられる。例えば、顔認証を利用した支払サービスの名称が「顔パス」である場合、選択部１４は、「かおぱす」と発言した人物を特定してもよい。

【0072】

この例の場合、情報処理システム１００はマイクを有してもよい。そして、選択部１４は、マイクで集音された音を音声解析することで、上述のような所定の発言がなされたことを検出してもよい。そして、選択部１４は、カメラが撮影した動画像を解析し、所定の発言を検出したタイミングで口が動いている（又は、発言内容に対応した所定の動きをしている）人物を特定してもよい。

【0073】

なお、選択部１４は、画像に基づき推定された推定年齢が基準値以上の人物の中から、決済処理を行う人物（上記カメラとの距離の条件やその他の条件を満たす人物）を選択してもよい。換言すれば、選択部１４は、画像に基づき推定された推定年齢が基準値未満の人物を、決済処理を行う人物から除外してもよい。

【0074】

なお、画像から、推定年齢が基準値以上の人物と、推定年齢が基準値未満の人物とが抽出された場合に、選択部１４は、推定年齢が基準値以上の人物の中から決済処理を行う人物を選択してもよい。すなわち、推定年齢が基準値未満の人物のみが抽出された場合には、選択部１４は、推定年齢が基準値未満の人物の中から決済処理を行う人物を選択してもよい。

【0075】

その他、選択部１４は、動きのある人物の中から、決済処理を行う人物（上記カメラとの距離の条件やその他の条件を満たす人物）を選択してもよい。換言すれば、選択部１４は、動きのない人物を、決済処理を行う人物から除外してもよい。

【0076】

なお、選択部１４は、画像から１人の人物が抽出された場合、当該人物を、決済処理を行う人物として選択することができる。

【0077】

ここで、図５のシーケンス図を用いて、本実施形態の情報処理システム１００の処理の流れの一例を説明する。ここでは、選択部１４は、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間に基づき、決済処理を行う人物として選択するものとする。なお、カメラは動画像を撮影する。

【0078】

情報処理システム１００は、登録・決済処理と、認証処理（決済処理を行う人物を特定する処理）とを並行して行う。まず、登録・決済処理において、商品登録処理が開始されると（Ｓ５０）、その旨が認証処理に通知される（Ｓ５１）。

【0079】

登録・決済処理では、Ｓ５０の商品登録処理の開始以降も、商品の登録を受付ける（Ｓ５２）。決済処理を開始する操作がなされない間（Ｓ５３のＮｏ）、商品の登録を受付ける（Ｓ５２）。決済処理を開始する操作がなされると（Ｓ５３のＹｅｓ）、その旨が認証処理に通知される（Ｓ５４）。

【0080】

認証処理では、Ｓ５４の通知に応じて、顧客を特定する処理を開始する。具体的には、所定の時間帯の間（例：Ｓ５１の通知からＳ５４の通知までの間）にカメラが生成した動画像を処理し、決済処理を行う人物を選択する（Ｓ５５）。

【0081】

例えば、所定の時間帯の間にカメラで撮影された頻度が最も高い人物、又は、所定の時間帯の間にカメラで撮影された時間が最も長い人物を、決済処理を行う人物として決定してもよい。その他、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間が基準値以上の人物を、決済処理を行う人物の候補として決定してもよい。そして、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間に基づき決定した候補が複数いる場合、その他の条件に基づいて、複数の候補の中から決済処理を行う人物を選択してもよい。詳細は、上述の通りである。

【0082】

その後、決済処理を行う人物として選択した人物の外観の特徴量を画像から抽出し、当該特徴量と、複数の人物各々の外観の特徴量を登録したデータベース情報とに基づき、決済処理を行う人物を特定する（Ｓ５６）。そして、特定結果（人物を識別する情報又は該当者なし）を登録・決済処理に通知する（Ｓ５７）。

【0083】

登録・決済処理では、Ｓ５７で取得した特定結果に基づき、決済処理を行う（Ｓ５８）。特定結果として人物を識別する情報を取得した場合、例えば、その人物を識別する情報に対応する電子マネー情報やポイント情報をサーバから取得し、当該電子マネー情報やポイント情報を利用して決済処理を行うことができる。一方、特定結果として該当者なしを取得した場合、例えば、その他の方法で決済処理を行うことができる。

【0084】

以上説明した本実施形態の情報処理システム１００によれば、例えば画像に複数の人物が含まれており、画像から複数の人物が抽出された場合であっても、その中から決済処理を行う１人を選択することができる。結果、選択した人物に対応する情報（例：電子マネー情報やポイント情報）に基づき、適切に決済処理を行うことができる。

【0085】

また、本実施形態の情報処理システム１００は、所定の時間帯の間にカメラで撮影された頻度、及び、所定の時間帯の間にカメラで撮影された時間の少なくとも一方に基づき、決済処理を行う人物を選択することができる。例えば、決済処理を行う人物は、決済のための作業や店員への対応等を行うため、最も長い間、情報処理システム１００や店員の前に位置し、最も長い間、カメラで撮影した画像に含まれると考えられる。このため、情報処理システム１００は、所定の時間帯（例：会計を行っている時間帯）にカメラで撮影された頻度が最も高い人物又は時間が最も長い人物を、決済処理を行う人物として選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0086】

また、情報処理システム１００は、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間が基準値以上であり、かつ、他の条件を満たす人物を、決済処理を行う人物として選択することができる。

【0087】

例えば、決済処理を行う人物は、決済のための作業や店員への対応等を行うため、情報処理システム１００の近くに位置すると考えられる。このため、本実施形態の情報処理システム１００は、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間が基準値以上であり、かつ、情報処理システム１００との距離が最も小さい人物を、決済処理を行う人物として決定することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0088】

その他、所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間が基準値以上であり、かつ、決済のための所定の言動をした人物を、決済処理を行う人物として選択することができる。例えば、支払方法を発言した人物などを、決済処理を行う人物として選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0089】

その他、例えば親子で来店している場合、親が決済を行うと考えられる。このため、本実施形態の情報処理システム１００は、例えば推定年齢が基準値以上の人物と推定年齢が基準値未満の人物とが抽出された場合、推定年齢が基準値未満の人物を外して、決済処理を行う人物を選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0090】

その他、例えば、ポスターや看板などに含まれる人物が画像に含まれる場合、情報処理システム１００は画像からその人物を抽出し得る。本実施形態の情報処理システム１００は、動きのない人物を外して、決済処理を行う人物を選択することで、ポスターや看板などに含まれる人物を外して、決済処理を行う人物を選択することができる。結果、精度よく、抽出された複数の人物の中から決済処理を行う人物を選択することができる。

【0091】

その他、本実施形態では、「所定の時間帯の間にカメラで撮影された頻度、又は、所定の時間帯の間にカメラで撮影された時間が基準値以上」という比較的容易に判断できる条件に基づき決済処理を行う人物を選択できる。そして、当該指標で複数の人物が選択された場合、すなわち１人に絞り込めなかった場合のみ、検出の難易度が高くなるその他の条件に基づき、決済処理を行う人物を選択することができる。このような構成とすることで、コンピュータの処理負担を軽減できる。

【0092】

＜第３の実施形態＞
図１１に、本実施形態の情報処理システム１００の機能ブロック図の一例を示す。本実施形態の情報処理システム１００は、第２の選択部１５を有する点で、第１及び第２の実施形態と異なる。その他の構成は、第１及び第２の実施形態と同様である。

【0093】

第２の選択部１５は、所定の行動をした人物を、決済処理を行う人物として選択する。

【0094】

例えば、第２の選択部１５は、取得部１１が取得した画像に含まれる人物の中から、予め定められた所定の行動をした人物を、決済処理を行う人物として選択してもよい。所定の行動は、決済処理を行う人物が行うと考えられる所定の行動である。例えば、「挙手」、「指等で自分を指す」等が例示されるが、これらに限定されない。これは、店員からの「お支払いはどなたが？」との問い合わせに対して決済処理を行う人物が行うと考えられる行動である。

【0095】

なお、第２の選択部１５により複数の人物が選択された場合、その中から決済処理を行う人物を選択する処理を、選択部１４が実行してもよい。選択部１４は、例えば、第２の選択部１５により選択された複数の人物の中の精算装置との距離が最も小さい人物、所定の時間帯の間にカメラで撮影された頻度が最も高い人物、又は、撮影された時間が長い人物等を、決済処理を行う人物として選択することができる。

【0096】

本実施形態においても、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態によれば、第２の選択部１５の処理で決済処理を行う人物の候補を絞り込んでから、選択部１４の処理を実行させることができる。

【0097】

＜第４の実施形態＞
図１２に、本実施形態の情報処理システム１００の機能ブロック図の一例を示す。本実施形態の情報処理システム１００は、第３の選択部１６を有する点で、第１及び第２の実施形態と異なる。その他の構成は、第１及び第２の実施形態と同様である。

【0098】

第３の選択部１６は、所定の発言をした人物を、決済処理を行う人物として選択する。

【0099】

例えば、第３の選択部１６は、取得部１１が取得した画像に含まれる人物の中から、予め定められた発言をした人物を、決済処理を行う人物として選択してもよい。発言内容は、決済処理を行う人物が発すると考えらえるものである。発言内容は、例えば、決済方法を識別する情報等が考えられる。すなわち、「げんきん」、「かーど」等や、所定の支払サービスの名称や通称等が考えられる。例えば、顔認証を利用した支払サービスの名称が「顔パス」である場合、第２の選択部１５は、「かおぱす」と発言した人物を特定してもよい。

【0100】

この例の場合、情報処理システム１００はマイク（音声取得手段）を有してもよい。そして、第３の選択部１６は、マイクで集音された音を音声解析することで、上述のような所定の発言がなされたことを検出してもよい。そして、第３の選択部１６は、カメラが撮影した動画像を解析し、所定の発言を検出したタイミングで口が動いている（又は、発言内容に対応した所定の動きをしている）人物を特定してもよい。

【0101】

なお、第３の選択部１６により複数の人物が選択された場合、その中から決済処理を行う人物を選択する処理を、選択部１４が実行してもよい。選択部１４は、例えば、第３の選択部１６により選択された複数の人物の中の精算装置との距離が最も小さい人物、所定の時間帯の間にカメラで撮影された頻度が最も高い人物、又は、撮影された時間が長い人物等を、決済処理を行う人物として選択することができる。

【0102】

本実施形態においても、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態によれば、第３の選択部１６の処理で決済処理を行う人物の候補を絞り込んでから、選択部１４の処理を実行させることができる。

【0103】

＜第５の実施形態＞
図１３に、本実施形態の情報処理システム１００の機能ブロック図の一例を示す。本実施形態の情報処理システム１００は、第４の選択部１７を有する点で、第１及び第２の実施形態と異なる。その他の構成は、第１及び第２の実施形態と同様である。

【0104】

第４の選択部１７は、取得部１１により取得された画像に基づき推定された推定年齢が基準値以上の人物を、決済処理を行う人物として選択する。

【0105】

第４の選択部１７は、画像から、推定年齢が基準値以上の人物と、推定年齢が基準値未満の人物とが抽出された場合に、推定年齢が基準値以上の人物を、決済処理を行う人物として選択してもよい。そして、推定年齢が基準値未満の人物のみが抽出された場合には、第４の選択部１７は、推定年齢が基準値未満の人物を、決済処理を行う人物として選択してもよい。

【0106】

なお、第４の選択部１７により複数の人物が選択された場合、その中から決済処理を行う人物を選択する処理を、選択部１４が実行してもよい。選択部１４は、例えば、第４の選択部１７により選択された複数の人物の中の精算装置との距離が最も小さい人物、所定の時間帯の間にカメラで撮影された頻度が最も高い人物、又は、撮影された時間が長い人物等を、決済処理を行う人物として選択することができる。

【0107】

本実施形態においても、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態によれば、第４の選択部１７の処理で決済処理を行う人物の候補を絞り込んでから、選択部１４の処理を実行させることができる。
＜第６の実施形態＞
図１４に、本実施形態の情報処理システム１００の機能ブロック図の一例を示す。本実施形態の情報処理システム１００は、第５の選択部１８を有する点で、第１及び第２の実施形態と異なる。その他の構成は、第１及び第２の実施形態と同様である。

【0108】

第５の選択部１８は、動きのある人物を、決済処理を行う人物として選択する。

【0109】

なお、第５の選択部１８により複数の人物が選択された場合、その中から決済処理を行う人物を選択する処理を、選択部１４が実行してもよい。選択部１４は、例えば、第５の選択部１８により選択された複数の人物の中の精算装置との距離が最も小さい人物、所定の時間帯の間にカメラで撮影された頻度が最も高い人物、又は、撮影された時間が長い人物等を、決済処理を行う人物として選択することができる。

【0110】

本実施形態においても、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態によれば、第５の選択部１８の処理で決済処理を行う人物の候補を絞り込んでから、選択部１４の処理を実行させることができる。

【0111】

＜第７の実施形態＞
図６に示すように、本実施形態の情報処理システム１００は、顧客特定装置１０と精算装置２０とを有する。情報処理システム１００は、顧客特定装置１０と精算装置２０との協働した処理により、第１乃至第６の実施形態で説明した所定の処理を実現する。後で実現例を説明するが、顧客特定装置１０と精算装置２０とは、物理的及び／又は論理的に一体となって構成されてもよいし、物理的及び／又は論理的に分かれて構成されてもよい。

【0112】

まず、顧客特定装置１０及び精算装置２０のハードウエア構成の一例について説明する。本実施形態の顧客特定装置１０及び精算装置２０が備える各機能部は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0113】

図２は、本実施形態の顧客特定装置１０及び精算装置２０のハードウエア構成を例示するブロック図である。図２に示すように、顧客特定装置１０及び精算装置２０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、顧客特定装置１０及び精算装置２０を物理的及び／又は論理的に分けて構成する場合、顧客特定装置１０及び精算装置２０各々が図２に示すようなハードウエア構成を備える。

【0114】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0115】

図７に、精算装置２０の機能ブロック図の一例を示す。図示するように、精算装置２０は、精算部２１を有する。精算部２１の構成は第１乃至第６の実施形態と同様であるので、ここでの説明を省略する。

【0116】

図８に、顧客特定装置１０の機能ブロック図の一例を示す。図示するように、顧客特定装置１０は、取得部１１と、特定部１２と、通知部１３と、選択部１４とを有する。顧客特定装置１０は、さらに、第２の選択部１５、第３の選択部１６、第４の選択部１７又は第５の選択部１８を有してもよい。取得部１１、特定部１２、選択部１４、第２の選択部１５、第３の選択部１６、第４の選択部１７及び第５の選択部１８の構成は第１乃至第６の実施形態と同様であるので、ここでの説明を省略する。

【0117】

通知部１３は、選択部１４により決済処理を行う人物として決定された人物に対する特定部１２の特定結果を、精算装置２０に通知する。特定結果は、決済処理を行う人物を識別する情報、又は、該当者なしである。

【0118】

なお、顧客特定装置１０と精算装置２０とは、互いに情報の送受信が可能である。例えば、精算装置２０は、顧客特定装置１０から上記特定結果を取得する。

【0119】

また、精算装置２０は、所定の操作がなされたことを顧客特定装置１０に通知する。一例として、精算装置２０は、ある顧客に対する会計処理（登録処理及び決済処理等）の中で、決済処理を開始する操作がなされる前に行われる所定の操作がなされると、それに応じてその操作がなされことを顧客特定装置１０に通知してもよい。例えば、精算装置２０は、当該顧客に対する会計処理の中で最初の商品登録がなされたことを、顧客特定装置１０に通知してもよい。他の一例として、精算装置２０は、決済処理を開始する操作がなされたことを顧客特定装置１０に通知してもよい。

【0120】

本実施形態の情報処理システム１００の処理の流れは、図３乃至図５のシーケンス図で示すものと同様である。精算装置２０により図示する登録・決済処理が行われ、顧客特定装置１０により図示する認証処理が実行される。

【0121】

次に、顧客特定装置１０及び精算装置２０により実現される本実施形態の情報処理システム１００の実現例を説明する。

【0122】

図９に示すように、物理的及び／又は論理的に分かれたＰＯＳレジスター１と付属装置２とにより、顧客特定装置１０及び精算装置２０が実現されてもよい。ＰＯＳレジスター１と付属装置２とは、有線及び／又は無線で互いに通信可能に構成される。ＰＯＳレジスター１と付属装置２とは、図示するように１対１で接続されてもよいし、１つの付属装置２に対して複数のＰＯＳレジスター１が接続されてもよい。

【0123】

図９の例の場合、ＰＯＳレジスター１により精算装置２０が実現され、付属装置２により顧客特定装置１０が実現されてもよい。

【0124】

その他、ＰＯＳレジスター１により精算装置２０と、顧客特定装置１０の一部機能とが実現され、付属装置２により顧客特定装置１０の他の一部機能が実現されてもよい。例えば、ＰＯＳレジスター１により、顧客特定装置１０の取得部１１と、特定部１２の一部機能（例：画像から人物を抽出する機能、及び、その人物の特徴量を抽出する機能）とが実現されてもよい。そして、付属装置２により、特定部１２の他の一部機能（例：画像から抽出された人物の特徴量と、複数の人物各々の外観の特徴量を登録したデータベース情報とを照合する機能）と、通知部１３と、選択部１４とが実現されてもよい。付属装置２は、さらに、第２の選択部１５、第３の選択部１６、第４の選択部１７又は第５の選択部１８を有してもよい。

【0125】

以上説明した本実施形態の情報処理システム１００によれば、第１及び第２の実施形態と同様の作用効果が得られる。また、図９に示すように、ＰＯＳレジスター１と他の装置（付属装置２）とで情報処理システム１００を実現する構成とすることで、顔認証処理を実行する機能を有さない既存のＰＯＳレジスター１を利用することができる。結果、新たなシステムを導入する費用を抑えることができる。

【0126】

＜第８の実施形態＞
本実施形態は、第７の実施形態同様、顧客特定装置１０と精算装置２０とにより、情報処理システム１００が実現される。本実施形態の情報処理システム１００は、実現例が第７の実施形態と異なる。その他の構成は、第７の実施形態と同様である。

【0127】

本実施形態では、図１０に示すように、物理的及び／又は論理的に分かれたＰＯＳレジスター１とサーバ３とにより、顧客特定装置１０及び精算装置２０が実現される。ＰＯＳレジスター１とサーバ３とは、有線及び／又は無線で互いに通信可能に構成される。図示するように、１つのサーバ３に対して複数のＰＯＳレジスター１が接続される。

【0128】

図１０の例の場合、ＰＯＳレジスター１により精算装置２０が実現され、サーバ３により顧客特定装置１０が実現されてもよい。

【0129】

その他、ＰＯＳレジスター１により精算装置２０と、顧客特定装置１０の一部機能とが実現され、サーバ３により顧客特定装置１０の他の一部機能が実現されてもよい。例えば、ＰＯＳレジスター１により、顧客特定装置１０の取得部１１と、特定部１２の一部機能（例：画像から人物を抽出する機能、及び、その人物の特徴量を抽出する機能）とが実現されてもよい。そして、サーバ３により、特定部１２の他の一部機能（例：画像から抽出された人物の特徴量と、複数の人物各々の外観の特徴量を登録したデータベース情報とを照合する機能）と、通知部１３と、選択部１４とが実現されてもよい。サーバ３は、さらに、第２の選択部１５、第３の選択部１６、第４の選択部１７又は第５の選択部１８を有してもよい。

【0130】

以上説明した本実施形態の情報処理システム１００によれば、第１乃至第７の実施形態と同様の作用効果が得られる。また、図１０に示すように、ＰＯＳレジスター１と他の装置（サーバ３）とで情報処理システム１００を実現する構成とすることで、顔認証処理を実行する機能を有さない既存のＰＯＳレジスター１を利用することができる。結果、新たなシステムを導入する費用を抑えることができる。

【0131】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． カメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、精算装置との距離、出現する頻度、及び、出現する時間の中の少なくとも１つに基づき、決済処理を行う人物を選択する選択手段と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段と、
特定された前記人物に対して決済処理を行う決済手段と、
を有する情報処理システム。
２． １に記載の情報処理システムにおいて、
前記選択手段は、前記精算装置との距離が小さい人物を、決済処理を行う人物として決定する情報処理システム。
３． １に記載の情報処理システムにおいて、
前記選択手段は、所定の時間帯の間に前記カメラで撮影された頻度が高い人物及び時間が長い人物の少なくともいずれか一方を、決済処理を行う人物として選択する情報処理システム。
４． １から３のいずれかに記載の情報処理システムにおいて、
所定の行動をした人物を、決済処理を行う人物として選択する第２の選択手段をさらに有する情報処理システム。
５． １から４のいずれかに記載の情報処理システムにおいて、
音声を取得する音声取得手段と、
取得された前記音声に基づき、所定の発言をした人物を、決済処理を行う人物として選択する第３の選択手段をさらに有する情報処理システム。
６． １から５のいずれかに記載の情報処理システムにおいて、
前記画像に基づき推定された推定年齢が基準値以上の人物を、決済処理を行う人物として選択する第４の選択手段をさらに有する情報処理システム。
７． １から６のいずれかに記載の情報処理システムにおいて、
動きのある人物を、決済処理を行う人物として選択する第５の選択手段をさらに有する情報処理システム。
８． カメラにより生成された顔の画像を取得する取得手段と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、精算装置との距離、出現する頻度、及び、出現する時間の中の少なくとも１つに基づき、決済処理を行う人物を選択する選択手段と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段と、
前記特定手段により特定された前記決済処理を行う人物に対する該人物を識別する情報を精算装置に通知する通知手段と、
を有する顧客特定装置。
９． コンピュータが、
カメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、精算装置との距離、出現する頻度、及び、出現する時間の中の少なくとも１つに基づき、決済処理を行う人物を選択する選択工程と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定工程と、
特定された前記人物に対して決済処理を行う決済工程と、
を実行する情報処理方法。
１０． コンピュータを、
カメラにより生成された顔の画像を取得する取得手段、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、精算装置との距離、出現する頻度、及び、出現する時間の中の少なくとも１つに基づき、決済処理を行う人物を選択する選択手段、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段、
特定された前記人物に対して決済処理を行う決済手段、
として機能させるプログラム。
１１． コンピュータが、
カメラにより生成された顔の画像を取得する取得工程と、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、精算装置との距離、出現する頻度、及び、出現する時間の中の少なくとも１つに基づき、決済処理を行う人物を選択する選択工程と、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定工程と、
前記特定工程で特定された前記決済処理を行う人物に対する該人物を識別する情報を精算装置に通知する通知工程と、
を実行する顧客特定方法。
１２． コンピュータを、
カメラにより生成された顔の画像を取得する取得手段、
取得した前記画像内の人物を抽出し、複数の人物が抽出された場合、精算装置との距離、出現する頻度、及び、出現する時間の中の少なくとも１つに基づき、決済処理を行う人物を選択する選択手段、
選択された前記人物が含まれる前記画像と、顔の特徴量が登録されたデータベース情報とに基づき、当該人物を特定する特定手段、
前記特定手段により特定された前記決済処理を行う人物に対する該人物を識別する情報を精算装置に通知する通知手段、
として機能させるプログラム。

【0132】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0133】

この出願は、２０１６年１２月２２日に出願された日本出願特願２０１６－２４８８１１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】