(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190356
(43)【公開日】2022-12-26
(54)【発明の名称】会計システム、会計方法、及び会計プログラム
(51)【国際特許分類】
G07G 1/12 20060101AFI20221219BHJP
G07G 1/01 20060101ALI20221219BHJP
【FI】
G07G1/12 321Z
G07G1/01 301E
G07G1/12 361C
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021098631
(22)【出願日】2021-06-14
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(72)【発明者】
【氏名】嶋岡 直也
【テーマコード(参考)】
3E142
【Fターム(参考)】
3E142AA07
3E142BA13
3E142BA20
3E142DA07
3E142EA04
3E142FA50
(57)【要約】
【課題】利用者の利用代金の会計処理を容易に行うことが可能な会計システム、会計方法、及び会計プログラムを提供すること。
【解決手段】会計システムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、前記利用者を撮像した撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、会計端末に表示される会計画面において、前記抽出処理部により抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、前記登録処理部により登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計処理部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、
前記利用者を撮像した撮像画像を取得する画像取得処理部と、
前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、
会計端末に表示される会計画面において、前記抽出処理部により抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、
前記登録処理部により登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計処理部と、
を備える会計システム。
【請求項2】
前記会計画面に前記購入商品情報と前記撮像画像とを表示させる表示処理部をさらに備え、
前記表示処理部は、前記会計画面に、前記利用者の前記利用者識別画像と、当該利用者の購入商品の前記購入商品情報とを関連付けて表示させる、
請求項1に記載の会計システム。
【請求項3】
前記会計画面において、前記購入商品情報のうち会計対象の購入商品を選択する第1操作と、当該第1操作により選択された購入商品を前記利用者識別画像に関連付ける第2操作とを受け付ける受付処理部をさらに備え、
前記登録処理部は、前記受付処理部が前記第1操作及び前記第2操作を受け付けた場合に、前記利用者識別画像と前記第1操作により選択された購入商品の前記購入商品情報とを関連付けて登録する、
請求項1又は請求項2に記載の会計システム。
【請求項4】
前記利用者に購入商品に関する質問を行う質問処理部をさらに備え、
前記登録処理部は、前記質問に対する前記利用者の回答に基づいて、前記会計画面において、前記利用者の前記利用者識別画像と、当該利用者の購入商品の前記購入商品情報とを関連付けて登録する、
請求項1又は請求項2に記載の会計システム。
【請求項5】
前記登録処理部は、前記質問に対する前記利用者のジェスチャー操作に基づいて、前記利用者識別画像と前記購入商品情報とを関連付けて登録する、
請求項4に記載の会計システム。
【請求項6】
前記登録処理部は、前記質問に対する前記利用者の発話音声に基づいて、前記利用者識別画像と前記購入商品情報とを関連付けて登録する、
請求項4に記載の会計システム。
【請求項7】
前記撮像画像に複数の利用者の利用者画像が含まれ、
前記抽出処理部は、前記複数の利用者のそれぞれの利用者画像を抽出し、
前記登録処理部は、前記会計画面において、前記利用者識別画像ごとに、対応する前記購入商品情報を関連付けて登録し、
前記会計処理部は、前記利用者ごとに、当該利用者の購入商品の会計処理を前記会計端末に実行させる、
請求項1から請求項6のいずれか1項に記載の会計システム。
【請求項8】
前記抽出処理部は、前記会計画面において所定のユーザー操作を受け付けた場合に、前記撮像画像から前記利用者の利用者画像を抽出する、
請求項1から請求項7のいずれか1項に記載の会計システム。
【請求項9】
前記利用者識別画像は、前記利用者の顔画像である、
請求項1から請求項8のいずれか1項に記載の会計システム。
【請求項10】
一又は複数のプロセッサーが、
利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、
前記利用者を撮像した撮像画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、
会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、
前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、
を実行する会計方法。
【請求項11】
利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、
前記利用者を撮像した撮像画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、
会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、
前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、
を一又は複数のプロセッサーに実行させるための会計プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、利用者の購入商品の会計を行う会計システム、会計方法、及び会計プログラムに関する。
【背景技術】
【0002】
飲食店などにおいて複数の利用者を含むグループの合計利用金額(飲食代など)を割り勘で会計する場合がある。従来、割り勘による会計処理を速やかに行うことを可能にする技術が提案されている。例えば特許文献1には、グループの注文ごとにその注文の合計金額と注文時の人数に応じた割り勘金額とを計算し、プリンタが、計算された割り勘金額の情報を注文品とともに利用者に渡すレシートに印字するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、例えばグループの合計利用金額について、各利用者が自身の注文した商品の金額を支払う場合には、合計利用金額を利用者の人数で割った金額を各利用者の支払金額とすることができないため、店員は、どの商品を誰が支払うかを利用者と会話して確認し、各商品と各利用者とを対応付けて会計処理を行う必要がある。このため、会計処理に手間がかかる問題が生じる。
【0005】
本発明の目的は、利用者の利用代金の会計処理を容易に行うことが可能な会計システム、会計方法、及び会計プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明に係る会計システムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、前記利用者を撮像した撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、会計端末に表示される会計画面において、前記抽出処理部により抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、前記登録処理部により登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計処理部と、を備えるシステムである。
【0007】
本発明に係る会計方法は、一又は複数のプロセッサーが、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、前記利用者を撮像した撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、を実行する方法である。
【0008】
本発明に係る会計プログラムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、前記利用者を撮像した撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、を一又は複数のプロセッサーに実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、利用者の利用代金の会計処理を容易に行うことが可能な会計システム、会計方法、及び会計プログラムを提供することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、本発明の実施形態に係る会計システムの構成を示すブロック図である。
【
図2】
図2は、本発明の実施形態に係る会計システムで使用される画像分析情報テーブルの一例を示す図である。
【
図3】
図3は、本発明の実施形態に係る会計システムで使用される会計情報の一例を示す図である。
【
図4】
図4は、本発明の実施形態に係る会計システムで使用される購入商品情報の一例を示す図である。
【
図5】
図5は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図6】
図6は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図7】
図7は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図8】
図8は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図9】
図9は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図10】
図10は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図11】
図11は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図12】
図12は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図13】
図13は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図14】
図14は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図15】
図15は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図16】
図16は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図17】
図17は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図18】
図18は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図19】
図19は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図20】
図20は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図21】
図21は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。
【
図22】
図22は、本発明の実施形態に係る会計端末で実行される会計支援処理の手順の一例を示すフローチャートである。
【
図23】
図23は、本発明の実施形態に係る会計端末で実行される会計支援処理の手順の一例を示すフローチャートである。
【
図24】
図24は、本発明の実施形態に係る会計端末で実行される会計支援処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【0012】
[会計システム100]
図1に示すように、本発明の実施形態に係る会計システム100は、会計端末1とカメラ2とデータベースDBとを含む。会計端末1、カメラ2、及びデータベースDBは、LAN、インターネット、WAN、又は公衆電話回線などの通信網N1を介して通信可能である。
【0013】
カメラ2は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ2は、デジタル画像データを通信網N1を通じて会計端末1に送信する通信機能を備えている。カメラ2は、1台であってもよいし複数台であってもよい。具体的には、カメラ2は、店舗内に設置され、店舗の利用者(客)を含む所定エリアを撮像する。例えば、カメラ2は、店舗のレジに設置され、レジから店内側の所定エリアを撮像する。カメラ2は、所定のフレームレートで所定エリアを撮像して、画像データを会計端末1に送信する。前記所定エリアは、例えば会計を行う利用者を撮像可能なエリアである。また、前記所定エリアは、例えば店舗内の全体のエリアであってもよい。本発明では、カメラ2に、店舗に既設のカメラを適用することも可能である。また、カメラ2は、会計端末1に搭載されてもよい。
【0014】
会計端末1は、店舗に設置され、利用者の購入商品の会計を行う機器(例えばPOS端末)である。会計端末1は、店員の操作を受け付けて会計を行ってもよいし、利用者の操作を受け付けて会計を行ってもよい。また、会計端末1は、カメラ2により撮像される所定エリアの撮像画像に基づいて、会計を行う利用者を認識し、利用者を識別する識別情報(利用者の顔画像)と利用者の購入商品に関する購入商品情報とを関連付けて登録する。店舗は、例えば飲食店、物販店(小売店)などである。以下の実施形態では、店舗の一例として飲食店を挙げて説明する。
【0015】
本実施形態では、会計端末1単体が本発明に係る会計システムに相当するが、本発明に係る会計システムは、会計端末1、カメラ2、及びデータベースDBを含んで構成されてもよい。また、会計端末1、カメラ2、及びデータベースDBが一体の機器であってもよい。
【0016】
[会計端末1]
図1に示されるように、会計端末1は、制御部11、記憶部12、操作表示部13A,13B、及び通信部14などを備える情報処理装置(例えばPOS端末)である。なお、会計端末1は、1台のコンピューターに限らず、複数台のコンピューターが協働して動作するコンピューターシステムであってもよい。また、会計端末1で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。会計端末1は、本発明の会計システムの一例である。
【0017】
通信部14は、会計端末1を有線又は無線で通信網N1に接続し、通信網N1を介して一又は複数のカメラ2などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【0018】
操作表示部13A,13Bは、それぞれ、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。操作表示部13A(以下、店員用操作表示部という。)は、店員用の操作表示部であり、店員が操作したり、店員に向けて情報を表示したりする。操作表示部13B(以下、利用者用操作表示部という。)は、利用者用の操作表示部であり、利用者が操作したり、利用者に向けて情報を表示したりする。
【0019】
記憶部12は、各種の情報を記憶する半導体メモリー、HDD(Hard Disk Drive)又はSSD(Solid State Drive)などを含む不揮発性の記憶部である。具体的に、記憶部12には、カメラ2が撮像する撮像画像の分析結果を登録する画像分析情報テーブルD1などが記憶される。
図2は、画像分析情報テーブルD1の一例を示す図である。なお、前記撮像画像には、レジで会計を行う一又は複数の利用者の画像が含まれる。
【0020】
図2に示すように、画像分析情報テーブルD1には、前記撮像画像から抽出される利用者の顔画像に設定される顔番号ごとに、利用者番号、顔領域(横方向)、顔領域(縦方向)などの情報が登録される。前記利用者番号は、前記撮像画像に含まれる顔画像に対応して設定される利用者識別情報である。なお、前記利用者番号は、店員が前記顔画像を選択する操作に応じて設定されてもよい。前記顔領域(横方向及び縦方向)は、前記撮像画像に含まれる前記顔画像の位置及び範囲を示す情報である。制御部11は、前記撮像画像を取得すると、当該撮像画像を分析(画像解析)して前記各情報を画像分析情報テーブルD1に登録する。
【0021】
制御部11は、前記撮像画像に基づいて画像分析情報テーブルD1に各情報を登録する。なお、他の実施形態として、画像分析情報テーブルD1が、会計端末1から通信網N1を介してアクセス可能な他のサーバーに記憶されてもよい。この場合、会計端末1の制御部11は、必要に応じて前記サーバーから各種の情報を取得して、後述の会計支援処理(
図22~
図24参照)などの各処理を実行してもよい。
【0022】
また、制御部11は、データベースDBに格納される各種情報に基づいて会計処理を実行する。データベースDBには、商品情報(不図示)、会計情報D2、購入商品情報D3などのデータが記憶される。前記商品情報には、飲食店で提供可能な全ての商品に関する情報(商品名、代金など)が含まれる。
図3は、会計情報D2の一例を示す図であり、
図4は、購入商品情報D3の一例を示す図である。
【0023】
図3に示すように、会計情報D2には、会計ごとに、会計番号、グループ人数、購入商品数、合計金額などの情報が含まれる。前記会計番号は、会計ごとに付与される識別情報である。前記グループ人数は、家族客、団体客などのグループの合計人数であり、例えば飲食店のテーブルの利用人数である。前記購入商品数は、会計対象の商品の合計数である。前記合計金額は、グループごとの、全ての前記購入商品の合計金額である。
【0024】
図4に示すように、購入商品情報D3には、会計ごとに、会計番号、購入商品(注文商品)、利用者番号などの情報が含まれる。複数の利用者を含むグループの場合、例えば同一の会計番号に対して、複数の購入商品が関連付けられて登録される。また、各購入商品には、当該購入商品の代金を支払う利用者の利用者番号が関連付けられて登録される。
【0025】
会計情報D2及び購入商品情報D3は、例えば注文端末(不図示)に入力された情報に基づいてデータベースDBに記憶されてもよい。
【0026】
また、記憶部12には、制御部11に後述の会計支援処理(
図22~
図24参照)を実行させるための会計プログラムなどの制御プログラムが記憶されている。例えば、前記会計プログラムは、CD又はDVDなどのコンピューター読取可能な記録媒体に非一時的に記録されており、会計端末1が備えるCDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部12に記憶される。
【0027】
制御部11は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部11は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより会計端末1を制御する。
【0028】
具体的に、制御部11は、
図1に示すように、商品取得処理部111、画像取得処理部112、抽出処理部113、受付処理部114、登録処理部115、表示処理部116、会計処理部117、質問処理部118などの各種の処理部を含む。なお、制御部11は、前記CPUで前記会計プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部11に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記会計プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【0029】
商品取得処理部111は、利用者の購入商品の情報に対応する購入商品情報を取得する。具体的には、商品取得処理部111は、データベースDBを参照して、利用者に対応する会計情報D2(
図3参照)及び購入商品情報D3(
図4参照)を取得する。会計情報D2及び購入商品情報D3は、前記購入商品情報の一例である。例えば飲食店において、利用者が食事を終えてレジで会計する場合に、利用者が伝票をレジ担当の店員に手渡すと、店員は読取装置などにより伝票の情報コードを読み取る。これにより、商品取得処理部111は、前記情報コードに対応する会計番号(
図3及び
図4参照)に基づいて利用者の購入商品情報を取得する。商品取得処理部111は、本発明の商品取得処理部の一例である。
【0030】
画像取得処理部112は、カメラ2により撮像される、店舗のレジ前の利用者を含む所定エリアの撮像画像を取得する。画像取得処理部112は、本発明の画像取得処理部の一例である。
【0031】
抽出処理部113は、画像取得処理部112により取得される前記撮像画像から利用者の利用者画像を抽出する。具体的には、抽出処理部113は、前記撮像画像から利用者の顔画像を抽出する。前記撮像画像に複数の利用者が含まれる場合には、抽出処理部113は、利用者ごとの顔画像を抽出する。抽出処理部113は、顔画像を抽出すると、顔番号に関連付けて、当該顔画像の顔領域の情報を画像分析情報テーブルD1(
図2参照)に登録する。なお、抽出処理部113は、会計画面(後述)において所定のユーザー操作(例えば人物特定開始の指示操作)を受け付けた場合に、前記撮像画像から利用者の利用者画像を抽出してもよい。抽出処理部113は、本発明の抽出処理部の一例である。
【0032】
受付処理部114は、会計端末1に対する店員、利用者の各種操作を受け付ける。前記操作の具体例は後述する。受付処理部114は、本発明の受付処理部の一例である。
【0033】
登録処理部115は、店員用操作表示部13Aに表示される会計画面において、抽出処理部113により抽出される前記利用者画像に対応する利用者識別画像と、商品取得処理部111により取得される前記購入商品情報とを関連付けて登録する。具体的には、登録処理部115は、商品取得処理部111が伝票の前記情報コード基づいて取得した会計番号に、利用者の顔画像と、当該利用者が支払う購入商品に関する情報(購入商品名)とを関連付けて登録する。また、登録処理部115は、購入商品情報D3(
図4参照)に、購入商品の代金を支払う利用者の利用者番号を登録する。登録処理部115は、本発明の登録処理部の一例である。前記顔画像は、本発明の利用者識別画像の一例である。なお、本発明の利用者識別画像は、顔画像に限定されず、利用者を識別可能な身体の一部の画像、又は、利用者を識別可能な所持品の画像であってもよい。
【0034】
表示処理部116は、店員用操作表示部13A及び利用者用操作表示部13Bのそれぞれに、各種の会計画面を表示させる。具体的には、表示処理部116は、画像取得処理部112により取得される前記撮像画像を店員用操作表示部13Aに表示させ、かつ前記撮像画像から抽出される利用者の利用者画像(顔画像)に対応付けて当該利用者の識別情報(利用者番号)を店員用操作表示部13Aに表示させる。また、表示処理部116は、会計画面に、利用者の顔画像と、当該利用者の購入商品の前記購入商品情報とを関連付けて表示させる。表示処理部116は、本発明の表示処理部の一例である。
【0035】
会計処理部117は、登録処理部115により登録される顔画像及び前記購入商品情報に対応する利用者の会計処理を実行する。
【0036】
以下、具体例を示す。
図5には、店員用操作表示部13Aに表示される会計画面の一例を示している。
図5に示す会計画面において、店員は、利用者の会計方法について、一括支払による会計、及び、割り勘支払による会計のいずれかを選択する。例えば、店員が利用者に前記会計方法を質問して、利用者が割り勘支払を選択すると、店員は、
図5に示す会計画面の「割り勘支払」をタッチする。受付処理部114は、店員のタッチ操作を受け付ける。
【0037】
「割り勘支払」が選択された場合、表示処理部116は、
図6に示す会計画面を店員用操作表示部13Aに表示させる。
図6に示す会計画面には、飲食店で注文可能な全ての商品の情報と、会計を行う利用者(ここでは会計番号「2」の3人グループ)を撮像した撮像画像P1と、当該グループの購入商品に関する購入商品一覧P3と、各利用者の識別情報及び代金を支払う商品に関する商品情報を表示及び編集するための利用者別表示欄P2とが表示される。また
図6に示すように、表示処理部116は、会計画面において撮像画像P1を表示させるとともに、撮像画像P1から認識された各利用者の利用者番号(ここでは「1」、「2」、「3」)を利用者画像(例えば顔画像)の近傍に表示させる。前記利用者番号は、制御部11により自動的に付与されてもよいし、店員の選択操作に応じて付与されてもよい。これにより、店員は、会計画面において、利用者の人数を把握することができる。
【0038】
また
図6に示すように、表示処理部116は、会計画面の利用者別表示欄P2に、認識した利用者ごとに、利用者番号と利用者の顔画像とを表示させる。
図6の例では、撮像画像P1に含まれる右端の利用者に対応する利用者番号「1」に、当該利用者の顔画像が関連付けられて表示されており、撮像画像P1に含まれる左端の利用者に対応する利用者番号「2」に、当該利用者の顔画像が関連付けられて表示されており、撮像画像P1に含まれる中央の利用者に対応する利用者番号「3」に、当該利用者の顔画像が関連付けられて表示されている。
【0039】
受付処理部114は、前記会計画面において、店員から、所定の購入商品を選択する選択操作を受け付ける。例えば、店員は利用者(3人グループ)に「唐揚定食」の代金「700円」を支払う利用者を口頭で質問する。利用者番号「1」の利用者(右端の利用者)が「唐揚定食」の代金「700円」を支払うことを回答すると、店員は、
図7に示すように、会計画面の購入商品一覧P3において、「唐揚定食」を選択(タッチ)する。表示処理部116は、店員がタッチした「唐揚定食」の表示態様(例えば表示色)を変更する。店員は、前記会計画面上で「唐揚定食」の情報を、購入商品一覧P3から、利用者別表示欄P2の利用者番号「1」の登録欄に移動させる(
図8参照)。例えば、店員は、「唐揚定食」の情報を含む画像アイコンを、購入商品一覧P3から利用者別表示欄P2の利用者番号「1」の登録欄に移動させる操作(ドラッグアンドドロップ操作)を行う(
図9参照)。表示処理部116は、利用者番号「1」に、「唐揚定食」及び「700円」の情報を関連付けて表示させる。また、登録処理部115は、購入商品情報D3(
図4参照)において、「唐揚定食」の情報に利用者番号「1」を関連付けて登録する。このようにして、登録処理部115は、店員の操作に応じて、「唐揚定食」の支払いを利用者番号「1」の利用者に割り当てる。なお、表示処理部116は、購入商品一覧P3から「唐揚定食」の情報を削除する(
図9参照)。
【0040】
同様に、店員は、「カツ丼」及び「ラーメン」の支払いをいずれかの利用者に割り当てる。ここでは、表示処理部116は、利用者番号「2」に、「カツ丼」及び「600円」の情報と、「ラーメン」及び「550円」の情報とを関連付けて表示させる(
図10参照)。また表示処理部116は、「カツ丼」及び「ラーメン」の合計金額「1150円」を表示させる。また登録処理部115は、購入商品情報D3(
図4参照)において、「カツ丼」及び「ラーメン」の情報に利用者番号「2」を関連付けて登録する。登録処理部115は、購入商品一覧P3に表示された全ての購入商品を利用者に割り当てるまで、店員の操作に応じて上述の処理を繰り返し実行する。なお、表示処理部116は、購入商品一覧P3に表示された全ての購入商品が利用者に割り当てられた場合に、利用者別表示欄P2の表示色(背景色)を変更してもよい。これにより、店員は、購入商品一覧P3に表示された全ての購入商品が利用者に割り当てられたことを容易に認識することができる。
【0041】
購入商品一覧P3に表示された全ての購入商品が利用者に割り当てられて利用者別表示欄P2に表示されると、受付処理部114は、店員の会計操作を受け付ける。例えば、
図11に示す会計画面において、店員が利用者番号「1」に対応する購入商品「唐揚定食」の会計ボタンをタッチすると、受付処理部114は会計操作を受け付けて、表示処理部116は、利用者番号「1」に対応する会計情報を表示させる(
図12参照)。利用者が代金「1000円」を入金すると、又は、店員が利用者から代金「1000円」を受け取って入金すると、会計処理部117は利用者番号「1」に対応する決済を実行する。続いて、店員は利用者番号「2」に対応する購入商品「唐揚定食」の会計ボタンをタッチして(
図11参照)、会計処理部117は利用者番号「2」に対応する決済を実行する。
【0042】
以上のようにして、会計処理部117は、会計番号「2」の購入商品(「唐揚定食」、「カツ丼」、「ラーメン」)について、割り勘支払による会計処理を実行する。なお、例えば、店員が利用者に前記会計方法を質問して、利用者が一括支払を選択すると、店員は、
図5に示す会計画面の「一括支払」をタッチする。この場合、会計処理部117は、合計金額(ここでは「1150円」)の会計処理を実行する。
【0043】
すなわち、会計端末1では、前記撮像画像に複数の利用者の利用者画像が含まれる場合に、抽出処理部113は、前記複数の利用者のそれぞれの利用者画像を抽出し、登録処理部115は、会計画面において、前記利用者識別画像(顔画像)ごとに、対応する前記購入商品情報を関連付けて登録し、会計処理部117は、利用者ごとに、当該利用者の購入商品の会計処理を実行する。
【0044】
本発明は上述の実施形態に限定されない。上述の実施形態では、登録処理部115は、店員が購入商品一覧P3に表示された各購入商品を利用者別表示欄P2に割り振る操作を行うことにより、利用者番号と顔画像と購入商品情報とを関連付けて登録している。すなわち、受付処理部114は、会計画面において、購入商品一覧P3のうち会計対象の購入商品を選択する第1操作(
図7参照)と、当該第1操作により選択された購入商品を利用者識別画像(顔画像)に関連付ける第2操作(
図8及び
図9参照)とを受け付け、登録処理部115は、前記第1操作及び前記第2操作を受け付けた場合に、顔画像と前記第1操作により選択された購入商品の前記購入商品情報とを関連付けて登録する。
【0045】
他の実施形態として、登録処理部115は、利用者への質問に対する回答に基づいて、会計画面において、顔画像と前記購入商品情報とを関連付けて登録してもよい。例えば、
図13に示すように、店員は、会計画面の購入商品一覧P3において、「唐揚定食」を選択して、人物特定開始ボタンB1をタッチする。すると、質問処理部118は、利用者に購入商品に関する質問を行う。例えば
図14に示すように、質問処理部118は、「唐揚定食」を注文した利用者が誰なのかを質問する。ここで、質問処理部118は、利用者に対して、予め設定されたジェスチャー操作(例えば「挙手」)により回答するように促す。なお、質問処理部118は、前記質問を利用者用操作表示部13Bに表示させてもよいし(
図14参照)、音声により出力してもよい。
【0046】
登録処理部115は、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。例えば
図15に示すように、前記質問に対して利用者番号「1」の利用者が挙手すると、登録処理部115は、挙手のジェスチャー操作を認識して、利用者番号「1」の顔画像と「唐揚定食」の情報とを関連付けて登録する。また、登録処理部115は、購入商品情報D3(
図4参照)において、「唐揚定食」の情報に利用者番号「1」を関連付けて登録する。また、表示処理部116は、利用者番号「1」に、「唐揚定食」及び「700円」の情報を関連付けて表示させる。
【0047】
同様に、登録処理部115は、「カツ丼」及び「ラーメン」についても、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。
【0048】
また、上述の実施形態では、登録処理部115は、店員の操作を介して顔画像と前記購入商品情報とを関連付けて登録している。他の実施形態として、登録処理部115は、店員の操作を介さず、利用者の操作のみにより顔画像と前記購入商品情報とを関連付けて登録してもよい。この構成は、例えば利用者が会計端末1を操作して会計を行うセルフレジに適用することができる。具体的には、表示処理部116は、
図5に示す会計画面を利用者用操作表示部13Bに表示させる。利用者が会計画面の「割り勘支払」をタッチすると、受付処理部114は、利用者のタッチ操作を受け付け、表示処理部116は、
図16に示す会計画面を表示させる。
【0049】
利用者が
図16の会計画面の購入商品一覧P3において「唐揚定食」を選択すると、質問処理部118は、利用者に購入商品に関する質問を行う(
図14参照)。質問処理部118は、利用者に対して、予め設定されたジェスチャー操作(例えば「挙手」)により回答するように促す。登録処理部115は、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。例えば
図17に示すように、前記質問に対して利用者番号「1」の利用者が挙手すると、登録処理部115は、挙手のジェスチャー操作を認識して、利用者番号「1」の顔画像と「唐揚定食」の情報を関連付けて登録する。また、登録処理部115は、購入商品情報D3(
図4参照)において、「唐揚定食」の情報に利用者番号「1」を関連付けて登録する。また、表示処理部116は、利用者番号「1」に、「唐揚定食」及び「700円」の情報を関連付けて表示させる(
図17参照)。
【0050】
同様に、登録処理部115は、「カツ丼」及び「ラーメン」についても、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する(
図18参照)。
【0051】
また、
図18の会計画面において、利用者が利用者番号「1」に対応する購入商品「唐揚定食」の会計ボタンをタッチすると、受付処理部114は会計操作を受け付けて、会計処理部117は利用者番号「1」に対応する決済を実行する。このようにして、利用者自身が割り勘支払の操作を行ってもよい。
【0052】
ここで、前記ジェスチャー操作は、「挙手」に限定されず、他の操作であってもよい。例えば、前記ジェスチャー操作は、「うなずき」、「Vサイン」などであってもよい。また、
図19に示すように、複数のジェスチャー操作の情報が記憶部12に予め登録され、ユーザー(例えば店舗の管理者)が、前記質問に対する回答に利用するジェスチャー操作(判別用ジェスチャー操作)を設定可能であってもよい。
【0053】
また、前記質問に対する回答方法について、前記ジェスチャー操作に代えて、音声による回答を利用してもよい。具体的には、登録処理部115は、前記質問に対する前記利用者の発話音声に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。例えば
図20に示すように、質問処理部118は、利用者に対して、予め設定された音声(例えば「はい」)を発話して回答するように促す。例えば前記質問に対して利用者番号「1」の利用者が「はい」を発話すると、登録処理部115は、利用者番号「1」の顔画像と「唐揚定食」の情報を関連付けて登録する。
【0054】
なお、前記音声は、「はい」に限定されず、例えば「私です」、「食べました」などであってもよい。また、
図21に示すように、複数の音声の情報が記憶部12に予め登録され、ユーザー(例えば店舗の管理者)が、前記質問に対する回答に利用する音声(判別用音声)を設定可能であってもよい。
【0055】
[会計支援処理]
以下、会計端末1の制御部11によって実行される会計支援処理について説明する。例えば、制御部11は、利用者が伝票をレジ担当の店員に手渡し、店員が読取装置などにより伝票の情報コードを読み取ることにより前記会計プログラムの実行を開始することによって、前記会計支援処理を開始する。
【0056】
なお、本発明は、前記会計支援処理に含まれる一又は複数のステップを実行する会計方法の発明として捉えることができる。また、ここで説明する前記会計支援処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記会計支援処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部11が前記会計支援処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、一又は複数のプロセッサーが前記会計支援処理における各ステップを分散して実行してもよい。
【0057】
図22は、前記会計支援処理に含まれる利用者登録処理の手順の一例を示すフローチャートである。制御部11は、前記会計支援処理に際し、先ず、前記撮像画像に基づいて利用者を認識する利用者登録処理を実行する。
【0058】
ステップS1において、制御部11は、利用者の購入商品の情報に対応する購入商品情報を取得する。具体的には、制御部11は、データベースDBを参照して、利用者に対応する会計情報D2(
図3参照)及び購入商品情報D3(
図4参照)を取得する。例えば、制御部11は、伝票から会計番号を取得し、会計番号に関連付けられた会計情報D2及び購入商品情報D3を取得する。ステップS1は、本発明の商品取得ステップの一例である。
【0059】
次にステップS2において、制御部11は、利用者の会計方法が割り勘支払であるか否かを判定する。制御部11は、例えば
図5に示す会計画面において、店員の選択操作に基づいて会計方法を判定する。会計方法が割り勘支払である場合(S2:Yes)、処理はステップS3に移行する。制御部11は、会計画面に購入商品一覧P3を表示させる(
図6参照)。
【0060】
一方、会計方法が割り勘支払でない場合、すなわち前記会計方法が一括支払である場合(S2:No)、処理はステップS201に移行する。ステップS201では、制御部11は、一括支払による会計処理を実行して、前記会計支援処理を終了する。
【0061】
ステップS3において、制御部11は、カメラ2により撮像される、店舗のレジ前の利用者を含む所定エリアの撮像画像P1を取得する。制御部11は、取得した撮像画像P1を会計画面に表示させる(
図6参照)。ステップS3は、本発明の画像取得ステップの一例である。
【0062】
次にステップS4において、制御部11は、画像分析情報テーブルD1(
図2参照)の顔番号を「0」に設定する。
【0063】
次にステップS5において、制御部11は、取得した撮像画像P1の走査(スキャン処理)を開始する。例えば、制御部11は、撮像画像P1を横方向右側から走査する。
【0064】
次にステップS6において、制御部11は、撮像画像P1から顔画像を検出したか否かを判定する。制御部11が撮像画像P1から前記顔画像を検出した場合(S6:Yes)、処理はステップS7に移行する。一方、制御部11が撮像画像P1から前記顔画像を検出しない場合(S6:No)、処理はステップS10に移行する。
【0065】
ステップS7では、制御部11は、撮像画像P1から前記顔画像を抽出して、画像分析情報テーブルD1(
図2参照)に、前記顔番号「1」及び顔領域(横方向及び縦方向)を登録する。ステップS6,S7は、本発明の抽出ステップの一例である。
【0066】
次にステップS8において、制御部11は、利用者番号「1」を、前記検出した顔画像の近傍に表示させる(
図6参照)。また、制御部11は、利用者番号「1」を前記顔番号「1」に関連付けて登録する(
図2参照)。
【0067】
次にステップS9において、制御部11は、利用者番号「1」と利用者の顔画像とを、会計画面の利用者別表示欄P2に表示させる(
図6参照)。
【0068】
次にステップS10において、制御部11は、撮像画像P1の終端(ここでは左端)まで走査が完了したか否かを判定する。制御部11は、走査を完了すると(S10:Yes)、利用者登録処理を終了する。一方、制御部11は、走査を完了していない場合(S10:No)、ステップS101に移行して走査を続行する。
【0069】
制御部11は、撮像画像P1の走査を続行して次の顔画像を検出すると(S6:Yes)、上述のステップS7~S9の処理を実行する。このようにして、制御部11は、撮像画像P1から顔画像を検出しなくなるまで上述の処理を繰り返す。制御部11は、前記利用者登録処理を終了すると、以下に示す割り勘処理を実行する。
図6は、制御部11が撮像画像P1に対して前記利用者登録処理を終了した状態を示している。
【0070】
図23は、前記割り勘処理の手順の一例を示すフローチャートである。制御部11は、前記利用者登録処理(
図22参照)が終了すると、ユーザー(店員)の操作に応じて割り勘支払による会計を行う割り勘処理を実行する。
【0071】
ステップS11において、制御部11は、会計画面において購入商品一覧P3(
図6参照)から購入商品が選択されたか否かを判定する。購入商品一覧P3から購入商品が選択された場合(S11:Yes)、処理はステップS12に移行する(
図7参照)。ステップS12において、制御部11は、選択された購入商品の表示態様(例えば表示色)を変更する(
図7参照)。
【0072】
次にステップS13において、制御部11は、選択された購入商品が利用者別表示欄P2に移動されたか否かを判定する。例えば、店員が「唐揚定食」の情報を含む画像アイコンを、購入商品一覧P3から利用者別表示欄P2の利用者番号「1」の登録欄に移動させる操作(ドラッグアンドドロップ)を行った場合に(
図8及び
図9参照)、制御部11は、選択された「唐揚定食」が利用者別表示欄P2に移動されたと判定する(S13:Yes)。
【0073】
ステップS14において、制御部11は、顔番号、利用者番号、及び購入商品の情報を互いに関連付けて登録する。例えば、制御部11は、購入商品情報D3(
図4参照)において、「唐揚定食」の情報に、顔番号「1」に対応する利用者番号「1」を関連付けて登録する。
【0074】
次にステップS15において、制御部11は、購入商品名及び金額を利用者別表示欄P2に表示させる。例えば、制御部11は、利用者番号「1」に、「唐揚定食」及び「700円」の情報を関連付けて表示させる(
図9参照)。また、ステップS16において、制御部11は、利用者の支払い金額の合計を利用者別表示欄P2に表示させる(
図9参照)。
【0075】
次にステップS17において、制御部11は、購入商品一覧P3に含まれる全ての購入商品が利用者別表示欄P2に登録(表示)されたか否かを判定する。前記全ての購入商品が利用者別表示欄P2に登録された場合(S17:Yes)、処理はステップS18に移行する。制御部11は、前記全ての購入商品が利用者別表示欄P2に登録されていない場合(S17:No)、ステップS11に移行する。制御部11は、前記全ての購入商品が利用者別表示欄P2に登録されるまで上述の処理を繰り返す。
図10は、制御部11が前記全ての購入商品が利用者別表示欄P2に登録した状態を示している。
【0076】
続いてステップS18において、制御部11は、利用者別表示欄P2に表示された購入商品の会計が選択されたか否かを判定する。例えば、
図11に示す会計画面において、店員が利用者番号「1」に対応する購入商品「唐揚定食」の会計ボタンをタッチすると、制御部11は、「唐揚定食」の会計が選択されたと判定する(S18:Yes)。利用者別表示欄P2に表示された購入商品の会計が選択された場合(S18:Yes)、処理はステップS19に移行する。一方、利用者別表示欄P2に表示された購入商品の会計が選択されない場合(S18:No)、処理はステップS21(
図24参照)に移行する。
【0077】
ステップS19において、制御部11は、選択された購入商品の会計処理を実行する。例えば利用者が代金「1000円」を入金すると、又は、店員が利用者から代金「1000円」を受け取って入金すると、制御部11は、利用者番号「1」に対応する決済を実行する(
図12参照)。ステップS19は、会計ステップの一例である。
【0078】
次にステップS20において、制御部11は、利用者別表示欄P2に表示された全ての購入商品の会計が終了したか否かを判定する。前記全ての購入商品の会計が終了した場合(S20:Yes)、制御部11は、前記割り勘処理を終了する。前記全ての購入商品の会計が終了していない場合(S20:No)、処理はステップS18に移行して、制御部11は、上述の処理を繰り返す。
【0079】
ここで、ステップS21では、制御部11は、利用者別表示欄P2に表示された購入商品の取り消しが選択されたか否かを判定する。例えば、
図11に示す会計画面において、店員が利用者番号「1」に対応する購入商品「唐揚定食」の取消ボタンをタッチすると、制御部11は、ステップS22において、顔番号、利用者番号、及び購入商品の登録を解除する。次にステップS23において、制御部11は、利用者別表示欄P2から、購入商品名及び金額を削除する。次にステップS24において、制御部11は、利用者別表示欄P2に、変更後の支払い金額の合計を表示させる。また、この場合、制御部11は、取り消した購入商品「唐揚定食」の情報を購入商品一覧P3に再表示する。その後、処理はステップS11に移行して、制御部11は、購入商品「唐揚定食」を他の使用者に割り当てる処理を実行する。
【0080】
以上のようにして、制御部11は、前記会計支援処理を実行する。なお、制御部11は、前記会計支援処理において、上述した他の実施形態(
図13~
図21参照)に応じた処理を実行してもよい。
【0081】
以上説明したように、本実施形態に係る会計システム100は、利用者の購入商品の情報に対応する購入商品情報を取得し、前記利用者を撮像した撮像画像を取得し、取得した前記撮像画像から前記利用者の利用者画像を抽出する。また、会計システム100は、会計端末1に表示される会計画面において、抽出した前記利用者画像に対応する利用者識別画像(顔画像)と、取得した前記購入商品情報とを関連付けて登録し、登録した前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を実行する。これにより、割り勘支払による会計処理を容易に行うことができる。また、割り勘支払の会計処理をする際の店員の作業負担を軽減することができる。
【符号の説明】
【0082】
1 :会計端末
2 :カメラ
13A :店員用操作表示部
13B :利用者用操作表示部
100 :会計システム
111 :商品取得処理部
112 :画像取得処理部
113 :抽出処理部
114 :受付処理部
115 :登録処理部
116 :表示処理部
117 :会計処理部
118 :質問処理部