特許 7127892 決済システム、決済方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-22

(45)【発行日】2022-08-30

(54)【発明の名称】決済システム、決済方法及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220823BHJP

   G07G 1/00 20060101ALI20220823BHJP

   G07G 1/01 20060101ALI20220823BHJP

   G07G 1/12 20060101ALI20220823BHJP

【ＦＩ】

G06Q30/06

G07G1/00 311D

G07G1/01 301E

G07G1/12 331D

【請求項の数】 7

(21)【出願番号】P 2021018065

(22)【出願日】2021-02-08

(65)【公開番号】P2022120976

(43)【公開日】2022-08-19

【審査請求日】2021-02-08

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】伊藤 修平

【審査官】山崎 誠也

(56)【参考文献】

【文献】特開２０１５－０６４６２８（ＪＰ，Ａ）

【文献】「神戸新聞」でBakeryScanが紹介されました，[online]，2019年10月29日，[令和４年５月２日検索], インターネット<URL:https://bakeryscan.com/topic/2019-10-29/>

【文献】あらゆる小売商品を認識可能にする多種物体認識技術，[online]，Vol.72，2019年，[令和４年５月２日検索], インターネット<URL:https://jpn.nec.com/techrep/journal/g19/n01/190118.html>

【文献】パン画像識別システム BakeryScan，[online]，2020年12月30日，[令和４年５月２日検索], インターネット<URL:https://web.archive.org/web/20201230104051/https://www.chusho.meti.go.jp/koukai/kenkyukai/smartsme/2017/170517smartsme04B.pdf>

【文献】森本雅和，食品の画像認識システム パンの画像認識レジの開発と展開，システム／制御／情報，Ｖｏｌ．６２ Ｎｏ．９，システム制御情報学会，2018年，ｐｐ．３７６－３８１

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０７Ｇ １／００

Ｇ０７Ｇ １／０１

Ｇ０７Ｇ １／１２

(57)【特許請求の範囲】

【請求項1】

決済対象商品を含む画像を取得する取得部と、
前記画像から物を識別し、前記識別された物に対応する商品を推定する推定部と、
前記推定された商品の商品情報と前記物とを対応付けて商品表示領域に表示する表示部と、
前記物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける受付部と、
前記受付部に対する入力に応じて前記物を決済対象商品として登録する登録部と、
を備え、
前記登録部は、前記受付部において前記物を前記決済対象商品として登録する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録し、前記受付部において前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録せず、
前記表示部は、前記受付部において前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、当該物が前記決済対象商品から除外された旨を当該物の画像に近接して表示する
決済システム。

【請求項2】

前記推定部は、前記画像から複数の物を識別し、前記識別された複数の物のそれぞれに対応する複数の商品を推定し、
前記表示部は、前記推定された複数の商品の商品情報と前記複数の物とをそれぞれ対応付けて前記商品表示領域に表示し、
前記受付部は、前記複数の物のそれぞれに対する前記登録意思の入力を前記ユーザから受け付け、
前記登録部は、前記受付部に対する入力に応じて前記複数の物のそれぞれを前記決済対象商品として登録し、
前記登録部は、前記複数の物のうち、前記受付部において前記決済対象商品として登録する旨の入力が受け付けられた前記物を前記決済対象商品として登録し、前記受付部において前記決済対象商品から除外する旨の入力が受け付けられた前記物を前記決済対象商品として登録せず、
前記表示部は、前記複数の物のうち、前記受付部において前記決済対象商品から除外する旨の入力が受け付けられた前記物が、前記決済対象商品から除外された旨を、当該物の画像に近接して表示する
請求項１に記載の決済システム。

【請求項3】

前記表示部は、
前記受付部の機能を有するタッチ式操作画面を有し、
前記商品表示領域と、前記ユーザが前記物を前記決済対象商品から除外する旨を入力するための入力領域と、を同一画面上に表示し、
前記入力領域に対する前記ユーザのタッチ操作に応じて前記除外する旨の入力を受け付ける
請求項１又は２に記載の決済システム。

【請求項4】

前記表示部は、
前記受付部の機能を有するタッチ式操作画面を有し、
前記ユーザの第１タッチ操作に応じて、前記商品表示領域と、前記推定部において前記商品として推定され得る決済非対象商品の商品情報を表示する決済非対象商品表示領域と、前記ユーザが前記物を前記決済対象商品から除外する旨を入力するための入力領域と、を同一画面上に表示し、
前記入力領域に対する前記ユーザの第２タッチ操作に応じて前記除外する旨の入力を受け付ける
請求項１～３のいずれか１項に記載の決済システム。

【請求項5】

前記商品情報は、前記商品の商品名を含み、
前記表示部は、前記推定された商品の商品名と前記物の画像とを対応付けて前記商品表示領域に表示し、
前記物の画像は、前記取得部において取得された画像における前記物の位置関係を維持して表示される
請求項１～４のいずれか１項に記載の決済システム。

【請求項6】

コンピュータが、
決済対象商品を含む画像を取得する取得ステップと、
前記画像から物を識別し、前記識別された物に対応する商品を推定する推定ステップと、
前記推定された商品の商品情報と前記物とを対応付けて商品表示領域に表示する表示ステップと、
前記物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける受付ステップと、
前記受付ステップにおける入力に応じて前記物を決済対象商品として登録する登録ステップと、
を実行し、
前記登録ステップでは、前記受付ステップにおいて前記物を前記決済対象商品として登録する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録し、前記受付ステップにおいて前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録せず、
前記表示ステップでは、前記受付ステップにおいて前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、当該物が前記決済対象商品から除外された旨を当該物の画像に近接して表示する
決済方法。

【請求項7】

決済対象商品を含む画像を取得する取得ステップと、
前記画像から物を識別し、前記識別された物に対応する商品を推定する推定ステップと、
前記推定された商品の商品情報と前記物とを対応付けて商品表示領域に表示する表示ステップと、
前記物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける受付ステップと、
前記受付ステップにおける入力に応じて前記物を決済対象商品として登録する登録ステップと、
を備える決済方法をコンピュータに実行させ、
前記登録ステップでは、前記受付ステップにおいて前記物を前記決済対象商品として登録する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録し、前記受付ステップにおいて前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録せず、
前記表示ステップでは、前記受付ステップにおいて前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、当該物が前記決済対象商品から除外された旨を当該物の画像に近接して表示する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、決済システム、決済方法及びプログラムに関する。

【背景技術】

【0002】

食堂施設などの店舗において、料理が載せられたトレーを撮影し、撮影された画像から商品を認識し、決済を行う技術が知られている。
関連する技術として、例えば、特許文献１は、撮像部で撮影された画像を取り込んで表示部に表示させ、表示部に表示される画像上の任意の箇所への選択入力を受け付ける商品認識装置を開示する。この商品認識装置は、表示部に表示される画像上の入力を受け付けた箇所に固定サイズの枠線を表示させ、枠線によって囲われた領域内の画像の特徴量から枠線内に存在する商品を認識し、認識された商品の情報を出力する。商品の認識が誤っていた場合、ユーザは、画面上の削除マークにタッチし、表示された枠線を消去して、画像の認識処理をやり直す必要がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０５９２７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品の誤認識が生じるケースとして、トレーに載せられた商品が、外観が類似する他の商品として認識される場合以外に、トレーに載せられた顧客の所持品が、誤って商品として認識される場合が想定される。例えば、顧客が携帯する財布やスマートフォンなどの物品がトレーに載せられている場合に、これらが誤って商品として認識され、決済対象商品として登録されるおそれがある。このような場合、商品登録が概ね確定された状態において、ユーザが画面を操作し、商品の認識処理のやり直しや、決済画面での当該物品の削除を行う必要があり、煩雑である。特許文献１が開示する技術では、このような問題が考慮されていない。

【0005】

本開示の目的は、上述した課題を鑑み、誤って認識された物を、容易に決済対象外とすることが可能な決済システム、決済方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示にかかる決済システムは、
決済対象商品を含む画像を取得する取得部と、
前記画像から物を識別し、前記識別された物に対応する商品を推定する推定部と、
前記推定された商品の商品情報と前記物とを対応付けて商品表示領域に表示する表示部と、
前記物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける受付部と、
前記受付部に対する入力に応じて前記物を決済対象商品として登録する登録部と、
を備え、
前記登録部は、前記受付部において前記物を前記決済対象商品として登録する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録し、前記受付部において前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録しないものである。

【0007】

本開示にかかる決済方法は、
決済対象商品を含む画像を取得する取得ステップと、
前記画像から物を識別し、前記識別された物に対応する商品を推定する推定ステップと、
前記推定された商品の商品情報と前記物とを対応付けて商品表示領域に表示する表示ステップと、
前記物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける受付ステップと、
前記受付ステップにおける入力に応じて前記物を決済対象商品として登録する登録ステップと、
を備え、
前記登録ステップでは、前記受付ステップにおいて前記物を前記決済対象商品として登録する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録し、前記受付ステップにおいて前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録しないものである。

【0008】

本開示にかかるプログラムは、
決済対象商品を含む画像を取得する取得ステップと、
前記画像から物を識別し、前記識別された物に対応する商品を推定する推定ステップと、
前記推定された商品の商品情報と前記物とを対応付けて商品表示領域に表示する表示ステップと、
前記物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける受付ステップと、
前記受付ステップにおける入力に応じて前記物を決済対象商品として登録する登録ステップと、
を備える決済方法をコンピュータに実行させ、
前記登録ステップでは、前記受付ステップにおいて前記物を前記決済対象商品として登録する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録し、前記受付ステップにおいて前記物を前記決済対象商品から除外する旨の入力が受け付けられた場合、前記物を前記決済対象商品として登録しないものである。

【発明の効果】

【0009】

本開示にかかる決済システム、決済方法及びプログラムは、誤って認識された物を、容易に決済対象外とすることを可能とする。

【図面の簡単な説明】

【0010】

【図1】実施形態１にかかる決済システムの構成を示すブロック図である。

【図2】実施形態２にかかる決済システムの構成を示すブロック図である。

【図3】実施形態２にかかる決済システムの概要を示す図である。

【図4】実施形態２にかかる推定処理を示すフローチャートである。

【図5】実施形態２において正しい推定結果が得られた場合の表示画面を示す図である。

【図6】実施形態２において誤った推定結果が得られた場合の表示画面を示す図である。

【図7】実施形態２にかかる決済非対象商品リストを含む表示画面を示す図である。

【図8】実施形態２において除外ボタンが押下された場合の表示画面を示す図である。

【図9】実施形態２にかかる商品情報データベースを示す図である。

【図10】実施形態２にかかる特徴点情報データベースを示す図である。

【図11】実施形態２にかかる決済システムが行う処理を示すフローチャートである。

【図12】実施形態２においてユーザが行う処理を示すフローチャートである。

【図13】実施形態３にかかる決済システムの構成を示すブロック図である。

【図14】実施形態にかかる決済システム等のハードウエア構成例を示す図である。

【発明を実施するための形態】

【0011】

＜実施形態１＞
以下、図面を参照して本開示の実施形態について説明する。
図１は、本実施形態にかかる決済システム１０の構成を示すブロック図である。決済システム１０は、取得部１１、推定部１２、表示部１３、受付部１４、及び登録部１５を備えている。

【0012】

取得部１１は、決済対象商品を含む画像を取得する。推定部１２は、取得部１１において取得された画像から物を識別し、識別された物に対応する商品を推定する。表示部１３は、推定部１２において推定された商品の商品情報と物とを対応付けて商品表示領域に表示する。受付部１４は、物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける。登録部１５は、受付部１４に対する入力に応じて物を決済対象商品として登録する。
登録部１５は、受付部１４において物を決済対象商品として登録する旨の入力が受け付けられた場合、物を決済対象商品として登録し、受付部１４において物を決済対象商品から除外する旨の入力が受け付けられた場合、物を決済対象商品として登録しない。

【0013】

本実施形態にかかる決済システム１０は、取得した画像から物を識別し、識別された物に対応する商品を推定する。決済システム１０は、推定された商品の商品情報と物とを対応付けて商品表示領域に表示する。ユーザは、商品表示領域に表示された内容を確認して、物を決済対象商品として登録するか否かを決済システム１０に入力する。決済システム１０は、ユーザの入力に応じて、物を決済対象商品として登録する。決済システム１０は、物を決済対象商品として登録する旨の入力が受け付けられた場合、物を決済対象商品として登録するが、物を決済対象商品から除外する旨の入力が受け付けられた場合、物を決済対象商品として登録しない。

【0014】

したがって、本実施形態にかかる決済システム１０によれば、ユーザは、商品表示領域の表示を確認することで、物が誤って認識されたことを知ることができる。また、ユーザは、誤って認識された物を容易に決済対象外とすることができる。

【0015】

＜実施形態２＞
実施形態２は、上述した実施形態１の具体例である。図２は、本実施形態にかかる決済システム１０００の構成を示すブロック図である。決済システム１０００は、決済装置１００及び撮像装置２０を備えている。なお、同図に示される構成は一例に過ぎず、決済システム１０００は、複数の構成が集約された装置などを用いて構成されてもよい。例えば、決済装置１００及び撮像装置２０の機能が同一の装置に集約されていてもよい。また、例えば、決済装置１００における各機能部は、複数の装置などを用いて分散処理されてもよい。

【0016】

決済システム１０００は、店舗を利用する顧客が所望の商品をトレーに載せていき、最後にまとめて決済を行う、カフェテリア形式の食堂施設などにおいて用いられる。店舗は、例えば、社員食堂、レストラン、ホテル、又は各種セルフサービスの飲食店などを含み得る。

【0017】

図３は、決済システム１０００の概要を示す図である。顧客は、店舗のメニューの中から所望の商品を選択し、選択した商品を所定のトレーに載せる。商品は、商品棚から顧客自身が取ってもよいし、店舗の調理担当者から受け取ってもよい。また、顧客は、箸、スプーン、おしぼり、又は自動給水機などから供給される水などを、商品と共にトレーに載せてもよい。

【0018】

顧客は、所望の商品などをトレーに載せ終わると、決済を行うために決済装置１００の位置まで移動する。ここでは、カレーライス及び水がトレーに載せられているものとし、これらをまとめて商品群３０と称して説明を行う。なお、ここでは、カレーライスは有料で提供され、水は無料で提供されるものとする。

【0019】

顧客が決済装置１００の位置まで移動すると、店舗のレジ担当者は、決済装置１００を用いて商品群３０の決済処理を行う。決済装置１００の近傍には、撮像装置２０が設けられている。撮像装置２０は、上方から商品群３０を撮像し、カレーライス及び水を含む画像を取得する。撮像装置２０は、取得された画像を決済装置１００に送信する。

【0020】

決済装置１００は、商品群３０の画像及び決済処理に関する情報を表示する表示部１３０を備えている。表示部１３０は、例えば、レジ担当者が指などでタッチすることで決済装置１００の操作が可能なタッチパネル（タッチ式操作画面）であってよい。レジ担当者は、表示部１３０に表示された内容を確認し、所定の確認処理を行った上で決済処理を行う。

【0021】

図２に戻り説明を続ける。撮像装置２０は、トレーに載せられた商品群３０を撮像し、画像データを取得して決済装置１００に送信する。撮像装置２０は、例えば、商品群３０を撮像して２次元画像データを取得し、取得された２次元画像データを決済装置１００に送信するカメラであってよい。撮像される画像は、静止画であってもよいし、動画であってもよい。撮像装置２０は、決済装置１００近傍に、商品群３０が撮像範囲に含まれるように設けられる。撮像装置２０は、例えば、上方から商品群３０を撮像する。

【0022】

続いて、決済装置１００について説明を行う。決済装置１００は、狭義の実施形態１にかかる決済システム１０を構成する。決済装置１００は、取得部１１０、推定部１２０、表示部１３０、受付部１４０、登録部１５０、記憶部１６０、通信部１７０、及び決済部１８０を備えている。

【0023】

取得部１１０は、実施形態１の取得部１１に相当するものである。取得部１１０は、決済対象商品を含む画像を、撮像装置２０から取得し、推定部１２０に出力する。
ここで、決済対象商品は、顧客が行う決済の対象となる商品である。決済対象商品は、例えば、店舗が予め用意している商品メニューに含まれる商品である。ここでは、カレーライスが決済対象商品に含まれる。決済対象商品には、調理されたものに限らず、店舗で販売されるお菓子や飲料などの市販品が含まれてもよい。決済対象商品は、典型的には、有料の商品であるが、これに限られない。例えば、通常は有料商品として販売しているものが所定期間において無料で提供されるような場合、その商品が決済対象商品として含まれていてもよい。

【0024】

取得部１１０が撮像装置２０から取得する画像には、決済対象商品と共に、決済非対象商品が含まれてよい。ここで、決済非対象商品は、顧客が行う決済の対象とならない商品である。決済非対象商品は、撮像装置２０を用いて撮影される画像に含まれるものとして店舗側が想定している無料商品であってよい。決済非対象商品は、例えば、箸、スプーン、おしぼり、又は自動給水機などから供給される水などであってよい。決済非対象商品は、後述する推定部１２０において、取得された画像から識別された物に対応する商品として推定され得る。ここでは、水が決済非対象商品に含まれる。

【0025】

更に、取得部１１０が撮像装置２０から取得する画像には、決済対象商品及び決済非対象商品のいずれにも該当しないもの（以下、「除外品」と称する）が含まれてよい。除外品は、撮像装置２０を用いて撮影される画像に含まれるものとして店舗側が想定していない物品などであってよい。除外品は、例えば、顧客の財布、携帯電話、スマートフォン、携帯型音楽プレーヤー、メモ帳及びハンカチなどを含み得る。除外品は、これらに限らず、どのようなものが含まれてもよい。除外品は、後述する推定部１２０において、取得された画像から識別された物に対応する商品としては推定されない。

【0026】

推定部１２０は、実施形態１の推定部１２に相当するものである。推定部１２０は、画像から物を識別し、識別された物に対応する商品を推定する。推定部１２０は、画像から複数の物を識別し、識別された複数の物のそれぞれに対応する複数の商品を推定してよい。推定部１２０は、取得部１１０から画像を取得し、取得された画像に含まれる物を、画像認識などを用いて識別する。ここでは、推定部１２０は、カレーライス及び水を、物として識別する。

【0027】

推定部１２０は、記憶部１６０に記憶される特徴点情報データベース１６２を参照して、識別されたこれらの物に対応する商品をそれぞれ推定する。特徴点情報データベース１６２には、商品を識別する商品識別情報と、商品の特徴点とが対応付けられて記憶されている。

【0028】

図４は、推定部１２０が行う推定処理を示すフローチャートである。推定部１２０は、記憶部１６０の商品情報データベース１６１を参照し、商品情報を読み込む（Ｓ１０１）。商品情報データベース１６１には、商品を識別する商品識別情報と、商品名や価格などを含む商品の情報とが対応付けられて記憶されている。推定部１２０は、取得部１１０において取得された画像から、画像に含まれる物を識別する（Ｓ１０２）。推定部１２０は、識別された物の画像に対し、画像の特徴点を算出する（Ｓ１０３）。

【0029】

推定部１２０は、特徴点情報データベース１６２を参照する。推定部１２０は、特徴点情報データベース１６２に登録されている特徴点と、識別された物の画像の特徴点とを比較し、類似度を算出する（Ｓ１０４）。この類似度の算出処理は、特徴点情報データベース１６２に記憶された複数の商品の全てに対して行われてもよいし、一部に対して行われてもよい。

【0030】

推定部１２０は、算出した類似度が高い順に商品識別情報をソートする（Ｓ１０５）。推定部１２０は、ソート結果に基づいて、商品候補リストを生成し、推定結果として表示部１３０に出力する（Ｓ１０６）。

【0031】

図２に戻り説明を続ける。表示部１３０は、実施形態１の表示部１３に相当するものである。表示部１３０は、推定部１２０から推定結果を受け取り、推定された商品の商品情報と物とを対応付けて、商品表示領域に表示する。表示部１３０は、推定部１２０において複数の商品が推定された場合、推定された複数の商品の商品情報と複数の物とをそれぞれ対応付けて商品表示領域に表示する。

【0032】

表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどを含み得る。表示部１３０は、ユーザが指などで触れることで決済装置１００の操作を行うことが可能なタッチパネルであってよい。ここでは、表示部１３０は、後述する受付部１４０の機能を有するタッチパネルであるものとして説明を行う。また、本実施形態では、ユーザは、店舗のレジ担当者であるものとして説明を行う。

【0033】

図５は、表示部１３０が表示する表示画面の一例を示す図である。表示部１３０は、商品表示領域１３１、索引等ボタン１３２、商品候補リスト１３３、及び確定ボタン１３４を同一画面上に表示する。また、上記の全てが同一画面上に表示されていなくともよい。表示部１３０は、ユーザのタッチ操作を受け付けて、これらの表示領域などの表示又は非表示を適宜切り替えてよい。

【0034】

また、上記に限らず、表示部１３０は、種々の表示領域や操作ボタンを更に表示してもよい。例えば、表示部１３０は、決済対象商品の価格を、その商品の画像と対応付けて表示してもよい。表示部１３０は、商品が複数ある場合に、複数の商品の合計金額を表示してもよい。また、表示部１３０は、レジ担当者側だけでなく、顧客側にも設けられてもよい。このようにすることで、決済対象商品や決済金額などの確認をレジ担当者と顧客の双方で行うことができる。

【0035】

商品表示領域１３１は、推定された商品の商品情報と、認識された物とを対応付けて表示する領域である。ここでは、商品表示領域１３１には、推定された商品の商品名と、認識された物の画像とが対応付けて表示されている。商品表示領域１３１において、認識された物の画像は、取得部１１０において取得された画像における物の位置関係を維持して表示されるとよい。このようにすることで、レジ担当者は、商品表示領域１３１で表示される画像と、トレー上の料理などとの比較を容易に行うことができる。したがって、商品表示領域１３１の表示内容に誤りがあった場合、レジ担当者は、容易にその誤りを発見することができる。また、レジ担当者は、表示部１３０に対するタッチ操作を直感的に行うことができる。

【0036】

図５に示される例では、トレーに載せられたカレーライスと水が、推定部１２０により正しく推定されている。商品表示領域１３１には、それぞれの商品情報である商品名と、認識された画像とが対応付けられて表示されている。商品表示領域１３１には、商品名だけでなく、それぞれの価格などの情報が共に表示されてもよい。

【0037】

索引等ボタン１３２は、商品を選択する場合に、商品名の頭文字などを用いて商品を抽出するためのボタンである。商品候補リスト１３３は、推定部１２０から取得した商品候補リストを表示する領域である。図５では、カレーライスの画像から推定された結果が、類似度の高い順に表示されている。商品候補リスト１３３は、候補となるそれぞれの商品を選択するボタンで構成される。推定された商品が誤っている場合、ユーザは、各商品のボタンを押すことで正しい商品を選択し直すことができる。例えば、トレー上の商品が、カレーライスではなくハヤシライスであった場合、ユーザは、商品候補リスト１３３の「ハヤシライス」のボタンを押して、正しい商品を選択することができる。

【0038】

確定ボタン１３４は、商品登録を確定するボタンである。ユーザは、確定ボタン１３４を押すことで、認識されたそれぞれの物を決済対象商品として登録する旨の登録意思の入力を行う。ここでは、レジ担当者は、確定ボタン１３４を押すことで、カレーライスを決済対象商品として登録する旨の入力を行う。商品が複数ある場合、レジ担当者は、全ての商品の推定が正しいことを確認した後、確定ボタン１３４を押すことで、複数商品を一括して決済対象商品に登録する旨の入力を行ってもよい。これに限らず、レジ担当者は、個別に入力を行ってもよい。例えば、カレーライスの画像をタッチすると、「登録」ボタンが表示されるようにし、この「登録」ボタンを押すことで、カレーライスを商品登録する旨の登録意思を入力できるようにしてもよい。レジ担当者は、全ての決済対象商品の登録を完了すると、決済処理に進む。

【0039】

ここで、図６を用いて、トレー上の除外品が、誤って商品として推定された場合について説明する。同図では、顧客がトレーに載せたスマートフォンが、コロッケとして推定されている。このような場合、レジ担当者は、コロッケとして推定されたスマートフォンを、決済対象から除外して商品登録を確定する必要がある。

【0040】

図７は、索引等ボタン１３２にある「０円」ボタンを押した場合の画面の一例を示している。同図に示されるように、ユーザが「０円」ボタンを押す（第１タッチ操作）と、表示部１３０は、商品表示領域１３１と、決済非対象商品リスト１３６と、除外ボタン１３５と、を同一画面上に表示する。決済非対象商品リスト１３６は、推定部１２０において、商品として推定され得る決済非対象商品の商品情報を表示する決済非対象商品表示領域として機能する。ここでは、決済非対象商品リスト１３６には、箸、スプーン、フォーク、及び水が表示されている。レジ担当者は、決済非対象商品リスト１３６の内容を確認し、リストの中にスマートフォンが存在しないことを確認する。

【0041】

除外ボタン１３５は、ユーザが物を決済対象商品から除外する旨を入力するための入力領域として機能する。除外する旨を入力する場合、レジ担当者は、まず、コロッケと推定されているスマートフォンの画像部分をタッチするなどして、スマートフォンを選択する。レジ担当者は、除外ボタン１３５を押して（第２タッチ操作）、スマートフォンを決済対象商品から除外する操作を行う。

【0042】

図８は、スマートフォンに対する除外の操作がなされた後の画面の一例を示している。同図に示されるように、表示部１３０は、ユーザが商品表示領域１３１において物を除外する旨の入力を行った場合、当該物が決済対象商品から除外された旨を当該物の画像に近接して表示する。同図では、スマートフォンの画像に近接して表示されていた「コロッケ」が、「除外」に変わっている。このようにすることで、レジ担当者は、除外品が決済対象商品から除外されたことを容易に確認できる。表示部１３０は、除外された物の画像を、決済対象商品と判別可能に表示してもよい。例えば、表示部１３０は、除外された物の画像をグレー表示にするなどしてよい。

【0043】

また、除外ボタン１３５は、商品表示領域１３１において、選択された物の画像に重ね合わせて表示されてもよい。このようにすることで、ボタンの押し間違いを防止することができる。また、レジ担当者は、離れた位置まで指を移動させる必要がないので、より短時間で除外の入力を行うことができる。

【0044】

なお、取得部１１０において取得された画像から識別された物と、推定部１２０において推定された商品との類似度が低い場合などは、「要確認」などの表示を行い、レジ担当者に対して注意を促してもよい。また、表示部１３０は、そのような誤認識の可能性の高い商品や物を、画面上で予め選択された状態にしておいてもよい。このようにすることで、レジ担当者は、より少ないタッチ操作で処理を進めることができる。

【0045】

なお、上述の説明では、まず索引等ボタン１３２において「０円」ボタンを押し、続いて除外ボタン１３５を押すことで、除外品を除外する旨の入力を行ったが、これに限られない。表示部１３０は、商品表示領域１３１と、除外ボタン１３５と、を初めから同一画面上に表示してもよい。例えば、表示部１３０は、除外ボタン１３５を常時表示してもよいし、商品表示領域１３１で物が選択された場合に、所定の場所に除外ボタン１３５を表示してもよい。所定の場所は、図８に示されるような場所に限らず、商品表示領域１３１の物の画像に近接する場所や、物の画像と重なる領域であってよい。

【0046】

また、表示部１３０は、除外ボタン１３５を押す操作に限らず、除外する物の画像の長押し、ダブルタップ、又はスワイプ操作などを用いて、除外する旨の入力を可能としてもよい。その際、「除外しますか？」などの確認メッセージを表示させて、操作ミスを防止できるようにしてもよい。

【0047】

図２に戻り説明を続ける。受付部１４０は、実施形態１の受付部１４に相当するものである。受付部１４０は、物を決済対象商品として登録するか否かを示す登録意思の入力をユーザから受け付ける。また、推定部１２０において物が複数認識された場合、受付部１４０は、複数の物のそれぞれに対する登録意思の入力をユーザから受け付ける。受付部１４０は、レジ担当者が表示部１３０において行うタッチ操作に応じて、商品の登録意思の入力を受け付ける。受付部１４０は、レジ担当者のタッチ操作に応じて、誤って認識された物を決済対象商品から除外する旨の入力を受け付ける。

【0048】

登録部１５０は、実施形態１の登録部１５に相当するものである。登録部１５０は、受付部１４０に対する入力に応じて、物を決済対象商品として登録する。登録部１５０は、受付部１４０において物を決済対象商品として登録する旨の入力が受け付けられた場合、物を決済対象商品として登録する。登録部１５０は、受付部１４０において物を決済対象商品から除外する旨の入力が受け付けられた場合、物を決済対象商品として登録しない。

【0049】

また、推定部１２０において物が複数認識された場合、登録部１５０は、受付部１４０に対する入力に応じて複数の物のそれぞれを決済対象商品として登録する。登録部１５０は、複数の物のうち、受付部１４０において決済対象商品として登録する旨の入力が受け付けられた物を決済対象商品として登録する。登録部１５０は、受付部１４０において決済対象商品から除外する旨の入力が受け付けられた物を決済対象商品として登録しない。

【0050】

記憶部１６０は、商品情報を記憶する。図９は、記憶部１６０が記憶する商品情報の一例を示す図である。商品情報は、例えば、商品を識別する商品識別情報、商品名、又は商品の価格などを含み得る。ここでは、商品識別情報として、店舗で予め設定した商品識別コードを用いる。商品識別コードとして、例えばＰＬＵ（Price Look Up）コードやＪＡＮ（Japanese Article Number）コードなどの各種コードを用いてもよい。また、商品情報には、商品に関する種々の情報が含まれてよい。記憶部１６０は、商品識別コードと、商品名や価格などの情報とを対応付けて、商品情報データベース１６１として記憶する。

【0051】

また、記憶部１６０は、商品の特徴点情報を記憶する。図１０は、記憶部１６０が記憶する特徴点情報の一例を示す図である。特徴点情報は、各商品の画像から所定の計算に基づいて算出された、商品の特徴点に関する情報である。記憶部１６０は、商品識別コードと、それぞれの商品の複数の画像を用いて算出された商品の特徴点とを対応付けて、特徴点情報データベース１６２として記憶する。

【0052】

なお、上述したように、本実施形態では、スマートフォンなどの除外品が誤って商品として推定された場合、容易に除外する旨の入力ができる。したがって、記憶部１６０は、商品情報データベース１６１及び特徴点情報データベース１６２に除外品の情報を記憶しておく必要はない。

【0053】

図２に戻り説明を続ける。通信部１７０は、有線接続又は無線接続を用いて外部装置などとの間でデータの送受信を行う。決済部１８０は、商品登録が完了した場合に商品の決済処理を行う。決済部１８０は、ＰＯＳ（Point Of Sales）端末の機能を備えていてよい。

【0054】

続いて、図１１及び図１２に示すフローチャートを用いて、本実施形態にかかる決済システム１０００において行われる処理を説明する。
図１１は、決済装置１００が行う処理を示すフローチャートである。まず、決済装置１００は、決済対象商品を含む画像を撮像装置２０から取得する（Ｓ２０１）。決済装置１００は、取得された画像から物を識別し、識別された物に対応する商品を推定する（Ｓ２０２）。決済装置１００は、推定された商品の商品名と、識別された物の画像とを対応付けて、表示部１３０の商品表示領域１３１（図６を参照）に表示する（Ｓ２０３）。

【0055】

ここで、図１２に示すフローチャートを用いて、ユーザであるレジ担当者が行う登録意思の入力処理を説明する。まず、レジ担当者は、商品表示領域１３１の表示内容を確認して、推定結果が誤っているか否かを判断する（Ｓ３０１）。推定結果が誤っていない場合（Ｓ３０１のＮＯ）、次の処理に進む。

【0056】

推定結果が誤っている場合（Ｓ３０１のＹＥＳ）、レジ担当者は、誤って推定された物が、店舗で用意されているメニュー以外であるか否かを判断する（Ｓ３０２）。誤って推定された物がメニューに存在するものである場合（Ｓ３０２のＮＯ）、レジ担当者は、表示部１３０を操作して、正しい商品を選択する（Ｓ３０３）。例えば、カレーライスが誤ってハヤシライスとして推定されている場合、商品表示領域１３１で当該物の画像をタッチして選択し、商品候補リスト１３３からカレーライスを選択する。また、例えば、決済非対象商品である水が、決済対象商品のジュースなどに認識されているような場合、レジ担当者は、索引等ボタン１３２の「０円」ボタンを押す。レジ担当者は、表示された決済非対象商品リスト１３６（図７を参照）から水を選択する。

【0057】

図１２に示されるＳ３０２の処理において、誤って推定された物がメニューに存在しない場合（Ｓ３０２のＹＥＳ）、レジ担当者は、その物を決済対象商品から除外する旨の入力を行う（Ｓ３０４）。レジ担当者は、索引等ボタン１３２（図７を参照）の「０円」ボタンを押すことで除外ボタン１３５を表示し、除外ボタン１３５を押して、除外する旨の入力を行ってもよい。また、除外ボタン１３５が既に表示されている場合には、レジ担当者は、「０円」ボタンを介さずに除外ボタン１３５を押して当該入力を行ってもよい。また、レジ担当者は、除外する物の画像の長押し、ダブルタップ、又はスワイプ操作などを含む種々の操作を用いて、当該入力を行ってもよい。このようにして、レジ担当者は、認識された物に対する登録意思の入力を決済装置１００に対して行う。

【0058】

レジ担当者は、認識された全ての物に対して、推定結果の確認処理が終了したか否かを判断する（Ｓ３０５）。未処理の商品がある場合（Ｓ３０５のＮＯ）、Ｓ３０１の処理に戻り、全ての物に対する処理が終了するまで同様の処理を繰り返す。未処理の商品がない場合（Ｓ３０５のＹＥＳ）、レジ担当者は、確定ボタン１３４を押して内容を確定させる。

【0059】

図１１に戻り説明を続ける。決済装置１００は、上記のようにして入力されたレジ担当者の登録意思を受け付ける（Ｓ２０４）。決済装置１００は、受け付けた入力に応じて、認識された物を登録又は除外する（Ｓ２０５）。決済装置１００は、認識された物を決済対象商品として登録する旨の入力を受け付けた場合、当該物を決済対象商品として登録する。決済装置１００は、認識された物を決済対象商品から除外する旨の入力が受け付けられた場合、当該物を決済対象商品として登録しない。図８に示される例では、決済装置１００は、カレーライスを決済対象商品として登録し、スマートフォンを決済対象商品として登録しない。このようにして、決済対象とすべき商品は決済対象商品として正しく登録され、決済対象外とすべき物品は決済対象商品から除外される。決済装置１００は、決済処理を行い（Ｓ２０６）、処理を終了する。

【0060】

以上説明したように、本実施形態にかかる決済システムによれば、レジ担当者は、商品表示領域の表示を確認することで、顧客の所持品が誤って決済対象商品として認識されたことを容易に把握することができる。また、レジ担当者は、誤って認識された物を、決済対象商品が確定する前に、除外ボタンなどの入力領域を用いて容易に決済対象外とすることができる。また、商品表示領域は、トレー上の商品の位置関係が維持されて表示されるので、レジ担当者は、推定結果の誤りの発見及び修正のための操作を直感的に行うことができる。このようにすることで、本実施形態にかかる決済システムによれば、決済処理を効率的に行うことができる。

【0061】

＜実施形態３＞
続いて、実施形態３にかかる決済システム１０００の構成を説明する。
図１３は、本実施形態にかかる決済システム１０００の構成を示すブロック図である。本実施形態にかかる決済システム１０００は、決済装置１００、撮像装置２０、及び商品推定サーバ２００を備えている。本実施形態は、実施形態２と異なり、商品の推定処理を、決済装置１００ではなく商品推定サーバ２００で行うものである。同図に示されるように、決済装置１００は、複数設けられてよい。複数の決済装置１００と商品推定サーバ２００は、インターネットなどのネットワークで接続され、相互にデータの送受信が行うことができる。

【0062】

決済装置１００は、取得部１１０、表示部１３０、受付部１４０、登録部１５０、記憶部１６０、通信部１７０、及び決済部１８０を備えている。また、実施形態２と同様、決済装置１００は、商品群３０を撮像する撮像装置２０と接続されている。

【0063】

取得部１１０は、撮像装置２０において撮像された商品群３０の画像を取得して、商品推定サーバ２００に送信する。取得部１１０は、推定結果を商品推定サーバ２００から取得して、表示部１３０に出力する。
記憶部１６０は、商品情報を記憶する。記憶部１６０は、図９に示されるような商品情報データベース１６１を記憶する。実施形態２と異なり、記憶部１６０は、図１０に示されるような特徴点情報データベース１６２を記憶していなくともよい。
通信部１７０は、有線接続又は無線接続を用いて他の決済装置１００及び商品推定サーバ２００とデータの送受信を行う。
上記以外の構成は、実施形態２と同様であるのでその説明を省略する。

【0064】

商品推定サーバ２００は、取得部２１０、推定部２２０、記憶部２６０、及び通信部２７０を備えている。
取得部２１０は、決済対象商品を含む画像を決済装置１００から取得し、推定部２２０に出力する。
推定部２２０は、取得部２１０において取得された画像から物を識別し、識別された物に対応する商品を、記憶部２６０に記憶された特徴点情報データベース１６２を参照して推定する。推定処理の方法は、実施形態２において、図４を用いて説明したものと同様であるので説明を省略する。推定部２２０は、推定結果を決済装置１００に送信する。

【0065】

記憶部２６０は、商品の特徴点情報を記憶する。記憶部２６０は、図１０に示されるような特徴点情報データベース１６２を記憶する。
通信部２７０は、有線接続又は無線接続を用いて、複数の決済装置１００とデータの送受信を行う。

【0066】

以上説明したように、本実施形態にかかる決済システム１０００によれば、実施形態２と同様の効果を得ることができる。なお、商品推定サーバ２００は、商品の推定処理以外の処理についても、決済装置１００に代わって行ってもよい。例えば、商品推定サーバ２００は、決済装置１００に代わって、商品情報データベース１６１を記憶し、決済装置１００の要求に応じて、必要な商品情報を決済装置１００に送信してもよい。また、商品推定サーバ２００以外の装置を更に設けて、決済装置１００又は商品推定サーバ２００が行う処理が分散処理されてもよい。

【0067】

＜ハードウエアの構成例＞
決済装置１００及び商品推定サーバ２００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、決済装置１００等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0068】

図１４は、決済装置１００等を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、決済装置１００等を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。

【0069】

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、決済装置１００等の各機能が実現される。上記アプリケーションは、決済装置１００等の機能構成部を実現するためのプログラムで構成される。

【0070】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0071】

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0072】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0073】

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

【0074】

ストレージデバイス５０８は、決済装置１００等の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、決済装置１００等の各機能構成部を実現する。

【0075】

プロセッサの各々は、アルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0076】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の説明では、店舗のレジ担当者が決済装置１００の操作を行ったが、これに限られない。決済装置１００は、顧客自身が操作を行うセルフレジとして用いられてよい。

【符号の説明】

【0077】

１０ 決済システム
１１ 取得部
１２ 推定部
１３ 表示部
１４ 受付部
１５ 登録部
２０ 撮像装置
３０ 商品群
１００ 決済装置
１１０ 取得部
１２０ 推定部
１３０ 表示部
１３１ 商品表示領域
１３２ 索引等ボタン
１３３ 商品候補リスト
１３４ 確定ボタン
１３５ 除外ボタン
１３６ 決済非対象商品リスト
１４０ 受付部
１５０ 登録部
１６０ 記憶部
１６１ 商品情報データベース
１６２ 特徴点情報データベース
１７０ 通信部
１８０ 決済部
２００ 商品推定サーバ
２１０ 取得部
２２０ 推定部
２６０ 記憶部
２７０ 通信部
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
１０００ 決済システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】