IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社寺岡精工の特許一覧

特開2024-179780情報処理装置、情報処理システム、及びコンピュータプログラム
<>
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図1
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図2
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図3
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図4
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図5
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図6
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図7
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図8
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図9
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図10
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図11
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図12
  • 特開-情報処理装置、情報処理システム、及びコンピュータプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179780
(43)【公開日】2024-12-26
(54)【発明の名称】情報処理装置、情報処理システム、及びコンピュータプログラム
(51)【国際特許分類】
   G07G 1/12 20060101AFI20241219BHJP
   G07G 1/00 20060101ALI20241219BHJP
   G07G 1/01 20060101ALI20241219BHJP
【FI】
G07G1/12 321E
G07G1/00 311D
G07G1/12 311B
G07G1/01 301E
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023098914
(22)【出願日】2023-06-16
(71)【出願人】
【識別番号】000145068
【氏名又は名称】株式会社寺岡精工
(74)【代理人】
【識別番号】100103872
【弁理士】
【氏名又は名称】粕川 敏夫
(74)【代理人】
【識別番号】100149456
【弁理士】
【氏名又は名称】清水 喜幹
(74)【代理人】
【識別番号】100194238
【弁理士】
【氏名又は名称】狩生 咲
(74)【代理人】
【識別番号】100205648
【弁理士】
【氏名又は名称】森田 真一
(72)【発明者】
【氏名】加藤 聡
【テーマコード(参考)】
3E142
【Fターム(参考)】
3E142AA01
3E142CA20
3E142DA07
3E142EA02
3E142FA22
3E142GA32
3E142JA01
(57)【要約】
【課題】商品の販売対象設定を容易に行える装置を提供する
【解決手段】商品を撮像する撮像部111と、商品を購入するための操作を行う所定の操作モードにおいて、撮像部111により撮像した商品の画像に基づき、商品情報を記憶する商品ファイル121を参照して、撮像部111により撮像した商品の画像に対応する商品の候補を抽出する抽出部125と、所定の操作モードにおいて抽出部125により抽出した商品を販売対象商品又は販売対象外商品に設定する設定部126と、を備える計量装置1。
【選択図】図3

【特許請求の範囲】
【請求項1】
商品を撮像する撮像手段と、
前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、
前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える、
情報処理装置。
【請求項2】
前記抽出手段により前記商品の候補として抽出した商品ごとに、前記設定手段により設定を行うための操作子を表示させる表示制御手段、をさらに備え、
前記表示制御手段は、
前記商品が販売対象商品又は販売対象外商品のいずれとして設定されているかによって前記操作子の表示態様を異ならせる、
請求項1記載の情報処理装置。
【請求項3】
前記所定の操作モードと、商品情報のメンテナンスモードを備え、
前記抽出手段は、
前記所定の操作モードにおいては、前記販売対象商品として設定されている商品から前記商品の候補を抽出し、
前記メンテナンスモードにおいては、前記販売対象商品として設定されている商品及び前記販売対象外商品として設定されている商品から前記商品の候補を抽出する、
請求項1記載の情報処理装置。
【請求項4】
前記抽出手段は、
前記所定の操作モードにおいて、前記販売対象商品として設定されている商品から前記商品の候補を抽出できない場合、前記販売対象外商品として設定されている商品から前記商品の候補を抽出し、その旨を出力する、
請求項3記載の情報処理装置。
【請求項5】
前記抽出手段は、
前記商品情報記憶手段を参照して、前記商品に関連付けられた学習用画像を基準画像として、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出すると共に、前記販売対象商品及び前記販売対象外商品のうち、前記学習用画像が関連付けられていない商品を抽出対象から除外する、
請求項1乃至請求項4いずれかの項に記載の情報処理装置。
【請求項6】
情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成され、
前記情報処理装置は、
商品を撮像する撮像手段、を備え、
前記管理装置は、
商品情報を記憶する商品情報記憶手段と、
前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、前記商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、
前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える、
情報処理システム。
【請求項7】
コンピュータに対し、
商品を撮像する撮像処理と、
前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、
前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる、
コンピュータプログラム。
【請求項8】
情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成されたシステムにおいて、
前記情報処理装置に対し、
商品を撮像する撮像処理、を実行させ、
前記管理装置に対し、
前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、
前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる、
コンピュータプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、及びコンピュータプログラムに関する。
【背景技術】
【0002】
物品を撮像して得られた物品の撮像画像と、画像認識の基準画像たる学習用画像とを照合して当該物品を特定する所謂オブジェクトスキャンの技術が知られている。
【0003】
例えば、特許文献1には、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、を備える商品認識装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第7125179号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
この点、スーパーマーケット等の店舗において、購入対象商品のオブジェクトスキャンを行う場合に、所定の記憶手段に登録している商品をすべてオブジェクトスキャンの対象にすると、現在販売していない商品まで抽出する可能性がある。そのため、所定の記憶手段から対象商品を検索し、販売対象とするか否かの設定を行う必要があった。しかしながら、対象商品をいちいち検索して設定を行うのは煩雑で面倒であった。
【0006】
そこで本発明は、商品の販売対象設定を容易に行える装置を提供することを目的の一つとする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明に係る情報処理装置は、商品を撮像する撮像手段と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える。
【図面の簡単な説明】
【0008】
図1】本発明の実施形態に係る計量装置を備えたシステムの構成を示した構成図である。
図2】本発明の実施形態に係る計量装置のハードウェア構成を示した機能ブロック図である。
図3】本発明の実施形態に係る計量装置のソフトウェア構成を示した機能ブロック図である。
図4】本発明の実施形態に係る計量装置に表示される画面の一例であって、第1の操作モードにおける待機画面を示す。
図5】本発明の実施形態に係る計量装置に表示される画面の一例であって、第1の操作モードにおいて商品を指定する画面を示す。
図6】本発明の実施形態に係る計量装置に表示される画面の一例であって、第2の操作モードにおいて商品を指定する画面を示す。
図7】本発明の実施形態に係る計量装置に表示される画面の一例であって、第3の操作モードにおいて商品を指定する画面を示す。
図8】本発明の実施形態に係る計量装置に表示される画面の一例であって、第4の操作モードにおいて商品を指定する画面を示す。
図9】本発明の実施形態に係る計量装置による処理の一例であって、第1の操作モードにおける処理の全体を示した処理フロー図である。
図10】本発明の実施形態に係る計量装置による処理の一例であって、第1の操作モードにおける処理のうち、商品の項を抽出する処理を示した処理フロー図である。
図11】本発明の実施形態に係る計量装置による処理の一例であって、第2の操作モードにおける処理の全体を示した処理フロー図である。
図12】本発明の実施形態に係る計量装置による処理の一例であって、第3の操作モードにおける処理の全体を示した処理フロー図である。
図13】本発明の実施形態に係る計量装置による処理の一例であって、第4の操作モードにおける処理の全体を示した処理フロー図である。
【発明を実施するための形態】
【0009】
●システム構成
以下、本発明の実施形態に係る情報処理装置について、図を参照して説明する。
なお、以下の説明においては、特段の記述がない限り、既述した機能部や処理等に付した符号と同一の符号が付された機能部や処理等については、既述した機能部や処理等と同様に構成されるものとし、説明を省略する。
【0010】
図1は、本実施形態に係る計量装置1を備えたシステムの構成の一例を示し、図2は、計量装置1のハードウェア構成を示している。本実施形態に係る計量装置1は、本発明に係る情報処理装置の一実施形態である。
計量装置1は、例えば野菜や果物などの生鮮食品を販売するスーパーマーケットに設けられる。スーパーマーケットの生鮮食品売り場では、バラ売りされている野菜や果物などの商品が種類ごとに区分けされて、それぞれの陳列場所に陳列されている。
各商品はバラ売りのため、値段やバーコードを印字したラベルが貼付されていない。顧客又は店員は、商品を種類ごとに必要なだけ計量し、計量装置1から購入する分の商品のラベルの発行を受ける。顧客又は店員は、商品にラベルを貼り付ける。ラベルには価格等の情報を含むシンボルコードが印字されており、シンボルコードをPOS端末3に読み取らせて、商品を購入対象商品として当該POS端末3等に登録できる。
【0011】
計量装置1は、指定可能な商品の一覧を表示タッチパネル104の画面上に表示し、顧客又は店員といった操作者から購入する商品の指定を受け付ける。また、計量装置1は、計量部109に載置された商品の重量を計量すると共に、表示タッチパネル104で操作者に指定された商品の単価などの商品データを例えばRAM103などの記憶部から呼び出し、商品の値段を計算してラベルを発行する。特に、本実施形態に係る計量装置1は、顧客や店員が選び取った商品のオブジェクトスキャンを実行して、当該商品の候補を指定可能に当該顧客や店員に提示する。なお、ここにいう「オブジェクトスキャン」とは、商品を撮像して当該商品の画像認識を行うと共に、学習用画像と照合して商品を特定する処理を意味し、後述する撮像制御部124及び抽出部125(図3参照)によって実行される。
【0012】
なお、商品データ、後述する商品ファイル121(図3参照)の一部又は全部は、RAM103などの計量装置1本体が備える記憶部に限らず有線又は無線により接続される適宜の構成に保存されていてもよい。特に、後述するオブジェクトスキャンのための学習用画像や学習データは、計量装置1本体に記憶する必要はなく、例えば上位のストアコントローラ2又はクラウドサーバ4に記憶され、計量装置1がこれを参照するようになっていてもよい。
【0013】
ストアコントローラ2は、スーパーマーケット内で各種データの管理を行うコンピュータであり、計量装置1、POS端末3とLAN(Local Area Network)により接続されている。各種データとして、例えば、POS端末3が記憶する商品売価等の情報を格納した商品ファイルや、計量装置1が記憶する後述の商品ファイル121(図3参照)、またPOS端末3から送信される実績ファイルなどがある。
【0014】
POS端末3は、所謂POSレジであり、顧客が購入する商品(計量装置1で計量する生鮮食品のほか、予めラベルが貼付されている商品も含む)の商品登録や代金精算などを行う。商品のラベルには、商品コード等の商品識別番号や、計量装置1で発行されたラベルの場合には重量に応じた値段情報などがバーコードや二次元コードの形式で印字されており、POS端末3はこれらのバーコードや二次元コードを読み取る読取装置を備えている。そして、POS端末3は、読取装置で読み取ったバーコードや二次元コードの情報とメモリに記憶している商品売価などの情報に基づいて、商品の登録処理を行う。
なお、図示にかかわらず、POS端末3は店舗内に複数、設けられていてもよい。また、POS端末3として、店員が操作するもののほかに、顧客自らが操作するセルフ式の端末があってもよい。
【0015】
クラウドサーバ4は、計量装置1を含めた店舗内の装置が実行する処理を実行したり、処理に必要なデータを保持したりする装置であり、適宜に設けられる。本実施形態では計量装置1において商品のオブジェクトスキャンが行われるが、計量装置1は商品の撮像のみを行い、画像の認識や解析に係る処理はクラウドサーバ4が実行するようになっていてもよい。また、クラウドサーバ4において、AI(Artificial Intelligence)によるディープラーニングを利用して照合用のデータ(学習用画像)が生成されるように構成し、オブジェクトスキャンの精度が高められるようになっていてもよい。
【0016】
なお、ストアコントローラ2やクラウドサーバ4は、計量装置1やPOS端末3の上位の管理装置を構成する。上位の装置は、本実施形態にかかわらず、一の端末又は装置によって構成してもよいし、クラウドサーバ4とは異なる他の端末又は装置によって構成してもよい。また、上位の装置は、LAN等のネットワークに接続されている店舗内の端末又は装置であってもよいし、インターネット等のネットワークに接続されている店舗外の端末又は装置であってもよい。
【0017】
●計量装置1のハードウェア構成
図2は、計量装置1のハードウェア構成を示し、図3は、計量装置1のソフトウェア構成を示している。
図2に示すように、計量装置1はハードウェア構成において、CPU101、ROM102、RAM103、表示タッチパネル104、キー操作部105、時計部106、音声入力部107、通信部108、計量部109、印字部110、撮像部111、及び外部記憶制御部112から構成されている。
【0018】
CPU101は、計量装置1の動作を制御する中央処理装置であり、ROM102からプログラムを読み出して実行することで、そのプログラムに従った計量装置1の動作を実現する。ROM102は、読出し専用メモリであり、上記プログラムが格納されている。RAM103は、随時書込み読出しメモリであり、後述する商品ファイル121やアイコンテーブル、その他一時データ等を記憶する。
【0019】
表示タッチパネル104は、計量装置1を操作する顧客等の操作者との間のユーザ入出力インタフェースであり、計量する商品を指定するためのプリセットキーG221(図5等参照)及びその他各種情報を画面上に表示すると共に、表示されたプリセットキーG221に対する操作者からの指定入力を受け付ける。表示タッチパネル104の画面表示例については後述する。また、操作者が画面上から指定したプリセットキーG221に対応する商品のデータがRAM103の商品ファイル121から読み出されて、当該商品の値段が計算される。
【0020】
キー操作部105は、表示タッチパネル104で行う入力以外の入力を行うためのものである。
【0021】
時計部106は、時刻情報を出力する。この時刻情報は、表示タッチパネル104に表示するプリセットキーG221(図5等参照)の表示の態様を制御するために用いられる。
【0022】
音声入力部107は、音声入力を行うためのものであり、操作者が商品情報を音声で入力することができる。
【0023】
通信部108は、LANインタフェースであり、ストアコントローラ2との通信を制御する。この通信部108を介して、ストアコントローラ2から商品ファイル121が取得される。通信部108を介して、ストアコントローラ2から計量装置1にプログラムが転送されてもよい。転送されたプログラムは、例えばRAM103に記憶され得る。
【0024】
計量部109は、ロードセルによる質量検出方式等により、計量装置1本体の上部に備えられた計量皿に載置された商品の重量を計量し、計量値を出力する。詳細には、計量部109は質量検出部とA/D変換機によって構成され、A/D変換機が質量検出部から入力されたアナログ信号をデジタル信号に変換する。
【0025】
印字部110は、計量部109で計量された商品について、値段やバーコード等を印字したラベルを発行する発行部を構成する。このラベルには、計量部109から計量結果として出力される計量値とRAM103に格納された商品ファイル内の商品に関する商品情報(単価データなど)とに基づいて、印字が行われる。
本実施形態において、ラベルはシールであり、商品又は商品を詰めた袋に貼付することができる。また、本実施形態では、商品の精算に必要な情報をラベルに印字して発行するものとしたが、これに限らず、商品を入れた袋に印字等してもよい。
【0026】
撮像部111は、計量部109に載置される商品を撮像する装置であり、例えばカラーCCDイメージセンサやカラーCMOSイメージセンサ等のイメージセンサにより構成される。撮像部111の個数は任意であり、複数備えられていてもよい。撮像部111は例えば、互いに異なる角度を向いて配設され、計量部109に載置される物品を複数の角度から撮像できるようになっていてもよい。
【0027】
外部記憶制御部112には、DVD-ROM、USBメモリなどの可搬型記憶媒体113が接続される。可搬型記憶媒体113には、プログラムを含む情報が格納されており、外部記憶制御部112により、その情報の読み書きが行われる。
【0028】
●計量装置1のソフトウェア構成
図3に示すように、計量装置1はソフトウェア構成において、上述したCPU101等の演算装置やRAM103等の記憶装置により、商品ファイル121、計量制御部122、変化検知部123、撮像制御部124、抽出部125、設定部126、登録部127、グループ化部128、算出部129、印字制御部130、指定受付部131、表示制御部132の各機能ブロックを構成する。なお、機能部の一部又は全部は、有線又は無線で接続されているストアコントローラ2等の上位装置や、インターネット等を介して接続されているクラウドサーバ4に実現されていてもよい。
【0029】
ここで、計量装置1は、主として第1乃至第4の操作モードに切り替えられ、それぞれの操作モードに応じた機能を実行する。なお、第1の操作モードは、顧客にサービスを提供する際に使用される操作モードであるのに対し、第2乃至第4の操作モードは、商品情報の設定を行う所謂メンテンナンスモードであり、当該メンテンナンスモードにおいて表示される画面はメンテナンス画面を構成するものと言える。
【0030】
第1の操作モードは、顧客が商品の購入又は取引を行うための操作を行う操作モードである。本実施形態において、この第1の操作モードは商品の計量値付けを行う操作モードであり、購入対象商品として計量部109に置かれた商品が計量され、価格を表示したラベルが発行される。なお、他の実施形態において計量装置1がPOS端末3の機能を備えたり、本発明に係る情報処理装置がPOS端末3として構成されたりする場合には、この第1の操作モードにおいて、商品の計量と共に商品を購入対象商品として登録する商品登録が行われる。また、本実施形態に係る計量装置1は計量値付けを行うが、計量のみを行う装置として構成し、値付けは連携する他の装置が行うように構成してもよい。
【0031】
第2の操作モードは、商品の学習用画像を登録するモードである。この第2の操作モードでは、撮像部111によって撮像された商品の画像が商品の学習用画像として登録される。
【0032】
第3の操作モードは、商品を販売対象商品又は販売対象外商品に設定するモードである。この第3のモードでは、商品ファイル121に登録されている商品について、店舗が販売対象商品として取り扱うか、販売対象外商品として取り扱うかの設定を行える。このような設定は、後述のとおり季節に応じて展開される商品や在庫の有無により必要とされる。
【0033】
第4の操作モードは、商品のグループ化を行うモードである。この第4の操作モードでは、所定の学習用画像を共通して関連付ける複数種類の商品を一のグループとして登録する。
なお、以下の各機能部の説明では、特に所定のモードについて言及していない機能については、各モードに共通して行われる。
【0034】
<商品ファイル121>
商品ファイル121は、計量装置1の計量対象となる商品毎に、商品識別情報を構成する商品コード、商品名、分類、プリセットキー名、プリセットキー用画像、重量(質量)、単価、商品の色、学習用画像、グループ情報、販売対象設定の各項目かなる商品情報を記憶したファイルであり、商品情報記憶手段を構成する。
なお、商品ファイル121にはこのほか、バーコード区分(インストアバーコード体系)、原価、単位重量、単位重量、風袋などを登録することもできる。また、この商品ファイル121は、ストアコントローラ2やクラウドサーバ4によって作成されると共に、計量装置1へ送信されてRAM103に記憶されるものとしてもよい。ただし、このことは他の実施形態において計量装置1が商品ファイル121を作成することを妨げない。また、少なくとも売価は一日に一度など、所定のタイミングで更新をかけて運用するようになっていてもよい。
バーコード区分は、JAN(EAN)コード等のPLUコードに関する区分と、量り売り商品のようにインストアバーコードを用いる場合のバーコード体系(種類)を設定するものである。
【0035】
商品コードは、商品識別情報であり、品番とも称される。
商品名は、商品の名称であり、検索用に設定される。
分類は、それぞれの商品の性質に応じたカテゴリ(品目)である。商品ごとに所定の分類に分類して登録しておくことで、所定の分類タブが選択された場合に所定の分類に属する商品が絞り込まれる。
プリセットキー名は、プリセットキーG221(図5等参照)に付して表示される商品名等であり、未入力の場合には、商品の一般名称が設定される。
プリセットキー用画像は、商品の指定を受け付けるためのプリセットキーG221を表示する際に用いられる画像である。プリセットキー用画像には、商品を把握可能な図柄や写真画像、文字情報などが表されている。
【0036】
重量のデータは、商品1個当りの平均値として設定された値であり、計量装置1で計量された計量値からその商品の個数を計算するために使用するデータである。また、この重量のデータは、計量部109に複数の商品が載置されていることを判断することにも使用できる。そのため、このデータは例えば、りんご等の個数売り商品にのみ設定されている。個数売りでない商品、例えば精肉などのグラム売り商品の場合は単価のデータ(グラム単価)のみを用いて値段が計算される。単価のデータは、個数売り商品については1個当りの金額、グラム売り商品については例えば100グラム当りの金額が設定される。なお、りんご等においてもグラム売りで販売できるよう、販売区分などで「グラム売り」、「個数売り」の設定ができるようにしてもよい。「個数売り」の場合は単位重量の設定に応じて取引金額が算出される。単位重量は置数入力によって登録されてもよいし、計量値によって登録されてもよい。また、複数個の商品を計量した場合は、計量皿に載置した個数を入力し、当該個数に基づく除算による平均重量を記憶するようにしてもよい。
商品の色は、商品に対応付ける色として指定されている。商品の色は、商品の色に対する様々な認識に対応できるよう、一又は複数の色を任意に登録することができる。
【0037】
学習用画像は、商品の画像であり、オブジェクトスキャンによって撮像画像中の商品を認識すると共に商品を特定し、商品の候補を商品ファイル121から抽出する際に参照される基準画像となる。学習用画像は、実際の商品を撮像部111により撮像して登録できるようになっているほか、あらかじめ撮像された撮像データを読み込むことによって登録できるようになっていてもよい。例えば、商品コードを指定し、対象の商品の学習用画像を順に撮像して登録していくこともできる。また、学習用画像は、一の商品に対して複数、登録できる。また、AIによるディープラーニングを利用して、既登録の学習用画像から新たな学習用画像が自動生成され、登録されるようになっていてもよい。
【0038】
グループ情報は、撮像部111により撮像した商品の画像を、学習用画像として関連付ける一群の商品を規定する情報である。即ち、所定のグループに設定された商品では、当該所定のグループに属する一の商品の学習用画像は、当該所定のグループに属する他の商品にも関連付けられる。例えば、「りんご」という、果物の品種としては同一の商品でありながら、販売する商品としては異なる産地やブランドの「りんご」があった場合に、これらをグループ化すると、産地やブランドの違いに関わらず各産地やブランドの「りんご」が同一のグループに属するものとして扱われる。そして、後述のとおり、同一のグループに属する一の商品に対して学習用画像が関連付けられる際には、同一のグループに属する当該一の商品以外の商品にも同じ学習用画像が関連付けられる。
【0039】
販売対象設定は、店舗が販売対象商品として取り扱うか、販売対象外商品として取り扱うかを示す情報であり、後述する設定部126によって設定される。計量装置1が取り扱う商品、即ち商品ファイル121に登録されている商品は、季節的なものや通年入荷する商品でないものもある。そのため、現時点で販売していない商品は、計量の際に画面上に表示することが適切でないし、オブジェクトスキャンの対象から除外する方がオブジェクトスキャンの精度も向上する。この販売対象設定は、商品の一覧から品番呼出によって所定の商品を呼び出して呼び出した商品ごとに行うこともできるが、本実施形態では後述する設定部126により、抽出処理部により抽出された商品の候補から所定の商品を指定して行うことができる。
【0040】
なお、販売対象設定は、操作者が商品を指定して商品を販売対象商品又は販売対象外商品に設定する例に限られず、予め設定した期間等に応じて自動的に販売対象商品又は販売対象外商品として扱われるように設定できるようになっていてもよい。例えば、商品の特売企画において特売期間の期間設定を設けるのと同様、商品に対して、一の所定日から他の所定日までといった販売期間を設定し、計量装置1の使用日時が販売期間に該当するか否かに応じて、販売対象商品又は販売対象外商品として扱うようになっていてもよい。即ち、商品ファイル121において商品に販売期間を設定しておき、計量装置1は電源ON時に自装置又は外部の任意の端末が保有するカレンダ情報を取得する。カレンダ情報を参照して、所定の商品について現在日時が販売期間に該当するか否かを判別し、該当する場合には当該所定の商品を販売対象商品として扱い、該当しない場合には当該所定の商品を販売対象外商品として扱う。
【0041】
また、販売期間の設定は季節によって設定することもできる。例えば、商品ファイル121において、商品を販売対象商品として扱う季節を設定すると共に、別途、日付と季節を対応付けた季節マスタを別途設ける。計量装置1は、季節マスタを参照して当日の季節を判別した上、商品を販売対象商品又は販売対象外商品に設定する。
【0042】
ここで、商品に設定する季節は、春夏秋冬のいずれか一の季節とは限らず、春夏、秋冬といったように重複設定も可能である。この場合には、重複するいずれかの季節に該当する限り販売対象商品として扱ってもよいし、設定されている季節のうちのいずれの季節において販売対象商品又は販売対象外商品として扱うかをポップアップさせた画面上から操作者に選択させるなどするようになっていてもよい。また、季節マスタには、計量装置1が設定されている店舗の場所情報と季節の関連付けを行っておいてもよい。これにより、同じ日時であって北海道では春、沖縄では夏といったように場所に応じて季節の設定が反映されるようになっていてもよい。
なお、季節による販売対象設定は、所定のボタン等の任意の操作によってON/OFFを切り替えられるようになっていてもよく、これにより当日、季節による販売対象設定を商品に反映させるか否かを設定できる。また、季節マスタは、商品ファイル121に区分を設け、これを参照するようにしてもよい。
【0043】
また、販売期間の設定を月単位で設定することもできる。例えば、商品ファイル121において、商品に対し、所定の月において販売対象商品として扱うか否かのフラグを設定可能とする。計量装置1は、当日の日付に基づいて当日の月を判別した上、フラグに従って商品を販売対象商品又は販売対象商品に設定する。
【0044】
なお、販売期間の設定について、上述した季節による設定と月単位の設定の両方を設け、操作者が任意のほうを選択的に設定できるようになっていてもよい。
【0045】
<計量制御部122>
計量制御部122は、計量部109を制御して、計量部109の計量皿上に載置された商品の重量を計量する。
【0046】
<変化検知部123>
変化検知部123は、計量部109により計量されている計量皿上の重量が変化したことを検知する機能部である。変化検知部123は、例えば重量が所定時間内に所定値以上変化したことを検知して、重量が変化したものと判別する。また、変化検知部123は、計量部109により計量される商品の重量の変化量を算出し、変化量が所定以上である場合に重量が変化したものと判別してもよい。また、変化検知部123は、重量が変化したことの一態様として重量の変化量を算出し、重量が変動していることを検知してもよい。また、変化検知部123は、計量されている重量が安定しているか否かも検出できる。重量が安定している状態とは、例えば所定の微小時間において、計量部109によって計測している商品の重量値が所定の閾値に収まる値を示している状態を指す。
この変化検知部123により計量部109の重量変化が検知されると、計量部109に商品が載置されたものとみなされ、撮像部111による商品の撮像から抽出部125による商品の抽出に至る処理が開始される。
【0047】
<撮像制御部124>
撮像制御部124は、撮像部111を制御して、計量部109に載置されている商品を撮像する。撮像制御部124は、変化検知部123により計量部109の重量変化を検知したときにオブジェクトスキャンのための撮像を開始してもよいし、計量制御部122により計量された商品の重量が取引計量範囲となっているときにオブジェクトスキャンのための撮像を開始してもよい。例えば、最小目盛に対して20目盛以上を取引用重量として取り扱う。また、操作者の任意の操作に応じてオブジェクトスキャンのための操作を開始してもよい。
【0048】
<抽出部125>
抽出部125は、商品ファイル121から商品の情報を抽出する機能部であり、例えば、撮像部111により撮像した商品の画像に対応する商品の候補を商品ファイル121から抽出したり、品番検索等の検索に応じて商品ファイル121から商品の情報を抽出したりする。
この抽出部125は、適宜の画像解析技術又は一般物体認識技術を用いた所謂オブジェクトスキャンにおいて、撮像部111により撮像した画像中の商品を認識する。なお、商品の認識においては、画像をオブジェクトごとに領域分割することによって一般物体認識を行ってもよい。また、計量部109に載置されている商品の個数又は種類数を特定してもよい。
【0049】
抽出部125は、商品ファイル121において各商品に関連付けられた学習用画像を基準画像として、当該基準画像と、オブジェクトスキャンにより認識した撮像画像中の商品の画像とを比較し、類似度を算出する。類似度は例えば、商品ファイル121に記憶されている各商品の学習用画像を100%=「類似度:1.0」とした場合に、商品の全部又は一部の画像がどの程度類似しているかを示すものである。そして、抽出部125は、撮像した商品の画像に対応する商品の候補として、例えば類似度順に複数の商品を商品ファイル121から抽出する。抽出された商品の候補に係る情報は、表示制御部132に受け渡される。
複数の商品が候補として抽出されるため、適切な商品が抽出されている可能性が高くなる。その結果、適切な商品の候補が抽出されないために、再度、抽出処理を実行し直す操作を操作者に強いることがない。特に顧客が操作者となる場合には、やり直しの操作はわかりづらいものとなるし、操作の工数が増えることは不便であるため、商品の候補が複数抽出されることは有用である。
【0050】
なお、抽出部125は、撮像された商品の画像と、商品ファイル121に登録されている各商品の学習用画像との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
また、類似度順に複数の商品を抽出する点については、抽出の態様を様々に設定し得る。例えば、類似度1位の商品の類似度が所定値よりも低い場合は、類似度順に3つの商品を候補として抽出してもよい。また、類似度1位の商品の類似度が70%であり、そこから-5%(65%)の類似度の範囲に複数の商品があれば、その範囲にある商品を全て候補として抽出してもよい。さらに、販売対象商品のうちの類似度が1位の商品よりも類似度の高い販売対象外商品がある場合や、類似度が1位の商品の±3%の範囲に販売対象外商品がある場合に当該販売対象外商品を候補として抽出するといった設定も可能である。
【0051】
また、抽出部125は例えば、計量される商品の重量の安定を待たずに、重量の変動に応じて抽出処理を開始してもよいし、重量の変動が検知されたことを契機に抽出処理を開始してもよい。また、計量制御部122により計量される重量が安定している場合に商品の抽出処理を行ってもよい。
また、抽出部125はオブジェクトスキャンにおいて、撮像された商品の画像から商品の色を特定し、登録されている商品の色と比較することにより、近い色味の商品を特定してもよい。抽出部125は、色味を類似度の指標の一つとして採用し、近い色味の商品を撮像した商品の候補としてもよい。なお、商品の色は、画像から特定される態様の他、商品ファイル121にあらかじめ登録されていてもよい。色味の類似度は、例えば色相、明度又は彩度の各要素及びその組み合わせにより算出してもよいし、その他適宜の座標系に投影した算出等あらゆる技術を採用できる。
【0052】
また、抽出部125は、特に各操作モードにおいては以下のように機能してもよい。
抽出部125は、第1の操作モードにおいて、撮像部111により撮像した商品の画像に基づき、商品ファイル121を参照して当該撮像部111により撮像した商品の候補、即ち購入対象商品として計量部109に置かれた商品の候補を抽出する。この場合、抽出部125はまず、販売対象商品として設定されている商品から、撮像した商品の画像に対応する商品の候補を抽出してもよい。本来、販売対象外商品は陳列されていないはずであるため、販売対象商品のみを商品の候補を抽出する対象とすることで、適切な候補を抽出する確度を上げられる。他方で、販売対象商品として設定されている商品から商品を抽出できない場合にはさらに、販売対象外商品として設定されている商品から、撮像した商品の画像に対応する商品の候補を抽出してもよい。
【0053】
抽出部125は、第2の操作モードにおいて、撮像部111により撮像した商品の画像に基づき、商品ファイル121を参照して学習用画像を追加する商品の候補を抽出する。この場合、抽出部125は、販売対象商品として設定されている商品及び販売対象外商品として設定されている商品の両方、即ち販売対象設定にかかわらず全ての商品の中から、撮像部111により撮像した画像に対応する商品の候補を抽出してもよい。また、撮像部111により撮像した画像に基づいて学習用画像を追加する商品の候補を抽出できない場合、学習用画像を新規登録する商品の候補として、商品ファイル121に学習用画像が登録されていない商品、即ち学習用画像が関連付けられていない商品を抽出してもよい。また、このように学習用画像に商品に関連付けて登録されていなかったり、学習量が少ない、即ち商品に対して関連付けられている学習用画像が少なかったりするために商品の候補を抽出できない場合、画面上に「未学習」を示すメッセージを表示するなどしてもよい。また、いずれの状態にあるかを判断し、学習用画像の登録がない、又は学習用画像の登録が少ないといった状態を画面上にメッセージとして表示するなどして操作者に報知してもよい。
【0054】
第3の操作モードにおいては、第1の操作モードや第2の操作モードにおいて商品の候補が抽出された状態から、商品の指定を受け付けることができるが、これにかかわらず、撮像部111により撮像した商品の画像に基づき、商品ファイル121を参照して販売対象設定を行う商品の候補を抽出してもよいし、品番検索等に応じて商品の候補を抽出してもよい。この第3の操作モードにおいては商品の販売対象設定を行うため、抽出部125は、販売対象設定にかかわらず全ての商品の中から商品の候補を抽出する。
【0055】
第4の操作モードにおいては、商品ファイル121に登録されている全ての商品から、品番検索等により任意の複数商品が抽出される。ただし、複数商品の一つ一つを指定する際には、他の操作モードと同様、撮像部111により撮像した商品の画像に対応する商品の候補を抽出するようにしてもよい。
【0056】
なお、いずれの操作モードについても、抽出部125による抽出処理においては、販売対象商品及び販売対象外商品を含むすべての商品のうち、オブジェクトスキャンのための学習用画像が関連付けられていない商品、即ち商品ファイル121において学習用画像が未登録の商品をオブジェクトスキャンの対象、即ち抽出対象から除外してもよい。
【0057】
<設定部126>
設定部126は、商品ファイル121に登録されている商品について、販売対象商品又は販売対象外商品の別を設定する。なお、本実施形態の説明では、設定部126により商品を販売対象商品又は販売対象外商品とする設定を「販売対象設定」と称することがある。
【0058】
ここで、設定部126による設定処理は第3の操作モードにおいて実行されるが、第1の操作モードの実行中においても実行可能である。即ち、商品を購入対象商品として登録する第1の操作モードの実行中、抽出部125により商品の候補が抽出され、当該商品の候補が表示された状態において使用者の任意の操作により第3の操作モードへの変更を受け付けると、第1の操作モードを一旦保留状態にして当該第3の操作モードに移行する。このときの第3の操作モードでは、抽出部125により抽出された商品について販売対象商品又は販売対象外商品の設定を行うことができる。第3の操作モードにおいて操作が実行されている間、操作モードが第3の操作モードに変更されるまでに第1の操作モードにおいて行われていた操作は有効に維持されており、第3の操作モードにおいて販売対象設定が完了して第1の操作モードに復帰すると、有効に維持されていた操作を続行できる。なお、後述のとおり、第1の操作モードから第3の操作モードに移行するのと同様にして、第2の操作モードや第4の操作モードから第3の操作モードに移行するようにしてもよい。
【0059】
なお、上述のとおり、第3の操作モードへの変更の際に有効に維持される第1の操作モードにおける操作には、例えば、商品の計量値、商品の候補に係る操作や情報が含まれる。ただし、第1の操作モードから移行した第3の操作モードにおいて販売対象設定が変更された結果、商品の類似度によって候補として抽出されるべき商品が変わる可能性がある。そのため、第3の操作モードから第1の操作モードに復帰する際には、再度抽出部125による抽出処理を実行してもよい。このように抽出処理を再度実行する場合において、販売対象設定の変更により、類似度に応じて他に抽出されるべき商品の候補が新たに生じた場合には、第1の操作モードにおいて従前抽出されていた商品の候補に加えて、この新たな商品の候補を抽出、表示するものとしてもよいし、従前抽出されていた商品とこの新たな商品の候補から類似度順に従って所定数の商品の候補を表示するものとしてもよい。いずれについても、復帰後の第1の操作モードでは、従前の第1の操作モードにおける抽出処理結果に新たな抽出処理の結果が反映されており、第1の操作モードは有効に維持されているといえる。
ただし、これにかかわらず、第1の操作モードから第3の操作モードに移行した後に再び第1の操作モードに復帰する際には、従前の第1の操作モードによる処理結果を消去し、抽出部125による抽出処理、あるいは撮像から始める一連の処理を最初から実行することもできる。
【0060】
また、第1の操作モードにおいて、抽出部125が撮像部111により撮像した商品の画像に基づいて商品ファイル121から商品の候補を抽出する場合に、販売対象商品として設定されている商品から商品の候補を抽出し、販売対象外商品からは商品の候補を抽出しないものとする場合には、設定部126による販売対象設定は、第1の操作モードにおいて、商品ごとに抽出部125が候補を抽出する対象とするか否かの設定(抽出対象設定)を行うものとも言える。
【0061】
<登録部127>
登録部127は、商品の学習用画像を商品ファイル121に登録する。具体的に、登録部127は第2の操作モードにおいて、撮像部111により撮像した商品の画像を学習用画像として、後述する指定受付部131により指定された商品と関連付けて商品ファイル121に登録する。ここで、関連付けの対象となる商品に学習用画像が未だ登録されていない場合には新規登録となり、既に学習用画像が登録されている場合には追加登録となる。なお、学習用画像の登録先は、商品との関連付けが行われる限り、学習用画像を登録するためのファイル(記憶領域)など、商品ファイル121とは別に設けられたファイルであってもよい。
【0062】
また、登録部127は、指定を受け付けた商品がグループ化部128でグループ化された商品のうちのいずれか一の商品である場合、撮像部111により撮像した商品の画像を学習用画像として、指定受付部131において指定された商品とグループ化されているすべての商品に関連付けて商品ファイル121に登録する。
【0063】
なお、学習用画像を登録する初期の段階では学習用画像が未登録であり、この初期段階では、例えば品番検索等により商品を呼び出し、商品の画像を学習用画像として登録する。初期段階からある程度、学習画像の登録が進むと、オブジェクトスキャンにより商品の候補を抽出できるようになり、商品の撮像画像に対応して表示された商品の候補から所定の商品を指定するだけ学習用画像が商品に関連付けられ、学習が進行する。この点、学習の進行にかかわらず、オブジェクトスキャンによる抽出結果として撮像した商品とは全く異なる商品の候補が抽出される場合などにおいては、当該撮像した商品の画像が学習用画像には適していないものと判断されるため、撮像した商品の画像を学習用画像として「登録しない」又は「スキップ」するキャンセルボタンを設け、登録をキャンセルできるようにしてもよい。この場合、キャンセルボタンを設ける構成に代えて、又は加えて、商品を指定する操作が行われることなく商品が計量部109から取り除かれると、撮像した商品の画像を学習用画像として登録する処理がキャンセルされるようになっていてもよい。このようにすれば、品番主導で学習用画像を登録するような場合とは異なり、後々、イレギュラー画像として削除対象となってしまうような学習用画像を登録してしまう事態を避けられる。そもそも、学習用画像の登録数が増えて精度が向上すれば、撮像された商品に類似する商品のみが候補として抽出されるようになるため、撮像対象とはまったく特徴の異なるような商品の撮像画像が誤った商品に関連付けられることもなくなる。
【0064】
<グループ化部128>
グループ化部128は、第4の操作モードにおいて所定の商品をグループ化し、商品ファイル121に設定を登録する。なお、本実施形態の説明においては、グループ化部128により商品をグループ化する設定を「グループ設定」と称することがある。
【0065】
<算出部129>
算出部129は、商品ファイル121を参照して、商品の計量値と単価に基づいた価格を算出する。なお、算出部129は適宜、消費税等の税率に基づいて税込み金額を算出するなど、商品の販売の際に必要となる計算を実行する。
【0066】
<印字制御部130>
印字制御部130は、計量部109で計量された重量や算出部129によって算出された価格等の情報を反映したラベルを発行する。即ち、印字制御部130は印字部110を制御して、商品ファイル121内の商品に関する商品情報、計量部109から計量結果として出力される計量値、及び算出部129によって算出された価格などに基づいて、商品の精算に必要な情報をラベル等に印字させる。
なお、印字制御部130は、商品の精算に必要な情報をラベルに印字する構成に代えて、又は加えて、商品を入れた袋に印字等してもよい。また、印字制御部130は、印字する情報を操作者に提示し、提示した情報が正しい旨の確定入力を待ってラベルの発行を行うようにしてもよいし、確定入力を待たず、印字する情報の生成に応じて直ちにラベルの発行を行うようにしてもよい。また、商品の精算に必要な情報は、会員又は取引を識別できる記録媒体、例えばICタグやバーコード(会員カード)と関連付けてもよい。なお、計量開始前又はラベル発行の直前に、記録媒体の識別情報の入力画面を表示し、操作者に入力を促してもよい。
【0067】
<指定受付部131>
指定受付部131は、撮像部111により撮像した商品の画像に対応する商品の候補として商品ファイル121から抽出した商品について、当該商品の候補を示すと共に操作者から指定を受け付けるための手段である。この指定受付部131は、例えば操作者が操作する画面上に表示され、当該商品ごとに設けられた操作子によって実現される。この操作子は例えば、後述のとおり、商品情報が表示されたプリセットキーG221(図5等参照)として表示されてもよく、これにより商品の候補が複数抽出されても、操作者は容易に商品を把握できると共に簡単な操作で商品を指定できる。
【0068】
指定受付部131は、第1の操作モードにおいて、抽出部125により抽出された商品の候補から、ラベルを発行する商品の指定を受け付ける。
指定受付部131は、第2の操作モードにおいて、抽出部125により抽出された商品の候補から、学習用画像を登録する商品の指定を受け付ける。なお、指定された商品に学習用画像が未だ関連付けられていない場合には新規登録となり、既に学習用画像が関連付けられている場合には追加登録となる。
指定受付部131は、第3の操作モードにおいて、抽出部125により抽出された商品の候補から、販売対象商品又は販売対象外商品の設定を切り替える商品の指定を受け付ける。この第3のモードでは、商品を指定する操作の受け付けに応じて、商品の設定が販売対象商品又は販売対象外商品に切り替えられるようになっていてもよい。
指定受付部131は、第4の操作モードにおいて、抽出部125により抽出された商品の候補から、グループ化する商品の指定を受け付ける。なお、第4の操作モードにおいては、商品の候補から複数の商品が指定された上、登録を要求する操作が実行されることによってグループ化の登録が要求されるものとしてもよい。この場合、登録を要求する操作が実行されるまでは、商品の指定に応じて当該商品の選択と選択の解除を行うことができるようになっていてもよい。また、登録を要求する操作は、画面上に別途設けられたボタンやメカキーの完了キーの押下など、各種の態様によることができる。
【0069】
なお、商品がグループ化されている場合において、候補商品から学習用画像を登録する対象の指定を受け付ける際は、商品の商品コードによって指定を受け付けてもよいほか、グループ化されている商品のうちの所定の商品を代表として表示して指定を受け付けるようにしてもよい。代表となる所定の商品は、例えばグループ化された際の商品コードの一番若い番号に該当する商品でもよいし、グループ化された際に最初に選択された商品でもよく、特に限定されない。また、学習用画像の登録時には、商品の候補として、グループ化されている商品のうちの一の商品のみを表示してもよく、この場合の一の商品は上述した代表となる所定の商品であってもよい。
【0070】
<表示制御部132>
表示制御部132は、抽出部125によって抽出された商品の情報など、各種の情報を表示タッチパネル104に表示する機能部である。
この表示制御部132は、撮像部111により撮像した商品の画像に対応する商品の候補として抽出した商品ごとに、当該商品を表す操作子を後述する指定画面上に表示する。この操作子は、抽出した商品ごとにユーザからの指定を受け付けたり、設定部126により販売対象設定を行うためのものであり、例えば商品情報が表示されたプリセットキーG221(図5等参照)として表示される。
【0071】
表示制御部132は、撮像された商品の候補として抽出部125により抽出した複数の商品の操作子を選択画面上に表示する場合、操作子として示された商品の候補は例えば商品ファイル121に格納されている品番順に表示してもよい。また、商品の候補は抽出部125により算出される類似度の順に表示してもよい。また、類似度の高い所定数の商品の候補を品番順に表示してもよい。また、類似度が高い商品の候補は他の商品の候補と態様を変えて表示してもよい。これにより、類似度が高い商品の指定を誘導できるし、抽出部125による抽出の精度が落ちる場合でも特殊な操作を行わないで商品を指定できる。なお、類似度の高い複数の商品の候補が同じ類似度である場合には、他の類似度が低い商品が表示されていてもその表示態様を異ならせないでもよい。類似度が同じ商品の候補がある場合は、抽出の精度が低いと考えられるため、操作者により主体的に判断してもらうよう誘導するためである。
【0072】
なお、操作子として示された商品の候補を類似度の順に表示する場合、厳密な類似度によってその順序を決定しなくてもよい。例えば、類似度が90%以上の商品の候補については、同じ類似度の商品の候補として表示態様を区別することなく表示してもよい。また、抽出部125により類似度90%未満70%以上の商品しか抽出されなかった場合には、類似度順に候補を絞り込まず、抽出したすべての商品の操作子を表示してもよい。これにより、少なくとも指定画面上に表示した操作子のいずれかが適切なものである蓋然性が高くなり、操作者に対して他の特殊な操作によって商品を指定する作業を要請しないで済む。
【0073】
また、商品の候補として所定の類似度未満、例えば、70%未満の商品のみしか抽出されなかった場合は、商品の操作子を表示せず、店員呼出し画面を表示したり、同じ商品で異なるものを載置することを求める案内を表示したりしてもよい。このようなことは、陳列されていない商品が計量部109に載置された虞もあるし、例えば撮像部111のレンズにゴミが付着したり撮像が故障していたりするなど、オブジェクトスキャンの機能に不具合が発生している可能性があるため、継続して使用するには点検を必要とするからである。
【0074】
また、表示制御部132は、抽出部125により商品の候補を抽出できなかった場合には、商品の検索画面を表示させてもよい。検索画面からは、例えば品名、品番、部門、分類によって商品ファイル121に登録されている商品を検索できる。品名や品番は、完全一致、部分一致のいずれによっても検索が行えるようになっていてもよい。操作者は、検索結果から任意の商品を指定できる。また、抽出部125により商品の候補を抽出できなかった場合に、指定画面にすべての商品を表示させて商品の指定を受け付けてもよい。
【0075】
このような構成によれば、商品の学習用画像が商品ファイル121に格納されていない場合や、画像解析技術又は一般物体認識技術では認識不能等の理由により抽出部125による抽出が行えなかった場合でも、操作者に容易に商品の指定を行わせることができる。
なお、表示制御部132は、すべての商品の操作子を部門等の任意の分類毎に区別して表示させてもよい。分類は、例えば色別であってもよいし、果物や野菜といった種類別であってもよい。それぞれの分類に応じた操作子の表示は、タブの選択により切替可能な表示領域ないしは表示ページにより行われるようになっていてもよい。
また、商品の購入のための操作において商品がオブジェクトスキャンされた際、オブジェクトスキャンにより得られた商品の画像を学習用画像として商品ファイル121に登録するようにしてもよい。このような設定は任意の処理としてセットアップ時に実行可否を決定してもよい。
【0076】
<画面例(第1の操作モード)>
ここで、表示制御部132によって表示される画面の例について説明する。
図4は、第1の操作モードにおいて、計量部109に商品が載置されておらず、計量値付けを実行可能に待機している画面G10(待機画面)を示している。
この画面G10の中央には、「はかりの中央に商品を置いてスタート」という文言とその様子を示すイラストが表示されており、これにより操作者に対して商品を計量部109に載置することを促している。
【0077】
画面G10の上方には、商品情報表示エリアG21が設けられている。
商品情報表示エリアG21には、商品の風袋、重さ(または個数)、単価、値段が表示される。重さが表示される欄には、計量部109による計量値が反映される。個数を表示する場合には、重さと単位重量から個数を割り出せばよい。風袋と単価は、抽出部125により商品の候補が抽出され、操作者によっていずれかの商品が指定されると商品ファイル121から読み込まれる。値段は、操作者によって商品が指定されると、風袋、重さ(または個数)、及び単価に基づいて算出部129により算出され、表示される。図示の例では、計量部109に商品が載置されていない状態のため、全ての値がゼロになっている。
【0078】
図5は、第1の操作モードにおいて、計量部109に商品が載置され、抽出部125により抽出された商品の候補が表示された画面G11を示している。
画面G11には、上述した商品情報表示エリアG21のほか、プリセットキー表示エリアG22、タブG23、文字入力エリアG24、仮想キーボードG25、数値入力エリアG26、テンキーG27が設けられている。
【0079】
商品情報表示エリアG21では、商品が計量部109に載置されたことにより、計量部109による計量値が重さとして表示されている。
【0080】
プリセットキー表示エリアG22には、撮像部111により撮像した商品の画像に対応して抽出部125により抽出された商品の候補ごとに、商品の指定を受け付けるための操作子たるプリセットキーG221が押下可能に表示される。第1の操作モードでは、このプリセットキーG221の押下に応じて、ラベルを発行する商品の指定が受け付けられる。
【0081】
なお、第1の操作モードでは、抽出部125が販売対象商品に設定されている商品のみを抽出の対象とする。そのため、プリセットキー表示エリアG22では、販売対象商品に設定されている商品に対応するプリセットキーG221のみが表示され、販売対象外商品に設定されている商品に対応するものは表示されていない。
また、抽出部125により抽出される商品に、グループ設定がなされているものがある場合には、グループ設定されている他の商品も抽出し、当該抽出した他の商品のプリセットキーG221をプリセットキー表示エリアG22に表示してもよい。ただし、この場合でも、販売対象外商品に設定されている商品は表示しないようにするのが好適である。
【0082】
また、プリセットキー表示エリアG22には、抽出部125によって抽出された商品の候補がプリセットキーG221により複数表示されるが、学習用画像との類似度(類似度の範囲)が異なる商品が候補と表示される場合は、類似度を区別可能な表示態様でプリセットキーG221を表示してもよい。例えば、類似度90%以上の商品が1点、類似度90%未満の商品が2点の場合は、類似度90%以上の商品を他の商品とは異なる態様で表示し、操作者の選択を誘導してもよい。一方、類似度90%以上の商品が2点以上であれば、表示態様は変えないものとしてもよい。また、類似度90%未満の商品のみしか候補がない場合には、同様にプリセットキーG221の表示態様を変えないものとしてもよいし、類似度順の絞り込みをしないで全てのプリセットキーG221を表示してもよい。
【0083】
また、プリセットキーG221の表示(配置)は、商品コード等の昇順又は降順でもよいし、類似度順でもよい。また、上述のような類似度90%以上の商品が1点の場合は、該商品と、他の商品のプリセットキーG221の表示列を2段にしてもよい。即ち、類似度90%以上の商品が1点であれば、該商品のプリセットキーG221を1段目に表示し、その他を2段目に表示したり、1のプリセットキーG221分だけ間隔をあけて表示するようにしてもよい。また、所定の類似度以下の商品しか候補として抽出しない場合や、オブジェクトスキャンの抽出結果が得られない場合などでは、いたずら等によって陳列外の商品が計量部109に載置されたといった事態も考えられる。そのため、同じ商品で異なる個体を計量部109に載置するよう、操作者に報知したり、利用の停止、あるいは店員呼出しを行ったりするようにしてもよい。報知は例えば、画面上でのメッセージの表示、サインライトの発光、音声やブザーの出力など、各種の態様によることができる。
【0084】
また、図示のプリセットキーG221には、商品の名称が表示されているが、このほか単価など、商品ファイル121に登録されている商品情報を適宜に表示してもよい。また、プリセットキーG221に表示されている商品情報の編集が行えるよう、商品情報を編集する画面に移行するためのボタンや操作が対応付けられていてもよい。この場合、商品情報の編集が完了すると元の商品指定画面に戻るようになっているとよい。このようなボタンや操作は、他の操作モードにおいても同様に設けられていてもよい。
【0085】
タブG23は、操作モードの切替操作を受け付けるタブG231と、商品ごとの分類を指定可能なタブG232からなる。
タブG231は、操作モードの切り替えを受け付けるが、商品の計量値付けを実行している状態では切替操作は有効化されておらず、例えば後述のように店員等が権限認証などを行うことによって切替操作が有効化される。切替操作が有効化されると、タブG231の押下に応じて第1の操作モードから第3の操作モード等の他の操作モードへ操作モードを切り替えられる。
【0086】
所定のタブG232が選択されると、当該所定のタブG232に分類される商品のプリセットキーG221がプリセットキー表示エリアG22に表示されたり、プリセットキー表示エリアG22に表示されているプリセットキーG221が当該所定のタブG232に分類されている商品に係るものに絞り込まれたりする。なお、図示では、商品ごとの分類を指定可能なタブG232は一つしか設けられていないが、分類に応じて複数設けてもよい。
【0087】
文字入力エリアG24は、五十音表示された仮想キーボードG25によって商品情報を文字入力するためのエリアである。
文字入力エリアG24に商品名が入力されると、商品ファイル121を参照した検索処理あるいは絞込処理が実行され、入力された商品名に応じたプリセットキーG221がプリセットキー表示エリアG22に表示されたり、既にプリセットキー表示エリアG22に表示されていたプリセットキーG221が当該商品名に対応するものに絞り込まれたりする。
なお、文字入力エリアG24には、商品情報として、商品の色を文字入力できるようになっていてもよい。例えば、文字入力エリアG24に「みどり」と入力することで、みどり色に対応付けられた商品のプリセットキーG221がプリセットキー表示エリアG22に表示される。
【0088】
数値入力エリアG26は、テンキーG27から商品コードなど、商品情報に関する数値を入力するためのエリアである。
数値入力エリアG26に商品コードが入力されると、入力された商品コードに応じたプリセットキーG221がプリセットキー表示エリアG22に表示されたり、既にプリセットキー表示エリアG22に表示されていたプリセットキーG221が当該商品コードに対応するものに絞り込まれたりする。
【0089】
このような画面構成において、文字入力エリアG24と仮想キーボードG25、及び数値入力エリアG26とテンキーG27はいずれも、所定の商品を検索するための検索手段、及び検索結果から所定の条件に合致する商品を絞り込むための絞込手段を構成する。これにより、プリセットキー表示エリアG22にプリセットキーG221として表示されていない商品も呼び出すことができる。
【0090】
なお、この第1の操作モードにおいてプリセットキー表示エリアG22から所定のプリセットキーG221が指定されると、内容を確定し、ラベルの発行を行うためのラベル発行確認画面に遷移する。ラベル発行確認画面では例えば、画面G11と同様に設けられた商品情報表示エリアG21において商品の風袋、重さ、単価、値段が具体的に表示されている。操作者は、内容を確認してラベルの発行を行う場合には、ラベルの発行を要求するボタンを押下する。印字制御部130は、これに応じて印字部110を制御してラベルの印字を行い、ラベルが発行される。操作者がラベルの発行を中止する場合には、キャンセルボタンや商品を指定する画面に戻るためのボタンを押下する操作等を行えるようになっていてもよい。計量部109から商品が取り除かれることによってラベルの発行が中止するようになっていてもよい。なお、このような例にかかわらず、ラベルの発行に代えて、又は加えて、指定された商品の情報等が登録データとして外部装置に送信されるようになっていてもよい。ラベルの発行が終了し、計量部109から商品が取り除かれると、計量値はゼロとなり、続けて商品のラベル発行を実行可能に待機する画面G10に復帰する。
【0091】
また、処理の途中、プリセットキーG221の指定を受け付ける前の段階において、変化検知部123により計量部109により計量される重量の変化が検知された場合には、商品の抽出処理、設定や状況によっては撮像から再度、処理を実行して商品の候補を表示しなおし、商品の候補が更新されるようになっていてもよい。また、このようにして再度、商品の候補を表示しなおす前のタイミングでプリセットキーG221が指定された場合には、処理をしなおす前に実行された処理により抽出された商品の候補のうちから商品が指定されたものとして扱ってもよい。
【0092】
<画面例(第2の操作モード)>
図6は、第2の操作モードにおいて、撮像した商品の画像を学習用画像として登録する際の画面G12である。この画面G12は、学習用画像がオブジェクトスキャン可能な程度に登録されている状況において、商品が計量部109に載置され、当該商品がオブジェクトスキャンされた場合に表示される画面の一例である。
画面G12には、「Validation Mode」(第2の操作モードに対応するシステム上の名称である)と表示され、操作者は、操作モードが第2の操作モードであることを把握できる。なお、操作モードが他の操作モードと異なることは、背景色やプリセットキーG221の表示態様、その他の文字列によって認識できるようにしてもよい。もっとも、画面構成を第1の操作モードの場合と大きくは変わらないものとすることで、操作者は第1の操作モードと凡そ変わらない操作感で操作を行える。
【0093】
第2の操作モードでは、プリセットキー表示エリアG22に表示されたプリセットキーG221の押下に応じて、学習用画像を追加する商品の指定が受け付けられる。プリセットキーG221によって商品の指定が受け付けられると、学習用画像が指定された商品と関連付けて商品ファイル121に登録される。
【0094】
また、抽出部125により抽出される商品にグループ設定がなされているものがある場合には、グループ設定されている商品のうちの代表商品のプリセットキーG221のみをプリセットキー表示エリアG22に表示するものとしてもよい。このように代表商品のプリセットキーG221のみの表示であっても、一の商品のプリセットキーG221の指定が受け付けられると、グループ化されている他の商品にも学習用画像が関連付けられることから、外見上区別がつかない商品群であってもまとめて学習画像を関連付けられる。
なお、第2の操作モードにおけるプリセットキー表示エリアG22に表示されるプリセットキーG221は、対応する商品が販売対象商品に設定されているものに限られず、販売対象外商品に設定されているものも含まれる。また、プリセットキー表示エリアG22に表示するプリセットキーG221は、上述した第1の操作モードの場合と同様、商品の類似度順や商品コードの昇順又は降順等により表示してもよい。
【0095】
第2の操作モードでは、タブG231の押下により、第2の操作モードから第1の操作モードに操作モードが切り替わるようになっており、タブG231には操作モードが切り替えられることを認識可能なイメージが表示されている。
【0096】
なお、商品の学習用画像が未登録の初期段階において商品がオブジェクトスキャンされた場合には、撮像画像中の商品の画像と照合する学習用画像がないため、画面上には、例えば商品ファイル121に登録されているすべての商品のプリセットキーG221が表示されるようになっていてもよい。これに対して操作者は、撮像した商品の画像を学習用画像として登録したい商品のプリセットキーG221を指定する。これにより、撮像した商品の画像が、学習用画像として指定された商品に関連付けられ、商品ファイル121に登録される。
この場合、商品ファイル121に登録されている商品すべてのプリセットキーG221を表示する画面は、タブ切替可能な複数のページによって構成されてもよく、この場合、操作者はタブの切り替えによって所定の種別に分類された商品を閲覧し、その中から所定の商品を指定できる。また、品名検索で絞り込みを行えるようになっていたり、部門、分類(カテゴリ)を選択することで商品を絞り込めるようになっていてもよい。また、商品ファイル121に登録されているすべての商品のプリセットキーG221を画面上に表示する構成に代えて、品名検索等の検索に応じて商品の候補をプリセットキーG221として表示するようにしてもよい。
【0097】
また、撮像部111により商品を撮像し、抽出部125によって商品の候補が抽出された際に、学習用画像を登録したい商品が候補に挙がってこない場合等においても、商品ファイル121に登録されているすべての商品をプリセットキーG221として表示してもよい。そして、所定のプリセットキーG221が指定されると、対応する商品に学習用画像を関連付けて商品ファイル121に登録する。なお、この場合においても、上述のとおり初期段階に学習用画像を登録する場合と同様、プリセットキー表示エリアG22は、タブの切替等によって商品を絞り込めるようになっていてもよく、部門、分類(カテゴリ)以外に、学習用画像の登録の有無によってタブが切り替わるようになっていてもよい。
これにより、学習用画像の登録の有無に関わらず、商品を指定して学習用画像を登録できる。
【0098】
なお、この第2の操作モードにおいてプリセットキー表示エリアG22から所定のプリセットキーG221が指定された場合には、第1の操作モードのようにラベル発行確認画面に移行することはなく、学習用画像が登録された旨が案内される。案内は、学習用画像が登録された旨のメッセージを画面上に表示するものであってもよいし、音声によって出力されるものであってもよい。また、ストアコントローラ2等の他の上位端末等に送信するものであってもよい。そして、所定時間の案内の後、あるいは案内を承認するボタンの押下等の操作の後、続けて学習用画像を登録すべく、計量部109に商品が載置されるのを待機する画面に戻る。
【0099】
<画面例(第3の操作モード)>
図7は、第3の操作モードにおいて、商品の販売対象設定を行う際の画面G13である。
画面G13上には、「Status Mode」(第3の操作モードに対応するシステム上の名称である)と表示され、操作者は、操作モードが第3の操作モードであることを把握できる。なお、この例においても、画面G12について上述したのと同様、操作モードが他の操作モードと異なることは、背景色やプリセットキーG221の表示態様によって示してもよい。
【0100】
第3の操作モードでは、プリセットキー表示エリアG22に表示されたプリセットキーG221の押下によって商品の指定が受け付けられつつ、当該商品の販売対象設定が切り替えられる。即ち、第3の操作モードにおいては、プリセットキーG221は、設定部126により販売対象設定を行うための操作子ともなり、プリセットキーG221の押下の度に、指定された商品は販売対象商品又は販売対象外商品に設定され、設定は商品ファイル121に登録される。
【0101】
ここで、プリセットキーG221は、対応する商品が販売対象商品又は販売対象外商品のいずれとして設定されているかによって表示態様を異ならせてもよい。即ち、図示の例では、販売対象商品に設定されている「キウイ」を示すプリセットキーG221-1は、青色で表示されており、販売対象外商品に設定されている「レモン」を示すプリセットキーG221-2は、黄色で表示されている。そして、プリセットキーG221が押下された場合には、押下に応じて販売対象設定の変更が登録され、プリセットキーG221の色も対応するものに変わる。
【0102】
なお、このような配色は一例であり、販売対象商品と販売対象外商品とを区別できればどのような配色であってもよい。また、色による区別に限らず、販売対象商品と販売対象外商品とを区別できれば各種の態様を採用することができ、例えば、一方を明滅させたり、両者を区別可能な図案や文言をそれぞれ又はどちらかに付したりしてもよい。また、販売対象商品と販売対象商品とをグループ分けして表示してもよく、商品の候補が多い場合にはわかりやすい。
【0103】
また、第3の操作モードにおいて表示されプリセットキーG221と第1の操作モードにおいて表示されるプリセットキーG221との表示態様も異なっていてもよい。例えば、第3の操作モードにおいては販売対象商品に設定されている商品のプリセットキーG221を青色、販売対象外のものを黄色で表示し、第1の操作モードにおいて表示するプリセットキーG221は白色で表示する。これによりいずれの操作モードにおいて操作を行っているかもわかりやすくなる。
【0104】
なお、プリセットキー表示エリアG22では、プリセットキーG221に対応する商品にグループ設定がなされているか否かにかかわらず、抽出対象となった商品のプリセットキーG221がすべて表示され、グループ化されている商品であっても個別に設定を行うことができる。また、抽出対象となった商品にグループ設定がなされている場合、グループ化されている商品のプリセットキーG221をすべてプリセットキー表示エリアG22に表示するものとしてもよい。
【0105】
また、第3の操作モードは、第1の操作モードの実行中、店員等の操作者の任意の操作を受けて切り替えられるようになっていてもよい。これにより例えば、第1の操作モードにおいて商品を撮像して商品の候補がプリセットキーG221により表示された際、本来は販売対象外商品であるはずの所定の商品のプリセットキーG221が表示されてしまった場合には、第1の操作モードを一旦保留状態にして当該第3の操作モードに移行する。移行した第3の操作モードのプリセットキー表示エリアG22では、第1の操作モードにおいて表示されていたプリセットキーG221が、販売対象商品又は販売対象外商品のいずれと設定されているかが区別可能な態様で表示される。操作者は、所定の商品の設定を販売対象商品から販売対象外商品に変更し、第1の操作モードに戻ることができる。これにより、従前は販売対象商品として表示されていた所定の商品のプリセットキーG221が非表示となる。
ただし、このことは、第3の操作モードが第1の操作モードの実行とは別に実行することを妨げるものではなく、例えば各操作モードから独立したメニュー画面から第3の操作モードを選択することにより第3の操作モードを実行できる。
【0106】
また、第3の操作モードにおいても、タブG231の押下により、第3の操作モードから第1の操作モードに操作モードが切り替わるようになっており、タブG231には操作モードが切り替えられることを認識可能なイメージが表示されている。
このように、販売対象設定を行う対象商品を、オブジェクトスキャンにより抽出された商品の候補から指定できるため、商品ファイル121に登録されている商品のリストから品番主導で対象商品を検索して販売対象設定するのに比して作業の工数を抑えることができる。また、上述した第2の操作モードにおける学習用画像の登録と近しい操作感によって販売対象設定を行えるため、操作者も操作に馴染みやすい。
【0107】
なお、店舗で新しく商品を陳列し、該商品が今まで陳列されていなかった商品である場合、店員は、商品を陳列した後に正しくオブジェクトスキャンされるか否かを確認する必要がある。確認は例えば、第1の操作モードにおいて商品を計量部109に載置したとき、オブジェクトスキャンにより画面G11上に正しい商品の候補がプリセットキーG221として表示されるか否かによって行える。同種の他の個体をいくつか計量部109に載置し、想定のとおりに適切な商品の候補が抽出されていれば準備完了となる。一方、適切な商品の候補が抽出されない場合、商品の販売対象設定の確認が必要となる。このとき、店員等の操作者としては、計量値付けを行う画面G11から権限認証を行って第3の操作モードへ移行できると便利である。権限は、例えば撮像部111により店員のバーコードなどをスキャンして認証してもよいし、パスワード入力等で認証してもよく、特に限定されない。また、第3の操作モードへの移行は、上述したタブG231の押下に限らず、第1の操作モード中に権限認証が行われたことが契機となってもよい。第3の操作モードに移行すると、操作者は上述したとおり、画面G13上において商品の候補ごとに販売対象商品であるか販売対象外商品であるかの販売対象設定を確認できると共に、その販売対象設定を切り替えられる。
【0108】
<画面例(第4の操作モード)>
図8は、第4の操作モードにおいて、商品のグループ化を行う際の画面G14である。
画面G14上には、「Grouping Mode」(第4の操作モードに対応するシステム上の名称である)と表示され、操作者は、操作モードが第4の操作モードであることを把握できる。
【0109】
第4の操作モードでは、プリセットキー表示エリアG22に表示されたプリセットキーG221の押下によって複数の商品を指定した上、登録を要求する操作を行うと、グループ化部128によって指定された複数の商品がグループ化され、グループ設定が商品ファイル121に登録される。なお、指定する商品のプリセットキーG221の数は特に限定されず、2以上の複数であればグループ設定は有効に受け付けられる。また、登録を要求する操作が実行されるまでは、プリセットキーG221の指定に応じて商品の選択と選択の解除を行うことができる。また、登録を要求する操作は、画面上に別途設けられたボタンやメカキーの完了キーの押下など、各種の態様によることができる。
【0110】
●処理フロー
続いて、本実施形態に係る計量装置1によって実行される処理の流れについて、操作モードごとに説明する。
なお、計量装置1は、電源がONになると、操作モードを選択可能なメニュー画面を表示する。メニュー画面から所定の操作モードが選択されると、各操作モードにおける待機画面が表示される。各操作モードの待機画面からは、所定の操作でメニュー画面へ戻ることができるようになっていてもよい。もっとも、各操作モードにおける画面上に操作モードの切替ボタン等の切替手段を設け、当該切替手段の操作に応じて所定の操作モードから他の操作モードへ移行できるようになっていてもよい。
【0111】
<処理フロー1(第1の操作モード)>
図9は、第1の操作モードにおける処理の流れを示している。
上述した画面G10の例で示された待機画面において商品が計量部109に載置されると、変化検知部123によって計量部109上の重量の変動が検知され(S101)、上述した画面G11が表示される。なお、計量制御部122は計量部109により常時、計量を実行しており、計量値は画面G11上に表示される。また、以降の処理において商品が計量部109から取り除かれて重量がゼロ値になると、待機画面G10に戻る。
【0112】
撮像部111は、重量の変動を契機として計量部109に載置された商品を撮像する(S102)。
計量部109が計量する重量が安定すると(S103)、抽出部125は、撮像された商品に対応する商品の候補を商品ファイル121から抽出する(S104)。抽出処理の詳細は後述する。
【0113】
表示制御部132は、抽出された商品の候補を操作子(プリセットキーG221)として画面上に表示する(S105)。いずれかの操作子の押下により商品が指定され、これにより指定受付部131が当該指定を受け付けると(S106)、算出部129により商品の重量(または単位重量から割り出された個数)に応じた価格を算出され(S107)、当該価格が画面上に表示される。
【0114】
発行するラベルの内容が確定し、操作者から確定した旨の操作を受け付けるなどすると(S108)、印字制御部130が印字部110を制御してラベルを発行する(S109)。
【0115】
ここで、上述したS104に係る抽出処理の詳細な流れを図10に示す。
まず、抽出部125は、撮像部111により撮像した商品の画像に基づき、商品ファイル121を参照して、販売対象商品に設定されている商品から候補となる商品の抽出を試みる(S111)。商品の候補の抽出では上述のとおり、商品の画像と登録されている学習画像との類似度が算出される。この結果、販売対象商品に設定されている商品から、撮像した商品に対応する商品の候補を抽出できた場合には当該商品を候補として抽出する(S112)。
【0116】
一方、販売対象商品として設定されている商品から候補となる商品を抽出できなかった場合には、抽出部125は、販売対象外商品に設定されている商品から候補となる商品の抽出を試みる(S113)。この結果、販売対象外商品に設定されている商品から、撮像した商品に対応する商品の候補を抽出できた場合には当該商品を候補として抽出する(S112)。
【0117】
販売対象外商品に設定されている商品からも候補となる商品を抽出できなかった場合には(S113)、エラー処理を実行する(S114)。エラー処理では例えば、店員呼出画面を表示して店員の呼び出しを促したり、同じ商品で異なるものを載置することを求める案内を表示したりする。店員が呼び出されたときは、店員が品番検索によって該当する商品を呼び出してもよいし、同じ商品で異なるものを載置することを求める案内に応じて商品が再度、計量部109に載置されたときには、再び上述したS101からの一連の処理が実行される。なお、このようなエラー処理に代えて、「プリセットキーから選択してください」といったメッセージと共にプリセットキーを表示して、商品の指定を促してもよい。
【0118】
顧客は、ラベルの発行を受けると、当該ラベルを用いてPOS端末3により精算を行う。ラベルには、例えば商品名、値段、重さに対応する内容量、単価、店名、値段等を含む精算情報をコード化したバーコード、商品コードなどが印字されており、ラベルに印字された情報に基づいて精算を行うことができる。
【0119】
なお、S113において販売対象外商品に設定されている商品から商品を抽出した場合には、その旨を画面上に表示したり、プリセットキーG221の表示態様を変えたりしてもよいし、画面上には当該商品はプリセットキーG221としては表示せず、店員のみに分かる態様のマークを表示するなどして状態を示すようにしてもよい。なお、いずれも画面表示に代えて、又は加えて、音声出力やサインランプの点灯や明滅、他の端末への通知などの出力を行ってもよい。
また、図示の例では、販売対象商品から商品の候補を抽出できなかった場合、販売対象外商品から商品の候補を抽出することを試みるものとしたが、他の実施形態においては、販売対象商品から商品の候補を抽出できなかった場合には、販売対象外商品から商品の候補を抽出することを試みることなく、エラー処理(S114)に至るようにしてもよい。この場合に、販売対象外商品に設定されている商品を対象とすれば抽出可能である場合には、店員にのみに分かる態様で、その旨を画面上に表示したマークなどで報知してもよい。報知の態様は上述と同様、他の態様によってもよい。
【0120】
また、S114のエラー処理のステップに至った場合には、撮像した画像に対応する商品の候補の抽出において、一定の類似度以上の学習用画像が関連付けられた商品があるものの、候補として表示するには至らない程度の類似度であったか、学習用画像が関連付けられている商品から候補を抽出できなかったという状況が考えられる。そこで、店員等に対して、それぞれの状況を認識可能な態様、例えばメッセージやマークの表示等で状況を知らせてもよい。これにより学習用画像が未登録ということが把握できた場合には、いちいちメンテナンス画面等から商品の状況把握に努めなくても、品番検索等により即座に該当する商品を呼び出せば済む。
【0121】
また、ステップS104は、ステップS103と同時、あるいは重量が安定する前に行われてもよい。ただし、ステップS104をステップS103の条件が満たされた後に実行する構成によれば、商品の姿勢が安定し、静止した状態で類似度を算出することができるので、より高い識別精度を担保できる。
【0122】
<処理フロー2(第2の操作モード)>
図11は、第2の操作モードにおける処理の流れを示している。
図9を参照して上述した第1の操作モードにおける処理(S101~S103)と同様、待機画面において、店員等の操作者が計量装置1に学習させたい商品を計量部109に載置するなどすると、変化検知部123によって計量部109上の重量の変動が検知され(S201)、上述した画面G12が表示される。そして、撮像部111が重量の変動を契機として計量部109に載置された商品を撮像すると(S202)、計量部109が計量する重量の安定を待つ(S203)。なお、この第2の操作モードにおいても、計量制御部122は計量部109により常時、計量を実行しており、計量値は画面G12上に表示される。また、商品が計量部109から取り除かれて重量がゼロ値になると待機画面に戻る。
【0123】
計量部109上の重量が安定すると、抽出部125は、撮像した商品の画像に基づき、商品ファイル121を参照して学習用画像を追加する商品の候補の抽出を試みる(S204)。これにより、例えば撮像した商品の画像と所定の類似度以上の類似度で一致する学習用画像が関連付けられた商品を特定できた場合には、学習用画像を追加する商品の候補として、当該特定した商品を抽出する(S205)。
【0124】
一方、撮像した商品の画像と所定の類似度以上の類似度で一致する学習用画像が関連付けられた商品を特定できず、したがって学習用画像を追加する商品の候補を抽出できない場合には、撮像した商品は未だ学習用画像が登録されていない、あるいは有効なオブジェクトスキャンが実行可能な程度には学習用画像が登録されていないものとみなし、学習用画像を新規登録する商品の候補として、学習用画像が関連付けられていない商品を抽出する(S206)。
なお、S205及びS206の処理においては、抽出部125は、販売対象商品として設定されている商品及び販売対象外商品として設定されている商品の両方から、商品の候補の抽出を試みるものとしてもよい。
【0125】
表示制御部132は、抽出された商品の候補を操作子(プリセットキーG221)として画面上に表示する(S207)。いずれかの操作子の押下により商品が指定され、指定受付部131が当該指定を受け付けると(S208)、登録部127は、撮像した商品の画像を学習用画像として取得すると共に、指定された商品に関連付けて商品ファイル121に登録する(S209)。
【0126】
<処理フロー3(第3の操作モード)>
図12は、第3の操作モードにおける処理の流れを示している。
ここでは、第1の操作モードの実行中に第3の操作モードへ操作モードを切り替えて処理を行う流れについて説明する。
図9を参照して述べたとおりのステップにより、S105のステップにおいて商品の候補がプリセットキーG221として表示された状態において、操作モードの切り替えを受け付けると(S301)、商品ファイル121から商品の販売対象設定が読み込まれ(S302)、プリセットキーG221の表示態様に販売対象設定が反映される(S303)。
【0127】
操作者は、プリセットキーG221の表示態様から商品の販売対象設定を確認し、設定の切り替えが必要な商品を判断すると、プリセットキーG221により商品を指定販売対象設定の切り替えを要求する(S304)。これに応じて、設定部126は、指定された商品の販売対象設定を切り替えて商品ファイル121に登録する(S305)。販売対象設定の切り替えに応じて、対象商品のプリセットキーG221の表示態様に設定が反映される(S306)。
【0128】
第3の操作モードの終了操作が行われると、操作モードは第1の操作モードに切り替わり、S106以降のステップを経てラベルが発行される。
【0129】
なお、上述の例では、第1の操作モードから第3の操作モードに切り替えて商品ごとに販売対象設定を行ったが、上述した第1の操作モードや第2の操作モードと同様、第3の操作モードの所定の待機画面から商品を撮像して商品のプリセットキーG221を表示させ、当該プリセットキーG221ごとに販売対象設定を切り替えてもよい。
また、第1の操作モードにおいてプリセットキーG221を表示させた状態から第3の操作モードに操作モードを切り替えた場合と同様に、第2の操作モードや後述する第4の操作モードにおいてプリセットキーG221を表示させた状態から第3の操作モードに操作モードを切り替え、プリセットキーG221として表示された商品ごとに販売対象設定を行えるようになっていてもよい。
【0130】
<処理フロー4(第4の操作モード)>
図13は、第4の操作モードにおける処理の流れを示している。
まず、所定の待機画面において、商品ファイル121から商品を読み込んでプリセットキーG221を画面上に表示する(S401)。プリセットキーG221として表示される商品は例えば、品番検索等によって抽出されたものであってもよいし、商品ファイル121に登録されているすべての商品を抽出したものであってもよい。
【0131】
操作者により、画面上に表示されているプリセットキーG221から任意のプリセットキーG221が指定されると、指定受付部131はこれを受け付ける(S402)。複数のプリセットキーG221が指定され、画面上で所定のボタンが押下されるなどしてグループ化を要求する操作が行われると(S403)、グループ化部128は指定された複数の商品をグループ化して、商品ファイル121に設定する(S404)。
【0132】
なお、以上の第1乃至第4のいずれの操作モードにおける処理フローについても、ステップの順番は、矛盾を生じない限りにおいて適宜に変更することができる。
【0133】
以上の本実施形態に係る計量装置1によれば、オブジェクトスキャンにより抽出した商品について販売対象設定を容易に行える。特に、抽出された商品が指定可能なプリセットキーG221として表示され、タッチ(押下)操作で簡単に設定を更新できるし、設定が一目でわかる態様で表示されるため便利である。また、オブジェクトスキャンにより、撮像した商品に類似する商品も抽出されるため、類似する商品について同時に販売対象設定を更新できるので有用である。さらに、通常の取引の操作と同様の操作感覚で設定を行えるし、商品一覧から商品を対象・対象外を選択するような手間もない。
【0134】
また、商品ファイル121に登録されているいずれの商品についても、汎用的且つ簡便な操作で学習用画像の登録や商品の設定を行うことができる。特に、品番指定から商品を撮像して画像を入力するといった順番ではなく、商品を撮像してから品番(商品)を指定するという順番で行われるので、品番切替もなく連続して学習用画像を登録することも可能である。
また、計量部109に載置するだけで撮像部111によって学習用画像が生成されるし、既に学習用画像が登録されている商品については、学習用画像を登録する商品の候補がオブジェクトスキャンによって自動的に抽出されるため、学習用画像を登録する商品の指定に手間がかからない。
【0135】
また、学習用画像が未登録の商品についても、学習用画像が登録済み又は未登録の商品に対して学習用画像を登録しようとしているかどうかを操作者が認識していなくても、オブジェクトスキャンの結果に応じて学習用画像が未登録の商品のみが候補として抽出されるため、商品を指定が容易であるし、学習用画像が未登録であることもすぐに把握できる。
また、学習用画像を登録する処理において、誤って意図する商品とは異なる商品を撮像した場合においても、撮像した画像に対応する商品の候補が抽出されるだけであり、学習用画像と商品の対応関係が誤って登録されてしまう虞もなく、これにより誤って登録した学習用画像を削除するという操作を行う状況も大幅に減らせる。
また、操作画面も特別な画面ではなく、通常の操作画面をイメージしながら操作できる。
また、所定の商品がグループ化される結果、外観又は外見が類似する商品に対して学習用画像をまとめて登録できて便利である。
【0136】
なお、以上の本実施形態に関して、計量装置1がPOS端末3の機能を備えたり、本発明に係る情報処理装置がPOS端末3として構成されたりする場合には、POS端末3において、オブジェクトスキャンによる商品の抽出等の処理と共に、購入対象商品としての商品登録やと商品登録した商品精算等の処理を行ったりする。POS端末3は、店員が商品登録から精算までを行う通常のPOS端末のほか、顧客自ら商品登録と精算を行うフルセルフ式POS端末、店員が登録機で商品登録をし、顧客が精算機で精算を行うセミセルフ式POS端末など、種類を問わず各種のPOS端末でき、それぞれのPOS端末既知のPOS端末が備える機能部を備えている。即ち、各種の情報を表示したり操作を行ったりするための表示・操作部、各種のコードを読み取って情報を取得する読取部、各種の決済媒体や現金による決済に対応する決済部、ストアコントローラ2等とのデータ通信を可能とする通信部などを備える。なお、この場合、POS端末3では学習用画像の登録のみならず、商品登録においても上述のとおりに商品の撮像画像から商品の候補を複数、プリセットキーG221として提示し、指定を受け付けるようにしてもよい。また、販売対象設定なども上述したのと同様にPOS端末3で行えるようになっていてもよい。
【0137】
また、以上の本実施形態では、顧客に販売する商品の学習用画像を登録したが、オブジェクトスキャンの対象又は学習用画像を登録する対象はこのような商品以外の物品であってもよい。例えば、バルク販売(量り売り)に利用される容器を対象とすることもできる。即ち、バルク販売では、総菜食品やフルーツなどの商品の販売時に複数サイズの容器が利用されるところ、当該複数サイズの容器は、店舗からサイズごとに異なる値段で顧客に提供される場合がある。また、各容器はサイズに応じて風袋重量がそれぞれで異なる。この場合において、容器に商品を入れる際に当該容器をオブジェクトスキャンし、容器の値段を精算額に反映したり、計量値から容器の風袋重量を減算できたりすれば便利である。そこで、このような場面に上述した本発明を適用して、各サイズの容器ごとに値段や風袋重量、及び学習用画像を登録するようにし、複数サイズの容器の画像を学習用画像として登録する際には容器の候補を操作者に提示し、操作者が任意の容器を指定できるようにすれば有用なものとなる。
【0138】
なお、本発明は、着目する観点により、コンピュータプログラム、方法の発明として構成することができる。コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。
また、他の実施形態においては、上述したように本発明に係る情報処理装置をPOS端末として構成したり、表示装置として構成したりすることができるが、このほか、その名称等にかかわらず少なくとも画像処理を行う装置であれば本発明に係る情報処理装置を構成し得る。
【0139】
また、これらのソフトウェア資源は、適宜の設計によりいずれかのハードウェア資源に分散又は集約させることができるし、ハードウェア資源も物理的に一体をなす装置あるいは別体をなす装置として構成することもできる。
【0140】
具体的には例えば、計量装置1と、当該計量装置1の上位装置に位置づけられるクラウドサーバ4とを備える情報処理システムとして構成することもできる。この場合、例えば計量装置1は少なくとも、表示タッチパネル104、計量部109、撮像部111、計量制御部122、撮像制御部124及び表示制御部132を備える。また、クラウドサーバ4は、撮像部111により撮像された商品の画像に応じた商品の候補を抽出する抽出部125を備える。計量装置1とクラウドサーバ4において、互いに必要とする情報はネットワークを介して送受信される。即ち、計量装置1からクラウドサーバ4に対しては、商品を撮像した画像や、操作者による販売対象設定の操作に関する情報が送信され、クラウドサーバ4から計量装置1に対しては、商品を撮像した画像に基づいて抽出された商品の候補に係る情報などが送信される。
【0141】
<付記>
本発明の他の実施形態に係る情報処理装置は、物品を撮像する撮像手段と、学習用画像を基準画像とした類似度により、前記撮像手段で撮像した物品に対応する物品を所定の記憶手段から抽出する抽出手段と、前記抽出手段により抽出した一又は複数の物品から、所定の物品の指定を受け付ける指定受付手段と、前記指定受付手段により指定された所定の物品と前記撮像手段により撮像した物品の画像を前記学習用画像として取得する取得手段と、を備え、前記撮像手段で撮像した物品の学習用画像がない、又は前記抽出手段により学習用画像に基づいて物品を抽出できない場合、前記指定受付手段は、前記所定の記憶手段に登録されているすべての物品から指定を受け付け、前記撮像手段で撮像した物品の画像に基づいて前記抽出手段により物品が抽出された場合は、該抽出された物品から指定を受け付ける。
【0142】
前記撮像手段により撮像した物品の学習用画像に基づいて前記抽出手段により抽出された物品について、取引を実行する操作モードにおいて、前記抽出手段により抽出する対象にするか、非対象にするかを設定する設定手段を備えるものとしてもよい。
【0143】
第1モードと第2モードを切り替える切替手段を備え、前記切替手段により、前記指定受付手段は、前記第1モードの場合では、前記撮像手段により撮像した物品の画像を前記取得手段により前記学習用画像として取得する指示を受け付け、前記第2モードの場合では、前記取引を実行する操作において前記抽出手段により抽出する対象にするか、非対象にするかの設定を受け付けるものとして機能するものとしてもよい。
【0144】
●実施形態総括
本発明は、情報処理装置、情報処理システム、及びコンピュータプログラムに関する。
【0145】
物品を撮像して得られた物品の撮像画像と、画像認識の基準画像たる学習用画像とを照合して当該物品を特定する所謂オブジェクトスキャンの技術が知られている。
【0146】
例えば、特許第7125179号公報には、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、を備える商品認識装置が開示されている。
【0147】
この点、スーパーマーケット等の店舗において、購入対象商品のオブジェクトスキャンを行う場合に、所定の記憶手段に登録している商品をすべてオブジェクトスキャンの対象にすると、現在販売していない商品まで抽出する可能性がある。そのため、所定の記憶手段から対象商品を検索し、販売対象とするか否かの設定を行う必要があった。しかしながら、対象商品をいちいち検索して設定を行うのは煩雑で面倒であった。
【0148】
そこで本発明は、商品の販売対象設定を容易に行える装置を提供することを目的の一つとする。
【0149】
上記目的を達成するため、本発明に係る情報処理装置は、商品を撮像する撮像手段と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える。
【0150】
前記抽出手段により前記商品の候補として抽出した商品ごとに、前記設定手段により設定を行うための操作子を表示させる表示制御手段、をさらに備え、前記表示制御手段は、前記商品が販売対象商品又は販売対象外商品のいずれとして設定されているかによって前記操作子の表示態様を異ならせるものとしてもよい。
【0151】
前記所定の操作モードと、商品情報のメンテナンスモードを備え、前記抽出手段は、前記所定の操作モードにおいては、前記販売対象商品として設定されている商品から前記商品の候補を抽出し、前記メンテナンスモードにおいては、前記販売対象商品として設定されている商品及び前記販売対象外商品として設定されている商品から前記商品の候補を抽出するものとしてもよい。
【0152】
前記抽出手段は、前記所定の操作モードにおいて、前記販売対象商品として設定されている商品から前記商品の候補を抽出できない場合、前記販売対象外商品として設定されている商品から前記商品の候補を抽出し、その旨を出力するものとしてもよい。
【0153】
前記抽出手段は、前記商品情報記憶手段を参照して、前記商品に関連付けられた学習用画像を基準画像として、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出すると共に、前記販売対象商品及び前記販売対象外商品のうち、前記学習用画像が関連付けられていない商品を抽出対象から除外するものとしてもよい。
【0154】
本発明の一の観点に係る情報処理システムは、情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成され、前記情報処理装置は、商品を撮像する撮像手段、を備え、前記管理装置は、商品情報を記憶する商品情報記憶手段と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像手段により撮像した商品の画像に基づき、前記商品情報記憶手段を参照して、前記撮像手段により撮像した商品の画像に対応する商品の候補を抽出する抽出手段と、前記所定の操作モードにおいて前記抽出手段により抽出した商品を販売対象商品又は販売対象外商品に設定する設定手段と、を備える。
【0155】
本発明の一の観点に係るコンピュータプログラムは、コンピュータに対し、商品を撮像する撮像処理と、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる。
【0156】
本発明の一の観点に係るコンピュータプログラムは、情報処理装置と、上位の管理装置とがネットワークを介して通信可能に構成されたシステムにおいて、前記情報処理装置に対し、商品を撮像する撮像処理、を実行させ、前記管理装置に対し、前記商品を購入するための操作を行う所定の操作モードにおいて、前記撮像処理により撮像した商品の画像に基づき、商品情報を記憶する商品情報記憶手段を参照して、前記撮像処理により撮像した商品の画像に対応する商品の候補を抽出する抽出処理と、前記所定の操作モードにおいて前記抽出処理により抽出した商品を販売対象商品又は販売対象外商品に設定する設定処理と、を実行させる。
【0157】
以上の本発明の実施形態に係る物品識別装置によれば、オブジェクトスキャンによって抽出した商品に基づいて販売対象設定を容易に行える。
【符号の説明】
【0158】
1 :計量装置(情報処理装置)
104 :表示タッチパネル(表示手段)
109 :計量部(計量手段)
110 :印字部
111 :撮像部(撮像手段)
121 :商品ファイル(商品情報記憶手段)
122 :計量制御部
123 :変化検知部
124 :撮像制御部
125 :抽出部(抽出手段)
126 :設定部(設定手段)
127 :登録部(登録手段)
128 :グループ化部(グループ化手段)
129 :算出部
130 :印字制御部
131 :指定受付部(指定受付手段)
132 :表示制御部
2 :ストアコントローラ
3 :POS端末
4 :クラウドサーバ
G21 :商品情報表示エリア
G22 :プリセットキー表示エリア
G221 :プリセットキー

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13