(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025009185
(43)【公開日】2025-01-20
(54)【発明の名称】販売データ処理装置及びプログラム
(51)【国際特許分類】
G07G 1/12 20060101AFI20250110BHJP
G07G 1/00 20060101ALI20250110BHJP
【FI】
G07G1/12 321E
G07G1/00 311D
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023112012
(22)【出願日】2023-07-07
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】加藤 武
【テーマコード(参考)】
3E142
【Fターム(参考)】
3E142AA01
3E142BA01
3E142CA20
3E142EA02
3E142FA22
3E142FA42
3E142GA22
3E142GA35
3E142GA41
3E142JA01
3E142KA08
(57)【要約】
【課題】店員モードとセルフモードとを切り換え可能な販売データ処理装置における利便性を向上すること。
【解決手段】実施形態に係る販売データ処理装置は、モード設定部と、閾値指定部と、商品登録部と、を備える。前記モード設定部は、店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定する。前記閾値指定部は、撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、前記セルフモードの前記認識率の閾値が前記店員モードの前記認識率の閾値より高くなるように、設定された前記動作モードに応じて変更する。前記商品登録部は、前記パッケージ認識により特定された商品を登録する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定するモード設定部と、
撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、前記セルフモードの前記認識率の閾値が前記店員モードの前記認識率の閾値より高くなるように、設定された前記動作モードに応じて変更する閾値指定部と、
前記パッケージ認識により特定された商品を登録する商品登録部と、を備える、
販売データ処理装置。
【請求項2】
前記動作モードと、前記認識率の閾値との対応を示す閾値情報を記憶する記憶部をさらに備える、
請求項1に記載の販売データ処理装置。
【請求項3】
前記店員モードの前記認識率の閾値は、前記店員又は前記店員の種別を示す店員情報ごとに異なる、
請求項1又は請求項2に記載の販売データ処理装置。
【請求項4】
前記認識率の閾値は、時間帯を示す時間帯情報ごとに異なる、
請求項1又は請求項2に記載の販売データ処理装置。
【請求項5】
店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで販売データ処理装置を動作するかを設定するモード設定部と、
設定された前記動作モードに応じて、撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を変更する閾値設定部と、
変更された前記認識率の閾値を用いたパッケージ認識により商品を特定するパッケージ認識部と、
前記パッケージ認識により特定された商品を登録する商品登録部と、を含む、
販売データ処理システム。
【請求項6】
店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定し、
撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、前記セルフモードの前記認識率の閾値が前記店員モードの前記認識率の閾値より高くなるように、設定された前記動作モードに応じて変更し、
前記パッケージ認識により特定された商品を登録する、
ことをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、販売データ処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、スーパーマーケットやコンビニエンスストア、量販店などの店舗において、店舗で購入した商品について、商品データ処理と決済処理(以降総称して「取引処理」という)とを、店員が行う店員モードと顧客自身が行うセルフモードとの間で切り換え可能に構成されたPOS(Point of Sales)端末などの販売データ処理装置が知られている。この販売データ処理装置は、例えば、店舗の繁忙時にはPOS端末を店員モードに切り換えて店員が取引処理を行い、閑散時には全部又は一部のPOS端末をセルフモードに切り換えて顧客自身が取引操作を行うといった運用が可能である。
【0003】
このような中、撮像した商品の画像をパッケージ認識して商品を判断し、当該商品の商品情報を今回の取引に係る商品として登録する商品データ処理が行われる場合、例えばその画像認識の精度に起因して、誤登録が発生する場合があった。セルフモードでの運用中に誤登録が発生すると、誤登録された商品の店員による消し込み処理などの店員介在の処理が発生する。店員介在の処理が発生すると、店員負担が増加したり、決済完了までに時間がかかったりするため、利便性が低下するおそれがあった。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、店員モードとセルフモードとを切り換え可能な販売データ処理装置における利便性を向上することである。
【課題を解決するための手段】
【0005】
実施形態に係る販売データ処理装置は、モード設定部と、閾値指定部と、商品登録部と、を備える。前記モード設定部は、店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定する。前記閾値指定部は、撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、前記セルフモードの前記認識率の閾値が前記店員モードの前記認識率の閾値より高くなるように、設定された前記動作モードに応じて変更する。前記商品登録部は、前記パッケージ認識により特定された商品を登録する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、実施形態に係るPOS(Point of Sales)システムの構成の一例を示すブロック図である。
【
図2】
図2は、
図1のエッジデバイスのハードウェア構成の一例を示すブロック図である。
【
図3】
図3は、
図1のPOS端末のハードウェア構成の一例を示すブロック図である。
【
図4】
図4は、
図3のエッジデバイスの機能構成の一例を示すブロック図である。
【
図5】
図5は、
図3のPOS端末の機能構成の一例を示すブロック図である。
【
図6】
図6は、実施形態に係る閾値情報の構成を模式的に示す図である。
【
図7】
図7は、実施形態に係るシステムにおける処理の流れの一例を示すシーケンス図である。
【発明を実施するための形態】
【0007】
以下、図面を参照して、実施形態に係る販売データ処理装置、販売データ処理システム、プログラム及び記録媒体について説明する。
【0008】
以下に説明する実施形態は、実施形態に係る販売データ処理装置、販売データ処理システム、プログラム及び記録媒体の一実施形態であって、その構成や仕様等を限定するものではない。以下に説明する実施形態は、スーパーマーケットなどの店舗に導入されたPOS(Point Of Sales)システムへの適用例である。
【0009】
図1は、実施形態に係るPOSシステム1の構成の一例を示す図である。POSシステム1は、
図1に示すように、サーバ4、エッジデバイス6及びPOS端末8を含む。
【0010】
なお、
図1は、2つ以上のPOS端末8を含むPOSシステム1を例示するが、これに限らない。POSシステム1においてPOS端末8は、1つ又は2つであってもよいし、3つ以上の複数であってもよい。すなわち実施形態に係るPOSシステム1は、少なくとも1つのPOS端末8を含む。
【0011】
ここで、実施形態に係るPOSシステム1は、販売データ処理システムの一例である。また、実施形態に係るPOS端末8は、販売データ処理装置の一例である。
【0012】
POSシステム1において、サーバ4と、エッジデバイス6と、少なくとも1つのPOS端末8のそれぞれとは、通信回線Naを介して通信可能に接続される。通信回線Naは、インターネット、VPN(virtual private network)、LAN(local area network)、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。
【0013】
サーバ4は、例えば店舗のバックヤードに設置された少なくとも1つのサーバ装置である。なお、サーバ4は、店舗に設置される場合に限らず、クラウド上に設置されたクラウドサーバとして構成されていても構わない。
【0014】
サーバ4は、例えばCPU(Central Processing Unit)などのプロセッサと、ROM(Read Only Memory)及びRAM(Random Access Memory)などのメモリとを有し、一般的なコンピュータと同様に構成される。例えばサーバ4は、ROMなどのメモリに記憶された各種プログラムをメモリのRAMにロードし、ロードされた各種プログラムをプロセッサが実行することによりサーバ4の各機能を実現するように構成される。一例として、サーバ4は、店舗で販売する商品の種類と数とを管理する。一例として、サーバ4は、POS端末8から受信した売上情報に基づいて、店舗での売上を管理する。具体的には、サーバ4は、POS端末8から受信した売上情報を記憶し、記憶した売上情報を用いて店舗の売上を管理する。
【0015】
なお、サーバ4は、POS端末8の撮像部87(
図3参照)が撮像した画像と、シンボルデコードの結果を示すデコード情報とを用いて、例えばエッジデバイス6が記憶する照合用辞書624の精度を高めるための機械学習を実行するように構成されていてもよい。あるいは、当該機械学習は、エッジデバイス6により実行されてもよい。
【0016】
なお、サーバ4のプロセッサとしては、CPUに代えて、あるいはCPUに加えて、他のプロセッサが設けられてもよい。他のプロセッサとしては、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などの各種プロセッサや、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)で実現される専用演算回路などが適宜利用可能である。
【0017】
なお、サーバ4のメモリとしては、ROM及びRAMに加えて、HDD(Hard Disk Drive)やSSD(Solid State Drive)、Flashメモリなどの不揮発性の記録媒体が適宜利用可能である。
【0018】
エッジデバイス6は、例えばサーバ4又はPOS端末8に隣接して設けられた、あるいはサーバ4内又はPOS端末8内に設けられた、あるいはクラウド上で構成されたコンピュータである。
【0019】
図2は、
図1のエッジデバイス6のハードウェア構成の一例を示すブロック図である。エッジデバイス6は、
図2に示すように、制御部61、記憶部62、コントローラ63及び通信部64を有する。制御部61、記憶部62、コントローラ63及び通信部64は、例えばバス69を介して通信可能に接続される。
【0020】
制御部61は、例えばCPUなどのプロセッサと、ROM及びRAMなどのメモリとを有し、一般的なコンピュータと同様に構成される。例えば制御部61は、ROMなどのメモリ又は記憶部62に記憶された各種プログラムをメモリのRAMにロードし、ロードされた各種プログラムをプロセッサが実行することにより後述のエッジデバイス6の各機能を実現するように構成される。
【0021】
なお、実施形態に係る制御部61のプロセッサとしては、CPUに代えて、あるいはCPUに加えて、GPU、DSPなどの各種プロセッサや、ASIC、FPGAで実現される専用演算回路などが適宜利用可能である。
【0022】
記憶部62は、HDDやSSD、Flashメモリなどの不揮発性の記録媒体を備えた記憶装置である。記憶部62は、エッジデバイス6の動作に係る各種プログラムや各種データ、コントローラ63を介してエッジデバイス6に接続される外部デバイスのデバイスドライバなどを記憶する。
【0023】
一例として、記憶部62は、制御プログラム621、物体検出モデル622、特徴抽出モデル623及び照合用辞書624を記憶する。例えば、制御プログラム621は、エッジデバイス6の各機能部を実現するための少なくとも1つのプログラムを含む。なお、物体検出モデル622、特徴抽出モデル623及び照合用辞書624については、後述する。
【0024】
コントローラ63は、エッジデバイス6に外部デバイスを接続する入出力インタフェースである。
【0025】
通信部64は、エッジデバイス6の外部との間で通信を行うための通信インタフェースである。通信部64は、有線通信用の通信回路及び無線通信用の通信回路のいずれかを含み、当該通信回路により通信回線Naに接続する。
【0026】
POS端末8は、スーパーマーケットやコンビニエンスストア、量販店などの店舗に設置される。POS端末8は、店舗で購入した商品について、商品データ処理と決済処理(総称して「取引処理」という)とを実行可能に構成される。
【0027】
ここで、商品データ処理は、パッケージ認識処理などで特定された商品の商品情報(商品名、商品価格、等)を商品マスタから読み出して登録する商品の登録処理である。また、決済処理は、商品登録された一取引に係る商品の合計金額や税額の表示、顧客から預かった預り金に基づいて釣銭を計算して表示する処理、商品情報や決済情報(合計金額、預り金額、釣銭額等)を印字したレシートを発行する処理などである。
【0028】
また、POS端末8は、店員が取引処理を行う店員モードと、顧客自身が取引処理を行うセルフモードとの間で切り換え可能に構成されている。この切り換えは、例えばPOS端末8に切り換えのためのスイッチが設けられて当該スイッチが操作されることにより行われてもよいし、ソフトウェア上で操作を受け付けることにより行われてもよい。なお、店員モードには、店員が商品を登録する商品データ処理および決済処理の両方を行う第1の店員モードの他、店員が商品を登録する商品データ処理を行い、かつ、顧客自身が決済処理を行う第2の店員モードを設けてもよい。
【0029】
図3は、
図1のPOS端末8のハードウェア構成の一例を示すブロック図である。POS端末8は、
図3に示すように、制御部81、記憶部82、コントローラ83、通信部84、操作部85、表示部86及び撮像部87を有する。制御部81、記憶部82、コントローラ83及び通信部84は、例えばバス89を介して通信可能に接続される。操作部85、表示部86及び撮像部87は、それぞれコントローラ83に通信可能に接続される。
【0030】
制御部81は、例えばCPUなどのプロセッサと、ROM及びRAMなどのメモリとを有し、一般的なコンピュータと同様に構成される。例えば制御部81は、ROMなどのメモリ又は記憶部82に記憶された各種プログラムをメモリのRAMにロードし、ロードされた各種プログラムをプロセッサが実行することにより後述のPOS端末8の各機能を実現するように構成される。
【0031】
なお、実施形態に係る制御部81のプロセッサとしては、CPUに代えて、あるいはCPUに加えて、GPU、DSPなどの各種プロセッサや、ASIC、FPGAで実現される専用演算回路などが適宜利用可能である。
【0032】
記憶部82は、HDDやSSD、Flashメモリなどの不揮発性の記録媒体を備えた記憶装置である。記憶部82は、POS端末8の動作に係る各種プログラムや各種データ、コントローラ83を介してPOS端末8に接続される外部デバイスのデバイスドライバなどを記憶する。
【0033】
一例として、記憶部82は、制御プログラム821、商品マスタ822及び閾値情報823を記憶する。例えば、制御プログラム821は、POS端末8の各機能部を実現するための少なくとも1つのプログラムを含む。商品マスタ822は、各商品の商品情報を、当該商品を特定する商品特定情報に対応付けて記憶する。ここで、商品特定情報は、例えば商品を示す商品コードであるが、商品を特定する情報であればよく、商品コードでなくてもよい。なお、閾値情報823については、後述する。
【0034】
コントローラ83は、POS端末8に外部デバイスを接続する入出力インタフェースである。
図3の例では、コントローラ83には、操作部85、表示部86及び撮像部87が接続されている。
【0035】
通信部84は、POS端末8の外部との間で通信を行うための通信インタフェースである。通信部84は、有線通信用の通信回路及び無線通信用の通信回路のいずれかを含み、当該通信回路により通信回線Naに接続する。
【0036】
操作部85は、ユーザの操作入力を受け付ける入力インタフェースである。操作部85は、例えば表示部86の表示面(画面)上に配置され、操作者のタッチ操作を検出して制御部81に信号を出力するタッチパネルである。一例として、操作部85は、表示部86に表示された操作画面に対する操作者の操作入力を受け付け可能に構成される。なお、操作部85としては、タッチパネルに限らず、キーボードやスイッチ、ボタンなどの種々の入力デバイスが適宜設けられ得る。
【0037】
表示部86は、制御部81の制御に従い、生成された各種画面を表示可能に構成される。表示部86としては、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどの各種の表示デバイスが適宜利用可能である。
【0038】
撮像部87は、例えばCCD(Charge Coupled Device)などの撮像素子と、被写界からの光を当該撮像素子の撮像面上に結像させる光学系と、撮像素子からの画素信号に基づいて被写界からの光に基づいて撮像することにより、画像や動画を生成する画像生成部とを有するカメラである。撮像部87は、顧客又は店員により把持された登録対象の商品を撮像する。撮像部87が撮像する画像は、例えばフレーム単位の静止画又は動画である。
【0039】
なお、POS端末8は、タブレットPC(Personal Computer)やスマートフォンなどの顧客又は店員により携帯される端末装置において、インストールされたPOSアプリケーション(プログラム)が実行されることで実現されてもよい。また、POS端末8は、顧客の買い物又は店員のピッキングにおいて使用されるカートに搭載されたカートPOSとして実現されてもよい。
【0040】
ここで、図面を参照しつつエッジデバイス6の機能構成について説明する。
図4は、
図3のエッジデバイス6の機能構成の一例を示すブロック図である。
【0041】
制御部61は、メモリにロードされた制御プログラム621をプロセッサが実行することにより、
図4に示すように、閾値設定部611及びパッケージ認識部612としての機能を実現する。
【0042】
閾値設定部611は、POS端末8において設定された動作モードに応じて、パッケージ認識における認識率の閾値を変更する。具体的には、閾値設定部611は、POS端末8からの認識率の閾値に関する情報に基づいて、後述するパッケージ認識処理における認識率の閾値を設定する。ここで、本実施形態において認識率とは、パッケージ認識の認識精度であり、類似度の閾値により調整される。パッケージ認識の認識率は、例えば、パッケージ認識において算出された類似度が類似度の閾値を超える割合、あるいはその超え易さを示す。つまり、認識率の閾値とは、その割合、あるいはその超え易さの閾値などの類似度に相関のある閾値であってもよいし、類似度の閾値そのものであってもよい。本実施形態では、認識率の閾値として類似度の閾値が用いられる場合を例示する。具体的には、本実施形態においてパッケージ認識処理における認識率の閾値とは、撮像して得られた画像に含まれる商品を特定するパッケージ認識処理において算出された類似度の閾値である。なお、本実施形態では、一例として、認識率の閾値に関する情報は、認識率の閾値の値を示す情報であるとする。
【0043】
例えば、パッケージ認識処理においては、算出された類似度が認識率の閾値以上の1つの商品がある場合は、認識した商品を撮像部87により撮像された商品として特定する。類似度が高い商品ほど、撮像された商品と似ている程度が高い。(すなわち、撮像された商品である確率が高い)。このため、閾値設定部611により設定される認識率の閾値が高いほど、パッケージ認識処理の認識精度は高い一方、商品の特定までに時間を要する場合が多い。同様に、閾値設定部611により設定される認識率の閾値が低いほど、パッケージ認識処理の認識精度が低く誤登録が発生し易い一方、商品の特定までに要する時間を短縮できる場合が多い。
【0044】
パッケージ認識部612は、POS端末8からの画像を受信して、当該画像に基づいたパッケージ認識処理を実行する。また、パッケージ認識部612は、閾値設定部611によりPOS端末8の動作モードに応じて変更された認識率の閾値を用いたパッケージ認識により商品を特定する。具体的には、パッケージ認識部612は、POS端末8の撮像部87が撮像した画像を受信し、物体検出モデル622、特徴抽出モデル623及び照合用辞書624を用いてパッケージ認識処理を実行し、POS端末8からの画像に含まれる1つの商品を特定する。また、パッケージ認識部612は、特定した商品を示す商品特定情報(例えば商品コード)をPOS端末8に送信する。
【0045】
ここで、パッケージ認識処理について説明する。パッケージ認識処理は、一般物体認識技術を用いて、撮像した商品の形状や外観や質感等に基づいて商品を認識して、1つの商品を特定する公知の技術である。パッケージ認識部612は、パッケージ認識処理において、物体検出モデル622、特徴抽出モデル623及び照合用辞書624の3種類の辞書を用いて、POS端末8において撮像された画像に含まれる商品の特定を行う。
【0046】
まず、パッケージ認識部612は、POS端末8の撮像部87(
図3参照)で撮像された少なくとも1つの一連の撮像画像から商品が写っている撮像画像を抽出する。一連の撮像画像から商品が写っている撮像画像を抽出する方法としては、例えば、商品と手や背景とを区別して商品が写っている画像を抽出する方法があるが、その他に、物体(商品)に付されたシンボルを認識した画像を中心としてその前後の商品が写っている画像を抽出する方法、シンボルを認識した画像から前に遡って商品が写っている画像を抽出する方法、シンボルを認識した画像から後の商品が写っている画像を抽出する方法、などがある。
【0047】
次に、パッケージ認識部612は、物体検出モデル622を用いて、商品が写っている撮像画像における商品が写っている領域を特定する。ここで、物体検出モデル622は、画像において商品が占める領域を特定するための辞書である。すなわち物体検出モデル622は、入力された撮像画像に基づいて、当該撮像画像から商品が写っている領域を特定するための辞書である。換言すると、物体検出モデル622は、撮像画像の中から特定された領域で囲まれた商品の画像(以下、商品画像という)を抽出するための辞書である。なお、物体検出モデル622は、一連の撮像画像又は商品が写っている撮像画像の入力に応じて、商品画像又は商品画像を示す情報を出力するようにパラメータが決定(学習)された機械学習モデルであってもよい。
【0048】
次に、パッケージ認識部612は、特徴抽出モデル623を用いて、商品画像に写っている商品の外観形状や色合い、模様、凹凸などの表面情報を示す当該商品の特徴量(特徴ベクトル)を抽出する。ここで、特徴抽出モデル623は、商品画像に写っている商品を見分けるのに有効な特徴量を算出するための辞書である。すなわち特徴抽出モデル623は、入力された商品画像に基づいて、領域が特定された商品の特徴を示す特徴量を示す特徴ベクトルを出力する。なお、特徴抽出モデル623は、商品画像の入力に応じて特徴ベクトルを出力するようにパラメータが決定(学習)された機械学習モデルであってもよい。また、物体検出モデル622及び特徴抽出モデル623は、1つのモデルとして構成されていてもよい。
【0049】
次に、パッケージ認識部612は、照合用辞書624を用いて、抽出した特徴量と辞書に登録されている多数の商品の特徴量データとを照合して、商品画像に写っている商品が登録されている商品にどの程度似ているかを示す類似度を算出する。ここで、照合用辞書624は、商品画像に写っている商品の特徴ベクトルに基づいて、当該商品を特定するための辞書である。すなわち照合用辞書624は、例えば商品マスタに含まれる複数の商品のそれぞれについて、商品を特定する商品特定情報別に当該商品の特徴を示す特徴量を関連付けて登録した辞書である。
【0050】
そして、パッケージ認識部612は、算出した類似度と、閾値設定部611により設定された認識率の閾値とを比較し、類似度が認識率の閾値以上の商品を、撮像された商品であると特定する。
【0051】
ここで、図面を参照しつつPOS端末8の機能構成について説明する。
図5は、
図3のPOS端末8の機能構成の一例を示すブロック図である。
【0052】
制御部81は、メモリにロードされた制御プログラム821をプロセッサが実行することにより、
図4に示すように、モード設定部811、閾値指定部812、読取制御部813及び商品登録部814としての機能を実現する。
【0053】
モード設定部811は、POS端末8の動作モードを設定する。一例として、モード設定部811は、店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定する。具体的には、モード設定部811は、操作部85を介して、動作モードを設定する店員の操作入力を受け付け、POS端末8の動作モードを店員モードとセルフモードとの間で切り換える。
【0054】
閾値指定部812は、設定されたPOS端末8の動作モードに応じた認識率の閾値を指定する。一例として、閾値指定部812は、動作モードに応じた認識率の閾値を指定することにより、撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、設定された動作モードに応じて変更する。例えば、閾値指定部812は、セルフモードの認識率の閾値が店員モードの認識率の閾値より高くなるように、パッケージ認識における認識率の閾値を変更する。具体的には、閾値指定部812は、記憶部82に格納されている閾値情報823を参照し、設定されたPOS端末8の動作モードに応じた認識率の閾値を読み出す。
【0055】
図6は、実施形態に係る閾値情報823の構成を模式的に示す図である。閾値情報823は、例えば
図6に示すように、POS端末の動作モード8231と、認識率の閾値8232との対応を示す情報である。
図6の例では、POS端末の動作モード8231が「店員モード」の場合、認識率の閾値8232が「TA」であり、POS端末の動作モード8231が「セルフモード」の場合、認識率の閾値8232が「TA」より高い「TB」である。一例として、「セルフモード」の認識率の閾値8232である「TB」は、パッケージ認識処理において算出される類似度が90%以上である場合に商品として特定するための閾値である。
【0056】
なお、POS端末8の動作モードとしては、店員が取引処理のうちの商品データ処理を行い、顧客自身が決済処理を行うセミセルフモード(第2の店員モード)が設定されてもよい。この場合、第2の店員モードには、店員モードと同一の認識率の閾値が設定され得る。
【0057】
なお、実施形態に係るPOSシステム1に関し、POS端末8の閾値指定部812を閾値設定部と称してもよい。あるいは、エッジデバイス6の閾値設定部611とPOS端末8の閾値指定部812とを、閾値設定部と総称してもよい。
【0058】
読取制御部813は、撮像部87を制御し、読取対象の商品をかざす領域(撮像範囲)を撮像した画像を取得する。また、読取制御部813は、取得された画像のデータをエッジデバイス6に送信する。また、読取制御部813は、撮像部87を制御し、商品に付されたバーコードや二次元コードなどのシンボルが撮像された場合、当該シンボルをデコードしてデコード情報を生成する。デコード情報には、シンボルが貼付された商品を特定する商品特定情報が含まれる。
【0059】
なお、POS端末8には、例えばコントローラ83を介してシンボルを読み取るためのスキャナが別途接続されていてもよく、読取制御部813は、当該スキャナを制御することによりシンボルを読み取り、当該シンボルをデコードしてデコード情報を生成してもよい。
【0060】
商品登録部814は、パッケージ認識により特定された商品を登録する。具体的には、商品登録部814は、パッケージ認識に基づく商品特定情報と、シンボルデコードに基づく商品特定情報とのうちのいずれか早く取得された商品特定情報に基づき、商品を登録する。
【0061】
また、POS端末8において制御部81は、商品登録部814による商品データ処理(登録処理)で登録された商品についての決済処理を行い、決済処理した商品の商品情報と決済情報(すなわち売上情報)をサーバ4に送信する。
【0062】
ここで、図面を参照しつつ、上記構成のPOSシステム1の動作例について説明する。
図7は、実施形態に係るPOSシステム1における処理の流れの一例を示すシーケンス図である。なお、
図7の処理の流れはあくまでも一例であり、ステップの追加、削除及び順序変更を任意に行うことができる。
【0063】
POS端末8は、店員の操作入力に基づいて、POS端末8の動作モードを、店員が取引処理を行う店員モードと、顧客自身が取引処理を行うセルフモードとのいずれかに設定する(S1)。また、POS端末8は、設定された動作モードに応じた認識率の閾値を閾値情報823から読み出し、エッジデバイス6に出力する(S2)。そして、エッジデバイス6は、POS端末8からの認識率の閾値を、パッケージ認識処理で算出される類似度の閾値として設定する(S3)。
【0064】
なお、エッジデバイス6側に閾値情報823が登録されていてもよい。この場合、S2の処理においては、認識率の閾値に関する情報として、いずれのモードで動作するかを示すモード情報がPOS端末8からエッジデバイス6へ提供されればよい。あるいは、S2の処理において閾値情報823及びモード情報がPOS端末8からエッジデバイス6へ提供された後、エッジデバイス6において認識率の閾値が選択されてもよい。
【0065】
なお、S1~S3の処理は、例えば始業時や終業時、あるいは店舗の混雑状況が変化した場合、その変化が見込まれる場合などに適宜実行されればよい。例えば、店舗の繁忙時には、店員が取引処理を行うためにPOS端末8の動作モードが店員モードに設定される。例えば、店舗の閑散時には、顧客自身による取引操作を可能とするために全部又は一部のPOS端末8の動作モードがセルフモードに設定される。
【0066】
いずれかの動作モードが設定されたことに伴い認識率の閾値が設定された後、POS端末8は、撮像部87により撮像し(S4)、撮像で得られた画像をエッジデバイス6に出力する(S5)。
【0067】
当該画像を受信したエッジデバイス6は、当該画像を用いてパッケージ認識を行う(S6)。この際、エッジデバイス6は、画像に基づいて算出された類似度と、S3の処理で設定された類似度の閾値との比較に基づき、当該画像に含まれる商品を特定する。そして、エッジデバイス6は、パッケージ認識によって特定した商品の情報、すなわち商品特定情報をPOS端末8に出力する(S7)。
【0068】
一方、POS端末8は、S5の処理においてエッジデバイス6に画像を出力するとともに、撮像部87によるシンボルの撮像を待つ。そして、POS端末8は、シンボルが撮像された場合には当該シンボルをデコードして、商品特定情報を含むデコード情報を生成する(S8)。
【0069】
なお、シンボルが撮像されるタイミングによって、S5~S7の処理による商品特定情報の入力と、S8によるデコード情報の生成との順序は、前後する。店員又は顧客がシンボルの向きを正しく撮像部87に向けない場合、シンボルの撮像が遅くなり、デコード情報の生成が遅くなった場合には、エッジデバイス6からの商品特定情報の入力が先になる場合がある。逆に、シンボルの撮像が早く行われた場合には、デコード情報の生成がエッジデバイス6からの商品特定情報の入力より早くなる場合がある。
【0070】
その後、POS端末8は、パッケージ認識(S5~S7)に基づく商品特定情報と、シンボルデコード(S8)に基づく商品特定情報とのうちのいずれか早く取得された商品特定情報に基づき、商品を登録する(S9)。その後、
図7の流れは終了し、登録された商品に関する決済処理などが実施される。
【0071】
なお、実施形態に係るPOSシステム1において、撮像部87及びPOS端末8のパッケージ認識に係る機能の一部は、POS端末8とは独立した装置として設けられていてもよい。あるいは、撮像部87は、POS端末8の他の装置に取り付けられていてもよい。
【0072】
なお、実施形態に係るPOSシステム1において、物体検出モデル622、特徴抽出モデル623、照合用辞書624は、例えばサーバ4、あるいは複数のサーバ4を管理・総括する、本部に設置された本部サーバなど、エッジデバイス6の外部に設けられていてもよい。
【0073】
なお、実施形態に係るPOSシステム1において、エッジデバイス6は、サーバ4又はPOS端末8に統合され、1つの装置として実現されてもよい。
【0074】
このように、実施形態に係るPOS端末8は、店員が登録する店員モードと、客が商品登録するセルフモードとを切り換え可能に構成されている。また、実施形態に係るPOS端末8は、動作モードに応じてパッケージ認識における商品確定のための類似度の閾値、すなわち認識率の閾値を変更するように構成されている。ここで、実施形態に係るPOSシステム1において、セルフモードの認識率の閾値は、店員モードの認識率の閾値より高い。
【0075】
一般に、パッケージ認識に供される画像は、操作者がシンボルを撮像部87へ向ける動作前、あるいは動作中にも取得可能である。このため、パッケージ認識による商品の特定を早めることにより、取引処理のスループットを向上し、顧客及び店員の双方の利便性を向上することができる。例えば、店員側が操作する際に誤登録が発生しても、店員側は誤登録された商品を削除する消し込み処理を行うことができる。このため、パッケージ認識の認識率の閾値を低く、すなわち画像認識の精度を低く設定することにより、パッケージ認識の速度を向上させることができる。しかしながら、パッケージ認識の精度を低下させた場合、顧客が操作する際にも同様に誤登録が増加し得るため、例えば不正を防止する観点から店員が消し込み処理を行う必要があることから、店員が介在する処理が増加するという問題があった。店員が介在する処理が増加すると、店員負担が増加し、また、取引処理のスループットが低下するなど、顧客及び店員の双方の利便性が低下するという問題があった。
【0076】
このような中、実施形態に係るPOS端末8によれば、セルフモードで動作するPOS端末8におけるパッケージ認識(画像認識)の認識精度を、店員モードで動作する場合より高めることができる。このため、セルフモードにおいては、画像認識における誤認識に伴う誤登録が抑制され、店員が介在する処理を抑制することができる。したがって、実施形態に係るPOS端末8によれば、店員モードとセルフモードとを切り換え可能なPOS端末8における利便性を向上することができる。
【0077】
(第1の変形例)
上述の実施形態では、動作モードに応じてパッケージ認識における認識率の閾値を変更するPOSシステム1を例示した。このような中、パッケージ認識における認識率の閾値は、店員の種別にさらに応じて変更されてもよい。
【0078】
例えば、パッケージ認識における認識率の閾値は、POS端末8を用いて販売データ処理を行う店員が、誤登録の消し込み処理を行う取り消し権限を有する店員であるか否かに応じて異ならせることもできる。この場合、取り消し権限を有する店員がPOS端末8を用いて販売データ処理を行う店員モードの認識率の閾値は、取り消し権限を有しない店員がPOS端末8を用いて販売データ処理を行う店員モードの認識率の閾値より小さい。ただし、取り消し権限を有しない店員がPOS端末8を用いて販売データ処理を行う店員モードの認識率の閾値は、例えばセルフモードの認識率の閾値より小さいが、同一とすることもできる。
【0079】
例えば、本変形例に係る閾値情報823は、POS端末の動作モード8231と、店員又は前記店員の種別を示す店員情報と、認識率の閾値8232との対応を示す情報である。換言すれば、本変形例に係る閾値情報823において、店員モードの認識率の閾値は、店員又は店員の種別を示す店員情報ごとに異なる。店員を示す店員情報とは、例えば店員を一意に特定するための店員IDなどの情報である。店員の種別を示す店員情報とは、例えば店員が取り消し権限を有するか否かを示す情報である。
【0080】
例えば、本変形例に係るPOSシステム1において、POS端末8は、設定された動作モード及び店員情報に応じた認識率の閾値を閾値情報823から読み出し、エッジデバイス6に出力する(S2)。
【0081】
なお、エッジデバイス6側に本変形例に係る閾値情報823が登録されていてもよい。この場合、S2の処理においては、認識率の閾値に関する情報として、いずれのモードで動作するかを示すモード情報に加えて店員情報がPOS端末8からエッジデバイス6へ提供されればよい。あるいは、S2の処理において閾値情報823、モード情報及び店員情報がPOS端末8からエッジデバイス6へ提供された後、エッジデバイス6において認識率の閾値が選択されてもよい。
【0082】
この構成によれば、店員の取り消し権限の有無に応じて認識率の閾値を異ならせることができる。例えば取り消し権限を有する店員であれば、誤登録の消し込み処理を自身で行うことができるため、認識率の閾値を低く設定することにより、パッケージ認識に要する時間を短縮することができる。例えば取り消し権限を有しない店員であっても、店員同士の消し込み依頼であれば、例えば不正防止の観点からセルフモードでの顧客からの消し込み依頼に比して簡易な確認とすることができるため、セルフモードより認識率の閾値を低く設定することにより、パッケージ認識に要する時間を短縮することができる。
【0083】
(第2の変形例)
また、店員の種別としては、取り消し権限の有無に代えて、あるいは加えて、店員の習熟度が用いられてもよい。
【0084】
例えば、本変形例において、店員の種別を示す店員情報とは、例えば店員が取り消し権限を有するか否かを示す情報と、店員の習熟度を示す情報とのうちの少なくとも一方である。
【0085】
例えば、習熟度が高い、すなわち熟練の店員がPOS端末8を用いて販売データ処理を行う場合の店員モードの認識率の閾値は、習熟度が低い店員の場合より小さい。
【0086】
なお、店員の習熟度は、店舗における例えば店員の入力や複数の店舗を管理・総括する本部における例えば管理者の入力に基づいて登録される情報であってもよいし、過去のパッケージ認識における類似度や消し込み処理の有無又は頻度といった、過去のパッケージ認識の履歴情報に基づいてPOSシステム1により算出されてもよい。例えば、過去のパッケージ認識における類似度又は類似度の平均値や中央値などの統計値が高いほど、あるいは、消し込み処理の回数や頻度が小さいほど、習熟度が高いと判断され得る。
【0087】
この構成によれば、店員の習熟度に応じて認識率の閾値を異ならせることができる。例えば習熟度が高い店員によれば、例えば持ち方や手の位置を調整するなど、パッケージ認識に適した画像が取得されるように商品を読み取り領域へかざすことができる。あるいは、例えば習熟度が高い店員によれば、誤登録を見逃すおそれが低い。これらのことから、店員の習熟度が高いほど誤認識が発生しにくく、認識率の閾値を低く設定することにより、パッケージ認識に要する時間を短縮することができる。
【0088】
(第3の変形例)
なお、パッケージ認識における認識率の閾値は、店員の種別に代えて、あるいは加えて、時間帯に応じて変更されてもよい。
【0089】
例えば、パッケージ認識における認識率の閾値は、予め定められた時間帯に応じて異ならせることもできる。この場合、例えば店舗が混雑する時間帯や店員が少ない時間帯などの繁忙時の時間帯の認識率の閾値は、閑散時の時間帯の認識率の閾値より高い。
【0090】
例えば、本変形例に係る閾値情報823は、POS端末の動作モード8231と、店員情報及び/又は時間帯を示す時間帯情報と、認識率の閾値8232との対応を示す情報である。換言すれば、本変形例に係る閾値情報823において、店員モードの認識率の閾値は、店員情報及び/又は時間帯情報ごとに異なる。
【0091】
例えば、本変形例に係るPOSシステム1において、POS端末8は、設定された動作モードと、店員情報及び/又は時間帯情報と、に応じた認識率の閾値を閾値情報823から読み出し、エッジデバイス6に出力する(S2)。
【0092】
なお、エッジデバイス6側に本変形例に係る閾値情報823が登録されていてもよい。この場合、S2の処理においては、認識率の閾値に関する情報として、いずれのモードで動作するかを示すモード情報に加えて、店員情報及び/又は時間帯情報がPOS端末8からエッジデバイス6へ提供されればよい。あるいは、S2の処理において閾値情報823及びモード情報に加えて、店員情報及び/又は時間帯情報がPOS端末8からエッジデバイス6へ提供された後、エッジデバイス6において認識率の閾値が選択されてもよい。
【0093】
なお、時間帯情報に基づくパッケージ認識における認識率の閾値の変更は、店員モードに限らず、セルフモードに対して適用されてもよい。
【0094】
なお、時間帯情報は、店舗における例えば店員の入力や複数の店舗を管理・総括する本部における例えば管理者の入力に基づいて登録される情報であってもよいし、過去の取引処理の履歴や店員のシフトの情報といった、各種の情報に基づいてPOSシステム1により算出されてもよい。
【0095】
この構成によれば、店舗の混雑状況に応じて認識率の閾値を異ならせることができる。例えば店舗が混雑する時間帯や店員が少ない夜間には認識率の閾値を高く設定することにより、パッケージ認識における誤認識に起因する誤登録を抑制し、店員が介在する処理の発生を抑制することができる。
【0096】
以上説明した少なくとも1つの実施形態によれば、店員モードとセルフモードとを切り換え可能な販売データ処理装置における利便性を向上することができる。
【0097】
なお、上述の実施形態において「Aであるかを判定する」とは、「Aであることを判定する」ことであってもよいし、「Aではないことを判定する」ことであってもよいし、「Aであるか否かを判定する」ことであっても構わない。
【0098】
なお、本実施形態のPOSシステム1の各装置で実行される各制御プログラムは、ROM等の記録媒体に予め組み込まれて提供される。
【0099】
本実施形態のPOSシステム1の各装置で実行される各制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0100】
さらに、本実施形態のPOSシステム1の各装置で実行される各制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のPOSシステム1の各装置で実行される各制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0101】
本実施形態のエッジデバイス6で実行される制御プログラム621は、上述した各部(閾値設定部611及びパッケージ認識部612)を含むモジュール構成となっている。制御部61のプロセッサは、上記記録媒体から制御プログラム621を読み出して、上記各部を制御部61のRAMなどの主記憶装置上にロードする。これにより、上記各部が、主記憶装置上に生成される。
【0102】
本実施形態のPOS端末8で実行される制御プログラム821は、上述した各部(モード設定部811、閾値指定部812、読取制御部813及び商品登録部814)を含むモジュール構成となっている。制御部81のプロセッサは、上記記録媒体から制御プログラム821を読み出して、上記各部を制御部81のRAMなどの主記憶装置上にロードする。これにより、上記各部が、主記憶装置上に生成される。
【0103】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0104】
(付記)
(1)
店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定するモード設定部と、
撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、前記セルフモードの前記認識率の閾値が前記店員モードの前記認識率の閾値より高くなるように、設定された前記動作モードに応じて変更する閾値指定部と、
前記パッケージ認識により特定された商品を登録する商品登録部と、を備える、
販売データ処理装置。
(2)
前記動作モードと、前記認識率の閾値との対応を示す閾値情報を記憶する記憶部をさらに備える、
上記(1)に記載の販売データ処理装置。
(3)
前記店員モードの前記認識率の閾値は、前記店員又は前記店員の種別を示す店員情報ごとに異なる、
上記(1)又は上記(2)に記載の販売データ処理装置。
(4)
前記認識率の閾値は、時間帯を示す時間帯情報ごとに異なる、
上記(1)から上記(3)のうちのいずれか一項に記載の販売データ処理装置。
(5)
店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで販売データ処理装置を動作するかを設定するモード設定部と、
設定された前記動作モードに応じて、撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を変更する閾値設定部と、
変更された前記認識率の閾値を用いたパッケージ認識により商品を特定するパッケージ認識部と、
前記パッケージ認識により特定された商品を登録する商品登録部と、を含む、
販売データ処理システム。
(6)
店員が商品を登録する店員モードと、顧客が商品を登録するセルフモードとのいずれの動作モードで動作するかを設定し、
撮像して得られた画像に含まれる商品を特定するパッケージ認識における認識率の閾値を、前記セルフモードの前記認識率の閾値が前記店員モードの前記認識率の閾値より高くなるように、設定された前記動作モードに応じて変更し、
前記パッケージ認識により特定された商品を登録する、
ことをコンピュータに実行させるためのプログラム。
(7)
コンピュータにより実行されるプログラムであって、上記(6)に記載のプログラムが記録された記録媒体(Computer Program Product)。
【符号の説明】
【0105】
1 POSシステム
4 サーバ
6 エッジデバイス
61 制御部
611 閾値設定部
612 パッケージ認識部
62 記憶部
621 制御プログラム
622 物体検出モデル
623 特徴抽出モデル
624 照合用辞書
63 コントローラ
64 通信部
69 バス
8 POS端末
81 制御部
811 モード設定部
812 閾値指定部
813 読取制御部
814 商品登録部
82 記憶部
821 制御プログラム
822 商品マスタ
823 閾値情報
8231 POS端末の動作モード
8232 認識率の閾値
83 コントローラ
84 通信部
85 操作部
86 表示部
87 撮像部
89 バス
【先行技術文献】
【特許文献】
【0106】