特開 2024-153366 商品特定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024153366

(43)【公開日】2024-10-29

(54)【発明の名称】商品特定システム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20241022BHJP

   G07G 1/12 20060101ALI20241022BHJP

   G07G 3/00 20060101ALI20241022BHJP

   G06Q 30/06 20230101ALI20241022BHJP

【ＦＩ】

G07G1/00 311Z

G07G1/12 301E

G07G3/00

G06Q30/06

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023067222

(22)【出願日】2023-04-17

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】鈴木 勇貴

【テーマコード（参考）】

3E142

5L030

5L049

【Ｆターム（参考）】

3E142CA20

3E142DA11

3E142EA02

3E142EA04

3E142GA22

3E142GA35

3E142GA41

3E142JA01

3E142KA08

5L030BB72

5L049BB72

(57)【要約】

【課題】ＡＩによる画像認識を利用して信頼性の高い商品登録を可能とする商品特定システムを提供しようとするものである。
【解決手段】特定部によって、カートに設けられた撮像部により取得された画像に基づいて、カートに投入された商品を特定する商品特定システムは、撮像部により取得された画像に含まれる商品の個数が規定の上限数を超えるとき、報知部により、特定部による商品の特定精度が低いことを報知する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

カートに設けられた撮像部と、
前記撮像部により取得された画像に基づいて、前記カートに投入された商品を特定する特定部と、
前記撮像部により取得された前記画像に含まれる商品の個数が規定の上限数を超えるとき、前記特定部による前記商品の特定精度が低いことを報知する報知部と、
を備える、商品特定システム。

【請求項2】

前記報知部は、更に、前記上限数を超えて投入された前記商品を前記カートから取り出し、前記上限数を超えない個数で再度前記商品を投入することを促すメッセージを出力する、
請求項１に記載の商品特定システム。

【請求項3】

前記撮像部は、前記画像を繰り返し取得し、
前記特定部は、前記撮像部により繰り返し取得された前記画像の間に変化が有ったとき、前記商品の特定を開始する、
請求項１に記載の商品特定システム。

【請求項4】

前記カートを利用するユーザによる確認操作を受ける操作部を更に備え、
前記報知部は、前記操作部が前記確認操作を受け付けたとき、前記報知を終了する、
請求項１乃至３の何れかに記載の商品特定システム。

【請求項5】

前記報知部は、更に、前記報知の開始後に前記特定部により商品が特定されたとき、前記報知を終了する、
請求項４に記載の商品特定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品特定システムに関する。

【背景技術】

【0002】

ショッピングカートを装備した小売店向けに、カートＰＯＳ（Point Of Sales）システムが提案されている。このようなカートＰＯＳにはショッピングカートにタッチパネル、スキャナ等を備えた情報端末を設ける。ショッピングカートを使用する客であるユーザは、購入しようとする商品、いわゆる購買商品をショッピングカートに載せる際に、その購買商品の識別コードをスキャナで読み取らせて商品登録を行う。このように、カートＰＯＳシステムは、ユーザ自身が買い物をしながら商品登録を行うので、会計場、いわゆるレジの混雑を緩和できる。

【0003】

近年のＡＩ（人工知能）の発展に伴い、このカートＰＯＳシステムにおいても、ＡＩの利用が試みられている。これは、フリクションレスカート、ＡＩカート、スマートカート、インテリジェントカート、などと呼称されるもので、ユーザがカートに商品を投入するだけで、ＡＩによる商品パッケージの画像認識により、カートに投入された商品の種別を自動的に識別し特定して、商品登録を自動で実行する（例えば、特許文献１を参照）。これにより、ユーザは、購買商品の識別コードをスキャナで読み取らせる必要がなくなる。

【0004】

このようなＡＩを利用したカートＰＯＳシステムにおいては、例えば１つの商品をカートに投入した場合、比較的高い確率で商品登録することが可能である。

【0005】

しかしながら、１つより多い数の商品を同時に、つまり一緒に、カートに投入する場合には、商品の画像による識別精度つまり商品を特定する精度が極端に落ちるという課題があった。そのため、商品登録の信頼度が十分でない場合が有った。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－８７５７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の実施形態が解決しようとする課題は、ＡＩによる画像認識を利用して信頼性の高い商品登録を可能とする商品特定システムを提供しようとするものである。

【課題を解決するための手段】

【0008】

一実施形態において、商品特定システムは、撮像部と、特定部と、報知部と、を備える。撮像部は、カートに設けられる。特定部は、撮像部により取得された画像に基づいて、カートに投入された商品を特定する。報知部は、撮像部により取得された画像に含まれる商品の個数が規定の上限数を超えるとき、特定部による商品の特定精度が低いことを報知する。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る商品特定システムを適用したカートＰＯＳシステムの全体構成図。

【図2】モバイルコントローラの情報端末テーブルの主要なデータ構造を示す模式図。

【図3】情報端末の要部回路構成を示すブロック図。

【図4】ショッピングカートへの情報端末の取り付け位置を示す模式図。

【図5】情報端末における情報処理装置のプロセッサが、端末プログラムに従って実行する主要な情報処理の手順を示す流れ図の第１の部分を示す図。

【図6】情報端末における情報処理装置のプロセッサが、端末プログラムに従って実行する主要な情報処理の手順を示す流れ図の第２の部分を示す図。

【図7】第２実施形態に係るモバイルコントローラの要部回路構成を示すブロック図。

【図8】モバイルコントローラのプロセッサが、カート制御プログラムに従って実行する主要な情報処理の手順を示す流れ図の第１の部分を示す図。

【図9】モバイルコントローラのプロセッサが、カート制御プログラムに従って実行する主要な情報処理の手順を示す流れ図の第２の部分を示す図。

【発明を実施するための形態】

【0010】

以下、商品特定システムの実施形態について、図面を用いて説明する。なお、以下の実施形態は、カートＰＯＳシステムに適用した場合である。

【0011】

［第１実施形態］
図１は、第１実施形態に係る商品特定システムを適用したカートＰＯＳシステム１の全体構成図である。カートＰＯＳシステム１は、店舗サーバ２、カートコントローラ３、アクセスポイント（図１ではＡＰと示す）４及び会計機５を含む。店舗サーバ２、カートコントローラ３、アクセスポイント４及び会計機５は、ＬＡＮ（Local Area Network）又は無線ＬＡＮ等のネットワーク６に接続されている。カートＰＯＳシステム１は、アクセスポイント４を介してネットワーク６に接続される複数の情報端末７を含む。

【0012】

情報端末７は、購買者である客が、購買商品の登録に係るデータの入力をセルフで行うことを可能とした機器である。情報端末７は、客が店舗内で買い物をする際に利用するショッピングカート８に設けられている。以下では、ショッピングカート８を単にカート８と称する。複数のカート８に、それぞれ情報端末７が設けられている。カート８は、そのカート８を利用する客の購買商品を搬送する搬送体の一例である。

【0013】

情報端末７は、カート８に設けられている。情報端末７は購買商品の登録に係る操作のためのユーザインタフェースとして機能する情報処理端末である。情報端末７は、無線ユニットを備えている。情報端末７は、アクセスポイント４と無線通信を行う。アクセスポイント４は、ネットワーク６に繋がる各機器、すなわち店舗サーバ２、カートコントローラ３及び会計機５と、情報端末７との通信を中継する。アクセスポイント４は、図１では１台のみ示しているが、店舗の規模等により２台以上あってもよい。

【0014】

会計機５は、購買商品の会計を店員若しくは客が行うことを可能とした機器である。会計機５は、周知のセルフ式ＰＯＳ端末である。会計機５は、周知の対面式ＰＯＳ端末であってもよい。会計機５の台数は、特に制限されない。

【0015】

店舗サーバ２は、店舗業務を支援する。その支援のために店舗サーバ２は、商品データベース（ＤＢ）２１、会員データベース（ＤＢ）２２等を管理する。

【0016】

商品データベース２１は、店舗で販売される商品毎に、商品データを記述した商品レコードを保存する。商品レコードは、商品コード、価格、商品名等を含む。商品コードは、商品の識別コードである。売上データベースは、商品、部門、時間帯、日付、週、月等の項目毎に売上データを記述した売上レコードを保存する。売上データは、売上点数、売上金額等を含む。

【0017】

また、本実施形態においては、商品データベース２１は、当該商品データベース２１に保存された商品をＡＩにより認識するための、予め学習された学習データ２１１を記憶している。この学習データ２１１は、店舗で販売される商品毎学習データの集合であり、商品毎学習データは、例えば商品コードに対応付けて、学習データ２１１に組み込まれている。学習データ２１１は、店舗で販売される商品の追加や入れ替えに応じた商品データベース２１の更新に合わせて、当該商品に関する商品毎学習データを更新させることができる。各商品の商品毎学習データは、当該商品の提供元が作成して店舗に提供するものとしてもよいし、店舗において独自に作成してもよい。学習データ２１１は、上記の学習データの他に、人物の手のデータなど、商品以外のデータを学習させてもよい。

【0018】

会員データベース２２は、会員毎に会員データを記述した会員レコードを保存する。会員データは、会員ＩＤ、氏名、性別、メールアドレス等を含む。会員ＩＤは、各会員を個々に識別するために会員毎に設定された一意の会員番号等のコードである。会員は、会員ＩＤが記録された記録媒体を所有する。記録媒体は、例えば磁気カード、接触式ＩＣ（Integrated Circuit）カード、非接触式ＩＣカード、スマートフォン等である。

【0019】

なお、店舗サーバ２は、特に図示はしていないが、更に、会員決済データベースを管理するようにしてもよい。会員決済データベースは、会員毎に、代金の支払いに必要なデータを記述した会員決済レコードを保存する。会員決済レコードは、会員ＩＤの他、代金の支払いに必要なデータとして電子マネー識別コードと電子マネーユーザＩＤを含む。本実施形態に係るカートＰＯＳシステム１は、会員が会計機５を使用しない場合の代金支払い方法を電子マネーの１種類に制限する。電子マネー識別コードは、会員ＩＤで識別される会員が代金支払いに使用するものとして事前に登録した電子マネーの識別コードである。電子マネーユーザＩＤは、電子マネーセンタＥＭＣが電子マネーのユーザを識別するための識別コードであり、電子マネーセンタＥＭＣによって付与される。会員は、電子マネーによる支払を可能とするために、例えば会員登録の際など事前に、これら電子マネー識別コードと電子マネーＩＤを登録する。なお、この電子マネーについての事前登録が行われていない場合、会員決済レコードの電子マネー識別コードと電子マネーＩＤには、ＮＵＬＬ又は００００が記憶されるものとする。また、このように電子マネーを使用可能とする場合、店舗サーバ２は、通信サーバの機能を備える、又は、カートＰＯＳシステム１が通信サーバを含む。店舗サーバ２又は通信サーバは、会計機５又はカートコントローラ３と電子マネーによる決済を支援する電子マネーセンタとの間で、インターネット又は電子マネー専用ネットワーク等の外部通信ネットワークを介して行われるデータ通信処理を支援する。

【0020】

カートコントローラ３は、情報端末７と協働することで、その情報端末７がＰＯＳ端末として機能しているように見せかけるための支援を行う。カートコントローラ３は、情報端末７それぞれに対応する情報端末テーブル３１を有する。図２は、情報端末テーブル３１の一例を示す模式図である。図２に示すように、情報端末テーブル３１は、端末ＩＤ領域３１１、会員ＩＤ領域３１２、１乃至複数の購買商品データ領域３１３及び小計額領域３１４を有する。端末ＩＤ領域３１１は、当該情報端末テーブル３１が対応する情報端末７を一意に識別するための端末番号等のコードである端末ＩＤを記憶する。会員ＩＤ領域３１２は、会員ＩＤを記憶する。購買商品データ領域３１３は、客が情報端末７で購入しようとする商品を登録する毎に、当該商品についての購買商品データを記憶する。購買商品データは、客が購入する購買商品の商品コード、単価、販売点数（個数）、商品名、販売金額、税額等からなる。小計額領域３１４は、購買商品データ領域３１３に記憶されている購買商品データに基づいて算出される、客が購入する購買商品全てについての販売金額と税額の合計金額を示す金額データである。これは、客が購入しようとする商品の登録操作を行う毎に、更新されることができる。

【0021】

図３は、情報端末７の要部回路構成を示すブロック図である。また、図４は、カート８への情報端末７の取り付け位置を示す模式図である。情報端末７は、情報処理装置７１、リーダ７２及びカメラ７３を含む。情報処理装置７１は、専用の装置であってもよいし、タブレット型コンピュータ等の汎用の装置であってもよい。情報処理装置７１は、プロセッサ７１１、メインメモリ７１２、補助記憶デバイス７１３、無線ユニット７１４、タッチパネル７１５、スピーカ７１６及びシステム伝送路７１７を備える。システム伝送路７１７は、アドレスバス、データバス、制御信号線等を含む。情報処理装置７１は、システム伝送路７１７に、プロセッサ７１１、メインメモリ７１２、補助記憶デバイス７１３、無線ユニット７１４、タッチパネル７１５及びスピーカ７１６を接続する。リーダ７２及びカメラ７３は、図示しないインタフェースを介して、システム伝送路７１７に接続される。情報処理装置７１では、プロセッサ７１１、メインメモリ７１２及び補助記憶デバイス７１３と、これらを接続するシステム伝送路７１７とによってコンピュータが構成される。

【0022】

プロセッサ７１１は、上記コンピュータの中枢部分に相当する。プロセッサ７１１は、オペレーティングシステム又はアプリケーションプログラムに従って、情報処理装置７１としての各種の機能を実現するべく各部を制御する。プロセッサ７１１は、例えばＣＰＵ（Central Processing Unit）であるが、これに限定されない。プロセッサ７１１は、マルチコア／マルチスレッドのものであって良く、複数の処理を並行して実行することができる。また、プロセッサ７１１は、ＡＩに特化したＡＩチップを含むことができる。さらに、プロセッサ７１１は、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（Digital Signal processor）、等の集積回路を含む、他の多様な形式で実現されてもよい。

【0023】

メインメモリ７１２は、上記コンピュータの主記憶部分に相当する。メインメモリ７１２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ７１２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ７１２は、プロセッサ７１１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ７１２は、揮発性のメモリ領域を、プロセッサ７１１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

【0024】

補助記憶デバイス７１３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（登録商標）（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、或いはＳＳＤ（Solid State Drive）等が補助記憶デバイス７１３となり得る。補助記憶デバイス７１３は、プロセッサ７１１が各種の処理を行う上で使用するデータ、或いはプロセッサ７１１での処理によって作成されたデータ等を保存する。補助記憶デバイス７１３は、上記のアプリケーションプログラムを記憶する場合もある。本実施形態では、アプリケーションプログラムとして、情報処理装置７１、リーダ７２及びカメラ７３を実施形態に係る情報端末７として機能させるための端末プログラム７１３１を保存する。端末プログラム７１３１は、商品の同時投入数の上限値を規定する投入数上限値データ７１３１１を含む。なお、端末プログラム７１３１は、メインメモリ７１２に記憶されてもよい。また、補助記憶デバイス７１３は、店舗サーバ２の商品データベース２１に記憶されている店舗で販売される商品それぞれについて、ＡＩによる商品認識のために学習された学習データ７１３２を記憶する。この学習データ７１３２は、店舗サーバ２の商品データベース２１が含む学習データ２１１のコピーであってよい。この学習データ２１１を学習データ７１３２としてコピーするタイミングは、当該情報処理装置７１の毎回の起動時といった特定のタイミングとしてもよいし、学習データ２１１の更新時に店舗サーバ２から各情報処理装置７１に対して配信されるというように任意のタイミングであってもよい。

【0025】

無線ユニット７１４は、アクセスポイント４との間で無線通信プロトコルに従いデータの無線通信を行う。

【0026】

タッチパネル７１５は、情報端末７の入力デバイスと表示デバイスとを兼ね備えた機器である。タッチパネル７１５は、プロセッサ７１１から出力された画像データに基づく画像を表示し、また、表示された画像に対するタッチ位置を検出して、そのタッチ位置情報をプロセッサ７１１に出力する。図４に示すように、情報処理装置７１は、カート８を押しながら移動する客が、このタッチパネル７１５の表示を見たり、タッチ操作をしたりできるような位置及び向きに、カート８に取り付けられている。

【0027】

スピーカ７１６は、プロセッサ７１１から出力された音データに基づく音を再生する。再生する音は、確認音、アラート警報音等を含む。

【0028】

リーダ７２は、記録媒体に記録されたデータを読み取り、読み取ったデータをプロセッサ７１１に出力する。リーダ７２は、記録媒体が磁気カードの場合は磁気カードリーダであり、接触式ＩＣカードの場合にはＩＣカードリーダである。非接触式ＩＣカード又はスマートフォン等のようにＲＦＩＤ（Radio Frequency Identification）を使用した記録媒体の場合には、ＲＦＩＤリーダがリーダ７２として使用される。このリーダ７２のカート８への取付位置は特に規定しない。例えば、情報処理装置７１の横に取り付けることができる。

【0029】

カメラ７３は、図４に示されるように、カート８の籠受部８１を上方から撮影できるように、カート８に設けられている。カメラ７３は、カート８の籠受部８１又は籠受部８１に置かれた籠に対する商品の投入又は返却を監視するためのものである。カメラ７３には、照明用のＬＥＤ（Light Emitting Diode）ランプ７３１が据え付けられることができる。カメラ７３及びＬＥＤランプ７３１の動作状態は、プロセッサ７１１がシステム伝送路７１７を介して制御可能となっている。なお、図３及び図４では、カメラ７３を１台のみ示しているが、２台以上あってもよい。例えば、４台のカメラ７３を、カート８の籠受部８１の４辺或いは４隅に配置しても構わない。カメラ７３の種類によっては、明るさが十分に確保されている場合があるので、ＬＥＤランプ７３１を据え付けないで運用しても構わない。

【0030】

また、情報端末７は、図３に破線で示すように、システム伝送路７１７に図示しないインタフェースを介して接続され、プロセッサ７１１によって動作状態が制御されるパトランプ７４を更に備えていてもよい。パトランプ７４は、当該カート８を利用している客及び付近の店員に対して警告を報知するためのランプである。

【0031】

図５及び図６は、情報端末７における情報処理装置７１のプロセッサ７１１が、端末プログラム７１３１に従って実行する主要な情報処理の手順を示す流れ図である。

【0032】

以下、この流れ図を用いて、客がカート８の情報端末７を使用して購買商品の登録から決済までをセルフで行う場合のカートＰＯＳシステム１の主要な動作について説明する。なお、以下に説明する動作は一例である。同様な結果が得られるのであれば、その手順は特に限定されるものではない。またここでは、リーダ７２により記録媒体に記録されたデータを読み取り、既にログインが行われているものとする。すなわち、当該情報端末７に対応する、カートコントローラ３の情報端末テーブル３１の会員ＩＤ領域３１２には、既に客の記録媒体から読み取った会員ＩＤが記憶されている。

【0033】

情報処理装置７１のプロセッサ７１１は、ＡＣＴ１１として、カメラ７３のＬＥＤランプ７３１を点灯させて、カメラ７３により画像を撮影させる。撮影された画像の画像データは、メインメモリ７１２に記憶される。なお、メインメモリ７１２には、この画像データを複数フレーム分記憶する領域が確保され、プロセッサ７１１は、新しい画像データをその領域に記憶する際、最も古い画像データを消去して確保した領域に、その新しい画像データを記憶するものとする。その後、プロセッサ７１１は、ＡＣＴ１２へと進む。

【0034】

プロセッサ７１１は、ＡＣＴ１２として、メインメモリ７１２に記憶されている最新の画像データから、画像内の移動している商品を物体検出する。具体的には、プロセッサ７１１は、最新の画像中の物体に対して物体検出を行い、バウンディングボックスと称される矩形領域を設定し、補助記憶デバイス７１３に記憶された学習データ７１３２に基づいて、画像内の物体を検出する。検出された物体と画像データ中の当該物体の検出位置とは、メインメモリ７１２に記憶された画像データに関連付けて、メインメモリ７１２に記憶される。その後、プロセッサ７１１は、ＡＣＴ１３へと進む。

【0035】

プロセッサ７１１は、ＡＣＴ１３として、メインメモリ７１２に記憶されている最新の画像データの物体及び検出位置を古い画像データの物体及び検出位置と比較することで、変化が有るか否か判断する。カート８の籠受部８１又は籠受部８１に置かれた籠に対して商品が投入されたり、籠受部８１又は籠から商品が取り出されるつまり商品の返却が有ったりすると、その投入又は返却のために移動中の商品がカメラ７３により撮影される。よって、商品が投入又は返却された際には、最新の画像データの物体及び検出位置と古い画像データの物体及び検出位置との間には差異が発生するので、プロセッサ７１１は、変化が有ると判断することができる。変化が無いと判断した場合、プロセッサ７１１は、ＡＣＴ１３においてＮＯと判定し、上記ＡＣＴ１１へと進む。また、変化が有ると判断した場合には、プロセッサ７１１は、ＡＣＴ１３においてＹＥＳと判定し、ＡＣＴ１４へと進む。

【0036】

以上のＡＣＴ１１，ＡＣＴ１２，ＡＣＴ１３でなるループにより画像撮影を繰り返していく。そして、撮影した画像に変化が有ると、プロセッサ７１１は、ＡＣＴ１４へと進む。

【0037】

プロセッサ７１１は、ＡＣＴ１４として、画像中の移動している商品を認識する。具体的には、プロセッサ７１１は、補助記憶デバイス７１３に記憶された学習データ７１３２に基づいて、ＡＣＴ１２で検知してメインメモリ７１２に記憶している、バウンディングボックス内の物体に対して画像認識を行い、その物体が何れの商品であるのかを特定する。その後、プロセッサ７１１は、ＡＣＴ１５へと進む。

【0038】

プロセッサ７１１は、ＡＣＴ１５として、商品が特定できたか否か判断する。画像に写っている商品の部分が少ないと、その商品が何であるのか特定することができない。商品が特定できなかったと判断した場合には、プロセッサ７１１は、ＡＣＴ１５においてＮＯと判定し、上記ＡＣＴ１１へと進む。本実施形態では、カメラ７３の画角と、ＡＣＴ１１，ＡＣＴ１２，ＡＣＴ１３でなるループで繰り返される画像の撮影周期及びＡＣＴ１１，ＡＣＴ１２，ＡＣＴ１３，ＡＣＴ１４，ＡＣＴ１５でなるループで繰り返される画像の撮影周期は、予め規定された最大サイズの商品が自由落下した場合に、その全体が写った画像を少なくとも１枚撮影できるように設定されている。勿論、複数枚の画像を合成することで商品全体が写った画像を生成した上で商品認識をするような構成としてもよい。商品が特定できたと判断した場合、プロセッサ７１１は、ＡＣＴ１５においてＹＥＳと判定し、ＡＣＴ１６へと進む。

【0039】

プロセッサ７１１は、ＡＣＴ１６として、カート８の籠受部８１又は籠受部８１に置かれた籠に商品が投入されたのか否か判断する。例えば、プロセッサ７１１は、最新の画像と過去の画像に写っている同一商品の移動方向により、その商品が投入されたのか取り出されたのか判断することができる。或いは、図示しない重量計をショッピングカート８の籠受部８１の底面に配置しておき、重量が増加したのか減少したのかにより、商品の投入／取り出しを検出することも可能である。商品が投入されたのではない、つまり商品が取り出されたと判断した場合、プロセッサ７１１は、ＡＣＴ１６においてＮＯと判定し、ＡＣＴ２１へと進む。また、商品が投入されたと判断した場合、プロセッサ７１１は、ＡＣＴ１６においてＹＥＳと判定し、ＡＣＴ１７へと進む。

【0040】

プロセッサ７１１は、ＡＣＴ１７として、上記ＡＣＴ１４で認識し特定した商品の個数である商品投入数が、補助記憶デバイス７１３に投入数上限値データ７１３１１として記憶されている商品の同時投入数上限値よりも少ないか否か判断する。本実施形態では、この商品の同時投入数上限値は「２」である。すなわち、このＡＣＴ１７は、複数個の商品が同時投入されていないかどうか判断するものである。商品投入数が同時投入数上限値より少ない、つまり投入された商品が１個であれば、商品は精度良く認識し特定される。これに対して、複数個の商品が同時投入されると、商品を特定する精度が極端に落ちる。そこで、このＡＣＴ１７において、プロセッサ７１１は、商品の投入数が同時投入数上限値を超えるか否か、つまり複数個の使用が投入されたか否かを判断するようにしている。なお、この商品の投入数は、画像認識に使用した画像に設定されたバウンディングボックスの数、つまりＡＣＴ１２で検知した物体の数とすることができる。商品投入数が同時投入数上限値以上である、つまり複数個の商品が投入されたと判断した場合、プロセッサ７１１は、ＡＣＴ１７においてＮＯと判定し、ＡＣＴ２４へと進む。また、商品投入数が同時投入数上限値より少ない、つまり投入された商品が１個であると判断した場合、プロセッサ７１１は、ＡＣＴ１７においてＹＥＳと判定し、ＡＣＴ１８へと進む。

【0041】

プロセッサ７１１は、上記ＡＣＴ１７において商品投入数が同時投入数上限値より少ない、つまり投入された商品が１個であると判断した場合、精度良く商品を特定できたと判定する。よって、この場合には、プロセッサ７１１は、ＡＣＴ１８として、無線ユニット７１４によりアクセスポイント４を介してカートコントローラ３へ商品投入通知を送信する。商品投入通知は、当該情報処理装置７１を含む情報端末７に対して割り振られた端末ＩＤと、上記ＡＣＴ１４で認識し特定した商品を示す商品コードと、を含むことができる。その後、プロセッサ７１１は、ＡＣＴ１９へと進む。

【0042】

商品投入通知を受信したカートコントローラ３は、その投入商品を登録する。すなわち、カートコントローラ３は、商品投入通知に含まれる商品コードにより商品情報を店舗サーバ２に問合せ、店舗サーバ２が管理する商品データベース２１に記憶されている商品情報を取得する。そして、その取得した商品情報を、商品投入通知に含まれる端末ＩＤを有する情報端末テーブル３１の購買商品データ領域３１３に、新たな購買商品データとして追加記憶する。そして、カートコントローラ３は、購買商品データ領域３１３に記憶されている購買商品データに基づいて、登録されている商品を報知するための登録商品画面を作成し、その登録商品画面を商品投入通知の送信元へ送信する。

【0043】

プロセッサ７１１は、ＡＣＴ１９として、無線ユニット７１４により、アクセスポイント４を介してカートコントローラ３から送信されてきた登録商品画面を受信する。その後、プロセッサ７１１は、ＡＣＴ２０へと進む。

【0044】

プロセッサ７１１は、ＡＣＴ２０として、タッチパネル７１５により、カート８を利用している客に、受信した登録商品画面を提示する。その後、プロセッサ７１１は、上記ＡＣＴ１１へと進む。

【0045】

このようにして、情報端末７は、カート８の籠受部８１又は籠受部８１に置かれた籠に商品が１つ投入されると、画像認識によりその商品が何であるのかを特定し、特定した商品を示す商品コードを含む商品投入通知をカートコントローラ３に送信することで、カートコントローラ３に当該商品を購買商品として登録させることができる。

【0046】

また、プロセッサ７１１は、上記ＡＣＴ１６において商品が取り出されたと判断した場合、ＡＣＴ２１として、無線ユニット７１４により、アクセスポイント４を介してカートコントローラ３へ商品返却通知を送信する。商品返却通知は、当該情報処理装置７１を含む情報端末７に対して割り振られた端末ＩＤと、上記ＡＣＴ１４で認識し特定した商品を示す商品コードと、を含むことができる。その後、プロセッサ７１１は、ＡＣＴ２２へと進む。

【0047】

商品返却通知を受信したカートコントローラ３は、その返却商品を、登録されている購買商品から削除する。すなわち、カートコントローラ３は、商品返却通知に含まれる端末ＩＤを有する情報端末テーブル３１の購買商品データ領域３１３に記憶されている、商品返却通知に含まれる商品コードの購買商品データを、その購買商品データ領域３１３から削除する。そして、カートコントローラ３は、購買商品データ領域３１３に記憶されている購買商品データに基づいて、登録されている商品を報知するための登録商品画面を作成し、その登録商品画面を商品投入通知の送信元へ送信する。

【0048】

プロセッサ７１１は、ＡＣＴ２２として、無線ユニット７１４により、アクセスポイント４を介してカートコントローラ３から送信されてきた登録商品画面を受信する。その後、プロセッサ７１１は、ＡＣＴ２３へと進む。

【0049】

プロセッサ７１１は、ＡＣＴ２３として、タッチパネル７１５により、カート８を利用している客に、受信した登録商品画面を提示する。その後、プロセッサ７１１は、上記ＡＣＴ１１へと進む。

【0050】

このようにして、情報端末７は、カート８の籠受部８１又は籠受部８１に置かれた籠から商品が取り出されると、画像認識によりその商品が何であるのかを特定し、特定した商品を示す商品コードを含む商品返却通知をカートコントローラ３に送信することで、カートコントローラ３に当該商品を購買商品から削除させることができる。一般に、返却商品は１個ずつ取り出されて商品棚に戻されるため、商品投入時のような個数の判定は行っていない。もちろん、商品返却時にも個数判定を行うようにしても構わない。

【0051】

また、プロセッサ７１１は、上記ＡＣＴ１７において商品投入数が同時投入数上限値以上である、つまり複数個の商品が投入されたと判断した場合、ＡＣＴ２４として、アラートを発報する。このアラートの発報手法は、特に限定するものではないが、例えば、カメラ７３に備え付けの照明用のＬＥＤランプ７３１を点滅させてもよいし、スピーカ７１６により特定の報知音を再生させてもよく、或いはそれら両方を採用してもよい。また、カート８がパトランプ７４を備える場合には、それらに代えて又はそれらと共に、そのパトランプ７４を点灯さるようにしてもよい。その後、プロセッサ７１１は、ＡＣＴ２５へと進む。

【0052】

プロセッサ７１１は、ＡＣＴ２５として、タッチパネル７１５により、カート８を利用している客に、再度商品の投入を促すメッセージを提示する。このメッセージは、例えば、タッチパネル７１５に表示されている登録商品画面に重畳表示される。提示される再度商品の投入を促すメッセージとしては、例えば、［投入した商品を戻してください。取り出し後、ＯＫボタンを押して、商品を一点ずつ投入してください。］等の具体的な行動を示すことが望ましい。プロセッサ７１１は、この再度商品の投入を促すメッセージと共にＯＫボタンの画像もタッチパネル７１５に表示させる。その後、プロセッサ７１１は、ＡＣＴ２６へと進む。

【0053】

プロセッサ７１１は、ＡＣＴ２６として、タッチパネル７１５に表示しているＯＫボタンが押下されたか否か判断する。すなわち、プロセッサ７１１は、タッチパネル７１５に表示されたＯＫボタンの画像に対する位置を客がタッチ操作したか否か判断する。ＯＫボタンの画像に対する位置を客がタッチ操作したとき、プロセッサ７１１は、ＯＫボタンが押下されたと判断する。ＯＫボタンが押下されたと判断した場合、プロセッサ７１１は、ＡＣＴ２６においてＹＥＳと判定し、ＡＣＴ３３へと進む。また、ＯＫボタンが押下されていないと判断した場合には、プロセッサ７１１は、ＡＣＴ２６においてＮＯと判定し、ＡＣＴ２７へと進む。

【0054】

プロセッサ７１１は、ＡＣＴ２７として、上記ＡＣＴ１１と同様に、カメラ７３により画像を撮影し、撮影された画像の画像データを、メインメモリ７１２に記憶する。その後、プロセッサ７１１は、ＡＣＴ２８へと進む。

【0055】

プロセッサ７１１は、ＡＣＴ２８として、上記ＡＣＴ１２と同様に、メインメモリ７１２に記憶されている最新の画像データから、画像内の移動している商品を物体検出する。検出された物体と画像データ中の当該物体の検出位置とは、メインメモリ７１２に記憶された画像データに関連付けて、メインメモリ７１２に記憶される。その後、プロセッサ７１１は、ＡＣＴ２９へと進む。

【0056】

プロセッサ７１１は、ＡＣＴ２９として、上記ＡＣＴ１３と同様に、メインメモリ７１２に記憶されている最新の画像データの物体及び検出位置を古い画像データの物体及び検出位置と比較することで、変化が有るか否か判断する。変化が無いと判断した場合、プロセッサ７１１は、ＡＣＴ２９においてＮＯと判定し、上記ＡＣＴ２６へと進む。また、変化が有ると判断した場合には、プロセッサ７１１は、ＡＣＴ２９においてＹＥＳと判定し、ＡＣＴ３０へと進む。

【0057】

プロセッサ７１１は、ＡＣＴ３０として、上記ＡＣＴ１４と同様に、画像中の移動している商品を認識して特定する。その後、プロセッサ７１１は、ＡＣＴ３１へと進む。

【0058】

プロセッサ７１１は、ＡＣＴ３１として、上記ＡＣＴ１５と同様に、商品が特定できたか否か判断する。商品が特定できなかったと判断した場合には、プロセッサ７１１は、ＡＣＴ３１においてＮＯと判定し、上記ＡＣＴ２６へと進む。商品が特定できたと判断した場合、プロセッサ７１１は、ＡＣＴ３１においてＹＥＳと判定し、ＡＣＴ３２へと進む。

【0059】

プロセッサ７１１は、ＡＣＴ３２として、上記ＡＣＴ１６と同様に、カート８の籠受部８１又は籠受部８１に置かれた籠に商品が投入されたのか否か判断する。商品が投入されたと判断した場合には、プロセッサ７１１は、ＡＣＴ３２においてＹＥＳと判定し、ＡＣＴ３４へと進む。また、商品が投入されたのではない、つまり商品が取り出されたと判断した場合、プロセッサ７１１は、ＡＣＴ３２においてＮＯと判定し、上記ＡＣＴ２６へと進む。

【0060】

このＡＣＴ３２における商品が取り出されたという判断は、タッチパネル７１５に提示された所定のメッセージに従って、客が複数投入した商品を取り出した動作により生じたものと考えるのが妥当である。別の商品が取り出される可能性は小さい。そのため、プロセッサ７１１は、上記ＡＣＴ２１のようなカートコントローラ３への商品返却通知の送信を行うことなく、上記ＡＣＴ２６へと進む。こうして、商品を返却した後、客はタッチパネル７１５に提示された所定のメッセージに従って、ＯＫボタンを押下する。これにより、プロセッサ７１１は、上記ＡＣＴ２６においてＯＫボタンが押下されたと判断し、ＡＣＴ３３へと進む。

【0061】

プロセッサ７１１は、ＡＣＴ３３として、ＬＥＤランプ７３１の点滅などのアラートの発報を終了すると共に、タッチパネル７１５に提示している、再度商品の投入を促すメッセージを消去する。その後、プロセッサ７１１は、上記ＡＣＴ１１へと進み、前述した次の商品の投入又は取り出しの判別動作を繰り返す。

【0062】

また、上記ＡＣＴ３２における商品が投入されたという判断は、タッチパネル７１５に提示された所定のメッセージに従って、客が複数投入した商品を取り出したが、ＯＫボタンを押下することなく、その取り出した商品を投入したと推定される。よって、この場合には、プロセッサ７１１は、ＡＣＴ３４として、ＬＥＤランプ７３１の点滅などのアラートの発報を終了すると共に、タッチパネル７１５に提示している、再度商品の投入を促すメッセージを消去する。その後、プロセッサ７１１は、上記ＡＣＴ１７へと進み、前述した投入された商品の投入数の判断を行うこととなる。

【0063】

以上のようにして、購買商品の登録及び削除が行われる。そして、会計を行う際には、商品登録画面における会計ボタンの押下により、プロセッサ７１１は、会計処理に移行することができる。この会計処理については、実施形態の商品特定システムに係わる動作では無いので、以下、簡単に説明する。特に図示はしないが、会計処理では、例えば、プロセッサ７１１は、当該情報処理装置７１を含む情報端末７に対して割り振られた端末ＩＤに基づいてバーコードを生成し、そのパーコードをタッチパネル７１５に表示させる。会計機５は、そのバーコードを読み取り、端末ＩＤを含む取引問合せコマンドをカートコントローラ３に送信する。カートコントローラ３は、その取引問合せコマンドに含まれる端末ＩＤに対応する情報端末テーブル３１の購買商品データ領域３１３に登録されている購買商品データに基づいて決済データを生成し、その決済データを取引問合せコマンドの送信元の会計機５に返信する。を受信する。会計機５は、その決済データに基づいて、購買商品の決済を行う。

【0064】

また、カートＰＯＳシステム１が電子マネーによって決済可能なシステムとして構成した場合には、プロセッサ７１１は、無線ユニット７１４により、アクセスポイント４を経由してカートコントローラ３に端末ＩＤを含む電子決済コマンドを送信する。カートコントローラ３は、電子決済コマンドに含まれる端末ＩＤに対応する情報端末テーブル３１の購買商品データ領域３１３に登録されている購買商品データに基づいて決済データを生成し、その決済データを同じく情報端末テーブル３１の会員ＩＤ領域３１２に記憶された会員ＩＤと共に店舗サーバ２に送信する。店舗サーバ２は、決済データと共に送られてきた会員ＩＤにより、図示しない会員決済データベースにおける会員決済レコードから電子マネーユーザＩＤを取得し、この電子マネーユーザＩＤを使用して電子マネーセンタＥＭＣとの間で、決済データに基づく決済を実施する。

【0065】

以上のように、本実施形態に係る商品特定システムにおいて、情報端末７のカメラ７３は、カート８に設けられた撮像部として機能する。また、情報端末７の情報処理装置７１が備えるプロセッサ７１１は、カメラ７３により取得された画像に基づいて、具体的には、ＡＩによる画像認識を利用して、カート８に投入された商品を特定する特定部、及び、カメラ７３により取得された画像に含まれる商品の個数が、投入数上限値データ７１３１１として記憶された規定の上限数を超えるとき、カメラ７３に据え付けられたＬＥＤランプ７３１及び／又は情報処理装置７１が備えるスピーカ７１６により、また、情報端末７がパトランプ７４を備える場合にはそのパトランプ７４により、特定した商品の特定精度が低いことを示すアラートを報知する報知部、として機能する。
このように、本実施形態に係る商品特定システムでは、商品の画像による識別精度つまり商品を特定する精度が極端に落ちる場合には、そのことを商品をカート８に投入したユーザに報知することができる。よって、この報知を受けたユーザは、その商品を正しく特定させるために、一旦その商品を取り出して再度カート８に投入することができる。従って、ＡＩによる画像認識を利用して信頼性の高い商品登録を可能とする商品特定システムを提供することができる。

【0066】

ここで、報知部として機能するプロセッサ７１１が行う報知は、情報処理装置７１が備えるタッチパネル７１５により出力する、上限数を超えて投入された商品をカート８から取り出し、上限数を超えない個数で再度商品を投入することを促すメッセージを含むことができる。
これにより、カート８を利用するユーザは、何をすれば良いのかが判り、そのメッセージで示される動作を行うことが可能となる。

【0067】

なお、撮像部として機能するカメラ７３は、画像を繰り返し取得し、特定部として機能するプロセッサ７１１は、カメラ７３により繰り返し取得された画像の間に変化が有ったとき、商品の特定を開始する。
よって、カート８の籠受部８１又はその籠受部８１に置かれた籠に多数収容されたことで特定済みの商品がカメラ７３によって撮影されたてとしても、時系列に取得される画像には変化が無いので、その特定済みの商品が再特定されることは無い。

【0068】

また、タッチパネル７１５は、カート８を利用するユーザによる確認操作であるＯＫボタン押下操作を受ける操作部として機能し、報知部として機能するプロセッサ７１１は、タッチパネル７１５がＯＫボタン押下操作を受け付けたとき、上記のアラート及びメッセージを含む報知を終了する。
よって、特定精度が低い商品の取り出し後のユーザによる確認操作を受けて報知を終了し、再投入される取り出された商品の特定を開始することができる。

【0069】

更に、報知部として機能するプロセッサ７１１は、報知の開始後に商品が特定されたときにも、上記のアラート及びメッセージを含む報知を終了する。
よって、特定精度が低い商品の取り出し後にユーザが確認操作を忘れて、取り出した商品を再投入した場合、その再投入された商品が特定されれば、報知を終了することができ、報知が継続されることを防止できる。

【0070】

なお、報知部として機能するプロセッサ７１１が報知を行うか否かを決定するための規定の上限数は、「１」である。
よって、複数個の商品が同時に投入されて画像にそれら複数の商品の画像が含まれているとき、つまり、商品を特定する精度が極端に落ちる複数個商品の同時投入時に、プロセッサ７１１は、報知を行うことができる。

【0071】

また、プロセッサ７１１は、特定した商品を示す商品コードを外部に送信する特定商品通知部として機能する。
よって、本実施形態に係る商品特定システムをカートＰＯＳシステム１に適用した場合、この商品コードを受信したカートコントローラ３では、その特定した商品をユーザの購買商品として登録することができる。

【0072】

ここで、商品通知部として機能するプロセッサ７１１は、報知部として機能するプロセッサ７１１が報知を行う場合、つまり、上限数を超える商品が投入されたときには、特定した商品の商品コードを送信しない。
よって、特定精度が低い商品の商品コードは送信されないので、誤った商品がユーザの購買商品として登録されることを防止することができる。

【0073】

また、本実施形態に係る商品特定システムでは、特定部として機能するプロセッサ７１１は、カート８に投入された商品を特定するだけではなく、カメラ７３により取得された画像に基づいて、カート８から取り出された商品を特定することもできる。そして、特定商品通知部として機能するプロセッサ７１１は、この特定した取り出された商品を示す商品コードを外部に送信する。
よって、本実施形態に係る商品特定システムをカートＰＯＳシステム１に適用した場合、この商品コードを受信したカートコントローラ３では、その特定した商品をユーザの購買商品から削除することができる。

【0074】

［第２実施形態］
上記第１実施形態は、商品の認識を情報端末７で行っているが、本実施形態は、カートコントローラ３で商品の認識を行うようにしたものである。

【0075】

本実施形態における商品特定システムを適用したカートＰＯＳシステムは、第１実施形態と同様、店舗サーバ２、カートコントローラ３、アクセスポイント４、複数の会計機５、ネットワーク６及びそれぞれ情報処理装置７１を含む複数の情報端末７を含む。本実施形態は、カートコントローラ３及び情報端末７の情報処理装置７１の構成及び動作が、第１実施形態と異なる。以下、第１実施形態と同様の部分には第１実施形態と同様の参照符号を付すことでその説明は省略し、第１実施形態と異なる部分について説明する。

【0076】

図７は、第２実施形態に係るカートコントローラ３の要部回路構成を示すブロック図である。カートコントローラ３は、プロセッサ３２、メインメモリ３３、補助記憶デバイス３４、ネットワークインタフェース３５及びシステム伝送路３６を備える。システム伝送路３６は、アドレスバス、データバス、制御信号線等を含む。カートコントローラ３は、システム伝送路３６に、プロセッサ３２、メインメモリ３３、補助記憶デバイス３４及びネットワークインタフェース３５を接続する。カートコントローラ３では、プロセッサ３２、メインメモリ３３及び補助記憶デバイス３４と、これらを接続するシステム伝送路３６とによってコンピュータが構成される。

【0077】

プロセッサ３２は、上記コンピュータの中枢部分に相当する。プロセッサ３２は、オペレーティングシステム又はアプリケーションプログラムに従って、カートコントローラ３としての各種の機能を実現するべく各部を制御する。プロセッサ３２は、例えばＣＰＵであるが、ＡＩチップ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、等の集積回路を含む、他の多様な形式で実現されてもよい。

【0078】

メインメモリ３３は、上記コンピュータの主記憶部分に相当する。メインメモリ３３は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ３３は、ＲＯＭ等の不揮発性のメモリ領域とＲＡＭ等の揮発性のメモリ領域とを含む。揮発性のメモリ領域には、第１実施形態で説明したような情報端末７それぞれに対応する情報端末テーブル３１が記憶される。

【0079】

補助記憶デバイス３４は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ、ＨＤＤ、或いはＳＳＤ等が補助記憶デバイス３４となり得る。本実施形態では、補助記憶デバイス３４は、アプリケーションプログラムとして、カートコントローラ３に情報端末７を用いた商品登録機能を実行させるためのカート制御プログラム３４１を保存する。カート制御プログラム３４１は、第１実施形態で説明した投入数上限値データ７１３１１と同様の、商品の同時投入数の上限値を規定する投入数上限値データ３４１１を含む。なお、カート制御プログラム３４１は、メインメモリ３３に記憶されてもよい。また、補助記憶デバイス３４は、第１実施形態における学習データ７１３２と同様の、店舗サーバ２の商品データベース２１に記憶されている店舗で販売される商品それぞれについての学習データ３４２を記憶する。この学習データ３４２は、第１実施形態と同様、店舗サーバ２の商品データベース２１が含む学習データ２１１のコピーであってよい。カートコントローラ３が投入数上限値データ３４１１及び学習データ３４２を記憶するので、情報端末７の情報処理装置７１は、投入数上限値データ７１３１１及び学習データ７１３２を記憶する必要は無い。

【0080】

ネットワークインタフェース３５は、ネットワーク６用のインタフェースである。プロセッサ３２は、このネットワークインタフェース３５により、ネットワーク６を介して、店舗サーバ２、アクセスポイント４及び会計機５との間でデータの送受信を行うことができる。

【0081】

図８及び図９は、カートコントローラ３のプロセッサ３２が、カート制御プログラム３４１に従って実行する主要な情報処理の手順を示す流れ図である。この流れ図は、一つの情報端末７に対する処理手順を示しており、プロセッサ３２は、複数の情報端末７のそれぞれについて、同様の処理を併行して実行する。

【0082】

以下、この流れ図を用いて、客がカート８の情報端末７を使用して購買商品の登録から決済までをセルフで行う場合のカートＰＯＳシステム１の主要な動作について説明する。なお、以下に説明する動作は一例である。同様な結果が得られるのであれば、その手順は特に限定されるものではない。またここでは、情報端末７のリーダ７２により記録媒体に記録されたデータを読み取り、既にログインが行われているものとする。すなわち、カートコントローラ３の、当該情報端末７に対応する情報端末テーブル３１の会員ＩＤ領域３１２には、既に客の記録媒体から読み取った会員ＩＤが記憶されている。

【0083】

カートコントローラ３のプロセッサ３２は、ＡＣＴ４１として、ネットワークインタフェース３５により、情報端末７からアクセスポイント４を経由して送信されてくる撮影画像の画像データを受信する。第１実施形態で説明したように、情報端末７では、カメラ７３のＬＥＤランプ７３１を点灯させて、カメラ７３により画像を撮影する。そして、情報端末７は、その撮影した画像の画像データを、カートコントローラ３に送信する。プロセッサ３２は、受信した画像データを、メインメモリ３３に記憶させる。なお、メインメモリ３３には、この画像データを複数フレーム分記憶する領域が確保され、プロセッサ３２は、新しい画像データをその領域に記憶させる際、最も古い画像データを消去して確保した領域に、その新しい画像データを記憶させるものとする。その後、プロセッサ３２は、ＡＣＴ４２へと進む。

【0084】

プロセッサ３２は、ＡＣＴ４２として、メインメモリ３３に記憶されている最新の画像データから、画像内の移動している商品を物体検出する。検出された物体と画像データ中の当該物体の検出位置とは、メインメモリ３３に記憶された画像データに関連付けて、メインメモリ３３に記憶される。その後、プロセッサ７１１は、ＡＣＴ４３へと進む。

【0085】

プロセッサ３２は、ＡＣＴ４３として、メインメモリ３３に記憶されている最新の画像データの物体及び検出位置を古い画像データの物体及び検出位置と比較することで、変化が有るか否か判断する。変化が無いと判断した場合、プロセッサ３２は、ＡＣＴ４３においてＮＯと判定し、上記ＡＣＴ４１へと進む。また、変化が有ると判断した場合には、プロセッサ３２は、ＡＣＴ４３においてＹＥＳと判定し、ＡＣＴ４４へと進む。

【0086】

以上のＡＣＴ４１，ＡＣＴ４２，ＡＣＴ４３でなるループにより、情報端末７から送信されてくる画像データを受信し、変化の有無を繰り返し確認していく。そして、画像に変化が有ると、プロセッサ３２は、ＡＣＴ４４へと進む。

【0087】

プロセッサ３２は、ＡＣＴ４４として、画像中の移動している商品を認識する。具体的には、プロセッサ３２は、補助記憶デバイス３４に記憶された学習データ３４２に基づいて、ＡＣＴ４２で検知してメインメモリ３３に記憶している、バウンディングボックス内の物体に対して画像認識を行い、その物体が何れの商品であるのかを特定する。その後、プロセッサ３２は、ＡＣＴ４５へと進む。

【0088】

プロセッサ３２は、ＡＣＴ４５として、商品が特定できたか否か判断する。商品が特定できなかったと判断した場合には、プロセッサ３２は、ＡＣＴ４５においてＮＯと判定し、上記ＡＣＴ４１へと進む。商品が特定できたと判断した場合、プロセッサ３２は、ＡＣＴ４５においてＹＥＳと判定し、ＡＣＴ４６へと進む。

【0089】

プロセッサ３２は、ＡＣＴ４６として、カート８の籠受部８１又は籠受部８１に置かれた籠に商品が投入されたのか否か判断する。例えば、プロセッサ３２は、最新の画像と過去の画像に写っている同一商品の移動方向により、その商品が投入されたのか取り出されたのか判断することができる。商品が投入されたのではない、つまり商品が取り出されたと判断した場合、プロセッサ３２は、ＡＣＴ４６においてＮＯと判定し、ＡＣＴ５１へと進む。また、商品が投入されたと判断した場合、プロセッサ３２は、ＡＣＴ４６においてＹＥＳと判定し、ＡＣＴ４７へと進む。

【0090】

プロセッサ３２は、ＡＣＴ４７として、上記ＡＣＴ４４で認識し特定した商品の個数である商品投入数が、補助記憶デバイス３４に投入数上限値データ３４１１として記憶されている商品の同時投入数上限値よりも少ないか否か判断する。本実施形態においても、この商品の同時投入数上限値は「２」である。商品の投入数は、画像認識に使用した画像に設定されたバウンディングボックスの数、つまりＡＣＴ４２で検知した物体の数とすることができる。商品投入数が同時投入数上限値以上である、つまり複数個の商品が投入されたと判断した場合、プロセッサ３２は、ＡＣＴ４７においてＮＯと判定し、ＡＣＴ５４へと進む。また、商品投入数が同時投入数上限値より少ない、つまり投入された商品が１個であると判断した場合、プロセッサ３２は、ＡＣＴ４７においてＹＥＳと判定し、ＡＣＴ４８へと進む。

【0091】

プロセッサ３２は、上記ＡＣＴ４７において商品投入数が同時投入数上限値より少ない、つまり投入された商品が１個であると判断した場合、精度良く商品を特定できたと判定する。よって、この場合には、プロセッサ３２は、ＡＣＴ４８として、上記ＡＣＴ４４で認識し特定した商品を登録する。すなわち、プロセッサ３２は、特定した商品の商品コードにより商品情報を店舗サーバ２に問合せ、店舗サーバ２が管理する商品データベース２１に記憶されている商品情報を取得する。そして、その取得した商品情報を、対応する情報端末テーブル３１の購買商品データ領域３１３に、新たな購買商品データとして追加記憶する。その後、プロセッサ３２は、ＡＣＴ４９へと進む。

【0092】

プロセッサ３２は、ＡＣＴ４９として、対応する情報端末テーブル３１の購買商品データ領域３１３に記憶されている購買商品データに基づいて、登録されている商品を報知するための登録商品画面を作成する。その後、プロセッサ３２は、ＡＣＴ５０へと進む。

【0093】

プロセッサ３２は、ＡＣＴ５０として、ネットワークインタフェース３５によりアクセスポイント４を介して、生成した登録商品画面を対応する情報端末７へ送信し、その情報端末７のタッチパネル７１５に登録商品画面を表示させる。その後、プロセッサ３２は、上記ＡＣＴ４１へと進む。

【0094】

このようにして、カートコントローラ３は、対応する情報端末７が取り付けられたカート８の籠受部８１又は籠受部８１に置かれた籠に商品が１つ投入されると、情報端末７のカメラ７３で撮影した画像に対する画像認識により、その商品が何であるのかを特定し、当該商品を購買商品として登録することができる。

【0095】

また、プロセッサ３２は、上記ＡＣＴ４６において商品が取り出されたと判断した場合、ＡＣＴ５１として、その返却商品を、登録されている購買商品から削除する。すなわち、プロセッサ３２は、対応する情報端末テーブル３１の購買商品データ領域３１３に記憶されている、上記ＡＣＴ４４で認識し特定した商品の購買商品データを、その購買商品データ領域３１３から削除する。その後、プロセッサ３２は、ＡＣＴ５２へと進む。

【0096】

プロセッサ３２は、ＡＣＴ５２として、対応する情報端末テーブル３１の購買商品データ領域３１３に記憶されている購買商品データに基づいて、登録されている商品を報知するための登録商品画面を作成する。その後、プロセッサ３２は、ＡＣＴ５３へと進む。

【0097】

プロセッサ３２は、ＡＣＴ５３として、ネットワークインタフェース３５によりアクセスポイント４を介して、生成した登録商品画面を対応する情報端末７へ送信し、その情報端末７のタッチパネル７１５に登録商品画面を表示させる。その後、プロセッサ３２は、上記ＡＣＴ４１へと進む。

【0098】

このようにして、カートコントローラ３は、対応する情報端末７が取り付けられたカート８の籠受部８１又は籠受部８１に置かれた籠から商品が取り出されると、情報端末７のカメラ７３で撮影した画像に対する画像認識により、その商品が何であるのかを特定し、当該商品を購買商品から削除することができる。

【0099】

また、プロセッサ３２は、上記ＡＣＴ４７において商品投入数が同時投入数上限値以上である、つまり複数個の商品が投入されたと判断した場合、ＡＣＴ５４として、ネットワークインタフェース３５によりアクセスポイント４を介して、対応する情報端末７へアラート発報を指示する。その後、プロセッサ３２は、ＡＣＴ５５へと進む。このアラート発報の指示を受信した情報端末７では、例えば、カメラ７３に備え付けの照明用のＬＥＤランプ７３１を点滅させたり、スピーカ７１６により特定の報知音を再生させたりする。或いは、カート８がパトランプ７４を備える場合には、それらに代えて又はそれらと共に、そのパトランプ７４を点灯さる。

【0100】

更に、プロセッサ３２は、ＡＣＴ５５として、ネットワークインタフェース３５によりアクセスポイント４を介して、情報端末７へ再度商品の投入を促すメッセージの提示を指示する。その後、プロセッサ３２は、ＡＣＴ５６へと進む。この再度商品の投入を促すメッセージの提示の指示を受信した情報端末７では、タッチパネル７１５により、カート８を利用している客に、再度商品の投入を促すメッセージとＯＫボタンの画像を提示する。メッセージ及びＯＫボタンの画像は、例えば、タッチパネル７１５に表示されている登録商品画面に重畳表示される。なお、再度商品の投入を促すメッセージの提示を指示する代わりに、プロセッサ３２は、メッセージ及びＯＫボタンの画像を重畳した登録商品画面を生成し、それを情報端末７に送信してタッチパネル７１５に表示させるようにしてもよい。

【0101】

プロセッサ３２は、ＡＣＴ５６として、ネットワークインタフェース３５により、情報端末７からアクセスポイント４を経由して送信されてくるＯＫ通知を受信したか否か判断する。ＯＫ通知は、タッチパネル７１５に表示しているＯＫボタンが押下されたとき、情報端末７から送信されてくる。ＯＫ通知を受信したと判断した場合、プロセッサ３２は、ＡＣＴ５６においてＹＥＳと判定し、ＡＣＴ６３へと進む。また、ＯＫ通知を受信していないと判断した場合には、プロセッサ３２は、ＡＣＴ５６においてＮＯと判定し、ＡＣＴ５７へと進む。

【0102】

プロセッサ３２は、ＡＣＴ５７として、上記ＡＣＴ４１と同様に、ネットワークインタフェース３５により、情報端末７からアクセスポイント４を経由して送信されてくる撮影画像の画像データを受信する。その後、プロセッサ３２は、ＡＣＴ５８へと進む。

【0103】

プロセッサ３２は、ＡＣＴ５８として、上記ＡＣＴ４２と同様に、メインメモリ３３に記憶されている最新の画像データから、画像内の移動している商品を物体検出する。検出された物体と画像データ中の当該物体の検出位置とは、メインメモリ３３に記憶された画像データに関連付けて、メインメモリ３３に記憶される。その後、プロセッサ３２は、ＡＣＴ５９へと進む。

【0104】

プロセッサ３２は、ＡＣＴ５９として、上記ＡＣＴ４３と同様に、メインメモリ３３に記憶されている最新の画像データの物体及び検出位置を古い画像データの物体及び検出位置と比較することで、変化が有るか否か判断する。変化が無いと判断した場合、プロセッサ３２は、ＡＣＴ５９においてＮＯと判定し、上記ＡＣＴ５６へと進む。また、変化が有ると判断した場合には、プロセッサ３２は、ＡＣＴ５９においてＹＥＳと判定し、ＡＣＴ６０へと進む。

【0105】

プロセッサ３２は、ＡＣＴ６０として、上記ＡＣＴ４４と同様に、画像中の移動している商品を認識する。その後、プロセッサ３２は、ＡＣＴ６１へと進む。

【0106】

プロセッサ３２は、ＡＣＴ６１として、上記ＡＣＴ４５と同様に、商品が特定できたか否か判断する。商品が特定できなかったと判断した場合には、プロセッサ３２は、ＡＣＴ６１においてＮＯと判定し、上記ＡＣＴ５６へと進む。商品が特定できたと判断した場合、プロセッサ３２は、ＡＣＴ６１においてＹＥＳと判定し、ＡＣＴ６２へと進む。

【0107】

プロセッサ３２は、ＡＣＴ６２として、上記ＡＣＴ４６と同様に、カート８の籠受部８１又は籠受部８１に置かれた籠に商品が投入されたのか否か判断する。商品が投入されたと判断した場合には、プロセッサ３２は、ＡＣＴ６２においてＹＥＳと判定し、ＡＣＴ６４へと進む。また、商品が投入されたのではない、つまり商品が取り出されたと判断した場合、プロセッサ３２は、ＡＣＴ６２においてＮＯと判定し、上記ＡＣＴ５６へと進む。

【0108】

プロセッサ３２は、ＡＣＴ６３として、ネットワークインタフェース３５によりアクセスポイント４を介して、対応する情報端末７へ、アラートの発報の終了と提示しているメッセージの消去とを指示する。その後、プロセッサ３２は、上記ＡＣＴ４１へと進み、前述した次の商品の投入又は取り出しの判別動作を繰り返す。このメッセージの消去の指示を受信した情報端末７では、タッチパネル７１５により提示している、再度商品の投入を促すメッセージを消去する。なお、メッセージの消去を指示する代わりに、プロセッサ３２は、メッセージ及びＯＫボタンの画像を消去した登録商品画面を生成し、それを情報端末７に送信してタッチパネル７１５に表示させるようにしてもよい。

【0109】

プロセッサ３２は、ＡＣＴ６４として、ネットワークインタフェース３５によりアクセスポイント４を介して、対応する情報端末７へ、アラートの発報の終了と提示しているメッセージの消去とを指示する。その後、プロセッサ３２は、上記ＡＣＴ４７へと進み、前述した投入された商品の投入数の判断を行うこととなる。このメッセージの消去の指示を受信した情報端末７では、タッチパネル７１５により提示している、再度商品の投入を促すメッセージを消去する。なお、メッセージの消去を指示する代わりに、プロセッサ３２は、メッセージ及びＯＫボタンの画像を消去した登録商品画面を生成し、それを情報端末７に送信してタッチパネル７１５に表示させるようにしてもよい。

【0110】

このようにして、購買商品の登録及び削除が行われる。

【0111】

以上のように、本実施形態に係る商品特定システムにおいては、カートＰＯＳシステム１におけるカートコントローラ３のプロセッサ３２は、ネットワークインタフェース３５により情報端末７と通信して、情報端末７のカメラ７３により取得された画像を取得して、その画像に基づいて、具体的には、ＡＩによる画像認識を利用して、カート８に投入された商品を特定する特定部、及び、カメラ７３により取得された画像に含まれる商品の個数が、投入数上限値データ３４１１として記憶された規定の上限数を超えるとき、ネットワークインタフェース３５により情報端末７と通信して、カメラ７３に据え付けられたＬＥＤランプ７３１及び／又は情報端末７の情報処理装置７１が備えるスピーカ７１６により、また、情報端末７がパトランプ７４を備える場合にはそのパトランプ７４により、特定した商品の特定精度が低いことを示すアラートを報知する報知部、として機能する。
このように、本実施形態に係る商品特定システムにおいても、第１実施形態に係る商品特定システムと同様、商品の画像による識別精度つまり商品を特定する精度が極端に落ちる場合には、そのことを商品をカート８に投入したユーザに報知することができる。よって、この報知を受けたユーザは、その商品を正しく特定させるために、一旦その商品を取り出して再度カート８に投入することができる。従って、ＡＩによる画像認識を利用して信頼性の高い商品登録を可能とする商品特定システムを提供することができる。

【0112】

ここで、報知部として機能するプロセッサ３２が行う報知は、情報処理装置７１が備えるタッチパネル７１５により出力させる、上限数を超えて投入された商品をカート８から取り出し、上限数を超えない個数で再度商品を投入することを促すメッセージを含むことができる。
これにより、カート８を利用するユーザは、何をすれば良いのかが判り、そのメッセージで示される動作を行うことが可能となる。

【0113】

なお、撮像部として機能するカメラ７３は、画像を繰り返し取得し、特定部として機能するプロセッサ３２は、カメラ７３により繰り返し取得された画像の間に変化が有ったとき、商品の特定を開始する。
よって、カート８の籠受部８１又はその籠受部８１に置かれた籠に多数収容されたことで特定済みの商品がカメラ７３によって撮影されたてとしても、時系列に取得される画像には変化が無いので、その特定済みの商品が再特定されることは無い。

【0114】

また、タッチパネル７１５は、カート８を利用するユーザによる確認操作であるＯＫボタン押下操作を受ける操作部として機能し、報知部として機能するプロセッサ３２は、ネットワークインタフェース３５によりタッチパネル７１５がＯＫボタン押下操作を受け付けたことを示すＯＫ通知を受信したとき、情報端末７による上記のアラート及びメッセージを含む報知を終了する。
よって、特定精度が低い商品の取り出し後のユーザによる確認操作を受けて報知を終了し、再投入される取り出された商品の特定を開始することができる。

【0115】

更に、報知部として機能するプロセッサ３２は、報知の開始後に商品が特定されたときにも、情報端末７による上記のアラート及びメッセージを含む報知を終了する。
よって、特定精度が低い商品の取り出し後にユーザが確認操作を忘れて、取り出した商品を再投入した場合、その再投入された商品が特定されれば、報知を終了することができ、報知が継続されることを防止できる。

【0116】

以上、上記第１及び第２実施形態について説明したが、実施形態はこれに限定されるものではない。
例えば、上記第１及び第２実施形態では、ＡＣＴ１４及びＡＣＴ４４での商品認識を開始するトリガを、画像に変化が有ったときとしたが、これに限定するものではない。例えば、カメラ７３の視野内に存在する物体を例えば光学的に検出する少なくとも一つのセンサをカート８の任意の位置に配置し、このセンサがカート８に投入または取り出される物体を検出したことに応じて商品認識を開始するようにしてもよい。

【0117】

また、ＡＣＴ１６及びＡＣＴ４６における商品の投入／取り出しの判断についても、画像から判断するものに限定しない。例えば、重量計をショッピングカート８の籠受部８１の底面に配置しておき、重量が増加したのか減少したのかにより、商品の投入／取り出しを判断することも可能である。

【0118】

なお、このような重量による商品の投入／取り出しを判断を可能とした場合、アラート及びメッセージに応じて同時投入された商品の取り出しが実施されたか否かを判別することも可能なる。これにより、同時投入された商品が取り出されることなく、更に商品が投入された場合には、その時点で或いは会計機５での会計の際に、店員に報知できるようになる。

【0119】

また、上記第１実施形態では、情報端末７の情報処理装置７１の補助記憶デバイス７１３又はメインメモリ７１２に端末プログラム７１３１が事前に記憶されているものとした。この点に関しては、情報処理装置７１が備える書き込み可能な記憶デバイスに、この情報処理装置７１とは個別に譲渡された端末プログラムがユーザなどの操作に応じて書き込まれてもよい。同様に、上記第２実施形態では、カートコントローラ３の補助記憶デバイス３４又はメインメモリ３３にカート制御プログラム３４１が事前に記憶されているものとしたが、カートコントローラ３が備える書き込み可能な記憶デバイスに、このカートコントローラ３とは個別に譲渡されたカート制御プログラムがユーザなどの操作に応じて書き込まれてもよい。これら端末プログラム及びカート制御プログラム等の譲渡は、リムーバブルな記録媒体に記録して、或いはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ－ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

【0120】

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0121】

１…カートＰＯＳシステム、 ２…店舗サーバ、 ３…カートコントローラ、 ４…アクセスポイント（ＡＰ）、 ５…会計機、 ６…ネットワーク、 ７…情報端末、 ８…ショッピングカート（カート）、 ２１…商品データベース（ＤＢ）、 ２２…会員データベース（ＤＢ）、 ３１…情報端末テーブル、 ３２，７１１…プロセッサ、 ３３，７１２…メインメモリ、 ３４，７１３…補助記憶デバイス、 ３５…ネットワークインタフェース、 ３６，７１７…システム伝送路、 ７１…情報処理装置、 ７２…リーダ、 ７３…カメラ、 ７４…パトランプ、 ８１…籠受部、 ２１１，３４２，７１３２…学習データ、 ３１１…端末ＩＤ領域、 ３１２…会員ＩＤ領域、 ３１３…購買商品データ領域、 ３１４…小計額領域、 ３４１…カート制御プログラム、 ７１４…無線ユニット、 ７１５…タッチパネル、 ７１６…スピーカ、 ７３１…ＬＥＤランプ、 ３４１１，７１３１１…投入数上限値データ、 ７１３１…端末プログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】