特開 2023-175284 データ処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023175284

(43)【公開日】2023-12-12

(54)【発明の名称】データ処理装置及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20231205BHJP

【ＦＩ】

G06Q30/06

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022087652

(22)【出願日】2022-05-30

(71)【出願人】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】深井 伸晃

(72)【発明者】

【氏名】瀧川 修一

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB72

(57)【要約】

【課題】万引きが発生したことを特定する精度を向上させる。
【解決手段】データ処理装置２は、店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部２４１と、撮像画像データに基づいて、撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部２４５と、レジから取得した顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも商品収容数の方が多い場合に、警告情報を出力する出力部２４６と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、
前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、
レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、
を有するデータ処理装置。

【請求項2】

前記店舗で販売されている商品が、前記店舗内の複数のエリア又は複数の前記商品棚のどこに置かれているかを示す商品位置データを記憶する記憶部をさらに有し、
前記商品数特定部は、前記エリア又は前記商品棚ごとに、前記顧客が前記収容器に移動させた商品の数を前記商品収容数として特定し、
前記出力部は、前記エリア又は前記商品棚ごとに、前記商品購入数と前記商品収容数とを比較し、少なくとも１つの前記エリア又は前記商品棚に対応する前記商品購入数よりも前記商品収容数の方が多い場合に、前記警告情報を出力する、
請求項１に記載のデータ処理装置。

【請求項3】

前記データ取得部は、複数の前記撮像装置が生成した複数の前記撮像画像データを取得し、
前記商品数特定部は、複数の前記撮像画像データのうち、前記商品棚に関連付けられた前記撮像装置が生成した前記撮像画像データに基づいて前記商品収容数を特定する、
請求項１又は２に記載のデータ処理装置。

【請求項4】

前記商品数特定部は、前記顧客が前記収容器から前記商品棚に戻した商品の数である商品返却数をさらに特定し、
前記出力部は、前記商品購入数よりも、前記商品収容数から前記商品返却数を減算した数の方が多い場合に、前記警告情報を出力する、
請求項１に記載のデータ処理装置。

【請求項5】

前記店舗には複数の前記商品棚が設けられており、
前記商品数特定部は、複数の前記商品棚のいずれかに戻された商品の数を前記商品返却数として特定する、
請求項４に記載のデータ処理装置。

【請求項6】

前記商品数特定部は、前記顧客が前記商品棚から前記収容器に移動させる行為をする前に前記商品棚に置かれている商品の数と当該行為をした後に前記商品棚に置かれている商品の数との差に基づいて前記商品収容数を特定する、
請求項１に記載のデータ処理装置。

【請求項7】

前記商品数特定部は、前記顧客と同一グループに属する複数の顧客が複数の前記商品棚から複数の前記収容器に移動させた商品の数の合計数を前記商品収容数として特定する、
請求項１に記載のデータ処理装置。

【請求項8】

コンピュータを、
店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、
前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、
レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置及びプログラムに関する。

【背景技術】

【0002】

従来、カメラが人を撮像した画像に基づいて万引きの発生を検出する万引き検出システムが知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－７６１７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の万引き検出システムにおいては、カメラの撮像範囲における万引きの発生を検出することができる。しかしながら、カメラが撮像した画像に写らないように実行された万引きについては検出できないという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、万引きが発生したことを特定する精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係るデータ処理装置は、店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、を有する。

【0007】

前記店舗で販売されている商品が、前記店舗内の複数のエリア又は複数の前記商品棚のどこに置かれているかを示す商品位置データを記憶する記憶部をさらに有し、前記商品数特定部は、前記エリア又は前記商品棚ごとに、前記顧客が前記収容器に移動させた商品の数を前記商品収容数として特定し、前記出力部は、前記エリア又は前記商品棚ごとに、前記商品購入数と前記商品収容数とを比較し、少なくとも１つの前記エリア又は前記商品棚に対応する前記商品購入数よりも前記商品収容数の方が多い場合に、前記警告情報を出力してもよい。

【0008】

前記データ取得部は、複数の前記撮像装置が生成した複数の前記撮像画像データを取得し、前記商品数特定部は、複数の前記撮像画像データのうち、前記商品棚に関連付けられた前記撮像装置が生成した前記撮像画像データに基づいて前記商品収容数を特定してもよい。

【0009】

前記商品数特定部は、前記顧客が前記収容器から前記商品棚に戻した商品の数である商品返却数をさらに特定し、前記出力部は、前記商品購入数よりも、前記商品収容数から前記商品返却数を減算した数の方が多い場合に、前記警告情報を出力してもよい。

【0010】

前記店舗には複数の前記商品棚が設けられており、前記商品数特定部は、複数の前記商品棚のいずれかに戻された商品の数を前記商品返却数として特定してもよい。

【0011】

前記商品数特定部は、前記顧客が前記商品棚から前記収容器に移動させる行為をする前に前記商品棚に置かれている商品の数と当該行為をした後に前記商品棚に置かれている商品の数との差に基づいて前記商品収容数を特定してもよい。

【0012】

前記商品数特定部は、前記顧客と同一グループに属する複数の顧客が複数の前記商品棚から複数の前記収容器に移動させた商品の数の合計数を前記商品収容数として特定してもよい。

【0013】

本発明の第２の態様に係るプログラムは、コンピュータを、店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、として機能させる。

【発明の効果】

【0014】

本発明によれば、万引きが発生したことを特定する精度を向上させるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】本実施の形態に係るデータ処理システム１００の概要を説明するための図である。

【図2】店舗Ｓのレイアウトを示す模式図である。

【図3】データ処理装置２の構成を示す図である。

【図4】エリアデータの一例を示す図である。

【図5】商品位置データの一例を示す図である。

【図6】第１検出データの一例を示す図である。

【図7】第２検出データの一例を示す図である。

【図8】商品収容数データの一例を示す図である。

【図9】精算データの一例を示す図である。

【図10】商品購入数データの一例を示す。

【図11】集計データの一例を示す図である。

【図12】距離画像データを作成する方法を説明するための図である。

【図13】データ処理装置２における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0016】

［データ処理システム１００の概要］
図１は、本実施の形態に係るデータ処理システム１００の概要を説明するための図である。データ処理システム１００は、人の行動を監視するためのシステムであり、例えば店舗Ｓにいる人（以下、「顧客Ｍ」という場合がある）が商品を万引きしたか否かを把握するために用いられる。

【0017】

図１に示す例においては、店舗Ｓに複数の撮像装置であるカメラＣが設置されており、複数のカメラＣが店舗内の顧客Ｍを撮影することにより撮像画像データを生成する。複数のカメラＣの視野角は任意であるが、本実施の形態におけるカメラＣは、３６０度方向を撮影可能なカメラであるとする。

【0018】

複数のカメラＣは、通信線を介してデータ処理装置２に撮像画像データを送信する。通信線は有線であっても無線であってもよい。本実施の形態においては、撮像画像データが動画像データである場合を例示するが、撮像画像データは静止画像データであってもよい。

【0019】

店舗端末１は、顧客Ｍが商品を精算するための情報端末であり、例えばＰＯＳ（Point of Sale）端末である。図１に示す例においては、店舗Ｓに複数の店舗端末１（店舗端末１ａ、店舗端末１ｂ）が設置されており、複数の店舗端末１が、商品を精算した内容を示す精算データを生成し、通信線を介してデータ処理装置２に精算データを送信する。精算データは、例えば商品を精算した日時と、精算した商品の種類及び数とを含む。以下の説明においては、店舗端末１を「レジ」という場合がある。

【0020】

データ処理装置２は、カメラＣが撮影した撮像画像データに含まれる顧客Ｍが万引きをしたことを検出するための装置であり、例えばコンピュータである。データ処理装置２は、例えば店舗Ｓのオフィスに設置されたパーソナルコンピュータであるが、店舗Ｓと異なる場所に設置されたコンピュータ又はサーバであってもよい。

【0021】

図２は、店舗Ｓのレイアウトを示す模式図である。図２においては、店舗Ｓにおける複数のエリアそれぞれのエリアＩＤであるアドレスが示されている。複数のエリアのアドレスは、横方向アドレスｘ１～ｘ４と縦方向アドレスｙ１～ｙ２の組み合わせにより表されるエリア識別情報である。例えば、左上のアドレスは（ｘ１，ｙ１）と表される。図２に示す一点鎖線の矢印は、顧客Ｍ１が移動してきた経路を示している。

【0022】

店舗Ｓには、複数の商品棚Ｔ（商品棚Ｔ１１～Ｔ１４、商品棚Ｔ２１～Ｔ２４）が設置されている。Ｔ１１～Ｔ１４及びＴ２１～Ｔ２４は、商品棚Ｔを識別するための商品棚識別情報（以下、「商品棚ＩＤ」という）として使用される。複数の商品棚Ｔの周囲は通路であり、店舗Ｓに来店した顧客Ｍ（図２においては、Ｍ１～Ｍ４）は、通路を自由に移動することができる。

【0023】

通路の上方には、複数のカメラＣ（カメラＣ１１～Ｃ１４、カメラＣ２１～Ｃ２４）が設置されている。Ｃ１１～Ｃ１４及びＣ２１～Ｃ２４は、カメラを識別するためのカメラ識別情報（以下、「カメラＩＤ」という）として使用される。複数のカメラＣは、それぞれの視野の範囲内を撮影することにより、それぞれ異なる撮像画像データを生成する。なお、カメラＣは、商品棚Ｔの上方に設置されていてもよい。

【0024】

データ処理装置２は、複数のカメラＣが生成した撮像画像データを用いて、顧客Ｍが商品棚Ｔから収容器（すなわち、店舗Ｓが顧客Ｍに貸し出した買い物カゴ）に移動させた商品の数である商品収容数を特定する。データ処理装置２は、複数の店舗端末１から取得した複数の精算データが示す商品の数に基づいて、顧客Ｍが購入した商品の数である商品購入数を特定する。データ処理装置２は、商品収容数が商品購入数よりも多い場合に、警告情報を出力する。

【0025】

データ処理装置２は商品収容数と商品購入数とを比較することができるので、顧客Ｍが商品を収容器に入れた後に、複数のカメラＣの撮影領域と異なる領域で収容器に入れた商品の万引きを実行したとしても、顧客Ｍが万引きを実行したことを検出することができる。
以下、データ処理装置２の構成及び動作を詳細に説明する。

【0026】

［データ処理装置２の構成］
図３は、データ処理装置２の構成を示す図である。データ処理装置２は、通信部２１と、設定受付部２２と、記憶部２３と、制御部２４と、を有する。

【0027】

通信部２１は、店舗端末１及びカメラＣ等の外部装置との間でデータを送受信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）コントローラ又は無線通信コントローラを有する。通信部２１は、複数のカメラＣから撮像画像データを受信する。通信部２１は、複数の店舗端末１から精算データを受信する。

【0028】

設定受付部２２は、データ処理装置２のユーザ（例えば店舗Ｓの管理者）による各種の設定を受け付けるためのインターフェースである。設定受付部２２は、例えばキーボード又はマウス等の操作デバイスを含む。設定受付部２２は、入力された設定内容を示すデータを記憶部２３に記憶させたり制御部２４に通知したりする。

【0029】

記憶部２３は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部２３は、制御部２４が実行するプログラムを記憶する。また、記憶部２３は、通信部２１が受信した複数の撮像画像データ及び複数の精算データと、複数の撮像画像データ及び複数の精算データに基づく各種の処理を実行するためのデータとを記憶する。

【0030】

記憶部２３は、プログラム記憶部２３１と、エリアデータ記憶部２３２と、検出データ記憶部２３３と、精算データ記憶部２３４と、集計データ記憶部２３５とを有する。プログラム記憶部２３１は、制御部２４が実行するプログラムを記憶する。エリアデータ記憶部２３２は、複数のエリアＩＤそれぞれとカメラＣとが関連付けられたエリアデータ、及び店舗Ｓで販売されている商品が、店舗Ｓ内の複数のエリア又は複数の商品棚Ｔのどこに置かれているかを示す商品位置データを記憶する。

【0031】

図４は、エリアデータの一例を示す図である。図４に示すエリアデータにおいては、エリアのアドレス（すなわちエリアＩＤ）と商品棚ＩＤとカメラＩＤとが関連付けられている。複数のカメラＣが撮影可能なエリアのアドレスには、複数のカメラＣのカメラＩＤが関連付けられている。図５は、商品位置データの一例を示す図である。図５に示す商品位置データにおいては、エリアＩＤ、商品棚ＩＤ及び設定受付部２２が受け付けた、商品棚ＩＤに対応する商品棚Ｔに陳列された商品の商品名が関連付けられている。

【0032】

検出データ記憶部２３３は、撮像画像データにおいて検出された顧客Ｍが存在する複数の撮像画像データと、検出された顧客Ｍが商品棚Ｔから収容器に商品を移動させた数（すなわち商品収容数）とが関連付けられた第１検出データを記憶する。検出データ記憶部２３３は、例えば、後述する検出部２４２が特定した同一の顧客Ｍごとに、その顧客Ｍが含まれる撮像画像データを、撮像画像データが生成された日時の順番に時系列に記憶する。

【0033】

図６は、第１検出データの一例を示す図である。図６は、撮像画像データにおいて検出された３人の顧客Ｍ（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する第１検出データＤ０１、Ｄ０２、Ｄ０３を示しているが、検出データ記憶部２３３は、より多くの顧客Ｍに対応する複数の第１検出データを記憶してもよい。

【0034】

図６に示す第１検出データにおいては、それぞれの第１検出データに対応する顧客Ｍの画像を含む撮像画像が生成された順番に、それぞれの撮像画像データに顧客Ｍが含まれる時間の開始日時及び終了日時、撮像画像データを撮像したカメラＣが撮像するエリア及び商品棚Ｔ、撮像画像データの画像データ名及びカメラＣのカメラＩＤが関連付けられている。図６においては、「エリア」はエリアＩＤを示し、「商品棚Ｔ」は、商品棚ＩＤを示す。

【0035】

画像データ名は、撮像画像データの画像データ名であり、検出データ記憶部２３３内のアドレスに関連付けられた撮像画像データのファイル名である。制御部２４は、画像データ名を指定することにより撮像画像データにアクセスすることができる。

【0036】

図６に示す第１検出データは、図２に示した店舗Ｓにいる顧客Ｍ１が店舗Ｓに入ってからアドレス（ｘ３，ｙ１）の位置まで、一点鎖線で示す経路で移動する間に撮影された複数の撮像画像データに対応している。ここでは、顧客Ｍ１が商品棚Ｔ１、Ｔ２、Ｔ３の順に移動している状態が想定されている。

【0037】

図４のエリアデータが示すように、店舗Ｓに入った顧客Ｍ１がアドレス（ｘ１，ｙ１）にいる間は、カメラＣ１１のみが顧客Ｍ１を撮影できるので、１３時４５分００秒から１３時４５分０２秒の間は、カメラＣ１１のみが顧客Ｍ１を撮影している。その後、顧客Ｍ１がアドレス（ｘ２，ｙ１）に移動すると、カメラＣ１２及びカメラＣ１３が顧客Ｍ１を撮影できるようになり、１３時４８分１０秒～１３時５０分０５秒の間は、カメラＣ１２及びカメラＣ１３が顧客Ｍ１を撮影している。

【0038】

その後、顧客Ｍ１がアドレス（ｘ３，ｙ１）にいる間は、カメラＣ１２、カメラＣ１３及びカメラＣ１４が顧客Ｍ１を撮影している。このように、第１検出データにおいては、顧客Ｍ１が写っている複数の撮像画像データが時系列に記録されているので、例えば店舗Ｓの職員が、特定の顧客Ｍが写っている撮像画像データを検索しやすくなる。

【0039】

また、検出データ記憶部２３３は、距離画像データにおいて検出された顧客Ｍが存在する複数の距離画像データと、検出された顧客Ｍの商品収容数とが関連付けられた第２検出データを記憶する。

【0040】

距離画像データは、後述する距離画像作成部２４４が２つの撮像画像データを用いて、２つのカメラＣの間の距離を視差として用いることにより作成したデータである。距離画像データには深度情報（すなわち奥行き方向の距離を示す情報）が含まれている。検出データ記憶部２３３は、例えば顧客Ｍごとに、その顧客Ｍが含まれる距離画像データを、距離画像データの作成に用いられた撮像画像データが生成された日時の順番に時系列に記憶する。

【0041】

図７は、第２検出データの一例を示す図である。図７は、撮像画像データにおいて検出された３人の顧客Ｍ（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する第２検出データＤ１１、Ｄ１２、Ｄ１３を示しているが、検出データ記憶部２３３は、より多くの顧客Ｍに対応する複数の第２検出データを記憶してもよい。

【0042】

図７に示す第２検出データにおいては、それぞれの第２検出データに対応する顧客Ｍの画像を含む撮像画像データが生成された順番に、撮像画像データに基づいて生成された距離画像データに顧客Ｍが含まれる時間の開始日時及び終了日時、エリア、商品棚、距離画像データの画像データ名、及び距離画像データの作成に用いられたカメラＣのカメラＩＤが関連付けられている。

【0043】

図７に示す「エリア」及び「商品棚」は、距離画像データの作成に用いられた撮像画像データを生成したカメラＣが撮像したエリアのエリアＩＤ及び商品棚Ｔの商品棚ＩＤである。距離画像データの画像データ名には、距離画像データの作成に用いられた２つの撮像画像データを生成した複数のカメラＣのカメラＩＤが含まれている。

【0044】

距離画像データの作成には２つの撮像画像データが用いられるので、第２検出データにおいては、距離画像データに２つのカメラＩＤが関連付けられている。ただし、顧客Ｍ１がアドレス（ｘ１，ｙ１）にいる間は、カメラＣ１１が生成した撮像画像データにしか顧客Ｍ１が写っていないため、この間は、距離画像データではなくカメラＣ１１が生成した撮像画像データしか記録されていない。

【0045】

顧客Ｍ１がアドレス（ｘ２，ｙ１）から（ｘ３，ｙ１）まで移動するまでの間は複数のカメラＣにより顧客Ｍが撮影されているので、２つの撮像画像データに基づいて作成された距離画像データが記録されている。この間、３つ以上のカメラＣにより顧客Ｍ１が撮影されている時点においては、２つ以上の距離画像データが作成可能である。したがって、例えば１３時５４分５５秒～１３時５４分５８秒の間には、カメラＣ１２とカメラＣ１３の組み合わせ及びカメラＣ１３とカメラＣ１４の組み合わせに対応する２つの２組の撮像画像データに基づく２つの距離画像データが作成されている。

【0046】

さらに、検出データ記憶部２３３は、エリアＩＤ又は商品棚ＩＤと、エリアＩＤ又は商品棚ＩＤに対応する商品棚Ｔから顧客Ｍが収容器に移動させた商品の数を示す商品収容数と、顧客Ｍが商品棚Ｔに商品を返却した数を示す商品返却数とを関連付けた商品収容数データを記憶する。

【0047】

図８は、商品収容数データの一例を示す図である。図８は、撮像画像データにおいて検出された３人の顧客Ｍ（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する商品収容数データＤ２１、Ｄ２２、Ｄ２３を示しているが、検出データ記憶部２３３は、より多くの顧客Ｍに対応する複数の商品収容数データを記憶してもよい。

【0048】

図８に示す商品収容数データにおいては、後述する検出部２４２が特定した同一の顧客Ｍごとに、エリアのアドレスと商品収容数とが関連付けられている。また、図８に示す商品収容数データにおいては、顧客Ｍに商品返却数が関連付けられている。顧客Ｍは、商品を元の商品棚Ｔに戻すとは限らないので、商品返却数はエリアのアドレスに関連付けられていないが、商品返却数がエリアのアドレスに関連付けられていてもよい。商品収容数データには、複数のエリアに対応する商品収容数の合計から商品返却数の合計を減算した、商品収容数合計値が含まれている。

【0049】

精算データ記憶部２３４は、後述するデータ取得部２４１が店舗Ｓ内に設置された複数の店舗端末１から通信部２１を介して取得した、顧客Ｍが精算する商品の精算内容を示す精算データを記憶する。

【0050】

図９は、精算データの一例を示す図である。図９は、３人の顧客Ｍ（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する精算データＤ３１、Ｄ３２、Ｄ３３を示しているが、精算データ記憶部２３４は、より多くの顧客Ｍに対応する複数の精算データを記憶してもよい。図９に示す精算データにおいては、同一の顧客Ｍごとに、店舗端末１が商品の精算を実行した時刻と、精算した商品の商品名と、精算した商品の数を示す商品購入数と、精算した商品の購入金額とが関連付けられている。

【0051】

さらに、精算データ記憶部２３４は、複数のエリアＩＤ又は商品棚ＩＤそれぞれと、顧客Ｍが購入した数を示す商品購入数とを関連付けた商品購入数データを記憶する。

【0052】

図１０は、商品購入数データの一例を示す。図１０は、３人の顧客Ｍ（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する商品購入数データＤ４１、Ｄ４２、Ｄ４３を示しているが、精算データ記憶部２３４は、より多くの顧客Ｍに対応する複数の商品購入数データを記憶してもよい。図１０に示す商品購入数データにおいては、同一の顧客Ｍごとに、エリアのアドレスと、当該アドレスに設置された商品棚Ｔに陳列された商品を顧客Ｍが購入した数とが関連付けられている。図１０に示す商品購入数データは、同一の顧客Ｍごとの、商品購入数の合計を含む。

【0053】

集計データ記憶部２３５は、店舗Ｓに来店した複数の顧客Ｍが複数の収容器に収容した商品の数と、複数の顧客Ｍが購入した商品の数とを関連付けた集計データを記憶する。図１１は、集計データの一例を示す図である。図１１に示す集計データにおいては、エリアのアドレスと、エリアに設置された商品棚Ｔの商品棚ＩＤと、当該商品棚Ｔにおける複数の顧客Ｍの商品収容数と、当該商品棚Ｔに陳列された商品を複数の顧客Ｍが購入した数を示す商品購入数と、検出数とが関連付けられている。検出数は、複数の顧客Ｍの商品収容数と複数の顧客Ｍの商品購入数との差である。図１１に示す集計データは、複数のエリアの商品収容数の合計、商品購入数の合計、及び検出数の合計を含む。

【0054】

制御部２４は、プログラム記憶部２３１に記憶されたプログラムを実行することにより、データ取得部２４１、検出部２４２、選択部２４３、距離画像作成部２４４、商品数特定部２４５、出力部２４６及び記録処理部２４７の少なくともいずれかとして機能する。制御部２４は、これらの全ての構成部の機能を実行してもよく、これらの一部の構成部の機能を実行してもよい。

【0055】

データ取得部２４１は、店舗Ｓに設置されたカメラＣが生成した撮像画像データを取得する。データ取得部２４１が取得する撮像画像データは、動画像データであってもよく、静止画像データであってもよい。データ取得部２４１は、複数のカメラＣが生成した複数の撮像画像データを取得し、検出部２４２に入力する。データ取得部２４１は、撮像画像データを送信したカメラＣのカメラＩＤに関連付けて複数の撮像画像データを検出データ記憶部２３３に記憶させてもよい。

【0056】

検出部２４２は、店舗Ｓ内における顧客Ｍの位置を特定する。検出部２４２は、複数の撮像画像データに基づいて、店舗Ｓ内の複数のエリアのうちどのエリアに人が滞在しているかを検出し、検出した人がどの顧客Ｍであるかを特定する。

【0057】

検出部２４２が顧客Ｍの位置を特定する方法は任意であるが、検出部２４２は、例えば撮像画像データに基づいて顧客Ｍの位置を特定する。具体的には、検出部２４２は、複数の撮像画像データを生成した複数のカメラＣがエリアデータ記憶部２３２において関連付けられたエリアを特定することにより、店舗Ｓ内の複数のエリアのうちどのエリアに顧客Ｍが滞在しているかを検出する。

【0058】

この場合、検出部２４２は、まずデータ取得部２４１から入力された複数の撮像画像データにおいて輝度値の変化量が閾値以上である輪郭線を特定し、輪郭線の形状が予め記憶部２３に記憶された人間の輪郭線と類似していることにより、顧客Ｍの画像が含まれている撮像画像データを特定する。検出部２４２は、エリアデータ記憶部２３２に記憶されたエリアデータを参照し、顧客Ｍの画像が含まれていることを特定した撮像画像データを送信したカメラＣの位置を特定することにより、顧客Ｍの位置を検出する。

【0059】

検出部２４２は、顧客Ｍの位置を検出した後に、当該顧客Ｍに対応する顧客ＩＤを特定する。検出部２４２は、例えば撮像画像データに含まれる顧客Ｍの顔の画像と、複数の顧客ＩＤそれぞれに関連付けて記憶部２３に記憶された、顧客Ｍの顔が写っている画像とを比較することにより、撮像画像データに写っている顧客Ｍの顧客ＩＤを特定する。

【0060】

検出部２４２は、位置を検出した顧客Ｍの顧客ＩＤを特定できない場合、新たに生成した顧客ＩＤに関連付けて、撮像画像データに含まれる顧客Ｍの顔の画像を記憶部２３に記憶させる。検出部２４２は、検出した顧客Ｍの位置と、特定した顧客ＩＤ又は新たに生成した顧客ＩＤとを選択部２４３に通知する。

【0061】

選択部２４３は、検出部２４２が検出した顧客Ｍの位置に基づいて、複数の撮像画像データから顧客Ｍの位置に対応する１以上の撮像画像データを選択する。選択部２４３は、検出部２４２が検出した顧客Ｍの位置が含まれているエリアに関連付けてエリアデータ記憶部２３２に記憶された１以上のカメラＣが生成した１以上の撮像画像データを選択する。

【0062】

具体的には、選択部２４３は、図４に示したエリアデータを参照し、検出部２４２が顧客Ｍを検出した位置のアドレスに対応する１以上のカメラＣを選択し、選択した１以上のカメラＣが生成した１以上の撮像画像データを選択する。選択部２４３は、選択した１以上の撮像画像データを、距離画像作成部２４４に入力する。選択部２４３は、１以上の撮像画像データを識別するための情報（例えば、図６又は図７に示す「画像データ名」）を距離画像作成部２４４に通知してもよい。

【0063】

ところで、図４のエリアデータが示すように、位置によっては３台以上のカメラＣが顧客Ｍを撮影できる場合がある。このような場合、選択部２４３は、検出部２４２が検出した顧客Ｍの位置とカメラＣの位置との距離が所定の範囲内の２つの撮像装置が生成した２つの撮像画像データを選択する。所定の範囲は、例えば、距離画像データの作成に適した距離として設定された範囲である。所定の範囲は、検出対象部位を撮影するために適した距離の範囲であってもよい。

【0064】

一例として、選択部２４３は、検出部２４２が検出した顧客Ｍの位置と複数のカメラＣそれぞれの位置との距離が最も近い２つのカメラＣが生成した２つの撮像画像データを選択する。選択部２４３は、２つのカメラＣと顧客Ｍの位置までの距離の平均値又は中央値が最も小さい２つのカメラＣが生成した撮像画像データを選択してもよい。選択部２４３がこのような２つの撮像画像データを選択することで、顧客Ｍが大きく写っている距離画像データが作成されるので、顧客Ｍが取得した商品の数を特定する精度が高まる。

【0065】

また、選択部２４３は、顧客Ｍの位置と２つのカメラＣとの距離のばらつきが、距離画像データの作成に適した距離として設定された範囲内である２つのカメラＣを選択してもよい。顧客Ｍの位置と２つのカメラＣとの距離のばらつきが小さいと２つのカメラＣが撮影した顧客Ｍの大きさが同等になるので、作成される距離画像データの質が高まる。

【0066】

選択部２４３は、顧客Ｍを撮影可能な２つのカメラＣの間の距離が、予め記憶部２３に記憶された、距離画像データの作成に適した距離の範囲に含まれている２つのカメラＣを選択してもよい。一例として、図２に示すアドレス（ｘ３，ｙ２）に顧客Ｍ２がいる場合、選択部２４３は、この位置を撮影可能な３台のカメラＣのうち、互いの距離が最も近いカメラＣ２２とカメラＣ２３、又はカメラＣ２３とカメラＣ２４等を選択する。

【0067】

選択部２４３は、選択した撮像画像データ又は当該撮像画像データの画像データ名と、検出部２４２から取得した顧客ＩＤとを関連付けて距離画像作成部２４４又は商品数特定部２４５に入力する。

【0068】

距離画像作成部２４４は、選択部２４３が選択した２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する。距離情報は、被写体までの深度又は奥行を示す情報である。本実施の形態における距離画像データは、例えば、撮像画像データに含まれている色の情報と距離情報とを含むデータである。選択部２４３が選択した２つの撮像画像データを生成した２つのカメラＣはステレオカメラを構成すると考えられ、距離画像作成部２４４は、ステレオカメラが距離画像データを作成する場合と同様の画像処理方法を用いて距離画像データを作成する。

【0069】

距離画像作成部２４４は、選択部２４３が選択した２つの撮像画像データに対応する２つのカメラＣの間の距離が、ステレオカメラにおける左右のカメラの間の距離であると仮定して、２つのカメラＣを結ぶ直線から被写体までの距離を算出することにより距離画像データを作成する。距離画像作成部２４４は、作成した距離画像データを検出データ記憶部２３３に記憶させる。距離画像作成部２４４は、作成した距離画像データ又は距離画像データの画像データ名と顧客ＩＤとを関連付けて商品数特定部２４５に入力する。

【0070】

図１２は、距離画像データを作成する方法を説明するための図である。図１２に示す例では、カメラＣ１１及びカメラＣ１２の焦点距離がＦ、基線長（カメラ間距離）がＢである。距離画像作成部２４４は、カメラＣ１１が生成した撮像画像データにおける顧客Ｍの位置とカメラＣ１２が生成した撮像画像データにおける顧客Ｍの位置との差である視差Ｓを算出し、顧客Ｍまでの距離ＤをＤ＝Ｂ×Ｆ／Ｓにより算出する。

【0071】

商品数特定部２４５は、選択部２４３が選択した撮像画像データに基づいて、撮像画像データに写っている顧客Ｍが、商品棚Ｔから収容器に移動させた商品の数である商品収容数を特定する。商品数特定部２４５は、例えば複数の撮像画像データのうち、商品棚Ｔに関連付けられたカメラＣが生成した撮像画像データに基づいて商品収容数を特定する。

【0072】

商品数特定部２４５は、例えば図４に示す商品棚Ｔ１２に関連付けられたカメラＣ１２及びカメラＣ１３が生成した撮像画像データを選択部２４３から取得する。商品数特定部２４５は、選択部２４３から取得した撮像画像データにおいて、顧客Ｍが商品棚Ｔ１２から収容器に移動させた商品の数を特定する。

【0073】

商品数特定部２４５は、例えば、予め記憶部２３に記憶された、動きの特徴と行動の内容とが関連付けられた動き特定用データを参照することにより、選択部２４３が選択した撮像画像データにおける顧客Ｍの動きの特徴に対応する行動の内容を特定する。商品数特定部２４５は、顧客Ｍが手を商品棚Ｔから収容器に移動させる動きを特定した場合、顧客Ｍの手に掴んでいる商品の画像と、商品棚Ｔに関連付けて記憶部２３に記憶された1つの商品の画像とを比較することにより、顧客Ｍが収容器に移動させた商品の数を特定する。商品数特定部２４５は、選択部２４３が選択した顧客Ｍが写っている撮像画像データを解析すればよいので、多数の顧客Ｍが店舗Ｓに滞在している場合であっても処理の負荷を小さくすることができる。

【0074】

商品数特定部２４５は、距離画像作成部２４４が作成した距離画像データに基づいて、距離画像データに写っている顧客Ｍが収容器に移動させた商品収容数を特定してもよい。商品数特定部２４５は、記憶部２３に記憶された動き特定用データ及び商品の画像を参照することにより、距離画像データにおいて顧客Ｍが商品棚Ｔから収容器に移動させた商品の数を特定する。商品数特定部２４５は、二次元の撮像画像データのみを用いる場合に比べて高い精度で顧客Ｍの行動を解析することができる。

【0075】

商品数特定部２４５は、選択部２４３から商品棚Ｔに関連付けられた２つの撮像画像データを取得した場合、２つの撮像画像データのうち顧客Ｍが手を商品棚Ｔから収容器に移動させる動きを特定可能な撮像画像データを用いて商品収容数を特定してもよい。商品数特定部２４５は、顧客Ｍの位置により一方の撮像画像データに基づいて商品収容数を特定できない場合であっても他方の撮像画像データに基づいて商品収容数を特定できる。

【0076】

商品数特定部２４５は、エリア又は商品棚Ｔごとに、顧客Ｍが収容器に移動させた商品の数を商品収容数として特定する。商品数特定部２４５は、エリアデータ記憶部２３２を参照することにより、撮像画像データ又は距離画像データに関連付けられたカメラＣが設置されているエリア又は当該エリアに設置された商品棚Ｔを特定する。商品数特定部２４５は、撮像画像データ又は距離画像データに写っている顧客Ｍが収容器に移動させた商品の数を、特定したエリア又は商品棚Ｔから収容器に移動させた商品収容数として特定する。

【0077】

具体的には、商品数特定部２４５は、図４に示すエリアデータを参照することにより、距離画像データに関連付けられたカメラＣ１２及びカメラＣ１３が撮影するエリア（ｘ２，ｙ１）又は商品棚Ｔ１２を特定する。商品数特定部２４５は、図５に示す商品位置データを参照することにより、商品棚Ｔ１２に陳列された商品Ａ３、Ａ４及びＡ５を特定する。

【0078】

商品数特定部２４５は、記憶部２３に記憶された商品Ａ３、Ａ４及びＡ５の画像を参照することにより、距離画像データに写っている顧客Ｍが収容器に移動させた商品の数を特定する。商品数特定部２４５は、特定した商品の数を、顧客Ｍが商品棚Ｔ１２から収容器に移動させた商品収容数として特定する。

【0079】

ところで、顧客Ｍが、商品棚Ｔから収容器に移動させた商品を商品棚Ｔに返却した場合は、商品数特定部２４５が特定した商品収容数と収容器に収容された商品の数とが一致しなくなる。そこで、商品数特定部２４５は、顧客Ｍが収容器から商品棚Ｔに戻した商品の数である商品返却数をさらに特定してもよい。商品数特定部２４５は、例えば店舗Ｓに設けられた複数の商品棚Ｔのいずれかに戻された商品の数を商品返却数として特定する。

【0080】

商品数特定部２４５は、記憶部２３に記憶された動き特定用データを参照することにより、撮像画像データ又は距離画像データにおいて顧客Ｍが手を収容器から商品棚Ｔに移動させる動きを特定する。続いて、商品数特定部２４５は、記憶部２３に記憶された商品の画像を参照することにより、顧客Ｍが手を収容器から商品棚Ｔに移動させたときに手に掴んでいる商品の数、又は商品棚Ｔに移動させた商品の数を商品返却数として特定する。商品数特定部２４５は、特定した商品収容数及び商品返却数を検出データ記憶部２３３に記憶させる。

【0081】

商品数特定部２４５は、顧客Ｍが商品棚Ｔから収容器に移動させる行為をする前に商品棚Ｔに置かれている商品の数と当該行為をした後に商品棚Ｔに置かれている商品の数との差に基づいて商品収容数又は商品返却数を特定してもよい。この場合、商品数特定部２４５は、例えば選択部２４３が選択した撮像画像データ又は距離画像作成部２４４が作成した距離画像データに基づいて、商品棚Ｔに陳列された商品の数を定期的に特定する。商品数特定部２４５は、前の時刻において特定した商品の数と現在の時刻において特定した商品の数との差を、撮像画像データ又は距離画像データに写っている顧客Ｍの商品収容数又は商品返却数として特定する。商品数特定部２４５は、顧客Ｍの動作を特定しなくても商品収容数を特定することができるので、処理の負荷を小さくすることができる。

【0082】

商品数特定部２４５は、顧客Ｍと同一グループに属する複数の顧客Ｍが複数の商品棚Ｔから複数の収容器に移動させた商品の数の合計数を商品収容数として特定し、当該複数の顧客Ｍが複数の収容器から複数の商品棚Ｔに移動させた商品の数の合計数を顧客Ｍの商品返却数として特定してもよい。商品数特定部２４５は、例えば選択部２４３が選択した撮像画像データに含まれる複数の顧客Ｍの距離が所定の時間において所定の範囲である場合、当該複数の顧客Ｍを同一グループであると特定する。所定の時間及び所定の範囲は、例えば複数の顧客Ｍが家族、友人等の関係であると判定できる時間及び範囲である。商品数特定部２４５が、グループ単位で商品収容数を特定することで、精算した顧客Ｍの家族又は友人が万引き行為をしたことも検出可能になる。

【0083】

出力部２４６は、顧客Ｍが万引き行為をした可能性があるか否かを判定し、判定した結果を出力する。具体的には、出力部２４６は、レジ（すなわち店舗端末１）から取得した顧客Ｍが精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも商品収容数の方が多い場合に、警告情報を出力する。出力部２４６は、精算データが作成された直後に、データ処理装置２に接続されたディスプレイ若しくはマイクに警告情報を出力してもよく、定期的（例えば、閉店後）に、顧客Ｍに関する情報に関連付けて情報処理装置に警告情報を出力してもよい。

【0084】

出力部２４６は、顧客Ｍが万引き行為をした可能性があるか否かを判定するために、まず、精算データに含まれている商品購入数の合計を算出する。続いて、出力部２４６は、算出した商品購入数の合計と図８に示す商品収容数データが示す商品収容数の合計とを比較する。出力部２４６は、商品購入数の合計が商品収容数の合計よりも小さい場合に、顧客Ｍが万引き行為をした可能性があると判定して警告情報を出力する。

【0085】

出力部２４６は、複数の顧客Ｍが複数の収容器に収容した商品の数と、当該複数の顧客Ｍがレジで精算した商品の数とを比較するため、顧客Ｍが収容器に商品を入れた後にカメラＣの撮像範囲と異なる領域で収容器に収容した商品を万引きしたことを検出できる。その結果、店舗Ｓの経営者又は従業員は、検出データ記憶部が記憶する撮像画像データを確認することにより、万引きを実行した顧客Ｍを特定することができる。

【0086】

出力部２４６は、エリア又は商品棚Ｔごとに、商品購入数と商品収容数とを比較し、少なくとも１つのエリア又は商品棚Ｔに対応する商品購入数よりも商品収容数の方が多い場合に、警告情報を出力してもよい。出力部２４６は、例えば図１１に示す複数のエリアそれぞれに関連付けられた収容数（商品収容数）と購入数（商品購入数）とを比較する。出力部２４６は、アドレス（ｘ２，ｙ１）及びアドレス（ｘ２，ｙ２）において商品購入数よりも商品収納数が１多いことにより、これらのアドレスに関連付けて警告情報を出力する。店舗Ｓの経営者又は従業員は、このような警告情報が示すアドレスに対応する撮像した撮像画像データを確認することで、万引き行為が写った撮像画像を効率良く特定することができる。

【0087】

出力部２４６は、複数の顧客Ｍそれぞれにおけるエリア又は商品棚Ｔごとの商品収容数と商品購入数とを比較し、複数の顧客Ｍのうち、少なくとも１つのエリア又は商品棚Ｔに対応する商品購入数よりも商品収容数の方が多い顧客Ｍと、商品購入数よりも商品収容数の方が多いエリアのアドレスとに関連付けて、警告情報を出力してもよい。店舗Ｓの経営者又は従業員は、出力部２４６が警告情報に関連付けたエリアと顧客ＩＤに対応する撮像画像データを確認すればよいので、顧客Ｍの万引き行為が写った撮像画像を効率良く特定することができる。

【0088】

ところで、顧客Ｍは、商品を収容器に収容した後に商品を商品棚Ｔに返却するという場合もあるので、商品購入数と商品収容数とを比較すると、顧客Ｍが万引き行為をしていないにもかかわらず警告情報が出力されてしまうという場合が生じ得る。そこで、出力部２４６は、商品購入数よりも、商品収容数から商品返却数を減算した数の方が多い場合に、警告情報を出力してもよい。出力部２４６は、集計データが示す商品収容数の合計から、商品収容数データが示す複数の顧客Ｍの商品返却数の合計を減算した数を算出し、集計データが示す商品購入数よりも当該減算した数の方が多い場合に警告情報を出力する。出力部２４６がこのように動作することで、警告情報の精度が向上する。

【0089】

記録処理部２４７は、撮像画像データ及び距離画像データを検出データ記憶部２３３に記憶させる。記録処理部２４７は、同一の顧客Ｍが共通に存在する複数の撮像画像データを当該顧客Ｍに関連付けて検出データ記憶部２３３に記憶させることにより、図６に示す第１検出データを作成する。記録処理部２４７は、同一の顧客Ｍが共通に存在する複数の距離画像データを当該顧客Ｍに関連付けて検出データ記憶部２３３に記憶させることにより、図７に示す第２検出データを作成する。

【0090】

記録処理部２４７は、商品数特定部２４５が特定した商品収容数及び商品返却数に基づいて商品収容数データを作成し、検出データ記憶部２３３に記憶させる。記録処理部２４７は、出力部２４６から取得した精算データに基づいて商品購入数データを作成し、精算データ記憶部２３４に記憶させる。記録処理部２４７は、出力部２４６から取得した商品収容数及び商品購入数に基づいて集計データを作成し、集計データ記憶部２３５に記憶させる。

【0091】

［データ処理装置２における処理の流れ］
図１３は、データ処理装置２における処理の流れを示すフローチャートである。データ取得部２４１は、複数のカメラＣから複数の撮像画像データを取得する（Ｓ１）。検出部２４２は、データ取得部２４１が取得した複数の撮像画像データそれぞれにおいて顧客Ｍの画像を特定し、顧客Ｍの位置を検出する（Ｓ２）。検出部２４２は、撮像画像データにおいて顧客Ｍを特定した位置と、当該撮像画像データを生成したカメラＣの位置とに基づいて、検出した顧客Ｍがいるエリアを特定する（Ｓ３）。

【0092】

選択部２４３は、検出部２４２が検出した顧客Ｍが写っている撮像画像データを選択し、距離画像作成部２４４に入力する。距離画像作成部２４４は、選択部２４３から取得した撮像画像データを用いて距離画像データを作成する。商品数特定部２４５は、距離画像作成部２４４が作成した距離画像データに基づいて、顧客Ｍが商品棚Ｔから収容器に商品を移動させたか否かを検出する（Ｓ４）。

【0093】

顧客Ｍが商品棚Ｔから収容器に商品を移動させたことを検出しなかった場合（Ｓ４のＮＯ）、データ処理装置２は、Ｓ１からＳ３までの処理を繰り返す。顧客Ｍが商品棚Ｔから収容器に商品を移動させたことを検出した場合（Ｓ４のＹＥＳ）、商品数特定部２４５は、顧客Ｍが収容器に収容した商品の数（すなわち商品収容数）を特定する（Ｓ５）。

【0094】

データ処理装置２は、顧客Ｍがレジで精算を行っていない場合（Ｓ６のＮＯ）、Ｓ１からＳ５までの処理を繰り返す。顧客Ｍがレジで精算を行った場合（Ｓ６のＹＥＳ）、データ取得部２４１は、店舗端末１から精算データを取得する（Ｓ７）。

【0095】

出力部２４６は、商品数特定部２４５が特定した、複数の顧客Ｍの商品収容数と、精算データが示す複数の顧客Ｍの商品購入数とを比較する（Ｓ８）。商品収容数が商品購入数よりも多い場合（Ｓ８のＹＥＳ）、出力部２４６は、警告情報を出力する（Ｓ９）。一方、商品収容数が商品購入数と一致する場合、又は商品収容数が商品購入数よりも少ない場合（Ｓ８のＮＯ）、出力部２４６は、警告情報を出力しない。

【0096】

データ処理装置２は、処理を終了する操作が行われていない場合（Ｓ１０のＮＯ）、Ｓ１からＳ９までの処理を繰り返す。データ処理装置２は、処理を終了する操作が行われた場合（Ｓ１０のＹＥＳ）、処理を終了する。

【0097】

［データ処理装置２による効果］
以上説明したように、データ処理装置２においては、データ取得部２４１が店舗Ｓに設置されたカメラＣが生成した撮像画像データを取得し、商品数特定部２４５が、撮像画像データに基づいて顧客Ｍが商品棚Ｔから収容器に移動させた商品の数である商品収容数を特定する。そして、出力部２４６が、データ取得部２４１が店舗端末１から取得した精算データが示す商品購入数よりも商品数特定部２４５が特定した商品収容数の方が多い場合に警告情報を出力する。

【0098】

データ処理装置２がこのように動作することで、データ処理装置２は、顧客Ｍが収容器に商品を移動させた後にカメラＣの撮影範囲と異なる領域において万引きを実行したとしても、商品収容数と商品購入数とを比較することにより警告情報を出力することができる。その結果、データ処理装置２は、万引きが発生したことを特定する精度を向上させることができる。さらに、店舗Ｓの経営者又は従業員は、万引きを実行した顧客Ｍがいることを把握し、カメラＣが生成した撮像画像データを確認することで、万引きを実行した顧客Ｍを特定することができる。

【0099】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0100】

１ 店舗端末
２ データ処理装置
２１ 通信部
２２ 設定受付部
２３ 記憶部
２４ 制御部
１００ データ処理システム
２３１ プログラム記憶部
２３２ エリアデータ記憶部
２３３ 検出データ記憶部
２３４ 精算データ記憶部
２３５ 集計データ記憶部
２４１ データ取得部
２４２ 検出部
２４３ 選択部
２４４ 距離画像作成部
２４５ 商品数特定部
２４６ 出力部
２４７ 記録処理部
Ｃ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】