IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サクサ株式会社の特許一覧

<>
  • 特開-データ処理装置及びプログラム 図1
  • 特開-データ処理装置及びプログラム 図2
  • 特開-データ処理装置及びプログラム 図3
  • 特開-データ処理装置及びプログラム 図4
  • 特開-データ処理装置及びプログラム 図5
  • 特開-データ処理装置及びプログラム 図6
  • 特開-データ処理装置及びプログラム 図7
  • 特開-データ処理装置及びプログラム 図8
  • 特開-データ処理装置及びプログラム 図9
  • 特開-データ処理装置及びプログラム 図10
  • 特開-データ処理装置及びプログラム 図11
  • 特開-データ処理装置及びプログラム 図12
  • 特開-データ処理装置及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175284
(43)【公開日】2023-12-12
(54)【発明の名称】データ処理装置及びプログラム
(51)【国際特許分類】
   G06Q 30/06 20230101AFI20231205BHJP
【FI】
G06Q30/06
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022087652
(22)【出願日】2022-05-30
(71)【出願人】
【識別番号】304020498
【氏名又は名称】サクサ株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】深井 伸晃
(72)【発明者】
【氏名】瀧川 修一
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB72
(57)【要約】
【課題】万引きが発生したことを特定する精度を向上させる。
【解決手段】データ処理装置2は、店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部241と、撮像画像データに基づいて、撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部245と、レジから取得した顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも商品収容数の方が多い場合に、警告情報を出力する出力部246と、を有する。
【選択図】図3

【特許請求の範囲】
【請求項1】
店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、
前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、
レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、
を有するデータ処理装置。
【請求項2】
前記店舗で販売されている商品が、前記店舗内の複数のエリア又は複数の前記商品棚のどこに置かれているかを示す商品位置データを記憶する記憶部をさらに有し、
前記商品数特定部は、前記エリア又は前記商品棚ごとに、前記顧客が前記収容器に移動させた商品の数を前記商品収容数として特定し、
前記出力部は、前記エリア又は前記商品棚ごとに、前記商品購入数と前記商品収容数とを比較し、少なくとも1つの前記エリア又は前記商品棚に対応する前記商品購入数よりも前記商品収容数の方が多い場合に、前記警告情報を出力する、
請求項1に記載のデータ処理装置。
【請求項3】
前記データ取得部は、複数の前記撮像装置が生成した複数の前記撮像画像データを取得し、
前記商品数特定部は、複数の前記撮像画像データのうち、前記商品棚に関連付けられた前記撮像装置が生成した前記撮像画像データに基づいて前記商品収容数を特定する、
請求項1又は2に記載のデータ処理装置。
【請求項4】
前記商品数特定部は、前記顧客が前記収容器から前記商品棚に戻した商品の数である商品返却数をさらに特定し、
前記出力部は、前記商品購入数よりも、前記商品収容数から前記商品返却数を減算した数の方が多い場合に、前記警告情報を出力する、
請求項1に記載のデータ処理装置。
【請求項5】
前記店舗には複数の前記商品棚が設けられており、
前記商品数特定部は、複数の前記商品棚のいずれかに戻された商品の数を前記商品返却数として特定する、
請求項4に記載のデータ処理装置。
【請求項6】
前記商品数特定部は、前記顧客が前記商品棚から前記収容器に移動させる行為をする前に前記商品棚に置かれている商品の数と当該行為をした後に前記商品棚に置かれている商品の数との差に基づいて前記商品収容数を特定する、
請求項1に記載のデータ処理装置。
【請求項7】
前記商品数特定部は、前記顧客と同一グループに属する複数の顧客が複数の前記商品棚から複数の前記収容器に移動させた商品の数の合計数を前記商品収容数として特定する、
請求項1に記載のデータ処理装置。
【請求項8】
コンピュータを、
店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、
前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、
レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、カメラが人を撮像した画像に基づいて万引きの発生を検出する万引き検出システムが知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-76171号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の万引き検出システムにおいては、カメラの撮像範囲における万引きの発生を検出することができる。しかしながら、カメラが撮像した画像に写らないように実行された万引きについては検出できないという問題があった。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、万引きが発生したことを特定する精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係るデータ処理装置は、店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、を有する。
【0007】
前記店舗で販売されている商品が、前記店舗内の複数のエリア又は複数の前記商品棚のどこに置かれているかを示す商品位置データを記憶する記憶部をさらに有し、前記商品数特定部は、前記エリア又は前記商品棚ごとに、前記顧客が前記収容器に移動させた商品の数を前記商品収容数として特定し、前記出力部は、前記エリア又は前記商品棚ごとに、前記商品購入数と前記商品収容数とを比較し、少なくとも1つの前記エリア又は前記商品棚に対応する前記商品購入数よりも前記商品収容数の方が多い場合に、前記警告情報を出力してもよい。
【0008】
前記データ取得部は、複数の前記撮像装置が生成した複数の前記撮像画像データを取得し、前記商品数特定部は、複数の前記撮像画像データのうち、前記商品棚に関連付けられた前記撮像装置が生成した前記撮像画像データに基づいて前記商品収容数を特定してもよい。
【0009】
前記商品数特定部は、前記顧客が前記収容器から前記商品棚に戻した商品の数である商品返却数をさらに特定し、前記出力部は、前記商品購入数よりも、前記商品収容数から前記商品返却数を減算した数の方が多い場合に、前記警告情報を出力してもよい。
【0010】
前記店舗には複数の前記商品棚が設けられており、前記商品数特定部は、複数の前記商品棚のいずれかに戻された商品の数を前記商品返却数として特定してもよい。
【0011】
前記商品数特定部は、前記顧客が前記商品棚から前記収容器に移動させる行為をする前に前記商品棚に置かれている商品の数と当該行為をした後に前記商品棚に置かれている商品の数との差に基づいて前記商品収容数を特定してもよい。
【0012】
前記商品数特定部は、前記顧客と同一グループに属する複数の顧客が複数の前記商品棚から複数の前記収容器に移動させた商品の数の合計数を前記商品収容数として特定してもよい。
【0013】
本発明の第2の態様に係るプログラムは、コンピュータを、店舗に設置された撮像装置が生成した撮像画像データを取得するデータ取得部と、前記撮像画像データに基づいて、前記撮像画像データに写っている顧客が、商品棚から収容器に移動させた商品の数である商品収容数を特定する商品数特定部と、レジから取得した前記顧客が精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも前記商品収容数の方が多い場合に、警告情報を出力する出力部と、として機能させる。
【発明の効果】
【0014】
本発明によれば、万引きが発生したことを特定する精度を向上させるという効果を奏する。
【図面の簡単な説明】
【0015】
図1】本実施の形態に係るデータ処理システム100の概要を説明するための図である。
図2】店舗Sのレイアウトを示す模式図である。
図3】データ処理装置2の構成を示す図である。
図4】エリアデータの一例を示す図である。
図5】商品位置データの一例を示す図である。
図6】第1検出データの一例を示す図である。
図7】第2検出データの一例を示す図である。
図8】商品収容数データの一例を示す図である。
図9】精算データの一例を示す図である。
図10】商品購入数データの一例を示す。
図11】集計データの一例を示す図である。
図12】距離画像データを作成する方法を説明するための図である。
図13】データ処理装置2における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0016】
[データ処理システム100の概要]
図1は、本実施の形態に係るデータ処理システム100の概要を説明するための図である。データ処理システム100は、人の行動を監視するためのシステムであり、例えば店舗Sにいる人(以下、「顧客M」という場合がある)が商品を万引きしたか否かを把握するために用いられる。
【0017】
図1に示す例においては、店舗Sに複数の撮像装置であるカメラCが設置されており、複数のカメラCが店舗内の顧客Mを撮影することにより撮像画像データを生成する。複数のカメラCの視野角は任意であるが、本実施の形態におけるカメラCは、360度方向を撮影可能なカメラであるとする。
【0018】
複数のカメラCは、通信線を介してデータ処理装置2に撮像画像データを送信する。通信線は有線であっても無線であってもよい。本実施の形態においては、撮像画像データが動画像データである場合を例示するが、撮像画像データは静止画像データであってもよい。
【0019】
店舗端末1は、顧客Mが商品を精算するための情報端末であり、例えばPOS(Point of Sale)端末である。図1に示す例においては、店舗Sに複数の店舗端末1(店舗端末1a、店舗端末1b)が設置されており、複数の店舗端末1が、商品を精算した内容を示す精算データを生成し、通信線を介してデータ処理装置2に精算データを送信する。精算データは、例えば商品を精算した日時と、精算した商品の種類及び数とを含む。以下の説明においては、店舗端末1を「レジ」という場合がある。
【0020】
データ処理装置2は、カメラCが撮影した撮像画像データに含まれる顧客Mが万引きをしたことを検出するための装置であり、例えばコンピュータである。データ処理装置2は、例えば店舗Sのオフィスに設置されたパーソナルコンピュータであるが、店舗Sと異なる場所に設置されたコンピュータ又はサーバであってもよい。
【0021】
図2は、店舗Sのレイアウトを示す模式図である。図2においては、店舗Sにおける複数のエリアそれぞれのエリアIDであるアドレスが示されている。複数のエリアのアドレスは、横方向アドレスx1~x4と縦方向アドレスy1~y2の組み合わせにより表されるエリア識別情報である。例えば、左上のアドレスは(x1,y1)と表される。図2に示す一点鎖線の矢印は、顧客M1が移動してきた経路を示している。
【0022】
店舗Sには、複数の商品棚T(商品棚T11~T14、商品棚T21~T24)が設置されている。T11~T14及びT21~T24は、商品棚Tを識別するための商品棚識別情報(以下、「商品棚ID」という)として使用される。複数の商品棚Tの周囲は通路であり、店舗Sに来店した顧客M(図2においては、M1~M4)は、通路を自由に移動することができる。
【0023】
通路の上方には、複数のカメラC(カメラC11~C14、カメラC21~C24)が設置されている。C11~C14及びC21~C24は、カメラを識別するためのカメラ識別情報(以下、「カメラID」という)として使用される。複数のカメラCは、それぞれの視野の範囲内を撮影することにより、それぞれ異なる撮像画像データを生成する。なお、カメラCは、商品棚Tの上方に設置されていてもよい。
【0024】
データ処理装置2は、複数のカメラCが生成した撮像画像データを用いて、顧客Mが商品棚Tから収容器(すなわち、店舗Sが顧客Mに貸し出した買い物カゴ)に移動させた商品の数である商品収容数を特定する。データ処理装置2は、複数の店舗端末1から取得した複数の精算データが示す商品の数に基づいて、顧客Mが購入した商品の数である商品購入数を特定する。データ処理装置2は、商品収容数が商品購入数よりも多い場合に、警告情報を出力する。
【0025】
データ処理装置2は商品収容数と商品購入数とを比較することができるので、顧客Mが商品を収容器に入れた後に、複数のカメラCの撮影領域と異なる領域で収容器に入れた商品の万引きを実行したとしても、顧客Mが万引きを実行したことを検出することができる。
以下、データ処理装置2の構成及び動作を詳細に説明する。
【0026】
[データ処理装置2の構成]
図3は、データ処理装置2の構成を示す図である。データ処理装置2は、通信部21と、設定受付部22と、記憶部23と、制御部24と、を有する。
【0027】
通信部21は、店舗端末1及びカメラC等の外部装置との間でデータを送受信するためのインターフェースであり、例えばLAN(Local Area Network)コントローラ又は無線通信コントローラを有する。通信部21は、複数のカメラCから撮像画像データを受信する。通信部21は、複数の店舗端末1から精算データを受信する。
【0028】
設定受付部22は、データ処理装置2のユーザ(例えば店舗Sの管理者)による各種の設定を受け付けるためのインターフェースである。設定受付部22は、例えばキーボード又はマウス等の操作デバイスを含む。設定受付部22は、入力された設定内容を示すデータを記憶部23に記憶させたり制御部24に通知したりする。
【0029】
記憶部23は、例えばROM(Read Only Memory)、RAM(Random Access Memory)又はSSD(Solid State Drive)等の記憶媒体を有する。記憶部23は、制御部24が実行するプログラムを記憶する。また、記憶部23は、通信部21が受信した複数の撮像画像データ及び複数の精算データと、複数の撮像画像データ及び複数の精算データに基づく各種の処理を実行するためのデータとを記憶する。
【0030】
記憶部23は、プログラム記憶部231と、エリアデータ記憶部232と、検出データ記憶部233と、精算データ記憶部234と、集計データ記憶部235とを有する。プログラム記憶部231は、制御部24が実行するプログラムを記憶する。エリアデータ記憶部232は、複数のエリアIDそれぞれとカメラCとが関連付けられたエリアデータ、及び店舗Sで販売されている商品が、店舗S内の複数のエリア又は複数の商品棚Tのどこに置かれているかを示す商品位置データを記憶する。
【0031】
図4は、エリアデータの一例を示す図である。図4に示すエリアデータにおいては、エリアのアドレス(すなわちエリアID)と商品棚IDとカメラIDとが関連付けられている。複数のカメラCが撮影可能なエリアのアドレスには、複数のカメラCのカメラIDが関連付けられている。図5は、商品位置データの一例を示す図である。図5に示す商品位置データにおいては、エリアID、商品棚ID及び設定受付部22が受け付けた、商品棚IDに対応する商品棚Tに陳列された商品の商品名が関連付けられている。
【0032】
検出データ記憶部233は、撮像画像データにおいて検出された顧客Mが存在する複数の撮像画像データと、検出された顧客Mが商品棚Tから収容器に商品を移動させた数(すなわち商品収容数)とが関連付けられた第1検出データを記憶する。検出データ記憶部233は、例えば、後述する検出部242が特定した同一の顧客Mごとに、その顧客Mが含まれる撮像画像データを、撮像画像データが生成された日時の順番に時系列に記憶する。
【0033】
図6は、第1検出データの一例を示す図である。図6は、撮像画像データにおいて検出された3人の顧客M(例えば顧客M1、M2、M3)それぞれに対応する第1検出データD01、D02、D03を示しているが、検出データ記憶部233は、より多くの顧客Mに対応する複数の第1検出データを記憶してもよい。
【0034】
図6に示す第1検出データにおいては、それぞれの第1検出データに対応する顧客Mの画像を含む撮像画像が生成された順番に、それぞれの撮像画像データに顧客Mが含まれる時間の開始日時及び終了日時、撮像画像データを撮像したカメラCが撮像するエリア及び商品棚T、撮像画像データの画像データ名及びカメラCのカメラIDが関連付けられている。図6においては、「エリア」はエリアIDを示し、「商品棚T」は、商品棚IDを示す。
【0035】
画像データ名は、撮像画像データの画像データ名であり、検出データ記憶部233内のアドレスに関連付けられた撮像画像データのファイル名である。制御部24は、画像データ名を指定することにより撮像画像データにアクセスすることができる。
【0036】
図6に示す第1検出データは、図2に示した店舗Sにいる顧客M1が店舗Sに入ってからアドレス(x3,y1)の位置まで、一点鎖線で示す経路で移動する間に撮影された複数の撮像画像データに対応している。ここでは、顧客M1が商品棚T1、T2、T3の順に移動している状態が想定されている。
【0037】
図4のエリアデータが示すように、店舗Sに入った顧客M1がアドレス(x1,y1)にいる間は、カメラC11のみが顧客M1を撮影できるので、13時45分00秒から13時45分02秒の間は、カメラC11のみが顧客M1を撮影している。その後、顧客M1がアドレス(x2,y1)に移動すると、カメラC12及びカメラC13が顧客M1を撮影できるようになり、13時48分10秒~13時50分05秒の間は、カメラC12及びカメラC13が顧客M1を撮影している。
【0038】
その後、顧客M1がアドレス(x3,y1)にいる間は、カメラC12、カメラC13及びカメラC14が顧客M1を撮影している。このように、第1検出データにおいては、顧客M1が写っている複数の撮像画像データが時系列に記録されているので、例えば店舗Sの職員が、特定の顧客Mが写っている撮像画像データを検索しやすくなる。
【0039】
また、検出データ記憶部233は、距離画像データにおいて検出された顧客Mが存在する複数の距離画像データと、検出された顧客Mの商品収容数とが関連付けられた第2検出データを記憶する。
【0040】
距離画像データは、後述する距離画像作成部244が2つの撮像画像データを用いて、2つのカメラCの間の距離を視差として用いることにより作成したデータである。距離画像データには深度情報(すなわち奥行き方向の距離を示す情報)が含まれている。検出データ記憶部233は、例えば顧客Mごとに、その顧客Mが含まれる距離画像データを、距離画像データの作成に用いられた撮像画像データが生成された日時の順番に時系列に記憶する。
【0041】
図7は、第2検出データの一例を示す図である。図7は、撮像画像データにおいて検出された3人の顧客M(例えば顧客M1、M2、M3)それぞれに対応する第2検出データD11、D12、D13を示しているが、検出データ記憶部233は、より多くの顧客Mに対応する複数の第2検出データを記憶してもよい。
【0042】
図7に示す第2検出データにおいては、それぞれの第2検出データに対応する顧客Mの画像を含む撮像画像データが生成された順番に、撮像画像データに基づいて生成された距離画像データに顧客Mが含まれる時間の開始日時及び終了日時、エリア、商品棚、距離画像データの画像データ名、及び距離画像データの作成に用いられたカメラCのカメラIDが関連付けられている。
【0043】
図7に示す「エリア」及び「商品棚」は、距離画像データの作成に用いられた撮像画像データを生成したカメラCが撮像したエリアのエリアID及び商品棚Tの商品棚IDである。距離画像データの画像データ名には、距離画像データの作成に用いられた2つの撮像画像データを生成した複数のカメラCのカメラIDが含まれている。
【0044】
距離画像データの作成には2つの撮像画像データが用いられるので、第2検出データにおいては、距離画像データに2つのカメラIDが関連付けられている。ただし、顧客M1がアドレス(x1,y1)にいる間は、カメラC11が生成した撮像画像データにしか顧客M1が写っていないため、この間は、距離画像データではなくカメラC11が生成した撮像画像データしか記録されていない。
【0045】
顧客M1がアドレス(x2,y1)から(x3,y1)まで移動するまでの間は複数のカメラCにより顧客Mが撮影されているので、2つの撮像画像データに基づいて作成された距離画像データが記録されている。この間、3つ以上のカメラCにより顧客M1が撮影されている時点においては、2つ以上の距離画像データが作成可能である。したがって、例えば13時54分55秒~13時54分58秒の間には、カメラC12とカメラC13の組み合わせ及びカメラC13とカメラC14の組み合わせに対応する2つの2組の撮像画像データに基づく2つの距離画像データが作成されている。
【0046】
さらに、検出データ記憶部233は、エリアID又は商品棚IDと、エリアID又は商品棚IDに対応する商品棚Tから顧客Mが収容器に移動させた商品の数を示す商品収容数と、顧客Mが商品棚Tに商品を返却した数を示す商品返却数とを関連付けた商品収容数データを記憶する。
【0047】
図8は、商品収容数データの一例を示す図である。図8は、撮像画像データにおいて検出された3人の顧客M(例えば顧客M1、M2、M3)それぞれに対応する商品収容数データD21、D22、D23を示しているが、検出データ記憶部233は、より多くの顧客Mに対応する複数の商品収容数データを記憶してもよい。
【0048】
図8に示す商品収容数データにおいては、後述する検出部242が特定した同一の顧客Mごとに、エリアのアドレスと商品収容数とが関連付けられている。また、図8に示す商品収容数データにおいては、顧客Mに商品返却数が関連付けられている。顧客Mは、商品を元の商品棚Tに戻すとは限らないので、商品返却数はエリアのアドレスに関連付けられていないが、商品返却数がエリアのアドレスに関連付けられていてもよい。商品収容数データには、複数のエリアに対応する商品収容数の合計から商品返却数の合計を減算した、商品収容数合計値が含まれている。
【0049】
精算データ記憶部234は、後述するデータ取得部241が店舗S内に設置された複数の店舗端末1から通信部21を介して取得した、顧客Mが精算する商品の精算内容を示す精算データを記憶する。
【0050】
図9は、精算データの一例を示す図である。図9は、3人の顧客M(例えば顧客M1、M2、M3)それぞれに対応する精算データD31、D32、D33を示しているが、精算データ記憶部234は、より多くの顧客Mに対応する複数の精算データを記憶してもよい。図9に示す精算データにおいては、同一の顧客Mごとに、店舗端末1が商品の精算を実行した時刻と、精算した商品の商品名と、精算した商品の数を示す商品購入数と、精算した商品の購入金額とが関連付けられている。
【0051】
さらに、精算データ記憶部234は、複数のエリアID又は商品棚IDそれぞれと、顧客Mが購入した数を示す商品購入数とを関連付けた商品購入数データを記憶する。
【0052】
図10は、商品購入数データの一例を示す。図10は、3人の顧客M(例えば顧客M1、M2、M3)それぞれに対応する商品購入数データD41、D42、D43を示しているが、精算データ記憶部234は、より多くの顧客Mに対応する複数の商品購入数データを記憶してもよい。図10に示す商品購入数データにおいては、同一の顧客Mごとに、エリアのアドレスと、当該アドレスに設置された商品棚Tに陳列された商品を顧客Mが購入した数とが関連付けられている。図10に示す商品購入数データは、同一の顧客Mごとの、商品購入数の合計を含む。
【0053】
集計データ記憶部235は、店舗Sに来店した複数の顧客Mが複数の収容器に収容した商品の数と、複数の顧客Mが購入した商品の数とを関連付けた集計データを記憶する。図11は、集計データの一例を示す図である。図11に示す集計データにおいては、エリアのアドレスと、エリアに設置された商品棚Tの商品棚IDと、当該商品棚Tにおける複数の顧客Mの商品収容数と、当該商品棚Tに陳列された商品を複数の顧客Mが購入した数を示す商品購入数と、検出数とが関連付けられている。検出数は、複数の顧客Mの商品収容数と複数の顧客Mの商品購入数との差である。図11に示す集計データは、複数のエリアの商品収容数の合計、商品購入数の合計、及び検出数の合計を含む。
【0054】
制御部24は、プログラム記憶部231に記憶されたプログラムを実行することにより、データ取得部241、検出部242、選択部243、距離画像作成部244、商品数特定部245、出力部246及び記録処理部247の少なくともいずれかとして機能する。制御部24は、これらの全ての構成部の機能を実行してもよく、これらの一部の構成部の機能を実行してもよい。
【0055】
データ取得部241は、店舗Sに設置されたカメラCが生成した撮像画像データを取得する。データ取得部241が取得する撮像画像データは、動画像データであってもよく、静止画像データであってもよい。データ取得部241は、複数のカメラCが生成した複数の撮像画像データを取得し、検出部242に入力する。データ取得部241は、撮像画像データを送信したカメラCのカメラIDに関連付けて複数の撮像画像データを検出データ記憶部233に記憶させてもよい。
【0056】
検出部242は、店舗S内における顧客Mの位置を特定する。検出部242は、複数の撮像画像データに基づいて、店舗S内の複数のエリアのうちどのエリアに人が滞在しているかを検出し、検出した人がどの顧客Mであるかを特定する。
【0057】
検出部242が顧客Mの位置を特定する方法は任意であるが、検出部242は、例えば撮像画像データに基づいて顧客Mの位置を特定する。具体的には、検出部242は、複数の撮像画像データを生成した複数のカメラCがエリアデータ記憶部232において関連付けられたエリアを特定することにより、店舗S内の複数のエリアのうちどのエリアに顧客Mが滞在しているかを検出する。
【0058】
この場合、検出部242は、まずデータ取得部241から入力された複数の撮像画像データにおいて輝度値の変化量が閾値以上である輪郭線を特定し、輪郭線の形状が予め記憶部23に記憶された人間の輪郭線と類似していることにより、顧客Mの画像が含まれている撮像画像データを特定する。検出部242は、エリアデータ記憶部232に記憶されたエリアデータを参照し、顧客Mの画像が含まれていることを特定した撮像画像データを送信したカメラCの位置を特定することにより、顧客Mの位置を検出する。
【0059】
検出部242は、顧客Mの位置を検出した後に、当該顧客Mに対応する顧客IDを特定する。検出部242は、例えば撮像画像データに含まれる顧客Mの顔の画像と、複数の顧客IDそれぞれに関連付けて記憶部23に記憶された、顧客Mの顔が写っている画像とを比較することにより、撮像画像データに写っている顧客Mの顧客IDを特定する。
【0060】
検出部242は、位置を検出した顧客Mの顧客IDを特定できない場合、新たに生成した顧客IDに関連付けて、撮像画像データに含まれる顧客Mの顔の画像を記憶部23に記憶させる。検出部242は、検出した顧客Mの位置と、特定した顧客ID又は新たに生成した顧客IDとを選択部243に通知する。
【0061】
選択部243は、検出部242が検出した顧客Mの位置に基づいて、複数の撮像画像データから顧客Mの位置に対応する1以上の撮像画像データを選択する。選択部243は、検出部242が検出した顧客Mの位置が含まれているエリアに関連付けてエリアデータ記憶部232に記憶された1以上のカメラCが生成した1以上の撮像画像データを選択する。
【0062】
具体的には、選択部243は、図4に示したエリアデータを参照し、検出部242が顧客Mを検出した位置のアドレスに対応する1以上のカメラCを選択し、選択した1以上のカメラCが生成した1以上の撮像画像データを選択する。選択部243は、選択した1以上の撮像画像データを、距離画像作成部244に入力する。選択部243は、1以上の撮像画像データを識別するための情報(例えば、図6又は図7に示す「画像データ名」)を距離画像作成部244に通知してもよい。
【0063】
ところで、図4のエリアデータが示すように、位置によっては3台以上のカメラCが顧客Mを撮影できる場合がある。このような場合、選択部243は、検出部242が検出した顧客Mの位置とカメラCの位置との距離が所定の範囲内の2つの撮像装置が生成した2つの撮像画像データを選択する。所定の範囲は、例えば、距離画像データの作成に適した距離として設定された範囲である。所定の範囲は、検出対象部位を撮影するために適した距離の範囲であってもよい。
【0064】
一例として、選択部243は、検出部242が検出した顧客Mの位置と複数のカメラCそれぞれの位置との距離が最も近い2つのカメラCが生成した2つの撮像画像データを選択する。選択部243は、2つのカメラCと顧客Mの位置までの距離の平均値又は中央値が最も小さい2つのカメラCが生成した撮像画像データを選択してもよい。選択部243がこのような2つの撮像画像データを選択することで、顧客Mが大きく写っている距離画像データが作成されるので、顧客Mが取得した商品の数を特定する精度が高まる。
【0065】
また、選択部243は、顧客Mの位置と2つのカメラCとの距離のばらつきが、距離画像データの作成に適した距離として設定された範囲内である2つのカメラCを選択してもよい。顧客Mの位置と2つのカメラCとの距離のばらつきが小さいと2つのカメラCが撮影した顧客Mの大きさが同等になるので、作成される距離画像データの質が高まる。
【0066】
選択部243は、顧客Mを撮影可能な2つのカメラCの間の距離が、予め記憶部23に記憶された、距離画像データの作成に適した距離の範囲に含まれている2つのカメラCを選択してもよい。一例として、図2に示すアドレス(x3,y2)に顧客M2がいる場合、選択部243は、この位置を撮影可能な3台のカメラCのうち、互いの距離が最も近いカメラC22とカメラC23、又はカメラC23とカメラC24等を選択する。
【0067】
選択部243は、選択した撮像画像データ又は当該撮像画像データの画像データ名と、検出部242から取得した顧客IDとを関連付けて距離画像作成部244又は商品数特定部245に入力する。
【0068】
距離画像作成部244は、選択部243が選択した2つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する。距離情報は、被写体までの深度又は奥行を示す情報である。本実施の形態における距離画像データは、例えば、撮像画像データに含まれている色の情報と距離情報とを含むデータである。選択部243が選択した2つの撮像画像データを生成した2つのカメラCはステレオカメラを構成すると考えられ、距離画像作成部244は、ステレオカメラが距離画像データを作成する場合と同様の画像処理方法を用いて距離画像データを作成する。
【0069】
距離画像作成部244は、選択部243が選択した2つの撮像画像データに対応する2つのカメラCの間の距離が、ステレオカメラにおける左右のカメラの間の距離であると仮定して、2つのカメラCを結ぶ直線から被写体までの距離を算出することにより距離画像データを作成する。距離画像作成部244は、作成した距離画像データを検出データ記憶部233に記憶させる。距離画像作成部244は、作成した距離画像データ又は距離画像データの画像データ名と顧客IDとを関連付けて商品数特定部245に入力する。
【0070】
図12は、距離画像データを作成する方法を説明するための図である。図12に示す例では、カメラC11及びカメラC12の焦点距離がF、基線長(カメラ間距離)がBである。距離画像作成部244は、カメラC11が生成した撮像画像データにおける顧客Mの位置とカメラC12が生成した撮像画像データにおける顧客Mの位置との差である視差Sを算出し、顧客Mまでの距離DをD=B×F/Sにより算出する。
【0071】
商品数特定部245は、選択部243が選択した撮像画像データに基づいて、撮像画像データに写っている顧客Mが、商品棚Tから収容器に移動させた商品の数である商品収容数を特定する。商品数特定部245は、例えば複数の撮像画像データのうち、商品棚Tに関連付けられたカメラCが生成した撮像画像データに基づいて商品収容数を特定する。
【0072】
商品数特定部245は、例えば図4に示す商品棚T12に関連付けられたカメラC12及びカメラC13が生成した撮像画像データを選択部243から取得する。商品数特定部245は、選択部243から取得した撮像画像データにおいて、顧客Mが商品棚T12から収容器に移動させた商品の数を特定する。
【0073】
商品数特定部245は、例えば、予め記憶部23に記憶された、動きの特徴と行動の内容とが関連付けられた動き特定用データを参照することにより、選択部243が選択した撮像画像データにおける顧客Mの動きの特徴に対応する行動の内容を特定する。商品数特定部245は、顧客Mが手を商品棚Tから収容器に移動させる動きを特定した場合、顧客Mの手に掴んでいる商品の画像と、商品棚Tに関連付けて記憶部23に記憶された1つの商品の画像とを比較することにより、顧客Mが収容器に移動させた商品の数を特定する。商品数特定部245は、選択部243が選択した顧客Mが写っている撮像画像データを解析すればよいので、多数の顧客Mが店舗Sに滞在している場合であっても処理の負荷を小さくすることができる。
【0074】
商品数特定部245は、距離画像作成部244が作成した距離画像データに基づいて、距離画像データに写っている顧客Mが収容器に移動させた商品収容数を特定してもよい。商品数特定部245は、記憶部23に記憶された動き特定用データ及び商品の画像を参照することにより、距離画像データにおいて顧客Mが商品棚Tから収容器に移動させた商品の数を特定する。商品数特定部245は、二次元の撮像画像データのみを用いる場合に比べて高い精度で顧客Mの行動を解析することができる。
【0075】
商品数特定部245は、選択部243から商品棚Tに関連付けられた2つの撮像画像データを取得した場合、2つの撮像画像データのうち顧客Mが手を商品棚Tから収容器に移動させる動きを特定可能な撮像画像データを用いて商品収容数を特定してもよい。商品数特定部245は、顧客Mの位置により一方の撮像画像データに基づいて商品収容数を特定できない場合であっても他方の撮像画像データに基づいて商品収容数を特定できる。
【0076】
商品数特定部245は、エリア又は商品棚Tごとに、顧客Mが収容器に移動させた商品の数を商品収容数として特定する。商品数特定部245は、エリアデータ記憶部232を参照することにより、撮像画像データ又は距離画像データに関連付けられたカメラCが設置されているエリア又は当該エリアに設置された商品棚Tを特定する。商品数特定部245は、撮像画像データ又は距離画像データに写っている顧客Mが収容器に移動させた商品の数を、特定したエリア又は商品棚Tから収容器に移動させた商品収容数として特定する。
【0077】
具体的には、商品数特定部245は、図4に示すエリアデータを参照することにより、距離画像データに関連付けられたカメラC12及びカメラC13が撮影するエリア(x2,y1)又は商品棚T12を特定する。商品数特定部245は、図5に示す商品位置データを参照することにより、商品棚T12に陳列された商品A3、A4及びA5を特定する。
【0078】
商品数特定部245は、記憶部23に記憶された商品A3、A4及びA5の画像を参照することにより、距離画像データに写っている顧客Mが収容器に移動させた商品の数を特定する。商品数特定部245は、特定した商品の数を、顧客Mが商品棚T12から収容器に移動させた商品収容数として特定する。
【0079】
ところで、顧客Mが、商品棚Tから収容器に移動させた商品を商品棚Tに返却した場合は、商品数特定部245が特定した商品収容数と収容器に収容された商品の数とが一致しなくなる。そこで、商品数特定部245は、顧客Mが収容器から商品棚Tに戻した商品の数である商品返却数をさらに特定してもよい。商品数特定部245は、例えば店舗Sに設けられた複数の商品棚Tのいずれかに戻された商品の数を商品返却数として特定する。
【0080】
商品数特定部245は、記憶部23に記憶された動き特定用データを参照することにより、撮像画像データ又は距離画像データにおいて顧客Mが手を収容器から商品棚Tに移動させる動きを特定する。続いて、商品数特定部245は、記憶部23に記憶された商品の画像を参照することにより、顧客Mが手を収容器から商品棚Tに移動させたときに手に掴んでいる商品の数、又は商品棚Tに移動させた商品の数を商品返却数として特定する。商品数特定部245は、特定した商品収容数及び商品返却数を検出データ記憶部233に記憶させる。
【0081】
商品数特定部245は、顧客Mが商品棚Tから収容器に移動させる行為をする前に商品棚Tに置かれている商品の数と当該行為をした後に商品棚Tに置かれている商品の数との差に基づいて商品収容数又は商品返却数を特定してもよい。この場合、商品数特定部245は、例えば選択部243が選択した撮像画像データ又は距離画像作成部244が作成した距離画像データに基づいて、商品棚Tに陳列された商品の数を定期的に特定する。商品数特定部245は、前の時刻において特定した商品の数と現在の時刻において特定した商品の数との差を、撮像画像データ又は距離画像データに写っている顧客Mの商品収容数又は商品返却数として特定する。商品数特定部245は、顧客Mの動作を特定しなくても商品収容数を特定することができるので、処理の負荷を小さくすることができる。
【0082】
商品数特定部245は、顧客Mと同一グループに属する複数の顧客Mが複数の商品棚Tから複数の収容器に移動させた商品の数の合計数を商品収容数として特定し、当該複数の顧客Mが複数の収容器から複数の商品棚Tに移動させた商品の数の合計数を顧客Mの商品返却数として特定してもよい。商品数特定部245は、例えば選択部243が選択した撮像画像データに含まれる複数の顧客Mの距離が所定の時間において所定の範囲である場合、当該複数の顧客Mを同一グループであると特定する。所定の時間及び所定の範囲は、例えば複数の顧客Mが家族、友人等の関係であると判定できる時間及び範囲である。商品数特定部245が、グループ単位で商品収容数を特定することで、精算した顧客Mの家族又は友人が万引き行為をしたことも検出可能になる。
【0083】
出力部246は、顧客Mが万引き行為をした可能性があるか否かを判定し、判定した結果を出力する。具体的には、出力部246は、レジ(すなわち店舗端末1)から取得した顧客Mが精算する商品の精算内容を示す精算データが示す商品の数である商品購入数よりも商品収容数の方が多い場合に、警告情報を出力する。出力部246は、精算データが作成された直後に、データ処理装置2に接続されたディスプレイ若しくはマイクに警告情報を出力してもよく、定期的(例えば、閉店後)に、顧客Mに関する情報に関連付けて情報処理装置に警告情報を出力してもよい。
【0084】
出力部246は、顧客Mが万引き行為をした可能性があるか否かを判定するために、まず、精算データに含まれている商品購入数の合計を算出する。続いて、出力部246は、算出した商品購入数の合計と図8に示す商品収容数データが示す商品収容数の合計とを比較する。出力部246は、商品購入数の合計が商品収容数の合計よりも小さい場合に、顧客Mが万引き行為をした可能性があると判定して警告情報を出力する。
【0085】
出力部246は、複数の顧客Mが複数の収容器に収容した商品の数と、当該複数の顧客Mがレジで精算した商品の数とを比較するため、顧客Mが収容器に商品を入れた後にカメラCの撮像範囲と異なる領域で収容器に収容した商品を万引きしたことを検出できる。その結果、店舗Sの経営者又は従業員は、検出データ記憶部が記憶する撮像画像データを確認することにより、万引きを実行した顧客Mを特定することができる。
【0086】
出力部246は、エリア又は商品棚Tごとに、商品購入数と商品収容数とを比較し、少なくとも1つのエリア又は商品棚Tに対応する商品購入数よりも商品収容数の方が多い場合に、警告情報を出力してもよい。出力部246は、例えば図11に示す複数のエリアそれぞれに関連付けられた収容数(商品収容数)と購入数(商品購入数)とを比較する。出力部246は、アドレス(x2,y1)及びアドレス(x2,y2)において商品購入数よりも商品収納数が1多いことにより、これらのアドレスに関連付けて警告情報を出力する。店舗Sの経営者又は従業員は、このような警告情報が示すアドレスに対応する撮像した撮像画像データを確認することで、万引き行為が写った撮像画像を効率良く特定することができる。
【0087】
出力部246は、複数の顧客Mそれぞれにおけるエリア又は商品棚Tごとの商品収容数と商品購入数とを比較し、複数の顧客Mのうち、少なくとも1つのエリア又は商品棚Tに対応する商品購入数よりも商品収容数の方が多い顧客Mと、商品購入数よりも商品収容数の方が多いエリアのアドレスとに関連付けて、警告情報を出力してもよい。店舗Sの経営者又は従業員は、出力部246が警告情報に関連付けたエリアと顧客IDに対応する撮像画像データを確認すればよいので、顧客Mの万引き行為が写った撮像画像を効率良く特定することができる。
【0088】
ところで、顧客Mは、商品を収容器に収容した後に商品を商品棚Tに返却するという場合もあるので、商品購入数と商品収容数とを比較すると、顧客Mが万引き行為をしていないにもかかわらず警告情報が出力されてしまうという場合が生じ得る。そこで、出力部246は、商品購入数よりも、商品収容数から商品返却数を減算した数の方が多い場合に、警告情報を出力してもよい。出力部246は、集計データが示す商品収容数の合計から、商品収容数データが示す複数の顧客Mの商品返却数の合計を減算した数を算出し、集計データが示す商品購入数よりも当該減算した数の方が多い場合に警告情報を出力する。出力部246がこのように動作することで、警告情報の精度が向上する。
【0089】
記録処理部247は、撮像画像データ及び距離画像データを検出データ記憶部233に記憶させる。記録処理部247は、同一の顧客Mが共通に存在する複数の撮像画像データを当該顧客Mに関連付けて検出データ記憶部233に記憶させることにより、図6に示す第1検出データを作成する。記録処理部247は、同一の顧客Mが共通に存在する複数の距離画像データを当該顧客Mに関連付けて検出データ記憶部233に記憶させることにより、図7に示す第2検出データを作成する。
【0090】
記録処理部247は、商品数特定部245が特定した商品収容数及び商品返却数に基づいて商品収容数データを作成し、検出データ記憶部233に記憶させる。記録処理部247は、出力部246から取得した精算データに基づいて商品購入数データを作成し、精算データ記憶部234に記憶させる。記録処理部247は、出力部246から取得した商品収容数及び商品購入数に基づいて集計データを作成し、集計データ記憶部235に記憶させる。
【0091】
[データ処理装置2における処理の流れ]
図13は、データ処理装置2における処理の流れを示すフローチャートである。データ取得部241は、複数のカメラCから複数の撮像画像データを取得する(S1)。検出部242は、データ取得部241が取得した複数の撮像画像データそれぞれにおいて顧客Mの画像を特定し、顧客Mの位置を検出する(S2)。検出部242は、撮像画像データにおいて顧客Mを特定した位置と、当該撮像画像データを生成したカメラCの位置とに基づいて、検出した顧客Mがいるエリアを特定する(S3)。
【0092】
選択部243は、検出部242が検出した顧客Mが写っている撮像画像データを選択し、距離画像作成部244に入力する。距離画像作成部244は、選択部243から取得した撮像画像データを用いて距離画像データを作成する。商品数特定部245は、距離画像作成部244が作成した距離画像データに基づいて、顧客Mが商品棚Tから収容器に商品を移動させたか否かを検出する(S4)。
【0093】
顧客Mが商品棚Tから収容器に商品を移動させたことを検出しなかった場合(S4のNO)、データ処理装置2は、S1からS3までの処理を繰り返す。顧客Mが商品棚Tから収容器に商品を移動させたことを検出した場合(S4のYES)、商品数特定部245は、顧客Mが収容器に収容した商品の数(すなわち商品収容数)を特定する(S5)。
【0094】
データ処理装置2は、顧客Mがレジで精算を行っていない場合(S6のNO)、S1からS5までの処理を繰り返す。顧客Mがレジで精算を行った場合(S6のYES)、データ取得部241は、店舗端末1から精算データを取得する(S7)。
【0095】
出力部246は、商品数特定部245が特定した、複数の顧客Mの商品収容数と、精算データが示す複数の顧客Mの商品購入数とを比較する(S8)。商品収容数が商品購入数よりも多い場合(S8のYES)、出力部246は、警告情報を出力する(S9)。一方、商品収容数が商品購入数と一致する場合、又は商品収容数が商品購入数よりも少ない場合(S8のNO)、出力部246は、警告情報を出力しない。
【0096】
データ処理装置2は、処理を終了する操作が行われていない場合(S10のNO)、S1からS9までの処理を繰り返す。データ処理装置2は、処理を終了する操作が行われた場合(S10のYES)、処理を終了する。
【0097】
[データ処理装置2による効果]
以上説明したように、データ処理装置2においては、データ取得部241が店舗Sに設置されたカメラCが生成した撮像画像データを取得し、商品数特定部245が、撮像画像データに基づいて顧客Mが商品棚Tから収容器に移動させた商品の数である商品収容数を特定する。そして、出力部246が、データ取得部241が店舗端末1から取得した精算データが示す商品購入数よりも商品数特定部245が特定した商品収容数の方が多い場合に警告情報を出力する。
【0098】
データ処理装置2がこのように動作することで、データ処理装置2は、顧客Mが収容器に商品を移動させた後にカメラCの撮影範囲と異なる領域において万引きを実行したとしても、商品収容数と商品購入数とを比較することにより警告情報を出力することができる。その結果、データ処理装置2は、万引きが発生したことを特定する精度を向上させることができる。さらに、店舗Sの経営者又は従業員は、万引きを実行した顧客Mがいることを把握し、カメラCが生成した撮像画像データを確認することで、万引きを実行した顧客Mを特定することができる。
【0099】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0100】
1 店舗端末
2 データ処理装置
21 通信部
22 設定受付部
23 記憶部
24 制御部
100 データ処理システム
231 プログラム記憶部
232 エリアデータ記憶部
233 検出データ記憶部
234 精算データ記憶部
235 集計データ記憶部
241 データ取得部
242 検出部
243 選択部
244 距離画像作成部
245 商品数特定部
246 出力部
247 記録処理部
C カメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13