特開 2024-46221 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046221

(43)【公開日】2024-04-03

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20240327BHJP

   G06Q 30/018 20230101ALI20240327BHJP

   G08B 13/196 20060101ALI20240327BHJP

【ＦＩ】

G07G1/12 341G

G06Q30/00 342

G08B13/196

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022151472

(22)【出願日】2022-09-22

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山本 竜三

【テーマコード（参考）】

3E142

5C084

5L049

【Ｆターム（参考）】

3E142BA20

3E142DA20

3E142EA04

3E142FA27

3E142GA41

3E142JA01

5C084AA03

5C084AA09

5C084AA13

5C084BB21

5C084CC33

5C084DD11

5C084EE01

5C084EE10

5C084GG78

5C084HH08

5L049BB72

(57)【要約】

【課題】販売データ処理における操作者の不適行為を発見するために行う画像解析に要する処理負荷を抑えることができる情報処理装置およびプログラムを提供する。
【解決手段】撮像画像を解析する情報処理装置において、カメラは、商品の取引に用いる情報を処理する販売データ処理装置の操作者が映り込む範囲を撮像して画像データを出力し、情報処理装置は、解析部と報知部と調整部とを備える。解析部は、画像データの中央部に設定される第一の範囲の解析により、操作者の動作または商品の位置の推移にかかわる情報を出力する。報知部は、解析部が出力する情報に基づいて、商品が、販売データ処理装置における登録前の置き場から登録操作の受け付け位置を経ずに登録後の置き場に至ったと判断し得る場合に、不登録を報知するための情報を出力する。調整部は、解析部が出力する情報に基づいて、画像データにおける第一の範囲と周囲との境界の位置を調整する。
【選択図】図６

【特許請求の範囲】

【請求項1】

カメラの撮像画像を解析する情報処理装置において、
前記カメラは、商品の取引に用いる情報を処理する販売データ処理装置の操作者が映り込む範囲を撮像して画像データを出力し、
前記情報処理装置は、
前記画像データの中央部に設定される第一の範囲の解析により、前記操作者の動作または前記商品の位置の推移にかかわる情報を出力する解析部と、
前記解析部が出力する情報に基づいて、前記商品が、前記販売データ処理装置における登録前の置き場から登録操作の受け付け位置を経ずに登録後の置き場に至ったと判断し得る場合に、不登録を報知するための情報を出力する報知部と、
前記解析部が出力する情報に基づいて、前記画像データにおける前記第一の範囲と周囲との境界の位置を調整する調整部と、
を備える情報処理装置。

【請求項2】

前記解析部は、前記解析として前記操作者の行動検知を行い、
前記調整部は、前記解析部の出力により、動作中の前記操作者の腕または手が前記境界と交差する頻度が高いと判断される場合に、前記第一の範囲を広げる調整を行う
請求項１に記載の情報処理装置。

【請求項3】

前記解析部は、前記解析として前記操作者の行動検知を行い、
前記調整部は、前記解析部の出力により、動作中の前記操作者の腕または手が前記境界の内側に設定したラインから出ない状態が継続すると判断される場合に、前記第一の範囲を前記ラインまで狭める調整を行う
請求項１に記載の情報処理装置。

【請求項4】

前記解析部は、前記解析として画像認識を行って、前記商品の位置の推移を把握し、
前記調整部は、前記解析部の出力により、移動中の前記商品が前記境界の外に出る頻度が高いと判断される場合に、前記第一の範囲を広げる調整を行う
請求項１に記載の情報処理装置。

【請求項5】

前記解析部は、前記解析として画像認識を行って、前記商品の位置の推移を把握し、
前記調整部は、前記解析部の出力により、移動中の前記商品が前記境界の内側に設定したラインから出ない状態が継続すると判断される場合に、前記第一の範囲を前記ラインまで狭める調整を行う
請求項１に記載の情報処理装置。

【請求項6】

前記解析部は、前記画像データの一部であって前記境界を介して前記第一の範囲に隣接する第二の範囲を解析することにより、前記販売データ処理装置を使用する順番を待つ待機者の有無または人数を示す情報を出力する
請求項１に記載の情報処理装置。

【請求項7】

カメラの撮像画像を解析する情報処理装置が備えるコンピュータを、
前記カメラが商品の取引に用いる情報を処理する販売データ処理装置の操作者が映り込む範囲を撮像して出力した画像データを用い、当該画像データの中央部に設定される第一の範囲の解析により、前記操作者の動作または前記商品の位置の推移にかかわる情報を出力する解析部と、
前記解析部が出力する情報に基づいて、前記商品が、前記販売データ処理装置における登録前の置き場から登録操作の受け付け位置を経ずに登録後の置き場に至ったと判断し得る場合に、不登録を報知するための情報を出力する報知部と、
前記解析部が出力する情報に基づいて、前記画像データにおける前記第一の範囲と周囲との境界の位置を調整する調整部と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

従来、買物客が操作者となって商品の登録処理や決済処理にかかる操作を行うセルフタイプのＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末や、商品登録の後の決済処理にかかる操作を買物客が操作者となって行うセミセルフタイプのＰＯＳ端末が知られている。こういったＰＯＳ端末には、操作者を撮像するカメラを備え、カメラが出力する画像を解析することにより、操作者の操作ミスや不正行為などを発見可能にしているものがある。ここで、特許文献１は、指定のエリアに対する人物の動線をカメラの出力から抽出する技術を開示している。

【0003】

撮像画像の解析においては、画像データが大きくなるほど、解析を行う処理部にかかる負荷が高くなる。処理部への負荷を抑えるためには、画像データをなるべく小さくすることが望ましい。しかしながら、販売データ処理における操作者の不適行為の発見に際して、解析に供する画像データを小さく抑えるための対応は行われていなく、カメラの出力する撮像画像の全体を解析しているのが現状である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、販売データ処理における操作者の不適行為を発見するために行う画像解析に要する処理負荷を抑えることができる情報処理装置およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の情報処理装置は、カメラの撮像画像を解析するものであって、前記カメラは、商品の取引に用いる情報を処理する販売データ処理装置の操作者が映り込む範囲を撮像して画像データを出力し、前記情報処理装置は、解析部と報知部と調整部とを備える。解析部は、前記画像データの中央部に設定される第一の範囲の解析により、前記操作者の動作または前記商品の位置の推移にかかわる情報を出力する。報知部は、前記解析部が出力する情報に基づいて、前記商品が、前記販売データ処理装置における登録前の置き場から登録操作の受け付け位置を経ずに登録後の置き場に至ったと判断し得る場合に、不登録を報知するための情報を出力する。調整部は、前記解析部が出力する情報に基づいて、前記画像データにおける前記第一の範囲と周囲との境界の位置を調整する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係るセルフＰＯＳ端末の操作者側から見た外観の一例を示す斜視図である。

【図2】図２は、実施形態に係るセルフＰＯＳ端末のハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るサーバのハードウェア構成の一例を示す図である。

【図4】図４は、実施形態に係るセルフＰＯＳ端末およびサーバの機能構成の一例を示す図である。

【図5】図５は、実施形態に係るカメラの撮像画像の一例である。

【図6】図６は、実施形態に係るカメラの撮像画像の一例である。

【図7】図７は、実施形態に係るサーバで実行される処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0007】

（第１の実施形態）
実施形態について図面を用いて説明する。図１は、実施形態に係るセルフＰＯＳ端末１０の操作者側から見た外観の一例を示す斜視図である。セルフＰＯＳ端末１０は、商品の取引に用いる情報を処理する販売データ処理装置の一例である。また、セルフＰＯＳ端末１０は、商品の登録や決済にかかる処理を買物客が操作者となって行うセルフタイプのＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末である。

【0008】

セルフＰＯＳ端末１０は、本体１１、カゴ置台１２、袋詰め台１３を有する。本体１１は、カゴ置台１２及び袋詰め台１３の間に設けられる。カゴ置台１２は、取引対象の商品が入ったカゴ等を置くための物置台である。袋詰め台１３は、買い物袋を開放した状態で引掛けられる物置台である。買い物袋には、登録済みの商品が入れられる。つまり袋詰め台１３には、登録された商品が載置される。

【0009】

袋詰め台１３は、台座１３１、袋掛けフック１３２及び一時置台１３３を有する。袋掛けフック１３２及び一時置台１３３は、台座１３１に設けられた支柱１３４に支持されて、台座１３１の上方に設けられている。袋掛けフック１３２は、登録後の商品を入れる袋を吊り下げるフックである。台座１３１は、袋の底を支えたり、例えば袋より大きく袋に入れるのに適さない等の商品が載置されたりする台である。一時置台１３３は、例えば壊れやすい等の理由で袋詰めに注意を要する商品を一時的に載置する台である。

【0010】

セルフＰＯＳ端末１０は、さらに、計量部１４、入出金部１５、スキャナ１６、タッチパネルディスプレイ１７、表示灯１８、カードリーダ１９、プリンタ２０、カメラ２１を、備えている。

【0011】

計量部１４は、袋詰め台１３に設けられている。計量部１４は、内蔵した重量センサの出力に基づき、袋詰め台１３に載置された商品等の物品の重量を計量する。例えば、計量部１４は、袋詰め台１３にセットされた袋や、袋内に入れられた商品等の合計重量を、計量する。重量センサは、例えば台座１３１の下方に設けられて、台座１３１を支持し、台座１３１が受ける負荷に応じた信号を出力する。

【0012】

入出金部１５は、例えば本体１１の上下方向中央部に設けられている。入出金部１５は、買物客が支払う硬貨や紙幣の投入を受け付け、釣銭等を排出する。なお、例えばセルフＰＯＳ端末１０が現金を取り扱わないキャッシュレス端末として構成される場合等には、入出金部１５は設けられなくて構わない。

【0013】

スキャナ１６は、例えば本体１１の上部に設けられている。スキャナ１６は、読取窓１６１を有する。スキャナ１６は、例えば読取窓１６１にかざされた商品に付されている無線タグやバーコードなどのコードシンボルから商品情報を読み取る。無線タグは、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）タグ等の電子タグである。無線タグは、情報を記憶するＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとアンテナとを有する。無線タグは、無線タグ読取装置から受信した電波に応じてＩＣチップに記憶されているタグ情報を送信する。例えば、無線タグには、無線タグが付されている商品に関する商品情報が記憶されている。商品情報には、例えば、商品を識別可能な商品コードが含まれている。

【0014】

また、スキャナ１６は、例えば読取窓１６１にかざされた商品を撮像するように構成されたカメラを有していてもよい。スキャナ１６のカメラは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を含む。読取窓１６１は、スキャナ１６のカメラにより撮像される光を透過可能である。スキャナ１６のカメラが撮像した商品の画像データは、画像処理装置によるオブジェクト認識処理に供される。これにより、画像データに含まれる商品が特定され、登録される。なお、画像処理装置は、例えば通信Ｉ／Ｆ（interface、インタフェース）を介してセルフＰＯＳ端末１０と通信可能に接続された外部装置である。なお、オブジェクト認識処理は、セルフＰＯＳ端末１０により実行されても構わない。

【0015】

タッチパネルディスプレイ１７は、例えば本体１１の上方に設けられている。タッチパネルディスプレイ１７は、操作者向けの各種情報を画面に表示し、買物客による操作を受け付ける。

【0016】

表示灯１８は、例えば本体１１の後方に設けられている。表示灯１８は、セルフＰＯＳ端末１０に異常が発生したこと等を店員に通知する電灯である。

【0017】

カードリーダ１９は、例えば本体１１においてスキャナ１６の側方に設けられている。カードリーダ１９は、クレジットカード等のカードが記憶する情報を読み取る。

【0018】

プリンタ２０は、例えば本体１１の筐体の内部に設けられている。プリンタ２０は、一取引の明細が示されたレシートや、商品の割引等のクーポンをレシート用紙等に印字する印字装置である。プリンタ２０は、本体１１の正面に、レシート排出部を有する。レシート排出部は、プリンタ２０が発行したレシート等をセルフＰＯＳ端末１０の外部に排出する排出口である。レシート排出部は、例えば本体１１において入出金部１５とスキャナ１６との間に設けられている。

【0019】

カメラ２１は、セルフＰＯＳ端末１０の操作者が映り込む範囲を撮像するように構成されたカメラである。カメラ２１は、例えばＣＭＯＳ、ＣＣＤ等の撮像素子を含む。撮像によりカメラ２１が出力した画像データは、解析部３１１（後述）による解析処理に供される。

【0020】

図２は、実施形態に係るセルフＰＯＳ端末１０のハードウェア構成の一例を示す図である。セルフＰＯＳ端末１０は、さらに、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、記憶部１０４および通信Ｉ／Ｆ（interface、インタフェース）１０５を、備えている。

【0021】

計量部１４、入出金部１５、スキャナ１６、タッチパネルディスプレイ１７、表示灯１８、カードリーダ１９、プリンタ２０、カメラ２１、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶部１０４および通信Ｉ／Ｆ１０５は、データバスやアドレスバス等のシステムバス１０９を介して相互に接続される。

【0022】

記憶部１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリなどの記憶装置である。記憶部１０４は、制御プログラムや商品マスタ等を記憶する。制御プログラムは、オペレーティングシステムや、セルフＰＯＳ端末１０が有する各種機能を発揮させるためのプログラムである。

【0023】

商品マスタは、商品を識別可能な識別情報である商品コードに関連づけて、商品の情報（商品情報）を記憶している。商品情報は、例えば、商品の名称や、価格、商品の重量値等である。なお、セルフＰＯＳ端末１０においてオブジェクト認識処理が実行される場合、商品マスタに、商品情報として、照合用特徴量の情報が関連付けられていてもよい。照合用特徴量は、商品の外観の特徴を示す照合用の情報である。照合用特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

【0024】

ＣＰＵ１０１は、プロセッサである。ＲＯＭ１０２は、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭ１０３は、各種プログラムや各種データを一時的に記憶する記憶媒体である。ＣＰＵ１０１は、ＲＡＭ１０３をワークエリア（作業領域）としてＲＯＭ１０２又は記憶部１０４等が記憶する各種プログラムを実行することにより、制御部１１０（図４参照、後述）を実現する。制御部１１０は、セルフＰＯＳ端末１０の各部を統括的に制御する。

【0025】

なお、制御部１１０のプロセッサとしては、ＣＰＵ１０１に限らず、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の他のプロセッサが利用されても構わない。

【0026】

通信Ｉ／Ｆ１０５は、セルフＰＯＳ端末１０がネットワークを介して外部装置と通信するためのインタフェースである。外部装置の一例はサーバ３００である。サーバ３００は、カメラ２１の撮像画像を解析する情報処理装置の一例である。

【0027】

また、他の外部装置として、例えば、セルフＰＯＳ端末１０を管理する店員等の管理者が操作する情報処理装置（以下、管理装置とする）がある。管理装置は、例えばＰＣ（Personal Computer、パーソナルコンピュータ）やタブレット型端末、スマートフォン等である。管理装置は、例えば複数のセルフＰＯＳ端末１０に接続されている。なお、ネットワークを介して互いに接続された複数のセルフＰＯＳ端末１０のうちの任意のセルフＰＯＳ端末１０を管理装置として利用することもできる。管理装置は、セルフＰＯＳ端末１０からの報知情報に基づき不正検知を店員に報知する。

【0028】

さらに他の外部装置としては、例えばオブジェクト認識処理などの画像処理を実行する画像処理装置があり得る。

【0029】

図３は、実施形態に係るサーバ３００のハードウェア構成の一例を示す図である。サーバ３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、記憶部３０４および通信Ｉ／Ｆ３０５を、備えている。これらの各部は、データバスやアドレスバス等のシステムバス３０９を介して相互に接続される。

【0030】

記憶部３０４は、ＨＤＤやＳＳＤ、フラッシュメモリなどの記憶装置である。記憶部３０４は、制御プログラム等を記憶する。制御プログラムは、オペレーティングシステムや、サーバ３００が有する各種機能を発揮させるためのプログラムである。

【0031】

ＣＰＵ３０１は、プロセッサである。ＲＯＭ３０２は、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭ３０３は、各種プログラムや各種データを一時的に記憶する記憶媒体である。ＣＰＵ３０１は、ＲＡＭ３０３をワークエリア（作業領域）としてＲＯＭ３０２又は記憶部３０４等が記憶する各種プログラムを実行することにより、制御部３１０（図４参照、後述）を実現する。制御部３１０は、サーバ３００の各部を統括的に制御する。

【0032】

なお、制御部３１０のプロセッサとしては、ＣＰＵ３０１に限らず、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の他のプロセッサが利用されても構わない。

【0033】

図４は、実施形態に係るセルフＰＯＳ端末１０およびサーバ３００の機能構成の一例を示す図である。

【0034】

セルフＰＯＳ端末１０の制御部１１０は、読取部１１１、登録部１１２、操作部１１３、決済部１１４、撮像部１１５、報知部１１６等の各種機能部として機能する。また、サーバ３００の制御部３１０は、解析部３１１、報知部３１２、調整部３１３等として機能する。

【0035】

なお、本実施形態でサーバ３００の制御部３１０が実現する機能の一部又は全部は、セルフＰＯＳ端末１０の制御部１１０が実現する機能部とされてもよいし、セルフＰＯＳ端末１０との協働により実現されてもよいし、セルフＰＯＳ端末１０に搭載された専用回路などのハードウェア構成により実現されても構わない。

【0036】

セルフＰＯＳ端末１０の読取部１１１は、取引対象の商品の情報の入力を受け付ける入力部の一つであって、スキャナ１６を介して、商品に付された無線タグやバーコードなどのコードシンボルから商品コードを読み取り、これを出力する。なお、読取部１１１は、スキャナ１６のカメラが撮像した画像データに基づくオブジェクト認識により商品を特定してもよい。

【0037】

登録部１１２は、読取部１１１が出力した商品コードに基づいて商品マスタから情報（商品情報）を取得し、取得した商品情報を登録する。ここで、登録とは、取得した商品情報を、所定の記憶領域（例えば記憶部１０４に設けられる）に、販売データとして記憶させることである。なお、登録部１１２は、読取部１１１が出力する商品情報によらず、タッチパネルディスプレイ１７への操作入力により特定された商品を登録してもよい。

【0038】

操作部１１３は、取引対象の商品の情報の入力を受け付ける入力部の一つであって、操作者による操作を受け付ける。より具体的には、操作部１１３は、タッチパネルディスプレイ１７が受けた操作入力に応じた信号を出力する。

【0039】

決済部１１４は、登録部１１２が登録した商品の決済にかかる処理（決済処理）を行う。例えば、決済部１１４は、登録部１１２が登録した商品の価格の合計額を算出する。また、決済部１１４は、入出金部１５に投入された金額から上記合計額を減算して、釣銭を算出する。そして、決済部１１４は、入出金部１５に釣銭を排出させる。

【0040】

撮像部１１５は、カメラ２１によりセルフＰＯＳ端末１０の操作者が映り込む範囲を撮像して画像を出力する。より具体的には、撮像部１１５は、カメラ２１を制御し、カメラ２１が出力する撮像画像をサーバ３００等に出力（送信）する。なお、セルフＰＯＳ端末１０の操作者が映り込む範囲とは、操作者がいると想定される位置を含む範囲であり、操作部１１３の向かい側あたりで、セルフＰＯＳ端末１０の正面側である。

【0041】

サーバ３００の解析部３１１は、カメラ２１の撮像画像を解析する処理（解析処理）を実行する。解析部３１１は、カメラ２１が出力する画像データにおける第一の範囲５１１の解析により、操作者の動作にかかわる情報を出力する。ここで、図５は、実施形態に係るカメラ２１の撮像画像５１０の一例である。

【0042】

撮像画像５１０は、複数領域に分割されて、第一の範囲５１１と、第二の範囲５１２と、第三の範囲５１３と、を含んでいる。第一の範囲５１１は、撮像画像５１０の中央部に設定される。なお、この第一の範囲５１１の初期値は、セルフＰＯＳ端末１０を設置するサービスマン（技術者）により設定される。サービスマンは、カメラ２１の出力を参照して、撮像画像５１０における第一の範囲５１１を設定する。また、この初期設定は、例えば記憶部３０４が保持する。

【0043】

第二の範囲５１２および第三の範囲５１３は、撮像画像５１０から第一の範囲５１１を除いた残りの部分であって、サービスマンにより、画像解析に不要と判断された範囲である。第三の範囲５１３は、画像解析を行わない範囲である。

【0044】

また、第二の範囲５１２は、画像データの一部であって、境界５１４を介して第一の範囲５１１に隣接する。本実施形態における第二の範囲５１２には、セルフＰＯＳ端末１０を使用する順番を待っていると見受けられる買物客（待機者）が映り込んでいる。

【0045】

解析部３１１が出力する上記「操作者の動作にかかわる情報」は、例えば、骨格推定技術を用いての行動検知を行うことで得られるものであって、具体例としては次の第一～第三の情報である。

【0046】

第一の情報は、不登録検知を示す情報である。解析部３１１は、撮像画像５１０のうち第一の範囲５１１に含まれる画像を使用して、骨格推定による行動検知を行う。解析部３１１は、推定した買物客の骨格の移動経路から、商品が、セルフＰＯＳ端末１０における登録前の置き場（カゴ置台１２）から登録操作の受け付け位置（スキャナ１６の正面近傍）を経ずに登録後の置き場（袋詰め台１３）に至ったと判断し得る場合に、不登録を検知したとし、その旨を示す第一の情報を出力する。

【0047】

第二の情報は、推定した骨格が、第一の範囲５１１とその周囲（第二の範囲５１２）との境界５１４に、交差した回数である。解析部３１１は、推定した買物客の骨格が、境界５１４と交差した回数を計測し、当該回数を記憶部３０４の所定の領域等に記録する。

【0048】

第三の情報は、推定した骨格が、第一の範囲５１１の内側に設定した仮想のライン５１６から出ない状態の継続時間を計測し、当該時間を記憶部３０４所定の領域等に記録する。なお、ライン５１６は、境界５１４から所定距離だけ離れた位置に設定される。

【0049】

報知部３１２は、解析部３１１が出力する第一の情報に基づいて、店員等に対して不登録を報知するための情報を出力する。より具体的には、解析部３１１が不登録検知を示す情報を出力すると、これを報知部３１２が受け、セルフＰＯＳ端末１０や管理装置に通知を送信する。

【0050】

調整部３１３は、解析部３１１が出力する第二および第三の情報に基づいて、第一の範囲５１１の境界５１４の位置を、調整する。ここで、図６は、実施形態に係るカメラ２１の撮像画像５２０の一例である。なお、上記「調整」は、所定の基準に即した判断において好ましい状態になるよう変えることを意図している。

【0051】

例えば調整部３１３は、解析部３１１の出力（第二の情報）により、動作中の操作者の腕または手が、第一の範囲５１１の境界５１４と交差する頻度が高いと判断される場合に、第一の範囲５１１を広げる調整を行う。

【0052】

具体的には、調整部３１３は、境界５１４を、所定の位置５１５まで移動させる。位置５１５は、第一の範囲５１１に隣接する第二の範囲５１２に位置し、境界５１４から所定距離離れている。

【0053】

また、上記判断において、調整部３１３は、例えば、解析部３１１が推定した骨格と上記境界５１４とが交わる事象の発生頻度が、予め定めた閾値を超えた場合に、「頻度が高い」とする。また、上記頻度は、予め定められた時間内における事象の発生回数である。

【0054】

さらに調整部３１３は、解析部３１１の出力（第三の情報）により、動作中の操作者の腕または手が、上述のライン５１６を超えない状態が継続すると判断される場合に、第一の範囲５１１をライン５１６まで狭める（境界５１４をライン５１６の位置まで移動させる）調整を行う。

【0055】

また、上記判断において、調整部３１３は、例えば、第三の情報すなわち解析部３１１が推定した骨格と上記ライン５１６とが交わらない状態の継続時間が、予め定めた閾値を超えた場合に、「上記状態が継続する」とする。

【0056】

このような調整によれば、セルフＰＯＳ端末１０の操作者である買物客の骨格が境界５１４に交差しない程度に、第一の範囲５１１を可能な限り狭めることができる。またこれにより、解析部３１１が推定する骨格が第一の範囲５１１から出ない状態を保ちつつ、画像解析による負荷が軽減される状態を保つことができる。

【0057】

ここでさらに、解析部３１１は、第二の範囲５１２を解析することにより、セルフＰＯＳ端末１０の待機者の有無やその人数を示す、第四の情報を出力する。なお、この処理は、制御部３１０の余力が十分なときに実行され、逼迫しているときには省かれる。

【0058】

そして図４に戻り、報知部１１６は、サーバ３００から不登録検知の通知を受信することにより、表示灯１８を作動させたり、管理装置に通知を送信したりする。

【0059】

以下、図７を参照して、実施形態に係る処理の流れについて説明する。図７は、実施形態に係るサーバ３００で実行される処理の一例を示すフローチャートである。

【0060】

制御部３１０は、カメラ２１の撮像画像を受信すると（ステップＳ１）、解析部３１１として画像解析を行い、第一～第四の情報を得る（ステップＳ２）。

【0061】

次に制御部３１０は、第二および第三の情報に基づいた集計を行う（ステップＳ３）。

【0062】

次に制御部３１０は、ステップＳ３の集計結果に基づいて、境界５１４の位置が不適かを判断する（ステップＳ４）。不適であれば（ステップＳ４のＹｅｓ）、制御部３１０は、境界５１４を適切な位置に移動させる（ステップＳ５）。

【0063】

ステップＳ４において境界５１４の位置が適切であれば（ステップＳ４のＮｏ）、制御部３１０は、ステップＳ５をとばしステップＳ６へ処理を進める。

【0064】

なお、ステップＳ４～Ｓ５の処理は、制御部３１０の余力が十分なときに実行されるとし、逼迫しているときには省かれて後回しにされて構わない。

【0065】

次に制御部３１０は、第四の情報に基づいて、ステップＳ６の判断を行う。ステップＳ６で、制御部３１０は、セルフＰＯＳ端末１０の待機者の人数が、閾値を超えているかを判断する。ステップＳ６において、待機者が閾値を超えているとき（ステップＳ６のＹｅｓ）、制御部３１０は待機者対応を行う（ステップＳ７）。待機者対応の一例としては、音声や文字による空き端末の案内や、応援店員の呼出処理である。

【0066】

ステップＳ６において待機者数が閾値を超えない場合（ステップＳ６のＮｏ）、制御部３１０は、ステップＳ７をとばしステップＳ８へ処理を進める。

【0067】

なお、ステップＳ６～Ｓ７の処理は、制御部３１０の余力が十分なときに実行され、逼迫しているときには省かれる。また、ステップＳ６～Ｓ７の処理は、ステップＳ４～Ｓ５の処理よりも、優先度が低い。したがって、制御部３１０の余力が不十分なとき、まずステップＳ６～Ｓ７の処理を省き、さらに余力がなければステップＳ４～Ｓ５の処理を省く。つまり、ステップＳ６～Ｓ７の処理よりも、ステップＳ４～Ｓ５の処理を優先して実行する。

【0068】

次に制御部３１０は、第一の情報すなわち不登録検知を示す情報が出力されていれば、不登録の疑いありと判断し（ステップＳ８のＹｅｓ）、これを報知して（ステップＳ９）、本処理を終了する。

【0069】

また、制御部３１０は、ステップＳ８において、第一の情報が出力されていなければ、不登録の疑いがないと判断し（ステップＳ８のＮｏ）、処理をステップＳ１に戻す。

【0070】

このように、本実施形態によれば、販売データ処理における操作者の不適行為を発見するための行動検知処理を第一の範囲５１１に限って実行するため、画像解析を行う処理部（制御部３１０）の負荷を、撮像画像５１０の全体を解析していた従来に比べて抑えることができる。

【0071】

また、本実施形態によれば、第一の範囲５１１の境界５１４の位置を最適化することができるので、過不足ない行動検知処理を行うことができる。

【0072】

さらに本実施形態によれば、第一の範囲５１１の設定を、１取引ごとにリセットするのではないので、継続使用により、セルフＰＯＳ端末１０のそれぞれについて、設定を最適化していくことができる。

【0073】

なお、上記実施形態では、サーバ３００を、カメラ２１の撮像画像を解析する情報処理装置の一例として説明したが、実施にあたっては、セルフＰＯＳ端末１０が情報処理装置として機能しても構わない。より具体的には、サーバ３００の各機能部（解析部３１１、報知部３１２、調整部３１３）が、セルフＰＯＳ端末１０に設けられてもよい。

【0074】

また、上記実施形態では、ステップＳ４～Ｓ５の処理をステップＳ３に続けて行っているが、実施にあたってはこれに限らない。ステップＳ４～Ｓ５の処理は、ここで行わず、日次処理として行っても構わない。例えば、ステップＳ４～Ｓ５の処理は、開店前の装置起動時等に行うのであって構わない。

【0075】

また、上記実施形態では、第一の範囲５１１は撮像画像５１０の中央部に位置し、調整部３１３は第一の範囲５１１と他との境界５１４の位置を調整するとしているが、これは、境界５１４が部分的にでも撮像画像５１０の端に位置することを否定するものではない。つまり、実施にあたって、第一の範囲５１１の境界５１４が、撮像画像５１０の端を含んでいても構わない。

【0076】

そして、上記実施形態に係る技術は、商品登録の後の決済処理にかかる操作を買物客が操作者となって行うセミセルフタイプのＰＯＳ端末（会計装置の一例）に対して適用することもできる。ここでの決済処理に先立つ登録処理は、例えば、通常のＰＯＳ端末への店員の操作によって行われる。また、登録処理は、買物客自身により行われる場合もある。買物客は、例えば、買物客が所持するスマートフォンで起動されたＰＯＳアプリケーションや、カートＰＯＳ（店内備付のカートに付属した端末）への買物客の操作等によって、商品の登録を行う。

【0077】

上記実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については同じ符号を用い、詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0078】

（第２の実施形態）
上記実施形態の解析部３１１は、第一の範囲５１１の解析により、上記第一～第三の情報として、操作者の動作にかかわる情報を出力したが、本実施形態の解析部３１１は、商品の位置の推移にかかわる情報を出力する。商品の位置の推移にかかわる情報は、撮像画像５１０内の移動する商品に対して画像認識を繰り返し実行して商品の位置を追跡することで、得られる。

【0079】

第一の情報は、不登録検知を示す情報である。解析部３１１は、撮像画像５１０のうち第一の範囲５１１への画像認識処理により、認識した商品の移動経路を得る。この移動経路から、商品が、セルフＰＯＳ端末１０における登録前の置き場（カゴ置台１２）から登録操作の受け付け位置（スキャナ１６の正面近傍）を経ずに登録後の置き場（袋詰め台１３）に至ったかを判断する。そして商品がカゴ置台１２から袋詰め台１３までに登録操作の受付位置を経なかったと判断し得る場合、解析部３１１は不登録を検知したとし、その旨を示す第一の情報を出力する。

【0080】

第二の情報は、画像認識処理により認識した商品が、第一の範囲５１１から外に出る向きに境界５１４を越えた回数である。解析部３１１は、その回数を計測し、記憶部３０４の所定の領域等に記録する。

【0081】

第三の情報は、画像認識処理により認識した商品が、第一の範囲５１１の内側に設定した仮想のライン５１６から出ない状態の継続時間を計測し、当該時間を記憶部３０４所定の領域等に記録する。

【0082】

次に、本実施形態の調整部３１３は、解析部３１１の出力により、移動中の商品が境界５１４の外に出る事象の発生頻度が高いと判断される場合に、第一の範囲５１１を広げる調整を行う。具体的には、調整部３１３は、境界５１４を、所定の位置５１５まで移動させる。上記頻度は、所定時間内における上記事象の発生回数であり、これが所定の閾値を超える場合、「頻度が高い」と判断される。

【0083】

また、調整部３１３は、解析部３１１の出力により、移動中の商品が境界５１４の内側に設定したライン５１６から出ない状態が継続すると判断される場合に、場合に、第一の範囲５１１をライン５１６まで狭める（境界５１４をライン５１６の位置まで移動させる）調整を行う。

【0084】

なお、上記判断において、調整部３１３は、例えば、商品がライン５１６から出ない状態の継続時間が、予め定めた閾値を超えた場合に、「上記状態が継続する」とする。

【0085】

このように、第２の実施形態の情報処理装置によれば、前実施形態と同様の効果を奏することができる。

【0086】

上述の実施形態の各装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0087】

さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0088】

本実施形態の情報処理装置で実行されるプログラムは、上述した各部（解析部３１１、報知部３１２、調整部３１３）を含むモジュール構成となっている。ＣＰＵ（プロセッサ）は、上記記憶装置からプログラムを読み出して実行することにより、上記各部を主記憶装置上にロードする。これにより、解析部３１１、報知部３１２、調整部３１３が、主記憶装置上に生成される。

【0089】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0090】

１０…セルフＰＯＳ端末、
１１…本体、
１２…カゴ置台、
１３…袋詰め台、
１３１…台座、１３２…袋掛けフック、１３３…一時置台、１３４…支柱、
１４…計量部、
１５…入出金部、
１６…スキャナ、１６１…読取窓、
１７…タッチパネルディスプレイ、
１８…表示灯、
１９…カードリーダ、
２０…プリンタ、
２１…カメラ、
１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、
１０４…記憶部、１０５…通信Ｉ／Ｆ、１０９…システムバス、
１１０…制御部、
１１１…読取部、１１２…登録部、１１３…操作部、
１１４…決済部、１１５…撮像部、１１６…報知部、
３００…サーバ、
３０１…ＣＰＵ、３０２…ＲＯＭ、３０３…ＲＡＭ、
３０４…記憶部、３０５…通信Ｉ／Ｆ、３０９…システムバス、
３１０…制御部、３１１…解析部、３１２…報知部、３１３…調整部、
５１０，５２０…撮像画像、
５１１…第一の範囲、５１２…第二の範囲、５１３…第三の範囲、５１４…境界。

【先行技術文献】

【特許文献】

【0091】

【特許文献1】特開２００９－０４８２２９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】