特開 2024-72982 情報処理装置、情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072982

(43)【公開日】2024-05-29

(54)【発明の名称】情報処理装置、情報処理システム及びプログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20240522BHJP

   G07G 1/01 20060101ALI20240522BHJP

   G07G 1/00 20060101ALI20240522BHJP

【ＦＩ】

G07G1/12 361Z

G07G1/01 301E

G07G1/00 331B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022183916

(22)【出願日】2022-11-17

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】倉田 真考

【テーマコード（参考）】

3E142

【Ｆターム（参考）】

3E142DA07

3E142EA04

3E142FA42

3E142GA41

(57)【要約】

【課題】ＰＯＳ端末におけるインシデントの発生を適切に通知すること。
【解決手段】実施形態の情報処理装置は、取得部と、検出部と、処理部と、出力部とを備える。前記取得部は、ＰＯＳ端末及び操作者の当該ＰＯＳ端末の操作位置が撮影された映像を取得する。前記検出部は、前記映像に基づいて不正疑い行動を検出する。前記処理部は、前記検出部により前記不正疑い行動が検出された場合、当該不正疑い行動の種別を示すイベント情報と、当該不正疑い行動に関連する画像とを含む第１の通知情報を生成するとともに、当該不正疑い行動に関する動画を前記映像から切り出す処理を行う。前記出力部は、前記処理部により生成された前記第１の通知情報を表示部へ出力し、前記第１の通知情報が出力された後に前記処理部により前記不正疑い行動に関する動画が生成された場合、当該動画に関する第２の通知情報を前記表示部へ出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＰＯＳ端末及び操作者の当該ＰＯＳ端末の操作位置が撮影された映像を取得する取得部と、
前記映像に基づいて不正疑い行動を検出する検出部と、
前記検出部により前記不正疑い行動が検出された場合、当該不正疑い行動の種別を示すイベント情報と、当該不正疑い行動に関連する画像とを含む第１の通知情報を生成するとともに、当該不正疑い行動に関する動画を前記映像から切り出す処理を行う処理部と、
前記処理部により生成された前記第１の通知情報を表示部へ出力し、前記第１の通知情報が出力された後に前記処理部により前記不正疑い行動に関する動画が生成された場合、当該動画に関する第２の通知情報を前記表示部へ出力する出力部と
を備える情報処理装置。

【請求項2】

前記不正疑い行動に関連する画像は、前記映像から切り出された、前記ＰＯＳ端末の操作者が含まれる画像と、前記不正疑い行動が不正行動であるかを判断可能な画像との少なくともいずれかを含む、請求項１に記載の情報処理装置。

【請求項3】

前記不正疑い行動が不正行動であるかを判断可能な画像は、買い物カゴが含まれる画像である、請求項２に記載の情報処理装置。

【請求項4】

請求項１から請求項３のうちのいずれか一項に記載の情報処理装置と、
前記第１の通知情報を表示する表示部と、を備え、
前記第１の通知情報の表示は、前記イベント情報と、前記不正疑い行動に関連する画像と、前記動画の再生を指示する再生ボタンとを含む、情報処理システム。

【請求項5】

前記再生ボタンの表示は、前記第２の通知情報を受信するまで、操作無効であることを示す表示状態である、請求項４に記載の情報処理システム。

【請求項6】

ＰＯＳ端末及び操作者の当該ＰＯＳ端末の操作位置が撮影された映像を取得することと、
前記映像に基づいて不正疑い行動を検出することと、
前記不正疑い行動が検出された場合、当該不正疑い行動の種別を示すイベント情報と、当該不正疑い行動に関連する画像とを含む第１の通知情報を生成するとともに、当該不正疑い行動に関する動画を前記映像から切り出す処理を行うことと、
生成された前記第１の通知情報を出力することと、
前記第１の通知情報が出力された後に前記不正疑い行動に関する動画が生成された場合、当該動画に関する第２の通知情報を出力することと
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

従来、買物客が操作者となって商品の登録や決済を行うセルフタイプのＰＯＳ端末（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）や店員による商品登録の後に買物客が操作者となって決済を行うセミセルフタイプのＰＯＳ端末が知られている。また、ＰＯＳ端末における商品未登録などの不正行動や金銭トラブルといったインシデントの発生を店舗スタッフへ通知する技術が知られている。

【0003】

例えば、通知を受けた店舗スタッフは、買物客への声掛けなどの対応をするか判断することができる。このような中、通知には、監視カメラの映像から切り出された動画など、対応の要否について店舗スタッフが判断する材料に足る内容が要求される。一方で、インシデントの発生から通知までに時間を要すると、声掛けなどの対応を行うタイミングを逃してしまうおそれがあった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態が解決しようとする課題は、ＰＯＳ端末におけるインシデントの発生を適切に通知することである。

【課題を解決するための手段】

【0005】

実施形態の情報処理装置は、取得部と、検出部と、処理部と、出力部とを備える。前記取得部は、ＰＯＳ端末及び操作者の当該ＰＯＳ端末の操作位置が撮影された映像を取得する。前記検出部は、前記映像に基づいて不正疑い行動を検出する。前記処理部は、前記検出部により前記不正疑い行動が検出された場合、当該不正疑い行動の種別を示すイベント情報と、当該不正疑い行動に関連する画像とを含む第１の通知情報を生成するとともに、当該不正疑い行動に関する動画を前記映像から切り出す処理を行う。前記出力部は、前記処理部により生成された前記第１の通知情報を表示部へ出力し、前記第１の通知情報が出力された後に前記処理部により前記不正疑い行動に関する動画が生成された場合、当該動画に関する第２の通知情報を前記表示部へ出力する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係るＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムの構成の一例を示す図である。

【図2】図２は、実施形態に係るセルフＰＯＳ端末の操作者側から見た外観の一例を示す斜視図である。

【図3】図３は、実施形態に係るセルフＰＯＳ端末のハードウェア構成の一例を示す図である。

【図4】図４は、実施形態に係るアテンダント端末のハードウェア構成の一例を示す図である。

【図5】図５は、実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。

【図6】図６は、実施形態に係る実施形態に係るセルフＰＯＳ端末の有する機能構成の一例を示す図である。

【図7】図７は、実施形態に係る実施形態に係るアテンダント端末の有する機能構成の一例を示す図である。

【図8】図８は、実施形態に係る実施形態に係るサーバ装置の有する機能構成の一例を示す図である。

【図9】図９は、実施形態に係るＰＯＳシステムにおいて実行される情報処理の流れの一例を示すシーケンス図である。

【図10】図１０は、実施形態に係る情報処理において表示される表示画面の一例を示す図である。

【発明を実施するための形態】

【0007】

以下、図面を参照して、情報処理装置、情報処理システム及びプログラムについて説明する。

【0008】

図１は、実施形態に係るＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システム１の構成の一例を示す図である。ＰＯＳシステム１は、図１に示すように、セルフＰＯＳ端末１０、アテンダント端末３０、サーバ装置５０、カメラ７０及び記憶装置９０を含む。ＰＯＳシステム１において、セルフＰＯＳ端末１０、アテンダント端末３０、サーバ装置５０、カメラ７０及び記憶装置９０は、有線又は無線でネットワークＮを介して通信可能に接続されている。ここで、実施形態に係るＰＯＳシステム１は、情報処理システムの一例である。

【0009】

セルフＰＯＳ端末１０は、買物客が操作者となって商品の登録や決済を行うセルフタイプのＰＯＳ端末である。セルフＰＯＳ端末１０は、販売対象の商品を登録する商品登録処理と、商品登録処理により登録された商品の会計処理とを、顧客の操作により実行する販売データ処理装置の一例である。

【0010】

アテンダント端末３０は、アテンダントである店員が使用する端末装置である。アテンダント（店員）は、少なくとも一つのセルフＰＯＳ端末１０を含むセルフＰＯＳ端末群を管理・監視するとともに、これらのセルフＰＯＳ端末１０を操作中の顧客を、必要に応じて世話する。アテンダント端末３０は、例えばパーソナルコンピュータやタブレット端末、スマートフォン等である。アテンダント端末３０は、例えば複数のセルフＰＯＳ端末１０に接続されている。なお、ネットワークＮを介して互いに接続された複数のセルフＰＯＳ端末１０のうちの任意のセルフＰＯＳ端末１０をアテンダント端末３０として利用することもできる。アテンダント端末３０は、サーバ装置５０からの通知情報に基づき不正疑い行動の検出を店員に通知する。ここで、実施形態に係るアテンダント端末３０は、表示部の一例である。

【0011】

サーバ装置５０は、店舗のバックヤードなどに設置される。サーバ装置５０は、店舗サーバとも呼ばれる。サーバ装置５０は、セルフＰＯＳ端末１０を撮影したカメラ７０の映像に対する画像処理を行う画像処理装置の一例である。サーバ装置５０は、当該映像を用いて不正疑い行動を検出する検出処理を行う情報処理装置の一例である。サーバ装置５０は、不正疑い行動が検出された場合にイベント情報及び画像を簡易情報としてアテンダント端末３０へ通知するとともに、詳細情報としてアテンダント端末３０へ送信する動画の生成を行う通知処理を行う情報処理装置の一例である。なお、サーバ装置５０の記憶部５２（図５参照）には、セルフＰＯＳ端末１０に配信されるＰＬＵファイルが格納されている。ここで、実施形態に係るサーバ装置５０は、情報処理装置の一例である。

【0012】

カメラ７０は、例えばセルフＰＯＳ端末１０ごとに配置されるが、二つ以上のセルフＰＯＳ端末１０ごとに配置されてもよいし、セルフＰＯＳ端末１０ごとに複数のカメラ７０が配置されても構わない。カメラ７０は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を含む。カメラ７０は撮影した映像のデータを記憶装置９０に出力する。

【0013】

記憶装置９０は、例えばネットワークストレージとして構成される。一例として、記憶装置９０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリなどの記憶回路と、当該記憶回路に対する書き込み及び読み出しを制御する制御回路と、外部と通信するための通信回路とを有する。記憶装置９０は、カメラ７０により撮影された映像のデータを記憶する。記憶装置９０は、サーバ装置５０により当該映像から切り出された画像や動画を記憶する。

【0014】

図２は、実施形態に係るセルフＰＯＳ端末の操作者側から見た外観の一例を示す斜視図である。セルフＰＯＳ端末１０は、図１に示すように、本体１１、カゴ置台１２、袋詰め台１３を有する。

【0015】

本体１１は、カゴ置台１２及び袋詰め台１３の間に設けられる。カゴ置台１２は、商品登録の際に、カゴが置かれる物置台である。袋詰め台１３は、買い物袋を開放した状態で引掛けられる物置台である。買い物袋には、商品登録が終わった商品が入れられる。換言すれば、袋詰め台１３には、登録された商品が載置される。

【0016】

袋詰め台１３は、台座１３１、袋掛けフック１３２及び一時置台１３３を有する。袋掛けフック１３２及び一時置台１３３は、台座１３１に設けられた支柱１３４に支持されて、台座１３１の上方に設けられている。台座１３１は、例えば袋より大きい商品等の袋に入れるのに適さない商品等が載置される台である。袋掛けフック１３２は、販売登録した商品を入れる袋を吊り下げるフックである。一時置台１３３は、例えば壊れやすい商品等の袋詰めに注意を要する商品を一時的に載置する台である。

【0017】

また、図２に示すように、セルフＰＯＳ端末１０及びその操作位置９を含む撮影範囲で撮影可能にカメラ７０が配置される。ここで、操作位置９を含む撮影範囲とは、操作位置９に位置するセルフＰＯＳ端末１０の操作者（使用者）を撮影可能な範囲である。つまり、操作位置９を含む撮影範囲で得られた映像によれば、セルフＰＯＳ端末１０の操作者やその有無が判別可能である。また、セルフＰＯＳ端末１０を含む撮影範囲とは、少なくともセルフＰＯＳ端末１０のカゴ置台１２及び袋詰め台１３を撮影可能な範囲である。つまり、セルフＰＯＳ端末１０を含む撮影範囲で得られた映像によれば、例えば、セルフＰＯＳ端末１０において登録される買い物カゴに入った商品や、登録済の商品といった商品登録処理や会計処理に係る各種の商品を判別可能である。

【0018】

図３は、実施形態に係るセルフＰＯＳ端末１０のハードウェア構成の一例を示す図である。セルフＰＯＳ端末１０は、図３に示すように、タッチパネルディスプレイ１４、入出金部１５、スキャナ１６、プリンタ１７、表示灯１８、カードリーダ１９、制御部２１、記憶部２２及び通信インタフェース２３を有する。タッチパネルディスプレイ１４、入出金部１５、スキャナ１６、プリンタ１７、表示灯１８、カードリーダ１９、制御部２１、記憶部２２及び通信インタフェース２３は、データバスやアドレスバス等のシステムバス２９を介して相互に接続される。

【0019】

タッチパネルディスプレイ１４は、図１に示すように、例えば本体１１においてスキャナ１６の上方に設けられている。タッチパネルディスプレイ１４は、各種画面を表示するとともに、顧客による操作を受け付ける。

【0020】

入出金部１５は、図１に示すように、例えば本体１１の中央部分に設けられている。入出金部１５は、例えば、硬貨投入部、硬貨排出部、紙幣投入部及び紙幣排出部を有する。硬貨投入部は、顧客が支払う硬貨の投入を受け付ける投入口である。硬貨排出部は、釣銭等の入出金部１５から排出された硬貨を受ける受け皿である。紙幣投入部は、顧客が支払う紙幣の投入を受け付ける投入口である。紙幣排出部は、釣銭等の入出金部１５から排出された紙幣の排出口である。なお、例えばセルフＰＯＳ端末１０が現金を取り扱わないキャッシュレス端末として構成される場合など、入出金部１５は設けられていなくてもよい。

【0021】

スキャナ１６は、図１に示すように、例えば本体１１において入出金部１５の上方に設けられている。スキャナ１６は、図１に示すように読取窓１６１を有する。スキャナ１６は、例えば読取窓１６１にかざされた商品に付されている無線タグやバーコードなどのコードシンボルから商品情報を読み取る読取装置である。無線タグは、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）タグ等の電子タグである。無線タグは、情報を記憶するＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとアンテナとを有する。無線タグは、無線タグ読取装置から受信した電波に応じてＩＣチップに記憶されているタグ情報を送信する。例えば、無線タグには、無線タグが付されている商品に関する商品情報が記憶されている。商品情報には、例えば、商品を識別可能な商品コードが含まれている。

【0022】

なお、スキャナ１６は、例えば読取窓１６１にかざされた商品を撮像するように構成されたカメラを有していてもよい。スキャナ１６のカメラは、例えばＣＭＯＳ、ＣＣＤ等の撮像素子を含む。この場合、スキャナ１６のカメラが撮像した商品の画像のデータは、画像処理装置としてのサーバ装置５０又はセルフＰＯＳ端末１０によるオブジェクト認識処理に供される。これにより、画像に含まれる商品が特定され、登録される。

【0023】

プリンタ１７は、例えば本体１１の筐体の内部に設けられている。プリンタ１７は、一取引の明細が示されたレシートや、商品の割引等のクーポンをレシート用紙等に印字する印字装置である。プリンタ１７は、図１に示すように、レシート排出部１７１を有する。レシート排出部１７１は、例えば本体１１において入出金部１５及びスキャナ１６の間に設けられている。レシート排出部１７１は、プリンタ１７が発行したレシート等をセルフＰＯＳ端末１０の外部に排出する排出口である。

【0024】

表示灯１８は、図１に示すように、例えば本体１１においてタッチパネルディスプレイ１４の後方に設けられている。表示灯１８は、セルフＰＯＳ端末１０に異常が発生したこと等を店員に通知する電灯である。

【0025】

カードリーダ１９は、図１に示すように、例えば本体１１においてスキャナ１６の側方に設けられている。カードリーダ１９は、クレジットカード等のカードを読み取る読取装置である。

【0026】

制御部２１は、セルフＰＯＳ端末１０の全体の動作を制御し、セルフＰＯＳ端末１０が有する各種の機能を実現するコンピュータである。制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有する。ＣＰＵは、セルフＰＯＳ端末１０の動作を統括的に制御するプロセッサである。例えばＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部２２等に格納された各種プログラムを実行する。

【0027】

なお、制御部２１のプロセッサとしては、ＣＰＵに限らず、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の他のプロセッサが利用されても構わない。

【0028】

記憶部２２は、ＨＤＤやＳＳＤ、フラッシュメモリなどの記憶装置である。記憶部２２は、制御プログラム２２１を記憶する。また、記憶部２２には、商品マスタが記憶され得る。

【0029】

通信インタフェース２３は、ネットワークＮを介して、アテンダント端末３０やサーバ装置５０などのセルフＰＯＳ端末１０の外部装置と通信するためのインタフェースである。

【0030】

図４は、実施形態に係るアテンダント端末３０のハードウェア構成の一例を示す図である。アテンダント端末３０は、図４に示すように、制御部３１、記憶部３２、通信インタフェース３３及びタッチパネルディスプレイ３４を有する。制御部３１、記憶部３２、通信インタフェース３３及びタッチパネルディスプレイ３４は、データバスやアドレスバス等のシステムバス３９を介して相互に接続される。

【0031】

制御部３１は、アテンダント端末３０の全体の動作を制御し、アテンダント端末３０が有する各種の機能を実現するコンピュータである。制御部３１は、ＣＰＵ、ＲＯＭ及びＲＡＭを有する。ＣＰＵは、アテンダント端末３０の動作を統括的に制御するプロセッサである。例えばＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部３２等に格納された各種プログラムを実行する。

【0032】

なお、制御部３１のプロセッサとしては、ＣＰＵに限らず、ＧＰＵやＡＳＩＣ、ＦＰＧＡ等の他のプロセッサが利用されても構わない。

【0033】

記憶部３２は、ＨＤＤやＳＳＤ、フラッシュメモリなどの記憶装置である。記憶部３２は、制御プログラム３２１を記憶する。

【0034】

通信インタフェース３３は、ネットワークＮを介して、セルフＰＯＳ端末１０やサーバ装置５０などのアテンダント端末３０の外部装置と通信するためのインタフェースである。

【0035】

タッチパネルディスプレイ３４は、各種画面を表示するとともに、店員による操作を受け付ける。

【0036】

図５は、実施形態に係るサーバ装置５０のハードウェア構成の一例を示す図である。サーバ装置５０は、図５に示すように、制御部５１、記憶部５２及び通信インタフェース５３を有する。制御部５１、記憶部５２及び通信インタフェース５３は、データバスやアドレスバス等のシステムバス５９を介して相互に接続される。

【0037】

制御部５１は、サーバ装置５０の全体の動作を制御し、サーバ装置５０が有する各種の機能を実現するコンピュータである。制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭを有する。ＣＰＵは、サーバ装置５０の動作を統括的に制御するプロセッサである。例えばＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部５２等に格納された各種プログラムを実行する。

【0038】

なお、制御部５１のプロセッサとしては、ＣＰＵに限らず、ＧＰＵやＡＳＩＣ、ＦＰＧＡ等の他のプロセッサが利用されても構わない。

【0039】

記憶部５２は、ＨＤＤやＳＳＤ、フラッシュメモリなどの記憶装置である。記憶部５２は、制御プログラム５２１を記憶する。

【0040】

通信インタフェース５３は、ネットワークＮを介して、セルフＰＯＳ端末１０やアテンダント端末３０、記憶装置９０などのサーバ装置５０の外部装置と通信するためのインタフェースである。

【0041】

図６は、実施形態に係る実施形態に係るセルフＰＯＳ端末１０の有する機能構成の一例を示す図である。なお、セルフＰＯＳ端末１０が実現する機能の一部又は全部は、セルフＰＯＳ端末１０の外部装置との協働により実現されてもよいし、セルフＰＯＳ端末１０に搭載された専用回路などのハードウェア構成により実現されても構わない。

【0042】

セルフＰＯＳ端末１０の制御部２１は、ＲＡＭにロードされた制御プログラム２２１を実行することにより、商品登録部１０１、会計処理部１０２及び報知部１０３としての機能を実現する。

【0043】

商品登録部１０１は、商品に付された無線タグやバーコードなどのコードシンボルから読み取られた商品コードに基づいて、販売対象の商品を登録する。なお、商品登録部１０１は、スキャナ１６のカメラが撮像した画像のデータに基づくオブジェクト認識により商品を特定することによって、販売対象の商品を登録してもよい。なお、商品登録部１０１は、商品情報の読み取りに限らず、操作入力により特定された商品を登録してもよい。

【0044】

会計処理部１０２は、商品登録部１０１が商品登録した商品に関する代金を決済する会計処理を制御する。例えば、会計処理部１０２は、商品登録部１０１が販売登録した商品の合計価格を算出する。また、会計処理部１０２は、入出金部１５に投入された金額から合計価格を減算して釣銭を算出する。また、会計処理部１０２は、入出金部１５に釣銭を排出させる。

【0045】

報知部１０３は、アテンダント端末３０又はサーバ装置５０からの通知に応じてアラート（報知）を行う。例えば、報知部１０３は、不正の検知を示す画面をタッチパネルディスプレイ１４に表示させたり、表示灯１８を点灯させたり、表示灯１８の発光色を変更したり、表示灯１８を明滅させたりすることにより不正検知を報知する。

【0046】

図７は、実施形態に係る実施形態に係るアテンダント端末３０の有する機能構成の一例を示す図である。なお、アテンダント端末３０が実現する機能の一部又は全部は、アテンダント端末３０の外部装置との協働により実現されてもよいし、アテンダント端末３０に搭載された専用回路などのハードウェア構成により実現されても構わない。

【0047】

アテンダント端末３０の制御部３１は、ＲＡＭにロードされた制御プログラム３２１を実行することにより、通信部３０１、表示部３０２及び入力部３０３としての機能を実現する。

【0048】

通信部３０１は、セルフＰＯＳ端末１０やサーバ装置５０などのアテンダント端末３０の外部装置との間で通信インタフェース３３により通信する。

【0049】

表示部３０２は、不正疑い行動を通知する通知画面（図１０参照）や詳細確認用動画を再生する再生画面をタッチパネルディスプレイ３４により表示する。

【0050】

入力部３０３は、タッチパネルディスプレイ３４を介した店員の操作を受け付ける。

【0051】

図８は、実施形態に係る実施形態に係るサーバ装置５０の有する機能構成の一例を示す図である。なお、サーバ装置５０が実現する機能の一部又は全部は、サーバ装置５０の外部装置との協働により実現されてもよいし、サーバ装置５０に搭載された専用回路などのハードウェア構成により実現されても構わない。

【0052】

サーバ装置５０の制御部５１は、ＲＡＭにロードされた制御プログラム５２１を実行することにより、通信部５０１、検出部５０２及び処理部５０３としての機能を実現する。

【0053】

通信部５０１は、セルフＰＯＳ端末１０やアテンダント端末３０などのサーバ装置５０の外部装置との間で通信インタフェース５３により通信する。例えば、通信部５０１は、記憶装置９０へセルフＰＯＳ端末１０及び操作位置９が撮影された映像のデータを要求する要求通知を出力する。また、通信部５０１は、記憶装置９０から映像のデータを取得する。また、通信部５０１は、処理部５０３により生成された簡易情報及び詳細情報をアテンダント端末３０へ出力する。一例として、通信部５０１は、簡易情報が生成された段階で簡易情報をアテンダント端末３０へ出力する。一例として、通信部５０１は、簡易情報が出力された後に不正疑い行動に関する動画、すなわち詳細確認用動画が生成された場合、当該当該が生成された段階で詳細情報をアテンダント端末３０へ出力する。ここで、実施形態に係る通信部５０１は、取得部及び出力部の一例である。また、簡易情報は、第１の通知情報の一例である。また、詳細情報は、第２の通知情報の一例である。

【0054】

検出部５０２は、セルフＰＯＳ端末１０及び操作位置９が撮影された映像に基づいて不正疑い行動を検出する。検出部５０２は、映像に対して画像処理を施し、映像に含まれる使用者の行動や商品の移動を検知することにより、不正疑い行動を検出する。また、検出部５０２は、セルフＰＯＳ端末１０からの登録された商品の商品情報を用いて、不正疑い行動を検出する。

【0055】

処理部５０３は、セルフＰＯＳ端末１０及び操作位置９が撮影された映像から不正疑い行動に関連する画像、すなわち確認用画像を切り出す。確認用画像は、セルフＰＯＳ端末１０の操作者（使用者）を確認するための画像である使用者確認用画像と、不正疑い行動に応じて店員が使用者に声掛けなどの対応をするか判断するための判断材料となる不正確認用画像とのうちの少なくともいずれかを含む。

【0056】

以下、図面を参照して、実施形態に係るＰＯＳシステム１の動作例について説明する。図９は、実施形態に係るＰＯＳシステム１において実行される情報処理の流れの一例を示すシーケンス図である。図９の流れは、任意のアテンダント端末３０と、当該アテンダント端末３０に対応する複数のセルフＰＯＳ端末１０のうちの任意のセルフＰＯＳ端末１０（以下、対象のセルフＰＯＳ端末１０と記載する。）による処理を例示する。

【0057】

カメラ７０は、セルフＰＯＳ端末１０及び操作位置９を含む撮影範囲で撮影を行い、撮影により得られた映像のデータを順次記憶装置９０へ出力する（Ｓ１１）。この場合、記憶装置９０は、カメラ７０からの映像のデータを順次記憶する。また、アテンダント端末３０の表示部３０２は、通知画面をタッチパネルディスプレイ３４により表示する（Ｓ１２）。

【0058】

その後、対象のセルフＰＯＳ端末１０において取引が開始されたとする。この場合、セルフＰＯＳ端末１０は、取引開始通知をサーバ装置５０へ出力する（Ｓ１３）。また、セルフＰＯＳ端末１０は、登録された商品と、その時刻を示す登録情報をサーバ装置５０に順次送信する。あるいは、サーバ装置５０は、映像から不正疑い行動が検出された場合、セルフＰＯＳ端末１０において登録された商品の情報を参照する。

【0059】

サーバ装置５０の通信部５０１は、セルフＰＯＳ端末１０からの取引開始通知に応じて、記憶装置９０に映像のデータを要求（Ｓ１４）し、記憶装置９０からの映像のデータを受信（Ｓ１５）する。

【0060】

サーバ装置５０の処理部５０３は、受信した映像からセルフＰＯＳ端末１０の操作者、すなわち使用者を含む画像を切り出し、使用者確認用画像として生成する（Ｓ１６）。生成された使用者確認用画像のデータは、サーバ装置５０の記憶部５２に記憶される。

【0061】

その後、ＰＯＳシステム１においては、一取引が終了した場合、すなわちセルフＰＯＳ端末１０により取引終了通知が発行（Ｓ２９）されるまで、不正検出処理（Ｓ１７～Ｓ２８）を行う。

【0062】

サーバ装置５０の通信部５０１は、記憶装置９０に映像のデータを要求（Ｓ１７）し、記憶装置９０からの映像のデータを受信（Ｓ１８）する。また、サーバ装置５０の検出部５０２は、受信した映像に対して画像処理を施すことにより、不正疑い行動の検出を開始する（Ｓ１９）。

【0063】

不正疑い行動が検出されなかった場合、サーバ装置５０では、通信部５０１による映像のデータの取得と、取得された映像のデータに基づく不正疑い行動の検出処理とが繰り返される。

【0064】

一方で、不正疑い行動が検出された場合、サーバ装置５０の検出部５０２は、検出通知をセルフＰＯＳ端末１０に出力する（Ｓ２０）。セルフＰＯＳ端末１０は、検出通知に応じて表示灯１８などを用いて報知を行う（Ｓ２１）。

【0065】

また、不正疑い行動が検出された場合、サーバ装置５０は、簡易情報及び詳細情報の生成を開始する。つまり、サーバ装置５０は、図９に示すように、簡易情報及び詳細情報を並行して生成し、順次出力する。

【0066】

具体的には、サーバ装置５０の処理部５０３は、映像から不正確認用画像を生成する（Ｓ２２）。処理部５０３は、検出された不正疑い行動を示すイベント情報と、使用者確認用画像と、不正確認用画像とを含む簡易情報を生成する。処理部５０３は、簡易情報が生成された時点で、簡易情報をアテンダント端末３０へ出力する（Ｓ２３）。アテンダント端末３０は、簡易情報の受信に応じて通知画面を更新し、イベント情報４２１、使用者確認用画像４２５及び不正確認用画像４２７を含む通知画面４００（図１０の通知４１１参照）を表示する（Ｓ２４）。

【0067】

また、サーバ装置５０の処理部５０３は、簡易情報の生成と並行して、映像から不正疑い行動が検出された部分及びその前後を切り出して詳細確認用動画を生成する（Ｓ２５）。処理部５０３は、詳細確認用動画が生成された時点で、詳細情報としてアテンダント端末３０へ出力する（Ｓ２６）。アテンダント端末３０は、詳細情報の受信に応じて通知画面４００（図１０の通知４１３参照）を更新し、対象の通知４１３において動画の再生を指示する再生ボタン４２３を有効化する（Ｓ２７）。

【0068】

なお、生成された詳細確認用動画を記憶装置９０に記憶し、アテンダント端末３０から記憶装置９０にアクセスする場合もあり得る。この場合、詳細情報は、詳細確認用動画の生成及び記憶装置９０へのアップロードが終了した時点でサーバ装置５０又は記憶装置９０からアテンダント端末３０へ出力される、詳細確認用動画が再生可能な状態になったことを示す情報であってもよい。

【0069】

なお、サーバ装置５０は、詳細確認用動画として、切り出されたフレームを順次出力してもよい。つまり、詳細確認用動画は、再生可能な動画ファイルとしてサーバ装置５０からアテンダント端末３０へ出力される場合に限らず、結合されることにより動画ファイルを構成可能なデータとしてサーバ装置５０からアテンダント端末３０へ出力されてもよい。この場合、詳細情報は、詳細確認用動画を構成するすべてのデータを出力した段階で出力される、詳細確認用動画が再生可能な状態になったことを示す情報であってもよい。

【0070】

アテンダント端末３０の表示部３０２は、例えばタッチパネルディスプレイ３４を介した再生ボタン４２３に対する店員の操作を入力部３０３により受け付けた場合、詳細確認用動画をタッチパネルディスプレイ３４により表示する（Ｓ２８）。

【0071】

その後、対象のセルフＰＯＳ端末１０において取引が終了された場合、セルフＰＯＳ端末１０は、取引終了通知をサーバ装置５０へ出力（Ｓ２９）し、図９の流れは終了する。

【0072】

図１０は、実施形態に係る情報処理において表示される通知画面４００の一例を示す図である。図１０に例示する通知画面４００は、検出された不正疑い行動の表示４１０と、不正疑い行動が検知されたセルフＰＯＳ端末１０を示すマップ表示４５０と、検出された不正疑い行動の履歴の表示４７０と、メニュー表示４９０とを含む。

【0073】

検出された不正疑い行動の表示４１０は、不正疑い行動の検出、すなわちインシデントの発生ごとの通知４１１，４１３を含む。図１０は、未会計退出の検出に応じた通知４１１と、商品未登録の検出に応じた通知４１３とを含む。各通知４１１，４１３は、それぞれイベント情報４２１と、再生ボタン４２３と、確認用画像４２５，４２７とを含む。

【0074】

マップ表示４５０は、不正疑い行動が検出されたセルフＰＯＳ端末１０を示す。図１０の通知画面４００は、「５」、「６」のセルフＰＯＳ端末１０において不正疑い行動が検出された場合を例示する。

【0075】

不正疑い行動の履歴の表示４７０は、予め定められた時間内に検出された不正疑い行動の履歴を示すリストである。図１０の通知画面４００は、「５」のセルフＰＯＳ端末１０において「商品未登録」の不正疑い行動２件と、「６」のセルフＰＯＳ端末１０において「未会計退出」の不正疑い行動１件とが、５分以内に検出された場合を例示する。なお、履歴の表示４７０における表示対象のイベントは、５分に限らず、予め定めされた任意の時間内に検出されたイベントとすることができる。また、履歴の表示４７０においては、例えばスライダ４７３により表示されるイベントをスクロール可能である。

【0076】

メニュー表示４９０は、例えば選択されることにより展開する。そして、展開されたタブから各種設定を行ったり、現在のセルフＰＯＳ端末１０を撮影した映像を表示する画面など、他の表示画面へ遷移したりすることができる。

【0077】

一例として、未会計退出の検出に応じた通知４１１は、「６」のセルフＰＯＳ端末１０において「未会計退出」の不正疑い行動が「１１：５５：５７」に検出されたことを示すイベント情報４２１を含む。また、当該通知４１１は、再生ボタン４２３を含む。

【0078】

一例として、商品未登録の検出に応じた通知４１３は、「５」のセルフＰＯＳ端末１０を示す番号において「商品未登録」の不正疑い行動が「１１：５５：５７」に検出されたことを示すイベント情報４２１を含む。また、当該通知４１３は、再生ボタン４２３を含む。

【0079】

通知４１１は、詳細情報が受信される前の表示態様を例示する。つまり、通知４１１については、詳細確認用動画が再生不可能な状態である。一方で、通知４１３は、詳細情報が受信された後の表示態様を例示する。つまり、通知４１３については、詳細確認用動画が再生可能な状態である。例えば、通知４１１の再生ボタン４２３は、図１０に例示するように、グレーアウトされた操作無効であることを示す表示状態であり、その時点では動画再生ができないことが表示から判別可能となっている。

【0080】

なお、詳細情報が受信される前の再生ボタン４２３の表示態様は、グレーアウトされる場合に限らない。再生可能な状態と再生不可能な状態とが表示から判別できればよく、任意に変更可能である。例えば再生可能な状態では点滅など強調表示されるといった表示態様でもよいし、各状態で表示色が異なる表示態様でもよいし、再生可能な状態では影付きで立体的に表示される表示態様でもよい。

【0081】

また、各通知４１１，４１３においては、不正疑い行動に関連する画像としての確認用画像４２５，４２７が表示される。

【0082】

一例として、不正疑い行動に関連する画像は、使用者確認用画像４２５と不正確認用画像４２７とのうちの少なくともいずれかである。図１０の通知画面４００は、使用者確認用画像４２５と不正確認用画像４２７との両方が表示される場合を例示する。

【0083】

使用者確認用画像４２５は、例えば取引開始時点の画像である。なお、使用者確認用画像４２５は、不正疑い行動が検出された段階で、例えば顔検出処理などの人物検出処理を用いて、映像を遡って使用者を含む部分を探索して切り出すことにより生成されても構わない。

【0084】

不正確認用画像４２７は、不正疑い行動が不正行動であるかを判断可能な画像である。具体的には、不正確認用画像４２７は、不正疑い行動に応じて店員が使用者に声掛けなどの対応をするか判断するための判断材料となる画像である。不正確認用画像４２７は、例えば検出された不正疑い行動の種別に応じた画像である。

【0085】

一例として、未会計退出のイベントに対応する不正確認用画像４２７は、使用者が操作位置９に存在しないタイミングを切り出した画像である。

【0086】

一例として、未会計退出のイベントに対応する不正確認用画像４２７は、使用者が操作位置９から立ち去るタイミングを切り出した画像である。

【0087】

一例として、未会計退出のイベントに対応する不正確認用画像４２７は、未会計退出が検出されてから予め定められた時間だけ遡ったタイミングを切り出した画像である。

【0088】

一例として、商品未登録のイベントに対応する不正確認用画像４２７は、登録せずに袋詰め台１３へ移動された商品を含む画像である。

【0089】

一例として、商品未登録のイベントに対応する不正確認用画像４２７は、登録せずに袋詰め台１３へ移動されたタイミングを切り出した画像である。

【0090】

一例として、商品未登録のイベントに対応する不正確認用画像４２７は、登録せずに袋詰め台１３へ移動された商品がカゴ又はカゴ置台１２から取り出されるタイミングを切り出した画像である。

【0091】

一例として、商品未登録のイベントに対応する不正確認用画像４２７は、カゴ置台１２又はカゴ置台に載置されたカゴを切り出した画像である。

【0092】

このように、実施形態に係るＰＯＳシステム１においては、店舗スタッフへ通知するための通知画面４００により、不正の種類を記載した不正疑いイベント情報と同時に関連する画像も一緒に表示させる。これにより、店舗スタッフは、不正検知のイベント（テキスト）情報と画像とを見て、セルフＰＯＳ端末１０の使用者へ声掛けなどの対応をするか判断することができる。また、当該通知画面４００は、詳細確認用動画が生成途中であっても表示可能であるため、インシデントの発生から通知までの時間を低減し、声掛けなどの対応を行うタイミングを逃してしまうおそれを低減することができる。

【0093】

また、実施形態に係るＰＯＳシステム１においては、テキスト情報及び画像だけで判断しきれない場合のために、不正と疑われる行動に関する詳細確認用動画を切り出して再生可能である。当該動画は、不正疑いイベントより遅れて店舗スタッフへ共有される。動画が再生可能になるまでには少し時間が掛かるため、店舗スタッフは、詳細を確認したい場合に活用する。これにより、不正疑い行動を検知した場合には、いち早く店舗スタッフへ必要な情報を通知することができる。さらに、詳細情報が必要な状況のために、不正と判断された際の動画を共有することで、店舗スタッフによる正確な判断を支援することができる。例えば店舗スタッフは、詳細確認用動画を確認し、商品登録時に点灯するＬＥＤの表示状態を確認したりすることもできる。

【0094】

なお、上述の実施形態では、例えば図１に例示するように、二つのセルフＰＯＳ端末１０を含むセルフＰＯＳ端末群に対応する一つのアテンダント端末３０を例示するが、これに限らない。一つのアテンダント端末３０に対応するセルフＰＯＳ端末１０は、三つ以上の複数であってもよい。また、ＰＯＳシステム１には、複数のアテンダント端末３０と、複数のアテンダント端末３０のそれぞれに対応するセルフＰＯＳ端末群とが含まれていてもよい。また、複数のアテンダント端末３０のうちの少なくとも一つのアテンダント端末３０は、セミセルフタイプのＰＯＳ端末を対象としてもよい。

【0095】

なお、実施形態に係る技術は、店員による商品登録の後に買物客が操作者となって決済を行うセミセルフタイプのＰＯＳ端末や店員が操作者となって商品登録及び決済を行うＰＯＳ端末など、セルフＰＯＳ端末１０の他の販売データ処理装置に対して適用することもできる。

【0096】

例えば、実施形態に係る技術をセミセルフタイプのＰＯＳ端末に適用する場合、後述する表示処理は、店員による商品登録を行うＰＯＳ端末で行われてもよいし、セミセルフタイプの少なくとも一つのＰＯＳ端末を管理するためのアテンダント端末３０において行われてもよい。

【0097】

例えば、実施形態に係る技術を店員が操作者となって商品登録及び決済を行うＰＯＳ端末に適用する場合、後述する表示処理は、店員が操作するＰＯＳ端末において行われてもよいし、バックヤードなどに配置される管理用の端末において行われてもよい。

【0098】

なお、不正疑い行動の検出対象の操作者（使用者）が利用するＰＯＳ端末に通知画面４００を表示する場合、詳細確認用動画の再生ボタン４２３やマップ表示４５０、他のＰＯＳ端末の履歴の表示４７０については、表示されなくてもよい。

【0099】

なお、通知画面４００において有効化された再生ボタン４２３が選択されたことに応じて詳細確認用動画が再生される場合を例示したが、これに限らない。詳細確認用動画は、再生可能になり次第、すなわち詳細情報が受信され次第再生される仕様もあり得る。

【0100】

なお、不正疑い行動の表示４１０や履歴の表示４７０においては、未確認のものが強調表示されたり、確認済、未確認、対応済、未対応といったステータス情報がさらに表示されたりしてもよい。

【0101】

以上説明した通り、実施形態によれば、ＰＯＳ端末におけるインシデントの発生を適切に通知することができる。

【0102】

なお、本実施形態のＰＯＳシステム１の各装置で実行される各制御プログラムは、ＲＯＭ等に予め組み込まれて提供される。

【0103】

本実施形態のＰＯＳシステム１の各装置で実行される各制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0104】

さらに、本実施形態のＰＯＳシステム１の各装置で実行される各制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のＰＯＳシステム１の各装置で実行される各制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0105】

本実施形態のセルフＰＯＳ端末１０で実行される制御プログラム２２１は、上述した各部（商品登録部１０１、会計処理部１０２及び報知部１０３）を含むモジュール構成となっている。ＣＰＵ（プロセッサ）は、上記記憶媒体から制御プログラム２２１を読み出して、上記各部を主記憶装置上にロードする。これにより、商品登録部１０１、会計処理部１０２及び報知部１０３が、主記憶装置上に生成される。

【0106】

本実施形態のアテンダント端末３０で実行される制御プログラム３２１は、上述した各部（通信部３０１、表示部３０２及び入力部３０３）を含むモジュール構成となっている。ＣＰＵ（プロセッサ）は、上記記憶媒体から制御プログラム３２１を読み出して、上記各部を主記憶装置上にロードする。これにより、通信部３０１、表示部３０２及び入力部３０３が、主記憶装置上に生成される。

【0107】

本実施形態のサーバ装置５０で実行される制御プログラム３２１は、上述した各部（通信部５０１、検出部５０２及び処理部５０３）を含むモジュール構成となっている。ＣＰＵ（プロセッサ）は、上記記憶媒体から制御プログラム３２１を読み出して、上記各部を主記憶装置上にロードする。これにより、通信部５０１、検出部５０２及び処理部５０３が、主記憶装置上に生成される。

【0108】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0109】

１ ＰＯＳシステム
１０ セルフＰＯＳ端末
１０１ 商品登録部
１０２ 会計処理部
１０３ 報知部
１１ 本体
１２ カゴ置台
１３ 袋詰め台
１３１ 台座
１３２ 袋掛けフック
１３３ 一時置台
１３４ 支柱
１４ タッチパネルディスプレイ
１５ 入出金部
１６ スキャナ
１６１ 読取窓
１７ プリンタ
１７１ レシート排出部
１８ 表示灯
１９ カードリーダ
２１，３１，５１ 制御部
２２，３２，５２ 記憶部
２３，３３，５３ 通信インタフェース
２９，３９，５９ システムバス
３０ アテンダント端末
３０１，５０１ 通信部
３０２ 表示部
３０３ 入力部
５０ サーバ装置
５０２ 検出部
５０３ 処理部
７０ カメラ
９０ 記憶装置
Ｎ ネットワーク

【先行技術文献】

【特許文献】

【0110】

【特許文献1】特開２０１９－０１６２２５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】