特開 2024-82106 情報処理プログラム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082106

(43)【公開日】2024-06-19

(54)【発明の名称】情報処理プログラム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240612BHJP

   G06T 7/00 20170101ALI20240612BHJP

   G06T 7/50 20170101ALI20240612BHJP

   G06V 20/64 20220101ALI20240612BHJP

   G07G 1/00 20060101ALI20240612BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 350B

G06T7/50

G06V20/64

G07G1/00 331B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022195834

(22)【出願日】2022-12-07

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石田 諒

(72)【発明者】

【氏名】内田 大輔

(72)【発明者】

【氏名】青木 康洋

【テーマコード（参考）】

3E142

5L096

【Ｆターム（参考）】

3E142AA01

3E142AA03

3E142BA16

3E142EA04

3E142EA25

3E142FA25

3E142GA41

3E142JA01

3E142KA01

5L096AA06

5L096BA02

5L096CA04

5L096DA03

5L096FA69

5L096KA04

(57)【要約】

【課題】会計機における、ユーザの誤りまたは不正を検出することを課題とする。
【解決手段】情報処理装置は、商品のコードを会計機にスキャンする人物の映像データを取得する。情報処理装置は、取得した映像データを分析することで、映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別する。情報処理装置は、識別された商品の全体の領域に対する商品が有するコードの位置に基づいて、会計機に商品を登録する行動の異常を示すアラートを生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータに、
商品のコードを会計機にスキャンする人物の映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
処理を実行させることを特徴とする情報処理プログラム。

【請求項2】

前記識別する処理は、
取得した前記映像データを分析することで、２次元画像における前記商品の面のパターンを認識し、
前記パターンに対するコードの位置を特定し、
前記生成する処理は、
特定された前記パターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記識別する処理は、
取得した前記映像データを機械学習モデルに入力することで、商品の３次元モデルを生成し、
前記アラートを生成する処理は、
生成された前記３次元モデルでのコードの位置が、予め設定された位置と異なるときには、会計機に商品を登録する行動の異常を示すアラートを生成する、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記識別する処理は、
個々にコードを有する複数の商品を１つの商品として設定されるとともに前記１つの商品としてのコードを有するセット商品の全体の領域と、前記セット商品が有するコードの位置とをそれぞれ識別し、
前記生成する処理は、
前記会計機に商品を登録する位置に、前記セット商品内のいずれかの商品のコードが位置する場合に、前記アラートを生成する、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

前記識別する処理は、
商品毎にコードの位置が学習された機械学習モデルに対して、取得した前記映像データを入力することで、前記映像データ内の商品が有するコードの位置を推定し、
前記生成する処理は、
推定された前記商品が有するコードの位置と、前記会計機に商品を登録する位置に位置する商品のコードの位置とが一致しない場合に、前記アラートを生成する、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

前記アラートを生成する処理は、
前記会計機に商品を登録する行動の異常に関連するアラートとして、前記人物が前記会計機に登録していない商品があること、または、前記人物が前記会計機に登録した商品が異常であることを示すアラートを生成する、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項7】

前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、店員の有する端末に対して、前記会計機の識別情報と生成された前記アラートとを対応づけて通知する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項8】

前記アラートを生成する処理は
前記会計機に商品を登録する行動の異常に関するアラートが生成された場合に、前記会計機に位置する前記人物に前記商品の登録漏れを促す音声または画面を、前記会計機から出力する、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項9】

前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、前記会計機の有するカメラにて、人物を撮影させ、
撮影された前記人物の画像データと、前記アラートを対応づけて記憶部に記憶する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項10】

前記セット商品は、複数の缶の集合を包装する包装材と、前記包装材に包装された缶とのそれぞれにバーコードが付されており、
前記生成する処理は、
前記包装材のバーコードではなく、前記缶のバーコードが前記会計機にスキャンされたときに、前記アラートを通知する、処理を前記コンピュータに実行させることを特徴とする請求項４に記載の情報処理プログラム。

【請求項11】

前記会計機は、セルフレジ端末であることを特徴とする請求項１に記載の情報処理プログラム。

【請求項12】

コンピュータが、
商品のコードを会計機にスキャンする人物の映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
処理を実行することを特徴とする情報処理方法。

【請求項13】

商品のコードを会計機にスキャンする人物の映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。

【背景技術】

【0002】

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費を抑制することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－５３０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、不正を検出することが難しい。例えば、セルフレジなどの会計機では、ユーザによる不可抗力の誤りや故意の不正などがあり、未払い金などが発生する。

【0005】

不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れ、などがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しや、例えば６缶で１セットのビール箱にはビール箱と各缶にバーコードがついており誤って缶のバーコードを読み取らせる読み取り誤りなどがある。

【0006】

なお、各セルフレジに重量センサなどを導入することで、自動で商品数を計数して不正を検出することも考えられるが、コストが過大であり、特に大型店舗や全国展開する店舗にとっては現実的ではない。

【0007】

また、セルフレジでは、商品コードのスキャンや精算がユーザ自身に委ねられるので、不正行為を検出することが困難である側面がある。たとえば、上記の不正行為を検出する側面から画像認識ＡＩ（Artificial Intelligence）を適用しようにも、画像認識ＡＩの訓練には大量の訓練データが必要となる。ところが、スーパーマーケットやコンビニエンスストア等の店舗では、多数の種類の商品が存在する上、個々の商品のライフサイクルも短いので、商品の入れ替えが頻繁に起こる。このような商品のライフサイクルに合わせて画像認識ＡＩをチューニングしたり、あるいは新たな画像認識ＡＩを訓練したりすることは困難である。

【0008】

一つの側面では、会計機における、ユーザの誤りまたは不正を検出することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の案では、情報処理プログラムは、コンピュータに、商品のコードを会計機にスキャンする人物の映像データを取得し、取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、処理を実行させることを特徴とする。

【発明の効果】

【0010】

一実施形態によれば、会計機における、ユーザの誤りまたは不正を検出することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施例１にかかるセルフレジシステムの全体構成例を示す図である。

【図2】図２は、実施例１にかかる不正検出の例を説明する図である。

【図3】図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図4】図４は、機械学習モデルの機械学習を説明する図である。

【図5】図５は、識別処理を説明する図である。

【図6】図６は、識別結果を説明する図である。

【図7】図７は、位置関係による不正検知の例を説明する図である。

【図8】図８は、検出される不正の例を説明する図である。

【図9】図９は、セット商品の不正の例を説明する図である。

【図10】図１０は、不正な動作の例を説明する図である。

【図11】図１１は、アラートの報知例を説明する図である。

【図12】図１２は、処理の流れを示すフローチャートである。

【図13】図１３は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図14】図１４は、パターンＤＢに記憶される情報の例を示す図である。

【図15】図１５は、生成モデルの機械学習を説明する図である。

【図16】図１６は、不正検知を説明する図である。

【図17】図１７は、ハードウェア構成例を説明する図である。

【図18】図１８は、セルフレジのハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0012】

以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0013】

＜セルフレジシステムの説明＞
図１は、実施例１にかかるセルフレジシステム５の全体構成例を示す図である。図１に示すように、セルフレジシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。

【0014】

情報処理装置１００は、カメラ３０およびセルフレジ５０に接続されるコンピュータの一例である。情報処理装置１００は、有線や無線を問わず様々な通信網を採用できるネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。

【0015】

カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラの一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」または単に「映像」と表記する場合がある。

【0016】

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像の画像データである。

【0017】

セルフレジ５０は、商品を購入するユーザ２が、商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムや会計機の一例である。例えば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンして、購入対象の商品として登録する。

【0018】

なお、セルフレジ５０は、上述したように、お客様自身が購入商品の登録（レジ作業）および支払いを行うセルフレジの一例であり、例えばSelf checkout、automated checkout、self－checkout machineやself－check－out registerなどと呼ばれる。バーコードとは、縞模様状の線の太さによって数値や文字を表す識別子の一種であり、セルフレジ５０がスキャンする（読み込む）ことで、商品の金額や種別（例えば食品）などを特定することができる。バーコードは、コードの一例であり、バーコード以外にも、同じ機能を有するＱＲ（Quick Response）コードなどの２次元コードを用いることもできる。

【0019】

ユーザ２は、上記商品登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、セルフレジデータ（商品情報）として、情報処理装置１００に送信する。なお、ユーザは、買い物カゴや商品カートなどの運搬道具に、店内で選択した購入対象の商品を入れてセルフレジ５０まで商品を運ぶ。

【0020】

管理者端末６０は、店舗の管理者が利用する端末装置の一例である。管理者端末６０は、情報処理装置１００から、商品の購入に関して不正が行われたことを示すアラートの通知等を受け付ける。

【0021】

このような構成において、情報処理装置１００は、商品のバーコードをセルフレジ５０にスキャンする人物の映像データを取得する。情報処理装置１００は、取得した映像データを分析することで、映像データの中から、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別する。情報処理装置１００は、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。

【0022】

図２は、実施例１にかかる不正検出の例を説明する図である。図２に示すように、情報処理装置１００は、映像データから商品Ａを特定するとともに、商品Ａ全体の領域および商品Ａのバーコードの位置Ａ１を識別する。そして、情報処理装置１００は、セルフレジ５０に商品Ａをスキャンさせて登録するスキャン位置で、商品Ａのバーコード位置Ａ１とは異なる別の位置Ａ２を検出した場合に、不正な行動の可能性が高いと判定し、アラートを生成して報知する。

【0023】

一般的に、商品名や商品の柄などを表すラベルと商品のバーコードとの相対位置は、例えばラベルの真ん中にバーコードはないなど、予め想定して対応付けておくことができる。そこで、情報処理装置１００は、映像データからラベルや柄など商品の特徴を表す位置を特定し、特徴を表す位置とスキャンさせようとする商品の位置との位置関係（相対位置）により、正常なスキャン動作か異常なスキャン動作かを判定する。

【0024】

この結果、情報処理装置１００は、複雑な装置を用意することなく、映像データを解析することで、セルフレジにおける不正を検出することができる。

【0025】

＜機能構成＞
図３は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。

【0026】

通信部１０１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１０１は、カメラ３０から映像データを受信し、制御部１１０による処理結果を管理者端末６０に送信する。

【0027】

記憶部１０２は、各種データや制御部１１０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１０２は、訓練データＤＢ１０３、機械学習モデル１０４、映像データＤＢ１０５を記憶する。

【0028】

訓練データＤＢ１０３は、機械学習モデル１０４の訓練に使用されるデータを記憶するデータベースである。例えば、訓練データＤＢ１０３に記憶される訓練データは、説明変数として「商品の画像データ」、目的変数として「商品のバーコード位置」とを有する教師有りデータである。

【0029】

機械学習モデル１０４は、映像データの入力に応じて、映像データ内の商品が有するバーコードの位置を推定する機械学習モデルである。例えば、機械学習モデル１０４は、映像データ内の各画像データ（各フレーム）に対して、商品が有するバーコードの位置を推定した推定結果を出力する。

【0030】

なお、機械学習モデル１０４には、映像データの入力に応じて映像データ内の商品の全体の領域と商品のバーコード位置とを出力するように訓練された機械学習モデルを用いることもできる。

【0031】

映像データＤＢ１０５は、セルフレジ５０に設置されるカメラ３０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１０５は、セルフレジ５０ごと、または、カメラ３０ごとに、映像データを記憶する。

【0032】

制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、機械学習部１１１、映像取得部１１２、識別部１１３、不正検知部１１４、警告制御部１１５を有する。なお、機械学習部１１１、映像取得部１１２、識別部１１３、不正検知部１１４、警告制御部１１５は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0033】

（機械学習）
機械学習部１１１は、訓練データＤＢ１０３に記憶される各訓練データを用いて、機械学習モデル１０４の機械学習を実行する処理部である。図４は、機械学習モデル１０４の機械学習を説明する図である。図４に示すように、機械学習部１１１は、「画像データ」を説明変数、「バーコード位置」を目的変数とする訓練データを機械学習モデル１０４に入力し、機械学習モデル１０４の出力結果「バーコード位置」と目的変数「バーコード位置」との誤差情報を算出する。そして、機械学習部１１１は、誤差が小さくなるように、誤差逆伝播により機械学習モデル１０４のパラメータ更新を行う機械学習を実行する。

【0034】

（映像取得）
映像取得部１１２は、カメラ３０から映像データを取得する処理部である。例えば、映像取得部１１２は、セルフレジ５０に設置されるカメラ３０から映像データを随時取得し、映像データＤＢ１０５に格納する。

【0035】

（識別）
識別部１１３は、映像取得部１１により取得された映像データを、機械学習モデルなどを用いて分析することで、映像データの中から、商品の全体の領域と商品が有するコードの位置とをそれぞれ識別する処理部である。

【0036】

図５は、識別処理を説明する図である。図５に示すように、識別部１１３は、機械学習モデル１０４や画像解析で用いられるパターンマッチングなどを用いて、映像データ内の各画像データについて商品の全体の領域と商品のバーコードの位置とを識別する。そして、識別部１１３は、識別結果を記憶部１０２に格納し、不正検知部１１４に出力する。

【0037】

ここで、識別部１１３により得られる識別結果について説明する。図６は、識別結果を説明する図である。図６では、包装された板形状のチョコレートがスキャンされる画像を示している。図６に示すように、識別部１１３は、板形状のチョコレートの全体を含む領域Ｂと、板形状のチョコレートのバーコードの位置Ｂ１とを識別する。

【0038】

また、識別部１１３は、個々にコードを有する複数の商品を１つの商品として設定されるとともに、１つの商品としてのコードを有するセット商品の全体の領域と、セット商品が有するコードの位置とをそれぞれ識別する。例えば、識別部１１３は、６本セットの缶ビールセットの商品の全体領域と、缶ビールセットに付与されているバーコード位置とを識別する。

【0039】

（不正検知）
不正検知部１１４は、識別部１１３により識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ５０に商品を登録する行動の異常を検知する処理部である。具体的には、不正検知部１１４は、商品の商品名や商品の特徴が表す特徴領域（特徴位置）と、映像データから識別された商品のバーコードとの位置関係により、不正な行動を検知する。

【0040】

すなわち、不正検知部１１４は、セルフレジ５０のスキャン位置に位置する商品の所定領域が、商品のバーコードが含まれない領域である場合に、不正な行動と検知する。そして、不正検知部１１４は、不正な行動を検知した場合に、警告制御部１１５に通知する。

【0041】

図７は、位置関係による不正検知の例を説明する図である。図７に示すように、不正検知部１１４は、商品の特徴領域（特徴位置）と、映像データから識別された商品のバーコードとの位置関係により、不正なスキャン動作を検知する。例えば、図７に示すように、商品がカップラーメンの場合、上面にカップラーメンの名前、特徴的な図形、特徴的な言葉などの記載があるのが一般的であり、商品のバーコードはこのような上面に記載されていない。したがって、不正検知部１１４は、画像データを分析することで、スキャン位置にカップラーメンの側面や底面が位置する場合は、正常なスキャン動作と判定し、スキャン位置にカップラーメンの上面が位置する場合は、不正なスキャン動作と判定する。

【0042】

図７で検出される不正は、高額な商品を購入する際に、低額な商品のバーコードを代わりにスキャンさせて低額で購入を図る不正（例えばラベルスイッチ）に該当する。図８は、検出される不正の例を説明する図である。図８に示すように、高額な商品Ｃの上面がスキャン位置に位置するにも関わらず、正常に商品がスキャンされた場合（購入商品として登録された場合）、ユーザが、高額な商品Ｃの上面に低額な商品Ｄを乗せて、商品Ｃの代わりに商品Ｄのバーコードをスキャンさせたと考えられる。そこで、不正検知部１１４は、図７に示した位置関係により不正を検知するので、図８に示す不正な行動を検知できる。

【0043】

また、不正検知部１１４は、識別部１１３により、セット商品とセット商品のバーコード位置とが識別された後、セルフレジ５０に商品を登録するスキャン位置に、セット商品内のいずれかの商品のコードが位置する場合に、不正なスキャン動作と検知する。

【0044】

図９は、セット商品の不正の例を説明する図である。図９に示すように、ユーザは、セット商品Ｅに付与されたバーコードの位置ではなく、セット商品に含まれる単品の商品に付与されているバーコードをスキャンさせて、単品の低額領域でセット商品Ｅを購入したことにする不正が考えられる。そこで、不正検知部１１４は、セット商品に対しても識別部１１３によりバーコード位置が識別でき、識別されたバーコード位置とは異なる位置でスキャンされた場合に不正を検知できるので、図９に示す不正な行動を検知できる。

【0045】

例えば、セット商品は、アルコール飲料入りの缶を６本纏めて持ち運べるように、包装材によって、３本ずつ２列に並んだ状態で集合包装する。このとき、アルコール飲料入りの複数の缶の集合を包装する包装材と、包装材に包装されたアルコール飲料入りの缶とのそれぞれにバーコードが付されている。情報処理装置１００は、包装材のバーコードではなく、包装材に包装されたアルコール飲料のバーコードが会計機にスキャンされたときに、アラートを通知する。

【0046】

また、不正検知部１１４は、商品の全体領域と商品バーコード位置が識別されたにも関わらず、スキャン動作を検出することなく、セルフレジ５０に商品が登録された場合に、不正な動作と検知する。

【0047】

図１０は、不正な動作の例を説明する図である。図１０に示すように、ユーザは、商品にバーコードがあるにも関わらず、セルフレジ５０のタッチパネルで少額の商品を選択して、商品を購入したことにする不正が考えられる。そこで、不正検知部１１４は、識別された商品のバーコード位置がスキャン位置にないにも関わらず商品が登録された場合に不正を検知できるので、図１０に示す不正な行動を検知できる。

【0048】

（アラート報知）
警告制御部１１５は、不正検知部１１４により不正な行動（不正な動作）が検知された場合に、アラートを生成して、アラートの報知制御を実行する処理部である。例えば、警告制御部１１５は、人物がセルフレジ５０に登録していない商品があること、または、人物がセルフレジ５０に登録した商品が異常であることを示すアラートを生成して、セルフレジ５０や管理者端末６０に出力する。

【0049】

また、警告制御部１１６は、セルフレジ５０に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ５０に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ５０から出力する。

【0050】

図１１は、アラートの報知例を説明する図である。図１１に示すように、警告制御部１１５は、セルフレジ５０のタッチパネルなどの表示画面に、「スキャン忘れの商品がありませんか？再度、商品のスキャンをお願いします。」などのメッセージを表示させる。

【0051】

また、警告制御部１１５は、セルフレジ５０に設置されている警告灯を点灯させたり、管理者端末６０に該当セルフレジ５０の識別子と不正発生の可能性があるメッセージとを表示させたり、店内にいる店員の端末に該当セルフレジ５０の識別子と不正発生と確認の必要性を示すメッセージとを送信させたりする。

【0052】

また、警告制御部１１５は、セルフレジ５０に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ５０が有するカメラ３０にて人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。このようにすることで、不正な行動を行う不正な人物の情報を収集することができるので、店舗の入り口で不正な行動を行ったことがある来店者を検知するなど、不正行動を未然に防ぐための各種施策に役立てることができる。また、警告制御部１１５は、不正な人物の画像データを用いた教師あり学習により、機械学習モデルを生成することで、セルフレジ５０を使用する人物の画像データから不正な人物の検出や店舗の入り口での不正な人物の検出などを行うことができる。また、警告制御部１１５は、不正な行動を行った人物のクレジットカードの情報をセルフレジ５０から取得して保持することもできる。

【0053】

＜処理の流れ＞
図１２は、処理の流れを示すフローチャートである。図１２に示すように、情報処理装置１００は、映像データを随時取得する（Ｓ１０１）。

【0054】

続いて、情報処理装置１００は、不正検知の処理開始が指示されると（Ｓ１０２：Ｙｅｓ）、映像データ内のフレームを取得する（Ｓ１０３）。ここで、情報処理装置１００は、映像データが存在しない場合は、処理を終了する。一方、情報処理装置１００は、映像データが存在する場合は、機械学習モデル１０４やパターンマッチングにより、商品の全体とバーコードの位置を識別する（Ｓ１０４）。

【0055】

ここで、情報処理装置１００は、商品の全体におけるバーコードの位置により、異常な行動が検知されない場合（Ｓ１０５：Ｎｏ）、Ｓ１０３以降を繰り返す。一方、情報処理装置１００は、異常な行動が検知された場合（Ｓ１０５：Ｙｅｓ）、不正を検知し（Ｓ１０６）、アラート報知を実行し（Ｓ１０７）、処理を終了する。

【0056】

＜効果＞
上述したように、情報処理装置１００は、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別し、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置１００は、セルフレジ５０における不正を検出することができる。

【0057】

また、情報処理装置１００は、個々にコードを有する複数の商品を１つの商品として設定されるとともに１つの商品としてのコードを有するセット商品の全体の領域と、セット商品が有するバーコードの位置とをそれぞれ識別する。そして、情報処理装置１００は、セルフレジ５０に商品を登録する位置に、セット商品内のいずれかの商品のコードが位置する場合に、アラートを生成する。したがって、情報処理装置１００は、セット商品を単品の値段で購入する不正を検知することができる。

【0058】

また、情報処理装置１００は、商品毎にコードの位置が学習された機械学習モデルに対して、映像データを入力することで、映像データ内の商品が有するバーコードの位置を推定する。そして、情報処理装置１００は、推定された商品が有するバーコードの位置と、セルフレジ５０に商品を登録する位置に位置する商品のコードの位置とが一致しない場合に、アラートを生成する。したがって、情報処理装置１００は、高額商品と低額商品を重ねて把持し、低額商品をスキャンさせて高額商品を購入したふりをする不正を検知することができる。

【0059】

また、情報処理装置１００は、人物がセルフレジ５０に登録していない商品があること、または、人物がセルフレジ５０に登録した商品が異常であることを示すアラートを生成する。したがって、店員等は、情報処理装置１００を用いることで、不正な行動を起こした人物が店外に出るまでに事情を聞くなどの対応を行うことができる。

【0060】

また、情報処理装置１００は、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成された場合に、セルフレジ５０に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ５０から出力する。したがって、情報処理装置１００は、不可抗力のミスであっても故意の不正であっても、スキャン中の人物に直接注意を促すことができるので、ミスや故意の不正を削減することができる。

【0061】

また、情報処理装置１００は、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成されたときに、セルフレジ５０の有するカメラにて、人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。したがって、情報処理装置１００は、不正な行動を行う不正な人物の情報を収集して保持することができるので、来店者を撮像するカメラの撮像データから不正な人物の来店を検出することで、不正行動を未然に防ぐための各種施策に役立てることができる。また、情報処理装置１００は、不正な行動を行った人物のクレジットカードの情報をセルフレジ５０から取得して保持することもできるので、不正な行動が確定した場合、クレジットカード会社を介して料金を請求することができる。

【実施例0062】

ところで、情報処理装置１００は、映像データを分析して２次元画像や商品の３次元モデルを生成し、商品のバーコード位置の識別制度を向上させることで、異常行動の検出精度を向上させることができる。

【0063】

＜機能構成＞
図１３は、実施例２にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図１３に示すように、通信部１０１、記憶部１０２、制御部１１０を有する。ここでは、実施例１と異なる機能であるパターンＤＢ１０６と生成モデル１０７と、これらに関連する処理部について説明する。

【0064】

パターンＤＢ１０６は、商品が有するバーコードの位置を示すパターンを記憶するデータベースである。図１４は、パターンＤＢ１０６に記憶される情報の例を示す図である。図１４に示すように、パターンＤＢ１０６は、「商品の面、パターン、バーコードの位置」を対応付けて記憶する。

【0065】

ここで記憶される「パターン」は、パターンを識別する識別子である。「商品の面」は、商品のラベルが記載されている面を示す情報である。「バーコードの位置」は、商品が有するバーコードの位置を示す情報である。図１４の例では、パターン１は、商品のラベルが「上面」と「側面」に位置するときに、「ラベルとは反対の位置」にバーコードがあるパターンである。パターン２は、商品のラベルが「上面」に位置するときに、商品の側面にバーコードがあるパターンである。なお、各パターンは、商品ごとに設定することもでき、商品の種別ごとに設定することもできる。

【0066】

生成モデル１０７は、映像データの入力に応じて、映像データに写っている商品の３次元モデルを生成する機械学習モデルである。例えば、生成モデル１０７は、映像データ内の各画像データ（各フレーム）に対して、商品の３次元モデルを生成して出力する。

【0067】

機械学習部１１１は、各訓練データを用いて、生成モデル１０７の機械学習を実行する処理部である。図１５は、生成モデル１０７の機械学習を説明する図である。図１５に示すように、機械学習部１１１は、「画像データ」を説明変数、「３次元モデル」を目的変数（正解情報）とする訓練データを生成モデル１０７に入力し、機械学習モデル１０４の出力結果「３次元モデル」と目的変数「３次元モデル」との誤差情報を算出する。そして、機械学習部１１１は、誤差が小さくなるように、誤差逆伝播により生成モデル１０７のパラメータ更新を行う機械学習を実行する。

【0068】

識別部１１３は、映像データを分析することで、２次元画像における商品の面のおけるパターンを認識し、パターンに対するコードの位置を特定する。例えば、識別部１１３は、映像データ内の画像データから商品の２次元画像を取得し、２次元画像に対してパターンマッチング等を実行して、商品のラベルの位置と商品のバーコード位置を識別する。

【0069】

不正検知部１１４は、識別部１１３の識別結果を用いて不正な行動を検知する。具体的には、不正検知部１１４は、識別部１１３から「商品のラベルの位置と商品のバーコード位置」を取得し、パターンＤＢ１０６に記憶されているパターンに該当するか否かにより、不正な行動を検知する。

【0070】

具体例を挙げると、不正検知部１１４は、識別部１１３から「商品のラベル位置＝上面」と「商品のバーコード位置＝上面」を取得したとする。この場合、不正検知部１１４は、パターンＤＢ１０６を参照して、「商品のラベル位置＝上面」に対応する「パターン１」を特定し、パターン１に対応する「ラベルとは反対の位置」を特定する。そして、不正検知部１１４は、商品から識別されたバーコード位置「上面」と、パターン１の「ラベルとは反対の位置」とが異なることから、不正な行動と判定する。

【0071】

また、不正検知部１１４は、映像データを機械学習モデルに入力することで、商品の３次元モデルを生成し、３次元モデルでのバーコードの位置が、予め設定された位置と異なるときに不正な行動を検知することもできる。

【0072】

図１６は、不正検知を説明する図である。図１６に示すように、不正検知部１１４は、画像データを生成モデル１０７に入力して、画像データ内の商品の３Ｄモデルを生成する。そして、不正検知部１１４は、実施例１で説明した相対位置や上述したパターンとの比較により、不正検知を実行する。

【0073】

＜効果＞
上述したように、情報処理装置１００は、映像データを分析することで、２次元画像における商品の面パターンを認識し、パターンに対するコードの位置を特定する。そして、情報処理装置１００は、特定されたパターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置１００は、過去に発生していない不正や想定されていない新たな不正が発生した場合でも、位置関係などに基づくパターンを根拠に、不正を検知することができる。

【0074】

また、情報処理装置１００は、映像データを生成モデル１０７に入力することで、商品の３次元モデルを生成する。そして、情報処理装置１００は、生成された３次元モデルでのコードの位置が、予め設定された位置と異なるときには、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置１００は、相対位置やパターン比較の精度を向上させることができるので、不正な行動の検出精度も向上させることができる。また、３Ｄモデルにより視覚的にバーコード位置を特定できるので、店員が、映像データを閲覧しつつ、スキャン位置にバーコード位置があるかを視覚的に判断することができる。