特開 2024-82168 情報処理プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082168

(43)【公開日】2024-06-19

(54)【発明の名称】情報処理プログラムおよび情報処理装置

(51)【国際特許分類】

   G07G 1/00 20060101AFI20240612BHJP

   G07G 1/12 20060101ALI20240612BHJP

【ＦＩ】

G07G1/00 331C

G07G1/12 301E

G07G1/12 331A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022195933

(22)【出願日】2022-12-07

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石田 諒

(72)【発明者】

【氏名】内田 大輔

(72)【発明者】

【氏名】青木 康洋

【テーマコード（参考）】

3E142

【Ｆターム（参考）】

3E142AA01

3E142AA03

3E142CA12

3E142CA13

3E142EA04

3E142FA41

3E142GA41

3E142JA01

3E142KA01

3E142KA20

(57)【要約】

【課題】会計機における、ユーザの誤り検出または不正検出のための機械学習モデルを生成することを課題とする。
【解決手段】情報処理装置は、会計機が有する秤部に配置された商品の映像データを取得する。情報処理装置は、取得した映像データを第一の機械学習モデルに入力することで、商品の外観に関する属性を特定する。情報処理装置は、秤部に配置された商品の重さを測定した会計機から、商品の重さに関する情報を取得する。情報処理装置は、特定した商品の属性を訓練データとし、取得した商品の重さに関する情報を正解データとして、第二の機械学習モデルの機械学習を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータに、
会計機が有する秤部に配置された商品の映像データを取得し、
取得した前記映像データを第一の機械学習モデルに入力することで、前記商品の外観に関する属性を特定し、
前記秤部に配置された商品の重さを測定した前記会計機から、前記商品の重さに関する情報を取得し、
特定した前記商品の属性を訓練データとし、取得した前記商品の重さに関する情報を正解データとして、第二の機械学習モデルの機械学習を実行する、
処理を実行させることを特徴とする情報処理プログラム。

【請求項2】

前記商品の外観に関する属性は、前記商品の色、前記商品の大きさ、または、前記商品の形状のいずれかである、ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記機械学習を実行する処理は、
特定された前記商品の画像データと前記商品の属性とのそれぞれを訓練データとし、前記商品の重さに関する情報とを正解データとして、前記第二の機械学習モデルの機械学習を実行する、ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記機械学習を実行する処理は、
前記会計機の表示画面に表示された商品に関する項目の中から、ユーザが選択をした商品情報を、前記会計機から取得し、
取得された前記商品情報と、前記商品の属性とのそれぞれを訓練データとし、前記商品の重さに関する情報とを正解データとして、前記第二の機械学習モデルの機械学習を実行する、ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

前記会計機は、セルフレジ端末であることを特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

会計機が有する秤部に配置された商品の映像データを取得し、
取得した前記映像データを第一の機械学習モデルに入力することで、前記商品の外観に関する属性を特定し、
前記秤部に配置された商品の重さを測定した前記会計機から、前記商品の重さに関する情報を取得し、
特定した前記商品の属性を訓練データとし、取得した前記商品の重さに関する情報を正解データとして、第二の機械学習モデルの機械学習を実行する、
制御部を有することを特徴とする情報処理装置。

【請求項7】

コンピュータに、
商品の映像データを訓練データ、前記商品の外観に関する属性を正解情報として訓練された第一の機械学習モデルに、会計機を操作する人物が行動の対象とする商品を含む領域を撮像した映像データを入力することで、前記商品の外観に関する属性を取得し、
商品の属性を訓練データ、前記商品の重さに関する情報を正解データとして訓練された第二の機械学習モデルに、前記第一の機械学習モデルを用いて取得された前記映像データに写る前記商品の外観に関する属性を入力することで、前記映像データに写る前記商品の重さに関する情報を推定する、
処理を実行させることを特徴とする情報処理プログラム。

【請求項8】

前記第二の機械学習モデルを用いて推定された前記映像データに写る前記商品の重さに関する情報に基づき、前記会計機を操作する人物の異常な行動を検知する、
処理を実行させることを特徴とする請求項７に記載の情報処理プログラム。

【請求項9】

商品の映像データを訓練データ、前記商品の外観に関する属性を正解情報として訓練された第一の機械学習モデルに、会計機を操作する人物が行動の対象とする商品を含む領域を撮像した映像データを入力することで、前記商品の外観に関する属性を取得し、
商品の属性を訓練データ、前記商品の重さに関する情報を正解データとして訓練された第二の機械学習モデルに、前記第一の機械学習モデルを用いて取得された前記映像データに写る前記商品の外観に関する属性を入力することで、前記映像データに写る前記商品の重さに関する情報を推定する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラムおよび情報処理装置に関する。

【背景技術】

【0002】

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費を抑制することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－５３０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、不正を検出することが難しい。例えば、セルフレジなどの会計機では、ユーザによる不可抗力の誤りや故意の不正などがあり、未払い金などが発生する。

【0005】

不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れなどがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しや、バーコードがない商品の価格をレジ画面で選択する買い方の場合に、実際の商品とは異なる別の安い商品を選択したり、実際よりは少ない個数を入力したりすることで、故意に支払い金額を下げる不正（例えばバナナトリックなどと呼ばれる）などがある。

【0006】

一つの側面では、会計機における、ユーザの誤り検出または不正検出のための機械学習モデルを生成することができる情報処理プログラムおよび情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の案では、情報処理プログラムは、コンピュータに、会計機が有する秤部に配置された商品の映像データを取得し、取得した前記映像データを第一の機械学習モデルに入力することで、前記商品の外観に関する属性を特定し、前記秤部に配置された商品の重さを測定した前記会計機から、前記商品の重さに関する情報を取得し、特定した前記商品の属性を訓練データとし、取得した前記商品の重さに関する情報を正解データとして、第二の機械学習モデルの機械学習を実行する、処理を実行させることを特徴とする。

【発明の効果】

【0008】

一実施形態によれば、会計機における、ユーザの誤り検出または不正検出のための機械学習モデルを生成することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１にかかるレジシステムの全体構成例を示す図である。

【図2】図２は、実施例１にかかる情報処理装置の処理を説明する図である。

【図3】図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図4】図４は、第一の機械学習モデルの訓練に用いる訓練データを説明する図である。

【図5】図５は、第一の機械学習モデルの訓練を説明する図である。

【図6】図６は、取得データを説明する図である。

【図7】図７は、第二の機械学習モデルの訓練に用いる訓練データの生成例を説明する図である。

【図8】図８は、第二の機械学習モデルの訓練に用いる訓練データの生成の別例を説明する図である。

【図9】図９は、第二の機械学習モデルの訓練を説明する図である。

【図10】図１０は、処理の流れを示すフローチャートである。

【図11】図１１は、実施例２にかかるセルフレジシステムの全体構成例を示す図である。

【図12】図１２は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図13】図１３は、実施例２にかかる不正検知処理を説明する図である。

【図14】図１４は、ハードウェア構成例を説明する図である。

【図15】図１５は、セルフレジのハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示する情報処理プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0011】

＜システムの全体構成＞
図１は、実施例１にかかるレジシステムの全体構成例を示す図である。図１に示すように、このシステムは、カメラ３０と会計機４０と情報処理装置１００とが有線や無線などのネットワークを介して接続される。

【0012】

カメラ３０は、会計機４０を含む領域の映像を撮影するカメラの一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」または単に「映像」と表記する場合がある。

【0013】

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像の画像データである。以下の説明では、画像データを単に「画像」と表記する場合がある。

【0014】

会計機４０は、商品のバーコード等を読み込んで商品の金額を特定し、購入商品の合計金額の算出から精算までを行うＰＯＳレジシステムや会計機の一例である。例えば、会計機４０は、店員が商品のスキャンを行うレジや、商品を購入するユーザ２が商品のバーコードの読み取りから精算までを行うセルフレジなどである。例えば、セルフレジの場合、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンして、購入対象の商品として登録する。

【0015】

また、会計機４０は、秤部を有し、商品の重さを特定することができる。例えば、会計機４０は、商品が置かれた秤部により商品の重さを特定し、当該重さによって商品の金額を特定することもできる。秤部は、秤皿の上に置かれた商品の重量分だけ重くなったことを検知する。会計機４０は、検知された重量変化に基づいて、商品の重さを特定する。計量対象の商品は、品物の重量や数量により価格が異なる商品である。計量対象の商品は、例えば、野菜、果物、鮮魚、精肉などの生鮮食品や総菜などである。

【0016】

情報処理装置１００は、有線や無線を問わず様々な通信網を採用できるネットワーク３を介して、カメラ３０および会計機４０に接続されるコンピュータの一例である。この情報処理装置１００は、カメラ３０および会計機４０から取得した各種データを用いて、商品の属性の入力に応じて商品の重さを推定する第二の機械学習モデルを訓練する。

【0017】

具体的には、情報処理装置１００は、会計機４０が有する秤部に配置された商品の映像データを取得する。情報処理装置１００は、映像データを第一の機械学習モデルに入力することで、商品の外観に関する属性を特定する。情報処理装置１００は、秤部に配置された商品の重さを測定した会計機４０から、商品の重さに関する情報を取得する。情報処理装置１００は、特定した商品の属性を入力データとし、取得した商品の重さに関する情報を正解データとして、第二の機械学習モデルの機械学習を実行する。

【0018】

図２を用いて具体的に説明する。図２は、実施例１にかかる情報処理装置１００の処理を説明する図である。図２に示すように、会計機４０は、秤部４０ａ、タッチパネル４０ｂ、カードリーダ４０ｃ、現金支払機４０ｄを有する。秤部４０ａは、商品の重さを測る秤である。タッチパネル４０ｂは、商品に関する各種情報を表示し、ユーザの操作により商品の数の選択や金額の選択を受け付ける。また、タッチパネル４０ｂは、秤部４０ａにより測定された商品の重さ、商品の金額、精算対象の合計金額などを表示する。カードリーダ４０ｃは、クレジットカードによる支払いを行うためにクレジットカードの情報を読み込む。現金支払機４０ｄは、現金による支払いを行うために現金を受け付ける。

【0019】

このような構成において、情報処理装置１００は、カメラ３０が撮像した秤部４０ａに配置された商品の映像データから、画像解析等により、秤部４０ａに置かれた商品の属性を特定する。一方、情報処理装置１００は、会計機４０から、秤部４０ａに置かれた商品の重さ情報を取得する。そして、情報処理装置１００は、商品の属性と重さ情報との対応関係により、商品の属性から重さ情報を推定する第二の機械学習モデルを生成する。

【0020】

このように訓練された第二の機械学習モデルを用いることで、情報処理装置１００は、商品の画像データから商品の重さを推定することができる。したがって、情報処理装置１００は、購入対象の商品の重さを推定することができるので、重さを用いて不正な行動を検出することができる。

【0021】

＜機能構成＞
図３は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。

【0022】

通信部１０１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１０１は、カメラ３０から映像データを受信し、会計機４０から商品の重さ情報を管理者端末６０に受信する。

【0023】

記憶部１０２は、各種データや制御部１１０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１０２は、訓練データＤＢ１０３、第一の機械学習モデル１０４、第二の機械学習モデル１０５、映像データＤＢ１０６を記憶する。

【0024】

訓練データＤＢ１０３は、第一の機械学習モデル１０４の機械学習に用いる訓練データを記憶するデータベースである。図４は、第一の機械学習モデル１０４の訓練に用いる訓練データを説明する図である。図４に示すように、訓練データは、「説明変数」と「目的変数」とを有する。「説明変数」は、商品が写っている画像データであり、「目的変数」は、商品の属性である。商品の属性は、例えば商品の色、商品の大きさ、商品の形などであり、商品の外見的特徴などを採用することができる。

【0025】

第一の機械学習モデル１０４は、画像データに写っている商品の属性を推定するように訓練された機械学習モデルの一例である。例えば、第一の機械学習モデル１０４は、商品が写っている映像データの入力に応じて、商品の属性を推定して出力する。なお、第一の機械学習モデル１０４は、すでに訓練済みであってもよく、制御部１１０により訓練されたものでもよい。

【0026】

第二の機械学習モデル１０５は、商品の重さを推定するように訓練された機械学習モデルの一例である。例えば、第二の機械学習モデル１０５は、商品の属性の入力に応じて、当該商品の重さを推定して出力する。

【0027】

映像データＤＢ１０６は、会計機４０に設置されるカメラ３０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１０６は、会計機４０ごと、または、カメラ３０ごとに、映像データを記憶する。

【0028】

図３に戻り、制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、第１学習部１１１、映像取得部１１２、第２学習部１１３を有する。なお、第１学習部１１１、映像取得部１１２、第２学習部１１３は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0029】

第１学習部１１１は、訓練データＤＢ１０３に記憶される訓練データを用いて、第一の機械学習モデル１０４の訓練を実行する処理部である。図５は、第一の機械学習モデル１０４の訓練を説明する図である。図５に示すように、第１学習部１１１は、「画像データ」を説明変数、「商品の属性」を目的変数とする訓練データを第一の機械学習モデル１０４に入力し、第一の機械学習モデル１０４の出力結果「商品の属性」を取得する。そして、第１学習部１１１は、第一の機械学習モデル１０４の出力結果「商品の属性」と目的変数「商品の属性」との誤差情報を算出する。その後、第１学習部１１１は、誤差逆伝播により、誤差が小さくなるように第一の機械学習モデル１０４のパラメータ更新を行う機械学習を実行する。

【0030】

映像取得部１１２は、カメラ３０から映像データを取得する処理部である。例えば、映像取得部１１２は、会計機４０に設置されるカメラ３０から映像データを随時取得し、映像データＤＢ１０６に格納する。

【0031】

第２学習部１１３は、取得部１１３ａ、訓練データ生成部１１３ｂ、機械学習部１１３ｃを有し、映像データから訓練データを生成して第二の機械学習モデル１０５の訓練を実行する処理部である。

【0032】

取得部１１３ａは、会計機４０が有する秤部４０ａに配置された商品の映像データ、および、秤部４０ａに配置された商品の重さを測定した会計機４０から商品の重さに関する情報を取得する処理部である。具体的には、取得部１１３ａは、映像取得部１１２による取得された映像データから、秤部４０ａに配置された商品の画像データを取得する。

【0033】

図６は、取得データを説明する図である。図６に示すように、取得部１１３ａは、カメラ３０が撮像した画像データであって、ビールの６本パック商品（セット商品）４５が会計機４０の秤部４０ａに置かれた状態が写っている画像データを取得する。また、取得部１１３ａは、会計機４０の秤部４０ａが測定したビールの６本パック商品４５の重さである「２．０ｋｇ」を、会計機４０から取得する。

【0034】

そして、取得部１１３ａは、ビールの６本パック商品４５の画像データと重さ情報（２．０ｋｇ）を対応付けて記憶部１０２に格納し、訓練データ生成部１１３ｂに出力する。このようにして、取得部１１３ａは、秤部４０ａに商品が置かれるたびに、商品の画像データと商品の重さ情報を取得する。

【0035】

訓練データ生成部１１３ｂは、取得部１１３ａにより取得されたデータを用いて訓練データを生成する処理部である。図７は、第二の機械学習モデル１０５の訓練に用いる訓練データの生成例を説明する図である。図７に示すように、訓練データ生成部１１３ｂは、ビールの６本パック商品４５の画像データを訓練済みである第一の機械学習モデル１０４に入力して、第一の機械学習モデル１０４が推定した商品の属性「ビール、６本パック、長さ２０ｃｍ」を取得する。

【0036】

そして、訓練データ生成部１１３ｂは、第一の機械学習モデル１０４が推定した商品の属性「ビール、６本パック、長さ２０ｃｍ」を説明変数、取得部１１３ａにより取得された重さ情報「２．０ｋｇ」を目的変数とする訓練データを生成する。このようにして、訓練データ生成部１１３ｂは、取得部１１３ａにより取得された各商品のデータを用いて複数の訓練データを生成し、訓練データＤＢ１０３に格納する。

【0037】

また、訓練データ生成部１１３ｂは、取得部１１３ａにより取得可能な他の情報、および、会計機４０から取得可能な他の情報を説明変数とすることもできる。図８は、第二の機械学習モデル１０５の訓練に用いる訓練データの生成の別例を説明する図である。図８に示すように、訓練データ生成部１１３ｂは、取得部１１３ａにより取得されたビールの６本パック商品４５の画像データを説明変数として追加することができる。

【0038】

また、訓練データ生成部１１３ｂは、会計機４０のタッチパネル４０ｂを介して受け付けたユーザの操作であって、表示される商品情報からユーザが購入対象として選択した商品の名称、商品の数、商品の金額等を取得して、説明変数として追加することができる。このように、訓練データの説明変数を増やすことで、重さ情報の推定精度を向上させることができる。

【0039】

機械学習部１１３ｃは、訓練データ生成部１１３ｂにより生成された訓練データを用いて、第二の機械学習モデル１０５の機械学習を実行する処理部である。すなわち、機械学習部１１３ｃは、商品の属性などから商品の重さを推定する第二の機械学習モデル１０５を生成する。

【0040】

図９は、第二の機械学習モデル１０５の訓練を説明する図である。図９に示すように、機械学習部１１３ｃは、「商品の属性」を説明変数、「重さ情報」を目的変数とする訓練データを第二の機械学習モデル１０５に入力し、第二の機械学習モデル１０５の出力結果「重さ情報」を取得する。そして、機械学習部１１３ｃは、第二の機械学習モデル１０５の出力結果「重さ情報」と目的変数「重さ情報」との誤差情報を算出する。その後、機械学習部１１３ｃは、誤差逆伝播により、誤差が小さくなるように第二の機械学習モデル１０５のパラメータ更新を行う機械学習を実行する。

【0041】

＜処理の流れ＞
図１０は、処理の流れを示すフローチャートである。図１０に示すように、情報処理装置１００は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、秤部４０ａに商品が置かれた状態を写した画像データを取得する（Ｓ１０２）。

【0042】

続いて、情報処理装置１００は、画像データを第一の機械学習モデル１０４に入力して、画像データに写っている商品の属性を取得する（Ｓ１０３）。また、情報処理装置１００は、会計機４０から、会計機４０の秤部４０ａにより測定された商品の重さ情報を取得する（Ｓ１０４）。そして、情報処理装置１００は、商品の属性と商品の重さ情報とを対応付けて記憶部１０３等に格納する（Ｓ１０５）。

【0043】

ここで、情報処理装置１００は、訓練開始が指示されない場合（Ｓ１０６：Ｎｏ）、Ｓ１０２以降を繰り返す。一方、情報処理装置１００は、訓練開始が指示された場合（Ｓ１０６：Ｙｅｓ）、商品の属性と重さ情報とを用いて訓練データを生成し（Ｓ１０７）、訓練データを用いて第二の機械学習モデル１０５の訓練を実行する（Ｓ１０８）。

【0044】

ここで、情報処理装置１００は、訓練を継続する場合（Ｓ１０９：Ｎｏ）、Ｓ１０８以降を繰り返す。一方、情報処理装置１００は、訓練を終了する場合（Ｓ１０９：Ｙｅｓ）、訓練済みの第二の機械学習モデル１０５を記憶部１０２に出力する（Ｓ１１０）。

【0045】

なお、ここでは、訓練データの生成から訓練の実行までの一連の流れを説明したが、訓練データの生成処理と訓練処理とは、別々のフローで実行することもできる。

【0046】

＜効果＞
上述したように、情報処理装置１００は、商品の画像データから商品の重さを推定することができるので、高額な商品の代わりに低額な商品のスキャンを行って高額な商品を購入したことにする不正を含む会計機４０における不正を検出することができる。

【0047】

情報処理装置１００は、商品の色、商品の大きさ、商品の形状、商品の画像データ、ユーザが選択をした商品情報（商品の名称、数、金額など）を、説明変数とした訓練により第二の機械学習モデル１０５を生成することができる。したがって、情報処理装置１００は、第二の機械学習モデル１０５の精度を向上させることができる。また、情報処理装置１００は、店舗の状況等に応じて説明変数を選択することもできるので、コストと効果を考慮して第二の機械学習モデル１０５を生成することができる。

【実施例0048】

次に、実施例１で生成した第二の機械学習モデル１０５を用いた不正検知について説明する。ここでは、実施例１で説明した情報処理装置１００が不正検知を行う例で説明するが、機械学習を行う装置と不正検知を行う装置とが別々の装置で実現されてもよい。

【0049】

図１１は、実施例２にかかるセルフレジシステムの全体構成例を示す図である。図１１に示すように、セルフレジシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。

【0050】

情報処理装置１００は、カメラ３０およびセルフレジ５０に接続されるコンピュータの一例である。情報処理装置１００は、有線や無線を問わず様々な通信網を採用できるネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。

【0051】

カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラの一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。

【0052】

セルフレジ５０は、商品を購入するユーザ２が商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムや会計機の一例であり、実施例１の会計機４０と同様の構成を有する。例えば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンして、購入対象の商品として登録する。また、ユーザ２が、購入対象の商品をセルフレジ５０の秤部に乗せることで、商品の重さに対応する金額を登録する。

【0053】

なお、セルフレジ５０は、上述したように、お客様自身が購入商品の登録（レジ作業）および支払いを行うセルフレジの一例であり、例えばSelf checkout、automated checkout、self－checkout machineやself－check－out registerなどと呼ばれる。バーコードとは、縞模様状の線の太さによって数値や文字を表す識別子の一種であり、セルフレジ５０がスキャンする（読み込む）ことで、商品の金額や種別（例えば食品）などを特定することができる。バーコードは、コードの一例であり、バーコード以外にも、同じ機能を有するＱＲ（Quick Response）コードなどの２次元コードを用いることもできる。

【0054】

ユーザ２は、上記商品登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、セルフレジデータ（商品情報）として、情報処理装置１００に送信する。

【0055】

管理者端末６０は、店舗の管理者が利用する端末装置の一例である。管理者端末６０は、情報処理装置１００から、商品の購入に関して不正が行われたことを示すアラートの通知等を受け付ける。

【0056】

このような構成において、情報処理装置１００は、上記第一の機械学習モデル１０４を用いて、セルフレジ５０を操作する人物が行動の対象とする商品の外観に関する属性を取得する。情報処理装置１００は、上記第二の機械学習モデル１０５を用いて、商品の外観に関する属性から商品の重さに関する情報を取得する。そして、情報処理装置１００は、映像データに写る商品の重さに関する情報に基づき、セルフレジ５０を操作する人物の行動を検知する。このようにして、情報処理装置１００は、会計機における不正を検出することができる。

【0057】

図１２は、実施例２にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図１２に示すように、情報処理装置１００は、実施例１と同様、通信部１０１、記憶部１０２、制御部１１０を有する。

【0058】

通信部１０１は、実施例１と同様、カメラ３０から映像データを受信し、制御部１１０による処理結果を管理者端末６０に送信する。記憶部１０２は、実施例１と同様、訓練データＤＢ１０３、第一の機械学習モデル１０４、第二の機械学習モデル１０５、映像データＤＢ１０６を記憶する。なお、第一の機械学習モデル１０４、第二の機械学習モデル１０５は、実施例１による手法ですでに訓練済みである。

【0059】

制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、第１学習部１１１、映像取得部１１２、第２学習部１１３、不正検知部１１４を有する。なお、第１学習部１１１、映像取得部１１２、第２学習部１１３、不正検知部１１４は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0060】

ここでは、実施例１と異なる点である不正検知部１１４について説明する。不正検知部１１４は、訓練済みの機械学習モデルを用いた画像解析により、セルフレジ５０を使用するユーザ２の不正な行動を検知する処理部である。

【0061】

具体的には、不正検知部１１４は、映像取得部１１２から、セルフレジ５０を操作する人物が行動の対象とする商品を含む領域を撮像した映像データを取得する。不正検知部１１４は、取得した映像データを第一の機械学習モデル１０４に入力することで、商品の外観に関する属性を取得する。不正検知部１１４は、商品の属性を第二の機械学習モデル１０５に入力することで、映像データに写る商品の重さ情報を推定する。不正検知部１１４は、第二の機械学習モデル１０５を用いて取得された商品の重さに関する情報に基づき、セルフレジ５０を使用するユーザ２の不正な行動を検知する。

【0062】

図１３は、実施例２にかかる不正検知処理を説明する図である。図１３に示すように、不正検知部１１４は、商品「２つのシャインマスカット」の画像データ７０を取得し、第一の機械学習モデル１０４に入力して、商品の属性「２つのシャインマスカット」を取得する。続いて、不正検知部１１４は、商品の属性「２つのシャインマスカット」を第二の機械学習モデル１０５に入力して、商品の重さ情報「７５０ｇ」を推定する。

【0063】

一方で、不正検知部１１４は、商品「２つのシャインマスカット」を把持するユーザ２がセルフレジ５０に登録した商品情報「シャインマスカット１つ」や、画像データ７０と同じタイミングでセルフレジ５０により測定された重さ情報「３２０ｇ」をセルフレジ５０から取得する。

【0064】

ここで、不正検知部１１４は、画像データ７０から特定された重み情報と、セルフレジ５０から取得された情報とを比較してユーザ２の不正な行動を検知する。

【0065】

上記例で説明すると、不正検知部１１４は、画像データ７０から特定された重さ情報「７５０ｇ」と、セルフレジ５０により測定された重さ情報「３２０ｇ」とが異なる（例えば重さの差分が閾値以上）ことから、ユーザ２の不正な行動が発生したと判定する。つまり、不正検知部１１４は、ユーザ２が、把持する商品をスキャンせずに別の商品で目的の商品を購入したこととする不正を行ったと検知することができる。

【0066】

また、不正検知部１１４は、予め用意した商品の重み一覧等を参照して、ユーザ２がセルフレジ５０に登録した商品情報「シャインマスカット１つ」の重さ情報として「２８０ｇ」を特定する。そして、不正検知部１１４は、画像データ７０から特定された重さ情報「７５０ｇ」と、ユーザ２がセルフレジ５０に登録した商品情報「シャインマスカット１つ」の重さ情報「２８０ｇ」とが異なる（例えば重さの差分が閾値以上）ことから、ユーザ２の不正な行動が発生したと判定する。つまり、不正検知部１１４は、ユーザ２が１つのシャインマスカットのみをスキャンして２つのシャインマスカットを買ったことにする不正を行ったと検知することができる。