特開 2024-91180 データ生成プログラム、データ生成方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024091180

(43)【公開日】2024-07-04

(54)【発明の名称】データ生成プログラム、データ生成方法および情報処理装置

(51)【国際特許分類】

   G06Q 30/0202 20230101AFI20240627BHJP

   G06Q 50/10 20120101ALI20240627BHJP

   G06F 16/532 20190101ALI20240627BHJP

   G06T 7/00 20170101ALI20240627BHJP

   G07G 1/00 20060101ALI20240627BHJP

【ＦＩ】

G06Q30/0202 318

G06Q50/10

G06F16/532

G06T7/00 300Z

G07G1/00 331B

G07G1/00 311D

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022207688

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大日方 裕也

(72)【発明者】

【氏名】青木 康洋

(72)【発明者】

【氏名】山本 琢麿

(72)【発明者】

【氏名】内田 大輔

【テーマコード（参考）】

3E142

5B175

5L030

5L049

5L050

5L096

【Ｆターム（参考）】

3E142AA01

3E142BA01

3E142DA08

3E142EA04

3E142FA25

3E142GA35

3E142GA41

5B175DA02

5B175GB05

5L030BB04

5L049BB04

5L049CC24

5L050CC24

5L096AA06

5L096CA02

5L096DA02

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】ゼロショット画像分類器により参照されるデータ数の削減を実現することを課題とする。
【解決手段】情報処理装置は、商品データを取得し、取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成し、生成された参照元データを、ゼロショット画像分類器が参照するデータとして設定する。
【選択図】図９

【特許請求の範囲】

【請求項1】

商品データを取得し、
取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成し、
生成された参照元データを、ゼロショット画像分類器が参照するデータとして設定する、
処理をコンピュータに実行させることを特徴とするデータ生成プログラム。

【請求項2】

前記生成する処理は、階層構造のテンプレートに含まれる第一の階層の要素の配下に商品の価格に関する属性を有する第二の階層を付加し、前記第二の階層の要素の配下に店舗で販売される商品の項目のうち前記第二の階層の要素に類似する商品の項目を割り当てることで、前記参照元データを生成する処理を含む、
ことを特徴とする請求項１に記載のデータ生成プログラム。

【請求項3】

前記生成する処理は、前記第一の階層の要素のうち前記第一の階層の要素に属する商品の価格の分散が閾値以下である要素を前記階層構造の終端に決定し、前記第二の階層の要素のうち前記第二の階層の要素に属する商品の価格の分散が閾値以下である要素を前記階層構造の終端に決定する処理を含む、
ことを特徴とする請求項２に記載のデータ生成プログラム。

【請求項4】

前記設定する処理は、前記ゼロショット画像分類器が有するテキストエンコーダへ入力するクラスキャプションに設定する処理を含む、
ことを特徴とする請求項１に記載のデータ生成プログラム。

【請求項5】

前記ゼロショット画像分類器は、
複数の階層毎に物体の属性が対応付けられた参照元データを参照する前記ゼロショット画像分類器に対して、取得した映像を入力することで、第一の階層の物体の属性の中から、前記映像に含まれる物体の属性を絞り込み、
絞り込んだ物体の属性を用いて、前記第一の階層の配下の第二の階層の物体の属性を識別し、
取得した映像を、前記ゼロショット画像分類器に入力することで、前記第二の階層の物体の属性の中から、前記映像に含まれる物体の属性を特定する、
ことを特徴とする請求項１に記載のデータ生成プログラム。

【請求項6】

商品データを取得し、
取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成し、
生成された参照元データを、ゼロショット画像分類器が参照するデータとして設定する、
処理をコンピュータが実行することを特徴とするデータ生成方法。

【請求項7】

商品データを取得し、
取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成し、
生成された参照元データを、ゼロショット画像分類器が参照するデータとして設定する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ生成プログラム等に関する。

【背景技術】

【0002】

画像から特定の物体を認識する画像認識技術は、広く普及している。この技術では、例えば、画像における特定の物体の領域がバウンディングボックス（Bbox）として特定される。また、物体の画像認識を機械学習を用いて行う技術も存在する。そして、このような画像認識技術は、例えば、店舗における顧客の購買動作の監視や、工場における作業者の作業管理に応用することが考えられている。

【0003】

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入する利用者自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point of sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費の抑制を実現することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２９０２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記のセルフレジでは、商品コードのスキャンや精算が利用者自身に委ねられるので、不正行為を検出することが困難である側面がある。たとえば、上記の不正行為を検出する側面から画像認識ＡＩ（Artificial Intelligence）を適用しようにも、画像認識ＡＩの訓練には大量の訓練データが必要となる。ところが、スーパーマーケットやコンビニエンスストア等の店舗では、多数の種類の商品が存在する上、個々の商品のライフサイクルも短いので、商品の入れ替えが頻繁に起こる。このような商品のライフサイクルに合わせて画像認識ＡＩをチューニングしたり、あるいは新たな画像認識ＡＩを訓練したりすることは困難である。

【0006】

１つの側面では、ゼロショット画像分類器により参照されるデータ数の削減を実現できるデータ生成プログラム、データ生成方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の案では、データ生成プログラムは、商品データを取得し、取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成し、生成された参照元データを、ゼロショット画像分類器が参照するデータとして設定する、処理をコンピュータに実行させる。

【発明の効果】

【0008】

一実施形態によれば、ゼロショット画像分類器により参照されるデータ数の削減を実現できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１にかかるセルフレジシステムの全体構成例を示す図である。

【図2】図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図3】図３は、第一の機械学習モデルの訓練データの例を説明する図である。

【図4】図４は、第一の機械学習モデルの機械学習を説明する図である。

【図5】図５は、第二の機械学習モデルの機械学習を説明する図である。

【図6】図６は、商品リストの一例を示す図である。

【図7】図７は、テンプレートの一例を示す図である。

【図8】図８は、階層構造データの生成を説明する図（１）である。

【図9】図９は、階層構造データの生成を説明する図（２）である。

【図10】図１０は、階層構造の一例を示す図である。

【図11】図１１は、手持ち商品画像の生成を説明する図（１）である。

【図12】図１２は、手持ち商品画像の生成を説明する図（２）である。

【図13】図１３は、セルフレジの表示例を示す図（１）である。

【図14】図１４は、セルフレジの表示例を示す図（２）である。

【図15】図１５は、手持ち商品画像の生成を説明する図（３）である。

【図16】図１６は、手持ち商品画像の生成を説明する図（４）である。

【図17】図１７は、商品アイテムを特定する事例１を示す模式図（１）である。

【図18】図１８は、商品アイテムを特定する事例１を示す模式図（２）である。

【図19】図１９は、商品アイテムを特定する事例１を示す模式図（３）である。

【図20】図２０は、商品アイテムを特定する事例２を示す模式図（１）である。

【図21】図２１は、商品アイテムを特定する事例２を示す模式図（２）である。

【図22】図２２は、アラートの表示例を示す図（１）である。

【図23】図２３は、アラートの表示例を示す図（２）である。

【図24】図２４は、アラートの表示例を示す図（３）である。

【図25】図２５は、アラートの表示例を示す図（４）である。

【図26】図２６は、実施例１にかかるデータ生成処理の流れを示すフローチャートである。

【図27】図２７は、実施例１にかかる映像取得処理の流れを示すフローチャートである。

【図28】図２８は、実施例１にかかる第一の検出処理の流れを示すフローチャートである。

【図29】図２９は、実施例１にかかる第二の検出処理の流れを示すフローチャートである。

【図30】図３０は、実施例１にかかる特定処理の流れを示すフローチャートである。

【図31】図３１は、階層構造の応用例１を示す図である。

【図32】図３２は、商品アイテムを特定する事例３を示す模式図（１）である。

【図33】図３３は、商品アイテムを特定する事例３を示す模式図（２）である。

【図34】図３４は、商品アイテムを特定する事例３を示す模式図（３）である。

【図35】図３５は、アラートの表示例を示す図（５）である。

【図36】図３６は、アラートの表示例を示す図（６）である。

【図37】図３７は、応用例１にかかる第一の検出処理の流れを示すフローチャートである。

【図38】図３８は、階層構造の応用例２を示す図である。

【図39】図３９は、セルフレジの表示例を示す図（３）である。

【図40】図４０は、商品アイテムを特定する事例４を示す模式図（１）である。

【図41】図４１は、商品アイテムを特定する事例４を示す模式図（２）である。

【図42】図４２は、商品アイテムを特定する事例４を示す模式図（３）である。

【図43】図４３は、アラートの表示例を示す図（７）である。

【図44】図４４は、アラートの表示例を示す図（８）である。

【図45】図４５は、応用例２にかかる第二の検出処理の流れを示すフローチャートである。

【図46】図４６は、階層構造の応用例３を示す図である。

【図47】図４７は、階層構造の応用例４を示す図である。

【図48】図４８は、情報処理装置のハードウェア構成例を説明する図である。

【図49】図４９は、セルフレジのハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示するデータ生成プログラム、データ生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0011】

＜全体構成＞
図１は、実施例１にかかるセルフレジシステム５の全体構成例を示す図である。図１に示すように、セルフレジシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。

【0012】

情報処理装置１００は、カメラ３０およびセルフレジ５０に接続されるコンピュータの一例である。情報処理装置１００は、ネットワーク３を介して、管理者端末６０に接続される。ネットワーク３は、有線や無線を問わず様々な通信網であってよい。なお、カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。

【0013】

カメラ３０は、セルフレジ５０を含む領域の映像を撮影する撮像装置の一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」と表記する場合がある。

【0014】

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像の画像データである。

【0015】

セルフレジ５０は、商品を購入するユーザ２自身が購入商品のレジ登録および精算（支払い）を行う会計機の一例であり、“Self checkout”、“automated checkout”、“self-checkout machine”や“self-check-out register”などと呼ばれる。例えば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品に印刷または貼付されたコードをスキャンして、購入対象の商品を登録する。以下、セルフレジ５０に商品が登録されることを指して「レジ登録」と記載する場合がある。なお、ここで言う「コード」は、ＪＡＮ（Japanese Article Number）やＵＰＣ（Universal Product Code）、ＥＡＮ（European Article Number）などの規格に対応するバーコードであってもよいし、その他の２次元コードなどあってもよい。

【0016】

ユーザ２は、上記のレジ登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に登録しておき、セルフレジデータ（商品情報）として、情報処理装置１００に送信する。

【0017】

管理者端末６０は、店舗の管理者が利用する端末装置の一例である。例えば、管理者端末６０は、店舗の管理者により携帯される携帯端末装置であってもよい。また、管理者端末６０は、デスクトップ型またはラップトップ型のパーソナルコンピュータであってもよい。この場合、管理者端末６０は、店舗内、例えばバックヤードなどに配置されてもよいし、あるいは店舗外のオフィスなどに配置されてもよい。１つの側面として、管理者端末６０は、情報処理装置１００から、各種の通知を受け付ける。なお、ここでは、店舗の管理者が利用する端末装置を例に挙げたが、店舗の関係者全般が利用する端末装置であってもよい。

【0018】

このような構成において、情報処理装置１００は、商品データを取得し、取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成する。その上で、情報処理装置１００は、生成された参照元データを、ゼロショット画像分類器が参照する参照データとして設定する。

【0019】

この結果、情報処理装置１００は、セルフレジ５０における不正行為の検出に用いるゼロショット画像分類器により参照されるデータ数の削減を実現できる。

【0020】

＜２．機能構成＞
図２は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図２に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。

【0021】

＜２－１．通信部＞
通信部１０１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１０１は、カメラ３０から映像データを受信し、制御部１１０による処理結果を管理者端末６０に送信する。

【0022】

＜２－２．記憶部＞
記憶部１０２は、各種データや制御部１１０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１０２は、訓練データＤＢ１０３、機械学習モデル１０４、階層構造ＤＢ１０５、映像データＤＢ１０６、セルフレジデータＤＢ１０７を記憶する。

【0023】

＜２－２－１．訓練データＤＢ＞
訓練データＤＢ１０３は、第一の機械学習モデル１０４Ａの訓練に使用されるデータを記憶するデータベースである。例えば、図３を用いて、第一の機械学習モデル１０４ＡにＨＯＩＤ（Human Object Interaction Detection）が採用されている例で説明する。図３は、第一の機械学習モデル１０４Ａの訓練データの例を説明する図である。図３に示すように、各訓練データは、入力データとなる画像データと、当該画像データに対して設定された正解情報とを有する。

【0024】

正解情報には、検出対象であるヒトとモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box：物体の領域情報）とが設定される。例えば、正解情報として、商品等の物体であってレジ袋以外の物体を示すSomethingクラスの領域情報、商品を購入するユーザを示すヒトのクラスの領域情報、Somethingクラスとヒトのクラスとの相互作用を示す関係性（把持クラス）とが設定される。すなわち、正解情報として、人が把持している物体に関する情報が設定される。

【0025】

また、正解情報として、レジ袋を示すレジ袋のクラスの領域情報と、レジ袋を使用するユーザを示すヒトのクラスの領域情報と、レジ袋のクラスとヒトのクラスとの相互作用を示す関係性（把持クラス）とが設定される。すなわち、正解情報として、人が把持しているレジ袋に関する情報が設定される。

【0026】

一般的に、通常の物体識別（物体認識）でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが識別されるだけで何も分からない。ＨＯＩＤの場合は、ヒトが持っているモノという特殊な関係性（座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスク（例えばセルフレジの不正検出タスク）に利用することができる。物体をSomethingで検出した上で、レジ袋などをBag（レジ袋）という固有のクラスとして識別する。このレジ袋は、セルフレジの不正検出タスクでは価値のある情報だが、他のタスクでは重要な情報ではないので、商品はカゴ（買い物かご）から取り出され袋に収納されるというセルフレジの不正検出タスクの固有の知見に基づいて利用することに価値があり、有用な効果が得られる。

【0027】

＜２－２－２．機械学習モデル＞
図２に戻り、機械学習モデル１０４は、セルフレジ５０の不正検出タスクに用いる機械学習モデルを指す。このような機械学習モデル１０４の例として、ユーザ２が把持する物体、例えば商品を特定する側面から用いる第一の機械学習モデル１０４Ａと、商品の項目を特定する側面から用いる第二の機械学習モデル１０４Ｂとが含まれ得る。

【0028】

第一の機械学習モデル１０４Ａは、あくまで一例として、上記のＨＯＩＤにより実現されてよい。この場合、第一の機械学習モデル１０４Ａは、入力された画像データから、ヒト、商品、ヒトと商品の関係性を識別して識別結果を出力する。例えば、「ヒトのクラスと領域情報、商品（モノ）のクラスと領域情報、ヒトと商品の相互作用」が出力される。なお、ここでは、第一の機械学習モデル１０４ＡがＨＯＩＤにより実現される例を挙げるが、各種ニューラルネットワークなどを用いた機械学習モデルにより実現されてもよい。

【0029】

第二の機械学習モデル１０４Ｂは、あくまで一例として、ゼロショット画像分類器により実現されてよい。この場合、第二の機械学習モデル１０４Ｂは、テキストのリストおよび画像を入力とし、テキストのリストのうち画像に対する類似度が最高であるテキストを当該画像のラベルとして出力する。

【0030】

ここで、上記のゼロショット画像分類器の例として、ＣＬＩＰ（Contrastive Language-Image Pre-training）が挙げられる。ＣＬＩＰとは、画像およびテキストの複数種類、いわゆるマルチモーダルの特徴量空間への埋め込みを実現する。すなわち、ＣＬＩＰでは、画像エンコーダおよびテキストエンコーダを訓練することにより、意味が近い画像およびテキストのペア間でベクトルの距離が近くなる埋め込みが実現される。例えば、画像エンコーダは、ＶｉＴ（Vision Transformer）により実現されてもよいし、畳み込み系のニューラルネットワーク、例えばResNetなどにより実現されてもよい。また、テキストエンコーダは、ＧＰＴ（Generative Pre-trained Transformer）ベースのTransformerにより実現されてもよいし、回帰型のニューラルネットワーク、例えばＬＳＴＭ（Long short-term memory）により実現されてもよい。

【0031】

＜２－２－３．階層構造ＤＢ＞
階層構造ＤＢ１０５は、複数の階層ごとに商品の属性がリスト化された階層構造を記憶するデータベースである。この階層構造ＤＢ１０５は、後述のデータ生成部１１２により生成されるデータであり、第二の機械学習モデル１０４Ｂの一例として用いられるゼロショット画像分類器が参照する参照データの一例に対応する。例えば、ゼロショット画像分類器のテキストエンコーダには、階層構造ＤＢ１０５に含まれる階層のうち上位の階層、すなわち浅い階層から順に、同一の階層に属する商品の属性に対応するテキストがリスト化されたリストが参照される。

【0032】

＜２－２－４．映像データＤＢ＞
映像データＤＢ１０６は、セルフレジ５０に設置されるカメラ３０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１０６は、セルフレジ５０ごと、または、カメラ３０ごとに、カメラ３０から取得される画像データ、当該画像データがＨＯＩＤへ入力されたＨＯＩＤの出力結果などをフレーム単位で記憶する。

【0033】

＜２－２－５．セルフレジデータＤＢ＞
セルフレジデータＤＢ１０７は、セルフレジ５０から取得した各種データを記憶するデータベースである。例えば、セルフレジデータＤＢ１０７は、セルフレジ５０ごとに、購入対象としてレジ登録された商品の項目名や購入数、購入対象の全商品の金額の合計である請求金額などを記憶する。

【0034】

＜２－３．制御部＞
制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、機械学習部１１１、データ生成部１１２、映像取得部１１３、セルフレジデータ取得部１１４、不正検出部１１５、アラート生成部１１８を有する。なお、機械学習部１１１、データ生成部１１２、映像取得部１１３、セルフレジデータ取得部１１４、不正検出部１１５、アラート生成部１１８は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0035】

＜２－３－１．機械学習部＞
機械学習部１１１は、機械学習モデル１０４の機械学習を実行する処理部である。１つの側面として、機械学習部１１１は、訓練データＤＢ１０３に記憶される各訓練データを用いて、第一の機械学習モデル１０４Ａの機械学習を実行する。図４は、第一の機械学習モデル１０４Ａの機械学習を説明する図である。図４では、第一の機械学習モデル１０４ＡにＨＯＩＤを用いた例を図示している。図４に示すように、機械学習部１１１は、訓練データの入力データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。この出力結果には、ＨＯＩＤが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、機械学習部１１１は、訓練データの正解情報と、ＨＯＩＤの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤの機械学習を実行する。これにより、訓練済みの第一の機械学習モデル１０４Ａが生成される。このように生成された訓練済みの第一の機械学習モデル１０４Ａが記憶部１０２に記憶される。

【0036】

他の側面として、機械学習部１１１は、第二の機械学習モデル１０４Ｂの機械学習を実行する。ここでは、情報処理装置１００の機械学習部１１１により第二の機械学習モデル１０４Ｂが訓練される例を挙げるが、訓練済みの第二の機械学習モデル１０４Ｂはインターネットなどで公開されているので、必ずしも機械学習部１１１による機械学習は実行されずともよい。また、機械学習部１１１は、訓練済みの第二の機械学習モデル１０４Ｂがセルフレジシステム５の運用に適用された後、制度不足の場合にfine-tuneを実行することができる。

【0037】

図５は、第二の機械学習モデル１０４Ｂの機械学習を説明する図である。図５には、第二の機械学習モデル１０４Ｂの例として、ＣＬＩＰモデル１０が示されている。図５に示すように、ＣＬＩＰモデル１０の訓練には、画像およびテキストのペアが訓練データとして用いられる。このような訓練データには、インターネット上のＷｅｂページから画像および画像のキャプションとして記述されたテキストのペアが抽出されたデータセット、いわゆるＷＩＴ（WebImageText）を用いることができる。例えば、犬が撮影された写真、あるいは犬のイラストが描画された絵などの画像と、そのキャプションとして記述されたテキスト「犬の写真」とのペアが訓練データとされる。このようにＷＩＴを訓練データに用いることで、ラベル付けの作業を不要化すると共に大量の訓練データを獲得できる。

【0038】

これら画像およびテキストのペアのうち、画像が画像エンコーダ１０Ｉへ入力されると共に、テキストがテキストエンコーダ１０Ｔへ入力される。このように画像が入力された画像エンコーダ１０Ｉは、当該画像を特徴量空間に埋め込むベクトルを出力する。一方、テキストが入力されたテキストエンコーダ１０Ｔは、当該テキストを特徴量空間に埋め込むベクトルを出力する。

【0039】

例えば、図５には、画像１およびテキスト１のペア、画像２およびテキスト２のペア、・・・、画像ＮおよびテキストＮのＮ個のペアの訓練データを含むバッチサイズＮのミニバッチが例示されている。この場合、Ｎ個のペアの画像およびテキストの各々を画像エンコーダ１０Ｉおよびテキストエンコーダ１０Ｔへ入力することにより、Ｎ×Ｎ個の埋め込みベクトルの類似度行列Ｍ１を得ることができる。なお、ここで言う「類似度」は、あくまで一例として、埋め込みベクトル間の内積やコサイン類似度であってよい。

【0040】

ここで、ＣＬＩＰモデル１０の訓練には、Ｗｅｂのテキストのキャプションの形式が様々であることからラベルが不定となるので、Contrastive objectiveと呼ばれる目的関数が用いられる。

【0041】

Contrastive objectiveでは、ミニバッチのｉ番目の画像であればｉ番目のテキストが正しいペアに対応するので、ｉ番目のテキストを正例とする一方で、それ以外の全てのテキストが負例とされる。つまり、訓練データごとに１つの正例およびＮ－１個の負例が設定されるので、ミニバッチ全体ではＮ個の正例およびＮ^２－Ｎ個の負例が生成されることになる。例えば、類似度行列Ｍ１の例で言えば、白黒の反転表示がなされたＮ個の対角成分の要素を正例とし、白地の表示がなされたＮ^２－Ｎ個の要素が負例とされる。

【0042】

このような類似度行列Ｍ１の下、正例に対応するＮ個のペアの類似度を最大化すると共に、負例に対応するＮ^２－Ｎ個のペアの類似度を最小化する画像エンコーダ１０Ｉおよびテキストエンコーダ１０Ｔのパラメータが訓練される。

【0043】

例えば、１番目の画像１の例で言えば、１番目のテキストを正例とし、２番目以降のテキストを負例とし、類似度行列Ｍの行方向に損失、例えばクロスエントロピー誤差を算出する。このような損失の計算をＮ個の画像ごとに実行することで、画像に関する損失が求まる。一方、２番目のテキスト２の例で言えば、２番目の画像を正例とし、２番目以外の全ての画像を負例とし、類似度行列Ｍの列方向に損失を算出する。このような損失の計算をＮ個のテキストごとに実行することで、テキストに関する損失が求まる。これら画像に関する損失およびテキストに関する損失の統計値、例えば平均を最小化するパラメータの更新が画像エンコーダ１０Ｉおよびテキストエンコーダ１０Ｔに実行される。

【0044】

このようなContrastive objectiveを最小化する画像エンコーダ１０Ｉおよびテキストエンコーダ１０Ｔの訓練により、訓練済みのＣＬＩＰモデル１０が生成される。

【0045】

＜２－３－２．データ生成部＞
図２の説明に戻り、データ生成部１１２は、第二の機械学習モデル１０４Ｂが参照する参照データを生成する処理部である。あくまで一例として、データ生成部１１２は、第二の機械学習モデル１０４Ｂの一例であるゼロショット画像分類器に入力されるテキスト、いわゆるクラスキャプションのリストを生成する。

【0046】

より詳細には、データ生成部１１２は、スーパーマーケットやコンビニエンスストア等の店舗の商品リストを取得する。このような商品リストの取得は、あくまで一例として、店舗の商品がデータベース化された商品マスタに登録された商品の一覧を取得することにより実現することができる。これにより、あくまで一例として、図６に示す商品リストが取得される。図６は、商品リストの一例を示す図である。図６には、店舗で販売される商品全体のうち果物「ぶどう」に関する商品アイテムの例として、「シャインマスカット」、「高級巨峰」、「安いぶどうＡ」、「安いぶどうＢ」および「訳ありぶどうＡ」が抜粋して示されている。

【0047】

さらに、データ生成部１１２は、あくまで一例として、図７に示す階層構造のテンプレートを取得する。この階層構造のテンプレートの取得については、店舗で販売する商品のカテゴリ、例えば「果物」や「魚」、「肉」などを第一の階層の要素として設定することにより生成できる。図７は、テンプレートの一例を示す図である。図７に示すように、テンプレートは、ｒｏｏｔを最上位とする階層構造を有する。さらに、ｒｏｏｔからの深さが「１」である第一の階層には、「果物」、「魚」、「肉」、・・・、「乳製品」などのカテゴリが要素（ノード）として含まれる。なお、図７では、説明を簡素化する側面から、商品のカテゴリを第一の階層とするテンプレートを例示したが、商品の大分類、例えば果物や魚などの分類を第一の階層とし、商品の小分類、例えばぶどうやりんごなどの分類を第二の階層とすることとしてもよい。

【0048】

続いて、データ生成部１１２は、階層構造のテンプレートの最下層、例えばこの時点では第一の階層の要素ごとにシステム定義またはユーザ定義により指定された属性、例えば「価格」に関する属性などを付加する。以下、「価格」に関する属性のことを指して「価格属性」と記載する場合がある。なお、以下では、属性のあくまで一例として、価格属性を例に挙げるが、詳細は後述するが、他の属性、例えば「色」や「形」、「在庫数」などが付加されてもよい点をあらかじめ付言しておく。

【0049】

図８は、階層構造データの生成を説明する図（１）である。図８には、図７に示すテンプレートに対応する部分の要素が白地で示されると共に、各要素に付加された属性の部分がハッチングで示されている。図８に示すように、第一の階層の各要素には、「価格」に関する属性が付加される。例えば、第一の階層の要素「果物」の例で言えば、第一の階層の要素「果物」には、第二の階層の要素「高価格ぶどう」および第二の階層の要素「低価格ぶどう」が付加されている。ここで、図８には、あくまで一例として、１つの要素につき２つの価格属性を付加する例を挙げるが、これに限定されず、１つの要素につき２つ未満、あるいは３つ以上の価格属性を付加することとしてもよい。例えば、第一の階層の要素「果物」には、第二の階層の要素「高価格ぶどう」、第二の階層の要素「中価格ぶどう」および第二の階層の要素「低価格ぶどう」の３つの価格属性を付加することとしてもよい。この他、第一の階層の要素に応じて付与される価格属性の数を変更することもできる。この場合、第一の階層の要素に属する商品アイテムの数、あるいは価格の分散が大きくなるに連れて価格属性の数を大きくすることができる。

【0050】

そして、データ生成部１１２は、生成中の階層構造の最下層の要素、すなわち現時点では第二の階層に属する価格属性の要素ｋごとに当該要素ｋに対する類似度が閾値ｔｈ１以上である商品アイテムを抽出する。

【0051】

図９は、階層構造データの生成を説明する図（２）である。図９には、商品のカテゴリ「果物」に関する例が抜粋して示されている。例えば、図９に示す第二の階層の要素「高価格ぶどう」に関する商品アイテムの抽出例を挙げる。この場合、第二の階層の要素「高価格ぶどう」に対応するテキスト「高価格ぶどう」をＣＬＩＰモデル１０のテキストエンコーダ１０Ｔへ入力することにより、第二の階層の要素「高価格ぶどう」の埋め込みベクトルが得られる。一方、図７に示す商品リストに含まれる商品アイテムごとに当該商品アイテムに対するテキストをＣＬＩＰモデル１０のテキストエンコーダ１０Ｔへ入力することにより、各商品アイテムの埋め込みベクトルが得られる。そして、第二の階層の要素「高価格ぶどう」の埋め込みベクトルと、各商品アイテムの埋め込みベクトルとの類似度が算出される。この結果、第二の階層の要素「高価格ぶどう」には、第二の階層の要素「高価格ぶどう」の埋め込みベクトルに対する類似度が閾値ｔｈ１以上である商品アイテム「シャインマスカット」および「高級巨峰」が抽出される。これと同様にして、第二の階層の要素「低価格ぶどう」には、第二の階層の要素「低価格ぶどう」の埋め込みベクトルに対する類似度が閾値ｔｈ１以上である商品アイテム「安いぶどうＡ」、「安いぶどうＢ」および「訳ありぶどうＡ」が抽出される。なお、ここでは、テキスト間の埋め込みベクトルのマッチングにより商品アイテムを抽出する例を挙げたが、一方または両方を画像の埋め込みベクトルとすることもできる。

【0052】

その後、データ生成部１１２は、生成中の階層構造の全Ｍ階層のうち第一の階層から最下層であるＭ階層を除くＭ－１階層までｍ階層の要素ｎごとに当該要素ｎに属する商品アイテムの価格の分散Ｖを算出する。その上で、データ生成部１１２は、価格の分散Ｖが閾値ｔｈ２以下であるか否かを判定する。このとき、価格の分散Ｖが閾値ｔｈ２以下である場合、データ生成部１１２は、要素ｎよりも下位の階層の探索の打ち切りを決定する。一方、価格の分散Ｖが閾値ｔｈ２以下でない場合、データ生成部１１２は、階層のループカウンタｍを１つインクリメントし、１つ下位の階層の各要素について価格の分散の算出および分散の閾値判定を反復する。

【0053】

あくまで一例として、図９に示す第一の階層をｍ層とし、第一の階層の要素「果物」を要素ｎとする場合を例に挙げる。この場合、第一の階層の要素「果物」には、図９に破線の枠で示す通り、シャインマスカット（４５００円）、高級巨峰（３９００円）、安いぶどうＡ（３５０円）、安いぶどうＢ（３８０円）及び訳ありぶどうＡ（３５０円）などの５つの商品アイテムが含まれる。このとき、価格の分散Ｖ_１１は閾値ｔｈ２以下とならないので（図中の判定１）、下層の探索が継続される。すなわち、階層のループカウンタｍを１つインクリメントし、第二の階層がｍ層とされる。

【0054】

次に、図９に示す第二の階層をｍ層とし、第二の階層の要素「高価格ぶどう」を要素ｎとする場合を例に挙げる。この場合、第二の階層の要素「高価格ぶどう」には、図９に一点鎖線の枠で示す通り、シャインマスカット（４５００円）および高級巨峰（３９００円）などの２つの商品アイテムが含まれる。このとき、価格の分散Ｖ_２１は閾値ｔｈ２以下とはならないが（図中の判定２）、第二の階層の要素「高価格ぶどう」は最下層である第三の階層の１つ下位の階層の要素であるので、探索が終了される。

【0055】

さらに、図９に示す第二の階層をｍ層とし、第二の階層の要素「低価格ぶどう」を要素ｎとする場合を例に挙げる。この場合、第二の階層の要素「低価格ぶどう」には、図９に二点鎖線の枠で示す通り、安いぶどうＡ（３５０円）、安いぶどうＢ（３８０円）および訳ありぶどうＡ（３５０円）などの３つの商品アイテムが含まれる。このとき、価格の分散Ｖ_２２は閾値ｔｈ２以下となるので（図中の判定３）、下層の探索の打ち切りが決定される。

【0056】

その後、データ生成部１１２は、第一の階層の要素ごとに開始される探索の打ち切りが決定されるか、あるいは探索が第Ｍ－１階層の全ての要素が探索されるまで探索を反復する。その上で、データ生成部１１２は、上記の探索時で得られた価格の分散の判定結果に基づいて階層構造の各ルート（route）の深さを決定する。

【0057】

あくまで一例として、データ生成部１１２は、全Ｍ階層の階層構造の最上位の要素から最下層の要素までのルートに商品アイテムの価格の分散が閾値ｔｈ２以下である要素が存在する場合、当該要素を終端ノードに設定する。一方、データ生成部１１２は、最上位の要素から最下層の要素までのルートに商品アイテムの価格の分散が閾値ｔｈ２以下である要素が存在しない場合、商品アイテムに対応する要素を終端ノードに設定する。

【0058】

例えば、図９に示す例において、第一の階層の要素「果物」と、第二の階層の要素「高価格ぶどう」と、第三の階層の要素「シャインマスカット」または第三の階層の要素「高級巨峰」とを結ぶルートを例に挙げる。このルートでは、第一の階層の要素「果物」における価格の分散Ｖ_１１および第二の階層の要素「高価格ぶどう」における価格の分散Ｖ_２１のいずれにおいても閾値ｔｈ２以下と判定されない。よって、本ルートでは、第三の階層の要素「シャインマスカット」および第三の階層の要素「高級巨峰」が終端ノードに設定される。

【0059】

次に、図９に示す例において、第一の階層の要素「果物」と、第二の階層の要素「低価格ぶどう」と、第三の階層の要素「安いぶどうＡ」、第三の階層の要素「安いぶどうＢ」または第三の階層の要素「訳ありぶどうＡ」とを結ぶルートを例に挙げる。このルートでは、第一の階層の要素「果物」における価格の分散Ｖ_１１は閾値ｔｈ２以下と判定されないが、第二の階層の要素「低価格ぶどう」における価格の分散Ｖ_２２が閾値ｔｈ２以下と判定される。よって、本ルートでは、第二の階層の要素「低価格ぶどう」が終端ノードに設定される。

【0060】

このように図９に示すＭ階層の階層構造の各ルートの深さが決定されることにより、図１０に示す階層構造が確定される。このように生成された階層構造が記憶部１０２の階層構造ＤＢ１０５に保存される。

【0061】

図１０は、階層構造の一例を示す図である。図１０には、商品アイテムの価格の分散が閾値ｔｈ２以下である終端ノード以降の要素が破線で示されている。図１０に示すように、階層構造には、第一の階層の要素「果物」と、第二の階層の要素「高価格ぶどう」と、第三の階層の要素「シャインマスカット」または第三の階層の要素「高級巨峰」とを結ぶルートが含まれる。さらに、階層構造には、第一の階層の要素「果物」と、第二の階層の要素「低価格ぶどう」とを結ぶルートが含まれる。

【0062】

このような階層構造に従ってクラスキャプションのリストが第二の機械学習モデル１０４Ｂの一例であるゼロショット画像分類器に入力される。例えば、第一の階層のクラスキャプションのリストとして、テキスト「果物」およびテキスト「魚」などのリストがＣＬＩＰモデル１０のテキストエンコーダ１０Ｔへ入力される。このとき、画像エンコーダ１０Ｉへの入力画像に対応するクラスのラベルとして「果物」がＣＬＩＰモデルにより出力されたとする。この場合、第二の階層のクラスキャプションのリストとして、テキスト「高価格ぶどう」およびテキスト「低価格ぶどう」のリストがＣＬＩＰモデル１０のテキストエンコーダ１０Ｔへ入力される。

【0063】

このように、階層構造の上位の階層から順に同一の階層に属する商品の属性に対応するテキストがリスト化されたリストをＣＬＩＰモデル１０のクラスキャプションとして入力する。これにより、ＣＬＩＰモデル１０に階層単位で商品アイテムの候補の絞り込みを実行させることができる。このため、店舗の全ての商品アイテムに対応するテキストのリストをＣＬＩＰモデル１０のクラスキャプションとして入力する場合に比べてタスク実現の処理コストを削減できる。

【0064】

さらに、ＣＬＩＰモデル１０に参照させる階層構造では、商品アイテムの価格の分散が閾値ｔｈ２以下である要素よりも下位の要素が省略されるので、不正行為の発生時の被害額の差が少ない商品アイテム同士をクラスタリングできる。これにより、更なるタスク実現の処理コストの削減を実現できる。

【0065】

また、スーパーマーケットやコンビニエンスストア等の店舗では、多数の種類の商品が存在する上、個々の商品のライフサイクルも短いので、商品の入れ替えが頻繁に起こる。

【0066】

ＣＬＩＰモデル１０に参照させる階層構造データは、入れ替え対象の多数の種類の商品の候補のうち、現時点にて、店内に配置される複数の商品候補である。つまり、店内に配置される商品を入れ替えることに応じて、ＣＬＩＰモデル１０の階層構造の一部を更新すればよい。入れ替え対象の多数の種類の商品の候補のうち、現時点にて、店内に配置される複数の商品候補を容易に管理することができる。

【0067】

＜２－３－３．映像取得部＞
図２の説明に戻り、映像取得部１１３は、カメラ３０から映像データを取得する処理部である。例えば、映像取得部１１３は、セルフレジ５０に設置されるカメラ３０から映像データを任意の周期、例えばフレーム単位で取得する。そして、映像取得部１１３は、新規のフレームの画像データが取得された場合、当該画像データを第一の機械学習モデル１０４Ａ、例えばＨＯＩＤモデルへ入力してＨＯＩＤの出力結果を取得する。その上で、映像取得部１１３は、フレームごとに当該フレームの画像データおよび当該フレームのＨＯＩＤの出力結果を対応付けて映像データＤＢ１０６に格納する。

【0068】

＜２－３－４．セルフレジデータ取得部＞
セルフレジデータ取得部１１４は、セルフレジ５０でレジ登録が行われた商品の情報をセルフレジデータとして取得する処理部である。ここで言う「レジ登録」には、商品に印刷または貼付された商品コードがスキャンされることにより実現される他、ユーザ２により商品コードが手動入力されることにより実現され得る。後者のように商品コードをユーザ２に手動入力させる運用が実施されるのは、全ての商品にコードのラベルを印刷または貼付できるとは限らないからである。このようにセルフレジ５０におけるレジ登録に応答して取得されたセルフレジデータは、セルフレジデータＤＢ１０７に格納される。

【0069】

＜２－３－５．不正検出部＞
不正検出部１１５は、セルフレジ５０周辺を撮像した映像データに基づき、各種の不正行為を検出する処理部である。図２に示すように、不正検出部１１５は、第一の検出部１１６および第二の検出部１１７を有する。

【0070】

＜２－３－５－１．第一の検出部＞
第一の検出部１１６は、高価格商品のラベルを低価格商品のラベルに張り替えてスキャンする不正行為、いわゆるラベルスイッチを検出する処理部である。

【0071】

１つの側面として、第一の検出部１１６は、セルフレジ５０におけるスキャンを経由して新規の商品コードが取得された場合、処理を起動する。この場合、第一の検出部１１６は、映像データＤＢ１０６に記憶されたフレームのうち、商品コードがスキャンされた時刻に対応するフレームを検索する。そして、第一の検出部１１６は、検索がヒットするフレームに対応するＨＯＩＤの出力結果に基づいてユーザ２が把持する商品の画像を生成する。以下、ユーザ２が把持する商品の画像のことを指して「手持ち商品画像」と記載する場合がある。

【0072】

図１１は、手持ち商品画像の生成を説明する図（１）である。図１１には、カメラ３０から取得されるフレーム番号「１」～「６」の時系列に、ＨＯＩＤモデルへの入力データである画像データおよびＨＯＩＤの出力結果が図示されている。例えば、図１１に示す例で言えば、セルフレジ５０でレジ登録された商品コードがスキャンされた時刻を基準とし、当該時刻から最短であり、モノのＢｂｏｘおよびスキャン位置の重複度が閾値以上であり、かつ相互作用が把持クラスであるフレームが検索される。この結果、検索にヒットするフレーム番号「４」のＨＯＩＤの出力結果を用いて、手持ち商品画像が生成される。これにより、ユーザ２がスキャン位置で商品を把持する商品の画像を特定できる。

【0073】

図１２は、手持ち商品画像の生成を説明する図（２）である。図１２には、図１１に示すフレーム番号「４」に対応する画像データと、当該画像データがＨＯＩＤモデルへ入力された場合のＨＯＩＤの出力結果とが示されている。さらに、図１２には、ヒトのＢｂｏｘが実線の枠で示されると共に、モノのＢｂｏｘが破線の枠で示されている。図１２に示すように、ＨＯＩＤの出力結果には、ヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値およびクラス名などが含まれる。これらのうちモノのＢｂｏｘを参照して、第一の検出部１１６は、フレーム番号「４」の画像データからモノのＢｂｏｘ、すなわち図１２の破線の枠に対応する部分画像を切り出すことにより、手持ち商品画像を生成する。

【0074】

このように手持ち商品画像が生成された後、第一の検出部１１６は、手持ち商品画像を第二の機械学習モデル１０４Ｂの一例であるゼロショット画像分類器に入力する。さらに、第一の検出部１１６は、階層構造ＤＢ１０５に記憶された階層構造にしたがって上位の階層から順に同一の階層に属する商品の属性に対応するテキストがリスト化されたリストをゼロショット画像分類器に入力する。これにより、ゼロショット画像分類器に入力されるテキストの階層が深くなるに連れて商品アイテムの候補が絞り込まれる。その上で、第一の検出部１１６は、スキャン経由でレジ登録された商品アイテムと、ゼロショット画像分類器により特定された商品アイテムまたはその上位の属性に含まれる商品アイテム群とが一致するか否かを判定する。このとき、両者の商品アイテムが一致しない場合、ラベルスイッチが行われたことを検出できる。なお、ゼロショット画像分類器を用いる商品アイテムの特定についての詳細は、図１７～図２１を用いて後述する。

【0075】

＜２－３－５－２．第二の検出部＞
第二の検出部１１７は、ラベルのない高価格商品をレジ登録する代わりに低価格商品をレジ登録する不正行為、いわゆるバナナトリックを検出する処理部である。このようにラベルのない商品についてのレジ登録は、ユーザ２の手動入力により行われる。

【0076】

あくまで一例として、セルフレジ５０では、図１３に示すコードなし商品の選択画面に対する操作を介して、ラベルのない商品のレジ登録を受け付ける場合がある。

【0077】

図１３は、セルフレジ５０の表示例を示す図（１）である。図１３に示すように、コードなし商品の選択画面２００には、商品のカテゴリの表示エリア２０１と、選択中のカテゴリに属する商品アイテムの表示エリア２０２とが含まれ得る。例えば、図１３に示すコードなし商品の選択画面２００には、表示エリア２０１に含まれる商品のカテゴリ「果物」、「魚」、「肉」、「乳製品」、「野菜」および「総菜」のうち商品のカテゴリ「果物」が選択中である例が示されている。この場合、表示エリア２０２には、商品のカテゴリ「果物」に属する商品アイテム「バナナ」や「シャインマスカット」、「訳ありぶどうＡ」などが表示される。この表示エリア２０２内に商品のカテゴリ「果物」に属する全ての商品アイテムが配置するスペースがない場合、スクロールバー２０３を介して表示エリア２０２の表示範囲をスクロールさせることにより、商品アイテムが配置される範囲を広げることができる。このような表示エリア２０２に表示された商品アイテムの中から選択操作を受け付けることで、ラベルのない商品のレジ登録を受け付けることができる。

【0078】

他の一例として、セルフレジ５０では、図１４に示すコードなし商品の検索画面に対する操作を介して、ラベルのない商品のレジ登録を受け付ける場合もある。

【0079】

図１４は、セルフレジ５０の表示例を示す図（２）である。図１４に示すように、コードなし商品の検索画面２１０には、商品を検索する検索エリア２１１と、検索結果の一覧が表示される表示エリア２１２とが含まれ得る。例えば、図１４に示すコードなし商品の検索画面２１０には、検索キーワードとして「ぶどう」が指定される事例が示されている。この場合、表示エリア２１２には、検索キーワード「ぶどう」の検索結果として、商品アイテム「シャインマスカット」、「訳ありぶどうＡ」などが表示される。この表示エリア２１２内に検索結果の全ての商品アイテムが配置するスペースがない場合、スクロールバー２１３を介して表示エリア２１２の表示範囲をスクロールさせることにより、商品アイテムが配置される範囲を広げることができる。このような表示エリア２１２に表示された商品アイテムの中から選択操作を受け付けることで、ラベルのない商品のレジ登録を受け付けることができる。

【0080】

これらコードなし商品の選択画面２００やコードなし商品の検索画面２１０を介してラベルのない商品の手動入力を受け付ける場合、必ずしもユーザ２が商品を把持しながらセルフレジ５０の手動入力が行われるとは限らない側面がある。

【0081】

このような側面から、第二の検出部１１７は、セルフレジ５０における手動入力を介して新規の商品コードが取得された場合、次のような処理を起動する。あくまで一例として、第二の検出部１１７は、映像データＤＢ１０６に記憶されたフレームのうち、商品コードが手動入力された時刻から遡って直近のＨＯＩＤで把持クラスが検出されたフレームを検索する。そして、第二の検出部１１７は、検索がヒットするフレームに対応するＨＯＩＤの出力結果に基づいてラベルなし商品の手持ち商品画像を生成する。

【0082】

図１５は、手持ち商品画像の生成を説明する図（３）である。図１５には、カメラ３０から取得されるフレーム番号「１」～「６」の時系列に、ＨＯＩＤモデルへの入力データである画像データおよびＨＯＩＤの出力結果が図示されている。例えば、図１５に示す例で言えば、セルフレジ５０でレジ登録される商品コードが手動入力されたフレーム番号「５」に対応する時刻を基準とし、当該時刻から遡って直近であり、モノのＢｂｏｘおよびスキャン位置の重複度が閾値以上であり、かつ相互作用が把持クラスであるフレームが検索される。この結果、検索にヒットするフレーム番号「４」のＨＯＩＤの出力結果を用いて、手持ち商品画像が生成される。これにより、ユーザ２がラベルなし商品を把持する画像を特定できる。

【0083】

図１６は、手持ち商品画像の生成を説明する図（４）である。図１６には、図１５に示すフレーム番号「４」に対応する画像データと、当該画像データがＨＯＩＤモデルへ入力された場合のＨＯＩＤの出力結果とが示されている。さらに、図１６には、ヒトのＢｂｏｘが実線の枠で示されると共に、モノのＢｂｏｘが破線の枠で示されている。図１６に示すように、ＨＯＩＤの出力結果には、ヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値およびクラス名などが含まれる。これらのうちモノのＢｂｏｘを参照して、第二の検出部１１７は、フレーム番号「４」の画像データからモノのＢｂｏｘ、すなわち図１５の破線の枠に対応する部分画像を切り出すことにより、ラベルなし商品の手持ち商品画像を生成する。

【0084】

このように手持ち商品画像が生成された後、第二の検出部１１７は、手持ち商品画像を第二の機械学習モデル１０４Ｂの一例であるゼロショット画像分類器に入力する。さらに、第二の検出部１１７は、階層構造ＤＢ１０５に記憶された階層構造にしたがって上位の階層から順に同一の階層に属する商品の属性に対応するテキストがリスト化されたリストをゼロショット画像分類器に入力する。これにより、ゼロショット画像分類器に入力されるテキストの階層が深くなるに連れて商品アイテムの候補が絞り込まれる。その上で、第二の検出部１１７は、手動入力を介してレジ登録された商品アイテムと、ゼロショット画像分類器により特定された商品アイテムまたはその上位の属性に含まれる商品アイテム群とが一致するか否かを判定する。このとき、両者の商品アイテムが一致しない場合、バナナトリックが行われたことを検出できる。

【0085】

（１）商品アイテムの特定事例１
次に、ゼロショット画像分類器を用いる商品アイテムの特定について事例を挙げて説明する。図１７～図１９は、商品アイテムを特定する事例１を示す模式図（１）～（３）である。図１７～図１９には、手持ち商品画像２０のあくまで一例として、ユーザ２により把持された商品アイテム「シャインマスカット」に対応するＢｂｏｘの部分画像が生成された例が示されている。

【0086】

図１７に示すように、ＣＬＩＰモデル１０の画像エンコーダ１０Ｉには、手持ち商品画像２０が入力される。この結果、画像エンコーダ１０Ｉは、手持ち商品画像２０の埋め込みベクトルＩ_１を出力する。

【0087】

一方、ＣＬＩＰモデル１０のテキストエンコーダ１０Ｔには、図１０に示す階層構造に従って第一の階層の要素に対応するテキスト「果物」、「魚」、「肉」および「乳製品」がクラスキャプションのリストとして入力される。

【0088】

このとき、テキスト「果物」、「魚」、「肉」及び「乳製品」をそのままテキストエンコーダ１０Ｔへ入力することもできるが、推論時のクラスキャプションの形式を訓練時のクラスキャプションの形式に側面から“Prompt Engineering”を行うことができる。例えば、“｛物体｝の写真”の｛物体｝の部分に商品の属性に対応するテキスト、例えば「果物」を挿入して、“果物の写真”として入力することもできる。

【0089】

この結果、テキストエンコーダ１０Ｔは、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３、・・・、テキスト「乳製品」の埋め込みベクトルＴ_Ｎを出力する。

【0090】

そして、手持ち商品画像２０の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３およびテキスト「乳製品」の埋め込みベクトルＴ_Ｎとの間で類似度が算出される。

【0091】

図１７に白黒の反転表示で示す通り、本例では、手持ち商品画像２０の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２０のクラスの予測結果として「果物」を出力する。

【0092】

このように得られた第一の階層の予測結果「果物」は、図１０に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図１８に示すように、図１０に示す階層構造に従って第一の階層の予測結果「果物」の下位に属する第二の階層の要素に対応するテキスト「高価格ぶどう」および「低価格ぶどう」がクラスキャプションのリストとして入力される。なお、テキストの入力時には、図１７に示す例と同様に、“Prompt Engineering”を行うことができるのは言うまでもない。

【0093】

この結果、テキストエンコーダ１０Ｔは、テキスト「高価格ぶどう」の埋め込みベクトルＴ_１およびテキスト「高価格ぶどう」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２０の埋め込みベクトルＩ_１と、テキスト「高価格ぶどう」の埋め込みベクトルＴ_１およびテキスト「低価格ぶどう」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0094】

図１８に白黒の反転表示で示す通り、本例では、手持ち商品画像２０の埋め込みベクトルＩ_１と、テキスト「高価格ぶどう」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２０のクラスの予測結果として「高価格ぶどう」を出力する。

【0095】

このように得られた第二の階層の予測結果「高価格ぶどう」は、図１０に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図１９に示すように、図１０に示す階層構造に従って第二の階層の予測結果「高価格ぶどう」の下位に属する第三の階層の要素に対応するテキスト「シャインマスカット」および「高級巨峰」がクラスキャプションのリストとして入力される。

【0096】

この結果、テキストエンコーダ１０Ｔは、テキスト「シャインマスカット」の埋め込みベクトルＴ_１およびテキスト「高級巨峰」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２０の埋め込みベクトルＩ_１と、テキスト「シャインマスカット」の埋め込みベクトルＴ_１およびテキスト「高級巨峰」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0097】

図１９に白黒の反転表示で示す通り、本例では、手持ち商品画像２０の埋め込みベクトルＩ_１と、テキスト「シャインマスカット」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２０のクラスの予測結果として「シャインマスカット」を出力する。

【0098】

以上のように、事例１では、第一の階層の要素に対応する商品の属性のリストをクラスキャプションとしてテキストエンコーダ１０Ｔへ入力することで、商品候補が「果物」に絞り込まれる。そして、第二の階層の要素のうち第一の階層の予測結果の要素「果物」の下位に属する商品の属性のリストをクラスキャプションとしてテキストエンコーダ１０Ｔへ入力することで、商品候補が「高価格ぶどう」に絞り込まれる。さらに、第三の階層の要素のうち第二の階層の予測結果「高価格ぶどう」の要素の下位に属する商品の属性のリストをクラスキャプションとしてテキストエンコーダ１０Ｔへ入力することで、商品候補が「シャインマスカット」に絞り込まれる。このような絞り込みにより、店舗の全ての商品アイテムに対応するテキストをテキストエンコーダ１０Ｔへ入力する場合に比べてタスク実現の処理コストを削減しつつ、手持ち商品画像２０に含まれる商品アイテムは「シャインマスカット」であると特定できる。

【0099】

あくまで一例として、手動入力を介してレジ登録された商品アイテムが「訳ありぶどうＡ」である場合、ゼロショット画像分類器により特定された商品アイテム「シャインマスカット」と一致しない。この場合、バナナトリックが行われていることが検出できる。

【0100】

（２）商品アイテムの特定事例２
図２０および図２１は、商品アイテムを特定する事例２を示す模式図（１）および（２）である。図２０および図２１には、手持ち商品画像２１の他の一例として、ユーザ２により把持された商品アイテム「訳ありぶどうＡ」に対応するＢｂｏｘの部分画像が生成された例が示されている。

【0101】

図２０に示すように、ＣＬＩＰモデル１０の画像エンコーダ１０Ｉには、手持ち商品画像２１が入力される。この結果、画像エンコーダ１０Ｉは、手持ち商品画像２１の埋め込みベクトルＩ_１を出力する。

【0102】

一方、ＣＬＩＰモデル１０のテキストエンコーダ１０Ｔには、図１０に示す階層構造に従って第一の階層の要素に対応するテキスト「果物」、「魚」、「肉」および「乳製品」がクラスキャプションのリストとして入力される。なお、テキストの入力時には、図１７に示す例と同様に、“Prompt Engineering”を行うことができるのは言うまでもない。

【0103】

この結果、テキストエンコーダ１０Ｔは、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３、・・・、テキスト「乳製品」の埋め込みベクトルＴ_Ｎを出力する。

【0104】

そして、手持ち商品画像２１の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３およびテキスト「乳製品」の埋め込みベクトルＴ_Ｎとの間で類似度が算出される。

【0105】

図２０に白黒の反転表示で示す通り、本例では、手持ち商品画像２１の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２１のクラスの予測結果として「果物」を出力する。

【0106】

このように得られた第一の階層の予測結果「果物」は、図１０に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図２１に示すように、図１０に示す階層構造に従って第一の階層の予測結果「果物」の下位に属する第二の階層の要素に対応するテキスト「高価格ぶどう」および「低価格ぶどう」がクラスキャプションのリストとして入力される。

【0107】

この結果、テキストエンコーダ１０Ｔは、テキスト「高価格ぶどう」の埋め込みベクトルＴ_１およびテキスト「高価格ぶどう」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２１の埋め込みベクトルＩ_１と、テキスト「高価格ぶどう」の埋め込みベクトルＴ_１およびテキスト「低価格ぶどう」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0108】

図２１に白黒の反転表示で示す通り、本例では、手持ち商品画像２１の埋め込みベクトルＩ_１と、テキスト「低価格ぶどう」の埋め込みベクトルＴ_２との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２１のクラスの予測結果として「低価格ぶどう」を出力する。

【0109】

このように得られた第二の階層の予測結果「低価格ぶどう」は、図１０に示す階層構造で終端ノードであるので、ＣＬＩＰモデル１０の推論が終了される。この結果、手持ち商品画像２１のクラスの予測結果が「低価格ぶどう」と確定される。

【0110】

以上のように、事例２では、上記の事例１に比べて、商品アイテムの価格の分散が閾値ｔｈ２以下である第三の階層の３つの要素「安いぶどうＡ」、「安いぶどうＢ」および「訳ありぶどうＡ」がクラスキャプションとして入力されるプロセスを省略できる。したがって、事例２によれば、更なるタスク実現の処理コストの削減を実現できる。

【0111】

例えば、手動入力を介してレジ登録された商品アイテムが「訳ありぶどうＡ」である場合、ゼロショット画像分類器により特定された商品の属性「低価格ぶどう」に含まれる商品アイテム「訳ありぶどうＡ」と一致する。この場合、バナナトリックが行われていないと判定できる。

【0112】

＜２－３－６．アラート生成部＞
図２の説明に戻り、アラート生成部１１８は、不正検出部１１５により検出された不正に関するアラートを生成する処理部である。

【0113】

１つの側面として、アラート生成部１１８は、不正検出部１１５により不正が検出された場合、ユーザ２向けのアラートを生成できる。このようなユーザ２向けのアラートとして、レジ登録された商品アイテムと、ゼロショット画像分類器により特定された商品アイテムとを含めることができる。

【0114】

図２２は、アラートの表示例を示す図（１）である。図２２には、第一の検出部１１６によるラベルスイッチ検出時にセルフレジ５０に表示されるアラートが示されている。図２２に示すように、セルフレジ５０のタッチパネル５１には、アラートウィンドウ２２０が表示される。このアラートウィンドウ２２０には、スキャン経由でレジ登録された商品アイテム「安いワインＡ」と、ゼロショット画像分類器の画像解析により特定された商品アイテム「高いワインＢ」とが対比できる状態で表示される。この他、アラートウィンドウ２２０には、スキャンのやり直しを促す通知を含めることができる。このようなアラートウィンドウ２２０の表示によれば、「高いワインＢ」のラベルを「安いワインＡ」のラベルに張り替えてスキャンするラベルスイッチの検知をユーザに警告できる。このため、ラベルスイッチによる精算の中止を促すことができる結果、ラベルスイッチによる店舗の被害を抑制できる。

【0115】

図２３は、アラートの表示例を示す図（２）である。図２３には、第二の検出部１１７によるバナナトリック検出時にセルフレジ５０に表示されるアラートが示されている。図２３に示すように、セルフレジ５０のタッチパネル５１には、アラートウィンドウ２３０が表示される。このアラートウィンドウ２３０には、手動入力を介してレジ登録された商品アイテム「訳ありぶどうＡ」と、ゼロショット画像分類器の画像解析により特定された商品アイテム「シャインマスカット」とが対比できる状態で表示される。この他、アラートウィンドウ２３０には、訂正入力のやり直しを促す通知を含めることができる。このようなアラートウィンドウ２３０の表示によれば、「シャインマスカット」を手動入力すべきレジ登録の代わりに「訳ありぶどうＡ」の手動入力でレジ登録するバナナトリックの検知をユーザに警告できる。このため、バナナスイッチによる精算の中止を促すことができる結果、バナナスイッチによる店舗の被害を抑制できる。

【0116】

他の側面として、アラート生成部１１８は、不正検出部１１５により不正が検出された場合、店舗の関係者、例えば管理者向けのアラートを生成できる。このような店舗の管理者向けのアラートとして、不正の種別や不正が検出されたセルフレジ５０の識別情報、不正行為による被害予想額などを含めることができる。

【0117】

図２４は、アラートの表示例を示す図（３）である。図２４には、第一の検出部１１６によるラベルスイッチ検出時に管理者端末６０の表示部に表示されるアラートが示されている。図２４に示すように、管理者端末６０の表示部には、アラートウィンドウ２４０が表示される。このアラートウィンドウ２４０には、スキャン経由でレジ登録された商品アイテム「安いワインＡ」及び価格「９００円」と、画像解析により特定された商品アイテム「高いワインＢ」及び価格「４８００円」とが対比できる状態で表示される。さらに、アラートウィンドウ２４０には、不正種別「ラベルスイッチ」と、ラベルスイッチが発生しているレジ番号「２」と、ラベルスイッチでの精算で発生する被害予想額「３９００円（＝４８００円－９００円）」とが表示される。この他、アラートウィンドウ２４０には、レジ番号「２」のセルフレジ５０を利用するユーザ２の顔などが撮影された顔写真の表示、店内放送、あるいは警察などへの通報などのリクエストを受け付けるＧＵＩ部品２４１～２４３などが表示される。このようなアラートウィンドウ２４０の表示によれば、ラベルスイッチの被害発生の報知、被害度合いの把握、さらには、被害への各種の対策の提示を実現できる。このため、ユーザ２によるラベルスイッチへの対応を促すことができる結果、ラベルスイッチによる店舗の被害を抑制できる。

【0118】

図２５は、アラートの表示例を示す図（４）である。図２５には、第二の検出部１１７によるバナナトリック検出時に管理者端末６０の表示部に表示されるアラートが示されている。図２５に示すように、管理者端末６０の表示部には、アラートウィンドウ２５０が表示される。このアラートウィンドウ２５０には、手動入力を介してレジ登録された商品アイテム「訳ありぶどうＡ」及び価格「３５０円」と、画像解析により特定された商品アイテム「シャインマスカット」及び価格「４５００円」とが対比できる状態で表示される。さらに、アラートウィンドウ２５０には、不正種別「バナナトリック」と、バナナトリックが発生しているレジ番号「２」と、バナナトリックでの精算で発生する被害予想額「４１５０円（＝４５００円－３５０円）」とが表示される。この他、アラートウィンドウ２５０には、レジ番号「２」のセルフレジ５０を利用するユーザ２の顔などが撮影された顔写真の表示、店内放送、あるいは警察などへの通報などのリクエストを受け付けるＧＵＩ部品２５１～２５３などが表示される。このようなアラートウィンドウ２５０の表示によれば、バナナトリックの被害発生の報知、被害度合いの把握、さらには、被害への各種の対策の提示を実現できる。このため、ユーザ２によるバナナトリックへの対応を促すことができる結果、バナナトリックによる店舗の被害を抑制できる。

【0119】

＜３．処理の流れ＞
次に、本実施例にかかる情報処理装置１００の処理の流れについて説明する。ここでは、情報処理装置１００により実行される（１）データ生成処理、（２）映像取得処理、（３）第一の検出処理、（４）第二の検出処理および（５）特定処理の順に説明することとする。

【0120】

（１）データ生成処理
図２６は、実施例１にかかるデータ生成処理の流れを示すフローチャートである。この処理は、あくまで一例として、管理者端末６０からリクエストを受け付けた場合などに開始することができる。

【0121】

図２６に示すように、データ生成部１１２は、スーパーマーケットやコンビニエンスストア等の店舗の商品リストを取得する（ステップＳ１０１）。続いて、データ生成部１１２は、階層構造のテンプレートの最下層の要素ごとにシステム定義またはユーザ定義により指定された属性、例えば「価格」に関する属性などを付加する（ステップＳ１０２）。

【0122】

そして、データ生成部１１２は、ステップＳ１０２でテンプレートに属性が付加された階層構造の最下層の要素の数Ｋに対応する回数の分、下記のステップＳ１０３の処理を反復するループ処理１を実行する。なお。ここでは、ステップＳ１０３の処理が反復される例を挙げるが、ステップＳ１０３の処理は並列して実行されてもよい。

【0123】

すなわち、データ生成部１１２は、ステップＳ１０１で取得された商品リストのうち、階層構造の最下層の要素、すなわち価格属性の要素ｋに対する類似度が閾値ｔｈ１以上である商品アイテムを抽出する（ステップＳ１０３）。

【0124】

このようなループ処理１の結果、価格属性の要素ｋごとに当該要素ｋに属する商品アイテムがクラスタリングされることになる。

【0125】

その後、データ生成部１１２は、ステップＳ１０３におけるクラスタリング後の階層構造の全Ｍ階層のうち第一の階層から最下層であるＭ階層を除くＭ－１階層まで下記のステップＳ１０４から下記のステップＳ１０６までの処理を反復するループ処理２を行う。さらに、データ生成部１１２は、ｍ階層の要素の数Ｎに対応する回数の分、下記のステップＳ１０４から下記のステップＳ１０６までの処理を反復するループ処理３を実行する。なお。ここでは、ステップＳ１０４からステップＳ１０６までの処理が反復される例を挙げるが、ステップＳ１０４からステップＳ１０６までの処理は並列して実行されてもよい。

【0126】

すなわち、データ生成部１１２は、ｍ階層の要素ｎに属する商品アイテムの価格の分散Ｖを算出する（ステップＳ１０４）。その上で、データ生成部１１２は、価格の分散Ｖが閾値ｔｈ２以下であるか否かを判定する（ステップＳ１０５）。

【0127】

このとき、価格の分散Ｖが閾値ｔｈ２以下である場合（ステップＳ１０５Ｙｅｓ）、データ生成部１１２は、要素ｎよりも下位の階層の探索の打ち切りを決定する（ステップＳ１０６）。一方、価格の分散Ｖが閾値ｔｈ２以下でない場合（ステップＳ１０５Ｎｏ）、要素ｎよりも下位の階層の探索が継続されるので、ステップＳ１０６の処理はスキップされる。

【0128】

このようなループ処理２およびループ処理３により、第一の階層の要素ごとに開始される探索の打ち切りが決定されるか、あるいは探索が第Ｍ－１階層の全ての要素が探索されるまで探索が反復される。

【0129】

その上で、データ生成部１１２は、ステップＳ１０４からステップＳ１０６までの探索時で得られた価格の分散の判定結果に基づいて階層構造の各ルート（route）の深さを決定する（ステップＳ１０７）。

【0130】

このようにＭ階層の階層構造の各ルートの深さが決定されることにより、階層構造が確定される。このように生成された階層構造が記憶部１０２の階層構造ＤＢ１０５に保存される。

【0131】

（２）映像取得処理
図２７は、実施例１にかかる映像取得処理の流れを示すフローチャートである。図２７に示すように、新規のフレームの画像データが取得された場合（ステップＳ２０１Ｙｅｓ）、映像取得部１１３は、当該画像データを第一の機械学習モデル１０４Ａ、例えばＨＯＩＤモデルへ入力してＨＯＩＤの出力結果を取得する（ステップＳ２０２）。

【0132】

その上で、映像取得部１１３は、フレームごとに当該フレームの画像データおよび当該フレームのＨＯＩＤの出力結果を対応付けて映像データＤＢ１０６に格納し（ステップＳ２０３）、ステップＳ２０１の処理へ戻る。

【0133】

（３）第一の検出処理
図２８は、実施例１にかかる第一の検出処理の流れを示すフローチャートである。図２８に示すように、セルフレジ５０におけるスキャンを経由して新規の商品コードが取得された場合（ステップＳ３０１Ｙｅｓ）、第一の検出部１１６は、次のような処理を実行する。すなわち、第一の検出部１１６は、映像データＤＢ１０６に記憶されたフレームのうち、商品コードがスキャンされた時刻に対応するフレームを検索する（ステップＳ３０２）。

【0134】

そして、第一の検出部１１６は、ステップＳ３０２で実行された検索がヒットするフレームに対応するＨＯＩＤの出力結果に基づいてユーザ２が商品を把持する手持ち商品画像を生成する（ステップＳ３０３）。

【0135】

次に、第一の検出部１１６は、手持ち商品画像をゼロショット画像分類器に入力し、複数の階層ごとに商品の属性に対応するテキストのリストをゼロショット画像分類器に入力することで、商品アイテムを特定する「特定処理」を実行する（ステップＳ５００）。

【0136】

その上で、第一の検出部１１６は、スキャン経由でレジ登録された商品アイテムと、ステップＳ５００で特定された商品アイテムまたはその上位の属性に含まれる商品アイテム群とが一致するか否かを判定する（ステップＳ３０４）。

【0137】

このとき、両者の商品アイテムが一致しない場合（ステップＳ３０５Ｎｏ）、ラベルスイッチが行われたことを検出できる。この場合、アラート生成部１１８は、第一の検出部１１６により検出されたラベルスイッチのアラートを生成して出力し（ステップＳ３０６）、ステップＳ３０１の処理へ戻る。なお、両者の商品アイテムが一致する場合（ステップＳ３０５Ｙｅｓ）、ステップＳ３０６の処理をスキップしてステップＳ３０１の処理へ戻る。

【0138】

（４）第二の検出処理
図２９は、実施例１にかかる第二の検出処理の流れを示すフローチャートである。図２８に示すように、セルフレジ５０における手動入力を介して新規の商品コードが取得された場合（ステップＳ４０１Ｙｅｓ）、第二の検出部１１７は、次のような処理を実行する。すなわち、第二の検出部１１７は、映像データＤＢ１０６に記憶されたフレームのうち、商品コードが手動入力された時刻から遡って直近のＨＯＩＤで把持クラスが検出されたフレームを検索する（ステップＳ４０２）。

【0139】

そして、第二の検出部１１７は、ステップＳ４０２で実行された検索がヒットするフレームに対応するＨＯＩＤの出力結果に基づいてラベルなし商品の手持ち商品画像を生成する（ステップＳ４０３）。

【0140】

次に、第二の検出部１１７は、手持ち商品画像をゼロショット画像分類器に入力し、複数の階層ごとに商品の属性に対応するテキストのリストをゼロショット画像分類器に入力することで、商品アイテムを特定する「特定処理」を実行する（ステップＳ５００）。

【0141】

その上で、第二の検出部１１７は、手動入力を介してレジ登録された商品アイテムと、ステップＳ５００で特定された商品アイテムまたはその上位の属性に含まれる商品アイテム群とが一致するか否かを判定する（ステップＳ４０４）。

【0142】

このとき、両者の商品アイテムが一致しない場合（ステップＳ４０５Ｎｏ）、バナナトリックが行われたことを検出できる。この場合、アラート生成部１１８は、第二の検出部１１７により検出されたバナナトリックのアラートを生成して出力し（ステップＳ４０６）、ステップＳ４０１へ戻る。なお、両者の商品アイテムが一致する場合（ステップＳ４０５Ｙｅｓ）、ステップＳ４０６の処理をスキップしてステップＳ４０１の処理へ戻る。

【0143】

（５）特定処理
図３０は、実施例１にかかる特定処理の流れを示すフローチャートである。この処理は、図２８に示すステップＳ５００または図２９に示すステップＳ５００の処理に対応する。図３０に示すように、不正検出部１１５は、ステップＳ３０３またはステップＳ４０３で生成された手持ち商品画像をゼロショット画像分類器の画像エンコーダ１０Ｉへ入力する（ステップＳ５０１）。その後、不正検出部１１５は、階層構造ＤＢ１０５に記憶された階層構造を参照する（ステップＳ５０２）。

【0144】

そして、不正検出部１１５は、ステップＳ５０２で参照された階層構造の最上層から最下層まで下記のステップＳ５０３から下記のステップＳ５０５までの処理を反復するループ処理１を実行する。なお、ここでは、ステップＳ５０３からステップＳ５０５までの処理を頒布する例を挙げるが、ステップＳ５０３からステップＳ５０５までの処理は並列して実行されてよい。

【0145】

さらに、不正検出部１１５は、ｍ階層の要素の数Ｎに対応する回数の分、下記のステップＳ５０３および下記のステップＳ５０４の処理を反復するループ処理２を実行する。なお、ここでは、ステップＳ５０３およびステップＳ５０４の処理を頒布する例を挙げるが、ステップＳ５０３およびステップＳ５０４の処理は並列して実行されてよい。

【0146】

すなわち、不正検出部１１５は、ｍ階層の要素ｎに対応するテキストをゼロショット画像分類器のテキストエンコーダ１０Ｔへ入力する（ステップＳ５０３）。そして、不正検出部１１５は、ステップＳ５０１で手持ち商品画像が入力された画像エンコーダ１０Ｉが出力するベクトルと、ステップＳ５０３でテキストが入力されたテキストエンコーダ１０Ｔが出力するベクトルとの間で類似度を算出する（ステップＳ５０４）。

【0147】

このようなループ処理２の結果、ｍ階層のＮ個の要素と、手持ち商品画像との類似度行列が生成される。その上で、不正検出部１１５は、ｍ階層のＮ個の要素と、手持ち商品画像との類似度行列のうち類似度が最大である要素を選択する（ステップＳ５０５）。

【0148】

その後、不正検出部１１５は、階層のループカウンタｍが１つインクリメントされた１つ下位の階層のうちステップＳ５０５で選択された要素の下位に属するＮ個の要素についてループ処理１を反復する。

【0149】

このようなループ処理１の結果、階層構造の最下層の要素に対応するテキストの入力時にゼロショット画像分類器が出力するテキストが商品アイテムの特定結果として得られる。

【0150】

＜４．効果の一側面＞
上述してきたように、情報処理装置１００は、物体を含む映像を取得する。そして、情報処理装置１００は、複数の階層毎に物体の属性が対応付けられた参照元データを参照する機械学習モデル（ゼロショット画像分類器）に対して、取得した映像を入力する。これにより、第一の階層（メロン・リンゴ）の物体の属性の中から、映像に含まれる物体の属性を特定する。その後、情報処理装置１００は、特定した物体の属性を用いて、第一の階層の配下の第二の階層（高いメロン・安いメロン）の物体の属性を特定する。その上で、情報処理装置１００は、取得した映像を、機械学習モデル（ゼロショット画像分類器）に入力することで、第二の階層の物体の属性の中から、映像に含まれる物体の属性を特定する。

【0151】

したがって、情報処理装置１００によれば、大量の訓練データの準備を不要とし、商品のライフサイクルに合わせたリチューンも不要である機械学習モデル（ゼロショット画像分類器）を用いて、セルフレジにおける不正行為の検出を実現できる。

【0152】

また、情報処理装置１００は、セルフレジ５０に商品のコードをスキャンする人物の映像を取得する。そして、情報処理装置１００は、取得した映像を、機械学習モデル（ゼロショット画像分類器）に入力することで、予め設定された複数の商品候補（テキスト）の中から、映像に含まれる商品に対応する商品候補を特定する。その後、情報処理装置１００は、セルフレジ５０に商品のコードをスキャンすることでセルフレジ５０が識別した商品の項目を取得する。その上で、情報処理装置１００は、特定した商品候補の項目と、セルフレジ５０から取得した商品の項目とに基づいて、セルフレジ５０に登録された商品の異常を示すアラートを生成する。

【0153】

したがって、情報処理装置１００によれば、１つの側面として、セルフレジ５０におけるラベルスイッチの検出時にアラートを出力できるので、セルフレジ５０におけるラベルスイッチを抑制できる。

【0154】

また、情報処理装置１００は、セルフレジ５０に登録する商品を把持する人物の映像を取得する。そして、情報処理装置１００は、取得した映像を、機械学習モデル（ゼロショット画像分類器）に入力することで、予め設定された複数の商品候補（テキスト）の中から、映像に含まれる商品に対応する商品候補を特定する。その後、情報処理装置１００は、セルフレジ５０が出力する複数の商品候補の中から、人物が入力した商品の項目を取得する。その上で、情報処理装置１００は、取得した商品の項目と、特定した商品候補とに基づいて、セルフレジ５０に登録された商品の異常を示すアラートを生成する。

【0155】

したがって、情報処理装置１００によれば、１つの側面として、セルフレジ５０におけるバナナトリックの検出時にアラートを出力できるので、セルフレジ５０におけるバナナトリックを抑制できる。

【0156】

また、情報処理装置１００は、商品データを取得し、取得した商品データに含まれる商品の属性の分散関係に基づいて、複数の階層毎に商品の属性が対応付けられた参照元データを生成する。その上で、情報処理装置１００は、生成された参照元データを、ゼロショット画像分類器が参照する参照データとして設定する。

【0157】

したがって、情報処理装置１００によれば、セルフレジ５０における不正行為の検出に用いるゼロショット画像分類器により参照されるデータ数の削減を実現できる。

【実施例0158】

＜５．応用例＞
さて、これまで開示の装置に関する実施例について説明したが、上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる応用例や適用例について説明する。

【0159】

＜５－１．応用例１＞
まず、上記の実施例１で説明した階層構造の応用例１について説明する。例えば、階層構造には、商品の属性の他にも商品の個数や個数の単位のラベルが含まれてよい。図３１は、階層構造の応用例１を示す図である。図３１には、説明の便宜上、第二の階層以降については商品の大分類「飲料」に属する下位の要素が抜粋されると共に、第三の階層以降については商品の小分類「缶ビールＡ」に属する下位の要素が抜粋されて示されている。

【0160】

図３１に示すように、応用例１にかかる階層構造には、第一の階層、第二の階層および第三の階層が含まれる。このうち、第一の階層には、商品の大分類の一例として、「果物」や「魚」、「飲料」などの要素が含まれる。さらに、第二の階層には、商品の小分類の他の一例として、「缶ビールＡ」や「缶ビールＢ」などの要素が含まれる。さらに、第三の階層には、商品の個数や単位を含むラベルの例として、「１本の缶ビールＡ」や「６本セットの缶ビールＡ」などの要素が含まれる。

【0161】

このように商品の個数や個数の単位のラベルが階層構造に含まれる場合、上記のラベルスイッチに加えて、ラベルスイッチにより実際の購入個数よりも少ない個数のスキャンを行う不正の検出を実現できる。以下、ラベルスイッチにより実際の購入個数よりも少ない個数のスキャンを行う不正のことを指して「ラベルスイッチ（個数）」と記載する場合がある。

【0162】

このようなラベルスイッチ（個数）の検出時に実行される商品アイテムの特定について事例を挙げて説明する。図３２～図３４は、商品アイテムを特定する事例３を示す模式図（１）～（３）である。図３２～図３４には、手持ち商品画像２２のあくまで一例として、ユーザ２により把持された商品アイテム「６本セットの缶ビールＡ」に対応するＢｂｏｘの部分画像が生成された例が示されている。

【0163】

図３２に示すように、ＣＬＩＰモデル１０の画像エンコーダ１０Ｉには、手持ち商品画像２２が入力される。この結果、画像エンコーダ１０Ｉは、手持ち商品画像２２の埋め込みベクトルＩ_１を出力する。

【0164】

一方、ＣＬＩＰモデル１０のテキストエンコーダ１０Ｔには、図３１に示す階層構造に従って第一の階層の要素に対応するテキスト「果物」、「魚」、「肉」および「飲料」がクラスキャプションのリストとして入力される。なお、テキストの入力時には、図１７に示す例と同様に、“Prompt Engineering”を行うことができるのは言うまでもない。

【0165】

この結果、テキストエンコーダ１０Ｔは、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３、・・・、テキスト「飲料」の埋め込みベクトルＴ_Ｎを出力する。

【0166】

そして、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３およびテキスト「飲料」の埋め込みベクトルＴ_Ｎとの間で類似度が算出される。

【0167】

図３２に白黒の反転表示で示す通り、本例では、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「飲料」の埋め込みベクトルＴ_Ｎとの類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２２のクラスの予測結果として「飲料」を出力する。

【0168】

このように得られた第一の階層の予測結果「飲料」は、図３１に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図３３に示すように、図３１に示す階層構造に従って第一の階層の予測結果「飲料」の下位に属する第二の階層の要素に対応するテキスト「缶ビールＡ」および「缶ビールＢ」がクラスキャプションのリストとして入力される。なお、テキストの入力時には、図１７に示す例と同様に、“Prompt Engineering”を行うことができるのは言うまでもない。

【0169】

この結果、テキストエンコーダ１０Ｔは、テキスト「缶ビールＡ」の埋め込みベクトルＴ_１およびテキスト「缶ビールＢ」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「缶ビールＡ」の埋め込みベクトルＴ_１およびテキスト「缶ビールＢ」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0170】

図３３に白黒の反転表示で示す通り、本例では、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「缶ビールＡ」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２２のクラスの予測結果として「缶ビールＡ」を出力する。

【0171】

このように得られた第二の階層の予測結果「缶ビールＡ」は、図３１に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図３４に示すように、図３１に示す階層構造に従って第二の階層の予測結果「缶ビールＡ」の下位に属する第三の階層の要素に対応するテキスト「１本の缶ビールＡ」および「６本セットの缶ビールＡ」がクラスキャプションのリストとして入力される。

【0172】

この結果、テキストエンコーダ１０Ｔは、テキスト「１本の缶ビールＡ」の埋め込みベクトルＴ_１およびテキスト「６本セットの缶ビールＡ」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「１本の缶ビールＡ」の埋め込みベクトルＴ_１およびテキスト「６本セットの缶ビールＡ」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0173】

図３４に白黒の反転表示で示す通り、本例では、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「６本セットの缶ビールＡ」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２２のクラスの予測結果として「６本セットの缶ビールＡ」を出力する。

【0174】

以上の絞り込みにより、手持ち商品画像２２に含まれる商品アイテムは「缶ビールＡ」であることが特定できると共に、その個数が「６本」であることも特定できる。これを活用する側面から、第一の検出部１１６は、上記のラベルスイッチの判定に加え、次のような判定を実施する。すなわち、第一の検出部１１６は、スキャン経由でレジ登録された商品アイテムの個数がゼロショット画像分類器の画像解析により特定された商品アイテムの個数よりも少ないか否かを判定する。このとき、スキャン経由でレジ登録された商品アイテムの個数が画像解析により特定された商品アイテムの個数よりも少ない場合、ラベルスイッチにより実際の購入個数よりも少ない個数のスキャンを行う不正を検出できる。

【0175】

このように購入個数をごまかす不正が検出された場合、アラート生成部１１８は、第一の検出部１１６によりラベルスイッチ（個数）が検出された場合、ユーザ２向けのアラートを生成できる。このようなユーザ２向けのアラートとして、レジ登録された商品アイテムの個数と、ゼロショット画像分類器の画像解析により特定された商品アイテムの個数とを含めることができる。

【0176】

図３５は、アラートの表示例を示す図（５）である。図２２には、第一の検出部１１６による購入個数をごまかす不正検出時にセルフレジ５０に表示されるアラートが示されている。図３５に示すように、セルフレジ５０のタッチパネル５１には、アラートウィンドウ２６０が表示される。このアラートウィンドウ２６０には、スキャン経由でレジ登録された商品アイテムの個数「缶ビールＡ」と、ゼロショット画像分類器の画像解析により特定された商品アイテムの個数「６本セットの缶ビールＡ」とが対比できる状態で表示される。この他、アラートウィンドウ２６０には、スキャンのやり直しを促す通知を含めることができる。このようなアラートウィンドウ２６０の表示によれば、「６本セットの缶ビールＡ」のラベルを「缶ビールＡ」のラベルに張り替えてスキャンすることにより購入個数をごまかすラベルスイッチ（個数）の検知をユーザに警告できる。このため、購入個数が誤ったままでの精算の中止を促すことができる結果、ラベルスイッチ（個数）による店舗の被害を抑制できる。

【0177】

他の側面として、アラート生成部１１８は、第一の検出部１１６によりラベルスイッチ（個数）が検出された場合、店舗の関係者、例えば管理者向けのアラートを生成できる。このような店舗の管理者向けのアラートとして、不正の種別や不正が検出されたセルフレジ５０の識別情報、不正行為による被害予想額などを含めることができる。

【0178】

図３６は、アラートの表示例を示す図（６）である。図３６には、第一の検出部１１６による購入個数をごまかす不正検出時に管理者端末６０の表示部に表示されるアラートが示されている。図３６に示すように、管理者端末６０の表示部には、アラートウィンドウ２７０が表示される。このアラートウィンドウ２７０には、スキャン経由でレジ登録された商品アイテムの個数「缶ビールＡ」及び価格「２００円」と、画像解析により特定された商品アイテムの個数「６本セットの缶ビールＡ」及び価格「１２００円」とが対比できる状態で表示される。さらに、アラートウィンドウ２７０には、「６本セットの缶ビールＡ」のラベルを「缶ビールＡ」のラベルへスイッチして購入個数をごまかす不正種別「ラベルスイッチ（個数）」と、ラベルスイッチ（個数）が発生しているレジ番号「２」と、ラベルスイッチ（個数）での精算で発生する被害予想額「１０００円（＝１２００円－２００円）」とが表示される。この他、アラートウィンドウ２７０には、レジ番号「２」のセルフレジ５０を利用するユーザ２の顔などが撮影された顔写真の表示、店内放送、あるいは警察などへの通報などのリクエストを受け付けるＧＵＩ部品２７１～２７３などが表示される。このようなアラートウィンドウ２７０の表示によれば、ラベルスイッチ（個数）の被害発生の報知、被害度合いの把握、さらには、被害への各種の対策の提示を実現できる。このため、ユーザ２によるラベルスイッチ（個数）への対応を促すことができる結果、ラベルスイッチ（個数）による店舗の被害を抑制できる。

【0179】

次に、上記のラベルスイッチ（個数）を検出する処理について説明する。図３７は、応用例１にかかる第一の検出処理の流れを示すフローチャートである。図３７には、図２８に示すフローチャートと同一の処理が実行されるステップに同一のステップ番号が付与される一方で、応用例１で変更される処理が実行されるステップには異なるステップ番号が付与されている。

【0180】

図３７に示すように、ステップＳ３０１からステップＳ３０５までは、図２８に示すフローチャートと同様の処理が実行される一方で、ステップＳ３０５Ｎｏの分岐で実行される処理以降が異なる。

【0181】

すなわち、商品アイテムが一致する場合（ステップＳ３０５Ｙｅｓ）、第一の検出部１１６は、スキャン経由でレジ登録された商品アイテムの個数が画像解析により特定された商品アイテムの個数よりも少ないか否かを判定する（ステップＳ６０１）。

【0182】

ここで、スキャン経由でレジ登録された商品アイテムの個数が画像解析により特定された商品アイテムの個数よりも少ない場合（ステップＳ６０１Ｙｅｓ）、ラベルスイッチにより実際の購入個数よりも少ない個数のスキャンを行うラベルスイッチ（個数）を検出できる。この場合、アラート生成部１１８は、第一の検出部１１６により検出されたラベルスイッチ（個数）のアラートを生成して出力し（ステップＳ６０２）、ステップＳ３０１の処理へ戻る。

【0183】

以上のように、応用例１にかかる階層構造に従って第一の検出処理を実行することにより、ラベルスイッチ（個数）の検出を実現できる。

【0184】

＜５－２．応用例２＞
上記の応用例１に加え、商品の個数や個数の単位のラベルの要素が含まれる階層構造の他の一例として、応用例２にかかる階層構造を例に挙げる。図３８は、階層構造の応用例２を示す図である。図３８には、説明の便宜上、第二の階層以降については商品の大分類「果物」に属する下位の要素が抜粋されると共に、第三の階層以降については商品の小分類「ぶどうＡ」に属する下位の要素が抜粋されて示されている。

【0185】

図３８に示すように、応用例２にかかる階層構造には、第一の階層、第二の階層および第三の階層が含まれる。このうち、第一の階層には、商品の大分類の一例として、「果物」や「魚」などの要素が含まれる。さらに、第二の階層には、商品の小分類の他の一例として、「ぶどうＡ」や「ぶどうＢ」などの要素が含まれる。さらに、第三の階層には、商品の個数や単位を含むラベルの例として、「１房のぶどうＡ」や「２房のぶどうＡ」などの要素が含まれる。

【0186】

このように商品の個数や個数の単位のラベルが階層構造に含まれる場合、上記のバナナトリックに加えて、バナナトリックにより実際の購入個数よりも少ない個数の手動入力を行う不正の検出を実現できる。以下、バナナトリックにより実際の購入個数よりも少ない個数の手動入力を行う不正のことを指して「バナナトリック（個数）」と記載する場合がある。

【0187】

このようにラベルのない商品についてのレジ登録は、ユーザ２の手動入力により行われる。あくまで一例として、セルフレジ５０では、図３９に示すコードなし商品の選択画面に対する操作を介して、ラベルのない商品のレジ登録を受け付ける場合がある。

【0188】

図３９は、セルフレジの表示例を示す図（３）である。図３９に示すように、コードなし商品の選択画面２８０には、商品のカテゴリの表示エリア２８１と、選択中のカテゴリに属する商品アイテムの表示エリア２８２とが含まれ得る。例えば、図３９に示すコードなし商品の選択画面２８０には、表示エリア２８１に含まれる商品のカテゴリ「果物」、「魚」、「肉」、「乳製品」、「野菜」および「総菜」のうち商品のカテゴリ「果物」が選択中である例が示されている。この場合、表示エリア２８２には、商品のカテゴリ「果物」に属する商品アイテム「バナナ」や「ぶどうＡ」、「ぶどうＡ（２房）」などが表示される。この表示エリア２８２内に商品のカテゴリ「果物」に属する全ての商品アイテムが配置するスペースがない場合、スクロールバー２８３を介して表示エリア２８２の表示範囲をスクロールさせることにより、商品アイテムが配置される範囲を広げることができる。このような表示エリア２８２に表示された商品アイテムの中から選択操作を受け付けることで、ラベルのない商品のレジ登録を受け付けることができる。

【0189】

このようなバナナトリック（個数）の検出時に実行される商品アイテムの特定について事例を挙げて説明する。図４０～図４２は、商品アイテムを特定する事例４を示す模式図（１）～（３）である。図４０～図４２には、手持ち商品画像２３のあくまで一例として、ユーザ２により把持された商品アイテム「２房のぶどうＡ」に対応するＢｂｏｘの部分画像が生成された例が示されている。

【0190】

図４０に示すように、ＣＬＩＰモデル１０の画像エンコーダ１０Ｉには、手持ち商品画像２３が入力される。この結果、画像エンコーダ１０Ｉは、手持ち商品画像２３の埋め込みベクトルＩ_１を出力する。

【0191】

一方、ＣＬＩＰモデル１０のテキストエンコーダ１０Ｔには、図３８に示す階層構造に従って第一の階層の要素に対応するテキスト「果物」、「魚」、「肉」および「乳製品」がクラスキャプションのリストとして入力される。なお、テキストの入力時には、図１７に示す例と同様に、“Prompt Engineering”を行うことができるのは言うまでもない。

【0192】

この結果、テキストエンコーダ１０Ｔは、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３、・・・、テキスト「乳製品」の埋め込みベクトルＴ_Ｎを出力する。

【0193】

そして、手持ち商品画像２３の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１、テキスト「魚」の埋め込みベクトルＴ_２、テキスト「肉」の埋め込みベクトルＴ_３およびテキスト「乳製品」の埋め込みベクトルＴ_Ｎとの間で類似度が算出される。

【0194】

図４０に白黒の反転表示で示す通り、本例では、手持ち商品画像２３の埋め込みベクトルＩ_１と、テキスト「果物」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２３のクラスの予測結果として「果物」を出力する。

【0195】

このように得られた第一の階層の予測結果「果物」は、図３８に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図４１に示すように、図３８に示す階層構造に従って第一の階層の予測結果「果物」の下位に属する第二の階層の要素に対応するテキスト「ぶどうＡ」および「ぶどうＢ」がクラスキャプションのリストとして入力される。なお、テキストの入力時には、図１７に示す例と同様に、“Prompt Engineering”を行うことができるのは言うまでもない。

【0196】

この結果、テキストエンコーダ１０Ｔは、テキスト「ぶどうＡ」の埋め込みベクトルＴ_１およびテキスト「ぶどうＢ」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２３の埋め込みベクトルＩ_１と、テキスト「ぶどうＡ」の埋め込みベクトルＴ_１およびテキスト「ぶどうＢ」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0197】

図４１に白黒の反転表示で示す通り、本例では、手持ち商品画像２３の埋め込みベクトルＩ_１と、テキスト「ぶどうＡ」の埋め込みベクトルＴ_１との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２３のクラスの予測結果として「ぶどうＡ」を出力する。

【0198】

このように得られた第二の階層の予測結果「ぶどうＡ」は、図３８に示す階層構造で終端ノードではないので、ＣＬＩＰモデル１０の推論が継続される。すなわち、図４２に示すように、図３８に示す階層構造に従って第二の階層の予測結果「ぶどうＡ」の下位に属する第三の階層の要素に対応するテキスト「１房のぶどうＡ」および「２房のぶどうＡ」がクラスキャプションのリストとして入力される。

【0199】

この結果、テキストエンコーダ１０Ｔは、テキスト「１房のぶどうＡ」の埋め込みベクトルＴ_１およびテキスト「２房のぶどうＡ」の埋め込みベクトルＴ_２を出力する。そして、手持ち商品画像２２の埋め込みベクトルＩ_１と、テキスト「１房のぶどうＡ」の埋め込みベクトルＴ_１およびテキスト「２房のぶどうＡ」の埋め込みベクトルＴ_２との間で類似度が算出される。

【0200】

図４２に白黒の反転表示で示す通り、本例では、手持ち商品画像２３の埋め込みベクトルＩ_１と、テキスト「２房のぶどうＡ」の埋め込みベクトルＴ_２との類似度が最大となる。このため、ＣＬＩＰモデル１０は、手持ち商品画像２３のクラスの予測結果として「２房のぶどうＡ」を出力する。

【0201】

以上の絞り込みにより、手持ち商品画像２３に含まれる商品アイテムは「２房のぶどうＡ」であることが特定できると共に、その個数が「２房」であることも特定できる。これを活用する側面から、第二の検出部１１７は、上記のバナナトリックの判定に加え、次のような判定を実施する。すなわち、第二の検出部１１７は、手動入力を介してレジ登録された商品アイテムの個数がゼロショット画像分類器の画像解析により特定された商品アイテムの個数よりも少ないか否かを判定する。このとき、手動入力を介してレジ登録された商品アイテムの個数が画像解析により特定された商品アイテムの個数よりも少ない場合、バナナトリックにより実際の購入個数よりも少ない個数の手動入力を行う不正を検出できる。

【0202】

このように購入個数をごまかす不正が検出された場合、アラート生成部１１８は、第二の検出部１１７によりバナナトリック（個数）が検出された場合、ユーザ２向けのアラートを生成できる。このようなユーザ２向けのアラートとして、レジ登録された商品アイテムの個数と、ゼロショット画像分類器の画像解析により特定された商品アイテムの個数とを含めることができる。

【0203】

図４３は、アラートの表示例を示す図（７）である。図４３には、第二の検出部１１７による購入個数をごまかす不正検出時にセルフレジ５０に表示されるアラートが示されている。図４３に示すように、セルフレジ５０のタッチパネル５１には、アラートウィンドウ２９０が表示される。このアラートウィンドウ２９０には、手動入力を介してレジ登録された商品アイテムの個数「ぶどうＡ」と、画像解析により特定された商品アイテムの個数「２房のぶどうＡ」とが対比できる状態で表示される。この他、アラートウィンドウ２９０には、手動入力のやり直しを促す通知を含めることができる。このようなアラートウィンドウ２９０の表示によれば、「ぶどうＡ」の購入個数の手動入力を「２房」ではなく「１房」とごまかすバナナトリック（個数）の検知をユーザに警告できる。このため、購入個数が誤ったままでの精算の中止を促すことができる結果、バナナトリック（個数）による店舗の被害を抑制できる。

【0204】

他の側面として、アラート生成部１１８は、第二の検出部１１７によりバナナトリック（個数）が検出された場合、店舗の関係者、例えば管理者向けのアラートを生成できる。このような店舗の管理者向けのアラートとして、不正の種別や不正が検出されたセルフレジ５０の識別情報、不正行為による被害予想額などを含めることができる。

【0205】

図４４は、アラートの表示例を示す図（８）である。図３６には、第二の検出部１１７による購入個数をごまかす不正検出時に管理者端末６０の表示部に表示されるアラートが示されている。図４４に示すように、管理者端末６０の表示部には、アラートウィンドウ３００が表示される。このアラートウィンドウ３００には、手動入力を介してレジ登録された商品アイテムの個数「ぶどうＡ」及び価格「３５０円」と、画像解析により特定された商品アイテムの個数「２房のぶどうＡ」及び価格「７００円」とが対比できる状態で表示される。さらに、アラートウィンドウ３００には、「ぶどうＡ」の購入個数の手動入力を「２房」ではなく「１房」とごまかす不正種別「バナナトリック（個数）」と、バナナトリック（個数）が発生しているレジ番号「２」と、バナナトリック（個数）での精算で発生する被害予想額「３５０円（＝７００円－３５０円）」とが表示される。この他、アラートウィンドウ３００には、レジ番号「２」のセルフレジ５０を利用するユーザ２の顔などが撮影された顔写真の表示、店内放送、あるいは警察などへの通報などのリクエストを受け付けるＧＵＩ部品３０１～３０３などが表示される。このようなアラートウィンドウ３００の表示によれば、バナナトリック（個数）の被害発生の報知、被害度合いの把握、さらには、被害への各種の対策の提示を実現できる。このため、ユーザ２によるバナナトリック（個数）への対応を促すことができる結果、バナナトリック（個数）による店舗の被害を抑制できる。

【0206】

次に、上記のバナナトリック（個数）を検出する処理について説明する。図４５は、応用例２にかかる第二の検出処理の流れを示すフローチャートである。図４５には、図２９に示すフローチャートと同一の処理が実行されるステップに同一のステップ番号が付与される一方で、応用例２で変更される処理が実行されるステップには異なるステップ番号が付与されている。

【0207】

図４５に示すように、ステップＳ４０１からステップＳ４０５までは、図２９に示すフローチャートと同様の処理が実行される一方で、ステップＳ４０５Ｎｏの分岐で実行される処理以降が異なる。

【0208】

すなわち、商品アイテムが一致する場合（ステップＳ４０５Ｙｅｓ）、第二の検出部１１７は、手動入力を介してレジ登録された商品アイテムの個数が画像解析により特定された商品アイテムの個数よりも少ないか否かを判定する（ステップＳ７０１）。

【0209】

ここで、手動入力を介してレジ登録された商品アイテムの個数が画像解析により特定された商品アイテムの個数よりも少ない場合（ステップＳ７０１Ｙｅｓ）、次のような可能性が高まる。すなわち、バナナトリックにより実際の購入個数よりも少ない個数の手動入力を行うバナナトリック（個数）を検出できる。この場合、アラート生成部１１８は、第二の検出部１１７により検出されたバナナトリック（個数）のアラートを生成して出力し（ステップＳ７０２）、ステップＳ４０１の処理へ戻る。

【0210】

以上のように、応用例２にかかる階層構造に従って第二の検出処理を実行することにより、バナナトリック（個数）の検出を実現できる。

【0211】

＜５－３．応用例３＞
上記の応用例１や上記の応用例２では、商品の個数や個数の単位のラベルの要素が第三の階層に含まれる例を挙げたが、商品の個数や個数の単位のラベルの要素はいずれの階層に含まれてもよい。図４６は、階層構造の応用例３を示す図である。図４６には、第一の階層に商品の個数や個数の単位のラベルの要素が含まれる例が挙げられている。

【0212】

図４６に示すように、応用例３にかかる階層構造には、第一の階層、第二の階層および第三の階層が含まれる。このうち、第一の階層には、商品の個数や単位および商品の大分類を含むラベルの例として、「１個の果物」や「複数個の果物」などの要素が含まれる。さらに、第二の階層には、商品の小分類の他の一例として、「ぶどう」や「りんご」などの要素が含まれる。さらに、第三の階層には、商品アイテムの例として、「ぶどうＡ」や「ぶどうＢ」などの要素が含まれる。

【0213】

このように商品の個数や個数の単位のラベルがいずれの階層に含まれる場合でも、上記のラベルスイッチ（個数）や上記のバナナトリック（個数）などの購入個数をごまかす不正を検出できる。

【0214】

＜５－４．応用例４＞
上記の実施例１では、商品の属性の例として、カテゴリ（大分類や小分類）の他、価格属性がテンプレートに付加される例を挙げたが、商品の属性はこれに限定されない。例えば、ゼロショット画像分類器のクラスキャプションのテキストを特徴量空間に埋め込む精度を高める側面から「色」や「形」などの属性がテンプレート付加されてもよい。この他、店舗における在庫不足を抑制する観点から「在庫数」などの属性がテンプレート付加されてもよい。

【0215】

図４７は、階層構造の応用例４を示す図である。図４７には、商品の属性の例として、第一の階層の各要素に「色」の属性に対応する要素が付加される例が挙げられている。図４７に示すように、応用例３にかかる階層構造には、第一の階層、第二の階層および第三の階層が含まれる。このうち、第一の階層には、商品の大分類の例として、「果物」や「魚」などの要素が含まれる。さらに、第二の階層には、商品の色の一例として、「緑色のぶどう」や「紫色のぶどう」などの要素が含まれる。さらに、第三の階層には、第二の階層の要素「緑色のぶどう」に属する商品アイテムの例として、「シャインマスカット」が含まれると共に、第二の階層の要素「紫色のぶどう」に属する商品アイテムの例として、「高級巨峰Ａ」および「高級巨峰Ｂ」が含まれる。

【0216】

このように、商品の属性の例として、「色」や「形状」などの要素がテンプレートに付加されることで、ゼロショット画像分類器のクラスキャプションのテキストを特徴量空間に埋め込む精度を高めることができる。

【0217】

＜５－５．応用例５＞
上記の実施例１では、複数の階層毎に商品の属性が対応付けられた参照元データの一例として階層構造データを挙げ、これをゼロショット画像識別器が参照することにより１又は複数の商品候補を特定する例を説明した。そして、階層構造データには、あくまで一例として、入れ替え対象の多数の種類の商品の候補のうち、現時点にて、店内に配置される複数の商品候補に対応するクラスキャプションがリスト化される例を挙げたが、これに限定されない。

【0218】

あくまで一例として、階層構造データは、時期ごとに当該時期に店舗へ入荷される商品に基づいて生成されることとしてもよい。例えば、店舗における商品の入れ替えが１ヶ月ごとに実施される場合、データ生成部１１２は、次のようにして時期ごとに階層構造データを生成できる。すなわち、２０２２年１１月の入荷商品に関する階層構造データ、２０２２年１２月の入荷商品に関する階層構造データ、２０２３年１月の入荷商品に関する階層構造データといったスキームで時期ごとに階層構造データが生成される。その上で、不正検出部１１５は、時期ごとに記憶される階層構造データのうち、商品アイテムの特定時に対応する階層構造データを参照し、これをゼロショット画像分類器のテキストエンコーダへ入力する。これにより、店舗の商品の入れ替えに合わせてゼロショット画像分類器により参照される参照元データを切り替えることができる。この結果、店舗の商品のライフサイクルが短い場合でも、商品の入れ替え前後を通じて商品アイテムの特定精度の安定を実現できる。

【0219】

＜５－６．数値＞
上記実施例で用いたセルフレジやカメラの台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。

【0220】

また、情報処理装置１００は、スキャン位置や買い物かごの位置については、位置を検出する別の機械学習モデル、物体検知技術、位置検出技術など公知の技術を用いることもできる。例えば、情報処理装置１００は、フレーム（画像データ）間差分、フレームの時系列の変化に基づき、買い物かごの位置を検出することができるので、それを用いて検出してもよく、それを用いて別のモデルを生成してもよい。また、情報処理装置１００は、予め買い物かごの大きさを指定しておくことで、画像データからその大きさの物体が検出された場合に、買い物かごの位置として識別することもできる。なお、スキャン位置は、ある程度固定された位置なので、情報処理装置１００は、管理者等が指定した位置をスキャン位置として識別することもできる。

【0221】

＜５－７．システム＞
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

【0222】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、映像取得部１１３と不正検出部１１５とが統合されてもよく、不正検出部１１５は第一の検出部１１６と第二の検出部１１７とに分散されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0223】

＜５－８．ハードウェア＞
図４８は、情報処理装置のハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置１００について説明する。図４８に示すように、情報処理装置１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図４８に示した各部は、バス等で相互に接続される。

【0224】

通信装置１００ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１００ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0225】

プロセッサ１００ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１００が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｄは、機械学習部１１１、データ生成部１１２、映像取得部１１３、セルフレジデータ取得部１１４、不正検出部１１５、アラート生成部１１８等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、機械学習部１１１、データ生成部１１２、映像取得部１１３、セルフレジデータ取得部１１４、不正検出部１１５、アラート生成部１１８等と同様の処理を実行するプロセスを実行する。

【0226】

このように、情報処理装置１００は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

【0227】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

【0228】

次に、セルフレジ５０について説明する。図４９は、セルフレジ５０のハードウェア構成例を説明する図である。図４９に示すように、セルフレジ５０は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図４９に示した各部は、バスなどで相互に接続される。

【0229】

通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ５０の各機能を動作させるプログラムやデータを記憶する。

【0230】

プロセッサ４００ｄは、セルフレジ５０の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ５０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ５０が有する各処理部と同様の機能を実行する。

【0231】

このように、セルフレジ５０は、セルフレジ５０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ５０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ５０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ５０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0232】

また、セルフレジ５０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0233】

入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ５０はさらに表示部を備え、入力装置４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置４００ｅは、バーコードの読み取りをする。入力装置４００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。

【0234】

出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ５０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ５０が表示部を備える場合、セルフレジ５０は出力装置４００ｆを備えなくてもよい。