特開 2024-91105 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024091105

(43)【公開日】2024-07-04

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G08B 13/196 20060101AFI20240627BHJP

   G06T 7/00 20170101ALI20240627BHJP

   G06V 10/70 20220101ALI20240627BHJP

   G07G 1/00 20060101ALI20240627BHJP

   G08B 25/00 20060101ALI20240627BHJP

   G08B 25/04 20060101ALI20240627BHJP

【ＦＩ】

G08B13/196

G06T7/00 350B

G06V10/70

G07G1/00 331B

G08B25/00 510M

G08B25/04 E

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022207557

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山本 琢麿

(72)【発明者】

【氏名】大日方 裕也

(72)【発明者】

【氏名】内田 大輔

【テーマコード（参考）】

3E142

5C084

5C087

5L096

【Ｆターム（参考）】

3E142AA01

3E142BA16

3E142CA13

3E142EA04

3E142FA25

3E142GA16

3E142GA41

3E142JA01

5C084AA03

5C084AA13

5C084BB04

5C084CC33

5C084DD11

5C084EE07

5C084HH01

5C084HH10

5C087AA10

5C087AA19

5C087AA37

5C087DD05

5C087DD31

5C087EE08

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG19

5C087GG66

5C087GG70

5C087GG83

5C087GG84

5L096BA02

5L096DA03

(57)【要約】

【課題】監視カメラ映像から商品を特定する際、例えば、商品の写っている向きや照明などの撮影環境のわずかな影響によって機械学習モデルが商品を誤認識してしまい、顧客の不正行為を正しく検知できないことがある。
【解決手段】情報処理プログラムは、会計機に登録する商品を把持する人物の映像を取得し、取得した映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出し、会計機を人物が操作することで会計機に登録された商品の情報を取得し、算出されたスコアに基づいて、複数の商品候補の中から商品候補を選択し、選択された商品候補と、取得した商品の情報とに基づいて、会計機に登録された商品の異常を示すアラートを生成する処理をコンピュータに実行させる。
【選択図】図１５

【特許請求の範囲】

【請求項1】

会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記スコアを算出する処理は、
取得した前記映像を、機械学習モデルに入力することで、前記複数の商品候補のそれぞれに対して、前記スコアを算出する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記会計機は、セルフレジ端末であることを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記複数の商品候補のそれぞれに対する前記スコアの中から、前記スコアの大きさが最大である第１のスコアの前記商品候補を特定し、
前記複数の商品候補のそれぞれに対する前記スコアの中から、前記会計機に登録された前記商品に対応する第２のスコアを特定し、
前記第１のスコアの前記商品候補と、前記会計機に登録された前記商品とが一致しない場合、前記第１のスコアと前記第２のスコアとの差分に基づいて、前記アラートを生成するか否かを判定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

複数の階層ごとに前記商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した前記映像を入力することで、第１の階層の前記商品の属性の中から、前記映像に含まれる第１の商品の属性を特定し、
特定した前記第１の商品の属性に基づいて、前記第１の階層の配下の第２の階層の前記商品の属性の中から、第２の商品の属性を特定し、
取得した前記映像を前記機械学習モデルに入力することで、前記第２の商品の属性の中から、前記映像に含まれる前記商品の属性を、前記商品候補として選択する
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の情報処理プログラム。

【請求項6】

前記アラートを生成する場合、予め設定されたメッセージを前記会計機に表示させる
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項7】

異常のある前記商品が登録された前記会計機の識別子を含む前記アラートを、店員が利用する情報処理端末に出力させる
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項8】

会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項9】

会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理を実行する制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

スーパーマーケットなど商品販売を行う店舗において、レジ業務の軽減による人件費の削減やレジの混雑回避などを目的として、顧客自らが商品のラベルをスキャンするなどして商品情報を登録し会計を行うセルフレジ端末の導入が進んでいる。このような顧客自らが購入対象の商品登録を行うシステムでは、顧客が購入対象の商品を正しくセルフレジ端末に登録することが重要になってくる。

【0003】

そのため、例えば、セルフレジ端末を利用する顧客を撮影した監視カメラ映像を用いて、顧客の不正行為を検知するシステムが開発されている。より具体的には、当該システムは、例えば、機械学習モデルを用いて監視カメラ映像から商品を特定し、セルフレジに登録された商品情報と比較することで、顧客の不正行為を検知する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２９０２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、監視カメラ映像から商品を特定する際、例えば、商品の写っている向きや照明などの撮影環境のわずかな影響によって機械学習モデルが商品を誤認識してしまい、顧客の不正行為を正しく検知できないことがある。

【0006】

１つの側面では、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知することを目的とする。

【課題を解決するための手段】

【0007】

１つの態様において、情報処理プログラムは、会計機に登録する商品を把持する人物の映像を取得し、取得した映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出し、会計機を人物が操作することで会計機に登録された商品の情報を取得し、算出されたスコアに基づいて、複数の商品候補の中から商品候補を選択し、選択された商品候補と、取得した商品の情報とに基づいて、会計機に登録された商品の異常を示すアラートを生成する処理をコンピュータに実行させる。

【発明の効果】

【0008】

１つの側面では、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知できる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態にかかる情報処理システムの構成例を示す図である。

【図2】図２は、本実施形態にかかるセルフレジ端末１００の一例を示す図である。

【図3】図３は、不正行為の一例であるラベルスイッチを説明する図である。

【図4】図４は、不正行為の別例であるバナナトリックを説明する図である。

【図5】図５は、機械学習モデルによる画像認識結果の一例を示す図である。

【図6】図６は、機械学習モデルによる画像認識結果の別例を示す図である。

【図7】図７は、本実施形態にかかる情報処理装置１０の構成例を示す図である。

【図8】図８は、ＨＯＩＤを説明するための図である。

【図9】図９は、ＣＬＩＰモデル６０の機械学習を説明する図である。

【図10】図１０は、商品リストの一例を示す図である。

【図11】図１１は、テンプレートの一例を示す図である。

【図12】図１２は、階層構造データの生成を説明する図（１）である。

【図13】図１３は、階層構造データの生成を説明する図（２）である。

【図14】図１４は、階層構造データの一例を示す図である。

【図15】図１５は、本実施形態にかかる不正検知の一例を示す図である。

【図16】図１６は、本実施形態にかかる不正検知処理の流れを示すフローチャートである。

【図17】図１７は、本実施形態にかかる不正検知処理の流れの別例を示すフローチャートである。

【図18】図１８は、情報処理装置１０のハードウェア構成例を説明する図である。

【図19】図１９は、セルフレジ端末１００のハードウェア構成例を説明する図である。

【図20】図２０は、店員端末３００のハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【0011】

まず、本実施形態を実施するための情報処理システムについて説明する。図１は、本実施形態にかかる情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、セルフレジ端末１００とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。また、情報処理装置１０は、カメラ装置２００や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。

【0012】

ネットワーク５０には、有線や無線を問わず、例えば、イントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。

【0013】

セルフレジ端末１００は、例えば、スーパーマーケットなど商品販売を行う店舗内のレジエリアに設置され、顧客自らが購入対象の商品を登録して会計を行うための情報処理端末である。セルフレジ端末１００は、商品のラベルをスキャンするためのコードリーダや、精算画面などを表示して操作するためのタッチパネル式のディスプレイ部を備えるか、または、外付けのコードリーダやディスプレイと通信可能に接続される。なお、セルフレジ端末１００は、例えば、会計機やセルフレジ、Self checkout、automated checkout、self-checkout machine、およびself-check-out registerなどと呼ばれる。

【0014】

図２は、本実施形態にかかるセルフレジ端末１００の一例を示す図である。顧客は、商品の会計時、例えば、商品のラベルをコードリーダ１５０によってスキャンし、セルフレジ端末１００に購入商品の登録を行う。なお、商品のラベルとは、例えば、バーコードを含んでよい。また、野菜や果物など、ラベルが貼付されていない商品の場合、顧客は、例えば、セルフレジ端末１００が備えるディスプレイ部に表示された商品一覧から購入対象の商品を選択して、購入商品の登録を行う。そして、顧客は、セルフレジ端末１００のディスプレイ部に表示された精算画面を操作し、現金や電子マネー、またはクレジットカードなどによって、セルフレジ端末１００に登録された商品の会計を行う。

【0015】

図１の説明に戻り、カメラ装置２００は、例えば、セルフレジ端末１００の上部などに設置され、セルフレジ端末１００によって会計を行う顧客を撮影する監視カメラである。カメラ装置２００は、セルフレジ端末１００ごとに複数台あってよい。カメラ装置２００によって撮影された映像は、情報処理装置１０に送信される。

【0016】

店員端末３００は、スーパーマーケットなどの店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内のレジエリアに設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、顧客の不正行為が情報処理装置１０によって検知された場合に、情報処理装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、レジエリアを担当する特定の店員が所持する端末などに限定されてよい。

【0017】

情報処理装置１０は、例えば、店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Personal Computer）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。

【0018】

なお、図１では、情報処理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、情報処理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

【0019】

情報処理装置１０は、セルフレジ端末１００で会計を行う顧客（以下、単に「人物」という場合がある）や商品をカメラ装置２００によって撮影された映像を、カメラ装置２００から受信する。なお、当該映像は、顧客や商品を撮像した一連のフレーム、すなわち、複数の画像であるため、本実施形態における映像の処理は、画像処理を含んでよい。

【0020】

また、情報処理装置１０は、例えば、カメラ装置２００によって撮影された映像を、機械学習モデルに入力することで、映像に含まれる商品の信頼度を示すスコアを算出し、当該スコアに基づいて、複数の商品候補の中から商品候補を選択する。そして、情報処理装置１０は、選択された商品候補を、顧客の購入対象の商品として認識する。

【0021】

また、情報処理装置１０は、例えば、顧客によってセルフレジ端末１００に登録された商品情報を、セルフレジ端末１００から受信する。そして、情報処理装置１０は、例えば、登録された商品情報の商品と、映像から購入対象の商品として認識された商品とを比較して、両商品が一致しない場合は、異常を示すアラートを生成し、店員端末３００に通知する。このようにして、情報処理装置１０は、顧客の不正行為を検知する。

【0022】

顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為には、例えば、ラベルスイッチやバナナトリックなどと呼ばれる行為がある。図３は、不正行為の一例であるラベルスイッチを説明する図である。図３は、セルフレジ端末１００の上部に設置されたカメラ装置２００によって撮影された顧客がラベルスイッチを行う様子を示すものです。ラベルスイッチは、図３に示すように、購入対象の商品１６０に、例えば、商品１６０よりも安価な商品のラベル１７０を重ねてスキャンすることにより、商品をだまし取る行為である。

【0023】

図４は、不正行為の別例であるバナナトリックを説明する図である。一方、バナナトリックは、図４に示すように、ラベルが貼付されていない商品１６０を購入する際、セルフレジ端末１００に表示された商品一覧から、商品１６０よりも安価な商品を選択、または数を少なく入力することにより、商品をだまし取る行為である。

【0024】

このような不正行為を検知するため、情報処理装置１０は、例えば、後述するＣＬＩＰ（Contrastive Language-Image Pre-training）モデルである機械学習モデルを用いて映像から商品を認識する。また、情報処理装置１０は、例えば、映像からの商品の認識精度を上げるため、カメラ装置２００によって撮影された映像を特徴量とし、当該映像に含まれる物体、すなわち商品を正解ラベルとして機械学習により訓練された機械学習モデルをさらに用いてもよい。

【0025】

図５は、機械学習モデルによる画像認識結果の一例を示す図である。図５は、上述したように映像から商品を特定するために訓練された機械学習モデルに映像を入力することにより得られる画像認識結果の一例を示すものである。図５の画像認識結果は、縦軸を、各商品を一意に示すクラス名、横軸を、０．０～１．０の数値によって示される信頼度を示すスコアとするグラフである。当該クラス名によって示される各商品は、例えば、スーパーマーケットなど商品販売を行う店舗内で取り扱われる商品群であって、映像から認識され得る商品群の候補である。また、信頼度を示すスコアは、既存のＡＩ技術によって算出でき、スコア値が高いほど、機械学習モデルが、映像に含まれる商品を、当該スコアに対応する商品であるとより認識したことを示す。図５の例では、クラス“wine”（ワイン）が最も高いスコア値を示すため、情報処理装置１０は、映像に含まれる商品をワインと特定する。

【0026】

しかしながら、例えば、商品の写っている向きや照明などの撮影環境のわずかな影響によって、類似する商品間でスコア値が拮抗することがある。図６は、機械学習モデルによる画像認識結果の別例を示す図である。図６の例では、クラス“watermelon”（すいか）とクラス“melon”（メロン）とのスコア値が拮抗しており、最も高いスコア値はクラス“watermelon”であるが、映像に含まれる商品は実際にはメロンであり、誤認識してしまうことがある。また、機械学習モデルは、ＡＩ（Artificial Intelligence）であるため、誤ったクラスのスコア値が異常に高くなってしまい、映像に含まれる商品を誤認識してしまうこともあり得る。このような機械学習モデルの誤認識は、顧客の不正行為を正しく検知できないことに繋がる。

【0027】

そこで、本実施形態では、例えば、機械学習モデルによる画像認識結果のスコア値が拮抗してしまったり、誤ったクラスのスコア値が異常に高くなってしまったりしてしまう場合であっても、顧客の不正行為をより正確に検知することを目的の１つとする。

【0028】

［情報処理装置１０の機能構成］
次に、本実施形態の実行主体となる情報処理装置１０の機能構成について説明する。図７は、本実施形態にかかる情報処理装置１０の構成例を示す図である。図７に示すように、情報処理装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0029】

通信部２０は、セルフレジ端末１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースである。

【0030】

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、映像ＤＢ３１、モデルＤＢ３２、画像認識結果３３、および商品情報３４などを記憶する。

【0031】

映像ＤＢ３１は、例えば、カメラ装置２００によって撮影された映像や、当該映像に関する情報を記憶する。なお、映像ＤＢ３１は、例えば、セルフレジ端末１００やカメラ装置２００ごとに情報を記憶してよい。カメラ装置２００によって撮影された映像は、カメラ装置２００から随時送信され、映像ＤＢ３１に記憶される。また、映像ＤＢ３１は、例えば、本実施形態において画像処理された映像の結果である画像データを記憶してよい。

【0032】

モデルＤＢ３２は、例えば、カメラ装置２００によって撮影された映像から、当該映像に含まれる商品を特定するための機械学習モデルに関する情報や、当該機械学習モデルを構築するためのモデルパラメータ、および訓練データを記憶する。

【0033】

画像認識結果３３は、例えば、カメラ装置２００によって撮影された映像から、当該映像に含まれる商品を特定するための機械学習モデルによる画像認識結果に関する情報を記憶する。当該画像認識結果は、例えば、図５や図６に示すような各商品のスコア値であってよい。

【0034】

商品情報３４は、例えば、顧客によってセルフレジ端末１００に登録された商品に関する情報を記憶する。なお、商品情報３４は、例えば、セルフレジ端末１００および顧客ごとに、購入対象として登録された商品の識別子や商品名、購入点数や金額などの情報を記憶してよい。セルフレジ端末１００によって登録された商品の情報は、セルフレジ端末１００から随時送信され、商品情報３４に記憶される。

【0035】

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

【0036】

制御部４０は、情報処理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、取得部４１、算出部４２、選択部４３、生成部４４、出力部４５などを備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0037】

取得部４１は、例えば、セルフレジ端末１００である会計機に登録する商品を把持する人物の映像を、映像ＤＢ３１から取得する。また、取得部４１は、例えば、セルフレジ端末１００である会計機を人物が操作することで当該会計機に登録された商品の情報を、商品情報３４から取得する。

【0038】

算出部４２は、例えば、取得部４１が取得した映像を、機械学習モデルに入力することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出する。より具体的には、図５および図６を用いて説明したように、算出部４２は、カメラ装置２００によって撮影された映像を特徴量とし、当該映像に含まれる商品を正解ラベルとして機械学習により訓練された機械学習モデルを用いて、各商品のスコアを算出する。また、予め設定された複数の商品候補は、例えば、スーパーマーケットなど商品販売を行う店舗内で取り扱われる商品群であって、記憶部３０に予め記憶されてよい。

【0039】

なお、映像に含まれる物体は、商品以外にも買い物カゴやレジ袋、セルフレジ端末１００など様々な物体が存在し得る。そのため、例えば、既存技術のＨＯＩＤ（Human Object Interaction Detection）を用いて、人物が把持した物体が商品として検出されてよい。

【0040】

図８は、ＨＯＩＤを説明するための図である。ＨＯＩＤは、人物と物体との相互作用を検出するもので、例えば、図８に示すように、画像データ２５０を入力データとして、人物が物体を手に持っているなど相互作用関係にあると判断された人物と物体とを検出する技術である。人物や物体の検出は、例えば、図８に示すように、検出された人物や物体を囲む矩形領域であるバウンディングボックス（Bounding Box：ＢＢ）として示される。図８の場合では、人物および物体のＢＢは、それぞれ、人物ＢＢ１８０および物体ＢＢ１９０である。また、ＨＯＩＤでは、人物と物体との相互作用の確率値およびＣｌａｓｓ名（例えば、“持つ”）も出力される。本実施形態では、ＨＯＩＤを用いて、人物が把持した物体が商品として検出される。

【0041】

選択部４３は、例えば、算出部４２によって算出された、信頼度を示すスコアに基づいて、複数の商品候補の中から商品候補を選択する。より具体的には、選択部４３は、例えば、信頼度を示すスコアが最大の商品を商品候補として選択する。

【0042】

また、選択部４３は、例えば、次に示すように、複数の階層ごとに商品の属性が対応付けられた参照元データを参照する機械学習モデルを用いて、商品候補を選択してもよい。（１）まず、算出部４２は、例えば、複数の階層ごとに商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した映像を入力することで、第１の階層の商品の属性の中から、当該映像に含まれる第１の商品の属性を特定する。（２）次に、算出部４２は、例えば、特定した第１の商品の属性に基づいて、第１の階層の配下の第２の階層の商品の属性の中から、第２の商品の属性を特定する。（３）そして、算出部４２は、例えば、取得した映像を機械学習モデルに入力することで、第２の商品の属性の中から、映像に含まれる商品の属性を、商品候補として選択する。

【0043】

ここで、第１の階層の商品の属性とは、例えば、“果物”、“魚”、“肉”など商品の種類であってよい。また、第２の階層の商品の属性とは、例えば、第１の階層の商品の属性“果物”の配下の“高価格ぶどう”、“低価格ぶどう”などであってよい。また、階層の深さは第２の階層までに限定されなくてよく、第３の階層以降も続いてよい。第３の階層の商品の属性とは、例えば、第２の階層の商品の属性“高価格ぶどう”の配下の“シャインマスカット（4500円）”、“高級巨峰（3900円）”などであってよい。このように、階層が深くなるにつれて商品の属性を細分化して、階層ごとに商品の属性を絞り込んで機械学習モデルを用いた推定を行うことにより、選択部４３は、より正確かつ詳細に、映像に含まれる商品の属性を、商品候補として選択できる。

【0044】

複数の階層ごとに商品の属性が対応付けられた参照元データを参照する機械学習モデルであるＣＬＩＰモデル６０を用いた商品候補の選択について、より具体的に説明する。

【0045】

図９は、ＣＬＩＰモデル６０の機械学習を説明する図である。図９には、ＣＬＩＰモデル６０の例として、ゼロショット画像分類器の一例であるＣＬＩＰモデル６０が示されている。ＣＬＩＰは、画像およびテキストの複数種類、いわゆるマルチモーダルの特徴量空間への埋め込みを実現する技術である。すなわち、ＣＬＩＰでは、画像エンコーダおよびテキストエンコーダを訓練することにより、意味が近い画像およびテキストのペア間でベクトルの距離が近くなる埋め込みが実現される。例えば、画像エンコーダは、ＶｉＴ（Vision Transformer）により実現されてもよいし、畳み込み系のニューラルネットワーク、例えばResNetなどにより実現されてもよい。また、テキストエンコーダは、ＧＰＴ（Generative Pre-trained Transformer）ベースのTransformerにより実現されてもよいし、回帰型のニューラルネットワーク、例えば、ＬＳＴＭ（Long Short-Term Memory）により実現されてもよい。

【0046】

図９に示すように、ＣＬＩＰモデル６０の訓練には、画像およびテキストのペアが訓練データとして用いられる。このような訓練データには、インターネット上のＷｅｂページから画像および画像のキャプションとして記述されたテキストのペアが抽出されたデータセット、いわゆるＷＩＴ（WebImageText）を用いることができる。例えば、リンゴが撮影された写真、あるいはリンゴのイラストが描画された絵などの画像と、そのキャプションとして記述されたテキスト“リンゴの写真”とのペアが訓練データとされる。このようにＷＩＴを訓練データに用いることで、ラベル付けの作業を不要化すると共に大量の訓練データを獲得できる。

【0047】

これら画像およびテキストのペアのうち、画像が画像エンコーダ６２へ入力されると共に、テキストがテキストエンコーダ６１へ入力される。このように画像が入力された画像エンコーダ６２は、当該画像を特徴量空間に埋め込むベクトルを出力する。一方、テキストが入力されたテキストエンコーダ６１は、当該テキストを特徴量空間に埋め込むベクトルを出力する。

【0048】

例えば、図９には、画像１およびテキスト１のペア、画像２およびテキスト２のペア、・・・、画像ＮおよびテキストＮのＮ個のペアの訓練データを含むバッチサイズＮのミニバッチが例示されている。この場合、Ｎ個のペアの画像およびテキストの各々を画像エンコーダ６２およびテキストエンコーダ６１へ入力することにより、Ｎ×Ｎ個の埋め込みベクトルの類似度行列Ｍ１を得ることができる。なお、ここでいう「類似度」は、あくまで一例として、埋め込みベクトル間の内積やコサイン類似度であってよい。

【0049】

ここで、ＣＬＩＰモデル６０の訓練には、Ｗｅｂのテキストのキャプションの形式が様々であることからラベルが不定となるので、Contrastive objectiveと呼ばれる目的関数が用いられる。

【0050】

Contrastive objectiveでは、ミニバッチのｉ番目の画像であればｉ番目のテキストが正しいペアに対応するので、ｉ番目のテキストを正例とする一方で、それ以外の全てのテキストが負例とされる。つまり、訓練データごとに１つの正例およびＮ－１個の負例が設定されるので、ミニバッチ全体ではＮ個の正例およびＮ^２－Ｎ個の負例が生成されることになる。例えば、類似度行列Ｍ１の例でいえば、白黒の反転表示がなされたＮ個の対角成分の要素を正例とし、白地の表示がなされたＮ^２－Ｎ個の要素が負例とされる。

【0051】

このような類似度行列Ｍ１の下、正例に対応するＮ個のペアの類似度を最大化すると共に、負例に対応するＮ^２－Ｎ個のペアの類似度を最小化する画像エンコーダ６２およびテキストエンコーダ６１のパラメータが訓練される。

【0052】

例えば、１番目の画像１の例でいえば、１番目のテキストを正例とし、２番目以降のテキストを負例とし、類似度行列Ｍの行方向に損失、例えばクロスエントロピー誤差を算出する。このような損失の計算をＮ個の画像ごとに実行することで、画像に関する損失が求まる。一方、２番目のテキスト２の例でいえば、２番目の画像を正例とし、２番目以外の全ての画像を負例とし、類似度行列Ｍの列方向に損失を算出する。このような損失の計算をＮ個のテキストごとに実行することで、テキストに関する損失が求まる。これら画像に関する損失およびテキストに関する損失の統計値、例えば平均を最小化するパラメータの更新が画像エンコーダ６２およびテキストエンコーダ６１に実行される。

【0053】

このようなContrastive objectiveを最小化する画像エンコーダ６２およびテキストエンコーダ６１の訓練により、訓練済みのＣＬＩＰモデル６０が生成される。

【0054】

また、ＣＬＩＰモデル６０が参照する参照元データとして、テキスト、いわゆるクラスキャプションのリストが生成され、ＣＬＩＰモデル６０に入力される。参照元データは、例えば、商品データに含まれる商品の属性の分散関係に基づいて、複数の階層ごとに商品の属性が対応付けられたテキストがリスト化されたデータである。

【0055】

ＣＬＩＰモデル６０が参照元データの生成について、より具体的に説明する。参照元データは、例えば、生成部４４によって生成される。まず、生成部４４は、スーパーマーケットなどの店舗の商品リストを取得する。商品リストの取得は、あくまで一例として、店舗の商品がデータベース化された商品マスタに登録された商品の一覧を取得することにより実現することができる。

【0056】

図１０は、商品リストの一例を示す図である。図１０には、店舗で販売される商品全体のうち果物“ぶどう”に関する商品の例として、“シャインマスカット”、“高級巨峰”、“安いぶどうＡ”、“安いぶどうＢ”、および“訳ありぶどうＡ”が抜粋して示されている。

【0057】

さらに、生成部４４は、あくまで一例として、階層構造のテンプレートを取得する。階層構造のテンプレートの取得は、例えば、店舗で販売する商品のカテゴリ、例えば“果物”や“魚”、“肉”などを第１の階層の要素として設定することにより生成できる。図１１は、テンプレートの一例を示す図である。図１１に示すように、テンプレートは、ｒｏｏｔを最上位とする階層構造を有する。さらに、ｒｏｏｔからの深さが「１」である第１の階層には、「果物」、「魚」、「肉」、・・・、「乳製品」などのカテゴリが要素（ノード）として含まれる。なお、図１１では、説明を簡素化する側面から、商品のカテゴリを第１の階層とするテンプレートを例示したが、商品の大分類、例えば果物や魚などの分類を第１の階層とし、商品の小分類、例えばぶどうやりんごなどの分類を第２の階層とすることとしてもよい。

【0058】

次に、生成部４４は、階層構造のテンプレートの最下層、すなわち、図１１の例では、第１の階層の配下に、第１の階層の要素ごとにシステム定義またはユーザ定義により指定された属性、例えば、商品の“価格”に関する属性を付加する。以下、“価格”に関する属性のことを指して「価格属性」と記載する場合がある。なお、付加される属性の一例として、価格属性を挙げるが、他の属性、例えば、商品の色や形、在庫数などが付加されてもよい。

【0059】

図１２は、階層構造データの生成を説明する図（１）である。図１２には、図１１に示すテンプレートに対応する部分の要素が白地で示されると共に、各要素に付加された属性の部分がハッチングで示されている。図１２の例では、第２の階層の各要素に、商品の“価格”に関する属性が付加されている。例えば、第１の階層の要素“果物”には、第２の階層の要素として“高価格ぶどう”および“低価格ぶどう”が付加されている。なお、図１２の例では、１つの要素につき２つの価格属性を付加しているが、付加される属性の要素は２つに限定されず、１つでも３つ以上でもよい。例えば、第１の階層の要素“果物”には、第２の階層の要素“高価格ぶどう”、“中価格ぶどう”、および“低価格ぶどう”の３つの価格属性が付加されてもよい。また、第１の階層の要素ごとに付加される属性の数を変更してもよい。この場合、例えば、第１の階層の要素に属する商品の種類や数、または価格の分散が大きくなるに連れて属性の数を大きくすることもできる。

【0060】

そして、生成部４４は、例えば、生成中の階層構造の最下層の要素、すなわち、図１２の例では、第２の階層に属する価格属性の要素ｋごとに当該要素ｋに対する類似度が所定の閾値ｔｈ１以上である商品を抽出する。

【0061】

図１３は、階層構造データの生成を説明する図（２）である。図１３には、商品のカテゴリ“果物”に関する例が抜粋して示されている。例えば、図１３に示す第２の階層の要素“高価格ぶどう”の場合、対応するテキスト“高価格ぶどう”をＣＬＩＰモデル６０のテキストエンコーダ６１へ入力することにより、第２の階層の要素“高価格ぶどう”の埋め込みベクトルが得られる。一方、図１０に示す商品リストに含まれる商品ごとに当該商品に対するテキストをＣＬＩＰモデル６０のテキストエンコーダ６１へ入力することにより、各商品の埋め込みベクトルが得られる。そして、第２の階層の要素“高価格ぶどう”の埋め込みベクトルと、各商品の埋め込みベクトルとの類似度が算出される。この結果、第２の階層の要素“高価格ぶどう”には、第２の階層の要素“高価格ぶどう”の埋め込みベクトルに対する類似度が閾値ｔｈ１以上である商品“シャインマスカット”および“高級巨峰”が抽出される。同様に、第２の階層の要素“低価格ぶどう”には、第２の階層の要素“低価格ぶどう”の埋め込みベクトルに対する類似度が閾値ｔｈ１以上である商品“安いぶどうＡ”、“安いぶどうＢ”、および“訳ありぶどうＡ”が抽出される。なお、ここでは、テキスト間の埋め込みベクトルのマッチングにより商品を抽出する例を挙げたが、一方または両方を画像の埋め込みベクトルとすることもできる。

【0062】

また、生成部４４は、例えば、生成中の階層構造の全Ｍ階層のうち第１の階層から最下層であるＭ階層を除く第Ｍ－１階層までの各階層の要素ｎごとに当該要素ｎに属する商品の価格の分散Ｖを算出する。その上で、生成部４４は、例えば、価格の分散Ｖが所定の閾値ｔｈ２以下であるか否かを判定する。そして、価格の分散Ｖが閾値ｔｈ２以下である場合、生成部４４は、要素ｎよりも下位の階層の探索の打ち切りを決定する。一方、価格の分散Ｖが閾値ｔｈ２より大きい場合、生成部４４は、階層のループカウンタを１つインクリメントし、１つ下位の階層の各要素について価格の分散の算出および分散の閾値判定を反復する。

【0063】

あくまで一例として、図１３に示す第１の階層をｍ層とし、第１の階層の要素“果物”を要素ｎとする場合を例に挙げる。この場合、第１の階層の要素“果物”には、図１３に破線の枠で示す通り、“シャインマスカット（4500円）”、“高級巨峰（3900円）”、“安いぶどうＡ（350円）”、“安いぶどうＢ（380円）”、“訳ありぶどうＡ（350円）”などの５つの商品が含まれる。また、価格の分散Ｖ_１１は閾値ｔｈ２以下とならないので（図中の判定１）、下層の探索が継続される。すなわち、階層のループカウンタｍを１つインクリメントし、第２の階層がｍ層とされる。

【0064】

次に、図１３に示す第２の階層をｍ層とし、第２の階層の要素“高価格ぶどう”を要素ｎとする場合を例に挙げる。この場合、第２の階層の要素“高価格ぶどう”には、図１３に一点鎖線の枠で示す通り、“シャインマスカット（4500円）”および“高級巨峰（3900円）”などの２つの商品が含まれる。また、価格の分散Ｖ_２１は閾値ｔｈ２以下とはならないが（図中の判定２）、第２の階層の要素“高価格ぶどう”は最下層である第３の階層の１つ上位の階層、すなわち、全Ｍ階層のうち第Ｍ－１階層の要素であるので、探索が終了される。

【0065】

さらに、図１３に示す第２の階層をｍ層とし、第２の階層の要素“低価格ぶどう”を要素ｎとする場合を例に挙げる。この場合、第２の階層の要素“低価格ぶどう”には、図１３に二点鎖線の枠で示す通り、“安いぶどうＡ（350円）”、“安いぶどうＢ（380円）”、および“訳ありぶどうＡ（350円）”などの３つの商品が含まれる。また、価格の分散Ｖ_２２は閾値ｔｈ２以下となるので（図中の判定３）、下層の探索の打ち切りが決定される。

【0066】

そして、生成部４４は、第１の階層の要素ごとに開始される探索の打ち切りが決定されるか、あるいは探索が第Ｍ－１階層の全ての要素が探索されるまで探索を反復する。その上で、生成部４４は、上記の探索時で得られた価格の分散の判定結果に基づいて階層構造の各ルート（route）の深さを決定する。

【0067】

あくまで一例として、図１３の例では、生成部４４は、全Ｍ階層の階層構造の最上位の要素から最下層の要素までのルートに商品の価格の分散が閾値ｔｈ２以下である要素が存在する場合、当該要素を終端ノードに設定する。一方、生成部４４は、図１３の例では、最上位の要素から最下層の要素までのルートに商品の価格の分散が閾値ｔｈ２以下である要素が存在しない場合、商品に対応する要素を終端ノードに設定する。

【0068】

例えば、図１３に示す例において、第１の階層の要素“果物”と、第２の階層の要素“高価格ぶどう”と、第３の階層の要素“シャインマスカット”または“高級巨峰”とを結ぶルートを例に挙げる。当該ルートでは、第１の階層の要素“果物”における価格の分散Ｖ_１１および第２の階層の要素“高価格ぶどう”における価格の分散Ｖ_２１のいずれにおいても閾値ｔｈ２以下と判定されない。そのため、当該ルートでは、第３の階層の要素“シャインマスカット”および“高級巨峰”が終端ノードに設定される。

【0069】

一方、図１３に示す例において、第１の階層の要素“果物”と、第２の階層の要素“低価格ぶどう”と、第３の階層の要素“安いぶどうＡ”、“安いぶどうＢ”、または“訳ありぶどうＡ”とを結ぶルートを例に挙げる。当該ルートでは、第１の階層の要素“果物”における価格の分散Ｖ_１１は閾値ｔｈ２以下と判定されないが、第２の階層の要素“低価格ぶどう”における価格の分散Ｖ_２２が閾値ｔｈ２以下と判定される。そのため、当該ルートでは、第２の階層の要素“低価格ぶどう”が終端ノードに設定される。

【0070】

このように、図１３に示すＭ階層の階層構造の各ルートの深さが決定されることにより、階層構造が確定され、階層構造データが生成される。また、生成された階層構造データに基づいて、ＣＬＩＰモデル６０が参照する参照元データとして、テキスト、いわゆるクラスキャプションのリストが生成される。なお、生成された階層構造データや参照元データは、例えば、モデルＤＢ３２などに記憶されてよい。

【0071】

図１４は、階層構造データの一例を示す図である。図１４の例では、商品の価格の分散が閾値ｔｈ２以下である終端ノードより下位の階層の要素は階層構造データには含まれないため、破線で示されている。すなわち、図１４の第１の階層の要素“果物”が含まれるルートを例とすると、階層構造データには、第１の階層の要素“果物”と、第２の階層の要素“高価格ぶどう”と、第３の階層の要素“シャインマスカット”または“高級巨峰”とを結ぶルートが含まれる。さらに、図１４に示すように、階層構造データには、第１の階層の要素“果物”と、第２の階層の要素“低価格ぶどう”とを結ぶルートが含まれる。

【0072】

このような階層構造データに基づくクラスキャプションのリストがＣＬＩＰモデル６０の一例であるゼロショット画像分類器に入力される。例えば、第１の階層のクラスキャプションのリストとして、テキスト“果物”およびテキスト“魚”などのリストがＣＬＩＰモデル６０のテキストエンコーダ６１へ入力される。また、画像エンコーダ６２への入力画像に対応するクラスのラベルとして“果物”がＣＬＩＰモデルにより出力されたとする。この場合、第２の階層のクラスキャプションのリストとして、テキスト“高価格ぶどう”および“低価格ぶどう”のリストがＣＬＩＰモデル６０のテキストエンコーダ６１に入力される。

【0073】

このように、階層構造の上位の階層から順に同一の階層に属する商品の属性に対応するテキストがリスト化されたリストがＣＬＩＰモデル６０のクラスキャプションとして入力される。これにより、ＣＬＩＰモデル６０に階層単位で商品の候補の絞り込みを実行させることができる。このため、店舗の全ての商品に対応するテキストのリストをＣＬＩＰモデル６０のクラスキャプションとして入力する場合に比べてタスク実現の処理コストを削減できる。

【0074】

さらに、ＣＬＩＰモデル６０に参照させる階層構造では、商品の価格の分散が閾値ｔｈ２以下である要素よりも下位の要素が省略されるので、不正行為の発生時の被害額の差が少ない商品同士をクラスタリングできる。これにより、さらなるタスク実現の処理コストの削減を実現できる。

【0075】

図７の説明に戻り、また、生成部４４は、例えば、選択部４３によって選択された商品候補と、取得部４１によって取得された、セルフレジ端末１００である会計機に登録された商品の情報とに基づいて、会計機に登録された商品の異常を示すアラートを生成する。

【0076】

なお、図６を用いて説明したように、類似する商品間でスコア値が拮抗するなどした場合に、選択部４３によって選択された商品候補が誤って認識されている場合があり得る。そのため、生成部４４は、例えば、次に示すように、当該アラートを生成するか否かを判定した上で、アラートの生成が必要な場合にアラートを生成する。

【0077】

図１５は、本実施形態にかかる不正検知の一例を示す図である。図１５に示す各商品のスコアは、図６に示すものと同一である。この場合、最も高いスコア値を示す“watermelon”（すいか）が画像認識結果として出力され、商品候補として選択される。しかしながら、クラス“watermelon”（すいか）とクラス“melon”（メロン）とのスコア値が拮抗しているため、当該商品候補は誤って認識された可能性がある。

【0078】

そこで、本実施形態では、図１５に示すように、最も高いスコア値を示す商品、すなわち商品候補と、セルフレジ端末１００に登録された商品の情報に基づく商品のスコア値を比較することにより、顧客の不正行為を検知する。これは、映像から認識される商品は誤っている可能性があるとしても、映像に映った商品と、セルフレジ端末１００に登録された商品とが異なっていることさえわかれば、不正行為が行われている可能性が高いという考えによる。

【0079】

図１５の例では、セルフレジ端末１００に登録された商品はバナナ（banana）であったが、映像から認識された商品はすいか（watermelon）であり、両商品のスコア値が０．２など所定の閾値以上の差があるため、両商品は明らかに異なるものである。このような場合、生成部４４は、顧客の不正行為を検知し、セルフレジ端末１００に登録された商品の異常を示すアラートを生成すると判定する。

【0080】

アラートの生成判定についてより具体的に示す。（１）まず、生成部４４は、例えば、複数の商品候補のそれぞれに対するスコアの中から、スコアの大きさが最大である第１のスコアの商品候補を特定する。（２）次に、生成部４４は、例えば、複数の商品候補のそれぞれに対するスコアの中から、セルフレジ端末１００である会計機に登録された商品に対応する第２のスコアを特定する。（３）そして、生成部４４は、例えば、当該第１のスコアの商品候補と、当該会計機に登録された商品とが一致しない場合、当該第１のスコアと当該第２のスコアとの差分に基づいて、アラートを生成するか否かを判定する。（３）の判定について、例えば、上述したように、第１のスコアと第２のスコアとの差分が所定の閾値以上ある場合に、両スコアの各々に対応する商品は異なるものであると認識され、当該会計機に登録された商品の異常を示すアラートを生成すると判定される。

【0081】

図７の説明に戻り、出力部４５は、例えば、セルフレジ端末１００に登録された商品の異常を示すアラートを生成する場合、予め設定されたメッセージをセルフレジ端末１００である会計機に表示させる。当該メッセージとは、例えば、「店員がまいりますので少々お待ちください。」や「他に商品はございませんでしょうか。」などであり、顧客に確認を促すと共に、店員が到着するまでの時間を稼ぐためのメッセージである。

【0082】

また、出力部４５は、例えば、異常のある商品が登録されたセルフレジ端末１００である会計機の識別子を含むアラートを、店員端末３００である、店員が利用する情報処理端末に出力させる。当該アラートを受け、店員は、アラートに示されたセルフレジ端末１００に向かい、顧客がセルフレジ端末１００に登録した商品などの確認を行う。

【0083】

［処理の流れ］
次に、図１６を用いて、情報処理装置１０によって実行される不正検知処理の流れを説明する。図１６は、本実施形態にかかる不正検知処理の流れを示すフローチャートである。図１６に示す不正検知処理は、例えば、情報処理装置１０が、顧客によってセルフレジ端末１００に登録された商品情報を、セルフレジ端末１００から受信した際などに開始されてよい。

【0084】

まず、図１６に示すように、情報処理装置１０は、例えば、カメラ装置２００によって撮影された、セルフレジ端末１００に登録する商品を把持する人物の映像を映像ＤＢ３１から取得する（ステップＳ１０１）。なお、映像ＤＢ３１には、セルフレジ端末１００ごとに、カメラ装置２００によって撮影された映像が随時記憶されるため、例えば、セルフレジ端末１００から受信した商品情報に含まれるシステム日時や識別子などに基づいて、取得する映像が決定されてよい。

【0085】

次に、情報処理装置１０は、例えば、ステップＳ１０１で取得した映像を、機械学習モデルに入力することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出する（ステップＳ１０２）。

【0086】

次に、情報処理装置１０は、例えば、ステップＳ１０２で算出したスコアに基づいて、複数の商品候補の中から、映像に含まれる商品としての商品候補を選択する（ステップＳ１０３）。これは、例えば、ステップＳ１０２で算出したスコアが最大の商品が商品候補として選択される。

【0087】

次に、情報処理装置１０は、例えば、セルフレジ端末１００を人物が操作することで当該セルフレジ端末１００に登録された商品の情報を、商品情報３４から取得する（ステップＳ１０４）。なお、ステップＳ１０４の商品情報の取得は、ステップＳ１０１～Ｓ１０３の前に実行されてもよいし、並行して実行されてもよい。

【0088】

次に、情報処理装置１０は、例えば、ステップＳ１０３で選択された商品候補の商品と、ステップＳ１０４で取得した、セルフレジ端末１００に登録された商品の情報の商品とが一致するか否かを判定する（ステップＳ１０５）。両商品が一致する場合（ステップＳ１０５：Ｙｅｓ）、不正行為は行われていないと判断し、図１６に示す不正検知処理は終了する。

【0089】

一方、両商品が一致しない場合（ステップＳ１０５：Ｎｏ）、情報処理装置１０は、例えば、不正行為を検知し、セルフレジ端末１００に登録された商品の異常を示すアラートを生成する（ステップＳ１０６）。

【0090】

次に、情報処理装置１０は、例えば、ステップＳ１０６で生成されたアラートを店員端末３００に出力する（ステップＳ１０７）。ステップＳ１０７の実行後、図１６に示す不正検知処理は終了するが、情報処理装置１０は、さらに、「店員がまいりますので少々お待ちください。」など、予め設定されたメッセージを、不正行為を検知したセルフレジ端末１００に出力してもよい。

【0091】

図１６に示す不正検知処理は、映像に含まれる商品の信頼度を示すスコアに基づいて商品候補を選択する処理であるが、図１７を用いて、階層構造データに基づいて商品候補を選択する別例を説明する。図１７は、本実施形態にかかる不正検知処理の流れの別例を示すフローチャートである。図１７に示す不正検知処理も、図１６に示す不正検知処理同様、例えば、セルフレジ端末１００から商品情報を受信した際などに開始されてよい。

【0092】

まず、図１７に示すように、図１６に示す不正検知処理同様、情報処理装置１０は、例えば、セルフレジ端末１００に登録する商品を把持する人物の映像を映像ＤＢ３１から取得する（ステップＳ２０１）。

【0093】

次に、情報処理装置１０は、例えば、参照元データをモデルＤＢ３２から取得する（ステップＳ２０２）。当該参照元データは、図９～図１４を用いて説明したように、例えば、図１０の商品リストや、図１１のテンプレートを用いて、図１４に示されるような階層構造データを生成し、当該階層構造データに基づいて生成されたクラスキャプションのリストであってよい。

【0094】

次に、情報処理装置１０は、例えば、ステップＳ２０１で取得した映像、およびステップＳ２０２で取得した参照元データを、ＣＬＩＰモデル６０に入力することで、映像に含まれる商品としての商品候補を選択する（ステップＳ２０３）。ステップＳ２０４～Ｓ２０７は、図１６に示す不正検知処理のステップＳ１０４～Ｓ１０７と同様である。ステップＳ２０７の実行後、図１７に示す不正検知処理は終了する。

【0095】

［効果］
上述したように、情報処理装置１０は、セルフレジ端末１００に登録する商品を把持する人物の映像を取得し、取得した映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出し、セルフレジ端末１００を人物が操作することでセルフレジ端末１００に登録された商品の情報を取得し、算出されたスコアに基づいて、複数の商品候補の中から商品候補を選択し、選択された商品候補と、取得した商品の情報とに基づいて、セルフレジ端末１００に登録された商品の異常を示すアラートを生成する。

【0096】

このように、情報処理装置１０は、映像に含まれる人物が把持する商品の信頼度スコアに基づいて選択された商品候補と、セルフレジ端末１００に登録された商品とに基づいてアラートを生成する。これにより、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知できる。また、セルフレジ端末１００に登録された商品の異常を示すアラートを生成する際に、情報処理装置１０の処理量を削減できる。

【0097】

また、情報処理装置１０によって実行される、スコアを算出する処理は、取得した映像を、機械学習モデルに入力することで、複数の商品候補のそれぞれに対して、スコアを算出する処理を含む。

【0098】

これにより、情報処理装置１０は、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知できる。

【0099】

また、会計機は、セルフレジ端末１００である。

【0100】

これにより、情報処理装置１０は、顧客自らが購入対象の商品をセルフレジ端末１００に登録するシステムにおける顧客の不正行為をより正確に検知できる。

【0101】

また、情報処理装置１０は、複数の商品候補のそれぞれに対するスコアの中から、スコアの大きさが最大である第１のスコアの商品候補を特定し、複数の商品候補のそれぞれに対するスコアの中から、セルフレジ端末１００に登録された商品に対応する第２のスコアを特定し、第１のスコアの商品候補と、セルフレジ端末１００に登録された商品とが一致しない場合、第１のスコアと第２のスコアとの差分に基づいて、アラートを生成するか否かを判定する。

【0102】

これにより、情報処理装置１０は、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知できる。

【0103】

また、情報処理装置１０は、複数の階層ごとに商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した映像を入力することで、第１の階層の商品の属性の中から、映像に含まれる第１の商品の属性を特定し、特定した第１の商品の属性に基づいて、第１の階層の配下の第２の階層の商品の属性の中から、第２の商品の属性を特定し、取得した映像を機械学習モデルに入力することで、第２の商品の属性の中から、映像に含まれる商品の属性を、商品候補として選択する。

【0104】

これにより、情報処理装置１０は、より正確かつ詳細に、映像に含まれる商品を、商品候補として選択できる。

【0105】

また、情報処理装置１０は、アラートを生成する場合、予め設定されたメッセージをセルフレジ端末１００に表示させる。

【0106】

これにより、情報処理装置１０は、顧客に確認を促すと共に、店員が到着するまでの時間を稼ぐことができる。

【0107】

また、情報処理装置１０は、異常のある商品が登録されたセルフレジ端末１００の識別子を含むアラートを、店員が利用する情報処理端末に出力させる。

【0108】

これにより、情報処理装置１０は、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為を店員に通知できる。

【0109】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

【0110】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0111】

［ハードウェア］
図１８は、情報処理装置１０のハードウェア構成例を説明する図である。図１８に示すように、情報処理装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１８に示した各部は、バスなどで相互に接続される。

【0112】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、図７に示した機能を動作させるプログラムやデータを記憶する。

【0113】

プロセッサ１０ｄは、図７に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図７などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部４１や算出部４２などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、取得部４１や算出部４２などと同様の処理を実行するプロセスを実行する。

【0114】

このように、情報処理装置１０は、図７に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータがプログラムを実行する場合や、情報処理装置１０と他のコンピュータとが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0115】

また、図７に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0116】

図１９は、セルフレジ端末１００のハードウェア構成例を説明する図である。図１９に示すように、セルフレジ端末１００は、通信インタフェース１００ａ、ＨＤＤ１００ｂ、メモリ１００ｃ、プロセッサ１００ｄ、入力装置１００ｅ、出力装置１００ｆを有する。また、図１９に示した各部は、バスなどで相互に接続される。

【0117】

通信インタフェース１００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１００ｂは、セルフレジ端末１００の各機能を動作させるプログラムやデータを記憶する。

【0118】

プロセッサ１００ｄは、セルフレジ端末１００の各機能の処理を実行するプログラムをＨＤＤ１００ｂなどから読み出してメモリ１００ｃに展開することで、セルフレジ端末１００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末１００が有する各処理部と同様の機能を実行する。

【0119】

このように、セルフレジ端末１００は、セルフレジ端末１００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末１００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末１００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0120】

また、セルフレジ端末１００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0121】

入力装置１００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。入力装置１００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置１００ｅによって検知される入力操作には、例えば、タッチ操作が含まれてよい。当該タッチ操作の場合、セルフレジ端末１００は、例えば、タッチパネル式のディスプレイ装置を備え、入力装置１００ｅによって検知される入力操作は、当該ディスプレイ装置に対するタッチ操作であってよい。また、入力装置１００ｅによって検知される入力操作には、例えば、バーコードやクレジットカードなどの読み取り操作が含まれてよい。バーコードの読み取り操作の場合、入力装置４００ｅは、例えば、光源と光センサとを有するコードリーダを備え、入力装置１００ｅによって検知される入力操作は、当該コードリーダに対するバーコードなどの読み取り操作であってよい。なお、入力装置１００ｅによって検知される入力操作が行われるタッチパネル式のディスプレイ装置やコードリーダなどは、セルフレジ端末１００と通信可能に接続される外付けの装置であってよい。

【0122】

出力装置１００ｆは、プロセッサ１００ｄによって実行されるプログラムから出力されるデータを表示するディスプレイ装置や、当該データを印刷するプリンタ装置、当該データに基づいた音声を再生する音声出力装置であってよい。なお、当該ディスプレイ装置やコードリーダなどは、セルフレジ端末１００と通信可能に接続される外付けの装置であってよい。

【0123】

図２０は、店員端末３００のハードウェア構成例を説明する図である。図２０に示すように、店員端末３００は、通信インタフェース３００ａ、ＨＤＤ３００ｂ、メモリ３００ｃ、プロセッサ３００ｄ、入力装置３００ｅ、表示装置３００ｆを有する。また、図２０に示した各部は、バスなどで相互に接続される。

【0124】

通信インタフェース３００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ３００ｂは、店員端末３００の各機能を動作させるプログラムやデータを記憶する。

【0125】

プロセッサ３００ｄは、店員端末３００の各機能の処理を実行するプログラムをＨＤＤ３００ｂなどから読み出してメモリ３００ｃに展開することで、店員端末３００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、店員端末３００が有する各処理部と同様の機能を実行する。

【0126】

このように、店員端末３００は店員端末３００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、店員端末３００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで店員端末３００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、店員端末３００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0127】

また、店員端末３００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0128】

入力装置３００ｅは、プロセッサ３００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や店員端末３００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示装置３００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示装置３００ｆに対し、例えば、指などの物体を近づける動作を含む。入力装置３００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

【0129】

表示装置３００ｆは、プロセッサ３００ｄによる制御に基づいて各種視覚情報を表示する。表示装置３００ｆは、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、ＯＬＥＤ（Organic Light Emitting Diode）、いわゆる有機ＥＬ（Electro Luminescence）ディスプレイなどであってよい。

【0130】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0131】

（付記１）会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0132】

（付記２）前記スコアを算出する処理は、
取得した前記映像を、機械学習モデルに入力することで、前記複数の商品候補のそれぞれに対して、前記スコアを算出する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。

【0133】

（付記３）前記会計機は、セルフレジ端末であることを特徴とする付記１に記載の情報処理プログラム。

【0134】

（付記４）前記複数の商品候補のそれぞれに対する前記スコアの中から、前記スコアの大きさが最大である第１のスコアの前記商品候補を特定し、
前記複数の商品候補のそれぞれに対する前記スコアの中から、前記会計機に登録された前記商品に対応する第２のスコアを特定し、
前記第１のスコアの前記商品候補と、前記会計機に登録された前記商品とが一致しない場合、前記第１のスコアと前記第２のスコアとの差分に基づいて、前記アラートを生成するか否かを判定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0135】

（付記５）複数の階層ごとに前記商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した前記映像を入力することで、第１の階層の前記商品の属性の中から、前記映像に含まれる第１の商品の属性を特定し、
特定した前記第１の商品の属性に基づいて、前記第１の階層の配下の第２の階層の前記商品の属性の中から、第２の商品の属性を特定し、
取得した前記映像を前記機械学習モデルに入力することで、前記第２の商品の属性の中から、前記映像に含まれる前記商品の属性を、前記商品候補として選択する
処理を前記コンピュータに実行させることを特徴とする付記２に記載の情報処理プログラム。

【0136】

（付記６）前記アラートを生成する場合、予め設定されたメッセージを前記会計機に表示させる
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0137】

（付記７）異常のある前記商品が登録された前記会計機の識別子を含む前記アラートを、店員が利用する情報処理端末に出力させる
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0138】

（付記８）会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0139】

（付記９）前記スコアを算出する処理は、
取得した前記映像を、機械学習モデルに入力することで、前記複数の商品候補のそれぞれに対して、前記スコアを算出する
処理を含むことを特徴とする付記８に記載の情報処理方法。

【0140】

（付記１０）前記会計機は、セルフレジ端末であることを特徴とする付記８に記載の情報処理方法。

【0141】

（付記１１）前記複数の商品候補のそれぞれに対する前記スコアの中から、前記スコアの大きさが最大である第１のスコアの前記商品候補を特定し、
前記複数の商品候補のそれぞれに対する前記スコアの中から、前記会計機に登録された前記商品に対応する第２のスコアを特定し、
前記第１のスコアの前記商品候補と、前記会計機に登録された前記商品とが一致しない場合、前記第１のスコアと前記第２のスコアとの差分に基づいて、前記アラートを生成するか否かを判定する
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0142】

（付記１２）複数の階層ごとに前記商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した前記映像を入力することで、第１の階層の前記商品の属性の中から、前記映像に含まれる第１の商品の属性を特定し、
特定した前記第１の商品の属性に基づいて、前記第１の階層の配下の第２の階層の前記商品の属性の中から、第２の商品の属性を特定し、
取得した前記映像を前記機械学習モデルに入力することで、前記第２の商品の属性の中から、前記映像に含まれる前記商品の属性を、前記商品候補として選択する
処理を前記コンピュータが実行することを特徴とする付記９に記載の情報処理方法。

【0143】

（付記１３）前記アラートを生成する場合、予め設定されたメッセージを前記会計機に表示させる
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0144】

（付記１４）異常のある前記商品が登録された前記会計機の識別子を含む前記アラートを、店員が利用する情報処理端末に出力させる
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0145】

（付記１５）会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理を実行する制御部を有することを特徴とする情報処理装置。

【0146】

（付記１６）前記スコアを算出する処理は、
取得した前記映像を、機械学習モデルに入力することで、前記複数の商品候補のそれぞれに対して、前記スコアを算出する
処理を含むことを特徴とする付記１５に記載の情報処理装置。

【0147】

（付記１７）前記会計機は、セルフレジ端末であることを特徴とする付記１５に記載の情報処理装置。

【0148】

（付記１８）前記複数の商品候補のそれぞれに対する前記スコアの中から、前記スコアの大きさが最大である第１のスコアの前記商品候補を特定し、
前記複数の商品候補のそれぞれに対する前記スコアの中から、前記会計機に登録された前記商品に対応する第２のスコアを特定し、
前記第１のスコアの前記商品候補と、前記会計機に登録された前記商品とが一致しない場合、前記第１のスコアと前記第２のスコアとの差分に基づいて、前記アラートを生成するか否かを判定する
処理を前記制御部が実行することを特徴とする付記１５に記載の情報処理装置。

【0149】

（付記１９）複数の階層ごとに前記商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した前記映像を入力することで、第１の階層の前記商品の属性の中から、前記映像に含まれる第１の商品の属性を特定し、
特定した前記第１の商品の属性に基づいて、前記第１の階層の配下の第２の階層の前記商品の属性の中から、第２の商品の属性を特定し、
取得した前記映像を前記機械学習モデルに入力することで、前記第２の商品の属性の中から、前記映像に含まれる前記商品の属性を、前記商品候補として選択する
処理を前記制御部が実行することを特徴とする付記１６に記載の情報処理装置。

【0150】

（付記２０）前記アラートを生成する場合、予め設定されたメッセージを前記会計機に表示させる
処理を前記制御部が実行することを特徴とする付記１５に記載の情報処理装置。

【0151】

（付記２１）異常のある前記商品が登録された前記会計機の識別子を含む前記アラートを、店員が利用する情報処理端末に出力させる
処理を前記制御部が実行することを特徴とする付記１５に記載の情報処理装置。

【0152】

（付記２２）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理を実行することを特徴とする情報処理装置。

【符号の説明】

【0153】

１ 情報処理システム
１０ 情報処理装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
３１ 映像ＤＢ
３２ モデルＤＢ
３３ 画像認識結果
３４ 商品情報
４０ 制御部
４１ 取得部
４２ 算出部
４３ 選択部
４４ 生成部
４５ 出力部
５０ ネットワーク
６０ ＣＬＩＰモデル
６１ テキストエンコーダ
６２ 画像エンコーダ
１００ セルフレジ端末
１００ａ 通信インタフェース
１００ｂ ＨＤＤ
１００ｃ メモリ
１００ｄ プロセッサ
１００ｅ 入力装置
１００ｆ 出力装置
１５０ コードリーダ
１６０ 商品
１７０ ラベル
１８０ 人物ＢＢ
１９０ 物体ＢＢ
２００ カメラ装置
２５０ 画像データ
３００ 店員端末
３００ａ 通信インタフェース
３００ｂ ＨＤＤ
３００ｃ メモリ
３００ｄ プロセッサ
３００ｅ 入力装置
３００ｆ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】