特開 2024-89579 アラート出力プログラム、アラート出力方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089579

(43)【公開日】2024-07-03

(54)【発明の名称】アラート出力プログラム、アラート出力方法及び情報処理装置

(51)【国際特許分類】

   G08B 13/196 20060101AFI20240626BHJP

   G06Q 30/0601 20230101ALI20240626BHJP

   G08B 25/04 20060101ALI20240626BHJP

   H04N 7/18 20060101ALI20240626BHJP

【ＦＩ】

G08B13/196

G06Q30/0601 308

G08B25/04 E

H04N7/18 D

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022204996

(22)【出願日】2022-12-21

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】宮原 捺希

(72)【発明者】

【氏名】川村 亮介

【テーマコード（参考）】

5C054

5C084

5C087

5L030

5L049

【Ｆターム（参考）】

5C054CE14

5C054DA09

5C054FC12

5C054FE11

5C054FE28

5C054HA18

5C084AA02

5C084AA03

5C084CC33

5C084DD11

5C084EE01

5C084EE07

5C084GG20

5C087AA19

5C087DD05

5C087DD31

5C087EE08

5C087FF01

5C087FF02

5C087GG02

5C087GG08

5C087GG09

5C087GG70

5C087GG83

5L030BB72

5L049BB72

(57)【要約】

【課題】店内における万引きを抑制することを課題とする。
【解決手段】情報処理装置は、商品が配置された店内の映像を取得し、取得した映像を分析することで、映像の中から商品を含む第一の領域と、商品を購入する対象の人物を含む第二の領域と、商品および人物の相互作用を識別した関係性とを特定し、関係性が所定の条件を満たすときは、関係性に基づいて、第一の領域に含まれる商品に対して第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、異常であると判定されたときは、商品に対する異常な行動をする人物が出現したことを示すアラートを出力する。
【選択図】図７

【特許請求の範囲】

【請求項1】

商品が配置された店内の映像を取得し、
取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、
前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、
前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、
処理をコンピュータに実行させることを特徴とするアラート出力プログラム。

【請求項2】

前記判定する処理は、前記商品および前記人物の相互作用を識別した関係性に基づいて、前記人物が商品を把持する行動を識別し、前記第一の領域の画像に基づいて、前記第一の領域に含まれる商品の項目を特定し、特定された商品の項目が所定の商品であるときは、前記人物が前記商品と同種の商品を把持する行動の回数に基づいて、前記人物の商品に対する行動が異常であるか否かを判定する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。

【請求項3】

前記判定する処理は、前記商品および前記人物の相互作用を識別した関係性に基づいて、前記人物が前記商品を把持する行動を識別し、前記人物が前記商品を把持する行動を識別したときの第二の領域に含まれる人物の店内での位置を特定し、特定した位置が、所定の商品を配置するエリアであるときは、前記人物が前記エリアで商品を把持する行動の回数に基づいて、前記人物の商品に対する行動が異常であるか否かを判定する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。

【請求項4】

前記判定する処理は、前記商品および前記人物の相互作用を識別した関係性に基づいて、前記人物が前記商品を把持する行動を識別し、前記映像を分析することで、前記人物が前記商品を把持する行動を識別した前後にて、前記第二の領域が属するエリアに配置された商品数を分析し、分析した結果に基づいて、前記人物の商品に対する行動が異常であるか否かを判定する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。

【請求項5】

前記判定する処理は、前記第一の領域と、前記第二の領域と、前記関係性とに基づいて、前記人物の商品に対する異常な行動が発生したか否かを判定する処理を含み、
前記出力する処理は、異常な行動が発生したと判定されたときは、前記第二の領域の位置に基づいて、店内における第二の領域に含まれる人物の位置を特定し、特定した位置を、前記アラートとともに、店員が携帯する端末に通知する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。

【請求項6】

前記特定する処理は、取得した映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性を特定する処理を含み、
前記機械学習モデルは、商品を購入する人物を示す第１クラスおよび前記人物が出現する領域を示す第１領域情報と、前記商品を含む物体を示す第２クラスおよび前記物体が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである、
ことを特徴とする請求項１に記載のアラート出力プログラム。

【請求項7】

前記特定する処理は、
取得した映像を機械学習モデルに入力することで、前記映像の内の人物と商品について、前記第一の領域と、前記第二の領域と、前記第一の領域と前記第二の領域との前記関係性を示すクラスを特定し、
特定された前記関係性のクラスが連続して把持を示すクラスである期間を特定し、
特定された前記連続して把持を示すクラスである期間に基づいて、前記人物が商品を把持する行動を追跡し、
前記判定する処理は、
追跡された前記人物が商品を把持する行動の時間長に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定する、
ことを特徴とする請求項１に記載のアラート出力プログラム。

【請求項8】

商品が配置された店内の映像を取得し、
取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、
前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、
前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、
処理をコンピュータが実行することを特徴とするアラート出力方法。

【請求項9】

商品が配置された店内の映像を取得し、
取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、
前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、
前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アラート出力プログラム、アラート出力方法及び情報処理装置に関する。

【背景技術】

【0002】

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入する利用者自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point of sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費の抑制を実現することができる。また、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出するものがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１６５４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、映像から抽出されるBboxの位置関係は２次元空間によるものなので、例えば、Bbox間の奥行きについては分析できず、人物と物体との関係を識別することが難しい。また、上記のセルフレジでは、商品コードのスキャンや精算が利用者自身に委ねられるので、店内における万引きを抑制することが困難である側面がある。

【0005】

１つの側面では、店内における万引きを抑制できるアラート出力プログラム、アラート出力方法及び情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、アラート出力プログラムは、商品が配置された店内の映像を取得し、取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、処理をコンピュータに実行させる。

【発明の効果】

【0007】

一実施形態によれば、店内における万引きを抑制できる。

【図面の簡単な説明】

【0008】

【図1】図１は、システムの構成例を示す図である。

【図2】図２は、情報処理装置の機能構成例を示すブロック図である。

【図3】図３は、機械学習モデルの訓練データを説明する図である。

【図4】図４は、ＨＯＩＤモデルの訓練例を示す模式図である。

【図5】図５は、ＨＯＩＤモデルの出力例を示す図である。

【図6】図６は、ＨＯＩＤモデルの出力結果の履歴の一例を示す模式図である。

【図7】図７は、アラートの出力例を示す図である。

【図8】図８は、顧客位置の表示例を示す図である。

【図9】図９は、映像取得処理の流れを示すフローチャートである。

【図10】図１０は、アラート出力処理の手順を示すフローチャートである。

【図11】図１１は、応用例１にかかるアラート出力処理の手順を示すフローチャートである。

【図12】図１２は、特定エリアの一例を示す図である。

【図13】図１３は、ＨＯＩＤモデルの出力例を示す図である。

【図14】図１４は、把持行動前後の差分の一例を示す図である。

【図15】図１５は、情報処理装置のハードウェア構成例を示す図である。

【図16】図１６は、セルフレジ端末のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示するアラート出力プログラム、アラート出力方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0010】

＜１．全体構成＞
図１は、システムの構成例を示す図である。図１に示すシステム１は、スーパーマーケットやコンビニエンスストアなどの店舗３で撮像される映像を用いて不正が検出された場合にアラートを出力するアラート出力機能を提供するものである。

【0011】

図１に示すように、システム１には、情報処理装置１０と、カメラ２０と、セルフレジ３０と、店員端末５０とが含まれ得る。これら情報処理装置１０、カメラ２０、セルフレジ３０および店員端末５０は、ネットワークＮＷを介して接続される。例えば、ネットワークＮＷは、有線や無線を問わず様々な通信網であってよい。

【0012】

情報処理装置１０は、上記のアラート出力機能を提供するコンピュータの一例である。例えば、情報処理装置１０は、ＰａａＳ（Platform as a Service）型、あるいはＳａａＳ（Software as a Service）型のアプリケーションとして実現することで、上記のアラート出力機能をクラウドサービスとして提供できる。この他、情報処理装置１０は、上記のアラート出力機能をオンプレミスに提供するサーバとして実現することもできる。

【0013】

カメラ２０は、映像を撮像する撮像装置の一例である。カメラ２０は、店舗３内の特定の範囲、例えば商品の売り場、商品の陳列棚、あるいは精算コーナーに設置されるセルフレジ３０を含むエリアを撮影可能に設置される。これにより、例えば、店員５が顧客２に接客する構図や顧客２が商品の陳列棚などで行動する構図、顧客２がセルフレジ３０で精算を行う構図などが撮影され得る。

【0014】

このようにカメラ２０により撮像される映像のデータは、情報処理装置１０送信される。例えば、映像のデータには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ２０があるタイミングで撮影した静止画像の画像データである。以下、映像のデータのことを指して「映像データ」と表記する場合がある。

【0015】

セルフレジ３０は、商品を購入する顧客自身が購入商品のレジ登録および精算（支払い）を行う会計機の一例である。セルフレジ３０は、“Self checkout”、“automated checkout”、“self-checkout machine”や“self-check-out register”などと呼ばれる。例えば、顧客２が購入対象の商品をセルフレジ３０のスキャン領域に移動させると、セルフレジ３０は、商品に印刷または貼付されたコードをスキャンして、購入対象の商品を登録する。

【0016】

顧客２は、上記のレジ登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ３０のタッチパネル等を操作し、精算要求を行う。セルフレジ３０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ３０は、顧客２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に登録しておき、セルフレジデータ（商品情報）として、情報処理装置１０に送信する。

【0017】

店員端末５０は、店員５により使用される端末装置である。１つの側面として、店員端末５０は、上記のアラート出力機能の提供を受けるクライアントとして機能する。例えば、店員端末５０は、携帯端末装置やウェアラブル端末などにより実現されてよい。これはあくまで一例に過ぎず、店員端末５０は、デスクトップ型またはラップトップ型のパーソナルコンピュータなどの任意のコンピュータにより実現されてよい。

【0018】

このような構成において、情報処理装置１０は、商品が配置された店内の映像を取得する。そして、情報処理装置１０は、取得した映像を分析することで、映像の中から商品を含む第一の領域と、商品を購入する対象の人物を含む第二の領域と、商品および人物の相互作用を識別した関係性とを特定する。その上で、情報処理装置１０は、関係性が所定の条件を満たすときは、関係性に基づいて、第一の領域に含まれる商品に対して第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、異常であると判定されたときは、商品に対する異常な行動をする人物が出現したことを示すアラートを出力する。

【0019】

これにより、１つの側面として、顧客とまとめ買いに不向きな商品との関係性として複数回にわたる把持等の特定時に異常を検出してアラートを出力できるので、店内における万引きを抑制できる。

【0020】

＜２．機能構成＞
図２は、情報処理装置１０の機能構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１３、制御部１５を有する。

【0021】

＜２－１．通信部＞
通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、カメラ２０から映像データを受信し、制御部１５による処理結果を店員端末５０などに送信する。

【0022】

＜２－２．記憶部＞
記憶部１３は、各種データや制御部１５が実行するプログラムなどを記憶する処理部であり、例えば、メモリやハードディスクなどにより実現される。記憶部１３は、訓練データＤＢ１３Ａ、機械学習モデル１３Ｂ、映像データＤＢ１３Ｃ、出力結果ＤＢ１３Ｄを記憶する。

【0023】

＜２－２－１．訓練データＤＢ＞
訓練データＤＢ１３Ａは、ヒト、モノ、ヒトとモノの関係性を検出する機械学習モデル１３Ｂの訓練に使用されるデータを記憶するデータベースである。例えば、図３を用いて、機械学習モデル１３ＢにＨＯＩＤ（Human Object Interaction Detection）が採用されている例を説明する。図３は、機械学習モデル１３Ｂの訓練データを説明する図である。図３に示すように、各訓練データは、入力データとなる画像データと、当該画像データに対して設定された正解情報とを有する。

【0024】

正解情報には、検出対象であるヒトおよびモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box：物体の領域情報）とが設定される。例えば、正解情報として、商品のアイテムを識別するアイテム名「タンブラーＡ」を示すクラス、商品を購入する対象の人物、例えば顧客２を示すクラス「客」、モノおよびヒトの領域情報、並びに、モノとヒトとの相互作用を示す関係性「把持」が設定される。なお、商品を購入する対象以外の人物、例えば店員５には、負例のクラスラベル、例えば「客以外」などを設定できる。

【0025】

ここでは、モノのクラスのあくまで一例として、アイテム名を挙げるが、モノに設定されるクラスは、商品等の物体であってレジ袋以外の物体を示すSomethingクラスであってもよい。一般的に、通常の物体識別（物体認識）でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが識別されるだけで何も分からない。ＨＯＩＤの場合は、ヒトが持っているモノという特殊な関係性（座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスク（例えばセルフレジの不正検出タスク）に利用することができる。物体をSomethingで検出した上で、レジ袋などをBag（レジ袋）という固有のクラスとして識別する。このレジ袋は、セルフレジの不正検出タスクでは価値のある情報だが、他のタスクでは重要な情報ではないので、商品はカゴ（買い物かご）から取り出され袋に収納されるというセルフレジの不正検出タスクの固有の知見に基づいて利用することに価値があり、有用な効果が得られる。

【0026】

＜２－２－２．機械学習モデル＞
図２に戻り、機械学習モデル１３Ｂは、セルフレジ３０の不正検出タスクに用いる機械学習モデルを指す。機械学習モデル１３Ｂは、あくまで一例として、上記のＨＯＩＤにより実現されてよい。以下、ＨＯＩＤにより実現される機械学習モデルのことを指して「ＨＯＩＤモデル」と表記する場合がある。この場合、機械学習モデル１３Ｂは、入力された画像データから、ヒト、商品、ヒトと商品の関係性を識別して識別結果を出力する。例えば、「ヒトのクラスと領域情報、商品（モノ）のクラスと領域情報、ヒトと商品の相互作用」が出力される。なお、ここでは、機械学習モデル１３ＢがＨＯＩＤにより実現される例を挙げるが、各種ニューラルネットワークなどを用いた機械学習モデルにより実現されてもよい。

【0027】

＜２－２－３．映像データＤＢ＞
映像データＤＢ１３Ｃは、商品の売り場、商品の陳列棚、あるいは精算コーナーに設置されるセルフレジ３０を含むエリアを撮影可能に設置されるカメラ２０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１３Ｃは、カメラ２０ごとに、カメラ２０から取得される画像データなどをフレーム単位で記憶する。

【0028】

＜２－２－４．出力結果ＤＢ＞
出力結果ＤＢ１３Ｄは、カメラ２０により撮像された映像データが入力されたＨＯＩＤモデル１３Ｂが出力する出力結果を記憶するデータベースである。例えば、出力結果ＤＢ１３Ｄは、カメラ２０ごとに、カメラ２０から取得される画像データがＨＯＩＤモデル１３Ｂへ入力されたＨＯＩＤの出力結果などをフレーム単位で記憶する。

【0029】

＜２－３．制御部＞
制御部１５は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１５は、機械学習部１５Ａ、映像取得部１５Ｂ、特定部１５Ｃ、判定部１５Ｄ、アラート出力部１５Ｅを有する。なお、機械学習部１５Ａ、映像取得部１５Ｂ、特定部１５Ｃ、判定部１５Ｄ、アラート出力部１５Ｅは、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0030】

＜２－３－１．機械学習部＞
機械学習部１５Ａは、機械学習モデル１３Ｂの機械学習を実行する処理部である。１つの側面として、機械学習部１５Ａは、訓練データＤＢ１３Ａに記憶される各訓練データを用いて、機械学習モデル１３Ｂの一例であるＨＯＩＤモデルの機械学習を実行する。図４は、ＨＯＩＤモデルの訓練例を示す模式図である。図４に示すように、機械学習部１５Ａは、訓練データの入力データをＨＯＩＤモデルに入力し、ＨＯＩＤモデルの出力結果を取得する。この出力結果には、ＨＯＩＤモデルが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、機械学習部１５Ａは、訓練データの正解情報と、ＨＯＩＤモデルの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤモデルの機械学習を実行する。これにより、訓練済みのＨＯＩＤモデルが生成される。このように生成された訓練済みのＨＯＩＤモデルが機械学習モデル１３Ｂとして記憶部１３に記憶される。

【0031】

＜２－３－２．映像取得部＞
図２の説明に戻り、映像取得部１５Ｂは、カメラ２０から映像データを取得する処理部である。例えば、映像取得部１５Ｂは、店舗３に設置されるカメラ２０ごとに当該カメラ２０から映像データを任意の周期、例えばフレーム単位で取得する。その上で、映像取得部１５Ｂは、フレームごとに当該フレームの画像データを映像データＤＢ１３Ｃに格納する。

【0032】

＜２－３－３．特定部＞
特定部１５Ｃは、映像取得部１５Ｂにより取得される映像データを分析することで、映像の中から商品を含む第一の領域と、商品を購入する対象の人物を含む第二の領域と、商品および人物の相互作用を識別した関係性とを特定する処理部である。

【0033】

例えば、特定部１５Ｃは、新規フレームの画像データが取得された場合、当該画像データを機械学習モデル１３Ｂ、例えばＨＯＩＤモデルへ入力してＨＯＩＤモデルの出力結果を取得する。このようなＨＯＩＤモデルの出力結果には、第一の領域に対応するモノのクラスと、第二の領域に対応するヒトのクラスと、ヒトおよびモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘとが含まれ得る。図５は、ＨＯＩＤモデルの出力例を示す図である。図５には、ＨＯＩＤモデルへの入力データである画像データおよびＨＯＩＤモデルの出力結果が図示されている。図５には、ヒトのＢｂｏｘが破線の枠で示されると共に、モノのＢｂｏｘが実線の枠で示されている。図５に示すように、ＨＯＩＤモデルの出力結果には、ヒト「客」のＢｂｏｘ、モノ「トースターＡ」のＢｂｏｘ、ヒトとモノの相互作用の確率値「０．８８」およびクラス名「把持」などが含まれる。その上で、特定部１５Ｃは、当該新規フレームの画像データに関するＨＯＩＤの出力結果を出力結果ＤＢ１３Ｄに格納する。

【0034】

＜２－３－４．判定部＞
判定部１５Ｄは、特定部１５Ｃにより特定される、ヒトとモノの関係性に基づいて、ヒトの商品に対する行動が異常であるか否かを判定する処理部である。１つの側面として、判定部１５Ｄは、特定部１５Ｃにより特定された商品の項目が所定の商品であるときは、人物が商品を把持する行動の回数に基づいて、商品に対する異常な行動をする人物が出現したことを判定する。

【0035】

あくまで一例として、判定部１５Ｄは、画像データのフレーム単位で次のような処理を実行する。すなわち、判定部１５Ｄは、出力結果ＤＢ１３Ｄに記憶されたＨＯＩＤモデルの出力結果のうち新規フレームに対応するＨＯＩＤモデルの出力結果を取得する。そして、判定部１５Ｄは、ＨＯＩＤモデルの出力結果が次に挙げる判定条件を満たすか否かにより、顧客２がまとめ買いに不向きな商品を複数回にわたって把持する異常な行動を行っているか否かを判定する。

【0036】

以下、まとめ買いに不向きな商品のことを指して「まとめ買い不適商品」と表記する場合がある。このような「まとめ買い不適商品」には、あくまで１つの側面として、一世帯あたりで複数の商品を購入する可能性が稀である商品を指し、例えば、電化製品の例で言えば、冷蔵庫や電子レンジ、トースターなどが挙げられる。

【0037】

上記の判定条件の１つ目として、ヒトとモノの関係性を示す相互作用のクラスが「把持」であることが条件１として課される。２つ目の条件として、モノのクラスが「まとめ買い不適商品」に該当することが条件２として課される。３つ目の条件として、ヒト、モノおよび相互作用のクラスがフレーム間で同一でないことが条件３として課される。これは、まとめ買い不適商品を把持する行動の節目、例えば把持行動が開始されるタイミングを判定するための条件である。４つ目の条件として、同一人物による同種のまとめ買い不適商品の把持行動の累積回数が閾値以上であることが条件４として課される。ここで言う「同種」とは、１つの側面として、商品の種類や品種などのカテゴリが共通することを指し、必ずしも商品のアイテム名が同一でなくともよい。

【0038】

より詳細には、判定部１５Ｄは、ＨＯＩＤモデルの出力結果に含まれる、ヒトとモノの関係性を示す相互作用のクラスが「把持」であるか否かを判定する（条件１）。このとき、相互作用のクラスが「把持」である場合、判定部１５Ｄは、ＨＯＩＤモデルの出力結果に含まれるモノのクラスが「まとめ買い不適商品」に該当するか否かをさらに判定する（条件２）。そして、モノのクラスが「まとめ買い不適商品」に該当する場合、判定部１５Ｄは、次のような判定を実行する。すなわち、判定部１５Ｄは、新規フレームに対応するＨＯＩＤモデルの出力結果として得られたヒト、モノ及び相互作用のクラスと、１つ前のフレームに対応するＨＯＩＤモデルの出力結果として得られたヒト、モノ及び相互作用のクラスとが同一であるか否かを判定する（条件３）。

【0039】

ここで、ヒト、モノおよび相互作用のクラスがフレーム間で同一でない場合、当該新規フレームがまとめ買い不適商品の把持行動が開始されるタイミングに対応することが判明する。この場合、判定部１５Ｄは、新規フレームの画像データのうちヒト「客」のＢｂｏｘに対応する部分画像を用いて、新規フレームで検出された顧客２と同一人物に関するＨＯＩＤモデルの出力結果の履歴を出力結果ＤＢ１３Ｄから抽出する。

【0040】

例えば、判定部１５Ｄは、出力結果ＤＢに含まれるＨＯＩＤモデルの出力結果ごとに、当該出力結果のヒト「客」のＢｂｏｘに含まれる顔画像と、新規フレームで検出されたヒト「客」のＢｂｏｘに含まれる顔画像との間で類似度を算出し、類似度が閾値以上であるＨＯＩＤモデルの出力結果の履歴を抽出する。なお、ここでは、顔画像の照合により同一人物の履歴が抽出される例を挙げたが、ＭＯＴ（multiple-object tracking）などのアルゴリズムに従ってトラッキングを実行することにより同一人物の履歴を抽出することとしてもよい。

【0041】

このように抽出されたＨＯＩＤモデルの出力結果に基づいて、判定部１５Ｄは、新規フレームで検出された顧客２と同一人物による同種のまとめ買い不適商品の把持行動の累積回数を算出する。

【0042】

図６は、ＨＯＩＤモデルの出力結果の履歴の一例を示す模式図である。図６には、新規フレームで検出された顧客「客Ａ」に関するＨＯＩＤモデルの出力結果の履歴が抜粋して示されている。さらに、図６には、ヒトのＢｂｏｘが破線の枠で示されると共に、モノのＢｂｏｘが実線の枠で示されている。

【0043】

図６に示すように、判定部１５Ｄは、モノのＢｂｏｘの部分画像に含まれる顔画像が新規フレームで検出された顧客「客Ａ」の顔画像と類似し、モノのクラスが新規フレームで検出されたまとめ買い不適商品「トースターＡ」と同種であり、相互作用のクラスが「把持」であり、かつ同一のモノ、ヒトおよび相互作用のクラスが連続するフレーム区間を特定する。

【0044】

図６に示す例で言えば、時刻ｔ１でモノのＢｂｏｘの部分画像に含まれる顔画像が顧客「客Ａ」の顔画像と類似し、モノのクラスが新規フレームで検出されたまとめ買い不適商品「トースターＡ」と同一であるまとめ買い不適商品「トースターＡ」であり、かつ相互作用のクラスが「把持」となるフレームが最初に検出される。このため、時刻ｔ１で顧客「客Ａ」によるまとめ買い不適商品の１回目の把持が開始されたことを識別できる。そして、同一のモノ、ヒトおよび相互作用のクラスが時刻ｔ２まで連続する。よって、時刻ｔ２で顧客「客Ａ」によるまとめ買い不適商品の１回目の把持が終了されたことを識別できる。これにより、時刻ｔ１～時刻ｔ２までのフレーム区間が顧客「客Ａ」による１回目のまとめ買い不適商品の把持行動と特定される。

【0045】

次に、時刻ｔ３でモノのＢｂｏｘの部分画像に含まれる顔画像が顧客「客Ａ」の顔画像と類似し、モノのクラスが新規フレームで検出されたまとめ買い不適商品「トースターＡ」と同種であるまとめ買い不適商品「トースターＢ」であり、かつ相互作用のクラスが「把持」となるフレームが２回目に検出される。このため、時刻ｔ３で顧客「客Ａ」によるまとめ買い不適商品の２回目の把持が開始されたことを識別できる。そして、同一のモノ、ヒトおよび相互作用のクラスが時刻ｔ４まで連続する。よって、時刻ｔ４で顧客「客Ａ」によるまとめ買い不適商品の２回目の把持が終了されたことを識別できる。これにより、時刻ｔ３～時刻ｔ４までのフレーム区間が顧客「客Ａ」による２回目のまとめ買い不適商品の把持行動と特定される。その後、新規フレームまで顧客「客Ａ」によるまとめ買い不適商品の把持行動が検出されない。

【0046】

この結果、判定部１５Ｄは、時刻ｔ１～時刻ｔ２までのフレーム区間と、時刻ｔ３～時刻ｔ４までのフレーム区間と、新規フレームとの計３回を顧客「客Ａ」によるまとめ買い不適商品の把持行動の累計回数として特定する。

【0047】

その上で、判定部１５Ｄは、新規フレームで検出された顧客２と同一人物によるまとめ買い不適商品の把持行動の累計回数が閾値、例えば３回以上であるか否かを判定する（条件４）。このとき、同一人物によるまとめ買い不適商品の把持行動の累計回数が閾値以上である場合、商品に対する異常な行動として検出できる。例えば、図６に示す例で言えば、顧客「客Ａ」がまとめ買いに不向きな商品であるトースターを３回にもわたって持ち運びしている異常な行動が検出できる。

【0048】

ここで、顧客２による他の異常な行動の検出方法を説明する。特定部１５Ｃは、取得した映像を機械学習モデル（ＨＯＩＤモデル）に入力することで、映像の内の人物（顧客）と商品（まとめ買い不適商品）について、第一の領域と、第二の領域と、第一の領域と第二の領域との関係性を示すクラスを特定する。そして、特定部１５Ｃは、特定された関係性のクラスが連続をして把持を示すクラスである期間を特定する。特定部１５Ｃは、連続をして把持を示すクラスである期間に基づいて、人物が商品を把持する行動を追跡する。そして、判定部１５Ｄは、追跡された商品を把持する行動の時間長に基づいて、第一の領域に含まれる商品に対して第二の領域に含まれる人物が実施する行動が異常であるか否かを判定する。つまり、判定部１５Ｄは、連続をして把持を示すクラスである期間から特定される、人物が商品を把持する行動の時間長に基づいて、人物が商品に対して異常な行動をしていると判定する。例えば、判定部１５Ｄは、人物が商品を把持する行動の時間が所定の時間長より短いときであって、所定の時間長より短い行動の累計回数が閾値以上、繰り返し実行されているときには、人物が商品に対して異常な行動をしていると判定する。判定部１５Ｄは、時刻ｔ１～時刻ｔ２までのフレーム区間が、所定の時間長より短く、時刻ｔ３～時刻ｔ４までのフレーム区間が、所定の時間長より短く、新規フレーム区間が、所定の時間長より短いことを検出する。これにより、判定部１５Ｄは、まとめ買いに不向きな商品であるトースターを３回にもわたって、短期間で連続して持ち運びしている異常な行動が検出できる。

【0049】

＜２－３－５．アラート出力部＞
アラート出力部１５Ｅは、店員端末５０などを始めとする出力先にアラートを出力する処理部である。

【0050】

あくまで一例として、アラート出力部１５Ｅは、判定部１５Ｄにより異常であると判定されたときは、まとめ買い不適商品の万引きを行うおそれのある顧客２が出現したことを示すアラートを店員端末５０へ出力できる。図７は、アラートの出力例を示す図である。図７には、図６に示す顧客「客Ａ」の異常行動に関するアラート画面２００が示されている。図７に示すように、アラート出力部１５Ｅは、まとめ買い不適商品の把持行動を行う顧客「客Ａ」の画像、例えば新規フレームのヒト「客」のＢｂｏｘの画像をアラート画面２００に含めることができる。この他、アラート出力部１５Ｅは、まとめ買い不適商品の把持行動が行われた回数や各把持行動の時刻などをアラート画面２００に含めることができる。このようなアラート画面２００により、店員５などの店舗３の関係者は、まとめ買い不適商品の万引きが行われる前に顧客２への対処、例えば注意や通報などを行うことができる。

【0051】

更なる一例として、アラート出力部１５Ｅは、まとめ買い不適商品の把持行動を行う顧客２の位置を示すアラートを出力することができる。例えば、アラート出力部１５Ｅは、新規フレームの画像データに画像処理を適用することにより、顧客２の３次元空間上の位置を特定することができる。このような画像処理の例として、複数のカメラ２０の画像データを用いるステレオマッチングや店舗３内に設置されたマーカを用いる位置検出などが挙げられる。この他、カメラ２０がデプスカメラである場合、顧客２の被写体のデプス値と、カメラパラメータ、例えば外部パラメータおよび内部パラメータとに基づいて３次元位置をより正確に算出できる。

【0052】

このように特定された顧客２の位置は、あくまで一例として、店舗３の地図、例えばフロアマップなどにプロットして表示させることができる。図８は、顧客位置の表示例を示す図である。図８には、電化製品の売り場のフロアマップが示されている。例えば、図８に示すフロアマップ２１０は、図７に示すアラート画面２００に含まれるＧＵＩ部品２０１に対する操作が行われた場合に呼び出すことができる。図８に示すように、フロアマップ２１０には、まとめ買い不適商品の把持行動を行う顧客「客Ａ」の位置が黒丸のマークでプロットされる。このようなフロアマップ２１０の表示により、店員５などの店舗３の関係者は、まとめ買い不適商品の万引きを行うおそれのある顧客２への対処を迅速かつ効果的に行うことができる。

【0053】

＜３．処理の流れ＞
次に、本実施例にかかる情報処理装置１０の処理の流れについて説明する。ここでは、情報処理装置１０により実行される（１）映像取得処理、（２）アラート出力処理の順に説明することとする。

【0054】

（１）映像取得処理
図９は、映像取得処理の流れを示すフローチャートである。この処理は、あくまで一例として、カメラ２０から映像データが取得される限り、反復して実行される。

【0055】

図９に示すように、映像取得部１５Ｂにより新規フレームの画像データが取得された場合（ステップＳ１０１Ｙｅｓ）、特定部１５Ｃは、当該画像データを機械学習モデル１３Ｂ、例えばＨＯＩＤモデルへ入力してＨＯＩＤモデルの出力結果を取得する（ステップＳ１０２）。

【0056】

その上で、映像取得部１５Ｂは、新規フレームの画像データを映像データＤＢ１３Ｃに保存すると共に、特定部１５Ｃは、当該新規フレームの画像データに関するＨＯＩＤの出力結果を出力結果ＤＢ１３Ｄに保存する（ステップＳ１０３）。

【0057】

（２）アラート出力処理
図１０は、アラート出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、カメラ２０から映像データが取得される限り、反復して実行される。

【0058】

図１０に示すように、判定部１５Ｄは、出力結果ＤＢ１３Ｄに記憶されたＨＯＩＤモデルの出力結果のうち新規フレームに対応するＨＯＩＤモデルの出力結果を取得する（ステップＳ３０１）。

【0059】

そして、判定部１５Ｄは、ＨＯＩＤモデルの出力結果に含まれる、ヒトとモノの関係性を示す相互作用のクラスが「把持」であるか否かを判定する（ステップＳ３０２）。このとき、相互作用のクラスが「把持」である場合（ステップＳ３０２Ｙｅｓ）、判定部１５Ｄは、ＨＯＩＤモデルの出力結果に含まれるモノのクラスが「まとめ買い不適商品」に該当するか否かをさらに判定する（ステップＳ３０３）。

【0060】

そして、モノのクラスが「まとめ買い不適商品」に該当する場合（ステップＳ３０３Ｙｅｓ）、判定部１５Ｄは、次のような判定を実行する。すなわち、判定部１５Ｄは、新規フレームに対応するＨＯＩＤモデルの出力結果として得られたヒト、モノ及び相互作用のクラスと、１つ前のフレームに対応するＨＯＩＤモデルの出力結果として得られたヒト、モノ及び相互作用のクラスとが同一であるか否かを判定する（ステップＳ３０４）。

【0061】

ここで、ヒト、モノおよび相互作用のクラスがフレーム間で同一でない場合（ステップＳ３０４Ｎｏ）、当該新規フレームがまとめ買い不適商品の把持行動が開始されるタイミングに対応することが判明する。この場合、判定部１５Ｄは、新規フレームで検出された顧客２と同一人物に関するＨＯＩＤモデルの出力結果の履歴に基づいて、同一人物による同種のまとめ買い不適商品の把持行動の累積回数を算出する（ステップＳ３０５）。

【0062】

その上で、判定部１５Ｄは、新規フレームで検出された顧客２と同一人物によるまとめ買い不適商品の把持行動の累計回数が閾値、例えば３回以上であるか否かを判定する（ステップＳ３０６）。

【0063】

このとき、同一人物によるまとめ買い不適商品の把持行動の累計回数が閾値以上である場合（ステップＳ３０６Ｙｅｓ）、商品に対する異常な行動として検出できる。この場合、アラート出力部１５Ｅは、まとめ買い不適商品の万引きを行うおそれのある顧客２が出現したことを示すアラートを店員端末５０へ出力し（ステップＳ３０７）、処理を終了する。

【0064】

＜４．効果の一側面＞
上述してきたように、情報処理装置１０は、商品が配置された店内の映像を取得する。そして、情報処理装置１０は、取得した映像を分析することで、映像の中から商品を含む第一の領域と、商品を購入する対象の人物を含む第二の領域と、商品および人物の相互作用を識別した関係性とを特定する。その上で、情報処理装置１０は、関係性が所定の条件を満たすときは、関係性に基づいて、第一の領域に含まれる商品に対して第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、異常であると判定されたときは、商品に対する異常な行動をする人物が出現したことを示すアラートを出力する。

【0065】

したがって、情報処理装置１０によれば、顧客とまとめ買いに不向きな商品との関係性として複数回にわたる把持等の特定時に異常を検出してアラートを出力できるので、店内における万引きを抑制できる。

【実施例0066】

＜５．応用例＞
さて、これまで開示の装置に関する実施例について説明したが、上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる応用例や適用例について説明する。

【0067】

＜５－１．応用例１＞
上記の実施例１では、同一人物によるまとめ買い不適商品の把持行動の累計回数が閾値以上である場合にアラートを出力する例を挙げたが、これに限定されない。例えば、情報処理装置１０は、店舗３の商品を把持する顧客２の位置が所定の商品、例えばまとめ買い不適商品が配置される特定エリアである場合、顧客２が商品を把持する行動の回数に基づいて、商品に対する異常な行動をする人物が出現したことを示すアラートを出力する。

【0068】

図１１は、応用例にかかるアラート出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、カメラ２０から映像データが取得される限り、反復して実行される。なお、図１１に示すフローチャートには、図１０に示すフローチャートに示す処理と異なる処理が実行されるステップに異なる番号が付されている。

【0069】

図１１に示すように、判定部１５Ｄは、出力結果ＤＢ１３Ｄに記憶されたＨＯＩＤモデルの出力結果のうち新規フレームに対応するＨＯＩＤモデルの出力結果を取得する（ステップＳ３０１）。

【0070】

そして、判定部１５Ｄは、ＨＯＩＤモデルの出力結果に含まれる、ヒトとモノの関係性を示す相互作用のクラスが「把持」であるか否かを判定する（ステップＳ３０２）。このとき、相互作用のクラスが「把持」である場合（ステップＳ３０２Ｙｅｓ）、判定部１５Ｄは、新規フレームで検出されるヒトの位置がまとめ買い不適商品が配置される特定エリア内であるか否かをさらに判定する（ステップＳ５０１）。

【0071】

図１２は、特定エリアの一例を示す図である。図１２には、電化製品の売り場のフロアマップ２２０が示されると共に、フロアマップ２２０のうち電子レンジやトースター、洗濯機などのまとめ買い不適商品が配置される特定エリアがハッチングで示されている。このような特定エリア内に新規フレームで検出されるヒトの位置が含まれるか否かがステップＳ５０１で判定される。なお、ヒトの位置は、上述の通り、新規フレームの画像データに公知の画像処理技術を適用することにより検出できる。

【0072】

そして、新規フレームで検出されるヒトの位置が特定エリア内である（ステップＳ５０１Ｙｅｓ）、判定部１５Ｄは、次のような判定を実行する。すなわち、判定部１５Ｄは、新規フレームに対応するＨＯＩＤモデルの出力結果として得られた相互作用のクラスと、１つ前のフレームに対応するＨＯＩＤモデルの出力結果として得られた相互作用のクラスとがフレーム間で同一であるか否かを判定する（ステップＳ５０２）。

【0073】

ここで、相互作用のクラスおよびヒトの所在エリアがフレーム間で同一でない場合（ステップＳ５０２Ｎｏ）、当該新規フレームがまとめ買い不適商品の把持行動が開始されるタイミングに対応することが判明する。この場合、判定部１５Ｄは、新規フレームで検出された顧客２と同一人物に関するＨＯＩＤモデルの出力結果の履歴に基づいて、同一人物による特定エリアでの商品の把持行動の累積回数を算出する（ステップＳ５０３）。

【0074】

あくまで一例として、判定部１５Ｄは、モノのＢｂｏｘの部分画像に含まれる顔画像が新規フレームで検出された顧客２の顔画像と類似し、ヒトの位置が特定エリア内であり、相互作用のクラスが「把持」であり、かつ同一の相互作用のクラスが連続するフレーム区間を特定する。このように特定されるフレーム区間の個数に基づいて、判定部１５Ｄは、同一人物による特定エリアでの商品の把持行動の累積回数を算出する。

【0075】

その上で、判定部１５Ｄは、同一人物による特定エリアでの商品の把持行動の累積回数が閾値、例えば３回以上であるか否かを判定する（ステップＳ５０４）。

【0076】

このとき、同一人物による特定エリアでの商品の把持行動の累積回数が閾値以上である場合（ステップＳ５０４Ｙｅｓ）、商品に対する異常な行動として検出できる。この場合、アラート出力部１５Ｅは、まとめ買い不適商品の万引きを行うおそれのある顧客２が出現したことを示すアラートを店員端末５０へ出力し（ステップＳ３０７）、処理を終了する。

【0077】

以上のように、応用例１にかかるアラート出力処理によれば、上記の実施例１と同様、店内における万引きを抑制できる。

【0078】

＜５－２．応用例２＞
情報処理装置１０は、顧客２が商品を把持する行動を識別した前後にて、ヒトのＢｂｏｘが属するエリアに配置された商品数を分析し、分析した結果に基づいて、顧客２の商品に対する異常な行動が発生したことを示すアラートを出力することもできる。

【0079】

あくまで一例として、判定部１５Ｄは、ＨＯＩＤモデルの出力結果に含まれる相互作用のクラスが新規フレームおよび１つ前のフレームの間で「把持」以外のクラスから「把持」へ遷移したか否かを判定する。このとき、相互作用のクラスが新規フレームおよび１つ前のフレームの間で「把持」以外のクラスから「把持」へ遷移した場合、判定部１５Ｄは、次のような処理を実行する。すなわち、判定部１５Ｄは、相互作用のクラス「把持」が検出された新規フレーム以前のフレームおよび相互作用のクラス「把持」が検出された新規のフレーム以降のフレームの間で、モノのＢｂｏｘが検出された領域の差分、例えば画素値の差が閾値以上である画素の個数や面積などを検出する。

【0080】

図１３は、ＨＯＩＤモデルの出力例を示す図である。図１３には、ＨＯＩＤモデルへの入力データである画像データおよびＨＯＩＤモデルの出力結果が図示されている。図１３には、ヒトのＢｂｏｘが破線の枠で示されると共に、モノのＢｂｏｘが実線の枠で示されている。図１３に示すように、ＨＯＩＤモデルの出力結果には、ヒト「客」のＢｂｏｘ、モノ「薬Ａ」のＢｂｏｘ、ヒトとモノの相互作用の確率値「０．８８」およびクラス名「把持」などが含まれる。

【0081】

図１４は、把持行動前後の差分の一例を示す図である。図１４には、相互作用のクラス「把持」が検出された新規フレーム以前のフレームの画像２３０と、相互作用のクラス「把持」が検出された新規のフレーム以降のフレームの画像２４０とが示されている。さらに、図１４に示す画像２３０および画像２４０には、相互作用のクラス「把持」へ最初に遷移した新規フレームで検出されたモノのＢｂｏｘの領域が太線で示されている。判定部１５Ｄは、モノのＢｂｏｘの領域で検出される差分、例えば画素値の差が閾値以上である画素の個数または面積が閾値以上であるか否かを判定する。ここで、上記の閾値は、あくまで一例として、まとめ買いをするにも過剰である程の大量の商品が持ち出される場合に商品が持ち去られることにより画素値が変化する面積に基づいて設定できる。このとき、モノのＢｂｏｘの領域で検出される差分が閾値以上である画素の個数または面積が閾値以上である場合、アラート出力部１５Ｅは、大量の商品の万引きのおそれがある異常な行動が発生したことを示すアラートを出力する。

【0082】

＜５－３．応用例３＞
上記の実施例１では、商品のオブジェクト認識および商品アイテムの識別がＨＯＩＤモデルにより実現される例を挙げたが、商品アイテムの識別は、必ずしもＨＯＩＤモデルにより実現されずともよい。例えば、商品のオブジェクト認識のタスクをＨＯＩＤモデルにより実現すると共に、商品アイテムの識別のタスクをゼロショット識別器などにより実現することとしてもよい。

【0083】

＜５－４．数値＞
上記実施例で用いたカメラ２０やセルフレジ３０の台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。

【0084】

＜５－５．システム＞
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

【0085】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0086】

＜５－６．ハードウェア＞
図１５は、情報処理装置のハードウェア構成例を示す図である。ここでは、一例として、情報処理装置１０について説明する。図１５に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バス等で相互に接続される。

【0087】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0088】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、機械学習部１５Ａ、映像取得部１５Ｂ、特定部１５Ｃ、判定部１５Ｄ、アラート出力部１５Ｅ等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、機械学習部１５Ａ、映像取得部１５Ｂ、特定部１５Ｃ、判定部１５Ｄ、アラート出力部１５Ｅ等と同様の処理を実行するプロセスを実行する。

【0089】

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

【0090】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

【0091】

次に、セルフレジ３０について説明する。図１６は、セルフレジ端末３０のハードウェア構成例を示す図である。図１６に示すように、セルフレジ３０は、通信インタフェース３００ａ、ＨＤＤ３００ｂ、メモリ３００ｃ、プロセッサ３００ｄ、入力装置３００ｅ、出力装置３００ｆを有する。また、図１６に示した各部は、バスなどで相互に接続される。

【0092】

通信インタフェース３００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ３００ｂは、セルフレジ３０の各機能を動作させるプログラムやデータを記憶する。

【0093】

プロセッサ３００ｄは、セルフレジ３０の各機能の処理を実行するプログラムをＨＤＤ３００ｂなどから読み出してメモリ３００ｃに展開することで、セルフレジ３０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ３０が有する各処理部と同様の機能を実行する。

【0094】

このように、セルフレジ３０は、セルフレジ３０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ３０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ３０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ３０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0095】

また、セルフレジ３０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0096】

入力装置３００ｅは、プロセッサ３００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ３０はさらに表示部を備え、入力装置３００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置３００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置３００ｅは、バーコードの読み取りをする。入力装置３００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。

【0097】

出力装置３００ｆは、プロセッサ３００ｄによって実行されるプログラムから出力されるデータをセルフレジ３０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ３０が表示部を備える場合、セルフレジ３０は出力装置３００ｆを備えなくてもよい。