特許 7707810 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-07

(45)【発行日】2025-07-15

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20250708BHJP

【ＦＩ】

G06T7/20 300Z

【請求項の数】 8

(21)【出願番号】P 2021161126

(22)【出願日】2021-09-30

(65)【公開番号】P2023050826

(43)【公開日】2023-04-11

【審査請求日】2024-06-11

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】牛嶋 悟

(72)【発明者】

【氏名】石田 諒

(72)【発明者】

【氏名】青木 康洋

【審査官】鈴木 明

(56)【参考文献】

【文献】国際公開第２０１７／１７５７０７（ＷＯ，Ａ１）

【文献】特開２０２１－０１２５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

店舗において購入対象の物体を選択したユーザが自ら会計を行うレジ端末を含むエリアに入場した場合に、前記エリアを撮像する撮像装置により撮像された撮像画像から、前記エリアで行われる前記ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動が識別された場合に、前記第１の行動に対する第１の識別情報と、前記エリアで前記第１の識別情報により識別される行動が行われた第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動が識別された場合に、前記第２の行動に対する第２の識別情報と、前記エリアで前記第１の識別情報により識別される行動が行われた第２の位置情報とを第２の記憶部に記憶し、
前記第２の識別情報と前記第２の位置情報とが前記第２の記憶部に記憶されたのち、前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記物体が前記撮像画像における第１の領域から出たことを検出し、第１のカウンタをカウントし、
前記物体が前記撮像画像における第２の領域に入ったことを検出し、第２のカウンタをカウントし、
前記第１のカウンタおよび前記第２のカウンタを出力する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記行動を追跡する処理は、ＨＯＩＤ（Ｈｕｍａｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）を用いて、前記ユーザの前記物体に対する行動を追跡する処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。

【請求項4】

店舗において購入対象の物体を選択したユーザが自ら会計を行うレジ端末を含むエリアに入場した場合に、前記エリアを撮像する撮像装置により撮像された撮像画像から、前記エリアで行われる前記ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動が識別された場合に、前記第１の行動に対する第１の識別情報と、前記エリアで前記第１の識別情報により識別される行動が行われた第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動が識別された場合に、前記第２の行動に対する第２の識別情報と、前記エリアで前記第１の識別情報により識別される行動が行われた第２の位置情報とを第２の記憶部に記憶し、
前記第２の識別情報と前記第２の位置情報とが前記第２の記憶部に記憶されたのち、前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項5】

店舗において購入対象の物体を選択したユーザが自ら会計を行うレジ端末を含むエリアに入場した場合に、前記エリアを撮像する撮像装置により撮像された撮像画像から、前記エリアで行われる前記ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動が識別された場合に、前記第１の行動に対する第１の識別情報と、前記エリアで前記第１の識別情報により識別される行動が行われた第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動が識別された場合に、前記第２の行動に対する第２の識別情報と、前記エリアで前記第１の識別情報により識別される行動が行われた第２の位置情報とを第２の記憶部に記憶し、
前記第２の識別情報と前記第２の位置情報とが前記第２の記憶部に記憶されたのち、前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理を実行する制御部を有することを特徴とする情報処理装置。

【請求項6】

撮像画像から、ＨＯＩＤ（Ｈｕｍａｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）を用いて、ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、
前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶し、
前記ＨＯＩＤの検出結果を取得し、
前記第２の記憶部に記憶された前記第２の位置情報によって示される第２のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第２のバウンディングボックスの前記物体に対して前記第１の行動を検出する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項7】

撮像画像から、ＨＯＩＤ（Ｈｕｍａｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）を用いて、ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、
前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶し、
前記ＨＯＩＤの検出結果を取得し、
前記第１の記憶部に記憶された前記第１の位置情報によって示される第１のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第１のバウンディングボックスの前記物体は動いていないと判定する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項8】

前記物体は動いていないと判定する処理は、
連続して撮像された複数の前記撮像画像において、所定の回数以上、前記第１のバウンディングボックスの前記物体は動いていないと判定された場合、前記第１のバウンディングボックスの前記物体に対して前記第２の行動を検出する
処理を含むことを特徴とする請求項７に記載の情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

コンビニエンスストアなどの店舗において、レジ業務の軽減による人件費の削減やレジの混雑回避などを目的として、顧客自らが商品をスキャンして登録し、会計を行うセルフレジの導入が進んでいる。このような顧客自らが商品スキャンを行うシステムでは、購入対象の商品をスキャンしない、いわゆる商品のスキャン漏れなどの不正行動を検知することが重要になってくる。

【0003】

店舗において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行動を検知するシステムが開発されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－０５３０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、監視カメラによる撮像画像から商品のスキャン漏れを検知する場合、システム側では、どの商品に対してスキャンが行われたかなど、個々の商品を識別する必要がある。商品を識別する方法として、例えば、撮像画像から商品を識別するための機械学習モデルなどが考えられるが、店舗で販売されている商品の１つ１つを学習するのは、商品の種類が多いことや新商品への切り替わりが早いことなどから非現実的である。

【0006】

１つの側面では、セルフレジを利用する顧客の行動をより正確に検知できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの態様において、情報処理プログラムは、撮像画像から、ユーザの物体に対する行動を追跡し、行動に基づいて、ユーザが物体を把持する第１の行動と、ユーザが把持した物体を離す第２の行動とを識別し、第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、第２の位置情報によって示される位置で、第１の行動を検出した場合、第２の識別情報と第２の位置情報とを、第１の記憶部に記憶する処理をコンピュータに実行させる。

【発明の効果】

【0008】

１つの側面では、セルフレジを利用する顧客の行動をより正確に検知できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１にかかる不正検知システムの構成例を示す図である。

【図2】図２は、実施例１にかかるセルフレジ端末１００の一例を示す図である。

【図3】図３は、実施例１にかかるセルフレジによる商品購入の一例を示す図である。

【図4】図４は、実施例１にかかる管理装置１０の構成例を示す図である。

【図5】図５は、ＨＯＩＤを説明するための図である。

【図6】図６は、ＨＯＩＤによる商品追跡の問題点とその解決方法の一例を示す図である。

【図7】図７は、実施例１にかかるＨＯＩＤによる商品追跡方法の一例を示す図である。

【図8】図８は、実施例１にかかるＨＯＩＤによる商品追跡の判定方法の一例を示す図である。

【図9】図９は、実施例１にかかる仮置台ＲＯＩから出た商品のカウント方法の一例を示す図である。

【図10】図１０は、実施例１にかかるレジ前ＲＯＩに入った商品のカウント方法の一例を示す図である。

【図11】図１１は、実施例１にかかる仮置台ＲＯＩリスト３３に記憶されるデータの一例を示す図である。

【図12】図１２は、実施例１にかかるレジ前ＲＯＩリスト３４に記憶されるデータの一例を示す図である。

【図13】図１３は、実施例１にかかる追跡中物体リスト３５に記憶されるデータの一例を示す図である。

【図14】図１４は、実施例１にかかる追跡休止物体リスト３６に記憶されるデータの一例を示す図である。

【図15】図１５は、実施例１にかかる各追跡リストのデータ遷移（１）の一例を示す図である。

【図16】図１６は、実施例１にかかる各追跡リストのデータ遷移（２）の一例を示す図である。

【図17】図１７は、実施例１にかかる商品追跡処理（１）の流れを示すフローチャートである。

【図18】図１８は、実施例１にかかる商品追跡処理（２）の流れを示すフローチャートである。

【図19】図１９は、管理装置１０のハードウェア構成例を説明する図である。

【図20】図２０は、セルフレジ端末１００のハードウェア構成例を説明する図である。

【図21】図２１は、店員端末３００のハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0011】

まず、本実施形態を実施するための不正検知システムについて説明する。図１は、実施例１にかかる不正検知システムの構成例を示す図である。図１に示すように、不正検知システム１は、管理装置１０と、セルフレジ端末１００とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

【0012】

また、管理装置１０は、カメラ装置２００や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。

【0013】

ネットワーク５０には、有線や無線を問わず、例えば、コンビニエンスストアなどの店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。

【0014】

管理装置１０は、例えば、コンビニエンスストアなどの店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。

【0015】

管理装置１０は、セルフレジ端末１００によって会計を行う顧客（以下、単に「人物」や「ユーザ」という場合がある）をカメラ装置２００によって撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。

【0016】

また、管理装置１０は、物体検知技術などを用いて、撮像画像から人物や商品を特定する。そして、管理装置１０は、人物が商品を把持し、商品バーコードをスキャンしてセルフレジ端末１００に登録する行動などを検知する。

【0017】

なお、図１では、管理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、管理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

【0018】

セルフレジ端末１００は、コンビニエンスストアなどの店舗内のレジエリアに設置され、顧客自らが商品をスキャンして登録し、会計を行うための情報処理端末である。セルフレジ端末１００は、商品バーコードをスキャンするためのコードリーダや精算画面を表示するためのタッチパネルディスプレイ部を備えるか、または、外付けのコードリーダやディスプレイと通信可能に接続される。

【0019】

図２は、実施例１にかかるセルフレジ端末１００の一例を示す図である。図２に示すように、セルフレジ端末１００は、仮置台領域１５０によって示される、会計時の商品を置くための仮置台と併設される。顧客は、会計時、仮置台に商品を置き、仮置台から商品を取って商品バーコードを、レジ前領域１６０によって示されるコードリーダによってスキャンし、セルフレジ端末１００に購入商品の登録を行う。そして、顧客は、セルフレジ端末１００のディスプレイに評された精算画面を操作し、現金や電子マネー、またはクレジットカードなどによって、セルフレジ端末１００に登録された商品の支払いを行う。

【0020】

図１の説明に戻り、カメラ装置２００は、例えば、セルフレジ端末１００の上部などに設置され、セルフレジ端末１００によって会計を行う顧客を撮影する監視カメラである。カメラ装置２００によって撮影された映像は、管理装置１０に送信される。

【0021】

店員端末３００は、コンビニエンスストアなどの店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、商品のスキャン漏れなど、顧客の不正行動が管理装置１０によって検知された場合に、管理装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、特定の店員が所持する端末などに限定されてもよい。

【0022】

次に、図３を用いて、顧客自らが商品をスキャンしてセルフレジ端末１００に登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について流れに沿って説明する。図３は、実施例１にかかるセルフレジによる商品購入の一例を示す図である。

【0023】

図３に示すように、まず、顧客は、購入する商品を把持して、セルフレジ端末１００の設置されたレジエリアに入場する（ステップＳ１）。次に、顧客は、仮置台領域１５０によって示される仮置台に商品を置く（ステップＳ２）。図３の例では、商品２点を仮置台に置いている。

【0024】

次に、顧客は、商品スキャンを行うため、仮置台に置かれた商品を把持する（ステップＳ３）。そして、顧客は、把持した商品の商品バーコードを、レジ前領域１６０によって示されるコードリーダによってスキャンし、セルフレジ端末１００に購入商品の登録を行う（ステップＳ４）。

【0025】

次に、顧客は、商品スキャンが終わった商品を、再び、仮置台に置く（ステップＳ５）。そして、顧客は、購入する全ての商品に対して商品スキャンが完了するため、ステップ３および４を繰り返す。

【0026】

そして、全ての商品に対して商品スキャンと、セルフレジ端末１００に登録された商品の支払いが完了すると、顧客は、購入した商品を把持し（ステップＳ６）、レジエリアから退場する（ステップＳ７）。

【0027】

以上、図３を用いて、セルフスキャンによる商品購入について説明した。しかしながら、セルフスキャンでは、例えば、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジ端末１００で会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行動は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難になってくる。そのため、本実施形態にかかる管理装置１０は、カメラ装置２００による映像から顧客の行動を認識し、不正行動を検知する。

【0028】

［管理装置１０の機能構成］
次に、本実施形態の実行主体となる管理装置１０の機能構成について説明する。図４は、実施例１にかかる管理装置１０の構成例を示す図である。図４に示すように、管理装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0029】

通信部２０は、セルフレジ端末１０００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースである。

【0030】

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１、検出モデルＤＢ３２、仮置台ＲＯＩリスト３３、レジ前ＲＯＩリスト３４、追跡中物体リスト３５、追跡休止物体リスト３６などを記憶する。ここで、ＲＯＩとは、対象領域や関心領域などを意味する「Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ」の略である。

【0031】

画像ＤＢ３１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。

【0032】

検出モデルＤＢ３２は、カメラ装置２００に撮像画像から、人物や物体を検出するための機械学習モデルを記憶する。本実施形態では、店舗で販売されている商品の種類が多いことや新商品への切り替わりが早いことなどから商品の１つ１つを学習することは非現実的であると考える。そこで、本実施形態では、例えば、少ない訓練データでモノを検出可能である既存技術のＨＯＩＤ（Ｈｕｍａｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）を用いて人物や物体の検出が行われる。

【0033】

ここで、ＨＯＩＤについて説明する。図５は、ＨＯＩＤを説明するための図である。ＨＯＩＤは、人物と物体との相互作用を検出するもので、例えば、図５に示すように、撮像画像２５０を入力データとして、人物が物体を手に持っているなど相互作用関係にあると判断された人物と物体とを検出する技術である。人物や物体の検出は、例えば、図５に示すように、検出された人物や物体を囲む矩形領域であるバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ：ＢＢ）として示される。図５の場合では、人物および物体のＢＢは、それぞれ、人物ＢＢ１７０および物体ＢＢ１８０である。また、ＨＯＩＤでは、人物と物体との相互作用の確率値およびＣｌａｓｓ名（例えば、“持つ”）も出力される。本実施形態では、ＨＯＩＤを用いて、人物が把持した物体が商品として検出される。

【0034】

図４の説明に戻り、仮置台ＲＯＩリスト３３は、図２や３を用いて説明した仮置台領域１５０を出入りする商品に関するデータを記憶する。

【0035】

レジ前ＲＯＩリスト３４は、図２や３を用いて説明したレジ前領域１６０を出入りする商品に関するデータを記憶する。

【0036】

追跡中物体リスト３５は、人物が商品を把持することにより、管理装置１０によって検出され、追跡が行われている商品やその位置情報に関するデータを記憶する。ここで、商品の位置情報とは、例えば、撮像画像における商品を囲む矩形領域であるバウンディングボックスの左上および右下のｘおよびｙ座標である。

【0037】

追跡休止物体リスト３６は、人物が把持していた商品を離したことにより、管理装置１０によって検出され、追跡が休止された商品やその位置情報に関するデータを記憶する。

【0038】

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

【0039】

制御部４０は、管理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、取得部４１、検出部４２、追跡部４３、計測部４４、出力部４５などを備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0040】

取得部４１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像をカメラ装置２００から取得する。取得された撮像画像は画像ＤＢ３１に記憶される。

【0041】

検出部４２は、ＨＯＩＤなどの既存技術を用いて、カメラ装置２００による撮像画像から相互作用関係のある人物および物体などを検出する。なお、検出された人物や物体はバウンディングボックスによって示されてよい。

【0042】

また、検出部４２は、追跡休止物体リスト３６に記憶された商品の位置情報によって示されるバウンディングボックスとＨＯＩＤ検出結果における商品のバウンディングボックスとの類似度が所定の閾値以上であるか否かを判定する。また、バウンディングボックスの類似度の詳細については後述するが、例えば、両バウンディングボックスの距離であり、距離が近いほど両バウンディングボックスは類似すると判定される。そして、検出部４２は、両バウンディングボックスの類似度が所定の閾値以上である場合、追跡休止物体リスト３６に記憶された追跡休止中の商品を人物が再び把持したとする行動を検出する。

【0043】

また、検出部４２は、追跡中物体リスト３５に記憶された商品の位置情報によって示されるバウンディングボックスが、ＨＯＩＤ検出結果における商品のバウンディングボックスと類似度が所定の閾値以上である否かを判定する。そして、検出部４２は、両バウンディングボックスの類似度が所定の閾値以上である場合、追跡中物体リスト３５に記憶された追跡中の商品は動いていないと判定する。

【0044】

なお、カメラ装置２００によって連続して撮像された複数の撮像画像において、所定の回数以上、追跡中物体リスト３５に記憶された追跡中の商品は動いていないと判定された場合、人物が把持していた当該商品を離したとする行動を検出する。

【0045】

追跡部４３は、カメラ装置２００による撮像画像から、ＨＯＩＤを用いて、人物の物体に対する行動を追跡する。また、追跡部４３は、追跡している行動に基づいて、人物が物体を把持する行動と、人物が把持した物体を離す行動とを識別する。そして、追跡部４３は、人物が物体を把持する行動に対する物体の識別情報と位置情報とを追跡中物体リスト３５に記憶する。また、追跡部４３は、人物が把持した物体を離す行動に対する物体の識別情報と位置情報とを追跡休止物体リスト３６に記憶する。さらに、追跡部４３は、追跡休止物体リスト３６に記憶された物体の位置情報によって示される位置で、人物が物体を把持する行動を検出した場合、追跡休止物体リスト３６に記憶された物体の識別情報と前記第２の位置情報とを、追跡中物体リスト３５に記憶する。

【0046】

計測部４４は、追跡している物体が撮像画像における仮置台領域１５０から出たことを検出し、その回数をカウントする。また、計測部４４は、物体が撮像画像におけるレジ前領域１６０に入ったことを検出し、その回数をカウントする。

【0047】

出力部４５は、計測部４４によってカウントされた、例えば、物体が仮置台領域１５０から出た回数およびレジ前領域１６０に入った回数を出力する。なお、出力部４５による各回数の出力は、店員端末３００などに対するメッセージなどによる通知などであってよい。また、店員端末３００などに通知される内容は各回数そのものでなくてよい。これは、例えば、仮置台領域１５０から出た回数とレジ前領域１６０に入った回数とが一致せず、商品のスキャン漏れが発生している可能性があるなど、各回数に基づいて生成されるデータであってよい。

【0048】

このように、管理装置１０は、カメラ装置２００による撮像画像から、ＨＯＩＤを用いて、人物の物体に対する行動を追跡するが、ＨＯＩＤには次のような問題点があるため、本実施形態では、当該問題点も解決する。

【0049】

ＨＯＩＤの問題点について説明する。ＨＯＩＤは単一の撮像画像から物品を検出するため、連続して撮像された複数の撮像画像に渡ってある物品が所定の領域に出入りしたことなどを認識するためには物品に識別子（ＩＤ）を割り当てて追跡する必要がある。また、ＨＯＩＤは人物が物体を把持すれば検出し、離せば検出しないため、人物が物体を把持すれば追跡を開始し、手を離すと追跡が終了する。そのため、人物が物体から手を離して再度把持すると新しいＩＤが割り当てられたり、他の物体のＩＤが飛び移ったりするといった問題点がある。

【0050】

そのため、ＨＯＩＤを用いて商品を追跡する場合、商品を仮置台に置いて手を離して再び把持すると商品に割り当てられたＩＤが切り替わるため、１つの商品に対するカウントを誤って複数回行ってしまう。より具体的には、例えば、商品をレジエリアに持ち込んでレジ台の前を通過した時と、商品を仮置台から取ってスキャンする時との各々で、レジ前領域１６０に入った回数をカウントしてしまい、正しくは１回であるべき回数が２回になってしまう。

【0051】

図６は、ＨＯＩＤによる商品追跡の問題点とその解決方法の一例を示す図である。図６のＩＤ未管理の上ルートがＨＯＩＤによる商品追跡の問題点を示すものである。上ルートでは、物体ＢＢ１８１によって示される商品を人物が把持した際に“００”のＩＤが割り当てられるため、商品から手を離す前のＩＤは“００”である。そして、人物が商品から手を離すと物体ＢＢ１８１が検出されなくなり、再度、同一の商品が把持されると物体ＢＢ１８１が検出される。しかしながら、再度把持された場合には新しいＩＤが割り当てられるため、ＩＤは“０２”となってしまい、管理装置１０は、手を離す前のＩＤ“００”の商品とは別の商品として認識してしまうことになる。

【0052】

そのため、本実施形態では、図６の下ルートに示されるようにＩＤを管理し、人物が商品から手を離した場合であっても同一のＩＤを引き継いで、同一の商品は同一の商品として追跡できるようにする。そのため、管理装置１０は、人物が商品から手を離したことにより商品の追跡が終了する際、商品をどこかに置いたのか、見失ったのかを判定する。次に、管理装置１０は、商品を置いたと判定した場合、追跡終了時の状態、例えば、割り当てられたＩＤと、撮像画像における商品のバウンディングボックスの座標位置とを追跡休止物体リスト３６に記憶する。そして、管理装置１０は、追跡休止物体リスト３６に記憶した座標位置と同一の位置でＨＯＩＤ検出結果が出た場合、ＨＯＩＤによって検出された商品は、追跡休止物体リスト３６に記憶したＩＤによって示される商品と同一であるとして、記憶していたＩＤを引き継いで追跡を再開する。

【0053】

なお、追跡休止物体リスト３６に記憶した座標位置と同一の位置でＨＯＩＤ検出結果が出た場合とは、完全同一でなくてよい。例えば、当該座標位置によって示されるバウンディングボックスとＨＯＩＤ検出結果における商品のバウンディングボックスとの類似度が所定の閾値以上である場合も含んでよい。

【0054】

図７は、実施例１にかかるＨＯＩＤによる商品追跡方法の一例を示す図である。図７において、ＨＯＩＤによって検出された商品のバウンディングボックスは物体ＢＢ１８２、追跡中物体リスト３５に記憶した座標位置によって示される追跡中の商品のバウンディングボックスは物体ＢＢ１８３として示される。

【0055】

図７の左側に示すように、例えば、物体ＢＢ１８２と物体ＢＢ１８３との中心座標の距離が物体ＢＢ１８３の中心座標から２バウンディングボックス内の領域である判定領域１９０の範囲内の距離である場合、両ＢＢの類似度は所定の閾値以上であると判定される。この場合、管理装置１０は、物体ＢＢ１８２によって示されるＨＯＩＤ検出結果の商品と、物体ＢＢ１８３によって示される追跡中の商品とが同一の商品であると判断し、当該商品の追跡に成功する。

【0056】

一方、図７の右側に示すように、例えば、物体ＢＢ１８２と物体ＢＢ１８３との中心座標の距離が、判定領域１９０の範囲外の距離である場合、両ＢＢの類似度は所定の閾値未満であり、両ＢＢによって示される商品は異なる商品であると判定される。この場合は、物体ＢＢ１８２によって示される、ＨＯＩＤによって検出された商品は、追跡中の商品とは別の商品として追跡されることになる。

【0057】

図７を用いて商品が把持され追跡を行う場合の判定方法について説明したが、次に、図８を用いて人物が把持した商品から手を離し置いた場合の判定方法について説明する。図８は、実施例１にかかるＨＯＩＤによる商品追跡の判定方法の一例を示す図である。図８において、ＨＯＩＤによって検出された商品のバウンディングボックスは物体ＢＢ１８２、追跡中物体リスト３５に記憶した座標位置によって示される追跡中の商品のバウンディングボックスは物体ＢＢ１８３として示される。

【0058】

図８の左側に示すように、例えば、物体ＢＢ１８２と物体ＢＢ１８３との中心座標の距離が判定領域１９０の範囲内の距離である場合、両ＢＢの類似度は所定の閾値以上であると判定される。この場合、物体ＢＢ１８２によって示されるＨＯＩＤ検出結果の商品は“動いていない”、すなわち、“置いた”と判定される。なお、“動いていない”と判定された場合に即座に“置いた”と判定されなくてよく、例えば、“動いていない”と判定されたことを連続するフレームでカウントし、５カウント以上に達した場合に“置いた”と判定されてよい。また、図８における判定領域１９０の大きさは、図７における判定領域１９０の大きさと異なってよく、例えば、０．５バウンディングボックス内の領域であってよい。そして、“動いていない”と判定された場合、物体ＢＢ１８３によって示される追跡中の商品の追跡が休止される。

【0059】

一方、図８の右側に示すように、例えば、物体ＢＢ１８２と物体ＢＢ１８３との中心座標の距離が、判定領域１９０の範囲外の距離である場合、両ＢＢの類似度は所定の閾値未満であると判定される。この場合、物体ＢＢ１８２によって示されるＨＯＩＤ検出結果の商品は“動いている”と判定される。なお、“動いている”と判定された場合、“動いていない”と判定された場合にカウントされるカウンタはリセットされてよい。

【0060】

このように、管理装置１０は、ＨＯＩＤによって検出された商品のバウンディングボックスと、追跡中物体リスト３５や追跡休止物体リスト３６に記憶した座標位置によって示される商品のバウンディングボックスとによって商品を追跡する。追跡中物体リスト３５および追跡休止物体リスト３６について説明する。

【0061】

図１３は、実施例１にかかる追跡中物体リスト３５に記憶されるデータの一例を示す図である。追跡中物体リスト３５のデータは、例えば、ＨＯＩＤによって商品が検出され、商品ＩＤが割り当てられた際に新規作成される。

【0062】

追跡中物体リスト３５は、例えば、商品ＩＤを示す「ＩＤ」、追跡中の商品のバウンディングボックスの位置を示す「Ｂｂｏｘ」が対応付けて記憶される。また、追跡中物体リスト３５はさらに、例えば、追跡中の商品を見失った回数を示す「ｌｏｓｔ＿ｃｏｕｎｔ」、追跡中の商品が“動いていない”と判定された回数を示す「ｓｔａｙ＿ｃｏｕｎｔ」が対応付けて記憶される。

【0063】

追跡中物体リスト３５の「Ｂｂｏｘ」は、追跡中の商品のバウンディングボックスの位置を示すため、例えば、フレームごとに検出された商品のバウンディングボックスの位置によって更新される。また、フレームごとに追跡中の商品を見失った場合、「ｌｏｓｔ＿ｃｏｕｎｔ」をカウントアップしていき、例えば、４回など所定回数を超えた場合に追跡が休止される。また、フレームごとに商品が“動いていない”と判定された場合、「ｓｔａｙ＿ｃｏｕｎｔ」をカウントアップしていき、例えば、５回など所定回数を超えた場合に商品を“置いた”と判定される。

【0064】

図１４は、実施例１にかかる追跡休止物体リスト３６に記憶されるデータの一例を示す図である。追跡休止物体リスト３６のデータは、例えば、商品を“置いた”と判定された際に新規作成される。

【0065】

追跡休止物体リスト３６は、例えば、商品ＩＤを示す「ＩＤ」、追跡が休止された際の商品のバウンディングボックスの位置を示す「Ｂｂｏｘ」、追跡が再開されたか否かを示す「ｒｅｓｔａｒｔ」が対応付けて記憶される。「ｒｅｓｔａｒｔ」は初期値に“ｆａｌｓｅ”が設定され、商品の追跡が再開された場合に“ｔｒｕｅ”に更新される。なお、商品の追跡が再開された後、再び、追跡が休止された場合は、「Ｂｂｏｘ」が休止された際の商品のバウンディングボックスの位置で、「ｒｅｓｔａｒｔ」は“ｆａｌｓｅ”に更新される。

【0066】

このように、追跡中物体リスト３５および追跡休止物体リスト３６は、商品の追跡状況に合わせてデータが更新される。次に、図１５および１６を用いて、追跡中物体リスト３５および追跡休止物体リスト３６のデータ遷移について説明する。

【0067】

図１５は、実施例１にかかる各追跡リストのデータ遷移（１）の一例を示す図である。図１５に示すように、まず、顧客が、購入する商品を把持して、セルフレジ端末１００の設置されたレジエリアに入場すると、ＨＯＩＤによって商品が検出され、追跡中物体リスト３５にデータが作成され、商品の追跡が開始される（ステップＳ１１）。図１５の例では、人物が２つの商品を把持しているため、追跡中物体リスト３５には商品１および商品２の２つのデータが作成される。なお、この時点では、追跡休止物体リスト３６には、商品１および商品２のデータは作成されることなく、空である。

【0068】

次に、顧客が、仮置台に各商品を置き、数フレーム後に各商品を“置いた”と判定されると、追跡中物体リスト３５のデータが削除され、追跡休止物体リスト３６に商品１および商品２の２つのデータが作成され、商品の追跡が休止される（ステップＳ１２）。そして、顧客が商品１または商品２を把持しない状態ではＨＯＩＤによる検出が行われないため、追跡中物体リスト３５および追跡休止物体リスト３６のデータに変化はない（ステップＳ１３）。

【0069】

次に、顧客が、商品スキャンを行うため、仮置台に置かれた商品１を把持すると、ＨＯＩＤによって商品１が検出され、追跡中物体リスト３５に商品１のデータが作成され、商品１の追跡が再開される（ステップＳ１４）。そして、顧客が商品１を把持したまま、仮置台から取り出し（ステップＳ１５）、商品スキャンを行うと（ステップＳ１６）、継続して商品１の追跡が行われる。この間、追跡中物体リスト３５の商品１のデータは、フレームごとに検出された商品１のバウンディングボックスの座標などに基づいて更新される。

【0070】

図１６は、実施例１にかかる各追跡リストのデータ遷移（２）の一例を示す図である。図１５に示したように商品１の商品スキャンが行われると（ステップＳ１６）、次に、顧客は、商品１を仮置台に戻して置く（ステップＳ１７）。この間も、追跡中物体リスト３５の商品１のデータは、フレームごとに検出された商品１のバウンディングボックスの座標などに基づいて更新される。

【0071】

次に、数フレーム後に商品１を“置いた”と判定されると、追跡中物体リスト３５の商品１のデータが削除され、追跡休止物体リスト３６に商品１のデータが作成され、商品１の追跡が休止される（ステップＳ１８）。

【0072】

次に、顧客が、商品スキャンを行うため、仮置台に置かれた商品２を把持すると、ＨＯＩＤによって商品２が検出され、追跡中物体リスト３５に商品２のデータが作成され、商品２の追跡が再開される（ステップＳ１９）。そして、商品１同様、顧客が商品２を把持したまま、仮置台から取り出し、商品スキャンを行なって仮置台に戻して“置いた”と判定されるまで継続して商品２の追跡が行われる（ステップＳ２０）。商品２も“置いた”と判定されると、追跡中物体リスト３５の商品２のデータが削除され、追跡休止物体リスト３６に商品２のデータが作成され、商品２の追跡が休止される。

【0073】

次に、顧客が、レジエリアから退場するため、仮置台に置かれた商品１および商品２を把持すると、ＨＯＩＤによって両商品が検出され、追跡中物体リスト３５に両商品のデータが作成され、両商品の追跡が再開される（ステップＳ２１）。そして、顧客が商品１および２を把持したまま、仮置台から取り出すと、継続して両商品の追跡が行われ、追跡中物体リスト３５の両商品のデータは、フレームごとに検出された両商品のバウンディングボックスの座標などに基づいて更新される（ステップＳ２２）。

【0074】

次に、商品のスキャン漏れなどを検知するために実行される、仮置台領域１５０から出た商品やレジ前領域１６０に入った商品のカウント方法について説明する。図９は、実施例１にかかる仮置台ＲＯＩから出た商品のカウント方法の一例を示す図である。図９において、仮置台ＲＯＩ１５１が撮像画像２５１および２５２における仮置台領域１５０を示す。管理装置１０は、フレームごとに検出される商品の位置関係に基づいて、仮置台ＲＯＩ１５１から出る商品をカウントする。

【0075】

まず、撮像画像２５１では、人物が商品を把持したためＨＯＩＤによって商品が検出され物体ＢＢ１８４が示される。この時、物体ＢＢ１８４は仮置台ＲＯＩ１５１の中にあるので、商品は仮置台領域１５０内にあると判定される。

【0076】

次に、撮像画像２５１の後のフレームである撮像画像２５２では、人物が把持した商品を移動し、物体ＢＢ１８４が仮置台ＲＯＩ１５１の外にあるため、商品は仮置台領域１５０外にあると判定される。このように、前後のフレームで仮置台ＲＯＩ１５１の中にあった物体ＢＢ１８４が外に出た場合に、管理装置１０は、商品が仮置台領域１５０から出た回数を示すカウンタをカウントする。

【0077】

しかしながら、商品が仮置台領域１５０から出た回数をカウントするのは、例えば、商品がスキャンされた回数などと比較し、商品のスキャン漏れなどを検知するためである。そのため、例えば、人物がレジエリアから退場する際に仮置台領域１５０から商品を持ち出す回数はカウントに含めないことが望ましい。そこで、本実施形態では、商品ごとにカウント済みか否かを管理し、カウント済みである場合は重複してカウントされないように制御される。

【0078】

図１１は、実施例１にかかる仮置台ＲＯＩリスト３３に記憶されるデータの一例を示す図である。仮置台ＲＯＩリスト３３のデータは、例えば、ＨＯＩＤによって商品が検出され、商品ＩＤが割り当てられた際に新規作成される。

【0079】

仮置台ＲＯＩリスト３３は、例えば、商品ＩＤを示す「ＩＤ」、前フレームにおける商品の仮置台ＲＯＩ１５１に対する位置を示す「前フレーム位置」が対応付けて記憶される。また、仮置台ＲＯＩリスト３３はさらに、例えば、商品が仮置台領域１５０から出た回数がカウント済みであるか否かを示す「カウント済み」が対応付けて記憶される。

【0080】

仮置台ＲＯＩリスト３３の「前フレーム位置」には、例えば、商品が仮置台ＲＯＩ１５１の内外のどちらにあるか判定される際のフレームの前フレームにおいて商品が仮置台ＲＯＩ１５１の外にあった場合は“ＯＵＴ”、内にあった場合は“ＩＮ”が設定される。また、仮置台ＲＯＩリスト３３の「カウント済み」には、商品が仮置台領域１５０から出た回数がカウント済みである場合は“ｔｒｕｅ”、未カウントの場合は“ｆａｌｓｅ”が設定される。

【0081】

ＨＯＩＤによって商品が検出され商品ＩＤが割り当てられると、例えば、仮置台ＲＯＩリスト３３の「前フレーム位置」には仮置台ＲＯＩ１５１に対する現在の商品の位置によって“ＯＵＴ”または“ＩＮ”、「カウント済み」には“ｆａｌｓｅ”が設定される。

【0082】

そして、仮置台ＲＯＩリスト３３の「カウント済み」が“ｆａｌｓｅ”で、「前フレーム位置」が“ＩＮ”で、仮置台ＲＯＩ１５１に対する現フレームでの商品の位置が“ＯＵＴ”の場合、商品が仮置台領域１５０から出た回数がカウントされる。また、この際、商品が仮置台領域１５０から出た回数がカウントされたので、仮置台ＲＯＩリスト３３の「カウント済み」は“ｔｒｕｅ”に更新される。

【0083】

次に、レジ前領域１６０に入った商品のカウント方法について説明する。図１０は、実施例１にかかるレジ前ＲＯＩに入った商品のカウント方法の一例を示す図である。図１０において、レジ前ＲＯＩ１６１が撮像画像２５３および２５４におけるレジ前領域１６０を示す。また、セルフレジＢＢ１０１は、例えば、セルフレジ端末１００に人物が手を近づけるとＨＯＩＤによって検出されるセルフレジ端末１００のバウンディングボックスである。セルフレジＢＢ１０１の前部の所定領域内をレジ前ＲＯＩ１６１としてもよい。管理装置１０は、フレームごとに検出される商品の位置関係に基づいて、レジ前ＲＯＩ１６１に入る商品をカウントする。

【0084】

まず、撮像画像２５３では、人物が把持した商品を示す物体ＢＢ１８４はレジ前ＲＯＩ１６１の外にあるので、商品はレジ前領域１６０外にあると判定される。

【0085】

次に、撮像画像２５３の後のフレームである撮像画像２５４では、人物が把持した商品を移動し、物体ＢＢ１８４がレジ前ＲＯＩ１６１の内にあるため、商品はレジ前ＲＯＩ１６１内にあると判定される。このように、前後のフレームでレジ前ＲＯＩ１６１の外にあった物体ＢＢ１８４が内に入った場合に、管理装置１０は、商品がレジ前領域１６０に入った回数を示すカウンタをカウントする。

【0086】

しかしながら、商品がレジ前領域１６０に入った回数をカウントするのは、例えば、商品がスキャンされた回数などと比較し、商品のスキャン漏れなどを検知するためである。そのため、例えば、人物が商品をレジエリアに持ち込んでレジ台の前を通過した際にレジ前領域１６０に商品が入った回数はカウントに含めないことが望ましい。そこで、本実施形態では、商品ごとにカウント済みか否かを管理し、カウント済みである場合は重複してカウントされないように制御される。

【0087】

図１２は、実施例１にかかるレジ前ＲＯＩリスト３４に記憶されるデータの一例を示す図である。レジ前ＲＯＩリスト３４のデータは、例えば、ＨＯＩＤによって商品が検出され、商品ＩＤが割り当てられた際に新規作成される。

【0088】

レジ前ＲＯＩリスト３４は、例えば、商品ＩＤを示す「ＩＤ」、前フレームにおける商品のレジ前ＲＯＩ１６１に対する位置を示す「前フレーム位置」が対応付けて記憶される。また、レジ前ＲＯＩリスト３４はさらに、例えば、商品がレジ前領域１６０に入った回数がカウント済みであるか否かを示す「カウント済み」が対応付けて記憶される。

【0089】

レジ前ＲＯＩリスト３４の「前フレーム位置」には、例えば、商品がレジ前ＲＯＩ１６１の内外のどちらにあるか判定される際のフレームの前フレームにおいて商品がレジ前ＲＯＩ１６１の外にあった場合は“ＯＵＴ”、内にあった場合は“ＩＮ”が設定される。また、レジ前ＲＯＩリスト３４の「カウント済み」には、商品がレジ前領域１６０に入った回数がカウント済みである場合は“ｔｒｕｅ”、未カウントの場合は“ｆａｌｓｅ”が設定される。

【0090】

ＨＯＩＤによって商品が検出され商品ＩＤが割り当てられると、例えば、レジ前ＲＯＩリスト３４の「前フレーム位置」にはレジ前ＲＯＩ１６１に対する現在の商品の位置によって“ＯＵＴ”または“ＩＮ”、「カウント済み」には“ｆａｌｓｅ”が設定される。

【0091】

そして、レジ前ＲＯＩリスト３４の「カウント済み」が“ｆａｌｓｅ”で、「前フレーム位置」が“ＯＵＴ”で、レジ前ＲＯＩ１６１に対する現フレームでの商品の位置が“ＩＮ”の場合、商品がレジ前領域１６０に入った回数がカウントされる。また、この際、商品がレジ前領域１６０に入った回数がカウントされたので、レジ前ＲＯＩリスト３４の「カウント済み」は“ｔｒｕｅ”に更新される。

【0092】

［処理の流れ］
次に、図１７および１８を用いて、管理装置１０によって実行される商品追跡処理の流れを説明する。図１７は、実施例１にかかる商品追跡処理（１）の流れを示すフローチャートである。図１７に示す商品追跡処理は、例えば、顧客がセルフレジ端末１００の設置されたレジエリアに入場した際などに開始されてよい。

【0093】

まず、図１７に示すように、管理装置１０は、追跡中物体リスト３５および追跡休止物体リスト３６を初期化する（ステップＳ１０１）。

【0094】

次に、管理装置１０は、カメラ装置２００によってセルフレジ端末１００の前など所定の撮像範囲が撮像された撮像画像に対するＨＯＩＤの検出結果を取得する（ステップＳ１０２）。以降、ステップＳ１０２～Ｓ１０９はフレームごとに繰り返し実行される。

【0095】

次に、管理装置１０は、ステップＳ１０２で取得したＨＯＩＤ検出結果と追跡休止物体リスト３６の「Ｂｂｏｘ」によって示されるバウンディングボックスとを照合し、商品のバウンディングボックスの類似度を判定する（ステップＳ１０３）。ステップＳ１０３で類似度が１など所定の閾値以上であり、商品を“置いた”と判定された場合、追跡休止物体リスト３６の該当エントリの「ｒｅｓｔａｒｔ」を“ｔｒｕｅ”に設定し、ＨＯＩＤ検出結果から当該エントリを削除する。

【0096】

次に、管理装置１０は、ステップＳ１０２で取得したＨＯＩＤ検出結果と追跡中物体リスト３５の「Ｂｂｏｘ」によって示されるバウンディングボックスとを照合し、商品のバウンディングボックスの類似度を判定する（ステップＳ１０４）。ステップＳ１０４で類似度が２など所定の閾値以上である場合、ＨＯＩＤによって検出された商品は追跡中の商品であると判定し、ＨＯＩＤ検出結果に基づいて追跡中物体リスト３５が更新される。そして、追跡中物体リスト３５の更新時、類似度が３など所定の閾値以上であり、追跡中の商品が“動いていない”と判定された場合、追跡中物体リスト３５の「ｓｔａｙ＿ｃｏｕｎｔ」をカウントアップし、類似度が所定の閾値未満の場合はリセットする。ステップＳ１０５以降は、図１８を用いて説明する。

【0097】

図１８は、実施例１にかかる商品追跡処理（２）の流れを示すフローチャートである。次に、管理装置１０は、ステップＳ１０４で照合できなかったＨＯＩＤ検出結果の商品は新規検出として、当該商品にＩＤを割り当て、追跡中物体リスト３５にデータを追加する（ステップＳ１０５）。この際、追跡中物体リスト３５の「ｓｔａｙ＿ｃｏｕｎｔ」は初期値の０が設定される。

【0098】

次に、管理装置１０は、ステップＳ１０４で照合できなかった追跡中物体リスト３５の商品の「ｌｏｓｔ＿ｃｏｕｎｔ」をカウントアップする（ステップＳ１０６）。そして、「ｌｏｓｔ＿ｃｏｕｎｔ」が４など所定の閾値を超え、かつ「ｓｔａｙ＿ｃｏｕｎｔ」が５など所定の閾値以上である場合、管理装置１０は、ステップＳ１０４で照合できなかった追跡中物体リスト３５の商品を“置いた”と判定する。“置いた”と判定された商品は、追跡中物体リスト３５から追跡休止物体リスト３６に移動される。この際、追跡休止物体リスト３６の「ｒｅｓｔａｒｔ」は“ｆａｌｓｅ”が設定される。一方、「ｌｏｓｔ＿ｃｏｕｎｔ」が４など所定の閾値を超え、かつ「ｓｔａｙ＿ｃｏｕｎｔ」が所定の閾値未満である場合、管理装置１０は、ステップＳ１０４で照合できなかった追跡中物体リスト３５の商品のデータを削除する。当該商品は、例えば、レジエリアから既に退場した商品である。

【0099】

次に、管理装置１０は、追跡休止物体リスト３６の「ｒｅｓｔａｒｔ」が“ｔｒｕｅ”の商品を追跡中物体リスト３５に移動し、追跡を再開する（ステップＳ１０７）。この際、追跡中物体リスト３５の「ｓｔａｙ＿ｃｏｕｎｔ」は初期値の０が設定される。

【0100】

次に、管理装置１０は、追跡中の商品が仮置台ＲＯＩ１５１の中から外に出たことを認識し、商品が仮置台領域１５０から出た回数をカウントアップする（ステップＳ１０８）。

【0101】

次に、管理装置１０は、追跡中の商品がレジ前ＲＯＩ１６１の外から中に入りセルフレジ端末１００に近づいたことを認識し、商品がスキャンされた回数、すなわち、レジ前領域１６０に入った回数をカウントアップする（ステップＳ１０９）。

【0102】

次に、管理装置１０は、ステップＳ１０８およびＳ１０９でカウントした商品が仮置台領域１５０から出た回数および商品がスキャンされた回数を出力する（ステップＳ１１０）。ステップＳ１１０の実行後、図１７および１８に示す商品追跡処理は終了するが、例えば、商品が仮置台領域１５０から出た回数と、商品がスキャンされた回数との差が所定数以上ある場合などは、商品のスキャン漏れが発生している可能性があると判定される。この場合、管理装置１０は、店員端末３００などにアラートを通知できる。

【0103】

［効果］
上述したように、管理装置１０は、撮像画像から、ユーザの物体に対する行動を追跡し、当該行動に基づいて、ユーザが物体を把持する第１の行動と、ユーザが把持した物体を離す第２の行動とを識別し、第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、第２の位置情報によって示される位置で、第１の行動を検出した場合、第２の識別情報と第２の位置情報とを、第１の記憶部に記憶する。

【0104】

このように、管理装置１０は、商品を把持する行動と離す行動を識別して商品を離した位置と識別子を記憶し、商品を離した位置で把持行動を検出した場合に、記憶した識別子を引き継ぐことで、セルフレジを利用する顧客行動をより正確に検知できる。

【0105】

また、管理装置１０は、物体が撮像画像における第１の領域から出たことを検出し、第１のカウンタをカウントし、物体が撮像画像における第２の領域に入ったことを検出し、第２のカウンタをカウントし、第１のカウンタおよび第２のカウンタを出力する。

【0106】

これにより、管理装置１０は、セルフレジを利用する顧客行動をより正確に検知するための情報を提供できる。

【0107】

また、管理装置１０によって実行される、行動を追跡する処理は、ＨＯＩＤを用いて、ユーザの前記物体に対する行動を追跡する。

【0108】

これにより、管理装置１０は、セルフレジを利用する顧客行動をより正確に検知できる。

【0109】

また、管理装置１０は、ＨＯＩＤの検出結果を取得し、第２の記憶部に記憶された第２の位置情報によって示される第２のバウンディングボックスが、ＨＯＩＤの検出結果における物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、第２のバウンディングボックスの物体に対して第１の行動を検出する。

【0110】

これにより、管理装置１０は、セルフレジを利用する顧客行動をより正確に検知できる。

【0111】

また、管理装置１０は、ＨＯＩＤの検出結果を取得し、第１の記憶部に記憶された第１の位置情報によって示される第１のバウンディングボックスが、ＨＯＩＤの検出結果における物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、第１のバウンディングボックスの物体は動いていないと判定する。

【0112】

これにより、管理装置１０は、セルフレジを利用する顧客行動をより正確に検知できる。

【0113】

また、管理装置１０は、物体は動いていないと判定する処理は、連続して撮像された複数の撮像画像において、所定の回数以上、第１のバウンディングボックスの物体は動いていないと判定された場合、第１のバウンディングボックスの物体に対して第２の行動を検出する。

【0114】

これにより、管理装置１０は、セルフレジを利用する顧客行動をより正確に検知できる。

【0115】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

【0116】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0117】

［ハードウェア］
図１９は、管理装置１０のハードウェア構成例を説明する図である。図１９に示すように、管理装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１９に示した各部は、バスなどで相互に接続される。

【0118】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやデータを記憶する。

【0119】

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図４などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、管理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部４１や検出部４２などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、取得部４１や検出部４２などと同様の処理を実行するプロセスを実行する。

【0120】

このように、管理装置１０は、図４に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、管理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、管理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0121】

また、図４に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0122】

図２０は、セルフレジ端末１００のハードウェア構成例を説明する図である。図２０に示すように、セルフレジ端末１００は、通信インタフェース１００ａ、ＨＤＤ１００ｂ、メモリ１００ｃ、プロセッサ１００ｄ、入力部１００ｅ、出力部１００ｆを有する。また、図２０に示した各部は、バスなどで相互に接続される。

【0123】

通信インタフェース１００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１００ｂは、セルフレジ端末１００の各機能を動作させるプログラムやデータを記憶する。

【0124】

プロセッサ１００ｄは、セルフレジ端末１００の各機能の処理を実行するプログラムをＨＤＤ１００ｂなどから読み出してメモリ１００ｃに展開することで、セルフレジ端末１００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末１００が有する各処理部と同様の機能を実行する。

【0125】

このように、セルフレジ端末１００は、セルフレジ端末１００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末１００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末１００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0126】

また、セルフレジ端末１００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0127】

入力部１００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ端末１００はさらに表示部を備え、入力部１００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力部１００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

【0128】

出力部１００ｆは、プロセッサ１００ｄによって実行されるプログラムから出力されるデータをセルフレジ端末１００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ端末１００が表示部を備える場合、セルフレジ端末１００は出力部１００ｆを備えなくてもよい。

【0129】

図２１は、店員端末３００のハードウェア構成例を説明する図である。図２１に示すように、店員端末３００は、通信インタフェース３００ａ、ＨＤＤ３００ｂ、メモリ３００ｃ、プロセッサ３００ｄ、入力部３００ｅ、表示部３００ｆを有する。また、図２１に示した各部は、バスなどで相互に接続される。

【0130】

通信インタフェース３００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ３００ｂは、店員端末３００の各機能を動作させるプログラムやデータを記憶する。

【0131】

プロセッサ３００ｄは、店員端末３００の各機能の処理を実行するプログラムをＨＤＤ３００ｂなどから読み出してメモリ３００ｃに展開することで、店員端末３００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、店員端末３００が有する各処理部と同様の機能を実行する。

【0132】

このように、店員端末３００は店員端末３００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、店員端末３００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで店員端末３００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、店員端末３００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0133】

また、店員端末３００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0134】

入力部３００ｅは、プロセッサ３００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や店員端末３００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示部３００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示部３００ｆに対し、例えば、指などの物体を近づける動作を含む。入力部３００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

【0135】

表示部３００ｆは、プロセッサ３００ｄによる制御に基づいて各種視覚情報を表示する。表示部３００ｆは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、いわゆる有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどであってよい。

【0136】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0137】

（付記１）撮像画像から、ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、
前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0138】

（付記２）前記物体が前記撮像画像における第１の領域から出たことを検出し、第１のカウンタをカウントし、
前記物体が前記撮像画像における第２の領域に入ったことを検出し、第２のカウンタをカウントし、
前記第１のカウンタおよび前記第２のカウンタを出力する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0139】

（付記３）前記行動を追跡する処理は、ＨＯＩＤを用いて、前記ユーザの前記物体に対する行動を追跡する処理を含むことを特徴とする付記１または２に記載の情報処理プログラム。

【0140】

（付記４）前記ＨＯＩＤの検出結果を取得し、
前記第２の記憶部に記憶された前記第２の位置情報によって示される第２のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第２のバウンディングボックスの前記物体に対して前記第１の行動を検出する
処理を前記コンピュータに実行させることを特徴とする付記３に記載の情報処理プログラム。

【0141】

（付記５）前記ＨＯＩＤの検出結果を取得し、
前記第１の記憶部に記憶された前記第１の位置情報によって示される第１のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第１のバウンディングボックスの前記物体は動いていないと判定する
処理を前記コンピュータに実行させることを特徴とする付記３に記載の情報処理プログラム。

【0142】

（付記６）前記物体は動いていないと判定する処理は、
連続して撮像された複数の前記撮像画像において、所定の回数以上、前記第１のバウンディングボックスの前記物体は動いていないと判定された場合、前記第１のバウンディングボックスの前記物体に対して前記第２の行動を検出する
処理を含むことを特徴とする付記５に記載の情報処理プログラム。

【0143】

（付記７）撮像画像から、ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、
前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0144】

（付記８）前記物体が前記撮像画像における第１の領域から出たことを検出し、第１のカウンタをカウントし、
前記物体が前記撮像画像における第２の領域に入ったことを検出し、第２のカウンタをカウントし、
前記第１のカウンタおよび前記第２のカウンタを出力する
処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0145】

（付記９）前記行動を追跡する処理は、ＨＯＩＤを用いて、前記ユーザの前記物体に対する行動を追跡する処理を含むことを特徴とする付記７または８に記載の情報処理方法。

【0146】

（付記１０）前記ＨＯＩＤの検出結果を取得し、
前記第２の記憶部に記憶された前記第２の位置情報によって示される第２のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第２のバウンディングボックスの前記物体に対して前記第１の行動を検出する
処理を前記コンピュータが実行することを特徴とする付記９に記載の情報処理方法。

【0147】

（付記１１）前記ＨＯＩＤの検出結果を取得し、
前記第１の記憶部に記憶された前記第１の位置情報によって示される第１のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第１のバウンディングボックスの前記物体は動いていないと判定する
処理を前記コンピュータが実行することを特徴とする付記９に記載の情報処理方法。

【0148】

（付記１２）前記物体は動いていないと判定する処理は、
連続して撮像された複数の前記撮像画像において、所定の回数以上、前記第１のバウンディングボックスの前記物体は動いていないと判定された場合、前記第１のバウンディングボックスの前記物体に対して前記第２の行動を検出する
処理を含むことを特徴とする付記１１に記載の情報処理方法。

【0149】

（付記１３）撮像画像から、ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、
前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理を実行する制御部を有することを特徴とする情報処理装置。

【0150】

（付記１４）前記物体が前記撮像画像における第１の領域から出たことを検出し、第１のカウンタをカウントし、
前記物体が前記撮像画像における第２の領域に入ったことを検出し、第２のカウンタをカウントし、
前記第１のカウンタおよび前記第２のカウンタを出力する
処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0151】

（付記１５）前記行動を追跡する処理は、ＨＯＩＤを用いて、前記ユーザの前記物体に対する行動を追跡する処理を含むことを特徴とする付記１３または１４に記載の情報処理装置。

【0152】

（付記１６）前記ＨＯＩＤの検出結果を取得し、
前記第２の記憶部に記憶された前記第２の位置情報によって示される第２のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第２のバウンディングボックスの前記物体に対して前記第１の行動を検出する
処理を前記制御部が実行することを特徴とする付記１５に記載の情報処理装置。

【0153】

（付記１７）前記ＨＯＩＤの検出結果を取得し、
前記第１の記憶部に記憶された前記第１の位置情報によって示される第１のバウンディングボックスが、前記検出結果における前記物体の第３のバウンディングボックスと類似度が所定の閾値以上である場合、前記第１のバウンディングボックスの前記物体は動いていないと判定する
処理を前記制御部が実行することを特徴とする付記１５に記載の情報処理装置。

【0154】

（付記１８）前記物体は動いていないと判定する処理は、
連続して撮像された複数の前記撮像画像において、所定の回数以上、前記第１のバウンディングボックスの前記物体は動いていないと判定された場合、前記第１のバウンディングボックスの前記物体に対して前記第２の行動を検出する
処理を含むことを特徴とする付記１７に記載の情報処理装置。

【0155】

（付記１９）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
撮像画像から、ユーザの物体に対する行動を追跡し、
前記行動に基づいて、前記ユーザが前記物体を把持する第１の行動と、前記ユーザが把持した前記物体を離す第２の行動とを識別し、
前記第１の行動に対する第１の識別情報と第１の位置情報とを第１の記憶部に記憶し、
前記第２の行動に対する第２の識別情報と第２の位置情報とを第２の記憶部に記憶し、
前記第２の位置情報によって示される位置で、前記第１の行動を検出した場合、前記第２の識別情報と前記第２の位置情報とを、前記第１の記憶部に記憶する
処理を実行することを特徴とする情報処理装置。

【符号の説明】

【0156】

１ 不正検知システム
１０ 管理装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
３１ 画像ＤＢ
３２ 検出モデルＤＢ
３３ 仮置台ＲＯＩリスト
３４ レジ前ＲＯＩリスト
３５ 追跡中物体リスト
３６ 追跡休止物体リスト
４０ 制御部
４１ 取得部
４２ 検出部
４３ 追跡部
４４ 計測部
４５ 出力部
５０ ネットワーク
１００ セルフレジ端末
１００ａ 通信インタフェース
１００ｂ ＨＤＤ
１００ｃ メモリ
１００ｄ プロセッサ
１００ｅ 入力部
１００ｆ 出力部
１０１ セルフレジＢＢ
１５０ 仮置台領域
１５１ 仮置台ＲＯＩ
１６０ レジ前領域
１６１ レジ前ＲＯＩ
１７０ 人物ＢＢ
１８０～１８４ 物体ＢＢ
１９０ 判定領域
２００ カメラ装置
２５０～２５２ 撮像画像
３００ 店員端末
３００ａ 通信インタフェース
３００ｂ ＨＤＤ
３００ｃ メモリ
３００ｄ プロセッサ
３００ｅ 入力部
３００ｆ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】