特許 7276419 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20230511BHJP

【ＦＩ】

G06Q30/0201

【請求項の数】 9

(21)【出願番号】P 2021210435

(22)【出願日】2021-12-24

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】木幡 駿

【審査官】山内 裕史

(56)【参考文献】

【文献】特開２０１６－５８０７４（ＪＰ，Ａ）

【文献】特開２００６－１１３７１１（ＪＰ，Ａ）

【文献】特開２０１６－１４６０２６（ＪＰ，Ａ）

【文献】特開２０１６－１４３３３４（ＪＰ，Ａ）

【文献】特開２０１８－１５１９６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記行動の工程の遷移は、注目および注意に関連する第一の行動工程、興味および関心に関連する第二の行動工程、欲求に関連する第三の行動工程、比較に関連する第四の行動工程、行動に関連する第五の行動工程、の順番で推移する、ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記追跡した複数の人物のそれぞれが前記商品を購入せずに離脱したと特定された場合の前記第１の行動種別ごとの離脱した者の数を特定し、
前記追跡した複数の人物の総数に対する前記第１の行動種別での離脱した者の数に基づいて、前記第１の行動種別ごとに離脱した者の割合を示した画像を生成する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

前記追跡した人物が前記商品を購入せずに離脱したと特定された場合の前記追跡した人物の前記工程の情報と、前記追跡した人物の属性情報とを紐付けて記憶する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

前記商品の購入者および離脱者それぞれの前記特定された行動および属性情報の少なくとも１つを訓練データとして、前記離脱者を検知するための機械学習モデルを訓練する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項7】

複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項8】

店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項9】

店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理を実行する制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

小売店などに訪れた人物が商品を購入する際に示す行動、いわゆる購買行動を分析することにより、コンバージョン率を改善する取り組みがある。例えば、衣類を販売する店舗で、商品比較が５回未満の人物は商品を購入する傾向が高く、逆に５回以上の人物は商品を購入せずに離脱する傾向が高い場合に、接客時に試着数を５点未満に誘導することで、コンバージョン率を向上させることができる可能性がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－４８４３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、店内で様々な人物が多様な行動を示す中で、人物の購買行動を分析することは容易でない。

【0005】

１つの側面では、人物の購買行動をより正確に分析できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

１つの態様において、情報処理プログラムは、店内の所定のエリアを撮影した映像から人物を抽出し、抽出した人物を追跡し、追跡した人物の店内での行動を特定し、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の行動によって到達した第１の行動種別を特定し、追跡した人物が所定のエリア外に移動したか否かを判定し、追跡した人物がエリア外に移動したと判定された場合、第１の行動種別に基づいて、追跡した人物が商品を購入したか、購入せずに離脱したかを特定する処理をコンピュータに実行させる。

【発明の効果】

【0007】

１つの側面では、人物の購買行動をより正確に分析できる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる情報処理システムの構成例を示す図である。

【図2】図２は、実施例１にかかる情報処理装置１０の構成例を示す図である。

【図3】図３は、実施例１にかかるカメラ設置ＤＢ１４に記憶される情報の例を示す図である。

【図4】図４は、実施例１にかかる商品ＤＢ１５に記憶される情報の例を示す図である。

【図5】図５は、実施例１にかかる人物ＤＢ１６に記憶される情報の例を示す図である。

【図6】図６は、客の追跡を説明する図である。

【図7】図７は、実施例１にかかる店内画像からの人物抽出および追跡の例を示す図である。

【図8】図８は、骨格情報の例を示す図である。

【図9】図９は、全身の姿勢判定を説明する図である。

【図10】図１０は、パーツ別動作の検知を説明する図である。

【図11】図１１は、実施例１にかかるＲＯＩ指定の例を示す図である。

【図12】図１２は、購買心理工程の例を示す図である。

【図13】図１３は、実施例１にかかる到達した行動種別の特定について説明する図である。

【図14】図１４は、実施例１にかかる追跡人物のエリア外への移動判定の例を示す図である。

【図15】図１５は、実施例１にかかる追跡人物の購入／離脱判定の例を示す図である。

【図16】図１６は、実施例１にかかる離脱者の割合を示す画像の例を示す図である。

【図17】図１７は、実施例１にかかる人物の属性情報の記憶の例を示す図である。

【図18】図１８は、実施例１にかかる検知モデルの訓練の例を示す図である。

【図19】図１９は、実施例１にかかるグループ識別の例を示す図である。

【図20】図２０は、実施例１にかかる購入／離脱判定処理の流れを示すフローチャートである。

【図21】図２１は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0010】

まず、本実施形態を実施するための情報処理システムについて説明する。図１は、実施例１にかかる情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、カメラ装置２００－１～２００－ｎ（ｎは任意の整数。以下、まとめて「カメラ装置２００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

【0011】

ネットワーク５０には、有線や無線を問わず、例えば、小売店などの店内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店などの“店内”という表現は、屋内に限定されず、小売店などの敷地内の屋外を含んでよい。

【0012】

情報処理装置１０は、例えば、小売店などの店内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。または、情報処理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

【0013】

情報処理装置１０は、カメラ装置２００によって小売店などの店内の各売場やレジエリアなど所定の撮像範囲を撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。

【0014】

また、情報処理装置１０は、既存の物体検知技術を用いて、カメラ装置２００によって撮影される映像から、店舗に滞在する顧客（以下、単に「人物」や「客」という場合がある）を抽出し、抽出した人物を追跡する。また、情報処理装置１０は、既存の骨格検出技術を用いて追跡した人物（以下、単に「追跡人物」という場合がある）の骨格情報を生成し、既存の姿勢推定技術などを用いて追跡人物の姿勢や動作を推定し、追跡人物の行動を特定する。

【0015】

そして、情報処理装置１０は、追跡人物が店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡人物の行動によって到達した第１の行動種別を特定する。行動の工程や、到達した第１の行動種別の特定の詳細については後述するが、店内の人物は、入店する、商品を見る、手に取る、比較する、購入するなど、様々な行動をとり得、これらの行動を工程と対応付けて種別化したものを行動種別という。そして、情報処理装置１０は、様々な行動を経て人物が到達した第１の行動種別を特定する。

【0016】

また、情報処理装置１０は、追跡人物が所定のエリア外、例えば、レジエリアに移動したか否かを判定する。また、情報処理装置１０は、追跡人物がエリア外に移動したと判定された場合、第１の行動種別に基づいて、追跡人物が商品を購入したか、購入せずに離脱したかを特定する。

【0017】

なお、図１では、情報処理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。

【0018】

カメラ装置２００は、例えば、小売店などの店内の各売場やレジエリアに設置される監視カメラである。カメラ装置２００によって撮影された映像は、情報処理装置１０に送信される。また、カメラ装置２００によって撮像される各商品や売場エリアには、各商品や売場エリアを特定するための座標などの位置情報が割り当てられており、例えば、情報処理装置１０は、カメラ装置２００から受信した映像から各商品や売場エリアを特定できる。

【0019】

［情報処理装置１０の機能構成］
次に、情報処理装置１０の機能構成について説明する。図２は、実施例１にかかる情報処理装置１０の構成例を示す図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１２、および制御部２０を有する。

【0020】

通信部１１は、カメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースである。

【0021】

記憶部１２は、各種データや、制御部２０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部１２は、撮像ＤＢ１３、カメラ設置ＤＢ１４、商品ＤＢ１５、人物ＤＢ１６、および検知モデルＤＢ１７などを記憶する。なお、ＤＢは、データベースの略称である。

【0022】

撮像ＤＢ１３は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。また、撮像ＤＢ１３は、各撮像画像から、個々の商品や売場エリアの領域や、抽出された人物を特定するための座標などの位置情報を各撮像画像に紐付けて記憶できる。また、撮像ＤＢ１３は、撮像画像から抽出され特定された人物の骨格情報を記憶する。骨格情報の生成については後述する。

【0023】

カメラ設置ＤＢ１４は、カメラ装置２００の各々が設置される場所を特定するための情報を記憶する。ここで記憶される情報は、管理者などにより予め設定されてよい。図３は、実施例１にかかるカメラ設置ＤＢ１４に記憶される情報の例を示す図である。図３に示すように、カメラ設置ＤＢ１４は、「カメラＩＤ、売場」などの各情報を対応付けて記憶する。ここで記憶される「カメラＩＤ」は、カメラを識別する情報が設定され、「売場」は、カメラが設置される売場を特定する情報が設定される。図３の例では、ベビー用品売場にカメラＩＤ＝１のカメラが設置され、スポーツ用品売場にカメラＩＤ＝２のカメラが設置される例が示されている。

【0024】

商品ＤＢ１５は、各売場にある商品に関する情報を記憶する。ここで記憶される情報は、管理者などにより予め設定されてよい。図４は、実施例１にかかる商品ＤＢ１５に記憶される情報の例を示す図である。図４に示すように、商品ＤＢ１５は、「売場、商品サイズ、商品例、商品ＩＤ」などの各情報を対応付けて記憶する。ここで記憶される「売場」は、売場を特定する情報が設定され、「商品サイズ」は、商品のサイズに関する情報が設定され、「商品例」は、該当する商品の一例が設定され、「商品ＩＤ」は、商品を特定する情報が設定される。図４の例では、ベビー用品売場で商品サイズが小さい商品に該当する小物類には商品ＩＤとして「２４２・・・」が設定されていることが示される。また、商品ＤＢ１５は、各商品の売場エリアや商品を特定するための座標などの位置情報が記憶されてよい。当該位置情報に基づいて、情報処理装置１０は、カメラ装置２００から受信した映像から各商品の売場エリアや商品を特定できる。

【0025】

人物ＤＢ１６は、店舗に滞在する顧客や店員などの追跡人物に関する情報を記憶する。ここで記憶される情報は、カメラ装置２００から受信した映像や情報などに基づいて、情報処理装置１０によって生成され設定される。図５は、実施例１にかかる人物ＤＢ１６に記憶される情報の例を示す図である。図５に示すように、人物ＤＢ１６は、「人物ＩＤ、年齢、性別、店員ｏｒ客、日時、工程、行動特徴」などの各情報を対応付けて記憶する。ここで記憶される「人物」は、追跡人物を特定する情報が設定される。また、「年齢」、「性別」、「客ｏｒ店員」は、それぞれ、カメラ装置２００から受信した映像や情報などに基づいて情報処理装置１０によって特定された人物の年齢や性別、または顧客か店員かを示す情報が設定される。また、「日時」、「工程」、「行動特徴」は、それぞれ、情報処理装置１０によって追跡人物の行動種別が特定された日時、特定された行動種別の工程、特定された行動種別に基づいて決定される行動特徴が設定される。

【0026】

検知モデルＤＢ１７は、商品を購入せずに離脱した人物（以下、「離脱者」という場合がある）を検知するための機械学習モデルに関する情報や、当該機械学習モデルを構築するためのモデルパラメータを記憶する。当該機械学習モデル、すなわち、離脱者の検知モデルは、商品の購入者および離脱者の行動特徴を特徴量とし、購入者か離脱者かを正解ラベルとして機械学習により生成される。検知モデルは、情報処理装置１０によって生成されてもよいし、別の情報処理装置によって訓練され生成されてもよい。

【0027】

なお、記憶部１２に記憶される上記情報はあくまでも一例であり、記憶部１２は、上記情報以外にも様々な情報を記憶できる。

【0028】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部２０は、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、および行動判定部２５を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0029】

撮像部２１は、画像を撮像する処理部である。例えば、撮像部２１は、カメラ装置２００により撮像された画像データを受信して撮像ＤＢ１３に格納する。

【0030】

追跡部２２は、店舗に入店した人物が退店するまでに撮像された各画像データを取得する処理部である。具体的には、追跡部２２は、カメラ装置２００により撮像された複数の画像データ、すなわち複数のフレームから、人物が写っている画像データを抽出して、フレーム間で同一人物を特定する。

【0031】

例えば、追跡部２２は、ある人物が店舗に入店してから退店するまでを追跡し、店舗内で撮像されたある人物の各画像データを取得する。図６は、客の追跡を説明する図である。図６に示すように、追跡部２２は、店舗の入口や、各売場、レジエリアや出口など店内各所に設置されたカメラ装置２００によって撮像された複数の画像データから人物を抽出し、抽出した人物から同一人物を特定し、人物ごとに追跡を行う。

【0032】

図７は、実施例１にかかる店内画像からの人物抽出および追跡の例を示す図である。図７に示すように、追跡部２２は、例えば、YOLO（YOU Only Look Once）、SSD（Single Shot Multibox Detector）、RCNN（Region Based Convolutional Neural Networks）などの既存の検出アルゴリズムを用いて、店内画像から人物を抽出する。店内画像は、カメラ装置２００によって撮像された各画像データであり、図７に示すように、抽出された人物は、画像上でその領域を矩形で囲むバウンディングボックス（BBOX）によって示される。

【0033】

また、図７の上段に示すように、店内画像から複数の人物が抽出されることは当然あり得る。そのため、追跡部２２は、図７の下段に示すように、例えば、複数の画像データ、すなわち複数のフレーム間の人物のBBOXの類似度に基づいて、フレーム間で同一人物を特定する。同一人物の特定には、例えば、TLD（Tracking Learning Detection）やKCF（Kernelized Correlation Filters）などの既存の追跡アルゴリズムが用いられてよい。

【0034】

骨格検知部２３は、画像データに写っている人物の骨格情報を取得する。具体的には、骨格検知部２３は、追跡部２２により抽出された各人物が写っている画像データに対して、人物の骨格検知を実行する。

【0035】

例えば、骨格検知部２３は、抽出された人物の画像データ、すなわち抽出された人物を示すBBOX画像を、DeepPoseやOpenPoseなどの既存アルゴリズムを用いて構築された、訓練済みの機械学習モデルに入力することで、骨格情報を取得する。図８は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。例えば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、図８に示した１８個の骨格の座標情報が、画像データから取得可能であり、例えば、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７、Ｚ座標＝Ｚ７」が取得される。なお、例えば、Ｚ軸は、撮像装置から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。

【0036】

また、骨格検知部２３は、骨格のパターンをあらかじめ訓練した機械学習モデルを用いて、立つ・歩く・しゃがむ・座る・寝るなどの全身の姿勢を判定することもできる。例えば、骨格検知部２３は、図８の骨格情報や美技図のような一部の関節と関節間の角度をMultilayer Perceptronで訓練した機械学習モデルを用いることで、最も近い全身の姿勢を判定することもできる。図９は、全身の姿勢判定を説明する図である。図９に示すように、骨格検知部２３は、１０番の「HIP_LEFT」と１１番の「KNEE_LEFT」との間の関節の角度（ａ）、１４番の「HIP_RIGHT」と１５番の「KNEE_RIGHT」との間の関節の角度（ｂ）、１１番の「KNEE_LEFT」の角度（ｃ）、１５番の「KNEE_RIGHT」の角度（ｄ）などを取得することで、全身の姿勢を検知することができる。

【0037】

また、骨格検知部２３は、体の３Ｄ関節姿勢に基づき、パーツの姿勢判定することで、パーツ別の動作を検知することもできる。具体的には、骨格検知部２３は、3D-baseline手法などの既存アルゴリズムを用いて、２Ｄ関節座標から３Ｄ関節座標への変換を行うこともできる。

【0038】

図１０は、パーツ別動作の検知を説明する図である。図１０に示すように、骨格検知部２３は、パーツ「顔」について、顔向きと各方向ベクトルの角度が閾値以下であるか否かにより、顔の向きが前、左、右、上、下のいずれの向きか（５種類）を検知することができる。なお、骨格検知部２３は、顔の向きについては、「始点：両耳の中点、終点：鼻」により定義されるベクトルにより特定する。また、骨格検知部２３は、顔が後ろを向いているか否かについては、「顔が右向きかつ腰が右捻り」または「顔が左向きかる腰が左捻り」により検知することができる。

【0039】

骨格検知部２３は、パーツ「腕」について、前腕の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の腕の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部２３は、腕の向きについては「始点：肘（elbow）、終点：手首（wrist）」により定義されるベクトルにより検知することができる。

【0040】

骨格検知部２３は、パーツ「脚」について、下腿の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の脚の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部２３は、下腿の向きについては「始点：膝（knee）、終点：足首（ankle）」により定義されるベクトルにより検知することができる。

【0041】

骨格検知部２３は、パーツ「肘」について、肘の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部２３は、肘の角度については、「始点：肘（elbow）、終点：肩（shoulder）」のベクトルＡと「始点：肘（elbow）、終点：手首（wrist）」のベクトルＢとのなす角度により検知することができる。

【0042】

骨格検知部２３は、パーツ「膝」について、膝の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部２３は、膝の角度については、「始点：膝（knee）、終点：足首（ankle）」のベクトルＡと「始点：膝（knee）、終点：腰（hip）」のベクトルＢとのなす角度により検知することができる。

【0043】

骨格検知部２３は、パーツ「腰」について、腰と肩の角度が閾値以上か否かにより、左右のひねり（２種類）を検知でき、閾値未満で正面と検知することができる。なお、骨格検知部２３は、腰と肩の角度については、「始点：左肩、終点：右肩」のベクトルＡと「始点：左腰（hip（L））、終点：右腰（hip（R））」のベクトルＢそれぞれについて、軸ベクトルＣ「始点：両腰の中点：終点：両肩の中点」まわりでの回転角により検知することができる。

【0044】

図２の説明に戻り、動作認識部２４は、骨格検知部２３による骨格情報の検知結果に基づき、人物の動作を認識する処理部である。具体的には、動作認識部２４は、連続する複数のフレームそれぞれについて認識された骨格情報の遷移に基づき、少なくとも１つの動作を含む行動を特定する。

【0045】

例えば、動作認識部２４は、数フレーム間で、パール別判定により顔が正面を見ている骨格かつ全身の姿勢判定により立っている骨格が連続して検知された場合、「正面を一定時間見る」動作を認識する。また、動作認識部２４は、数フレーム間で、全身の姿勢の変化が所定値未満の骨格が連続して検知された場合、「移動しない」動作を認識する。

【0046】

また、動作認識部２４は、数フレーム間で、肘の角度が閾値以上変化した骨格が検知された場合に、「片手を前に出す」動作もしくは「片腕を伸ばす」動作を認識し、数フレーム間で、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された場合に、「片手を曲げる」動作を認識する。さらに、動作認識部２４は、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された後に、その角度が数フレーム間継続した場合に、「片手を見る」動作を認識する。

【0047】

また、動作認識部２４は、数フレーム間で、手首の角度が連続して変化した骨格が検知された場合、「一定時間の間に手首座標が頻繁に動く」動作を認識する。動作認識部２４は、数フレーム間で、手首の角度が連続して変化するとともに、肘の角度が連続して変化した骨格が検知された場合、「一定時間の間に肘座標と手首座標が頻繁に動く」動作を認識する。動作認識部２４は、数フレーム間で、手首の角度、肘の角度、全身の向きのそれぞれが連続して変化した骨格が検知された場合、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作を認識する。

【0048】

また、動作認識部２４は、人物と商品や商品の売場エリアが写っている画像データに対し、例えば、カメラ装置２００の各々の撮像領域と、撮像領域内の各商品や各商品の売場エリアの座標とにより商品や売場エリアを特定する。

【0049】

図１１は、実施例１にかかるＲＯＩ指定の例を示す図である。図１１に示すように、カメラ装置２００の撮像領域内の各商品や売場エリアの領域（ROI：Region Of Interest）を予め指定しておくことで、動作認識部２４は、画像データから商品や売場エリアを特定できる。そして、動作認識部２４は、各画像データのＲＯＩと、追跡人物の行動との関連から、追跡人物の購買行動、例えば、売場エリアに入場、フロアに滞在、商品１に手を伸ばす、商品３に座る・寝るなどの行動を特定できる。

【0050】

また、動作認識部２４は、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡人物の行動によって到達した第１の行動種別を特定する。

【0051】

図１２は、購買心理工程の例を示す図である。図１２は、AIDeCAの法則なる顧客の購買心理工程をまとめた表である。具体例を挙げて説明すると、例えば、顧客Ａは店舗を訪れた際、売場エリアに設置された垂れ幕やポスターを見つけると、購買心理工程が“Attention”に遷移する。そして、顧客Ａは、その中から自分の好きな商品Ｘを紹介するポスターを見つけると、購買心理工程が“Interest”に遷移する。また、顧客Ａは、さっそく商品Ｘを手に取り、商品Ｘの内容や値段などを確認する。この時、購買心理工程は“Desire”に遷移する。また、顧客Ａは、商品Ｘに似た商品である、先日購入した商品Ｙを思い出し、商品Ｘと比較すると、購買心理工程が“Compare”に遷移する。そして、比較した結果、顧客Ａは、商品Ｘに納得して買い物カゴに入れると、購買心理工程が“Action”に遷移する。あくまでも、図１２の購買心理工程は一例だが、このように、顧客は、図１２に示したような購買心理工程に伴う行動をし、店舗を出るまでに何らかの行動に到達する。この到達する行動の種別を第１の行動種別として、動作認識部２４は、顧客がどの行動まで到達したか、そして到達した行動に対応する購買行動工程を特定する。

【0052】

図１３は、実施例１にかかる到達した行動種別の特定について説明する図である。動作認識部２４は、追跡人物の各行動を検知して、到達した行動種別と、購買心理工程を特定する。

【0053】

図１３の例は、人物Ａについて、あるフロアに入場する行動と、しばらくそのフロアに滞在する行動と、そのフロアにある商品に手を伸ばす行動とのそれぞれが、動作認識部２４によって特定され検知されたことを示している。この場合、人物Ａが到達した行動種別は、図１３に示すように、“商品手伸ばし”であり、到達した購買心理工程は、“商品手伸ばし”に対応する“Interest”になる。同様に、人物Ｂが到達した行動種別は、図１３に示すように、“複数商品に手伸ばし/座る/寝る”であり、到達した購買心理工程は、“Compare”である。なお、図１３に示す購買心理工程に対応する各行動種別はあくまでも一例であり、これらに限定されない。

【0054】

なお、図１３の例では、人物ＡおよびＢ共に、退店に対応する行動は検知されていないため、まだフロア内にいることを示している。そのため、例えば、情報処理装置１０は、退店に対応する行動が検知されるまで、人物ＡおよびＢの追跡を続け、到達した行動種別と、購買心理工程を特定する。また、図１３の例では、人物ＡおよびＢ共に、購買心理工程が左から順番に検知されて示されているが、一部の購買心理工程がスキップされて検知される場合はあり得る。例えば、人物がフロアに入場し、すぐに欲しい商品を見つけ、その商品を試した場合は、購買心理工程“Attention”や“Interest”と、対応する各行動が検知されない場合があり得る。

【0055】

図２の説明に戻り、行動判定部２５は、追跡人物が所定のエリア外に移動したか否かを判定する。ここで、例えば、所定のエリアとは各売場エリアであり、所定のエリア外に移動とはレジエリアへの移動である。しかしながら、所定のエリア外は出口エリアや、店外エリアなど別のエリアであってよい。図１４は、実施例１にかかる追跡人物のエリア外への移動判定の例を示す図である。

【0056】

行動判定部２５は、図１４に示すように、例えば、売場エリアで特定された人物Ａが、売場エリアを離れ、レジエリアに移動したか否かを判定する。より具体的には、レジエリアで特定された人物が、売場エリアで特定された人物Ａと同一人物であると判定された場合、行動判定部２５は、人物Ａがエリア外に移動したと判定する。また、この際、時間制限を設け、例えば、人物Ａが売場エリアを離れてから１０分以内にレジエリアで特定された人物と同一人物であると判定された場合に、人物Ａがエリア外に移動したと判定することもできる。

【0057】

なお、同一人物の判定について、例えば、人物のBBOX画像を入力し、BBOXで示される人物の特徴量ベクトルを出力する機械学習モデルを深層学習により構築し、特徴量の類似度評価から人物同一性が判定されてよい。また、図１４の右側に示すように、画像データから顧客以外の人物である、例えば、店員が抽出される場合もあり得る。そのため、各店員のBBOX画像などの店員情報を予め登録しておき、情報処理装置１０は、各エリアで特定された人物が店員と同一人物であると判定した場合、追跡などの処理対象から除外するように制御できる。

【0058】

そして、行動判定部２５は、追跡人物がエリア外に移動したと判定した場合、当該追跡人物が商品を購入したか、購入せずに離脱したかを特定する。図１５は、実施例１にかかる追跡人物の購入または離脱判定の例を示す図である。図１５の例は、時系列的に、図１３の例の続きである。

【0059】

図１５に示すように、例えば、人物Ａがエリア外に移動したと判定した場合、人物Ａが到達した行動種別が、購買心理工程“Interest”に対応する“商品手伸ばし”であるため、行動判定部２５は、人物Ａは商品を購入せずに離脱したことを特定する。一方、例えば、人物Ｂがエリア外に移動したと判定した場合、人物Ａが到達した行動種別が、購買心理工程“Action”に対応する“レジで購入”であるため、行動判定部２５は、人物Ｂが商品を購入したことを特定する。

【0060】

なお、行動判定部２５は、単に、売場エリアで特定された人物がレジエリアに移動したと判定した場合に、当該人物は商品を購入したことを特定してもよい。一方、人物がレジエリアに移動したと判定されなかった場合や、人物が売場エリアを離れてから所定時間内にレジエリアに移動したと判定されなかった場合、行動判定部２５は、当該人物は商品を購入せずに離脱したことを特定してもよい。

【0061】

また、情報処理装置１０は、顧客の購買行動を分析しコンバージョン率などを向上させるため、以下に示す幾つかの処理を実行できる。例えば、情報処理装置１０は、離脱者が到達した購買行動工程ごとに離脱者の割合を示すグラフなどを生成できる。図１６は、実施例１にかかる離脱者の割合を示す画像の例を示す図である。図１６に示すように、離脱者が到達した購買行動工程ごとに離脱者を集計、可視化することで顧客の購買行動を分析しコンバージョン率の向上などに活用できる。購買行動工程は、注目および注意(Attention)を示す第一の行動工程、興味および関心(Interest)を示す第二の行動工程、欲求を示す第三の行動工程(Desire)、比較(Compare)を示す第四の行動工程、行動(Action)を示す第五の行動工程、の順番で推移する。

【0062】

行動判定部２５は、行動の工程の遷移を規定した複数の行動種別のうち、人物が第一の行動工程に位置するときは、人物が第一の行動工程の遷移先の第二の行動工程に対応する行動(例えば、商品手伸ばし)をするか否かを判定する。行動判定部２５は、第二の行動工程に対応する行動をしたと判定されたときに、人物が第二の行動工程に遷移したと判定する。

【0063】

また、情報処理装置１０は、売場エリアで特定した人物が到達した購買行動工程と人物の属性情報とを紐付けて記憶できる。図１７は、実施例１にかかる人物の属性情報の記憶の例を示す図である。図１７に示すように、情報処理装置１０は、売場エリアで特定した人物が到達した購買行動工程の検知順に時系列に集計して人物の属性情報と紐付けて人物ＤＢ１６などに記憶することで、当該人物が離脱者となった際に離脱者の行動分析などに活用できる。なお、図１７の例では、人物の属性情報として、年齢、性別、店員か客かを示す情報を示しているが、これらに限定されず、同伴者の情報などを含んでよい。

【0064】

また、情報処理装置１０は、離脱者を検知するための検知モデルを生成できる。図１８は、実施例１にかかる検知モデルの訓練の一例を示す図である。図１８に示すように、情報処理装置１０は、商品の購入者および離脱者それぞれの購買行動特徴を訓練データとして機械学習モデルを訓練し、離脱者を検知するための検知モデルを生成できる。なお、当該購買行動特徴は、例えば、情報処理装置１０によって検知された、人物が到達した行動種別や購買行動工程のみならず、人物の年齢や性別などの属性情報を含んでよい。このように生成された検知モデルに、売場エリアで特定された人物の行動や属性情報を入力することで、当該人物が購入者となるか離脱者となるかを推定し、コンバージョン率の向上などに活用できる。

【0065】

また、情報処理装置１０は、店舗に訪れた人物の間のグループを特定できる。図１９は、実施例１にかかるグループ識別の一例を示す図である。情報処理装置１０は、売場エリアで特定された複数の人物の距離に基づいて、人物の間のグループを特定できる。より具体的には、例えば、図１９に示すように、画像データから抽出された複数の人物のBBOXの距離の時間変化を算出し、所定時間、所定距離内にいる複数の人物を同一のグループに属する人物であると特定できる。そして、同一のグループに属する複数の人物の情報は、互いの人物の同伴者の情報として、情報処理装置１０によって人物の属性情報に記憶され、活用される。

【0066】

［処理の流れ］
次に、情報処理装置１０によって実行される購入／離脱判定処理の流れを説明する。図２０は、実施例１にかかる購入／離脱判定処理の流れを示すフローチャートである。図２０に示す購入／離脱判定処理は、店内の映像に写った人物が商品を購入するか購入せずに離脱するかを特定する処理である。図２０に示す購入／離脱判定処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

【0067】

まず、図２０に示すように、情報処理装置１０は、カメラ装置２００によって小売店の店内など所定の撮像範囲が撮像された撮像画像を撮像ＤＢ１３から取得する（ステップＳ１０１）。なお、図２０に示す購入／離脱判定処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をほぼリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、撮像ＤＢ１３に記憶される。

【0068】

次に、情報処理装置１０は、既存の物体検知技術を用いて、ステップＳ１０１で取得した撮像画像から人物を抽出する（ステップＳ１０２）。なお、人物の抽出は、撮像画像、すなわち、カメラ装置２００によって撮影された映像の１フレームから複数の人物が抽出されることは当然あり得る。そのため、ステップＳ１０３以降の処理は、抽出された人物ごとに実行される。

【0069】

次に、情報処理装置１０は、ステップＳ１０２で抽出した人物を追跡する（ステップＳ１０３）。人物の追跡は、カメラ装置２００によって撮影された映像の複数のフレームから抽出された人物に対して既存技術を用いて同一人物を特定し、人物ごとに追跡する。そのため、処理の流れとしては、厳密には、ステップＳ１０１～Ｓ１０３が繰り返されることにより、人物の追跡が行われることになる。また、ステップＳ１０２によって抽出される人物は、店員など追跡対象外とする人物も含まれるため、各店員のBBOX画像などの店員情報を予め情報処理装置１０に登録しておくことで、店員と同一人物であると特定された人物の追跡は行わないように制御できる。

【0070】

次に、情報処理装置１０は、追跡人物の行動を特定する（ステップＳ１０４）。より具体的には、例えば、情報処理装置１０は、既存技術を用いて、連続して撮像された撮像画像から人物の骨格情報を取得し、人物の姿勢を判定することにより、人物の動作を含む行動を特定する。また、情報処理装置１０は、カメラ装置２００の撮像領域内の各商品や売場エリアに予め指定されたＲＯＩを用いて、撮像画像内の商品や売場エリアを特定し、人物の動作と組み合わせて判断することで、商品や売場エリアに対するより細かい人物の行動を特定する。

【0071】

次に、情報処理装置１０は、追跡人物の行動によって到達した行動種別を特定する（ステップＳ１０５）。ここで特定される行動種別は、図１３や図１５を用いて説明したような購買心理工程に対応付けられた行動の種別である。

【0072】

次に、情報処理装置１０は、追跡人物がレジエリアに移動したか否かを判定する（ステップＳ１０６）。レジエリアに移動したか否かの判定は、レジエリアの撮像画像から抽出された人物が売場エリアで特定された人物、すなわち追跡人物と同一人物であるか否かを判定することにより行われる。なお、前述したように、時間制限を設け、例えば、人物が売場エリアを離れてから所定時間以内にレジエリアで特定された人物と同一人物であると判定された場合に、人物がレジエリアに移動したと判定することもできる。また、図２０の例ではレジエリアへの移動としているが、出口エリアや、店外エリアなど別の所定エリアであってよい。追跡人物がレジエリアに移動していないと判定された場合（ステップＳ１０６：Ｎｏ）は、ステップＳ１０１に戻り、人物の追跡が引き続き行われる。

【0073】

一方、追跡人物がレジエリアに移動したと判定された場合（ステップＳ１０６：Ｙｅｓ）、情報処理装置１０は、追跡人物が商品を購入したか、購入せずに離脱したかを特定する（ステップＳ１０７）。当該購入／離脱特定について、例えば、ステップＳ１０５によって特定された最終的な到達行動種別が、購買心理工程“Action”に対応する行動であった場合、情報処理装置１０は、追跡人物が商品を購入したことを特定してよい。または、単に、追跡人物がレジエリアに移動したと判定された場合（ステップＳ１０６：Ｙｅｓ）、情報処理装置１０は、追跡人物が商品を購入したことを特定してもよい。一方、ステップＳ１０５によって特定された最終的な到達行動種別が、購買心理工程“Action”以外に対応する行動であった場合、情報処理装置１０は、追跡人物が商品を購入せずに離脱したことを特定してよい。または、人物が売場エリアを離れてから所定時間以内にレジエリアで特定されなかった場合、情報処理装置１０は、追跡人物が商品を購入せずに離脱したことを特定してもよい。ステップＳ１０７の実行後、図２０に示す購入／離脱判定処理は終了する。

【0074】

［効果］
上述したように、情報処理装置１０は、店内の所定のエリアを撮影した映像から人物を抽出し、抽出した人物を追跡し、追跡した人物の店内での行動を特定し、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の行動によって到達した第１の行動種別を特定し、追跡した人物が所定のエリア外に移動したか否かを判定し、追跡した人物がエリア外に移動したと判定された場合、第１の行動種別に基づいて、追跡した人物が商品を購入したか、購入せずに離脱したかを特定する。

【0075】

このようにして、情報処理装置１０は、店内で撮影された人物が最終的に到達した行動種別と、当該人物が商品を購入したか離脱したかとを特定する。これにより、これらの特定された情報に基づいて、人物の購買行動がより正確に分析可能である。

【0076】

また、情報処理装置１０は、行動の工程の遷移を規定した複数の行動種別のうち、人物が第一の行動工程に位置するときは、人物が第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、第二の行動工程に対応する行動をしたと判定されたときに、人物が第二の行動工程に遷移したと判定する。

【0077】

これにより、これらの判定された行動工程に基づいて、人物の購買行動がより正確に分析可能である。

【0078】

また、行動の工程の遷移は、注目および注意に関連する第一の行動工程、興味および関心に関連する第二の行動工程、欲求に関連する第三の行動工程、比較に関連する第四の行動工程、行動に関連する第五の行動工程、の順番で推移する。

【0079】

このような行動工程に基づいて、人物の購買行動がより正確に分析可能である。

【0080】

また、情報処理装置１０は、追跡した複数の人物のそれぞれが商品を購入せずに離脱したと特定された場合の第１の行動種別ごとの離脱した者の数を特定し、追跡した複数の人物の総数に対する第１の行動種別での離脱した者の数に基づいて、第１の行動種別ごとに離脱した者の割合を示した画像を生成する。具体的には、情報処理装置１０は、所定の期間において、追跡した複数の人物の総数を特定する。情報処理装置１０は、追跡した複数の人物のそれぞれが商品を購入せずに離脱したと特定された場合の第１の行動種別ごとの離脱した者の数を特定する。そして、情報処理装置１０は、追跡した複数の人物の総数に対する第１の行動種別での離脱した数に基づいて、第１の行動種別ごとに離脱した者の割合を算出する。

【0081】

このようにして、情報処理装置１０は、離脱者が到達した購買行動工程ごとに離脱者を集計、可視化する。これにより、顧客の購買行動を分析しコンバージョン率の向上などに活用可能である。

【0082】

また、情報処理装置１０は、追跡した人物が商品を購入せずに離脱したと特定された場合の追跡した人物の行動の工程の情報と、追跡した人物の属性情報とを紐付けて記憶する。

【0083】

このようにして、情報処理装置１０は、売場エリアで特定した人物が到達した購買行動工程と人物の属性情報とを紐付けて記憶する。これにより、記憶された情報が、人物が離脱者となった際に離脱者の行動分析などに活用可能である。

【0084】

また、情報処理装置１０は、商品の購入者および離脱者それぞれの特定された行動および属性情報の少なくとも１つを訓練データとして、離脱者を検知するための機械学習モデルを訓練する。

【0085】

このようにして、情報処理装置１０は、離脱者を検知するための検知モデルを生成する。これにより、検知モデルに売場エリアで特定された人物の行動や属性情報を入力することで、当該人物が購入者となるか離脱者となるかを推定し、コンバージョン率の向上などに活用可能である。

【0086】

また、情報処理装置１０は、複数の抽出した人物の間の距離に基づいて、複数の抽出した人物の間のグループを特定する。

【0087】

このようにして、情報処理装置１０は、店舗に訪れた人物の間のグループを特定する。これにより、同一のグループに属する複数の人物の情報は、互いの人物の同伴者の情報として、人物の属性情報に記憶され、活用可能である。

【0088】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

【0089】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0090】

［ハードウェア］
図２１は、ハードウェア構成例を説明する図である。図２１に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バスなどで相互に接続される。なお、図２１では、情報処理装置１０のハードウェア構成を説明しているが、利用者端末１００や店員端末３００なども同様の構成を有してよい。

【0091】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0092】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図２などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、および行動判定部２５などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、撮像部２１などと同様の処理を実行するプロセスを実行する。

【0093】

このように情報処理装置１０は、図２に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0094】

また、図２に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0095】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0096】

（付記１）店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0097】

（付記２）前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0098】

（付記３）前記行動の工程の遷移は、注目および注意に関連する第一の行動工程、興味および関心に関連する第二の行動工程、欲求に関連する第三の行動工程、比較に関連する第四の行動工程、行動に関連する第五の行動工程、の順番で推移する、ことを特徴とする付記１に記載の情報処理プログラム。

【0099】

（付記４）前記追跡した複数の人物のそれぞれが前記商品を購入せずに離脱したと特定された場合の前記第１の行動種別ごとの離脱した者の数を特定し、
前記追跡した複数の人物の総数に対する前記第１の行動種別での離脱した者の数に基づいて、前記第１の行動種別ごとに離脱した者の割合を示した画像を生成する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0100】

（付記５）前記追跡した人物が前記商品を購入せずに離脱したと特定された場合の前記追跡した人物の前記工程の情報と、前記追跡した人物の属性情報とを紐付けて記憶する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0101】

（付記６）前記商品の購入者および離脱者それぞれの前記特定された行動および属性情報の少なくとも１つを訓練データとして、前記離脱者を検知するための機械学習モデルを訓練する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0102】

（付記７）複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0103】

（付記８）店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0104】

（付記９）前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0105】

（付記１０）前記行動の工程の遷移は、注目および注意に関連する第一の行動工程、興味および関心に関連する第二の行動工程、欲求に関連する第三の行動工程、比較に関連する第四の行動工程、行動に関連する第五の行動工程、の順番で推移する、ことを特徴とする付記８に記載の情報処理方法。

【0106】

（付記１１）前記追跡した複数の人物のそれぞれが前記商品を購入せずに離脱したと特定された場合の前記第１の行動種別ごとの離脱した者の数を特定し、
前記追跡した複数の人物の総数に対する前記第１の行動種別での離脱した者の数に基づいて、前記第１の行動種別ごとに離脱した者の割合を示した画像を生成する
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0107】

（付記１２）前記追跡した人物が前記商品を購入せずに離脱したと特定された場合の前記追跡した人物の前記工程の情報と、前記追跡した人物の属性情報とを紐付けて記憶する
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0108】

（付記１３）前記商品の購入者および離脱者それぞれの前記特定された行動および属性情報の少なくとも１つを訓練データとして、前記離脱者を検知するための機械学習モデルを訓練する
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0109】

（付記１４）複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定する
処理を前記コンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0110】

（付記１５）店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理を実行する制御部を有することを特徴とする情報処理装置。

【0111】

（付記１６）前記行動の工程の遷移を規定した複数の行動種別のうち、前記人物が第一の行動工程に位置するときは、前記人物が前記第一の行動工程の遷移先の第二の行動工程に対応する行動をするか否かを判定し、
前記第二の行動工程に対応する行動をしたと判定されたときに、前記人物が前記第二の行動工程に遷移したと判定する
処理を前記コンピュータが実行することを特徴とする付記１５に記載の情報処理装置。

【0112】

（付記１７）前記行動の工程の遷移は、注目および注意に関連する第一の行動工程、興味および関心に関連する第二の行動工程、欲求に関連する第三の行動工程、比較に関連する第四の行動工程、行動に関連する第五の行動工程、の順番で推移する、ことを特徴とする付記１５に記載の情報処理装置。

【0113】

（付記１８）前記追跡した複数の人物のそれぞれが前記商品を購入せずに離脱したと特定された場合の前記第１の行動種別ごとの離脱した者の数を特定し、
前記追跡した複数の人物の総数に対する前記第１の行動種別での離脱した者の数に基づいて、前記第１の行動種別ごとに離脱した者の割合を示した画像を生成する
処理を前記コンピュータが実行することを特徴とする付記１５に記載の情報処理装置。

【0114】

（付記１９）前記追跡した人物が前記商品を購入せずに離脱したと特定された場合の前記追跡した人物の前記工程の情報と、前記追跡した人物の属性情報とを紐付けて記憶する
処理を前記コンピュータが実行することを特徴とする付記１５に記載の情報処理装置。

【0115】

（付記２０）前記商品の購入者および離脱者それぞれの前記特定された行動および属性情報の少なくとも１つを訓練データとして、前記離脱者を検知するための機械学習モデルを訓練する
処理を前記コンピュータが実行することを特徴とする付記１５に記載の情報処理装置。

【0116】

（付記２１）複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定する
処理を前記コンピュータが実行することを特徴とする付記１５に記載の情報処理装置。

【0117】

（付記２２）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
店内の所定のエリアを撮影した映像から人物を抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での行動を特定し、
前記店内に入ってから前記店内で商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記行動によって到達した第１の行動種別を特定し、
前記追跡した人物が所定のエリア外に移動したか否かを判定し、
前記追跡した人物が前記エリア外に移動したと判定された場合、前記第１の行動種別に基づいて、前記追跡した人物が前記商品を購入したか、購入せずに離脱したかを特定する
処理を実行することを特徴とする情報処理装置。

【符号の説明】

【0118】

１ 情報処理システム
１０ 情報処理装置
１０ａ 通信装置
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
１１ 通信部
１２ 記憶部
１３ 撮像ＤＢ
１４ カメラ設置ＤＢ
１５ 商品ＤＢ
１６ 人物ＤＢ
１７ 検知モデルＤＢ
２０ 制御部
２１ 撮像部
２２ 追跡部
２３ 骨格検知部
２４ 動作認識部
２５ 行動判定部
５０ ネットワーク
２００ カメラ装置

【要約】

【課題】小売店などに訪れた人物が商品を購入する際に示す行動、いわゆる購買行動を分析することにより、コンバージョン率を改善する取り組みがある。しかしながら、店内で様々な人物が多様な行動を示す中で、人物の購買行動を分析することは容易でない。
【解決手段】情報処理プログラムは、店内の所定のエリアを撮影した映像から人物を抽出し、抽出した人物を追跡し、追跡した人物の店内での行動を特定し、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の行動によって到達した第１の行動種別を特定し、追跡した人物が所定のエリア外に移動したか否かを判定し、追跡した人物がエリア外に移動したと判定された場合、第１の行動種別に基づいて、追跡した人物が商品を購入したか、購入せずに離脱したかを特定する処理をコンピュータに実行させる。
【選択図】図１５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】