特許 7276535 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G06Q 30/0204 20230101AFI20230511BHJP

   G06Q 30/015 20230101ALI20230511BHJP

【ＦＩ】

G06Q30/0204

G06Q30/015

【請求項の数】 8

(21)【出願番号】P 2022026048

(22)【出願日】2022-02-22

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】條 由花

(72)【発明者】

【氏名】木幡 駿

【審査官】新里 太郎

(56)【参考文献】

【文献】特開２０１０－４９４９４（ＪＰ，Ａ）

【文献】特開２０１６－２０６７３６（ＪＰ，Ａ）

【文献】特開２０２１－１０５９４５（ＪＰ，Ａ）

【文献】特開２０２１－４３５８１（ＪＰ，Ａ）

【文献】特開２００５－２５０７４５（ＪＰ，Ａ）

【文献】特開２０２０－５２４６３（ＪＰ，Ａ）

【文献】特開２０２０－２７４８９（ＪＰ，Ａ）

【文献】特開２０１７－１７４０６２（ＪＰ，Ａ）

【文献】特開２００６－１１３７１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記複数の行動種別のそれぞれに対応付けられて記憶された前記接客内容に基づいて、前記第１の行動種別に対応する第１の接客内容を特定し、
前記第１の接客内容を店員が利用する情報処理端末に送信する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記追跡した人物が前記複数の行動種別のうちの第１の行動工程に位置する場合、前記追跡した人物が前記第１の行動工程の遷移先の第２の行動工程に対応する行動をするか否かを判定し、
前記第２の行動工程に対応する行動をしたと判定された場合、前記追跡した人物が前記第２の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

店員が実施した第２の接客内容と、前記第２の接客内容に対する顧客の反応、前記商品を購入したか否か、および属性の少なくとも１つに関する情報とを対応付けて記憶する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

店員が実施した第２の接客内容、前記第２の接客内容を実施した顧客に対して特定された前記行動、および前記顧客の属性情報の少なくとも１つを特徴量とし、前記第２の接客内容に対して前記商品を購入したか否かを正解ラベルとして訓練して生成される、前記商品を購入するか否かを特定するための機械学習モデルを用いて、前記接客内容を特定する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定し、
前記追跡した人物が第１のグループに属する場合、前記第１の行動種別と、前記第１のグループに属する他の人物の前記商品に対する行動が到達した第２の行動種別とに基づいて、前記追跡した人物に対する前記接客内容を特定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項7】

店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項8】

店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理を実行する制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

小売店などに訪れた人物が商品を購入する際に示す行動、いわゆる購買行動を分析することにより、コンバージョン率を改善する取り組みがある。例えば、衣類を販売する店舗で、商品比較が５回未満の人物は商品を購入する傾向が高く、逆に５回以上の人物は商品を購入せずに離脱する傾向が高い場合に、接客時に試着数を５点未満に誘導することで、コンバージョン率を向上させることができる可能性がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－１２６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、店内で様々な人物が多様な行動を示す中で、人物の購買行動に適した接客内容を特定することは容易でない。

【0005】

１つの側面では、人物の購買行動により適した接客内容を特定できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

１つの態様において、情報処理プログラムは、店内を撮影した映像から人物と商品とを抽出し、抽出した人物を追跡し、追跡した人物の店内での商品に対する行動を特定し、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の商品に対する第１の行動が到達した第１の行動種別を特定し、第１の行動種別に基づいて、追跡した人物に対する接客内容を特定する処理をコンピュータに実行させる。

【発明の効果】

【0007】

１つの側面では、人物の購買行動により適した接客内容を特定できる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる情報処理システムの構成例を示す図である。

【図2】図２は、実施例１にかかる情報処理装置１０の構成例を示す図である。

【図3】図３は、実施例１にかかるカメラ設置ＤＢ１４に記憶される情報の例を示す図である。

【図4】図４は、実施例１にかかる商品ＤＢ１５に記憶される情報の例を示す図である。

【図5】図５は、実施例１にかかる人物ＤＢ１６に記憶される情報の例を示す図である。

【図6】図６は、実施例１にかかる接客内容ＤＢ１８に記憶される情報の例を示す図である。

【図7】図７は、客の追跡を説明する図である。

【図8】図８は、実施例１にかかる店内画像からの人物抽出および追跡の例を示す図である。

【図9】図９は、骨格情報の例を示す図である。

【図10】図１０は、全身の姿勢判定を説明する図である。

【図11】図１１は、パーツ別動作の検知を説明する図である。

【図12】図１２は、実施例１にかかるＲＯＩ指定の例を示す図である。

【図13】図１３は、購買心理工程の例を示す図である。

【図14】図１４は、実施例１にかかる到達した行動種別の特定について説明する図である。

【図15】図１５は、実施例１にかかる追跡人物のエリア外への移動判定の例を示す図である。

【図16】図１６は、実施例１にかかる追跡人物の購入／離脱判定の例を示す図である。

【図17】図１７は、実施例１にかかる接客内容の特定の例を示す図である。

【図18】図１８は、実施例１にかかる接客履歴の例を示す図である。

【図19】図１９は、実施例１にかかる接客内容提示モデルの訓練の例を示す図である。

【図20】図２０は、実施例１にかかるグループ識別の例を示す図である。

【図21】図２１は、実施例１にかかるグループ行動のマージの例を示す図である。

【図22】図２２は、実施例１にかかる接客内容特定処理の流れを示すフローチャートである。

【図23】図２３は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0010】

まず、本実施形態を実施するための情報処理システムについて説明する。図１は、実施例１にかかる情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、カメラ装置２００－１～２００－ｎ（ｎは任意の整数。以下、まとめて「カメラ装置２００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

【0011】

ネットワーク５０には、有線や無線を問わず、例えば、小売店などの店内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店などの“店内”という表現は、屋内に限定されず、小売店などの敷地内の屋外を含んでよい。

【0012】

情報処理装置１０は、例えば、小売店などの店内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Personal Computer）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。または、情報処理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

【0013】

情報処理装置１０は、カメラ装置２００によって小売店などの店内の各売場やレジエリアなど所定の撮像範囲を撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。

【0014】

また、情報処理装置１０は、既存の物体検知技術を用いて、カメラ装置２００によって撮影される映像から、店舗に滞在する人物を抽出し、抽出した人物を追跡する。また、情報処理装置１０は、既存の骨格検出技術を用いて追跡した人物（以下、単に「追跡人物」という場合がある）の骨格情報を生成し、既存の姿勢推定技術などを用いて追跡人物の姿勢や動作を推定し、追跡人物の行動を特定する。

【0015】

また、情報処理装置１０は、追跡人物である顧客が店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡人物の行動によって到達した第１の行動種別を特定する。行動の工程や、到達した第１の行動種別の特定の詳細については後述するが、店内の人物は、入店する、商品を見る、手に取る、比較する、購入するなど、様々な行動をとり得、これらの行動を工程と対応付けて種別化したものを行動種別という。そして、情報処理装置１０は、様々な行動を経て追跡人物、すなわち顧客が到達した第１の行動種別を特定する。

【0016】

そして、情報処理装置１０は、顧客が到達した第１の行動種別に基づいて、顧客に対する接客内容を特定する。また、情報処理装置１０は、特定した接客内容を店員が利用する情報処理端末に送信してもよい。

【0017】

また、情報処理装置１０は、追跡人物が所定のエリア外、例えば、レジエリアに移動したか否かを判定する。また、情報処理装置１０は、追跡人物がエリア外に移動したと判定された場合、第１の行動種別に基づいて、追跡人物が商品を購入したか、購入せずに離脱したかを特定する。

【0018】

なお、図１では、情報処理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。

【0019】

カメラ装置２００は、例えば、小売店などの店内の各売場やレジエリアに設置される監視カメラである。カメラ装置２００によって撮影された映像は、情報処理装置１０に送信される。また、カメラ装置２００によって撮像される各商品や売場エリアには、各商品や売場エリアを特定するための座標などの位置情報が割り当てられており、例えば、情報処理装置１０は、カメラ装置２００から受信した映像から各商品や売場エリアを特定できる。

【0020】

［情報処理装置１０の機能構成］
次に、情報処理装置１０の機能構成について説明する。図２は、実施例１にかかる情報処理装置１０の構成例を示す図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１２、および制御部２０を有する。

【0021】

通信部１１は、カメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースである。

【0022】

記憶部１２は、各種データや、制御部２０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部１２は、撮像ＤＢ１３、カメラ設置ＤＢ１４、商品ＤＢ１５、人物ＤＢ１６、モデルＤＢ１７、および接客内容ＤＢ１８などを記憶する。なお、ＤＢは、データベース（Data Base）の略称である。

【0023】

撮像ＤＢ１３は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。また、撮像ＤＢ１３は、各撮像画像から、個々の商品や売場エリアの領域や、抽出された人物を特定するための座標などの位置情報を各撮像画像に紐付けて記憶できる。また、撮像ＤＢ１３は、撮像画像から抽出され特定された人物の骨格情報を記憶する。骨格情報の生成については後述する。

【0024】

カメラ設置ＤＢ１４は、カメラ装置２００の各々が設置される場所を特定するための情報を記憶する。ここで記憶される情報は、管理者などにより予め設定されてよい。図３は、実施例１にかかるカメラ設置ＤＢ１４に記憶される情報の例を示す図である。図３に示すように、カメラ設置ＤＢ１４は、「カメラＩＤ、売場」などの各情報を対応付けて記憶する。ここで記憶される「カメラＩＤ」は、カメラを識別する情報が設定され、「売場」は、カメラが設置される売場を特定する情報が設定される。図３の例では、ベビー用品売場にカメラＩＤ＝１のカメラが設置され、スポーツ用品売場にカメラＩＤ＝２のカメラが設置される例が示されている。

【0025】

商品ＤＢ１５は、各売場にある商品に関する情報を記憶する。ここで記憶される情報は、管理者などにより予め設定されてよい。図４は、実施例１にかかる商品ＤＢ１５に記憶される情報の例を示す図である。図４に示すように、商品ＤＢ１５は、「売場、商品サイズ、商品例、商品ＩＤ」などの各情報を対応付けて記憶する。ここで記憶される「売場」は、売場を特定する情報が設定され、「商品サイズ」は、商品のサイズに関する情報が設定され、「商品例」は、該当する商品の一例が設定され、「商品ＩＤ」は、商品を特定する情報が設定される。図４の例では、ベビー用品売場で商品サイズが小さい商品に該当する小物類には商品ＩＤとして「２４２・・・」が設定されていることが示される。また、商品ＤＢ１５は、各商品の売場エリアや商品を特定するための座標などの位置情報が記憶されてよい。当該位置情報に基づいて、情報処理装置１０は、カメラ装置２００から受信した映像から各商品の売場エリアや商品を特定できる。

【0026】

人物ＤＢ１６は、店舗に滞在する顧客や店員などの追跡人物に関する情報を記憶する。ここで記憶される情報は、カメラ装置２００から受信した映像や情報などに基づいて、情報処理装置１０によって生成され設定される。図５は、実施例１にかかる人物ＤＢ１６に記憶される情報の例を示す図である。図５に示すように、人物ＤＢ１６は、「人物ＩＤ、年齢、性別、店員ｏｒ客、日時、工程、行動特徴」などの各情報を対応付けて記憶する。ここで記憶される「人物」は、追跡人物を特定する情報が設定される。また、「年齢」、「性別」、「客ｏｒ店員」は、それぞれ、カメラ装置２００から受信した映像や情報などに基づいて情報処理装置１０によって特定された人物の年齢や性別、または顧客か店員かを示す情報が設定される。また、「日時」、「工程」、「行動特徴」は、それぞれ、情報処理装置１０によって追跡人物の行動種別が特定された日時、特定された行動種別の工程、特定された行動種別に基づいて決定される行動特徴が設定される。

【0027】

モデルＤＢ１７は、商品を購入せずに離脱した人物（以下、「離脱者」という場合がある）を検知するための機械学習モデルに関する情報や、当該機械学習モデル、すなわち、離脱者の検知モデルを構築するためのモデルパラメータを記憶する。当該検知モデルは、例えば、商品の購入者および離脱者の行動特徴を特徴量とし、購入者か離脱者かを正解ラベルとして機械学習により生成される。

【0028】

また、モデルＤＢ１７は、カメラ装置２００の撮影映像から抽出された人物から人物の年齢、性別、店員か顧客か、同伴者などの属性情報を判定するための機械学習モデルに関する情報や、当該機械学習モデルを構築するためのモデルパラメータを記憶する。当該機械学習モデル、すなわち、人物属性判定モデルは、例えば、カメラ装置２００によって撮影される映像から抽出された人物の部分画像を特徴量とし、当該人物の属性情報を正解ラベルとして機械学習により生成される。

【0029】

また、モデルＤＢ１７は、実施する接客内容に対し、顧客が商品を購入するか否かを特定するための機械学習モデルに関する情報や、当該機械学習モデル、すなわち、購入判定モデルを構築するためのモデルパラメータを記憶する。購入判定モデルは、例えば、店員が実施した接客内容、当該接客内容を実施した顧客に対して特定された行動、および当該顧客の属性情報の少なくとも１つに関する情報を特徴量とし、商品を購入するか否かを正解ラベルとして機械学習により生成される。

【0030】

なお、離脱者の検知モデル、人物属性判定モデル、および購入判定モデルは、情報処理装置１０によって訓練され生成されてもよいし、別の情報処理装置によって訓練され生成されてもよい。

【0031】

接客内容ＤＢ１８は、店員が取り得る接客内容に関する情報を記憶する。ここで記憶される情報は、管理者などにより予め設定されてよい。図６は、実施例１にかかる接客内容ＤＢ１８に記憶される情報の例を示す図である。図６に示すように、接客内容ＤＢ１８は、「購買心理工程、接客内容」などの各情報を対応付けて記憶する。ここで記憶される「購買心理工程」は、顧客が到達した行動に対応する購買心理工程である。購買心理工程の詳細については後述する。また、「接客内容」は、顧客が現在位置する購買心理工程に対して実施する接客内容である。すなわち、接客内容ＤＢ１８は、顧客が店内で行動し、現在どのような購買心理工程に位置するかに応じて、店員が取り得る接客内容を対応付けて記憶するものである。また、図６に示すように、接客内容には、顧客に対して“何もしない”も含まれる。

【0032】

なお、記憶部１２に記憶される上記情報はあくまでも一例であり、記憶部１２は、上記情報以外にも様々な情報を記憶できる。

【0033】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部２０は、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、行動判定部２５、および接客内容特定部２６を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0034】

撮像部２１は、画像を撮像する処理部である。例えば、撮像部２１は、カメラ装置２００により撮像された画像データを受信して撮像ＤＢ１３に格納する。

【0035】

追跡部２２は、店舗に入店した人物が退店するまでに撮像された各画像データを取得する処理部である。具体的には、追跡部２２は、カメラ装置２００により撮像された複数の画像データ、すなわち複数のフレームから、人物が写っている画像データを抽出して、フレーム間で同一人物を特定する。

【0036】

例えば、追跡部２２は、ある人物が店舗に入店してから退店するまでを追跡し、店舗内で撮像されたある人物の各画像データを取得する。図７は、客の追跡を説明する図である。図７に示すように、追跡部２２は、店舗の入口や、各売場、レジエリアや出口など店内各所に設置されたカメラ装置２００によって撮像された複数の画像データから人物を抽出し、抽出した人物から同一人物を特定し、人物ごとに追跡を行う。

【0037】

図８は、実施例１にかかる店内画像からの人物抽出および追跡の例を示す図である。図８に示すように、追跡部２２は、例えば、YOLO（YOU Only Look Once）、SSD（Single Shot Multibox Detector）、RCNN（Region Based Convolutional Neural Networks）などの既存の検出アルゴリズムを用いて、店内画像から人物を抽出する。店内画像は、カメラ装置２００によって撮像された各画像データであり、図８に示すように、抽出された人物は、画像上でその領域を矩形で囲むバウンディングボックス（BBOX）によって示される。

【0038】

また、図８の上段に示すように、店内画像から複数の人物が抽出されることは当然あり得る。そのため、追跡部２２は、図８の下段に示すように、例えば、複数の画像データ、すなわち複数のフレーム間の人物のBBOXの類似度に基づいて、フレーム間で同一人物を特定する。同一人物の特定には、例えば、TLD（Tracking Learning Detection）やKCF（Kernelized Correlation Filters）などの既存の追跡アルゴリズムが用いられてよい。

【0039】

骨格検知部２３は、画像データに写っている人物の骨格情報を取得する。具体的には、骨格検知部２３は、追跡部２２により抽出された各人物が写っている画像データに対して、人物の骨格検知を実行する。

【0040】

例えば、骨格検知部２３は、抽出された人物の画像データ、すなわち抽出された人物を示すBBOX画像を、DeepPoseやOpenPoseなどの既存アルゴリズムを用いて構築された、訓練済みの機械学習モデルに入力することで、骨格情報を取得する。図９は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。例えば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、図９に示した１８個の骨格の座標情報が、画像データから取得可能であり、例えば、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７、Ｚ座標＝Ｚ７」が取得される。なお、例えば、Ｚ軸は、撮像装置から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。

【0041】

また、骨格検知部２３は、骨格のパターンをあらかじめ訓練した機械学習モデルを用いて、立つ・歩く・しゃがむ・座る・寝るなどの全身の姿勢を判定することもできる。例えば、骨格検知部２３は、図９の骨格情報や美技図のような一部の関節と関節間の角度をMultilayer Perceptronで訓練した機械学習モデルを用いることで、最も近い全身の姿勢を判定することもできる。図１０は、全身の姿勢判定を説明する図である。図１０に示すように、骨格検知部２３は、１０番の「HIP_LEFT」と１１番の「KNEE_LEFT」との間の関節の角度（ａ）、１４番の「HIP_RIGHT」と１５番の「KNEE_RIGHT」との間の関節の角度（ｂ）、１１番の「KNEE_LEFT」の角度（ｃ）、１５番の「KNEE_RIGHT」の角度（ｄ）などを取得することで、全身の姿勢を検知することができる。

【0042】

また、骨格検知部２３は、体の３Ｄ関節姿勢に基づき、パーツの姿勢判定することで、パーツ別の動作を検知することもできる。具体的には、骨格検知部２３は、3D-baseline手法などの既存アルゴリズムを用いて、２Ｄ関節座標から３Ｄ関節座標への変換を行うこともできる。

【0043】

図１１は、パーツ別動作の検知を説明する図である。図１１に示すように、骨格検知部２３は、パーツ「顔」について、顔向きと各方向ベクトルの角度が閾値以下であるか否かにより、顔の向きが前、左、右、上、下のいずれの向きか（５種類）を検知することができる。なお、骨格検知部２３は、顔の向きについては、「始点：両耳の中点、終点：鼻」により定義されるベクトルにより特定する。また、骨格検知部２３は、顔が後ろを向いているか否かについては、「顔が右向きかつ腰が右捻り」または「顔が左向きかつ腰が左捻り」により検知することができる。

【0044】

骨格検知部２３は、パーツ「腕」について、前腕の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の腕の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部２３は、腕の向きについては「始点：肘（elbow）、終点：手首（wrist）」により定義されるベクトルにより検知することができる。

【0045】

骨格検知部２３は、パーツ「脚」について、下腿の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の脚の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部２３は、下腿の向きについては「始点：膝（knee）、終点：足首（ankle）」により定義されるベクトルにより検知することができる。

【0046】

骨格検知部２３は、パーツ「肘」について、肘の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部２３は、肘の角度については、「始点：肘（elbow）、終点：肩（shoulder）」のベクトルＡと「始点：肘（elbow）、終点：手首（wrist）」のベクトルＢとのなす角度により検知することができる。

【0047】

骨格検知部２３は、パーツ「膝」について、膝の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部２３は、膝の角度については、「始点：膝（knee）、終点：足首（ankle）」のベクトルＡと「始点：膝（knee）、終点：腰（hip）」のベクトルＢとのなす角度により検知することができる。

【0048】

骨格検知部２３は、パーツ「腰」について、腰と肩の角度が閾値以上か否かにより、左右のひねり（２種類）を検知でき、閾値未満で正面と検知することができる。なお、骨格検知部２３は、腰と肩の角度については、「始点：左肩、終点：右肩」のベクトルＡと「始点：左腰（hip（L））、終点：右腰（hip（R））」のベクトルＢそれぞれについて、軸ベクトルＣ「始点：両腰の中点：終点：両肩の中点」まわりでの回転角により検知することができる。

【0049】

図２の説明に戻り、動作認識部２４は、骨格検知部２３による骨格情報の検知結果に基づき、人物の動作を認識する処理部である。具体的には、動作認識部２４は、連続する複数のフレームそれぞれについて認識された骨格情報の遷移に基づき、少なくとも１つの動作を含む行動を特定する。

【0050】

例えば、動作認識部２４は、数フレーム間で、パール別判定により顔が正面を見ている骨格かつ全身の姿勢判定により立っている骨格が連続して検知された場合、「正面を一定時間見る」動作を認識する。また、動作認識部２４は、数フレーム間で、全身の姿勢の変化が所定値未満の骨格が連続して検知された場合、「移動しない」動作を認識する。

【0051】

また、動作認識部２４は、数フレーム間で、肘の角度が閾値以上変化した骨格が検知された場合に、「片手を前に出す」動作もしくは「片腕を伸ばす」動作を認識し、数フレーム間で、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された場合に、「片手を曲げる」動作を認識する。さらに、動作認識部２４は、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された後に、その角度が数フレーム間継続した場合に、「片手を見る」動作を認識する。

【0052】

また、動作認識部２４は、数フレーム間で、手首の角度が連続して変化した骨格が検知された場合、「一定時間の間に手首座標が頻繁に動く」動作を認識する。動作認識部２４は、数フレーム間で、手首の角度が連続して変化するとともに、肘の角度が連続して変化した骨格が検知された場合、「一定時間の間に肘座標と手首座標が頻繁に動く」動作を認識する。動作認識部２４は、数フレーム間で、手首の角度、肘の角度、全身の向きのそれぞれが連続して変化した骨格が検知された場合、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作を認識する。

【0053】

また、動作認識部２４は、人物と商品や商品の売場エリアが写っている画像データに対し、例えば、カメラ装置２００の各々の撮像領域と、撮像領域内の各商品や各商品の売場エリアの座標とにより商品や売場エリアを特定する。

【0054】

図１２は、実施例１にかかるＲＯＩ指定の例を示す図である。図１２に示すように、カメラ装置２００の撮像領域内の各商品や売場エリアの領域（ROI：Region Of Interest）を予め指定しておくことで、動作認識部２４は、画像データから商品や売場エリアを特定できる。そして、動作認識部２４は、各画像データのＲＯＩと、追跡人物の行動との関連から、追跡人物の購買行動、例えば、売場エリアに入場、フロアに滞在、商品１に手を伸ばす、商品３に座る・寝るなどの行動を特定できる。

【0055】

また、動作認識部２４は、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡人物の行動によって到達した第１の行動種別を特定する。行動種別についてより具体的に説明する。

【0056】

図１３は、購買心理工程の例を示す図である。図１３は、AIDeCAの法則なる顧客の購買心理工程をまとめた表である。具体例を挙げて説明すると、例えば、顧客Ａは店舗を訪れた際、売場エリアに設置された垂れ幕やポスターを見つけると、購買心理工程が“Attention”に遷移する。そして、顧客Ａは、その中から自分の好きな商品Ｘを紹介するポスターを見つけると、購買心理工程が“Interest”に遷移する。また、顧客Ａは、さっそく商品Ｘを手に取り、商品Ｘの内容や値段などを確認する。この時、購買心理工程は“Desire”に遷移する。また、顧客Ａは、商品Ｘに似た商品である、先日購入した商品Ｙを思い出し、商品Ｘと比較すると、購買心理工程が“Compare”に遷移する。そして、比較した結果、顧客Ａは、商品Ｘに納得して買い物カゴに入れると、購買心理工程が“Action”に遷移する。あくまでも、図１３の購買心理工程は一例だが、このように、顧客は、図１３に示したような購買心理工程に伴う行動をし、店舗を出るまでに何らかの行動に到達する。この到達する行動の種別を第１の行動種別として、動作認識部２４は、顧客がどの行動まで到達したか、そして到達した行動に対応する購買行動工程を特定する。

【0057】

図１４は、実施例１にかかる到達した行動種別の特定について説明する図である。動作認識部２４は、追跡人物の各行動を検知して、到達した行動種別と、購買心理工程を特定する。

【0058】

図１４の例は、人物Ａについて、あるフロアに入場する行動と、しばらくそのフロアに滞在する行動と、そのフロアにある商品に手を伸ばす行動とのそれぞれが、動作認識部２４によって特定され検知されたことを示している。この場合、人物Ａが到達した行動種別は、図１４に示すように、“商品手伸ばし”であり、到達した購買心理工程は、“商品手伸ばし”に対応する“Interest”になる。同様に、人物Ｂが到達した行動種別は、図１４に示すように、“複数商品に手伸ばし/座る/寝る”であり、到達した購買心理工程は、“Compare”である。なお、図１４に示す購買心理工程に対応する各行動種別はあくまでも一例であり、これらに限定されない。

【0059】

なお、図１４の例では、人物ＡおよびＢ共に、退店に対応する行動は検知されていないため、まだフロア内にいることを示している。そのため、例えば、情報処理装置１０は、退店に対応する行動が検知されるまで、人物ＡおよびＢの追跡を続け、到達した行動種別と、購買心理工程を特定する。また、図１４の例では、人物ＡおよびＢ共に、購買心理工程が左から順番に検知されて示されているが、一部の購買心理工程がスキップされて検知される場合はあり得る。例えば、人物がフロアに入場し、すぐに欲しい商品を見つけ、その商品を試した場合は、購買心理工程“Attention”や“Interest”と、対応する各行動が検知されない場合があり得る。

【0060】

図２の説明に戻り、行動判定部２５は、追跡人物が所定のエリア外に移動したか否かを判定する。ここで、例えば、所定のエリアとは各売場エリアであり、所定のエリア外に移動とはレジエリアへの移動である。しかしながら、所定のエリア外は出口エリアや、店外エリアなど別のエリアであってよい。図１５は、実施例１にかかる追跡人物のエリア外への移動判定の例を示す図である。

【0061】

行動判定部２５は、図１５に示すように、例えば、売場エリアで特定された人物Ａが、売場エリアを離れ、レジエリアに移動したか否かを判定する。より具体的には、レジエリアで特定された人物が、売場エリアで特定された人物Ａと同一人物であると判定された場合、行動判定部２５は、人物Ａがエリア外に移動したと判定する。また、この際、時間制限を設け、例えば、人物Ａが売場エリアを離れてから１０分以内にレジエリアで特定された人物と同一人物であると判定された場合に、人物Ａがエリア外に移動したと判定することもできる。

【0062】

なお、同一人物の判定について、例えば、人物のBBOX画像を入力し、BBOXで示される人物の特徴量ベクトルを出力する機械学習モデルを深層学習により構築し、特徴量の類似度評価から人物同一性が判定されてよい。また、図１５の右側に示すように、画像データから顧客以外の人物である、例えば、店員が抽出される場合もあり得る。そのため、各店員のBBOX画像などの店員情報を予め登録しておき、情報処理装置１０は、各エリアで特定された人物が店員と同一人物であると判定した場合、追跡などの処理対象から除外するように制御できる。

【0063】

そして、行動判定部２５は、追跡人物がエリア外に移動したと判定した場合、当該追跡人物が商品を購入したか、購入せずに離脱したかを特定する。図１６は、実施例１にかかる追跡人物の購入／離脱判定の例を示す図である。図１６の例は、時系列的に、図１４の例の続きである。

【0064】

図１６に示すように、例えば、人物Ａがエリア外に移動したと判定した場合、人物Ａが到達した行動種別が、購買心理工程“Interest”に対応する“商品手伸ばし”であるため、行動判定部２５は、人物Ａは商品を購入せずに離脱したことを特定する。一方、例えば、人物Ｂがエリア外に移動したと判定した場合、人物Ａが到達した行動種別が、購買心理工程“Action”に対応する“レジで購入”であるため、行動判定部２５は、人物Ｂが商品を購入したことを特定する。

【0065】

なお、行動判定部２５は、単に、売場エリアで特定された人物がレジエリアに移動したと判定した場合に、当該人物は商品を購入したことを特定してもよい。一方、人物がレジエリアに移動したと判定されなかった場合や、人物が売場エリアを離れてから所定時間内にレジエリアに移動したと判定されなかった場合、行動判定部２５は、当該人物は商品を購入せずに離脱したことを特定してもよい。

【0066】

以上のように顧客の購買行動を特定し、これを分析することでコンバージョン率などの向上に活用することができる。また、接客内容特定部２６は、特定された購買行動に基づいて顧客に対してより適切な接客内容を特定することで、コンバージョン率をより向上させることができる。

【0067】

図１７は、実施例１にかかる接客内容の特定の例を示す図である。図１７に示すように、例えば、接客内容特定部２６は、人物Ａが商品に手を伸ばしている行動を特定した場合、特定された行動に対応し現在位置する購買心理工程“Interest”に適した接客内容“（商品の）試用を促す”を特定する。同様に、例えば、接客内容特定部２６は、人物Ｂが複数の商品に手を伸ばしている行動を特定した場合、購買心理工程“Compare”に適した接客内容“（商品の）色違い提案”を特定する。

【0068】

ここで、特定された行動に対応する購買心理工程に適した接客内容の特定は、例えば、図６に示した接客内容ＤＢ１８を用いて行われる。より具体的には、接客内容特定部２６は、特定された行動に対応する「購買心理工程」を検索キーとして接客内容ＤＢ１８を検索し、「接客内容」を取得して特定する。そして、接客内容特定部２６は、特定された接客内容を、対象人物付近の店員や、対象人物がいる売場を担当する店員などが利用する情報処理端末に送信する。これにより、店員は、リアルタイムに顧客に対してより適切な接客を実施できる。

【0069】

なお、図６に示すように、特定された行動に対応する「購買心理工程」に対して取得される「接客内容」は複数ある場合はあり得る。この場合、接客内容特定部２６は、取得された複数の「接客内容」を店員などが利用する情報処理端末に送信してよい。また、接客内容は、現在位置する購買心理工程のみならず、人物が購買行動をとった商品、人物の年齢や性別などの属性、現在の時間帯、人物がグループ客であるか否か、入店から現在までに顧客が経てきた購買心理工程、などの情報に基づいて特定されてよい。

【0070】

また、特定された行動に対応する購買心理工程に適した接客内容の特定は、例えば、機械学習モデルを用いて行われてもよい。例えば、店員が実施した接客内容、当該接客内容を実施した顧客に対して特定された行動、および当該顧客の属性情報の少なくとも１つに関する情報を特徴量とし、商品を購入するか否かを正解ラベルとして訓練して生成された機械学習モデルが用いられてよい。すなわち、接客内容特定部２６は、当該機械学習モデルに、とり得る接客内容や、顧客に対して特定された行動、顧客の属性情報などを入力することにより出力される、商品を購入するか否かの判定結果に基づいて、接客内容を特定できる。

【0071】

また、情報処理装置１０は、顧客の購買行動を分析しコンバージョン率などをより向上させるため、以下に示す幾つかの処理を実行できる。例えば、情報処理装置１０は、店員が実施した接客内容と、当該接客内容に対する顧客の反応などの情報とを対応付けて接客履歴として生成して記憶できる。当該接客履歴は、例えば、店員などが利用する情報処理端末を介して入力されるデータや、カメラ装置２００によって撮像された映像から特定される店員や顧客、それらの人物の動作や属性に関するデータなどに基づいて生成されてよい。

【0072】

図１８は、実施例１にかかる接客履歴の例を示す図である。図１８に示すように、情報処理装置１０は、例えば、接客履歴として、「日時、年齢、性別、工程、接客内容、反応、購入」などの各情報を対応付けて記憶する。ここで記憶される「日時」は、例えば、店員が接客を行った日時である。また、「年齢」および「性別」には、例えば、接客を受けた顧客の年齢および性別が記憶される。なお、顧客の年齢および性別などの人物属性情報は、例えば、カメラ装置２００によって撮影される映像から抽出された人物の部分画像を特徴量とし、当該人物の属性情報を正解ラベルとして訓練して生成される機械学習モデルを用いて撮像画像から抽出されてよい。また、「工程」には、例えば、接客を受ける直前に顧客が位置していた購買心理工程が記憶される。また、「接客内容」には、例えば、店員が実施した接客内容が記憶される。また、「反応」には、例えば、接客内容に対する顧客の反応が記憶される。また、「購入」には、例えば、接客を受けた顧客が商品を購入したか否かが記憶される。なお、接客履歴に記憶されるデータは図１８のものに限定されず、例えば、顧客に対して特定された行動や、顧客が購買行動をとった商品、接客を実施する時間帯、顧客がグループ客であるか否か、入店から現在までに顧客が経てきた購買心理工程などを含んでよい。

【0073】

また、接客履歴を用いて訓練することにより、例えば、商品を購入するか否かを出力する機械学習モデルが生成可能である。図１９は、実施例１にかかる接客内容提示モデルの訓練の例を示す図である。図１９の棒グラフは、各購買心理工程において顧客が商品を購入したか、購入せずに離脱したかを示す。また、離脱１～４は、各購買心理工程のどこで顧客が離脱したかを示す。図１９に示すように、例えば、店員が実施した接客内容、顧客の年齢などの属性情報、および顧客に対して特定された行動の少なくとも１つを特徴量、接客内容に対して商品を購入したか否かを正解ラベルとして訓練することにより機械学習モデルが生成可能である。情報処理装置１０は、このような機械学習モデルを用いて、商品の購入に至るような接客内容を特定し、店員が利用する情報処理端末などに送信し、提示できる。

【0074】

また、情報処理装置１０は、カメラ装置２００によって撮像された映像から特定された顧客の間の距離に基づいて、複数の顧客の間のグループを特定し、特定されたグループに属する複数の顧客の行動をマージし、グループ客の一連の行動として特定できる。

【0075】

図２０は、実施例１にかかるグループ識別の例を示す図である。情報処理装置１０は、売場エリアで特定された複数の人物の距離に基づいて、人物の間のグループを特定できる。より具体的には、例えば、図２０に示すように、画像データから抽出された複数の人物のBBOXの距離の時間変化を算出し、所定時間、所定距離内にいる複数の人物を同一のグループに属する人物であると特定できる。そして、情報処理装置１０は、ある人物がグループに属する場合、その人物の行動と、同一グループに属する他の人物の行動とをマージしてグループ客の一連の行動として特定できる。なお、複数の人物のグループ特定は、複数人物の距離のみならず、例えば、複数の人物が所定時間、向き合っている、同一方向に歩いている、商品を手渡した、など複数の人物の行動に基づいて特定されてもよい。

【0076】

図２１は、実施例１にかかるグループ行動のマージの例を示す図である。図２１は、同一のグループに属する人物ＡおよびＢの各々が到達した行動種別や到達行動に対応する購買心理工程を示したものである。例えば、図２１の例に示す人物ＡおよびＢの行動を個々に判断すると、人物Ａは、商品に手を伸ばし、購買心理工程が“Interest”に遷移したと判断される。一方、人物Ｂは、複数の商品を比較するなどし、購買心理工程が“Compare”に遷移したと判断される。人物ＡおよびＢの各々が単独の顧客である場合は、それぞれの到達行動や購買心理工程に基づいて接客内容が特定されてよいが、グループ客の場合は、例えば、最も進んだ購買心理工程に基づいてグループ客に対する接客内容として、接客内容が特定されてもよい。例えば、図２１に示すように、人物ＡとＢとでは人物Ｂの方が購買心理工程が進んでいるため、人物Ａに対する接客内容を特定する場合も、人物Ｂの到達行動や購買心理工程に基づいて、接客内容が特定されてよい。

【0077】

［処理の流れ］
次に、情報処理装置１０によって実行される接客内容特定処理の流れを説明する。図２２は、実施例１にかかる接客内容特定処理の流れを示すフローチャートである。図２２に示す接客内容特定処理は、店内の映像に写った人物に対して特定された行動に基づいて、当該顧客に対する店員の接客内容を特定する処理である。図２２に示す接客内容特定処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

【0078】

まず、図２２に示すように、情報処理装置１０は、カメラ装置２００によって小売店の店内など所定の撮像範囲が撮像された撮像画像を撮像ＤＢ１３から取得する（ステップＳ１０１）。なお、図２２に示す接客内容特定処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をほぼリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、撮像ＤＢ１３に記憶される。

【0079】

次に、情報処理装置１０は、既存の物体検知技術を用いて、ステップＳ１０１で取得した撮像画像から人物を抽出する（ステップＳ１０２）。なお、人物の抽出は、撮像画像、すなわち、カメラ装置２００によって撮影された映像の１フレームから複数の人物が抽出されることは当然あり得る。そのため、ステップＳ１０３以降の処理は、抽出された人物ごとに実行される。

【0080】

次に、情報処理装置１０は、ステップＳ１０２で抽出した人物を追跡する（ステップＳ１０３）。人物の追跡は、カメラ装置２００によって撮影された映像の複数のフレームから抽出された人物に対して既存技術を用いて同一人物を特定し、人物ごとに追跡する。そのため、処理の流れとしては、厳密には、ステップＳ１０１～Ｓ１０３が繰り返されることにより、人物の追跡が行われることになる。また、ステップＳ１０２によって抽出される人物は、店員など追跡対象外とする人物も含まれるため、各店員のBBOX画像などの店員情報を予め情報処理装置１０に登録しておくことで、店員と同一人物であると特定された人物の追跡は行わないように制御できる。

【0081】

次に、情報処理装置１０は、追跡人物の行動を特定する（ステップＳ１０４）。より具体的には、例えば、情報処理装置１０は、既存技術を用いて、連続して撮像された撮像画像から人物の骨格情報を取得し、人物の姿勢を判定することにより、人物の動作を含む行動を特定する。また、情報処理装置１０は、カメラ装置２００の撮像領域内の各商品や売場エリアに予め指定されたＲＯＩを用いて、撮像画像内の商品や売場エリアを特定し、人物の動作と組み合わせて判断することで、商品や売場エリアに対するより細かい人物の行動を特定する。

【0082】

次に、情報処理装置１０は、追跡人物の行動によって到達した行動種別を特定する（ステップＳ１０５）。ここで特定される行動種別は、図１４や図１６を用いて説明したような購買心理工程に対応付けられた行動の種別である。

【0083】

次に、情報処理装置１０は、ステップＳ１０５で特定した到達行動種別に基づいて、追跡人物に対する接客内容を特定する（ステップＳ１０６）。ステップＳ１０６の実行後、図２２に示す接客内容特定処理は終了するが、情報処理装置１０は、ステップＳ１０６で特定した接客内容を、追跡人物付近の店員や、追跡人物がいる売場を担当する店員などが利用する情報処理端末に送信できる。

【0084】

［効果］
上述したように、情報処理装置１０は、店内を撮影した映像から人物と商品とを抽出し、抽出した人物を追跡し、追跡した人物の店内での商品に対する行動を特定し、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の商品に対する第１の行動が到達した第１の行動種別を特定し、第１の行動種別に基づいて、追跡した人物に対する接客内容を特定する。

【0085】

このようにして、情報処理装置１０は、店内で撮影された人物が到達した行動種別に基づいて当該人物に対する店員の接客内容を特定する。これにより、情報処理装置１０は、人物の購買行動により適した接客内容を特定できる。

【0086】

また、情報処理装置１０は、複数の行動種別のそれぞれに対応付けられて記憶された接客内容に基づいて、第１の行動種別に対応する第１の接客内容を特定し、第１の接客内容を店員が利用する情報処理端末に送信する。

【0087】

これにより、店員は、人物の購買行動により適した接客を実施できる。

【0088】

また、情報処理装置１０は、追跡した人物が複数の行動種別のうちの第１の行動工程に位置する場合、追跡した人物が第１の行動工程の遷移先の第２の行動工程に対応する行動をするか否かを判定し、第２の行動工程に対応する行動をしたと判定された場合、追跡した人物が第２の行動工程に遷移したと判定する。

【0089】

これにより、情報処理装置１０は、人物の購買行動に対応した購買心理工程をより正確に判定できる。

【0090】

また、情報処理装置１０は、店員が実施した第２の接客内容と、第２の接客内容に対する顧客の反応、商品を購入したか否か、および属性の少なくとも１つに関する情報とを対応付けて記憶する。

【0091】

これにより、記憶された情報が、コンバージョン率の向上させるための店員の接客内容の分析などに活用可能である。

【0092】

また、情報処理装置１０は、店員が実施した第２の接客内容、第２の接客内容を実施した顧客に対して特定された行動、および顧客の属性情報の少なくとも１つを特徴量とし、第２の接客内容に対して商品を購入したか否かを正解ラベルとして訓練して生成される、商品を購入するか否かを特定するための機械学習モデルを用いて、接客内容を特定する。

【0093】

これにより、情報処理装置１０は、人物の購買行動により適した接客内容を特定できる。

【0094】

また、情報処理装置１０は、複数の抽出した人物の間の距離に基づいて、複数の抽出した人物の間のグループを特定し、追跡した人物が第１のグループに属する場合、第１の行動種別と、第１のグループに属する他の人物の商品に対する行動が到達した第２の行動種別とに基づいて、追跡した人物に対する接客内容を特定する。

【0095】

これにより、情報処理装置１０は、グループ客に対しても人物の購買行動により適した接客内容を特定できる。

【0096】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

【0097】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0098】

［ハードウェア］
図２３は、ハードウェア構成例を説明する図である。図２３に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２３に示した各部は、バスなどで相互に接続される。

【0099】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0100】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図２などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、行動判定部２５、および接客内容特定部２６などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、撮像部２１などと同様の処理を実行するプロセスを実行する。

【0101】

このように情報処理装置１０は、図２に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0102】

また、図２に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0103】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0104】

（付記１）店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0105】

（付記２）前記複数の行動種別のそれぞれに対応付けられて記憶された前記接客内容に基づいて、前記第１の行動種別に対応する第１の接客内容を特定し、
前記第１の接客内容を店員が利用する情報処理端末に送信する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0106】

（付記３）前記追跡した人物が前記複数の行動種別のうちの第１の行動工程に位置する場合、前記追跡した人物が前記第１の行動工程の遷移先の第２の行動工程に対応する行動をするか否かを判定し、
前記第２の行動工程に対応する行動をしたと判定された場合、前記追跡した人物が前記第２の行動工程に遷移したと判定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0107】

（付記４）店員が実施した第２の接客内容と、前記第２の接客内容に対する顧客の反応、前記商品を購入したか否か、および属性の少なくとも１つに関する情報とを対応付けて記憶する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0108】

（付記５）店員が実施した第２の接客内容、前記第２の接客内容を実施した顧客に対して特定された前記行動、および前記顧客の属性情報の少なくとも１つを特徴量とし、前記第２の接客内容に対して前記商品を購入したか否かを正解ラベルとして訓練して生成される、前記商品を購入するか否かを特定するための機械学習モデルを用いて、前記接客内容を特定する処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0109】

（付記６）複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定し、
前記追跡した人物が第１のグループに属する場合、前記第１の行動種別と、前記第１のグループに属する他の人物の前記商品に対する行動が到達した第２の行動種別とに基づいて、前記追跡した人物に対する前記接客内容を特定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0110】

（付記７）店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0111】

（付記８）前記複数の行動種別のそれぞれに対応付けられて記憶された前記接客内容に基づいて、前記第１の行動種別に対応する第１の接客内容を特定し、
前記第１の接客内容を店員が利用する情報処理端末に送信する
処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0112】

（付記９）前記追跡した人物が前記複数の行動種別のうちの第１の行動工程に位置する場合、前記追跡した人物が前記第１の行動工程の遷移先の第２の行動工程に対応する行動をするか否かを判定し、
前記第２の行動工程に対応する行動をしたと判定された場合、前記追跡した人物が前記第２の行動工程に遷移したと判定する
処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0113】

（付記１０）店員が実施した第２の接客内容と、前記第２の接客内容に対する顧客の反応、前記商品を購入したか否か、および属性の少なくとも１つに関する情報とを対応付けて記憶する
処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0114】

（付記１１）店員が実施した第２の接客内容、前記第２の接客内容を実施した顧客に対して特定された前記行動、および前記顧客の属性情報の少なくとも１つを特徴量とし、前記第２の接客内容に対して前記商品を購入したか否かを正解ラベルとして訓練して生成される、前記商品を購入するか否かを特定するための機械学習モデルを用いて、前記接客内容を特定する処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0115】

（付記１２）複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定し、
前記追跡した人物が第１のグループに属する場合、前記第１の行動種別と、前記第１のグループに属する他の人物の前記商品に対する行動が到達した第２の行動種別とに基づいて、前記追跡した人物に対する前記接客内容を特定する
処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0116】

（付記１３）店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理を実行する制御部を有することを特徴とする情報処理装置。

【0117】

（付記１４）前記複数の行動種別のそれぞれに対応付けられて記憶された前記接客内容に基づいて、前記第１の行動種別に対応する第１の接客内容を特定し、
前記第１の接客内容を店員が利用する情報処理端末に送信する
処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0118】

（付記１５）前記追跡した人物が前記複数の行動種別のうちの第１の行動工程に位置する場合、前記追跡した人物が前記第１の行動工程の遷移先の第２の行動工程に対応する行動をするか否かを判定し、
前記第２の行動工程に対応する行動をしたと判定された場合、前記追跡した人物が前記第２の行動工程に遷移したと判定する
処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0119】

（付記１６）店員が実施した第２の接客内容と、前記第２の接客内容に対する顧客の反応、前記商品を購入したか否か、および属性の少なくとも１つに関する情報とを対応付けて記憶する
処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0120】

（付記１７）店員が実施した第２の接客内容、前記第２の接客内容を実施した顧客に対して特定された前記行動、および前記顧客の属性情報の少なくとも１つを特徴量とし、前記第２の接客内容に対して前記商品を購入したか否かを正解ラベルとして訓練して生成される、前記商品を購入するか否かを特定するための機械学習モデルを用いて、前記接客内容を特定する処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0121】

（付記１８）複数の前記抽出した人物の間の距離に基づいて、複数の前記抽出した人物の間のグループを特定し、
前記追跡した人物が第１のグループに属する場合、前記第１の行動種別と、前記第１のグループに属する他の人物の前記商品に対する行動が到達した第２の行動種別とに基づいて、前記追跡した人物に対する前記接客内容を特定する
処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0122】

（付記１９）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
店内を撮影した映像から人物と商品とを抽出し、
前記抽出した人物を追跡し、
前記追跡した人物の店内での前記商品に対する行動を特定し、
前記店内に入ってから前記店内で前記商品を購入するに至るまでの前記行動の工程の遷移を規定した複数の行動種別のうち、前記追跡した人物の前記商品に対する第１の行動が到達した第１の行動種別を特定し、
前記第１の行動種別に基づいて、前記追跡した人物に対する接客内容を特定する
処理を実行することを特徴とする情報処理装置。

【符号の説明】

【0123】

１ 情報処理システム
１０ 情報処理装置
１０ａ 通信装置
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
１１ 通信部
１２ 記憶部
１３ 撮像ＤＢ
１４ カメラ設置ＤＢ
１５ 商品ＤＢ
１６ 人物ＤＢ
１７ モデルＤＢ
１８ 接客内容ＤＢ
２０ 制御部
２１ 撮像部
２２ 追跡部
２３ 骨格検知部
２４ 動作認識部
２５ 行動判定部
２６ 接客内容特定部
５０ ネットワーク
２００ カメラ装置

【要約】      （修正有）

【課題】購買行動を分析することにより、コンバージョン率を向上させる情報処理プログラム、情報処理方法及び情報処理装置を提供する。
【解決手段】情報処理装置と、複数のカメラ装置とが、ネットワークを介して相互に通信可能に接続されるシステムにおいて、情報処理装置の情報処理プログラムは、店内を撮影した映像から人物と商品とを抽出し、抽出した人物を追跡し、追跡した人物の店内での商品に対する行動を特定し、店内に入ってから店内で商品を購入するに至るまでの行動の工程の遷移を規定した複数の行動種別のうち、追跡した人物の商品に対する第１の行動が到達した第１の行動種別を特定し、第１の行動種別に基づいて、追跡した人物に対する接客内容を特定する。
【選択図】図２２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】