特開 2024-82953 情報処理プログラム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082953

(43)【公開日】2024-06-20

(54)【発明の名称】情報処理プログラム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06Q 30/0203 20230101AFI20240613BHJP

   G06Q 30/0601 20230101ALI20240613BHJP

【ＦＩ】

G06Q30/0203

G06Q30/0601

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022197189

(22)【出願日】2022-12-09

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】周田 ありす

(72)【発明者】

【氏名】外川 太郎

(72)【発明者】

【氏名】木幡 駿

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB02

5L030BB72

5L049BB02

5L049BB72

(57)【要約】

【課題】商品に対する顧客の評価を特定すること。
【解決手段】情報処理装置は、店内を撮影した映像を取得する。情報処理装置は、取得した映像を分析することで、映像の中の店内に配置された商品を含む第一の領域と、映像の中の店内で商品を購入する対象の人物を含む第二の領域と、第一の領域および第二の領域の相互作用を識別した関係性とを特定する。情報処理装置は、特定された関係性と、第一の領域に含まれる商品とを対応付ける。
【選択図】図２

【特許請求の範囲】

【請求項1】

店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定し、
特定された前記関係性と、前記第一の領域に含まれる商品とを対応付ける
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、特定された前記関係性の種類毎の数を計数し、
商品毎に、前記関係性の種類毎の数と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力される
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、複数の関係性のうち、ある関係性となる時間を計数し、
商品毎に、前記ある関係性となる時間と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力させる
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

特定された前記関係性と、予め設定されたルールとに基づいて、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記第一の領域に含まれる商品とを対応付けた情報を記憶部に登録し、
前記記憶部に登録された情報を基にして、商品毎に、前記注目部分と、前記注目部分に注目した人物の人数とを対応付けた商品情報を生成し、
生成した商品情報を表示装置に出力させる
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

前記第二の領域の画像を分析することで、前記人物の骨格情報を生成し、
生成された前記骨格情報を基にして、前記第二の領域の人物による、前記第一の領域に含まれる商品の把持の仕方を特定し、
特定された前記把持の仕方に基づいて、前記人物が前記商品のデザインを注目する行動を行ったか、または、前記商品の材料を注目する行動を行ったのかを識別し、
識別された行動を基にして、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記商品とを対応付けた情報を記憶部に登録する
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

前記特定する処理は、前記映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性とを特定し、
前記機械学習モデルは、商品を購入する人物を示す第一クラスおよび前記人物が出現する領域を示す第一領域情報と、商品を含む物体を示す第二クラスおよび前記物体が出現する領域を示す第二領域情報と、前記第一クラスおよび前記第二クラスの相互作用とを識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであることを特徴とする請求項１に記載の情報処理プログラム。

【請求項7】

店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定し、
特定された前記関係性と、前記第一の領域に含まれる商品とを対応付ける
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項8】

店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定し、
特定された前記関係性と、前記第一の領域に含まれる商品とを対応付ける
処理を実行する制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム等に関する。

【背景技術】

【0002】

メーカーが新たな商品を開発した場合、かかる商品が顧客からどのような評価を得ているのかを把握することが重要である。このため、たとえば、メーカーは、商品を本格的に市場に投入する前に、実販売テスト、アンケート調査等のテストマーケティングを実行し、顧客の評価を得ている。

【0003】

メーカーは、テストマーケティングによって、商品に対して顧客からの良い反応を確認することができれば、商品を大々的に販売することができる。一方、商品に対して、顧客からの反応が悪い場合には、商品に改良を加えて再テストしたり、商品の販売を中止したりする対応を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１６５４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術では、商品に対する顧客の評価を特定することが難しい問題があった。

【0006】

たとえば、顧客が商品に対して興味を持ったとしても、商品の購入に至らないケースがあり得る。また、実際に商品を見かけて初めて、興味を持つ場合もある。従来技術では、このように顧客の興味の対象となった商品を適切に評価することができていない。

【0007】

１つの側面では、本発明は、商品に対する顧客の評価を特定することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、店内を撮影した映像を取得する。コンピュータは、取得した映像を分析することで、映像の中の店内に配置された商品を含む第一の領域と、映像の中の店内で商品を購入する対象の人物を含む第二の領域と、第一の領域および第二の領域の相互作用を識別した関係性とを特定する。コンピュータは、特定された関係性と、第一の領域に含まれる商品とを対応付ける。

【発明の効果】

【0009】

商品に対する顧客の評価を特定することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施例１に係るシステムの一例を示す図である。

【図2】図２は、本実施例１に係る情報処理装置の処理を説明するための図である。

【図3】図３は、ＨＯＩＤの機械学習を説明する図である。

【図4】図４は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。

【図5】図５は、本実施例１に係る商品情報テーブルのデータ構造の一例を示す図である。

【図6】図６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。

【図7】図７は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。

【図8】図８は、本実施例２に係る商品情報テーブルのデータ構造の一例を示す図である。

【図9】図９は、ルール情報のデータ構造の一例を示す図である。

【図10】図１０は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。

【図11】図１１は、人体モデルの一例について説明する図である。

【図12】図１２は、関節名の一例を示す図である。

【図13】図１３は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0012】

図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、このシステムは、カメラ１０ａ，１０ｂ，１０ｃと、情報処理装置１００とを有する。カメラ１０ａ～１０ｃと、情報処理装置１００とは、ネットワークを介して相互に接続される。図１では説明の便宜上、カメラ１０ａ～１０ｃのみを示すが、本実施例１に係るシステムは、他のカメラを有していてもよい。

【0013】

カメラ１０ａ～１０ｃは、店内の所定の位置に設置される。店内には、複数の商品が配置される。カメラ１０ａ～１０ｃが設置される位置（座標）を、それぞれ異なる位置とする。以下の説明では、カメラ１０ａ～１０ｃを特に区別しない場合「カメラ１０」と表記する。

【0014】

カメラ１０は、店内の映像を撮影し、撮影した映像のデータを、情報処理装置１００に送信する。以下の説明では、カメラ１０が情報処理装置１００に送信する映像のデータを、「映像データ」と表記する。

【0015】

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ１０があるタイミングで撮影した静止画像である。各画像フレームには、時刻のデータが付与されていてもよい。映像データには、映像データを撮影したカメラ１０を識別するカメラ識別情報が設定される。

【0016】

情報処理装置１００は、店内の映像データを取得し、取得した映像データを分析することで、店内に配置された商品を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、第一の領域および第二の領域の相互作用を識別した関係性を特定する。情報処理装置１００は、特定した関係性と、第一の領域に含まれる商品とを対応付ける。これによって、商品の評価に有効な情報となる、商品と関係性との対応関係の情報を生成することができる。

【0017】

図２は、本実施例１に係る情報処理装置の処理を説明するための図である。たとえば、情報処理装置１００は、カメラ１０が撮影した映像データ２０を分析することで、商品を含む第一の領域２０ａと、商品を購入する対象の顧客を含む第二の領域２０ｂと、第一の領域２０ａおよび第二の領域２０ｂの関係性を特定する。図２に示す例では、第一の領域２０ａと、第二の領域２０ｂとの関係性を「把持している」とする。この場合、情報処理装置１００は、特定した関係性「把持している」と、第一の領域２０ａに含まれる商品とを対応付ける。たとえば、情報処理装置１００が、上記の処理を繰り返し実行し、第一の領域２０ａに含まれる商品に対し、複数の顧客による関係性「把持している」が対応付けられる場合には、かかる商品を、顧客の興味を引く商品として評価することができる。

【0018】

図２で説明した例では、第一の領域と、第二の領域との関係性を「把持している」として説明したが、関係性には「見ている」、「触っている」、「座る」等の他の関係性も含まれる。

【0019】

ここで、情報処理装置１００は、ＨＯＩＤ（Human Object Interaction Detection）を用いて、商品を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、第一の領域および第二の領域の関係性を特定する。情報処理装置１００が、映像データ（時系列の画像フレーム）をＨＯＩＤに入力することで、第一の領域、第二の領域、関係性の情報が出力される。

【0020】

ここで、情報処理装置１００が実行するＨＯＩＤの学習処理の一例について説明する。情報処理装置１００は、複数の訓練データを用いて、人物を示す第１クラスと、物体を示す第２クラスと、第１クラスおよび第２クラスの関係性とを識別するＨＯＩＤを訓練する。

【0021】

各訓練データは、入力データとなる画像データ（画像フレーム）と、当該画像データに対して設定された正解情報とを有する。

【0022】

正解情報には、検出対象であるヒトとモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box）とが設定される。たとえば、正解情報として、物体を示すSomethingクラスの領域情報、ユーザを示すヒトのクラスの領域情報、Somethingクラスとヒトのクラスとの相互作用を示す関係性とが設定される。

【0023】

なお、訓練データにも、複数のクラスと複数の相互作用を設定することができ、訓練済みのＨＯＩＤも複数のクラスと複数の相互作用とを認識することができる。

【0024】

一般的に、通常の物体認識でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが認識されるだけで何も分からない。ＨＯＩＤの場合は、ヒトのモノに対する特殊な関係性（把持している、座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスクに利用することができる。

【0025】

図３は、ＨＯＩＤの機械学習を説明する図である。図３に示すように、情報処理装置１００は、訓練データの入力データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。この出力結果には、ＨＯＩＤが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、情報処理装置１００は、訓練データの正解情報と、ＨＯＩＤの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤの機械学習を実行する。

【0026】

続いて、ＨＯＩＤを用いた識別処理の一例について説明する。情報処理装置１００は、カメラ１０が撮影した映像データの各画像フレームを、ＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。ＨＯＩＤの出力結果には、ヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値（各関係性の確率値）およびクラス名などが含まれる。モノのＢｂｏｘは、上記の第一の領域に対応する。ヒトのＢｂｏｘは、上記の第二の領域に対応する。情報処理装置１００は、ＨＯＩＤの出力結果に基づき、関係性を特定する。たとえば、情報処理装置１００は、確率値が最大となる関係性を、第一の領域と第二の領域との関係性として特定する。

【0027】

上記のように、情報処理装置１００は、映像データを、ＨＯＩＤに入力することで、第一の領域、第二の領域、関係性を特定することができる。なお、情報処理装置１００は、機械学習済みのＨＯＩＤを予め記憶部に保持しておき、係るＨＯＩＤを用いて、第一の領域、第二の領域、関係性を特定してもよい。

【0028】

次に、図２に示した処理を実行する情報処理装置１００の構成例について説明する。図４は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図４に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0029】

通信部１１０は、ネットワークを介して、カメラ１０、外部装置等との間でデータ通信を実行する。通信部１１０は、ＮＩＣ（Network Interface Card）等である。たとえば、通信部１１０は、カメラ１０から、映像データを受信する。

【0030】

入力部１２０は、情報処理装置１００の制御部１５０に各種の情報を入力する入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0031】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、後述する商品情報を表示する。商品情報は、第一の領域に含まれる商品の情報と、関係性とを対応付けた情報である。

【0032】

記憶部１４０は、ＨＯＩＤ１４１、映像バッファ１４２、商品情報テーブル１４３を有する。記憶部１４０は、メモリなどの記憶装置である。

【0033】

ＨＯＩＤ１４１は、図３等で説明したＨＯＩＤである。ＨＯＩＤ１４１に、映像データの画像フレームを入力することで、画像フレーム上の第一の領域と、第二の領域と、第一の領域および第二の領域の関係性とが出力される。

【0034】

映像バッファ１４２は、カメラ１０が撮影した映像データを保持する。たとえば、映像バッファ１４２は、カメラ識別情報に対応付けて、映像データを保持する。

【0035】

商品情報テーブル１４３は、第一の領域に含まれる商品に関する情報を保持する。図５は、本実施例１に係る商品情報テーブルのデータ構造の一例を示す図である。図５に示すように、この商品情報テーブル１４３は、商品識別情報と、関係性と、回数と、時間とを対応付ける。

【0036】

商品識別情報は、商品を識別する情報である。関係性は、該当する商品を含む第一の領域と、第二の領域との関係性である。回数は、該当する関係性であると判定された回数である。各回数の初期値は「０（回）」である。時間は、該当する関係性となった時間である。各時間の初期値は「０（ｓ）」である。

【0037】

たとえば、図５の説明では、商品識別情報「品目１－１」に関し、関係性「見ている」の回数は「５」、時間は「１５」である。商品識別情報「品目１－１」に関し、関係性「触っている」の回数は「１」、時間は「２」である。商品識別情報「品目１－１」に関し、関係性「把持している」の回数は「６」、時間は「２０」である。商品識別情報「品目１－１」に関し、関係性「座っている」の回数は「０」、時間は「０」である。

【0038】

図５に示す例では、関係性として、「見ている」、「触っている」、「把持している」、「座っている」を示すが、その他の関係性も含まれる。

【0039】

図４の説明に戻る。制御部１５０は、取得部１５１と、分析部１５２と、生成部１５３と、学習部１５４とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。

【0040】

取得部１５１は、カメラ１０から映像データを取得する。上記のように、映像データには、映像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部１５１は、カメラ識別情報に対応付けて、映像データを映像バッファ１４２に格納する。

【0041】

分析部１５２は、映像バッファ１４２から映像データを取得し、映像データを分析することで、第一の領域と、第二の領域と、関係性とを特定する。たとえば、分析部１５２は、映像データに含まれる時系列の画像フレームを、ＨＯＩＤ１４１に入力し、各画像フレーム上の第一の領域、第二の領域、関係性を特定する。

【0042】

分析部１５２は、第一の領域に含まれる商品、および、第二の領域に含まれる人物を識別する。たとえば、分析部１５２は、ＨＯＩＤ１４１の出力結果を基にして、第一の領域に含まれる商品を識別する。分析部１５２は、画像フレームの領域を入力とし、第一の領域内の商品の識別情報（商品識別情報）を出力とする訓練済みの学習モデルを用いて、第一の領域に含まれる商品を識別してもよい。また、分析部１５２は、第二の領域に含まれる人物に対してユニークな人物識別番号を割り当てる。分析部１５２は、第二の領域に含まれる人物のトラッキングを行い、同一の人物には、同一の人物識別番号を設定する。人物（顧客）を識別する情報を、「人物識別情報」と表記する。

【0043】

分析部１５２は、上記処理を繰り返し実行することで、時系列の画像フレーム毎に、第一の領域に含まれる商品の商品識別情報、第二の領域に含まれる人物の人物識別情報、関係性を特定する。分析部１５２は、特定した結果を基にして、商品情報テーブル１４３の商品識別情報に対応するレコードを更新する。

【0044】

たとえば、分析部１５２は、フレーム番号Ｎ～フレーム番号Ｎ＋１０の各画像フレームの第一の領域の商品について、商品識別情報「品目１－１」を識別し、関係性が「見ている」であったとする。また、分析部１５２は、フレーム番号Ｎ＋１１～フレーム番号Ｎ＋２０の各画像フレームの第一の領域の商品について、関係性が「触っている」であったとする。

【0045】

この場合、分析部１５２は、商品情報テーブル２４３において、商品識別情報「品目１－１」に対する関係性「見ている」および「触っている」に対応する回数に「１」を加算する。分析部１５２は、連続する画像フレームにおいて、同一の関係性を特定した場合には、かかる一連の関係性が１回発生したものとして処理を行う。

【0046】

また、分析部１５２は、同一の商品識別情報と、人物識別情報との組に対応する関係性について、同一の関係性を何度特定しても、かかる関係性を１回として処理してもよい。たとえば、分析部１５２は、所定の期間内において、第一の領域に含まれる商品Ａを、第二の領域に含まれる人物Ｂさんが、何度、触ったとしても、商品Ａに対応する関係性「触っている」の回数に「１」を加算する。分析部１５２がかかる処理を実行することで、商品情報テーブル１４３に登録される関係性の回数を、商品に対して該当関係性をもった人物の人数として取り扱うことができる。

【0047】

また、分析部１５２は、フレーム番号Ｎ～フレーム番号Ｎ＋１０に対応する時間を、商品識別情報「品目１－１」に対する関係性「見ている」の時間に加算する。分析部１５２は、フレーム番号Ｎ＋１１～フレーム番号Ｎ＋２０に対応する時間を、関係性「触っている」の時間に加算する。

【0048】

生成部１５３は、商品情報テーブル１４３を基にして、商品識別情報毎に、関係性の種別と、回数と、時間とを対応付けた商品情報を生成する。生成部１５３は、生成した商品情報を、表示部１３０に出力して表示させる。

【0049】

なお、生成部１５３は、商品情報テーブル１４３を基にして、商品識別情報毎に、関係性の種別および回数を対応付けた商品情報と、関係の種別および時間を対応付けた商品情報とを別々に生成し、表示部１３０に出力して表示させてもよい。

【0050】

学習部１５４は、複数の訓練データを基にして、ＨＯＩＤ１４１の機械学習を実行する。学習部１５４は、複数の訓練データを予め取得しておく。学習部１５４は、訓練データをＨＯＩＤ１４１に入力し、訓練データの正解情報と、ＨＯＩＤ１４１の出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤ１４１の機械学習を実行する。その他の機械学習に関する説明は、図３で説明した内容と同様である。

【0051】

次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図６に示すように、情報処理装置１００の取得部１５１は、カメラ１０から映像データを取得し、映像バッファ１４２に格納する（ステップＳ１０１）。

【0052】

情報処理装置１００の分析部１５２は、映像データの各画像フレームをＨＯＩＤ１４１に入力し、画像フレーム毎に、第一の領域と、第二の領域と、第一の領域および第二の領域の関係性と特定する（ステップＳ１０２）。

【0053】

分析部１５２は、映像データの各画像フレームに関し、第一の領域の商品の商品識別情報、第二の領域の人物の人物識別情報を識別する（ステップＳ１０３）。分析部１５２は、各画像フレームから特定した商品識別情報と関係性との対応関係を基にして、商品情報テーブル１４３を更新する（ステップＳ１０４）。

【0054】

生成部１５３は、商品情報テーブル１４３を基にして、商品識別情報と、関係性と、回数と、時間とを対応付けた商品情報を生成する（ステップＳ１０５）。生成部１５３は、商品情報を表示部１３０に出力して表示させる（ステップＳ１０６）。

【0055】

次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、店内の映像データを取得し、取得した映像データを分析することで、店内に配置された商品を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、第一の領域および第二の領域の相互作用を識別した関係性を特定する。情報処理装置１００は、特定した関係性と、第一の領域に含まれる商品とを対応付ける。これによって、商品の評価に有効な情報となる、商品と関係性との対応関係の情報を生成するができる。

【0056】

情報処理装置１００は、映像データを分析することで、人物（顧客）を識別し、第一の領域、第二の領域、関係性を特定する処理を繰り返し実行する。情報処理装置１００は、関係性の種別毎に、関係性の数を計数し、関係性の種別毎の数と、第一の領域の商品の情報とを対応付けた商品情報を生成し、表示部１３０に表示させる。これによって、商品に対してどのような関係性が、どの程度の顧客との間で持たれたのかを定量的に評価することができる。

【0057】

情報処理装置１００は、映像データを分析することで、人物（顧客）を識別し、第一の領域、第二の領域、関係性を特定する処理を繰り返し実行する。情報処理装置１００は、商品毎に、各関係性と、各関係性に対する時間とを対応付けた商品情報を生成し、表示部１３０に表示させる。これによって、商品に対して、どのような関係性がどの程度の時間発生したのかを定量的に評価することができる。

【0058】

情報処理装置１００は、映像データを分析する場合に、機械学習済みのＨＯＩＤ１４１を利用することで、商品を含む第一の領域、人物を含む第二の領域、第一の領域および第二の領域との関係性を適切に特定することができる。

【実施例0059】

次に、本実施例２に係る情報処理装置について説明する。本実施例２のシステムの構成は、実施例１のシステムの構成と同様であるため、説明を省略する。本実施例２に係る情報処理装置を、「情報処理装置２００」と表記する。情報処理装置２００は、カメラ１０に接続される。カメラ１０に関する説明は、実施例１で説明したカメラ１０の説明と同様である。

【0060】

情報処理装置２００は、実施例１の情報処理装置１００と同様にして、映像データの各画像フレームを、ＨＯＩＤに入力することで、第一の領域、第二の領域、関係性を繰り返し特定する。ここで、情報処理装置２００は、特定した関係性の遷移と、予め設定されたルール情報とを基にして、人物が注目した商品の部分（以下、注目部分）を特定する。

【0061】

たとえば、関係性が「見ている」→「把持している」の順に遷移し、ルール情報において、関係性の遷移「見ている」→「把持している」に対応する注目部分として「パッケージデザイン」が設定されているものとする。この場合、情報処理装置２００は、商品の注目部分に対応する人数に１を加算する。

【0062】

情報処理装置２００は、商品毎に、注目部分と、商品の注目部分を注目した人物の人数とを含む商品情報を生成し、表示部に表示させる。これによって、商品のどの部分にどの程度、興味が持たれているのかを評価することができる。

【0063】

次に、本実施例２に係る情報処理装置２００の構成例について説明する。図７は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図７に示すように、この情報処理装置２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

【0064】

通信部２１０、入力部２２０、表示部２３０に関する説明は、図４で説明した通信部１１０、入力部１２０、表示部１３０に関する説明と同様である。

【0065】

記憶部２４０は、ＨＯＩＤ２４１、映像バッファ２４２、商品情報テーブル２４３、ルール情報２４４を有する。記憶部１４０は、メモリなどの記憶装置である。

【0066】

ＨＯＩＤ２４１、映像バッファ２４２に関する説明は、実施例１で説明したＨＯＩＤ１４１、映像バッファ１４２に関する説明と同様である。

【0067】

商品情報テーブル２４３は、第一の領域に含まれる商品に関する情報を保持する。図８は、本実施例２に係る商品情報テーブルのデータ構造の一例を示す図である。図８に示すように、この商品情報テーブル２４３は、商品識別情報と、注目部分と、人数とを対応付ける。

【0068】

商品識別情報は、商品を識別する情報である。注目部分は、ルール情報２４４に基づき特定される第一の領域に含まれる商品の部分であって、第二の領域に含まれる人物が注目する部分である。人数は、注目部分を注目した人物の数である。

【0069】

たとえば、図８の説明では、商品識別情報「品目１－１」に関し、注目部分「パッケージデザイン」に対する人数は「５」である。商品識別情報「品目１－１」に関し、注目部分「原材料の表示部分」に対する人数は「２」である。商品識別情報「品目１－１」に関し、注目部分「価格の表示部分」に対する人数は「６」である。

【0070】

図８に示す例では、注目部分として、「パッケージデザイン」、「原材料の表示部分」、「価格の表示部分」を示すが、その他の注目部分も含まれる。

【0071】

ルール情報２４４は、関係性の遷移と、注目部分との関係を定義する。図９は、ルール情報のデータ構造の一例を示す図である。図９に示すように、ルール情報は、項番と、関係性の遷移と、注目部分とを対応付ける。項番は、ルール情報２４４のレコードを識別する番号である。関係性の遷移、注目部分に関する説明は、上記の説明と同様である。

【0072】

たとえば、ルール情報２４４において、関係性の遷移が「見ている」→「把持している」である場合には、注目部分が「パッケージデザイン」となる。

【0073】

図７の説明に戻る。制御部２５０は、取得部２５１と、分析部２５２と、生成部２５３と、学習部２５４とを有する。制御部２５０は、ＣＰＵ、ＧＰＵ等である。

【0074】

取得部２５１は、カメラ１０から映像データを取得する。上記のように、映像データには、映像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部２５１は、カメラ識別情報に対応付けて、映像データを映像バッファ２４２に格納する。

【0075】

分析部２５２は、映像データに含まれる時系列の画像フレームを、ＨＯＩＤ２４１に入力し、各画像フレーム上の第一の領域、第二の領域、関係性を特定する処理を、各画像フレームに対して実行する。分析部２５２は、各画像フレームの第一の領域に含まれる商品識別情報を識別する。分析部２５２は、各画像フレームの第二の領域に含まれる同一の人物に、同一の人物識別情報を設定する。

【0076】

分析部２５２は、上記処理を繰り返し実行することで、時系列の画像フレーム毎に、第一の領域に含まれる商品の商品識別情報、第二の領域に含まれる人物の人物識別情報、関係性を特定する。分析部２５２は、関係性の遷移と、ルール情報２４４とを基にして、人物識別情報に対応する人物の注目部分を特定する。分析部２５２は、特定した結果を基にして、商品情報テーブル２４３の商品識別情報に対応するレコードを更新する。

【0077】

たとえば、分析部２５２は、フレーム番号Ｎ～フレーム番号Ｎ＋１０の各画像フレームの第一の領域の商品について、商品識別情報「品目１－１」を識別し、各関係性が「見ている」であったとする。また、分析部２５２は、フレーム番号Ｎ＋１１～フレーム番号Ｎ＋２０の各画像フレームの第一の領域の商品について、各関係性が「把持している」であったとする。

【0078】

この場合、分析部２５２は、商品識別情報「品目１－１」に対する関係性の遷移を「見ている」→「把持している」と特定する。分析部２５２は、連続する画像フレームにおいて、同一の関係性を特定した場合には、関係性の遷移は発生していないものとして処理する。

【0079】

分析部２５２は、特定した関係性の遷移を「見ている」→「把持している」と、ルール情報２４４とを基にして、注目部分「パッケージデザイン」を特定する。この場合、分析部２５２は、商品情報テーブル２４３において、商品識別情報「品目１－１」に対する注目部分「パッケージデザイン」に対応する人数に「１」を加算する。

【0080】

また、分析部２５２は、同一の商品識別情報と、人物識別情報との組に対応する注目部分について、同一の注目部分を何度特定しても、かかる注目部分に対する人数を「１」として処理してもよい。

【0081】

生成部２５３は、商品情報テーブル２４３を基にして、商品識別情報毎に、注目部分と、注目部分に対応する人数とを対応付けた商品情報を生成する。生成部１５３は、生成した商品情報を、表示部１３０に出力して表示させる。

【0082】

学習部２５４は、複数の訓練データを基にして、ＨＯＩＤ２４１の機械学習を実行する。学習部２５４は、複数の訓練データを予め取得しておく。学習部２５４は、訓練データをＨＯＩＤ２４１に入力し、訓練データの正解情報と、ＨＯＩＤ２４１の出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤ２４１の機械学習を実行する。その他の機械学習に関する説明は、図３で説明した内容と同様である。

【0083】

次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図１０は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図１０に示すように、情報処理装置２００の取得部２５１は、カメラ１０から映像データを取得し、映像バッファ２４２に格納する（ステップＳ２０１）。

【0084】

情報処理装置２００の分析部２５２は、映像データの各画像フレームをＨＯＩＤ２４１に入力し、画像フレーム毎に、第一の領域と、第二の領域と、第一の領域および第二の領域の関係性と特定する（ステップＳ２０２）。

【0085】

分析部２５２は、映像データの各画像フレームに関し、第一の領域の商品の商品識別情報、第二の領域の人物の人物識別情報を識別する（ステップＳ２０３）。

【0086】

分析部２５２は、各画像フレームから特定した関係性の遷移と、ルール情報２４４とを基にして、注目部分を特定する（ステップＳ２０４）。分析部２５２は、商品識別情報と注目部分との関係から、商品情報テーブル２４３を更新する（ステップＳ２０５）。

【0087】

生成部２５３は、商品情報テーブル２４３を基にして、商品識別情報と、注目部分と、人数とを対応付けた商品情報を生成する（ステップＳ２０６）。生成部２５３は、商品情報を表示部２３０に出力して表示させる（ステップＳ２０７）。

【0088】

次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、映像データを分析することで、人物（顧客）を識別し、第一の領域、第二の領域、関係性を特定する処理を繰り返し実行する。また、情報処理装置１００は、関係性の遷移と、ルール情報２４４とを基にして、商品の注目部分を特定し、商品識別情報毎に、注目部分と、注目部分に注目した人物の人数とを対応付けた商品情報を生成し、表示部２３０に表示させる。これによって、商品のどの部分が、どの程度の顧客に興味を持たれたのかを評価することができる。

【0089】

ところで、上述した情報処理装置２００は、ＨＯＩＤ２４１を基にして関係性の遷移を特定し、関係性の遷移と、ルール情報２４４とを基にして、第一の領域に含まれる商品の注目部分を特定していたがこれに限定されるものではない。以下では、情報処理装置２００が注目部分を特定するその他の処理について説明する。

【0090】

情報処理装置２００は、ＨＯＩＤ２４１から出力される第二の領域の画像を分析することで、骨格情報を生成する。たとえば、情報処理装置２００は、人物の画像を入力とし、骨格情報を出力とする機械学習モデルを用いて、骨格情報を生成してもよい。かかる機械学習モデルは、ＮＮ（Neural Network）等である。情報処理装置２００は、時系列の画像フレームに含まれる第二の領域の画像から、時系列の骨格情報を特定する。

【0091】

ここで、骨格情報は、人体モデルで定義された複数の関節に対して、２次元または３次元の座標が設定された情報である。

【0092】

図１１は、人体モデルの一例について説明する図である。図１１に示すように、人体モデルは、２１個の関節ａｒ０～ａｒ２０によって定義される。

【0093】

図１１に示す各関節ａｒ０～ａｒ２０と、関節名との関係は、図１２に示すものとなる。図１２は、関節名の一例を示す図である。たとえば、関節ａｒ０の関節名は「SPINE_BASE」である。関節ａｒ１～ａ２０の関節名は、図１２に示すとおりであり、説明を省略する。

【0094】

情報処理装置２００は、骨格情報を基にして、第一の領域に含まれる商品を、第二の領域に含まれる人物が把持する仕方を識別する把持識別情報を特定する。たとえば、情報処理装置２００は、骨格情報と、把持識別情報との関係を定義した「把持識別テーブル」を基にして、把持識別情報を特定する。情報処理装置２００は、時系列の骨格情報を基にして、時系列の把持識別情報を特定する。たとえば、把持の仕方には、商品の前面から把持する、商品の後方から把持する、等が含まれる。把持識別情報は、かかる把持の仕方を一意に示す情報となる。把持の仕方は、上記以外の把持の仕方でもよい。

【0095】

情報処理装置２００は、時系列の把持識別情報を特定した後に、時系列の把持識別情報を基にして、人物の行動種別を特定する。たとえば、情報処理装置２００は、時系列の把持識別情報と、行動種別との関係を定義した「行動種別テーブル」を基にして、行動種別を特定する。たとえば、行動種別には、商品を顔に近づけた、商品の側面を見た、商品の底面を見た、等が含まれる。行動種別は、上記以外の行動種別でもよい。

【0096】

情報処理装置２００は、行動種別を特定した後に、行動種別を基にして、注目部分を特定する。たとえば、情報処理装置２００は、行動種別と、注目部分との関係を定義した「注目部分テーブル」を基にして、注目部分を特定する。たとえば、注目部分は、「パッケージデザイン」、「原材料の表示部分」、「価格の表示部分」等である。注目部分は、上記以外の注目部分でもよい。

【0097】

情報処理装置２００は、上記のように、第二の領域の画像を分析することで、時系列の骨格情報を生成し、時系列の骨格情報を基にして、時系列の把持識別情報を特定する。情報処理装置２００は、時系列の把持識別情報を基にして、行動種別を特定し、行動種別に対応する注目部分を特定する。すなわち、骨格情報を基にして、商品の注目部分を特定することができる。情報処理装置２００は、注目部分を特定した場合には、実施例２で説明した処理と同様にして、商品情報テーブル２４３の商品識別情報に対応するレコードを更新する。

【0098】

次に、上述した情報処理装置１００，２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0099】

図１３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0100】

ハードディスク装置３０７は、取得プログラム３０７ａ、分析プログラム３０７ｂ、生成プログラム３０７ｃ、学習プログラム３０７ｄを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｄを読み出してＲＡＭ３０６に展開する。

【0101】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。分析プログラム３０７ｂは、分析プロセス３０６ｂとして機能する。生成プログラム３０７ｃは、生成プロセス３０６ｃとして機能する。学習プログラム３０７ｄは、学習プロセス３０６ｄとして機能する。

【0102】

取得プロセス３０６ａの処理は、取得部１５１，２５１の処理に対応する。分析プロセス３０６ｂの処理は、分析部１５２，２５２の処理に対応する。生成プロセス３０６ｃの処理は、生成部１５３，２５３の処理に対応する。学習プロセス３０６ｄの処理は、学習部１５４，２５４の処理に対応する。

【0103】

なお、各プログラム３０７ａ～３０７ｄについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｄを読み出して実行するようにしてもよい。

【0104】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0105】

（付記１）店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定し、
特定された前記関係性と、前記第一の領域に含まれる商品とを対応付ける
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0106】

（付記２）前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、特定された前記関係性の種類毎の数を計数し、
商品毎に、前記関係性の種類毎の数と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力される
処理を更にコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0107】

（付記３）前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、複数の関係性のうち、ある関係性となる時間を計数し、
商品毎に、前記ある関係性となる時間と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力させる
処理を更にコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0108】

（付記４）特定された前記関係性と、予め設定されたルールとに基づいて、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記第一の領域に含まれる商品とを対応付けた情報を記憶部に登録し、
前記記憶部に登録された情報を基にして、商品毎に、前記注目部分と、前記注目部分に注目した人物の人数とを対応付けた商品情報を生成し、
生成した商品情報を表示装置に出力させる
処理を更にコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0109】

（付記５）前記第二の領域の画像を分析することで、前記人物の骨格情報を生成し、
生成された前記骨格情報を基にして、前記第二の領域の人物による、前記第一の領域に含まれる商品の把持の仕方を特定し、
特定された前記把持の仕方に基づいて、前記人物が前記商品のデザインを注目する行動を行ったか、または、前記商品の材料を注目する行動を行ったのかを識別し、
識別された行動を基にして、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記商品とを対応付けた情報を記憶部に登録する
処理を更にコンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0110】

（付記６）前記特定する処理は、前記映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性とを特定し、
前記機械学習モデルは、商品を購入する人物を示す第一クラスおよび前記人物が出現する領域を示す第一領域情報と、商品を含む物体を示す第二クラスおよび前記物体が出現する領域を示す第二領域情報と、前記第一クラスおよび前記第二クラスの相互作用とを識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであることを特徴とする付記１に記載の情報処理プログラム。

【0111】

（付記７）店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定し、
特定された前記関係性と、前記第一の領域に含まれる商品とを対応付ける
処理をコンピュータが実行することを特徴とする情報処理方法。

【0112】

（付記８）前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、特定された前記関係性の種類毎の数を計数し、
商品毎に、前記関係性の種類毎の数と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力される
処理を更にコンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0113】

（付記９）前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、複数の関係性のうち、ある関係性となる時間を計数し、
商品毎に、前記ある関係性となる時間と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力させる
処理を更にコンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0114】

（付記１０）特定された前記関係性と、予め設定されたルールとに基づいて、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記第一の領域に含まれる商品とを対応付けた情報を記憶部に登録し、
前記記憶部に登録された情報を基にして、商品毎に、前記注目部分と、前記注目部分に注目した人物の人数とを対応付けた商品情報を生成し、
生成した商品情報を表示装置に出力させる
処理を更にコンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0115】

（付記１１）前記第二の領域の画像を分析することで、前記人物の骨格情報を生成し、
生成された前記骨格情報を基にして、前記第二の領域の人物による、前記第一の領域に含まれる商品の把持の仕方を特定し、
特定された前記把持の仕方に基づいて、前記人物が前記商品のデザインを注目する行動を行ったか、または、前記商品の材料を注目する行動を行ったのかを識別し、
識別された行動を基にして、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記商品とを対応付けた情報を記憶部に登録する
処理を更にコンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0116】

（付記１２）前記特定する処理は、前記映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性とを特定し、
前記機械学習モデルは、商品を購入する人物を示す第一クラスおよび前記人物が出現する領域を示す第一領域情報と、商品を含む物体を示す第二クラスおよび前記物体が出現する領域を示す第二領域情報と、前記第一クラスおよび前記第二クラスの相互作用とを識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであることを特徴とする付記７に記載の情報処理方法。

【0117】

（付記１３）店内を撮影した映像を取得し、
取得した前記映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定し、
特定された前記関係性と、前記第一の領域に含まれる商品とを対応付ける
処理を実行する制御部を有することを特徴とする情報処理装置。

【0118】

（付記１４）前記制御部は、
前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、特定された前記関係性の種類毎の数を計数し、
商品毎に、前記関係性の種類毎の数と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力される
処理を更に実行することを特徴とする付記１３に記載の情報処理装置。

【0119】

（付記１５）前記制御部は、
前記映像を分析することで、前記映像に含まれる顧客を識別し、
識別された前記顧客を含む映像を分析することで、前記映像の中の店内に配置された商品を含む第一の領域と、前記映像の中の店内で前記商品を購入する対象の人物を含む第二の領域と、前記第一の領域および前記第二の領域の相互作用を識別した関係性とを特定する処理を繰り返し実行し、
特定された前記関係性に基づいて、複数の関係性のうち、ある関係性となる時間を計数し、
商品毎に、前記ある関係性となる時間と、前記第一の領域に含まれる商品とを対応付けた商品情報を生成し、
生成した前記商品情報を表示装置に出力させる
処理を更に実行させることを特徴とする付記１３に記載の情報処理装置。

【0120】

（付記１６）前記制御部は、
特定された前記関係性と、予め設定されたルールとに基づいて、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記第一の領域に含まれる商品とを対応付けた情報を記憶部に登録し、
前記記憶部に登録された情報を基にして、商品毎に、前記注目部分と、前記注目部分に注目した人物の人数とを対応付けた商品情報を生成し、
生成した商品情報を表示装置に出力させる
処理を更に実行することを特徴とする付記１３に記載の情報処理装置。

【0121】

（付記１７）前記制御部は、
前記第二の領域の画像を分析することで、前記人物の骨格情報を生成し、
生成された前記骨格情報を基にして、前記第二の領域の人物による、前記第一の領域に含まれる商品の把持の仕方を特定し、
特定された前記把持の仕方に基づいて、前記人物が前記商品のデザインを注目する行動を行ったか、または、前記商品の材料を注目する行動を行ったのかを識別し、
識別された行動を基にして、前記人物が注目した前記商品の注目部分を特定し、
特定された前記注目部分と、前記商品とを対応付けた情報を記憶部に登録する
処理を更に実行することを特徴とする付記１３に記載の情報処理装置。

【0122】

（付記１８）前記特定する処理は、前記映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性とを特定し、
前記機械学習モデルは、商品を購入する人物を示す第一クラスおよび前記人物が出現する領域を示す第一領域情報と、商品を含む物体を示す第二クラスおよび前記物体が出現する領域を示す第二領域情報と、前記第一クラスおよび前記第二クラスの相互作用とを識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであることを特徴とする付記１３に記載の情報処理装置。