特開 2024-176134 情報処理プログラム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176134

(43)【公開日】2024-12-19

(54)【発明の名称】情報処理プログラム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241212BHJP

   G06V 10/70 20220101ALI20241212BHJP

   G06Q 30/0242 20230101ALI20241212BHJP

【ＦＩ】

G06T7/00 350B

G06V10/70

G06Q30/0242

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023094416

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】谷田 英生

(72)【発明者】

【氏名】外川 太郎

(72)【発明者】

【氏名】中里 克久

【テーマコード（参考）】

5L030

5L049

5L096

【Ｆターム（参考）】

5L030BB08

5L049BB08

5L096BA02

5L096CA04

5L096DA01

5L096HA02

5L096KA04

(57)【要約】

【課題】顧客に対して有効な商品の情報を生成することができる機械学習モデルを得ること。
【解決手段】情報処理装置は、店内を撮影した映像を取得し、取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別する。情報処理装置は、映像を機械学習モデルに入力することで、コンテンツを生成する。情報処理装置は、生成されたコンテンツを、店内に配置された端末に出力する。情報処理装置は、端末にコンテンツが出力された後の映像を分析することで、商品に対する人物の第二の行動を識別する。情報処理装置は、第一の行動から第二の行動への遷移と、生成されたコンテンツと、識別された第二の行動の対象となる商品の画像とに基づいて、機械学習モデルを再訓練する。
【選択図】図２

【特許請求の範囲】

【請求項1】

店内を撮影した映像を取得し、
取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別し、
前記映像を機械学習モデルに入力することで、コンテンツを生成し、
生成された前記コンテンツを、前記店内に配置された端末に出力し、
前記端末にコンテンツが出力された後の映像を分析することで、商品に対する前記人物の第二の行動を識別し、
前記第一の行動から前記第二の行動への遷移と、生成された前記コンテンツと、識別された前記第二の行動の対象となる前記商品の画像とに基づいて、前記機械学習モデルを再訓練する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

識別をした前記人物の第一の行動に基づいて、前記機械学習モデルを特定する処理を更にコンピュータに実行させ、
前記生成する処理は、前記特定する処理によって特定された前記機械学習モデルに、前記映像を入力することで、前記コンテンツを生成し、
前記再訓練する処理は、前記特定する処理によって特定された前記機械学習モデルを再訓練することを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記映像を分析することで、前記映像の中から人物を含む第一の領域と、前記商品を含む第二の領域と、前記人物および前記商品の相互作用を識別した関係性とを特定する処理を更にコンピュータに実行させ、
前記機械学習モデルを特定する処理は、前記関係性に基づいて、複数の機械学習モデルから、前記商品に関連する機械学習モデルを特定することを特徴とする請求項２に記載の情報処理プログラム。

【請求項4】

前記特定する処理は、前記関係性と、商品情報が学習された複数の機械学習モデルとが対応付けられた記憶部を参照し、前記複数の機械学習モデルから、特定された関係性に対応する機械学習モデルを特定し、
前記生成する処理は、識別された前記第一の行動の対象となる前記商品の画像を、特定された機械学習モデルに入力することで、商品情報に関するコンテンツを生成し、
前記人物が利用している端末に、特定された前記商品情報に関するコンテンツを表示させる処理をコンピュータに実行させることを特徴とする請求項３に記載の情報処理プログラム。

【請求項5】

店内を撮影した映像を取得し、
取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別し、
前記映像を機械学習モデルに入力することで、コンテンツを生成し、
生成された前記コンテンツを、前記店内に配置された端末に出力し、
前記端末にコンテンツが出力された後の映像を分析することで、商品に対する前記人物の第二の行動を識別し、
前記第一の行動から前記第二の行動への遷移と、生成された前記コンテンツと、識別された前記第二の行動の対象となる前記商品の画像とに基づいて、前記機械学習モデルを再訓練する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項6】

店内を撮影した映像を取得し、
取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別し、
前記映像を機械学習モデルに入力することで、コンテンツを生成し、
生成された前記コンテンツを、前記店内に配置された端末に出力し、
前記端末にコンテンツが出力された後の映像を分析することで、商品に対する前記人物の第二の行動を識別し、
前記第一の行動から前記第二の行動への遷移と、生成された前記コンテンツと、識別された前記第二の行動の対象となる前記商品の画像とに基づいて、前記機械学習モデルを再訓練する
処理を実行する制御部を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム等に関する。

【背景技術】

【0002】

販売店では、より多くの商品を顧客に購入してもらえるように、様々な工夫を行っている。たとえば、会計機等に、予め設定しておいた商品の情報を表示したり、販売スタッフが、顧客に対して接客したりしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１６５４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のように、単に商品の情報を表示するだけでは、顧客の購買意欲を高めることが難しい。これに対して、顧客がある商品に対して興味を示している場合、顧客に対して有効な商品の情報を提示することができれば、顧客の購買意欲を高めることができる。

【0005】

このため、顧客に対して有効な商品の情報を得ることができる機械学習モデルを生成することが望ましい。

【0006】

１つの側面では、本発明は、顧客に対して有効な商品の情報を生成することができる機械学習モデルを得ることができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の案では、コンピュータが次の処理を実行する。コンピュータは、店内を撮影した映像を取得する。コンピュータは、取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別する。コンピュータは、映像を機械学習モデルに入力することで、コンテンツを生成する。コンピュータは、生成されたコンテンツを、店内に配置された端末に出力する。コンピュータは、端末にコンテンツが出力された後の映像を分析することで、商品に対する人物の第二の行動を識別する。コンピュータは、第一の行動から第二の行動への遷移と、生成されたコンテンツと、識別された第二の行動の対象となる商品の画像とに基づいて、機械学習モデルを再訓練する。

【発明の効果】

【0008】

顧客に対して有効な商品の情報を生成することができる機械学習モデルを得ることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施例に係るシステムの一例を示す図である。

【図2】図２は、本実施例に係る情報処理装置の処理を説明するための図（１）である。

【図3】図３は、本実施例に係る情報処理装置の処理を説明するための図（２）である。

【図4】図４は、本実施例に係る情報処理装置の処理を説明するための図（３）である。

【図5】図５は、ＨＯＩＤの機械学習を説明する図である。

【図6】図６は、シーングラフによる関係性特定の一例を示す図である。

【図7】図７は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。

【図8】図８は、本実施例に係るモデルテーブルのデータ構造の一例を示す図である。

【図9】図９は、本実施例に係る表示装置管理テーブルのデータ構造の一例を示す図である。

【図10】図１０は、本実施例に係る遷移定義テーブルのデータ構造の一例を示す図である。

【図11】図１１は、本実施例に係る情報処理装置の処理手順を示すフローチャート（１）である。

【図12】図１２は、本実施例に係る情報処理装置の処理手順を示すフローチャート（２）である。

【図13】図１３は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0011】

本実施例に係るシステムについて説明する。図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステムは、カメラ１０ａ，１０ｂ，１０ｃと、表示装置１５ａ，１５ｂ，１５ｃと、情報処理装置１００とを有する。カメラ１０ａ～１０ｃと、情報処理装置１００とは、ネットワークを介して相互に接続される。また、表示装置１５ａ～１５ｃと、情報処理装置１００とは、ネットワークを介して相互に接続される。

【0012】

図１では説明の便宜上、カメラ１０ａ～１０ｃ、表示装置１５ａ～１５ｃのみを示すが、本実施例に係るシステムは、他のカメラ、他の表示装置を有していてもよい。

【0013】

カメラ１０ａ～１０ｃは、店内の所定の位置に設置される。店内には、複数の商品が配置される。カメラ１０ａ～１０ｃが設置される位置（座標）を、それぞれ異なる位置とする。以下の説明では、カメラ１０ａ～１０ｃを特に区別しない場合「カメラ１０」と表記する。

【0014】

カメラ１０は、店内の映像を撮影し、撮影した映像のデータを、情報処理装置１００に送信する。以下の説明では、カメラ１０が情報処理装置１００に送信する映像のデータを、「映像データ」と表記する。

【0015】

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ１０があるタイミングで撮影した静止画像である。各画像フレームには、時刻のデータが付与されていてもよい。映像データには、映像データを撮影したカメラ１０を識別するカメラ識別情報が設定される。

【0016】

表示装置１５ａ～１５ｃは、店内の所定の位置に設置され、たとえば、商品の周辺に設置される。表示装置１５ａ～１５ｃが設置される位置（座標）を、それぞれ異なる位置とする。以下の説明では、表示装置１５ａ～１５ｃを特に区別しない場合「表示装置１５」と表記する。表示装置１５は、情報処理装置１００から出力された商品の情報等を表示する。

【0017】

情報処理装置１００は、カメラ１０から、店内の映像データを取得し、取得した映像データを分析することで、店内の商品を購入する対象の顧客を含む第一の領域と、商品を含む第二の領域と、顧客および商品の相互作用を識別した関係性とを特定する。たとえば、関係性には「見ている」、「触っている」、「座る」、「把持している」等がある。顧客および商品の相互作用を識別した関係性は、「商品に対する人物の行動」に対応する。

【0018】

情報処理装置１００は、特定した関係性に基づいて、記憶部に記憶された複数の機械学習モデルの中から、機械学習モデルを選択する。各機械学習モデルは、訓練済みの機器学習モデルであって、商品を含む第二の領域の画像を入力した場合に、商品の広告情報を出力するモデルである。機械学習モデルはＮＮ（Neural Network）等である。以下の説明では、適宜、選択した機械学習モデルを「選択学習モデル」と表記する。選択学習モデルから出力される商品の広告情報を「コンテンツ」と表記する。

【0019】

情報処理装置１００は、選択学習モデルに、映像データ（画像フレーム）の商品を含む第二の領域の画像を選択学習モデルに入力して、コンテンツを生成し、生成したコンテンツを、表示装置１５に出力して表示させる。

【0020】

情報処理装置１００は、コンテンツを表示装置１５に出力した後に、カメラ１０から、対象の顧客を撮影した映像データを取得し、取得した映像データを分析することで、対象の顧客を含む第一の領域と、商品を含む第二の領域と、顧客および商品の相互作用を識別した関係性とを特定する。ここで、コンテンツを表示装置１５に出力する前の顧客および商品の相互作用を識別した関係性を「第一の関係性」と表記する。これに対して、コンテンツを表示装置１５に出力した後の顧客および商品の相互作用を識別した関係性を「第二の関係性」と表記する。

【0021】

情報処理装置１００は、第一の関係性から第二の関係性への遷移が、予め定義された遷移に対応する場合に、映像データ（画像データ）の商品を含む第二の領域の画像を入力データとし、選択学習モデルから出力されたコンテンツを正解ラベルとした訓練データを生成し、訓練データテーブルに登録する。なお、情報処理装置１００は、第一の関係性から第二の関係性への遷移が、予め定義された遷移に対応しない場合には、訓練データを生成する処理をスキップする。

【0022】

たとえば、第一の関係性「見ている」から、第二の関係性「把持している」に遷移した場合、対象となる顧客が表示装置１５に表示されたコンテンツを参照したことで、商品に興味を持ったといえ、顧客に対して有効な商品の情報を提供できたといえる。すなわち、第一の関係性に対応する選択学習モデルに、商品を含む第二の領域の画像を入力した際に出力されたコンテンツは、顧客の購買意欲を高めるうえで、適切なコンテンツである。

【0023】

情報処理装置１００は、上記の処理を繰り返し実行することで、訓練データテーブルに、入力データと、正解ラベルとの組（訓練データ）を登録する。情報処理装置１００は、訓練データテーブルに登録された入力データと、正解ラベルとを基にして、選択学習モデルを再訓練する。たとえば、情報処理装置１００は、バックプロパゲーション（誤差逆伝播法）を利用して、選択学習モデルを再訓練する。これによって、顧客に対して有効な商品の情報を生成することができる機械学習モデルを得ることができる。

【0024】

図２、図３、図４は、本実施例に係る情報処理装置の処理を説明するための図である。まず、図２について説明する。たとえば、情報処理装置１００は、カメラ１０ａが撮影した映像データ（画像フレーム）２０を分析することで、顧客を含む第一の領域２０ａと、商品を含む第二の領域２０ｂと、顧客および商品の関係性（第一の関係性）とを特定する。図２に示す例では、第一の関係性を「見ている」とする。なお、第二の領域２０ｂに含まれる商品の近くに表示装置１５ａが設置されている。また、表示装置１５ａは、複数の表示装置１５のうち、カメラ１０ａに最も近い表示装置とする。

【0025】

図３の説明に移行する。情報処理装置１００は、複数の機械学習モデルを有している。図３では、機械学習モデル３０ａ，３０ｂ，３０ｃを示す。たとえば、機械学習モデル３０ａは、関係性「見ている」専用の機械学習モデルである。機械学習モデル３０ｂは、関係性「触っている」専用の機械学習モデルである。機械学習モデル３０ｃは、関係性「把持している」専用の機械学習モデルである。機械学習モデル３０ａ～３０ｃは、ＮＮ（Neural Network）等である。

【0026】

機械学習モデル３０ａは、関係性「見ている」に対応した複数の第一訓練データによって事前に訓練されている。たとえば、第一訓練データの入力は、商品の画像データであり、出力（正解ラベル）は、商品情報である。第一訓練データの商品情報は、「商品の広告情報」等である。

【0027】

機械学習モデル３０ｂは、関係性「触っている」に対応した複数の第二訓練データによって事前に訓練されている。たとえば、第二訓練データの入力は、商品の画像データであり、出力（正解ラベル）は、商品情報である。第二訓練データの商品情報は、「商品の利点を説明する情報」、「商品の人気の具合を説明する情報」等である。

【0028】

機械学習モデル３０ｃは、関係性「把持している」に対応した複数の第三訓練データによって事前に訓練されている。たとえば、関係性「把持している」に応じた第三訓練データの入力は、商品の画像データであり、出力（正解ラベル）は、商品情報である。第三訓練データの商品情報は、「商品を購入すると得られる特典を説明する情報」等である。

【0029】

情報処理装置１００は、図２で説明した処理によって特定した第一の関係性に対応する機械学習モデルを、機械学習モデル３０ａ～３０ｃから選択する。たとえば、情報処理装置１００は、特定した関係性が「見ている」である場合、図３の機械学習モデル３０ａを、選択学習モデルとして選択する。

【0030】

情報処理装置１００は、機械学習モデル３０ａに、商品を含む第二の領域２０ｂの画像データを入力することで、第二の領域２０ｂに含まれる商品の商品情報（コンテンツ）を生成する。情報処理装置１００は、生成したコンテンツを、第二の領域に含まれる商品の近くに配置された表示装置１５ａに出力して表示させ、顧客にコンテンツを参照させる。

【0031】

図４の説明に移行する。情報処理装置１００は、コンテンツを、表示装置１５ａに出力して表示させた後、カメラ１０ａが撮影した映像データ（画像フレーム）２１を分析することで、顧客を含む第一の領域２１ａと、商品を含む第二の領域２１ｂと、顧客および商品の関係性（第二の関係性）とを特定する。図４に示す例では、第二の関係性を「把持している」とする。

【0032】

情報処理装置１００は、第一の関係性「見ている」から、第二の関係性「把持している」への遷移が、予め指定された関係性の遷移である場合に、次の処理を実行する。予め設定された関係性の遷移は、第一の関係性から第二の関係性への遷移が、商品の購買行動により近づく遷移である。

【0033】

情報処理装置１００は、図２に示した第二の領域２０ｂの商品の画像を入力データとし、第二の領域２０ｂの商品の画像を、機械学習モデル３０ａに入力した際に出力されたコンテンツを正解ラベルとする第一訓練データを生成し、機械学習モデル３０ａ用の第一訓練データテーブルに登録する。

【0034】

図２～図４では、情報処理装置１００が、選択学習モデルとして、機械学習モデル３０ａを選択した場合について説明したが、機械学習モデル３０ｂ，３０ｃを選択した場合でも同様の処理を実行する。なお、機械学習モデル３０ｂ用の第二訓練データを格納するテーブルを、第二訓練データテーブルとする。機械学習モデル３０ｃ用の第三訓練データを格納するテーブルを、第三訓練データテーブルとする。以下の説明では、適宜、第一訓練データ、第二訓練データ、第三訓練データをまとめて、訓練データと表記する。第一訓練データテーブル、第二訓練データテーブル、第三訓練データテーブルをまとめて、訓練データテーブルと表記する。

【0035】

情報処理装置１００は、上記の処理を繰り返し実行することで、選択学習モデルに対応する訓練データテーブルに、入力データと、正解ラベルとの組（訓練データ）を登録する。情報処理装置１００は、訓練データテーブルに登録された入力データと、正解ラベルとを基にして、選択学習モデルを再訓練する。これによって、顧客に対して有効なコンテンツを生成することができる機械学習モデルを得ることができる。

【0036】

ところで、情報処理装置１００は、ＨＯＩＤ（Human Object Interaction Detection）を用いて、顧客を含む第一の領域と、商品を含む第二の領域と、第一の領域および第二の領域の関係性を特定する。情報処理装置１００が、映像データ（時系列の画像フレーム）をＨＯＩＤに入力することで、第一の領域、第二の領域、関係性の情報が出力される。

【0037】

ここで、情報処理装置１００が実行するＨＯＩＤの学習処理の一例について説明する。情報処理装置１００は、複数の訓練データを用いて、人物を示す第１クラスと、物体を示す第２クラスと、第１クラスおよび第２クラスの関係性とを識別するＨＯＩＤを訓練する。

【0038】

各訓練データは、入力データとなる画像データ（画像フレーム）と、当該画像データに対して設定された正解情報とを有する。

【0039】

正解情報には、検出対象であるヒトとモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box）とが設定される。たとえば、正解情報として、物体を示すSomethingクラスの領域情報、ユーザを示すヒトのクラスの領域情報、Somethingクラスとヒトのクラスとの相互作用を示す関係性とが設定される。

【0040】

なお、訓練データにも、訓練データにも複数のクラスと複数の相互作用を設定することができ、訓練済みのＨＯＩＤも複数のクラスと複数の相互作用とを認識することができる。

【0041】

一般的に、通常の物体認識でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが認識されるだけで何も分からない。ＨＯＩＤの場合は、ヒトのモノに対する特殊な関係性（把持している、座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスクに利用することができる。

【0042】

図５は、ＨＯＩＤの機械学習を説明する図である。図５に示すように、情報処理装置１００は、訓練データの入力データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。この出力結果には、ＨＯＩＤが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、情報処理装置１００は、訓練データの正解情報と、ＨＯＩＤの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤの機械学習を実行する。

【0043】

続いて、ＨＯＩＤを用いた識別処理の一例について説明する。情報処理装置１００は、カメラ１０が撮影した映像データの各画像フレームを、ＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。ＨＯＩＤの出力結果には、ヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値（各関係性の確率値）およびクラス名などが含まれる。ヒトのＢｂｏｘは、上記の第一の領域に対応する。モノのＢｂｏｘは、上記の第二の領域に対応する。情報処理装置１００は、ＨＯＩＤの出力結果に基づき、関係性を特定する。たとえば、情報処理装置１００は、確率値が最大となる関係性を、第一の領域と第二の領域との関係性として特定する。

【0044】

上記のように、情報処理装置１００は、映像データを、ＨＯＩＤに入力することで、第一の領域、第二の領域、関係性を特定することができる。なお、情報処理装置１００は、機械学習済みのＨＯＩＤを予め記憶部に保持しておき、係るＨＯＩＤを用いて、第一の領域と、第二の領域と、関係性とを特定してもよい。

【0045】

なお、情報処理装置１００は、第一の領域、第二の領域、関係性を特定する場合に、ＨＯＩＤ以外の技術を用いてもよい。たとえば、情報処理装置１００は、既存の検出アルゴリズムを用いて、人物を含む物体を検出し、各物体の関係性を推定し、各物体とそれらの関係性、すなわちコンテキストを表現するシーングラフを生成してもよい。ここで、既存の検出アルゴリズムとは、例えば、YOLO（YOU Only Look Once）、SSD（Single Shot Multibox Detector）、RCNN（Region Based Convolutional Neural Networks）などである。

【0046】

図６は、シーングラフによる関係性特定の一例を示す図である。図６に示す例では、画像フレーム５０から、少なくとも、Bbox（Bounding box）５１および５２で示される男性（man）が２人と、Bbox５３で示される女性（woman）と、Bbox５４で示される箱（box）と、Bbox５５で示される棚（shelf）とが検出される。情報処理装置１００は、画像フレーム５０から各物体のBbox領域を切り出し、各領域の特徴量を抽出して、物体同士（Subject、Object）のペアの特徴量から各物体の関係性を推定し、シーングラフ５９を生成する。図６では、シーングラフ５９は、Bbox５１で示される男性が、Bbox５５で示される棚（shelf）の上に立っている（standing on）という関係性を示している。また、シーングラフ５９によって示される、Bbox５１で示される男性に対する関係性は１つに限られない。図６に示すように、シーングラフ５９には、棚（shelf）の他、Bbox５２で示される男性の後ろにいる（behind）や、Bbox５４で示される箱（box）を持っている（holding）など、推定された関係性が全て示される。このように、情報処理装置１００は、シーングラフを生成することにより、映像（画像フレーム）に含まれる物体と人物との関係性を特定できる。

【0047】

次に、図２～図４で説明した処理を実行する情報処理装置１００の構成例について説明する。図７は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図７に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0048】

通信部１１０は、ネットワークを介して、カメラ１０、表示装置１５、外部装置等との間でデータ通信を実行する。通信部１１０は、ＮＩＣ（Network Interface Card）等である。たとえば、通信部１１０は、カメラ１０から、映像データを受信する。

【0049】

入力部１２０は、情報処理装置１００の制御部１５０に各種の情報を入力する入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0050】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。

【0051】

記憶部１４０は、ＨＯＩＤ１４１、映像バッファ１４２、モデルテーブル１４３、表示装置管理テーブル１４４を有する。また、記憶部１４０は、第一訓練データテーブル１４５ａ、第二訓練データテーブル１４５ｂ、第三訓練データテーブル１４５ｃ、遷移定義テーブル１４６を有する。記憶部１４０は、メモリなどの記憶装置である。

【0052】

ＨＯＩＤ１４１は、図５等で説明したＨＯＩＤである。ＨＯＩＤ１４１に、映像データの画像フレームを入力することで、画像フレーム上の第一の領域と、第二の領域と、第一の領域（第一の領域に含まれる人物）および第二の領域（第二の領域に含まれる物体）の関係性とが出力される。かかる関係性は、第二の領域に含まれる物体に対する、第一の領域に含まれる人物の行動に対応する。

【0053】

映像バッファ１４２は、カメラ１０が撮影した映像データを保持する。たとえば、映像バッファ１４２は、カメラ識別情報に対応付けて、映像データを保持する。

【0054】

モデルテーブル１４３は、図３で説明した、複数の機械学習モデル３０ａ～３０ｃに関する情報を保持する。図８は、本実施例に係るモデルテーブルのデータ構造の一例を示す図である。図８に示すように、このモデルテーブル１４３は、モデル識別情報と、関係性と、機械学習モデルとを対応付ける。モデル識別情報は、機械学習モデルを一意に識別する情報である。関係性は、機械学習モデルに対応する関係性を示す。機械学習モデルは、画像データ（画像フレーム）を入力、商品情報を出力とするＮＮである。

【0055】

たとえば、モデル識別情報「Ｍ３０ａ」は、機械学習モデル３０ａを示す。機械学習モデル３０ａは、関係性「見ている」に対応した機械学習モデルである。モデル識別情報「Ｍ３０ｂ」は、機械学習モデル３０ｂを示す。機械学習モデル３０ｂは、関係性「触っている」に対応した機械学習モデルである。モデル識別情報「Ｍ３０ｃ」は、機械学習モデル３０ｃを示す。機械学習モデル３０ｃは、関係性「把持している」に対応した機械学習モデルである。

【0056】

表示装置管理テーブル１４４は、店内に配置された表示装置１５に関する情報を保持する。図９は、本実施例に係る表示装置管理テーブルのデータ構造の一例を示す図である。図９に示すように、この表示装置管理テーブル１４４は、表示装置識別情報と、位置と、カメラ識別情報とを対応付ける。

【0057】

表示装置識別情報は、表示装置１５を一意に識別する情報である。たとえば、表示装置１５ａ，１５ｂ，１５ｃの表示装置識別情報を、それぞれ、Ａ１５ａ，Ａ１５ｂ，Ａ１５ｃとする。位置は、表示装置１５の位置（座標）を示す。カメラ識別情報は、表示装置１５に最も近いカメラ１０を識別する情報である。たとえば、カメラ識別情報Ｃ１０ａ，Ｃ１０ｂ，Ｃ１０ｃは、図１に示したカメラ１０ａ，１０ｂ，１０ｃに対応する。

【0058】

たとえば、図９において、表示装置識別情報「Ａ１５ａ」の表示装置１５ａが、位置「（ｘ_１，ｙ_１）」に設置されており、表示装置１５ａに最も近いカメラ１０は、カメラ識別情報「Ｃ１０ａ」のカメラ１０ａである旨の情報が登録されている。

【0059】

図７の説明に戻る。第一訓練データテーブル１４５ａは、機械学習モデル３０ａを再訓練するための第一訓練データを保持する。後述するように、第一訓練データは、制御部１５０によって生成され、第一訓練データテーブル１４５ａに登録される。

【0060】

第二訓練データテーブル１４５ｂは、機械学習モデル３０ｂを再訓練するための第二訓練データを保持する。後述するように、第二訓練データは、制御部１５０によって生成され、第二訓練データテーブル１４５ｂに登録される。

【0061】

第三訓練データテーブル１４５ｃは、機械学習モデル３０ｃを再訓練するための第三訓練データを保持する。後述するように、第三訓練データは、制御部１５０によって生成され、第三訓練データテーブル１４５ｃに登録される。

【0062】

遷移定義テーブル１４６は、商品画像データと、コンテンツとの組を、訓練データとして登録するか否かを判定する場合に利用される。制御部１５０は、第一の関係性から第二の関係性への遷移が、遷移定義テーブル１４６に定義された遷移である場合に、商品画像データと、コンテンツとの組を、訓練データとして登録すると判定する。

【0063】

図１０は、本実施例に係る遷移定義テーブルのデータ構造の一例を示す図である。図１０に示すように、遷移定義テーブル１４６は、項番と、第一の関係性から第二の関係性への遷移とが設定される。たとえば、項番（１）に定義された遷移は、第一の関係性「見ている」から第二の関係性「把持している」への遷移である。項番（２）に定義された遷移は、第一の関係性「見ている」から第二の関係性「触っている」への遷移である。項番（３）に定義された遷移は、第一の関係性「触っている」から第二の関係性「把持している」への遷移である。項番（１）～項番（３）の遷移は、遷移前の第一の関係性よりも遷移後の第二の関係性の方が、顧客の購買意欲が高まっているといえる。図１０では、項番（１）～項番（３）の遷移のみを示したが、他の項番の遷移も定義されているものとする。

【0064】

制御部１５０は、取得部１５１と、生成部１５２と、学習処理部１５３とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。

【0065】

取得部１５１は、カメラ１０から映像データを取得する。上記のように、映像データには、映像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部１５１は、カメラ識別情報に対応付けて、映像データ（時系列の画像フレーム）を映像バッファ１４２に格納する。

【0066】

生成部１５２は、カメラ１０に撮影された映像データを基にして、機械学習モデル３０ａ～３０ｃを再訓練するための訓練データを生成する。たとえば、生成部１５２は、第一分析処理、コンテンツ生成処理、第二分析処理、訓練データ生成処理を実行する。以下において、生成部１５２が実行する、第一分析処理、コンテンツ生成処理、第二分析処理、訓練データ生成処理を順に説明する。

【0067】

まず、生成部１５２が実行する「第一分析処理」の一例について説明する。生成部１５２は、映像バッファ１４２から映像データを取得し、映像データを分析することで、第一の領域と、第二の領域と、関係性とを特定する。係る関係性は、「第一の領域に含まれる第一の物体」、および、「第二の領域に含まれる第二の物体」との関係性である。たとえば、生成部１５２は、映像データに含まれる時系列の画像フレーム（画像データ）を、ＨＯＩＤ１４１に入力し、各画像フレーム上の第一の領域、第二の領域、関係性を特定する。

【0068】

生成部１５２は、上記処理を繰り返し実行することで、時系列の画像フレーム毎に、第一の領域、第二の領域、関係性を特定する。生成部１５２は、第一の領域、第二の領域、関係性を繰り返し特定する場合に、第一の領域に含まれる顧客と、第二の領域に含まれる商品とを追跡する。生成部１５２は、上記処理の分析結果の情報を生成する。以下の説明では、分析結果の情報を「第一分析結果情報」と表記する。たとえば、第一分析結果情報には、追跡中の人物を含む第一の領域の画像データと、追跡中の商品を含む第二の領域の画像データと、第一の関係性と、映像データ（画像フレーム）を撮影したカメラ１０のカメラ識別情報とが対応付けられる。以下の説明では、追跡中の商品を含む第二の領域の画像データを「商品画像データ」と表記する。

【0069】

続いて、生成部１５２が実行する「コンテンツ生成処理」の一例について説明する。生成部１５２は、第一分析結果情報に含まれる第一の関係性に対応する機械学習モデルを、モデルテーブル１４３に登録された複数の機械学習モデルから選択する。生成部１５２は、選択した機械学習モデル（選択学習モデル）に、商品画像データを入力し、選択学習モデルから出力されるコンテンツを取得する。

【0070】

たとえば、生成部１５２は、第一分析結果情報に含まれる関係性が「見ている」である場合には、モデルテーブル１４３から、「見ている」に対応する機械学習モデル３０ａを、選択学習モデルとして選択する。生成部１５２は、選択した機械学習モデル３０ａに、商品画像データを入力することで、コンテンツを生成する。

【0071】

生成部１５２は、第一分析結果情報に設定されたカメラ識別情報と、表示装置識別情報とを基にして、カメラ識別情報に対応するカメラ１０に最も近い場所に位置する表示装置１５を選択し、生成したコンテンツを出力して表示させる。たとえば、第一分析結果情報に設定されたカメラ識別情報を「Ｃ１０ａ」とすると、カメラ識別情報「Ｃ１０ａ」のカメラ１０ａに最も近い場所に位置する表示装置１５は、表示装置識別情報「Ａ１５ａ」の表示装置１５ａとなる。この場合、生成部１５２は、表示装置１５ａに、コンテンツを出力して表示させる。

【0072】

続いて、生成部１５２が実行する「第二分析処理」の一例について説明する。ここでは説明の便宜上、選択学習モデルを、機械学習モデル３０ａとする。生成部１５２は、機械学習モデル３０ａに、商品画像データを入力することで生成したコンテンツを、カメラ１０ａの近くに設置された表示装置１５ａに表示させたものとする。

【0073】

生成部１５２は、表示装置１５ａにコンテンツを表示させた後に、カメラ１０ａによって撮影された映像データを取得し、映像データを分析することで、第一の領域と、第二の領域と、関係性（第二の関係性）とを特定する。たとえば、生成部１５２は、映像データに含まれる時系列の画像フレーム（画像データ）を、ＨＯＩＤ１４１に入力し、各画像フレーム上の第一の領域、第二の領域、第二の関係性を特定する。

【0074】

生成部１５２は、上記の処理結果を基にして、第二分析結果情報を生成する。第二分析結果情報には、第一の関係性と、第二の関係性と、商品画像データと、コンテンツとが含まれる。生成部１５２は、上記処理を繰り返し実行することで、複数の第二分析結果情報を生成する。

【0075】

続いて、生成部１５２が実行する「訓練データ生成処理」の一例について説明する。生成部１５２は、第二分析結果情報の第一の関係性と第二の関係性との関係（第一の関係性から第二の関係性への遷移）が、遷移定義テーブル１４６に登録されているか否かを判定する。たとえば、第二分析結果情報の第一の関係性「見ている」と、第二の関係性「把持している」の関係は、遷移定義テーブル１４６の項番（１）の遷移に対応する。

【0076】

生成部１５２は、第二分析結果情報の第一の関係性と第二の関係性との関係が、遷移定義テーブル１４６に登録されている場合には、次の処理を実行して、訓練データを生成する。たとえば、生成部１５２は、第二分析結果情報に含まれる商品画像データを入力データとし、コンテンツを正解ラベルとする訓練データを生成する。生成部１５２は、第二分析結果情報に含まれる第一の関係性を基にして、訓練データを、該当する訓練データテーブルに登録する。

【0077】

生成部１５２は、第二分析結果情報に含まれる第一の関係性が「見ている」である場合には、生成した訓練データを、第一訓練データテーブル１４５ａに登録する。生成部１５２は、第二分析結果情報に含まれる第一の関係性が「触っている」である場合には、生成した訓練データを、第二訓練データテーブル１４５ｂに登録する。生成部１５２は、第二分析結果情報に含まれる第一の関係性が「把持している」である場合には、生成した訓練データを、第三訓練データテーブル１４５ｃに登録する。

【0078】

生成部１５２は、各第二分析結果情報に対して、上記処理を繰り返し実行する。なお、生成部１５２は、第二分析結果情報の第一の関係性と第二の関係性との関係が、遷移定義テーブル１４６に登録されていない場合には、該当の第二分析結果情報を基にして、訓練データを生成する処理をスキップし、次の第二分析結果情報に対して処理を行う。

【0079】

上記のように、生成部１５２は、第一分析処理、コンテンツ生成処理、第二分析処理、訓練データ生成処理を順に実行することで、訓練データを生成し、訓練データを該当する訓練データテーブルに登録する。

【0080】

学習処理部１５３は、訓練データテーブルを基にして、バックプロパゲーションを利用して、各機械学習モデルの再訓練を実行する。たとえば、学習処理部１５３は、第一訓練データテーブル１４５ａに登録された第一訓練データを用いて、機械学習モデル３０ａを再訓練する。学習処理部１５３は、機械学習モデル３０ａに、第一訓練データの入力データを入力した場合の出力結果と、第一訓練データの正解ラベルとの誤差が小さくなるように、機械学習モデル３０ａのパラメータを更新する。

【0081】

学習処理部１５３は、機械学習モデル３０ｂに、第二訓練データの入力データを入力した場合の出力結果と、第二訓練データの正解ラベルとの誤差が小さくなるように、機械学習モデル３０ｂのパラメータを更新する。

【0082】

学習処理部１５３は、機械学習モデル３０ｃに、第三訓練データの入力データを入力した場合の出力結果と、第三訓練データの正解ラベルとの誤差が小さくなるように、機械学習モデル３０ｃのパラメータを更新する。

【0083】

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１１および図１２は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１１において、情報処理装置１００の取得部１５１は、映像データを取得し、映像バッファ１４２に格納する（ステップＳ１０１）。

【0084】

情報処理装置１００の生成部１５２は、映像データの各画像フレームをＨＯＩＤ１４１に入力し、画像フレーム毎に、第一の領域と、第二の領域と、第一の関係性とを特定する（ステップＳ１０２）。生成部１５２は、第一の関係性を基にして、モデルテーブル１４３から、機械学習モデルを選択する（ステップＳ１０３）。

【0085】

生成部１５２は、選択学習モデルに商品画像データを入力することで、コンテンツを生成する（ステップＳ１０４）。生成部１５２は、表示装置管理テーブル１４４を基にして、表示装置１５を特定する（ステップＳ１０５）。生成部１５２は、生成したコンテンツを表示装置１５に出力する（ステップＳ１０６）。

【0086】

生成部１５２は、コンテンツを出力した表示装置の近くに位置するカメラ１０から映像データを取得する（ステップＳ１０７）。生成部１５２は、コンテンツ出力後の映像データの画像フレームをＨＯＩＤに入力し、第二の関係性を特定し（ステップＳ１０８）、図１２のステップＳ１０９に移行する。

【0087】

図１２の説明に移行する。情報処理装置１００の生成部１５２は、第一の関係性から第二の関係性への遷移が、遷移定義テーブル１４６に設定された遷移であるか否かを判定する（ステップＳ１０９）。生成部１５２は、設定された遷移でない場合には（ステップＳ１１０，Ｎｏ）、ステップＳ１１３に移行する。

【0088】

一方、生成部１５２は、設定された遷移である場合には（ステップＳ１１０，Ｙｅｓ）、ステップＳ１１１に移行する。生成部１５２は、商品画像データを入力データ、コンテンツを正解ラベルとした訓練データを生成する（ステップＳ１１１）。

【0089】

生成部１５２は、生成した訓練データを第一の関係性に対応する訓練データテーブルに登録する（ステップＳ１１２）。

【0090】

生成部１５２は、訓練データを生成する処理を継続する場合には（ステップＳ１１３，Ｙｅｓ）、図１１のステップＳ１０１に移行する。一方、生成部１５２は、訓練データを生成する処理を継続しない場合には（ステップＳ１１３，Ｎｏ）、ステップＳ１１４に移行する。

【0091】

情報処理装置１００の学習処理部１５３は、訓練データテーブルを基にして、機械学習モデルを再訓練する（ステップＳ１１４）。

【0092】

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、店内の映像データを分析することで、第一の関係性を特定し、第一の関係性に対応する選択学習モデルに商品画像データを入力することで得られるコンテンツを表示装置１５に表示させる。情報処理装置１００は、コンテンツ出力後の映像データを分析することで、第二の関係性を特定し、第一の関係性から第二の関係性への遷移、コンテンツ、商品画像データを基にして、選択学習モデルを再訓練する。

【0093】

たとえば、第一の関係性から第二の関係性への遷移が、顧客の購買意欲の高まる遷移である場合、商品画像データを選択学習モデルに入力した際に出力されたコンテンツは、顧客の購買意欲を高めるうえで、適切なコンテンツである。このため、かかる商品画像データを入力データ、コンテンツを正解ラベルとする訓練データによって、選択学習モデルを再訓練することで、顧客に対して有効な商品の情報を生成することができる機械学習モデルを得ることができる。なお、第一の関係性は、第一の行動に対応し、第二の関係性は、第二の行動に対応する。

【0094】

情報処理装置１００は、第一の関係性を特定し、特定した第一の関係性に対応する機械学習モデル（選択学習モデル）を選択し、係る選択学習モデルに商品の画像データを入力してコンテンツを生成し、表示装置１５に表示させる。これによって、第一の関係性に適した機械学習モデルによって、コンテンツを生成することができ、顧客の購買意欲を刺激することができる。

【0095】

情報処理装置１００は、ＨＯＩＤ１４１に映像データ（時系列の画像フレーム）を入力することで、人物を含む第一の領域、商品を含む第二の領域、第一の領域と第二の領域との関連性を特定する。これによって、人物の関連性に合わせた機械学習モデルを選択することができる。

【0096】

なお、本実施例に係る情報処理装置１００は、ＨＯＩＤ１４１を用いて、人物の第一の領域、商品の第二の領域、関係性を特定する場合について説明したが、これに限定されるものではない。情報処理装置１００は、図６で説明したシーングラフを生成して、人物の第一の領域、商品の第二の領域、関係性を特定してもよい。なお、関連技術として、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出し、両Bboxの位置関係により、人物の行動を識別することが考えられる。しかしながら、関連技術では、映像から抽出されるBboxの位置関係は２次元空間によるものなので、例えば、Bbox間の奥行きについては分析することができない。従って、関連技術では、人物の行動を識別することができない。一方で、本実施例に係る情報処理装置１００は、人物の第一の領域、商品の第二の領域、関係性を特定することで、人物の行動を識別することができる。

【0097】

次に、上述した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0098】

図１３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0099】

ハードディスク装置３０７は、取得プログラム３０７ａ、生成プログラム３０７ｂ、学習処理プログラム３０７ｃを有する。ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｃを読み出してＲＡＭ３０６に展開する。

【0100】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。生成プログラム３０７ｂは、生成プロセス３０６ｂとして機能する。学習処理プログラム３０７ｃは、学習処理プロセス３０６ｃとして機能する。

【0101】

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。生成プロセス３０６ｂの処理は、生成部１５２の処理に対応する。学習処理プロセス３０６ｃの処理は、学習処理部１５３の処理に対応する。

【0102】

なお、各プログラム３０７ａ～３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｃを読み出して実行するようにしてもよい。

【0103】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0104】

（付記１）店内を撮影した映像を取得し、
取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別し、
前記映像を機械学習モデルに入力することで、コンテンツを生成し、
生成された前記コンテンツを、前記店内に配置された端末に出力し、
前記端末にコンテンツが出力された後の映像を分析することで、商品に対する前記人物の第二の行動を識別し、
前記第一の行動から前記第二の行動への遷移と、生成された前記コンテンツと、識別された前記第二の行動の対象となる前記商品の画像とに基づいて、前記機械学習モデルを再訓練する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0105】

（付記２）識別をした前記人物の第一の行動に基づいて、前記機械学習モデルを特定する処理を更にコンピュータに実行させ、
前記生成する処理は、前記特定する処理によって特定された前記機械学習モデルに、前記映像を入力することで、前記コンテンツを生成し、
前記再訓練する処理は、前記特定する処理によって特定された前記機械学習モデルを再訓練することを特徴とする付記１に記載の情報処理プログラム。

【0106】

（付記３）前記映像を分析することで、前記映像の中から人物を含む第一の領域と、前記商品を含む第二の領域と、前記人物および前記商品の相互作用を識別した関係性とを特定する処理を更にコンピュータに実行させ、
前記機械学習モデルを特定する処理は、前記関係性に基づいて、複数の機械学習モデルから、前記商品に関連する機械学習モデルを特定することを特徴とする付記２に記載の情報処理プログラム。

【0107】

（付記４）前記特定する処理は、前記関係性と、商品情報が学習された複数の機械学習モデルとが対応付けられた記憶部を参照し、前記複数の機械学習モデルから、特定された関係性に対応する機械学習モデルを特定し、
前記生成する処理は、識別された前記第一の行動の対象となる前記商品の画像を、特定された機械学習モデルに入力することで、商品情報に関するコンテンツを生成し、
前記人物が利用している端末に、特定された前記商品情報に関するコンテンツを表示させる処理をコンピュータに実行させることを特徴とする付記３に記載の情報処理プログラム。

【0108】

（付記５）店内を撮影した映像を取得し、
取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別し、
前記映像を機械学習モデルに入力することで、コンテンツを生成し、
生成された前記コンテンツを、前記店内に配置された端末に出力し、
前記端末にコンテンツが出力された後の映像を分析することで、商品に対する前記人物の第二の行動を識別し、
前記第一の行動から前記第二の行動への遷移と、生成された前記コンテンツと、識別された前記第二の行動の対象となる前記商品の画像とに基づいて、前記機械学習モデルを再訓練する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0109】

（付記６）識別をした前記人物の第一の行動に基づいて、前記機械学習モデルを特定する処理を更にコンピュータが実行し、
前記生成する処理は、前記特定する処理によって特定された前記機械学習モデルに、前記映像を入力することで、前記コンテンツを生成し、
前記再訓練する処理は、前記特定する処理によって特定された前記機械学習モデルを再訓練することを特徴とする付記５に記載の情報処理方法。

【0110】

（付記７）前記映像を分析することで、前記映像の中から人物を含む第一の領域と、前記商品を含む第二の領域と、前記人物および前記商品の相互作用を識別した関係性とを特定する処理を更にコンピュータが実行し、
前記機械学習モデルを特定する処理は、前記関係性に基づいて、複数の機械学習モデルから、前記商品に関連する機械学習モデルを特定することを特徴とする付記６に記載の情報処理方法。

【0111】

（付記８）前記特定する処理は、前記関係性と、商品情報が学習された複数の機械学習モデルとが対応付けられた記憶部を参照し、前記複数の機械学習モデルから、特定された関係性に対応する機械学習モデルを特定し、
前記生成する処理は、識別された前記第一の行動の対象となる前記商品の画像を、特定された機械学習モデルに入力することで、商品情報に関するコンテンツを生成し、
前記人物が利用している端末に、特定された前記商品情報に関するコンテンツを表示させる処理をコンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0112】

（付記９）店内を撮影した映像を取得し、
取得した映像を分析することで、店内に配置される商品に対する人物の第一の行動を識別し、
前記映像を機械学習モデルに入力することで、コンテンツを生成し、
生成された前記コンテンツを、前記店内に配置された端末に出力し、
前記端末にコンテンツが出力された後の映像を分析することで、商品に対する前記人物の第二の行動を識別し、
前記第一の行動から前記第二の行動への遷移と、生成された前記コンテンツと、識別された前記第二の行動の対象となる前記商品の画像とに基づいて、前記機械学習モデルを再訓練する
処理を実行する制御部を有する情報処理装置。

【0113】

（付記１０）前記制御部は、識別をした前記人物の第一の行動に基づいて、前記機械学習モデルを特定する処理を更に実行し、
前記生成する処理は、前記特定する処理によって特定された前記機械学習モデルに、前記映像を入力することで、前記コンテンツを生成し、
前記再訓練する処理は、前記特定する処理によって特定された前記機械学習モデルを再訓練することを特徴とする付記９に記載の情報処理装置。

【0114】

（付記１１）前記制御部は、前記映像を分析することで、前記映像の中から人物を含む第一の領域と、前記商品を含む第二の領域と、前記人物および前記商品の相互作用を識別した関係性とを特定する処理を更に実行し、
前記機械学習モデルを特定する処理は、前記関係性に基づいて、複数の機械学習モデルから、前記商品に関連する機械学習モデルを特定することを特徴とする付記１０に記載の情報処理装置。

【0115】

（付記１２）前記特定する処理は、前記関係性と、商品情報が学習された複数の機械学習モデルとが対応付けられた記憶部を参照し、前記複数の機械学習モデルから、特定された関係性に対応する機械学習モデルを特定し、
前記生成する処理は、識別された前記第一の行動の対象となる前記商品の画像を、特定された機械学習モデルに入力することで、商品情報に関するコンテンツを生成し、
前記制御部は、前記人物が利用している端末に、特定された前記商品情報に関するコンテンツを表示させる処理を更に実行することを特徴とする付記１１に記載の情報処理装置。

【符号の説明】

【0116】

１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ ＨＯＩＤ
１４２ 映像バッファ
１４３ モデルテーブル
１４４ 表示装置管理テーブル
１４５ａ 第一訓練データテーブル
１４５ｂ 第二訓練データテーブル
１４５ｃ 第三訓練データテーブル
１５０ 制御部
１５１ 取得部
１５２ 生成部
１５３ 学習処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】