特開 2024-180001 情報処理プログラム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180001

(43)【公開日】2024-12-26

(54)【発明の名称】情報処理プログラム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06Q 30/0241 20230101AFI20241219BHJP

【ＦＩ】

G06Q30/0241

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023099399

(22)【出願日】2023-06-16

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】菊地 高史

(72)【発明者】

【氏名】宮原 捺希

(72)【発明者】

【氏名】遠藤 ありす

(72)【発明者】

【氏名】木幡 駿

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB08

5L049BB08

(57)【要約】

【課題】電子機器の配置された場所の周辺環境を考慮して、電子機器を操作すること。
【解決手段】情報処理装置は、施設内で撮影した映像を取得する。情報処理装置は、取得をした映像を分析することで、施設内での人物の軌跡を追跡する。情報処理装置は、追跡をした人物の軌跡に基づいて、施設内での人物の軌跡に関するヒートマップを生成する。情報処理装置は、生成されたヒートマップおよび施設内に配置された電子機器の位置情報に基づいて、施設内の環境設定に関する情報を生成する。情報処理装置は、環境設定に関する情報に基づいて、電子機器に、環境設定に関する処理を実行させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

施設内で撮影した映像を取得し、
取得をした前記映像を分析することで、前記施設内での人物の軌跡を追跡し、
追跡をした前記人物の軌跡に基づいて、前記施設内での前記人物の軌跡に関するヒートマップを生成し、
生成された前記ヒートマップおよび前記施設内に配置された電子機器の位置情報に基づいて、前記施設内の環境設定に関する情報を生成し、
前記環境設定に関する情報に基づいて、前記電子機器に、前記環境設定に関する処理を実行させる
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記環境設定に関する情報は、前記電子機器に表示させるコンテンツの種類、前記施設内に配置された照明機器の照度、前記電子機器が前記施設内に流す音楽の種類、前記電子機器が前記施設内に散布する香水の種類、の何れかであることを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記分析する処理は、取得をした前記映像に含まれる、第一の期間での前記人物の第一の移動軌跡を特定し、特定した前記第一の移動軌跡に基づいて、前記第一の期間後の第二の期間での前記人物の第二の移動軌跡を予測し、取得した前記映像を分析することで、前記第二の期間の人物の実際の移動軌跡を示す第三の移動軌跡を特定し、
前記ヒートマップを生成する処理は、前記第二の移動軌跡と前記第三の移動軌跡との誤差を領域毎に示す前記ヒートマップを生成することを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記ヒートマップを基にして、誤差が所定の条件を満たす第一の注目領域と、前記第一の注目領域における人物を抽出し、
抽出した前記第一の注目領域における人物の骨格情報に基づいて、前記人物の第一の行動を特定し、
特定した前記人物の第一の行動が所定の行動である場合に、前記第一の注目領域に位置する前記電子機器に、前記所定の行動と対応付けられた環境設定に関する処理を実行させる処理を更にコンピュータに実行させることを特徴とする請求項３に記載の情報処理プログラム。

【請求項5】

人物の行動と環境設定に関する情報とをペアとする複数の訓練データを基にして訓練した機械学習モデルに、前記第一の注目領域における前記人物の第一の行動を入力することで、前記施設内での環境設定に関する情報を生成し、
前記電子機器によって、前記環境設定に関する処理が実施された後に、前記第一の注目領域における前記人物を含む映像を分析することで、前記人物の第二の行動を特定し、
特定された前記人物の第二の行動が所定の行動でない場合に、前記複数の訓練データから、前記第一の行動と前記環境設定に関する情報とのペアに対応する訓練データを除外した残りの訓練データを基にして、前記機械学習モデルを再訓練する処理を更にコンピュータに実行させることを特徴とする請求項４に記載の情報処理プログラム。

【請求項6】

施設内で撮影した映像を取得し、
取得をした前記映像を分析することで、前記施設内での人物の軌跡を追跡し、
追跡をした前記人物の軌跡に基づいて、前記施設内での前記人物の軌跡に関するヒートマップを生成し、
生成された前記ヒートマップおよび前記施設内に配置された電子機器の位置情報に基づいて、前記施設内の環境設定に関する情報を生成し、
前記環境設定に関する情報に基づいて、前記電子機器に、前記環境設定に関する処理を実行させる
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項7】

施設内で撮影した映像を取得し、
取得をした前記映像を分析することで、前記施設内での人物の軌跡を追跡し、
追跡をした前記人物の軌跡に基づいて、前記施設内での前記人物の軌跡に関するヒートマップを生成し、
生成された前記ヒートマップおよび前記施設内に配置された電子機器の位置情報に基づいて、前記施設内の環境設定に関する情報を生成し、
前記環境設定に関する情報に基づいて、前記電子機器に、前記環境設定に関する処理を実行させる
処理を実行する制御部を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム等に関する。

【背景技術】

【0002】

近年では、屋外、店頭、公共の空間、交通機関等の多様な場所において、ネットワークに接続された電子機器のディスプレイ等を用いて情報を発信する、デジタルサイネージと称されるメディアが普及しつつある。また、公共の空間に限らず、例えば、企業等のオフィスにおいても、従業員に対する情報共有の支援や、企業の情報統制等を目的として、デジタルサイネージの活用が注目されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１６５４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、電子機器は、ネットワークを通じて、サーバー装置が配信したコンテンツを受信するとともに、受信したコンテンツを出力する。しかしながら、電子機器の配置された場所の周辺環境に合ったコンテンツを配信することができないという問題がある。このとき、電子機器は、自装置の配置された場所の周辺環境を識別するために、電子機器の配置された周辺環境をセンシングすることが考えられる。しかしながら、周辺環境をセンシングするためには、電子機器に専用のセンサーを搭載する必要がある。したがって、電子機器にセンサーが搭載されていない場合は、電子機器は周辺環境をセンシングすることができない。

【0005】

１つの側面では、電子機器の配置された場所の周辺環境を考慮して、電子機器を操作することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、施設内で撮影した映像を取得する。コンピュータは、取得をした映像を分析することで、施設内での人物の軌跡を追跡する。コンピュータは、追跡をした人物の軌跡に基づいて、施設内での人物の軌跡に関するヒートマップを生成する。コンピュータは、生成されたヒートマップおよび施設内に配置された電子機器の位置情報に基づいて、施設内の環境設定に関する情報を生成する。コンピュータは、環境設定に関する情報に基づいて、電子機器に、環境設定に関する処理を実行させる。

【発明の効果】

【0007】

電子機器の配置された場所の周辺環境を考慮して、電子機器を操作することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施例１に係るシステムの一例を示す図である。

【図2】図２は、本実施例１に係る情報処理装置の処理の一例を説明するための図である。

【図3】図３は、ヒートマップの一例を示す図である。

【図4】図４は、生成ポリシーテーブルのデータ構造の一例を示す図である。

【図5】図５は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。

【図6】図６は、カメラパラメータテーブルのデータ構造の一例を示す図である。

【図7】図７は、映像バッファのデータ構造の一例を示す図である。

【図8】図８は、第一の機械学習モデルの一例を示す図である。

【図9】図９は、移動軌跡テーブルのデータ構造の一例を示す図である。

【図10】図１０は、誤差データベースのデータ構造の一例を示す図である。

【図11】図１１は、電子機器位置情報のデータ構造の一例を示す図である。

【図12】図１２は、商品情報テーブルのデータ構造の一例を示す図である。

【図13】図１３は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。

【図14】図１４は、本実施例２に係る情報処理装置の処理の一例を説明するための図である。

【図15】図１５は、人体の骨格モデルの一例を示す図である。

【図16】図１６は、関節名の一例を示す図である。

【図17】図１７は、ルールテーブルのデータ構造の一例を示す図である。

【図18】図１８は、訓練データテーブルのデータ構造の一例を示す図である。

【図19】図１９は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。

【図20】図２０は、本実施例２に係る情報処理装置の処理手順を示すフローチャート（１）である。

【図21】図２１は、本実施例２に係る情報処理装置の処理手順を示すフローチャート（２）である。

【図22】図２２は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0010】

図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、本実施例１に係るシステムは、カメラ１０ａ，１０ｂ，１０ｃと、情報処理装置１００とを有する。また、本実施例１に係るシステムは、表示装置１５ａ，１５ｂ，１５ｃと、照明機器１６ａ，１６ｂ，１６ｃと、スピーカ１７ａ，１７ｂ，１７ｃとを有する。

【0011】

カメラ１０ａ～１０ｃと、情報処理装置１００とは、ネットワークを介して相互に接続される。表示装置１５ａ～１５ｃ、照明機器１６ａ～１６ｃ、および、スピーカ１７ａ～１７ｃと、情報処理装置１００とは、ネットワークを介して相互に接続される。

【0012】

図１では説明の便宜上、カメラ１０ａ～１０ｃのみを示すが、本実施例１に係るシステムは、他のカメラを有していてもよい。同様に、表示装置１５ａ～１５ｃのみを示すが、システムは、他の表示装置を有していてもよい。照明機器１６ａ～１６ｃのみを示すが、システムは、他の照明機器を有していてもよい。スピーカ１７ａ～１７ｃのみを示すが、システムは、他のスピーカを有していてもよい。

【0013】

以下の説明では、適宜、カメラ１０ａ～１０ｃをまとめて、「カメラ１０」と表記する。表示装置１５ａ～１５ｃをまとめて、「表示装置１５」と表記する。照明機器１６ａ～１６ｃをまとめて、「照明機器１６」と表記する。スピーカ１７ａ～１７ｃをまとめて、「スピーカ１７」と表記する。更に、表示装置１５、照明機器１６、スピーカ１７をまとめて、「電子機器」と表記する。カメラ１０、電子機器は、それぞれ、店内の所定の位置であって、事前に設定された位置に配置される。

【0014】

カメラ１０は、映像を撮影し、撮影した映像のデータを、情報処理装置１００に送信する。以下の説明では、カメラ１０が情報処理装置１００に送信する映像のデータを、「映像データ」と表記する。本実施例１では、人物が撮影された映像データを用いて説明する。

【0015】

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ１０があるタイミングで撮影した静止画像である。各画像フレームには、時刻のデータが付与されていてもよい。映像データには、映像データを撮影したカメラ１０を識別するカメラ識別情報が設定される。

【0016】

情報処理装置１００は、映像データを基にして、顧客の過去の移動軌跡から予測した人物の移動軌跡と、映像データを解析して特定した実際の移動軌跡とを比較し、各移動軌跡の誤差を領域毎に示すヒートマップを生成する。

【0017】

情報処理装置１００は、生成したヒートマップ、および、店内に配置された電子機器の位置情報を基にして、環境設定に関する情報を生成し、生成した環境設定に関する処理を電子機器に実行させる。

【0018】

図２は、本実施例１に係る情報処理装置の処理の一例を説明するための図である。情報処理装置１００は、映像データ２０に含まれる各画像フレームを基にして、人物の領域２１を検出および追跡し、人物の位置を特定する。情報処理装置１００は、時刻ｔ－ｎから、現在の時刻ｔまでの画像フレームについて上記処理を繰り返し実行することで、時刻ｔ－ｎ～ｔの人物の時系列の位置情報を取得する。以下の説明では、時刻ｔ－ｎ～ｔまでの期間を「第一の期間」と表記する。第一の期間の人物の時系列の位置情報を「第一の移動軌跡」と表記する。

【0019】

たとえば、第一の移動軌跡は、時系列の位置（座標）が設定され、［（ｘ_ｔ－ｎ，ｙ_ｔ－ｎ），（ｘ_{ｔ－ｎ＋１}，ｙ_{ｔ－ｎ＋１}），・・・，（ｘ_ｔ，ｙ_ｔ）］となる。図２では、第一の移動軌跡を、第一の移動軌跡２２ａとする。第一の移動軌跡の時系列の位置は、画像フレームの時刻に対応付けられる。

【0020】

情報処理装置１００は、第一の移動軌跡を、訓練済みの第一の機械学習モデルに入力することで、時刻ｔ＋１～ｔ＋ｍまでの人物の時系列の位置情報を予測する。第一の機械学習モデルは、LSTM（Long Short Term Memory）、Transformer等である。以下の説明では、時刻ｔ＋１～ｔ＋ｍまでの期間を「第二の期間」と表記する。第一の移動軌跡を、訓練済みの第一の機械学習モデルに入力することで予測される、第二の期間の人物の時系列の位置情報を「第二の移動軌跡」と表記する。

【0021】

たとえば、第二の移動軌跡は、時系列の位置（座標）が設定され、［（ｘ’_ｔ＋１，ｙ’_ｔ＋１），・・・，（ｘ’_ｔ＋ｍ，ｙ_ｔ＋ｍ）］となる。図２では、第二の移動軌跡を、第二の移動軌跡２２ｂとする。なお、第二の移動軌跡の開始の位置を「（ｘ’_ｔ，ｙ’_ｔ）」としてもよい。

【0022】

情報処理装置１００は、映像データ２０の時刻ｔ＋１から、時刻ｔ＋ｍまでの画像フレームについて、人物の領域２１を検出および追跡することで、時刻ｔ＋１～ｔ＋ｍの人物の時系列の位置情報であって、実際の位置情報を取得する。以下の説明では、時刻ｔ＋１～ｔ＋ｍの人物の時系列の位置情報であって、実際の位置情報を「第三の移動軌跡」と表記する。

【0023】

たとえば、第三の移動軌跡は、時系列の位置（座標）が設定され、［（ｘ_ｔ＋１，ｙ_ｔ＋１），・・・，（ｘ_ｔ＋ｍ，ｙ_ｔ＋ｍ）］となる。図２では、第三の移動軌跡を、第三の移動軌跡２２ｃとする。第三の移動軌跡の時系列の位置は、画像フレームの時刻に対応付けられる。なお、第三の移動軌跡の開始の位置を「（ｘ_ｔ，ｙ_ｔ）」としてもよい。

【0024】

情報処理装置１００は、第二の移動軌跡２２ｂと、第三の移動軌跡２２ｃとの誤差ｅを算出する。誤差ｅには、第二の移動軌跡２２ｂと、第三の移動軌跡２２ｃとの時刻毎の誤差が設定される。たとえば、時刻ｔ＋１の誤差ｅ_ｔ＋１は、（ｘ’_ｔ＋１，ｙ’_ｔ＋１）と（ｘ_ｔ＋１，ｙ_ｔ＋１）との誤差となる。

【0025】

情報処理装置１００は、図２の処理によって算出した誤差ｅを基にして、ヒートマップを生成する。図３は、ヒートマップの一例を示す図である。たとえば、ヒートマップ３０は、複数の領域に分割され、領域毎に、所定期間毎の誤差ｅの積算値が設定される。情報処理装置１００は、ヒートマップ３０を基にして、領域毎の誤差ｅの積算値が閾値Ｔｈ１以上となる領域を、「注目領域」として抽出する。注目領域において、顧客は、何らかの影響によって、通常とは異なる移動を行いやすい領域であり、顧客に注目されやすい領域である。通常とは異なる行動は、立ち止まる等である。

【0026】

情報処理装置１００は、ヒートマップ３０を基にして、領域毎の誤差ｅの積算値が閾値Ｔｈ２未満となる領域を、「非注目領域」として抽出する。非注目領域において、顧客は、通常と同様の行動を行いやすい領域であり、顧客に注目されにくい領域である。

【0027】

たとえば、閾値Ｔｈ１、閾値Ｔｈ２は予め設定される閾値であり、閾値Ｔｈ１および閾値Ｔｈ２の大小関係を閾値Ｔｈ１＞閾値Ｔｈ２とする。

【0028】

図３に示す例では、情報処理装置１００は、ヒートマップ３０の複数の領域のうち、領域３１ａ，３２ａ，３３ａを、注目領域として抽出する。また、情報処理装置１００は、領域３１ｂ，３２ｂ，３３ｂを、非注目領域として抽出する。便宜的に、ヒートマップ３０における、電子機器（表示装置１５、照明機器１６、スピーカ１７）の位置もあわせて表示する。

【0029】

情報処理装置１００は、ヒートマップ３０、および、店内に配置された電子機器の位置情報を基にして、環境設定に関する情報を生成し、電子機器に環境設定に関する処理を実行させる。たとえば、情報処理装置１００は、生成ポリシーテーブルを基にして、環境設定情報を生成する。

【0030】

図４は、生成ポリシーテーブルのデータ構造の一例を示す図である。図４に示すように、生成ポリシーテーブル１４０ｈは、電子機器種別、第一ポリシー、第二ポリシーを対応付ける。電子機器種別は、電子機器の種別を示す。たとえば、電子機器の種別は、表示装置、照明機器、スピーカの何れかとなるが、他の種別の電子機器が設定されてもよい。

【0031】

第一ポリシーは、該当する電子機器が、注目領域に含まれている場合に、係る電子機器に設定する環境設定に関する情報を生成するポリシーを示す。

【0032】

図３において、表示装置１５ａは、注目領域となる領域３１ａに位置している。情報処理装置１００は、電子機器種別「表示装置」の第一ポリシー「初期設定の商品の情報を表示」に基づいて、表示装置１５ａの環境設定に関する情報を生成する。たとえば、情報処理装置１００は、表示装置１５ａの近くに位置する商品棚ｃａｂ１に配置された商品の情報であって、初期設定の商品の情報を生成し、表示装置１５ａに出力して表示させる。既に注目されている領域において、商品の情報を表示させることで、顧客が商品の情報を参照してくれる可能性が高い。なお、商品の情報には、商品の特徴、利点、付加価値、価格、販売方法等の情報が含まれる。

【0033】

なお、情報処理装置１００は、訓練済みの第二の機械学習モデルを用いて、商品の情報を生成してもよい。第二の機械学習モデルは、商品の画像を入力した場合に、かかる商品の広告情報を出力するモデルである。情報処理装置１００は、カメラ１０が撮影した、領域３１ａの画像フレームを解析することで、商品棚ｃａｂ１の商品の画像を抽出し、抽出した画像を、第二の機械学習モデルに入力することで、商品の情報を生成する。

【0034】

照明機器１６ｂは、注目領域となる領域３２ａに位置している。情報処理装置１００は、電子機器種別「照明機器」の第一ポリシー「初期設定の照度に保つ」に基づいて、照明機器１６ｂの環境設定に関する情報を生成する。たとえば、情報処理装置１００は、照明機器１６ｂに、初期設定の照度パラメータを生成し、照明機器１６ｂに出力することで、照明機器１６ｂの照明を制御する。既に注目されている領域であるため、情報処理装置１００は、照明機器１６ｂの照度を初期の状態に保つ。

【0035】

スピーカ１７ｃは、注目領域となる領域３３ａに位置している。情報処理装置１００は、電子機器種別「スピーカ」の第一ポリシー「初期設定の商品の情報を再生」に基づいて、スピーカ１７ｃの環境設定に関する情報を生成する。たとえば、情報処理装置１００は、スピーカ１７ｃの近くに位置する商品棚ｃａｂ３に配置された商品を説明する音声情報を生成し、スピーカ１７ｃに出力することで、スピーカ１７ｃに商品を説明する音声情報を再生させる。既に注目されている領域であるため、スピーカ１７ｃから再生される商品を説明する音声情報を、顧客に聞いてもらうことができる。

【0036】

第二ポリシーは、電子機器が、非注目領域に含まれている場合に、係る電子機器に設定する環境設定情報を生成するポリシーを示す。

【0037】

図３において、表示装置１５ｃは、非注目領域となる領域３１ｂに位置している。情報処理装置１００は、電子機器種別「表示装置」の第二ポリシー「初期設定の商品の情報を強調表示」に基づいて、表示装置１５ｃの環境設定に関する情報を生成する。たとえば、情報処理装置１００は、表示装置１５ｃの近くに位置する商品棚ｃａｂ２に配置された商品の情報であって、初期設定の商品の情報（強調表示）を生成し、表示装置１５ａに出力して表示させる。注目されていない領域において、商品の情報を強調して表示させることで、顧客が足を止めて、商品の情報を参照してくれる可能性が高い。情報処理装置１００は、どのように商品の情報を強調表示させてもよいが、たとえば、商品の情報の画面の枠を点滅させるなどの強調表示を行う。

【0038】

なお、情報処理装置１００は、上述した第二の機械学習モデルを用いて、商品の情報を生成し、生成した商品の情報を、強調表示用に更新し、更新した商品の情報を、表示装置１５ａに出力して表示させてもよい。

【0039】

照明機器１６ａは、非注目領域となる領域３２ｂに位置している。情報処理装置１００は、電子機器種別「照明機器」の第二ポリシー「照度を上げる」に基づいて、照明機器１６ａの環境設定に関する情報を生成する。たとえば、情報処理装置１００は、照明機器１６ａに、初期設定から所定値分だけ照度値を上げた、照度パラメータを生成し、照明機器１６ａに出力することで、照明機器１６ａの照明を制御する。情報処理装置１００は、注目されていない領域において、照明機器１６ａの照度を上げて明るくすることで、商品を見やすくし、商品に対する顧客の注目具合を向上させることができる。

【0040】

スピーカ１７ａは、非注目領域となる領域３３ｂに位置している。情報処理装置１００は、電子機器種別「スピーカ」の第二ポリシー「流行の音楽を流す」に基づいて、スピーカ１７ａの環境設定に関する情報を生成する。たとえば、情報処理装置１００は、スピーカ１７ａに、流行の音楽の情報を生成し、スピーカ１７ａに出力することで、スピーカ１７ａに流行の音楽を再生させる。注目されていない領域において、スピーカ１７ａから流行の音楽を再生させることで、顧客が足を止めて、周辺の商品に目を向けさせることができる。

【0041】

上記のように、情報処理装置１００は、映像データを基にして、顧客の過去の移動軌跡から予測した人物の移動軌跡と、映像データを解析して特定した実際の移動軌跡とを比較し、各移動軌跡の誤差を領域毎に示すヒートマップを生成する。情報処理装置１００は、ヒートマップ、および、店内に配置された電子機器の位置情報を基にして、環境設定に関する情報を生成し、生成した環境設定に関する処理を電子機器に実行させる。これによって、電子機器の配置された場所の周辺環境を考慮して、電子機器を操作することができる。

【0042】

次に、上述した情報処理装置１００の構成例について説明する。図５は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図５に示すように、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0043】

通信部１１０は、ネットワークを介して、カメラ１０、表示装置１５、照明機器１６、スピーカ１７、外部装置等との間でデータ通信を実行する。通信部１１０は、ＮＩＣ（Network Interface Card）等である。たとえば、通信部１１０は、カメラ１０から、映像データを受信する。通信部１１０は、制御部１５０によって生成される環境設定に関する情報を、表示装置１５、照明機器１６、スピーカ１７等に送信する。

【0044】

入力部１２０は、情報処理装置１００の制御部１５０に各種の情報を入力する入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0045】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。

【0046】

記憶部１４０は、カメラパラメータテーブル１４０ａ、映像バッファ１４０ｂ、第一の機械学習モデル１４０ｃ、移動軌跡テーブル１４０ｄ、誤差データベース１４０ｅ、第二の機械学習モデル１４０ｆを有する。また、記憶部１４０は、電子機器位置情報１４０ｇ、生成ポリシーテーブル１４０ｈ、商品情報テーブル１４０ｉ、照明設定情報１４０ｊ、音楽ＤＢ１４０ｋを有する。記憶部１４０は、メモリなどの記憶装置である。

【0047】

カメラパラメータテーブル１４０ａは、カメラ１０のカメラパラメータに関する情報を保持する。図６は、カメラパラメータテーブルのデータ構造の一例を示す図である。図６に示すように、カメラパラメータテーブル１４０ａは、カメラ識別情報と、カメラパラメータとが対応付けられる。また、カメラパラメータテーブル１４０ａは、該当するカメラ１０の撮影範囲に対応するマップ上の領域を識別する情報を更に保持してもよい。

【0048】

カメラ識別情報は、カメラ１０を識別する情報である。たとえば、カメラ１０ａ，１０ｂ，１０ｃのカメラ識別情報をそれぞれ、Ｃａ１０ａ，Ｃａ１０ｂ，Ｃａ１０ｃとする。カメラパラメータは、カメラ内部パラメータ、カメラ外部パラメータ等である。カメラパラメータは、キャリブレーション等に基づいて、事前に設定される。

【0049】

映像バッファ１４０ｂは、カメラが撮影した映像データを保持する。図７は、映像バッファのデータ構造の一例を示す図である。図７に示すように、映像バッファ１４０ｂは、カメラ識別情報と、映像データとを対応付ける。カメラ識別情報、映像データに関する説明は、上記の説明と同様である。

【0050】

第一の機械学習モデル１４０ｃは、第一の期間の第一の移動軌跡を入力とし、第二の期間の第二の移動軌跡を出力とする訓練済みの機械学習モデルである。図８は、第一の機械学習モデルの一例を示す図である。図８に示すように、第一の機械学習モデル１４０ｃは、エンコーダと、デコーダとを有する。エンコーダのLSTMに、第一の移動軌跡の位置情報が時系列に入力されると、情報が、デコーダに入力され、デコーダのLSTMから、第二の移動軌跡の位置情報が時系列に出力させる。図８では、第一の機械学習モデル１４０ｃを、LSTMによって実現する場合について説明したが、Transformer等を代わりに用いてもよい。

【0051】

移動軌跡テーブル１４０ｄは、人物の各移動軌跡に関する情報を保持する。図９は、移動軌跡テーブルのデータ構造の一例を示す図である。図９に示すように、この移動軌跡テーブル１４０ｄは、人物ＩＤと、第一の移動軌跡と、第二の移動軌跡と、第三の移動軌跡とを対応付ける。人物ＩＤは、映像データから検出される人物に割り当てられる識別情報である。第一の移動軌跡、第二の移動軌跡、第三の移動軌跡の説明は、上述した説明と同様である。

【0052】

誤差データベース１４０ｅは、マップ上の各領域と、所定期間毎の誤差との関係を保持する。マップは、店内のマップである。図１０は、誤差データベースのデータ構造の一例を示す図である。図１０に示すように、この誤差データベース１４０ｅは、領域ＩＤと、位置情報と、誤差情報とを対応付ける。領域ＩＤは、店内の領域を識別する情報である。位置情報は、領域ＩＤによって識別される領域の位置情報である。たとえば、位置情報には、領域の左上隅の位置、領域の右下隅の位置が設定される。

【0053】

誤差情報には、該当する領域における各期間の誤差の積算値が設定される。たとえば、第１期間～第Ｎ期間は、２４時間をＮ等分した期間である。

【0054】

第二の機械学習モデル１４０ｆは、商品の画像を入力とし、かかる商品の広告情報を出力とする訓練済みの機械学習モデルである。第二の機械学習モデル１４０ｆは、ＮＮ等である。

【0055】

電子機器位置情報１４０ｇは、電子機器の識別情報と、この電子機器が設置されたマップ上の領域の領域ＩＤとを対応付ける。図１１は、電子機器位置情報のデータ構造の一例を示す図である。図１１に示すように、この電子機器位置情報１４０ｇは、電子機器の識別情報と、領域ＩＤとを対応付ける。たとえば、電子機器識別情報Ｄ１５ａ～１５ｃは、表示装置１５ａ～１５ｃに対応する。電子機器識別情報Ｄ１６ａ～１６ｃは、照明機器１６ａ～１６ｃに対応する。電子機器識別情報Ｄ１７ａ～１７ｃは、スピーカ１７ａ～１７ｃに対応する。

【0056】

生成ポリシーテーブル１４０ｈは、電子機器種別、第一ポリシー、第二ポリシーを対応付ける。生成ポリシーテーブル１４０ｈのデータ構造は、図４で説明したデータ構造である。

【0057】

商品情報テーブル１４０ｉは、マップ上の領域の領域ＩＤと、係る領域の商品棚に配置された商品の情報を保持する。商品の情報は、商品の特徴、利点、付加価値、価格、販売方法等の情報が含まれる。図１２は、商品情報テーブルのデータ構造の一例を示す図である。図１２に示すように、商品情報テーブル１４０ｉは、領域ＩＤと、商品の情報（テキスト情報および音声情報）とを対応付ける。たとえば、商品の情報（テキスト情報）は、表示装置１５に表示させる広告情報である。商品の情報（音声情報）は、スピーカ１７から再生される商品を説明する音声情報である。

【0058】

照明設定情報１４０ｊは、照明機器１６の初期設定の照度パラメータを保持する。

【0059】

音楽ＤＢ１４０ｋは、流行の音楽の情報を格納する。

【0060】

図５の説明に戻る。制御部１５０は、取得部１５１、前処理部１５２、生成部１５３、設定部１５４を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。

【0061】

取得部１５１は、カメラ１０から映像データを取得する。上記のように、映像データには、映像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部１５１は、カメラ識別情報に対応付けて、映像データを映像バッファ１４０ｂに格納する。

【0062】

前処理部１５２は、特定処理、予測処理、算出処理を実行することで、誤差データベース１４０ｅを生成する。以下において、特定処理、予測処理、算出処理について、順に説明する。

【0063】

前処理部１５２が実行する特定処理について説明する。以下に説明するように、特定処理によって、第一の移動軌跡と、第三の移動軌跡とが特定される。

【0064】

前処理部１５２は、映像バッファ１４０ｂから映像データを取得し、映像データに含まれる各画像フレームを基にして、人物の領域を検出および追跡し、人物の位置を特定する。前処理部１５２は、同一の人物に対し、ユニークな人物ＩＤを割り当てる。前処理部１５２は、時刻ｔ－ｎから、現在の時刻ｔまでの画像フレームについて上記処理を繰り返し実行することで、時刻ｔ－ｎ～ｔの人物の時系列の位置を特定し、第一の移動軌跡を生成する。

【0065】

前処理部１５２は、画像フレームに設定された時刻を基にして、第一の移動軌跡に含まれる時系列の位置と、時刻とを対応付ける。以下の説明では、時系列の各位置が時刻に対応付けられた第一の移動軌跡を、単に、第一の移動軌跡と表記する。前処理部１５２は、人物ＩＤと対応付けて、第一の移動軌跡を、移動軌跡テーブル１４０ｄに格納する。

【0066】

続いて、前処理部１５２は、第一の移動軌跡を生成した後、時刻ｔ＋ｍまで待機する。前処理部１５２は、映像バッファ１４０ｂから、時刻ｔ＋１～ｔ＋ｍまでの映像データを取得し、時刻ｔ＋１～ｔ＋ｍまでの画像フレームについて、人物の領域を検出および追跡することで、時刻ｔ＋１～ｔ＋ｍの人物の時系列の位置を特定し、第三の移動軌跡を生成する。

【0067】

前処理部１５２は、画像フレームに設定された時刻を基にして、第三の移動軌跡に含まれる時系列の位置と、時刻とを対応付ける。以下の説明では、時系列の各位置が時刻に対応付けられた第三の移動軌跡を、単に、第三の移動軌跡と表記する。前処理部１５２は、人物ＩＤと対応付けて、第三の移動軌跡を、移動軌跡テーブル１４０ｄに格納する。

【0068】

前処理部１５２は、映像データを基にして、他の人物（人物ＩＤ）に関する第一の移動軌跡、第三の移動軌跡も同様に生成し、移動軌跡テーブル１４０ｄに格納する。

【0069】

ここで、前処理部１５２は、画像フレームに含まれる人物の領域を検出する場合には、YLOO（You Look Only Once）等の技術を用いてもよい。たとえば、前処理部１５２は、各画像フレームから検出する人物の領域を比較し、追跡条件を満たす領域を、同一の人物の領域として、人物の追跡を行う。追跡条件は、人物の領域の特徴の類似度が閾値以上であるという条件、人物の領域の距離が一定の距離未満であるとう条件等である。なお、前処理部１５２は、映像データの各画像フレームに含まれる人物の領域を検出し、人物の領域を追跡する場合に、DeepSort等の機械学習モデルを利用してもよい。

【0070】

次に、前処理部１５２が実行する予測処理について説明する。以下に説明するように、予測処理によって、第二の移動軌跡が予測される。

【0071】

前処理部１５２は、移動軌跡テーブル１４０ｄから、第一の移動軌跡を取得し、取得した第一の移動軌跡の時系列の位置を、第一の機械学習モデル１４０ｃに入力することで、第二の移動軌跡を予測する。前処理部１５２は、第二の移動軌跡を予測する場合に用いた第一の移動軌跡の人物ＩＤを、第二の移動軌跡の人物ＩＤとする。前処理部１５２は、人物ＩＤと対応付けて、第二の移動軌跡を、移動軌跡テーブル１４０ｄに格納する。

【0072】

前処理部１５２は、他の人物ＩＤの第二の移動軌跡も同様にして予測し、予測した第二の移動軌跡を、移動軌跡テーブル１４０ｄに格納する。

【0073】

次に、前処理部１５２が実行する算出処理について説明する。算出処理では、移動軌跡テーブル１４０ｄに格納された第二の移動軌跡と、第三の移動軌跡とを基にして、マップ上の各領域と、所定期間毎の誤差との関係を算出し、誤差データベース１４０ｅの誤差情報を更新する。以下において、算出処理の一例について説明する。

【0074】

前処理部１５２は、誤差データベース１４０ｅの各領域ＩＤの誤差情報を初期値に設定しておく。たとえば、初期値を０（積算値＝０）とする。

【0075】

前処理部１５２は、同一の人物ＩＤの第二の移動軌跡と、第三の移動軌跡とを、移動軌跡テーブル１４０ｄから取得する。前処理部１５２は、第二の移動軌跡のｎ番目の位置と、第三の移動軌跡のｎ番目の位置との誤差ｅ（ｘ_ｔｎ，ｙ_ｔｎ）を算出する。前処理部１５２は、第二の移動軌跡のｎ番目の位置およびｎ番目の位置に対応する時刻と、誤差データベース１４５の位置情報および第１期間～第Ｎ期間とを比較し、誤差ｅ（ｘ_ｔｎ，ｙ_ｔｎ）を積算する対象を特定し、積算する。

【0076】

たとえば、第二の移動軌跡のｎ番目の位置が、領域ＩＤ「Ａ１」の位置情報に含まれ、第二の移動軌跡のｎ番目の位置の時刻が、第１期間に含まれるものとする。この場合には、前処理部１５２は、領域ＩＤ「Ａ１」の「第１期間」に設定されたこれまでの積算値に、誤差ｅ（ｘ_ｔｎ，ｙ_ｔｎ）を積算する。

【0077】

前処理部１５２は、ｎ（ｎ＝１～Ｍ）番目の位置について、上記処理を繰り返し実行する。また、前処理部１５２は、移動軌跡テーブル１４０ｄに登録された各人物ＩＤの第二の移動軌跡と、第三の移動軌跡とを基にして、上記処理を繰り返し実行する。

【0078】

上記のように、前処理部１５２が、特定処理、予測処理、算出処理を実行することで、誤差データベース１４０ｅが生成される。ここで、誤差データベース１４０ｅは、マップ上の各領域と、各領域の各期間の積算値とを対応付けた情報であり、ヒートマップに対応する。

【0079】

生成部１５３は、ヒートマップに相当する誤差データベース１４０ｅと、電子機器位置情報１４０ｇに設定された電子機器の位置情報を基にして、店内の環境設定に関する情報を生成する。たとえば、生成部１５３は、抽出処理、生成処理を実行する。

【0080】

生成部１５３が実行する抽出処理について説明する。生成部１５３が抽出処理を実行することで、注目領域となる領域の領域ＩＤと、非注目領域となる領域の領域ＩＤとが抽出される。

【0081】

生成部１５３は、誤差データベース１４５の各領域ＩＤのレコードに含まれる第１期間～第Ｎ期間の積算値を走査し、いずれかの期間の積算値が閾値Ｔｈ１以上となる領域ＩＤを特定する。生成部１５３は、特定した領域ＩＤの領域を、注目領域として抽出する。なお、生成部１５３は、いずれかの期間の積算値の最大値または平均値が、閾値Ｔｈ１以上となる領域ＩＤの領域を、注目領域として抽出してもよい。以下の説明では適宜、注目領域となる領域の領域ＩＤを、「注目領域ＩＤ」と表記する。

【0082】

また、生成部１５３は、誤差データベース１４５の各領域ＩＤのレコードに含まれる第１期間～第Ｎ期間の積算値を走査し、いずれかの期間の積算値が閾値Ｔｈ２未満となる領域ＩＤを特定する。生成部１５３は、特定した領域ＩＤの領域を、非注目領域として抽出する。なお、生成部１５３は、いずれかの期間の積算値の最大値または平均値が、閾値Ｔｈ２未満となる領域ＩＤの領域を、非注目領域として抽出してもよい。以下の説明では適宜、非注目領域となる領域の領域ＩＤを、「非注目領域ＩＤ」と表記する。

【0083】

次に、生成部１５３が実行する生成処理について説明する。

【0084】

生成部１５３は、注目領域ＩＤと、電子機器位置情報１４０ｇとを基にして、注目領域に配置されている電子機器を特定する。生成部１５３は、特定した電子機器に対応する環境設定に関する情報を生成する。ここでは一例として、注目領域に配置された電子機器を、図３に示した表示装置１５ａ、照明機器１６ｂ、スピーカ１７ｃとして、生成部１５３の処理について説明する。

【0085】

生成部１５３が、表示装置１５ａの環境設定に関する情報を生成する処理について説明する。生成部１５３は、生成ポリシーテーブル１４０ｈに設定された、電子機器種別「表示装置」の第一ポリシー「初期設定の商品の情報を表示」に基づいて、表示装置１５ａの環境設定に関する情報を生成する。

【0086】

たとえば、生成部１５３は、表示装置１５ａが配置された領域の注目領域ＩＤと、商品情報テーブル１４０ｉとを基にして、表示装置１５ａの近くに位置する商品棚ｃａｂ１に配置された商品の情報を生成する。

【0087】

なお、生成部１５３は、第二の機械学習モデル１４０ｆを用いて、商品の情報を生成してもよい。生成部１５３は、表示装置１５ａの配置された注目領域ＩＤの領域を撮影範囲に含むカメラ１０の画像フレームから、商品棚ｃａｂ１に配置された商品の画像を抽出する。生成部１５３は、抽出した商品の画像を、第二の機械学習モデル１４０ｆに入力することで、商品の情報を生成する。

【0088】

生成部１５３は、表示装置１５ａの識別情報と、生成した商品の情報とを対応付けた環境設定情報（１－１）を、設定部１５４に出力する。

【0089】

生成部１５３が、照明機器１６ｂの環境設定に関する情報を生成する処理について説明する。生成部１５３は、生成ポリシーテーブル１４０ｈに設定された、電子機器種別「照明機器」の第一ポリシー「初期設定の照度に保つ」に基づいて、照明機器１６ｂの環境設定に関する情報を生成する。

【0090】

たとえば、生成部１５３は、照明設定情報１４０ｉを基にして、照明機器１６ｂに関する、初期設定の照度パラメータを生成する。

【0091】

生成部１５３は、照明機器１６ｂの識別情報と、生成した照度パラメータとを対応付けた環境設定情報（１－２）を、設定部１５４に出力する。

【0092】

生成部１５３が、スピーカ１７ｃの環境設定に関する情報を生成する処理について説明する。生成部１５３は、生成ポリシーテーブル１４０ｈに設定された、電子機器種別「スピーカ」の第一ポリシー「初期設定の商品の情報を再生」に基づいて、スピーカ１７ｃの環境設定に関する情報を生成する。

【0093】

たとえば、生成部１５３は、スピーカ１７ｃが配置された注目領域ＩＤと、商品情報テーブル１４０ｉとを基にして、スピーカ１７ｃの近くに位置する商品棚ｃａｂ３に配置された商品の情報（音声情報）を生成する。

【0094】

生成部１５３は、スピーカ１７ｃの識別情報と、生成した商品の情報（音声情報）とを対応付けた環境設定情報（１－３）を、設定部１５４に出力する。

【0095】

続いて、生成部１５３は、非注目領域ＩＤと、電子機器位置情報１４０ｇとを基にして、非注目領域に配置されている電子機器を特定する。生成部１５３は、特定した電子機器に対応する環境設定に関する情報を生成する。ここでは一例として、非注目領域に配置された電子機器を、図３に示した表示装置１５ｃ、照明機器１６ａ、スピーカ１７ａとして、生成部１５３の処理について説明する。

【0096】

生成部１５３が、表示装置１５ｃの環境設定に関する情報を生成する処理について説明する。生成部１５３は、生成ポリシーテーブル１４０ｈに設定された、電子機器種別「表示装置」の第二ポリシー「初期設定の商品の情報を強調表示」に基づいて、表示装置１５ｃの環境設定に関する情報を生成する。

【0097】

たとえば、生成部１５３は、表示装置１５ｃが配置された領域の非注目領域ＩＤと、商品情報テーブル１４０ｉとを基にして、表示装置１５ｃの近くに位置する商品棚ｃａｂ２に配置された商品の情報を生成する。

【0098】

なお、生成部１５３は、第二の機械学習モデル１４０ｆを用いて、商品の情報を生成してもよい。生成部１５３は、表示装置１５ｃの配置された非注目領域ＩＤの領域を撮影範囲に含むカメラ１０の画像フレームから、商品棚ｃａｂ２に配置された商品の画像を抽出する。生成部１５３は、抽出した商品の画像を、第二の機械学習モデル１４０ｆに入力することで、商品の情報を生成する。

【0099】

生成部１５３は、生成した商品の情報に対し、商品の情報の画面の枠を点滅させるなどの強調表示を実行させるための情報を設定する。

【0100】

生成部１５３は、表示装置１５ｃの識別情報と、生成した商品の情報（強調表示）とを対応付けた環境設定情報（２－１）を、設定部１５４に出力する。

【0101】

生成部１５３が、照明機器１６ａの環境設定に関する情報を生成する処理について説明する。生成部１５３は、生成ポリシーテーブル１４０ｈに設定された、電子機器種別「照明機器」の第二ポリシー「照度を上げる」に基づいて、照明機器１６ａの環境設定に関する情報を生成する。

【0102】

たとえば、生成部１５３は、照明設定情報１４０ｉを基にして、照明機器１６ａに関する、初期設定の照度パラメータを取得し、初期設定から所定値分だけ照度値を上げた、照度パラメータを生成する。

【0103】

生成部１５３は、照明機器１６ａの識別情報と、生成した照度パラメータとを対応付けた環境設定情報（２－２）を、設定部１５４に出力する。

【0104】

生成部１５３が、スピーカ１７ａの環境設定に関する情報を生成する処理について説明する。生成部１５３は、生成ポリシーテーブル１４０ｈに設定された、電子機器種別「スピーカ」の第二ポリシー「流行の曲を流す」に基づいて、スピーカ１７ａの環境設定に関する情報を生成する。

【0105】

たとえば、生成部１５３は、音楽ＤＢ１４０ｋから、流行の音楽の情報を取得する。生成部１５３は、スピーカ１７ａの識別情報と、流行の音楽の情報とを対応付けた環境設定情報（２－３）を、設定部１５４に出力する。

【0106】

設定部１５４は、生成部１５３によって生成された環境設定情報を取得し、環境設定情報に設定された電子機器に対して、環境設定情報を出力することで、電子機器に環境設定に関する処理を実行させる。

【0107】

たとえば、設定部１５４は、生成部１５３から環境設定情報（１－１）を受け付けると、環境設定情報（１－１）を表示装置１５ａに出力し、設定することで、環境設定に関する処理を実行させる。表示装置１５ａは、環境設定情報（１－１）の商品の情報を表示する。

【0108】

設定部１５４は、生成部１５３から環境設定情報（１－２）を受け付けると、環境設定情報（１－２）を照明機器１６ｂに出力し、設定することで、環境設定に関する処理を実行させる。照明機器１６ｂは、環境設定情報（１－２）に基づいて、初期設定の照度に保つ。

【0109】

設定部１５４は、生成部１５３から環境設定情報（１－３）を受け付けると、環境設定情報（１－３）をスピーカ１７ｃに出力し、設定することで、環境設定に関する処理を実行させる。スピーカ１７ｃは、環境設定情報（１－３）に基づいて、商品の情報（音声情報）を再生する。

【0110】

設定部１５４は、生成部１５３から環境設定情報（２－１）を受け付けると、環境設定情報（２－１）を表示装置１５ｃに出力し、設定することで、環境設定に関する処理を実行させる。表示装置１５ｃは、環境設定情報（２－１）に基づいて、商品の情報を表示するとともに、商品の情報を強調表示する。たとえば、表示装置１５ｃは、商品の情報の画面枠を点滅させるなどの強調表示を行う。

【0111】

設定部１５４は、生成部１５３から環境設定情報（２－２）を受け付けると、環境設定情報（２－２）を照明機器１６ａに出力し、設定することで、環境設定に関する処理を実行させる。照明機器１６ａは、環境設定情報（２－２）に基づいて、初期設定の照度値よりも、所定値分だけ照度値を上げる。

【0112】

設定部１５４は、生成部１５３から環境設定情報（２－３）を受け付けると、環境設定情報（２－３）をスピーカ１７ａに出力し、設定することで、環境設定に関する処理を実行させる。スピーカ１７ａは、環境設定情報（２－３）に基づいて、流行の音楽を再生する。

【0113】

次に、本実施例１に係る情報処理装置１００の処理手順について説明する。図１３は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図１３に示すように、情報処理装置１００の取得部１５１は、カメラ１０から映像データを取得し、映像バッファ１４０ｂに格納する（ステップＳ１０１）。

【0114】

情報処理装置１００の前処理部１５２は、映像データを基にして、人物の検出および追跡を実行する（ステップＳ１０２）。前処理部１５２は、第一の期間の人物の検出結果および追跡結果を基にして、第一の移動軌跡を特定する（ステップＳ１０３）。

【0115】

前処理部１５２は、第一の移動軌跡を、第一の機械学習モデル１４０ｃに入力することで、第二の移動軌跡を予測する（ステップＳ１０４）。前処理部１５２は、第二の期間の人物の検出結果および追跡結果を基にして、第三の移動軌跡を特定する（ステップＳ１０５）。

【0116】

前処理部１５２は、第二の移動軌跡と、第三の移動軌跡とを基にして、誤差を算出し、誤差データベース１４０ｅを更新する（ステップＳ１０６）。

【0117】

情報処理装置１００の生成部１５３は、誤差データベース１４０ｅを基にして、マップ上の注目領域と、非注目領域とを抽出する（ステップＳ１０７）。生成部１５３は、電子機器位置情報１４０ｇを基にして、注目領域に位置する電子機器と、非注目領域に位置する電子機器とを特定する（ステップＳ１０８）。

【0118】

生成部１５３は、生成ポリシーテーブル１４０ｈを基にして、注目領域に位置する電子機器の環境設定情報および非注目領域に位置する電子機器の環境設定情報を生成する（ステップＳ１０９）。

【0119】

情報処理装置１００の設定部１５４は、該当する電子機器に環境設定情報を設定し、環境設定に関する処理を実行させる（ステップＳ１１０）。

【0120】

次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、映像データを基にして、顧客の過去の移動軌跡から予測した人物の移動軌跡と、映像データを解析して特定した実際の移動軌跡とを比較し、各移動軌跡の誤差を領域毎に示すヒートマップ（誤差データベース１４０ｅ）を生成する。情報処理装置１００は、生成したヒートマップ、および、店内に配置された電子機器の位置情報を基にして、環境設定に関する情報を生成し、生成した環境設定に関する処理を電子機器に実行させる。これによって、電子機器の配置された場所の周辺環境を考慮して、電子機器を操作することができる。

【0121】

情報処理装置１００は、環境設定に関する情報として、表示装置１５に表示させるコンテンツの種類、照明機器１６の照度、スピーカ１７が流す音楽の種類を設定し、該当する電子機器に出力する。これによって、表示装置、照明機器、スピーカを利用して、顧客に対して商品の購買意欲を向上させることができる。

【0122】

情報処理装置１００は、映像データを基にして、第一の移動軌跡、第三の移動軌跡を特定し、第一の機械学習モデル１４０ｃに第一の移動軌跡を入力して、第二の移動軌跡を予測する。情報処理装置１００は、第二の移動軌跡と、第三の移動軌跡との誤差を基にして、ヒートマップ（誤差データベース１４０ｅ）を生成する。これによって、注目領域と、非注目領域とを特定するためのヒートマップを生成することができる。

【0123】

ところで、本実施例１では、電子機器として、表示装置１５、照明機器１６、スピーカ１７を用いて説明したが、それ以外の電子機器を用いて、処理を行ってもよい。たとえば、情報処理装置１００は、電子機器として、香水を店内に散布する電子機器を用いてもよい。以下の説明では、香水を店内に散布する電子機器を、「香水散布機」と表記する。香水散布機は、ネットワーク等を介して、情報処理装置１００に接続される。

【0124】

情報処理装置１００は、香水散布機が、注目領域に位置している場合には、香水散布機に、第一種別の香水を散布させるための環境設定情報を生成し、香水散布機に出力して設定する。一方、情報処理装置１００は、香水散布機が、非注目領域に位置している場合には、第二種別の香水を散布させるための環境設定情報を生成し、香水散布機に出力して設定する。

【0125】

香水散布機は、第一種別の香水のタンクと、第二種別の香水のタンクとが予め設定されており、情報処理装置１００によって設定された環境設定情報を基にして、香水を散布する。なお、第一種別の香水、第二種別の香水は、管理者によって予め選定される。

【実施例0126】

次に、本実施例２について説明する。本実施例２に係るシステムは、図１で説明したシステムと同様である。本実施例２に係る情報処理装置を「情報処理装置２００」と表記する。情報処理装置２００は、上述した情報処理装置１００の処理に加えて、以下の処理を実行する。

【0127】

情報処理装置２００は、ヒートマップを基にしてマップ上の注目領域を特定し、かかる注目領域を撮影範囲に含むカメラ１０の映像データから、注目領域における人物の領域を抽出する。ここで、注目領域は、上記の注目領域ＩＤに対応する領域である。情報処理装置２００は、カメラ１０の撮影範囲（マップ上の領域）の情報を保持しているものとする。

【0128】

情報処理装置２００は、映像データに含まれる人物の領域の画像を解析することで人物の骨格情報を生成し、骨格情報を基にして、人物の行動を特定する。情報処理装置２００は、人物の行動が所定の行動である場合に、所定の行動と対応付けられた環境設定に関する情報を生成し、生成した環境設定に関する情報を、注目領域に位置する電子機器に出力して設定することで、環境設定に関する処理を実行させる。

【0129】

図１４は、本実施例２に係る情報処理装置の処理の一例を説明するための図である。図１４に示す例において、カメラ１０ａが撮影した映像データには、注目領域が含まれているものとする。情報処理装置２００は、映像データ４０を解析することで、顧客を含む領域４０ａを抽出する。なお、かかる注目領域には、表示装置１５ａが設定されているものとする。

【0130】

情報処理装置２００は、顧客を含む領域４０ａの画像を、訓練済みの第三の機械学習モデルに入力することで、顧客の骨格情報を生成する。第三の機械学習モデルは、人物の画像を入力とし、骨格情報を出力とする機械学習モデルである。たとえば、第三の機械学習モデルは、ＮＮ等である。

【0131】

骨格情報は、人体の骨格モデルで定義された複数の関節に対して、２次元、または、３次元の座標が設定されたデータである。ここでは、骨格データの各関節の座標を２次元の座標とする。図１５は、人体の骨格モデルの一例を示す図である。たとえば、図１５に示すように、人体の骨格モデルは、２１個の関節ａｒ０～ａｒ２０によって定義される。

【0132】

図１５に示す各関節ａｒ０～ａｒ２０と、関節名との関係は、図１６に示すものとなる。図１６は、関節名の一例を示す図である。たとえば、関節ａｒ０の関節名は「SPINE_BASE」である。関節ａｒ１～ａ２０の関節名は、図１６に示すとおりであり、説明を省略する。

【0133】

情報処理装置２００は、時系列の画像フレームから抽出した顧客の領域の画像を、第三の機械学習モデルに順に入力することで、時系列の骨格情報を生成する。情報処理装置２００は、生成した時系列の骨格情報と、ルールテーブルとを基にして、顧客の行動を特定する。たとえば、ルールテーブルは、骨格情報の所定の関節の位置の推移と、人物の行動の種別との関係を定義したテーブルである。所定の関節は、事前に設定される。

【0134】

図１７は、ルールテーブルのデータ構造の一例を示す図である。図１７に示すように、このルールテーブル２４０ａは、行動種別と、骨格情報の関節の位置の推移とを対応付ける。図１７に示す例では、行動種別として、「行動Ｘ１」、「行動Ｘ２」、「行動Ｘ３」を示すが、他の行動種別が登録されていてもよい。行動種別は、見ている、触っている、把持している、座っている等である。

【0135】

情報処理装置２００は、ルールテーブル２４０ａを基にして特定した行動種別が、所定の行動種別である場合に、注目領域に位置する電子機器に、所定の行動と対応付けられた環境設定に関する処理を実行させる。所定の行動種別は、事前に設定される。

【0136】

たとえば、情報処理装置２００は、特定した行動種別が「行動Ｘ１」である場合に、行動種別「行動Ｘ１」の情報を、第四の機械学習モデルに入力することで、環境設定に関する情報を生成する。第四の機械学習モデルは、人物の行動種別を入力とし、環境設定に関する情報を出力とする機械学習モデルである。第四の機械学習モデルは、ＮＮ等である。

【0137】

なお、情報処理装置２００は、第四の機械学習モデルを訓練する場合に利用した複数の訓練データを有する訓練データテーブル２４０ｂを、記憶部に保持しているものとする。図１８は、訓練データテーブルのデータ構造の一例を示す図である。図１８に示すように、この訓練データテーブル２４０ｂは、入力データと、正解ラベルとを対応付ける。たとえば、入力データは、行動種別の情報である。正解ラベルは、環境設定に関する情報である。

【0138】

情報処理装置２００は、生成した環境設定に関する情報を、表示装置１５ａに設定して、環境設定に関する処理を実行させる。たとえば、情報処理装置２００は、環境設定に関する情報として、商品の広告情報を表示装置１５ａに設定し、商品の広告情報を、表示装置１５ａに表示させる。

【0139】

続いて、情報処理装置２００は、表示装置１５ａに環境設定に関する処理を実行させた後に、図１４で説明した上述の処理と同様の処理を実行することで、カメラ１０ａが撮影した映像データ映像から、人物の行動種別を特定する。ここで、表示装置１５ａに環境設定に関する処理を実行させる前の人物の行動種別を「第一の行動種別」とする。表示装置１５ａに環境設定に関する処理を実行させた後の人物の行動種別を、「第二の行動種別」とする。

【0140】

情報処理装置２００は、第二の行動種別が、予め設定された行動種別に含まれない場合に、第一の行動種別と、かかる第一の行動種別を第四の機械学習モデルに入力した際に出力された環境設定に関する情報とを特定する。情報処理装置２００は、特定した第一の行動種別と、環境設定に関する情報との組に対応する訓練データを、訓練データテーブル２４０ｂから除外する処理を実行する。

【0141】

情報処理装置２００は、上記の処理を繰り返し実行することで、訓練データテーブル２４０ｂを更新する。情報処理装置２００は、更新した訓練データテーブル２４０ｂを利用して、第四の機械学習モデルを再訓練する。

【0142】

上記のように、情報処理装置２００は、映像データに含まれる人物の領域の画像を解析することで人物の骨格情報を生成し、骨格情報を基にして、人物の行動を特定する。情報処理装置２００は、人物の行動が所定の行動である場合に、所定の行動と対応付けられた環境設定に関する情報を生成し、生成した環境設定に関する情報を、注目領域に位置する電子機器に出力して設定することで、環境設定に関する処理を実行させる。これによって、所定の行動に適した環境設定の情報を生成することができる。

【0143】

また、情報処理装置２００は、第二の行動種別が、予め設定された行動種別に含まれない場合に、第一の行動種別と、かかる第一の行動種別を第四の機械学習モデルに入力した際に出力された環境設定に関する情報とを特定する。情報処理装置２００は、特定した第一の行動種別と、環境設定に関する情報との組に対応する訓練データを、訓練データテーブル２４０ｂから除外する。これによって、顧客の購買行動を刺激することができる行動種別と、環境設定に関する情報との関係を、訓練データテーブル２４０ｂに残すことができ、第四の機械学習モデルをよく適切に再訓練することができる。

【0144】

なお、情報処理装置２００は、第一の行動種別から、第二の行動種別への遷移が、予め設定された遷移とならない場合に、第一の行動種別と、かかる第一の行動種別を第四の機械学習モデルに入力した際に出力された環境設定に関する情報とのペアに対応する訓練データを、訓練データテーブル２４０ｂから除外してもよい。第一の行動種別から、第二の行動種別への遷移は、より購買行動に近づく遷移である。たとえば、予め設定される第一の行動種別から第二の行動種別への遷移は行動種別「見ている」から行動種別「把持している」への遷移である。

【0145】

次に、上述した情報処理装置２００の構成例について説明する。図１９は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図１９に示すように、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

【0146】

通信部２１０、入力部２２０、表示部２３０に関する説明は、実施例１で説明した通信部１１０、入力部１２０、表示部１３０に関する説明と同様である。

【0147】

記憶部２４０は、カメラパラメータテーブル１４０ａ、映像バッファ１４０ｂ、第一の機械学習モデル１４０ｃ、移動軌跡テーブル１４０ｄ、誤差データベース１４０ｅ、第二の機械学習モデル１４０ｆを有する。また、記憶部２４０は、電子機器位置情報１４０ｇ、生成ポリシーテーブル１４０ｈ、商品情報テーブル１４０ｉ、照明設定情報１４０ｊ、音楽ＤＢ１４０ｋを有する。また、記憶部２４０は、ルールテーブル２４０ａ、訓練データテーブル２４０ｂ、第三の機械学習モデル２４０ｃ、第四の機械学習モデル２４０ｄを有する。記憶部２４０は、メモリなどの記憶装置である。

【0148】

カメラパラメータテーブル１４０ａ、映像バッファ１４０ｂ、第一の機械学習モデル１４０ｃ、移動軌跡テーブル１４０ｄ、誤差データベース１４０ｅ、第二の機械学習モデル１４０ｆに関する説明は、実施例１の説明と同様である。電子機器位置情報１４０ｇ、生成ポリシーテーブル１４０ｈ、商品情報テーブル１４０ｉ、照明設定情報１４０ｊ、音楽ＤＢ１４０ｋに関する説明は、実施例１の説明と同様である。

【0149】

ルールテーブル２４０ａは、行動種別と、骨格情報の関節の位置の推移とを対応付ける。ルールテーブル２４０ａのデータ構造は、図１７で説明したデータ構造に対応する。

【0150】

訓練データテーブル２４０ｂは、第四の機械学習モデル２４０ｄを訓練する場合に利用する複数の訓練データを保持する。訓練データテーブル２４０ｂのデータ構造は、図１８で説明したデータ構造に対応する。

【0151】

第三の機械学習モデル２４０ｃは、人物の画像を入力とし、骨格情報を出力とする機械学習モデルである。

【0152】

第四の機械学習モデル２４０ｄは、人物の行動種別を入力とし、環境設定に関する情報を出力とする機械学習モデルである。

【0153】

続いて、制御部２５０について説明する。制御部２５０は、取得部２５１、前処理部２５２、生成部２５３、設定部２５４、学習処理部２５５を有する。制御部２５０は、ＣＰＵ、ＧＰＵ等である。

【0154】

取得部２５１は、カメラ１０から映像データを取得する。上記のように、映像データには、映像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部２５１は、カメラ識別情報に対応付けて、映像データを映像バッファ１４０ｂに格納する。

【0155】

前処理部２５２は、特定処理、予測処理、算出処理を実行することで、誤差データベース２４０ｅを生成する。前処理部２５２が実行する特定処理、予測処理、算出処理は、実施例１で説明した前処理部１５２が実行する処理と同様である。

【0156】

生成部２５３は、ヒートマップに相当する誤差データベース１４０ｅと、電子機器位置情報１４０ｇに設定された電子機器の位置情報を基にして、店内の環境設定に関する情報を生成する。たとえば、生成部２５３は、抽出処理、生成処理を実行する。

【0157】

生成部２５３が実行する抽出処理は、実施例１で説明した生成部１５３が実行する抽出処理と同様である。たとえば、生成部２５３が実行する抽出処理によって、注目領域ＩＤと、非注目ＩＤとが抽出される。

【0158】

次に、生成部２５３が実行する生成処理について説明する。

【0159】

生成部２５３は、注目領域ＩＤと、電子機器位置情報１４０ｇとを基にして、注目領域に配置されている電子機器を特定する。また、生成部２５３は、注目領域ＩＤと、カメラパラメータテーブル１４０ａとを基にして、注目領域を撮影範囲に含むカメラ１０を特定する。生成部２５３は、特定した電子機器に対応する環境設定に関する情報を生成する。

【0160】

生成部２５３は、図１４で説明した処理を実行することで、電子機器に対応する環境設定に関する情報を生成する。たとえば、生成部２５３は、注目領域を撮影範囲に含むカメラの映像データ（映像データ４０）を、映像バッファ１４０ｂから取得する。生成部２５３は、取得した映像データ４０を解析することで、各画像フレームから、顧客を含む領域４０ａを抽出する。生成部２５３は、ＨＯＩＤ（Human-Object Interaction Detection）等の技術を利用して、顧客を含む領域を抽出してもよい。

【0161】

生成部２５３は、時系列の画像フレームの顧客を含む領域４０ａの画像を、訓練済みの第三の機械学習モデル２４０ｃに入力することで、時系列の骨格情報を生成する。生成部２５３は、時系列の骨格情報の所定の関節の位置の推移と、ルールテーブル２４０ａとを基にして、顧客の第一の行動種別を特定する。

【0162】

生成部２５３は、特定した第一の行動種別が、所定の行動種別である場合には、生成部２５３は、第一の行動種別の情報を、第四の機械学習モデル２４０ｄに入力することで、環境設定に関する情報を生成する。生成部２５３は、電子機器の種別と、環境設定に関する情報とを対応付けた環境設定情報を、設定部２５４に出力する。

【0163】

生成部２５３は、電子機器によって環境設定に関する処理を実行された後に、図１４で説明したように、カメラ１０ａが撮影した映像データ映像から、顧客の第二の行動種別を特定する。生成部２５３は、第二の行動種別が、予め設定された行動種別に含まれない場合に、第一の行動種別と、かかる第一の行動種別を第四の機械学習モデル２４０ｄに入力した際に出力された環境設定に関する情報とを特定する。生成部２５３は、特定した第一の行動種別と、環境設定に関する情報との組に対応する訓練データを、訓練データテーブル２４０ｂから除外する。

【0164】

生成部２５３は、上記の処理を繰り返し実行することで、訓練データテーブル２４０ｂを更新する。

【0165】

ところで、生成部２５３は、特定した第一の行動種別が、所定の行動種別でない場合には、実施例１で説明した生成部１５３と同様の処理を実行することで、環境設定情報を生成し、環境設定情報を、設定部２５４に出力してもよい。

【0166】

設定部２５４は、生成部２５３によって生成された環境設定情報を取得し、環境設定情報に設定された電子機器に対して、環境設定情報を出力することで、電子機器に環境設定に関する処理を実行させる。設定部２５４に関するその他の処理は、実施例１で説明した設定部２５４に関する処理と同様である。

【0167】

学習処理部２５５は、生成部２５３によって更新された訓練データテーブル２４０ｂに含まれる複数の訓練データを基にして、第四の機械学習モデル２４０ｄを再訓練する。たとえば、学習処理部２５５は、誤差逆伝播法を利用して、第四の機械学習モデル２４０ｄのパラメータを更新する。

【0168】

次に、本実施例２に係る情報処理装置２００の処理手順について説明する。図２０および図２１は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２０について説明する。図２０に示すように、情報処理装置２００の取得部２５１は、カメラ１０から映像データを取得し、映像バッファ１４０ｂに格納する（ステップＳ２０１）。

【0169】

情報処理装置２００の前処理部２５２は、映像データを基にして、人物の検出および追跡を実行する（ステップＳ２０２）。前処理部２５２は、第一の期間の人物の検出結果および追跡結果を基にして、第一の移動軌跡を特定する（ステップＳ２０３）。

【0170】

前処理部２５２は、第一の移動軌跡を、第一の機械学習モデル１４０ｃに入力することで、第二の移動軌跡を予測する（ステップＳ２０４）。前処理部２５２は、第二の期間の人物の検出結果および追跡結果を基にして、第三の移動軌跡を特定する（ステップＳ２０５）。

【0171】

前処理部２５２は、第二の移動軌跡と、第三の移動軌跡とを基にして、誤差を算出し、誤差データベース１４０ｅを更新する（ステップＳ２０６）。

【0172】

情報処理装置２００の生成部２５３は、誤差データベース１４０ｅを基にして、マップ上の注目領域と、非注目領域とを抽出し（ステップＳ２０７）、図２１のステップＳ２０８に移行する。

【0173】

図２１の説明に移行する。生成部２５３は、注目領域を撮影範囲に含むカメラ１０の映像データを、映像バッファ１４０ｂから取得する（ステップＳ２０８）。生成部２５３は、映像データを解析し、顧客を含む領域を抽出する（ステップＳ２０９）。

【0174】

生成部２５３は、顧客を含む領域の画像を第三の機械学習モデル２４０ｃに順に入力し、時系列の骨格情報を生成する（ステップＳ２１０）。生成部２５３は、骨格情報の所定の関節の位置の推移と、ルールテーブル２４０ａとを基にして、第一の行動種別を特定する（ステップＳ２１１）。

【0175】

生成部２５３は、第一の行動種別が所定の行動種別でない場合には（ステップＳ２１２，Ｎｏ）、ステップＳ２１３に移行する。生成部２５３は、電子機器位置情報１４０ｇを基にして、注目領域に位置する電子機器と、非注目領域に位置する電子機器とを特定する（ステップＳ２１３）。

【0176】

生成部２５３は、生成ポリシーテーブル１４０ｈを基にして、注目領域に位置する電子機器の環境設定情報および非注目領域に位置する電子機器の環境設定情報を生成する（ステップＳ２１４）。情報処理装置２００の設定部２５４は、該当する電子機器に環境設定情報を設定し、環境設定に関する処理を実行させ（ステップＳ２１５）、ステップＳ２２０に移行する。

【0177】

一方、生成部２５３は、第一の行動種別が所定の行動種別である場合には（ステップＳ２１２，Ｙｅｓ）、ステップＳ２１６に移行する。生成部２５３は、第一の行動種別を、第四の機械学習モデル２４０ｄに入力し、環境設定に関する情報を生成する（ステップＳ２１６）。

【0178】

生成部２５３は、該当する電子機器に環境設定情報を設定し、環境設定に関する処理を実行させる（ステップＳ２１７）。生成部２５３は、電子機器に環境設定情報を設定した後の映像データを解析し、第二の行動種別を特定する（ステップＳ２１８）。

【0179】

生成部２５３は、第一の行動種別から第二の行動種別が、所定の行動種別でない場合に、第一の行動種別と環境設定に関する情報との組に対応する訓練データを訓練データテーブル２４０ｂから削除する（ステップＳ２１９）。

【0180】

情報処理装置２００は、処理を継続する場合には（ステップＳ２２０，Ｙｅｓ）、ステップＳ２０８に移行する。情報処理装置２００は、処理を継続しない場合には（ステップＳ２２０，Ｎｏ）、ステップＳ２２１に移行する。情報処理装置２００の学習処理部２５５は、訓練データテーブル２４０ｂを基にして、第四の機械学習モデルを再訓練する（ステップＳ２２１）。

【0181】

次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、映像データに含まれる人物の領域の画像を解析することで人物の骨格情報を生成し、骨格情報を基にして、人物の行動を特定する。情報処理装置２００は、人物の行動が所定の行動である場合に、所定の行動と対応付けられた環境設定に関する情報を生成し、生成した環境設定に関する情報を、注目領域に位置する電子機器に出力して設定することで、環境設定に関する処理を実行させる。これによって、所定の行動に適した環境設定の情報を生成することができる。

【0182】

また、情報処理装置２００は、第二の行動種別が、予め設定された行動種別に含まれない場合に、第一の行動種別と、かかる第一の行動種別を第四の機械学習モデルに入力した際に出力された環境設定に関する情報とを特定する。情報処理装置２００は、特定した第一の行動種別と、環境設定に関する情報との組に対応する訓練データを、訓練データテーブル２４０ｂから除外する。これによって、顧客の購買行動を刺激することができる行動種別と、環境設定に関する情報との関係を、訓練データテーブル２４０ｂに残すことができ、第四の機械学習モデルをよく適切に再訓練することができる。

【0183】

次に、上述した情報処理装置１００，２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0184】

図２２に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0185】

ハードディスク装置３０７は、取得プログラム３０７ａ、前処理プログラム３０７ｂ、生成プログラム３０７ｃ、設定プログラム３０７ｄ、学習処理プログラム３０７ｅを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｄを読み出してＲＡＭ３０６に展開する。

【0186】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。前処理プログラム３０７ｂは、前処理プロセス３０６ｂとして機能する。生成プログラム３０７ｃは、生成プロセス３０６ｃとして機能する。設定プログラム３０７ｄは、設定プロセス３０６ｄとして機能する。学習処理プログラム３０７ｅは、学習処理プロセス３０６ｅとして機能する。

【0187】

取得プロセス２０６ａの処理は、取得部１５１，２５１の処理に対応する。前処理プロセス３０６ｂの処理は、前処理部１５２，２５２の処理に対応する。生成プロセス３０６ｃの処理は、生成部１５３，２５３の処理に対応する。設定プロセス３０６ｄの処理は、設定部１５４，２５４の処理に対応する。学習処理プロセス３０６ｅの処理は、学習処理部２５５の処理に対応する。

【0188】

なお、各プログラム３０７ａ～３０７ｅについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｅを読み出して実行するようにしてもよい。

【0189】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0190】

（付記１）施設内で撮影した映像を取得し、
取得をした前記映像を分析することで、前記施設内での人物の軌跡を追跡し、
追跡をした前記人物の軌跡に基づいて、前記施設内での前記人物の軌跡に関するヒートマップを生成し、
生成された前記ヒートマップおよび前記施設内に配置された電子機器の位置情報に基づいて、前記施設内の環境設定に関する情報を生成し、
前記環境設定に関する情報に基づいて、前記電子機器に、前記環境設定に関する処理を実行させる
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0191】

（付記２）前記環境設定に関する情報は、前記電子機器に表示させるコンテンツの種類、前記施設内に配置された照明機器の照度、前記電子機器が前記施設内に流す音楽の種類、前記電子機器が前記施設内に散布する香水の種類、の何れかであることを特徴とする付記１に記載の情報処理プログラム。

【0192】

（付記３）前記分析する処理は、取得をした前記映像に含まれる、第一の期間での前記人物の第一の移動軌跡を特定し、特定した前記第一の移動軌跡に基づいて、前記第一の期間後の第二の期間での前記人物の第二の移動軌跡を予測し、取得した前記映像を分析することで、前記第二の期間の人物の実際の移動軌跡を示す第三の移動軌跡を特定し、
前記ヒートマップを生成する処理は、前記第二の移動軌跡と前記第三の移動軌跡との誤差を領域毎に示す前記ヒートマップを生成することを特徴とする付記１に記載の情報処理プログラム。

【0193】

（付記４）前記ヒートマップを基にして、誤差が所定の条件を満たす第一の注目領域と、前記第一の注目領域における人物を抽出し、
抽出した前記第一の注目領域における人物の骨格情報に基づいて、前記人物の第一の行動を特定し、
特定した前記人物の第一の行動が所定の行動である場合に、前記第一の注目領域に位置する前記電子機器に、前記所定の行動と対応付けられた環境設定に関する処理を実行させる処理を更にコンピュータに実行させることを特徴とする付記３に記載の情報処理プログラム。

【0194】

（付記５）人物の行動と環境設定に関する情報とをペアとする複数の訓練データを基にして訓練した機械学習モデルに、前記第一の注目領域における前記人物の第一の行動を入力することで、前記施設内での環境設定に関する情報を生成し、
前記電子機器によって、前記環境設定に関する処理が実施された後に、前記第一の注目領域における前記人物を含む映像を分析することで、前記人物の第二の行動を特定し、
特定された前記人物の第二の行動が所定の行動でない場合に、前記複数の訓練データから、前記第一の行動と前記環境設定に関する情報とのペアに対応する訓練データを除外した残りの訓練データを基にして、前記機械学習モデルを再訓練する処理を更にコンピュータに実行させることを特徴とする付記４に記載の情報処理プログラム。

【0195】

（付記６）施設内で撮影した映像を取得し、
取得をした前記映像を分析することで、前記施設内での人物の軌跡を追跡し、
追跡をした前記人物の軌跡に基づいて、前記施設内での前記人物の軌跡に関するヒートマップを生成し、
生成された前記ヒートマップおよび前記施設内に配置された電子機器の位置情報に基づいて、前記施設内の環境設定に関する情報を生成し、
前記環境設定に関する情報に基づいて、前記電子機器に、前記環境設定に関する処理を実行させる
処理をコンピュータが実行することを特徴とする情報処理方法。

【0196】

（付記７）前記環境設定に関する情報は、前記電子機器に表示させるコンテンツの種類、前記施設内に配置された照明機器の照度、前記電子機器が前記施設内に流す音楽の種類、前記電子機器が前記施設内に散布する香水の種類、の何れかであることを特徴とする付記６に記載の情報処理方法。

【0197】

（付記８）前記分析する処理は、取得をした前記映像に含まれる、第一の期間での前記人物の第一の移動軌跡を特定し、特定した前記第一の移動軌跡に基づいて、前記第一の期間後の第二の期間での前記人物の第二の移動軌跡を予測し、取得した前記映像を分析することで、前記第二の期間の人物の実際の移動軌跡を示す第三の移動軌跡を特定し、
前記ヒートマップを生成する処理は、前記第二の移動軌跡と前記第三の移動軌跡との誤差を領域毎に示す前記ヒートマップを生成することを特徴とする付記６に記載の情報処理方法。

【0198】

（付記９）前記ヒートマップを基にして、誤差が所定の条件を満たす第一の注目領域と、前記第一の注目領域における人物を抽出し、
抽出した前記第一の注目領域における人物の骨格情報に基づいて、前記人物の第一の行動を特定し、
特定した前記人物の第一の行動が所定の行動である場合に、前記第一の注目領域に位置する前記電子機器に、前記所定の行動と対応付けられた環境設定に関する処理を実行させる処理を更にコンピュータが実行することを特徴とする付記８に記載の情報処理方法。

【0199】

（付記１０）人物の行動と環境設定に関する情報とをペアとする複数の訓練データを基にして訓練した機械学習モデルに、前記第一の注目領域における前記人物の第一の行動を入力することで、前記施設内での環境設定に関する情報を生成し、
前記電子機器によって、前記環境設定に関する処理が実施された後に、前記第一の注目領域における前記人物を含む映像を分析することで、前記人物の第二の行動を特定し、
特定された前記人物の第二の行動が所定の行動でない場合に、前記複数の訓練データから、前記第一の行動と前記環境設定に関する情報とのペアに対応する訓練データを除外した残りの訓練データを基にして、前記機械学習モデルを再訓練する処理を更にコンピュータが実行することを特徴とする付記９に記載の情報処理方法。

【0200】

（付記１１）施設内で撮影した映像を取得し、
取得をした前記映像を分析することで、前記施設内での人物の軌跡を追跡し、
追跡をした前記人物の軌跡に基づいて、前記施設内での前記人物の軌跡に関するヒートマップを生成し、
生成された前記ヒートマップおよび前記施設内に配置された電子機器の位置情報に基づいて、前記施設内の環境設定に関する情報を生成し、
前記環境設定に関する情報に基づいて、前記電子機器に、前記環境設定に関する処理を実行させる
処理を実行する制御部を有する情報処理装置。

【0201】

（付記１２）前記環境設定に関する情報は、前記電子機器に表示させるコンテンツの種類、前記施設内に配置された照明機器の照度、前記電子機器が前記施設内に流す音楽の種類、前記電子機器が前記施設内に散布する香水の種類、の何れかであることを特徴とする付記１１に記載の情報処理装置。

【0202】

（付記１３）前記分析する処理は、取得をした前記映像に含まれる、第一の期間での前記人物の第一の移動軌跡を特定し、特定した前記第一の移動軌跡に基づいて、前記第一の期間後の第二の期間での前記人物の第二の移動軌跡を予測し、取得した前記映像を分析することで、前記第二の期間の人物の実際の移動軌跡を示す第三の移動軌跡を特定し、
前記ヒートマップを生成する処理は、前記第二の移動軌跡と前記第三の移動軌跡との誤差を領域毎に示す前記ヒートマップを生成することを特徴とする付記１１に記載の情報処理装置。

【0203】

（付記１４）前記制御部は、前記ヒートマップを基にして、誤差が所定の条件を満たす第一の注目領域と、前記第一の注目領域における人物を抽出し、
抽出した前記第一の注目領域における人物の骨格情報に基づいて、前記人物の第一の行動を特定し、
特定した前記人物の第一の行動が所定の行動である場合に、前記第一の注目領域に位置する前記電子機器に、前記所定の行動と対応付けられた環境設定に関する処理を実行させる処理を更に実行することを特徴とする付記１３に記載の情報処理装置。

【0204】

（付記１５）前記制御部は、人物の行動と環境設定に関する情報とをペアとする複数の訓練データを基にして訓練した機械学習モデルに、前記第一の注目領域における前記人物の第一の行動を入力することで、前記施設内での環境設定に関する情報を生成し、
前記電子機器によって、前記環境設定に関する処理が実施された後に、前記第一の注目領域における前記人物を含む映像を分析することで、前記人物の第二の行動を特定し、
特定された前記人物の第二の行動が所定の行動でない場合に、前記複数の訓練データから、前記第一の行動と前記環境設定に関する情報とのペアに対応する訓練データを除外した残りの訓練データを基にして、前記機械学習モデルを再訓練する処理を更に実行することを特徴とする付記１４に記載の情報処理装置。