特開 2024-178707 店舗運営支援装置および店舗運営支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178707

(43)【公開日】2024-12-25

(54)【発明の名称】店舗運営支援装置および店舗運営支援方法

(51)【国際特許分類】

   G06Q 30/0203 20230101AFI20241218BHJP

【ＦＩ】

G06Q30/0203

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023097057

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】石橋 達矢

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB02

5L030BB05

5L049BB02

5L049BB05

(57)【要約】

【課題】店舗における顧客の購買行動をユーザが客観的に把握することを可能にする。
【解決手段】店舗運営支援装置５において、プロセッサ４１は、店舗２の中を撮影して得られた店内映像を取得し、店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、人物ごとに認識処理の結果を記憶装置４４に蓄積し、認識処理の結果に基づき、各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、人物行動表示画像を店内映像に重畳した行動観察用映像を生成し、行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる。
【選択図】図６

【特許請求の範囲】

【請求項1】

店舗の運営を支援するための店舗運営支援情報をユーザに提供するための処理を実行するプロセッサを備えた店舗運営支援装置であって、
前記プロセッサは、
前記店舗の中を撮影して得られた店内映像を取得し、
前記店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、
前記人物ごとに前記認識処理の結果を記憶装置に蓄積し、
前記認識処理の結果に基づき、前記各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、
前記人物行動表示画像を前記店内映像に重畳した行動観察用映像を生成し、
前記行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる、店舗運営支援装置。

【請求項2】

前記人物行動表示画像は、前記店内映像における前記各人物とそれに対応する前記物体とに重なるように配置される、請求項１に記載の店舗運営支援装置。

【請求項3】

前記人物行動表示画像は、前記店内映像における前記各人物とそれに対応する前記物体との間を結ぶように配置される線分の画像を含む、請求項２に記載の店舗運営支援装置。

【請求項4】

前記プロセッサは、前記各人物の購買行動に応じて前記線分の画像の表示態様を変更し、
前記表示態様の変更には、前記線分の画像における線の太さの変更、線の形状の変更、及び線の色の変更のうちの少なくとも１つが含まれる、請求項３に記載の店舗運営支援装置。

【請求項5】

前記人物行動表示画像は、前記各人物及びそれに対応する前記物体の少なくとも一部を囲む枠の画像を含む、請求項２に記載の店舗運営支援装置。

【請求項6】

前記プロセッサは、
前記認識処理の結果に基づき、前記各人物の代表位置を決定し、
前記人物行動表示画像は、前記各人物の代表位置を示す画像を含む、請求項２から請求項５の何れか１項に記載の店舗運営支援装置。

【請求項7】

前記プロセッサは、
前記各人物の対応する前記物体に対する購買行動に基づき算出される興味度、
前記各人物が対応する前記物体のために費やした時間に基づき算出される滞在時間、及び
前記各人物の対応する前記物体に対する購買行動に基づき算出される前記各人物の不審度のうちの少なくとも１つを、前記認識処理の結果に基づき取得し、
その取得した前記興味度、前記滞在時間、及び前記不審度のうちの少なくとも１つに基づき、前記人物行動表示画像の表示態様を変更する、請求項１から請求項５の何れか１項に記載の店舗運営支援装置。

【請求項8】

前記各人物に対応する前記物体には、前記各人物の手によって扱われた所持物が含まれる、請求項１から請求項５の何れか１項に記載の店舗運営支援装置。

【請求項9】

前記プロセッサは、
前記所持物の種類に基づき、前記人物行動表示画像の表示態様を変更する、請求項８に記載の店舗運営支援装置。

【請求項10】

前記プロセッサは、
前記各人物の性別の情報および年齢の情報の少なくとも一方を、前記認識処理の結果に基づき取得し、
その取得した前記性別の情報および前記年齢の情報の少なくとも一方に基づき、前記人物行動表示画像の表示態様を変更する、請求項１に記載の店舗運営支援装置。

【請求項11】

前記プロセッサは、
前記行動観察用映像において、前記店内映像に含まれる前記各人物の画像領域を、マスク画像またはアバター画像に変更する、請求項１に記載の店舗運営支援装置。

【請求項12】

店舗の運営を支援するための店舗運営支援情報をユーザに提供するための店舗運営支援装置による店舗運営支援方法であって、
前記店舗運営支援装置が、
前記店舗の中を撮影して得られた店内映像を取得し、
前記店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、
前記人物ごとに前記認識処理の結果を記憶装置に蓄積し、
前記認識処理の結果に基づき、前記各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、
前記人物行動表示画像を前記店内映像に重畳した行動観察用映像を生成し、
前記行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる、店舗運営支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、店舗の運営を支援するための店舗運営支援情報をユーザに情報を提供する店舗運営支援装置および店舗運営支援方法に関する。

【背景技術】

【0002】

店舗運営者は、店舗を利用する人物の購買行動（すなわち、商品やサービスの購入に関する顧客の行動）を把握することにより、商品等の販売促進や顧客の満足度の向上のための施策を策定する。

【0003】

従来、顧客の購買行動を把握するために、店内を撮影するカメラと、そのカメラの映像を取り込んでその映像を解析する映像解析装置とを備えた顧客の購買行動の分析システムが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－１０６６２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に開示された従来の分析システムでは、映像解析装置は、カメラ映像に映し出された顧客がどのような仕草をしているかを分析する。更に、その分析システムは、顧客の仕草が予め設定された特定の仕草であると判断した場合、特定の顧客が注目した商品を購入するか否かを判定する。この従来技術では、顧客の購買行動の分析結果に含まれる映像は、顧客の特定の仕草や顧客が手にした商品に限定される。

【0006】

ところで、店舗運営者には、店舗における顧客の様々な購買行動を客観的に把握したいという要望がある。しかしながら、上記従来技術では、顧客の特定の仕草が過度に重視されているため、そのような店舗運営者の要望に応えることは難しい。

【0007】

そこで、本開示は、店舗における顧客の購買行動をユーザが客観的に把握することを可能にする店舗運営支援装置および店舗運営支援方法を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本開示の店舗運営支援装置は、店舗の運営を支援するための店舗運営支援情報をユーザに提供するための処理を実行するプロセッサを備えた店舗運営支援装置であって、前記プロセッサは、前記店舗の中を撮影して得られた店内映像を取得し、前記店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、前記人物ごとに前記認識処理の結果を記憶装置に蓄積し、前記認識処理の結果に基づき、前記各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、前記人物行動表示画像を前記店内映像に重畳した行動観察用映像を生成し、前記行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる構成とする。

【0009】

本開示の店舗運営支援方法は、店舗の運営を支援するための店舗運営支援情報をユーザに提供するための店舗運営支援装置による店舗運営支援方法であって、前記店舗運営支援装置が、前記店舗の中を撮影して得られた店内映像を取得し、前記店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、前記人物ごとに前記認識処理の結果を記憶装置に蓄積し、前記認識処理の結果に基づき、前記各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、前記人物行動表示画像を前記店内映像に重畳した行動観察用映像を生成し、前記行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる構成とする。

【発明の効果】

【0010】

本開示によれば、ユーザは、店舗における顧客の購買行動を客観的に把握することが可能となる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る店舗運営支援システムの全体構成図

【図2】店舗運営支援システムの機能ブロック図

【図3】店舗運営支援装置のハードウェア構成を示すブロック図

【図4】購買行動情報の生成処理の流れを示すフロー図

【図5】行動観察用映像の出力処理の流れを示すフロー図

【図6】行動確認画面の一例を示す説明図

【図7】行動確認画面における人物行動表示画像の概要を示す説明図

【図8】行動確認画面における人物及び商品の関係を示す線分の画像の変化の例を示す説明図

【図9】行動確認画面における第１の表示形態設定フィールドに関する説明図

【図10】行動確認画面における人物及び携帯物の関係を示す線分の画像の表示例を示す説明図

【図11】行動確認画面における人物の滞在状態を示す人物行動表示画像の表示例を示す説明図

【図12】図６に示した行動確認画面における人物行動表示画像の変形例を示す説明図

【図13】第２実施形態に係る店舗運営支援システムの機能ブロック図

【図14】商品確認画面の出力処理の流れを示すフロー図

【図15】販売管理画面の一例を示す説明図

【図16】商品の関連度に基づく購買傾向確認画面の表示例を示す説明図

【図17】図１６に示した購買傾向表示マップの構成に関する説明図

【図18】図１７に示した購買傾向表示マップにおけるノード画像に関する説明図

【図19】商品の類似度に基づく購買傾向確認画面の表示例を示す説明図

【図20】図１９に示した購買傾向確認画面の他の表示例を示す説明図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、店舗の運営を支援するための店舗運営支援情報をユーザに提供するための処理を実行するプロセッサを備えた店舗運営支援装置であって、前記プロセッサは、前記店舗の中を撮影して得られた店内映像を取得し、前記店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、前記人物ごとに前記認識処理の結果を記憶装置に蓄積し、前記認識処理の結果に基づき、前記各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、前記人物行動表示画像を前記店内映像に重畳した行動観察用映像を生成し、前記行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる構成とする。

【0013】

これによると、ユーザは、行動観察用映像によって、店舗における顧客（すなわち、店内映像において認識された人物）の購買行動を客観的に把握することが可能となる。

【0014】

また、第２の発明は、前記人物行動表示画像は、前記店内映像における前記各人物とそれに対応する前記物体とに重なるように配置される構成とする。

【0015】

これによると、ユーザは、人物行動表示画像によって、各人物とそれに対応する物体（例えば、購買対象の商品や、買い物カゴなどの携帯物）との関連性を容易に把握することができる。

【0016】

また、第３の発明は、前記人物行動表示画像は、前記店内映像における前記各人物とそれに対応する前記物体との間を結ぶように配置される線分の画像を含む構成とする。

【0017】

これによると、ユーザは、視認性の高い線分の画像によって、各人物とそれに対応する物体との関連性を容易に把握することができる。

【0018】

また、第４の発明は、前記プロセッサは、前記各人物の購買行動に応じて前記線分の画像の表示態様を変更し、前記表示態様の変更には、前記線分の画像における線の太さの変更、線の形状の変更、及び線の色の変更のうちの少なくとも１つが含まれる構成とする。

【0019】

これによると、ユーザは、線分の画像の表示形態の変化によって、各物体に対する各人物の購買行動の内容やその変化を容易に把握することができる。

【0020】

また、第５の発明は、前記人物行動表示画像は、前記各人物及びそれに対応する前記物体の少なくとも一部を囲む枠の画像を含む構成とする。

【0021】

これによると、ユーザは、視認性の高い枠の画像によって、各人物とそれに対応する物体との関連性を容易に把握することができる。

【0022】

また、第６の発明は、前記プロセッサは、前記認識処理の結果に基づき、前記各人物の代表位置を決定し、前記人物行動表示画像は、前記各人物の代表位置を示す画像を含む構成とする。

【0023】

これによると、ユーザは、各人物の代表位置を示す画像によって、行動観察用映像における各人物や、各人物とそれに対応する物体との関連性を容易に把握することができる。

【0024】

また、第７の発明は、前記プロセッサは、前記各人物の対応する前記物体に対する購買行動に基づき算出される興味度、前記各人物が対応する前記物体のために費やした時間に基づき算出される滞在時間、及び前記各人物の対応する前記物体に対する購買行動に基づき算出される前記各人物の不審度のうちの少なくとも１つを、前記認識処理の結果に基づき取得し、その取得した前記興味度、前記滞在時間、及び前記不審度のうちの少なくとも１つに基づき、前記人物行動表示画像の表示態様を変更する構成とする。

【0025】

これによると、ユーザは、興味度、滞在時間、及び不審度のうちの少なくとも１つに基づく人物行動表示画像の表示態様の変化によって、各人物とそれに対応する物体との関連性を容易に把握することができる。

【0026】

また、第８の発明は、前記各人物に対応する前記物体には、前記各人物の手によって扱われた所持物が含まれる構成とする。

【0027】

これによると、ユーザは、各人物の手によって扱われた物体（すなわち、所持物）と各人物とを関連津付けることにより、各人物とそれに対応する物体とを容易に関連づけることができる。

【0028】

また、第９の発明は、前記プロセッサは、前記所持物の種類に基づき、前記人物行動表示画像の表示態様を変更する構成とする。

【0029】

これによると、ユーザは、所持物の種類に基づく人物行動表示画像の表示態様の変化によって、各人物の手によって扱われる所持物の種類を容易に把握することができる。

【0030】

また、第１０の発明は、前記プロセッサは、前記各人物の性別の情報および年齢の情報の少なくとも一方を、前記認識処理の結果に基づき取得し、その取得した前記性別の情報および前記年齢の情報の少なくとも一方に基づき、前記人物行動表示画像の表示態様を変更する構成とする。

【0031】

これによると、ユーザは、各人物の属性（すなわち、性別及び年齢の少なくとも一方）に基づく人物行動表示画像の表示態様の変化によって、各人物の属性を容易に把握することができる。

【0032】

また、第１１の発明は、前記プロセッサは、前記行動観察用映像において、前記店内映像に含まれる前記各人物の画像領域を、マスク画像またはアバター画像に変更する構成とする。

【0033】

これによると、行動観察用映像から各人物を特定可能な情報（すなわち、個人情報）を容易に排除することができる。

【0034】

また、第１２の発明は、店舗の運営を支援するための店舗運営支援情報をユーザに提供するための店舗運営支援装置による店舗運営支援方法であって、前記店舗運営支援装置が、前記店舗の中を撮影して得られた店内映像を取得し、前記店内映像に含まれる１以上の人物および複数の物体の認識処理を行い、前記人物ごとに前記認識処理の結果を記憶装置に蓄積し、前記認識処理の結果に基づき、前記各人物の購買行動に関する人物行動表示画像をそれぞれ生成し、前記人物行動表示画像を前記店内映像に重畳した行動観察用映像を生成し、前記行動観察用映像を前記店舗運営支援情報としてディスプレイに表示させる構成とする。

【0035】

これによると、ユーザは、行動観察用映像によって、店舗における顧客（すなわち、店内映像において認識された人物）の購買行動を客観的に把握することが可能となる。

【0036】

以下、本開示の実施の形態を、図面を参照しながら説明する。

【0037】

（第１実施形態）
図１は、第１実施形態に係る店舗運営支援システム１の全体構成図である。店舗運営支援システム１は、ユーザに対して店舗の運営を支援するための情報を提供する。ユーザには、店舗運営者や店舗スタッフなどが含まれる。運営支援対象となる店舗２には、例えば、コンビニエンスストアやスーパーマーケットなどの小売チェーン店が含まれる。

【0038】

図１に示すように、店舗運営支援システム１は、複数のカメラ３、レコーダ４、店舗運営支援装置５、及び管理者端末６を含む。店舗２に設けられたカメラ３及びレコーダ４は、ＬＡＮ（Local Area Network）７に接続されている。ＬＡＮ７は、ゲートウェイやルータなどを含む接続機器８を介してインターネット等のＷＡＮ（Wide Area Network）９に接続される。店舗運営支援装置５及び管理者端末６は、ＷＡＮ９に接続される。カメラ３、レコーダ４、店舗運営支援装置５、及び管理者端末６は相互に通信可能である。

【0039】

なお、店舗運営支援システム１の各構成要素（ここでは、カメラ３、レコーダ４、店舗運営支援装置５、及び管理者端末６）の数や配置は適宜変更することが可能である。店舗運営支援システム１には、店舗２と同様の複数の店舗が含まれてもよい。

【0040】

各カメラ３は、公知のハードウェアを備えたビデオカメラから構成される。各カメラ３は、店舗２内の適所に配置され、店舗２を利用する複数の人物（すなわち、顧客）の購買行動をそれぞれ撮影可能に設けられている。

【0041】

購買行動には、店舗２において買い物を行う人物の任意の行動が含まれ得る。例えば、購買行動には、人物が商品を手に取ってその購入を検討する行為、人物が購入を決めた商品を買い物カゴなどに収める行為、及び人物が所望の商品を求めて店内を移動する行為などが含まれる。

【0042】

各カメラ３は、各人物の購買行動をそれぞれ撮影することによって、各人物及びその購入対象となる商品や携帯物（買い物カゴなど）を含む撮影映像（すなわち、店内映像）をそれぞれ生成する。

【0043】

各カメラ３は、撮影によって生成した店内映像のデータおよびその付属情報をレコーダ４に順次送信することができる。付属情報には、カメラＩＤ（各カメラの識別子）、位置情報（各カメラの画像内の座標、各カメラの設置位置を含む）、撮影条件（画角を含む）などが含まれ得る。

【0044】

レコーダ４は、公知のハードウェアを備えた映像記録装置から構成される。レコーダ４は、各カメラ３から店内映像のデータをそれぞれ取得し、その映像データをストレージに保存する。店内映像の映像データには音声データが含まれてもよい。なお、レコーダ４は、店舗２の外に設置されてもよい。その場合、レコーダ４は、ＷＡＮ９を介して他の電子機器と通信可能である。

【0045】

店舗運営支援装置５は、店舗２の運営を支援するための店舗運営支援情報をユーザに提供する。店舗運営支援装置５は、店舗運営支援情報を生成し、それをユーザに向けて出力するための処理を実行可能な１以上のコンピュータから構成される。本実施形態では、店舗運営支援装置５は、必要な処理を実行する１以上のサーバを含む。

【0046】

管理者端末６は、店舗運営支援情報を利用するユーザによって使用される。管理者端末６は、ＰＣ、タブレット端末、及びスマートフォンなどのディスプレイを備えた１以上のコンピュータを含む。なお、管理者端末６は、店舗２内に設置されてもよい。その場合、管理者端末６は、ＬＡＮ７を介して他の電子機器と通信可能である。

【0047】

図２は、店舗運営支援システム１の機能ブロック図である。図３は、店舗運営支援装置５のハードウェア構成を示すブロック図である。図４は、店舗運営支援装置５による購買行動情報の生成処理の流れを示すフロー図である。図５は、店舗運営支援装置５による行動観察用映像の出力処理の流れを示すフロー図である。

【0048】

図２に示すように、店舗運営支援システム１では、カメラ３によって生成された店内映像のデータがレコーダ４に順次蓄積される。店舗運営支援装置５は、レコーダ４に蓄積された映像データを取得し、店舗運営支援情報を生成する。本実施形態では、店舗運営支援装置５は、生成した店舗運営支援情報を管理者端末６に送信（出力）する。店舗運営支援情報には、店内における顧客の購買行動をユーザが確認するための画面（以下、「行動確認画面」という。図６中の行動確認画面５１を参照。）が含まれる。行動確認画面５１には、人物の購買行動を観察するための映像（以下、「行動観察用映像」という。）が含まれる（図６中の行動観察用映像５２を参照）。行動観察用映像５２は、カメラ３によって撮影された所定期間の店内映像を含む。

【0049】

ユーザは、管理者端末６において、行動確認画面５１に所望の行動観察用映像を表示させるための条件（以下、「ユーザ設定条件」という。）を設定し、店舗運営支援装置５に送信することができる。

【0050】

店舗運営支援装置５は、制御部１１および記憶部１２（記憶装置の一例）を有する。

【0051】

制御部１１において、映像取得部２１は、店内映像のデータを取得する処理（以下、「映像取得処理」という。）を実行する。映像取得処理では、レコーダ４に蓄積された店内の映像データが適宜送信され、映像データ３１として記憶部１２に記憶される。

【0052】

物体・行動認識部２２は、所定期間の映像データ３１に対し、店内映像における１以上の人物および複数の物体の認識処理（以下、「購買行動認識処理」という。）を行う。複数の物体には、各人物に関連する（すなわち、各人物の購入対象となる）１以上の商品が含まれる。また、複数の物体には、店舗２において各人物が利用する携帯物（例えば、買い物カゴ）が含まれ得る。

【0053】

購買行動認識処理は、記憶部１２に予め記憶された購買行動認識モデル３２を用いて実行される。購買行動認識モデル３２は、ディープラーニングなどの機械学習によって予め生成された学習モデルを含む。購買行動認識処理には、店内映像における人物及び物体の抽出（人物及び物体の位置情報の取得を含む）や、移動する人物及び物体の追跡が含まれる。

【0054】

また、購買行動認識処理には、人物と物体との関連性（すなわち、人物が物体に対してどのような行為を行っているか）の認識が含まれる。購買行動認識処理では、認識対象の物体が商品である場合には、人物と物体との関連性の認識結果として、商品に対する興味度、商品のための滞留時間（すなわち、人物が商品を購入するか否かの判断に要した時間に相当）、及び不審度が取得される。

【0055】

商品に対する興味度は、例えば、人物が所定時間内において対象商品を手に取った回数や、対象商品を手に取った状態で目視した時間の長さなどに基づき算出することができる。商品のための滞留時間は、例えば、人物が対象商品を手に取った状態でその場に滞留した時間や、人物が対象商品を棚に戻した後に人物がその場に滞留した時間などに基づき算出することができる。不審度は、予め学習された人物の不審な行為（例えば、人物が対象商品を手に取った状態で周囲を警戒する行為や、人物が手に取った対象商品を衣服などに隠す行為）に基づき算出することができる。本実施形態では、商品に対する興味度、商品のための滞留時間、及び不審度は、それぞれ０－１００の範囲の数値で示される。

【0056】

購買行動認識処理では、人物とそれに対応する物体（例えば、購買対象の商品や、買い物カゴなどの携帯物）との関連性の認識結果に基づき、各人物の購買行動を示すための画像（以下、「人物行動表示画像」という。）が生成される。人物行動表示画像は、店内映像に重畳されることにより、行動観察用映像の一部を構成する。このとき、抽出された物体の種別（例えば、商品の種別）が認識されてもよい。

【0057】

さらに、購買行動認識処理では、各人物に関する認識結果に基づき、各人物の代表位置が決定される。人物行動表示画像には、そのような各人物の代表位置を示す画像が含まれ得る。各人物の代表位置には、例えば、各人物の画像の重心や、各人物の所定の部位（例えば、頭部）などを用いることができる。

【0058】

店舗運営支援装置５は、上述のような購買行動認識処理の結果（物体関連性表示画を含む）を、購買行動情報３３として記憶部１２に記憶する。

【0059】

人物属性推定部２３は、購買行動認識処理によって映像データ３１から抽出された各人物に対し、その人物の属性を推定する処理（以下、「人物属性推定処理」という。）を行う。人物の属性には、各人物の性別および年齢の少なくとも一方が含まれる。

【0060】

人物属性推定処理は、記憶部１２に予め記憶された人物属性推定モデル３４を用いて実行される。人物属性推定モデル３４は、ディープラーニングなどの機械学習によって予め生成された学習モデルを含む。人物属性推定処理によって得られた各人物の性別や年齢に関する情報は、購買行動情報３３の一部として記憶部１２に記憶される。

【0061】

商品識別部２４は、購買行動認識処理によって映像データ３１から抽出された物体（商品を含む）に対し、商品を識別する処理（以下、「商品識別処理」という。）を行う。商品識別処理では、映像データ３１から抽出された物体の画像と、記憶部１２に記憶された商品情報３５（すなわち、商品データベース）に含まれる商品画像とが照合される。商品情報３５には、店舗２で販売される各商品についての商品画像に加え、商品ＩＤ、商品名、及び商品種別などが含まれ得る。商品識別処理によって得られた各商品の識別結果に関する情報は、購買行動情報３３の一部として記憶部１２に記憶される。なお、商品識別部２４による商品識別処理は、予め準備された学習モデルを用いて実行されてもよい。

【0062】

画面生成・出力部２５は、管理者端末６に対して行動確認画面を出力する処理を行う。また、画面生成・出力部２５は、購買行動情報３３を用いて行動確認画面に表示される行動観察用映像を生成する処理を行う。画面生成・出力部２５は、管理者端末６から受信したユーザ設定条件に基づき、管理者端末６のディスプレイにおける行動観察用映像の表示態様を適宜変更する。

【0063】

なお、店舗運営支援装置５は、管理者端末６を介することなくユーザによって直接操作されてもよい。その場合、画面生成・出力部２５は、行動確認画面および行動観察映像を、店舗運営支援装置５のディスプレイ４６（図３参照）に表示（すなわち、出力）することができる。

【0064】

図３に示すように、店舗運営支援装置５は、１以上のプロセッサ４１（ＣＰＵ、ＭＰＵ等）、ＲＡＭ（Random Access Memory）４２、ＲＯＭ（Read Only Memory）４３、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等を含むストレージ４４、及び通信インタフェース（Ｉ／Ｆ）４５等を備え得る。さらに、店舗運営支援装置５は、ディスプレイ４６を備えてもよい。

【0065】

上述の制御部１１における各部２１－２５の機能の少なくとも一部は、プロセッサ４１が所定の制御プログラムを実行することにより実現可能である。また、記憶部１２は、ストレージ４４を含む。

【0066】

図４に示すように、店舗運営支援装置５は、購買行動情報３３を生成するための処理として、上述の映像取得処理（ＳＴ１０１）、購買行動認識処理（ＳＴ１０２）、人物属性推定処理（ＳＴ１０３）、及び商品識別処理（ＳＴ１０４）をそれぞれ実行する。さらに、店舗運営支援装置５は、それらの処理結果を購買行動情報３３として記憶部１２に記憶する（ＳＴ１０５）。

【0067】

さらに、図５に示すように、店舗運営支援装置５は、行動確認画面を出力するための処理を実行することができる。

【0068】

より詳細には、店舗運営支援装置５は、まず管理者端末６のディスプレイに行動確認画面を表示させる（ＳＴ２０１）。次に、店舗運営支援装置５は、管理者端末６におけるユーザの操作に基づき、ユーザ設定条件を取得する（ＳＴ２０２）。さらに、店舗運営支援装置５は、ユーザ設定条件を満たす（例えば、設定された表示期間に対応する）購買行動情報３３を記憶部１２から取得する（ＳＴ２０３）。

【0069】

そこで、店舗運営支援装置５は、ユーザ設定条件に基づき購買行動情報３３から必要な情報を抽出し（ＳＴ２０３）、行動確認画面における行動観察用映像の表示態様を変更する（ＳＴ２０４）。

【0070】

上記ステップＳＴ２０２－ＳＴ２０４の一連の処理は、管理者端末６においてユーザ設定条件が更新される度に繰り返し実行される。

【0071】

次に、管理者端末６に表示される行動確認画面の詳細について説明する。

【0072】

図６は、行動確認画面５１の一例を示す説明図である。図７は、行動確認画面５１における人物行動表示画像の概要を示す説明図である。図８は、行動確認画面５１における人物及び商品の関係を示す線分の画像の変化の例を示す説明図である。図９は、行動確認画面５１における第１の表示形態設定フィールド７５に関する説明図である。図１０は、行動確認画面５１における人物及び携帯物の関係を示す線分の画像の表示例を示す説明図である。図１１は、行動確認画面５１における人物の滞在状態を示す人物行動表示画像の表示例を示す説明図である。図１２は、図６に示した行動確認画面５１における人物行動表示画像の変形例を示す説明図である。

【0073】

図６に示すように、行動確認画面５１は、行動観察用映像５２を表示する映像表示領域を含む。また、行動確認画面５１は、行動観察用映像５２が撮影された期間（ここでは、2023年3月7日の12時～13時）をユーザが設定するための期間設定フィールド５３を含む。さらに、行動確認画面５１は、ユーザが行動観察用映像５２の再生時の設定を行うための再生コントローラ５４を含む。再生コントローラ５４には、行動観察用映像５２の再生を開始または終了するための再生ボタン、再生位置（時刻）を設定するためのタイムスライダー、及び再生速度を設定するための速度設定部などが含まれる。

【0074】

行動観察用映像５２のベースとなる店内映像には、複数の人物６１Ａ－６１Ｃが含まれる。また、その店内映像には、複数の人物６１Ａ－６１Ｃの周辺に存在する複数の物体として、複数の商品棚６０と、それら商品棚６０にそれぞれ配置された複数の商品６２とが含まれる。

【0075】

行動観察用映像５２における人物６１Ａの周辺には、図７にも示すように、その人物６１Ａに対応する商品６２Ａ及び買い物カゴ６３Ａが含まれる。商品６２Ａは、人物６１Ａがそれを手に取って目視することにより、人物６１Ａの所持物の１つ（すなわち、商品）として認識されたものである。また、買い物カゴ６３Ａは、人物６１Ａがそれを手に持って移動することにより、人物６１Ａの所持物の１つ（すなわち、携帯物）として認識されたものである。

【0076】

行動観察用映像５２には、店内映像に重畳された人物行動表示画像が含まれる。人物６１Ａに関する人物行動表示画像は、人物６１Ａとそれに対応する商品６２Ａとに重なるように配置される線分の画像６５Ａを含む。線分の画像６５Ａは、人物６１Ａとそれに対応する商品６２Ａとの間を結ぶように配置される。

【0077】

また、人物６１Ａに関する人物行動表示画像は、人物６１Ａとそれに対応する携帯物としての買い物カゴ６３Ａとに重なるように配置される線分の画像６６Ａを含む。

【0078】

行動観察用映像５２には、店内映像に重畳された代表位置を示す画像が含まれる。人物６１Ａの代表位置を示す画像は、人物６１Ａの代表位置に配置された円の画像６７Ａである。

【0079】

人物６１Ａは、それに対応する商品６２Ａ及び買い物カゴ６３Ａが存在するため、円の画像６７Ａは、異なる直径を有する２つの同心円６７Ａａ、６７Ａｂを含む（図７を参照）。実線で示される線分の画像６５Ａの一端は、同じく実線で示された大径（すなわち、外側）の円６７Ａａに接続される。なお、線分の画像６５Ａの他端は、商品６２Ａに接続される。また、破線で示される線分の画像６６Ａの一端は、同じく破線で示された小径（すなわち、内側）の円６７Ａｂに接続される。

【0080】

図７には、人物６１Ａが抽出された矩形の画像領域７１、商品６２Ａが抽出された矩形の画像領域７２、及び買い物カゴ６３Ａが抽出された矩形の画像領域７３がそれぞれ示されている。ユーザは、そのような画像領域７１－７３を、必要に応じて図６中の行動観察用映像５２にも表示させることができる。

【0081】

また、行動観察用映像５２（図６参照）には、人物６１Ｂ、６１Ｃに関し、各人物６１Ｂ、６１Ｃの代表位置にそれぞれ配置された円の画像６７Ｂ、６７Ｃが含まれる。なお、代表位置を示す画像には、円の画像６７Ａ－６７Ｃに代えて、他の形状（例えば、多角形）の画像が用いられてもよい。

【0082】

また、行動観察用映像５２には、人物６１Ｂに関し、人物６１Ｂとその携帯物であるマイバッグ６３Ｂとに重なるように配置される線分の画像６６Ｂが含まれる。線分の画像６６Ｂの一端は、円の画像６７Ｂに接続される。なお、線分の画像６９Ｂの他端は、マイバッグ６３Ｂに接続される。

【0083】

また、行動確認画面５１は、第１－第３の表示形態設定フィールド７５－７７を含む。ユーザは、第１－第３の表示形態設定フィールド７５－７７に対する操作を実行することにより、行動観察用映像５２における人物行動表示画像の表示形態を変更することができる。

【0084】

第１の表示形態設定フィールド７５において、ユーザは、商品に対する興味度、商品のための滞留時間、及び不審度のいずれかに基づき、人物行動表示画像の表示態様（ここでは、線分の画像の線の太さ）を変更することができる。図６では、ユーザが興味度を選択した例が示されている。

【0085】

例えば、図８（Ａ）－（Ｃ）に示すように、線分の画像６５Ａにおける線の太さは、興味度の変化（ここでは、（Ａ）興味度３０、（Ｂ）興味度６０、（Ｃ）興味度１００）に応じて徐々に増大する。人物が対象商品を手に取った状態で目視した時間の長さに応じて興味度が増大するように設定された場合には、その時間の長さ（すなわち、時間経過）に応じて線の太さが徐々に増大する。同様に、ユーザが第１の表示形態設定フィールド７５において滞留時間または不審度を選択した場合には、それらの値に応じて線分の画像６５Ａにおける線の太さが変化する。

【0086】

図９に示すように、ユーザは、第１の表示形態設定フィールド７５において、興味度が変化しても線の太さを変化させない無効領域を設定することができる。図９では、ユーザがスライダ７８を操作することにより、興味度が３０未満の範囲が無効領域として設定された例を示している。この場合、興味度が０から３０未満の範囲では、線の太さは初期の太さのまま変化しない。そして興味度が３０以上になると（すなわち、興味度が３０－１００の範囲の有効領域では）、興味度の増大にともない線の太さが増大する。このように、ユーザは、線の太さを変化させない無効領域を適切に設定することにより、所望の興味度の範囲において、線分の太さ（すなわち、興味度）の変化を容易に把握することが可能となる。

【0087】

第２の表示形態設定フィールド７６において、ユーザは、人物６１Ａ－６１Ｃの所持物を確認するか、または、人物６１Ａ－６１Ｃの滞在状態を確認するかを選択することができる。図６では、ユーザが所持物を確認することを選択した例を示している。更にここでは、表示対象の所持物として、購入対象の商品、買い物カゴ、買い物カート、及びマイバッグがユーザによって選択されている。ただし、ユーザは、第２の表示形態設定フィールド７６において、一部の携帯物（例えば、買い物カゴ）のみにチェックを入れることで、当該携帯物を行動観察用映像５２において容易に確認することが可能となる。

【0088】

行動観察用映像５２には、ユーザが選択した所持物に関する人物行動表示画像（例えば、線分の画像６５Ａ、６６Ａ）が、所望の線の形状（すなわち、線種）によって表示される。ここでは、人物行動表示画像の線の形状について、商品については実線（線分の画像６５Ａを参照）に設定され、買い物カゴについては破線（線分の画像６６Ａを参照）に設定され、マイバッグについては二重線（線分の画像６６Ｂを参照）に設定された例が示されている。

【0089】

このような第２の表示形態設定フィールド７６におけるユーザの設定によれば、例えば図１０（Ａ）に示すように、人物６１Ｄとその携帯物である買い物カート６３Ｄとに重なるように線分の画像６６Ｄが破線で示される。より詳細には、線分の画像６６Ｄは、人物６１Ｄの代表位置に配置された円の画像６７Ｄと買い物カート６３Ｄとを結ぶように配置される。

【0090】

同様に、図１０（Ｂ）に示すように、人物６１Ｂとその携帯物であるマイバッグ６３Ｂとに重なるように線分の画像６６Ｂが二重線で示される。より詳細には、線分の画像６６Ｂは、人物６１Ｂの代表位置に配置された円の画像６７Ｂとマイバッグ６３Ｂとを結ぶように配置される。

【0091】

第３の表示形態設定フィールド７７において、ユーザは、人物行動表示画像（例えば、線分の画像６５Ａ）について、人物６１Ａ－６１Ｃの属性を表示する線の色を設定することができる。図６では、ユーザが人物６１Ａ－６１Ｃの属性として性別を選択し、男性および女性にそれぞれ対応する線の色を設定した例が示されている。

【0092】

これにより、例えば線分の画像６５Ａは、それに付された色によって対応する人物６１Ａの属性（ここでは、女性）を示すことができる。

【0093】

また、線分の画像６５Ａと同様に、人物６１Ａの代表位置を示す円の画像６７Ａは、その内側の領域に付された色によって対応する人物６１Ａの属性（ここでは、女性）を示すことができる。

【0094】

一方、第２の表示形態設定フィールド７６において、ユーザが滞在状態を選択した場合には、例えば図１１に示すような行動観察用映像５２が表示される。ここでは、行動観察用映像５２に表示されるべき人物の滞在状態として移動中および静止中の両方が選択されている。これにより、行動観察用映像５２には、移動中の人物６１Ｅと、静止中の人物６１Ｆとが表示される。

【0095】

またここでは、人物行動表示画像（より厳密には、人物６１Ｅ、６１Ｆの代表位置を示す画像）の線の形状について、移動中が実線に設定され、静止中が破線に設定されている。これにより、図１１では、移動中の人物６１Ｅの代表位置を示す円の画像６７Ｅは実線で示され、また、静止中の人物６１Ｆの代表位置を示す円の画像６７Ｆは破線で示されている。

【0096】

上述のように、ユーザが行動確認画面５１の期間設定フィールド５３および第１－第３の表示形態設定フィールド７５－７７において設定した条件は、ユーザ設定条件として店舗運営支援装置５に適宜送信される。

【0097】

なお、人物行動表示画像としては、上述の線分の画像（例えば、図６中の線分の画像６５Ａを参照）に代えて他の形態の画像が用いられてもよい。例えば図１２に示すように、人物行動表示画像として、人物６１Ａ及びそれに対応する商品６２Ａ（すなわち、購入対象商品）を囲む枠の画像１６５Ａや、人物６１Ａ及びそれに対応する買い物カゴ６３Ａ（すなわち、携帯物）を囲む枠の画像１６６Ａが用いられてもよい。なお、枠の画像１６５Ａは、人物６１Ａおよび商品６２Ａの少なくとも一部を囲む態様であればよい。同様に、枠の画像１６６Ａは、人物６１Ａおよび買い物カゴ６３Ａの少なくとも一部を囲む態様であればよい。

【0098】

また、店舗運営支援装置５は、行動観察用映像５２に含まれる各人物の画像領域を、マスク画像またはアバター画像に変更して表示してもよい。これにより、行動観察用映像５２から各人物を特定可能な情報（すなわち、個人情報）を容易に排除することができ、個人のプライバシーを保護する形で行動観察用映像５２を確認することが可能となる。

【0099】

（第２実施形態）
次に、第２実施形態に係る店舗運営支援システム１について説明する。第２実施形態に係る店舗運営支援システム１に関し、第１実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。また、第２実施形態に係る店舗運営支援システム１について、以下で特に言及しない事項については、第１実施形態の場合と同様とする。

【0100】

図１３は、第２実施形態に係る店舗運営支援システム１の機能ブロック図である。店舗運営支援装置５において、制御部１１は、店舗２で販売される商品に関する管理情報（以下、「商品管理情報」という。）１３６を取得する商品管理情報取得部１２６を含む。商品管理情報１３６は、商品情報３５に含まれる各商品に対応づけられて記憶部１２に順次記憶される。商品管理情報１３６には、各商品についての売上情報（所定期間における売上数等を含む）、商品価格、セール情報（割引き情報）、販売開始時期、及び在庫情報などが含まれ得る。

【0101】

画面生成・出力部２５は、管理者端末６に対して店舗２で販売される商品を確認するための商品確認画面を出力する処理を行う。商品確認画面には、各商品の関係性を示す商品表示マップが含まれる。また、画面生成・出力部２５は、購買行動情報３３を用いて商品表示マップに興味度等の情報を付加することができる。画面生成・出力部２５は、管理者端末６から受信したマップ設定条件に基づき商品表示マップの表示態様を変更する。

【0102】

図１４は、店舗運営支援装置５による商品確認画面の出力処理の流れを示すフロー図である。

【0103】

図１４に示すように、まず、店舗運営支援装置５は、管理者端末６のディスプレイに商品確認画面を表示させる（ＳＴ３０１）。商品確認画面は、その初期画面として販売管理画面を含み、その販売管理画面には、ユーザが選択した商品（または商品種別）に関する売上情報等が表示される。

【0104】

次に、店舗運営支援装置５は、管理者端末６におけるユーザの操作に基づくマップ設定条件を取得する（ＳＴ３０２）。

【0105】

さらに、店舗運営支援装置５は、マップ設定条件を満たす（例えば、設定された表示期間に対応する）商品情報３５および商品管理情報１３６をそれぞれ記憶部１２から取得する（ＳＴ３０３、ＳＴ３０４）。さらに、店舗運営支援装置５は、マップ設定条件を満たす購買行動情報３３を記憶部１２から取得する（ＳＴ３０５）。

【0106】

そこで、店舗運営支援装置５は、マップ設定条件に基づき購買行動情報３３から必要な情報を抽出し（ＳＴ３０６）、既に表示されている商品表示マップの表示形態を変更するか、または商品確認画面おける商品表示マップを新たに表示する（ＳＴ３０７）。

【0107】

上記ステップＳＴ３０２－ＳＴ３０７の一連の処理は、管理者端末６においてマップ設定条件が更新される度に繰り返し実行される。

【0108】

図１５は、店舗運営支援システム１における販売管理画面１５１の一例を示す説明図である。

【0109】

図１５に示すように、販売管理画面１５１は、商品売上表示領域１５２を含む。商品売上表示領域１５２には、ユーザによって選択された各商品、またはユーザによって選択された商品種別に属する各商品について、商品画像、商品名、及び所定期間の売上数等が表示される。

【0110】

また、販売管理画面１５１は、カテゴリ設定フィールド１６１、ソート設定フィールド１６２、及び商品状態設定フィールド１６３を含む。

【0111】

カテゴリ設定フィールド１６１において、ユーザは、商品売上表示領域１５２に表示させたい個別の商品を検索し、また、ユーザが表示させたい商品種別を選択することが可能である。ここでは、商品種別として「清涼飲料」が設定された例を示している。

【0112】

ソート設定フィールド１６２において、ユーザは、商品の売上数、所定期間の売上上昇率、商品の興味度（ここでは、複数の顧客による興味度の平均値）、及び商品の入荷日のいずれかに基づき、商品売上表示領域１５２に表示される各商品を降順又は昇順にソートすることができる。ここでは、ソートの基準として「売上数」が選択された例を示している。

【0113】

商品状態設定フィールド１６３において、ユーザは、商品売上表示領域１５２に表示させるべき各商品の状態を設定することができる。ここでは、ユーザは、商品の状態として、セール中の商品、新商品（すなわち、発売開始から所定期間内の商品）、及び品切れ中の商品（すなわち、在庫のない商品）のいずれかを選択することができる。ここでは、商品の状態として「セール中」が選択された例を示している。

【0114】

図１６は、商品の関連度に基づく購買傾向確認画面１７１の表示例を示す説明図である。図１７は、図１６に示した商品表示マップの構成に関する説明図である。図１８は、図１７に示した商品表示マップにおけるノード画像に関する説明図である。図１９は、商品の類似度に基づく購買傾向確認画面１７１の表示例を示す説明図である。図２０は、図１９に示した購買傾向確認画面１７１の他の表示例を示す説明図である。

【0115】

上述の図１５に示した販売管理画面１５１において、ユーザがいずれかの商品を選択（例えば、所望の商品画像をクリック）すると、管理者端末６のディスプレイには、当該選択した商品に関する購買傾向確認画面１７１が表示される。

【0116】

図１６に示すように、購買傾向確認画面１７１は、商品表示マップ１７３を含む。また、購買傾向確認画面１７１は、商品表示マップ１７３の表示対象の時期的条件をユーザが設定するための、時期設定フィールド１７４を含む。ここでは、時期設定フィールド１７４において、「現在」が選択された例が示されている。これにより、商品表示マップ１７３は、現在から所定期間（例えば、１週間）以内に取得された情報（例えば、商品情報３５、商品管理情報１３６、及び購買行動情報３３）に基づき生成される。

【0117】

また、購買傾向確認画面１７１は、販売管理画面１５１において、ユーザが選択した商品（ここでは、Ａ県産じゃがいも、以下、「注目商品」という。）のが表示される注目商品表示領域１７５が含まれる。注目商品表示領域１７５には、例えば、注目商品の画像、商品名称、及び興味度の値が含まれる。例えば、対象商品に対して複数の人物に関する興味度のデータが存在する場合、それらの人物に関する興味度の平均値に基づき、興味度の値が決定される。

【0118】

商品表示マップ１７３には、注目商品に対応するノードを示す画像（以下、「ノード画像」という。）１８１Ａと、その注目商品に直接関係する他の商品（以下、「第１の関係商品」という。）に対応するノード画像（例えば、にんじんに対応するノード画像）１８１Ｂとが含まれる。

【0119】

また、図１６に示すように、ユーザは、例えばにんじんに対応するノード画像１８１Ｂに対してカーソルの操作（またはマウスオーバー操作）を行うことにより、ノード画像１８１Ｂに対応する商品に関する詳細情報を示すポップアップ画面１８２を表示させることができる。

【0120】

商品表示マップ１７３では、注目商品に対応するノード画像（ここでは、ノード画像１８１Ａ）が中心に配置され、その周囲を囲むように第１の関係商品を示すノード画像（例えば、ノード画像１８１Ｂ）が配置される。注目商品を示すノード画像１８１Ａと、第１の関係商品の各々を示すノード画像とは、エッジを示す画像（以下、「エッジ画像」という。）によって互いに接続される。例えば、ノード画像１８１Ａとノード画像１８１Ｂとは、エッジ画像１８３Ａによって互いに接続される。

【0121】

また、商品表示マップ１７３には、第１の関係商品に直接関係する他の商品（以下、「第２の関係商品」という。ただし、注目商品を除く。）に対応するノード画像が含まれる。例えば、商品表示マップ１７３には、にんじんに対応する第２の関係商品としてシチュールー、カレールー、及び牛肉が含まれ、それらに対応するノード画像１８１Ｃ、１８１Ｄ、１８１Ｅが表示される。ただし、図１６では、にんじんに対応する第２の関係商品としてのパン粉に関するノード画像は省略されている。

【0122】

なお、商品表示マップ１７３には、第２の関係商品に直接関係する他の商品（以下、「第３の関係商品」という。ただし、注目商品および第１の関係商品を除く。）に対応するノード画像が更に含まれてもよい。

【0123】

図１７に示すように、Ａ県産じゃがいもの第１の関係商品には、にんじんに加え、牛肉、食パン、卵、及びバターなどが含まれる。また、例えば、商品表示マップ１７３には、第１の関係商品としての牛肉（図１６中のノード画像１８１Ｅを参照）に直接関係する第２の関係商品としてにんじん、シチュールー、及び糸こんにゃくが含まれ、それらに対応するノード画像１８１Ｂ、１８１Ｃ、１８１Ｇ（図１６参照）が表示される。

【0124】

図１８に示すように、商品表示マップ１７３に示される各ノード画像１８１は、互いに異なる直径を有する２つの同心円１９１Ａ、１９１Ｂ（第１の円、第２の円の一例）によって構成される。

【0125】

外側の円１９１Ａの直径の大きさは、対象商品の興味度の大きさに応じて設定される。また、内側の円１９１Ｂの大きさは、顧客が対象商品の購入に至った割合（以下、「商品購入割合」という。）に応じて設定される。例えば、複数の人物が対象商品を手に取ることにより、当該対象商品が複数の人物に関連すると認識された場合、商品購入割合は、それらの複数の人物のうち対象商品をその後に実際に購入した人物の割合に相当する。なお、第２実施形態においては、商品表示マップ１７３に含まれるノード画像１８１として例示しているが、各商品間の関係性を考慮することなく、店舗経営者等が任意に選択した１以上の商品に対応したノード画像１８１を生成して、一覧表示させるようにしてもよい。この場合、店舗経営者等は、販売状況の気になる商品に限定して、そのノード画像１８１から商品の興味度と購入割合とを直感的に把握することができる。

【0126】

また、図１６に示すように、購買傾向確認画面１７１は、マップタイプ設定フィールド１９２および商品状態設定フィールド１６３を含む。

【0127】

マップタイプ設定フィールド１９２において、ユーザは、商品表示マップ１７３に表示する関係商品のタイプを設定することができる。図１６では、ユーザが「関連度」を選択した例が示されている。これにより、商品表示マップ１７３には、第１の関係商品として、注目商品との関連度が高い商品が表示される。

【0128】

同様に、商品表示マップ１７３では、第２の関連商品として、第１の関係商品との関連度が高い商品が表示される。商品間の関連度は、対象の２つの商品が同時に購入される度合に応じて設定される。より詳細には、商品間の関連度は、例えば、対象の２つの商品が過去の所定期間において同時に（すなわち、まとめて）購入された回数（または頻度）に応じて設定され得る。そのような関連度の情報（連係商品の情報の一例）は、商品管理情報１３６の一部として予め記憶される。

【0129】

なお、商品表示マップ１７３において、各商品を結ぶエッジ画像（例えば、エッジ画像１８３Ａ）の太さ（すなわち、線の太さ）は、各エッジ画像によって結ばれる２つの商品の関連度の大きさに応じて設定される。

【0130】

商品状態設定フィールド１６３において、ユーザは、商品表示マップ１７３に表示する商品の状態を設定することができる。図１６では、ユーザが「セール中」を選択した例が示されている。これにより、商品表示マップ１７３では、第１の関係商品および第２の関係商品として、セール中の状態にある商品のみが表示される。

【0131】

同様に、ユーザは、商品状態設定フィールド１６３において、「新商品」を選択することにより、第１の関係商品および第２の関係商品として、発売開始直後の商品のみを表示させることができる。また、ユーザは、商品状態設定フィールド１６３において、「品切れ」を選択することにより、第１の関係商品および第２の関係商品として、は在庫のない商品のみを表示させることができる。

【0132】

一方、マップタイプ設定フィールド１９２において、ユーザが「類似度」を選択した場合、例えば図１９に示すように、商品表示マップ１７３には、第１の関係商品として、注目商品との類似度が高い商品が表示される。同様に、商品表示マップ１７３では、第２関連商品として、第１の関係商品との類似度が高い商品が表示される。商品間の類似度は、例えば、一方の商品に対して他方の商品が代替品（すなわち、代わりに購入される商品）となり得るか否かに応じて設定される。そのような類似度の情報（代替商品の情報の一例）は、商品管理情報１３６の一部として予め記憶される。

【0133】

図１９に示された購買傾向確認画面１７１は、ユーザが注目商品としてＡ社カレールーをユーザが選択した例を示している。商品表示マップ１７３には、注目商品に対応するノード画像２８１Ａと、第１の関係商品に対応するノード画像（例えば、ハヤシライスに対応するノード画像２８１Ｂ）とが含まれる。

【0134】

また、図１９に示された商品表示マップ１７３には、図１６の場合と同様に、第１の関係商品に直接関係する第２の関係商品に対応するノード画像が含まれる。なお、商品表示マップ１７３には、第２の関係商品に直接関係する第３の関係商品に対応するノード画像が更に含まれてもよい。

【0135】

また、ユーザは、例えば図２０に示すように、図１９に示した購買傾向確認画面１７１の時期設定フィールド１７４において「週間」を選択することができる。これにより、商品表示マップ１７３に用いられる興味度は、１週間前の情報（より厳密には、１週間前の時点において過去の所定期間（例えば、１週間）の間に取得された情報）に基づき取得された興味度と、現在の情報（より厳密には、現時点において過去の所定期間の間に取得された情報）に基づき取得された興味度との差分の値となる。

【0136】

図２０において、各ノード画像の内側の領域の色は、図中の凡例２９０に示されるように、興味度の差分（すなわち、変化量）に応じてそれぞれ設定される。例えば、ノード画像２８１Ａは、対応する商品（ここでは、Ａ社カレールー）の現在の興味度の値が、１週間前の情報に基づく値に対して４０上昇したことを示している。これにより、ユーザは、商品表示マップ１７３に表示された各商品に対する興味度の時間的変化を容易に把握することができる。

【0137】

なお、時期設定フィールド１７４において、ユーザが「日間」を選択した場合、商品表示マップ１７３に用いられる興味度は、１日前の情報（より厳密には、１日前の時点において過去の所定期間の間に取得された情報）に基づき取得された興味度と、現在の情報に基づき取得された興味度との差分の値となる。同様に、時期設定フィールド１７４において、ユーザが「月間」を選択した場合、商品表示マップ１７３に用いられる興味度は、１ヶ月前の情報（より厳密には、１ヶ月前の時点において過去の所定期間の間に取得された情報）に基づき取得された興味度と、現在の情報に基づき取得された興味度との差分の値となる。

【0138】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【0139】

ユーザは、上述の実施形態で示した行動確認画面および商品確認画面を、リアルタイムで（すなわち、現時点で収集済みの情報に基づき）管理者端末６に表示させることが可能である。

【産業上の利用可能性】

【0140】

本開示に係る店舗運営支援装置および店舗運営支援方法は、ユーザが、店舗における顧客の購買行動を客観的に把握することを可能とし、店舗運営を支援するための店舗運営支援情報をユーザに情報を提供する店舗運営支援装置および店舗運営支援方法などとして有用である。

【符号の説明】

【0141】

１ ：店舗運営支援システム
２ ：店舗
３ ：カメラ
４ ：レコーダ
５ ：店舗運営支援装置
６ ：管理者端末
１１ ：制御部
１２ ：記憶部
２１ ：映像取得部
２２ ：行動認識部
２３ ：人物属性推定部
２４ ：商品識別部
２５ ：画面生成・出力部
３１ ：映像データ
３２ ：購買行動認識モデル
３３ ：購買行動情報
３４ ：人物属性推定モデル
３５ ：商品情報
４１ ：プロセッサ
４６ ：ディスプレイ
５１ ：行動確認画面
５２ ：行動観察用映像
５３ ：期間設定フィールド
５４ ：再生コントローラ
６１ ：人物
６２ ：商品
６３ ：形態物
７５ ：第１の表示形態設定フィールド
７６ ：第２の表示形態設定フィールド
７７ ：第３の表示形態設定フィールド
７８ ：スライダ
１２６：商品管理情報取得部
１３６：商品管理情報
１５１：販売管理画面
１５２：商品売上表示領域
１６１：カテゴリ設定フィールド
１６２：ソート設定フィールド
１６３：商品状態設定フィールド
１７１：購買傾向確認画面
１７３：商品表示マップ
１７４：時期設定フィールド
１７５：注目商品表示領域
１８１：ノード画像
１８２：ポップアップ画面
１８３：エッジ画像
１９２：マップタイプ設定フィールド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】