(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022067773
(43)【公開日】2022-05-09
(54)【発明の名称】表示制御システム、及び表示制御プログラム
(51)【国際特許分類】
G06Q 30/02 20120101AFI20220426BHJP
【FI】
G06Q30/02 380
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2020176552
(22)【出願日】2020-10-21
(71)【出願人】
【識別番号】516249414
【氏名又は名称】AWL株式会社
(74)【代理人】
【識別番号】100084375
【弁理士】
【氏名又は名称】板谷 康夫
(74)【代理人】
【識別番号】100125221
【弁理士】
【氏名又は名称】水田 愼一
(74)【代理人】
【識別番号】100142077
【弁理士】
【氏名又は名称】板谷 真之
(72)【発明者】
【氏名】土田 安紘
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB08
(57)【要約】
【課題】表示制御システム及び表示制御プログラムにおいて、施設の混雑度を表示することなく、混雑していない施設に顧客を誘導する。
【解決手段】各店舗に設置された各サイネージが、当該サイネージの前にいる顧客の性別・年齢を含む選択条件と、他のサイネージの設置店舗の混雑度とに基づいて、当該サイネージ用のコンテンツ選択情報(他店舗のコンテンツの選択確率)を算出して(S4)、このコンテンツ選択情報に基づいて、他のサイネージの設置店舗(他店舗)に関するコンテンツ(割り込みコンテンツ)を表示するようにした(S6)。これにより、各サイネージが、当該サイネージが設置された店舗の混雑度(特に、店舗が空いているという情報)を表示することなく、他のサイネージの設置店舗(他店舗)のうち、上記の選択条件に適合した、混雑しておらず、安全な店舗に顧客を誘導することができる。
【選択図】
図8
【特許請求の範囲】
【請求項1】
少なくとも2つ以上の施設の各々に設置された、撮影手段を有する表示装置と、
前記撮影手段による撮影画像から、前記表示装置の各々の前にいる人を検出して、検出した人の属性を推定する推定手段と、
前記推定手段が検出した人のうち、前記表示装置の各々が設置された施設に入った人の数に基づいて、前記表示装置の各々が設置された施設の混雑度を判定する混雑度判定手段と、
前記2つ以上の施設に設置された表示装置の各々について、当該表示装置の撮影手段による撮影画像から前記推定手段が推定した、当該表示装置の前にいる人の属性を含む選択条件と、前記混雑度判定手段が判定した、当該表示装置以外の他の表示装置が設置された施設の混雑度とに基づき、当該表示装置に表示するコンテンツを選択するための情報であるコンテンツ選択情報を生成するコンテンツ選択情報生成手段と、
前記2つ以上の施設に設置された表示装置の各々が、前記コンテンツ選択情報に基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御する表示制御手段とを備えた表示制御システム。
【請求項2】
前記表示制御手段は、前記2つ以上の施設に設置された表示装置の各々が、当該表示装置が設置された施設に関するコンテンツを表示する合間に、前記コンテンツ選択情報に基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御することを特徴とする請求項1に記載の表示制御システム。
【請求項3】
前記コンテンツ選択情報生成手段は、前記2つ以上の施設に設置された表示装置の各々について、前記当該表示装置の前にいる人の属性を含む選択条件と、前記他の表示装置が設置された施設の混雑度に加えて、前記混雑度判定手段が判定した、前記当該表示装置が設置された施設の混雑度に基づき、前記コンテンツ選択情報を生成することを特徴とする請求項1又は請求項2に記載の表示制御システム。
【請求項4】
前記コンテンツ選択情報生成手段が用いる前記選択条件には、前記当該表示装置の前にいる人の属性に加えて、その時点の時間帯、前記当該表示装置が設置された施設が所在する地方の天候、及び前記当該表示装置が設置された施設の位置の少なくともいずれかの条件が含まれることを特徴とする請求項1乃至請求項3のいずれか一項に記載の表示制御システム。
【請求項5】
前記コンテンツ選択情報生成手段は、前記選択条件をベクトル化して入力すると、前記当該表示装置以外の他の表示装置が設置された施設に関するコンテンツの選択確率を出力するニューラルネットワークを備えることを特徴とする請求項1乃至請求項4のいずれか一項に記載の表示制御システム。
【請求項6】
前記2つ以上の施設に設置された表示装置の各々について、当該表示装置の撮影手段による撮影画像における人の顔画像から、前記人の顔認証のための顔認証情報を生成する顔認証情報生成手段と、
前記顔認証情報生成手段により生成された顔認証情報を用いて、ある表示装置が設置された施設の前にいた人が、別の表示装置が設置された施設に移動したか否かを検出する移動検出手段と、
前記ある表示装置の撮影手段による撮影画像から前記推定手段が推定した、前記ある表示装置の前にいた人の属性を含む選択条件と、前記ある表示装置が設置された施設の前にいた人が、前記別の表示装置が設置された施設に移動したか否かを前記移動検出手段により検出した結果とに基づいて、前記ニューラルネットワークモデルの学習用データセットを自動生成する学習用データセット生成手段とをさらに備えることを特徴とする請求項5に記載の表示制御システム。
【請求項7】
少なくとも2つ以上の施設の各々に設置された、撮影手段を有する表示装置に表示するコンテンツの切り替えを制御する表示制御プログラムであって、
コンピュータを、
前記撮影手段による撮影画像から、前記表示装置の各々の前にいる人を検出して、検出した人の属性を推定する推定手段と、
前記推定手段が検出した人のうち、前記表示装置の各々が設置された施設に入った人の数に基づいて、前記表示装置の各々が設置された施設の混雑度を判定する混雑度判定手段と、
前記2つ以上の施設に設置された表示装置の各々について、当該表示装置の撮影手段による撮影画像から前記推定手段が推定した、当該表示装置の前にいる人の属性を含む選択条件と、前記混雑度判定手段が判定した、当該表示装置以外の他の表示装置が設置された施設の混雑度とに基づき、当該表示装置に表示するコンテンツを選択するための情報であるコンテンツ選択情報を生成するコンテンツ選択情報生成手段と、
前記2つ以上の施設に設置された表示装置の各々が、前記コンテンツ選択情報に基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御する表示制御手段として機能させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御システム、及び表示制御プログラムに関する。
【背景技術】
【0002】
最近、いわゆる新型コロナウィルス(COVID-19)の感染者が増加した影響で、複合型商業施設等に来店する顧客が減少している。これは、顧客が、混雑した場所や、マスク非着用者が多い場所を回避しているということを意味する。
【0003】
上記のような顧客が混雑した場所を避けている状況下において、混雑していない施設に顧客を誘導する目的で、施設の混雑度(空き状況)を表示するシステムが存在する。このように、施設の混雑度を表示するシステムの例としては、例えば、下記の特許文献1に記載のシステムが挙げられる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記特許文献1に示されるシステムのように、当該施設が空いているという情報(混雑度)を明確に表示する手法に対しては、格好が悪いという理由で抵抗を感じる施設責任者が多いため、このようなシステムは、中々普及しない。
【0006】
本発明は、上記課題を解決するものであり、施設の混雑度を表示することなく、混雑していない施設に顧客を誘導することが可能な表示制御システム及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の第1の態様による表示制御システムは、少なくとも2つ以上の施設の各々に設置された、撮影手段を有する表示装置と、前記撮影手段による撮影画像から、前記表示装置の各々の前にいる人を検出して、検出した人の属性を推定する推定手段と、前記推定手段が検出した人のうち、前記表示装置の各々が設置された施設に入った人の数に基づいて、前記表示装置の各々が設置された施設の混雑度を判定する混雑度判定手段と、前記2つ以上の施設に設置された表示装置の各々について、当該表示装置の撮影手段による撮影画像から前記推定手段が推定した、当該表示装置の前にいる人の属性を含む選択条件と、前記混雑度判定手段が判定した、当該表示装置以外の他の表示装置が設置された施設の混雑度とに基づき、当該表示装置に表示するコンテンツを選択するための情報であるコンテンツ選択情報を生成するコンテンツ選択情報生成手段と、前記2つ以上の施設に設置された表示装置の各々が、前記コンテンツ選択情報に基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御する表示制御手段とを備える。
【0008】
この表示制御システムにおいて、前記表示制御手段は、前記2つ以上の施設に設置された表示装置の各々が、当該表示装置が設置された施設に関するコンテンツを表示する合間に、前記コンテンツ選択情報に基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御してもよい。
【0009】
この表示制御システムにおいて、前記コンテンツ選択情報生成手段は、前記2つ以上の施設に設置された表示装置の各々について、前記当該表示装置の前にいる人の属性を含む選択条件と、前記他の表示装置が設置された施設の混雑度に加えて、前記混雑度判定手段が判定した、前記当該表示装置が設置された施設の混雑度に基づき、前記コンテンツ選択情報を生成することが望ましい。
【0010】
この表示制御システムにおいて、前記コンテンツ選択情報生成手段が用いる前記選択条件には、前記当該表示装置の前にいる人の属性に加えて、その時点の時間帯、前記当該表示装置が設置された施設が所在する地方の天候、及び前記当該表示装置が設置された施設の位置の少なくともいずれかの条件が含まれることが望ましい。
【0011】
この表示制御システムにおいて、前記コンテンツ選択情報生成手段は、前記選択条件をベクトル化して入力すると、前記当該表示装置以外の他の表示装置が設置された施設に関するコンテンツの選択確率を出力するニューラルネットワークを備えるようにしてもよい。
【0012】
この表示制御システムにおいて、上記のようなニューラルネットワークを備える場合には、前記2つ以上の施設に設置された表示装置の各々について、当該表示装置の撮影手段による撮影画像における人の顔画像から、前記人の顔認証のための顔認証情報を生成する顔認証情報生成手段と、前記顔認証情報生成手段により生成された顔認証情報を用いて、ある表示装置が設置された施設の前にいた人が、別の表示装置が設置された施設に移動したか否かを検出する移動検出手段と、前記ある表示装置の撮影手段による撮影画像から前記推定手段が推定した、前記ある表示装置の前にいた人の属性を含む選択条件と、前記ある表示装置が設置された施設の前にいた人が、前記別の表示装置が設置された施設に移動したか否かを前記移動検出手段により検出した結果とに基づいて、前記ニューラルネットワークモデルの学習用データセットを自動生成する学習用データセット生成手段とをさらに備えることが望ましい。
【0013】
本発明の第2の態様による表示制御プログラムは、少なくとも2つ以上の施設の各々に設置された、撮影手段を有する表示装置に表示するコンテンツの切り替えを制御する表示制御プログラムであって、コンピュータを、前記撮影手段による撮影画像から、前記表示装置の各々の前にいる人を検出して、検出した人の属性を推定する推定手段と、前記推定手段が検出した人のうち、前記表示装置の各々が設置された施設に入った人の数に基づいて、前記表示装置の各々が設置された施設の混雑度を判定する混雑度判定手段と、前記2つ以上の施設に設置された表示装置の各々について、当該表示装置の撮影手段による撮影画像から前記推定手段が推定した、当該表示装置の前にいる人の属性を含む選択条件と、前記混雑度判定手段が判定した、当該表示装置以外の他の表示装置が設置された施設の混雑度とに基づき、当該表示装置に表示するコンテンツを選択するための情報であるコンテンツ選択情報を生成するコンテンツ選択情報生成手段と、前記2つ以上の施設に設置された表示装置の各々が、前記コンテンツ選択情報に基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御する表示制御手段として機能させる。
【発明の効果】
【0014】
本発明の第1の態様による表示制御システム、及び第2の態様による表示制御プログラムによれば、2つ以上の施設に設置された表示装置の各々が、当該表示装置の前にいる人の属性を含む選択条件と、当該表示装置以外の他の表示装置が設置された施設の混雑度とに基づいて、当該表示装置以外の他の表示装置が設置された施設に関するコンテンツを表示するように制御する。これにより、上記の表示装置の各々が、当該表示装置が設置された施設の混雑度(特に、施設が空いているという情報)を表示することなく、当該表示装置以外の他の表示装置が設置された施設のうち、上記の選択条件に適合した、混雑していない施設に顧客を誘導することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の一実施形態の表示制御システムの概略の構成を示すブロック構成図。
【
図2】
図1中のサイネージの概略のハードウェア構成を示すブロック図。
【
図3】
図1中のサイネージ管理サーバのハードウェア構成を示すブロック図。
【
図4】上記サイネージとサイネージ管理サーバの機能ブロック構成図。
【
図5】
図4中のコンテンツ選択情報生成部内の機能ブロック構成図。
【
図6】上記サイネージ管理サーバから各サイネージに配信されるコンテンツリストの説明図。
【
図7】上記サイネージにおける、上記コンテンツリストに従った表示制御処理の説明図。
【
図8】上記表示制御システムにおいて行われる、各サイネージへの割り込みコンテンツの表示制御処理のフローチャート。
【
図9】上記サイネージにおける、顧客の属性の推定処理の説明図。
【
図10】上記コンテンツ選択情報生成部における、割り込みコンテンツ選択までの流れの説明図。
【
図11】上記サイネージにおけるコンテンツ表示の説明図。
【
図12】上記サイネージとサイネージ管理サーバにおける、学習用データセットの自動生成と学習に必要な機能ブロックの構成図。
【
図13】
図4中のコンテンツ選択NNの学習用データセットの自動生成処理のタイムチャート。
【発明を実施するための形態】
【0016】
以下、本発明を具体化した実施形態による表示制御システム、及び表示制御プログラムについて、図面を参照して説明する。
図1は、本実施形態による表示制御システム10の概略の構成を示すブロック構成図である。
図1に示すように、表示制御システム10は、主に、各店舗(請求項における「施設」)Sa、Sb等に設置された、ディジタルサイネージ用のタブレット端末であるサイネージ1a、1b等と、これらのサイネージ1a、1b等とインターネットを介して接続されるサイネージ管理サーバ5とから構成される。以下の説明において、サイネージ1は、サイネージ1a、1b等の総称であり、店舗Sは、店舗Sa、Sb等の総称である。表示制御システム10は、各店舗S内に、1台以上のサイネージ1(請求項における「表示装置」)と、無線LANルータ3とを備えている。サイネージ1は、内蔵カメラ2(請求項における「撮影手段」)を備えている。
【0017】
サイネージ1は、店舗Sの前等の出入口周辺が撮影可能な場所に設置されて、そのタッチパネルディスプレイ14(
図2参照)上に、店舗に来店した(サイネージ1の前にいる)顧客(請求項における「人」)に対する広告等のコンテンツを表示すると共に、その内蔵カメラ2からのフレーム画像に基づいて、フレーム画像に映りこんだ顧客を検出して、検出した顧客の属性推定を行う。
【0018】
上記のサイネージ管理サーバ5は、店舗Sの管理部門(本社等)に設置されたサイネージ管理用のサーバである。詳細については後述するが、サイネージ管理サーバ5は、各サイネージ1から、上記の顧客の属性等の顧客情報を受信して、顧客情報に基づき、各サイネージ1に表示するコンテンツを選択するための情報であるコンテンツ選択確率(請求項における「コンテンツ選択情報」)を生成する。上記のサイネージ1とサイネージ管理サーバ5とが、請求項における「コンピュータ」に相当する。
【0019】
次に、
図2を参照して、上記のタブレットタイプのサイネージ1のハードウェア構成について説明する。サイネージ1は、上記の内蔵カメラ2に加えて、SoC(System-on-a-Chip)11と、タッチパネルディスプレイ14と、スピーカ15と、各種のデータやプログラムを記憶するメモリ16と、通信部17と、二次電池18と、充電端子19とを備えている。SoC11は、装置全体の制御及び各種演算を行うCPU12と、各種の学習済DNN(Deep Neural Networks)モデルの推論処理等に用いられるGPU13とを備えている。
【0020】
上記のメモリ16に格納されるプログラムには、サイネージ側表示制御プログラム20が含まれている。このサイネージ側表示制御プログラム20には、各種の推論モデルが含まれている。通信部17は、通信ICとアンテナを備えている。サイネージ1は、通信部17とインターネットとを介して、クラウド上のサイネージ管理サーバ5と接続されている。また、二次電池18は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、AC/DCコンバータにより直流電力に変換した後の商用電源からの電力を、蓄電して、サイネージ1の各部に供給する。
【0021】
次に、
図3を参照して、サイネージ管理サーバ5のハードウェア構成について説明する。サイネージ管理サーバ5は、装置全体の制御及び各種演算を行うCPU21と、各種のデータやプログラムを格納するハードディスク22と、RAM(Random Access Memory)23と、ディスプレイ24と、操作部25と、通信部26とを備えている。
【0022】
上記のハードディスク22に格納されるプログラムには、サーバ側表示制御プログラム27が含まれている。このサーバ側表示制御プログラム27と、上記のサイネージ側表示制御プログラム20とは、請求項における表示制御プログラムに相当する。
【0023】
図4は、上記のサイネージ1とサイネージ管理サーバ5の(通常運用時の)機能ブロックを示す。サイネージ1は、機能ブロックとして、上記の内蔵カメラ2、タッチパネルディスプレイ14、及びスピーカ15に加えて、映像入力部31と、推定部32(請求項における「推定手段」)と、コンテンツ表示制御部34(請求項における「表示制御手段」の一部)とを備えている。また、サイネージ管理サーバ5は、機能ブロックとして、コンテンツ選択情報生成部37(請求項における「コンテンツ選択情報生成手段」)を備えている。コンテンツ選択情報生成部37は、(学習済の)コンテンツ選択NN(Neural Networks)38(請求項における「ニューラルネットワーク」)を備えている。
【0024】
映像入力部31は、主に、
図2中のSoC11(不図示のI/O用チップセットを含む)により実現され、各サイネージ1の内蔵カメラ2から入力された映像ストリーム(のデータ)を受信してデコードし、フレーム画像(のデータ)にする。推定部32は、上記の各サイネージ1の内蔵カメラ2によるフレーム画像(撮影画像)から、当該サイネージ1の前にいる人(顧客)を検出して、検出した顧客の属性を推定する。推定部32が推定する顧客の属性には、性別、年齢、マスク着用の有無、及び(アルコールによる手指の)消毒実施の有無が含まれる。
【0025】
サイネージ管理サーバ5側のコンテンツ選択情報生成部37は、2つ以上の店舗Sに設置された各サイネージ1について、当該サイネージ1の内蔵カメラ2によるフレーム画像(撮影画像)から推定部32が推定した、当該サイネージ1の前にいる顧客の性別・年齢を含む選択条件と、当該サイネージ1以外の他のサイネージ1が設置された店舗Sの混雑度とに基づき、当該サイネージ1に表示するコンテンツを選択するための情報であるコンテンツ選択情報(コンテンツ選択確率)を生成する。例えば、コンテンツ選択情報生成部37は、
図1中の店舗Saに設置されたサイネージ1aについて、当該サイネージ1aの内蔵カメラ2によるフレーム画像(撮影画像)から推定部32が推定した、当該サイネージ1aの前にいる人の性別・年齢を含む選択条件と、当該サイネージ1a以外の他のサイネージ1b等から送信された来店客数に基づいて判定した、他のサイネージ1b等が設置された店舗Sb等(他店舗)の混雑度とに基づき、当該サイネージ1aに表示するコンテンツを選択するための情報であるコンテンツ選択情報を生成する。
【0026】
サイネージ1側のコンテンツ表示制御部34は、後述する
図5中のサーバ側表示制御部47と共に、各店舗Sに設置された各サイネージ1が、当該サイネージ1が設置された店舗S(自店舗)に関するコンテンツを表示する合間に、上記のコンテンツ選択情報(他店舗のコンテンツの選択確率)に基づいて、当該サイネージ1以外の他のサイネージ1が設置された店舗S(自店舗周辺の他店舗)に関するコンテンツを表示するように制御する。例えば、コンテンツ表示制御部34とサーバ側表示制御部47は、
図1中のサイネージ1aが、当該サイネージ1aが設置された店舗Sa(自店舗)に関するコンテンツを表示する合間に、上記のコンテンツ選択情報(他店舗のコンテンツの選択確率)に基づいて、当該サイネージ1a以外の他のサイネージ1b等が設置された店舗Sb等(自店舗周辺の他店舗)に関するコンテンツを表示するように制御する。
【0027】
上記のサイネージ1の機能ブロックのうち、映像入力部31、推定部32、及びコンテンツ表示制御部34は、主に、
図2中のSoC11により実現される。また、サイネージ管理サーバ5側のコンテンツ選択情報生成部37は、主に、
図3中のCPU21と通信部26とにより実現される。
【0028】
図5は、上記のサイネージ管理サーバ5のコンテンツ選択情報生成部37内の機能ブロックの例を示す。この例では、サイネージ管理サーバ5のコンテンツ選択情報生成部37が、サイネージ顧客情報受信部41、混雑度・危険度判定部42(混雑度判定手段)、コンテンツ選択確率計算部43、割り込みコンテンツ決定部44、割り込みコンテンツ配信部45、及びコンテンツリスト配信部46を備えている。これらの機能ブロックのうち、割り込みコンテンツ決定部44、割り込みコンテンツ配信部45、及びコンテンツリスト配信部46は、破線で示すサーバ側表示制御部47を構成する。このサーバ側表示制御部47は、上記のサイネージ1側のコンテンツ表示制御部34と共に、請求項における「表示制御手段」として機能する。また、サイネージ管理サーバ5は、そのハードディスク22(
図3参照)に、サイネージ顧客情報ファイル(
図5及び以下の説明において、「サイネージ顧客情報F」と記す)48と、コンテンツ情報ファイル(
図5及び以下の説明において、「コンテンツ情報F」と記す)49とを格納している。サイネージ顧客情報F48は、サイネージ群(サイネージ1a、1b等)から送信された、顧客の属性、及び来店客の検出情報等の顧客情報を格納している。コンテンツ情報F49は、各サイネージ1に送る種々のコンテンツ、及び各店舗Sのサイネージ1が表示する自店舗に関するコンテンツのリストであるコンテンツリストを格納している。
【0029】
なお、
図5に示す例では、サイネージ管理サーバ5のコンテンツ選択情報生成部37内に、サイネージ顧客情報受信部41、混雑度・危険度判定部42、コンテンツ選択確率計算部43、及びサーバ側表示制御部47(割り込みコンテンツ決定部44、割り込みコンテンツ配信部45、及びコンテンツリスト配信部46)の機能ブロックを設けた場合の例を示したが、これらの機能ブロックのうち、サイネージ顧客情報受信部41、混雑度・危険度判定部42、及びサーバ側表示制御部47については、必ずしも、コンテンツ選択情報生成部37内に設ける必要はない。従って、請求項では、コンテンツ選択情報生成部37に相当するコンテンツ選択情報生成手段と、混雑度・危険度判定部42に相当する混雑度判定手段と、サーバ側表示制御部47及びコンテンツ表示制御部34に相当する表示制御手段とを、別々の構成要件として、記載している。
【0030】
説明の都合上、
図5中の各機能ブロックのうち、コンテンツリスト配信部46から説明する。各サイネージ1が、装置起動時、及び所定時刻(例えば、深夜0:00)に、サイネージ管理サーバ5に対して、コンテンツリストのダウンロードを要求すると、コンテンツリスト配信部46は、各サイネージ1が設置された店舗に関するコンテンツリストを、コンテンツ情報F49から読み出して、各サイネージ1に配信する。
【0031】
次に、上記のコンテンツリストについて説明する。コンテンツリストは、各店舗Sのサイネージ1上で再生されるコンテンツの(表示)順序、表示時間等を示す情報である。サイネージ管理サーバ5のコンテンツ選択情報生成部37(主に、コンテンツリスト配信部46)は、各サイネージ1が設置された店舗に関するコンテンツリストを各サイネージ1に配信することにより、各サイネージ1(のコンテンツ表示制御部34)が、自店舗に関する各コンテンツを、所定の時間ずつ、繰り返して表示するように制御(指示)する。
【0032】
例えば、サイネージ1aが設置されたAレストランのコンテンツリスト51が、
図6(a)に示す内容である場合には、Aレストランに設置されたサイネージ1aは、
図7に示すように、コンテンツリスト51に従って、Aレストランのメニュー(のコンテンツ)を10秒間表示した後、Aレストランの店内映像を15秒間表示する処理を繰り返す。また、サイネージ1bが設置されたB映画館のコンテンツリスト52が、
図6(b)に示す内容である場合には、B映画館に設置されたサイネージ1bは、コンテンツリスト52に従って、B映画館のカード会員案内を30秒間表示する処理と、映画1の紹介映像を60秒間表示する処理と、映画2の紹介映像を30秒間表示する処理とを繰り返す。
【0033】
図5の各機能ブロックの説明に戻る。上記のサイネージ顧客情報受信部41は、サイネージ群(サイネージ1a、1b等)から送信された、顧客の属性、及び来店客(店舗に入店した顧客)の検出情報等の顧客情報を受信して、サイネージ顧客情報F48に格納する。なお、
図5の各機能ブロックのうち、混雑度・危険度判定部42、コンテンツ選択確率計算部43、割り込みコンテンツ決定部44、及び割り込みコンテンツ配信部45の機能については、下記の
図8の説明において、記載する。
【0034】
次に、
図8のタイムチャートを参照して、本表示制御システム10における、各サイネージ1への割り込みコンテンツ(他の店舗に関連するコンテンツ)を表示するための仕組みについて、説明する。まず、各サイネージ1(サイネージ1a、1b等)のSoC11(推定部32)が、
図9に示すように、自機の内蔵カメラ2より入力されたフレーム画像(撮影画像)から、各サイネージ1の前にいる顧客を検出(S1)して、検出した顧客の属性(性別、年齢、マスク着用の有無、及び(アルコールによる手指の)消毒実施の有無等)を推定する(S2)。また、SoC11(推定部32)は、S1で検出した顧客を追跡して、各サイネージ1の前にいる顧客のうち、このサイネージ1が設置された店舗に入店した顧客(来店客)を検出する。各サイネージ1のSoC11と通信部17は、この来店客の検出情報と、上記S2で推定した顧客の属性情報とを含む顧客情報を、一定時間毎(例えば、30秒毎)に、サイネージ管理サーバ5に送信する。
【0035】
サイネージ管理サーバ5(のサイネージ顧客情報受信部41)は、各サイネージ1から受信した上記の顧客情報をサイネージ顧客情報F48に格納する。そして、サイネージ管理サーバ5の混雑度・危険度判定部42(
図5参照)は、上記の顧客情報から得た来店客の数(すなわち、各サイネージ1の推定部32が検出した顧客のうち、各サイネージ1が設置された店舗に入店した顧客の数)に基づいて、各サイネージ1が設置された店舗の混雑度を判定すると共に、上記の顧客情報から得た来店客の数と来店客の属性情報(マスク着用の有無、及び消毒実施の有無)に基づいて、各サイネージ1が設置された店舗の危険度を判定する(S3)。
【0036】
上記S3の店舗の混雑度・危険度判定処理の具体例は、以下の通りである。まず、店舗の混雑度判定処理については、表示制御システム10の管理者等が、サイネージ1が設置された各店舗について、事前(各店舗へのサイネージ1の設置時や、店舗の改装時等)に、「店内顧客数が10人以下だと空いていて、10人を超えると少し混雑で、15人を超えると混雑」というような内容のキャパシティ情報と、来店客の店内平均滞在時間を、サイネージ管理サーバ5のハードディスク22に記憶(保持)させておく。そして、サイネージ管理サーバ5の混雑度・危険度判定部42は、サイネージ1が設置された各店舗について、上記の顧客情報から得た来店客の数と、ハードディスク22に記憶しておいた来店客の店内平均滞在時間から、現在の店内人数を計算して、この現在の店内人数と、各店舗のキャパシティ情報から、各店舗の混雑度を判定する。
【0037】
なお、上記の混雑度判定処理の変形例として、サイネージ1のSoC11(の推定部32)が、店舗の出入口に設置したサイネージ1の内蔵カメラ2によるフレーム画像から顧客の出入りを検出して、この顧客の出入りの情報をサイネージ管理サーバ5に送信し、サイネージ管理サーバ5のCPU21(の混雑度・危険度判定部42)が、この顧客の出入りの情報に基づいて、各店舗の現在の店内人数を計算して、この現在の店内人数に基づいて、各店舗の混雑度を判定するようにしてもよい。
【0038】
また、店舗の危険度判定処理については、表示制御システム10の管理者等が、サイネージ1が設置された各店舗について、事前(各店舗へのサイネージ1の設置時や、店舗の改装時等)に、「店内に3人以上マスクをつけていない人がいると危険」とか、「店内に3人以上消毒を実施していない人がいると危険」とか、「店内に3人以上マスクをつけていない人がいるか、又は3人以上消毒を実施していない人がいると危険」といった内容の危険度キャパシティ情報と、来店客の店内平均滞在時間を、サイネージ管理サーバ5のハードディスク22に記憶(保持)しておく。そして、サイネージ管理サーバ5の混雑度・危険度判定部42は、サイネージ1が設置された各店舗について、上記の顧客情報から得た、マスク非着用の来店客数及び/又は消毒未実施の来店客数と、ハードディスク22に記憶しておいた来店客の店内平均滞在時間から、店内における現在のマスク非着用の顧客人数及び/又は消毒未実施の顧客人数を計算して、この現在のマスク非着用の顧客人数及び/又は消毒未実施の顧客人数と、各店舗の危険度キャパシティ情報から、各店舗の危険度を判定する。
【0039】
上記S3の店舗の混雑度・危険度判定処理が終了すると、サイネージ管理サーバ5のコンテンツ選択確率計算部43(
図5参照)は、あるサイネージ1a(例えば、
図6等に示すAレストランに設置されたサイネージ)の前にいる顧客の性別・年齢を含む「選択条件」と、他のサイネージ1bから送信された顧客情報に基づいて上記S3で判定した、このサイネージ1bの設置店舗(例えば、
図6等に示すB映画館)の混雑度及び危険度に基づいて、上記のサイネージ1a用の(サイネージ1aに表示する割り込みコンテンツを選択するための)コンテンツ選択確率(請求項における「コンテンツ選択情報」)を算出する(S4)。
【0040】
上記の「選択条件」には、上記のあるサイネージ1aから送信された顧客情報に含まれる、当該サイネージ1aの前にいる顧客の(推定の)性別・年齢に加えて、その時点(コンテンツ選択確率計算処理の実行時)の時間帯、当該サイネージ1aの設置店舗が所在する地方の天候、当該サイネージ1aの設置店舗の位置等の条件が含まれる。この選択条件は、例えば、「13:00~15:00(の時間帯)、(天候が)雨天、(店舗の位置が)A地区、((推定の)性別・年齢が)30代女性」といったものである。上記の「選択条件」のうち、その時点の時間帯、当該サイネージ1aの設置店舗が所在する地方の天候、及びこの設置店舗の位置といった情報は、サイネージ管理サーバ5(のCPU21)が、タイマーや、ハードディスク22に格納された情報、及びネットワーク上の情報等から収集する。
【0041】
上記のコンテンツ選択確率計算部43は、
図4に示す学習済ニューラルネットワーク(コンテンツ選択NN38)を使った実装であっても良いし、シンプルなテーブルによる実装でも良い。コンテンツ選択確率計算部43は、上記のテーブル又は学習済ニューラルネットワーク(コンテンツ選択NN38)を用いて、あるサイネージ1の前にいる顧客の性別・年齢を含む「選択条件」から、この選択条件に最も合致した(あるサイネージ1用の)コンテンツ選択確率を出力する。
【0042】
ある「選択条件」が入力された時に、コンテンツ選択確率計算部43が、学習済のコンテンツ選択NN38(
図4参照)又はテーブルを用いて求めるのは、店舗Sbの(フードメニュー等の)店舗案内が5%、店舗Scの店舗案内が3%、店舗Sdの店舗案内が2%のような、ある「選択条件」において、ある店舗(例えば、店舗Sa)のサイネージ1が表示するコンテンツとして、上記のある店舗周辺の他の店舗(例えば、店舗Sb、Sc、Sd)に関するコンテンツが選択されるべき確率(選択確率)である。
【0043】
コンテンツ選択確率計算部43を、
図4に示すように、AI(コンテンツ選択NN38)を用いて実装する場合には、上記の「選択条件」は、コンテンツ選択NN38への入力ベクトルにエンベデッド(embedded)される。例えば、「選択条件」のうち、9:00~10:00、10:00~11:00、12:00~13:00の時間帯は、それぞれ、1、2、3というコードに変換されて、入力ベクトルに埋め込まれる(取り込まれる)。また、あるサイネージ1aの設置店舗が所在する地方の天候も、1(晴)、2(曇り)、3(雨)といったコードに変換されて、入力ベクトルに埋め込まれる。学習済のコンテンツ選択NN38は、上記のように、あるサイネージ1(例えば、サイネージ1a)についての、コード化された選択条件が埋め込まれたベクトルを入力すると、あるサイネージ1以外の他のサイネージが設置された他の店舗(例えば、サイネージ1a周辺の店舗Sb、Sc等)に関するコンテンツの選択確率を出力する。
【0044】
コンテンツ選択確率計算部43は、上記の他の店舗(例えば、店舗Sb、Sc等)に関するコンテンツの選択確率と、他の店舗の混雑度・危険度から算出した、他の店舗の安全性を表す係数(以下、「安全係数」という)とをかけ合わせて、最終的な他の店舗に関するコンテンツの選択確率を算出し、出力する。上記の「安全係数」は、例えば、0~1の範囲の値であり、上記の他の店舗(施設)の混雑度及び危険度が高い程、0に近づき、混雑度及び危険度が低い程、1に近づく。
【0045】
例えば、コンテンツ選択確率計算部43がコンテンツ選択NN38又はテーブルを用いて直接求めた、上記の他の店舗に関するコンテンツの選択確率が、店舗Sbの店舗案内が5%、店舗Scの店舗案内が3%、店舗Sdの店舗案内が2%であるときには、コンテンツ選択確率計算部43が出力する最終的なコンテンツ選択確率は、以下のようになる。すなわち、この場合のコンテンツ選択確率は、店舗Sbの店舗案内が、5%×店舗Sbの「安全係数」、店舗Scの店舗案内が、3%×店舗Scの「安全係数」、店舗Sdの店舗案内が、2%×店舗Sdの「安全係数」という内容になる。例えば、店舗Sb、Sc、Sdの「安全係数」が、それぞれ、0.6、0、1の場合には、コンテンツ選択確率計算部43が出力する最終的なコンテンツ選択確率は、店舗Sbの店舗案内が3%(5%×0.6)、店舗Scの店舗案内が0%(3%×0)、店舗Sdの店舗案内が2%(2%×1)という内容になる。
【0046】
図8の説明に戻る。上記S4のコンテンツ選択確率算出処理が終了すると、サイネージ管理サーバ5の割り込みコンテンツ決定部44は、あるサイネージ1(例えば、サイネージ1a)用の割り込みコンテンツを決定(選択)する(S5)。
【0047】
次に、
図10を参照して、コンテンツ選択情報生成部37における、上記割り込みコンテンツの選択までの流れについて説明する。上記のように、サイネージ管理サーバ5の混雑度・危険度判定部42は、各サイネージ1から受信した顧客情報から得た来店客の数と来店客の属性情報(マスク着用の有無、及び消毒実施の有無)に基づいて、各サイネージ1が設置された店舗の混雑度と危険度を判定する。そして、コンテンツ選択確率計算部43は、あるサイネージ1a(例えば、
図6等に示すAレストランに設置されたサイネージ)の前にいる顧客の性別・年齢を含む「選択条件」と、他のサイネージ1bから送信された顧客情報に基づいて混雑度・危険度判定部42が判定した、このサイネージ1bの設置店舗(あるサイネージ1aの設置店舗周辺の他店舗であり、例えば、
図6等に示すB映画館)の混雑度及び危険度に基づいて、上記のサイネージ1a用の割り込みコンテンツの選択確率を算出して、この割り込みコンテンツの選択確率と上記の安全係数とをかけ合わせることにより、最終的なコンテンツ選択確率を得る。
【0048】
割り込みコンテンツ決定部44は、乱数Rを発生させて、上記の最終的なコンテンツ選択確率と乱数Rより、上記のサイネージ1a用の割り込みコンテンツを決定する。具体的には、例えば、
図10に示すように、コンテンツ選択確率計算部43が出力(算出)した、最終的なコンテンツ選択確率が、B映画館の映画1の紹介映像が35%、B映画館の映画2の紹介映像が10%という内容であった場合には、割り込みコンテンツ決定部44は、0~99のいずれかの乱数Rを発生させて、発生させた乱数Rが、0<R<34のときは、B映画館の映画1の紹介映像を、35<R<44のときは、B映画館の映画2の紹介映像を、上記のサイネージ1a用の割り込みコンテンツとして選択する。
図5中の割り込みコンテンツ配信部45は、上記の割り込みコンテンツ決定部44が選択した割り込みコンテンツを、サイネージ1aへ送信する。なお、割り込みコンテンツ決定部44は、発生させた乱数Rが、45<R<99のときは、割り込みコンテンツの選択を行わない。従って、このときは、割り込みコンテンツ配信部45は、割り込みコンテンツをサイネージ1aへ送信しない。
【0049】
なお、上記
図10の説明では、割り込みコンテンツとして、あるサイネージ1aの設置店舗周辺の他の1店舗(B映画館)に関するコンテンツのみを表示する場合の例を示したが、あるサイネージ1aの設置店舗周辺の他の複数のサイネージの設置店舗(例えば、サイネージ1bが設置されたB映画館と、サイネージ1cが設置されたC雑貨店)が、いずれも、サイネージ1aが設置されたAレストランに比べて、安全で、危険度が低い場合には、割り込みコンテンツとして、これらの複数の店舗に関するコンテンツを表示するようにしてもよい。
【0050】
図8の説明に戻る。上記S5の割り込みコンテンツ決定処理が終了して、割り込みコンテンツ配信部45が、割り込みコンテンツを上記のサイネージ1aへ送信すると、サイネージ1aは、自機が設置された店舗に関するコンテンツを表示する合間に、他のサイネージ1b等の設置店舗に関するコンテンツである割り込みコンテンツを表示する(S6)。
【0051】
次に、
図11を参照して、サイネージ1におけるコンテンツの表示について、説明する。サイネージ1は、サイネージ管理サーバ5(の割り込みコンテンツ配信部45)から割り込みコンテンツを受信すると、上記のコンテンツリストに従った(自機の設置店舗に関する)コンテンツの再生を中断して、(他のサイネージ1の設置店舗に関する)割り込みコンテンツを表示する。例えば、Aレストランに設置されたサイネージ1が、サイネージ管理サーバ5から、
図11に示すように、割り込みコンテンツとして、B映画館の映画1の紹介映像を受信すると、上記のサイネージ1は、コンテンツリストに従ったAレストランに関するコンテンツ(例えば、Aレストランのメニュー(のコンテンツ))の再生を中断して、B映画館の映画1の紹介映像(割り込みコンテンツ)を、タッチパネルディスプレイ14上に表示する。
【0052】
なお、Aレストランに設置されたサイネージ1が、サイネージ管理サーバ5から、上記の割り込みコンテンツ(B映画館の映画1の紹介映像)に加えて、自機の設置店舗(Aレストラン)の混雑度及び/又は危険度の情報を受信して、受信した自機の設置店舗(自店舗)の混雑度及び/又は危険度を表す情報を、割り込みコンテンツに重畳表示してもよい。この際、店舗内が危険であるという情報を表示するのは、不適切であるため、サイネージ1は、受信した自店舗の危険度が高い場合にも、受信した自店舗の混雑度が高い場合と同様に、自店舗(自機の設置店舗)が混雑しているという表示にする方が良い。
【0053】
サイネージ1のコンテンツ表示制御部34(
図4参照)は、
図11に示すように、上記の割り込みコンテンツの表示が完了すると、上記のコンテンツリストに従った(自機の設置店舗に関する)コンテンツの再生を再開する。
【0054】
本表示制御システム10は、上記
図4に示すコンテンツ選択NN38の学習用データセットを自動生成する機能を有している。この学習用データセット自動生成機能について、
図12及び
図13を参照して、説明する。
図12は、サイネージ1とサイネージ管理サーバ5における、上記の学習用データセット自動生成と、自動生成した学習用データセットを用いた学習に必要な機能ブロックを示す。サイネージ1は、学習用データセット自動生成機能に必要な機能ブロックとして、
図4に記載された内蔵カメラ2と、映像入力部31と、推定部32に加えて、顔認証情報生成部62(請求項における「顔認証情報生成手段」)を備えている。顔認証情報生成部62は、各サイネージ1の内蔵カメラ2によるフレーム画像(撮影画像)における顧客の顔画像から、顧客の顔認証のための顔認証情報を生成する。具体的には、顔認証情報生成部62は、推定部32が有する顔検出部61(顔検出用の学習済DNN(Deep Neural Networks)モデル(以下、「顔検出モデル」と略す))で検出した顧客の顔の切り抜き画像(顔画像)から、顧客の顔認証のための顔認証情報を生成する。
【0055】
一方、サイネージ管理サーバ5は、学習用データセット自動生成及び学習に必要な機能ブロックとして、移動検出部64(請求項における「移動検出手段」)と、学習用データセット生成部65(請求項における「学習用データセット生成手段」)と、学習部67とを備えている。また、サイネージ管理サーバ5は、コンテンツ選択NN38の教師データ(訓練データ)を集めた学習用データセット66を備えている。この学習用データセット66は、ハードディスク22(
図3参照)に格納されている。上記の移動検出部64は、顔認証情報生成部62により生成された顔認証情報を用いて、あるサイネージ1が設置された店舗の前にいた顧客が、別のサイネージ1が設置された店舗に移動したか否かを検出する。学習用データセット生成部65は、あるサイネージ1の内蔵カメラ2による撮影画像から推定部32が推定した、上記のあるサイネージ1の前にいた顧客の属性(性別・年齢)を含む選択条件と、上記のあるサイネージ1の設置店舗の前にいた顧客が、別のサイネージ1の設置店舗に移動したか否かを移動検出部64により検出した結果とに基づいて、コンテンツ選択NN38の学習用データセット66を自動生成する。また、学習部67は、学習用データセット生成部65が自動生成した学習用データセット66を用いて、コンテンツ選択NN38の学習を行う。
【0056】
図13は、コンテンツ選択NN38の学習用データセット66の自動生成処理を示すタイムチャートである。
図13を参照して、上記の学習用データセット66の自動生成処理の具体例を説明する。この例では、各サイネージ1側の推定部32が、推論処理用の学習済DNNモデルとして、上記の顔検出部61に用いられる顔検出モデルに加えて、性別・年齢推定モデルを備えている。また、顔認証情報生成部62が、ベクトル化モデルを備えている。一方、サイネージ管理サーバ5側では、移動検出部64が、推論処理用の学習済DNNモデルとして、顧客の顔ベクトルに基づく顧客の同定処理(顧客のReID(Person Re-Identification)処理)用のDNNモデルを備えている。
【0057】
上記の構成において、まず、表示制御システム10における各サイネージ1(例えば、サイネージ1a,1b,1c)の顔検出部61(顔検出モデル)が、内蔵カメラ2から入力されたフレーム画像に映りこんだ顧客の顔を検出して(S11)、検出した顔の座標位置(例えば、顔の中心を表す座標と、顔の横幅及び縦幅を表す座標範囲)を出力する。次に、推定部32に含まれる性別・年齢推定モデルが、上記の顔検出部61で検出した顧客の顔の切り抜き画像を用いて、この顧客の属性(性別及び年齢(年代))の推定処理を行う(S12)。そして、顔認証情報生成部62に含まれるベクトル化モデルが、上記の顔検出部61で検出した顧客の顔の切り抜き画像(顔画像)に対してベクトル化処理を行う(S13)。各サイネージ1のSoC11と通信部17は、上記のベクトル化処理の結果であるベクトルを、顔ベクトル(請求項における「顔認証情報」)として、サイネージ管理サーバ5に送信する。
【0058】
サイネージ管理サーバ5の移動検出部64は、上記の顧客の同定処理(顧客のReID処理)用のDNNモデルを用いて、各サイネージ1から送信された顔ベクトルに基づき、あるサイネージ1が設置された店舗の前にいた顧客が、別のサイネージ1が設置された店舗に移動したか否かを検出する(S14)。そして、サイネージ管理サーバ5の学習用データセット生成部65が、あるサイネージ1の前にいた顧客の性別・年齢を含む選択条件と、上記のあるサイネージ1の設置店舗の前にいた顧客が、別のサイネージ1の設置店舗に移動したか否かを移動検出部64により検出した結果とに基づいて、コンテンツ選択NN38の学習用データセット66を自動生成する(S15)。
【0059】
上記S15の自動生成処理により、あるサイネージ1の前にいた顧客の性別・年齢を含む選択条件と、この選択条件のときに、この顧客が、この店舗(例えば、Aレストラン)から、別のサイネージ1の設置店舗(例えば、B映画館)に移動したか否かの検出結果に基づいて、上記の選択条件と検出結果の組み合わせから構成される教師データを集めることができる。このような教師データを集めた学習用データセット66を用いて、コンテンツ選択NN38の学習を行うことにより、学習済みのコンテンツ選択NN38が、あるサイネージ1(例えば、Aレストランに設置されたサイネージ)の前にいる顧客の性別・年齢を含む「選択条件」を入力したときに、過去に、この選択条件に合致する顧客が、この店舗(例えば、Aレストラン)の前から、別のサイネージ1の設置店舗(例えば、B映画館)に移動した確率に応じた、コンテンツ選択確率を出力することができる。
【0060】
上記のように、本実施形態の表示制御システム10、及び表示制御プログラム(サイネージ側制御プログラム20(
図2参照)と、サーバ側表示制御プログラム27(
図3参照))によれば、2つ以上の店舗に設置されたサイネージ1の各々が、当該サイネージ1の前にいる顧客の性別・年齢を含む選択条件と、当該サイネージ1以外の他のサイネージ1が設置された店舗の混雑度及び危険度とに基づいて、当該サイネージ1以外の他のサイネージ1が設置された店舗に関するコンテンツ(割り込みコンテンツ)を表示するように制御する。これにより、上記のサイネージ1の各々が、当該サイネージ1が設置された店舗の混雑度(特に、店舗が空いているという情報)を表示することなく、当該サイネージ1以外の他のサイネージ1が設置された店舗のうち、上記の選択条件に適合した、混雑しておらず、安全な店舗に顧客を誘導することができる。
【0061】
また、本実施形態の表示制御システム10によれば、サイネージ1側のコンテンツ表示制御部34と、サーバ側表示制御部47は、各店舗に設置された各サイネージ1が、当該サイネージ1が設置された店舗(自店舗)に関するコンテンツを表示する合間に、コンテンツ選択情報(他店舗のコンテンツの選択確率)に基づいて、当該サイネージ1以外の他のサイネージ1が設置された店舗(他店舗)に関するコンテンツを表示するように制御する。これにより、各店舗に設置された各サイネージ1が、当該サイネージ1が設置された店舗(自店舗)に関するコンテンツを表示することをベースにしつつ、当該サイネージ1以外の他のサイネージ1が設置された店舗(他店舗)のうち、混雑しておらず、安全な店舗に顧客を誘導することができる。
【0062】
また、本実施形態の表示制御システム10によれば、コンテンツ選択情報生成部37(特に、コンテンツ選択確率計算部43)が用いる選択条件には、当該サイネージ1の前にいる顧客の性別・年齢に加えて、その時点(コンテンツ選択確率計算処理の実行時)の時間帯、当該サイネージ1の設置店舗が所在する地方の天候、及び当該サイネージ1の設置店舗の位置といった条件が含まれるようにした。これにより、当該サイネージ1が、当該サイネージ1の前にいる顧客の性別・年齢だけではなく、その時点(コンテンツ選択確率計算処理の実行時)の時間帯、当該サイネージ1の設置店舗が所在する地方の天候、及び当該サイネージ1の設置店舗の位置といった条件に適合した他店舗(当該サイネージ1以外の他のサイネージ1が設置された店舗)に関するコンテンツを表示することができる。
【0063】
また、本実施形態の表示制御システム10によれば、あるサイネージ1の前にいた顧客の(推定部32により推定した)性別・年齢を含む選択条件と、上記のあるサイネージ1の設置店舗の前にいた顧客が、別のサイネージ1の設置店舗に移動したか否かを、顔認証情報(顔ベクトル)を用いて検出した結果とに基づいて、コンテンツ選択NN38の学習用データセット66を自動生成するようにした。このような学習用データセット66を用いて、コンテンツ選択NN38の学習を行うことにより、学習済みのコンテンツ選択NN38が、あるサイネージ1の前にいる顧客の性別・年齢を含む選択条件を入力したときに、過去に、この選択条件に合致する顧客が、このサイネージ1の設置店舗の前から、別のサイネージ1の設置店舗に移動した確率に応じた、コンテンツの選択確率を出力することができる。
【0064】
変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【0065】
変形例1:
上記の実施形態では、コンテンツ選択情報生成部37(主に、コンテンツ選択確率計算部43)は、2つ以上の店舗に設置された各サイネージ1について、当該サイネージ1の前にいる顧客の性別・年齢を含む選択条件と、他のサイネージ1が設置された店舗(他店舗)の混雑度及び危険度とに基づき、コンテンツ選択情報(コンテンツ選択確率)を生成するようにした。けれども、コンテンツ選択情報生成部は、必ずしも、他店舗の混雑度と危険度の両方に基づいて、上記のコンテンツ選択情報(コンテンツ選択確率)を生成する必要はない。すなわち、コンテンツ選択情報生成部は、2つ以上の店舗に設置された各サイネージについて、当該サイネージの前にいる顧客の性別・年齢を含む選択条件と、他のサイネージが設置された店舗(他店舗)の混雑度のみに基づいて、コンテンツ選択情報(コンテンツ選択確率)を生成するようにしてもよい。
【0066】
変形例2:
また、コンテンツ選択情報生成部は、2つ以上の店舗に設置された各サイネージについて、当該サイネージの前にいる顧客の性別・年齢を含む選択条件と、他のサイネージが設置された店舗(他店舗)の混雑度及び危険度に加えて、混雑度・危険度判定部が判定した、当該サイネージが設置された店舗(自店舗)の混雑度及び危険度に基づいて、コンテンツ選択情報(コンテンツ選択確率)を生成するようにしてもよい。これにより、2つ以上の店舗に設置された各サイネージについて、当該サイネージが設置された自店舗の混雑度及び危険度が高い場合には、当該サイネージが、他のサイネージが設置された他店舗のうち、上記の選択条件に適合した、混雑度及び危険度が低い店に関するコンテンツ(割り込みコンテンツ)を表示する確率を高め、逆に、当該サイネージが設置された自店舗の混雑度及び危険度が低い場合には、当該サイネージが、上記の割り込みコンテンツを表示する確率を低くするように制御することができる。
【0067】
上記の場合も、変形例1の場合と同様に、コンテンツ選択情報生成部は、必ずしも、混雑度と危険度の両方に基づいて、上記のコンテンツ選択情報(コンテンツ選択確率)を生成する必要はない。すなわち、コンテンツ選択情報生成部は、2つ以上の店舗に設置された各サイネージ1について、当該サイネージ1の前にいる顧客の性別・年齢を含む選択条件と、他のサイネージ1が設置された店舗(他店舗)の混雑度に加えて、当該サイネージ1が設置された店舗(自店舗)の混雑度に基づいて、コンテンツ選択情報(コンテンツ選択確率)を生成するようにしてもよい。
【0068】
変形例3:
また、上記の実施形態では、コンテンツ選択情報生成部37(主に、コンテンツ選択確率計算部43)が用いる選択条件に含まれる属性が、顧客の性別・年齢だけである場合の例を示したが、上記の選択条件に含まれる属性は、これらに限られず、例えば、顧客の服装や、顧客の装身具(例えば、サングラス、イヤリング等)着用の有無、顧客のグループ属性(3人以上の家族連れか、カップルか、同年代の友人同士か、一人かといったグループの種類)等であっても良い。
【0069】
変形例4:
また、上記の実施形態では、サイネージ管理サーバ5の混雑度・危険度判定部42が、各サイネージ1から受信した顧客情報から得た来店客の数と来店客の属性情報(マスク着用の有無、及び消毒実施の有無)に基づいて、各サイネージ1の設置店舗の混雑度と危険度を判定するようにした。けれども、本発明は、この構成に限られず、サイネージ側に、混雑度・危険度判定部を設けて、このサイネージ1側の混雑度・危険度判定部が、推定部が推定した来店客の数と来店客の属性情報(マスク着用の有無、及び消毒実施の有無)に基づいて、各サイネージ1の設置店舗の混雑度と危険度を判定して、この店舗の混雑度と危険度の情報を、サイネージ管理サーバ5に送信するようにしてもよい。
【0070】
変形例5:
また、上記の実施形態では、本発明におけるコンテンツ選択情報が、当該サイネージ1以外の他のサイネージ1が設置された店舗(他店舗)のコンテンツの選択確率(コンテンツ選択確率)である場合の例を示したが、コンテンツ選択情報は、これに限られず、この情報に基づいて、当該サイネージに、他のサイネージの設置店舗(他店舗)のコンテンツを表示するように制御することが可能な情報であれば良い。例えば、コンテンツ選択情報は、(コンテンツリストに従った)当該サイネージの設置店舗(例えば、Aレストラン)に関するコンテンツが11秒、他のサイネージの設置店舗に関する1つ目のコンテンツ(例えば、B映画館の映画1の紹介映像)が7秒、他のサイネージの設置店舗に関する2つ目のコンテンツ(例えば、B映画館の映画2の紹介映像)が2秒といった、コンテンツ表示時間(の組み合わせ)の情報であっても良い。
【0071】
変形例6:
また、上記の実施形態では、コンテンツ選択NN38の学習用データセット66の自動生成処理において、移動検出部64が、顧客の顔画像をベクトル化した顔ベクトルに基づき、あるサイネージ1が設置された店舗の前にいた顧客が、別のサイネージ1が設置された店舗に移動したか否かを検出するようにした。すなわち、移動検出部64は、顧客の同定に用いる認証情報として、顧客の顔画像をベクトル化した顔ベクトルを用いた。けれども、これに限られず、移動検出部は、顧客の同定に用いる認証情報として、顧客の体全体の画像をベクトル化した顧客ベクトルを用いても良いし、顧客の顔や体の特徴(例えば、顔の輪郭、顔のテクスチャ(シミ、しわ、たるみ)、両目の間の距離等)を表す何らかの特徴量を用いても良い。
【符号の説明】
【0072】
1、1a、1b、1c サイネージ(表示装置)
2 内蔵カメラ(撮影手段)
20 サイネージ側表示制御プログラム(表示制御プログラム)
27 サーバ側表示制御プログラム(表示制御プログラム)
32 推定部(推定手段)
34 コンテンツ表示制御部(表示制御手段)
37 コンテンツ選択情報生成部(コンテンツ選択情報生成手段)
38 コンテンツ選択NN(ニューラルネットワーク)
42 混雑度・危険度判定部(混雑度判定手段)
47 サーバ側表示制御部(表示制御手段)
62 顔認証情報生成部(顔認証情報生成手段)
64 移動検出部(移動検出手段)
65 学習用データセット生成部(学習用データセット生成手段手段)
66 学習用データセット
S、Sa、Sb、Sc、Sd 店舗(施設)