(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-23
(45)【発行日】2024-01-31
(54)【発明の名称】サイネージ制御システム、及びサイネージ制御プログラム
(51)【国際特許分類】
G06Q 30/0251 20230101AFI20240124BHJP
【FI】
G06Q30/0251
(21)【出願番号】P 2020081542
(22)【出願日】2020-05-01
【審査請求日】2023-03-10
(73)【特許権者】
【識別番号】516249414
【氏名又は名称】AWL株式会社
(74)【代理人】
【識別番号】100084375
【氏名又は名称】板谷 康夫
(74)【代理人】
【識別番号】100125221
【氏名又は名称】水田 愼一
(74)【代理人】
【識別番号】100142077
【氏名又は名称】板谷 真之
(72)【発明者】
【氏名】土田 安紘
【審査官】松田 岳士
(56)【参考文献】
【文献】特開2019-159468(JP,A)
【文献】特開2013-109051(JP,A)
【文献】国際公開第2020/246596(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G09G 5/00- 5/42
(57)【特許請求の範囲】
【請求項1】
サイネージと、前記サイネージの前方を撮影するサイネージ側カメラと、所定の撮影エリアを撮影する1つ以上の監視カメラとを備えたサイネージ制御システムであって、
前記サイネージ側カメラからのフレーム画像であるサイネージ側画像、及び前記監視カメラからのフレーム画像である監視カメラ側画像に基づいて、これらのフレーム画像内の人物を特定するための人物特徴量と、これらのフレーム画像に映り込んだ人物の属性及び行動とを推定する推定部と、
前記推定部が、前記サイネージ側カメラ及び前記監視カメラのうち、あるカメラからのフレーム画像に基づいて推定した、ある人物についての前記人物特徴量と前記属性と前記行動の推定結果を、対応付けて記憶する記憶部と、
前記記憶部に記憶された前記人物特徴量に基づいて、同じ人物についての複数のカメラからのフレーム画像に基づく前記推定結果を連結して、各人物の推定結果群を生成する推定結果連結部と、
前記推定結果連結部により生成された推定結果群に含まれる、前記サイネージのコンテンツを視認可能な位置にいると予測される人物の前記属性と、当該人物のこれまでの前記行動とに基づいて、前記サイネージに表示するコンテンツを切り替えるコンテンツ切替部とをさらに備えるサイネージ制御システム。
【請求項2】
前記監視カメラで撮影したフレーム画像に映りこんだ各人物が、前記サイネージのコンテンツを視認可能な位置に到達する到達時刻を推定する到達時刻推定部をさらに備え、
前記コンテンツ切替部は、前記到達時刻推定部による推定の結果、前記コンテンツを視認可能な位置に到達すると予測される各人物について、前記到達時刻推定部により前記コンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻に、前記推定結果連結部により生成された推定結果群に含まれる、当該人物の前記属性と、当該人物のこれまでの前記行動とに基づいて、前記サイネージに表示するコンテンツを切り替えることを特徴とする請求項1に記載のサイネージ制御システム。
【請求項3】
前記推定結果連結部は、前記到達時刻推定部による推定の結果、前記コンテンツを視認可能な位置に到達すると予測される各人物について、前記記憶部に記憶された各推定結果に含まれる前記人物特徴量に基づいて、同じ人物についての複数のカメラからのフレーム画像に基づく推定結果を連結して、各人物の推定結果群を生成することを特徴とする請求項2に記載のサイネージ制御システム。
【請求項4】
前記到達時刻推定部は、前記監視カメラ側画像に映りこんだ各人物についての移動ベクトルと、前記各人物が前記監視カメラ側画像に現れた時刻とから、前記各人物が前記サイネージのコンテンツを視認可能な位置に到達する到達時刻を推定することを特徴とする請求項2又は請求項3に記載のサイネージ制御システム。
【請求項5】
前記コンテンツ切替部は、前記到達時刻推定部による推定の結果、ある時刻に前記サイネージのコンテンツを視認可能な位置にいると予測される人物の数が複数のときは、これら複数の人物について前記推定部により推定された属性のうち、前記複数の人物に共通する属性に応じたコンテンツを、前記サイネージに表示することを特徴とする請求項2乃至請求項4のいずれか一項に記載のサイネージ制御システム。
【請求項6】
前記コンテンツ切替部は、前記到達時刻推定部による推定の結果、ある時刻に前記サイネージのコンテンツを視認可能な位置にいると予測される人物の数が複数であって、これら複数の人物について前記推定部により推定された属性のうち、前記複数の人物に共通する属性がないときには、デフォルトのコンテンツを、前記サイネージに表示することを特徴とする請求項5に記載のサイネージ制御システム。
【請求項7】
前記属性は、性別及び年齢であることを特徴とする請求項1乃至請求項6のいずれか一項に記載のサイネージ制御システム。
【請求項8】
サイネージに表示するコンテンツの切り替えを制御するサイネージ制御プログラムであって、
コンピュータを、
前記サイネージの前方を撮影するサイネージ側カメラからのフレーム画像であるサイネージ側画像、及び所定の撮影エリアを撮影する1つ以上の監視カメラからのフレーム画像である監視カメラ側画像に基づいて、これらのフレーム画像内の人物を特定するための人物特徴量と、これらのフレーム画像に映り込んだ人物の属性及び行動とを推定する推定部と、
前記推定部が、前記サイネージ側カメラ及び前記監視カメラのうち、あるカメラからのフレーム画像に基づいて推定した、ある人物についての前記人物特徴量と前記属性と前記行動の推定結果を、対応付けて記憶する記憶部と、
前記記憶部に記憶された前記人物特徴量に基づいて、同じ人物についての複数のカメラからのフレーム画像に基づく前記推定結果を連結して、各人物の推定結果群を生成する推定結果連結部と、
前記推定結果連結部により生成された推定結果群に含まれる、前記サイネージのコンテンツを視認可能な位置にいると予測される人物の前記属性と、当該人物のこれまでの前記行動とに基づいて、前記サイネージに表示するコンテンツを切り替えるコンテンツ切替部として機能させるためのサイネージ制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サイネージ制御システム、及びサイネージ制御プログラムに関する。
【背景技術】
【0002】
従来から、店舗等の商業施設や駅等に設置されるディジタルサイネージと呼ばれる映像表示システムがある。このディジタルサイネージは、主に広告媒体として利用されており、簡単に広告を切り替えることができる。ディジタルサイネージを店舗に設置した場合の効果は、「広告が顧客の目を引けたか」、「ディジタルサイネージに広告を表示した結果、具体的な購買行動につながったか」ということで、評価できる。
【0003】
上記の「広告が顧客の目を引けたか」という点については、ディジタルサイネージ用の端末(以下、「サイネージ」と略す)に搭載されているカメラを利用して、サイネージにコンテンツを表示している時の顧客の画像を撮影し、この顧客の撮影画像を用いて、コンテンツ表示時の顧客状況(視線、顔向き、サイネージの方を注視している時間、及び顧客の性別・年齢等の属性情報)を取得することにより、分析することが可能である。近年、タブレット端末を利用したタブレットタイプのサイネージにおいて、サイネージ(のディスプレイ)に広告用のコンテンツを表示して、このコンテンツを視聴する顧客の属性や行動を分析し、この分析結果(顧客の属性や行動)に応じて、サイネージに表示するコンテンツを切り替えるようにしたシステムが知られている。
【0004】
引用文献1は、上記のようなコンテンツを視聴する顧客の属性や行動に応じて、サイネージに表示するコンテンツを切り替えるようにしたシステム(以下、「サイネージ制御システム」という)の例を開示している。この引用文献1のシステム(サイネージ制御システム)は、サイネージに搭載されているカメラで撮影した顧客の画像に基づいて、サイネージに表示されたコンテンツを視聴中の顧客(ユーザ)の属性を推定し、推定した属性に基づいて、サイネージに表示するコンテンツを切り替える。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、上記特許文献1に示されるシステムを含む、従来のサイネージ制御システムでは、サイネージに搭載されているカメラで撮影した顧客の画像のみに基づいて、サイネージに表示されているコンテンツを視聴する顧客の属性や行動を分析し、この分析結果に応じて、サイネージに表示するコンテンツを切り替える。従って、従来のサイネージ制御システムは、サイネージ(のカメラ)の前で起きた顧客の行動を分析して、この顧客の行動に基づいて、サイネージに表示するコンテンツを切り替えることはできるが、顧客がサイネージの前に来るまでの行動を考慮して、サイネージに表示するコンテンツを切り替えることはできない。また、従来のサイネージ制御システムのように、サイネージに搭載されているカメラで撮影した顧客の画像のみに基づいて、顧客の属性や行動を分析する方法では、顧客がサイネージの前に来るまで、顧客の属性や行動の分析を開始することができないので、顧客がサイネージの前方(であって、人がサイネージに表示されるコンテンツの内容を視認可能な範囲の場所)に来た時に、直ぐに、顧客の興味を引くようなコンテンツを表示することができなかった。
【0007】
本発明は、上記課題を解決するものであり、顧客等の人物がサイネージの前に来るまでの行動を考慮して、サイネージに表示するコンテンツを切り替えることができ、しかも、顧客等の人物がサイネージのコンテンツ(の内容)を視認可能な位置に来た時に、直ぐに、顧客等の人物の興味を引くようなコンテンツを表示することが可能なサイネージ制御システム及びサイネージ制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の第1の態様によるサイネージ制御システムは、サイネージと、前記サイネージの前方を撮影するサイネージ側カメラと、所定の撮影エリアを撮影する1つ以上の監視カメラとを備えたサイネージ制御システムであって、前記サイネージ側カメラからのフレーム画像であるサイネージ側画像、及び前記監視カメラからのフレーム画像である監視カメラ側画像に基づいて、これらのフレーム画像内の人物を特定するための人物特徴量と、これらのフレーム画像に映り込んだ人物の属性及び行動とを推定する推定部と、前記推定部が、前記サイネージ側カメラ及び前記監視カメラのうち、あるカメラからのフレーム画像に基づいて推定した、ある人物についての前記人物特徴量と前記属性と前記行動の推定結果を、対応付けて記憶する記憶部と、前記記憶部に記憶された前記人物特徴量に基づいて、同じ人物についての複数のカメラからのフレーム画像に基づく前記推定結果を連結して、各人物の推定結果群を生成する推定結果連結部と、前記推定結果連結部により生成された推定結果群に含まれる、前記サイネージのコンテンツを視認可能な位置にいると予測される人物の前記属性と、当該人物のこれまでの前記行動とに基づいて、前記サイネージに表示するコンテンツを切り替えるコンテンツ切替部とをさらに備える。
【0009】
このサイネージ制御システムにおいて、前記監視カメラで撮影したフレーム画像に映りこんだ各人物が、前記サイネージのコンテンツを視認可能な位置に到達する到達時刻を推定する到達時刻推定部をさらに備え、前記コンテンツ切替部は、前記到達時刻推定部による推定の結果、前記コンテンツを視認可能な位置に到達すると予測される各人物について、前記到達時刻推定部により前記コンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻に、前記推定結果連結部により生成された推定結果群に含まれる、当該人物の前記属性と、当該人物のこれまでの前記行動とに基づいて、前記サイネージに表示するコンテンツを切り替えることが望ましい。
【0010】
このサイネージ制御システムにおいて、前記推定結果連結部は、前記到達時刻推定部による推定の結果、前記コンテンツを視認可能な位置に到達すると予測される各人物について、前記記憶部に記憶された各推定結果に含まれる前記人物特徴量に基づいて、同じ人物についての複数のカメラからのフレーム画像に基づく推定結果を連結して、各人物の推定結果群を生成することが望ましい。
【0011】
このサイネージ制御システムにおいて、前記到達時刻推定部は、前記監視カメラ側画像に映りこんだ各人物についての移動ベクトルと、前記各人物が前記監視カメラ側画像に現れた時刻とから、前記各人物が前記サイネージのコンテンツを視認可能な位置に到達する到達時刻を推定するようにしてもよい。
【0012】
このサイネージ制御システムにおいて、前記コンテンツ切替部は、前記到達時刻推定部による推定の結果、ある時刻に前記サイネージのコンテンツを視認可能な位置にいると予測される人物の数が複数のときは、これら複数の人物について前記推定部により推定された属性のうち、前記複数の人物に共通する属性に応じたコンテンツを、前記サイネージに表示することが望ましい。
【0013】
このサイネージ制御システムにおいて、前記コンテンツ切替部は、前記到達時刻推定部による推定の結果、ある時刻に前記サイネージのコンテンツを視認可能な位置にいると予測される人物の数が複数であって、これら複数の人物について前記推定部により推定された属性のうち、前記複数の人物に共通する属性がないときには、デフォルトのコンテンツを、前記サイネージに表示するようにしてもよい。
【0014】
このサイネージ制御システムにおいて、前記属性は、性別及び年齢であってもよい。
【0015】
本発明の第2の態様によるサイネージ制御プログラムは、サイネージに表示するコンテンツの切り替えを制御するサイネージ制御プログラムであって、コンピュータを、前記サイネージの前方を撮影するサイネージ側カメラからのフレーム画像であるサイネージ側画像、及び所定の撮影エリアを撮影する1つ以上の監視カメラからのフレーム画像である監視カメラ側画像に基づいて、これらのフレーム画像内の人物を特定するための人物特徴量と、これらのフレーム画像に映り込んだ人物の属性及び行動とを推定する推定部と、前記推定部が、前記サイネージ側カメラ及び前記監視カメラのうち、あるカメラからのフレーム画像に基づいて推定した、ある人物についての前記人物特徴量と前記属性と前記行動の推定結果を、対応付けて記憶する記憶部と、前記記憶部に記憶された前記人物特徴量に基づいて、同じ人物についての複数のカメラからのフレーム画像に基づく前記推定結果を連結して、各人物の推定結果群を生成する推定結果連結部と、前記推定結果連結部により生成された推定結果群に含まれる、前記サイネージのコンテンツを視認可能な位置にいると予測される人物の前記属性と、当該人物のこれまでの前記行動とに基づいて、前記サイネージに表示するコンテンツを切り替えるコンテンツ切替部として機能させる。
【発明の効果】
【0016】
本発明の第1の態様によるサイネージ制御システム、及び第2の態様によるサイネージ制御プログラムによれば、同じ人物についての複数のカメラ(サイネージ側カメラ、及び1つ以上の監視カメラ)からのフレーム画像に基づく推定結果を連結した推定結果群に含まれる、サイネージのコンテンツを視認可能な位置にいると予測される人物の属性と、当該人物のこれまでの行動とに基づいて、サイネージに表示するコンテンツを切り替える。これにより、サイネージのコンテンツを視認可能な位置にいると予測される顧客等の人物の属性に加えて、この人物がサイネージの前(サイネージのコンテンツを視認可能な位置)に来るまでの行動を考慮して、サイネージに表示するコンテンツを切り替えることができるので、特許文献1に示される従来のサイネージ制御システムのように、サイネージ側カメラで撮影した顧客等の人物のフレーム画像から分析した顧客の属性や行動のみに基づいて、サイネージに表示するコンテンツを切り替える場合と比べて、よりサイネージの前(サイネージのコンテンツを視認可能な位置)の人物にマッチしたコンテンツを表示することができる。
【0017】
また、第1の態様によるサイネージ制御システム、及び第2の態様によるサイネージ制御プログラムによれば、特許文献1に示される従来のサイネージ制御システムのように、サイネージ側カメラで撮影した顧客等の人物のフレーム画像(サイネージ側画像)のみから顧客の属性や行動を推定する場合と異なり、上記のサイネージ側画像に加えて、1つ以上の監視カメラで撮影した人物のフレーム画像(監視カメラ側画像)に基づいて、これらのフレーム画像に映り込んだ人物についての、人物特徴量と、属性と、行動とを推定するようにした。これにより、特許文献1に示される従来のサイネージ制御システムと異なり、上記のサイネージ側画像よりも先に撮影された監視カメラ側画像を用いて、サイネージのコンテンツを視認可能な位置にいると予測される人物についての属性、行動等の推定処理を、この人物がサイネージのコンテンツを視認可能な位置に来る前から開始することができるので、顧客等の人物がサイネージのコンテンツを視認可能な位置に来た時に、直ぐに、当該人物の興味を引くようなコンテンツを表示することができる。
【図面の簡単な説明】
【0018】
【
図1】本発明の一実施形態のサイネージ制御システムの概略の構成を示すブロック構成図。
【
図2】
図1中のサイネージの概略のハードウェア構成を示すブロック図。
【
図3】
図1中の分析ボックスの概略のハードウェア構成を示すブロック図。
【
図4】上記サイネージと分析ボックスの機能ブロック構成図。
【
図5】
図1中のサイネージとサイネージ管理サーバのソフトウェア・アーキテクチャを示すブロック図。
【
図6】上記サイネージ管理サーバのハードウェア構成を示すブロック図。
【
図7】上記サイネージ制御システムにおいて行われるコンテンツ切替制御処理のフローチャート。
【
図8】
図4中の到達時刻推定部を構成する到達時刻推定DNNモデルの学習処理と推論処理の説明図。
【
図9】
図7中のS12のコンテンツ切替処理のフローチャート。
【
図11】上記サイネージ制御システムにより実現される顧客行動の追跡処理と、高度な映像分析の説明図。
【発明を実施するための形態】
【0019】
以下、本発明を具体化した実施形態によるサイネージ制御システム、及びサイネージ制御プログラムについて、図面を参照して説明する。
図1は、本実施形態によるサイネージ制御システム10の概略の構成を示すブロック構成図である。本実施形態では、ディジタルサイネージ用のタブレット端末である複数のサイネージ1と、所定の撮影エリアを撮影する監視用のネットワークカメラ(IP(Internet Protocol)カメラ)である複数の固定カメラ(監視カメラ)3と、これらのサイネージ1及び固定カメラ3が接続される分析ボックス4が、チェーン店等の店舗S内に配される場合の例について説明する。
図1に示すように、サイネージ制御システム10は、店舗S内に、上記のサイネージ1と、固定カメラ3と、分析ボックス4とに加えて、WiFi AP(WiFi Access Point)5と、ハブ6と、POS(Point Of Sales)システムの端末であるPOSレジスタ7と、ルータ8とを備えている。
【0020】
サイネージ1は、主に店舗S内の商品棚に設置されて、そのタッチパネルディスプレイ14(
図2参照)上に、店舗に来店した顧客(請求項における「人物」)に対する広告等のコンテンツを表示すると共に、その内蔵カメラ2(サイネージ側カメラ)からのフレーム画像(サイネージ側画像)に基づいて、サイネージ側画像に映りこんだ顧客の属性(性別及び年齢(年代))推定や顔ベクトル抽出等の認識処理を行う。
【0021】
分析ボックス4は、WiFi AP5及びハブ6を介して、サイネージ1に接続されると共に、LAN(Local Area Network)とハブ6とを介して、複数の固定カメラ3と接続されて、これらの固定カメラ3の各々から入力された画像を分析する。具体的には、分析ボックス4は、固定カメラ3の各々から入力されたフレーム画像(固定カメラ側画像(請求項における「監視カメラ側画像」))に対する物体検出処理(顔検出処理等)と、この物体検出処理で検出された顧客の顔画像に対する推論処理(属性(性別及び年齢(年代))の推定処理、顔ベクトル抽出処理、行動の推定処理、及び顧客の同定(Person Re-Identification)処理(以下、「ReID処理」という)を含む)とを行う。また、分析ボックス4は、サイネージ1から送信された、上記の属性推定結果及び顔ベクトル等に基づいて、上記のReID処理や、顧客の行動の推定処理を含む推論処理を行う。分析ボックス4と上記のサイネージ1とが、請求項における「コンピュータ」に相当する。
【0022】
また、サイネージ制御システム10は、クラウドC上のサイネージ管理サーバ9を備えている。サイネージ管理サーバ9は、店舗Sを含む各店舗の管理部門(本社等)に設置されたサイネージ管理用のサーバである。店舗の管理者や、サイネージ1に表示される広告の広告主等は、自分のパソコンから、上記のクラウドC上のサイネージ管理サーバ9にアクセスして、サイネージ1に表示される広告(用コンテンツ)の視聴者の性別及び年齢や、広告の視聴率を知ることができるだけではなく、上記の広告を見た後の顧客の商品接触、及び接触した商品の購買有無等の顧客行動の追跡結果を知ることができる。また、サイネージ制御システム10は、クラウドC上に、不図示のPOSシステムのサーバ(POSサーバ)を備えている。
【0023】
次に、
図2を参照して、上記のタブレットタイプのサイネージ1のハードウェア構成について説明する。サイネージ1は、上記の内蔵カメラ2に加えて、SoC(System-on-a-Chip)11と、タッチパネルディスプレイ14と、スピーカ15と、各種のデータやプログラムを記憶するメモリ16と、通信部17と、二次電池18と、充電端子19とを備えている。SoC11は、装置全体の制御及び各種演算を行うCPU12と、各種の学習済DNN(Deep Neural Networks)モデルの推論処理等に用いられるGPU13とを備えている。
【0024】
上記のメモリ16に格納されるプログラムには、
図5で後述するAIモデル群51に含まれる各種の推論モデルを含むサイネージ側制御プログラム50が含まれている。通信部17は、通信ICとアンテナを備えている。サイネージ1は、通信部17とネットワークとを介して、分析ボックス4、及びクラウドC上のサイネージ管理サーバ9と接続されている。また、二次電池18は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、AC/DCコンバータにより直流電力に変換した後の商用電源からの電力を、蓄電して、サイネージ1の各部に供給する。
【0025】
次に、
図3を参照して、分析ボックス4のハードウェア構成について説明する。分析ボックス4は、装置全体の制御及び各種演算を行うCPU21と、各種のデータやプログラムを格納するハードディスク22と、RAM(Random Access Memory)23と、DNN(Deep Neural Networks)推論用プロセッサである推論チップ(以下、「チップ」と略す)24a~24hと、通信制御IC25とを備えている。CPU21は、一般的な汎用CPU、又は多数の映像ストリームを同時処理するため並列処理性能を高めるように設計されたCPUである。また、ハードディスク22に格納されるデータには、固定カメラ3の各々から入力された映像ストリーム(のデータ)をデコードした後の映像データ(固定カメラ側画像)と、後述する分析ボックス4の推定部32やサイネージ1の推定部41による推定結果が含まれ、ハードディスク22に格納されるプログラムには、分析ボックスOSプログラムと、顔検出処理、属性(性別及び年齢(年代))推定(顔認識)処理、顔ベクトル抽出処理、行動推定処理、及びReID処理等の推論処理用の学習済DNNモデル(各種推論処理用学習済DNNモデル)とが含まれている。上記の各種推論処理用学習済DNNモデルは、
図5で後述するサイネージ側制御プログラム50と共に、請求項における「サイネージ制御プログラム」を構成する。
【0026】
上記の(推論)チップ24a~24hは、DNN推論に最適化されたプロセッサ(推論専用チップ)であることが望ましいが、一般的な用途に用いられる汎用のGPU(Graphics Processing Unit)、又はその他のプロセッサであってもよい。また、上記の各チップ24a~24hは、1つのボードコンピュータ上に複数のチップ(推論用プロセッサ)が集積(搭載)されたデバイスであってもよい。また、1つの分析ボックス4に、複数の種類のチップを搭載してもよい。
図3に示すように、上記の(推論)チップ24a~24hは、PCI Express又はUSBにより、CPU21に接続される。なお、チップ24a~24hのうち、一部のチップがPCI ExpressでCPU21に接続され、他のチップがUSBでCPU21に接続されてもよい。
【0027】
また、上記の通信制御IC25は、Ethernet規格のLANへの接続用のポートであるLANポート26を有している。
【0028】
図4は、上記のサイネージ1と分析ボックス4の機能ブロックを示す。分析ボックス4は、機能ブロックとして、映像入力部31と、推定部32と、記憶部33と、到達時刻推定部34と、推定結果連結部35と、コンテンツ切替部36と、連携処理部37とを備えている。
【0029】
映像入力部31は、
図3中の通信制御IC25とCPU21により実現され、固定カメラ3の各々から入力された映像ストリーム(のデータ)を受信してデコードし、フレーム画像のデータ(固定カメラ側画像)にする。推定部32は、上記の固定カメラ側画像に基づいて、固定カメラ側画像内の顧客を特定するための顔ベクトル(請求項における「人物特徴量」)と、固定カメラ側画像に映り込んだ顧客の属性(性別及び年齢(年代))と、固定カメラ側画像に映り込んだ顧客の行動とを推論(推定)する。上記の顧客の行動には、少なくとも、顧客の商品接触(商品を手に取ること)が含まれる。上記の顧客の行動は、顧客が歩いている、顧客が商品棚に設置されたサイネージ1を見ている等の行動を含んでいてもよい。記憶部33は、推定部32がある固定カメラ3からのフレーム画像に基づいて推定した、ある顧客についての顔ベクトルと上記の属性と上記の行動の推定結果を、対応付けて記憶する。また、記憶部33は、後述するサイネージ1側の推定部41が当該サイネージ1の内蔵カメラ2からのフレーム画像(サイネージ側画像)に基づいて推定した、ある顧客についての顔ベクトルと上記の属性と上記の行動の推定結果も、対応付けて記憶する。ここで、記憶部33に記憶される顔ベクトル、上記属性、及び上記行動は、ある顧客が、あるカメラ(固定カメラ3又は内蔵カメラ2)による撮影画像内にフレームインしてから、フレームアウトするまでの間に、当該顧客について推定部32が行った推論(推定)により得られた、顔ベクトル、上記属性、及び上記行動である。
【0030】
到達時刻推定部34は、固定カメラ3で撮影したフレーム画像に映りこんだ各顧客が各サイネージ1のコンテンツを視認可能な位置に到達する到達時刻を推定する。より正確に言うと、到達時刻推定部34は、固定カメラ側画像に映りこんだ各顧客についての移動ベクトルと、上記の各顧客が固定カメラ側画像に現れた時刻とから、上記の各顧客が各サイネージ1のコンテンツを視認可能な位置に到達する到達時刻を推定する。
【0031】
推定結果連結部35は、記憶部33に記憶された各顧客の顔ベクトルに基づいて、同じ顧客についての複数のカメラ(複数のサイネージ1の内蔵カメラ2、及び複数の固定カメラ3)からの各フレーム画像に基づく推定結果(上記の顔ベクトルと属性と行動の推定結果)を連結して、各顧客の推定結果群を生成する。より正確に言うと、推定結果連結部35は、到達時刻推定部34による推定の結果、各サイネージ1のコンテンツを視認可能な位置に到達すると予測される各顧客について、記憶部33に記憶された顔ベクトルに基づいて、同じ顧客についての複数のカメラ(サイネージ1の内蔵カメラ2、及び固定カメラ3)からのフレーム画像に基づく推定結果を連結して、各顧客の推定結果群を生成する。上記の推定結果連結部35による推定結果の連結処理には、上記のハードディスク22に格納された各種推論処理用学習済DNNモデルに含まれる、(顧客の顔ベクトルに基づく)顧客の同定処理(顧客のReID処理)用のDNNモデルが利用される。
【0032】
コンテンツ切替部36は、推定結果連結部35により生成された推定結果群に含まれる、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客の上記属性と、当該顧客のこれまでの行動とに基づいて、サイネージ1(のタッチパネルディスプレイ14)に表示するコンテンツを切り替える。連携処理部37は、サイネージ1から、各種の推定結果(顧客の顔ベクトル、属性、及び行動)と、後述するトラッキングID等を受信して、記憶部33に記憶(格納)する処理と、コンテンツ切替部36から出力された表示対象のコンテンツの識別情報(例えば、URL(Uniform Resource Locator))を、サイネージ1に送信する処理とを行う。
【0033】
上記の分析ボックス4の機能ブロックのうち、推定部32と、到達時刻推定部34と、推定結果連結部35は、CPU21と上記の(推論)チップ24a~24h(
図3参照)により実現される。記憶部33は、
図3中のハードディスク22により実現される。コンテンツ切替部36は、CPU21により実現される。連携処理部37は、
図3中の通信制御IC25とCPU21により実現される。
【0034】
サイネージ1は、機能ブロックとして、上記の内蔵カメラ2、タッチパネルディスプレイ14、及びスピーカ15に加えて、映像入力部40と、推定部41と、連携処理部42と、コンテンツ表示制御部43とを備えている。
【0035】
映像入力部40は、主に、
図2中のSoC11(不図示のI/O用チップセットを含む)により実現され、各サイネージ1の内蔵カメラ2から入力された映像ストリーム(のデータ)を受信してデコードし、フレーム画像のデータ(サイネージ側画像)にする。推定部41は、上記のサイネージ側画像に基づいて、上記の分析ボックス4側の推定部32と同様な処理を行う。具体的には、推定部41は、サイネージ側画像に基づいて、サイネージ側画像内の顧客を特定するための顔ベクトル(請求項における「人物特徴量」)と、サイネージ側画像に映り込んだ顧客の属性(性別及び年齢(年代))と顧客の行動とを推論(推定)する。
【0036】
連携処理部42は、上記の推定部41による推定結果を分析ボックス4に送信する処理と、分析ボックス4のコンテンツ切替部36から出力された表示対象のコンテンツの識別情報を受信して、コンテンツ表示制御部43に出力する処理とを行う。コンテンツ表示制御部43は、連携処理部42から出力されたコンテンツの識別情報(URL等)に対応するコンテンツの画像と音声とを、それぞれ、タッチパネルディスプレイ44とスピーカ15とに出力するように制御する。
【0037】
上記のサイネージ1の機能ブロックのうち、映像入力部40と推定部41とコンテンツ表示制御部43は、
図2中のSoC11により実現される。また、連携処理部42は、
図2中の通信部17とSoC11(の主にCPU12)により実現される。
【0038】
図5は、上記のサイネージ1とサイネージ管理サーバ9のソフトウェア・アーキテクチャを示す。サイネージ1は、
図5に示すサイネージ側制御プログラム50と、Android OS54とを、メモリ16(
図2参照)に記憶している。サイネージ側制御プログラム50は、主に、各種の推論モデルから構成されるAIモデル群51と、ビデオ・コンテンツのビューワであるコンテンツ・ビューワ53と、いわゆるCMS(Contents Management System)の一種であるコンテンツ管理プログラム52とから構成されている。
【0039】
上記のAIモデル群51は、顔検出モデル51aと、顔認識(性別・年齢推定)モデル51bと、ベクトル化モデル51cと、商品接触判定モデル51dと、人検出モデル51e等を含んでいる。顔検出モデル51aは、内蔵カメラ2から入力されたサイネージ側画像に映りこんだ顧客の顔を検出して、検出した顔の座標位置(例えば、顔の中心を表す座標と、顔の横幅及び縦幅を表す座標範囲)を出力する。
【0040】
顔認識(性別・年齢推定)モデル51bは、上記の顔検出モデル51aで検出した顧客の顔が、顧客の属性の認識に適している顔である場合(例えば、検出した顧客の顔が、正面を向いた顔であり、しかも、ある程度の大きさの顔である場合)には、この顧客の顔の切り抜き画像を用いて、この顧客の属性(性別及び年齢(年代))の推定処理を行う。また、ベクトル化モデル51cは、上記の(顔検出モデル51aで検出した)顔の切り抜き画像(顔画像)に対してベクトル化処理を行って、そのベクトルを顔ベクトル(請求項における「人物特徴量」)として、メモリ16にセーブ(記憶)する。人検出モデル51eは、内蔵カメラ2から入力されたサイネージ側画像に映りこんだ顧客を検出する。商品接触判定モデル51dは、人検出モデル51eで検出した各サイネージ側画像に映りこんだ各顧客の骨格情報に基づいて、サイネージ1が設置された商品棚の前の各顧客の姿勢を判定して、この姿勢に基づいて、各顧客の商品への接触(商品を手に取ること)の有無を判定する。なお、上記の人検出モデル51eは、商品棚に設置されたサイネージ1の視聴者のカウント(サイネージ側画像に映りこんだ顧客のうち、視線や顔の向きがサイネージ1の方向になっている顧客のカウント)処理や、後述するサイネージ1の視聴率の調査に用いられる。
【0041】
また、
図5に示すように、サイネージ管理サーバ9は、サイネージ管理プログラム56と、ダッシュボード57と、ポータル58とを、ハードディスク62(
図6参照)に記憶している。サイネージ管理プログラム56は、サイネージ制御システム10内の各サイネージ1の管理用のプログラムである。ダッシュボード57は、各サイネージ1(のタッチパネルディスプレイ14)に表示された広告用コンテンツの視聴者(顧客)の属性(性別・年齢(年代))と滞在時間、上記の広告用コンテンツを見た後の顧客の商品接触の有無、及び接触した商品の購買有無等の顧客行動の追跡結果の統計情報を集計して可視化するためのソフトウェアである。ポータル58は、いわゆる企業ポータル(企業内に散らばっている様々な情報やアプリケーション等を効率的に探したり利用するために、コンピュータの画面上にこれらの情報やアプリケーション等を集約表示するためのソフトウェア)の一種である。このポータル58からアクセスできるアプリケーションには、サイネージ1のタッチパネルディスプレイ14上に表示したい各広告用コンテンツ(いわゆるクリエイティブ)と、これらの広告用コンテンツの表示条件とを設定するためのアプリケーションが含まれている。
【0042】
次に、
図6を参照して、サイネージ管理サーバ9のハードウェア構成について説明する。サイネージ管理サーバ9は、装置全体の制御及び各種演算を行うCPU61と、各種のデータやプログラムを格納するハードディスク62と、RAM(Random Access Memory)63と、ディスプレイ64と、操作部65と、通信部66とを備えている。
【0043】
上記のハードディスク62に格納されるプログラムには、上記のサイネージ管理プログラム56と、ダッシュボード57と、ポータル(用のプログラム)58とが含まれている。
【0044】
次に、
図7のフローチャートを参照して、本サイネージ制御システム10において行われる処理の概要について説明する。まず、サイネージ1側の推定部41と分析ボックス4側の推定部32とは、それぞれ、サイネージ1の内蔵カメラ2より入力されたフレーム画像(サイネージ側画像)と、固定カメラ3より入力されたフレーム画像(固定カメラ側画像)とから、顧客の顔(画像)を検出する(S1及びS2)。なお、サイネージ1側の推定部41により行われる顔検出処理には、上記の顔検出モデル51a(
図5参照)が用いられ、分析ボックス4側の推定部32により行われる顔検出処理には、上記のハードディスク22に格納された各種推論処理用学習済DNNモデルに含まれる、顔検出処理用のDNNモデルが用いられる。
【0045】
S3以降の処理は、サイネージ1側の処理と、分析ボックス4側の処理に分けて説明する。まず、サイネージ1側の処理について説明する。サイネージ1側の推定部41は、上記S2の顔検出処理が完了すると、S2で検出した顔毎に、トラッキングIDを付与する(S3)。より詳細に言うと、サイネージ1側の推定部41は、同じ内蔵カメラ2で撮影した各サイネージ側画像の撮影時刻と、これらのサイネージ側画像について顔検出モデル51aが検出した顔の座標位置(又は顔の座標位置及びサイズ)とに基づいて、フレームを越えて同じ顧客(の顔)に同じIDを付与することで、同じ内蔵カメラ2で撮影した顧客の追跡処理を行う。
【0046】
そして、サイネージ1側の推定部41は、あるトラッキングIDが付与された顔について、初めて属性の認識に適した顔(正面を向いた顔であり、しかも、ある程度の大きさの顔(の画像))を検出した場合には、検出元のフレーム画像(サイネージ側画像)から、上記の(属性の認識に適した)顔の画像(顔画像)を切り抜く(S4)。次に、サイネージ1側の推定部41は、上記の顔認識(性別・年齢推定)モデル51bを用いて、上記の顔画像に基づき、該当の顧客の属性(性別及び年齢(年代))を推定する(S5)。また、サイネージ1側の推定部41は、上記のベクトル化モデル51cを用いて、上記の顔画像のベクトル化処理を行って、顔ベクトル(請求項における「人物特徴量」)を得る(S6)。さらに、サイネージ1側の推定部41は、上記の商品接触判定モデル51d等を用いて、サイネージ1が設置された商品棚の前の各顧客の商品への接触(商品を手に取ること)の有無等の顧客行動を推定する(S7)。なお、サイネージ1側の推定部41は、少なくとも、後述する到達時刻推定DNNモデルの学習時には、内蔵カメラ2で撮影したサイネージ側画像に映りこんだ各顧客の移動の軌跡(各顧客のバウンディングボックスの中心位置と時刻との組み合わせ)を求める処理を行う。
【0047】
サイネージ1側の連携処理部42は、上記の推定部41による推定結果、すなわち、あるサイネージ1の内蔵カメラ2からのフレーム画像に基づいて推定した、ある顧客についての、顔ベクトルと属性と(顧客)行動とトラッキングIDと移動軌跡の推定結果を、分析ボックス4に送信する。分析ボックス4側の連携処理部37は、サイネージ1から、各種の推定結果(顧客の顔ベクトル、属性、行動、トラッキングID、及び移動軌跡)を受信して、これらの当該サイネージ1の内蔵カメラ2からのフレーム画像に基づいて推定した、ある顧客についての顔ベクトルと属性と行動とトラッキングIDと移動軌跡とを対応付けて、記憶部33に記憶させる(S8)。
【0048】
次に、分析ボックス4側の処理について説明する。上記S2の顔検出処理が完了すると、分析ボックス4側の推定部32は、上記S2で検出した顔毎に、トラッキングIDを付与する(S3)。より詳細に言うと、分析ボックス4側の推定部32は、同じ固定カメラ3で撮影した各固定カメラ側画像の撮影時刻と、これらの固定カメラ側画像について上記の(ハードディスク22に格納された)顔検出処理用のDNNモデルが検出した顔の座標位置(又は顔の座標位置及びサイズ)とに基づいて、フレームを越えて同じ顧客(の顔)に同じIDを付与することで、同じ固定カメラ3で撮影した顧客の追跡処理を行う。
【0049】
そして、分析ボックス4側の推定部32は、上記のサイネージ1側の推定部41と同様に、あるトラッキングIDが付与された顔について、初めて属性の認識に適した顔を検出した場合には、検出元のフレーム画像(固定カメラ側画像)から、上記の顔画像を切り抜く(S4)。次に、分析ボックス4側の推定部32は、上記の(ハードディスク22に格納された)属性推定(顔認識)処理用のDNNモデルを用いて、上記の顔画像に基づき、該当の顧客の属性(性別及び年齢(年代))を推定する(S5)。また、分析ボックス4側の推定部32は、上記の(ハードディスク22に格納された)顔ベクトル抽出処理用のDNNモデルを用いて、上記の顔画像のベクトル化処理を行って、顔ベクトルを得る(S6)。さらに、分析ボックス4側の推定部32は、上記の(ハードディスク22に格納された)行動推定処理用のDNNモデルを用いて、固定カメラ側画像に映りこんだ各顧客の行動(顧客行動)を推定する(S7)。なお、分析ボックス4側の推定部32は、各固定カメラ3で撮影した固定カメラ側画像に映りこんだ各顧客の移動の軌跡(各顧客のバウンディングボックスの中心位置と時刻との組み合わせ)を求めて、この各顧客の移動の軌跡から、各固定カメラ3で撮影した各顧客についての移動ベクトル(
図8参照)を求める処理も行う。
【0050】
分析ボックス4側の記憶部33は、上記の推定部32による推定結果、すなわち、ある固定カメラ3からのフレーム画像に基づいて推定した、ある顧客についての顔ベクトルと属性と(顧客)行動とトラッキングIDと移動軌跡と移動ベクトルとを、対応付けて記憶する(S8)。
【0051】
次に、分析ボックス4の到達時刻推定部34は、固定カメラ側画像に映りこんだ各顧客についての移動ベクトルと、上記の各顧客が固定カメラ側画像に現れた時刻とから、上記の各顧客が各サイネージ1のコンテンツを視認可能な位置に到達する到達時刻を推定する(S9)。例えば、上記の到達時刻推定部34を、学習済DNNモデルを用いて実装した場合には、学習済の到達時刻推定DNNモデルに、上記の推定部32により求めた移動ベクトル(各固定カメラ3で撮影した各顧客についての移動ベクトル)を入力することで、上記の各顧客が各サイネージ1のコンテンツを視認可能な位置に到達する到達時刻を推定することが可能になる。
【0052】
上記の到達時刻推定DNNモデルの学習は、以下のようにして行う。本サイネージ制御システム10における分析ボックス4側の機能ブロック(
図4参照)のうち、到達時刻推定部34と、推定結果連結部35と、コンテンツ切替部36の機能をdisableとし(使用せず)、サイネージ1側の推定部41と分析ボックス4側の推定部32とにより、内蔵カメラ2と固定カメラ3で撮影したフレーム画像に映り込んだ各顧客の移動の軌跡を収集する。ここで、上記の各顧客の移動の軌跡とは、
図8に示す各顧客のバウンディングボックスの中心位置70a~70gと時刻との組み合わせを意味する。
【0053】
所定の期間、上記の各顧客の移動の軌跡と移動ベクトル71を収集すると、分析ボックス4側の推定部32は、収集した各顧客の移動の軌跡から、各固定カメラ3で撮影した各顧客についての移動ベクトル71と、その固定カメラ3による撮影画像にその顧客が現れた時刻(以下、「固定カメラ3に現れた時刻」と呼ぶ)と、その顧客が各サイネージ1の内蔵カメラ2による撮影画像に現れた時刻(以下、「サイネージ1に現れた時刻」と呼ぶ)との組み合わせを作成する。なお、上記の「固定カメラ3に現れた時刻」とは、
図8に示す例では、固定カメラ3による撮影画像に現れた顧客のバウンディングボックスの中心位置のうち、上記の移動ベクトル71の矢印先端の中心位置70cに対応する時刻である。
【0054】
そして、分析ボックス4のCPU21は、上記の移動ベクトル71と、「固定カメラ3に現れた時刻」と、「サイネージ1に現れた時刻」との組み合わせの(集合)データを、学習用データとして用いて、移動ベクトル71から、T=「サイネージ1に現れた時刻」-「固定カメラ3に現れた時刻」を推定するDNNモデル(上記の到達時刻推定DNNモデル)の学習を行う。この到達時刻推定DNNモデルは、店舗S内の固定カメラ3とサイネージ1の組み合わせの数だけ、存在する。例えば、店舗S内の固定カメラ3の数が3つで、サイネージ1の数が4つのときは、12通りの到達時刻推定DNNモデルが存在する。
【0055】
上記の学習により生成された各学習済到達時刻推定DNNモデルの推論時には、分析ボックス4の到達時刻推定部34が、分析ボックス4側の推定部32により求めた上記の移動ベクトル71を、上記の各学習済到達時刻推定DNNモデルに入力して、上記のT(顧客が、ある固定カメラ3の撮影画像に現れてから、あるサイネージ1の内蔵カメラ2の撮影画像に現れるまでの時間)を求める。そして、分析ボックス4の到達時刻推定部34は、各顧客がある固定カメラ3の撮影画像(固定カメラ側画像)に現れた時刻に、上記のTを加算することにより、各顧客があるサイネージ1のコンテンツを視認可能な位置に到達する到達時刻(あるサイネージ1の内蔵カメラ2の撮影画像に現れる時刻)を推定する。
【0056】
サイネージ制御システム10の運用時(上記の各学習済到達時刻推定DNNモデルの推論時)には、分析ボックス4の到達時刻推定部34は、上記の(固定カメラ3とサイネージ1の組み合わせ数に相当する数の)学習済到達時刻推定DNNモデルの各々を用いて、各固定カメラ3による撮影画像に現れた各顧客が、各サイネージ1のコンテンツを視認可能な位置に到達する到達時刻を推定して、これらの推定結果に基づいて、ある時刻に各サイネージ1のコンテンツを視認可能な位置にいる人を予測する。
【0057】
次に、
図7に戻って、サイネージ制御システム10における上記S9より後の処理について説明する。上記S9の到達時刻推定処理が完了すると、分析ボックス4の推定結果連結部35が、上記到達時刻推定部34による推定の結果、各サイネージ1のコンテンツを視認可能な位置に到達すると予測される各顧客について、記憶部33に記憶された顔ベクトルとトラッキングIDに基づいて、同じ顧客についての複数のカメラ(複数のサイネージ1の内蔵カメラ2、及び複数の固定カメラ3)からのフレーム画像に基づく推定結果を連結して、各顧客の推定結果群を生成する(S10)。上述したように、推定結果連結部35による推定結果の連結処理には、顧客の同定処理(顧客のReID処理)用のDNNモデルが利用される。従って、このサイネージ制御システム10によれば、各顧客が各サイネージ1のコンテンツを視認可能な位置に到達する前に、顧客の同定処理(顧客のReID処理)を開始することができる。なお、上記の顧客の同定処理用のDNNモデルは、上記の複数のカメラ(複数のサイネージ1の内蔵カメラ2、及び複数の固定カメラ3)からのフレーム画像に映り込んだ同じ顧客の同定を行い、同じ顧客に、同じグローバルID(カメラ間を跨った顧客のID)を付与する学習済DNNモデルである。
【0058】
上記S10の推定結果群の生成処理が完了すると、分析ボックス4のコンテンツ切替部36は、到達時刻推定部34による推定の結果、ある時刻に顧客がサイネージ1のコンテンツを視認可能な位置にいると予測される場合(より正確に言うと、ある時刻において、サイネージ1のコンテンツを視認可能な位置に到達していると予測され、しかも、所定の時間以上、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客がいると予測される場合)には(S11でYES)、推定結果連結部35により生成された推定結果群に含まれる、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客の属性(性別及び年齢(年代))と、当該顧客のこれまでの行動とに基づいて、サイネージ1(のタッチパネルディスプレイ14)に表示するコンテンツを切り替える(S12)。言い換えると、分析ボックス4のコンテンツ切替部36は、到達時刻推定部34による推定の結果、サイネージ1のコンテンツを視認可能な位置に到達すると予測される各顧客について、到達時刻推定部34によりサイネージ1のコンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻(例えば、上記の到達時刻や、上記の到達時刻から所定の時間後)に、推定結果連結部35により生成された推定結果群に含まれる、当該顧客の上記属性と、当該顧客のこれまでの行動とに基づいて、サイネージ1に表示するコンテンツを切り替える。なお、上記の推定結果群に含まれる、サイネージ1のコンテンツを視認可能な位置に来た顧客の属性にバラつきがある場合(すなわち、該当の顧客について、複数のサイネージ1の内蔵カメラ2からのフレーム画像に基づいて推定した属性、及び複数の固定カメラ3からのフレーム画像に基づいて推定した属性の全てが一致していない場合)には、これらの属性のうち、最も確率の高い(数の多い)属性に基づいて、サイネージ1に表示するコンテンツを切り替える。
【0059】
次に、
図9のフローチャートを参照して、上記
図7中のS12のコンテンツ切替処理を詳細に説明する。分析ボックス4のコンテンツ切替部36は、到達時刻推定部34による推定の結果、ある時刻にサイネージ1のコンテンツを視認可能な位置にいると予測される顧客(より正確に言うと、ある時刻において、サイネージ1のコンテンツを視認可能な位置に到達していると予測され、しかも、所定の時間以上、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客)の数が1人の場合には(S21でYES)、この顧客がサイネージ1のコンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻に、この顧客の属性(性別及び年齢(年代))と、当該顧客のこれまでの行動(顧客のこれまでの商品接触、顧客の当該サイネージ1の視聴時間、及び顧客の他の商品棚に設置されたサイネージ1の視聴時間等の行動)とに基づいて、サイネージ1に表示するコンテンツを切り替える(S22)。すなわち、分析ボックス4のコンテンツ切替部36は、当該顧客がサイネージ1のコンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻(例えば、上記の到達時刻や、上記の到達時刻から所定の時間後)に、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客の属性とこれまでの行動から見て、この顧客にマッチしていると思われるコンテンツに切り替える。
【0060】
例えば、
図10に示すように、ある時刻にあるサイネージ1のコンテンツを視認可能な位置に30代の女性が到達していると予測され、このサイネージ1のコンテンツを視認可能な位置に、他の人がいない場合には、分析ボックス4のコンテンツ切替部36は、この顧客がサイネージ1のコンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻に、この顧客の属性(女性、30代)と、当該顧客のこれまでの行動(例えば、顧客の当該サイネージ1の視聴時間)とに基づいて、サイネージ1に表示するコンテンツを切り替える(S22)。具体的には、分析ボックス4のコンテンツ切替部36は、
図10に示すように、この顧客の当該サイネージ1の視聴時間が5秒を経過した時点(この顧客の上記到達時刻以降で、この顧客がサイネージ1を視聴するという行動が5秒間続いた時点)で、当該サイネージ1のタッチパネルディスプレイ14に表示する広告用コンテンツを、一般の広告(一般広告)から、顧客の属性(女性、30代)に応じた広告Aに切り替える。すなわち、店舗Sの商品棚等にサイネージ1を設置するだけで、CMSの一種であるコンテンツ管理プログラム52(
図5参照)と連動したインタラクティブな広告表示(視聴者の属性とこれまでの行動(例えば、視聴時間)に応じたリアルアイムな広告表示切替)を行うことができる。
【0061】
また、サイネージ管理サーバ9のCPU61(
図6参照)は、上記のようなサイネージ1のコンテンツを視認可能な位置にいると予測される顧客の属性や行動、及び各サイネージ1の視聴率等の情報を収集して、その分析結果をハードディスク62に格納する。店舗の管理者や、サイネージ1に表示される広告の広告主等は、自分のパソコン81から、サイネージ管理サーバ9(のダッシュボード57)(
図5参照)にアクセスして、
図10に示すように、上記のような顧客の属性や行動、及び各サイネージ1の視聴率等の情報(分析結果)を確認し、利用することができる。ここで、上記の各サイネージ1の視聴率とは、各サイネージ1のサイネージ側画像に映り込んだ顧客(各サイネージ1の前を通過した顧客)のうち、視線や顔の向きが各サイネージ1の方向になっている顧客の割合を意味する。なお、店舗の管理者や広告主等のパソコン81が、データ配信API(Application Programming Interface)を通じて、サイネージ管理サーバ9のハードディスク62に格納された上記の顧客の属性や行動等の分析結果のデータを受信するようにしてもよい。
【0062】
図9の説明に戻る。上記S21の判定において、ある時刻にサイネージ1のコンテンツを視認可能な位置にいると予測される顧客の数が複数の場合には(S21でNO)、分析ボックス4のコンテンツ切替部36は、これら複数の顧客について、サイネージ1側の推定部41又は分析ボックス4側の推定部32により推定された属性のうち、上記の複数の顧客全員に共通する属性があるか否かを判定する(S23)。
【0063】
上記S23の判定の結果、上記の複数の顧客全員に共通する属性がある場合には(S23でYES)、分析ボックス4のコンテンツ切替部36は、この共通する属性に応じたコンテンツを、上記のある時刻(上記の複数の顧客がサイネージ1のコンテンツを視認可能な位置にいると予測される時刻)に基づく時刻に、サイネージ1のタッチパネルディスプレイ14に表示する(S24)。なお、上記のある時刻に基づく時刻とは、上記のある時刻でも良いし、上記のある時刻から所定の時間後(例えば、5秒後)でも良い。
【0064】
これに対して、上記S23の判定において、上記の複数の顧客全員に共通する属性がない場合には(S23でNO)、分析ボックス4のコンテンツ切替部36は、デフォルト(定番)のコンテンツを、サイネージ1のタッチパネルディスプレイ14に表示する(S25)。
【0065】
図11に示すように、本サイネージ制御システム10では、分析ボックス4を、あたかも、店舗S内に設置した複数のサイネージ1と複数の固定カメラ3のハブとして用いることで、上記の複数のサイネージ1(の内蔵カメラ2)と複数の固定カメラ3による撮影画像の分析結果(顧客の属性や行動等の推定結果)を融合した高度な映像分析を行うことができる。本サイネージ制御システム10では、上記の複数のサイネージ1と複数の固定カメラ3による撮影画像の分析結果を融合するために、上記の推定結果連結部35により、顔ベクトルに基づく顧客の同定処理(顧客のReID処理)を行って、同じ顧客についての複数のカメラ(サイネージ1の内蔵カメラ2、及び固定カメラ3)からのフレーム画像に基づく推定結果(分析結果)を連結する。これにより、本サイネージ制御システム10では、サイネージ1のコンテンツを視認可能な位置に来た顧客の属性(性別及び年齢(年代))や、サイネージ1に表示される広告用コンテンツの、顧客による視聴率だけではなくて、サイネージ1に表示される広告用コンテンツを見た後の顧客の商品接触、及び接触した商品の購買有無等の顧客行動の追跡を行うことができる。そして、店舗の管理者や、サイネージ1に表示される広告用コンテンツの広告主等は、自分のパソコン81から、クラウドC上のサイネージ管理サーバ9にアクセスして、上記の広告を見た後の顧客の商品接触、及び接触した商品の購買有無(顧客が接触した商品を購買したか否か)等の顧客行動の追跡結果(の情報)を確認する(見る)ことができる。
【0066】
なお、本サイネージ制御システム10では、上記の顧客行動のうち、顧客の接触した商品の購買有無については、分析ボックス4のCPU21(主に、推定結果連結部35)が、顧客の接触した商品が並べられている商品棚に配置されたサイネージ1からのフレーム画像に基づいて推定した顔ベクトルと、POSレジスタ7の前に設置された(内蔵カメラ2で商品購入者を撮影可能な)サイネージ1からのフレーム画像に基づいて推定した顔ベクトルとを比較して、ある商品に接触した顧客が、商品の精算を行うタイミングを捉える。そして、ある商品に接触した顧客が、商品の精算時に購入した商品の中に、上記の接触した商品が含まれているか否かを、上記の商品棚に配置されたサイネージ1からのフレーム画像に映りこんだ、顧客が接触した商品と、POSレジスタ7でバーコードスキャンされた商品とを比較することにより、判定する。
【0067】
上記の顧客行動の追跡結果(の情報)は、例えば、
図11に示すように、「30代の女性が、コスメコーナ(コスメ売り場)のサイネージ1(の広告用コンテンツ)を25秒視聴した結果、XX化粧品に接触した(XX化粧品を手に取った)後、菓子コーナ(菓子売り場)に15秒滞在し、XX化粧品を購入した。店内での滞在時間は、12分であった。」というような情報である。
【0068】
上記のように、本サイネージ制御システム10では、サイネージ1のコンテンツを視認可能な位置に来た顧客の属性や、サイネージ1に表示される広告用コンテンツの視聴率だけではなくて、サイネージ1に表示される広告用コンテンツを見た後の顧客の商品接触や、接触した商品の購買有無等の顧客行動の追跡を行うことができる。従って、本サイネージ制御システム10によれば、実店舗に配置されたサイネージ1に表示する広告用コンテンツに、Web広告のようなアフィリエイト(成果報酬型)広告の仕組みを導入することができる。
【0069】
上記のように、本実施形態のサイネージ制御システム10、及びサイネージ制御プログラム(サイネージ側制御プログラム50(
図5参照)と、各種推論処理用学習済DNNモデル(
図3参照))によれば、同じ顧客についての複数のカメラ(複数のサイネージ1の内蔵カメラ2、及び複数の固定カメラ3)からのフレーム画像に基づく推定結果を連結した推定結果群に含まれる、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客の属性(性別及び年齢(年代))と、当該顧客のこれまでの行動とに基づいて、サイネージ1に表示する広告用コンテンツを切り替える。これにより、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客の属性に加えて、この顧客がサイネージ1の前(サイネージ1のコンテンツを視認可能な位置)に来るまでの行動を考慮して、サイネージ1に表示する広告用コンテンツを切り替えることができるので、特許文献1に示される従来のサイネージ制御システムのように、サイネージ側のカメラで撮影した顧客のフレーム画像から分析した顧客の属性や行動のみに基づいて、サイネージ1に表示する広告用コンテンツを切り替える場合と比べて、よりサイネージ1の前(サイネージ1のコンテンツを視認可能な位置)の顧客にマッチした広告用コンテンツを表示することができる。
【0070】
また、本実施形態のサイネージ制御システム10によれば、特許文献1に示される従来のサイネージ制御システムのように、サイネージ側のカメラで撮影した顧客等の人物のフレーム画像(サイネージ側画像)のみから顧客の属性や行動を推定する場合と異なり、上記のサイネージ側画像に加えて、複数の固定カメラ3で撮影した顧客のフレーム画像(固定カメラ側画像)に基づいて、これらのフレーム画像に映り込んだ顧客についての、顔ベクトルと、属性と、行動とを推定するようにした。これにより、特許文献1に示される従来のサイネージ制御システムと異なり、上記のサイネージ側画像よりも先に撮影された固定カメラ側画像を用いて、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客についての属性、行動等の推定処理を、この顧客がサイネージ1のコンテンツを視認可能な位置に来る前から開始することができるので、顧客がサイネージ1のコンテンツを視認可能な位置に来た時に、直ぐに、顧客の興味を引くようなコンテンツを表示することができる。
【0071】
また、本実施形態のサイネージ制御システム10によれば、コンテンツ切替部36が、到達時刻推定部34による推定の結果、サイネージ1のコンテンツを視認可能な位置に到達すると予測される各顧客について、到達時刻推定部34により上記サイネージ1のコンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻に、推定結果連結部35により生成された推定結果群に含まれる、当該顧客の属性と、当該顧客のこれまでの行動とに基づいて、サイネージ1に表示するコンテンツを切り替えるようにした。これにより、上記の各顧客が、上記サイネージ1のコンテンツを視認可能な位置に到達すると推定された到達時刻に基づく時刻(例えば、上記の到達時刻や、上記の到達時刻から5秒後)に、コンテンツ切替部36が、サイネージ1のコンテンツを視認可能な位置にいると予測される顧客の属性とこれまでの行動に応じた、この顧客にマッチした広告用コンテンツに切り替えることができる。従って、顧客がサイネージ1のコンテンツを視認可能な位置に到達するタイミングを見計らって、広告用コンテンツを表示することができるので、顧客の興味を確実に喚起することができる。
【0072】
また、本実施形態のサイネージ制御システム10によれば、推定結果連結部35が、到達時刻推定部34による推定の結果、サイネージ1のコンテンツを視認可能な位置に到達すると予測される各顧客について、記憶部33に記憶された各推定結果に含まれる顔ベクトルに基づいて、同じ顧客についての複数のカメラ(複数のサイネージ1の内蔵カメラ2、及び複数の固定カメラ3)からのフレーム画像に基づく推定結果を連結して、各顧客の推定結果群を生成するようにした。これにより、推定結果連結部35による推定結果の連結処理の対象を、サイネージ1のコンテンツを視認可能な位置に到達すると予測される各顧客についての上記の推定結果に絞ることができるので、分析ボックス4のCPU21及び(推論)チップ24a~24hの処理負荷を削減することができる。
【0073】
また、本実施形態のサイネージ制御システム10によれば、ある時刻にサイネージ1のコンテンツを視認可能な位置にいると予測される顧客の数が複数のときは、これら複数の顧客について推定部(分析ボックス4の推定部32、及びサイネージ1の推定部41)により推定された属性のうち、上記の複数の顧客に共通する属性に応じた広告用コンテンツを、サイネージ1に表示するようにした。これにより、ある時刻にサイネージ1のコンテンツを視認可能な位置にいると予測される顧客の数が複数のときは、これらの顧客のうち、特定の顧客にマッチした広告用コンテンツではなく、これら顧客全員に最適化したコンテンツを表示することができるので、これらの顧客の各人のプライバシーを保護することができる。
【0074】
また、本実施形態のサイネージ制御システム10によれば、ある時刻にサイネージ1のコンテンツを視認可能な位置にいると予測される顧客の数が複数であって、これら複数の顧客について推定部(分析ボックス4の推定部32、及びサイネージ1の推定部41)により推定された属性のうち、上記の複数の顧客に共通する属性がないときには、デフォルトのコンテンツを、サイネージ1に表示するようにした。これにより、これらの顧客の各人のプライバシーを保護することができる。
【0075】
変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【0076】
変形例1:
上記の実施形態では、サイネージ1が、タブレット端末タイプのものである場合の例について示した。けれども、本発明に用いられるサイネージは、これに限られず、例えば、通信機能を有するSTB(Set Top Box)に、USB接続可能なWebカメラと、HDMI(登録商標)接続可能なディスプレイとを接続したものであってもよい。これにより、本発明を、大型のサイネージを用いるサイネージ制御システムや、多種多様な大きさのサイネージを用いるサイネージ制御システムにも適用できる。
【0077】
変形例2:
また、上記の実施形態では、到達時刻推定部34は、固定カメラ側画像に映りこんだ各顧客についての移動ベクトルと、上記の各顧客が固定カメラ側画像に現れた時刻とから、上記の各顧客がサイネージ1のコンテンツを視認可能な位置に到達する到達時刻を推定するようにした。けれども、本発明における到達時刻推定部は、これに限られず、例えば、サイネージ側の推定部が推定した各顧客の移動の軌跡(各顧客のバウンディングボックスの中心位置と時刻との組み合わせ)と、分析ボックス側の推定部が推定した各顧客の移動の軌跡とから、上記の各顧客がサイネージのコンテンツを視認可能な位置に到達する到達時刻を推定するようにしてもよい。
【0078】
変形例3:
また、上記の実施形態では、ある時刻にサイネージ1のコンテンツを視認可能な位置にいると予測される顧客の数が複数であって、これら複数の顧客について推定部により推定された属性のうち、上記の複数の顧客に共通する属性があるときには、上記の複数の顧客に共通する属性に応じた広告用コンテンツを、サイネージ1に表示し、上記の複数の顧客に共通する属性がないときには、デフォルトのコンテンツを、サイネージ1に表示するようにした。
【0079】
けれども、本発明における広告用コンテンツの切替方法は、上記に限られず、例えば、ある時刻にサイネージのコンテンツを視認可能な位置にいると予測される顧客の数が複数の場合は、無条件に、デフォルトのコンテンツを、サイネージに表示するようにしてもよい。また、ある時刻にサイネージのコンテンツを視認可能な位置にいると予測される顧客の数が複数の場合は、これらの顧客のうち、そのサイネージのコンテンツを視認可能な位置にいる時間(滞在時間)が最も長い顧客、又はそのサイネージの広告用コンテンツを最も長く視聴している顧客の属性と、当該顧客のこれまでの行動とに応じた広告用コンテンツを、サイネージ1に表示するようにしてもよい。
【0080】
変形例4:
また、上記の実施形態では、サイネージ1側の推定部41が、サイネージ側画像に基づいて、サイネージ側画像内の顧客を特定するための顔ベクトルと、サイネージ側画像に映り込んだ顧客の属性と顧客の行動とを推定するようにした。けれども、本発明は、これに限られず、分析ボックスの推定部が、固定カメラ側画像に映り込んだ顧客の顔ベクトルと属性と(顧客)行動の推定処理に加えて、サイネージ側画像に映り込んだ顧客の顔ベクトルと属性と行動の推定処理も行っても良い。
【0081】
変形例5:
また、上記の実施形態では、本発明における人物特徴量が、顧客の顔画像をベクトル化した顔ベクトルである場合の例を示したが、必ずしも、これに限らず、本発明における人物特徴量は、顧客の体全体の画像をベクトル化した顧客ベクトルであっても良いし、顧客の顔や体の特徴(例えば、顔の輪郭、顔のテクスチャ(シミ、しわ、たるみ)、両目の間の距離等)を表す何らかの特徴量であっても良い。
【0082】
変形例6:
上記の実施形態では、分析ボックス4が、映像入力部31と推定部32を備える構成にしたが、この構成に限られず、例えば、各店舗に配するカメラを、いわゆるエッジコンピューティング機能を有するAI(Artificial Intelligence)カメラにして、このAIカメラに、顔検出処理、属性推定(顔認識)処理、顔ベクトル抽出処理、及び行動推定処理等の推論処理用の学習済DNNモデルを備えたアプリパッケージをインストールして、AIカメラが、上記の映像入力部と推定部の機能を備えるようにしてもよい。
【0083】
変形例7:
上記の実施形態では、サイネージ制御システム10が、クラウドC上に、サイネージ管理サーバ9と、不図示のPOSサーバのみを備える場合の例を示したが、クラウド上に、他のサーバを備えていてもよい。例えば、サイネージ制御システム10が、クラウド上に、各店舗に配された多数の分析ボックス、及びこれらの分析ボックスに接続された固定カメラの管理を行う管理サーバを備えていてもよいし、分析ボックスからの分析結果の情報を、マーケティングや防犯等の種々の用途のアプリケーションが使い易いデータに変換して出力するAI分析サーバを備えていてもよい。
【符号の説明】
【0084】
1 サイネージ(「コンピュータ」の一部)
2 内蔵カメラ(サイネージ側カメラ)
3 固定カメラ(監視カメラ)
4 分析ボックス(「コンピュータ」の一部)
10 サイネージ制御システム
32 推定部
33 記憶部
34 到達時刻推定部
35 推定結果連結部
36 コンテンツ切替部
41 推定部
50 サイネージ側制御プログラム(「サイネージ制御プログラム」の一部)