特許 7433894 誘導システム、サーバ、プログラムおよびサービス提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】誘導システム、サーバ、プログラムおよびサービス提供方法

(51)【国際特許分類】

   G06Q 30/0241 20230101AFI20240213BHJP

   G06Q 50/10 20120101ALI20240213BHJP

   G09F 19/00 20060101ALI20240213BHJP

【ＦＩ】

G06Q30/0241

G06Q50/10

G09F19/00 Z

【請求項の数】 8

(21)【出願番号】P 2019234246

(22)【出願日】2019-12-25

(65)【公開番号】P2021103420

(43)【公開日】2021-07-15

【審査請求日】2022-06-15

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】岸本 有之

(72)【発明者】

【氏名】櫻井 強一

(72)【発明者】

【氏名】峯邑 隆司

【審査官】石川 亮

(56)【参考文献】

【文献】特開２０１９－１４５０４５（ＪＰ，Ａ）

【文献】特開２０１６－０３５７０３（ＪＰ，Ａ）

【文献】特開２０１７－０５９０９９（ＪＰ，Ａ）

【文献】特開２００７－１４８８７８（ＪＰ，Ａ）

【文献】特開２００２－０７３６６６（ＪＰ，Ａ）

【文献】特開２０１８－１０１４４２（ＪＰ，Ａ）

【文献】国際公開第２０１９／０６４３８１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０９Ｆ １９／００

(57)【特許請求の範囲】

【請求項1】

人を検知する人感センサと、この人感センサと通信可能なサーバとを具備し、
前記人感センサは、
所定エリアを撮像して得られたデータを解析して、人の位置、属性情報および滞在時間を含むセンサデータを生成する解析部を備え、
前記サーバは、
前記センサデータを前記人感センサから取得し、前記所定エリアを含む地理的エリアの天候情報を取得する取得部と、
前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する識別部と、
前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成するレコメンド情報生成部とを備える、誘導システム。

【請求項2】

前記識別部は、前記識別した個人と、当該個人に対応する人とを紐づけてデータベースに管理する、請求項１に記載の誘導システム。

【請求項3】

前記取得部は、前記所定エリアの混雑情報を取得し、
前記レコメンド情報生成部は、前記混雑情報に基づいて前記レコメンド情報を生成する、請求項１に記載の誘導システム。

【請求項4】

前記取得部は、前記所定エリアとは異なるエリアにおけるセール情報を取得し、
前記レコメンド情報生成部は、前記セール情報に基づいて前記レコメンド情報を生成する、請求項１に記載の誘導システム。

【請求項5】

さらに、電子広告媒体を介して前記レコメンド情報を提示する提示部を具備する、請求項１乃至４のいずれか１項に記載の誘導システム。

【請求項6】

所定エリアを撮像して得られた画像データから人の位置、属性情報および滞在時間を含むセンサデータを生成可能な人感センサと通信する通信部と、
前記センサデータを前記人感センサから取得し、前記所定エリアを含む地理的エリアの天候情報を取得する取得部と、
前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する識別部と、
前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成するレコメンド情報生成部とを備える、サーバ。

【請求項7】

コンピュータを、所定エリアを撮像して得られたデータから人の位置、属性情報および滞在時間を含むセンサデータを生成可能な人感センサと通信する通信部として動作させるための命令と、
コンピュータを、前記センサデータを前記人感センサから取得し、前記所定エリアを含む地理的エリアの天候情報を取得する取得部として動作させるための命令と、
コンピュータを、前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する識別部として動作させるための命令と、
コンピュータを、前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成するレコメンド情報生成部として動作させるための命令とを含む、プログラム。

【請求項8】

所定エリアを撮像して得られたデータから人の位置、属性情報および滞在時間を含むセンサデータを生成可能な人感センサと通信可能なサーバに適用されるサービス提供方法であって、
前記サーバが、前記センサデータを前記人感センサから取得する過程と、
前記サーバが、前記所定エリアを含む地理的エリアの天候情報を取得する過程と、
前記サーバが、前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する過程と、
前記サーバが、前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成する過程とを含む、サービス提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、誘導システム、サーバ、プログラムおよびサービス提供方法に関する。

【背景技術】

【0002】

近年の人感センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な処理機能も有しており、例えば、画像センサは撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６１５１０８５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、駅構内やショッピングモール、フードコート等において、人が一定の場所に座って又は立って長時間留まることで、他の人の移動や同じ場所に暫く留まりたい場合の障害となるケースがあり、長時間留まる人をいかにスマートに移動させるかが課題であった。

【0005】

そこで、目的は、滞留する人に移動を促す誘導システム、サーバ、プログラムおよびサービス提供方法を提供することにある。

【課題を解決するための手段】

【0006】

実施形態によれば、誘導システムは、人を検知する人感センサと、この人感センサと通信可能なサーバとを具備する。人感センサは、解析部を備える。解析部は、所定エリアを撮像素子で撮像して得られたデータを解析して、人の位置と滞在時間を含むセンサデータを生成する。サーバは、取得部と、レコメンド情報生成部を備える。取得部は、センサデータを人感センサから取得する。レコメンド情報生成部は、取得されたセンサデータに含まれる人の位置と滞在時間に基づいて、人の移動を促すレコメンド情報を生成する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る誘導システムの一例を示す図である。

【図2】図２は、画像センサ３の一例を示すブロック図である。

【図3】図３は、画像センサ３で得られた画像データの一例を示す図である。

【図4】図４は、画像センサ３のセンシング項目の一例を示す図である。

【図5】図５は、クラウドサーバ２００の一例を示すブロック図である。

【図6】図６は、混雑情報の一例を示す図である。

【図7】図７は、店舗情報の一例を示す図である。

【図8】図８は、天候情報の一例を示す図である。

【図9】図９は、ＩＣカードデータベース２４０ｆにより管理される情報の一例を示す図である。

【図10】図１０は、タブレット２０の一例を示す機能ブロック図である。

【図11】図１１は、クラウドサーバ２００が画像センサ３からセンサデータを取得する手順を示すシーケンス図である。

【図12】図１２は、クラウドサーバ２００による入店者登録に係わる処理手順の一例を示すフローチャートである。

【図13】図１３は、クラウドサーバ２００の処理手順の一例を示すフローチャートである。

【図14】図１４は、レコメンド情報の一例を示す模式図である。

【図15】図１５は、レコメンド情報の一例を示す模式図である。

【図16】図１６は、退席促しに係わる処理手順の一例を示すフローチャートである。

【図17】図１７は、クラウドサーバ２００による入店者登録に係わる処理手順の他の例を示すフローチャートである。

【図18】図１８は、クラウドサーバ２００の処理手順の他の例を示すフローチャートである。

【発明を実施するための形態】

【0008】

人感センサである画像センサは、センサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば、１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。実施形態に係わる画像センサは、視野内に捕えた映像を撮影して取得した画像データを処理して、例えば人間情報や環境情報を得ることができる。

【0009】

人間情報は対象空間における人間に関する情報であり、その一例として、人の存在または不在（在／不在）、人数、人の行動、人の活動量などを挙げることができる。人物に付随する物体（物品）、つまり荷物の有無も人間情報の一例である。環境情報は、制御対象の空間（対象空間）の環境に関する情報であり、その一例として店舗の照度分布、あるいは温度分布などを挙げることができる。

【0010】

人間情報および環境情報は、対象空間ごとに算出することができる。あるいは、対象空間を複数に分割した小領域（エリア）毎に、人間情報や環境情報を算出することもできる。この実施形態では、特に、店舗における人間の在／不在、着席／空席に着目する。

【0011】

図１は、実施形態に係る誘導システムの一例を示す図である。図１において、複数の画像センサ３（３－０～３－ｎ）が、店舗Ｔの店内の例えば天井に、店内を見下ろすかたちで配設される。画像センサ３は、来客エリアに配設された複数のテーブルや席（椅子）を視野内に捉える。画像センサ３は、視野に捕えたものを撮像して画像データを生成する。

【0012】

特に、画像センサ３－０は、店舗Ｔの入り口や入場ゲート付近に設置され、来店者を正面方向から撮像して、顔画像データ、あるいは全身像データを取得する。

【0013】

各画像センサ３は、例えば管理室に配置されたゲートウェイ（ＧＷ）７に、信号線１００を介して接続される。信号線１００のプロトコルには、ＥｔｈｅｒＣＡＴ（登録商標）やＢＡＣｎｅｔ（登録商標）、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）、ＵＤＰ／ＩＰなどを適用できる。

【0014】

ゲートウェイ７は、店舗内ネットワーク５００に接続される。店舗内ネットワーク５００の通信プロトコルには、Building Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））、ＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等を適用することが可能である。

【0015】

店舗内ネットワーク５００には、管理サーバ４００、店舗サーバ５、およびファイヤウォール６が接続される。ファイヤウォール６は、例えばインターネット上に形成された専用線ネットワーク３００を介してクラウド６００のクラウドサーバ２００に接続される。

【0016】

上記構成により、誘導システムは、クラウド６００のクラウドサーバ２００や、データセンタ７００のデータベース７００ａ等に安全にアクセスして、様々なリソースを利用することができる。以下に、画像センサ３とクラウドサーバ２００との連携により提供されるサービスについて説明する。

【0017】

実施形態に係わる誘導システムは、インターネット等を経由してアクセス可能な各種のシステムや、データベースとも連携し、各種の情報源から得たデータを利用することも可能である。情報源には、例えば、店舗ごとの予約システムや注文システム、気象データや天候情報を配信する気象データサーバ、通信事業者のサーバ等を挙げることができる。

【0018】

図２は、画像センサ３の一例を示すブロック図である。画像センサ３は、カメラ部３１、記憶部３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。

【0019】

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、撮像素子(イメージセンサ)３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、視野内の映像を撮像素子３１ｃに結像する。実施形態では、魚眼レンズ３１ａは、店舗の来客エリアを視野に捉えていて、来客エリアの映像を撮像素子３１ｃに結像する。なお、来客エリアは複数の領域に分割されるのが普通で、個々の領域を一つの画像センサで撮像し、複数の画像センサで得られた画像データを統合して来客エリアの全領域をカバーするようにしても良い。

【0020】

撮像素子３１ｃは、ＣＭＯＳ（相補型金属酸化膜半導体）に代表されるイメージセンサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、来客エリアを撮像素子３１ｃで撮像して得られた画像データが生成される。画像データは人の顔画像データを含んでよい。撮像素子３１ｃへの入射光量は絞り機構３１ｂにより調節される。

【0021】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

【0022】

記憶部３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）やＥＰＲＯＭ（Erasable Programmable ROM）などの半導体メモリである。記憶部３２は、カメラ部３１により取得された顔画像データを含む画像データ３２ａ、および、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ｂ、画像センサを一意に区別するためのセンサＩＤ（IDentification）３２ｃ、および、辞書データ３２ｄを記憶する。

【0023】

辞書データ３２ｄは、画像センサ３における検出項目（人、物、男性、女性など）に応じて用意される、いわばテンプレートデータに類するデータである。例えば『椅子』の検出向けに用意された辞書データ３２ｄを用いてテンプレートマッチング処理を行うことで、画像データから椅子が検出される。その精度や椅子のタイプ（オフィスチェア、ソファー、座椅子など）や色を区別可能とするために、多様な辞書データ３２ｄが予め用意される。このほか、車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等を検出するための辞書データを作成することができる。作成方法の一例としては、例えばサポートベクトルマシンやボルツマンマシンなどの、機械学習（Machine-Learning）の枠組みを利用することができる。

【0024】

プロセッサ３３は、記憶部３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。
通信部３４は、信号線１００に接続可能で、ゲートウェイ７、管理サーバ４００、店舗サーバ５、およびクラウド６００とのデータの授受を仲介する。

【0025】

ところで、プロセッサ３３は、実施形態に係る処理機能として、検出部３３ａ、特徴量計算部３３ｂ、解析部３３ｃ、および学習部３３ｄを備える。検出部３３ａ、特徴量計算部３３ｂ、解析部３３ｃ、および学習部３３ｄは、例えば、プロセッサ３３のレジスタにロードされたプログラム３２ｂに従い、プロセッサ３３が演算処理を実行する過程で生成される、プロセスである。

【0026】

検出部３３ａは、辞書データ３２ｄを用いて視野内の対象を検出する。すなわち検出部３３ａは、検出項目ごとに用意される辞書データセットを使用して、画像データ３２ａから対象空間における対象を検出する。

【0027】

特徴量計算部３３ｂは、記憶部３２に記憶された画像データ３２ａを所定のアルゴリズムで処理して、視野内の人や物体に係わる特徴量を抽出する。例えば、画像データの各フレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。輝度勾配方向ヒストグラム（histograms of oriented gradients：ＨＯＧ）特徴量、コントラスト、解像度、Ｓ／Ｎ比、および色調などの特徴量が知られている。また、輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

【0028】

解析部３３ｃは、画像データ３２ａを解析して、着席者の位置、属性情報および滞在時間を含むセンサデータを生成する。すなわち解析部３３ｃは、例えば特徴量計算部３３ｂで得られた特徴量に基づき、人間情報（人の位置、人の在／不在、人数、人の行動、人の活動量、荷物の有無など）や環境情報（照度分布、温度分布等）を計算する。実施形態では、センシング項目として［人セル位置］、［在不在］、［滞在時間］、および［歩行滞留］を想定する。解析部３３ｃは、さらに、男性、女性、若年、中年、老年などの、より詳しい属性情報をセンシングすることも可能である。

【0029】

また、解析部３３ｃは、人間情報、環境情報、特徴量などを参照し、例えばルールベースによる認識、あるいは機械学習による認識により、店舗における人および物品に関する情報を取得する。例えば、動き特徴量を用いたパターン認識技術により、人の行動（利用客の注文行動、店員の片付け行動など）を検知することができる。

【0030】

学習部３３ｄは、画像データ３２ａ、および特徴量計算部３３ｂの出力に基づいて、解析部３３ｃによる解析結果の正答率を向上させるべく、学習を行う。

【0031】

図３は、画像センサ３で得られた画像データの一例を示す図である。この画像データのフレームは、（ｘ）軸および（ｙ）軸方向にそれぞれ７分割され、７×７＝４９個のセルに分割される。中央の画像センサ３の視野には４個のテーブルと、テーブルごとに４つの席が捉えられている。画像センサ３は、（ｘ、ｙ）＝（２，２）、（２，６）、（６，６）、（１，４）のセルに人を検出し、人セル位置として図４に示されるセンサデータを得る。

【0032】

図４に示されるように、図３の環境に対応して、セル（２，２）、（２，６）、（６，６）には在フラグ１が立つ。セル（１，４）については在フラグが０であり、（移動中）を検知されたことが示される。これらをまとめて、［在不在］＝（１，１，１，０）のセンサデータが得られる。人を検知された各セルにつき、［滞在（在席）時間］項目として、例えば（３０，３０，４０，００）が検知される。単位は（分）である。［歩行滞留］として、各セルに（０，０，０，１）が検知される。

【0033】

さらに、各セル位置（ｘ、ｙ）＝（２，２）、（２，６）、（６，６）、（１，４）の人の属性が、例えば男，女，女，男として特定され、それぞれを区別するための識別情報（人ＩＤ）が、例えば００１，００２，００３，００４として付与される。

【0034】

さらに詳しく説明する。解析部３３ｃにより計算されるセンサデータには、（１）人の有無、（２）人数、（３）人の活動量、（４）照度、（５）歩行者の滞留状況（歩行滞留）、等が挙げられる。

【0035】

（１）人の有無（人の在又は不在）の検知
例えば、解析部３３ｃは、画像間の差分に基づいて画像内の人物領域を識別することにより人の有無を検知してもよい。あるいは、人物認識技術を応用して人の有無を検知することもできる。画像間の差分には、背景画像との差分や、時間的に連続する画像間の差分（フレーム間差分）などが用いられてもよい。

【0036】

（２）人数の推定
例えば、解析部３３ｃは、（１）と同様の方法で画像内の人物領域を識別し、識別された人物領域の画像データを画像処理して、対象空間に存在する人の人数を推定してもよい。

【0037】

（３）人の活動量の推定
例えば、解析部３３ｃは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて活動量を推定してもよい。例えば、活動量は“無”、“小”、“中”、“大”などの段階で推定されてもよいし、ＭＥＴｓ（Metabolic Equivalents）等の指標値として推定されてもよい。解析部３３ｃは、部分空間ごとに動き領域を抽出し、部分空間ごとの活動量を推定してもよい。

【0038】

（４）照度の推定
例えば、解析部３３ｃは、画像と、カメラ部３１の撮像設定値（例えばゲインや露光時間など）とに基づいて対象空間（あるいは部分空間ごと）の照度を推定してもよい。

【0039】

（５）歩行滞留の検知
例えば、解析部３３ｃは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて歩行滞留を検知してもよい。

【0040】

画像センサ３は、図４に示されるようなセンサデータを繰り返し生成する。センサデータは画像センサ３からゲートウェイ７を経由してクラウドサーバ２００に送信される。

【0041】

図５は、クラウドサーバ２００の一例を示すブロック図である。クラウドサーバ２００は、ＣＰＵやＭＰＵ等のプロセッサ２１０と、ＲＯＭ（Read Only Memory）２２０およびＲＡＭ（Random Access Memory）２３０を備えるコンピュータである。クラウドサーバ２００は、さらに、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの記憶部２４０、光学メディアドライブ２６０、および、通信部２７０を備える。

【0042】

ＲＯＭ２２０は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、記憶部２４０からロードされたプログラムやデータを一時的に記憶する。

【0043】

光学メディアドライブ２６０は、ＣＤ－ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。クラウドサーバ２００で実行される各種プログラムは、例えばＣＤ－ＲＯＭ２８０に記録されて頒布される。このＣＤ－ＲＯＭ２８０に格納されたプログラムは光学メディアドライブ２６０により読み取られ、記憶部２４０にインストールされる。

【0044】

通信部２７０は、専用線ネットワーク３００およびファイヤウォール６経由での、画像センサシステムとの通信を制御する。

【0045】

記憶部２４０は、プロセッサ２１０により実行されるプログラム２４０ａ、センサデータ２４０ｂ、混雑情報２４０ｃ、店舗情報２４０ｄ、天候情報２４０ｅ、および、ＩＣカードデータベース２４０ｆを記憶する。センサデータ２４０ｂは、画像センサ３から取得される。混雑情報２４０ｃ、店舗情報２４０ｄ、ＩＣカードデータベース２４０ｆは、例えば店舗サーバ５から取得されたり、センサデータ２４０ｂに基づいてクラウドサーバ２００で算出される。天候情報２４０ｅは、気象データサーバにアクセスして取得される。

【0046】

図６は、混雑情報２４０ｃの一例を示す図である。混雑情報は、店舗内の位置（来客エリア）ごとに、現在の人数と、混雑度の設定値とを対応付けて管理される情報である。位置は、例えば異なるフードコート（Ｓ１～Ｓ５）に対応付けられ、各位置ごとに混雑度を測るしきい値としての混雑度設定値が設定されている。混雑度設定値＝３が設定されていて、つまり人数が３人以上になれば、その位置は混雑していると見做される。

【0047】

図７は、店舗情報２４０ｄの一例を示す図である。店舗情報は、それぞれの店舗（Ｔ１～Ｔ５）ごとに、取扱商品のジャンルと、現時点におけるセールの有無、およびセール時刻を対応付けて管理される情報である。

【0048】

図８は、天候情報２４０ｅの一例を示す図である。天候情報は、店外情報の一つの例であり、日時に対応付けて、天気、気温、及び湿度が対応付けて管理される情報である。例えば、梅雨時には雨を避けるために、店舗内につい長居しがちである。天候情報を参照し、晴れてきたことが分かればそのことをサイネージして、お客様に「外に出ようか…」という気持ちを起こさせることができる。結果として、さりげない形でお客様に退席してもらうことができる。

【0049】

図９は、ＩＣカードデータベース２４０ｆにより管理される情報の一例を示す図である。ＩＣカードデータベース２４０ｆは、ＩＣカードなどで一意に区別可能な人ＩＤごとに、属性、好み（店舗）、好み（店外）、および入店の有無が対応付けて管理される情報である。端的に言えば、ＩＣカードデータベース２４０ｆにおいて、人の嗜好を示す、好み情報（ＩＤ／属性毎）が管理される。

【0050】

例えばＩＤ＝００１としてセンシングされた人は、男性で、店舗の好みが食品、店外の情報としては晴れであることを好み、既に入店していることがわかる。この種のデータベースは、例えばＷｅｂアクセス履歴を協調フィルタリングなどの手法で解析して生成されることができる。

【0051】

プロセッサ２１０は、ＯＳ（Operating System）および各種のプログラムを実行する。ところで、プロセッサ２１０は、実施形態に係る処理機能として取得部２１０ａ、識別部２１０ｄ、レコメンド情報生成部２１０ｂ、および、提示部２１０ｃを備える。取得部２１０ａ、識別部２１０ｄ、レコメンド情報生成部２１０ｂ、および、提示部２１０ｃは、記憶部２４０のプログラム２４０ａがＲＡＭ２３０にロードされ、当該プログラムの進行に伴ってプロセッサ２１０が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム２４０ａは、クラウドサーバ２００を動作させるためのプログラムであって、クラウドサーバ２００を、取得部２１０ａ、識別部２１０ｄ、レコメンド情報生成部２１０ｂ、および、提示部２１０ｃとして動作させるための命令を含む。

【0052】

取得部２１０ａは、画像センサ３から、着席者の位置および滞在時間を含むセンサデータを取得する。また、取得部２１０ａは、混雑情報、セール情報を取得する。さらに、取得部２１０ａは、気象データサーバにアクセスして、対象とする店舗を含む地理的エリアの天候情報を取得する。

【0053】

識別部２１０ｄは、画像センサ３から取得されたセンサデータに含まれる着席者ごとの顔画像データに基づいて、当該着席者の個人を識別する。

【0054】

レコメンド情報生成部２１０ｂは、画像センサ３から取得されたセンサデータに含まれる着席者の位置と滞在時間に基づいて、着席者の退席を促すレコメンド情報を生成する。その際、混雑情報、セール情報、天候情報を参照して、着席者にとってより適切なレコメンド情報を生成することもできる。さらに、実施形態では、人物の属性および個人を特定し、属性に応じた傾向や、各々の個人向けのレコメンド情報を生成する。
提示部２１０ｃは、レコメンド情報生成部２１０ｂにより計算されたレコメンド情報を、ディジタルサイネージやＷｅｂページなどの電子広告媒体を介して着席者に提示する。

【0055】

図１０は、タブレット２０の一例を示す機能ブロック図である。タブレット２０は、操作部２１と、表示部２２と、通信部２３と、出力部２４と、制御部２５と、メモリ２６と、を備える。各部（操作部２１、表示部２２、通信部２３、出力部２４、制御部２５及びメモリ２６）は、バス２７で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

【0056】

操作部２１は、例えば、電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。表示部２２は、タッチパネル付きの液晶モニタを有し、画像を表示する。表示部２２はタッチパネル機能も有するので、操作部２１の機能の一部を兼ねることができる。

【0057】

通信部２３は、店舗Ｔ内の無線通信設備（無線ＬＡＮ（Local Area Network）など）、あるいは公衆セルラフォンシステム等に接続可能な、無線通信ユニットを備える。実施形態では、店舗Ｔ内の無線ＬＡＮに接続して各種の情報を取得することを、想定する。
出力部２４は、スピーカーやイヤホンジャック等を備え、アナログの音声や楽音を再生出力したり、オーディオ信号を出力する。

【0058】

メモリ２６は、制御部２５が実行するプログラムや各種データ、およびモバイルＯＳ（Operating System）等を記憶する。
制御部２５は、ＣＰＵ等のプロセッサを備え、タブレット２０の制御を司る。制御部２５のＣＰＵは、メモリ２６に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。実施形態では、制御部２５は、メモリ２６に記憶されたプログラムを読み出し、ブラウザアプリ（ブラウザ）２５ａを実行する。ブラウザ２５ａは、Ｗｅｂページの情報や、店舗Ｔに固有の情報、あるいは、クラウドサーバ２００から送信されたレコメンド情報を表示部２２に表示する。次に、上記構成における作用を説明する。

【0059】

図１１は、クラウドサーバ２００が画像センサ３からセンサデータを取得する手順を示すシーケンス図である。画像センサ３は、画像データを取得し（ステップＳ１０１）、記憶部３２に保存する（ステップＳ１０２）。そして画像センサ３は、画像データを画像処理して（ステップＳ１０３）、センサデータを生成する（ステップＳ１０４）。

【0060】

ゲートウェイ７は、画像センサ３からセンサデータを取得し（ステップＳ１０６）、バッファメモリなどにセンサデータを保存する（ステップＳ１０７）。
クラウドサーバ２００は、例えば一定のポーリング周期でセンサデータ取得要求をゲートウェイ７に送信する（ステップＳ３０１）。このセンサデータ取得要求を受け付け（ステップＳ２０１）たゲートウェイ７は、クラウドサーバ２００にセンサデータを送信する（ステップＳ２０２）。クラウドサーバ２００は、送信されたセンサデータを取得する（ステップＳ２０３）。

【0061】

図１２は、クラウドサーバ２００による入店者登録に係わる処理手順の一例を示すフローチャートである。人の入店を検知すると（ステップＳ２１）、クラウドサーバ２００は、画像センサ３から送信されたセンサデータから、入店者の顔の特徴、および身体の特徴を示す特徴情報を取得する（ステップＳ２２）。次にクラウドサーバ２００は、特徴情報から男性、女性、あるいは凡その年齢などの属性情報を抽出し（ステップＳ２３）、記憶部２４０に登録する（ステップＳ２４）。ここまでの手順を経て、登録処理が完了し（ステップＳ２５）、店舗Ｔに入ってきた人が入店状態として管理される。

【0062】

図１３は、クラウドサーバ２００の処理手順の一例を示すフローチャートである。図１１において、クラウドサーバ２００は、画像センサ３からのセンサデータを参照し、席ごとに着席者がいるか、または着席状態であるかをモニタする（ステップＳ３１）。混雑情報２４０ｃを参照して、混雑度が設定値以上であれば（ステップＳ３２でＹＥＳ）、クラウドサーバ２００は、その席の滞在時間を滞在時間をセンサデータから判定する（ステップＳ３３）。滞在時間が既定値を超えていれば（ＹＥＳ）、クラウドサーバ２００は、退席を促すためのレコメンド情報を作成し、着席者に提示して退席を促す（ステップＳ３４）。その後、取得したセンサデータから退席したことを確認できれば（ステップＳ３５でＹＥＳ）、退席完了である（ステップＳ４２）。

【0063】

ステップＳ３５で、退席を確認できなければ（ＮＯ）、クラウドサーバ２００は、その時間において、その人の属性を示す特徴に合った店舗情報があるか否かを判定する（ステップＳ３６）。店舗情報２４０ｄを参照して、例えば店舗Ｔ１のセールが１２：００から始まることを確認できれば（ＹＥＳ）、クラウドサーバ２００は、店舗Ｔ１での食品のセール情報を示すレコメンド情報を作成し、着席者に提示して退席を促す（ステップＳ３７）。

【0064】

図１４は、レコメンド情報の一例を示す模式図である。実施形態において、レコメンド情報は、例えば卓上に置かれたタブレット２０の画面に表示される。図１４に示されるように、「お隣のお店Ｔ１で、１２：００から生鮮食品のセールが始まります！」といった広告情報が、タブレット２０に表示される。その後、取得したセンサデータから退席したことを確認できれば（ステップＳ８でＹＥＳ）、退席完了である（ステップＳ４２）。

【0065】

ステップＳ３８で退席を確認できなければ（ＮＯ）、クラウドサーバ２００は天候情報２４０ｅを参照し、その時間における天候が、その人の属性を示す特徴に合っているかどうかを判定する（ステップＳ３９）。その人が、晴れを好む属性を持つ場合、晴れでなければ（ＮＯ）処理手順はここまでとし、在席のままの状態が継続されることとなる（ステップＳ４３）。

【0066】

天候情報が晴れであれば、クラウドサーバ２００は、その人に外出を促すレコメンド情報を作成し、着席者に提示して退席を促す（ステップＳ４０）。

【0067】

図１５は、レコメンド情報の他の例を示す模式図である。図１５に示されるように、「外は良い天気です。近くの〇〇商店街にでかけてみませんか？」といった広告情報が、タブレット２０に表示され、外出がさりげなく促される。その後、取得したセンサデータから退席したことを確認できれば（ステップＳ１１でＹＥＳ）退席完了、ＮＯであれば、在席のままになる（ステップＳ１３）。

【0068】

図１６は、退席促しに係わる処理手順の一例を示すフローチャートである。図１６において、クラウドサーバ２００は、レコメンド情報を生成する（ステップＳ８１）。レコメンド情報は、例えばＨＴＭＬ（HyperText Markup Language）形式のテキストデータとして生成される。次に、クラウドサーバ２００の提示部２１０ｃは、レコメンド情報を提示するためのＷｅｂページが更新されたことを、対象となるタブレット２０に通知する（ステップＳ８２）。この通知を受けたタブレット２０は、更新されたＷｅｂページの取得をクラウドサーバ２００に要求する。

【0069】

クラウドサーバ２００の提示部２１０ｃは、Ｗｅｂページの取得要求の到来を待ち受ける（ステップＳ８３）。取得要求を受信すると（Ｙｅｓ）、クラウドサーバ２００の提示部２１０ｃは、要求元のタブレット２０に、レコメンド情報を含むＨＴＭＬデータを送信する（ステップＳ８４）。これを受けたタブレット２０のブラウザ２５ａ（図１０）は、ＨＴＭＬデータを可視化して表示部２２に表示する。以上の手順により、退席を促すためのレコメンド情報がクラウドサーバ２００において生成されたのち、タブレット２０において直ちに提示される。

【0070】

以上述べたように、実施形態によれば、画像センサ３により取得されるセンサデータとして、店舗内の着席者の位置、属性、および滞在時間をクラウドサーバ２００に渡す。クラウドサーバ２００は、これらのセンサデータに基づき、店舗の混雑状況や着席者の滞在時間などを判定する。その結果に基づき、長時間にわたる着席者の卓上のサイネージ機器（タブレット等）に、その人の属性に応じて退席を促すレコメンド情報を表示するようにした。

【0071】

既存の技術では、人の退席を促すためのレコメンド情報を作成し、積極的に提示することは知られていなかった。これに対し実施形態では、広告媒体を用いて、自然な形で長期着席者の退席を促すことができる。これらのことから実施形態によれば、滞留する人に退席を促すことの可能な誘導システム、サーバ、プログラムおよびサービス提供方法を提供することが可能となる。

【0072】

＜変形例＞
図１７は、クラウドサーバ２００による入店者登録に係わる処理手順の他の例を示すフローチャートである。以上の説明では入店者の属性情報をセンサデータから取得し、レコメンド情報を作成した。変形例ではさらに一歩踏み込み、入店者の個人を特定することにより、さらに効果的な退席促しを実現する。

【0073】

図１７において、人の入店を検知すると（ステップＳ５１）、クラウドサーバ２００は、例えば店舗入り口に設けられたデバイス（カードセンサなど）への、入店者によるＩＣカードのタッチを検知する（ステップＳ５２）。あるいは、スマートフォンなどのデバイスによる近距離無線通信で、ＩＣカード情報に類する情報を取得することもできる。このようにして取得されたＩＣカードの情報（個人ＩＤなど）が、ＩＣカードデータベース２４０ｆに入店記録として登録される（ステップＳ５３）。

【0074】

そうしてクラウドサーバ２００は、ＩＣカードデータベース２４０ｆのＩＤと、画像センサでセンシングされた該当者のＩＤとを紐づけて登録する（ステップＳ５４）。ここまでの手順を経て、登録処理が完了し（ステップＳ５５）、店舗Ｔに入ってきた人が入店状態として管理される。すなわち入店者は、それぞれ固有のＩＤと対応付けて管理される。

【0075】

図１８は、クラウドサーバ２００の処理手順の他の例を示すフローチャートである。図１８において、クラウドサーバ２００は、画像センサ３からのセンサデータを参照し、席ごとに着席者がいるか、または着席状態であるかをモニタする（ステップＳ６１）。混雑情報２４０ｃを参照して、混雑度が設定値以上であれば（ステップＳ６２でＹＥＳ）、クラウドサーバ２００は、その席に滞在している人（ＩＤ：ｘｘｘｘ）の滞在時間を、センサデータから判定する（ステップＳ６３）。滞在時間が既定値を超えていれば（ＹＥＳ）、クラウドサーバ２００は、退席を促すためのレコメンド情報を作成し、（ＩＤ：ｘｘｘｘ）の人に提示して退席を促す（ステップＳ６４）。その後、取得したセンサデータから退席したことを確認できれば（ステップＳ６５でＹＥＳ）、退席完了である（ステップＳ７２）。

【0076】

ステップＳ６５で、退席を確認できなければ（ＮＯ）、クラウドサーバ２００は、その時間において、（ＩＤ：ｘｘｘｘ）の人の特徴に合った店舗情報があるか否かを判定する（ステップＳ６６）。店舗情報２４０ｄを参照して、例えば店舗Ｔ１のセールが１２：００から始まることを確認できれば（ＹＥＳ）、クラウドサーバ２００は、店舗Ｔ１での食品のセール情報を示すレコメンド情報を作成し、（ＩＤ：ｘｘｘｘ）の人に提示して退席を促す（ステップＳ６７）。

【0077】

ステップＳ６８で退席を確認できなければ（ＮＯ）、クラウドサーバ２００は天候情報２４０ｅを参照し、その時間における天候が、（ＩＤ：ｘｘｘｘ）の人の特徴に合っているかどうかを判定する（ステップＳ６９）。その人が、晴れを好む属性を持つ場合、晴れでなければ（ＮＯ）処理手順はここまでとし、在席のままの状態が継続されることとなる（ステップＳ７３）。天候情報が晴れであれば、クラウドサーバ２００は、（ＩＤ：ｘｘｘｘ）の人に外出を促すレコメンド情報を作成し、着席者に提示して退席を促す（ステップＳ７０）。

【0078】

以上のように、変形例では、顔画像データに基づいて入店者の個人を特定し、予め登録された個人の好みを示す情報（嗜好情報）に則してレコメンド情報を作成するようにした。これにより、より個人の好みに則したかたちで、さらに効果的に退席を促すことが可能になる。

【0079】

なお、この発明は上記実施の形態に限定されるものではない。例えば、図１４、図１５のようなメッセージに限らず、周辺の店舗の混雑状況を詳しく表示することによっても、着席者の外出を促すことは可能である。
また、クラウドサーバ２００に備わる機能の一部、または全てをゲートウェイ７に実装しても良い。

【0080】

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0081】

３…画像センサ、５…店舗サーバ、６…ファイヤウォール、７…ゲートウェイ、１５…プロセッサ、２０…タブレット、２１…操作部、２２…表示部、２３…通信部、２４…出力部、２５…制御部、２５ａ…ブラウザ、２６…メモリ、２７…バス、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…撮像素子、３２…記憶部、３２ａ…画像データ、３２ｂ…プログラム、３２ｄ…辞書データ、３３…プロセッサ、３３ａ…検出部、３３ｂ…特徴量計算部、３３ｃ…解析部、３３ｄ…学習部、３４…通信部、３５…内部バス、１００…信号線、２００…クラウドサーバ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…記憶部、２４０ａ…プログラム、２４０ｂ…センサデータ、２４０ｃ…混雑情報、２４０ｄ…店舗情報、２４０ｅ…天候情報、２４０ｆ…ＩＣカードデータベース、２１０…プロセッサ、２１０ａ…取得部、２１０ｂ…レコメンド情報生成部、２１０ｃ…提示部、２１０ｄ…識別部、２６０…光学メディアドライブ、２７０…通信部、３００…専用線ネットワーク、４００…管理サーバ、５００…店舗内ネットワーク、６００…クラウド、７００…データセンタ、７００ａ…データベース、Ｔ，Ｔ１～Ｔ５…店舗。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】