特開 2023-159972 滞在状況提示装置および滞在状況提示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023159972

(43)【公開日】2023-11-02

(54)【発明の名称】滞在状況提示装置および滞在状況提示方法

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20231026BHJP

【ＦＩ】

G06Q10/04

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022069934

(22)【出願日】2022-04-21

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】里 雄二

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA04

(57)【要約】

【課題】各人物の動作に基づいて近い将来に施設から退去する人物を予測することで、混雑状況に関するより信頼性の高い情報を利用者に提示できるようにする。
【解決手段】施設内で在席中の人物を検知し、在席中の人物の中から、在席時間が所定のしきい値以上となる人物を予測対象として抽出し、所定の離席予兆動作に基づいて、予測対象とした人物の離席を予測し、少なくとも、在席中の人物の人数（在席人数）と、離席が予測される人物の人数（離席予測人数）とを利用者端末の案内画面に表示させる。また、在席中の人物を検知する処理および離席を予測する処理の最新の処理結果に基づいて、在席中の人物の人数、および離席が予測される人物の人数を更新した時刻を利用者端末の案内画面に表示させる。また、利用者端末からのアクセスに応じて利用者端末に表示させた案内画面を閲覧中の利用者の人数を利用者端末に表示させる。
【選択図】図８

【特許請求の範囲】

【請求項1】

施設における人物の滞在エリアを撮影した映像に基づいて、施設の混雑度に関する表示情報の生成処理をプロセッサにより実行する滞在状況提示装置であって、
前記プロセッサは、
前記滞在エリアに滞在中の人物を検知し、
前記滞在中の人物の中から、滞在時間が所定のしきい値以上となる人物を予測対象として抽出し、
所定の退去予兆動作に基づいて、前記予測対象とした人物の退去を予測し、
少なくとも、前記滞在中の人物の人数と、前記退去が予測される人物の人数とを含む前記表示情報を生成することを特徴とする滞在状況提示装置。

【請求項2】

前記滞在エリアは、在席中の人物を検知する在席検知エリアであり、
前記退去予兆動作は、在席中の人物が離席の直前に行う離席予兆動作であることを特徴とする請求項１に記載の滞在状況提示装置。

【請求項3】

前記プロセッサは、
利用者が操作する端末装置からのアクセスに応じて、前記表示情報を前記端末装置に送信することを特徴とする請求項１に記載の滞在状況提示装置。

【請求項4】

前記プロセッサは、
施設の管理者が行う前記しきい値を指定する操作に応じて、前記しきい値を設定することを特徴とする請求項１に記載の滞在状況提示装置。

【請求項5】

前記プロセッサは、
前記滞在中の人物を検知する処理および前記退去を予測する処理の最新の処理結果に基づいて、前記滞在中の人物の人数、および前記退去が予測される人物の人数を更新した時刻を含む前記表示情報を生成することを特徴とする請求項１に記載の滞在状況提示装置。

【請求項6】

前記プロセッサは、
利用者が操作する端末装置からのアクセスに応じて前記端末装置に送信した前記表示情報を閲覧中の利用者の人数を含む前記表示情報を生成することを特徴とする請求項１に記載の滞在状況提示装置。

【請求項7】

前記退去予兆動作は、着用物を着用する動作、荷物を持つ動作、電子機器の取り扱いを終了する動作、物品を片付ける動作、物品をカバンに収納する動作の少なくともいずれかであることを特徴とする請求項１に記載の滞在状況提示装置。

【請求項8】

施設における人物の滞在エリアを撮影した映像に基づいて、施設の混雑度に関する表示情報の生成処理をプロセッサにより実行する滞在状況提示方法であって、
前記滞在エリアに滞在中の人物を検知し、
前記滞在中の人物の中から、滞在時間が所定のしきい値以上となる人物を予測対象として抽出し、
所定の退去予兆動作に基づいて、前記予測対象とした人物の退去を予測し、
少なくとも、前記滞在中の人物の人数と、前記退去が予測される人物の人数とを含む前記表示情報を生成することを特徴とする滞在状況提示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施設を撮影した映像に基づいて施設における人物の滞在状況に関する情報を生成して利用者に提示する滞在状況提示装置および滞在状況提示方法に関するものである。

【背景技術】

【0002】

飲食店などの施設における現在の混雑状況をリアルタイムに利用者端末に配信して、施設を利用しようとしている利用者に現在の混雑状況を提示すると、利用者の利便性を高めることができる。一方、施設に滞在している人物が施設から退去することで、施設の混雑状況は変化するため、将来の混雑状況を予測して、その予測結果も利用者に提示するとよい。

【0003】

このような施設の混雑状況を予測して利用者に提示する技術として、従来、センサ（人感センサやカメラなど）の検出結果に基づいて在席中の人物の数を計測すると共に、施設における過去の混雑状況に関する情報に基づく機械学習により生成された予測モデルを用いて、将来の混雑状況を予測して、その予測結果を利用者に提示する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１８９７０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術によれば、予測モデルを用いることで将来の混雑状況を予測することができる。しかしながら、従来の技術は、施設全体における過去の混雑状況に関する情報に基づく機械学習であるため、施設の混雑状況の傾向、すなわち、混雑状況がどのように推移するかを、統計的な観点から予測するものである。そのため、実際には予測通りに混雑が解消されないことが多々あり、混雑状況に関するより信頼性の高い情報を利用者に提示することが望まれる。

【0006】

そこで、本発明は、各人物の動作に基づいて近い将来に施設から退去する人物を予測することで、混雑状況に関するより信頼性の高い情報を利用者に提示することができる滞在状況提示装置および滞在状況提示方法を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の滞在状況提示装置は、施設における人物の滞在エリアを撮影した映像に基づいて、施設の混雑度に関する表示情報の生成処理をプロセッサにより実行する滞在状況提示装置であって、前記プロセッサは、前記滞在エリアに滞在中の人物を検知し、前記滞在中の人物の中から、滞在時間が所定のしきい値以上となる人物を予測対象として抽出し、所定の退去予兆動作に基づいて、前記予測対象とした人物の退去を予測し、少なくとも、前記滞在中の人物の人数と、前記退去が予測される人物の人数とを含む前記表示情報を生成する構成とする。

【0008】

また、本発明の滞在状況提示方法は、施設における人物の滞在エリアを撮影した映像に基づいて、施設の混雑度に関する表示情報の生成処理をプロセッサにより実行する滞在状況提示方法であって、前記滞在エリアに滞在中の人物を検知し、前記滞在中の人物の中から、滞在時間が所定のしきい値以上となる人物を予測対象として抽出し、所定の退去予兆動作に基づいて、前記予測対象とした人物の退去を予測し、少なくとも、前記滞在中の人物の人数と、前記退去が予測される人物の人数とを含む前記表示情報を生成する構成とする。

【発明の効果】

【0009】

本発明によれば、滞在中の人物の人数と、退去が予測される人物の人数とを、利用者に提示する。利用者は、退去が予測される人物の人数を考慮することで、滞在中の人物の人数に基づく施設の混雑度を修正して判断することができる。これにより、施設の混雑状況に関するより信頼性の高い情報を利用者に提示することができる。また、人物の退去を予測する処理が、在席時間が所定のしきい値以上となる人物を対象にして実行され、処理の対象が、離席する可能性の高い人物に絞り込まれるため、処理の負荷を軽減することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る滞在状況提示システムの全体構成図

【図2】施設におけるカメラの撮影状況を示す説明図

【図3】サーバの概略構成を示すブロック図

【図4】サーバで管理される在席人物データベースの登録内容を示す説明図

【図5】離席予兆動作の種別、および離席予兆動作の種別ごとに取得される予測スコアの一例を示す説明図

【図6】サーバで行われる離席予測処理の概要を示す説明図

【図7】サーバで行われる在席検知処理、予測対象抽出処理、および離席予測処理の手順の一例を示すフロー図

【図8】利用者端末に表示される案内画面を示す説明図

【図9】管理者端末に表示される設定画面を示す説明図

【発明を実施するための形態】

【0011】

前記課題を解決するためになされた第１の発明は、施設における人物の滞在エリアを撮影した映像に基づいて、施設の混雑度に関する表示情報の生成処理をプロセッサにより実行する滞在状況提示装置であって、前記プロセッサは、前記滞在エリアに滞在中の人物を検知し、前記滞在中の人物の中から、滞在時間が所定のしきい値以上となる人物を予測対象として抽出し、所定の退去予兆動作に基づいて、前記予測対象とした人物の退去を予測し、少なくとも、前記滞在中の人物の人数と、前記退去が予測される人物の人数とを含む前記表示情報を生成する構成とする。

【0012】

これによると、滞在中の人物の人数と、退去が予測される人物の人数とを、利用者に提示する。利用者は、退去が予測される人物の人数を考慮することで、滞在中の人物の人数に基づく施設の混雑度を修正して判断することができる。これにより、施設の混雑状況に関するより信頼性の高い情報を利用者に提示することができる。また、人物の退去を予測する処理が、在席時間が所定のしきい値以上となる人物を対象にして実行され、処理の対象が、離席する可能性の高い人物に絞り込まれるため、処理の負荷を軽減することができる。

【0013】

また、第２の発明は、前記滞在エリアは、在席中の人物を検知する在席検知エリアであり、前記退去予兆動作は、在席中の人物が離席の直前に行う離席予兆動作である構成とする。

【0014】

これによると、座席が設けられた施設の混雑状況に関する適切な情報を利用者に提示することができる。

【0015】

また、第３の発明は、前記プロセッサは、利用者が操作する端末装置からのアクセスに応じて、前記表示情報を前記端末装置に送信する構成とする。

【0016】

これによると、施設の混雑状況に関する情報を利用者が容易に閲覧することができる。

【0017】

また、第４の発明は、前記プロセッサは、施設の管理者が行う前記しきい値を指定する操作に応じて、前記しきい値を設定する構成とする。

【0018】

これによると、施設の管理者が、施設の特性などを勘案して、しきい値を任意に指定することができる。

【0019】

また、第５の発明は、前記プロセッサは、前記滞在中の人物を検知する処理および前記退去を予測する処理の最新の処理結果に基づいて、前記滞在中の人物の人数、および前記退去が予測される人物の人数を更新した時刻を含む前記表示情報を生成する構成とする。

【0020】

これによると、利用者が、表示情報がどの程度新しい情報であるかを容易に把握することができる。

【0021】

また、第６の発明は、前記プロセッサは、利用者が操作する端末装置からのアクセスに応じて前記端末装置に送信した前記表示情報を閲覧中の利用者の人数を含む前記表示情報を生成する構成とする。

【0022】

これによると、利用者が、退去が予測される人物の人数に加えて、表示情報を閲覧中の利用者の人数を考慮することで、滞在中の人物の人数に基づく施設の混雑度を修正して判断することができる。

【0023】

また、第７の発明は、前記退去予兆動作は、着用物を着用する動作、荷物を持つ動作、電子機器の取り扱いを終了する動作、物品を片付ける動作、物品をカバンに収納する動作の少なくともいずれかである構成とする。

【0024】

これによると、近い将来に施設から退去する人物を精度よく予測することができる。

【0025】

また、第８の発明は、施設における人物の滞在エリアを撮影した映像に基づいて、施設の混雑度に関する表示情報の生成処理をプロセッサにより実行する滞在状況提示方法であって、前記滞在エリアに滞在中の人物を検知し、前記滞在中の人物の中から、滞在時間が所定のしきい値以上となる人物を予測対象として抽出し、所定の退去予兆動作に基づいて、前記予測対象とした人物の退去を予測し、少なくとも、前記滞在中の人物の人数と、前記退去が予測される人物の人数とを含む前記表示情報を生成する構成とする。

【0026】

これによると、第１の発明と同様に、各人物の動作に基づいて近い将来に施設から退去する人物を予測することで、混雑状況に関するより信頼性の高い情報を利用者に提示することができる。

【0027】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0028】

（第１実施形態）
図１は、本実施形態に係る滞在状況提示システムの全体構成図である。

【0029】

本システムは、対象とする施設（飲食店など）の混雑状況（滞在状況）を利用者に提示するものである。本システムは、カメラ１と、サーバ２（滞在状況提示装置）と、利用者端末３（端末装置）と、管理者端末４（端末装置）とを備えている。カメラ１、サーバ２、利用者端末３、および管理者端末４はネットワークを介して接続されている。

【0030】

カメラ１は、対象とする施設に設置され、施設内を撮影する。

【0031】

サーバ２は、施設内を撮影した映像をカメラ１から取得して、その映像に基づいて施設の混雑状況に関する情報を生成する。サーバ２は、Ｗｅｂサーバの機能を有し、施設の混雑状況に関する情報を利用者端末３に配信する。サーバ２は、対象とする施設に設置されて、１つの施設を対象にした処理を行ってもよく、また、クラウドコンピュータとして構成されて、複数の施設を対象にした処理を行ってもよい。

【0032】

利用者端末３は、これから施設を利用しようとする利用者（利用予定者）が操作する。利用者端末３は、サーバ２から配信される施設の混雑状況に関する案内画面（図８参照）を表示する。利用者は、案内画面を閲覧することで、施設の混雑状況を把握することができる。

【0033】

管理者端末４は、施設の管理者が操作する。管理者端末４は、サーバ２で行われる処理の条件などを設定するための設定画面（図９参照）を表示する。管理者は、設定画面において処理条件を指定する操作を行うことができる。サーバ２は、管理者の操作に応じて処理条件を設定する。

【0034】

なお、本実施形態において対象とする施設は、特に限定されないが、主に個人または少人数で利用される飲食店や社員食堂でもよい。また、対象とする施設は、利用者が自由に座席を選択できるフリーアドレス制が採用されたオフィスであってもよい。また、特定の時間帯に入場者が集まるようなスポーツジムや娯楽施設であってもよい。

【0035】

次に、本システムで行われる処理の概要について説明する。図２は、施設におけるカメラ１の撮影状況を示す説明図である。

【0036】

対象とする施設（飲食店など）には、座席（椅子）およびテーブルが設置されている。施設の天井には、カメラ１が設置されている。カメラ１は、施設内に滞在する人物を撮影する。

【0037】

本実施形態では、カメラ１の映像上に座席ごとの在席検知エリアが予め設定され、この在席検知エリアの映像に基づいて、人物の在席、すなわち、人物が座席に座っているか否かを検知して、現在の在席人数を利用者に提示する。これにより、利用者は、施設の混雑状況を把握することができる。

【0038】

一方、現在の在席人数が多くても、利用を終了して近い将来に離席する人物がいれば、実際の混雑度は低いものと見なすことができ、現在の在席人数だけでは混雑状況を正しく反映した情報提示ができない。

【0039】

そこで、本実施形態では、動作予測技術を利用して、在席中の人物のうち、近い将来に離席する人物を予測し（離席予測処理）、継続して在席する人物と、近い将来に離席する人物とを区別して、近い将来に離席する人物の数（離席予測人数）を、現在の在席人数に加えて提示する。これにより、利用者は、施設の混雑状況をより正確に把握することができる。

【0040】

また、在席中の全ての人物を対象にして離席予測処理を実行するのは処理の負荷が大きい。そこで、本実施形態では、在席してすぐの人物が近い将来に離席する可能性は低いため、在席中の各人物に関して在席時間（在席開始時刻からの経過時間）を算出して、在席時間が所定のしきい値以上となる人物を予測対象（離席予測処理の対象）として抽出して離席予測処理を実行する。これにより、離席予測処理の対象が、離席する可能性の高い人物に絞り込まれるため、離席予測処理の負荷が軽減される。

【0041】

ここで、利用者の在席時間（滞在時間）は施設に応じて異なる。例えば、カフェのように主に飲み物を提供する店舗の場合には在席時間は比較的短く、ファミリーレストランのように主に食事を提供する店舗の場合には在席時間は比較的長くなる。そこで、各施設の在席時間の傾向に基づいて、施設ごとにしきい値が設定されることが望まれる。例えば、在席時間が短い傾向の施設ではしきい値が１０分に設定され、在席時間が長い傾向の施設ではしきい値が３０分に設定される。

【0042】

なお、本実施形態では、対象とする施設の管理者が在席時間のしきい値を指定することができ、在席時間のしきい値が施設ごとに個別に設定されるが、対象とする施設の種別に応じて設定されてもよい。すなわち、過去の人物ごとの在席時間に関する統計処理を施設の種別ごとに実施して、施設の種別ごとに在席時間のしきい値が設定されてもよい。

【0043】

また、本実施形態では、飲食店やオフィスなどの施設を対象にして、施設の混雑状況として、施設内に設けられた座席の利用状況（在席状況）が利用者に提示されるが、例えばアパレルの店舗のように座席が設けられていない施設の混雑状況を利用者に提示するものでもよい。この場合、施設内を移動する人物の混同を避けるため、カメラ１の映像上で人物追跡が行われるとよい。

【0044】

また、カメラ１には、所定の画角を有するボックスカメラが用いられるとよい。これにより、精度の高い離席予測処理が可能な映像を取得することができる。

【0045】

一方、カメラ１の一部に、全方向を撮影する全方位カメラが用いられてもよい。全方位カメラでは、在席検知処理に適した映像を取得することができるものの、全方位カメラの映像では、人物が真上から撮影されているため、人物の動作を適切に認識できないため、離席予測処理の用途には不向きである。このため、離席予測処理を行うための映像をボックスカメラにより取得すると共に、在席検知処理を行うための映像を全方位カメラにより取得するようにしてもよい。この場合、ボックスカメラの映像上の位置と全方位カメラの映像上の位置とを対応付ける処理（キャリブレーション）が行われるとよい。

【0046】

次に、サーバ２の概略構成について説明する。図３は、サーバ２の概略構成を示すブロック図である。

【0047】

サーバ２は、通信部２１と、記憶部２２と、プロセッサ２３と、を備えている。

【0048】

通信部２１は、カメラ１、利用者端末３、および管理者端末４とネットワークを介して通信を行う。

【0049】

記憶部２２は、プロセッサ２３で実行されるプログラムなどを記憶する。また、記憶部２２は、カメラ１から受信した映像を蓄積する。また、記憶部２２は、在席人物データベースの登録情報（在席開始時刻、在席時間など）を記憶する。

【0050】

プロセッサ２３は、記憶部２２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ２３が、在席検知処理、予測対象抽出処理、離席予測処理、統計処理、および表示処理などを行う。

【0051】

在席検知処理（滞在検知処理）では、プロセッサ２３が、カメラ１の映像に基づいて、在席中の人物を検知する。具体的には、カメラ１の映像上に座席ごとの在席検知エリアが予め設定され、カメラ１の映像から在席検知エリアの画像を切り出して、その在席検知エリアの画像に基づいて、人物が座席に座っているか否かを判定する。なお、在席中の人物が検知されると、その人物に対して人物ＩＤが付与される。

【0052】

予測対象抽出処理では、プロセッサ２３が、在席検知処理で在席が検知された人物の中から、予測対象（離席予測処理の対象）となる人物を抽出する。具体的には、人物ごとの在席時間が所定のしきい値と比較され、在席時間がしきい値以上となる人物が予測対象として抽出される。

【0053】

離席予測処理（退去予測処理）では、プロセッサ２３が、カメラ１の映像に基づいて、予測対象とした人物が近い将来（現在時刻から所定時間以内）に離席するか否かを予測する。離席予測処理は、予測対象とした人物が所定の離席予兆動作（退去予兆動作）を行ったことを検知する。離席予兆動作は、離席しようとする人物が行う動作（離席の直前に行う動作）であり、この離席予兆動作が検知されると、その離席予兆動作を行った人物は近い将来に離席するものと予測することができる。

【0054】

ここで、離席とは、退店のために席から離れる行為である。離席予兆動作は、例えば、着用物（上着や帽子など）を着用する動作、荷物（カバンなど）を持つ動作、電子機器（ラップトップパソコン、スマートフォン、タブレット端末など）の取り扱いを終了する動作、使用していた物品（本、食器など）を片付ける動作、座席から立ち上がる動作などである。なお、離席予兆動作は、離席しようとする人物が行う動作であり、トイレなどの用事で荷物等を置いたまま一時的に席を立つ際に人物が行う動作と区別することができる。

【0055】

また、離席予測処理には、動作予測（Action Anticipation）の技術が用いられる。この動作予測の技術では、現在から所定期間遡った過去から現在までの映像に基づいて、未来の時刻（現在から所定時間経過した時点）で行われる動作を予測するものである。

【0056】

離席予測処理には、映像抽出処理と、特徴抽出処理と、予測スコア取得処理と、離席判定処理とが含まれる。

【0057】

映像抽出処理では、プロセッサ２３が、蓄積された映像から、現在時刻を基準にしたクリップ映像を抽出する。クリップ映像は、現在から所定期間遡った過去から現在までの対象期間に含まれる映像である。また、映像抽出処理では、プロセッサ２３が、クリップ映像から各時刻の単位映像を抽出する。単位映像は、過去の所定数（例えば６枚）の撮影画像（フレーム）の集合（動画）である。

【0058】

特徴抽出処理では、プロセッサ２３が、各時刻の単位映像から各時刻の特徴情報を抽出する。本実施形態では、空間特徴情報、動き特徴情報、および物体特徴情報が抽出される。空間特徴情報は、映像に現れた物体の位置関係に関する情報である。動き特徴情報は、映像に現れた動きに関する情報である。物体特徴情報は、映像に現れた物体の種別に関する情報である。なお、空間特徴情報、動き特徴情報、および物体特徴情報のいずれか１つもしくは２つが抽出されてもよい。

【0059】

また、特徴抽出処理では、ディープラーニングなどの機械学習により生成した特徴抽出モデル（機械学習モデル）を用いることができる。この場合、単位映像を特徴抽出モデルに入力して、特徴抽出モデルから出力される特徴情報を取得する。

【0060】

予測スコア取得処理では、プロセッサ２３が、特徴抽出処理で取得した各時刻の特徴情報に基づいて、離席予兆動作の種別（上着を着る動作、カバンを持つ動作など）ごとに予測スコアを取得する。予測スコアは、人物が離席予兆動作を行った確度を表す評価値である。

【0061】

また、予測スコア取得処理では、ディープラーニングなどの機械学習により生成した予測スコア取得モデル（機械学習モデル）を用いることができる。この場合、特徴情報を予測スコア取得モデルに入力して、予測スコア取得モデルから出力される離席予兆動作の種別（動作クラス）ごとの予測スコアを取得する。なお、予測スコア取得モデルには、例えば、ニューラルネットワークが用いられてもよい。また、予測スコア取得モデルが、特徴情報の種別（空間特徴情報、動き特徴情報、物体特徴情報）ごとに設けられ、特徴情報の種別ごとに予測スコアが取得されるようにしてもよい。

【0062】

離席判定処理では、プロセッサ２３が、予測スコア取得処理で取得した離席予兆動作の種別ごとの予測スコアに基づいて、予測対象とする人物が近い将来（現在時刻から所定時間以内）に離席するか否かを判定する。具体的には、離席予兆動作の種別ごとの予測スコアの中で最も高い予測スコアが所定のしきい値以上となる場合に、予測対象とする人物が近い将来に離席するものと判定する。

【0063】

また、離席判定処理では、ディープラーニングなどの機械学習により生成した離席判定モデル（機械学習モデル）を用いることができる。この場合、離席予兆動作の種別ごとの予測スコアを離席判定モデルに入力して、離席判定モデルから出力される離席判定結果を取得する。なお、離席判定モデルには、例えば、サポートベクターマシン（ＳＶＭ：support-vector machine）が用いられてもよい。

【0064】

統計処理では、プロセッサ２３が、管理者に提示する統計情報を生成する。統計情報は、在席中の人物の中から予測対象（離席予測処理の対象）とする人物を抽出する際の在席時間に関するしきい値を管理者が指定する際に参考として管理者に提示される。

【0065】

表示処理では、プロセッサ２３が、利用者端末３に表示させる案内画面（図８参照）に関する表示情報を生成する。また、表示処理では、プロセッサ２３が、管理者端末４に表示させる設定画面（図９参照）に関する表示情報を生成する。

【0066】

次に、サーバ２で管理される在席人物データベースについて説明する。図４は、サーバ２で管理される在席人物データベースの登録内容を示す説明図である。

【0067】

サーバ２では、カメラ１の映像に基づいて、在席中の人物を検知する処理（在席検知処理）が行われる。在席検知処理では、在席中の人物が検知されると、その人物に対して人物ＩＤが付与され、その人物ＩＤと在席開始時刻とが在席人物データベースに登録される。また、サーバ２では、在席中の各人物に関して在席時間（在席開始時刻からの現在時刻までの経過時間）が算出され、在席時間が在席人物データベースに登録される。なお、本例では、現在時刻が１３：５０である。

【0068】

また、サーバ２では、在席検知処理で在席が検知された人物の中から、予測対象（離席予測処理の対象）となる人物を抽出する処理（予測対象抽出処理）が行われる。予測対象抽出処理では、在席人物データベースを参照して、人物ごとの在席時間が所定のしきい値と比較され、在席時間がしきい値以上となる人物が予測対象として抽出される。本例では、人物ＩＤが１１、１２の人物で、在席時間がしきい値（３０分）以上となるため、その人物が予測対象として抽出される。

【0069】

次に、離席予兆動作について説明する。図５は、離席予兆動作の種別、および離席予兆動作の種別ごとに取得される予測スコアの一例を示す説明図である。

【0070】

サーバ２では、離席予兆動作（動作クラス）の種別ごとに、その動作を人物が行った確度を表す予測スコアを取得する処理が行われる（予測スコア取得処理）。

【0071】

離席予兆動作には、上着を着る動作がある。この他に、帽子を被る動作などのように、着用物を着用する動作が離席予兆動作に含まれる。また、離席予兆動作には、カバンを持つ動作がある。この他に、カートなどの荷物を持つ動作が離席予兆動作に含まれる。また、離席予兆動作には、ラップトップパソコンを閉じる動作、ラップトップパソコンをカバンに入れる動作、およびスマートフォンをカバンに入れる動作がある。この他に、種々の電子機器の取り扱い（使用）を終了する動作が離席予兆動作に含まれる。また、離席予兆動作には、本を閉じる動作がある。この他に、食器を重ねる動作などのように、使用していた物品を片付ける動作が離席予兆動作に含まれる。また、離席予兆動作には、本をカバンに入れる動作がある。この他に、テーブル上に置いた種々の物品をカバンに収納する動作が離席予兆動作に含まれる。なお、離席が発生した際に、離席予兆動作の種別が特定されていなかった場合、その離席直前の動作を蓄積すると共に追加学習を行うことにより、新たな種別を設定して、離席予兆動作の種別として加えるようにしてもよい。

【0072】

次に、サーバ２で行われる離席予測処理について説明する。図６は、離席予測処理の概要を示す説明図である。

【0073】

サーバ２では、予測対象とする人物が近い将来（現在時刻から所定時間以内）に離席するか否かを予測する処理が行われる（離席予測処理）。図６に示す例では、時刻ｔ_１４が現在時刻であり、時刻ｔ_１５が予測時刻である。αは、現在時刻からどれくらい先の時刻を予測するかを決めるパラメータであり、αに応じて予測時刻が設定される。例えば、α＝１０ｓならば１０秒先を予測する。

【0074】

サーバ２では、まず、蓄積された映像から、現在時刻を基準にしたクリップ映像を切り出すと共に、クリップ映像から各時刻ｔ_１～ｔ_１４の単位映像Ｖ_１～Ｖ_１４を抽出する処理が行われる（映像抽出処理）。クリップ映像は、現在から所定期間遡った過去から現在までの対象期間に含まれる映像である。時刻ｔの単位映像Ｖ_ｔは、時刻ｔを基準にして過去の所定数（例えば６枚）の撮影画像（フレーム）の集合（動画）である。

【0075】

次に、サーバ２では、各時刻ｔ_１～ｔ_１４の単位映像Ｖ_１～Ｖ_１４から各時刻ｔ_１～ｔ_１４の特徴情報を抽出する処理が行われる（特徴抽出処理）。

【0076】

次に、サーバ２では、各時刻ｔ_１～ｔ_１４の特徴情報に基づいて、予測結果として、離席予兆動作の種別ごとに予測スコアを取得する処理が行われる（予測スコア取得処理）。

【0077】

図６に示す例では、まず、時刻ｔ_１から時刻ｔ_５までは、各時刻の単位映像Ｖ_１～Ｖ_５から各時刻の特徴情報を抽出する処理のみが行われる。時刻ｔ_６では、単位映像Ｖ_６から特徴情報を抽出すると共に、時刻ｔ_１～ｔ_６の単位映像Ｖ_１～Ｖ_６から抽出された各時刻の特徴情報に基づいて、時刻ｔ_６の予測結果が取得される。以下同様にして、時刻ｔ_７～ｔ_１４の予測結果が取得される。このとき、各時刻において、前回の予測結果を逐次更新するようにして、その時刻の予測結果が取得される。

【0078】

次に、サーバ２では、現在の時刻ｔ_１４の予測結果である離席予兆動作の種別ごとの予測スコアに基づいて、予測対象とする人物が近い将来（現在時刻から所定時間以内）に離席するか否かを判定する処理が行われる（離席判定処理）。図６に示す例では、時刻ｔ_１４の予測結果に基づいて、時刻ｔ_１５において予測対象とする人物が離席するか否かが判定される。

【0079】

次に、サーバ２で行われる在席検知処理、予測対象抽出処理、および離席予測処理の手順について説明する。図７は、在席検知処理、予測対象抽出処理、および離席予測処理の手順の一例を示すフロー図である。なお、これらのフローは定期的に実行される。

【0080】

図７（Ａ）に示すように、在席検知処理では、サーバ２は、まず、カメラ１の撮影画像を取得する（ＳＴ１０１）。次に、サーバ２は、カメラ１の撮影画像から座席ごとの在席検知エリアの画像を切り出して、その在席検知エリアの画像に基づいて、在席検知エリアに存在する人物を検出する（人物検出処理）（ＳＴ１０２）。

【0081】

次に、サーバ２は、在席検知エリアに存在する人物が在席中か否かを判定する（在席判定処理）（ＳＴ１０３）。このとき、在席検知エリアの人物が所定回数以上連続して検出された場合に、在席検知エリアに存在する人物が在席中と判定する。例えば、カメラ１の撮影画像が１０秒間隔で取得される場合に、在席検知エリアの人物が６回連続して検出された場合、すなわち、在席検知エリアに人物が１分間連続して存在する場合に、在席中と判定される。なお、在席判定処理において、ディープラーニングにより、在席状態と不在状態との２クラスを予め学習させた識別器を用いることができる。在席判定処理の際には、識別器により、在席検知エリアの画像に関して在席状態としての尤度（確からしさ）と不在状態としての尤度とを求めて、２つの尤度を比較することで、在席と不在とのいずれであるかを判定することができる。

【0082】

ここで、在席検知エリアに存在する人物が在席中と判定されると（ＳＴ１０３でＹｅｓ）、サーバ２は、在席中と判定された人物に付与した人物ＩＤ、および在席開始時刻を在席人物データベースに登録する（ＳＴ１０４）。

【0083】

図７（Ｂ）に示すように、予測対象抽出処理では、サーバ２は、まず、在席検知処理で在席が検知された人物の中から判定対象とする人物を選択する（ＳＴ２０１）。

【0084】

次に、サーバ２は、判定対象とした人物の在席時間がしきい値以上となるか否かを判定する（ＳＴ２０２）。

【0085】

ここで、判定対象とした人物の在席時間がしきい値以上となる場合（ＳＴ２０２でＹｅｓ）、サーバ２は、その人物を予測対象（離席予測処理の対象）に設定する（ＳＴ２０３）。

【0086】

図７（Ｃ）に示すように、離席予測処理では、サーバ２は、まず、蓄積された映像から、現在時刻を基準にしたクリップ映像を抽出し、そのクリップ映像から各時刻の単位映像を抽出する（映像抽出処理）（ＳＴ３０１）。

【0087】

次に、サーバ２は、特徴抽出モデル（機械学習モデル）を用いて、単位映像から特徴情報を抽出する（特徴抽出処理）（ＳＴ３０２）。

【0088】

次に、サーバ２は、予測スコア取得モデル（機械学習モデル）を用いて、対象期間に含まれる各時刻の特徴情報に基づいて、離席予兆動作の種別ごとに予測スコアを取得する（予測スコア取得処理）（ＳＴ３０３）。

【0089】

次に、サーバ２は、離席予兆動作の種別ごとの予測スコアに基づいて、予測対象とする人物が近い将来（現在時刻から所定時間以内）に離席するか否かを判定する（離席判定処理）（ＳＴ３０４）。

【0090】

ここで、予測対象とする人物が近い将来に離席すると判定された場合（ＳＴ３０４でＹｅｓ）、その人物を離席予測人数の計測対象に設定する（ＳＴ３０５）。

【0091】

次に、利用者端末３に表示される案内画面３１について説明する。図８は、利用者端末３に表示される案内画面３１を示す説明図である。

【0092】

利用者端末３では、店舗の混雑状況を利用者に案内する案内画面３１が表示される。利用者は、案内画面３１を閲覧することで、利用したい店舗の現在の混雑状況を把握することができる。

【0093】

案内画面３１には、接続先表示部３２が設けられている。利用者端末３において、対象とする特定の店舗の閲覧用のアドレス（ＵＲＬ）を指定してサーバ２にアクセスすることで、案内画面３１（Ｗｅｂページ）が利用者端末３に表示され、接続先表示部３２に店舗の閲覧用のアドレスが表示される。

【0094】

また、案内画面３１には、施設情報表示部３３が設けられている。施設情報表示部３３には、対象となる施設に関する情報（例えば、名称、所在地など）が表示される。施設情報は、管理者により予め登録される。なお、施設情報として、店舗内のライブ画像から生成したプライバシー保護画像（人物マスク画像）を含めるようにしてもよい。

【0095】

また、案内画面３１には、在席人数表示部３４と、離席予測人数表示部３５とが設けられている。在席人数表示部３４には、在席人数、すなわち、施設内に在席中の人物の数が表示される。離席予測人数表示部３５には、離席予測人数、すなわち、施設内に在席中の人物のうちで、近い将来に離席すると予測された人物の数が表示される。これにより、利用者は、離席予測人数を考慮することで、在席人数に基づく施設の混雑度を修正して判断することができる。具体的には、利用者は、例えば在席人数が多く混雑している状態でも、離席予測人数が多い場合には、すぐに混雑が緩和されるものと判断することができる。在席人数は、在席検知処理により取得される。離席予測人数は、離席予測処理により取得される。

【0096】

また、案内画面３１には、更新時刻表示部３６が設けられている。更新時刻表示部３６には、案内画面３１に表示される情報の更新時刻、すなわち、在席検知処理および離席予測処理の最新の処理結果に基づいて、在席人数および離席予測人数が更新された時刻が表示される。これにより、利用者は、表示された情報（在席人数および離席予測人数）がどの程度新しい情報であるかを把握することができる。

【0097】

なお、表示情報の更新は、所定の間隔（例えば１５分）で定期的に行われる。また、表示情報の更新は、在席検知処理および離席予測処理が実行される間隔（例えば１分）より長い間隔で行われてもよい。また、表示情報の更新の頻度は、施設の特性や混雑状況に応じて変えてもよい。

【0098】

また、案内画面３１には、閲覧中人数表示部３７が設けられている。閲覧中人数表示部３７には、閲覧中人数、すなわち、案内画面３１を現在閲覧している利用者の人数が表示される。これにより、利用者は、離席予測人数に加えて閲覧中人数を考慮することで、在席人数に基づく施設の混雑度を修正して判断することができる。具体的には、利用者は、例えば離席予測人数が多い場合でも閲覧中人数が多い場合には、利用者が次々に訪れることで混雑はあまり解消されないものと判断することができる。閲覧中人数は、利用者端末３からのアクセスに応じて案内画面３１の表示情報を送信した利用者端末３の数に基づいて取得される。

【0099】

次に、管理者端末４に表示される設定画面４１について説明する。図９は、管理者端末４に表示される設定画面４１を示す説明図である。

【0100】

管理者端末４では、管理者の操作に応じてサーバ２で行われる処理の条件を設定するための設定画面４１が表示される。設定画面４１では、予測対象抽出処理において在席中の人物の中から予測対象（離席予測処理の対象）とする人物を在席時間の長さに基づいて抽出する際の在席時間に関するしきい値を管理者が指定することができる。また、設定画面４１では、在席時間に関するしきい値を管理者が決定する際の参考となる統計情報が管理者に提示される。

【0101】

設定画面４１には、接続先表示部４２が設けられている。利用者端末３において、対象とする特定の店舗の設定用のアドレス（ＵＲＬ）を指定してサーバ２にアクセスすることで、設定画面４１（Ｗｅｂページ）が利用者端末３に表示され、接続先表示部４２に店舗の設定用のアドレスが表示される。

【0102】

また、設定画面４１には、統計グラフ表示部４３が設けられている。統計グラフ表示部４３には、統計グラフとして、在席時間の分布状況を表すヒストグラムが表示される。ヒストグラムでは、縦軸が人数（頻度）を表し、横軸が在席時間の範囲（１５分未満、１５分以上３０分未満、３０分以上４５分未満、６０分以上）を表す。統計グラフは、統計処理により取得される統計情報を基づいて生成される。

【0103】

また、設定画面４１には、表示期間指定部４４が設けられている。表示期間指定部４４では、管理者が、表示期間、すなわち、統計グラフ表示部４３に表示させる統計グラフの対象期間（開始日時および終了日時）を入力することができる。なお、予め設定された期間（例えば、過去全期間、過去１年間、過去３ヶ月等）を管理者が選択できるようにしてもよい。

【0104】

また、設定画面４１には、推奨値表示部４５が設けられている。推奨値表示部４５には、在席時間のしきい値に関する推奨値が表示される。サーバ２では、記憶部２２に蓄積された過去の人物ごとの在席時間に関する統計処理により、しきい値に関する推奨値が算出される。例えば、在席時間の最頻値（人数（頻度）が最大となる在席時間）が推奨値として設定される。また、在席時間の平均値が推奨値として設定される。

【0105】

また、設定画面４１には、しきい値入力部４６と、ＯＫボタン４７とが設けられている。しきい値入力部４６では、管理者が、在席時間のしきい値を入力することができる。管理者は、統計グラフ表示部４３に表示された統計グラフを参考にして独自に決定したしきい値を入力することができる。また、管理者は、推奨値表示部４５に表示されたしきい値の推奨値を採用することができる。例えば、しきい値入力部４６をブランクとし、管理者がＯＫボタン４７を操作すると、サーバ２では、推奨値表示部４５に表示された値でしきい値が設定される。これにより、対象とする店舗（施設）の利用実態に応じたしきい値を設定することができる。また、統計情報について、種々の期間、例えば、午前、午後、平日、休日などの期間ごとに複数の統計グラフを表示させ、その期間ごとに、しきい値の推奨値表示やしきい値入力の受け付けを行い、各期間の状況を反映したしきい値を設定するようにしてもよい。

【0106】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0107】

本発明に係る滞在状況提示装置および滞在状況提示方法は、各人物の動作に基づいて近い将来に施設から退去する人物を予測することで、混雑状況に関するより信頼性の高い情報を利用者に提示することができる効果を有し、施設を撮影した映像に基づいて施設における人物の滞在状況に関する情報を生成して利用者に提示する滞在状況提示装置および滞在状況提示方法などとして有用である。

【符号の説明】

【0108】

１ カメラ
２ サーバ（滞在状況提示装置）
３ 利用者端末（端末装置）
４ 管理者端末（端末装置）
２２ 記憶部
２３ プロセッサ
３１ 案内画面
３４ 在席人数表示部
３５ 離席予測人数表示部
３６ 更新時刻表示部
３７ 閲覧中人数表示部
４１ 設定画面
４６ しきい値入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】