(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】混雑状況推定装置、方法およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240318BHJP
G06T 7/60 20170101ALI20240318BHJP
G08B 25/00 20060101ALI20240318BHJP
【FI】
H04N7/18 D
H04N7/18 K
G06T7/60 110
G08B25/00 510M
(21)【出願番号】P 2020159760
(22)【出願日】2020-09-24
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】松本 鮎美
(72)【発明者】
【氏名】宮原 拓磨
(72)【発明者】
【氏名】柴田 哲希
(72)【発明者】
【氏名】古思 望
(72)【発明者】
【氏名】熊下 正照
(72)【発明者】
【氏名】塩崎 貴司
(72)【発明者】
【氏名】宇田 育弘
(72)【発明者】
【氏名】佐藤 篤
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2020-088571(JP,A)
【文献】特開2018-148422(JP,A)
【文献】特開2020-107297(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/00-7/90
G08B 23/00-31/00
(57)【特許請求の範囲】
【請求項1】
カメラから出力される施設内の映像データを取得する映像取得処理部と、
取得された前記映像データのフレーム中の特定の範囲に監視対象エリアを設定するエリア設定処理部と、
前記映像データに対し画像解析を行って前記映像データから人を表す画像を検出し、その検出結果を表す情報を記憶媒体に記憶させる人検出処理部と、
記憶された前記検出結果を表す情報に基づいて、前記監視対象エリアにおける前記人の密集度合いを推定する推定処理部と、
推定された前記密集度合いを表す情報に基づいて出力情報を生成し出力する出力処理部と
を具備
し、
前記推定処理部は、前記監視対象エリア内における前記人の瞬間的な密集度合いの、所定期間における統計値を算出し、算出された前記統計値を前記監視対象エリア内における前記密集度合いの推定結果とし、
前記出力処理部は、算出された前記統計値を含む前記出力情報を出力する
混雑状況推定装置。
【請求項2】
前記エリア設定処理部は、操作入力されたエリア指定情報を受け取り、前記エリア指定情報に基づいて前記映像データのフレーム中に前記監視対象エリアを設定する第1の処理部と、前記施設内のレイアウト情報を取得し、取得された前記レイアウト情報に基づいて監視対象となる前記特定の範囲を推定し、推定された前記特定の範囲を前記映像データのフレーム中に前記監視対象エリアとして設定する第2の処理部との、少なくとも一方を備える、請求項1に記載の混雑状況推定装置。
【請求項3】
前記人検出処理部は、前記映像データのフレーム毎に、そのフレーム識別情報と、検出された前記人の画像の前記フレーム中における検出座標および検出時刻とを含む前記検出結果を表す情報を生成し、生成された前記検出結果を表す情報を前記記憶媒体に記憶させる、請求項1に記載の混雑状況推定装置。
【請求項4】
前記推定処理部は、
前記監視対象エリア内における前記人の瞬間的な前記密集度合いを推定する際に、前記監視対象エリアを複数の小エリアに分割し、記憶された前記検出結果を表す情報に基づいて前記小エリア毎に前記人の数を計数し、計数された前記人の数がしきい値を超える前記小エリアの数または分布状態をもと
に前記密集度合いを推定する、請求項1に記載の混雑状況推定装置。
【請求項5】
前記出力処理部は、検出された前記人の画像に基づいて前記人のシルエット画像を生成し、生成されたシルエット画像を前記人の画像に置換した前記映像データを含む前記出力情報を出力する、請求項1に記載の混雑状況推定装置。
【請求項6】
施設内に分散配置された複数台のカメラから出力される
前記施設内の映像データを
それぞれ取得する映像取得処理部と、
取得された前記映像データのフレーム中の特定の範囲に監視対象エリアを設定するエリア設定処理部と、
前記映像データに対し画像解析を行って前記映像データから人を表す画像を検出し、その検出結果を表す情報を記憶媒体に記憶させる人検出処理部と、
記憶された前記検出結果を表す情報に基づいて、前記監視対象エリアにおける前記人の密集度合いを推定する推定処理部と、
推定された前記密集度合いを表す情報に基づいて出力情報を生成し出力する出力処理部と
を具備
し、
前記推定処理部は、複数の前記カメラの各々について前記密集度合いを推定し、推定された前記密集度合いが第3のしきい値を超える前記カメラの割合を算出し、
前記出力処理部は、算出された前記カメラの割合を示す情報を含む前記出力情報を出力する
混雑状況推定装置。
【請求項7】
カメラが接続される情報処理装置が実行する混雑状況推定方法であって、
前記カメラから出力される施設内の映像データを取得する過程と、
取得された前記映像データのフレーム中の特定の範囲に監視対象エリアを設定する過程と、
前記映像データに対し画像解析を行って前記映像データから人に係る画像を検出し、その検出結果を表す情報を記憶媒体に記憶させる過程と、
記憶された前記検出結果を表す情報に基づいて、前記監視対象エリアにおける前記人の密集度合いを推定する
推定過程と、
推定された前記密集度合いを表す情報に基づいて出力情報を生成し出力する
出力過程と
を具備
し、
前記推定過程は、前記監視対象エリア内における前記人の瞬間的な密集度合いの、所定期間における統計値を算出し、算出された前記統計値を前記監視対象エリア内における前記密集度合いの推定結果とし、
前記出力過程は、算出された前記統計値を含む前記出力情報を出力する
混雑状況推定方法。
【請求項8】
施設内に分散配置された複数台のカメラが接続される情報処理装置が実行する混雑状況推定方法であって、
複数台の前記カメラから出力される
前記施設内の映像データを
それぞれ取得する過程と、
取得された前記映像データのフレーム中の特定の範囲に監視対象エリアを設定する過程と、
前記映像データに対し画像解析を行って前記映像データから人に係る画像を検出し、その検出結果を表す情報を記憶媒体に記憶させる過程と、
記憶された前記検出結果を表す情報に基づいて、前記監視対象エリアにおける前記人の密集度合いを推定する
推定過程と、
推定された前記密集度合いを表す情報に基づいて出力情報を生成し出力する
出力過程と
を具備
し、
前記推定過程は、複数の前記カメラの各々について前記密集度合いを推定し、推定された前記密集度合いが第3のしきい値を超える前記カメラの割合を算出し、
前記出力過程は、算出された前記カメラの割合を示す情報を含む前記出力情報を出力する
混雑状況推定方法。
【請求項9】
請求項
1乃至6のいずれかに記載の混雑状況推定装置が具備する前記
映像取得処理部、前記エリア設定処理部、前記人検出処理部、前記推定処理部および前記出力処理部による処理を、前記混雑状況推定装置が備えるプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、例えば施設内の混雑状況を監視するために用いられる混雑状況推定装置、方法およびプログラムに関する。
【背景技術】
【0002】
一般に、ショッピングモールやイベント会場等のように不特定多数の人が出入りする施設では、施設内の混雑状況を監視する必要がある。混雑状況を監視する手法としては、例えば監視カメラの映像をモニタ画面に表示し、これを監視者が見ながら混雑状況を判断するものが一般的である。しかし、この手法は監視者の負担が大きく、また監視者のスキルに依存するという課題がある。
【0003】
そこで、カメラの映像を解析することで人を検出し、その検出結果をもとに混雑状況を推定する技術が提案されている(例えば特許文献1を参照)。この技術を用いれば、監視者のスキルに依存することなく施設の混雑状況を把握することが可能となる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、特許文献1に記載された技術は、カメラ映像の範囲内全体またはそれ以外の広範囲についての混雑状況を推定するものとなっている。このため、施設内において局所的な密集状態が形成されていても、施設全体の人数が少なければこの局所的な密集状態を検出できない場合がある。密集状態の検出は、例えば感染症予防の観点から最近きわめて重要になっており、有効な対策が切望されている。
【0006】
この発明は上記事情に着目してなされたもので、一側面では、施設内における局所的な密集状態を的確に検出できるようにした技術を提供しようとするものである。
【課題を解決するための手段】
【0007】
上記課題を解決するためにこの発明に係る混雑状況推定装置又は方法の第1の態様は、カメラから出力される施設内の映像データを取得し、取得された前記映像データに対し画像解析を行って前記映像データから人を表す画像を検出し、検出結果を表す情報を記憶媒体に記憶させる。また、前記映像データのフレーム中の特定の範囲に監視対象エリアを設定し、前記検出結果を表す情報に基づいて、設定された前記監視対象エリアにおける前記人の密集度合いを推定し、推定された前記密集度合いを表す情報に基づいて出力情報を生成し出力する。さらに、前記密集度合いを推定する際に、前記監視対象エリア内における前記人の瞬間的な密集度合いの、所定期間における統計値を算出し、算出された前記統計値を前記監視対象エリア内における前記密集度合いの推定結果とし、算出された前記統計値を含む前記出力情報を出力するようにしたものである。
この発明に係る混雑状況推定装置又は方法の第2の態様は、施設内に分散配置された複数台のカメラから出力される前記施設内の映像データをそれぞれ取得し、取得した前記映像データのフレーム中の特定の範囲に監視対象エリアを設定する。また、前記映像データに対し画像解析を行って前記映像データから人を表す画像を検出し、その検出結果を表す情報を記憶媒体に記憶させる。そして、記憶された前記検出結果を表す情報に基づいて、前記監視対象エリアにおける前記人の密集度合いを推定し、推定された前記密集度合いを表す情報に基づいて出力情報を生成し出力する。さらに、前記前記密集度合いを推定する際に、複数の前記カメラの各々について前記密集度合いを推定し、推定された前記密集度合いが第3のしきい値を超える前記カメラの割合を算出し、算出された前記カメラの割合を示す情報を含む前記出力情報を出力するようにしたものである。
【発明の効果】
【0008】
この発明の一態様によれば、施設内を撮像して得られる映像データのフレーム中に監視対象エリアが設定され、設定された上記監視対象エリア内における人の密集度合いが推定される。従って、施設内における特定の監視対象エリアにおける人の密集状態を推定することがすることが可能となり、これにより例えば施設内全体における混雑度合いが低い場合でも、施設内の特定のエリアにおける人の密集状態を検出することが可能となる。
【0009】
すなわちこの発明の一態様によれば、施設内における局所的な密集状態を的確に検出できるようにした技術を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、この発明の一実施形態に係る混雑状況推定装置として動作するサーバ装置を備える監視システムの全体構成を示す図である。
【
図2】
図2は、
図1に示したサーバ装置のハードウェア構成を示すブロック図である。
【
図3】
図3は、
図1に示したサーバ装置のソフトウェア構成を示すブロック図である。
【
図4】
図4は、
図3に示したサーバ装置による混雑状況推定処理の全体の処理手順と処理内容を示すフローチャートである。
【
図5】
図5は、
図4に示した全体の処理手順のうち人検出処理の処理手順と処理内容を示すフローチャートである。
【
図6】
図6は、
図4に示した全体の処理手順のうち監視対象エリア設定処理の処理手順と処理内容を示すフローチャートである。
【
図7】
図7は、
図4に示した全体の処理手順のうち密集状態推定処理の前半部分の処理手順と処理内容を示すフローチャートである。
【
図8】
図8は、
図4に示した全体の処理手順のうち密集状態推定処理の後半部分の処理手順と処理内容を示すフローチャートである。
【
図9】
図9は、
図4に示した全体の処理手順のうち出力情報生成出力処理の処理手順と処理内容を示すフローチャートである。
【
図10】
図10は、
図9に示した出力情報生成出力処理のうち施設内混雑状況の表示処理の処理手順と表示内容を示すフローチャートである。
【
図11】
図11は、
図9に示した出力情報生成出力処理のうち映像データ表示処理の処理手順と表示内容を示すフローチャートである。
【
図12】
図12は、
図9に示した出力情報生成出力処理により表示される施設内フロアマップの一例を示す図である。
【
図13】
図13は、
図10に示した施設内混雑状況表示処理により表示される施設内の現在の混雑状況を表す情報の一例を示す図である。
【
図14】
図14は、
図11に示した映像データ表示処理により表示される施設内の現在の映像の一例を示す図である。
【
図15】
図15は、
図9に示した出力情報生成出力処理により表示される時間帯別平均検出人数の変化の一例を示す図である。
【
図16】
図16は、
図6に示した監視対象エリア設定処理により設定される監視対象エリアの一例を示す図である。
【
図17】
図17は、監視対象エリアを複数の小エリアに分割した場合の各小エリアの密集度の一例を示す図である。
【
図18】
図18は、施設内の滞在者数がしきい値を超えた場合に表示されるアラート情報の一例を示す図である。
【
図19】
図19は、密集状態と判定されたカメラの割合を示す情報の表示例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【0012】
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係る混雑状況推定装置として動作するサーバ装置SVを含む監視システムの全体構成を示す図である。
監視システムは、例えば多目的オフィスやレセプションルームなどの多数の人が入場する施設の混雑状況、特に特定範囲の密集状態を推定するもので、施設内には複数台の監視カメラCM1~CMnが分散配置されている。監視カメラCM1~CMnは、例えば天井または壁面に設置され、それぞれ施設内の予め設定された範囲を撮像してその映像データを出力する。なお、スーパマーケット等の店舗内や社員食堂等の飲食スペース、エレベータホール、駅の改札や階段、通路等も、密集状態の推定対象となる施設に含まれる。
【0013】
また監視システムは、混雑状況推定装置として動作するサーバ装置SVを備えている。サーバ装置SVは、ネットワークNWを介して、上記各カメラCM1~CMn、監視端末TMおよびモニタ装置MDとの間でそれぞれデータの伝送が可能となっている。
【0014】
監視端末TMは、監視担当者が施設内の状況を監視したり、監視に必要な各種設定を行うために使用するもので、例えばパーソナルコンピュータにより構成される。モニタ装置MDは、例えば施設内または施設の入口などに設置されるディスプレイからなり、種々の案内情報や混雑状況または密集状態に関するアラート情報を表示するために使用される。ネットワークNWとしては、例えば有線LAN(Local Area Network)または無線LANが用いられるが、他のどのようなネットワークが使用されてもよい。
【0015】
なお、上記監視カメラCM1~CMnとサーバ装置SVとの間に、映像解析エンジンが配置されていてもよいし、監視カメラCM1~CMn自体が映像解析エンジンを備えていてもよい。映像解析エンジンは、例えば学習処理により事前に生成された学習モデルを用いて、上記監視カメラCM1~CMnから出力される映像データからそれぞれ人の画像を抽出する。そして、抽出された人の画像の映像フレーム内における座標情報および検出時刻を表す情報と、人の画像に対し個別に付与されるトラッキングIDを、上記監視カメラCM1~CMnを識別するためのカメラIDと共に出力する。上記トラッキングIDの付与は、例えば、人の画像を抽出した後、その画像領域に対して既存技術であるオブジェクトトラッキング等の技術を用いることで実現される。なお、トラッキングIDは、例えば特定の人を追跡する場合に使用され、後述する密集状態の推定処理には必ずしも使用しなくてもよい。
【0016】
(2)サーバ装置SV
図2および
図3は、それぞれサーバ装置SVのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
サーバ装置SVは、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備え、この制御部1に対し、バス5を介して、プログラム記憶部2およびデータ記憶部3を有する記憶ユニットと、通信インタフェース(通信I/F)4とを接続したものとなっている。
【0017】
通信I/F4は、制御部1の制御の下、ネットワークNWにより定義される通信プロトコルを用いて、上記監視カメラCM1~CMn、監視端末TMおよびモニタ装置MDとの間で各種データの伝送を行う。
【0018】
プログラム記憶部2は、例えば、記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリとを組み合わせて構成されたもので、OS(Operating System)等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。
【0019】
データ記憶部3は、例えば、記憶媒体として、HDDまたはSSD等の随時書込みおよび読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリと組み合わせたもので、この発明の一実施形態を実施するために必要な記憶部として、映像データ記憶部31と、人検出情報記憶部32と、フロアマップ/監視対象エリア記憶部33と、判定条件記憶部34と、密集状態推定結果記憶部35と、人数計数結果記憶部36とを備えている。
【0020】
映像データ記憶部31は、監視カメラCM1~CMnから送られる各映像データを、密集状態を推定するために必要な一定期間記憶するために使用される。人検出情報記憶部32は、制御部1により監視カメラCM1~CMnの映像データからそれぞれ検出された人の検出結果を表す情報を記憶するために使用される。フロアマップ/監視対象エリア記憶部33は、施設内のフロアマップと施設内の監視対象エリアを示す情報を記憶するために使用される。判定条件記憶部34は、施設内の混雑状況および上記監視対象エリアの密集状態を判定するために必要な各種しきい値を記憶する。密集状態推定結果記憶部35は、制御部1により得られる、上記監視対象エリアの密集状態の推定結果を表す情報を記憶するために使用される。人数計数結果記憶部36は、制御部1により得られる、上記監視対象エリアに存在する人の計数結果と、施設への入場者数および退場者数とこれらから求められる施設内における滞在者数を記憶するために使用される。
【0021】
制御部1は、この発明の一実施形態に係る処理機能として、映像データ取得処理部11と、人検出処理部12と、監視対象エリア設定処理部13と、密集状態推定処理部14と、出力情報生成出力処理部15とを備えている。これらの処理部11~15は、何れも例えばプログラム記憶部2に格納されたプログラムを制御部1のハードウェアプロセッサに実行させることにより実現される。
【0022】
映像データ取得処理部11は、監視カメラCM1~CMnから送信されネットワークNWを介して伝送された各映像データを通信I/F4を介してそれぞれ受信し、受信された各映像データを送信元の監視カメラCM1~CMnを識別するカメラIDと関連付けて映像データ記憶部31に記憶させる処理を行う。
【0023】
人検出処理部12は、上記映像データ記憶部31からカメラID毎に映像データを読み込み、当該映像データに対しフレーム毎に画像解析処理を行って人の画像を抽出する。そして、人の画像の検出結果を表す情報を人検出情報記憶部32に記憶させる処理を行う。人の検出結果を表す情報には、例えば検出された人の画像のフレーム内における座標および検出時刻と、人の画像に対し個別に付与されるトラッキングIDと、カメラIDが含まれる。
【0024】
監視対象エリア設定処理部13は、監視カメラCM1~CMn毎に、監視端末TMに表示された映像データ上において、監視担当者の操作により設定される監視対象エリアを示す情報を、監視端末TMから通信I/F4を介して取得する。そして、取得された上記監視対象エリアを表す情報を、対応するカメラIDと関連付けてフロアマップ/監視対象エリア記憶部33に記憶させる処理を行う。
【0025】
密集状態推定処理部14は、監視カメラCM1~CMn毎に例えば以下の処理を行う。
(1) 選択されたカメラIDについて、対応する映像データのフレーム毎に人検出情報記憶部32から人検出情報を読み込むと共に、フロアマップ/監視対象エリア記憶部33から監視対象エリアの設定情報を読み込む。この状態で、上記監視対象エリアをM(Mは複数)個の小エリアに分割し、分割された小エリア毎に当該小エリアに含まれる人数が判定条件記憶部34に記憶された第1のしきい値以上であるか否かを判定する。そして、上記監視対象エリアの小エリア数に対する、上記人数が第1のしきい値以上の小エリアの数の割合を算出し、算出された割合が判定条件記憶部34に記憶された第2のしきい値を超えるか否かを判定して、その判定結果aを上記監視対象エリアにおける瞬間的な密集状態を表す情報として、対応するカメラIDおよびフレームIDと関連付けて、密集状態推定結果記憶部35に記憶させる処理。なお、小エリアの形状およびサイズは、同一形状および同一サイズに設定されてもよいし、形状およびサイズの少なくとも一方が異なるように設定されてもよい。
【0026】
(2) 上記(1) において得られた各小エリアの人数を合計して、監視対象エリア全体に含まれる人数を計数する。そして、計数された上記監視対象エリア全体の人数bを、監視対象エリアにおける瞬間的な人数を表す情報として、対応するカメラIDおよびフレームIDと関連付けて、人数計数結果記憶部36に記憶させる処理。
【0027】
(3) 過去の所定期間における上記a,bの平均をそれぞれ算出し、算出されたa,bの各平均を判定条件記憶部34に記憶された第3および第4のしきい値とそれぞれ比較することで、上記監視対象エリアにおける時間経過を考慮した密集状態を判定する。そして、その判定結果を表す情報を、カメラIDと関連付けて密集状態推定結果記憶部35に記憶させる処理。なお、平均を算出する以外に分散度合い等のその他の統計値を算出するようにしてもよい。
【0028】
出力情報生成出力処理部15は、監視カメラCM1~CMn毎に例えば以下の処理を行う。
(1) 監視カメラCM1~CMn毎、つまりカメラID毎に、映像データ記憶部31から読み出される映像データを通信I/F4から監視端末TMへ送信して表示させる処理を行う。またその際、上記映像データには、人検出情報記憶部32に記憶された人検出情報をもとに生成された人のシルエット画像を、人の画像に置換して重畳させる処理を行う。
なお、監視端末TMが個人情報に対する守秘義務を持つ監視担当者のみが使用する場合には、人画像をシルエット画像に置換せずに表示するようにしてもよい。
【0029】
(2) フロアマップ/監視対象エリア記憶部33から施設内のフロアマップを読み込み、このフロアマップを通信I/F4から監視端末TMへ出力して表示させる処理。その際、上記フロアマップ上には、上記密集状態推定結果記憶部35に記憶された監視対象エリア毎の密集度の判定結果を表示させることも可能である。
【0030】
(3) 人数計数結果記憶部36に記憶された人数計数結果をもとに、所定の振り返り期間、例えば1日、1週間または1か月単位で、上記監視対象エリアで検出された人数の時間帯別の平均値を算出する。そして、算出された時間帯別の平均検出人数の変化を表わすグラフを生成し、生成されたグラフを通信I/F4から監視端末TMへ出力して表示させる処理。なお、時間帯別の平均値を算出する以外に、時間帯別に検出された人数の分散度合い等のその他の統計値を算出し、算出された統計値の変化を表すグラフを生成し表示させるようにしてもよい。
【0031】
(4) 施設への入口および出口にそれぞれ設置されたセンサ(図示省略)により随時検出される入場者および退場者の人数を取得する。そして、取得された上記入場者数および退場者数と、これらから算出される施設内における滞在人数を、検出日時と共に通信I/F4から監視端末TMへ送信して表示させる処理。またそれと共に、上記施設内の滞在人数を、判定条件記憶部34に記憶された混雑度判定用のしきい値と比較することで施設内における混雑度を判定し、その判定結果を上記監視端末TMに表示させる処理。
【0032】
なお、入場者および退場者の人数の計数は、例えば施設の入口および出口を撮像可能な位置に設置された監視カメラの映像データをもとに行ってもよい。例えば、監視カメラの映像データを画像解析エンジンの機能を用いて解析することで、人の画像を検出してこれにトラッキングIDを付与し、当該人の検出情報とトラッキングIDとをもとに、入口および出口に設定されたラインを通過した人数を計数することで、求めることが可能である。
【0033】
(5) 上記滞在人数が混雑度判定用のしきい値に達した場合に、入場を制限する旨を報知するためのアラート情報を生成する。そして、生成された上記アラート情報を、例えば施設の入口に設置されたモニタ装置MDに表示させると共に、施設の利用状況を報知するためのWebページに掲載したりメールやSNS等の情報伝達手段を用いて来場予定者などに通知する処理。なお、上記アラート情報に加え、その時の施設内の様子を撮像した映像データを併せて表示、掲載または通知するようにしてもよい。
【0034】
(動作例)
次に、以上のように構成されたサーバ装置SVによる処理動作を、
図4乃至
図11に示すフローチャートを用いて説明する。
【0035】
先ず、サーバ装置SVの全体の処理手順を説明する。
図4はこの全体の処理手順を示すフローチャートである。
サーバ装置SVの制御部1は、監視端末TMにおいて入力されるシステムの運用開始指示をステップS1で検出すると、先ずステップS2において人検出処理を実行し、その検出結果を人検出情報記憶部32に記憶させる。
【0036】
また、監視端末TMにおいて監視対象エリアの設定操作が行われると、サーバ装置SVの制御部1はステップS3において監視端末TMから監視対象エリアの設定情報を取り込み、当該設定情報をフロアマップ/監視対象エリア記憶部33に記憶させる処理を実行する。
【0037】
さらにサーバ装置SVの制御部1は、ステップS4において、所定の時間毎に、上記人検出情報および監視対象エリアの設定情報をもとに、監視対象エリアにおける人数を検出すると共に密集状態を推定する処理を行い、その結果を密集状態推定結果記憶部35および人数計数結果記憶部36に記憶させる処理を実行する。
【0038】
さらにサーバ装置SVの制御部1は、ステップS5において、施設内の滞在人数に基づく混雑状況や、監視対象エリアにおける密集状態の推定結果等を表示するための出力情報を生成する処理を行い、監視端末TMおよびモニタ装置MDへ送信して表示させる処理を行う。
【0039】
上記ステップS2~S5により実行される各処理は、監視端末TMからシステムの運用停止指示が送信され、この停止指示をサーバ装置SVの制御部1がステップS6により検出すると終了する。
【0040】
(1)人検出処理
図5は、サーバ装置SVの制御部1により実行される人検出処理の処理手順と処理内容の一例を示すフローチャートである。
【0041】
サーバ装置SVの制御部1は、先ず映像データ取得処理部11の制御の下、ステップS21により監視カメラCM1~CMnを一つ選択する。そして、ステップS22において、選択された上記監視カメラCM1~CMnの一つから送信される映像データを通信I/F4を介して受信し、受信された映像データをカメラIDと関連付けてフレーム単位で映像データ記憶部31に記憶させる。
【0042】
サーバ装置SVの制御部1は、次に人検出処理部12の制御の下、先ずステップS23において、上記映像データ記憶部31から映像データをフレーム毎に読み込み、この映像フレームに対し所定の映像解析処理を行って人の画像を抽出する。なお、このとき使用される映像解析処理としては、例えば予め生成された学習モデルを用いて映像フレームから人の画像を抽出する処理が使用される。なお、人画像を抽出するための映像解析処理には種々の既存技術を利用可能であり、これらの既存技術はいずれも周知なので説明は省略する。
【0043】
人検出処理部12は、続いてステップS24において、映像フレーム毎に、上記抽出された人の画像の映像フレーム内における座標情報および検出時刻を表す情報と、上記人の画像に対し個別に付与されるトラッキングIDと、上記カメラIDとを含む人検出情報を生成する。そして、生成された上記人検出情報を上記映像フレーム毎に人検出情報記憶部32に記憶させる。なお、上記トラッキングIDの付与は、例えば、人の画像を抽出した後、その画像領域に対して既存技術であるオブジェクトトラッキング等の技術を用いることで実現される。
【0044】
サーバ装置SVの制御部1は、すべてのカメラIDの選択が終了したか否かをステップS25で判定する。そして、未選択のカメラIDが残っていれば、ステップS21に戻って次のカメラIDを選択し、ステップS22~S24による一連の人検出処理を実行する。以後、同様にカメラIDが順次選択され、当該カメラIDに対応する映像データからフレーム毎に人の画像を検出する処理が繰り返し実行される。
【0045】
(2)監視対象エリアの設定処理
図6は、サーバ装置SVの制御部1により実行される監視対象エリア設定処理の処理手順と処理内容の一例を示すフローチャートである。
【0046】
サーバ装置SVの制御部1は、上記監視対象エリアの設定処理に先立ち、例えば出力情報生成出力処理部15の制御の下、
図9に示すステップS61により、施設内のフロアマップをフロアマップ/監視対象エリア記憶部33から読み込んで監視端末TMに表示させる。
図12は表示されるフロアマップの一例を示すものである。このフロアマップにより、監視担当者は施設内の各部屋のレイアウトやテーブル等の什器の配置を確認することが可能となる。
【0047】
またサーバ装置SVの制御部1は、出力情報生成出力処理部15の制御の下、
図9に示すステップS63により、監視担当者により選択指定された監視カメラCM1~CMnに対応する映像データを監視端末TMに選択的に表示させる処理を行う。
図11は、上記出力情報生成出力処理部15により実行される映像データ表示処理の処理手順と処理内容の一例を示すフローチャートである。
【0048】
すなわち、出力情報生成出力処理部15は、先ずステップS631により、上記選択された監視カメラのカメラIDに対応する映像データを、映像データ記憶部31からフレーム単位で読み込む。またそれと共に、ステップS632において、上記映像データのフレームに対応する人検出情報を、人検出情報記憶部32から読み込む。続いて出力情報生成出力処理部15は、上記読み込まれた人検出情報をもとにステップS633により人のシルエット画像を生成し、ステップS634において上記映像データに含まれる人の画像を位置が対応する上記シルエット画像に置換する。そして、置換後のシルエット画像を含む映像データを、ステップS635により通信I/F4から監視端末TMへ送信して表示させる。
【0049】
図14は、監視端末TMに表示された上記映像の一例を示すものである。監視担当者は、監視カメラCM1~CMnを任意に選択指定することで、当該監視カメラCM1~CMnにより撮像された映像を表示させ、これにより施設内の所望の範囲の現在の状況をリアルタイムに確認することが可能となる。またその際、表示される映像は人の画像がすべてシルエット画像SLに置換されたものであるため、表示された映像から来場者の顔や姿などの個人情報が漏洩する心配はない。
【0050】
さて、選択された監視カメラCM1~CMnの映像が表示された状態で、監視担当者は監視端末TMにおいて、監視対象エリアの設定開始指示を入力し、その後カーソル操作を行って映像フレーム中に表示される監視対象エリアの位置およびサイズを調整する。
図16に上記映像フレーム中に表示される監視対象エリアの一例を示す。監視対象エリアの位置およびサイズの調整が終了し、監視対象者が設定終了操作を行うと、当該設定終了通知が監視端末TMからサーバ装置SVへ送信される。
【0051】
これに対しサーバ装置SVの制御部1は、監視対象エリア設定処理部13の制御の下、以下のように監視対象エリアの設定処理を実行する。すなわち、監視対象エリア設定処理部13は、ステップS31により上記監視担当者の設定開始指示を検出すると、ステップS32において監視対象エリアを示す矩形状をなす枠型パターンMAを映像フレームに重ねて表示させる。この枠型パターンMAは、先に述べたように監視担当者のカーソル操作に応じてその位置およびサイズが任意に可変できる。なお、上記パターンMAは、位置およびサイズに加えて形状も可変できるようにしてもよい。
【0052】
監視対象エリア設定処理部13は、ステップS33により監視担当者の設定終了操作を検出すると、ステップS34において、上記調整後の監視対象エリアを示す設定情報をカメラIDと関連付けてフロアマップ/監視対象エリア記憶部33に記憶させる。上記監視対象エリアを示す設定情報は、例えば映像フレーム中における監視対象エリアの各頂点の座標により表される。
【0053】
なお、以上の説明では監視担当者が手動操作により監視対象エリアを設定登録する場合を例にとって説明した。しかし、サーバ装置SVの制御部1が、施設内のフロアマップなどにより表されるレイアウト情報に基づいて監視対象とすべき特定範囲を推定し、推定された特定範囲を対応する映像データのフレーム中に監視対象エリアとして設定するようにしてもよい。
【0054】
例えば、施設内のレイアウト情報にテーブルの配置位置やモニタ装置の配置位置等が含まれていれば、サーバ装置SVの制御部1が、これらの位置を考慮して人の密集が発生しやすい範囲を推定し、この範囲に監視対象エリアを設定する。また、レイアウト情報に窓の位置や空調装置の配置位置が含まれている場合には、サーバ装置SVの制御部1が、これらの情報をもとに空気が滞留しやすい範囲を推定し、この範囲に監視対象エリアを設定する。サーバ装置SVの制御部1に以上のような機能を持たせると、施設内の人の密集が発生しやすい場所、または人の密集が発生すると好ましくない場所に、それぞれ監視対象エリアを自動的に設定することが可能となる。
【0055】
なお、監視対象エリアは必ずしもすべての監視カメラCM1~CMnの映像に対し設定する必要はなく、監視が必要な範囲を含む監視カメラの映像に対してのみ設定するようにしてもよい。
【0056】
(3)密集状態の推定処理
図7および
図8は、サーバ装置SVの制御部1により実行される密集状態推定処理の処理手順と処理内容を示すフローチャートである。
【0057】
サーバ装置SVの制御部1は、密集状態推定処理部14の制御の下、ステップS41により密集状態の推定タイミングを監視している。そして推定タイミングになると、先ずステップS42によりカメラIDを一つ選択し、ステップS43によりフロアマップ/監視対象エリア記憶部33から対応する監視対象エリアの設定情報を読み込む。続いてステップS44によりフレームIDを一つ選択し、ステップS45により人検出情報記憶部32から対応する人検出情報を読み込む。
【0058】
密集状態推定処理部14は、次にステップS46により上記監視対象エリアをM(Mは複数)個の小エリアに分割し、ステップS47において、分割された上記小エリア毎に当該小エリアに存在する人数を計数する。続いてステップS48において、計数された上記人数が判定条件記憶部34に記憶された第1のしきい値以上であるか否かを判定し、人数が第1のしきい値以上の小エリアの数Lを計数する。次にステップS49において、上記監視対象エリアの小エリア数Mに対する上記小エリアの数Lの割合を算出し、算出された割合L/Mが判定条件記憶部34に記憶された第2のしきい値を超えるか否かを判定する。そして、ステップS51において、上記判定結果aを上記監視対象エリアにおける瞬間的な密集状態を表す情報として、対応するカメラIDおよびフレームIDと関連付けて、密集状態推定結果記憶部35に記憶させる。
【0059】
図17は、監視対象エリアMAをM(M=16)個に分割した場合の、各小エリアmaの人数の判定結果の一例を示したもので、同図ではハッチングが付されていない小エリアよりハッチングが付されている小エリアの方が人数が多く、さらにハッチングの密度が高い小エリアほど人数が多い場合を示している。
【0060】
なお、上記監視対象エリアにおける瞬間的な密集状態の判定は、上記L/Mを算出する以外に、監視対象エリア内における第1のしきい値以上の小エリアの分散状態、例えば第1のしきい値以上の小エリアが2以上または3以上隣接しているか否かを判定することにより行うようにしてもよい。
【0061】
続いて密集状態推定処理部14は、ステップS52において、上記ステップS47により計数された各小エリアの人数を合計して監視対象エリアMA全体の人数bを算出する。そして、算出された上記監視対象エリア全体の人数bを、監視対象エリアにおける瞬間的な人数を表す情報として、対応するカメラIDおよびフレームIDと関連付けて、人数計数結果記憶部36に記憶させる。
【0062】
次に密集状態推定処理部14は、
図8のステップS53に移行し、ここで過去N分間分の全フレームについて、上記監視対象エリアに対する瞬間的な密集状態の判定と瞬間的な人数の算出が終了したか否かを判定する。そして、未処理のフレームが残っている場合には、ステップS44に戻って次のフレームを選択し、上記したステップS45~S52による一連の処理を実行する。
【0063】
一方、過去N分間分の全フレームについての処理が終了すると、密集状態推定処理部14はステップS54において、上記密集状態推定結果記憶部35に記憶された過去N分間分の判定結果aと、上記人数計数結果記憶部36に記憶された過去N分間分の人数bをそれぞれ読み込み、これらa,bのN分間にわたる重み付き平均を計算する。このとき、重みは時刻を過去に遡るほど小さくなるように設定される。
【0064】
密集状態推定処理部14は、次にステップS55において、上記aおよびbの各重み付き平均を判定条件記憶部34に記憶された第3および第4のしきい値と比較することで、監視対象エリアにおける上記N分間の時間経過を考慮した密集度を判定する。
【0065】
例えば、aのN分平均が第3のしきい値未満で、かつbのN分平均が第4のしきい値未満の場合には、監視対象エリアは「空」状態と判定する。これに対し、aのN分平均が第3のしきい値以上であるか、またはbのN分平均が第4のしきい値以上の場合、つまりいずれか一方がしきい値以上の場合には、監視対象エリアは「密」状態と判定する。また、aのN分平均が第3のしきい値以上で、かつbのN分平均が第4のしきい値以上の場合、つまり両方ともしきい値以上の場合には、監視対象エリアは「超密」状態と判定する。
【0066】
そして密集状態推定処理部14は、上記判定結果を、監視対象エリアにおけるN分間の時間経過を考慮した密集状態の推定情報として、カメラIDに関連付けて密集状態推定結果記憶部35に記憶させる。
【0067】
最後に密集状態推定処理部14は、ステップS56において、すべてのカメラIDについて、各監視対象エリアの密集状態の推定処理が終了したか否かを判定する。そして、監視対象エリアに対する密集状態推定処理が終了していないカメラIDが残っていれば、ステップS42に戻って次のカメラIDを選択し、ステップS43~S55による一連の処理を実行する。一方、すべてのカメラIDの選択が終了すれば、密集状態推定処理を終了する。
【0068】
(4)出力情報の生成および出力処理
図9は、サーバ装置SVの制御部1により実行される出力情報生成出力処理の処理手順と処理内容を示すフローチャートである。
なお、
図9において、ステップS61によるフロアマップの表示処理と、ステップS63による映像データの表示処理については、(2)の監視対象エリアの設定処理において既に説明したのでここでの説明は省略する。
【0069】
上記監視対象エリアの密集状態推定処理が終了すると、サーバ装置SVの制御部1は、出力情報生成出力処理部15の制御の下、ステップS64において、上記密集状態の判定結果を表す情報をカメラIDと共に通信I/F4から監視端末TMへ送信し表示させる。その表示形態としては、例えば、
図12に示したフロアマップ上の監視対象エリアに対応する位置に「空」、「密」、「超密」を表示する形態が考えられるが、その他の形態でも構わない。
【0070】
また、監視対象エリアにおける密集度合いがしきい値を超えた場合に、施設内の上記監視対象エリアの近傍に配置されたモニタ装置MDに、密集を避けるように促すメッセージを表示させるようにしてもよい。またモニタ装置MDの代わりに施設内を移動可能なロボットが存在する場合には、このロボットを上記監視対象エリアに移動させ、当該ロボットにおいて密集を避けるように促すメッセージを表示させるか又はそれに代わる音声メッセージを発声させるようにしてもよい。
【0071】
また、サーバ装置SVの制御部1は、出力情報生成出力処理部15の制御の下、ステップS62において、施設内の混雑状況の表示処理を以下のように実行する。
図10はその処理手順と処理内容の一例を示すフローチャートである。
【0072】
出力情報生成出力処理部15は、先ずステップS621,S622において、例えば施設への入口および出口にそれぞれ設置されたセンサにより検出される入場者の計数値および退場者の計数値を、ネットワークNWを介して受信する。続いてステップS623において、上記入場者の計数値および退場者の計数値をもとに施設内に現在存在する滞在者数を計算する。そして、上記入場者の計数値、退場者の計数値および滞在者数を現在の日時と共に表示する混雑状況表示情報を生成し、生成された上記混雑状況表示情報を通信I/F4から監視端末TMへ送信し、表示させる。
図13に上記混雑状況表示情報の一例を示す。
【0073】
なお、先に述べたように、入場者および退場者の人数の計数は、例えば施設の入口および出口を撮像可能な位置に設置された監視カメラの映像データをもとに行ってもよい。例えば、監視カメラの映像データを画像解析エンジンの機能を用いて解析することで、人の画像を検出してこれにトラッキングIDを付与し、当該人の検出情報とトラッキングIDとをもとに、入口および出口に設定されたラインを通過した人数を計数することで、求めることが可能である。
【0074】
また出力情報生成出力処理部15は、ステップS624において、上記滞在者数を判定条件記憶部34に記憶された混雑状況判定用のしきい値と比較する。そして、滞在者数が混雑状況判定用のしきい値以上と判定されると、ステップS625により「入場制限中」である旨を表すアラート情報を生成し、生成されたアラート情報を通信I/F4から施設の入口に配置されたモニタ装置MDへ送信し、表示させる。
図18に上記アラート情報の一例を示す。なお、上記アラート情報を、Webページに掲載したり、メールやSNS等の情報伝達手段を用いて来場予定者の端末へ送信するようにしてもよい。
【0075】
さらに出力情報生成出力処理部15は、ステップS65において、密集状態の統計情報を生成して監視端末TMに表示させる処理を行う。
例えば、人数計数結果記憶部36に記憶された人数計数結果をもとに、所定の振り返り期間、例えば1日、1週間または1か月単位で、監視対象エリアにおいて検出された人数の時間帯別の平均値を算出する。そして、算出された時間帯別の平均検出人数の変化を表わすグラフを生成し、生成されたグラフを通信I/F4から監視端末TMへ出力して表示させる。
【0076】
図15は、1日における上記時間帯別の平均検出人数の変化を折れ線グラフで示したものである。なお、グラフの表示形式としては折れ線グラフに限らず棒グラフであってもよく、表示形式は問わない。また、時間軸の単位は、上記1日、1週間または1か月に限らず、1日内の所望の時間帯を分単位に設定したり、1年の時間帯を月単位に設定してもよい。
【0077】
(作用・効果)
以上述べたように一実施形態では、施設内に配置された監視カメラCM1~CMnにより撮像された映像データからそれぞれ映像解析処理により人を検出し、施設内に監視対象エリアを設定して、当該監視対象エリアに存在する人数をもとに上記監視対象エリアの密集状態を判定し、監視端末TMに表示するようにしている。
【0078】
従って、施設内に設定された特定の監視対象エリアにおける人の密集状態を推定することがすることが可能となり、これにより例えば施設内全体における混雑度合いが低い場合でも、施設内の特定のエリアにおける人の密集状態を検出することが可能となる。
【0079】
また、上記監視対象エリアの密集状態を判定する際に、監視対象エリアを複数の小エリアに分割し、小エリア毎に人数を計数して当該人数がしきい値以上の小エリア数を計数し、全小エリア数に対する、上記人数がしきい値を超える小エリア数の割合をもとに、上記監視対象エリアの密集状態を判定するようにしている。このため、監視対象エリア内の一部の小エリアにのみに人が密集している場合には、この状態を家族やカップル、グループなどの集合と見なして密集状態と判定しないようにすることができる。
【0080】
さらに、上記監視対象エリアの密集状態を判定する際に、上記密集状態の判定結果の過去N分間における平均と、監視対象エリアにおける人数の過去N分における平均をそれぞれ求め、これらの平均をもとに時間経過を考慮して密集状態を判定するようにしている。このため、人の移動の過程で一時的に密集状態が形成された場合に、これを危険な密集状態とは判定しないようにすることが可能となる。
【0081】
さらに、監視カメラCM1~CMnにより撮像された施設内の映像を表示する際に、映像に含まれる人の画像をシルエット画像に置換して表示するようにしている。このため、表示映像から来場者の顔や姿などの個人情報が漏洩しないようにすることができる。これにより、監視担当者は来場者のプライバシを損なうことなく施設内における人の分布状態を映像により直接的に把握することが可能となる。
【0082】
さらに、監視対象エリアにおける時間帯別の人数の変化を示す統計情報を生成して表示することにより、監視担当者は監視対象エリアにおける密集の発生状況を時系列的に把握することが可能となり、今後の密集防止策の策定に生かすことが可能となる。
【0083】
さらに、監視対象エリアの密集状態の判定処理に加え、施設内への入退場者数と退場者数を計数して施設内における滞在人数を算出し、算出された滞在者数をもとに混雑状況を判定してアラート情報を出力する処理を行うようにしている。このため、監視対象者は施設内全体における混雑状況を合併せて監視することが可能となる。
【0084】
[その他の実施形態]
(1)前記一実施形態では、監視カメラCM1~CMn毎にその撮像範囲内に設定された監視対象エリアの密集状態を推定する場合を例にとって説明した。しかし、この発明はそれに限定されるものではなく、次のような他の実施形態も考えられる。
【0085】
例えば、施設内に複数の監視カメラCM1~CMnが分散配置されている場合に、各監視カメラCM1~CMnの撮像範囲内における滞在人数、または当該撮像範囲内にそれぞれ設定される監視対象エリアにおける滞在人数をもとに、監視カメラCM1~CMnの撮像範囲毎の密集状態を判定する。そして、監視カメラCM1~CMnの全台数に対する、密集状態と判定されたカメラの数の割合を算出し、算出された割合をしきい値と比較することにより施設全体における混雑状況を判定し、その結果を監視端末に表示するようにしてもよい。
図19は、以上のようにして得られた施設内の混雑状況の判定結果の一例を示すものである。
【0086】
この実施形態によれば、複数の監視カメラCM1~CMnが施設内に分散配置されている場合に、各監視カメラCM1~CMnによる密集状態の判定結果を総合して施設全体の混雑状況を判定することが可能となる。
【0087】
(2)施設の入口および出口においてそれぞれ施設への入場者数および退場者数を計数することにより施設内に滞在中の人数を計算し、計算された滞在中の人数に応じて監視対象エリアの設定数または設定サイズを可変設定するようにしてもよい。
【0088】
例えば、施設内に滞在中の人数がしきい値以下の場合には、施設内の特定の範囲に1つの監視対象エリアを設定するか、または所定サイズより小さい第1のサイズの監視対象エリアを設定する。一方、滞在中の人数がしきい値を超えた場合には、人の密集が発生しやすい範囲を複数箇所特定してこれらの範囲にそれぞれ監視対象エリアを設定するか、または代表的な特定範囲に上記第1のサイズより大きい第2のサイズの監視対象エリアを設定する。
このようにすると、施設内の滞在人数を考慮して人の密集状態をより的確に検出することが可能となる。
【0089】
(3)前記一実施形態では、映像データを解析して人画像を検出する処理、検出された人画像から密集度合いを推定する処理、推定結果を記憶する処理、および密集度合いの推定結果をもとに施設内の密集状態または混雑状況を表す情報を生成し出力する処理を、一つのサーバ装置SVにおいて一括して実行する場合を例にとって説明した。しかし、この発明はそれに限らず、上記各処理を複数の情報処理装置において分散して実行するようにしてもよい。その他、混雑状況推定装置の構成と処理手順および処理内容については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【0090】
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0091】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0092】
SV…サーバ装置
CM1~CMn…監視カメラ
TM…監視端末
MD…モニタ装置
MA…監視対象エリア
ma…分割された小エリア
SL…シルエット画像
1…制御部
2…プログラム記憶部
3…データ記憶部
4…通信I/F
5…バス
11…映像データ取得処理部
12…人検出処理部
13…監視対象エリア設定処理部
14…密集状態推定処理部
15…出力情報生成出力処理部
31…映像データ記憶部
32…人検出情報記憶部
33…フロアマップ/監視対象エリア記憶部
34…判定条件記憶部
35…密集状態推定結果記憶部
36…人数計数結果記憶部