特許 7520662 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20240716BHJP

   G06T 7/00 20170101ALI20240716BHJP

   G08B 21/00 20060101ALI20240716BHJP

   G08B 21/02 20060101ALI20240716BHJP

   G08B 25/04 20060101ALI20240716BHJP

   H04N 7/18 20060101ALI20240716BHJP

   H04N 21/218 20110101ALI20240716BHJP

   H04N 21/258 20110101ALI20240716BHJP

   H04N 21/41 20110101ALI20240716BHJP

【ＦＩ】

G08B25/00 510M

G06T7/00 660Z

G08B21/00 E

G08B21/02

G08B25/04 K

H04N7/18 D

H04N21/218

H04N21/258

H04N21/41

【請求項の数】 7

(21)【出願番号】P 2020159770

(22)【出願日】2020-09-24

(65)【公開番号】P2022053131

(43)【公開日】2022-04-05

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】宮原 拓磨

(72)【発明者】

【氏名】松本 鮎美

(72)【発明者】

【氏名】古思 望

(72)【発明者】

【氏名】熊下 正照

(72)【発明者】

【氏名】柴田 哲希

(72)【発明者】

【氏名】塩崎 貴司

(72)【発明者】

【氏名】宇田 育弘

(72)【発明者】

【氏名】佐藤 篤

【審査官】松原 徳久

(56)【参考文献】

【文献】特開２０２０－１２０３２３（ＪＰ，Ａ）

【文献】特許第６７４４６５２（ＪＰ，Ｂ１）

【文献】特開２０１９－０２９７４７（ＪＰ，Ａ）

【文献】特開２００７－２０１５５６（ＪＰ，Ａ）

【文献】特開２０１８－１４８４２２（ＪＰ，Ａ）

【文献】特開２０１２－２３５４１５（ＪＰ，Ａ）

【文献】特開２０１９－１９２０３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００８６５７２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１００４４４８６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ５０／２２

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０８Ｂ１９／００－３１／００

Ｇ１６Ｈ１０／００－８０／００

Ｈ０４Ｎ７／１０

７／１４－７／５６

２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

サーマルカメラからの第１の映像データに基づき発熱者を検出する情報処理部と、
前記サーマルカメラからの前記第１の映像データ及び第１の可視光カメラからの第２の映像データのうちの少なくとも一方の映像データに基づき利用者の密集度合いを判定する判定部と、
前記発熱者の検出結果及び前記密集度合いの判定結果に応じた情報を出力する出力部と、
を備え、
前記出力部は、前記発熱者の発生位置及び前記発熱者を含む密集発生位置を含むアラートマップを出力する、情報処理装置。

【請求項2】

前記出力部は、第１のエリアを撮影する前記サーマルカメラからの前記第１の映像データから前記発熱者が検出され、且つ前記第１の映像データに基づき判定される前記密集度合いが閾値を超えた場合にアラートを出力する、請求項１の情報処理装置。

【請求項3】

前記出力部は、第１のエリアを撮影する前記サーマルカメラからの前記第１の映像データから前記発熱者が検出され、且つ前記第１のエリアを撮影する前記第１の可視光カメラからの前記第２の映像データに基づき判定される前記密集度合いが閾値を超えた場合にアラートを出力する、請求項１の情報処理装置。

【請求項4】

前記情報処理部は、第１のエリアを撮影する前記サーマルカメラからの前記第１の映像データ、及び前記第１のエリアを撮影する前記第１の可視光カメラからの前記第２の映像データに基づき前記第２の映像データから前記発熱者の画像を検出し、前記発熱者の画像をデータベースへ登録し、前記データベースに登録された前記発熱者の画像及び第２のエリアを撮影する第２の可視光カメラからの第３の映像データに基づき前記発熱者を検出する、請求項１乃至３の何れか一つの情報処理装置。

【請求項5】

前記出力部は、前記第１の映像データから前記発熱者が検出され、且つ前記第３の映像データに基づき判定される前記密集度合いが閾値を超えた場合にアラートを出力する、請求項４の情報処理装置。

【請求項6】

情報処理装置が実行する情報処理方法であって、
サーマルカメラからの第１の映像データに基づき発熱者を検出し、
前記サーマルカメラからの前記第１の映像データ及び可視光カメラからの第２の映像データのうちの少なくとも一方の映像データに基づき利用者の密集度合いを判定し、
前記発熱者の検出結果及び前記密集度合いの判定結果に応じた情報を出力し、
前記出力することは、前記発熱者の発生位置及び前記発熱者を含む密集発生位置を含むアラートマップを出力することを備える、情報処理方法。

【請求項7】

請求項１乃至５の何れかの情報処理装置が備える各部による処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、例えばサーマルカメラからの映像データに基づき発熱者を検出する情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

感染症の流行時に、不特定多数が利用する施設、例えばショッピングモールのような商業施設やイベント会場等において、感染症対策が実施されることがある。いくつかの感染症対策がある中、サーマルカメラによる発熱者監視が知られている。例えば、監視員は、施設の入口等に設置されるサーマルカメラからの映像を目視確認して、入場者の発熱有無を監視する。監視員は、発熱者を見つけると、発熱者の入場を制限する。

【0003】

他にも、エレベータのような閉鎖空間において、カメラからの画像に基づくマスク着用者の認識結果を利用した感染リスクの拡大防止技術が提案されている（例えば特許文献１を参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－２４０３１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記したような監視員に依存する対策は、コスト面だけでなく、安全面にも配慮が必要となるため、別の対策が求められている。また、発熱の有無やマスク装着の有無に加えて、様々な要因が複合的に影響して感染症が拡大することが知られており、このような複合的な要因に対する感染症対策が要望されている。

【0006】

この発明は上記事情に着目してなされたもので、複合的な要因に基づく感染リスクの低減を図る技術を提供しようとするものである。

【課題を解決するための手段】

【0007】

上記課題を解決するためにこの発明の一態様の情報処理装置は、サーマルカメラからの第１の映像データに基づき発熱者を検出する情報処理部と、前記サーマルカメラからの前記第１の映像データ及び第１の可視光カメラからの第２の映像データのうちの少なくとも一方の映像データに基づき利用者の密集度合いを判定する判定部と、前記発熱者の検出結果及び前記密集度合いの判定結果に応じた情報を出力する出力部と、を備える。

【発明の効果】

【0008】

この発明の一態様によれば、複合的な要因に基づく感染リスクの低減を図る技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、この発明の一実施形態に係る情報処理装置を含むシステムの構成の一例を示す図である。

【図2】図２は、この発明の一実施形態に係る情報処理装置として用いられるＷｅｂサーバ装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、この発明の一実施形態に係る情報処理装置として用いられるＷｅｂサーバ装置のソフトウェア構成の一例を示すブロック図である。

【図4】図４は、この発明の一実施形態に係る情報処理装置として用いられるＷｅｂサーバ装置の情報処理部のソフトウェア構成の一例を示すブロック図である。

【図5】図５は、この発明の一実施形態に係るシステムによる情報処理（アラート出力）の一例を示すフローチャートである。

【図6】図６は、この発明の一実施形態に係るシステムによる発熱者の検出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照してこの発明に係る実施形態を説明する。

【0011】

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係る情報処理装置を含むシステムの全体構成を示す図である。この情報処理装置は、不特定多数が利用する施設、例えばショッピングモールのような商業施設やイベント会場を監視する。
例えば、施設の入口、通路、及び売り場には、複数台の監視カメラＣ１１～Ｃ１ｎ及びＣ２１が分散配置されている。監視カメラＣ１１～Ｃ１ｎ及びＣ２１は、例えば天井または壁面に取着され、それぞれの監視エリアを撮像してその映像データを出力する。

【0012】

監視カメラＣ１１～Ｃ１ｎは、可視光カメラであり、監視カメラＣ２１は、サーマルカメラである。例えば、監視カメラＣ１１及び監視カメラＣ２１は、共通する第１のエリアを撮影する。監視カメラＣ２１は、第１のエリアを撮影して得られた第１の映像データ（非可視光画像）を出力し、監視カメラＣ１１は、第１のエリアを撮影して得られた第２の映像データ（可視光画像）を出力する。なお、サーマルカメラを複数台設置するようにしてもよいし、サーマルカメラと可視光カメラを同数設置するようにしてもよい。

【0013】

また、監視カメラＣ１１～Ｃ１ｎ及びＣ２１に対応して、アラート等の情報を表示するディスプレイＤ１１～Ｄ１ｎが設置され、さらに、任意の位置にディスプレイＤ２０が設置されている。ディスプレイＤ２０は、１台に限らず複数台設置してもよく、デジタルサイネージとして各種情報を表示し、また、アラート等の情報も出力する。なお、ディスプレイＤ１１～Ｄ１ｎは、必ずしも、監視カメラＣ１１～Ｃ１ｎ及びＣ２１に対応して設置される必要はなく、任意の位置に設置してもよい。

【0014】

例えば、監視カメラＣ１１～Ｃ１ｎ及びＣ２１には、それぞれ映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１が付設されている。映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１は、監視カメラＣ１１～Ｃ１ｎ及びＣ２１からのそれぞれの映像データを解析する。

【0015】

なお、映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１は監視カメラＣ１１～Ｃ１ｎ及びＣ２１に対し一対一に配置せず、複数台のカメラに対しそれより少数の映像解析エンジンを配置して、少数の映像解析エンジンにより複数台の監視カメラの映像データを一括処理するようにしてもよい。

【0016】

また、一実施形態のシステムは、情報処理装置として使用されるＷｅｂサーバ装置ＳＶを備える。映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１は、ネットワークＮＷを介してＷｅｂサーバ装置ＳＶとの間でデータ通信が可能となっており、生成された映像解析結果をネットワークＮＷを介してＷｅｂサーバ装置ＳＶへ送信する。ネットワークＮＷには、例えば有線ＬＡＮ（Local Area Network）または無線ＬＡＮが用いられるが、他のどのようなネットワークが使用されてもよい。

【0017】

なお、Ｗｅｂサーバ装置ＳＶが、映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１又は１つの映像解析エンジンを備え、Ｗｅｂサーバ装置ＳＶの映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１又は１つの映像解析エンジンが、ネットワークＮＷを介して、監視カメラＣ１１～Ｃ１ｎ及びＣ２１からのそれぞれの映像データを受信し、受信した映像データを解析してもよい。或いは、監視カメラＣ１１～Ｃ１ｎ及びＣ２１のそれぞれが、映像解析エンジンを備え、監視カメラＣ１１～Ｃ１ｎ及びＣ２１内で、撮影により取得された映像データを解析するようにしてもよい。

【0018】

（２）Ｗｅｂサーバ装置ＳＶ
図２および図３は、それぞれＷｅｂサーバ装置ＳＶのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
Ｗｅｂサーバ装置ＳＶは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備え、この制御部１に対し、バス６を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、入出力インタフェース（入出力Ｉ／Ｆ）４と、通信インタフェース（通信Ｉ／Ｆ）５とを接続したものとなっている。

【0019】

入出力Ｉ／Ｆ４には、例えばモニタ装置ＭＴおよび管理者端末ＯＴが接続される。モニタ装置ＭＴは、監視者が監視エリアを目視監視するために使用されるもので、監視カメラＣ１１～Ｃ１ｎ及びＣ２１の映像を表示する。また、モニタ装置ＭＴは、発熱者の検出結果及び密集度合いの判定結果を表示する。さらに、モニタ装置ＭＴは、発熱者の検出結果及び密集度合いの判定結果に応じたアラート等の情報を表示する。なお、制御部１は、基準温度以上の体温が検出された場合に、発熱者が検出されたと判定し、基準温度未満の体温が検出された場合に、発熱者が検出されなかったと判定する。また、基準温度には、任意の温度を設定することができる。

【0020】

管理者端末ＯＴは、システム管理者がシステム管理や保守等のために使用するもので、各種設定画面やシステム内の動作状態を表す情報を表示すると共に、システム管理者がシステムの管理・運用に必要な種々データを入力したときに当該データを受け付けてＷｅｂサーバ装置ＳＶに設定する機能を有する。

【0021】

通信Ｉ／Ｆ５は、制御部１の制御の下、ネットワークＮＷにより定義される通信プロトコルを使用して、映像解析エンジンＶＥ１１～ＶＥ１ｎとの間でデータ伝送を行うもので、例えば有線ＬＡＮまたは無線ＬＡＮに対応するインタフェースにより構成される。

【0022】

プログラム記憶部２は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。

【0023】

データ記憶部３は、例えば、記憶媒体として、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、この発明の一実施形態を実施するために必要な主たる記憶部として、カメラ情報テーブル３１と、設定情報テーブル３２とを備えている。

【0024】

カメラ情報テーブル３１は、監視カメラＣ１１～Ｃ１ｎ及びＣ２１毎に、その識別情報（以後カメラＩＤと称する）に対応付けて、例えば監視カメラの名称、性能および設置位置を表す情報を記憶する。性能を表す情報には、例えば解像度やアスペクト比が含まれる。また設置位置を示す情報には、例えば緯度経度、撮像方向および撮像角度が含まれる。また、カメラ情報テーブル３１はデータベースを記憶し、データベースは、監視カメラＣ１１～Ｃ１ｎの映像データ、及び映像データから検出される顔画像又は全身画像等を登録する。

【0025】

設定情報テーブル３２は、管理者端末ＯＴ等を介して入力されるアラート出力条件を記憶する。また、設定情報テーブル３２は、施設のマップデータを記憶する。また、設定情報テーブル３２は、マップデータ上の監視カメラＣ１１～Ｃ１ｎ及びＣ２１の位置情報、及びディスプレイＤ１１～Ｄ１ｎ及びＤ２０の位置情報を記憶する。

【0026】

制御部１は、この発明の一実施形態に係る処理機能として、情報取得部１１と、情報処理部１２と、判定部１３と、出力部１４とを備えている。また、情報処理部１２は、発熱者検出部１２１と、発熱者画像検出部１２２と、発熱者画像登録部１２３と、発熱者追跡部１２４とを備えている。各部は、何れもプログラム記憶部２に格納されたプログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。

【0027】

情報取得部１１は、監視カメラＣ１１～Ｃ１ｎ及びＣ２１に接続された映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１、又はＷｅｂサーバ装置ＳＶに設けられた映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１からの映像データ及び映像解析結果等を取得する。例えば、映像解析エンジンＶＥ１１～ＶＥ１ｎはそれぞれ、対応する監視カメラＣ１１～Ｃ１ｎから出力される映像データに含まれる各画像フレームから、顔画像又は全身画像を検出し、顔画像又は全身画像を含む映像解析結果を出力する。また、映像解析エンジンＶＥ２１は、対応する監視カメラＣ２１から出力される映像データに含まれる各画像フレームから、温度別領域を検出し、温度別領域に関する情報を含む映像解析結果を出力する。

【0028】

情報処理部１２は、第１のエリアを撮影するサーマルカメラである監視カメラＣ２１からの第１の映像データに基づき発熱者を検出する。例えば、情報処理部１２の発熱者検出部１２１は、第１の映像データから、基準温度（例えば37.5度）を超える領域を検出する。また、発熱者検出部１２１は、検出した領域のサイズが基準サイズの範囲に含まれる場合に、その領域を発熱者の一部として検出する。つまり、検出した領域のサイズが、基準サイズの範囲から外れる場合は、その領域を発熱者の一部と見なさない。

【0029】

また、情報処理部１２は、第１のエリアを撮影するサーマルカメラである監視カメラＣ２１からの第１の映像データ、及び同じ第１のエリアを撮影する可視光カメラである監視カメラＣ１１からの第２の映像データに基づき、第２の映像データから発熱者の画像を検出する。即ち、情報処理部１２の発熱者画像検出部１２２は、第１の映像データ、映像解析エンジンＶＥ２１による映像解析結果、第２の映像データ、及び映像解析エンジンＶＥ１１による映像解析結果に基づき、第２の映像データから発熱者の画像を検出する。

【0030】

例えば、発熱者画像検出部１２２は、第１及び第２の映像データを重ねて、第１の映像データに含まれる発熱者の一部（基準温度を超える領域）に基づき、第２の映像データに含まれる発熱者の顔画像又は全身画像を検出する。つまり、発熱者画像検出部１２２は、第１の映像データに含まれる発熱者の一部を含む顔画像又は全身画像を第２の映像データから検出する。

【0031】

また、情報処理部１２は、検出された発熱者の顔画像又は全身画像をカメラ情報テーブル３１のデータベースへ登録する。例えば、情報処理部１２の発熱者画像登録部１２３は、検出された発熱者の顔画像又は全身画像の画像特徴量、及びこの顔画像又は全身画像に対応する映像解析結果を含む登録情報をデータベースへ登録する。

【0032】

情報処理部１２は、データベースに登録された発熱者の顔画像又は全身画像の画像特徴量、及び第２のエリアを撮影する可視光カメラである監視カメラＣ１２からの第３の映像データに基づき発熱者の画像を検出する。例えば、情報処理部１２の発熱者追跡部１２４は、第２のエリアの第３の映像データから顔画像又は全身画像を検出し、検出された顔画像又は全身画像の画像特徴量を抽出し、クエリとして登録された画像特徴量と抽出された画像特徴量とを比較し、両者の類似度が基準値を超える場合に、抽出された画像特徴量を有する顔画像又は全身画像を発熱者として検出する。

【0033】

本実施形態では、発熱者追跡部１２４は、登録された画像特徴量に基づき、複数の監視カメラＣ１２～Ｃ１ｎからの第３の映像データを統合的に解析することにより、複数の監視カメラＣ１２～Ｃ１ｎを跨いで発熱者を追跡する。

【0034】

映像解析エンジンＶＥ１１～ＶＥ１ｎ及びＶＥ２１は、監視カメラＣ１１～Ｃ１ｎ及びＣ２１のカメラＩＤと、撮影時刻（日時分秒）とを含む映像解析結果を生成する。カメラＩＤは、監視カメラに固有の識別情報である。例えば、映像解析エンジンＶＥ１１～ＶＥ１ｎは、映像解析結果を出力するが、映像解析結果は、検出画像情報を含む。検出画像情報は、検出された顔画像又は全身画像、及び属性情報を含む。属性情報は、カメラＩＤ、人物らしさのスコア、画像種別（顔画像又は全身画像）、撮影日時等を含む。

【0035】

判定部１３は、サーマルカメラである監視カメラＣ２１からの第１の映像データ、及び可視光カメラである監視カメラＣ１１からの第２の映像データのうちの少なくとも一方の映像データに基づき、利用者の密集度合いを判定する。また、判定部１３は、可視光カメラである監視カメラＣ１２～Ｃ１ｎからの第３の映像データに基づき、利用者の密集度合いを判定する。

【0036】

例えば、判定部１３は、発熱者の有無判定にかかわらず、第１、第２、及び第３の映像データに基づき利用者の密集度合いを判定する。又は、判定部１３は、第１の映像データに発熱者が含まれると判定された場合に、第１の映像データに基づき利用者の密集度合いを判定するようにしてもよい。同様に、判定部１３は、第２の映像データに発熱者が含まれると判定された場合に、第２の映像データに基づき利用者の密集度合いを判定するようにしてもよい。同様に、判定部１３は、第３の映像データに発熱者が含まれると判定された場合に、第３の映像データに基づき利用者の密集度合いを判定するようにしてもよい。

【0037】

判定部１３は、監視カメラＣ１１からの第２の映像データ、及び監視カメラＣ１２～Ｃ１ｎからの第３の映像データに含まれる人物を検出し、画像中の座標（人物検出矩形の中心、もしくは人物検出矩形の底辺の中点）を算出した後、任意の人物を中心として各人の座標の画像上の距離を計算する。又は、判定部１３は、発熱者を中心として各人の座標の画像上の距離を計算する。

【0038】

判定部１３は、任意の人物又は発熱者から周囲の人物までの距離と周囲の人物の人数に応じて密集度合いを判定する。例えば、判定部１３は、任意の人物又は発熱者から周囲の人物までの距離がX以内の人物がY人以上いた場合に、密集度合いが閾値を超えたと見なし密集発生と判定する。さらに、判定部１３は、密集度合いが閾値を超え、且つその状態が一定時間を超えた場合に、密集発生と判定するようにしてもよい。

【0039】

また、判定部１３は、密集発生時刻と発生位置を含む発熱者行動履歴情報を生成し、発熱者行動履歴情報を含む登録情報をデータベースへ登録するようにしてもよい。

【0040】

出力部１４は、発熱者の検出結果及び密集度合いの判定結果に応じた情報を出力する。即ち、出力部１４は、発熱者を含む密集度合いが閾値を超えた場合にアラートを出力する。上記説明したように、判定部１３は、密集度合いが閾値を超えた場合に密集発生と判定し、出力部１４は、密集発生の判定に基づき、アラートを出力する。

【0041】

アラートの出力先は、モニタ装置ＭＴでもよいし、ディスプレイＤ１１～Ｄ１ｎ及びＤ２０でもよい。判定部１３が、監視カメラＣ１２からの映像データに基づき密集発生を判定した場合に、出力部１４は、監視カメラＣ１２に対応して設置されるディスプレイＤ１２に第１のレベルのアラートを出力し、また、監視カメラＣ１２から所定距離以内の監視カメラＣ１３に対応して設置されるディスプレイＤ１３に第２のレベルのアラートを出力する。例えば、第１のレベルのアラートは、第２のレベルのアラートより高い危険度を示す。

【0042】

また、出力部１４は、モニタ装置ＭＴに出力する画像を加工し、発熱者の顔画像又は全身画像を第１の枠で囲い、密集発生の判定対象となった周囲の人又はその集団の画像領域を第２の枠で囲う。例えば、出力部１４は、画像を加工して、第１の枠を第１の色（赤色）、第２の枠を第２の色（黄色）にして区別する。また、出力部１４は、ディスプレイＤ１１～Ｄ１ｎ及びＤ２０に出力する画像を加工し、発熱者及び周囲の人の顔画像にぼかしを入れて、発熱者の顔画像又は全身画像を第１の枠で囲い、密集発生の判定対象となった周囲の人又はその集団の画像領域を第２の枠で囲う。

【0043】

また、出力部１４は、施設のマップデータ、発熱者の発生位置、発熱者を含む密集発生位置を含むアラートマップを生成し、アラートマップを出力する。アラートマップは、発熱者の発生位置に対応する第１のアラートマーク、及び密集発生位置に対応する第２のアラートマークを含む。また、出力部１４は、映像解析結果に含まれる属性情報から撮影日時を検出し、撮影日時を発生日時に変換して出力するようにしてもよい。この場合、アラートマップは、発熱者の発生位置に対応する第１のアラートマーク、第１のアラートマークに対応する発生日時、密集発生位置に対応する第２のアラートマーク、及び第２のアラートマークに対応する発生日時を含む。

【0044】

また、出力部１４は、密集発生位置に最も近いディスプレイＤ２０に対して、第１の情報を出力し、それ以外のディスプレイ２０に対して、第２の情報を出力するようにしてもよい。第１の情報は、近くで危険が発生したことを示す情報を含む。第２の情報は、アラートマップを含む。

【0045】

なお、以上の説明では、データ記憶部３に設けられた各テーブル３１、３２をＷｅｂサーバ装置ＳＶ内に設けた場合を例にとった。しかし、それに限らず、Ｗｅｂサーバ装置ＳＶ外に配置されたデータベースサーバまたはファイルサーバ内に設けるようにしてもよい。この場合、Ｗｅｂサーバ装置ＳＶがデータベースサーバまたはファイルサーバ内の各テーブル３１、３２に対しアクセスし、必要な情報を取得することにより各処理を行う。

【0046】

（動作例）
次に、以上のように構成されたシステムの動作例を説明する。
図５は、この発明の一実施形態に係るシステムによる情報処理（アラート出力）の一例を示すフローチャートである。
監視カメラＣ１１～Ｃ１ｎ及びＣ２１は、撮影を開始し、映像データを出力する。即ち、サーマルカメラである監視カメラＣ２１は、第１の映像データを出力し、可視光カメラである監視カメラＣ１１は、第２の映像データを出力し、可視光カメラである監視カメラＣ１２～Ｃ１ｎは、第３の映像データを出力する。情報取得部１１は、通信Ｉ／Ｆ５を介して、第１、第２、及び第３の映像データを取得する（ＳＴ１）。

【0047】

画像処理部１２は、映像データに基づき発熱者の検出処理を実行する（ＳＴ２）。情報処理部１２は、第１のエリアを撮影するサーマルカメラからの第１の映像データに基づき発熱者を検出し、また、同じ第１のエリアを撮影する可視光カメラからの第２の映像データに基づき発熱者の画像を検出する（ＳＴ２）。

【0048】

判定部１３は、サーマルカメラからの第１の映像データ及び可視光カメラからの第２の映像データのうちの少なくとも一方の映像データに基づき利用者の密集度合いを判定する（ＳＴ３）。また、判定部１３は、第１のエリアと異なる第２のエリアを撮影する可視光カメラからの第３の映像データに基づき利用者の密集度合いを判定する（ＳＴ３）。例えば、判定部１３は、発熱者の有無判定にかかわらず、第２及び第３の映像データに基づき利用者の密集度合いを判定する。或いは、判定部１３は、第２及び第３の映像データに発熱者が含まれる場合に、第２及び第３の映像データに基づき利用者の密集度合いを判定する。

【0049】

出力部１４は、発熱者の検出結果及び密集度合いの判定結果に応じた情報を出力する（ＳＴ４）。例えば、出力部１４は、密集発生位置に近いディスプレイＤ１２に対して、第１のレベルのアラートを出力する。また、出力部１４は、密集発生位置から離れたディスプレイＤ１３やディスプレイ２０に対してアラートマップを出力する。

【0050】

図６は、この発明の一実施形態に係るシステムによる発熱者の検出処理の一例を示すフローチャートである。
発熱者検出部１２１は、第１の映像データから、基準温度を超える領域を検出する。また、発熱者検出部１２１は、検出した領域のサイズが基準サイズの範囲に含まれる場合に、その領域を発熱者の一部として検出する（ＳＴ２１）。

【0051】

発熱者画像検出部１２２は、第１及び第２の映像データを重ねて、第１の映像データに含まれる発熱者の一部（基準温度を超える領域）に基づき、第２の映像データに含まれる発熱者の顔画像又は全身画像を検出する（ＳＴ２２）。つまり、発熱者画像検出部１２２は、第１の映像データに含まれる発熱者の一部を含む顔画像又は全身画像を第２の映像データから検出する。

【0052】

発熱者画像登録部１２３は、検出された発熱者の顔画像又は全身画像の画像特徴量及びこの顔画像又は全身画像に対応する映像解析結果を含む登録情報をデータベースへ登録する（ＳＴ２３）。

【0053】

発熱者追跡部１２４は、登録情報に基づき発熱者を追跡する（ＳＴ２４）。即ち、発熱者追跡部１２４は、第２のエリアの第３の映像データから顔画像又は全身画像を検出し、検出された顔画像又は全身画像の画像特徴量を抽出し、登録された画像特徴量と抽出された画像特徴量とを比較し、両者の類似度が基準値を超える場合に、抽出された画像特徴量を有する顔画像又は全身画像を発熱者として検出する（ＳＴ２５、ＹＥＳ）。

【0054】

発熱者追跡部１２４は、発熱者を検出に対応して、判定部１３に対して発熱者検出を通知する（ＳＴ２６）。判定部１３は、発熱者検出の通知を受けて、発熱者を含む映像データに基づき密集度合いを判定する。

【0055】

本実施形態によれば、複合的な要因に基づく感染リスクの低減を図る情報処理装置、情報処理方法、及びプログラムを提供することができる。即ち、本実施形態のシステムは、発熱者の検出に加えて、密集度合いを判定し、発熱者の検出結果及び密集度合いの判定結果に応じて、アラート等の情報を出力する。これにより、複合的な要因に基づく感染リスクの低減を図ることができる。なお、本システムは、発熱者を検出した時点で、発熱者を検出したことを示す情報を出力するようにしてもよい。

【0056】

例えば、本システムは、発熱者を含む密集度合いが閾値を超える場合、つまり複合的な要因を解析し一定の条件を満たす場合にアラート等の情報を出力する。これにより、感染リスクの高い低減効果が期待できる。

【0057】

また、本システムの判定部１３が、発熱者を含む密集度合いを通知し、出力部１４が、発熱者を含む密集度合いをモニタ装置ＭＴに出力するようにしてもよい。例えば、モニタ装置ＭＴは、発熱者を含む密集度合いを表示することにより、監視員は、密集度合いが形成される状況を把握し、事前に、密集度合いを解消するようなアナウンスを出すなどの対策を講じることができる。

【0058】

また、本システムの出力部１４は、様々な形式でアラート等の情報を出力することにより、感染リスクの高い低減効果が期待できる。例えば、出力部１４は、発熱者の発生位置及び発熱者を含む密集発生位置を含むアラートマップを出力する。また、出力部１４は、最もリスクの高い位置に近いディスプレイと、それ以外の位置に設置されたディスプレイとで、出力情報を切り替える。例えば、出力部１４は、最もリスクの高い位置に近いディスプレイには、近くで危険が発生したことを示す情報を含む第１の情報を出力し、それ以外の位置に設置されたディスプレイには、アラートマップを含む第２の情報を出力する。これにより、全ての利用者に一律の情報を報知する場合に比べて、感染リスクの高い低減効果が期待できる。

【0059】

また、本システムにより、発熱者を含む密集発生をリアルタイムに判定したとしても、監視員等が、すぐに現場対応できないこともある。上記説明したように、判定部１３は、密集発生時刻と発生位置を含む発熱者行動履歴情報をデータベースへ登録するので、この情報を分析することにより、感染確率の高い人物の行動履歴を事後調査することができる。

【0060】

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0061】

１…制御部
２…プログラム記憶部
３…データ記憶部
４…入出力インタフェース（入出力Ｉ／Ｆ）
５…通信インタフェース（通信Ｉ／Ｆ）
６…バス
１１…情報取得部
１２…情報処理部
１３…判定部
１４…出力部
３１…カメラ情報テーブル
３２…設定情報テーブル
１２１…発熱者検出部
１２２…発熱者画像検出部
１２３…発熱者画像登録部
１２４…発熱者追跡部
Ｃ１１、Ｃ１２、Ｃ１ｎ…監視カメラ（可視光カメラ）
Ｃ２１…監視カメラ（サーマルカメラ）
Ｄ１１、Ｄ１２、Ｄ１ｎ、Ｄ２０…ディスプレイ
ＭＴ…モニタ装置
ＮＷ…ネットワーク
ＯＴ…管理者端末
ＳＶ…サーバ装置
ＶＥ１１、ＶＥ１ｎ、ＶＥ２１…映像解析エンジン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】