IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧

特開2023-58798画像センサ、監視システムおよび監視方法
<>
  • 特開-画像センサ、監視システムおよび監視方法 図1
  • 特開-画像センサ、監視システムおよび監視方法 図2
  • 特開-画像センサ、監視システムおよび監視方法 図3
  • 特開-画像センサ、監視システムおよび監視方法 図4
  • 特開-画像センサ、監視システムおよび監視方法 図5
  • 特開-画像センサ、監視システムおよび監視方法 図6
  • 特開-画像センサ、監視システムおよび監視方法 図7
  • 特開-画像センサ、監視システムおよび監視方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023058798
(43)【公開日】2023-04-26
(54)【発明の名称】画像センサ、監視システムおよび監視方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20230419BHJP
   H04N 23/60 20230101ALI20230419BHJP
   H04N 23/66 20230101ALI20230419BHJP
【FI】
H04N7/18 D
H04N5/232 300
H04N5/232 030
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021168516
(22)【出願日】2021-10-14
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】峯邑 隆司
(72)【発明者】
【氏名】大石 淳也
【テーマコード(参考)】
5C054
5C122
【Fターム(参考)】
5C054CA04
5C054CA05
5C054CC02
5C054DA09
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054FC01
5C054FC12
5C054FC13
5C054FD07
5C054FE28
5C054FF02
5C054FF06
5C054GB01
5C054GB05
5C054HA19
5C122DA11
5C122EA55
5C122EA63
5C122FH11
5C122FH14
5C122FK09
5C122FK12
5C122FK35
5C122GC14
5C122GC52
5C122GE06
5C122HA01
5C122HA75
5C122HB01
(57)【要約】
【課題】ネットワーク負荷を抑制した画像センサ、監視システムおよび監視方法を提供することを目的とする。
【解決手段】実施形態の画像センサ、監視システムおよび監視方法は、カメラ部と1次解析部と送信部を備えた画像センサと、環境センサと、2次解析部と画像データ要求部とを備えた管理サーバとを備える。カメラ部は、空間を撮像して画像データを生成する。1次解析部は、画像データを解析する。環境センサは、空間に関する物理量を測定する。2次解析部は、1次解析部の解析結果と、環境センサによる測定結果とに基づいて、画像データの必要性を解析する。画像データ要求部は、2次解析部の解析結果に応じて、画像センサに画像データを要求する。送信部は、画像データ要求部からの要求に応じて、画像データを送信する。
【選択図】 図1
【特許請求の範囲】
【請求項1】
画像に基づいて空間の監視を行う監視システムであって、
前記空間を撮像して画像データを生成するカメラ部と、
前記画像データを解析する1次解析部と、
を備えた画像センサと、
前記空間に関する物理量を測定する環境センサと、
前記1次解析部の解析結果と、前記環境センサによる測定結果とに基づいて、前記画像データの必要性を解析する2次解析部と、
前記2次解析部の解析結果に応じて、前記画像センサに画像データを要求する画像データ要求部と、
を備えた管理サーバとを備え、
前記画像センサは、さらに、前記画像データ要求部からの要求に応じて、画像データを送信する送信部を備える、監視システム。
【請求項2】
画像に基づいて空間の監視を行う監視システムであって、
前記空間を撮像して画像データを生成するカメラ部と、
前記画像データを解析する1次解析部と、
を備えた画像センサと、
前記空間に関する物理量を測定する環境センサと、
前記画像センサと管理サーバの間で中継を行う中継部と、
前記1次解析部の解析結果と、前記環境センサによる測定結果とに基づいて、前記画像データの必要性を解析する2次解析部と、
前記2次解析部の解析結果に応じて、前記画像センサに画像データを要求する画像データ要求部と、
を備えた中継器とを備え、
前記画像センサは、さらに、前記画像データ要求部からの要求に応じて、画像データを前記管理サーバに送信する送信部を備える、監視システム。
【請求項3】
画像に基づいて空間の監視を行う監視システムであって、
前記空間を撮像して画像データを生成する画像センサと、
前記空間に関する物理量を測定する環境センサと、
前記画像センサおよび前記環境センサと、管理サーバとの間で中継を行う中継部と、
前記画像データを解析する1次解析部と、
を備えた中継器とを備え、
前記1次解析部の解析結果と、前記環境センサによる測定結果とに基づいて、前記画像データの必要性を解析する2次解析部と、
前記2次解析部の解析結果に応じて、前記中継器に画像データを要求する画像データ要求部と、
を備えた前記管理サーバとを備え、
前記中継器は、さらに、前記画像データ要求部からの要求に応じて、画像データを前記管理サーバに送信する送信部を備える、監視システム。
【請求項4】
空間を撮像して画像データを生成するカメラ部と、
前記画像データを解析する1次解析部と、
前記1次解析部の解析結果を管理サーバに送信し、さらに前記管理サーバからの要求に応じて、画像データを送信する送信部と、
を備える、画像センサ。
【請求項5】
画像に基づいて空間の監視を行う監視方法であって、
画像センサが、前記空間を撮像して画像データを生成し、
前記画像センサが、前記画像データを解析する1次解析を行い、
環境センサが、前記空間に関する物理量を測定し、
管理サーバが、前記1次解析の結果と、前記環境センサによる測定結果とに基づいて、前記画像データの必要性を解析する2次解析を行い、
前記管理サーバが、前記2次解析の結果に応じて、前記画像センサに画像データを要求し、
前記画像センサが、前記管理サーバからの要求に応じて、画像データを送信する、
監視方法。
【請求項6】
画像に基づいて空間の監視を行う監視方法であって、
画像センサが、前記空間を撮像して画像データを生成し、
前記画像センサが、前記画像データを解析する1次解析を行い、
環境センサが、前記空間に関する物理量を測定し、
中継器が、前記画像センサと管理サーバの間で中継を行い、
前記中継器が、前記1次解析の結果と、前記環境センサによる測定結果とに基づいて、前記画像データの必要性を解析する2次解析を行い、
前記中継器が、前記2次解析の結果に応じて、前記画像センサに画像データを要求し、
前記画像センサが、前記中継器からの要求に応じて、画像データを前記管理サーバに送信する、
監視方法。
【請求項7】
画像に基づいて空間の監視を行う監視方法であって、
画像センサが、前記空間を撮像して画像データを生成し、
環境センサが、前記空間に関する物理量を測定し、
中継器が、前記画像センサおよび前記環境センサと、管理サーバとの間で中継を行い、
前記中継器が、前記画像データを解析する1次解析を行い、
管理サーバが、前記1次解析の結果と、前記環境センサによる測定結果とに基づいて、前記画像データの必要性を解析する2次解析を行い、
前記管理サーバが、前記2次解析の結果に応じて、前記中継器に画像データを要求し、
前記中継器は、前記管理サーバからの要求に応じて、画像データを前記管理サーバに送信する、
監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、画像センサ、監視システムおよび監視方法に関する。
【背景技術】
【0002】
画像センサを用いた監視システムは、監視などの対象となる空間や対象物を撮影するように画像センサによって撮像された画像データを通信回線で接続された中継器で収集し、さらにネットワークを通じて管理サーバなどに伝送される。
【0003】
近年、CMOS(Complementary MOS)カメラの技術進歩などによって画像の解像度が上がり、これに伴って画像データのデータサイズが大きくなり、通信回線やネットワークのトラヒックが急激に高まる傾向がある。
【0004】
画像センサは、工場などの作業工程の分析、機器の正常動作確認、警告ランプの点灯状態、メーター類の読み取り、および人流監視など多様な用途に用いられ、最も使用されるIoT機器の1つであるため、ネットワークの負荷が将来的に問題となり得る。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2021-39592号公報
【特許文献2】特開2020-115608号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、ネットワーク負荷を抑制した画像センサ、監視システムおよび監視方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態の画像センサ、監視システムおよび監視方法は、カメラ部と1次解析部と送信部を備えた画像センサと、環境センサと、2次解析部と画像データ要求部とを備えた管理サーバとを備える。カメラ部は、空間を撮像して画像データを生成する。1次解析部は、画像データを解析する。環境センサは、空間に関する物理量を測定する。2次解析部は、1次解析部の解析結果と、環境センサによる測定結果とに基づいて、画像データの必要性を解析する。画像データ要求部は、2次解析部の解析結果に応じて、画像センサに画像データを要求する。送信部は、画像データ要求部からの要求に応じて、画像データを送信する。
【図面の簡単な説明】
【0008】
図1】この発明に係わる監視システムの構成例を示す図。
図2図1に示した画像センサが設置される場所の透視図。
図3図1に示した画像センサの構成例を示す機能ブロック図。
図4図1に示した中継器の構成例を示す機能ブロック図。
図5図1に示した管理サーバの構成例を示す機能ブロック図。
図6図1に示した監視システムの動作を説明するシーケンス図。
図7図1に示した監視システムの変形例1の動作を説明するシーケンス図。
図8図1に示した監視システムの変形例2の動作を説明するシーケンス図。
【発明を実施するための形態】
【0009】
以下、図面を参照して、一実施形態について説明する。
図1は、一実施形態に係わる画像センサ、監視システムおよび監視方法を含む情報処理システムの構成を示すものである。なお、以下の説明では、上記画像センサおよび監視システムを、オフィスや事業所、通路などの屋内監視に適用した場合を例に挙げて説明するが、その他、工場などの作業工程の分析、機器(監視対象)の正常動作確認、警告ランプの点灯状態、メーター類の読み取り、および屋内外の人流監視などに適用してもよい。
【0010】
(構成)
この監視システムは、図1に示すように、画像センサ10a~10n、環境センサ11a~11n、中継器20-1~20-m、管理サーバ30、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMD(Head Mounted Display)、アクセスポイントAP、ネットワークストレージNAS(Network Attached Storage)を備える。
【0011】
画像センサ10a~10nは、デジタルカメラを内蔵した画像処理装置であって、監視の対象となる空間(この例では、オフィス)の天井などに設けられ、天井から空間(オフィス)内を撮影する。撮影のためのレンズとしては、広角レンズや魚眼レンズが用いられ、天井からオフィス内や通路を広範囲で撮影する。なお、以下の説明では、画像センサ10a~10nの間で共通する内容については、「画像センサ10」として説明する場合がある。
【0012】
また画像センサ10は、撮影によって得た画像データを解析し(ここでの解析を、以下では1次解析と称する)、接続された中継装置(20-1~20-mのいずれか)に1次解析結果を送信し、また、上記中継装置からの要求や指示に応じて、画像データを上記中継装置に送信する。
【0013】
環境センサ11a~11nは、設置された空間において、温度、湿度、照度、CO2濃度、音、振動などの物理量の測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知などのセンシングを定期的に行う。以下では、これらのセンシングによって得たデータを環境検知データと称する。また、以下の説明では、環境センサ11a~11nの間で共通する内容については、「環境センサ11」として説明する場合がある。
【0014】
また環境センサ11a~11nは、それぞれ画像センサ10a~10nと対応づけられ、後述する管理サーバ30によって管理される。すなわち、例えば、環境センサ11aは、画像センサ10aに対応づけられ、画像センサ10aが監視する空間についてセンシングを行う。他の環境センサ11b~11nについても同様である。
【0015】
また環境センサ11は、センシングによって得た環境検知データを、接続された中継装置(20-1~20-mのいずれか)を通じて管理サーバ30に送信する。
【0016】
ここで、図2を参照して、画像センサ10a~10nおよび環境センサ11a~11nの設置例について説明する。なお、以降の説明では、画像センサと環境センサとで1対1の1つのペアになっている例を説明しているが、必ずしもペアの状態で以降のデータ処理をする必要はない。対象とするエリア全体をカバーするのに必要とする画像センサの個数と、環境センサの数が違う場合もあるからである。そのような場合、画像センサからの単独のデータにて以降で説明する2次解析を行ってもよいし、同一の環境センサのデータを複数の中継器に分配してもよい。
【0017】
図2に、監視の対象となるオフィスを斜め上方から見た場合の透視図を例示する。この例では、オフィスは、室内Rを4つの空間、すなわち執務エリアAa~Adに分けたものであって、各執務エリアAa~Adの天井には、画像センサ10a~10dおよび環境センサ11a~11dがぞれぞれ1つずつ設けられている。
【0018】
また、この例のオフィスでは、通路エリアAeが存在し、その天井には画像センサ10eおよび環境センサ11eが1つずつ設けられている。
【0019】
画像センサ10a~10eは、天井から各エリアを撮影し、画像分析(1次解析)により、例えば人物などの存在の有無を定期的に検知する。また環境センサ11a~11nは、設置された空間において、温度、湿度、照度などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知などのセンシングを定期的に行う。
【0020】
中継器20-1~20-mは、例えば、ハブ(HUB)としての集線機能を備えたネットワーク装置である。具体的には、中継器20-1は、画像センサ10a~10cおよび環境センサ11a~11cを収容し、中継器20-2は、画像センサ10nおよび環境センサ11nを収容し、ネットワークNWを通じて管理サーバ30と通信する。
【0021】
すなわち、中継器20-1~20-mは、画像センサ10a~10nや環境センサ11a~11nと、管理サーバ30との間をネットワークNWを通じて中継する。なお、以下の説明では、中継器20-1~20-mの間で共通する内容については、「中継器20」として説明する場合がある。
【0022】
管理サーバ30は、当該監視システムの全体としての制御中枢として機能するサーバ装置であって、ネットワークNWおよび中継器20を通じて、画像センサ10や環境センサ11から情報を収集し、対象となる空間などについて監視を行う。
【0023】
具体的には、管理サーバ30は、中継器20を通じて、画像センサ10から得た1次解析結果と、環境センサ11から得た環境検知データに基づいて、画像センサ10に対して画像データを送らせる必要性を判定するための解析(ここでの解析を、以下では2次解析と称する)を行い、この2次解析に基づいて所定の画像センサ10から画像データを取得する機能や、このようにして取得した画像データに基づいて、さらなる解析を行う機能などを備える。
【0024】
アクセスポイントAPは、無線LANの基地局装置であって、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDと無線通信し、これらをネットワークNWに接続する。なお、アクセスポイントAPは、携帯電話などの移動通信網の基地局装置であってもよい。
【0025】
ネットワークストレージNASは、ネットワークNW上に設けられた大容量の記憶装置であって、例えば、画像センサ10や環境センサ11から取得した情報を記憶する。画像センサ10や環境センサ11からネットワークストレージNASへの情報の伝達は、直接の通信であってもよいし、管理サーバ30を介したものであってもよい。
【0026】
携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDは、それぞれ無線通信機能、情報の表示機能、ユーザからの指示を受け付ける機能などを備え、ユーザからの指示に応じて管理サーバ30やネットワークストレージNASから情報を取得して、映像によりユーザに情報を提供する。
【0027】
より具体的には、携帯情報機器UEaは、スマートフォンやタブレット型端末、ラップトップ型のパーソナルコンピュータなど、無線通信機能を備えた情報処理装置であって、管理サーバ30から送られる情報を視覚的に表示することができる。
【0028】
バーチャルグラスUEbやヘッドマウントディスプレイHMDは、監視対象を警戒する警備員やメンテナンスを行う作業者、これらの管理者が身につけるウェアラブル端末であり、無線通信機能により管理サーバ30から送られる情報を取得し、この情報を表示して、装着者に視覚的に情報を提供することができる。
【0029】
ネットワークNWは、インターネットなどの公衆網であってもよいし、ある組織内や建物内で運用されるプライベートネットワーク(VPNを含む)であってもよく、あるいはこれらのネットワークの組み合わせであってもよい。
【0030】
またアクセスポイントAPと、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDとの間の無線通信は、無線LANやローカル5G(第5世代移動通信システム)などの高速通信が考えられる。
【0031】
次に、図3を参照して、画像センサ10(画像センサ10a~10n)の構成例について説明する。
画像センサ10は、制御部100、カメラ110、バッファメモリ120、カードインタフェース130、メモリカード140、通信部150、記憶部160を備える。
【0032】
カメラ110は、デジタルカメラであって、カメラ部の一例であり、複数枚のレンズやこれらのレンズ間の距離を可変するズーム機構などを備えた光学系と、例えばCMOS(Complementary MOS)などのイメージセンサを備えた撮像部と、撮像部によって得られた撮像信号からRAWの画像データ(以下、RAWデータ)を生成する信号処理部とを備える。
【0033】
バッファメモリ120は、カメラ110によって得られたRAWデータを一時的に記憶するためのメモリであって、カメラ110から出力される画像データを読み込んで記憶するとともに、後述する制御部100によってRAWデータが圧縮された画像データを記憶し、制御部100からの読み出し制御により、記憶している画像データが読み出される。
【0034】
カードインタフェース130は、物理的および電気的にメモリカード140を接続するためのインタフェースであって、制御部100からの指示にしたがって、情報(例えば、画像データ)をメモリカード140に記憶したり、あるいは、メモリカード140に記憶される情報を読み出して、制御部100に出力する。
【0035】
メモリカード140は、例えば、NAND型の記憶素子を用いた記憶媒体である。またメモリカード140は、バッファメモリ120がデータであふれそうな場合に、後述する制御部100によって圧縮された画像データを記憶することにも用いられる。なお、メモリカード140は、様々な規格のものが存在するがいずれであってもよい。
【0036】
通信部150は、送信部の一例であって、管理サーバ30と通信するための通信インタフェースであって、中継器20を通じて管理サーバ30と、種々の情報やデータの送信を行ったり、種々の指示や命令の受信を行う。
【0037】
記憶部160は、制御部100の制御プログラムや制御データを記憶するものであって、RAM(Random Access Memory)やROM(Read Only Memory)、SSD(Solid State Drive)などのフラッシュメモリ、HDD(Hard Disk Drive)などの記憶デバイスがデータの特性に合わせて、適宜、組み合わせて設けられる。1つの記憶デバイスを用いて、記憶ディレクトリを分割して構成するようにしてもよい。
また記憶部160は、辞書データ160aと、報告データテーブル160bを記憶する。
【0038】
辞書データ160aは、制御部100による1次解析に用いられるデータであって、様々な事象の画像データである。例えば、不審者が侵入した場合の画像データや、事故やトラブルが発生した場合の画像データである。
【0039】
報告データテーブル160bは、1次解析の結果を報告するためのデータテーブルであって、例えば、不審者の侵入、事故の発生、トラブルの発生などの各事象と、これらを識別するためのコード(以下、解析コードと称する)を対応づけたデータテーブルである。
【0040】
制御部100は、当該画像センサ10の各部を統括して制御するものであって、プロセッサとメモリを備え、メモリが記憶するOSやアプリケーションソフトウェアをプロセッサが実行することにより、種々の機能を実現する。具体的な機能としては、画像圧縮部100a、1次解析部100b、報告部100cを備える。
【0041】
画像圧縮部100aは、バッファメモリ120に一時的に保存されるRAWデータを読み出して、所定の形式の静止画像データ(例えば、JPEG(Joint Photographic Experts Group)など)や動画像データ(例えば、H.265など)の画像データに圧縮する処理を施す。
【0042】
この画像データは、画像圧縮部100aによって、再びバッファメモリ120に記録される。バッファメモリ120の空き容量が閾値以下の場合には、カードインタフェース130を通じてメモリカード140に記録される。
【0043】
なお、画像圧縮部100aは、圧縮によって得た画像データには、撮影した日時(タイムスタンプ)や場所(画像センサ10の識別情報)、撮影条件(シャッター速度や絞り値、画角など)を示す付加情報(例えば、Exif(Exchangeable image file format)データ)が付加されて記録される。
【0044】
また、現状においては、コーデックなどの画像圧縮方式の技術進歩により、画像データの圧縮率は上がる方向ではあるが、その一方コーディングの所用時間は極端に長くなり、即応性を要求される用途には向かないともいえる。したがって、圧縮率は従来と同様とすると、カメラの解像度が増えた分、データ量は比例して増える状態が発生することが予想され、伝送量の増大が予期される。
【0045】
この例では、画像圧縮部100aによる画像圧縮処理は、バッファメモリ120に一時的に保存されるRAWデータに対して順次行うものとして説明するが、後述する1次解析あるいは2次解析の結果に応じて、伝送する可能性のある画像のRAWデータあるいは伝送する画像のRAWデータに対して画像圧縮処理を行って、画像圧縮にかかるリソースを節約するようにしてもよい。
【0046】
また、この例では、圧縮によって得た画像データをすべてバッファメモリ120あるいはメモリカード140に保存するものとして説明するが、後述する1次解析の結果に応じて、保存する画像データを選別するようにしてもよい。すなわち、1次解析により伝送する可能性のある画像の画像データだけをてバッファメモリ120あるいはメモリカード140に保存するようにしてもよい。
【0047】
1次解析部100bは、バッファメモリ120あるいはメモリカード140に記憶される画像データを時系列に読み出して、1次解析を行う。なお、読み出された画像データは、所定に時間が経過すると、1次解析部100bによって、消去される。
【0048】
また1次解析部100bは、辞書データ160aに含まれる画像データと、バッファメモリ120あるいはメモリカード140から読み出した画像データを比較して、異常事態の発生について解析を行う。そして、1次解析部100bは、報告データテーブル160bを参照し、1次解析の結果に応じた解析コード(テキストデータ)を選択する。解析コードには、「異常なし」を示すコードがあってもよい。
【0049】
なお、ここでは1次解析の手法として、辞書データ160aを用いる場合を例に挙げて説明するが、種々の手法が考えられる。例えば、2枚の連続撮影した画像間の差分に基づいて、1次解析を行うようにしてもよい。
【0050】
これは、例えば、照明として非常灯だけが点いているような夜間のビル内では、2枚の連続撮影した画像間の差分より動き検知を行うことを想定している。この場合、動きを検知した場合にのみ、画像データを保存する。
【0051】
報告部100cは、1次解析部100bによって得られた解析コードを含むペイロードを作成し、このペイロードに宛先として管理サーバ30の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成し、通信部150を制御して、上記報告データを管理サーバ30に宛てて送信する。
【0052】
次に、図4を参照して、中継器20-1~20-mの構成例について説明する。
中継器20は、制御部200、センサ通信部210、管理装置通信部220、記憶部230を備える。
【0053】
センサ通信部210は、画像センサ10および環境センサ11と通信するための通信インタフェースであって、種々の情報やデータの送信や、管理サーバ30から受信した種々の指示や命令を画像センサ10および環境センサ11に送信する。
【0054】
管理装置通信部220は、ネットワークNWを通じて管理サーバ30と通信するための通信インタフェースであって、画像センサ10および環境センサ11から受信した種々の情報やデータの送信や、管理サーバ30から種々の指示や命令を受信する。
【0055】
記憶部230は、制御部200の制御プログラムや制御データを記憶するものであって、RAMやROM、SSDなどのフラッシュメモリ、HDDなどの記憶デバイスがデータの特性に合わせて、適宜、組み合わせて設けられる。1つの記憶デバイスを用いて、記憶ディレクトリを分割して構成するようにしてもよい。
【0056】
制御部200は、当該中継器20の各部を統括して制御するものであって、プロセッサとメモリを備え、メモリが記憶するOSやアプリケーションソフトウェアをプロセッサが実行することにより、種々の機能を実現する。
【0057】
次に、図5を参照して、管理サーバ30の構成例について説明する。
管理サーバ30は、制御部300、通信部310、記憶部320、操作部330、表示部340を備える。
【0058】
通信部310は、ネットワークNWを通じて通信するための通信インタフェースであって、中継器20を通じて画像センサ10および環境センサ11と通信したり、アクセスポイントAPを通じて携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDと通信したり、あるいはネットワークストレージNASと通信することができる。
【0059】
記憶部320は、制御部300の制御プログラムや制御データを記憶するものであって、RAMやROM、SSDなどのフラッシュメモリ、HDDなどの記憶デバイスがデータの特性に合わせて、適宜、組み合わせて設けられる。1つの記憶デバイスを用いて、記憶ディレクトリを分割して構成するようにしてもよい。
また記憶部320は、施設情報データ320aと、センサ情報データ320bを記憶する。
【0060】
施設情報データ320aは、監視対象となる施設毎の画像センサ10a~10nおよび環境センサ11a~11nの配置(設置場所)や、画像センサ10a~10nと環境センサ11a~11nとの間の対応を示す情報、システムの負荷の状態の情報(例えば、ネットワークNWや通信リソースの負荷の状況)である。
【0061】
センサ情報データ320bは、画像センサ10から受信した報告データ、画像データ、および環境センサ11から受信した環境検知データである。
【0062】
操作部330は、キーボードやマウスなどの入力デバイスであって、オペレータが初期設定の情報入力を行ったり、あるいは、システムの運用状況に応じた個別の指示などを入力するものである。
【0063】
表示部340は、液晶ディスプレイなどの表示デバイスを用いた表示装置であって、画像センサ10が撮影した撮像データに基づく画像、この画像や環境センサ11から受信した環境検知データに基づく検出結果や分析結果、作成した種々のマップなどを表示することができる。
【0064】
制御部300は、当該管理サーバ30の各部を統括して制御するものであって、プロセッサとメモリを備え、メモリが記憶するOSやアプリケーションソフトウェアをプロセッサが実行することにより、種々の機能を実現する。具体的な機能としては、2次解析部300a、画像データ要求部300b、警告部300cを備える。その他、制御部300は、管理サーバ30の通信リソースやトラヒックの状況を検出して、施設情報データ320aを更新する機能を備える。
【0065】
2次解析部300aは、画像センサ10から取得した報告データと、この画像センサ10に対応づけられた環境センサ11から取得した環境検知データ、施設情報データ320aに基づいて、異常事態の発生を解析(2次解析)する。
【0066】
画像データ要求部300bは、2次解析部300aの2次解析の結果に応じて、上記画像センサ10に対して、画像データを送信するように要求する。ここで要求される画像データは、報告データの基となった画像データでもよいし、報告データの元となった画像データよりも後の時間的に続く画像データであってもよい。
【0067】
警告部300cは、2次解析部300aの2次解析の結果に応じて、アラートを発生させるものであって、表示部340などを通じて警報を発したり、あるいは、通信部310を制御して、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDなどの異常事態の発生を通知する。
【0068】
(動作)
次に、上記構成の監視システムの動作について説明する。
図6は、上記監視システムの動作シーケンスを示している。以下、この図6を参照して、上記監視システムの動作について説明する。
【0069】
なお、シーケンスS601~S608は、2次解析により、異常事態の発生はない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定された場合のシーケンスであり、一方、シーケンスS609~S622は、2次解析により、異常事態が発生あった(ネットワークNWへの負荷の増加が許容できる)と判定された場合のシーケンスである。
【0070】
(シーケンスS601)
環境センサ11は、所定の周期的なタイミングや所定の時刻が到来したことに伴って、設置された空間において、それぞれの検知機能(温度、湿度、照度、CO2濃度、音、振動などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知など)に応じたセンシングを行い、このセンシングの結果に基づく環境検知データを生成する。
【0071】
(シーケンスS602)
そして、環境センサ11は、上記環境検知データを、中継器20に送信する。中継器20は、環境センサ11から送信される環境検知データを受信する。
【0072】
(シーケンスS603)
中継器20は、シーケンスS602にて受信した、環境センサ11の環境検知データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、環境センサ11から送信された環境検知データを受信し、記憶部320にセンサ情報データ320bとして記憶する。
【0073】
(シーケンスS604)
画像センサ10において、カメラ110が、所定の周期的なタイミングや所定の時刻が到来したことに伴って、監視の対象となる空間に対して撮像を行い、画像圧縮部100aが得られたRAWデータから画像データを生成する。
【0074】
(シーケンスS605)
画像センサ10において、1次解析部100bが1次解析を行う。すなわち、1次解析部100bは、シーケンスS604で生成された画像データと、辞書データ160aの画像データとを比較して、異常事態の発生について解析を行い、解析の結果に応じた解析コードを報告データテーブル160bから選択する。
【0075】
(シーケンスS606)
画像センサ10において、報告部100cが管理サーバ30に宛てた報告を行う。すなわち、報告部100cは、シーケンスS605で1次解析部100bによって選択された解析コードを含むペイロードを作成し、このペイロードに宛先として管理サーバ30の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成する。
【0076】
なお、報告データには、後に1次解析の結果を識別(特定)できるように、固有の識別情報が付与されるとともに、この識別情報に、1次解析の元となった画像データを識別する情報(例えば、画像データに含まれるタイムスタンプ)が対応付けられて、記憶部160に保存される。
【0077】
そして、報告部100cは、通信部150を制御して、上記報告データを管理サーバ30に宛てて送信する。中継器20は、画像センサ10から送信される報告データを受信する。
【0078】
(シーケンスS607)
中継器20は、シーケンスS606にて受信した、画像センサ10の報告データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、画像センサ10から送信された報告データを受信し、記憶部320にセンサ情報データ320bとして記憶する。
【0079】
(シーケンスS608)
管理サーバ30において、2次解析部300aが2次解析を行う。すなわち、2次解析部300aは、シーケンスS607で得た画像センサ10からの報告データと、この画像センサ10に対応づけられた環境センサ11から取得した環境検知データ(シーケンスS603で受信)と、施設情報データ320aとに基づいて、異常事態の発生や通信の状況について解析(2次解析)する。
【0080】
なお、シーケンスS608での2次解析では、異常事態の発生はない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定されたものとする。具体的には、例えば、1次解析では異常事態の発生の疑いが検出されたものの、環境検知データからは、異常事態の発生を裏付ける証拠が得られなかった場合や、画像データを要求する必要性がない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定された場合である。
【0081】
(シーケンスS609)
環境センサ11は、所定の周期的なタイミングや所定の時刻が到来したことに伴って、設置された空間において、それぞれの検知機能(温度、湿度、照度、CO2濃度、音、振動などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知など)に応じたセンシングを行い、このセンシングの結果に基づく環境検知データを生成する。
【0082】
(シーケンスS610)
そして、環境センサ11は、上記環境検知データを、中継器20に送信する。中継器20は、環境センサ11から送信される環境検知データを受信する。
【0083】
(シーケンスS611)
中継器20は、シーケンスS610にて受信した、環境センサ11の環境検知データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、環境センサ11から送信された環境検知データを受信し、記憶部320にセンサ情報データ320bとして記憶する。
【0084】
(シーケンスS612)
画像センサ10において、カメラ110が、所定の周期的なタイミングや所定の時刻が到来したことに伴って、監視の対象となる空間に対して撮像を行い、画像圧縮部100aが得られたRAWデータから画像データを生成する。
【0085】
(シーケンスS613)
画像センサ10において、1次解析部100bが1次解析を行う。すなわち、1次解析部100bは、シーケンスS612で生成された画像データと、辞書データ160aの画像データとを比較して、異常事態の発生について解析を行い、解析の結果に応じた解析コードを報告データテーブル160bから選択する。
【0086】
(シーケンスS614)
画像センサ10において、報告部100cが管理サーバ30に宛てた報告を行う。すなわち、報告部100cは、シーケンスS613で1次解析部100bによって選択された解析コードを含むペイロードを作成し、このペイロードに宛先として管理サーバ30の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成する。
【0087】
なお、報告データには、後に1次解析の結果を識別(特定)できるように、固有の識別情報が付与されるとともに、この識別情報に、1次解析の元となった画像データを識別する情報(例えば、画像データに含まれるタイムスタンプ)が対応付けられて、記憶部160に保存される。
【0088】
そして、報告部100cは、通信部150を制御して、上記報告データを管理サーバ30に宛てて送信する。中継器20は、画像センサ10から送信される報告データを受信する。
【0089】
(シーケンスS615)
中継器20は、シーケンスS614にて受信した、画像センサ10の報告データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、画像センサ10から送信された報告データを受信し、記憶部320にセンサ情報データ320bとして記憶する。
【0090】
(シーケンスS616)
管理サーバ30において、2次解析部300aが2次解析を行う。すなわち、2次解析部300aは、シーケンスS607で得た画像センサ10からの報告データと、この画像センサ10に対応づけられた環境センサ11から取得した環境検知データ(シーケンスS603で受信)と、施設情報データ320aとに基づいて、異常事態の発生や通信の状況を解析(2次解析)する。
【0091】
なお、シーケンスS616での2次解析では、異常事態の発生があった(あるいは、異常事態の発生はない)と判定されたものとする。具体的には、例えば、1次解析では異常事態の発生の疑いが検出され(あるいは、異常事態の発生の疑いが検出されず)、かつ、環境検知データからは、異常事態の発生を裏付ける証拠が得られた場合や、画像データを要求する必要性がある(あるいは、ネットワークNWへの負荷の増加が許容できる)と判定された場合である。
【0092】
(シーケンスS617)
管理サーバ30において、画像データ要求部300bが画像データを要求する。すなわち、画像データ要求部300bは、2次解析部300aの2次解析の結果、画像データを要求する必要性があると判定されたことに応じて、上記画像センサ10に対して、画像データを送信するように要求する。
【0093】
この要求(以下、画像要求と称する)のヘッダ情報には、シーケンスS615で受信した報告データの送信元となっていた画像センサ10の識別情報と、報告データの識別情報を含む。中継器20は、ネットワークNWを通じて、管理サーバ30から送信される画像要求を受信する。
【0094】
(シーケンスS618)
管理サーバ30において、警告部300cが警報を発するための制御を行う。すなわち、警告部300cは、2次解析部300aの2次解析の結果(異常事態の発生あり)に応じて、アラートを発生させる。
【0095】
具体的には、表示部340などを通じて警報を発したり、あるいは、通信部310を制御して、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDなどの異常事態の発生を通知する。
【0096】
(シーケンスS619)
中継器20は、シーケンスS617にて受信した、管理サーバ30の画像要求を宛先の画像センサ10に送信する。画像センサ10は、管理サーバ30から送信された画像要求を受信する。
【0097】
(シーケンスS620)
画像センサ10は、報告部100cが、シーケンスS619で受信した画像要求に含まれる報告データの識別情報を参照し、管理サーバ30から要求された画像データを特定する(シーケンスS614を参照のこと)。
【0098】
そして、報告部100cは、このようにして特定した画像データをバッファメモリ120あるいはメモリカード140から読み出し、通信部150を制御して、管理サーバ30に宛てたヘッダ情報を付加して送信する。中継器20は、画像センサ10から送信される画像データを受信する。
【0099】
(シーケンスS621)
中継器20は、シーケンスS620にて受信した、画像センサ10の画像データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、画像センサ10から送信された画像データを受信する。
【0100】
(シーケンスS622)
管理サーバ30は、シーケンスS621にて受信した画像データを、記憶部320にセンサ情報データ320bとして記憶する。
【0101】
(まとめ)
以上のように、上記構成の監視システムでは、画像センサ10において画像データに基づく1次解析を行って異常事態の発生を解析し、そして、管理サーバ30において、上記1次解析の結果と環境センサ11による環境検知データに基づく2次解析を行って、画像データの伝送の必要性を判定するようにしている。
【0102】
したがって、上記構成の監視システムによれば、画像センサ10による1次解析と、管理サーバ30による2次解析により、限られた画像データだけが画像センサ10から管理サーバ30に伝送されるので、ネットワーク負荷を抑制することができる。
【0103】
また2次解析では、施設情報データ320aに基づいて、ネットワークNWへの負荷の増加が許容できるか否かを判定して、画像データを管理サーバ30に伝送しているので、通信リソースを有効に活用して、ネットワークNWの利用効率を高めることができる。例えば、施設情報データ320aにトラヒックの閾値を予め設定しておき、2次解析の判定で、その閾値を超えないように制御することができる。
【0104】
(変形例1)
なお、上記実施形態では、2次解析を管理サーバ30にて行う場合を例に挙げて説明したが、これに限定されるものではない。例えば、2次解析を中継器20で行うようにしてもよい。この場合の動作について、図7に示す。以下、図7を参照して、その動作シーケンスについて説明する。
【0105】
(変形例1の動作)
図7は、上記監視システムの動作シーケンスを示している。
なお、シーケンスS701~S706は、2次解析により、異常事態の発生はない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定された場合のシーケンスであり、一方、シーケンスS707~S718は、2次解析により、異常事態が発生あった(ネットワークNWへの負荷の増加が許容できる)と判定された場合のシーケンスである。
【0106】
(シーケンスS701)
環境センサ11は、所定の周期的なタイミングや所定の時刻が到来したことに伴って、設置された空間において、それぞれの検知機能(温度、湿度、照度、CO2濃度、音、振動などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知など)に応じたセンシングを行い、このセンシングの結果に基づく環境検知データを生成する。
【0107】
(シーケンスS702)
そして、環境センサ11は、上記環境検知データを、中継器20に送信する。中継器20は、環境センサ11から送信される環境検知データを受信し、記憶部230にセンサ情報データとして記憶する。
【0108】
(シーケンスS703)
画像センサ10において、カメラ110が、所定の周期的なタイミングや所定の時刻が到来したことに伴って、監視の対象となる空間に対して撮像を行い、画像圧縮部100aが得られたRAWデータから画像データを生成する。
【0109】
(シーケンスS704)
画像センサ10において、1次解析部100bが1次解析を行う。すなわち、1次解析部100bは、シーケンスS703で生成された画像データと、辞書データ160aの画像データとを比較して、異常事態の発生について解析を行い、解析の結果に応じた解析コードを報告データテーブル160bから選択する。
【0110】
(シーケンスS705)
画像センサ10において、報告部100cが中継器20に宛てた報告を行う。すなわち、報告部100cは、シーケンスS704で1次解析部100bによって選択された解析コードを含むペイロードを作成し、このペイロードに宛先として中継器20の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成する。
【0111】
なお、報告データには、後に1次解析の結果を識別(特定)できるように、固有の識別情報が付与されるとともに、この識別情報に、1次解析の元となった画像データを識別する情報(例えば、画像データに含まれるタイムスタンプ)が対応付けられて、記憶部160に保存される。
【0112】
そして、報告部100cは、通信部150を制御して、上記報告データを中継器20に宛てて送信する。中継器20は、画像センサ10から送信される報告データを受信し、記憶部320にセンサ情報データとして記憶する。
【0113】
(シーケンスS706)
中継器20において、制御部200が2次解析を行う。すなわち、制御部200は、シーケンスS705で得た画像センサ10からの報告データと、この画像センサ10に対応づけられた環境センサ11から取得した環境検知データ(シーケンスS702で受信)と、管理サーバ30から事前に得た施設情報データとに基づいて、異常事態の発生や通信の状況を解析(2次解析)する。
【0114】
なお、シーケンスS706での2次解析では、異常事態の発生はない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定されたものとする。具体的には、例えば、1次解析では異常事態の発生の疑いが検出されたものの、環境検知データからは、異常事態の発生を裏付ける証拠が得られなかった場合や、画像データを要求する必要性がない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定された場合である。
【0115】
(シーケンスS707)
環境センサ11は、所定の周期的なタイミングや所定の時刻が到来したことに伴って、設置された空間において、それぞれの検知機能(温度、湿度、照度、CO2濃度、音、振動などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知など)に応じたセンシングを行い、このセンシングの結果に基づく環境検知データを生成する。
【0116】
(シーケンスS708)
そして、環境センサ11は、上記環境検知データを、中継器20に送信する。中継器20は、環境センサ11から送信される環境検知データを受信し、記憶部230にセンサ情報データとして記憶する。
【0117】
(シーケンスS709)
画像センサ10において、カメラ110が、所定の周期的なタイミングや所定の時刻が到来したことに伴って、監視の対象となる空間に対して撮像を行い、画像圧縮部100aが得られたRAWデータから画像データを生成する。
【0118】
(シーケンスS710)
画像センサ10において、1次解析部100bが1次解析を行う。すなわち、1次解析部100bは、シーケンスS709で生成された画像データと、辞書データ160aの画像データとを比較して、異常事態の発生について解析を行い、解析の結果に応じた解析コードを報告データテーブル160bから選択する。
【0119】
(シーケンスS711)
画像センサ10において、報告部100cが中継器20に宛てた報告を行う。すなわち、報告部100cは、シーケンスS704で1次解析部100bによって選択された解析コードを含むペイロードを作成し、このペイロードに宛先として中継器20の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成する。
【0120】
なお、報告データには、後に1次解析の結果を識別(特定)できるように、固有の識別情報が付与されるとともに、この識別情報に、1次解析の元となった画像データを識別する情報(例えば、画像データに含まれるタイムスタンプ)が対応付けられて、記憶部160に保存される。
【0121】
そして、報告部100cは、通信部150を制御して、上記報告データを中継器20に宛てて送信する。中継器20は、画像センサ10から送信される報告データを受信し、記憶部320にセンサ情報データとして記憶する。
【0122】
(シーケンスS712)
中継器20において、制御部200が2次解析を行う。すなわち、制御部200は、シーケンスS711で得た画像センサ10からの報告データと、この画像センサ10に対応づけられた環境センサ11から取得した環境検知データ(シーケンスS708で受信)と、管理サーバ30から事前に得た施設情報データとに基づいて、異常事態の発生や通信の状況を解析(2次解析)する。
【0123】
なお、シーケンスS712での2次解析では、異常事態の発生があった(あるいは、異常事態の発生はない)と判定されたものとする。具体的には、例えば、1次解析では異常事態の発生の疑いが検出され(あるいは、異常事態の発生の疑いが検出されず)、かつ、環境検知データからは、異常事態の発生を裏付ける証拠が得られた場合や、画像データを要求する必要性がある(あるいは、ネットワークNWへの負荷の増加が許容できる)と判定された場合である。
【0124】
(シーケンスS713)
中継器20において、制御部200が、管理装置通信部220を制御して、ネットワークNWを通じて、管理サーバ30に対してアラートの発報を要求する。このアラート要求には、シーケンスS708で受信した環境検知データ、シーケンスS711で受信した報告データおよび画像センサ10の識別情報、シーケンスS712の2次解析の結果を含む。管理サーバ30は、上記アラート要求をネットワークNWを通じて受信する。
【0125】
(シーケンスS714)
中継器20において、制御部200が画像センサ10に画像データを要求する。すなわち、制御部200は、シーケンスS712の2次解析の結果、画像データを要求する必要性があると判定されたことに応じて、上記画像センサ10に対して、画像データを送信するように要求する。画像センサ10は、管理サーバ30から送信される画像要求を受信する。
【0126】
この要求(以下、画像要求と称する)のヘッダ情報には、シーケンスS711で受信した報告データの送信元となっていた画像センサ10の識別情報と、報告データの識別情報を含む。
【0127】
(シーケンスS715)
管理サーバ30において、シーケンスS713で受信したアラート要求に応じて、警告部300cが警報を発するための制御を行う。すなわち、警告部300cは、中継器20の2次解析の結果(異常事態の発生あり)に応じて、アラートを発生させる。
【0128】
具体的には、表示部340などを通じて警報を発したり、あるいは、通信部310を制御して、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDなどの異常事態の発生を通知する。
【0129】
(シーケンスS716)
画像センサ10は、報告部100cが、シーケンスS714で受信した画像要求に含まれる報告データの識別情報を参照し、管理サーバ30から要求された画像データを特定する(シーケンスS711を参照のこと)。
【0130】
そして、報告部100cは、このようにして特定した画像データをバッファメモリ120あるいはメモリカード140から読み出し、通信部150を制御して、管理サーバ30に宛てたヘッダ情報を付加して送信する。中継器20は、画像センサ10から送信される画像データを受信する。
【0131】
(シーケンスS717)
中継器20は、シーケンスS716にて受信した、画像センサ10の画像データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、画像センサ10から送信された画像データを受信する。
【0132】
(シーケンスS718)
管理サーバ30は、シーケンスS717にて受信した画像データを、記憶部320にセンサ情報データ320bとして記憶する。
【0133】
(変形例1のまとめ)
以上のように、上記変形例1の監視システムでは、画像センサ10において画像データに基づく1次解析を行って異常事態の発生を解析し、そして、中継器20において、上記1次解析の結果と環境センサ11による環境検知データに基づく2次解析を行って、画像データの伝送の必要性を判定するようにしている。
【0134】
したがって、上記構成の監視システムによれば、画像センサ10による1次解析と、中継器20による2次解析により、限られた画像データだけが画像センサ10から管理サーバ30に伝送されるので、ネットワーク負荷を抑制することができる。
【0135】
また2次解析では、施設情報データ320aに基づいて、ネットワークNWへの負荷の増加が許容できるか否かを判定して、画像データを管理サーバ30に伝送しているので、通信リソースを有効に活用して、ネットワークNWの利用効率を高めることができる。例えば、施設情報データ320aにトラヒックの閾値を予め設定しておき、2次解析の判定で、その閾値を超えないように制御することができる。
【0136】
(変形例2)
なお、上記実施形態では、1次解析を画像センサ10にて行う場合を例に挙げて説明したが、これに限定されるものではない。例えば、1次解析を中継器20で行うようにしてもよい。この場合の動作について、図8に示す。以下、図8を参照して、その動作シーケンスについて説明する。
【0137】
(変形例2の動作)
図8は、上記監視システムの動作シーケンスを示している。
なお、シーケンスS801~S808は、2次解析により、異常事態の発生はない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定された場合のシーケンスであり、一方、シーケンスS809~S816は、2次解析により、異常事態が発生あった(ネットワークNWへの負荷の増加が許容できる)と判定された場合のシーケンスである。
【0138】
(シーケンスS801)
環境センサ11は、所定の周期的なタイミングや所定の時刻が到来したことに伴って、設置された空間において、それぞれの検知機能(温度、湿度、照度、CO2濃度、音、振動などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知など)に応じたセンシングを行い、このセンシングの結果に基づく環境検知データを生成する。
【0139】
(シーケンスS802)
そして、環境センサ11は、上記環境検知データを、中継器20に送信する。中継器20は、環境センサ11から送信される環境検知データを受信する。
【0140】
(シーケンスS803)
中継器20は、シーケンスS802にて受信した、環境センサ11の環境検知データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、環境センサ11から送信された環境検知データを受信し、記憶部320にセンサ情報データ320bとして記憶する。
【0141】
(シーケンスS804)
画像センサ10において、カメラ110が、所定の周期的なタイミングや所定の時刻が到来したことに伴って、監視の対象となる空間に対して撮像を行い、画像圧縮部100aが得られたRAWデータから画像データを生成する。
【0142】
(シーケンスS805)
画像センサ10は、報告部100cが、画像データをバッファメモリ120あるいはメモリカード140から読み出し、通信部150を制御して、中継器20に宛てて送信する。中継器20は、画像センサ10から送信される画像データを受信し、記憶部230に記憶する。なお、画像データが中継器20に伝送された時刻を撮影が行われた時刻を示すタイムスタンプとするように、中継器20の制御部200が画像データの付帯情報を修正してもよい。
【0143】
(シーケンスS806)
中継器20において、制御部200が1次解析を行う。すなわち、制御部200は、シーケンスS805で生成された画像データと、予め記憶部230に記憶しておいた辞書データ(辞書データ160aと同等)の画像データとを比較して、異常事態の発生について解析を行い、解析の結果に応じた解析コードを予め記憶部230に記憶しておいた報告データテーブル(報告データテーブル160bと同等)から選択する。
【0144】
(シーケンスS807)
中継器20において、制御部200が管理サーバ30に宛てた報告を行う。すなわち、制御部200は、シーケンスS806で1次解析によって選択された解析コードを含むペイロードを作成し、このペイロードに宛先として管理サーバ30の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成する。
【0145】
なお、報告データには、後に1次解析の結果を識別(特定)できるように、固有の識別情報が付与されるとともに、この識別情報に、1次解析の元となった画像データを識別する情報(例えば、画像データに含まれるタイムスタンプ)が対応付けられて、記憶部230に保存される。
【0146】
そして、制御部200は、管理装置通信部220を制御して、上記報告データをネットワークNWを通じて管理サーバ30に宛てて送信する。管理サーバ30は、中継器20から送信される報告データを受信する。
【0147】
(シーケンスS808)
管理サーバ30において、2次解析部300aが2次解析を行う。すなわち、2次解析部300aは、シーケンスS807で得た中継器20からの報告データと、この報告データの元となる画像データを得た画像センサ10に対応づけられた環境センサ11から取得した環境検知データ(シーケンスS803で受信)、施設情報データ320aに基づいて、異常事態の発生や通信の状況を解析(2次解析)する。
【0148】
なお、シーケンスS808での2次解析では、異常事態の発生はない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定されたものとする。具体的には、例えば、1次解析では異常事態の発生の疑いが検出されたものの、環境検知データからは、異常事態の発生を裏付ける証拠が得られなかった場合や、画像データを要求する必要性がない(あるいは、ネットワークNWへの負荷の増加や高負荷を避けたい)と判定された場合である。
【0149】
(シーケンスS809)
環境センサ11は、所定の周期的なタイミングや所定の時刻が到来したことに伴って、設置された空間において、それぞれの検知機能(温度、湿度、照度、CO2濃度、音、振動などの測定、赤外線検知による人や物の表面温度の測定、無線信号を発する機器を携帯する動体の検知など)に応じたセンシングを行い、このセンシングの結果に基づく環境検知データを生成する。
【0150】
(シーケンスS810)
そして、環境センサ11は、上記環境検知データを、中継器20に送信する。中継器20は、環境センサ11から送信される環境検知データを受信する。
【0151】
(シーケンスS811)
中継器20は、シーケンスS810にて受信した、環境センサ11の環境検知データをネットワークNWを通じて管理サーバ30に送信する。管理サーバ30は、環境センサ11から送信された環境検知データを受信し、記憶部320にセンサ情報データ320bとして記憶する。
【0152】
(シーケンスS812)
画像センサ10において、カメラ110が、所定の周期的なタイミングや所定の時刻が到来したことに伴って、監視の対象となる空間に対して撮像を行い、画像圧縮部100aが得られたRAWデータから画像データを生成する。
【0153】
(シーケンスS813)
画像センサ10は、報告部100cが、画像データをバッファメモリ120あるいはメモリカード140から読み出し、通信部150を制御して、中継器20に宛てて送信する。中継器20は、画像センサ10から送信される画像データを受信し、記憶部230に記憶する。なお、画像データが中継器20に伝送された時刻を撮影が行われた時刻を示すタイムスタンプとするように、中継器20の制御部200が画像データの付帯情報を修正してもよい。
【0154】
(シーケンスS814)
中継器20において、制御部200が1次解析を行う。すなわち、制御部200は、シーケンスS813で生成された画像データと、予め記憶部230に記憶しておいた辞書データ(辞書データ160aと同等)の画像データとを比較して、異常事態の発生について解析を行い、解析の結果に応じた解析コードを予め記憶部230に記憶しておいた報告データテーブル(報告データテーブル160bと同等)から選択する。
【0155】
(シーケンスS815)
中継器20において、制御部200が管理サーバ30に宛てた報告を行う。すなわち、制御部200は、シーケンスS814で1次解析によって選択された解析コードを含むペイロードを作成し、このペイロードに宛先として管理サーバ30の識別情報と送信元として画像センサ10の識別情報を含むヘッダ情報を付加して、報告データを生成する。
【0156】
なお、報告データには、後に1次解析の結果を識別(特定)できるように、固有の識別情報が付与されるとともに、この識別情報に、1次解析の元となった画像データを識別する情報(例えば、画像データに含まれるタイムスタンプ)が対応付けられて、記憶部230に保存される。
【0157】
そして、制御部200は、管理装置通信部220を制御して、上記報告データをネットワークNWを通じて管理サーバ30に宛てて送信する。管理サーバ30は、中継器20から送信される報告データを受信する。
【0158】
(シーケンスS816)
管理サーバ30において、2次解析部300aが2次解析を行う。すなわち、2次解析部300aは、シーケンスS815で得た中継器20からの報告データと、この報告データの元となる画像データを得た画像センサ10に対応づけられた環境センサ11から取得した環境検知データ(シーケンスS811で受信)、施設情報データ320aに基づいて、異常事態の発生や通信の状況を解析(2次解析)する。
【0159】
なお、シーケンスS816での2次解析では、異常事態の発生があった(あるいは、異常事態の発生はない)と判定されたものとする。具体的には、例えば、1次解析では異常事態の発生の疑いが検出され(あるいは、異常事態の発生の疑いが検出されず)、かつ、環境検知データからは、異常事態の発生を裏付ける証拠が得られた場合や、画像データを要求する必要性がある(あるいは、ネットワークNWへの負荷の増加が許容できる)と判定された場合である。
【0160】
(シーケンスS817)
管理サーバ30において、画像データ要求部300bが画像データを要求する。すなわち、画像データ要求部300bは、2次解析部300aの2次解析の結果、画像データを要求する必要性があると判定されたことに応じて、中継器20に対して、画像データを送信するように要求する。
【0161】
この要求(以下、画像要求と称する)のヘッダ情報には、シーケンスS815で受信した報告データの送信元となっていた画像センサ10の識別情報と、報告データの識別情報を含む。中継器20は、ネットワークNWを通じて、管理サーバ30から送信される画像要求を受信する。
【0162】
(シーケンスS818)
管理サーバ30において、警告部300cが警報を発するための制御を行う。すなわち、警告部300cは、2次解析部300aの2次解析の結果(異常事態の発生あり)に応じて、アラートを発生させる。
【0163】
具体的には、表示部340などを通じて警報を発したり、あるいは、通信部310を制御して、携帯情報機器UEa、バーチャルグラスUEb、ヘッドマウントディスプレイHMDなどの異常事態の発生を通知する。
【0164】
(シーケンスS819)
中継器20は、制御部200が、シーケンスS817で受信した画像要求に含まれる報告データの識別情報を参照し、管理サーバ30から要求された画像データを特定する(シーケンスS815を参照のこと)。
【0165】
そして、制御部200は、このようにして特定した画像データを記憶部230から読み出し、管理装置通信部220を制御して、ネットワークNWを通じて管理サーバ30に宛てたヘッダ情報を付加して送信する。管理サーバ30は、中継器20から送信された画像データを受信する。
【0166】
(シーケンスS820)
管理サーバ30は、シーケンスS819にて受信した画像データを、記憶部320にセンサ情報データ320bとして記憶する。
【0167】
(変形例2のまとめ)
以上のように、上記構成の監視システムでは、中継器20において画像データに基づく1次解析を行って異常事態の発生を解析し、そして、管理サーバ30において、上記1次解析の結果と環境センサ11による環境検知データに基づく2次解析を行って、画像データの伝送の必要性を判定するようにしている。
【0168】
したがって、上記構成の監視システムによれば、中継器20による1次解析と、管理サーバ30による2次解析により、限られた画像データだけが中継器20から管理サーバ30に伝送されるので、ネットワーク負荷を抑制することができる。
【0169】
また2次解析では、施設情報データ320aに基づいて、ネットワークNWへの負荷の増加が許容できるか否かを判定して、画像データを管理サーバ30に伝送しているので、通信リソースを有効に活用して、ネットワークNWの利用効率を高めることができる。例えば、施設情報データ320aにトラヒックの閾値を予め設定しておき、2次解析の判定で、その閾値を超えないように制御することができる。
【0170】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【0171】
例えば、上記実施形態では、1次解析は、画像データに基づいて行う場合を例に挙げて説明したが、画像および環境検知データ以外の第3の情報(2次解析で用いていない環境検知データでも可)に基づいて1次解析(異常事態の発生)を行うようにしてもよい。
【0172】
また上記実施形態では、画像センサ10と中継器20との間を1つの通信経路で示したが、複数の通信経路があってもよい。例えば、画像データを送るための通信経路と、それ以外の情報を送るための通信経路をそれぞれ持つように通信経路を設けてもよい。
【0173】
また上記実施形態では、画像センサ10および環境センサ11と中継器20との間をスター型に接続する場合の例を示したが、リング型に接続する構成も考えられる。すなわち、例えば、画像センサ10a~10cおよび中継器20をリング型に接続し、リング上を双方向にデータ伝送できるような構成でもよい。
【0174】
また上記実施形態では、画像データに、撮影時刻を示すタイムスタンプの情報が含まれるものとして説明したが、これに代わり、あるいは、これに加えて、タイムスタンプの情報を画像データの画像にラスタライズして加えるようにしてもよい。また、図6図7図8の説明では、環境センサによる検出を説明上の最初におこなっているが、環境センサによる検出のタイミングは、画像データの撮像およびその1次解析結果の伝送のタイミングとは独立事象であってよく、また、環境センサによる検出が構成上必須でもない。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【0175】
10…画像センサ、10a~10n…画像センサ、11…環境センサ、11a~11n…環境センサ、20…中継器、20-1~20-m…中継器、30…管理サーバ、100…制御部、100a…画像圧縮部、100b…1次解析部、100c…報告部、110…カメラ、120…バッファメモリ、130…カードインタフェース、140…メモリカード、150…通信部、160…記憶部、160a…辞書データ、160b…報告データテーブル、200…制御部、210…センサ通信部、220…管理装置通信部、230…記憶部、300…制御部、300a…2次解析部、300b…画像データ要求部、300c…警告部、310…通信部、320…記憶部、320a…施設情報データ、320b…センサ情報データ、330…操作部、340…表示部。
図1
図2
図3
図4
図5
図6
図7
図8