特開 2023-107647 監視システム、及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023107647

(43)【公開日】2023-08-03

(54)【発明の名称】監視システム、及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230727BHJP

   G08B 21/02 20060101ALI20230727BHJP

   G08B 25/00 20060101ALI20230727BHJP

【ＦＩ】

H04N7/18 D

G08B21/02

G08B25/00 510M

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022008938

(22)【出願日】2022-01-24

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】瀬戸 直人

(72)【発明者】

【氏名】二神 拓也

(72)【発明者】

【氏名】小林 広幸

【テーマコード（参考）】

5C054

5C086

5C087

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC15

5C054HA19

5C086AA22

5C086BA22

5C086BA25

5C086CA25

5C086CA28

5C086CB36

5C086DA08

5C086EA40

5C086EA45

5C086FA02

5C086FA06

5C086FA18

5C087AA19

5C087AA32

5C087AA37

5C087AA44

5C087DD03

5C087DD13

5C087DD15

5C087DD18

5C087EE08

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG08

5C087GG09

5C087GG10

5C087GG70

5C087GG83

(57)【要約】

【課題】通常と異なる状態が生じた状況をより容易に把握可能な監視システム、及び監視方法を提供する。
【解決手段】実施形態の監視システムは、撮影装置と、計測装置と、監視装置と、を備える。撮影装置は、監視対象となる空間内の画像を撮像する。計測装置は、画像中の人物の状態を計測する。監視装置は、計測に基づき、画像中の人物が所定の状態である場合に、通知情報を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

監視対象となる空間内の画像を撮像する撮影装置と、
前記画像中の人物の状態を計測する計測装置と、
前記計測に基づき、前記画像中の人物が所定の状態である場合に、通知情報を生成する監視装置と、
を備える、監視システム。

【請求項2】

前記監視装置は、前記通知情報として、前記画像中の前記人物の位置に関する情報と、前記人物の状態とを関連づけた情報を生成する、請求項１に記載の監視システム。

【請求項3】

前記撮影装置は、前記画像中の前記人物の年齢を推定する年齢推定部を有し、
前記計測装置は、
前記人物の心拍数、及び呼吸数の少なくとも一方を計測する計測部を有し、
前記監視装置は、前記推定された年齢に対応する範囲に、前記心拍数、及び前記呼吸数の少なくとも一方がない場合に、前記通知情報を生成する、請求項２に記載の監視システム。

【請求項4】

前記年齢推定部は、前記画像中の前記人物領域内の画像情報により前記年齢を推定しており、
前記計測部は、前記人物の計測対象の位置情報を生成しており、
前記監視装置は、前記人物領域と前記位置情報とを対応させることにより、前記通知情報を生成する、請求項３に記載の監視システム。

【請求項5】

前記計測装置は、所定の音声を検出し、
前記監視装置は、前記所定の音声を検出した場合に、前記通知情報を生成する、請求項１乃至４のいずれか一項に記載の監視システム。

【請求項6】

前記所定の音声は、人物の危険や危機を知らせる悲鳴であり、
前記監視装置は、前記悲鳴を検出した場合に、前記画像中の前記人物と、前記所定の音声を発している状態とを関連づけた前記通知情報を生成する、請求項５に記載の監視システム。

【請求項7】

前記監視装置は、前記通知情報に応じて音声を発生する、請求項１乃至６のいずれか一項に記載の監視システム。

【請求項8】

前記監視装置は、前記所定の状態である場合に、前記人物を含む前記画像を表示装置に表示させる、請求項１乃至７のいずれか一項に記載の監視システム。

【請求項9】

前記通知情報は、前記人物の位置を示す車両内又はエレベータホール内の座標情報を有する、請求項８に記載の監視システム。

【請求項10】

前記撮影装置は、前記車両内又は前記エレベータホール内の前記画像を撮像するカメラを有する、請求項９に記載の監視システム。

【請求項11】

前記カメラは、前記車両の進行方向に対する端部に配置される、請求項１０に記載の監視システム。

【請求項12】

前記カメラは、前記車両の開閉ドアを撮像可能な範囲に配置される、請求項１０に記載の監視システム。

【請求項13】

前記カメラは、魚眼レンズを介して撮像する、請求項１１又は１２に記載の監視システム。

【請求項14】

前記計測装置は、
所定の電波を送受信する送受信部と、
前記所定の電波に基づき、前記人物までの距離の変動周期を前記人物の心拍数、及び呼吸数の少なくとも一方として生成する処理部と、を有し、
前記送受信部は、前記車両の開閉ドアに前記電波を送信可能な範囲、及びエレベータホールのエレベータの開閉ドアに前記電波を送信可能な範囲の少なくともいずれかに配置される、請求項９に記載の監視システム。

【請求項15】

前記計測装置は、
音声を収集する音声収集部と、
前記音声から所定の音声を検出する検出部と、
前記音声を発している音源の位置を特定する特定部と、を有し、
前記音声収集部は、前記車両の進行方向に対する端部、及びエレベータホールの端部の少なくともいずれかに配置される、請求項９に記載の監視システム。

【請求項16】

監視対象となる空間内の画像を撮像する撮影工程と、
前記画像中の人物の状態を計測する計測工程と、
前記計測に基づき、前記画像中の人物が所定の状態である場合に、通知情報を生成する監視工程と、
を備える、監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、監視システム、及び監視方法に関する。

【背景技術】

【0002】

カメラ映像を利用し、人物の行動を監視するシステムの需要が増大傾向にある。このようなカメラを用いたシステムは、撮影範囲内で発生した事故や犯罪の様子を記録でき、事後確認できる利点がある。しかしながら、列車内などの多人数が存在する空間などにおいては、画像だけでの状況判断は難しくなってしまう。このため、事故や犯罪などの通常と異なる状態が生じた状況をリアルタイムに把握することが困難となる恐れがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許６４８７３７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

そこで、発明が解決しようとする課題は、通常と異なる状態が生じた状況をより容易に把握可能な監視システム、及び監視方法を提供することである。

【課題を解決するための手段】

【0005】

実施形態の監視システムは、撮影装置と、計測装置と、監視装置と、を備える。撮影装置は、監視対象となる空間内の画像を撮像する。計測装置は、画像中の人物の状態を計測する。監視装置は、計測に基づき、画像中の人物が所定の状態である場合に、通知情報を生成する。

【図面の簡単な説明】

【0006】

【図1】監視システムの概略構成を示す図。

【図2】監視システムの構成例を示すブロック図。

【図3】車両内の複数のカメラと、複数の送受信部の配置例を示す上面図。

【図4】監視装置が表示装置に表示させる画面例を示す図。

【図5】計測装置における送受信部の照射範囲と、特定した領域の例を模式的に示す図。

【図6】撮影装置の処理例を示すフローチャート。

【図7】計測装置の処理例を示すフローチャート。

【図8】監視装置の処理例を示すフローチャート。

【図9】車両内の複数のカメラと、複数の送受信部の別の配置例を示す上面図。

【図10】第２実施形態に係る監視システムの構成例を示すブロック図。

【図11】悲鳴検知装置の処理例を示すフローチャート。

【図12】第３実施形態の監視システムの構成を示すブロック図。

【図13】第３実施形態に係る車両内の配置例を示す上面図。

【図14】カメラが撮像した画像例を示す図。

【図15】第3実施形態に係る監視装置が表示装置に表示させる画面例を示す図。

【図16】第３実施形態に係る悲鳴検知装置の処理を示すフローチャート。

【図17】第３実施形態に係る監視装置の処理例を示すフローチャート。

【図18】複数の配置パターンを示す図。

【図19】車両の進行方向の中間部に音声収集部を更に配置した例を示す図。

【図20】座席が進行方向又は進行方向と逆向きである車両の配置例を示す図。

【図21】車両の長手方向の中央部にカメラ、及び音声収集部を配置する例を示す図。

【図22】エレベータホールにおけるカメラ、送受信部、及び音声収集部の配置例を示す図。

【発明を実施するための形態】

【0007】

以下、本発明の実施形態に係る監視システム、及び監視方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

【0008】

（第１実施形態）
図１は、本実施形態に係る監視システム１の概略構成を示す図である。図１に示すように、監視システム１は、監視対称となる空間内の人物状態の情報を取得可能なシステムであり、撮影装置１１と、第1計測装置１２と、監視装置１３とを備える。監視システム１は、例えば、列車、バスなどの客車内、エレベータホールなどに配置される。すなわち、この監視システム１は、例えば鉄道車両内の天井、バス内の天井、エレベータホール内の天井などに配置され、例えば上方から下方に向けて状態情報を取得可能な装置である。なお、撮影装置１１、第1計測装置１２、及び監視装置１３は個別の治具で天井に設置してもよい。或いは、一対の治具により一体的に固定して天井に設置してもよい。固定治具の構造は任意である。

【0009】

ここで図２及び図３を用いて監視システム１の構成例を説明する。図２は、監視システム１の構成例を示すブロック図である。図２に示すように、撮影装置１１は、例えばＣＰＵを有して構成される。この撮影装置１１は、人物を撮像し、年齢を推定することが可能な装置であり、人物情報記憶部１１０と、複数のカメラ１１１ａ、ｂと、人物検出部１１２と、年齢推定部１１３と、通信部１３４とを有する。なお、撮影装置１１の詳細は後述する。

【0010】

第1計測装置１２は、例えばＣＰＵを有して構成される。第1計測装置１２は、撮影装置１１が撮像した画像中の人物の状態情報として、心拍数、呼吸数を非接触な状態で計測可能な装置であり、複数の送受信部１２１と、アンプ１２２と、処理部１２３と、を有する。

【0011】

監視装置１３は、例えばＣＰＵを有して構成される。監視装置１３は、人物の状態を判定可能な装置であり、記憶部１３１と、判定部１３２と、発砲部１３３と、通信部１３４とを有する。なお、本実施形態に係る監視システム１は、複数のカメラ１１１１ａ、ｂ、ｃと、複数の送受信部１２１と、を有するが、これに限定されない。例えば、監視システム１は、単一のカメラ１１１と、単一の送受信部１２１とを有するように構成してもよい。なお、第1計測装置１２及び監視装置１３の詳細も後述する。

【0012】

また、図２には、表示装置２００が更に図示されている。表示装置２００は、例えば列車などの運転室、及び中央監視室などに配置される。この表示装置２００は、監視装置１３と有線又は無線で通信し、例えば、モニタ２０１とスピーカ２０２とを有する。また、表示装置２００は、監視装置１３から送信された画像信号に応じた画像をモニタ２０１に表示し、送信された音声信号に応じた音声をスピーカ２０２により発声する。

【0013】

撮影装置１１の人物情報記憶部１１０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等により実現される。人物情報記憶部１１０は、例えば、年齢別の標準脈拍範囲、或いは異常状態の脈拍範囲の情報を記憶している。例えば異常状態の脈拍範囲は、低脈拍領域の範囲と、高脈拍領域の範囲とに分けられる。

【0014】

図３は、車両２００内の複数のカメラ１１１ａ、ｂと、複数の送受信部１２１の配置例を示す上面図である。ラインＬ２００は、対面する開閉ドアの中間部を示す。すなわち、車両２００は、例えば８つの開閉ドアを有する。ラインＬ２０２は、車両２００の進行方向の中心線、すなわち車両２００の長手方向の中心線を示す。車両２００内には座席２０２が配置される。複数のカメラ１１１ａ、ｂは、動画撮影が可能なカメラである。

【0015】

図３に示すように、撮影装置１１のカメラ１１１a、bは、車両２００の短辺側に配置される。すなわち、カメラ１１１a、bは、車両２００の他車両との連結側である端部に配置される。これにより、カメラ１１１aは、車両２００内を主として左側端部から右側を撮像し、カメラ１１１bは、車両２００内の主として右側端部から左側を撮像する。このように、カメラ１１１a、bを車両２００の他車両との連結側の両端部に配置することにより、乗客を左右両方向から撮影可能となり、乗客の顔の少なくとも半面を撮像可能となる。これから分かるように、カメラ１１１a、bを車両２００の他車両との連結側の端部に配置することにより、進行方向の奥行を広く映せるため、カメラ１１１a、bの設置点数を減らすることが可能となる。また、撮影装置１１では、カメラ１１１a、bで撮像する画像の座標を、車両２００内の座標、例えば平面座標と予め対応づけている。また、複数のカメラ１１１ａ、ｂで撮像された画像は、撮像したカメラと撮像した時間が関連づけられ、人物情報記憶部１１４に記憶される。

【0016】

また、図３に示すように、複数の送受信部１２１のそれぞれは、ラインＬ２００と、ラインＬ２０２との交点部に配置される。これにより、複数の送受信部１２１は、開閉ドアから出入りする乗客のほぼ全てを上方から斜め下方に向けて計測可能である。換言すると、複数の送受信部１２１は、開閉ドアから出入りする乗客を測定できる位置に配置される。

【0017】

図４は、監視装置１３が表示装置２００に表示させる画面例を示す図である。画面Ｍ１０がモニタ２０１（図２参照）の画面を示し、画面Ｍ１０内の画面Ｍ１２が車両２００の上面図であり、マークｍｈ１０、ｍｈ２０は、何らかの異常が検出された人物ｈ１０、ｈ２０の位置を示す。画面Ｍ１０内の画面Ｍ１４には、カメラ１１１a、bで撮像された画像が交互に写し出される。領域ａｇ１０、ａｇ２０は、後述する人物検出部１１２が検出した人物ｈ１０、ｈ２０の領域を示す。また、領域ｆ１０、ｆ２０は、後述する人物検出部１１２が検出した領域ａｇ１０、ａｇ２０内の顔領域を示す。

【0018】

再び図２に示すように、撮影装置１１の人物検出部１１２は、人物情報記憶部１１４に記憶される各画像内から人物の領域ａｇ１０、ａｇ２０と、この人物の領域ａｇ１０、ａｇ２０内の顔領域ｆ１０、ｆ２０を検出する（図４のＭ１４参照）。この人物の領域ａｇ１０、ａｇ２０と、顔領域ｆ１０、ｆ２０とを検出するアルゴリズムは、一般的なアルゴリズムを用いることが可能である。例えば、時系列な差分画像から移動物の輪郭線を抽出し、抽出した輪郭線に基づくラベリング処理及び色分離処理などにより人物領域が抽出される。また、例えば人物領域ａｇ１０、ａｇ２０内の色及び形状認識により顔領域ｆ１０、ｆ２０が抽出される。

【0019】

また、人物検出部１１２は、検出した人物の領域ａｇ１０、ａｇ２０と、顔領域ｆ１０、ｆ２０との座標を、車両２００内の平面座標に関連づける。この場合、複数のカメラ１１１ａの撮像した画像領域と、カメラ１１１ｂの撮像した画像領域とは重複する場合がある。このため、検出した人物の領域ａｇ１０、ａｇ２０と、顔領域ｆ１０、ｆ２０との領域も重複する場合がある。そして、人物検出部１１２は、検出した人物の領域ａｇ１０、ａｇ２０と、顔領域ｆ１０、ｆ２０との領域の座標と、車両２００内の平面座標とを撮像画像に関連づけ、人物情報記憶部１１０に記憶する。すなわち、この人物検出部１１２の生成する位置情報は、例えば検出した人物の領域の外接矩形の座標、及び外接矩形の重心の位置座標、検出した顔領域の外接矩形の座標及び重心の位置座標などである。

【0020】

撮影装置１１の年齢推定部１１３は、人物検出部１１２が検出した顔領域の画像に対して年齢推定処理を行う。この年齢推定処理のアルゴリズムも一般のアルゴリズムを用いることが可能である。例えば年齢推定部１１３は、顔領域の画像に対して、皺などに関する複数の特徴量を生成する画像処理部と、この複数の特徴量を入力とし、出力を年齢とするニューラルネットワーク部とを有する。そして、年齢推定部１１３は、人物情報記憶部１１４に記憶される撮像画像に更にニューラルネットワーク部による推定年齢を関連づけて記憶する。また、年齢推定部１１３は、検出した人物の領域ａｇ１０、ａｇ２０の位置情報、推定年齢、及び撮像時間の情報を監視装置１３の記憶部１３１に供給する。

【0021】

本実施形態に係る年齢推定部１１３は、所謂ニューラルネットワークを認識に用いるがこれに限定されない。例えば年齢推定部１１３は、特定した顔領域の画像と人物情報記憶部１１４に記憶される顔領域の画像を比較し、特定した人物画像の年齢を推定してもよい。この年齢推定方法は、例えば画像の類似度を比較して類似度が近い画像の年齢を特定人物の年齢とする。

【0022】

なお、人物検出部１１２と年齢推定部１１３のうちの一部または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路基板であるハードウェアによって実現されてもよい。すなわち、人物検出部１１２と年齢推定部１１３とは、電子回路で構成してもよい。

【0023】

図５は、第1計測装置１２における送受信部１２１の照射範囲Ａｓ１０と、特定した領域Ａｓ１２の例を模式的に示す図である。領域Ａｓ１２は、処理部１２３で特定した人物ｈ１０の例えば胸部領域である。

【0024】

図５を参照しつつ、再び図２に示すように、第1計測装置１２の送受信部１２１は、２つの送受信部を組として対象物までの距離測定及び位置測定を行うことが可能である。例えば、処理部１２３は、２つの送受信部の対象物までの２つの距離と、２つの送受信部間の距離とを用いた三角測量の原理により例えば人物ｈ１０の位置を測定する。

【0025】

送受信部１２１は、変調波（送信波）を生成し、照射範囲Ａｓ１０に送信する。例えばこの送信波はミリ波であり、ＦＭＣＷ（周波数連続変調）方式が用いられる。そして、送受信部１２１は、例えば人物ｈ１０から反射した反射波を受信する。送受信部１２１は、送信波と受信波を混合し、ＩＦ（中間周波数）信号を生成し、アンプ１２２に供給する。アンプ１２２は、ＩＦ（中間周波数）信号を増幅し、Ａ／Ｄ変換部でデジタル信号に変換し、処理部１２３に供給する。また、送受信部１２１は、照射電波を変調した周波数を掃引して照射することにより、様々な対象に対し位相の異なる電波を照射できるため、反射を区別することができる。この場合、送受信部１２１の２つの送受信部は、照射電波の変調を同調させている。

【0026】

処理部１２３は、デジタル信号に基づき、一般的な信号処理を実施して対象物毎の距離を生成する。そして、処理部１２３は、２つの送受信部からの対象物毎の距離を用いて対象物の位置を生成する。

【0027】

また、処理部１２３は、デジタル信号に基づき計測対象までの距離変動を、計測対象の振幅として時系列に生成する。そして、処理部１２３は、計測対象における振幅の時系列な変動を周波数として算出する。なお、振幅の生成処理は、一般的な処理を用いることも可能である（例えば特許文献１参照）。

【0028】

処理部１２３の処理では、基本的に機械のような静止している物体は装置間の距離に変化がない場合の振幅は０になる。一方で人体は、血管や心臓の収縮（心拍数）や、呼吸による皮膚の変動により、装置間距離が変動するため、算出した振幅が時系列に変動する。そして、処理部１２３は、時系列に変動する振幅の周期情報に基づき、心拍数／呼吸数に対応する周波数を算出する。また、例えば処理部１２３は、周波数の測定に所謂ドップラーＦＦＴを用いて、対象物の速度変化の周期性に基づき、心拍数／呼吸数に対応する周波数の情報を演算することも可能である。

【0029】

処理部１２３は、生成した周波数が、心拍数／呼吸数の範囲内にある場合に、測定対象を人物と判定する。このような処理により、特定された人物ｈ１０の胸部領域がＡｓ１２（図５参照）である。処理部１２３は、特定された人物ｈ１０の領域Ａｓ１２の位置情報と、心拍数／呼吸数に対応する周波数の情報、測定時間を監視装置１３に供給する。処理部１２３の生成する位置情報は、例えば検出した人物の胸部領域の外接矩形の座標、及び外接矩形の重心の位置座標などである。

【0030】

監視装置１３の記憶部１３１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等により実現される。記憶部１３１は、上述のように、撮影装置１１で検出した人物の位置情報、年齢情報、及び時間情報と、第1計測装置１２で算出した計測範囲内の人物の位置情報、心拍数、呼吸数、及び時間情報を記憶する。この記憶部１３１は、例えば、年齢別の標準の心拍数範囲、異常状態の心拍数範囲の情報、標準の呼吸数範囲、異常状態の呼吸数範囲の情報など、を記憶している。

【0031】

判定部１３２は、監視範囲内の人物に異常があるか否かを判定する。より具体的には、判定部１３２は、撮影装置１１で検出した人物の年齢情報に対応する標準範囲の心拍数範囲、及び呼吸数範囲の情報を記憶部１３１から取得する。そして、撮影装置１１で検出したこの人物ｈ１０、ｈ２０の位置情報（領域ａｇ１０）に対応する領域Ａｓ１２に関連づけられた心拍数と呼吸数とを記憶部１３１から取得する。そして、判定部１３２は、領域Ａｓ１２に関連づけられた心拍数と呼吸数との少なくとも一方が、標準範囲にない場合に、人物ｈ１０は異常状態であると判定する。

【0032】

判定部１３２は、異常がある場合に、人物ｈ１０、ｈ２０の撮像された画像を人物情報記憶部１１０から読込み、人物ｈ１０の領域を画像中に書き込み、異常の判定理由、例えば「心拍異常」、「呼吸異常」などの人物の状態を示す通知情報とともに発砲部１３３に出力する。すなわち、判定部１３２は、撮像装置１１が撮像した人物ｈ１０の心拍数と呼吸数との少なくとも一方が、標準範囲にない場合に、例えば「心拍異常」、「呼吸異常」などの人物の状態情報を含む通知情報を生成する。

【0033】

また、判定部１３２は、人物ｈ１０に異常がある場合に、すなわち、人物ｈ１０が所定の状態である場合に、人物ｈ１０の位置座標を、列車２００の平面図にマークｍｈ１０、ｍｈ２０として書き込み、発砲部１３３に通知情報として出力する。判定部１３２は、例えば人物ｈ１０、ｈ２０が動画として撮影され続けられている期間は、人物ｈ１０、ｈ２０の位置座標を、列車２００の平面図にマークｍｈ１０、ｍｈ２０として書き込み、発砲部１３３への通知情報の出力を継続する。上述のように、本実施形態では、「心拍異常」、「呼吸異常」などの人物の状態情報が通知情報に含まれる。例えば、判定部１３２は、通知情報として、列車２００の平面図にマークｍｈ１０、ｍｈ２０として書き込んだ画像（図４のＭ１２参照）と、人物の領域ａｇ１０、ａｇ２０と、顔領域ｆ１０、ｆ２０と、「心拍異常」、「呼吸異常」などの人物の状態とを書き込んだカメラ１１１a,bの撮像画像（図４のＭ１４参照）とを含む画像信号を生成する。また同時に、判定部１３２は、通知情報として、「心拍異常」、「呼吸異常」などの人物の状態情報を含む音声信号を生成する。

【0034】

発砲部１３３は、スピーカを有している。発砲部１３３は、通知情報を受信した場合に、通知情報に応じた警告音を発砲する。これにより、監視装置１３の周囲の人に異常が発生したことも知らせることが可能となる。なお、音声信号は、同一の人物ｈ１０に対しては、1回だけ出力するように構成してもよい。なお、発砲部１３３は、通知情報に含まれる物の状態を関連づけた状態情報に応じて警告音の発砲内容を変更することが可能である。例えば、警告音として、「心拍異常」、「呼吸異常」などと発砲してもよい。

【0035】

また、発砲部１３３は、判定部１３２から供給された音声信号、及び画像信号を含む通知情報を表示装置２００に送信する。この音声信号は、上述のように、異常が発生したことを示す情報を含む信号である。これにより、表示装置２００のモニタ２０２は、図４に示すように異常がある車両の情報（Ｍ１２、１４参照）を表示する。また、表示装置２００のスピーカ２０３は、「心拍異常」、「呼吸異常」などの人物の状態を示す音声信号に応じた警告音を発声する。このように、判定部１３２は、異常がある場合には、図４に示すように異常がある車両の情報（図４のＭ１２、１４参照）を、表示装置２００に発砲部１３３を介して警告音とともに表示させる。これにより、表示装置２００の監視者は、車両２００内の人物の状態を容易に判断することが可能となる。

【0036】

また、判定部１３２、発砲部１３３は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路基板であるハードウェアによって実現してもよい。さらにまた、撮影装置１１、第1計測装置１２、及び監視装置１３は、ＣＰＵ、記憶部等を共通化してもよい。或いは、撮影装置１１、第1計測装置１２、及び監視装置１３は、一つのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路基板を共有化させて構成してもよい。以上が、監視システム１の構成例の説明であるが、以下に処理例を説明する。

【0037】

図6は、撮影装置１１の処理例を示すフローチャートである。複数のカメラ１１１ａ、ｂは、設置位置から斜め下方の範囲、又は水平方向の範囲の画像を撮像し、物情報記憶部１１４に記憶する（ステップＳ１１）。各撮像画像には撮像時刻が関連づけられている。

【0038】

次に、人物検出部１１２は、人物情報記憶部１１４に記憶される各画像内から人物の領域と、この人物の領域内の顔領域を検出する。人物を検出した場合、人物が含まれる矩形領域の座標と、顔領域の座標とを生成する（ステップＳ１２）。

【0039】

次に、人物検出部１１２は、人物を示す矩形の２次元の重心座標（対角線の交点）の座標を算出する（ステップＳ１３）。算出した座標が特定した人物の画像上の位置を示し、マークｍｈ１０、ｍｈ２０（図４参照）などの基準座標となる。

【0040】

次に、年齢推定部１１３は、顔領域の座標に対応する画像に基づく特徴量を生成し、特徴量に基づき年齢を推定する（ステップＳ１４）。年齢推定部１１３は、特定した人物の位置座標などと、推定した年齢を記憶部１３１に送信する（ステップＳ１５）。撮影装置１１はこれらの処理を一定時間ごとに実施し、更新する。

【0041】

図７は、第1計測装置１２の処理例を示すフローチャートである。ステップＳ２１において、送受信部１２１は設置方向に対して、下方向に電波を照射し、照射範囲内で反射した電波を受信する（ステップＳ２１）。送受信部１２１は、送信波と受信波を混合し、ＩＦ（中間周波数）信号を生成し、アンプ１２２に供給する。また、照射電波は変調した周波数を掃引して照射することで、様々な対象に対し位相の異なる電波を照射できるため、反射を区別することができる。

【0042】

次に、アンプ１２２は、ＩＦ（中間周波数）信号を増幅し、Ａ／Ｄ変換部でデジタル信号に変換し、処理部１２３に供給する（ステップＳ２２）。

【0043】

次に、処理部１２３は、デジタル信号に基づき、測定対象までの距離値の時系列な変動を反射対象の振幅として算出する（ステップＳ２３）。続けて、処理部１２３は、時系列な振幅変動の周波数を算出し、生成した周波数が、心拍数／呼吸数の範囲内にある場合に、測定対象を人物と判定する（ステップＳ２４）。すなわち、処理部１２３は、算出した振幅が０ではなく、且つ周波数が人物の心拍数／呼吸数の範囲内にある対象を人物と判定する。

【0044】

次に、処理部１２３は、２つの送受信部からの対象物毎の距離を用いて、人物と判定した対象物の位置を算出する。この場合、処理部１２３は、同一の周期で変動する連続した領域の全体を例えば胸部領域として検出する（ステップＳ２４）。

【0045】

次に、処理部１２３は、人物と判定した対象物の位置、領域の情報と、心拍数、及び呼吸数それぞれに対応する周波数を監視装置１３の記憶部１３１に供給する。第1計測装置１２はこれらの処理を一定時間ごとに実施し、更新する。

【0046】

図８は、監視装置１３の処理例を示すフローチャートである。ここでは、警報を発砲するまでの処理を説明する。判定部１３２は、記憶部１３１に格納される、撮影装置１１で撮影した画像から特定した人物の位置情報と、第1計測装置１２で算出した人物の位置情報をそれぞれ読み出す（ステップＳ３１）。

【0047】

判定部１３２は、それぞれの位置座標を比較し、位置座標の値が対応する組み合わせを探索し、第1計測装置１２で算出した心拍数／呼吸数と、撮影装置１１で撮影した人物画像を対応付ける（ステップＳ３２）。

【0048】

続けて、判定部１３２は、対応付けされた人物画像の推定年齢に基づき、標準の心拍数／呼吸数を記憶部１３１から読み出す（ステップＳ３３）。人体の標準の心拍数／呼吸数は年齢に応じて異なり、例えば、幼児（１～３歳）は心拍数が１２０～１４０、青少年は７０～９０などである。

【0049】

次に、判定部１３２は、第1計測装置１２で算出した当該人物の心拍数／呼吸数と標準心拍数／呼吸数を一定時間比較し、設定した閾値の範囲内にあるか否かを判定する（ステップＳ３４）。判定結果が正常であると判定する場合（ステップＳ３４のＹｅｓ）、判定部１３２は、ステップＳ３１からの処理をくり返す。

【0050】

一方で、判定結果が異常であると判定する場合（ステップＳ３４のＮｏ）、判定部１３２は、発砲部１３３に状態情報を含む通知情報を送信し、異常を知らせる発砲を行う。同時に当該人物の位置情報と時刻など記憶部１３１に格納する。

【0051】

このように、計測範囲内に存在する人物の位置と心拍数／呼吸数をモニタリングすることで、体調に異常が発生した人物が画像上のどの位置に存在するかを迅速に判断できる。このため早期対応が可能となる。また同時に発砲をするため、監視室内、運転室内、及び監視装置１３などの周囲にいる人に異常が発生したことを知らせることが可能となる。特に監視室、運転室などに配置された表示装置２００を介し、監視者に異常が発生したことを画像情報とともにも知らせることが可能となる。このため、監視者は状況に応じた処置、例えば列車の停止処理、ドアの開閉処理などを迅速に判断できる。

【0052】

図９は、車両２００内の複数のカメラ１１１ａ、ｂ、ｃと、複数の送受信部１２１の別の配置例を示す上面図である。図９では、撮影装置１１は、複数のカメラ１１１ｃを有する点で図３の配置例と相違する。カメラ１１１ｃは、例えば魚眼レンズを有するカメラであり、ラインＬ２００と、ラインＬ２０２との交点部に配置される。これにより、複数のカメラ１１１ｃは、開閉ドアから出入りする乗客のほぼ全てを上方から撮像可能となる。換言すると、複数のカメラ１１１ｃは、開閉ドアから出入りする乗客のほぼ全てを上方から撮像可能位置に設置される。また、カメラ１１１ｃ毎に撮像領域Ａ２００が割り振られている。本実施形態では、カメラ１１１ｃで撮像した画像内の座標と、撮像領域Ａ２００内の平面座標とを予め対応づけている。複数のカメラ１１１ａ、ｂ、ｃで撮像された画像は、撮像したカメラと撮像した時間が関連づけられ、人物情報記憶部１１４に記憶される。また、複数のカメラ１１１ｃの画像が真下の画像であり、複数の送受信部１２１の計測範囲とも重なり、人物の対応付けをより正確に行うことが可能となる。これにより、車両２００内の乗客数が増加した場合にも、乗客をより詳細に撮像することが可能となり、監視システム１の判定精度がより向上する。

【0053】

以上説明したように、本実施形態によれば、撮影装置１１が監視対象となる空間内の画像を撮像し、第1計測装置１２が画像中の人物の状態を計測し、監視装置１３が画像中の人物が所定の状態である場合に、通知情報を生成することとした。これにより、画像情報に加えて、画像中の人物の状態計測の結果を用いるので、より高精度に画像中の人物の状態に応じた通知情報を生成することが可能となる。

【0054】

（第２実施形態）
第２実施形態に係る監視システム１は、悲鳴検知装置（第2計測装置）１４を更に備える点で第1実施形態に係る監視システム１と相違する。以下では、第1実施形態に係る監視システム１と相違する点を説明する。

【0055】

図１０は、第２実施形態に係る監視システム１の構成例を示すブロック図である。図１０に示すように、第２実施形態に係る監視システム１は、撮影装置１１、第1計測装置１２、監視装置１３に加え悲鳴検知装置１４を更に備える。なお、本実施形態に係る第1計測装置１２、及び悲鳴検知装置（第2計測装置）１４が計測装置に対応する。

【0056】

悲鳴検知装置１４は、音声収集部１４１と、音声情報記憶部１４２と、悲鳴検出部１４３と、第２発砲部１４４と、を有する。音声収集部１４１は例えばマイクロフォンである。マイクロフォンは、指向性があってもよく、或いは無指向性でもよい。マイクロフォンは複数本設置してもよい。音声収集部１４１は、集音した人物の音声や周囲の音を録音する。

【0057】

音声情報記憶部１４２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等により実現される。音声情報記憶部１４２は、過去に録音した様々な種類の悲鳴の音データを格納する。

【0058】

悲鳴検出部１４３は、収集した音データと音声情報記憶部１４２の悲鳴データを比較して所定の音声、例えば悲鳴を検出する。悲鳴は、例えば人物の危険や危機を知らせる人が発する音声である。

【0059】

悲鳴検出部１４３は、悲鳴を検出した時刻と、悲鳴を集音した音声収集部１４１の位置とを監視装置１３の記憶部１３１に格納し、監視装置１３の判定部１３２にも供給する。なお、悲鳴検出部１４３は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路基板であるハードウェアによって実現されてもよい。

【0060】

第２発砲部１４４は、悲鳴検出部１４３が悲鳴を検出した場合に、悲鳴を検出したこと示す音声信号を表示装置２００に送信する。また、第２発砲部１４４は、スピーカを有しており、このスピーカで悲鳴を検出したこと示す音声を発生することも可能である。さらにまた、監視装置１３の判定部１３２は、悲鳴を集音した音声収集部１４１の位置を含む車両の撮像画像を、モニタ２０２の画像Ｍ１４（図４参照）に表示させてもよい。これにより、表示装置２００の監視者は、監視対象空間内の状況をより簡易に把握可能となる。

【0061】

図１１は、悲鳴検知装置１４の処理例を示すフローチャートである。音声収集部１４１は、設置位置周辺の音を録音する（ステップＳ４１）。録音された音は例えばＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）やＤＳＤ（Ｄｉｒｅｃｔ Ｓｔｒｅａｍ Ｄｉｇｉｔａｌ）などの処理方式でデジタル化され、悲鳴検出部１４３に送信される。

【0062】

次に、悲鳴検出部１４３は、デジタル化された音データからパワースペクトルを算出し、算出したパワースペクトルと音声情報記憶部１４２に記憶される音データと比較する（ステップＳ４２）。続けて、悲鳴検出部１４３は、録音した音データが悲鳴か否かを判定する（ステップＳ４３）。悲鳴検出部１４３は、音声情報記憶部１４２に記憶される悲鳴データと録音した音データとが類似する場合に、悲鳴と判定する（ステップＳ４３のＹes）。続けて、悲鳴検出部１４３から第２発砲部１４４に発砲命令を送信し、第２発砲部１４４で警報を発砲する（ステップＳ４４）。

【0063】

一方で、悲鳴検出部１４３は、音声情報記憶部１４２に記憶される悲鳴データと録音した音データとが類似しない場合に、悲鳴でないと判定する（ステップＳ４３のＮｏ）。悲鳴検出部１４３は、悲鳴でないと判定する場合に、ステップＳ４１からの処理をくり返す。また、悲鳴検出部１４３の検出結果に基づき、監視装置１３の判定部１３２は、所定の音声を発している人物の状態情報として例えば「悲鳴」を、通知情報に含める。

【0064】

このように、計測範囲内に存在する人物の悲鳴を検出することで、周囲に異常が発生したことを迅速に判断できるため、早期対応が可能となる。また同時に発砲をするため、周囲に異常が発生したことも知らせることが可能となる。

【0065】

以上説明したように、本実施形態によれば、悲鳴検知装置（第2計測装置）１４が所定の音声（例えば悲鳴）を検出した場合に、画像中の人物と、所定の音声を発している状態とを関連づけた状態情報を生成することとした。これにより、画像情報に加えて、所定の音声を発している人物の状態情報を用いて、通知情報を生成することが可能となる。

【0066】

（第3実施形態）
第３実施形態に係る監視システム１は、音声発生源の位置を特定する悲鳴発生位置特定部１４５を
を更に備える点で第２実施形態に係る監視システム１と相違する。以下では、第２実施形態に係る監視システム１と相違する点を説明する。

【0067】

図１２は、第３実施形態の監視システム１の構成を示すブロック図である。図１２に示すように、第３実施形態に係る悲鳴検知装置１４は、悲鳴を発生した人物の位置を特定する悲鳴発生位置特定部１４５を更に備える。

【0068】

図１３は、第３実施形態に係る車両２００内の複数のカメラ１１１ａ、ｂと、複数の送受信部１２１と、複数の音声収集部１４１との配置例を示す上面図である。ラインＬ２００は、対面する開閉ドアの中間部を示す。すなわち、車両２００は、例えば８つの開閉ドアを有する。ラインＬ２０２は、車両２００の水平方向の中心線を示す。図１３に示すように、二つの音声収集部１４１aとb、１４１cとdがそれぞれ組として配置される。

【0069】

複数の送受信部１２１のそれぞれは、ラインＬ２００と、ラインＬ２０２との交点部に配置され、更にその中間部にも配置される。これにより、車両２００内の乗客のほぼ全てを上方から斜め下方に向けてより詳細に計測可能となる。

【0070】

図１４は、カメラ１１１ｂが撮像した画像例を示す図である。この画像は、図１３の人物ｈ１０を通過するラインＬ１３を含んでおり、ほぼラインＬ１３に対して正対する方向から撮像されている。音性領域Ａｖ１０～16は、悲鳴発生位置特定部１４５が特定する領域例を模式的に示す。

【0071】

図１５は、第3実施形態に係る監視装置１３が表示装置２００に表示させる画面例を示す図である。画面Ｍ１０がモニタ２０１（図１２参照）の画面を示し、画面Ｍ１２が車両２００の上面図であり、マークｍｈ１０は、悲鳴を発した人物ｈ１０の位置を示す。画面Ｍ１４には、カメラ１１１a、bで撮像された画像が交互に写し出される。領域ａｇ１０は人物検出部１１２が検出した人物ｈ１０の領域を示す。また、領域ｆ１０は人物検出部１１２が検出した領域ａｇ１０内の顔領域を示す。

【0072】

再び図１２に示すように、悲鳴発生位置特定部１４５は、音声収集部１４１a、b、１４１c、d（図１３参照）で録音する悲鳴と該当する音データの時間差から、音声収集部１４１aと音声収集部１４１ｂの距離を算出し、三角測量の原理で音源の位置を推定する。同様に、悲鳴発生位置特定部１４５は、音声収集部１４１ｃと音声収集部１４１ｄの距離を算出し、三角測量の原理で音源の位置を推定する。より具体的には、悲鳴検出部１４３は、音声収集部１４１a、b、１４１c、d（図１３参照）の録音音声に対して悲鳴の認識処理を行い、それぞれの音声収集部１４１a、b、１４１c、dに対応する検出時刻を悲鳴発生位置特定部１４５に供給する。

【0073】

悲鳴発生位置特定部１４５は、例えば、音声収集部１４１aと音声収集部１４１ｂの検出時間差が生じる距離、及び、音声収集部１４１aと音声収集部１４１ｂとの間の距離を用いて三角測量の原理により音源の車両２００における平面座標を特定する。同様に、悲鳴発生位置特定部１４５は、音声収集部１４１ｃと音声収集部１４１ｄの検出時間差が生じる距離、及び、音声収集部１４１ｃと音声収集部１４１ｄとの間の距離を用いて三角測量の原理により音源の車両２００における平面座標を特定する。悲鳴発生位置特定部１４５は、音源の位置座標、時刻を監視装置１３の記憶部１３１に供給する。

【0074】

監視装置１３の判定部１３２は、音源の位置座標に基づき、音源の位置座標が属する音性領域Ａｖ１０～16のなから音性領域Ａｖ１３を一つ選択する。そして、判定部１３２は、選択した音性領域Ａｖ１３の中から音源の位置座標に近い座標を有する人物ｈ１０を特定する。

【0075】

判定部１３２は、特定した人物ｈ１０の撮像された画像を人物情報記憶部１１０から読込み、人物ｈ１０の領域を画像中に書き込み、異常の判定理由、例えば「悲鳴」、「心拍異常」、「呼吸異常」などの状態情報とともに発砲部１３３に通知情報として出力する。また、判定部１３２は、異常がある場合に、人物ｈ１０の位置座標を、列車２００の平面図にマークｍｈ１０として書き込み、発砲部１３３に画像信号として出力する。判定部１３２は、例えば人物ｈ１０が動画として撮影され続けられている期間は、人物ｈ１０の位置座標を、列車２００の平面図にマークｍｈ１０として書き込み、発砲部１３３への画像信号の出力を継続する。

【0076】

発砲部１３３は、判定部１３２から供給された画像情報を含む画像信号と音声信号とを表示装置２００に送信する。この音声信号は、上述のように異常が発生したことを示す状態情報を含む信号である。このように、判定部１３２は、異常がある場合には、図１５に示すように異常がある車両の情報を、表示装置２００に発砲部１３３を介して警告音とともに表示させる。この場合、発砲部１３３、及び第２発砲部１４４が警告音を発声してもよい。このように、発砲をするため、監視装置１３、及び表示装置２００の周囲の人に異常が発生したことも知らせることが可能となる。なお、音声信号は、例えば同一の人物ｈ１０に対しては、1回だけ出力されるように構成することが可能である。また、表示装置２００を監視している監視者は、画像により車両２００内の状況を容易に把握可能となり、状況に応じた判断、例えば列車停止、ドアの開閉などの判断を容易に行うことが可能となる。また、異常が生じた場合に異常発生箇所の画像を確認すればよいため、全車両内の画像を常に監視などする必要がなく、通常運転時には、他の操作、例えば運転操作などが阻害されることが抑制される。

【0077】

判定部１３２は、カメラ111a、bの双方の画像がある場合には、ラインＬ１３（図１３参照）に近い側のカメラ111bの画像を優先的に表示装置２００に表示させてもよい。例えば、時系列に画像表示させる場合に、例えば４枚はカメラ111bの画像を連続的に表示させ、続けて1枚はカメラ111aの画像を表示させる。これにより、状況をより容易に把握できる。

【0078】

図１６は、第３実施形態に係る悲鳴検知装置１４の処理を示すフローチャートである。ステップＳ41から４３は、図１１と同等の処理を行う。悲鳴が発生したと判定された場合（ステップＳ4３のＹｅｓ）、悲鳴発生位置特定部１４５は、例えば、音声収集部１４１aと音声収集部１４１ｂの検出時間差が生じる距離、及び、音声収集部１４１aと音声収集部１４１ｂとの間の距離を用いて三角測量の原理により悲鳴発生源の車両２００における座標を特定する（ステップＳ５４）。

【0079】

悲鳴発生位置特定部１４５は、算出した悲鳴発生座標の情報を監視装置１３の記憶部１３１に送信する。そして、悲鳴検出部１４２から第２発砲部１４４に発砲命令を送信し、第２発砲部１４４で危険を知らせる警報を発砲する（ステップＳ５５）。また、監視装置１３の判定部１３２は、発砲部１３３を介して、表示装置２００に、状態情報を含む音声の発生をさせると共に、画像情報などを表示させる。

【0080】

図１７は、第３実施形態に係る監視装置１３の処理例を示すフローチャートである。判定部１３２は、記憶部１３１から撮影装置１１で算出した画像上の人物の位置座標と、悲鳴検出装置１４で算出した、悲鳴発生位置情報をそれぞれ読み出す（ステップＳ６１）。

【0081】

次に、判定部１３２は、撮影装置１１で算出した画像上の人物の位置座標と、悲鳴検知装置１４で算出した悲鳴発生位置が最も近くなる組み合わせを探索し、一致した組み合わせがあった場合、当該人物が悲鳴を発したと判定する（ステップＳ６２）。続けて、判定部１３２は、悲鳴を発生した人物の位置情報と時刻を記憶部１３１に送信する（ステップＳ６３）。そして、判定部１３２から発砲部１３３に発砲命令を送信し、発砲部１３３から危険を知らせる警報を発砲する（ステップＳ６４）。

【0082】

このように、計測範囲内に存在する人物の位置と悲鳴発生有無をモニタリングすることで、悲鳴を発生した人物が画像上のどの位置に存在するかを迅速に判断できるため早期対応が可能となる。また同時に発砲をするため、周囲に異常や危険が発生したことも知らせることが可能となる。

【0083】

また、詳細な説明は省略するが、悲鳴検知装置１４と第1計測装置１２の結果も撮影装置１１に加えて連動させることが可能である。これにより、例えば体調に異変を生じて苦しんで声を発している人物の特定（位置、人物、状態）も可能になるため、様々な事態に対応することが可能となる。

【0084】

ここで図１８乃至図２１を用いて、カメラ１１１、送受信部１２１、及び音声収集部１４１の他の配置例を説明する。図１８は、音声収集部１４１をドア部に配置するパターンＰ１８と、音声収集部１４１をラインＬ２００と、ラインＬ２０２との交点部に配置するパターンＰ１９と、を示す図である。

【0085】

パターンＰ１８では、カメラ１１１、及び送受信部１２１が出入りドア付近の通路における天井中央部に配置され、画像が真下の画像のため、音源位置との対応がより高精度に行える。同様にミリ波をカメラ１１１同等の範囲に発生することにより、画像の被写体領域と、心拍源の胸部領域との対応がより高精度に行うことが可能となる。また、音声収集部１４１を端部に設置するため、反射波の入力を抑制可能となる。

【0086】

一方で、パターンＰ１９では、音声収集部１４１も天井中央部に配置する点で、パターンＰ１８と相違する。パターンＰ１９では、音声収集部１４１の集音領域と、カメラ１１１の撮像領域、及び送受信部１２１のミリ波の発生範囲を同等にでき、測定対象の対応付けがより高精度行える。また、音声収集部１４１を天井中央部に配置するので、直接音をより効率的に集音できる。

【0087】

図１９は、車両２００の進行方向の中間部に音声収集部１４１を更に配置した例を示す図である。間部に音声収集部１４１を更に配置した点で図１３の配置パターと相違する。音声収集部１４１を天井中央部に配置するので、直接音をより効率的に集音できる。また、端部の音声収集部１４１の収集音声を、天井中央部に配置された音声収集部１４１で補うことができ、より高精度に音源の位置を特定可能となる。

【0088】

図２０は、座席が進行方向又は進行方向と逆向きである車両２００の配置例を示す図である。すなわち、図２０は、新幹線の車両のように、車両２００の進行方向に沿った側面部に開閉ドアがない場合の配置例を示す図である。カメラ１５１は、開閉ドア側にされるカメラである。撮像装置１１は、カメラ１５１の画像も参照可能である。

【0089】

カメラ１１１ｃは、車両２００の中央部に配置される。中央部に配置されるカメラ１１１ｃにより、ドア近辺に配置されるカメラ１１１amの画像を補うことが可能となる。また、音声収集部１４１a～ｆ、車両間のドア近辺と、車両２００の中央部に配置される。中央部に配置される音声収集部１４１e,fにより、ドア近辺に配置される音声収集部１４１a～dの音声収集を補うことが可能となる。また、車両２００の進行方向に対して左右対称にカメラ１１１a,b,c、送受信部１２１、及び音声収集部１４１a～ｆが配置されるため、進行方向が変わっても測定精度の変動が抑制される。

【0090】

図２１は、車両２００の長手方向の中央部にカメラ１１１、及び音声収集部１４１を配置する例を示す図である。ドア付近のカメラ111eは魚眼レンズを有するカメラであり、カメラ111ｆは、通常レンズのカメラである。またカメラ111e、カメラ111ｆを通路の上部に４台配置するため、撮像画像の撮影範囲が５ｍ程度の間隔となり、着席している人をより高精度に撮影することが可能となる。また、通路のカメラ111ｆは真下の撮影が可能となるため、音声収集部１４１を用いた音源の位置が特定できれば対応が付けの精度がより上げることが可能となる。

【0091】

本実施形態に係る監視システム１は、車両２００を例にして説明したが、これに限定されない。例えば、監視システム１は、エレベータホールなどの不特定多数の人が出入りする監視空間等に配置することも可能である。

【0092】

図２２は、エレベータホール３００におけるカメラ１１１a,b、送受信部１２１、及び音声収集部１４１a～dの配置例を示す図である。カメラ１１１１a,b、及び音声収集部１４１a～dの配置は、図１３などと同等であり、監視システム１は、エレベータホール３００における人物の撮像及び領域の特定と、悲鳴などを発した人の位置情報を取得出来る。また、エレベータのドア前に送受信部１２１を配置するので、エレベータ３０２を待つ人の心拍などをより高精度に測定できる。

【0093】

以上説明したように、本実施形態によれば、悲鳴検知装置（第2計測装置）１４が所定の音声（例えば悲鳴）を検出した場合に、悲鳴発生位置特定部１４５が音声発生源の位置を特定することとした。これにより、音声発生源の位置と画像中の人物の位置を対応づけた状態情報を生成することが可能となる。このため、状態情報により、音声発生源の状態を画像により確認することが可能となる。

【0094】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0095】

１…監視システム、１１…撮影装置、１２…第1計測装置、１３…監視装置、１４…悲鳴検知装置（第２計測装置）、１１１a、b、ｃ、e、f…カメラ、１１２…人物検出部、１１３…年齢推定部、１１４…人物情報記憶部、１２１…送受信部、１２２…アンプ、１２３…処理部、１３１…記憶部、１３２…判定部、１３３…発砲部、１４１a、b、c、d…音声収集部、１４２…悲鳴検出部、１４３…音声情報記憶部、１４４…第２発砲部、１４５…悲鳴発生位置特定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】