特許 6849411 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6849411

(24)【登録日】2021年3月8日

(45)【発行日】2021年3月24日

(54)【発明の名称】監視システム

(51)【国際特許分類】

   G08B 31/00 20060101AFI20210315BHJP

   G08B 25/00 20060101ALI20210315BHJP

   G08B 17/00 20060101ALI20210315BHJP

   G08B 17/06 20060101ALI20210315BHJP

   G08B 21/00 20060101ALI20210315BHJP

   G06T 7/00 20170101ALI20210315BHJP

   H04N 7/18 20060101ALI20210315BHJP

   G08B 13/196 20060101ALN20210315BHJP

   G08B 25/04 20060101ALN20210315BHJP

【ＦＩ】

   G08B31/00 A

   G08B25/00 510M

   G08B17/00 C

   G08B17/06 A

   G08B21/00 E

   G06T7/00 350C

   H04N7/18 D

   !G08B13/196

   !G08B25/04 F

【請求項の数】15

【全頁数】30

(21)【出願番号】特願2016-230748(P2016-230748)

(22)【出願日】2016年11月29日

(65)【公開番号】特開2018-88105(P2018-88105A)

(43)【公開日】2018年6月7日

【審査請求日】2019年10月16日

(73)【特許権者】

【識別番号】000003403

【氏名又は名称】ホーチキ株式会社

(74)【代理人】

【識別番号】100079359

【弁理士】

【氏名又は名称】竹内 進

(72)【発明者】

【氏名】江幡 弘道

【審査官】 玉木 宏治

(56)【参考文献】

【文献】 特開２０１６−１７３６８２（ＪＰ，Ａ）

【文献】 特開平０６−３２５２７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｂ １３／００−３１／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

予め準備された学習情報により学習された多層式のニューラルネットワークによって構成され、監視領域からの入力情報の入力により異常か非異常かを検出する第１異常検出器と、
前記予め準備された学習情報及び監視領域で収集された学習情報により学習された多層式のニューラルネットワークによって構成され、前記入力情報の入力により異常か非異常かを検出する第２異常検出器と、
前記第１異常検出器と前記第２異常検出器の検出結果に基づき前記監視領域の異常を判定して警報する警報制御部と、
が設けられたことを特徴とする監視システム。

【請求項2】

請求項１記載の監視システムに於いて、
前記警報制御部は、前記第１異常検出器と前記第２異常検出器の各検出結果に所定の重みを設定して加算した値から異常を判定して警報することを特徴とする監視システム。

【請求項3】

請求項２記載の監視システムに於いて、
前記所定の重みは前記学習情報の量により変化することを特徴とする監視システム。

【請求項4】

請求項１乃至３何れかに記載の監視システムに於いて、
前記第１異常検出器及び前記第２異常検出器は、センサにより検出された物理量及び又は、撮像部により撮像された前記監視領域の画像を前記入力情報として入力して異常か非異常かを検出することを特徴とする監視システム。

【請求項5】

請求項１乃至４何れかに記載の監視システムに於いて、
前記警報制御部は、前記第１異常検出器又は前記第２異常検出器のうちいずれかで異常が検出された場合に異常予兆警報を出力させ、前記第１異常検出器及び記第２異常検出器で異常が検出された場合に異常警報を出力させることを特徴とする監視システム。

【請求項6】

請求項１乃至５何れかに記載の監視システムに於いて、
前記第２異常検出器は、
ディープラーニングにより学習させる学習制御部と、
前記入力情報を記憶する記憶部と、
が設けられ、
前記学習制御部は、前記記憶部に記憶されている前記入力情報を読出し、前記第２異常検出器の前記多層式のニューラルネットワークに前記学習情報として入力して学習させることを特徴とする監視システム。

【請求項7】

請求項６記載の監視システムに於いて、
前記第１異常検出器及び前記第２異常検出器は、前記入力情報の入力により火災か非火災かを検出する第１火災検出器及び第２火災検出器であり、
前記警報制御部は、前記第１火災検出器と前記第２火災検出器の検出結果に基づき前記監視領域の火災を判定して警報し、
前記入力情報は、火災感知器により検出された物理量及び又は、撮像部により撮像された監視領域の画像であり、
前記学習制御部は、前記火災感知器により火災を監視している火災受信機による監視結果に対応した前記記憶部に記憶されている前記入力情報を読出し、前記第２火災検出器の前記多層式のニューラルネットワークに前記学習情報として入力して学習させることを特徴とする監視システム。

【請求項8】

請求項７記載の監視システムに於いて、
前記学習制御部は、前記火災受信機から前記火災感知器の火災発報に基づく火災移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報のうち、火災発報した前記火災感知器に対応する入力情報を前記記憶部から読出し、前記第２火災検出器の前記多層式のニューラルネットワークに火災の学習情報として入力して学習させることを特徴とする監視システム。

【請求項9】

請求項７記載の監視システムに於いて、
前記学習制御部は、前記火災受信機から前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報のうち、火災発報した前記火災感知器に対応する入力情報を前記記憶部から読出し、前記第２火災検出器の前記多層式のニューラルネットワークに火災の学習情報として入力して学習させることを特徴とする監視システム。

【請求項10】

請求項７記載の監視システムに於いて、
前記火災感知器は、前記物理量として温度又は煙濃度を検出して、検出アナログ値を前記火災受信機に送って火災を判断させており、
前記学習制御部は、前記検出アナログ値が所定の火災レベルに達し、前記火災受信機から前記火災感知器の火災発報に基づく火災移報信号が入力された場合、前記検出アナログ値が前記火災レベルより低い所定の火災予兆レベルに達したときから前記火災移報信号の入力時までの前記入力情報のうち、火災発報した前記火災感知器に対応する入力情報を前記記憶部から読出し、前記第２火災検出器の前記多層式のニューラルネットワークに火災の学習情報として入力して学習させることを特徴とする監視システム。

【請求項11】

請求項７記載の監視システムに於いて、
前記火災感知器は、前記物理量として温度又は煙濃度を検出して、検出アナログ値を前記火災受信機に送って火災を判断させており、
前記学習制御部は、前記検出アナログ値が所定の火災レベルに達し、前記火災受信機から前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、前記検出アナログ値が前記火災レベルより低い所定の火災予兆レベルに達した時から前記火災移報信号の入力時までの前記入力情報のうち、火災発報した前記火災感知器に対応する入力情報を前記記憶部から読出し、前記第２火災検出器の前記多層式のニューラルネットワークに火災の学習情報として入力して学習させることを特徴とする監視システム。

【請求項12】

請求項７又は９記載の監視システムに於いて、
前記学習制御部は、前記火災受信機から前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報のうち、火災発報した前記火災感知器に対応する入力情報を前記記憶部から読出し、前記第２火災検出器の前記多層式のニューラルネットワークに非火災の学習情報として入力して学習させることを特徴とする監視システム。

【請求項13】

請求項７又は１１記載の監視システムに於いて、
前記火災感知器は、前記物理量として温度又は煙濃度を検出して、検出アナログ値を前記火災受信機に送って火災を判断させており、
前記学習制御部は、前記検出アナログ値が所定の火災レベルに達し、前記火災受信機から前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、前記検出アナログ値が前記火災レベルより低い所定の火災予兆レベルに達したときから前記火災移報信号の入力時までの前記入力情報のうち、火災発報した前記火災感知器に対応する入力情報を前記記憶部から読出し、前記第２火災検出器の前記多層式のニューラルネットワークに非火災の学習情報として入力して学習させることを特徴とする監視システム。

【請求項14】

請求項６記載の監視システムに於いて、前記学習制御部は、通常監視状態で前記記憶部に記憶された入力情報を読み出して、前記第２異常検出器の前記多層式のニューラルネットワークに非異常の学習情報として入力して初期化学習させることを特徴とする監視システム。

【請求項15】

請求項１４記載の監視システムに於いて、
前記初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、前記入力情報に変化が略ないとき、所定時間間隔毎、のうちいずれか一つ以上を含み、
前記所定時間間隔毎の場合、初回の時刻と時間間隔は複数のパターンで前記初期化学習を行っても良いことを特徴とする監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、火災感知器や人感センサ等のセンサやカメラで撮像した画像等のデータからニューラルネットワークにより異常を判断して警報させる監視システムに関する。

【背景技術】

【0002】

従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。

【0003】

一方、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。

【0004】

また、人感センサや監視カメラを用いて侵入や犯罪行為の監視を行うなど、防犯分野に於いても様々な装置やシステムが提案されている。

【0005】

このような防災、防犯に関するシステムにあっては、異常に対する初期対応の観点から異常の早期発見が重要である。

【0006】

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−０４６９１６号公報

【特許文献2】特開平７−２４５７５７号公報

【特許文献3】特開２０１０−２３８０２８号公報

【特許文献4】特開平６−３２５２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特定の物理量を監視するセンサを用いた防災、防犯に関するシステムは、火災でない事象により監視基準が満たされた場合でも火災とみなすことや、人感センサを回避することで侵入を見抜けないなど、正しく異常を判別できない問題があった。

【0009】

また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。

【0010】

また、監視カメラにより侵入や犯罪行為を監視するシステムにあっては、実用化はなされているものの、現場の明暗等の状況により監視精度が左右されるなど、改善の余地がある。

【0011】

一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。

【0012】

また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。

【0013】

このような多層式のニューラルネットワークを、火災感知器や人感センサに代表されるセンサから得られる物理量、検出結果や監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から異常を判断する判定装置に設け、学習時においては多数の異常時及び非異常時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から異常か否かを高い精度で推定して警報を出力させる異常監視システムが構築可能となる。

【0014】

この場合、異常監視システムの製造段階で予め準備された多数の異常時及び非異常時の入力情報を教師ありの学習情報として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している火災感知器や人感センサ等のセンサデータやカメラで撮像した画像を判定装置に入力して異常を監視することになる。

【0015】

しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得したデータではなく、標準的に準備された入力情報を使用した学習となり、現地のセンサや監視カメラで入力される実際の物理量や監視画像を入力した場合に十分に高い精度で異常を推定することができない可能性が残る。

【0016】

また、現場環境に応じて通常時、異常時の状況は異なり、標準的に準備された入力情報で学習を行っただけでは、現場環境が変化することで異常の検出精度が低下してしまう恐れがある。

【0017】

また、設置環境下で学習した異常検出器のみで異常検出すると、過去に現場で発生した異常に対しては検出できるが、過去に発生していない異常について検出精度が落ちてしまう等の過学習を行ってしまう恐れがあり、検出性能の保証が出来ない問題がある。

【0018】

本発明は、予め準備された入力情報により学習した多層式のニューラルネットワークと、これに加えて設置場所で入力された入力情報により学習した多層式のニューラルネットワークとの組み合わせにより、環境の変化にも対応可能であり、異常の検出精度を保証しつつ異常の判定精度を向上可能とする監視システムを提供することを目的とする。

【課題を解決するための手段】

【0019】

（監視システム）
本発明は、監視システムに於いて、
予め準備された学習情報により学習された多層式のニューラルネットワークによって構成され、監視領域からの入力情報の入力により異常か非異常かを検出する第１異常検出器と、
予め準備された学習情報及び監視領域で収集された学習情報により学習された多層式のニューラルネットワークによって構成され、入力情報の入力により異常か非異常かを検出する第２異常検出器と、
第１異常検出器と第２異常検出器の検出結果に基づき監視領域の異常を判定して警報する警報制御部と、
が設けられたことを特徴とする。

【0020】

（２つの検出結果の重み付け加算による異常判定）
警報制御部は、第１異常検出器と第２異常検出器の各検出結果に所定の重みを設定して加算した値から異常を判定して警報する。

【0021】

（学習量に応じて変化する重み）
所定の重みは前記学習情報の量により変化する。

【0022】

（入力情報）
第１異常検出器及び第２異常検出器は、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として入力して異常か非異常かを検出する。

【0023】

（異常予兆警報と異常警報）
警報制御部は、第１異常検出器又は第２異常検出器のうちいずれかで異常が検出された場合に異常予兆警報を出力させ、第１異常検出器及び第２異常検出器で異常が検出された場合に異常警報を出力させる。

【0024】

（第２異常検出器の監視領域の入力情報による学習）
第２異常検出器は、
ディープラーニングにより学習させる学習制御部と、
入力情報を記憶する記憶部と、
が設けられ、
学習制御部は、記憶部に記憶されている入力情報を読出し、第２異常検出器の多層式のニューラルネットワークに学習情報として入力して学習させる。

【0025】

（火災監視）
第１異常検出器及び第２異常検出器は、入力情報の入力により火災か非火災かを検出する第１火災検出器及び第２火災検出器であり、
警報制御部は、第１火災検出器と第２火災検出器の検出結果に基づき監視領域の火災を判定して警報し、
入力情報は、火災感知器により検出された物理量及び又は、撮像部により撮像された監視領域の画像であり、
学習制御部は、火災感知器により火災を監視している火災受信機による監視結果に対応した記憶部に記憶されている入力情報を読出し、第２火災検出器の多層式のニューラルネットワークに学習情報として入力して学習させる。

【0026】

（火災発報の火災感知器に対応する入力情報による火災学習）
学習制御部は、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。

【0027】

（火災移報の所定時間前からの入力情報による火災断定時の火災学習）
学習制御部は、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。

【0028】

（火災予兆レベル超えからの入力情報による火災学習）
火災感知器は、物理量として温度又は煙濃度を検出して、検出アナログ値を火災受信機に送って火災を判断させており、
学習制御部は、検出アナログ値が所定の火災レベルに達し、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された場合、検出アナログ値が火災レベルより低い所定の火災予兆レベルに達したときから火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。
また、火災感知器は、物理量として温度又は煙濃度を検出して、検出アナログ値を火災受信機に送って火災を判断させており、
学習制御部は、検出アナログ値が所定の火災レベルに達し、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災レベルより低い所定の火災予兆レベルに達した時から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。

【0029】

（火災移報の所定時間前からの入力情報による復旧時の非火災学習）
学習制御部は、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させる。

【0030】

（火災予兆レベル超えからの入力情報に復旧時のよる非火災学習）
火災感知器は、物理量として温度又は煙濃度を検出して、検出アナログ値を火災受信機に送って火災を判断させており、
学習制御部は、検出アナログ値が所定の火災レベルに達し、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災レベルより低い所定の火災予兆レベルに達したときから火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させる。

【0031】

（監視領域の通常入力情報による初期化学習）
学習制御部は、通常監視状態で記憶部に記憶された入力情報を読み出して、第２異常検出器の多層式のニューラルネットワークに非火災の学習情報として入力して初期化学習させる。

【0032】

（初期化学習のタイミング）
初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、入力情報に変化が略ないとき、所定時間間隔毎、のうちいずれか一つ以上を含み、
所定時間間隔毎の場合、初回の時刻と時間間隔は複数のパターンで初期化学習を行っても良い。

【発明の効果】

【0033】

（基本的な効果）
本発明は、監視システムに於いて、予め準備された学習情報により学習された多層式のニューラルネットワークによって構成され、監視領域からの入力情報の入力により異常か非異常かを検出する第１異常検出器と、予め準備された学習情報及び監視領域で収集された学習情報により学習された多層式のニューラルネットワークによって構成され、入力情報の入力により異常か非異常かを検出する第２異常検出器と、第１異常検出器と第２異常検出器の検出結果に基づき監視領域の異常を判定して警報する警報制御部とが設けられたため、製造段階で準備された標準的な学習情報により第１異常検出器と第２異常検出器の多層式ニューラルネットワークを学習させることで、人為的な解析では異常か非異常かが判断できない入力情報から高い精度で異常を推定する機能を実現し、これに加えて第２異常検出器の多層式ニューラルネットワークは監視領域の実際の入力情報により学習することで、設置場所により異なる環境の変化に対応して入力情報から高い精度で異常を推定する機能が実現され、第１異常検出器と第２異常検出器の検出結果から異常を判定して警報することで、単独の異常検出器の場合に比べ、異常の判定精度を向上可能とする。

【0034】

（２つの検出結果の重み付け加算による異常判定の効果）
また、警報制御部は、第１異常検出器と第２異常検出器の各検出結果に所定の重みを設定して加算した値から異常を判定して警報するようにしたため、設置場所に対応した異常の推定精度の低い第１異常検出器の検出結果に例えば０．３の重みを設定し、設置場所に対応した異常の推定精度の高い第２異常検出器の検出結果には例えば０．７の重みを設定して加算し、所定の判定閾値と比較して異常の有無を判定することで、設置場所の環境の変化に対応して高い精度で異常を判定可能とする。

【0035】

（学習量に応じて変化する重みの効果）
また、所定の重みは学習情報の量により変化するようにしたため、例えば設置後間もなく学習情報の量が少ない場合、例えば第１異常検出器の重みを０．７、第２異常検出器の重みを０．３といったように、第２異常検出器の重みを軽くすることで、学習量の少ない第２異常検出器への依存を小さくすることができる。また、設置後十分に時間が経過し学習情報が多い場合、例えば第１異常検出器の重みを０．３、第２異常検出器の重みを０．７といったように、第２異常検出器の重みを重くすることで、十分に学習した異常検出器への依存を大きくすることができる。

【0036】

（入力情報による効果）
また、第１異常検出器及び第２異常検出器は、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として入力して異常か非異常かを検出するようにしたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等を学習済みの第１及び第２異常検出器に入力することで、高い精度で異常を推定して警報可能とする。

【0037】

（異常予兆警報と異常警報による効果）
また、警報制御部は、第１異常検出器又は第２異常検出器のうちいずれかで異常が検出された場合に異常予兆警報を出力させ、第１異常検出器及び第２異常検出器で異常が検出された場合に異常警報を出力させるようにしたため、異常検出器のいずれかで異常を検出して予兆警報を出すことで、いずれかの異常検出器でのみ異常検出できるような異常についても漏れなく報知することが可能となり、異常検出器が共に異常を検出した際は異常の可能性が高いことから異常を警報することで異常警報（本警報）を出力して、異常を確実に報知可能とする。

【0038】

（火災監視による効果）
また、第１異常検出器及び第２異常検出器は、入力情報の入力により火災か非火災かを検出する第１火災検出器及び第２火災検出器であり、警報制御部は、第１火災検出器と第２火災検出器の検出結果に基づき監視領域の火災を判定して警報し、入力情報は、火災感知器により検出された物理量及び又は、撮像部により撮像された監視領域の画像であり、学習制御部は、火災感知器により火災を監視している火災受信機による監視結果に対応した記憶部に記憶されている入力情報を読出し、第２火災検出器の多層式のニューラルネットワークに学習情報として入力して学習させるようにしたため、第１火災検出器と第２火災検出器の多層式のニューラルネットネットワークは、製造段階での標準的な火災及び非火災の画像により学習されているが、第２火災検出器の多層式のニューラルネットワークについては、更に、火災報知設備の火災受信機の火災監視結果に対応した火災警報が出力された場合は、例えば、そのとき録画装置に録画されている画像を火災の画像として読出して多層式のニューラルネットワークを学習し、また、火災警報が出力されたが非火災であった場合には、そのとき録画装置に録画されている画像を非火災の画像として読出して第２火災検出器の多層式のニューラルネットワークを学習することで、実際に撮像部としての監視カメラにより監視している監視領域に対応した火災及び非火災の画像による学習が効率的に行われ、第２火災検出器は、監視カメラにより撮像している監視画像から高い精度で火災を推定して警報可能とする。

【0039】

この点はセンサとなる火災感知器により検出される温度や煙濃度等の物理量についても同様であり、第２火災検出器はセンサとなる火災感知器の検出信号から高い精度で火災を推定して警報可能とする。

【0040】

（火災発報した火災感知器に対応する入力情報による火災学習の効果）
また、学習制御部は、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、火災の発生箇所における入力情報が第２火災検出器に使用する火災の学習情報として得られ、自動的に学習情報を得ることが可能となる。

【0041】

火災感知器等のセンサデータを入力情報とする場合、例えば火災発報の５分前からのセンサデータを記憶部から読み出して火災のセンサデータとして第２火災検出器を学習させる場合、所定の時間間隔毎、例えば５秒ごとにセンサデータが検出されていたとすると、６０セットのセンサデータが得られる。また、監視カメラの画像を入力情報とする場合、例えば、火災発報の５分前からの画像を録画装置から読み出して火災の画像として第２火災検出器を学習させる場合、録画画像が３０フレーム／秒で録画されていたとすると、５分の録画画像から９０００枚の画像が得られる。上記のように、1度の火災感知器の発報により、当該火災感知器に応じた複数の入力情報による学習が簡単に実現できることで、第２火災検出器は入力情報からより高い精度で火災を推定して警報可能とする。

【0042】

（火災発報の所定時間前からの入力情報による火災断定時の火災学習の効果）
また、学習制御部は、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、火災が確実に発生している状態での入力情報を火災時の入力情報として学習でき、学習データに火災のラベリングをする手間なく、誤りのない学習データにより第２火災検出器の学習ができるようになる。

【0043】

（火災予兆レベル超えからの入力情報による火災学習の効果）
また、火災感知器は、物理量として温度又は煙濃度を検出して、検出アナログ値を送って火災を判断させており、学習制御部は、検出アナログ値が所定の火災レベルに達し、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された場合、検出アナログ値が火災レベルより低い所定の火災予兆レベルに達したときから火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの入力情報を記憶部から読出して第２火災検出器を学習することから、火災の初期段階からの火災と判断されるまでの多数の入力情報を火災の入力情報として読み出して第２異火災出器を学習することができ、火災の予兆検出を可能とする。
また、火災感知器は、物理量として温度又は煙濃度を検出して、検出アナログ値を火災受信機に送って火災を判断させており、学習制御部は、検出アナログ値が所定の火災レベルに達し、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災レベルより低い所定の火災予兆レベルに達した時から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、火災が確実に発生している状態での入力情報を火災時の入力情報として学習でき、学習データに火災のラベリングをする手間なく、誤りのない学習データにより第２火災検出器の学習ができるようになる。

【0044】

（火災発報の所定時間前からの入力情報による復旧時の非火災学習の効果）
学習制御部は、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させるようにしたため、例えば、火災発報の５分前からの入力情報を記憶部から読出して非火災の入力情報として第２火災検出器を学習させる場合、火災が確実に発生していない状態での入力情報を非火災時の入力情報として第２火災検出器を学習できるため、学習データに非火災のラベリングをする手間なく、誤りのない学習データにより学習ができるようになる。

【0045】

（火災予兆レベル超えからの入力情報による復旧時の非火災学習の効果）
また、火災感知器は、物理量として温度又は煙濃度を検出して、検出アナログ値を送って火災を判断させており、学習制御部は、検出アナログ値が所定の火災レベルに達し、火災受信機から火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災レベルより低い所定の火災予兆レベルに達したときから火災移報信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災レベルより低い火災の予兆を示す所定の火災予兆レベルに達したが、火災以外の原因による温度や煙濃度の増加による非火災であった場合に、火災予兆レベルに達したときから火災移報信号の入力時までの入力情報を非火災の入力情報として第２火災検出器を学習することから、初期段階から非火災と判断されるまでの多数の入力情報を非火災の入力情報を記憶部から読出して学習することができ、火災の予兆と捉えられかねない非火災の状態に対して、より高い精度で非火災を推定して誤報を確実に防止可能とする。

【0046】

（監視領域の通常監視入力情報による初期化学習の効果）
また、学習制御部は、通常監視状態で記憶部に記憶された入力情報を読み出して、第２異常検出器の多層式のニューラルネットワークに非異常の学習情報として入力して初期化学習させるようにしたため、通常監視状態での監視領域の入力情報に対する第２異常検出器による非異常の推定精度が向上し、その結果、異常に対する推定の精度が更に向上される。

【0047】

（初期化学習のタイミングによる効果）
また、初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、入力情報に変化が略ないとき、所定時間間隔毎、のうちいずれか一つ以上を含み、所定時間間隔毎の場合、初回の時刻と時間間隔は複数のパターンで初期化学習を行っても良いようにしたため、第２異常検出器について、装置立ち上げ時に初期化学習を行うことにより設置環境における非異常の状態を学習させることが可能となり、所定の操作が行われたときに初期化学習を行うことにより任意のタイミングで非異常の状態を教育することができ、例えば内装が変化したときなどにすぐ非異常の状態を教育することが可能となる。

【0048】

また、第２異常検出器について、センサ出力・カメラの撮影画像に変化が略ないときに初期化学習を行うことにより確実に監視領域が安定した状態で自動的に非異常の状態を教育することができ、更に、所定時間間隔毎の場合、初回の時刻と時間間隔は複数のパターンで初期化学習を行うことにより、例えば、初期化学習のタイミングを所定の時刻ごとにずらして行うことにより、ばらばらな時刻で非異常の学習データを得て非異常を学習することができる。

【図面の簡単な説明】

【0049】

【図1】監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図

【図2】監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図

【図3】図２に示した多層式ニューラルネットワークの機能構成を示した説明図

【図4】図１の学習制御部による火災受信機の火災監視に連動し第２火災検出器の多層式ニューラルネットワークの学習制御を示したフローチャート

【図5】アナログ火災感知器により検出された検出アナログ値の時間変化を示した説明図

【図6】監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の他の実施形態を示した説明図

【図7】センサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図

【図8】アナログ火災感知器からの検出信号により火災を推定する多層式のニューラルネットワークを用いた判定装置の機能構成を示した説明図

【図9】図７の時系列データ生成部に記憶されるアナログ火災感知器で検出される煙濃度の時間変化を示したタイムチャート

【発明を実施するための形態】

【0050】

［火災監視システムの概要］
図１は監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。

【0051】

図１に示すように、ビル等の施設の監視領域１４−１、１４−２にはそれぞれ撮像手段として機能する監視カメラ１６−１、１６−２が設置され、監視領域１４−１を監視カメラ１６−１により、監視領域１４−２を監視カメラ１６−２により動画撮像している。

【0052】

監視領域１４−１、１４−２は特に区別の必要がないときは監視領域１４として、監視カメラ１６−１、１６−２は特に区別の必要がないときは監視カメラ１６として記述する。

【0053】

監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。

【0054】

また、監視領域１４−１、１４−２にはそれぞれオンオフ型の火災感知器１８−１、１８−２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。火災感知器１８−１、１８−２は特に区別の必要がないときは火災感知器１８として記述する。

【0055】

監視領域１４に対し施設の防災監視センターや管理人室等には、判定装置１０と火災報知設備の火災受信機１２が設置されている。なお、判定装置１０と火災受信機１２は一体としても良い。判定装置１０には監視領域１４に設置された監視カメラ１６が信号ケーブル２０により接続されており、監視カメラ１６で撮像された動画画像を入力している。

【0056】

火災受信機１２からは監視領域１４に感知器回線２２が引き出され、感知器回線２２単位に火災感知器１８が接続されている。

【0057】

判定装置１０は多層式ニューラルネットワークを備えた第１火災検出器と第２火災検出器を備える。第１火災検出器及び第２火災検出器の多層式ニューラルネットワークは、製造段階で標準的に予め準備された入力情報により学習されており、更に、第２火災検出器の多層式ニューラルネットワークは、火災受信機１２により火災感知器１８の火災発報による信号が入力された場合、火災発報した火災感知器に対応する入力情報としての動画画像を録画装置から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させている。

【0058】

監視カメラ１６から送られてきた動画画像は判定装置１０内の第１火災検出器と第２火災検出器にフレーム単位に並列的に入力され、第１火災検出器と第２火災検出器の検出結果の組み合わせに基づき火災を判定して火災判定信号を火災受信機１２に出力し、火災予兆を示す火災予兆警報や火災を示す火災警報を出力させる。また、監視カメラ１６からの動画は判定装置１０に設けられた録画装置により継続的に録画されている。

【0059】

火災受信機１２は火災感知器１８の発報による火災発報信号を受信すると火災警報を出力し、また判定装置１０にどの火災感知器が発報したか識別する信号も含めた火災移報信号を出力する。火災受信機１２から火災警報が出力された場合、管理責任者又は防災担当者は、発報した火災感知器１８の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、火災受信機１２で火災断定操作を行う。火災受信機１２で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が判定装置１０に出力される。

【0060】

また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、火災受信機１２で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように火災受信機１２で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、火災受信機１２から判定装置１０に復旧移報信号が出力される。

【0061】

判定装置１０は火災受信機１２から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、火災感知器の発報場所に対応する録画装置に録画されている火災警報の出力に至るまでの監視領域１４を監視カメラ１６で撮像した動画を録画装置から読み出し、これを火災画像又は非火災画像として判定装置１０に設けられた第２火災検出器の多層式ニューラルネットワークを学習させる制御を行う。例えば、火災感知器１８−１が発報した場合、監視カメラ１６−１で撮像した動画を録画装置から読み出すこととなる。

【0062】

［判定装置］
（判定装置の機能構成）
図２は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。

【0063】

図２に示すように、判定装置１０には、第１異常検出器として機能する第１火災検出器２４−１、第２異常検出器として機能する第２火災検出器２４−２が設けられる。第１火災検出器２４−１は画像入力部３２−１と多層式ニューラルネットワーク３４−１で構成され、第２火災検出器２４−２は画像入力部３２−２と多層式ニューラルネットワーク３４−２で構成され、多層式ニューラルネットワーク３４−１，３４−２の出力は警報制御部３６に入力されている。

【0064】

多層式ニューラルネットワーク３４−１，３４−２は特に区別の必要がないときは多層式ニューラルネットワーク３４として記述し、第１火災検出器２４−１と第２火災検出器２４−２は特に区別の必要がないときは火災検出器２４として記述する。

【0065】

第２火災検出器２４−２に対しては多層式ニューラルネットワーク３４−２を学習させるため、記憶部として機能する録画装置２６、学習画像保持部２８、学習制御部３０が設けられている。ここで、第１火災検出器２４−１、第２火災検出器２４−２、学習画像保持部２８、学習制御部３０及び警報制御部３６の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

【0066】

第１火災検出器２４−１及び第２火災検出器２４−２の多層式ニューラルネットワーク３４−１，３４−２は、製造段階で標準的に予め準備された多数の火災画像となる入力情報により学習されている。更に、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２は、火災受信機１２により火災感知器１８の火災発報による信号が学習制御部３０に入力された場合、火災発報した火災感知器１８に対応する入力情報としての動画画像を録画装置２６から読出し、第２火災検出器２４−２の多層式のニューラルネットワーク３４−２に火災の学習情報として入力して学習させている。

【0067】

通常監視状態において、第１火災検出器２４−１及び第２火災検出器２４−２は監視カメラ１６で撮像された監視領域の画像を、画像入力部３２−１，３２−２を介して多層式ニューラルネットワーク３４−１，３４−２に並列的に入力し、その出力値から火災か非火災かを検出して警報制御部３６に出力している。

【0068】

警報制御部３６は、第１火災検出器２４−１と第２火災検出器２４−２の検出結果に基づき監視領域１４の火災を判定して火災受信機１２に火災判定信号を出力し、警報を出力させる。

【0069】

本実施形態において、警報制御部３６は、第１火災検出器２４−１により火災が検出された場合に火災予兆信号を火災受信機１２に出力して火災予兆警報を出力させ、第２火災検出器２４−２により火災が検出された場合に火災判定信号を火災受信機１２に出力して火災警報を出力させる。

【0070】

第１火災検出器２４−１は標準的に準備された入力情報を使用して学習しており、監視領域１４の監視カメラ１６で入力される実際の監視画像を入力した場合に十分に高い精度で火災を推定することができない可能性が残り、第２火災検出器は標準的に準備された入力情報を使用した学習に加え、監視カメラ１６から入力された実際の火災画像により学習しており、過学習により現場で過去に発生していない火災を推定することができない可能性が残ることから、第１火災検出器２４−１又は第２火災検出器２４−２いずれかで火災検出した場合については火災予兆警報を出力して注意を促すようにしている。

【0071】

これに対し第１火災検出器２４−１及び第２火災検出器２４−２両方で火災検出した場合については十分に高い精度で火災を推定可能であり、火災警報（本警報）を出力して、火災を確実に報知可能としている。

【0072】

録画装置２６は監視カメラ１６により撮像された監視領域の動画を録画しており、外部からの再生指示により録画している動画を部分的に読み出すことができる。

【0073】

学習制御部３０は、火災受信機１２からの火災移報信号Ｅ１、火災断定移報信号Ｅ２及び復旧移報信号Ｅ３に基づき、火災受信機１２で火災警報が出力された場合に、録画装置２６から必要とする部分の動画を読み出して学習画像保持部２８に一時的に記憶保持させ、学習画像保持部２８に保持された動画からフレーム単位に画像を順次読み出し、第２火災検出器２４−２の画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に教師ありの火災画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３４−２の重みとバイアスを学習させる。

【0074】

ここで、標準的に予め準備された入力情報により学習された第１火災検出器２４−１の多層式ニューラルネットワーク３４−１、及び標準的に予め準備された入力情報及び録画装置２６から読み出された火災時の火災画像により学習された第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に、監視カメラ１６で撮像された監視領域の画像を入力すると火災画像に対応した推定値が出力される。

【0075】

この推定値は学習に用いる火災画像の場合に期待値が１となり、非火災画像の場合に期待値が０となり、実際の画像を入力した場合は、０〜１の範囲の値をもつことから、推定値を所定の閾値、例えば０．５と比較し、閾値以上の場合に火災検出信号を警報制御部３６に出力させ、警報制御部３６は第１火災検出器２４−１から火災検出信号を入力した場合は火災予兆信号を火災受信機１２に出力して火災予兆警報を出力させ、第２火災検出器２４−２から火災検出信号を入力した場合は火災判定信号を火災受信機１２に出力して火災警報を出力させる。

【0076】

なお、判定装置１０にモニタ装置を設け、警報制御部３６で火災予兆又は火災を判定した場合に監視カメラ１６により撮像している火災が判定された監視領域の画像を画面表示し、火災受信機１２からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機１２に発信機を操作した場合と同様に火災判定信号を出力し、火災受信機１２から火災警報を出力させるようにしても良い。

【0077】

［多層式ニューラルネットワーク］
図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。

【0078】

図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３４は、特徴抽出部３８と認識部４０で構成される。特徴抽出部３８は畳み込みニューラルネットワークであり、認識部４０は全結合ニューラルネットワークである。

【0079】

多層式ニューラルネットワーク３４は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。

【0080】

通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３４では、特徴抽出部３８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部４０の全結合ニューラルネットワークに入力して火災か非火災かを識別する。

【0081】

認識部４０の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層４６、結合層４８、中間層５０と結合層４８の繰り返し、及び出力層５２で構成されている。

【0082】

（畳み込みニューラルネットワーク）
図３（Ｂ）は特徴抽出部３８を構成する畳み込みニューラルネットワークの構造を模式的に示している。

【0083】

畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。

【0084】

畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

【0085】

畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、入力画像４２に対し重みフィルタ４３により畳み込み処理を行う。例えば、重みフィルタ４３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像４２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像４２の９画素を小区域となる特徴マップ４４ａの１画素に畳み込み、複数の特徴マップ４４ａが生成される。

【0086】

続いて、畳み込み演算により得られた特徴マップ４４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。

【0087】

続いて、重みフィルタ４５ａ，４５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ４４ｂ，４４ｃが得られ、最後の層の特徴マップ４４ｃを認識部４０に入力し、通常の全結合ニューラルネットワークを用いた認識部４０により火災か非火災かを推定する。

【0088】

なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。

【0089】

［多層式ニューラルネットワークの学習］
（バックプロパゲーション）
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が設定され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。

【0090】

このようなニューラルネットワークのウエイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。

【0091】

教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。

【0092】

バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方までウエイトとバイアスを補正しながら値を伝播させる。各ウエイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウエイトとバイアスの値を変更することにより、誤差関数の値を最小化する。

【0093】

ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１） 入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２） 推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３） ウエイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。

【0094】

この手順は、ニューラルネットワークのウエイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。

【0095】

［受信機の火災監視に連動した学習制御］
（火災画像による学習）
図２に示した判定装置１０の第２火災検出器２４−２に対応して設けられた学習制御部３０は、火災受信機１２により火災感知器１８の火災発報に基づく火災移報信号Ｅ１が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき火災受信機１２の火災断定操作に基づく火災断定移報信号Ｅ２が入力された場合、例えば５分前となる所定時間前から火災移報信号Ｅ１が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して火災画像として入力して推定値ｙ＊を求め、火災の期待値ｙ＝１との誤差関数の値を最小とするようにバックプロパゲーションを、教師ありの画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。

【0096】

この場合、録画画像が録画装置２６に３０フレーム／秒の動画画像として録画されていたとすると、５分の録画画像から９０００枚の火災画像が得られ、９０００枚といった多数の火災画像による学習が簡単に実現できることで、カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。

【0097】

なお、５分間の動画から火災画像を生成した場合、１／３０秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば１秒周期の間引きされたフレーム画像を教師ありの画像としても良い。この場合、５分間の動画から３００枚の火災画像が得られ、バックプロパゲーションによる多層式ニューラルネットワーク３４−２の学習に十分な枚数の画像が得られる。

【0098】

（非火災画像による学習）
また、学習制御部３０は、火災受信機１２により火災感知器１８の火災発報に基づく火災移報信号Ｅ１が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、火災受信機１２で復旧操作が行われ、復旧操作に基づく復旧移報信号Ｅ３が入力されることから、この場合に、例えば５分前といった所定時間前から火災移報信号Ｅ１が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して非火災画像として入力して推定値ｙ＊を求め、非火災の期待値ｙ＝０との誤差関数の値を最小とするようにバックプロパゲーションを、教師ありの画像を変えながら繰り返し行って重み付けとバイアスを変更する学習を行う。

【0099】

この場合にも、録画画像が録画装置２６に３０フレーム／秒の動画画像として録画されていたとすると、５分の録画画像から９０００枚の火災画像が得られ、９０００枚といった多数の非火災画像による学習が簡単に実現できることで、カメラにより撮像している監視画像からより高い精度で非火災を推定して誤報を防止可能とする。

【0100】

また、５分間の動画から非火災画像を生成した場合、１／３０秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば１秒周期の間引きされたフレーム画像を非火災画像としても良い。

【0101】

（判定装置の初期化学習）
図２に示した判定装置１０の第１火災検出器２４−１及び第２火災検出器２４−２に設けられた多層式ニューラルネットワーク３４−１，３４−２は、工場等における製造段階で重みとバイアスがランダムに初期化されており、予め準備された標準的な火災画像と非火災画像を用いたバックプロパゲーションによる学習で初期化され、この状態で図１に示すように監視対象となる施設に設置される。

【0102】

この場合、監視カメラ１６で撮像されている監視領域１４の画像は、監視領域１４により様々であり、初期化学習で使用した標準的な教師ありの画像とは異なる画像であることから、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２については、施設に設置した後の立ち上げ時に、監視カメラ１６により撮像して録画装置２６に録画している通常監視状態での動画、即ち非火災の動画を録画装置２６に録画し、その中から再生操作により所定時間分、例えば５分間の録画を読出して学習画像保持部２８に非火災画像として保持し、この非火災画像を画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に入力して推定値ｙ＊を求め、非火災の期待値ｙ＝０との誤差を最小とするようにバックプロパゲーションを、教師画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う事が望ましい。

【0103】

この学習に使用する教師ありの画像としては、監視領域の一日の動画の中から、朝、昼、夜といった時間帯により異なる動画を録画装置２６から読み出して非火災画像として学習させることが望ましい。

【0104】

初期化学習のタイミングとしては、更に装置立ち上げ時に行うようにしても良い。これにより、まず設置環境における非火災の状態を教育することが可能となる。

【0105】

また初期化学習のタイミングとしては、所定の操作が行われたときに行うようにしても良い。これにより、任意のタイミングで非火災の状態を教育することができ、例えば内装が変化したときなどにすぐ非火災の状態を教育することが可能となる。

【0106】

また初期化学習のタイミングとしては、センサ出力・カメラの撮影画像の変化がないまたはほぼないときに行うようにしても良い。これにより、確実に監視領域が安定した状態で自動的に非火災の状態を教育することができる。

【0107】

また初期化学習のタイミングを所定の時刻ごとにずらして行うようにしても良い。例えば、１度目は６時・１２時・１８時・２４時に初期化学習を行い、２度目は７時・１３時・１９時・１時に初期化学習を行うようにする。これにより、ばらばらな時刻で非火災の学習データを得ることができ、調理時や朝焼けや夕焼けといった特殊な状態を含めて非火災を学習することができるようになる。

【0108】

この監視領域１４の監視画像を非火災画像とした第２火災検出器２４−２の多層式ニューラルネットワーク３４−２の学習により、通常監視状態での監視領域の画像に対する非火災の推定精度が向上する。その後、前述した火災受信機１２による火災監視に連動した火災画像又は非火災画像による第２火災検出器２４−２の多層式ニューラルネットワーク３４−２の学習が行われ、多層式ニューラルネットワーク３４−２の火災及び非火災に対する推定の精度が更に向上される。

【0109】

（学習制御部による制御動作）
図４は図１の学習制御部による火災受信機の火災監視に連動した第２火災検出器の多層式ニューラルネットワークの学習制御を示したフローチャートである。

【0110】

図４に示すように、学習制御部３０はステップＳ１で監視領域に設置された監視カメラ１６からの動画を録画装置２６に録画させており、ステップＳ２で火災受信機１２からの火災移報信号の入力を判別するとステップＳ３に進み、所定時間前からの録画画像を録画装置２６から読み出して学習画像保持部２８に保持させる。

【0111】

続いてステップＳ４に進み、学習制御部３０は火災受信機１２からの火災断定移報信号の入力を判別するとステップＳ５に進み、その後、火災受信機１２からの復旧移報信号の入力を判別するとステップＳ６に進み、学習画像保持部２８に保持している所定時間分の録画画像を読み出し、第２火災検出器２４−２の画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。

【0112】

一方、学習制御部３０は、ステップＳ４で火災断定移報信号の入力を判別することなくステップＳ７で復旧移報信号の入力の有無を判別している間に、火災断定移報信号の入力を判別することなくステップＳ７で復旧移報信号の入力を判別した場合は、ステップＳ８に進み、学習画像保持部２８に保持している所定時間分の録画画像を読み出し、第２火災検出器２４−２の画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に非火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。

【0113】

［火災予兆レベル超えからの監視画像による火災学習］
（火災画像による学習）
図２に示した判定装置の学習制御部３０による他の学習制御の実施形態として、警戒区域にアナログ火災感知器が設置され、アナログ火災感知器により温度又は煙濃度を検出して検出アナログ値を火災受信機１２に送って火災を判断させている場合、火災予兆が判断された時から火災が判断されるまでの画像を録画装置２６から読み出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２の学習をバックプロパゲーションにより行う。

【0114】

火災予兆レベルは図５に示すように、時刻ｔ０で発生した火災により時間の経過ともなって火災感知器で検出している温度が上昇した場合、火災レベルＴＨ２より低い火災予兆レベルＴＨ１に時刻ｔ１で達したときから火災レベルＴＨ２に時刻ｔ２に達するまでの時間Ｔの間に録画された画像を火災画像としてバックプロパゲーションを行うことになる。

【0115】

このＴ時間の間に録画された画像は、全て火災による画像であり、非火災画像は含まれていないことから、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行ことで、入力画像から火災を識別する精度を確実に高めることができる。

【0116】

具体的に説明すると、図２に示した判定装置１０の学習制御部３０は、火災受信機１２からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルＴＨ１に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルＴＨ２に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき火災受信機１２の火災断定操作に基づく火災断定移報信号Ｅ２が入力された場合、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。

【0117】

（非火災画像による学習）
また、学習制御部３０は、火災受信機１２からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルＴＨ１に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルＴＨ２に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で非火災であった場合には、火災受信機１２で復旧操作が行われ、復旧操作に基づく復旧移報信号が入力されることから、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して非火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。

【0118】

［第１及び第２火災検出器の検出結果の重み付け加算による火災判定］
図６は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の他の機能構成を示した説明図であり、第１及び第２火災検出器の検出結果を重み付け加算して火災を判定するようにしたことを特徴とする。

【0119】

図６に示すように、判定装置１０には、第１火災検出器２４−１と第２火災検出器２４−２が設けられ、第１火災検出器２４−１は画像入力部３２−１と多層式ニューラルネットワーク３４−１で構成され、第２火災検出器２４−２は画像入力部３２−２と多層式ニューラルネットワーク３４−２で構成されている。

【0120】

また、第２火災検出器２４−２に対しては多層式ニューラルネットワーク３４−２を学習させるため、記憶部として機能する録画装置２６、学習画像保持部２８、学習制御部３０が設けられている。

【0121】

このような構成は図２の実施形態と同じであるが、第１火災検出器２４−１と第２火災検出器２４−２の検出信号を入力した警報制御部３６が図２の実施形態と相違する。

【0122】

本実施形態の警報制御部３６は、重み乗算器７０−１、重み乗算器７０−２、加算器７２、比較器７４及び閾値設定器７６で構成される。重み乗算器７０−１は第１火災検出器２４−１の検出信号に重みＷ１を乗算し、重み乗算器７０−２は第２火災検出器２４−２の検出信号に重みＷ２を乗算する。

【0123】

ここで、第１火災検出器２４−１の多層式ニューラルネットワーク３４−１は、製造段階で標準的に予め準備された入力情報により学習され、設置場所に対応した火災の推定精度の低いことが想定されることから、例えばＷ１＝０．３といった低い重みを設定している。

【0124】

これに対し第２火災検出器２４−２の多層式ニューラルネットワーク３４−２は、製造段階で標準的に予め準備された入力情報による学習に加え、火災感知器により火災を監視している火災受信機１２による監視結果に基づき、録画装置２６の記憶されている火災や非火災の録画画像を読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に学習情報として入力して学習させていることから、設置場所に対応した火災の推定精度が高いことが想定され、例えば０．７といった高い重みを設定している。

【0125】

また、火災検出器２４の重みについては学習の量に応じて変化させるようにしても良い。学習量が少ないときは、第１火災検出器２４−１の重みを例えば１．０と大きくし、学習量が多くなったときは、第１異常検出器２４−１の重みを０．１とし、第２火災検出器２４−２の重みを０．９とし、第２火災検出器２４−２の重みを大きくする。このように学習量に応じて第２火災検出器２４−２の重みを大きくすることで、検出精度に応じて第２火災検出器２４−２への依存度を高めることができる。

【0126】

学習量としては、単純な入力情報の総和を基準としても良いが、異常の種類つまり火災検出においては火災の種類・発生箇所等を学習量の基準としても良い。種類・発生箇所の異なる火災を学習することにより、網羅的な火災検出が可能となり、より重みを持たせることが好適な火災検出器となる。

【0127】

加算器７２は重み乗算器７０−１，７０−２で重みＷ１，Ｗ２が乗算された第１火災検出器２４−１と第２火災検出器２４−２の値を加算して比較器７４に出力する。加算器７２の出力は例えば０〜１の範囲に正規化されており、閾値設定器７６は例えば閾値として０．５を設定しており、加算器７２の出力が閾値０．５以上となった場合に火災判定信号を火災受信機１２に出力して火災警報を出力させる。

【0128】

なお、加算器７２の出力から火災を判定する機能として、所定の予兆閾値とそれより大きい所定の火災閾値を設定し、加算器７２の出力が予兆閾値を超えた場合に火災予兆信号を火災受信機１２に出力して火災予兆警報を出力させ、加算器７２の出力が火災閾値を超えた場合に火災判定信号を火災受信機１２に出力して火災警報を出力させるようにしても良い。

【0129】

［センサにより火災を監視する火災監視システム］
（火災監視システムの概要）
図７はセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図である。

【0130】

図７に示すように、ビル等の施設の監視領域１４−１，１４−２にはセンサとして機能するアナログ火災感知器６０−１、６０−２が設置され、火災受信機１２から引き出された伝送路６２に接続され、シリアルデータ伝送を可能としている。アナログ火災感知器６０−１、６０−２は特に区別の必要がないときはアナログ火災感知器６０として記述する。

【0131】

アナログ火災感知器６０は検煙部により煙濃度を検出して煙濃度検出信号を出力し、火災受信機１２からの一括ＡＤ変換コマンドの送信により周期的にＡ／Ｄ変換してメモリに煙濃度データとして記憶すると共に感知器アドレスを指定した火災受信機１２からのポーリングに対し煙濃度データを送信しており、煙濃度が所定の閾値レベルを超えた場合に火災と判断し、火災割込み信号を火災受信機１２に送信して火災警報を出力させている。なお、アナログ火災感知器６０は、煙濃度以外に、温度やＣＯ濃度等を検出するものであっても良い。

【0132】

判定装置１０は多層式ニューラルネットワークを備えた第１火災検出器と第２火災検出器を備える。第１火災検出器及び第２火災検出器の多層式ニューラルネットワークは、製造段階で標準的に予め準備された入力情報としてのセンサデータにより学習されており、更に、第２火災検出器の多層式ニューラルネットワークは、火災受信機１２によりアナログ火災感知器６０から火災割込信号が受信された場合、火災発報したアナログ火災感知器６０に対応するセンサからの入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させている。

【0133】

また、判定装置１０は、アナログ火災感知器６０で検出された煙濃度データを、受信機１２を介して入力して記憶部にセンサからの入力情報として記憶している。

【0134】

火災受信機１２はアナログ火災感知器６０の火災割込信号を受信すると火災警報を出力し、また判定装置１０に火災移報信号を出力する。火災受信機１２から火災警報が出力されると、管理責任者又は防災担当者は、発報したアナログ火災感知器６０の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、火災受信機１２で火災断定操作を行う。火災受信機１２で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が判定装置１０に出力される。

【0135】

また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、火災受信機１２で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように火災受信機１２で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、火災受信機１２から判定装置１０に復旧移報信号が出力される。

【0136】

判定装置１０は火災受信機１２から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、火災割込み信号を送信したアナログ火災感知器６０の場所に対応する記憶部に記憶されている火災警報の出力に至るまでの監視領域１４のアナログ火災感知器６０により検出された煙濃度データから例えば、時系列データを生成し、これを学習情報として判定装置１０に設けられた第２火災検出器の多層式ニューラルネットワークに入力して学習させる制御を行う。

【0137】

例えば、アナログ火災感知器６０−１が火災割込み信号を送信した場合、アナログ火災感知器６０−１の時系列データを記憶部から読み出すこととなる。また、アナログ火災感知器以外のセンサをさらに備える場合には、監視領域に配置されるセンサデータが記憶部から読み出されることとなる。

【0138】

センサにより火災を監視する火災監視の入力情報については、時系列データのほかに、複数のセンサによる多項データを採用しても良いし、その組み合わせである複数のセンサの時系列データを採用するようにしても良い。

【0139】

（判定装置）
図８はアナログ火災感知器からの検出信号により火災を推定する多層式のニューラルネットワークを用いた判定装置の機能構成を示した説明図である。

【0140】

図８に示すように、判定装置１０には、第１火災検出器２４−１と第２火災検出器２４−２が設けられ、第１火災検出器２４−１は時系列データ入力部６６−１と多層式ニューラルネットワーク３４−１で構成され、第２火災検出器２４−２は時系列データ入力部６６−２と多層式ニューラルネットワーク３４−２で構成され、多層式ニューラルネットワーク３４−１，３４−２の出力は警報制御部３６に入力されている。

【0141】

第１火災検出器２４−１及び第２火災検出器２４−２の多層式ニューラルネットワーク３４−１，３４−２は、製造段階で標準的に予め準備された入力情報としての時系列データにより学習されている。

【0142】

更に、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２は、火災受信機１２によりアナログ火災感知器６０の火災発報による信号が学習制御部３０に入力された場合、火災発報したアナログ火災感知器６０に対応する入力情報として時系列データを時系列データ生成部６４の記憶部から読出し、第２火災検出器２４−２の多層式のニューラルネットワーク３４−２に火災の学習情報として入力して学習させている。

【0143】

第１火災検出器２４−１と第２火災検出器２４−２に対しては時系列データ生成部６４が設けられ、また、多層式ニューラルネットワーク３４−２を学習させるため、学習データ保持部６８と学習制御部３０が設けられている。

【0144】

本実施形態の多層式ニューラルネットワーク３４は、図３（Ａ）に示す認識部４０を構成する全結合ニューラルネットワークのみとし、特徴抽出部３８となる畳み込みニューラルネットワークは除いている。

【0145】

時系列データ生成部６４は、火災受信機１２を介してアナログ火災感知器６０で検出された煙濃度データを記憶部に記憶している。時系列データ生成部６４の記憶部に記憶される煙濃度データは、例えば、図９に示すような時間の経過に伴う煙濃度の変化を示したデータとなる。

【0146】

図９の煙濃度データは、火災による煙濃度の時間変化の一例であり、時刻ｔ０で煙濃度の上昇が始まり、時刻ｔ１で所定の火災予兆レベルＴＨ１に達し、その後、時刻ｔ２で火災レベルＴＨ２に達して火災警報が出力され、火災断定操作が行われた場合を示している。

【0147】

学習制御部３０は、火災受信機１２からの火災移報信号Ｅ１、火災断定移報信号Ｅ２及び復旧移報信号Ｅ３に基づき、火災受信機１２で火災警報が出力され場合に、時系列データ生成部６４に指示し、記憶部に記憶されている図９に示した煙濃度のセンサデータに基づき、時系列データを生成させ、第２火災検出器２４−２の時系列データ入力部６６−２を介して多層式ニューラルネットワーク３４−２に火災の時系列データとして入力し、バックプロパゲーション法により多層式ニューラルネットワーク３４−２の重みとバイアスを学習させる。

【0148】

時系列データ生成部６４による時系列データの生成は、例えば図９の時刻ｔ０から時刻ｔ１で火災予兆レベルＴＨ１に達するまでの所定単位時間Δｔごとの煙濃度データをＳ１〜Ｓ１８とすると、所定の単位時間Δｔずつシフトしながら所定時間分の周期Ｔ１，Ｔ２，・・・・Ｔ９毎の時系列データ（Ｓ１〜Ｓ１０）、（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）を生成し、学習データ保持部６８に記憶させる。

【0149】

時系列データ（Ｓ１〜Ｓ１０）、（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）による多層式ニューラルネットワーク３４−２の学習は、例えば時系列データ（Ｓ１〜Ｓ１０）による学習を例にとると、濃度値Ｓ１〜Ｓ１０を多層式ニューラルネットワーク３４−２の入力層に並列入力して行う。以下同様に残りの時系列データ（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）についても、入力層に順次並列入力することで学習を行う。

【0150】

また、学習制御部３０は、火災受信機１２によりアナログ火災感知器６０の火災発報に基づく火災移報信号Ｅ１が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、火災受信機１２で復旧操作が行われ、復旧操作に基づく復旧移報信号Ｅ３が入力されることから、図９に示した火災の時系列データの場合と同様に、非火災の時系列データを生成し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に時系列データ入力部６６−２を介して非火災の時系列データとして入力し、バックプロパゲーション法により多層式ニューラルネットワーク３４−２の重みとバイアスを学習させる。

【0151】

ここで、標準的に予め準備された入力情報により学習された第１火災検出器２４−１の多層式ニューラルネットワーク３４−１、及び標準的に予め準備された入力情報及び時系列データ生成部６４から読み出された火災時の時系列データにより学習された第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に対しては、所定の単位時間Δｔ毎に、時系列データ生成部６４により所定時間分の時系列データが生成され、時系列データ入力部６６−１，６６−２を介して並列的に入力されることで、火災が監視されることになる。

【0152】

判定装置１０は火災割込み信号を送信したアナログ火災感知器６０に対応する時系列データを入力情報とするが、第１火災検出器２４−１と第２火災検出器２４−２の組をそれぞれ感知器ごとに独立したものとする方が好適である。つまり、学習方法についてはいずれの第１火災検出器２４−１と第２火災検出器２４−２の組も同様であるが、それぞれの第１火災検出器２４−１と第２火災検出器２４−２の組には異なる入力情報を与えられ、火災の判定もそれぞれ異なる判定により行われる。これにより、設置環境に特化した学習が行われる。

【0153】

なお、図８の警報制御部３６としては、図６の警報制御部３６と同様に、第１火災検出器２４−１と第２火災検出器２４−２の検出結果の重み付け加算により火災を判定するようにしても良い。

【0154】

〔本発明の変形例〕
（警報制御部）
警報制御部３０による第１火災検出器２４−１と第２火災検出器２４−２の検出結果に基づく監視領域の火災判定として、上記の実施形態以外に、第１火災検出器２４−１と第２火災検出器２４−２の火災検出信号のオア（ＯＲ）をとることで火災警報を出力させても良いし、また第１火災検出器２４−１と第２火災検出器２４−２の検出信号のアンド（ＡＮＤ）をとることで火災警報を出力させても良い。

【0155】

また、第１火災検出器２４−１と第２火災検出器２４−２の火災検出信号のオア（ＯＲ）出力で火災予兆警報を出力させ、第１火災検出器２４−１と第２火災検出器２４−２の検出信号のアンド（ＡＮＤ）出力で火災警報（本警報）を出力させるようにしても良い。

【0156】

（盗難監視）
上記の実施形態は、火災監視を例にとっているが、盗難監視にも適用できる。盗難監視の場合には、図１の監視カメラを用いた監視システムについては、火災受信機１２を盗難受信機とし、火災感知器１８を盗難検出器とすれば良い。また、図７の監視システムでは、火災受信機１２を盗難受信機とし、アナログ火災感知器６０を盗難検出器とすれば良い。

【0157】

（不法行為の監視）
また、不法行為の事前検出にも適用できる。盗難、放火等の不法行為を行おうとする人物の動き、例えば周りを頻繁に見渡すなどの動きを学習し、不法行為を行うより先に異常検出し、警報を出力する。警報出力の方法としては、例えば監視カメラを監視する警備室のモニタ等に監視カメラの画像を表示し、当該人物を赤枠などで囲う様に表示すればよい。

【0158】

（入退室システムとの連携）
また、入退室システムとの連携により、異常な侵入等の監視についても適用できる。入退室システムは、例えばカードや指紋等で対象人物が特定の領域へ入退室可能か判定している。しかし、入退室システムでは、入室可能な人物と一緒に入室不可能なはずの人間が入室するという共連れ等の問題が発生している。上記の共連れのような不法行為について、カメラ画像と入退室システムの情報を入力として異常を学習、検出することにも適用できる。

【0159】

（火災判断根拠の明示）
上記の実施形態は、火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かった領域について強調表示する。これにより、火災検出器が火災と判断した領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。

【0160】

（放火監視）
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検知器などのセンサを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。

【0161】

（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。

【0162】

（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。

【0163】

（画像とセンサの複合）
上記の実施形態は、画像による火災監視とセンサによる火災監視をそれぞれ別形態としているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、１ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、火災検出を判定する次段以降の中間層の項に対して影響を与えるようになることが教育結果として望ましいが、火災の監視を有効にできるならこれに限らない。

【0164】

（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して判定装置の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習が多層式ニューラルネットワークに監視領域の赤外線画像を入力して火災か非火災かを判定するようにしても良い。

【0165】

このように監視領域の赤外線画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。

【0166】

（異常予兆警報からの異常警報）
上記の実施形態は、いずれかの異常検出器で異常検出すると異常予兆警報を出力するが、異常予兆警報が継続することにより異常を断定し、異常警報を行うようにしても良い。例えば、異常検出器２のみで異常を検出し続けた場合、所定の時間後に異常警報を行う。また、異常予兆警報時、監視カメラの映像等を判定装置等から管理者に表示するようにしても良い。管理者は当該表示を元に異常かどうかを判断し、異常断定または非異常断定を行うようにしても良い。

【0167】

（火災検出器の性能確認）
上記の実施形態に加え、異常検出器の異常検出精度を試験できるようにしても良い。火災等の異常をコンピュータグラフィックス等や画像合成、実際に発生させる等の方法により作成した異常状態の画像を用いて、異常検出精度の確認を行う。

【0168】

（異常検出器の選択）
上記の実施形態は、異常検出器を併用しているが、異常検出器について選択的に実行できるようにしても良い。例えば、学習した第２異常検出器が十分に火災及び非火災を検出できる状態にあるとき、学習を行わない第１異常検出器で非火災を火災と検出してしまうと管理者を煩わせることとなる。異常検出器を選択的に実行可能とすることにより、検出精度の低い異常検出器の誤報による煩わしさを防止することが可能となる。

【0169】

（入力情報の共有）
上記の実施形態は、異常検出器はそれぞれの入力情報に基づき学習を行っているが、同一システム内の別の入力情報取得端末による入力情報を元に学習を行っても良い。例えば、第１異常検出器に対応する監視カメラの撮像画像を第２異常検出器の入力情報として学習を行うようにしても良い。

【0170】

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

【符号の説明】

【0171】

１０：判定装置
１２：火災受信機
１４−１，１４−２：監視領域
１６−1，１６−２：監視カメラ
１８−１，１８−２：火災感知器
２０：信号ケーブル
２２：感知器回線
２４−１：第１火災検出器
２４−２：第２火災検出器
２６：録画装置
２８：学習画像保持部
３０：学習制御部
３２−１，３２−２：画像入力部
３４−１，３４−２：多層式ニューラルネットワーク
３６：警報制御部
３８：特徴抽出部
４０：認識部
４２：入力画像
４３，４５ａ，４５ｂ：重みフィルタ
４４ａ，４４ｂ，４４ｃ：特徴マップ
４６：入力層
４８：結合層
５０：中間層
５２：出力層
６０−１，６０−２：アナログ火災感知器
６２：伝送路
６４：時系列データ生成部
６６−１，６６−２：時系列データ入力部
６８：学習データ保持部
７０−１，７０−２：重み乗算器
７２：加算器
７４：比較器
７６：閾値設定器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】