(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特定の物理量を監視するセンサを用いた火災検出システムは、火災でない事象により監視基準が満たされた場合でも火災とみなし、正しく火災を判定できない問題があった。
【0008】
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。
【0009】
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。
【0010】
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。
【0011】
このような多層式のニューラルネットワークを、監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から火災を判定する火災検出器に設け、学習時においては多数の火災時及び非火災時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から火災か否かを高い精度で推定して警報を出力させる火災監視システムが構築可能となる。
【0012】
しかしながら、燻焼火災と有炎火災では火災として現れる事象が異なっており、炎が上がるかどうかに加え、煙の速さ、向き、色等が異なり、監視カメラにより撮像される映像が変化する。また、有炎火災においても火災の種類によって、火花の有無や炎の色、炎の上がり方などが変化する。このため燻焼火災と有炎火災を同じ火災として捉え、それぞれの火災画像を火災検出器の多層式のニューラルネットワークに入力して学習させた場合、監視カメラで撮像された火災画像が入力された場合の判定精度が落ちる恐れがあり、特に、調理による湯気や煙による非火災の事象との切り分けが困難になる虞れがある。
【0013】
本発明は、多層式のニューラルネットワークを備えた火災検出器により、火災の種類が異なっても精度高い火災を判定可能とする火災監視システムを提供することを目的とする。
【課題を解決するための手段】
【0014】
(ディープラーニングによる火災検出)
本発明は、多層式のニューラルネットワークによって構成される火災検出器を用いて、監視領域の入力情報に基づき火災を検出する火災監視システムに於いて、
火災の種類毎にディープラーニングにより学習された複数種類の火災検出器と、
入力情報を複数種類の火災検出器に入力した場合に出力される火災推定値に基づいて火災判定する火災判定部と、
が設けられたことを特徴とする。
【0017】
(重み付けによる火災判定1)
火災判定部は、複数種類の火災検出器による火災推定値の各々に火災の種類に応じた所定の重みを乗算して重み付け火災推定値を算出し、重み付け火災推定値の何れかが所定の閾値以上又は超えた場合に火災と判定する。
【0018】
(火災判定2)
火災判定部は、複数種類の火災検出器による火災推定値の総和として火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定する。
【0019】
(重み付けによる火災判定2)
火災判定部は、複数種類の火災検出器による火災推定値の各々に火災の種類に応じた所定の重みを乗算した総和として火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定する。
【0020】
(非火災検出を加えた火災判定2)
更に、非火災が学習された非火災検出器が設けられ、
火災判定部は、複数種類の火災検出器による火災推定値と非火災検出部による非火災推定値の総和から火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定する。
【0021】
(非火災検出と重み付けによる火災判定2)
更に、非火災が学習された非火災検出器が設けられ、
火災判定部は、複数種類の火災検出器による火災推定値と非火災検出部による非火災推定値に火災の種類及び非火災に応じた所定の重みを乗算した総和として火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定する。
【0022】
(火災推定値と非火災推定値)
複数種類の火災検出器の火災推定値を正の値とし、非火災検出器の非火災推定値を負の値とする。
【0023】
(環境に応じた重みの設定)
火災の種類に応じた重みは、火災の起き易さを示す監視領域の環境に応じて設定される。
【0024】
(火災の種類)
複数種類の火災検出器として、
燻焼火災が学習された燻焼火災検出器と、
油火災が学習された油火災検出器と、
電気火災が学習された電気火災検出器と、
薬品火災が学習された薬品火災検出器と、
が設けられる。
【0025】
(多層式のニューラルネットワーク)
多層式のニューラルネットワークは、
特徴抽出部と認識部で構成され、
特徴抽出部は、入力情報を入力
することで入力情報の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、
認識部は、畳み込みニューラルネットワークから出力される特徴情報を入力
することで火災
推定値を出力する全結合ニューラルネットワークとする。
【0026】
(バックプロパゲーションによる学習)
火災検出器は、多層式のニューラルネットワークに学習情報を入力した場合に出力される値と所定値の期待値との誤差に基づくバックプロパゲーションにより多層式のニューラルネットワークを学習させる。
【0027】
(火災判定根拠の明示)
火災判定部は、火災の判定に加え火災判定の根拠とした火災の種類を報知させる。
【発明の効果】
【0028】
(基本的な効果)
本発明は、多層式のニューラルネットワークによって構成される火災検出器を用いて、
監視領域の入力情報に基づき火災を検出する火災監視システムに於いて、火災の種類毎にディープラーニングにより学習された複数種類の火災検出器と、入力情報を複数種類の火災検出器に入力した場合に出力される火災推定値に基づいて火災判定する火災判定部と
、が設けられたため、監視領域で燻焼火災や有炎火災といった異なった種類の火災が発生して火災として現れる炎の有無、煙の速さ、向き、色等の事象が異なっても、監視領域で検出された入力情報が火災
の種類毎に学習された火災検出器に入力された場合、学習された火災
の種類に対応した内容の入力情報が入力された火災検出器が出力する火災推定値が高くなり、精度の高い火災判定結果を得ることができ、調理に伴う湯気や煙等の非火災の事象との切り分けが確実となり、高い信頼性が得られる。
【0029】
(入力情報の効果)
また、複数の火災検出器は、センサにより検出された物理量及び又は撮像部により撮像された監視領域の画像を入力情報として入力して火災推定値を出力するようにしたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等を学習済みの複数種類の
火災検出器に入力することで、高い精度で火災を判定可能とする。
【0030】
(火災判定1の効果)
また、火災判定部は、複数種類の火災検出器の何れかの火災推定値が所定の閾値以上又は超えた場合に火災と判定するようにしたため、学習された火災
の種類に対応した入力情報が入力された火災検出器が出力する高い火災推定値から確実に火災と判定できる。
【0031】
(重み付けによる火災判定1の効果)
また、火災判定部は、複数種類の火災検出器による火災推定値の各々に火災の種類に応じた所定の重みを乗算して重み付け火災推定値を算出し、重み付け火災推定値の何れかが所定の閾値以上又は超えた場合に火災と判定するようにしたため、学習された火災
の種類に対応した
入力情報が入力された火災検出器が出力する高い火災推定値が重み付けにより更に強調され、より確実に火災と判定できる。
【0032】
(火災判定2の効果)
また、火災判定部は、複数種類の火災検出器による火災推定値の総和として火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定するようにしたため、学習された火災
の種類に対応した
入力情報が入力された火災検出器が出力する高い火災推定値に火災
の種類の異なる他の火災検出器の出力する火災推定値を加算した総和を火災尤度として求めて火災を判定することで、精度良く火災が判定されると共に、非火災の事象との切り分けが確実となり、非火災の事象を誤って火災と判定することを確実に防止できる。
【0033】
(重み付けによる火災判定2の効果)
また、火災判定部は、複数種類の火災検出器による火災推定値の各々に火災の種類に応じた所定の重みを乗算した総和として火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定するようにしたため、学習された火災
の種類に対応した
入力情報が入力された火災検出器が出力する高い火災推定値に重み付けし、火災
の種類の異なる他の火災検出器の出力する火災推定値にも重みづけて、これらの総和を火災尤度として求めて火災を判定することで、更に精度良く火災が判定されると共に、非火災の事象との切り分けが更に確実となり、非火災の事象を誤って火災と判定することを確実に防止できる。
【0034】
(非火災検出を加えた火災判定2の効果)
更に、非火災が学習された非火災検出器が設けられ、火災判定部は、複数種類の火災検出器による火災推定値と非火災検出部による非火災推定値の総和から火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定するようにしたため、非火災の事象との切り分けが更に確実となり、非火災の事象を誤って火災と判定することを確実に防止できる。
【0035】
(非火災検出と重み付けによる火災判定2)
更に、非火災が学習された非火災検出器が設けられ、火災判定部は、複数種類の火災検出器による火災推定値と非火災検出部による非火災推定値に火災の種類及び非火災に応じた所定の重みを乗算した総和として火災尤度を算出し、火災尤度が所定の閾値以上又は超えた場合に火災と判定するようにしたため、非火災の事象との切り分けがより一層確実なものとなり、非火災の事象を誤って火災と判定することを確実に防止できる。
【0036】
(火災推定値と非火災推定値の効果)
また、複数種類の火災検出器の火災推定値を正の値とし、非火災検出器の非火災推定値を負の値とするようにしたため、複数種類の火災推定値と非火災推定値の総和又は重み付け総和として求める火災尤度の値が火災の場合はより高く、非火災の事象の場合はより低くなり、精度良く火災と判定できると共に非火災の事象との切り分けを確実にできる。
【0037】
(環境に応じた重みの設定による効果)
また、火災の種類に応じた重みは、火災の起き易さを示す監視領域の環境に応じて設定されたため、火災が起きやすい火災環境であれば大きい重みが設定され、火災が起きにくい火災環境であれば小さい重みが設定され、火災が起きやすい環境か火災が起きにくい環境かに応じて精度の高い火災判定が可能となる。例えば、ボイラー室のように油を使用している場所では油火災を学習した火災検出器に対する重み付けを高くし、サーバ室等では電気火災を学習した火災検出器に対する重み付けを高くし、薬品倉庫等では薬品火災を学習した火災検出器に対する重み付けを高くすることで、監視領域の環境に応じた重み設定により、精度の高い火災判定を可能とする。
【0038】
(火災の種類
による効果)
複数種類の火災検出器として、燻焼火災が学習された燻焼火災検出器と、油火災が学習された油火災検出器と、電気火災が学習された電気火災検出器と、薬品火災が学習された薬品火災検出器とが設けられたため、火災の種類が燻焼火災、油火災、電気火災、薬品火災というように異なっても、火災の種類により影響されることなく、精度良く火災を判定することができる。
【0039】
(多層式のニューラルネットワークの機能構成による効果)
また、多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、特徴抽出部は、監視領域の入力情報を入力
することで入力情報の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、認識部は、畳み込みニューラルネットワークから出力される特徴情報を入力
することで火災
推定値を出力する全結合ニューラルネットワークとするようにしたため、畳み込みニューラルネットワークにより特徴が自動的に抽出されることで、監視領域の入力情報から前処理により火災入力情報の特徴、例えば、画像に於いては輪郭等を抽出するような前処理を必要とすることなく入力情報の特徴が抽出され、引き続いて行う認識部により高い精度で火災を推定可能とする。
【0040】
(バックプロパゲーションによる学習の効果)
火災検出器は、多層式のニューラルネットワークに
学習情報を入力した場合に出力される値と所定値の期待値との誤差に基づくバックプロパゲーション(誤差逆伝播)により多層式のニューラルネットワークを学習させるようにしたため、火災の種類毎に準備された多数の入力情報を火災入力情報として入力した場合に、出力の期待値として火災の推定値を与えてバックプロパゲーション処理により出力値と期待値の誤差を最小とするように多層式のニューラルネットワークにおけるウェイト(重み)とバイアスが学習され、入力情報からより高い精度で火災を推定して警報可能とする。
【0041】
同様に、予め準備された非火災入力情報を入力した場合に、出力の期待値として非火災の推定値を与えてバックプロパゲーション処理により出力値と期待値の誤差を最小とするように多層式のニューラルネットワークにおける重みとバイアスが学習され、入力情報からより高い精度で非火災を推定して誤報を確実に防止可能とする。
【0042】
(火災判断根拠の明示による効果)
また、火災判定部は、火災の判定に加え火災判定の根拠とした火災の種類を報知させるようにしたため、発生した火災の種類がわかることで、火災の種類に対応した消火活動や避難指示を行うことを可能とする。
【発明を実施するための形態】
【0044】
[火災監視システムの概要]
図1は火災監視システムの実施形態を示した説明図である。
図1に示すように、ビル等の施設の監視領域14には撮像部として機能する監視カメラ16が設置され、監視領域14を監視カメラ16により動画撮像している。監視カメラ16はRGBのカラー画像を例えば30フレーム/秒で撮像して動画として出力する。また、1フレームは例えば縦横4056×4056ピクセルの画素配置となる。
【0045】
また、監視領域14にはそれぞれオンオフ型の火災感知器18が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。
【0046】
監視領域14に対し施設の防災監視センターや管理人室等には、火災判定装置10と火災報知設備の火災受信機12が設置されている。なお、火災判定装置10と
火災受信機12は一体としても良い。火災判定装置10には監視領域14に設置された監視カメラ16が信号ケーブル22により接続されており、監視カメラ16で撮像された動画画像を入力している。
【0047】
火災受信機12からは監視領域14に感知器回線25が引き出され、感知器回線25単位に火災感知器18が接続されている。
【0048】
火災判定装置10には、燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4及び非火災検出器20−5が設けられ、それぞれ多層式ニューラルネットワークを備えている。なお、以下の説明では、燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4を複数種類の火災検出器20−1〜20−4という場合がある。
【0049】
燻焼火災検出器20−1の
多層式ニューラルネットワークは燻焼火災が学習されており、油火災検出器20−2の
多層式ニューラルネットワークは油火災が学習されており、電気火災検出器20−3の
多層式ニューラルネットワークは電気火災が学習されており、薬品火災検出器20−4の
多層式ニューラルネットワークは薬品火災が学習されており、更に、非火災検出器20−5の
多層式ニューラルネットワークは非火災が学習されている。
【0050】
燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4及び非火災検出器20−5には監視カメラからの信号ケーブルが分岐して入力され、監視カメラ16から送られてきた動画画像をフレーム単位に入力して燻焼火災推定値、油火災推定値、電気火災推定値、薬品火災推定値及び非火災推定値を判定部24に出力する。
【0051】
判定部24は燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4及び非火災検出器20−5から出力された燻焼火災推定値W、油火災推定値X、電気火災推定値Y、薬品火災推定値Z及び非火災推定値Nを読み込み、これらの
推定値に基づいて火災を判定した場合は火災判定信号を火災受信機12に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。なお、以下の説明では、燻焼火災推定値W、油火災推定値X、電気火災推定値Y、薬品火災推定値Zを複数種類の火災推定値W,X,Y,Zという場合がある。
【0052】
判定部24による火災判定の実施形態として、燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4及び非火災検出器20−5から出力された燻焼火災推定値W、油火災推定値X、電気火災推定値Y、薬品火災推定値Z、及び非火災推定値Nを加算した総和として火災尤度Lを
算出する。
【0053】
ここで燻焼火災推定値W、油火災推定値X、電気火災推定値Y、薬品火災推定値Zは正の値をもち、非火災推定値Nは負の値をもつことから、火災尤度Lは、
L=W+X+Y+Z+
N (1)
として算出される。そして、判定部24は、火災尤度Lが所定の閾値Lthを超えた場合に火災と判定する。
【0054】
また、判定部24による火災判定の他の実施形態として、燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4及び非火災検出器20−5から出力されたつ燻焼火災推定値W、油火災推定値X、電気火災推定値Y、薬品火災推定値Z、及び非火災推定値
Nに、火災の種類及び非火災に応じた所定の重みa,b,c,d,eを乗算をした総和として火災尤度Lを
L=Wa+Xb+Yc+Zd+
Ne (2)
として算出し、火災尤度Lが所定の閾値Lthを超えた場合に火災と判定する。
【0055】
ここで、燻焼火災推定値W、油火災推定値X、電気火災推定値Y、薬品火災推定値
Z及び非火災推定値Nを重み付けする重みa,b,c,d,eは、火災の起き易さを示す監視領域14の環境に応じて設定される。
【0056】
例えば、監視領域14に燻焼火災の要因となる火源や布等が存在する場合には、燻焼火災推定値Wに対する重みaが例えばa=2に設定され、それ以外の重みb〜eは1又は1より小さい値に設定される。また、監視領域14がボイラー室のように油を使用している場合には、油火災推定値Xに対する重みbが例えばb=2に設定され、それ以外の重みa,c〜eは1又は1より小さい値に設定される。
【0057】
また、監視領域14がサーバ室の場合には、電気火災推定値Yに対する重みcが例えばc=2に設定され、それ以外の重みa,b,d,eは1又は1より小さい値に設定される。また、監視領域14が薬品保管室や実験室の場合には、薬品火災推定値Zに対する重みdが例えばd=2に設定され、それ以外の重みa〜c,eは1又は1より小さい値に設定される。
【0058】
更に、監視領域14に火災原因となる機器や物がない場合には、非火災推定値Nに対する重みeが例えばe=2に設定され、それ以外の重みa〜dは1又は1より小さい値に設定される。
【0059】
このように監視領域14の環境が火災が起きやすい環境か起きにくい環境かに応じて各火災推定値に対する重みが設定され、火災が起きやすい環境であれば、その火災推定値による火災尤度Lへの寄与の度合いを大きくし、逆に火災が起きにくい環境であれば、その火災推定値による火災尤度Lへの寄与の度合いを小さくし、より精度の高い火災判定を可能とする。
【0060】
[火災判定装置]
(火災判定装置の機能構成)
図2は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた燻焼火災検出器の機能構成を示した説明図である。
【0061】
図2に示すように、燻焼火災検出器20−1は、画像入力部26、多層式ニューラルネットワーク28、学習画像保持部30及び学習制御部32で構成され、これらの機能は、ニューラルネットワークの処理に対応したコンピュータ回路のCPUによるプログラムの実行により実現される。
【0062】
燻焼火災検出器20−1は監視カメラ16で撮像された監視領域の画像を、画像入力部26を介して多層式ニューラルネットワーク28に入力し、燻焼火災推定値Wを出力する。
【0063】
学習制御部32は、図示しない録画装置等から燻焼火災の動画を読み出して学習画像保持部30に一時的に記憶保持させ、学習画像保持部30に保持された動画からフレーム単位に画像を順次読み出し、画像入力部26を介して多層式ニューラルネットワーク28に教師ありの燻焼火災画像として入力し、例えばバックプロパゲーション法(誤差逆伝播法)等の学習法により多層式ニューラルネットワーク28の重みとバイアスを学習させる。
【0064】
この教師ありの燻焼火災の画像を用いて学習の済んだ多層式ニューラルネットワーク28に、監視カメラ16で撮像された監視領域の燻焼火災の画像を入力すると、燻焼火災の画像に対応した燻焼火災推定値Wが出力される。この燻焼火災検出器20−1から出力される燻焼火災推定値Wは学習に用いたと同様な燻焼火災の画像の場合は燻焼
推定値
Wが1又は1に近い値となり、燻焼火災以外の火災画像の場合は燻焼
推定値Wは1より小さい値となり、非火災画像の場合は燻焼火災推定値
Wが0又は0に近い値となる。
【0065】
図1に示した油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4も
図2に示した燻焼火災検出器20−1と同様に、画像入力部26、多層式ニューラルネットワーク28、学習画像保持部30及び学習制御部32で構成され、学習制御部32は、油火災、電気火災、又は薬品火災の動画を学習画像保持部30に一時的に記憶保持させ後にフレーム単位に画像を順次読み出して多層式ニューラルネットワーク28に教師ありの油火災、電気火災、又は薬品火災の画像として入力しバックプロパゲーション法(誤差逆伝播法)等の学習法により多層式ニューラルネットワーク28の重みとバイアスを学習させる。
【0066】
この教師ありの油火災、電気火災、又は薬品火災の画像を用いて学習の済んだ多層式ニューラルネットワーク28に、監視カメラ16で撮像された監視領域の油火災、電気火災、又は薬品火災の画像を入力すると、それぞれの火災
の種類の画像に対応した油火災推定値X、電気火災推定値Y又は薬品火災推定値Zが出力される。この油火災検出器20−2、電気火災検出器20−3又は薬品火災検出器20−4から出力される油火災推定値X、電気火災推定値Y又は薬品火災推定値Zは、学習に用いたと同様な火災
の種類の画像の場合は火災推定値X,Y,Zは1又は1に近い値となり、学習した火災
の種類以外の火災画像の場合は火災推定値X,Y,Zは1より小さい値となり、非火災画像の場合は火災推定値X,Y,Zは0又は0に近い値となる。
【0067】
例えば、炎が上がらずに煙のみが生じるような場合は燻焼火災推定値Wが突出した値となり、炎が上がり黒煙を生じるような場合は油火災推定値Xが突出した値となり、火花が散ったような場合は電気火災推定値Yが突出した値となり、赤色以外の炎が上がるような場合は薬品火災推定値Zが突出した値となることが期待される。
【0068】
[多層式ニューラルネットワーク]
図3は
図2に示した多層式ニューラルネットワークの機能構成を示した説明図であり、
図3(A)に概略を示し、
図3(B)に詳細を模式的に示している。
【0069】
図3(A)に示すように、本実施形態の多層式ニューラルネットワーク28は、特徴抽出部38と認識部40で構成される。特徴抽出部38は畳み込みニューラルネットワークであり、認識部40は全結合ニューラルネットワークである。
【0070】
多層式ニューラルネットワーク28は、深層学習(ディープラーニング)を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
【0071】
通常のニューラルネットワークは、画像から火災を判定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク28では、特徴抽出部38として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部40の全結合ニューラルネットワークに入力して火災か非火災かを識別する。
【0072】
認識部40の全結合ニューラルネットワークは、
図3(B)に模式的に示すように、入力層46
、中間層50と全結合48の繰り返し、及び出力層52で構成されている。
【0073】
(畳み込みニューラルネットワーク)
図3(B)は特徴抽出部38を構成する畳み込みニューラルネットワークの構造を模式的に示している。
【0074】
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ(カーネル)
と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
【0075】
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
【0076】
畳み込みニューラルネットワークは、
図3(B)に示すように、まず、入力画像42に対し重みフィルタ43により畳み込み処理を行う。例えば、重みフィルタ43は縦横3×3の所定の重み付けがなされた行列フィルタであり、入力画像42の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像42の9画素を小区域となる
特徴マップ44aの1画素に畳み込み、複数の特徴マップ44aが生成される。
【0077】
続いて、畳み込み演算により得られた特徴マップ44aに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
【0078】
続いて、重みフィルタ45a,45bを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ44b,44cが得られ、最後の層の特徴マップ44cを認識部40に入力し、通常の全結合ニューラルネットワークを用いた認識部40により火災か非火災かを推定する。
【0079】
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
【0080】
[多層式ニューラルネットワークの学習]
(バックプロパゲーション)
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットにはウェイト(重み)とバイアス値が設定され、複数の入力値とウェイトとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。
【0081】
このようなニューラルネットワークのウェイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値xと期待される出力値(期待値)yというデータセットをネットワークに与えた場合の教師ありの学習と、入力値xのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
【0082】
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値y*と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
【0083】
バックプロパゲーションでは、推定値y*と期待値yの誤差の大きさを使い、ネットワークの後方から前方までウェイトとバイアスを補正しながら値を伝播させる。各ウェイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウェイトとバイアスの値を変更することにより、誤差関数の値を最小化する。
【0084】
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) ウェイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
【0085】
この手順は、ニューラルネットワークのウェイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値xと期待値yの組み合わせを使って繰り返し、誤差関数の値を最小化する。
【0086】
[複数種類の火災推定値に基づく火災判定]
(火災推定値の総和に基づく火災判定)
図4は
図1の判定部による火災判定処理の実施形態を示したフローチャートである。
図4に示すように、判定部24は、ステップS1で燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3及び薬品火災検出器20−4から出力された複数種類の火災推定値W,X,Y,Zを読み込み、続いて、ステップS2で非火災検出器20−5から出力された非火災推定値
Nを読み込み、ステップS3で火災尤度Lを前記(1)式に従って算出する。
【0087】
続いて、判定部24はステップS4で火災尤度Lを所定の閾値Lthと比較し、閾値Lth以上(又は閾値Lth超え)を判別した場合はステップS5に進み、火災判定信号を火災受信機12に出力し、火災予兆警報等を出力させる。
【0088】
ここで、火災推定値を
0〜1の範囲の値とすると、燻焼火災の画像が入力した場合、例えば
燻焼火災推定値W=1.0
油火災推定値 X=0.4
電気火災推定値Y=0.3
薬品火災推定値Z=0.3
非火災推定値 N=−0.1
となり、この場合、火災尤度LはL=1.9なり、例えば閾値LthをLth=0.5に設定しておくことで、火災を確実に判定することができる。
【0089】
一方、非火災の画像が入力した場合には、例えば
燻焼火災推定値W=0.1
油火災推定値 X=0.0
電気火災推定値Y=0.0
薬品火災推定値Z=0.1
非火災推定値 N=−1.0
となり、この場合、火災尤度LはL=−0.8となり、閾値Lth=0.5に対し十分な差が生ずることで、非火災を誤って火災と判定してしまうことが確実に防止できる。
【0090】
続いて判定部24はステップS6に進み、ステップS3〜S4の処理で火災判定の根拠となった火災の種類、即ち火災推定値W〜Zの内の最も高い値となる燻焼火災、油火災、電気火災又は薬品火災のいずれかを例えば火災受信機12のディスプレイ上に表示させる制御を行う。このように火災判定の主要因となった火災の種類が表示されることで、燻焼火災、油火災、電気火災、又は薬品火災に対応した消火活動や避難誘導が適切に行われることが可能となる。
【0091】
(火災推定値の重み付け総和に基づく火災判定)
図5は
図1の判定部による火災判定処理の他の実施形態を示したフローチャートである。
図5に示すように、判定部24は、ステップS11で複数種類の火災検出器20−1〜20−4から出力された複数種類の火災推定値W,X,Y,Zを読み込み、続いて、ステップS12で非火災検出器20−5から出力された非火災推定値
Nを読み込む。
【0092】
続いて判定部24はステップS13に進み、複数種類の火災推定値W,X,Y,Z及び非火災推定値Nに予め設定された重みa,b,c,d,eを乗算して重み付けした火災推定値
及び非火災推定値Wa,Xb,Yc,Zd,Neを求める。続いて判定部24は
ステップS14で、前記(2)式に従い、重み付け火災推定値
及び非火災推定値Wa,Xb,Yc,Zd,Neの総和を火災尤度Lとして求める。
【0093】
例えば判定部24は、監視領域14の火災の起き易さに対応して重みa〜eを設定しており、例えばサーバ室の電気火災を監視する場合、電気火災に対する重みcは例えばc=2.0に設定され、それ以外の火災
の種類に対する重みa,b,dは、それぞれ1に設定され、更に、非火災に対する
重みeもe=1に設定される。
【0094】
ここで、電気火災の画像が入力した場合i、例えば
燻焼火災推定値W=0.3
油火災推定値 X=0.4
電気火災推定値Y=1.0
薬品火災推定値Z=0.3
非火災推定値 N=−0.1
が得られたとすると、重み付けされた火災推定値は、
Wa=0.3
Xb=0.4
Yc=2.0
Zd=0.3
Ne=−0.1
となる。この場合、前記(2)式に従って算出される火災尤度LはL=2.9となる。
【0095】
続いて、判定部24はステップS15で火災尤度Lが所定の閾値Lthと比較し、閾値Lth以上(又は閾値Lth超え)を判別した場合はステップS16に進み、火災判定信号を火災受信機12に出力し、火災予兆警報等を出力させる。この場合、例えば閾値LthをLth=1.5と高めに設定しておくことで、火災を確実に判定することができる。
【0096】
一方、非火災の画像が入力した場合には、例えば
燻焼火災推定値W=0.1
油火災推定値 X=0.0
電気火災推定値Y=0.0
薬品火災推定値Z=0.1
非火災推定値 N=−1.0
が得られたとすると、重み付けされた火災推定値は、
Wa=0.1
Xb=0.0
Yc=0.0
Zd=0.1
Ne=―1.0
となる。
【0097】
この場合、火災尤度LはL=−0.8となり、閾値Lth=1.5に対し十分な差が生ずることで、非火災を誤って火災と判定してしまうことが確実に防止できる。
【0098】
続いて判定部24はステップS17に進み、ステップS13〜S15の処理で火災判定の主要因となった火災
の種類、即ち火災推定値W〜Zの内の最も高い値となる燻焼火災、油火災、電気火災又は薬品火災のいずれかを火災判定の根拠として例えば火災受信機12のディスプレイ上に表示させる制御を行う。このように火災判定の根拠となった火災
の種類が表示されることで、燻焼火災、油火災、電気火災、又は薬品火災に対応した消火活動や避難誘導が適切に行われることが可能となる。
【0099】
[火災監視システムの他の実施形態]
図6は火災監視システムの他の実施形態を示した説明図である。
図6に示すように、本実施形態にあっては、火災判定装置10に、燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3及び薬品火災検出器20−4が設けられており、
図1の実施形態とは非火災検出器20−5が設けられていない点で相違する。それ以外の構成及び機能は、判定
部24を除き、
図1の実施形態と同じになる。
【0100】
(複数種類の火災推定値の閾値比較による火災判定)
判定部24による火災判定の実施形態として、燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3、薬品火災検出器20−4から出力された複数種類の火災推定値W,X,Y,Zの何れかが所定の閾値TH以上又は超えた場合に火災と判定して火災
判定信号を出力させる。
【0101】
図7は
図6の判定部による火災判定処理の実施形態を示したフローチャートである。
図7に示すように、判定部24は、ステップS21で燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3及び薬品火災検出器20−4から出力された複数種類の火災推定値W,X,Y,Zを読み込み、続いて、ステップS22で所定の閾値
THと比較し、ステップS23で閾値
TH以上(又は閾値
TH超え)を判別した場合はステップS24に進み、火災判定信号を火災受信機12に出力し、火災予兆警報等を出力させる。
【0102】
続いて判定部24はステップS25に進み、ステップS22〜S23で火災判定の主要因となった火災
の種類、即ち火災推定値W〜Zの内の最も高い値となる燻焼火災、油火災、電気火災又は薬品火災のいずれかを火災主要因として例えば火災受信機12のディスプレイ上に表示させる制御を行う。
【0103】
(火災推定値の総和に基づく火災判定)
図8は
図6の判定部による火災判定処理の他の実施形態を示したフローチャートである。
図8に示すように、判定部24は、ステップS31で燻焼火災検出器20−1、油火災検出器20−2、電気火災検出器20−3及び薬品火災検出器20−4から出力された複数種類の火災推定値W,X,Y,Zを読み込む。
【0104】
続いて判定部24はステップS32
で火災推定値W,X,Y,Z
の総和として火災尤度Lを求め、ステップS33で
火災尤度Lを所定の閾値Lthと比較し、閾値Lth以上(又は閾値Lth超え)を判別した場合はステップS34に進み、火災判定信号を火災受信機12に出力し、火災予兆警報等を出力させる。
【0105】
続いて判定部24はステップS35に進み、ステップS32〜S33で火災判定の主要因となった火災
の種類、即ち火災推定値W〜Zの内の最も高い値となる燻焼火災、油火災、電気火災又は薬品火災のいずれかを火災主要因として例えば火災受信機12のディスプレイ上に表示させる制御を行う。
【0106】
(火災推定値の重み付け総和に基づく火災判定)
図9は
図6の判定部による火災判定処理の他の実施形態を示したフローチャートである。
図9に示すように、判定部24は、ステップS41で複数種類の火災検出器20−1〜20−4から出力された複数種類の火災推定値W,X,Y,Zを読み込み、続いてステップS
42に進み、複数種類の火災推定値W,X,Y,Zに予め設定された所定の重みa,b,c,dを乗算して重み付けした火災推定値Wa,Xb,Yc,Zdを求める。なお、重みa,b,c,dは監視領域14の火災の起き易さに対応して設定されている。
【0107】
続いて判定部24は、ステップS43で重み付け火災推定値Wa,Xb,Yc,Zdの総和として火災尤度Lを、
L=Wa+Xb+Yc+Zd
として求める。
【0108】
続いて判定部24はステップS44で火災尤度Lを所定の閾値Lthと比較し、閾値Lth以上(又は閾値Lth超え)を判別した場合はステップS45に進み、火災判定信号を火災受信機12に出力し、火災予兆警報等を出力させる。
【0109】
続いて判定部24はステップS46に進み、ステップS42〜S44で火災判定の主要因となった火災
の種類、即ち火災推定値W〜Zの内の最も高い値となる燻焼火災、油火災、電気火災又は薬品火災のいずれかを火災主要因として例えば火災受信機12のディスプレイ上に表示させる制御を行う。
【0110】
重みa,b,c,dは使用者が設定できるものとしても良い。この場合は、代表的な環境に応じてプリセット値を記憶させておき、ユーザは設置する環境を選択するだけで設定が反映されるようにすることが好適である。
【0111】
例えば、
{環境:ボイラー室 a=0.5,b=
2.0,c=0.5,d=0.5}
{環境:コインランドリー a=
2.0,b=0.5,c=0.5,d=0.5}
{環境:サーバルーム a=0.5,b=0.5,c=
2.0,d=0.5}
等がプリセット値として記憶される。
【0112】
また、システムに対して予め火災の種類に応じた火災の発生要因を画像として学習させ、システムが現場の画像に基づき火災の発生要因を識別した上で、火災の種類ごとに発生要因が含まれるかどうかで重みa,b,c,dを設定するものとしても良い。プリセット値や、システムが自動で重みを設定したうえで使用者が修正できるものがより好適である。
【0113】
〔本発明の変形例〕
(学習機能)
上記の実施形態に示した火災検出器は、
多層式ニューラルネットワークの学習機能を備えた場合を例にとっているが、
多層式ニューラルネットワークの学習は、学習機能を備えたサーバ等の別のコンピュータ設備を使用して行い、その結果得られた学習済みの
多層式ニューラルネットワークを火災検出器に実装して使用するようにしても良い。
【0114】
(火災
の種類)
上記の実施形態は、火災判定装置に燻焼火災検出器、油火災検出器、電気火災検出器及び薬品火災検出器を設けた場合を例にとっているが、この内、少なくとも2種類の火災検出器を備えればよい。
【0115】
また、複数種類の火災検出器としては、燻焼火災検出器、油火災検出器、電気火災検出器及び薬品火災検出器に限定されず、これ以外の種類の火災検出器でもよく、また、監視領域の種類、例えば、厨房、事務室、ボイラー室等の種類に対応した火災検出器としても良い。
【0116】
(放火監視)
上記の実施形態は、
監視領域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検出器などのセンサを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。
【0117】
(特徴抽出)
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
【0118】
(学習方法について)
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層
式ニューラルネットワークの学習方法はこれに限らない。
【0119】
(画像とセンサの複合)
上記の実施形態は、画像による火災監視を例にとっているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、1ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、火災検出を判定する次段以降の中間層の項に対して影響を与えるようになることが教育結果として望ましいが、火災の監視を有効にできるならこれに限らない。
【0120】
(赤外線照明と赤外線画像の撮像)
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して火災検出器の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習済みの多層式ニューラルネットワークに監視領域の赤外線画像を入力して火災か非火災かを判定するようにしても良い。
【0121】
このように監視領域の赤外線画像を火災検出器に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。
【0122】
(その他)
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。