特開 2024-39883 煙検出装置、該方法および該プログラム、ならびに、煙検出用モデル学習装置、該方法および該プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039883

(43)【公開日】2024-03-25

(54)【発明の名称】煙検出装置、該方法および該プログラム、ならびに、煙検出用モデル学習装置、該方法および該プログラム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240315BHJP

   G06T 7/00 20170101ALI20240315BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022144593

(22)【出願日】2022-09-12

(71)【出願人】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】山中 夏生

(72)【発明者】

【氏名】片山 亮

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096EA06

5L096HA04

5L096HA11

5L096KA04

(57)【要約】

【課題】本発明は、検出精度を向上できる煙検出装置およびこれに用いる機械学習モデルを学習する煙検出用モデル学習装置並びにこれらの各方法及び各プログラムを提供する。
【解決手段】本発明の煙検出装置は、検出対象の画像を取得し、この画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデル３０を用いることによって、前記煙の有無を判定する。機械学習モデル３０は、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、これらの各出力を結合する第３レイヤとを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

検出対象の画像を取得する画像取得部と、
前記画像取得部で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定部とを備え、
前記機械学習モデルは、
第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、
前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、
前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える、
煙検出装置。

【請求項2】

時系列な複数の画像から、画素ごとに、前記複数の画像間における移動方向および移動速度を求め、前記求めた移動方向および移動速度を画素値として持つ画像を時間情報画像として生成する移動成分処理部を備え、
前記第１特徴量抽出モデルの第１レイヤには、前記第１画像が入力され、
前記第２特徴量抽出モデルの第２レイヤには、前記移動成分処理部で前記第１画像および前記１または複数の第２画像から生成した時間情報画像が入力される、
請求項１に記載した煙検出装置。

【請求項3】

画像を平滑化した平滑化画像を空間情報画像として生成する平滑化処理部を備え、
前記第１特徴量抽出モデルの第１レイヤには、前記平滑化処理部で前記第１画像から生成した空間情報画像が入力される、
請求項２に記載の煙検出装置。

【請求項4】

検出対象の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定工程とを備え、
前記機械学習モデルは、
第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、
前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、
前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える、
煙検出方法。

【請求項5】

コンピュータを、
検出対象の画像を取得する画像取得部、および、
前記画像取得部で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定部として機能させる煙検出プログラムであって、
前記機械学習モデルは、
第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、
前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、
前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える、
煙検出プログラム。

【請求項6】

学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習装置であって、
前記機械学習モデルは、
第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、
前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、
前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備え、
前記学習データは、前記第１画像と、前記１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備え、
前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像である、
煙検出用モデル学習装置。

【請求項7】

学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習方法であって、
前記機械学習モデルは、
第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、
前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、
前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備え、
前記学習データは、前記第１画像と、前記１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備え、
前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像である、
煙検出用モデル学習方法。

【請求項8】

学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習装置おしてコンピュータを機能させる煙検出用モデル学習プログラムであって、
前記機械学習モデルは、
第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、
前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、
前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備え、
前記学習データは、前記第１画像と、前記１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備え、
前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像である、
煙検出用モデル学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出対象の空間を写し込んだ画像に基づき機械学習モデルによって煙の有無を検出する煙検出装置、煙検出方法および煙検出プログラムに関する。そして、本発明は、前記機械学習モデルを学習する煙検出用モデル学習装置、煙検出用モデル学習方法および煙検出用モデル学習プログラムに関する。

【背景技術】

【0002】

例えば火災の早期発見、工場の操業の状況を早期に察知するために、排出煙の監視が有効な場合がある。例えば、火災や過負荷等の何らかの変化が起きると、黒っぽい色や茶色っぽい色や赤っぽい色等に着色した排出煙が観察されるという変化がある。このような煙の有無を検出する技術は、例えば、特許文献１および特許文献２に開示されている。

【0003】

この特許文献１に開示された煙検出装置は、映像の複数のフレームの画像から前景ブロックを検出する前景検出手段と、検出された各前景ブロックの移動領域を決定するブロック追跡手段と、各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定する計算手段と、前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するブロック除去手段と、前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出する煙検出手段と、を含む。前記前景検出手段は、フレーム差、背景減算およびオプティカルフロー等のアルゴリズムを用いて前景ブロックを検出する（前記特許文献１の［００２７］段落等）。

【0004】

前記特許文献２に開示された監視システムは、複数の火災報知装置と、前記複数の火災報知装置それぞれとインターネットを介して通信可能に接続されるサーバとを備える。前記火災報知装置は、監視カメラから送られてきた動画画像をフレーム単位で学習済みの多層式ニューラルネットワークに入力し、前記学習済みの多層式ニューラルネットワークによって火災を推定し、また前記動画画像を前記サーバ１２へアップロードする。前記サーバ１２は、各火災報知装置１０からアップロードされた各動画画像を入力情報として別の多層式ニューラルネットワークを学習し、この学習した多層式ニューラルネットワークを火災報知装置１０にダウンロードし、前記学習済みの多層式ニューラルネットワークを更新する。前記多層式ニューラルネットワークの学習では、環境によって発生する火災の種類が異なるため、類似環境での動画画像が前記入力情報として用いられる（前記特許文献２の［００３７］段落等）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１０２２１２号公報

【特許文献2】特開２０２１－１１９４６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

前記特許文献１に開示された煙検出装置では、前景検出手段による前景ブロックの検出精度に煙の検出精度が依存する。前記前景検出手段は、フレーム差、背景減算およびオプティカルフロー等のアルゴリズムを用いて前景ブロックを検出するので、背景が透けるような煙を検出し難い虞がある。

【0007】

前記特許文献２に開示された監視システムでは、フレーム単位で、すなわち、静止画で、多層式ニューラルネットワークが学習され、煙が検出されているので、背景が透けるような煙を検出し難い虞があり、また色や形が煙に類似する雲等が誤検知されてしまう虞がある。そして、前記特許文献２に開示された監視システムでは、類似環境での動画画像で前記多層式ニューラルネットワークを学習するので、類似環境では高い検出精度で煙を検出できることが期待されるが、類似環境でなければ検出精度が低下してしまう虞がある。

【0008】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、検出精度を向上できる煙検出装置、煙検出方法および煙検出プログラム、ならびに、これらに用いられる機械学習モデルを学習する煙検出用モデル学習装置、煙検出用モデル学習方法および煙検出用モデル学習プログラムを提供することである。

【課題を解決するための手段】

【0009】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる煙検出装置は、検出対象の画像を取得する画像取得部と、前記画像取得部で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定部とを備え、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える。好ましくは、上述の煙検出装置において、前記画像取得部は、前記検出対象の画像を生成する撮像部を備え、前記第１検出タイミングは、今回の検出タイミングであり、煙検出装置は、繰り返し煙の有無を検出する。

【0010】

このような煙検出装置は、第１検出タイミングでの第１画像だけでなく、前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するので、検出精度を向上できる。

【0011】

他の一態様では、上述の煙検出装置において、時系列な複数の画像から、画素ごとに、前記複数の画像間における移動方向および移動速度を求め、前記求めた移動方向および移動速度を画素値として持つ画像を時間情報画像として生成する移動成分処理部を備え、前記第１特徴量抽出モデルの第１レイヤには、前記第１画像が入力され、前記第２特徴量抽出モデルの第２レイヤには、前記移動成分処理部で前記第１画像および前記１または複数の第２画像から生成した時間情報画像が入力される。好ましくは、上述の煙検出装置において、前記移動成分処理部は、前記複数の画像間におけるオプティカルフローを求めることで前記移動方向および前記移動速度を求める。

【0012】

このような煙検出装置は、移動方向および移動速度を用いるので、動きを考慮して煙の有無を判定できる。

【0013】

他の一態様では、上述の煙検出装置において、画像を平滑化した平滑化画像を空間情報画像として生成する平滑化処理部を備え、前記第１特徴量抽出モデルの第１レイヤには、前記平滑化処理部で前記第１画像から生成した空間情報画像が入力される。

【0014】

このような煙検出装置は、平滑化画像を用いるので、第１画像のノイズを除去できる。

【0015】

本発明の他の一態様にかかる煙検出方法は、検出対象の画像を取得する画像取得工程と、前記画像取得工程で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定工程とを備え、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える。

【0016】

本発明の他の一態様にかかる煙検出プログラムは、コンピュータを、検出対象の画像を取得する画像取得部、および、前記画像取得部で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定部として機能させる煙検出プログラムであって、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える。

【0017】

このような煙検出方法および煙検出プログラムは、第１検出タイミングでの第１画像だけでなく、前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するので、検出精度を向上できる。

【0018】

本発明の他の一態様にかかる煙検出用モデル学習装置は、学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習装置であって、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備え、前記学習データは、前記第１画像と、前記１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備え、前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像である。

【0019】

本発明の他の一態様にかかる煙検出用モデル学習方法は、学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習方法であって、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備え、前記学習データは、前記第１画像と、前記１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備え、前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像である。

【0020】

本発明の他の一態様にかかる煙検出用モデル学習プログラムは、学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習装置おしてコンピュータを機能させる煙検出用モデル学習プログラムであって、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデルの第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデルの第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備え、前記学習データは、前記第１画像と、前記１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備え、前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像である。

【0021】

これらによれば、上述の煙検出装置、煙検出方法および煙検出プログラムに用いられる機械学習モデルを学習する煙検出用モデル学習装置、煙検出用モデル学習方法および煙検出用モデル学習プログラムが提供できる。

【発明の効果】

【0022】

本発明にかかる煙検出装置、煙検出方法および煙検出プログラムは、検出精度を向上できる。本発明によれば、これらに用いられる機械学習モデルを学習する煙検出用モデル学習装置、煙検出用モデル学習方法および煙検出用モデル学習プログラムが提供できる。

【図面の簡単な説明】

【0023】

【図1】実施形態における機械学習機能付きの煙検出装置の構成を示すブロック図である。

【図2】一例として、空間情報画像および時間情報画像を示す図である。

【図3】前記機械学習機能付きの煙検出装置に用いられる機械学習モデルを説明するための図である。

【図4】機械学習に関する、前記機械学習機能付きの煙検出装置の動作を示すフローチャートである。

【図5】煙の検出に関する、前記機械学習機能付きの煙検出装置の動作を示すフローチャートである。

【図6】一例として、実施例と比較例との各予測結果を示すコンフュージョンマトリックス（ｃｏｎｆｕｓｉｏｎｍａｔｒｉｘ）である。

【発明を実施するための形態】

【0024】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0025】

実施形態における煙検出装置は、検出対象の画像を取得する画像取得部と、前記画像取得部で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定部とを備える。前記機械学習済みの機械学習モデルは、前記機械学習モデルは、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデル（特徴抽出器としての第１機械学習モデル）の第１レイヤと、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデル（特徴抽出器としての第２機械学習モデル）の第２レイヤと、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤとを備える。この機械学習済みの機械学習モデルは、学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する煙検出用モデル学習装置によって生成される。これら煙検出装置と煙検出用モデル学習装置とは、別体であってよいが、ここでは、一体で構成され、煙検出用モデル学習装置を備えた機械学習機能付きの煙検出装置について、より具体的に説明する。これによって、煙検出装置、煙検出方法および煙検出プログラム、ならびに、煙検出用モデル学習装置、煙検出用モデル学習方法および煙検出用モデル学習プログラムに関する実施形態の一例を説明する。

【0026】

図１は、実施形態における機械学習機能付きの煙検出装置の構成を示すブロック図である。図２は、一例として、空間情報画像および時間情報画像を示す図である。図２Ａは、空間情報画像を示し、図２Ｂは、時間情報画像を示す。図３は、前記機械学習機能付きの煙検出装置に用いられる機械学習モデルを説明するための図である。

【0027】

実施形態における機械学習機能付きの煙検出装置Ｄは、例えば、図１に示すように、画像取得部１と、制御処理部２と、入力部３と、出力部４と、インターフェース部（ＩＦ部）５と、記憶部６とを備える。

【0028】

画像取得部１は、制御処理部２に接続され、制御処理部２の制御に従って、検出対象の画像を取得する装置である。前記検出対象は、任意であって、屋内でも屋外でもよい。画像取得部１は、例えば、略リアルタイムで煙の有無を判定するために、前記検出対象の画像を生成する撮像部を備えて構成される。このような撮像部は、例えば、撮像対象における光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラ（例えば可視光のカラー画像を生成するデジタルカメラ）である。

【0029】

なお、画像取得部１は、撮像部に限らず、他の装置であってもよい。例えば、画像取得部１は、外部の機器との間でデータを入出力するインターフェース回路を備えて構成される。前記外部の機器は、検出対象の、時系列に並ぶ複数の画像を記憶した、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリおよびＳＤカード（登録商標）等の記憶媒体である。あるいは、前記外部の機器は、前記複数の画像を記録した、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ－Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）等の記録媒体からデータを読み込むドライブ装置である。この画像取得部１としてのインターフェース回路は、有線または無線によって前記外部の機器に接続されてよい。あるいは、画像取得部１は、例えば、外部の機器と通信信号を送受信する通信インターフェース回路であって、前記外部の機器は、ネットワーク（ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、公衆通信網を含む））あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して前記通信インターフェース回路に接続され、前記複数の画像を管理するサーバ装置である。このような画像取得部１では、機械学習した機械学習モデルの性能検証や、検出対象の、時系列に並ぶ複数の画像の生成後に、前記複数の画像に対する煙の有無の調査等ができる。ここで、画像取得部１がインターフェース回路や通信インターフェース回路である場合では、画像取得部１は、ＩＦ部５と兼用されてもよい（すなわち、ＩＦ部５が画像取得部１として用いられてもよい）。

【0030】

入力部３は、制御処理部２に接続され、例えば、機械学習の開始を指示するコマンドや煙の検出開始を指示するコマンド等の各種コマンド、および、検出対象名等の、機械学習機能付きの煙検出装置Ｄを動作させる上で必要な各種データを前記煙検出装置Ｄに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。出力部４は、制御処理部２に接続され、制御処理部２の制御に従って、入力部３から入力されたコマンドやデータおよび検出結果等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤ（液晶表示装置）および有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

【0031】

なお、入力部３および出力部４は、タッチパネルより構成されてもよい。このタッチパネルを構成する場合において、入力部３は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部４は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置に触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として機械学習機能付きの煙検出装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い機械学習機能付きの煙検出装置Ｄが提供される。

【0032】

ＩＦ部５は、制御処理部２に接続され、制御処理部２の制御に従って、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、および、ＵＳＢ規格を用いたインターフェース回路等である。また、ＩＦ部５は、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等の、外部の機器と通信信号を送受信する通信インターフェース回路であってもよい。

【0033】

記憶部６は、制御処理部２に接続され、制御処理部２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、例えば、機械学習機能付きの煙検出装置Ｄの各部１、３～６を当該各部の機能に応じてそれぞれ制御する制御プログラムや、画像を平滑化した平滑化画像を空間情報画像として生成する平滑化処理プログラムや、時系列な複数の画像から、画素ごとに、前記複数の画像間における移動方向および移動速度を求め、前記求めた移動方向および移動速度を画素値として持つ画像を時間情報画像として生成する移動成分処理プログラムや、前記画像取得部１で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定する判定プログラムや、学習データを用いることによって、煙の有無を検出する機械学習モデルを学習する機械学習プログラム等が含まれる。前記各種の所定のデータには、例えば、検出対象名、画像取得部１で取得した画像、学習用データ等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部６は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部６は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部３のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。また、記憶部６は、比較的記憶容量の大きいハードディスク装置を備えて構成されてもよい。

【0034】

記憶部６は、前記学習データを記憶する学習データ記憶部６１を機能的に備える。前記学習データは、例えば、入力部３から入力され、学習データ記憶部６１に記憶される。あるいは例えば、前記学習データは、記憶媒体に記憶され、この記憶媒体からＩＦ部５を介して入力され、学習データ記憶部６１に記憶される。あるいは例えば、前記学習データは、記録媒体に記憶され、この記録媒体からＩＦ部５を介して入力され、学習データ記憶部６１に記憶される。あるいは例えば、前記学習データは、これを管理するサーバ装置に記憶され、このサーバ装置から通信ネットワークおよびＩＦ部５を介して入力され、学習データ記憶部６１に記憶される。

【0035】

前記学習データは、第１検出タイミングでの第１画像と、前記第１検出タイミングよりも過去の１または複数の第２検出タイミングでの１または複数の第２画像、ならびに、前記第１画像および前記１または複数の第２画像に基づく時間情報画像、のうちの一方と、煙の有無を表す教師データとの組を、複数、備える。前記第１画像と前記第２画像とは、同一のフレーミング（構図）で生成される。時間情報は、検出対象の空間において、時系列で変化しているものに関する情報であり、前記時間情報画像は、時系列な複数の画像から、画素ごとに求められた、前記複数の画像間における移動方向および移動速度を画素値として持つ画像（速度分布画像）である。前記学習データが前記第１画像と、前記時間情報画像と、教師データとの組である場合には、前記学習データは、そのまま学習データ記憶部６１に記憶されてよいが、前記学習データが前記第１画像と、前記１または複数の第２画像と、教師データとの組である場合には、前記第１画像および前記１または複数の第２画像に基づく時間情報画像が生成された後に、前記学習データは、学習データ記憶部６１に記憶される、この時間情報画像の生成には、後述の移動成分処理部２３が流用されてよい。第１画像および時間情報画像の一例が図２に示されている。図２Ａに示す第１画像は、作図の都合上、図２Ａにはグレースケールで示されているが、カラー画像（ＲＧＢ画像）で表される。図２Ｂに示す時間情報画像は、移動方向をＨ成分とし、移動速度をＶ成分としたＨＳＶ画像で表される。Ｓ成分は、所定の固定値（例えば２５５等）とされている。

【0036】

前記学習データには、第１画像そのものが用いられてよいが、本実施形態では、第１画像に基づく空間情報画像が生成され、前記学習データの第１画像として、この第１画像に基づく空間情報画像が学習データ記憶部６１に記憶される。すなわち、学習データ記憶部６１に記憶されている学習データは、空間情報画像と、時間情報画像と、教師データとの組を、複数、備えている。空間情報は、検出対象の空間において、検出したい煙が空間的に捉えられる情報であり、前記第１画像に基づく空間情報画像は、前記第１画像を平滑化した平滑化画像であり、この空間情報画像の生成には、後述の平滑化処理部２２が流用されてよい。平滑化には、例えばガウシアンフィルタ等の、公知の平滑化フィルタが用いられてよく、本実施形態では、加算平均により平滑化する平均化フィルタが用いられる。

【0037】

より具体的には、例えば、デジタルカメラによってフレームレート１０［ｆｐｓ］で所定の時間長の動画が生成され、この動画をフレームごとに切り出すことで、時系列に並ぶ複数の画像が生成される。これら複数の画像から１つの画像が第１画像として選定され、この選定された第１画像より前の、例えば２０［秒］前の画像が第２画像として選定され、この選定された第１画像が平滑化されて空間情報画像が生成され、これら選定された第１および第２画像間のオプティカルフローを求めることで、画素ごとに、前記第１および第２画像間における移動方向および移動速度が求められて時間情報画像が求められる。そして、マニュアルによって第１および第２画像から、煙の有無が判断されて教師データが生成される。前記教師データは、例えば、煙有りを表す「１」と、煙無しを表す「０」とを備えて構成される。そして、これら空間情報画像、時間情報画像および教師データが１つの組として対応付けられ、学習データの１つが生成される。このような処理が、複数、繰り返されることで学習データが生成される。なお、上述の１０［ｆｐｓ］や２０［秒］は、一例に過ぎず、これに限定されるものではなく、フレームレートや第１および第２画像間の時間長は、例えば、仕様等によって要求される、検知タイミングの時間分解能等に応じて適宜に設定される。

【0038】

なお、前記学習データは、第１画像を、ランダム（無作為）に、回転させたり、切り向き位置を変更したりすることによって、あるいは、第１画像を左右反転することによって、第１画像が水増しされ、学習データが水増しされてもよい。

【0039】

制御処理部２は、機械学習機能付きの煙検出装置Ｄの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、学習データを用いることによって、煙の有無を検出する機械学習モデルを機械学習し、前記画像取得部１で取得された画像に基づいて、機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定するための回路である。制御処理部２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部２は、制御処理プログラムが実行されることによって、制御部２１、平滑化処理部２２、移動成分処理部２３、判定部２４および機械学習部２５を機能的に備える。

【0040】

制御部２１は、機械学習機能付きの煙検出装置Ｄの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、機械学習機能付きの煙検出装置Ｄの全体制御を司るものである。

【0041】

平滑化処理部２２は、画像を平滑化した平滑化画像を空間情報画像として生成するものである。前記平滑化には、上述したように、公知の平滑化フィルタが用いられてよく、本実施形態では、前記平均化フィルタが用いられる。より具体的には、学習データにおける空間情報画像の生成に流用される場合では、平滑化処理部２２は、学習データの第１画像を平滑化した平滑化画像を前記学習データの空間情報画像として生成する。煙の有無の判定では、平滑化処理部２２は、画像取得部１で取得した、第１検出タイミングでの第１画像を平滑化した平滑化画像を空間情報画像として生成する。略リアルタイムで煙の有無を判定する場合では、前記第１検出タイミングは、今回の検出タイミングである。より詳しくは、平滑化処理部２２は、画像取得部１で取得した動画から、今回の検出タイミングでのフレームを今回の検出タイミングでの第１画像として切り出し（取り出し）、この切り出した前記今回の検出タイミングでの第１画像を平滑化することによって、この平滑化した平滑化画像を空間情報画像として生成する。この切り出した第１画像およびその空間情報画像は、その検出タイミングと対応付けて記憶部６に記憶される。

【0042】

移動成分処理部２３は、時系列な複数の画像から、画素ごとに、前記複数の画像間における移動方向および移動速度を求め、前記求めた移動方向および移動速度を画素値として持つ画像を時間情報画像として生成するものである。移動成分処理部２３は、例えば、前記複数の画像間におけるオプティカルフローを求めることで前記移動方向および前記移動速度を求める。より具体的には、学習データにおける時間情報画像の生成に流用される場合では、移動成分処理部２３は、学習データの第１および第２画像間のオプティカルフローを求めることで、画素ごとに、前記第１および第２画像間における移動方向および移動速度を求め、前記求めた移動方向および移動速度を画素値として持つ画像を時間情報画像として生成する。煙の有無の判定では、移動平均処理部２３は、画像取得部１で取得した、第１検出タイミングでの第１画像および前記第１検出タイミングよりも過去の検出タイミング（上述の例では第１検出タイミングより２０［秒］前の検出タイミング）での第２画像間のオプティカルフローを求めることで、画素ごとに、前記第１および第２画像間における移動方向および移動速度を求め、前記求めた移動方向および移動速度を画素値として持つ画像を時間情報画像として生成する。オプティカルフローは、ベクトルで表され、前記ベクトルの向きが前記移動方向となり、前記ベクトルの大きさが前記移動速度となる。本実施形態では、前記時間情報画像は、移動方向をＨ成分とし、移動速度をＶ成分とし、所定の固定値をＳ成分としたＨＳＶ画像で表される。

【0043】

一例では、移動方向は、正面視にて画像を見た場合に、左上角を座標原点とし、画像の水平方向（左右方向）をｘ軸とし、画像の垂直方向（上下方向）をｙ軸としたｘｙ直交座標系を画像に設定した場合に、前記ｘ軸方向（画像の水平方向、左右方向）を０度方向として時計回りで求めた角度によって表される。０が色相環の赤で表される。描画の都合上、正規化され、移動方向のＨ成分は、０～１７９の範囲であり、移動速度のＳ成分は、０～２５５の範囲である。

【0044】

略リアルタイムで煙の有無を判定する場合では、前記第１検出タイミングは、上述したように、今回の検出タイミングである。より詳しくは、移動成分処理部２３は、今回の検出タイミングでの第１画像と、今回の検出タイミングより２０［秒］前の検出タイミングでの第２画像とを記憶部６から取り出し（読み出し）、この取り出した第１および第２画像間のオプティカルフローを求めることによって、時間情報画像を生成する。この生成した時間情報画像は、前記第１画像の検出タイミングと対応付けて記憶部６に記憶される。

【0045】

なお、前記第２画像が複数である場合では、例えば、第１画像と複数の第２画像それぞれとの間で、画素ごとに、各移動方向および各移動速度が求められて平均され、画素ごとの平均値の移動方向および移動速度で、時間情報画像が求められる。あるいは例えば、前記第２画像が複数である場合では、例えば、第１画像と複数の第２画像それぞれとの間で、画素ごとに、各移動方向および各移動速度が求められて累積され、画素ごとの累積値の移動方向および移動速度で、時間情報画像が求められる。あるいは例えば、前記第２画像が複数である場合では、第１画像と複数の第２画像とから、時間情報画像を求める、例えばＣＮＮ等の機械学習モデルが用いられてもよく、これが機械学習機能付きの煙検出装置に組み込まれてもよい。

【0046】

判定部２４は、前記画像取得部１で取得された画像に基づいて、煙の有無を検出する機械学習済みの機械学習モデルを用いることによって、前記煙の有無を判定するものである。

【0047】

例えば、図３に示すように、機械学習モデル３０は、第１検出タイミングでの第１画像に基づいて、煙の有無を検出するための所定の第１特徴量を抽出する特徴抽出器としての第１特徴量抽出モデル（特徴抽出器としての第１機械学習モデル）の第１レイヤ３１と、前記第１画像および前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するための所定の第２特徴量を抽出する特徴抽出器としての第２特徴量抽出モデル（特徴抽出器としての第２機械学習モデル）の第２レイヤ３２と、前記第１特徴量抽出モデルの第１レイヤの出力と前記第２特徴量抽出モデルの第２レイヤの出力とを結合する第３レイヤ３３とを備える。第１特徴量抽出モデルの第１レイヤ３１には、前記第１画像が入力されてよいが、本実施形態では、平滑化処理部２２で前記第１画像から生成した空間情報画像が入力される。第２特徴量抽出モデルの第２レイヤ３２には、移動成分処理部２３で前記第１および第２画像から生成した時間情報画像が入力される。略リアルタイムで煙の有無を判定する場合では、第１特徴量抽出モデルの第１レイヤ３１には、記憶部６に記憶された、今回の検出タイミングに対応付けられた空間情報画像が入力され、第２特徴量抽出モデルの第２レイヤ３２には、記憶部６に記憶された、今回の検出タイミングに対応付けられた時間情報画像が入力される。

【0048】

前記第１特徴量抽出モデルと前記第２特徴量抽出モデルとは、同種（同じアーキテクチャのモデル、同じ構造のモデル）であってよく、異種（異なるアーキテクチャのモデル、異なる構造のモデル）であってもよい。前記第１および第２特徴量抽出モデルは、画像を入力可能なモデルであればよく、例えば、ｅｆｆｉｃｉｅｎｔｎｅｔ、Ｒｅｓｎｅｔ、ｍｏｂｉｌｅｎｅｔおよびｓｈｕｆｆｌｅｎｅｔ等であり、これらは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）の一種である。本実施形態では、２つのｅｆｆｉｃｉｅｎｔｎｅｔが用意され、一方のｅｆｆｉｃｉｅｎｔｎｅｔが前記第１特徴量抽出モデルとして用いられ、他方のｅｆｆｉｃｉｅｎｔｎｅｔが前記第１特徴量抽出モデルとして用いられる。ｅｆｆｉｃｉｅｎｔｎｅｔおよびｍｏｂｉｌｅｎｅｔは、それぞれ、Ｇｏｏｇｌｅが提供するモデルであり、Ｒｅｓｎｅｔは、２０１５年当時、Ｍｉｃｒｏｓｏｆｔ ＲｅｓｅａｒｃｈのＫａｉｍｉｎｇ Ｈｅ氏によって考案されたモデルであり、ｓｈｕｆｆｌｅｎｅｔは、Ｍｅｇｖｉｉ Ｉｎｃ．ｎｏＸｉａｎｇｙｕ Ｚｈａｎｈらが考案したモデルである。

【0049】

第３レイヤ３３には、単層または複数層のニューラルネットワークが用いられる。本実施形態では、特徴抽出器としての前記第１および第２特徴量抽出モデルの各ｅｆｆｉｃｉｅｎｔｎｅｔにおける各出力は、それぞれ、５００個であり、したがって、１０００個の入力が第３レイヤ３３によって結合され、煙有りを表す「１」または煙無しを表す「０」が出力される。

【0050】

機械学習部２５は、学習データ記憶部６１に記憶された学習データを用いることによって、煙の有無を検出する機械学習モデルを学習するものである。機械学習部２５は、学習データの空間情報画像を第１特徴量抽出モデルの第１レイヤ３１に入力すると共に前記学習データの時間情報画像を第１特徴量抽出モデルの第１レイヤ３２に入力した場合の機械学習モデル３０の出力と前記学習データの教師データとの誤差が最小となるように、機械学習モデル３０を学習する。

【0051】

これら制御処理部２、入力部３、出力部４、ＩＦ部５および記憶部６は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。なお、これら各部２～６を構成するコンピュータは、例えば、プラントの排煙を監視する場合では、前記プラントのオペレーション室に配置され、そのコンソールに組み込まれてよく（前記コンソールと兼用されてよく）、あるいは、前記コンソールと別体であってもよい。

【0052】

次に、本実施形態の動作について説明する。図４は、機械学習に関する、前記機械学習機能付きの煙検出装置の動作を示すフローチャートである。図５は、煙の検出に関する、前記機械学習機能付きの煙検出装置の動作を示すフローチャートである。

【0053】

このような構成の機械学習機能付きの煙検出装置Ｄは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部２には、その制御処理プログラムの実行によって、制御部２１、平滑化処理部２２、移動成分処理部２３、判定部２４および機械学習部２５が機能的に構成される。

【0054】

まず、機械学習モデル３０を学習する場合における機械学習機能付きの煙検出装置Ｄの動作について説明する。

【0055】

図４において、機械学習機能付きの煙検出装置Ｄは、まず、制御処理部２の制御部２１によって、学習データを取得し、学習データを学習データ記憶部６１に記憶する（Ｓ１１）。前記学習データは、入力部３を介して、あるいは、ＩＦ部５を介して取得される。なお、第１画像が学習データとして取得される場合には、前記第１画像は、平滑化処理部２２で平滑化され、これによって生成された空間情報画像が学習データ記憶部６１に記憶される。第２画像が学習データとして取得される場合には、前記第２画像およびこれに対応する第１画像は、移動成分処理部２３で処理され、これによって生成された時間情報画像が学習データ記憶部６１に記憶される。

【0056】

次に、機械学習機能付きの煙検出装置Ｄは、制御処理部２の機械学習部２５によって、学習データ記憶部６１に記憶された学習データを用いることによって、煙の有無を検出する機械学習モデル３０を学習する（Ｓ１２）。第１特徴量抽出モデルの第１特徴量および第２特徴量抽出モデルの第２特徴量は、この機械学習の進行に伴って徐々に前記機械学習によって形成され、前記機械学習の終了によって適宜に形成される。

【0057】

そして、機械学習機能付きの煙検出装置Ｄは、制御部２１によって、機械学習済みの機械学習モデル３０を出力し、本処理を終了する（Ｓ１３）。本実施形態では、煙検出用モデル学習装置は、煙検出装置と一体であるので、記憶部６に出力され、制御処理部２の判定部２４で用いる機械学習済みの機械学習モデル３０として記憶される。

【0058】

続いて、煙を検出する場合における機械学習機能付きの煙検出装置Ｄの動作について説明する。ここでは、検出対象の画像を生成できるように画像取得部１としての撮像部がセット（配設）され、略リアルタイムで煙の有無が検出される。

【0059】

図５において、機械学習機能付きの煙検出装置Ｄは、まず、制御処理部２の制御部２１によって、今回の検出タイミングでの第１画像として、画像取得部１で生成した画像を取得し、この取得した画像を今回の検出タイミングと対応付けて記憶部６に記憶する（Ｓ２１）。例えば、検出タイミングが、１から始まる整数のシリアル番号で表され、前記画像は、シリアル番号を付して記憶部６に記憶される。

【0060】

次に、機械学習機能付きの煙検出装置Ｄは、制御処理部２の平滑化処理部２２によって、前記今回の検出タイミングでの第１画像を平滑化することによって、前記今回の検出タイミングでの空間情報画像を生成し、この生成した空間情報画像を今回の検出タイミングと対応付けて記憶部６に記憶する（Ｓ２２）。

【0061】

次に、機械学習機能付きの煙検出装置Ｄは、制御処理部２の移動成分処理部２３によって、前記今回の検出タイミングでの第１画像および前記今回の検出タイミングよりも過去の検出タイミング（上述の例では今回の検出タイミングより２０［秒］前の検出タイミング）での第２画像に基づいて、前記今回の検出タイミングでの時間情報画像を生成し、この生成した時間情報画像を今回の検出タイミングと対応付けて記憶部６に記憶する（Ｓ２３）。

【0062】

次に、機械学習機能付きの煙検出装置Ｄは、制御処理部２の判定部２４によって、前記今回の検出タイミングでの空間情報画像および時間情報画像に基づいて、機械学習済みの機械学習モデル３０を用いることによって、前記煙の有無を判定し、この判定の結果を今回の検出タイミングと対応付けて記憶部６に記憶する（Ｓ２４）。

【0063】

次に、機械学習機能付きの煙検出装置Ｄは、判定部２４によって、前記判定の結果が煙有りか否かを判定する（Ｓ２５）。この判定の結果、煙有りの場合（Ｙｅｓ）には、機械学習機能付きの煙検出装置Ｄは、煙有りを出力部４に出力し（Ｓ２６）、その後に、処理Ｓ２７を実行する一方、煙無しの場合（Ｎｏ）には、機械学習機能付きの煙検出装置Ｄは、処理Ｓ２７を実行する。

【0064】

この処理Ｓ２７では、機械学習機能付きの煙検出装置Ｄは、制御部２１によって、煙の検出（監視）が終了であるか否かを判定する。この判定の結果、処理Ｓ２１ないし処理Ｓ２６の各処理の実行中に終了のコマンドを入力部３で受け付ける等により、終了の場合（Ｙｅｓ）には、機械学習機能付きの煙検出装置Ｄは、本処理を終了する一方、終了ではない場合（Ｎｏ）には、機械学習機能付きの煙検出装置Ｄは、次回の検出タイミングでの煙の検出を行うために、処理を処理Ｓ２１に戻す。したがって、機械学習機能付きの煙検出装置Ｄは、前記終了のコマンドを入力部３で受け付ける等まで、煙の有無を繰り返し検出する。

【0065】

次に、実施例と比較例とについて説明する。図６は、一例として、実施例と比較例との各予測結果を示すコンフュージョンマトリックス（ｃｏｎｆｕｓｉｏｎｍａｔｒｉｘ）である。図６Ｂは、比較例の予測結果を示す。横軸は、煙検出装置の出力であり、縦軸は、目視によって判断した実際の煙の有無である。「１」は、煙有りを表し、「０」は、煙無しを表す。図６Ａは、上述した煙検出装置Ｄのように構成した実施例の煙検出装置による予測結果を示し、図６Ｂは、比較例の煙検出装置による予測結果を示す。図６では、回数が色の濃さで表されている。比較例の煙検出装置は、空間情報画像のみで機械学習モデルを学習することによって構成された。

【0066】

実施例における正解精度は、約０．９７であり、異常検出率は、約０．５７であり、異常過検出率は、約０．４３であった。一方、比較例における正解精度は、約０．５０であり、異常検出率は、約０．７６であり、異常過検出率は、約０．９５であった。

【0067】

正解精度は、全検出回数に対する装置（モデル）の正解回数であり、装置の正解回数は、予測結果が０であって真値が０である回数と予測結果が１であって真値が１である回数との和である。異常検出率は、実際に煙有りの回数に対する、装置（モデル）が煙有りと出力した回数である。異常過検出率は、装置（モデル）が煙有りと出力した回数に対する、実際には煙有りではなかった回数（すなわち、実施には煙無しの回数）である。

【0068】

図６に示す結果は、全検出回数における予測結果のまとめであり、装置（モデル）のおおよその精度を知るには、十分である。しかしながら、煙の発生は、通常、時系列に連続するので、煙の発生からその終了までを正確に検出するよりも、実際に煙が発生している期間内で１回でも煙の発生を検出（予測）できたかどうかが、実用上、重要である。

【0069】

以上説明したように、実施形態における機械学習機能付きの煙検出装置Ｄ、ならびに、これに実装された煙検出方法および煙検出プログラムは、第１検出タイミングでの第１画像だけでなく、前記第１検出タイミングよりも過去の１または複数の検出タイミングでの１または複数の第２画像に基づいて、煙の有無を検出するので、検出精度を向上できる。上記機械学習機能付きの煙検出装置Ｄ、煙検出方法および煙検出プログラムは、前記第１画像だけでなく、前記１または複数の第２画像に基づいて、煙の有無を検出するので、検出対象と類似した環境の学習データを機械学習で用いる必要が無く、汎用的に利用できる。

【0070】

上記機械学習機能付きの煙検出装置Ｄ、煙検出方法および煙検出プログラムは、移動方向および移動速度を用いるので、動きを考慮して煙の有無を判定できる。

【0071】

上記機械学習機能付きの煙検出装置Ｄ、煙検出方法および煙検出プログラムは、平滑化画像の空間情報画像を用いるので、第１画像のノイズを除去できる。

【0072】

本実施形態によれば、機械学習機能付きの煙検出装置Ｄ、煙検出方法および煙検出プログラムに用いられる機械学習モデルを学習する煙検出用モデル学習装置、煙検出用モデル学習方法および煙検出用モデル学習プログラムが提供できる。

【0073】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0074】

Ｄ 機械学習機能付きの煙検出装置
１ 画像取得部
２ 制御処理部
６ 記憶部
２１ 制御部
２２ 平滑化処理部
２３ 移動成分処理部
２４ 判定部
２５ 機械学習部
６１ 学習データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】