特許 7448338 火炎判断のための神経網モデルの学習および検出方法、並びにこれを行うシステム、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-04

(45)【発行日】2024-03-12

(54)【発明の名称】火炎判断のための神経網モデルの学習および検出方法、並びにこれを行うシステム、記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240305BHJP

   G06N 3/02 20060101ALI20240305BHJP

   G08B 17/12 20060101ALI20240305BHJP

【ＦＩ】

G06T7/00 350C

G06N3/02

G08B17/12 B

【請求項の数】 12

(21)【出願番号】P 2019206402

(22)【出願日】2019-11-14

(65)【公開番号】P2021018788

(43)【公開日】2021-02-15

【審査請求日】2022-11-01

(31)【優先権主張番号】10-2019-0087769

(32)【優先日】2019-07-19

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519407356

【氏名又は名称】ジーワイ ネットワークス カンパニー リミテッド

【氏名又は名称原語表記】ＧＹＮＥＴＷＯＲＫＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｂ１００６－Ｂ１ＦＬ，Ｉｎｃｈｅｏｎ ｇｌａｂａｌ ｃａｍｐｕｓ ｃｕｌｔｕｒａｌ ｃｏｍｐｌｅｘ ｃｅｎｔｅｒ，１１９，Ｓｏｎｇｄｏｍｕｎｈｗａ－ｒｏ，Ｙｅｏｎｓｕ－ｇｕ，Ｉｎｃｈｅｏｎ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】バン スンオン

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１８－０８８６３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／００６１７７７（ＵＳ，Ａ１）

【文献】Yang Zhikai et al.，Fire Image Generation Based on ACGAN，2019 Chinese Control And Decision Conference (CCDC)，2019年06月05日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8832678

【文献】中島 和樹，Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いた屋内火災及び煙検知の基礎検討，電気学会研究会資料 PI-18-051/IIS-18-032，2018年07月30日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０２

Ｇ０８Ｂ １７／１２

(57)【特許請求の範囲】

【請求項1】

火炎判断のための神経網モデルの学習方法であって、
実際の火災画像と任意の火炎画像を背景画像に結合して生成された仮想画像を含む学習画像を生成するステップと、
前記学習画像を第１の神経網モデルに入力し、火炎が存在するか否かに関する判断結果を出力するステップと、
前記判断結果を用いて、前記第１の神経網モデルの中から前記学習画像の特徴を抽出するレイヤーの加重値を更新するステップとを含み、
前記仮想画像は、前記仮想画像と前記実際の火災画像との間の真偽可否を区分する区分値の差を減少させるように学習された第２の神経網モデルを用いて生成された画像であることを特徴とする、神経網モデルの学習方法。

【請求項2】

前記任意の火炎画像は、第３の神経網モデルによって生成された仮想の火炎画像であることを特徴とする、請求項１に記載の神経網モデルの学習方法。

【請求項3】

前記第１の神経網モデルは、複数のレイヤーを含み、前記レイヤーのうち少なくとも一つのレイヤーは、単一の行または列のチャンネル数を有することを特徴とする、請求項１に記載の神経網モデルの学習方法。

【請求項4】

前記第１の神経網モデルは、単一の行または列のチャンネルと前記第１の神経網モデルの入力または出力チャンネルの数を有する複数のレイヤーから構成されることを特徴とする、請求項３に記載の神経網モデルの学習方法。

【請求項5】

前記任意の火炎画像は、ウェブ上から収集した火炎画像であることを特徴とする、請求項１に記載の神経網モデルの学習方法。

【請求項6】

前記任意の火炎画像は、コンピュータモデリングで生成された火炎画像であることを特徴とする、請求項１に記載の神経網モデルの学習方法。

【請求項7】

神経網モデルの火炎検出方法であって、
ソース画像を予め定められた割合または大きさに応じて順に減少させて複数の画像を生成するステップと、
前記複数の画像を火炎が存在するか否かを判断するために学習された神経網モデルに入力するステップと、
前記神経網モデルが前記複数の画像のうち少なくとも一つの画像で火炎が存在するか否かを出力するステップとを含み、
前記神経網モデルは、
実際の火災画像と任意の火炎画像を背景画像に結合して生成された仮想画像を含む学習画像を生成するステップと、
前記学習画像を第１の神経網モデルに入力し、火炎が存在するか否かに関する判断結果を出力するステップと、
前記判断結果を用いて前記第１の神経網モデルの中から前記学習画像の特徴を抽出するレイヤーの加重値を更新するステップとを繰り返して行って学習され、
前記仮想画像は、前記仮想画像と前記実際の火災画像との間の真偽可否を区分する区分値の差を減少させるように学習された第２の神経網モデルを用いて生成された画像であることを特徴とする、神経網モデルの火炎検出方法。

【請求項8】

前記神経網モデルは、複数のレイヤーを含み、前記レイヤーのうち少なくとも一つのレイヤーは、単一の行または列のチャンネル数を有することを特徴とする、請求項７に記載の神経網モデルの火炎検出方法。

【請求項9】

前記神経網モデルは、単一の行または列のチャンネルと前記神経網モデルの入力または出力チャンネルの数を有する複数のレイヤーから構成されることを特徴とする、請求項８に記載の神経網モデルの火炎検出方法。

【請求項10】

一つ以上のコンピュータ、および前記一つ以上のコンピュータによって実行される時に、前記一つ以上のコンピュータが、請求項１から９のいずれか一項に記載のそれぞれの方法の動作を行うようにする命令を記憶する一つ以上の記憶装置を含むシステム。

【請求項11】

一つ以上のコンピュータによって実行される時に、前記一つ以上のコンピュータが、請求項１から９のいずれか一項に記載のそれぞれの方法の動作を行うようにする命令を記憶する一つ以上のコンピュータ記憶媒体。

【請求項12】

一つ以上のコンピュータによって実行される時に、前記一つ以上のコンピュータが、請求項１０に記載のシステムを実現するようにする命令を記憶する一つ以上のコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、火炎判断のための神経網モデルの学習方法に関する。

【背景技術】

【0002】

火災は、発生時に、人的、物的に莫大な被害をもたらすため、予防と早期探知が必要な分野であって、このためのセンシング技術が開発されており、火災の発生を判断する製品が様々な形態で商用化されている。

【0003】

しかしながら、熱や煙または炎を判断する既存のセンサの場合、局所的な領域のみに関する判断が可能であり、周辺環境によって誤感知が発生しやすいため、より広範な領域の火災発生を感知するには限界がある。

【0004】

近年、画像処理技術の発達に伴い、監視カメラ（ＣＣＴＶ）画像を基に、周辺環境の影響が少なく、開放された広い地域をモニタするインテリジェント監視システムが運用されており、これを用いて火災を感知する技術が開発されている。

【0005】

例えば、画像内の煙の発生や炎の発生をオプティカルフローなどによって判断し、これにより火災発生を判断する方法が開発されている。しかしながら、画像処理の場合、処理の際に費用と時間がかかるという欠点がある。

【0006】

これに関して、近年、機械学習技術の発達に伴い、適用分野が様々な分野に拡大されており、災難、災害に関する分野にも機械学習技術が適用されて、様々なデータをより迅速に分析することで、安全を脅かす要素の発生を判断している。

【0007】

機械学習により人間の脳を模した神経網を学習させ入力データから結果を推論し、より迅速且つ高次元の判断結果を出力するようにしている。

【0008】

かかる機械学習により学習された神経網モデルの性能は、学習データの量と質が直接影響を及ぼすため、良質のデータを確保することが重要である。

【0009】

しかしながら、火災のような災難、災害の状況のデータは、規則性が少なく、一般客体の認識に用いられるデータよりも確保が困難であるという問題があり、神経網の学習のための学習データの確保に費用と時間がかかる可能性がある。

【0010】

したがって、火災のような災難状況の判断のための神経網モデルの性能を高めるために、具体的な学習データの確保方法が必要な状況であり、確保した学習データを用いて実際に適用可能な学習モデルを生成することが必要な状況である。

【発明の概要】

【発明が解決しようとする課題】

【0011】

上述の技術的課題を解決するために、本発明は、神経網モデルの効率的な学習データの確保方法およびこれによる学習方法を提案することを目的とする。

【0012】

また、本発明は、神経網モデルを用いて、火災が発生したか否かをより迅速且つ正確に判断する方法を提案することを目的とする。

【課題を解決するための手段】

【0013】

前記技術的課題を解決するための本発明による神経網モデルの学習方法は、火炎判断のための神経網モデルの学習方法であって、実際の火災画像と任意の火炎画像を背景画像に結合して生成された仮想画像を含む学習画像を生成するステップと、前記学習画像を第１の神経網モデルに入力し、火炎が存在するか否かに関する判断結果を出力するステップと、前記判断結果を用いて、前記第１の神経網モデルの中から前記学習画像の特徴を抽出するレイヤーの加重値を更新するステップとを含む。

【0014】

前記火炎画像は、第２の神経網モデルによって生成された仮想の火炎画像であることが好ましい。

【0015】

前記第１の神経網モデルは、複数のレイヤーを含み、前記レイヤーのうち少なくとも一つのレイヤーは、単一の行または列のチャンネル数を有することが好ましい。

【0016】

前記第１の神経網モデルは、単一の行または列のチャンネルと前記第１の神経網モデルの入力または出力チャンネルの数を有する複数のレイヤーから構成されることが好ましい。

【0017】

前記仮想画像は、前記仮想画像と前記実際の火災画像との間の真偽可否を区分する区分値の差を減少させるように学習された第３の神経網モデルを用いて生成された画像であることが好ましい。

【0018】

前記火炎画像は、ウェブ上から収集した火炎画像であることが好ましい。

【0019】

前記火炎画像は、コンピュータモデリングで生成された火炎画像であることが好ましい。

【0020】

前記技術的課題を解決するための神経網モデルの火炎検出方法は、ソース画像を予め定められた割合または大きさに応じて順に減少させて複数の画像を生成するステップと、前記複数の画像を火炎が存在するか否かを判断するために学習された神経網モデルに入力するステップと、前記神経網モデルが前記複数の画像のうち少なくとも一つの画像で火炎が存在するか否かを出力するステップとを含む。

【0021】

前記神経網モデルは、複数のレイヤーを含み、前記レイヤーのうち少なくとも一つのレイヤーは、単一の行または列のチャンネル数を有することが好ましい。

【0022】

前記神経網モデルは、単一の行または列のチャンネルと前記神経網モデルの入力または出力チャンネルの数を有する複数のレイヤーから構成されることが好ましい。

【0023】

前記神経網モデルは、実際の火災画像と任意の火炎画像を背景画像に結合して生成された仮想画像を含む学習画像を生成するステップと、前記学習画像を第１の神経網モデルに入力し、火炎が存在するか否かに関する判断結果を出力するステップと、前記判断結果を用いて前記第１の神経網モデルの中から前記学習画像の特徴を抽出するレイヤーの加重値を更新するステップとを繰り返して行って学習されたことが好ましい。

【0024】

前記仮想画像は、前記仮想画像と前記実際の火災画像との間の真偽可否を区分する区分値の差を減少させるように学習された第２の神経網モデルを用いて生成された画像であることが好ましい。

【発明の効果】

【0025】

本発明によると、様々な火災状況のデータを確保することができ、これにより、火災発生を判断する神経網モデルの性能を高めることができる。

【0026】

また、学習のためのデータの品質を高めることで、様々な状況の火災を神経網モデルが自ら予測可能にすることができる。

【0027】

また、本発明によると、神経網モデルの火災状況の感知のために入力されるデータの大きさと解像度による判断誤差を低減し、様々なデータに適応的に高性能を発揮するようにすることができる。

【0028】

さらに、火災感知のために入力されるデータの量が膨大であっても効率的に迅速な判断結果を生成するようにすることができ、これにより、リアルタイムで火災状況を感知するようにすることができる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態による神経網モデルの学習方法を示す図である。

【図2】本発明の一実施形態による神経網モデルの構造を示す図である。

【図3】本発明の一実施形態による神経網モデルの学習データ生成方法を概念的に示す図である。

【図4】本発明の一実施形態による神経網モデルの学習データ生成方法を概念的に示す図である。

【図5】本発明の一実施形態による神経網モデルの学習データ生成方法を概念的に示す図である。

【図6】本発明の一実施形態による神経網モデルの火炎検出のための入力データの生成例を示す図である。

【図7】本発明の一実施形態による神経網モデルの火炎検出のための入力データの生成例を示す図である。

【図8】本発明の一実施形態による神経網モデルのレイヤー構成を示す図である。

【図9】本発明の一実施形態による神経網モデルの構造を示す図である。

【発明を実施するための形態】

【0030】

以下の内容は、単純に発明の原理を例示する。そのため、当業者は、本明細書に明確に説明または図示されていないものの発明の原理を実現し、発明の概念と範囲に含まれた様々な装置を発明することができる。また、本明細書に列挙されたすべての条件付き用語および実施形態は、原則として、発明の概念が理解されるようにするための目的としてのみ明白に意図され、このように特別に列挙された実施形態および状態に制限されるものでないと理解すべきである。

【0031】

上述の目的、特徴および利点は、添付の図面に関する以下の詳細な説明によってより明らかになり、それによって発明が属する技術分野において通常の知識を有する者が発明の技術的思想を容易に実施することができる。

【0032】

また、発明を説明するにあたり、発明に関わる公知技術に関する具体的な説明が発明の要旨を不明瞭にし得ると判断される場合にはその詳細な説明を省略する。以下では、添付の図面を参照して本発明の好ましい実施形態について詳細に説明する。

【0033】

＜神経網モデルの学習方法＞
図１は本発明の一実施形態による火炎判断のための神経網モデルの学習方法を示すフローチャートである。

【0034】

図１を参照すると、本実施形態による学習方法１００は、先ず、学習のために学習データを生成する（１０２）。

【0035】

具体的には、学習データの生成は、実際の火災画像と任意の火炎画像を背景画像に結合して生成された仮想画像を含む学習画像として生成され得る。

【0036】

すなわち、本実施形態では、実際に火炎状況が発生した画像とともに、仮想の火炎画像を用いて生成された画像をいずれも学習に利用することができる。

【0037】

学習画像を生成すると、生成された学習画像を第１の神経網モデルに入力する（１０４）。

【0038】

第１の神経網モデルは、入力された学習画像から火炎が存在するか否かに関する判断結果を出力する（１０６）。

【0039】

第１の神経網モデルは、内部の階層化したレイヤー構造により入力された学習画像の特徴値を畳み込み演算により抽出し、抽出した特徴値を１次元に再構成することで火炎の存在を判断することができる。

【0040】

第１の神経網モデルの出力で火炎が存在するか否かの判断結果を用いて第１の神経網モデルを更新する（１０８）。

【0041】

以上の動作は、様々な学習データにより繰り返して行われ得、本実施形態では、指導学習方法で火炎状況が存在する学習画像と火炎状況が存在しない学習画像を予めラベリングし、学習に用いることができる。

【0042】

第１の神経網モデルは、内部のレイヤーにより畳み込み演算を行って入力されたデータの特徴値を抽出するが、この際、特徴値の抽出に用いられるフィルタの値を判断結果に応じて更新することができる。具体的には、更新は、判断結果の誤差を逆伝播して誤差を発生させるレイヤーの加重値を更新する方式で行われ得る。

【0043】

以上のステップを繰り返して行うことにより、第１の神経網モデルは、最適のレイヤー別のフィルタ値を見つけるようにレイヤーを更新することで、実際の火炎の検出時に第１の神経網モデルが正確な結果を導き出すようにすることができる。

【0044】

図２を参照すると、図２は、上述の第１の神経網モデルの構造を概念的に図示する図であり、実際の火災画像２０４と任意の火炎画像で生成された仮想画像２０２をいずれも学習画像として入力を受けることができる。

【0045】

神経網モデル２０６に入力された学習画像は、神経網内のレイヤーにより畳み込み演算され得る。神経網モデルは、畳み込み演算で生成された特徴マップを１次元の出力を生成する全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）に入力し、非線形関数により最終出力２０８を生成することができる。

【0046】

具体的には、本実施形態による神経網モデルは、入力された学習画像の中に火炎が存在するか否かに関する判断結果を出力することができる。

【0047】

例えば、本実施形態による神経網モデルは、指導学習方式で生成された学習画像は火炎を含むものとして火炎の位置などを予めラベリングし、神経網モデルが火炎が存在するものと判断するように学習させることができる。

【0048】

この際、学習データの確保のために生成された仮想画像は、実際の火災発生の描写度が高いときに、より正確な学習が行われ得る。

【0049】

以下、図３を参照して、本発明による学習方法で火炎画像を生成する方法について説明する。

【0050】

本実施形態において、火炎画像３１２は、火災画像ｘ３０２の真偽性を判断して結果Ｄ（ｘ）３０６を出力する区分子（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）Ｄ３０４を利用して生成され得る。

【0051】

具体的には、火炎画像を生成する第２の神経網モデルは、入力されたＺ値３０８により仮想（ｆａｋｅ）の火炎画像Ｇ（ｚ）３１２を生成する生成子Ｇ（Ｇｅｎｅｒａｔｏｒ）３１０と特定の画像の真偽性を判断するドメイン区分子Ｄ３０４から構成され得る。

【0052】

すなわち、第２の神経網モデルの学習は、生成された火炎画像から火炎の存在に関する判断結果として真偽性可否Ｄ（Ｇ（ｚ））３１４を出力する上述の区分子Ｄ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）３０４をともに利用して行われ得る。

【0053】

すなわち、図３の生成子Ｇ３１０から生成された火炎画像Ｇ（ｚ）３１２が区分子Ｄ３０４によって実際の火炎として判断されるように生成子Ｇ３１０を学習させ、学習過程でドメイン区分子Ｄ３０４が、仮想画像に対して真偽性が低いと判断するように敵対的に学習過程を繰り返すことができる（結果的に、生成される偽画像を区分できないようにする）。

【0054】

これにより学習された生成子Ｇ３１０は、入力値ｚ３０８によって実際の火炎に近い様々な火炎画像３１２を生成するようにすることができる。

【0055】

以上の方式により学習を完了すると、第２の神経網モデルの生成子を用いて実際のような仮想の火炎画像を理論的に無限に作り出すことができる。しかしながら、学習に使用された実際の画像の数が実際の火炎画像の全体ドメインを代表するには十分でないため、仮想の火炎画像の確率分布が実際の火炎画像の確率分布を完壁に模したと言い難い。

【0056】

したがって、仮想の火炎画像を無条件に学習に多く使用するほど仮想画像に過適合し、実際の環境での火炎検出性能を低下させる可能性がある。かかる問題を解決するために、本発明による神経網モデルは、第１の神経網モデルがより一般的な環境でもよく動作するようにするために、第３の神経網モデルを導入して学習を行うことができる。

【0057】

具体的には、第３の神経網モデルは、仮想画像のドメイン（Ｆａｋｅ）と実際の火災画像のドメイン（Ｒｅａｌ）を区分するドメイン区分子４１４の区分能力を減少させる（偽物と本物を区分できない）方向に学習され得る。

【0058】

例えば、上述の第２の神経網モデルを用いて生成された火炎画像４０２と実際の火災画像４０８の火炎が、同じ特徴空間にマッピングするようにし、結果的に火炎画像として生成された仮想画像の火災発生状況に関する描写度を実際に近くなるように高めることができる。

【0059】

すなわち、第３の神経網モデルは、実際の火災画像４０８と仮想の火炎画像４０６が特徴空間で互いに区別されないようにするマッピングを学習する。したがって、第１の神経網モデルが、第３の神経網モデルによりマッピングされた特徴空間で火炎を検出するように学習すると、実際の火炎画像に対する火炎検出性能を向上させることができる。

【0060】

具体的には、図４を参照すると、第３の神経網モデルは実際の火災画像４０８をソースデータとして、任意の火炎画像４０２と背景画像４０４が結合した仮想画像４０６をターゲットデータとして入力を受けることができる。

【0061】

入力されたデータから特徴抽出子（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒ）４１０は、畳み込み演算により特徴を抽出し、抽出した特徴をドメイン区分子（ｄｏｍａｉｎ ｄｉｓｃｒｉｍｉｎａｔｏｒ）４１２に伝達することができる。

【0062】

ドメイン区分子４１２は、抽出した特徴により入力された画像が、ソースデータドメインであるかまたはターゲットデータドメインであるかを区分し、ドメインラベル（ｄｏｍａｉｎ ｌａｂｅｌ）を出力するようにすることができる（４１４）。

【0063】

この際、第３の神経網モデルは学習によりドメインの区分に影響を及ぼす要素（区分値の差）を減少させる方向に更新され、ソースドメインとターゲットドメインとの差を解消し、実際の火炎画像と仮想画像が同じ特徴空間にマッピングされるようにすることができる。

【0064】

すなわち、本発明による学習方法は、生成された仮想画像のデータ品質を第２の神経網により高め、第３の神経網モデルを学習に用いて第１の神経網モデルの判断結果の正確度を高めることができる。

【0065】

また、図５を参照すると、本実施形態による学習方法は、神経網モデルを用いた火炎画像５０２の他に、コンピュータグラフィックにより２ｄ、３ｄモデリングで生成された火炎画像５０４を用いることも可能である。

【0066】

また、神経網モデルとコンピュータモデリングにより火炎画像を生成する以外に、ウェブ上に存在する様々な火炎画像を収集し、収集した火炎画像５０６を仮想画像の生成に用いることも可能である。

【0067】

具体的には、収集される火炎画像としては、背景の透明性を含む形式、好ましくはＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃ（ｓ））形式の画像が用いられ得る。

【0068】

図５を参照すると、本実施形態による学習方法は、上述の複数の方法によって生成された火炎画像を背景画像５０８に結合し、本実施形態による学習方法で仮想画像５１０を生成することができる。

【0069】

生成された仮想画像５１０は、上述のように、図３による第２の神経網モデルのドメイン区分子を用いて実際の火災画像と同じ特徴空間にマッピングされるようにし、生成された仮想画像を学習に用いることができる。

【0070】

さらに、本実施形態による学習方法は、学習データの増殖のために生成された学習画像の回転、反転、クロップ（ｃｒｏｐ）などを行うことができる。さらには、火炎の発生に影響を及ぼす外部環境を条件として学習画像を変更し、学習データを増殖することも可能である。

【0071】

この際、データの増殖規則は、ランダムに行われ得、増殖したデータが有意な状況を有するように行われ得る。例えば回転や反転によって実際に存在し難い火災状況でデータが増殖することを制限することも可能である。

【0072】

外部環境と関わり、周辺が暗い状況での火炎検出率と周辺が明るい状況での火炎の検出率が異なり得るため、生成された学習画像の明度を多様化し、学習データとして用いることができる。

【0073】

その他、外部照明、内部施設、背景の色など、様々な外部環境の条件を考慮し、学習データを増殖することも可能である。

【0074】

また、モニタするための画像を撮影する様々なカメラの撮影時点を考慮し、学習画像を増殖することも可能である。

【0075】

以上の本発明による学習方法は、様々な火災状況のデータを確保し、外部環境条件などを考慮してデータを増殖することで、様々な状況の火災にも対応できるように神経網モデルを学習させることができる。

【0076】

また、学習のためのデータの品質を高めることで、火災発生を判断する神経網モデルの学習正確度を高め、最終的に神経網モデルの火炎検出性能を高めることができる。

【0077】

＜神経網モデルの火炎検出方法＞
以下、上述の実施形態により学習された学習モデルを用いて様々なソース画像から火炎が存在するか否かを判断する火炎検出方法について説明する。

【0078】

本実施形態による火炎検出方法は、入力されたソース画像を火炎検出神経網モデルに入力し、画像内に火炎が存在するか否かに応じて火災状況を判断することができる。

【0079】

この際、火炎検出方法で用いられる神経網モデルは、様々な形式で入力される画像から火炎を検出する必要があるが、特定の解像度と大きさの学習データで学習された神経網モデルは、検出のために入力されるソース画像の大きさや解像度に応じて検出性能が異なり得る。

【0080】

したがって、本実施形態による神経網モデルは、ソース画像の大きさや解像度の多様性から強靭な性能を示すように入力データを変更することができる。

【0081】

すなわち、入力された最初のソース画像を用いて複数のソース画像を生成し、生成された複数のソース画像それぞれに対して火炎が存在するかを判断し、判断結果を出力するようにすることができる。

【0082】

具体的には、図６を参照すると、本実施形態による火炎検出方法は、最初入力された第１のソース画像６０２を目標の大きさの画像に逹するように、順に予め定められた割合に応じて画像の大きさを縮小することができる。

【0083】

例えば、入力された第１のソース画像の大きさが１９２０×１０８０であると、８０％ずつ順に減少させて６４×６４大きさの第Ｎのソース画像６０８まで縮小することができる。

【0084】

本実施形態による火炎検出方法は、それぞれの縮小ステップで生成された中間ソース画像６０４、６０６をいずれも入力データとして用いて複数のソース画像のうち一つでも火炎が検出されると火災が発生したものと判断することができる。

【0085】

または逆に、図７のように小さい大きさのソース画像の入力を受けた場合、第１のソース画像７０２を目標の大きさの画像７０８に逹するように順に拡大させることも可能である。

【0086】

火炎検出方法は、順に拡大する過程で生成された中間ソース画像７０４、７０６をいずれも入力として用いて複数のソース画像のうち一つでも火炎が検出されると、火災が発生したものと判断することができる。

【0087】

また、神経網モデルのネットワーク構造上、入出力値の大きさが定められている場合、拡大または縮小されて生成されるソース画像の大きさをさらなる処理により調節することも可能である。

【0088】

具体的には、データの大きさの差による損失を防止するために、縮小された画像の残りの領域を空白値で満たすことも可能である。

【0089】

以上の本実施形態による火炎検出方法は、神経網モデルが制限された解像度と大きさの画像に対して火炎を検出するように学習されたとしても、ソース画像の段階的な縮小または拡大で生成された複数の画像を検出に用いて、様々な画像に対しても適応的に対応するようにすることができる。

【0090】

したがって、火炎検出方法が、実際の火災の監視に用いられる様々な監視カメラ（ＣＣＴＶ；Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）やドローンなどの撮影方式による入力画像間の差にも適応的に強靭な性能を示すようにすることができる。

【0091】

以下、図８を参照して、本実施形態による火炎検出方法の神経網モデルの内部レイヤー構造についてさらに説明する。

【0092】

本実施形態による神経網モデルは、入力データの大きさと出力データの大きさを考慮して、畳み込みレイヤーの構造を設計することができる。

【0093】

上述のように、火炎検出方法は、ソース画像の大きさを多様化し、すべてのソース画像の中に火炎が存在するかを検出することから、神経網モデルの畳み込み演算が生成されたソース画像の個数についてさらに行われ得る。

【0094】

したがって、本実施形態による神経網モデルは、複数のソース画像に対して対応するために、畳み込みレイヤーを分割して構成することができる。

【0095】

具体的には、入出力チャンネルとフィルタの大きさで定められた単一レイヤーの一部のチャンネルを単一チャンネルで構成し、レイヤーの個数を分割して構成することができる。

【0096】

図８を参照すると、本実施形態において、神経網モデルは、２個の畳み込みレイヤーから構成され得る。

【0097】

例えば、入力データ８０２の大きさが７×７×１２８であり、出力データ８０６の大きさが７×７×２５６であり、特徴値の抽出のための畳み込み演算に単一レイヤーとして３×３の大きさのフィルタを用いることを想定すると、畳み込みレイヤー８０４の全畳み込み演算の数は、３×３×１２８×２６５になり得る。

【0098】

この際、本実施形態による神経網モデルは、一つのソース画像を複数のｎ個のソース画像として生成して利用することから、全畳み込み演算の数がｎ個増加することになる。

【0099】

したがって、本実施形態による火炎検出方法は、神経網モデルに対してより迅速且つ正確に火炎が存在するか否かを判断するために、畳み込みレイヤーを分割して構成することができる。

【0100】

具体的には、単一畳み込みレイヤー８０４を第１の畳み込みレイヤー８０４－１と第２の畳み込みレイヤー８０４－２とに分割し、第１の畳み込みレイヤー８０４－１と第２の畳み込みレイヤー８０４－２が連続するように構成することができる。この際、第１の畳み込みレイヤー８０４－１は、単一行のチャンネル数を有するように構成し、第２の畳み込みレイヤー８０４－２は、単一列のチャンネル数を有するように構成することができる。

【0101】

すなわち、レイヤーの分割により全演算数は３×３×（１２８＋２５６）になるため、前の単一レイヤーによる演算数よりも演算数を減少させることができる。

【0102】

これにより、本実施形態による火炎検出方法は、複数のソース画像による演算量の増加を、レイヤー分割による畳み込み演算量の減少で補償し、これより神経網モデルの検出正確度と時間を最適化することができる。

【0103】

以下、図９を参照して、本実施形態による神経網モデルの全構成について説明する。

【0104】

上述のように、火炎検出のための神経網モデルは、段階的に縮小または拡大した画像の入力を受け（９０２）、出力の結果で火炎が存在するか否かを判断（９１４）することができる。

【0105】

神経網モデル９０４は、入力データの大きさと出力データの大きさを考慮し、且つ、畳み込みネットワーク９０６を二重９０８、９１０に構成することができる。二重の畳み込み演算により生成された特徴マップを全結合層９１２の入力として伝達し、伝達した入力により火炎が存在するか否かを最終的に出力するようにすることができる。

【0106】

具体的には、全結合層の出力により、火炎が存在するか否かと、火炎が存在する時に火炎の画像中の位置に関する情報を生成するようにすることができる。

【0107】

以上の火炎検出方法による神経網モデルは、火災感知において、入力されるデータの大きさと解像度による判断誤差を低減し、様々なデータに適応的に高い性能を発揮するようにすることができる。

【0108】

さらに、神経網モデルのレイヤーを再構成して入力されるデータの量が膨大であっても、効率的に迅速な判断結果を生成するようにすることができる。

【0109】

以上、ここで説明する様々な実施形態は、例えば、ソフトウェア、ハードウェアまたはこれらの組み合わせを用いて、コンピュータまたはこれと類似した装置で読み込み可能な記録媒体により実現され得る。

【0110】

ハードウェア的な実現によると、ここで説明する実施形態は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサ（ｐｒｏｃｅｓｓｏｒｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ‐ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能を実行するための電気的なユニットのうち少なくとも一つを用いて実現され得る。一部の場合、本明細書において説明する実施形態が制御モジュール自体で実現され得る。

【0111】

ソフトウェア的な実現によると、本明細書において説明する手続きおよび機能のような実施形態は、別のソフトウェアモジュールで実現され得る。前記ソフトウェアモジュールそれぞれは、本明細書において説明する一つ以上の機能および作動を行うことができる。適切なプログラム言語で書き込まれたソフトウェアアプリケーションでソフトウェアコードが実現され得る。前記ソフトウェアコードは、メモリモジュールに記憶され、制御モジュールによって実行され得る。

【0112】

以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲内で様々な修正、変更および置換が可能である。

【0113】

したがって、本発明に開示された実施形態および添付の図面は、本発明の技術思想を限定するためではなく、説明するためのものであって、かかる実施形態および添付の図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、以下の請求の範囲によって解釈すべきであり、それと同等な範囲内に存在するすべての技術思想は、本発明の権利範囲に含まれるものと解釈すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】