特許 6995148 視覚的深度を用いた煙検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-16

(45)【発行日】2022-01-14

(54)【発明の名称】視覚的深度を用いた煙検出方法

(51)【国際特許分類】

   G08B 17/00 20060101AFI20220106BHJP

   G06T 7/60 20170101ALI20220106BHJP

   G06T 7/521 20170101ALI20220106BHJP

   G08B 17/103 20060101ALI20220106BHJP

   G01N 21/59 20060101ALI20220106BHJP

【ＦＩ】

G08B17/00 C

G06T7/60 300A

G06T7/521

G08B17/103 A

G01N21/59 G

G01N21/59 H

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2020000090

(22)【出願日】2020-01-06

(65)【公開番号】P2020109670

(43)【公開日】2020-07-16

【審査請求日】2020-01-06

(31)【優先権主張番号】108100444

(32)【優先日】2019-01-04

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】507416610

【氏名又は名称】メタル インダストリーズ リサーチ アンド ディベロップメント センター

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】ツォン ハン リー

(72)【発明者】

【氏名】ジャン ジン－フォン

(72)【発明者】

【氏名】シュー シー－チュン

(72)【発明者】

【氏名】チャン ツ－クン

(72)【発明者】

【氏名】ウェイ ハン－ユェン

【審査官】石井 則之

(56)【参考文献】

【文献】特開２０１２－１１８６９８（ＪＰ，Ａ）

【文献】韓国登録特許第１０－１６７９１４８（ＫＲ，Ｂ１）

【文献】特開２０１４－１９１４００（ＪＰ，Ａ）

【文献】特開２００２－０４２２７１（ＪＰ，Ａ）

【文献】特開平１１－２９６６５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ １７／００

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／５２１

Ｇ０８Ｂ １７／１０３

Ｇ０１Ｎ ２１／５９

(57)【特許請求の範囲】

【請求項1】

画像カメラおよびデプスカメラを用意するステップと、
前記画像カメラにより複数の周囲画像を抽出し、前記デプスカメラにより前記複数の周囲画像の複数の周囲深度情報を取得するステップと、
プロセッサによって、前記複数の周囲画像内の１つ以上の燃焼物体を識別するステップと、
前記複数の周囲画像および前記複数の周囲深度情報に応じた画像情報および前記１つ以上の燃焼物体の輪郭を取得するステップと、
前記１つ以上の燃焼物体の煙分布またはその火災源の位置を、前記画像情報および前記１つ以上の燃焼物体の前記輪郭に基づき、クラスタリングアルゴリズムによって推定するステップと、
前記１つ以上の燃焼物体の煙分布またはその火災源の位置に従ってアラーム情報を生成するステップと、を含み、
前記１つ以上の燃焼物体は煙および火災源を含み、前記クラスタリングアルゴリズムは、Ｋをクラスタの数とし、Ｃ^ｉをクラスタＫに最も近いサンプルセットｉの分類とし、μ_ｊを第１のクラスタ中心の推定位置とし、ｊを各クラスタ中心の質量中心とすると、次式（１）、（２）を採用する、視覚的深度を有する煙検出法。

【数1】

【請求項2】

前記１つ以上のデプスカメラは構造化光投影モジュールと構造化光カメラとを含み、
前記構造化光投影モジュールは前記１つ以上の燃焼物体に複数の光平面を投影し、
前記構造化光カメラは前記複数の周囲深度情報を取得するために、前記複数の光平面の投影によって反射された光画像メッセージを受信する、請求項１に記載の視覚的深度を有する煙検出法。

【請求項3】

前記構造化光投影モジュールは、レーザ発光素子とレンズセットとを含む、請求項２に記載の視覚的深度を有する煙検出法。

【請求項4】

前記１つ以上の燃焼物体の煙分布またはその火災源の位置に従って前記アラーム情報を生成する前記ステップにおいて、警報モジュールの１つ以上のオーディオユニットが前記アラーム情報を発するために使用される、請求項１に記載の視覚的深度を有する煙検出法。

【請求項5】

前記画像カメラまたは前記デプスカメラは、車両に搭載されている、請求項１に記載の視覚的深度を有する煙検出法。

【請求項6】

前記車両が移動車両を含む、請求項５に記載の視覚的深度を有する煙検出法。

【請求項7】

画像カメラおよびデプスカメラを用意するステップと、
前記画像カメラにより複数の周囲画像を抽出し、前記デプスカメラにより前記複数の周囲画像の複数の周囲深度情報を取得するステップと、
前記複数の周囲画像および前記複数の周囲深度情報に応じた画像情報および前記１つ以上の燃焼物体の輪郭を取得するステップと、
前記１つ以上の燃焼物体の煙分布またはその火災源の位置を、前記画像情報および前記１つ以上の燃焼物体の前記輪郭に基づき、クラスタリングアルゴリズムによって推定するステップと、
前記１つ以上の燃焼物体の煙分布またはその火災源の位置に従ってアラーム情報を生成するステップと、を含み、
前記１つ以上の燃焼物体は煙および火災源を含み、前記クラスタリングアルゴリズムは、Ｋをクラスタの数とし、Ｃ^ｉをクラスタＫに最も近いサンプルセットｉの分類とし、μ_ｊを第１のクラスタ中心の推定位置とし、ｊを各クラスタ中心の質量中心とすると、次式（１）、（２）を採用する、視覚的深度を有する煙検出法。

【数2】

【請求項8】

プロセッサによって、前記複数の周囲画像内の１つ以上の燃焼物体を識別するステップをさらに含む、請求項７に記載の視覚的深度を有する煙検出法。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

〔発明の分野〕
本発明は、火災情報を救助隊員に提供するために、燃焼物体の煙分布または火災源の位置を推定する、クラスタリングアルゴリズムを用いた検出方法で、視覚的深度を有する煙検出方法に関する。

【0002】

〔発明の背景〕
台湾では人口密度が高く、生活空間が限られている。現在の住宅は、主に集合的な高層ビルである。背の高い建物で発生する火災は、通常、人及び財産に深刻な損害をもたらす。そのため、完全な防火設備は、高い建物を有する都市環境に住む人々にとって重大である。高い建物が密集した都市環境に適合させるために、異なる火災警報器が設けられている。

【0003】

従来技術による火災警報器は、煙の濃度センサおよび温度センサによって検出する。ある期間火災が発生し、煙が一定の濃度まで到達しない限り、検出器及びアラームはトリガされない。温度に基づく煙および火災検出システムは火炎および煙を直ちに検出でき、警報を発することができる。残念ながら、従来技術による火災警報器は固定されているので、距離および空間によって制限され、開放空間、多くのコーナーを有する空間、または屋外には適さない。また、従来技術の火災警報器では、火災発生時の火災位置や煙分布などの情報を提供することができなかった。さらに、温度に基づくリアルタイム火災警報器は、誤警報の問題を有する可能性がある。

【0004】

カメラと組み合わされた火災警報器は、モニタからより多くの火災関連情報をリアルタイムに取得することができる。煙感知・温度感知装置に比べて、迅速な応答で安定した検出をすることができる。これにより、視覚に基づく火災および煙検出装置は、火災防止のための検出装置の研究および設計のための重要な開発方針となっている。

【0005】

従って、本発明は、周囲画像及び深度画像を取得する画像カメラ及びデプスカメラを用いて火災シーンを撮影し、視覚的深度を有する煙検出法を提供する。そして、プロセッサは、クラスタリングアルゴリズムを採用して、燃焼物体の煙分布及び火災源の位置を区別する。火災現場を完全に示すことにより、救助隊員は迅速に応答することができ、火災現場の消防士に正しい情報を提供することができる。消火時間を短縮することにより、人々の生存機会を向上させることができる。

【0006】

〔発明の概要〕
本発明の目的は、画像カメラ及びデプスカメラを使用して、周囲画像及び深度画像を取得するために火災現場を撮影することで、視覚的深度を有する煙検出法を提供することである。次に、プロセッサは、クラスタリングアルゴリズムを採用して、周囲画像によって１つ以上の燃焼物体による煙分布及び火災源の位置を推定する。

【0007】

上記の目的および効果を達成するために、本発明は視覚的深度を有する煙検出法を提供し、この煙検出法は、車両の１つ以上の画像カメラに従って複数の周囲画像を抽出するステップと、車両の１つ以上のデプスカメラに従って複数の周囲画像の複数の周囲深度情報を取得するステップと、プロセッサに従って、車両の一方の側に位置する複数の周囲画像内の１つ以上の燃焼物体を識別するステップと、複数の周囲画像および複数の周囲深度情報に従って、画像情報および１つ以上の燃焼物体の輪郭を取得するステップと、画像情報および１つ以上の燃焼物体の輪郭に従って、およびクラスタリングアルゴリズムに従って、１つ以上の燃焼物体の煙分布または火災源の位置を推定するステップと、１つ以上の燃焼物体の煙分布または火災源の位置に従って、警報情報を生成するステップとを含む。

【0008】

本発明の一実施形態によれば、プロセッサによって、車両の片側に位置する１つ以上の燃焼物体を含む複数の周囲画像を判定するステップにおいて、１つ以上の燃焼物体は、煙および火災源を含む。

【0009】

本発明の一実施形態によれば、１つ以上のデプスカメラは、構造化光投影モジュールと構造化光カメラとを含む。構造化光投影モジュールは、複数の光平面を１つ以上の燃焼物体に投影する。構造化光カメラは、複数の周囲深度情報を取得するために、複数の光平面の投影、および、反射された光画像メッセージを受け取る。

【0010】

本発明の一実施形態によれば、構造化光投影モジュールは、レーザ発光装置と、レンズセットとを含む。

【0011】

本発明の一実施形態によれば、１つ以上の燃焼物体の煙分布または火災源の位置に従ってアラーム情報を生成するステップにおいて、警報装置の１つ以上のオーディオユニットが、警報情報を発するために採用される。

【0012】

〔図面の簡単な説明〕
図１は、本発明の一実施形態によるフローチャートを示す。

【0013】

図２は、本発明の一実施形態によるブロック図を示す。

【0014】

図３は、本発明の一実施形態による２値化閾値の概略図を示す。

【0015】

図４は、本発明による火災検出の概略図を示す。

【0016】

〔詳細な説明〕
本発明の構造、特性及び有効性を、さらに理解し認識させるために、本発明の詳細な説明を、実施形態および添付の図面とともに以下に示す。

【0017】

本発明は、煙分布または燃焼物体の火災源の位置を推定するために、クラスタリングアルゴリズムを採用するプロセッサを利用し、警報情報を提供するために警報装置を利用する、視覚的深度をもつ煙検出法を提供する。これにより、救助隊員は事前に準備し、即座に対応することができる。火災現場の消防士に正しい情報を提供することにより、火災を制御する時間を短縮することができ、避難時間を長くすることができる。

【0018】

本発明の一実施形態によるフローチャートを図１に示す。同図に示すように、本実施形態の視覚的深度をもつ煙検出法は、次のステップを含む。

【0019】

ステップＳ１０：車両の画像カメラにより周囲画像を抽出し、車両のデプスカメラにより周囲画像の周囲深度情報を取得する。

【0020】

ステップＳ２０：プロセッサによって、車両の片側を写した複数の周囲画像の中の燃焼物体を識別する。

【0021】

ステップＳ３０：周囲画像及び周囲深度情報に基づいて、画像情報及び燃焼物体の輪郭を取得する。

【0022】

ステップＳ４０：画像情報及び燃焼物体の輪郭により、クラスタリングアルゴリズムを利用して、煙分布または火災源の位置を推定する。

【0023】

ステップＳ５０：煙分布または燃焼物体の火災源の位置に基づいて警報情報を生成する。

【0024】

図１及び図２を参照する。図２は、本発明の一実施形態による構造概略図を示す。図示するように、ステップＳ１０では、複数の周囲画像を抽出することを目的として周囲を撮影するために、車両１の１以上の画像カメラ１０が使用され、複数の周囲画像に対応する複数の周囲深度情報を取得するために、車両１の１以上のデプスカメラ２０が使用される。周囲深度は、デプスカメラ２０と様々な周囲の位置との間の距離を示すことができる。一実施形態において、車両１は、無人移動車両、例えば無人航空機や、無人地上車両を含む移動車両であってもよい。画像カメラ１０は、ＣＣＤまたはＣＭＯＳセンサなどの画像センサを含む。さらに、画像カメラ１０は、暗視装置、または、暗視機能をサポートするためのアクティブ赤外線照明を含むことができる。

【0025】

図１～図３を参照する。図３は本発明の一実施形態による２値化閾値の概略図を示す。ステップＳ２０では、プロセッサ３０は、ＨＳＶカラー空間内の画像を２値化するために、膨張処理および収縮処理を採用する。取得された複数の周囲画像は、対象を識別するために分析される。

【0026】

【数1】

【0027】

ここで、ｍは２値化閾値であり、ｆは入力画像であり、ｎは全ての画素であり、ｆ（ｘ、ｙ）は画素座標のグレースケール値である。

【0028】

上記式（１）を用いることにより、複数の周囲画像において車両１の片側に位置する１つ以上の燃焼物体２を特定することができる。

【0029】

プロセッサ３０は、画像カメラ１０および１つまたは複数のデプスカメラ２０と接続されている。１つ以上のデプスカメラ２０は、構造化光投影モジュール２２および構造化光カメラ２１を含む。画像カメラ１０が複数の周囲画像を抽出するとき、構造化光投影モジュール２２は、複数の光平面２３を、１つ以上の燃焼物体の表面のそれぞれに対応させて投影する。そして、複数の周囲画像の複数の周囲深度情報を取得するために、構造化光カメラ２１は複数の周囲画像の投影によって反射された光画像のメッセージを受け取る。本実施形態に係る検出方法は、構造化光投影モジュール２２を用いるものである。原理は、光源を使用して、制御可能な光スポット、ストライプ、または平面を被試験物体の表面に投影することである。そして、カメラ等のセンサを用いて、反射画像を撮像する。幾何学的計算の後、オブジェクトの立体座標が与えられる。好ましい実施形態によれば、構造化光投影モジュール２２は、光源としてレーザ発光装置２２１を採用する。レーザは、高コヒーレンス、低減衰、長距離測定、高精度、および他の光源による影響を受けにくい点で、一般的な光源よりも優れている。レーザ発光素子２２１から供給されたレーザは、レンズセット２２２によって分散され、空間内に光平面２３を形成する。好ましい実施形態によれば、レンズセット２２２はパターンレンズを含むことができる。パターンレンズは、透過型レーザによって形成された光平面２３が２次元平面上の光スポットマトリックスなどの特徴的なパターンを有することを可能にするための、パターン化された微細構造を含む。

【0030】

図１および図２を参照する。ステップＳ３０において、プロセッサ３０はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）によって構成することができ、複数の周囲画像および複数の周囲深度情報を算出し、分析する。この変化量を用いて、１つ以上の燃焼物体２と車両１との距離と、画像情報および１つ以上の燃焼物体の輪郭とが得られる。

【0031】

図１および図２を参照する。ステップＳ４０では、クラスタリングアルゴリズムによって、画像情報および１つまたは複数の燃焼物体２の輪郭から、煙分布または１つまたは複数の燃焼物体２の火災源の位置を推定する。クラスタリングアルゴリズムは、複数の深度情報を用いて、１つ以上の燃焼対象物２の像形成を行うものである。サンプル数ｍは、{ｘ^１，ｘ^２，ｘ^３，…．ｘ^ｍ }，ｘ^ｉ∈Ｒ^ｎと定義できる。ここでＲ^ｎは、統計的参照モデルである。サンプル集合ｉからランダムに選択されたＫ個のクラスタリング中心は{μ_１，μ_２，μ_３，…．μ_ｋ }，μ_ｊ∈Ｒ^ｎである。各サンプル集合ｉのクラスタ中心は以下の式で算出される。

【0032】

【数2】

【0033】

ここで、Ｋはクラスタの数であり、Ｃ^ｉはクラスタＫに最も近いサンプル集合であり、μ_ｊは第ｊのクラスタ中心の推定位置であり、ｊは各クラスタ中心の質量中心である。式３によれば、以下の式４が得られる。

【0034】

【数3】

【0035】

式４において、クラスタＫの点を減少させることにより、以下の式が得られる。

【0036】

【数4】

【0037】

ここで、μ'_ｊは第２のクラスタ中心の推定位置である。

【0038】

上記のクラスタリングアルゴリズムを用いることにより、火災源や煙の拡散・分布が迅速に求まる。そして、関連スタッフの判断のために、現場状況の情報を迅速に該関連スタッフに配信できる。判断後、現場消防士に、火災の広がり方を減らし、早期に煙を消散させる対処方法を通知できる。これにより、救出及び消火の効率を高めることができる。

【0039】

図１および図２を参照する。ステップＳ５０において、プロセッサ３０は１つ以上の音声ユニット４１を含む警報モジュール４０に接続されている。アラーム情報は、煙分布または１つ以上の燃焼物体による火災源に応じて生成され、警報音などの警報を発するために１つ以上の音声ユニット４１に提供される。本実施の形態によれば、警報モジュール４０は、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、４Ｇ、５Ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の種々の通信方法により遠隔装置と無線接続することができる。さらに、上記情報は、火災現場の情報を提供するためにプロセッサ３０に接続されたディスプレイ７０上に表示される。

【0040】

図２を参照する。図に示されるように、プロセッサ３０はデータベース５０に接続されている。データベース５０は、プロセッサ３０によって推定され、画像カメラ１０及びデプスカメラ２０によって抽出された複数の周囲画像及び周囲深度情報の一部を記憶している。本実施形態によれば、プロセッサ３０は、車両１の移動状態を感知することができるセンサ６０にさらに接続される。これにより、１つ以上の燃焼対象物２の移動速度を推定することによって、車両１が１つ以上の燃焼対象物１に衝突することを防止できる。

【0041】

好ましい実施形態によれば、電源８０が車両１に配置されており、電源を供給するために、該電源８０が、画像カメラ１０、デプスカメラ２０の構造化光ユニット２１およびレーザ発光装置２２１、警報モジュール４０、ならびにディスプレイ７０に電気的に接続される。

【0042】

図４に、本発明による火災検出の概略図を示す。図に示すように、周囲画像は、煙５及び火災源３を含む１つ以上の燃焼物体２を含む。本実施形態によれば、プロセッサ３０は、煙５の煙分布６及び火災源の場所４を推定する。車両１は領域をパトロールし、第１の発生源、煙及び煙の広がり方を検出するために使用される。クラスタリングアルゴリズムを使用することによって、火災源の集中箇所を識別することができる。その後、状況に対処するために救助隊員に警報が発動される。

【0043】

要約すると、本発明は、主に、火災現場を撮影するためのデュアルレンズを構成する画像カメラおよびデプスカメラを使用した、視覚的深度を有する煙検出法を提供する。画像は、Ｗｉ－Ｆｉ（登録商標）ネットワークを介して監視員に送信される。そして、火災シーンは煙検出システムにおいて遠隔で見ることができ、以下の利点を提供する。

【0044】

１． 視覚的深度を有する画像モジュールを使用して火炎と煙を分類することによって、救助隊員が火災の激しさのレベルを知り、迅速に火災を消火できる。さらに、クラスタリングアルゴリズムを使用することによって、煙および火災源の位置を識別することができる。これにより、救助隊員は迅速に消火を行い、捕らわれた人々を早期に避難させ、死傷者を減少させることができる。

【0045】

２．車両は、スタッフの遠隔装置にて工場の現場を示すために使用される。災害が発生した場合、消防士は、火災現場に応じて迅速に判断し、即座に対応できるように情報が通知される。火災現場に到達する前に評価及び行動を開始することができなかった従来に比べて、本発明によれば、火災に対する応答効率を向上させることができるとともに、救助効率を向上させることができる。

【0046】

したがって、本発明はその新規性、非自明性、および有用性のために、法的要件に適合する。しかしながら、前述の説明は、本発明の実施形態に過ぎず、本発明の範囲を限定するために使用されるものではない。本発明の特許請求の範囲に記載された形状、構造、特徴、または精神に応じてなされるこれらの均等な変更または修正は、本発明の特許請求の範囲に含まれる。

【図面の簡単な説明】

【0047】

【図1】本発明の一実施形態によるフローチャートを示す図である。

【図2】本発明の一実施形態によるブロック図を示す図である。

【図3】本発明の一実施形態による２値化閾値の概略図を示す図である。

【図4】本発明による火災検出の概略図を示す図である。

【図1】

【図2】

【図3】

【図4】