知財求人 - 知財ポータルサイト「IP Force」
▶ 消防庁長官の特許一覧 ▶ 深田工業株式会社の特許一覧 ▶ 三菱電機特機システム株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-171257(P2021-171257A)
(43)【公開日】2021年11月1日
(54)【発明の名称】消火システム
(51)【国際特許分類】
A62C 37/36 20060101AFI20211004BHJP
H04N 7/18 20060101ALI20211004BHJP
G06T 7/60 20170101ALI20211004BHJP
A62C 27/00 20060101ALN20211004BHJP
【ＦＩ】
A62C37/36
H04N7/18 N
H04N7/18 K
G06T7/60 300A
A62C27/00 505
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
【全頁数】28
(21)【出願番号】特願2020-76799(P2020-76799)
(22)【出願日】2020年4月23日
(71)【出願人】
【識別番号】591078712
【氏名又は名称】消防庁長官
(71)【出願人】
【識別番号】000192338
【氏名又は名称】深田工業株式会社
(71)【出願人】
【識別番号】394025094
【氏名又は名称】三菱電機特機システム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】天野 久徳
(72)【発明者】
【氏名】田村 佳宏
(72)【発明者】
【氏名】花井 佑一朗
(72)【発明者】
【氏名】高嶋 武士
(72)【発明者】
【氏名】森園 竜太郎
(72)【発明者】
【氏名】伊藤 大介
(72)【発明者】
【氏名】小泉 直人
【テーマコード（参考）】
2E189
5C054
5L096
【Ｆターム（参考）】
2E189DA05
2E189DA10
2E189FB03
2E189FB06
2E189FB07
2E189FB09
2E189GA02
2E189GA05
5C054CA05
5C054CC02
5C054EA01
5C054EA05
5C054FC01
5C054FC07
5C054FC12
5C054FC14
5C054FC15
5C054FE12
5C054HA05
5C054HA18
5L096CA04
5L096FA06
5L096FA33
5L096HA09
(57)【要約】
【課題】放水された水を所望の位置に精度よく落下させる。【解決手段】画素抽出部２０は、消火活動を時系列に撮影した、温度に応じた画素値を有する複数の熱画像から、画素毎に、放水部分を表しているか否かを判定する。輪郭抽出部２２は、放水部分を表していると判定された画素からなる画素群から、放水領域の２本の輪郭部分の各々について、当該輪郭部分を表す画素群を抽出する。輪郭抽出部２２は、放水領域の２本の輪郭部分の各々について、当該輪郭部分を表す画素群に対応する近似曲線を求め、放水領域の２本の輪郭部分の各々について求められた近似曲線を表す画像を出力する。
【選択図】図３
【特許請求の範囲】
【請求項1】
放水砲と、
前記放水砲による放水を撮影する熱画像カメラと、
前記撮影された熱画像から、放水の軌跡と、放水中心位置又は着水点とを解析し、
前記解析の結果に応じて前記放水砲の放水の角度を制御する放水軌跡推定装置と、
を含む消火システム。
前記放水砲による放水を撮影する熱画像カメラと、
前記撮影された熱画像から、放水の軌跡と、放水中心位置又は着水点とを解析し、
前記解析の結果に応じて前記放水砲の放水の角度を制御する放水軌跡推定装置と、
を含む消火システム。
【請求項2】
前記放水軌跡推定装置は、
前記熱画像カメラにて得られた、温度に応じた画素値を有する複数の熱画像から、画素毎に放水部分を表しているか否かを判定する画素判定部と、
前記放水部分を表していると判定された画素からなる画素群から、放水領域の１本又は２本の輪郭部分の各々について、当該輪郭部分を表す画素群を抽出し、
前記放水領域の前記輪郭部分の各々について、当該輪郭部分を表す画素群に対応する近似曲線を求め、
前記放水領域の前記輪郭部分の各々について求められた前記近似曲線から、前記熱画像上の放水の軌跡を推定する輪郭抽出部と、
を含む請求項１記載の消火システム。
前記熱画像カメラにて得られた、温度に応じた画素値を有する複数の熱画像から、画素毎に放水部分を表しているか否かを判定する画素判定部と、
前記放水部分を表していると判定された画素からなる画素群から、放水領域の１本又は２本の輪郭部分の各々について、当該輪郭部分を表す画素群を抽出し、
前記放水領域の前記輪郭部分の各々について、当該輪郭部分を表す画素群に対応する近似曲線を求め、
前記放水領域の前記輪郭部分の各々について求められた前記近似曲線から、前記熱画像上の放水の軌跡を推定する輪郭抽出部と、
を含む請求項１記載の消火システム。
【請求項3】
前記放水軌跡推定装置は、
前記推定された熱画像上の放水の軌跡を、前記熱画像に重畳させた表示画像を表示する表示部と、
前記表示画像上で指定された水平線と前記近似曲線との交点に基づいて、放水中心点を算出し、前記表示画像上に表示させる放水中心点算出部と、
前記表示画像上で放水目標位置を受け付ける放水目標位置設定部と、
を更に含む請求項２記載の消火システム。
前記推定された熱画像上の放水の軌跡を、前記熱画像に重畳させた表示画像を表示する表示部と、
前記表示画像上で指定された水平線と前記近似曲線との交点に基づいて、放水中心点を算出し、前記表示画像上に表示させる放水中心点算出部と、
前記表示画像上で放水目標位置を受け付ける放水目標位置設定部と、
を更に含む請求項２記載の消火システム。
【請求項4】
前記放水軌跡推定装置は、
前記放水目標位置と、前記放水中心点との差分に基づいて、前記放水砲による放水の角度を制御する放水制御部
を更に含む請求項３記載の消火システム。
前記放水目標位置と、前記放水中心点との差分に基づいて、前記放水砲による放水の角度を制御する放水制御部
を更に含む請求項３記載の消火システム。
【請求項5】
前記画素判定部は、画素毎に、時系列に撮影された複数の前記熱画像における前記画素の温度又は温度の分散に基づいて、放水部分を表しているか否かを判定する請求項２〜請求項４の何れか１項記載の消火システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は消火システムに関する。
【背景技術】
【0002】
従来、可視画像の輝度に基づき、泡放射の軌跡を推定する方法が知られている（特許文献１）。
【0003】
また、風による消火用水の落下地点のズレを風向風速の値から推測し、放水砲を制御して目標位置に消火用水を落下させるための数学モデルが知られている（特許文献２）。
【0004】
また、大空間火災の消火放水条件設定方法とそれを用いた大空間の自動消火設備が知られている（特許文献３）。
【0005】
また、複数の炎検知器により火災の発生位置を求め、放水ノズルにより消火する防災システムが知られている（特許文献４）。
【0006】
また、監視対象以外の人工光源などを省き、火災領域だけを抽出するためのアルゴリズムが知られている（特許文献５）。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１４−０３６７５６号公報
【特許文献2】特開２０００−０４２１２８号公報
【特許文献3】特開平０８−１４１１０３号公報
【特許文献4】特開２００２−１５３５７２号公報
【特許文献5】特開平１０−１８８１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来技術では、風向風速の計測値から数学モデルに基づいて着水点を推測し、放水砲の角度を制御する手法があったが、風向風速は測定場所によって大きく異なり、精度が悪かった。また実際の放水近辺で風向風速を測定することは非現実的であった。
【0009】
また、従来技術において、大規模空間（例えば、ごみピットやスポーツスタジアム等）における固定式の消火設備では、赤外線カメラと放水砲を組み合わせた機器が広く用いられている。本設備においては、予め防護範囲（防護する座標系）が決定されており、火災時に赤外線カメラで火災発生点の座標を特定するとともに、予め決定してある放水軌跡式を基に、火源発生点に最適に放水できる放水砲旋回・俯仰角を決定して放水、消火を自動で行う方法等が提案されている。
【0010】
一方で、自動消火ロボットや消防車、大容量泡放水砲、特定事業所の自衛防災組織が保有する３点セット等の移動／可搬式の防災資機材等については、火災に応じて放水砲の設置位置や放水目標位置が変わるため、防護範囲が定まっておらず、上記手法をとることが難しかった。
【0011】
それゆえ、上記資機材等では人間が放水付近で放水軌跡や落下地点を目視によって監視し、当人の感覚によって手動で放水砲を制御する手法が主流となっている。また、特に逆光や曇り、夜間等の目視による判断が困難となる環境下では、熱画像カメラにて放水軌跡や放水中心点を観測しやすくする手法が従来から用いられているものの、あくまで目視の補助用途として熱画像を（データではなく）イメージとして用いるに留まっており、放水砲の制御等へは用いられていなかった。
【0012】
本発明は上記事情を鑑みてなされたもので、放水された水を所望の位置に精度よく落下させることができる消火システムを提供することを目的とする。
【課題を解決するための手段】
【0013】
上記目的を達成するために、本発明の一態様に係る消火システムは、放水砲と、前記放水砲による放水を撮影する熱画像カメラと、前記撮影された熱画像から、放水の軌跡と、放水中心位置又は着水点とを解析し、前記解析の結果に応じて前記放水砲の放水の角度を制御する放水軌跡推定装置と、を含んで構成されている。
【発明の効果】
【0014】
本発明の一態様である消火システムによれば、撮影された熱画像から、放水の軌跡と、放水中心位置又は着水点とを解析し、前記解析の結果に応じて前記放水砲の放水の角度を制御することにより、放水された水を所望の位置に精度よく落下させることができる、という効果が得られる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施の形態に係る消火システムの構成を示すブロック図である。
【図2】本発明の実施の形態に係る消防ロボット制御装置として機能するコンピュータの一例の概略ブロック図である。
【図3】本発明の実施の形態に係る消防ロボット制御装置の構成を示すブロック図である。
【図4】本発明の実施の形態に係る消防ロボット制御装置における放水軌跡推定処理ルーチンを示すフローチャートである。
【図5】第１のノイズ除去の方法を説明するための図である。
【図6】第１のノイズ除去により得られた二値化データの一例を示す図である。
【図7】第２のノイズ除去の方法を説明するための図である。
【図8】第２のノイズ除去により得られた二値化データの一例を示す図である。
【図9】走査原点画素の決定方法を説明するための図である。
【図10】画素の走査方法を説明するための図である。
【図11】画素の走査方法を説明するための図である。
【図12】放水領域の上部の輪郭を表す点群データのイメージ図である。
【図13】近似関数を算出する方法を説明するための図である。
【図14】画素の走査方法を説明するための図である。
【図15】ノイズ除去により得られた二値化データの一例を示す図である。
【図16】近似関数によって画素抽出範囲を決定する方法を説明するための図である。
【図17】放水領域の下部の輪郭を表す点群データのイメージ図である。
【図18】放水領域の上部の輪郭を表す点群データの近似曲線を熱画像上に描画したイメージ図である。
【図19】放水領域の下部の輪郭を表す点群データの近似曲線を熱画像上に描画したイメージ図である。
【図20】放水領域の２本の輪郭を表す近似曲線を熱画像上に描画したイメージ図である。
【図21】水平線を設定する方法を説明するための図である。
【図22】水平線上に放水中心点を描画したイメージ図である。
【図23】水平線上に放水目標位置を設定する方法を説明するための図である。
【図24A】背面撮影時の熱画像及び二値化データの一例を示す図である。
【図24B】第１のノイズ除去により得られた二値化データの一例を示す図である。
【図25】第２のノイズ除去の方法を説明するための図である。
【図26】第２のノイズ除去により得られた二値化データの一例を示す図である。
【図27】各画素の画像座標を逆転させることにより得られた二値化データの一例を示す図である。
【図28】放水領域の輪郭を表す点群データの近似曲線を二値化データ上に描画したイメージ図である。
【図29】放水領域の２本の輪郭を表す近似曲線を熱画像上に描画したイメージ図である。
【図30】放水旋回角別の放水軌跡画像イメージである。
【図31】放水領域の２本の輪郭を表す近似曲線を熱画像上に描画したイメージ図である。
【図32】放水領域の２本の輪郭を表す近似曲線及び放水中心点を熱画像上に描画したイメージ図である。
【図33】放水領域の２本の輪郭を表す近似曲線及び放水中心点を熱画像上に描画したイメージ図である。
【図34】放水領域の２本の輪郭を表す近似曲線、垂直線、及び放水中心点を熱画像上に描画したイメージ図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0017】
＜本発明の実施の形態の概要＞本発明の実施の形態では、石油コンビナート等の大規模火災や特殊火災において自動的かつ自律的に消火活動を行う消防ロボットシステムにおいて、放水砲から放射された水又は泡消火薬剤の軌跡（以下、放水軌跡）及び放水中心点を熱画像で撮影し、当該軌跡、及び放水中心点又は着水点を画像処理により識別、可視化して、当該識別結果を基に放水砲を制御する消火システムについて説明する。
【0018】
具体的には、放水軌跡を熱画像カメラにて複数枚撮影し、画像処理にて放水軌跡及び放水中心点又は着水点を識別し、上記放水中心点又は着水点をＧＵＩ上に可視化し、操作者が同ＧＵＩで設定する目標放水中心点又は目標着水点からのズレに応じて、放水砲の旋回角又は俯仰角の修正を自動で行う。
【0019】
上述したように、大規模空間における固定式の消火設備では、予め防護範囲（防護する座標系）が定まっており、火災時に赤外線カメラで火災発生点の座標を特定するとともに、予め決定してある放水軌跡式を基に、火源発生点に最適に放水できる放水砲旋回・俯仰角を決定して放水、消火を自動で行う（特許文献４）。
【0020】
一方、消防車や、大容量泡放水砲、特定事業所の自衛防災組織が保有する３点セット等の移動式可搬式の防災資機材等については、火災に応じて放水砲ノズルの設置位置や放水目標位置が変わるため、防護範囲が固定されていない。それゆえ前記消火方法をとることが難しく、未だに人間が目視によって放水軌跡や放水中心点を識別し、手動で放水砲を制御する手法が主流となっている。
【0021】
そこで本発明の実施の形態では、放水軌跡を撮影した複数の熱画像データを基に、熱画像上（画像座標系）のどこに放水軌跡や放水中心点又は着水点が存在するのかを独自の画像処理にて識別し、可視化する。当該可視化により、放水状況（操作者が任意に設定する放水目標位置と、現在の着水位置のズレ等）を容易に把握することが可能となり、更には、画像上の前記ズレ量を計算することで、放水砲の旋回角又は俯仰角の修正を自動で行うことも可能とした。本発明の実施の形態により、大規模空間での火災時に、放水砲付近に人間が常駐して放水砲操作を行う必要が無くなり、安全性が向上する。
【0022】
また大規模・特殊な災害においては、消防隊員の安全を考慮し、自動消火ロボットなるものが種々提案されており、これらロボットに対しても本発明の実施の形態を適用することができる。
【0023】
次に、放水軌跡を推定する原理について説明する。
【0024】
放水軌跡を表す熱画像を時間経過に沿って比較すると、軌跡の周囲や放水が落下していく場所において相対的に高い温度分散を確認できる。したがって、複数枚の熱画像の各画素について、温度変化の標準偏差をあらかじめ設定した閾値で振るい分ける（二値化する）ことで、放水軌跡（放水軌跡に該当すると思われる画素群）を識別できる。ただし前記画素群には、実際には放水軌跡に該当しない画素群（ノイズ）も存在するため、画像処理プロセスに独自のノイズ処理を設け、放水軌跡のみを正確に抽出する。なお上記識別には、熱画像の取得条件（フレームレート、取得枚数）も重要となり、解析に最適な値が存在する。
【0025】
上記手法により、放水される水と同程度の放射量を発散する物体（雨雲、消防ホース、水たまり等）をノイズ成分として削除し、放水軌跡のみを正確に抽出することができる。熱画像上で放水軌跡が識別された後、近似曲線を用いて放水中心点を算出し、操作者がＧＵＩ等で設定する放水目標位置とズレがある場合、カメラの性能や撮影位置からズレ量を計算し、放水砲の旋回角又は俯仰角の修正を自動で行う。
【0026】
操作者が任意に設定する放水目標位置に対して、赤外線熱画像の取得から、放水砲旋回・俯仰角の修正までを繰り返すことにより、放水中に風向風速等の環境が変化した場合も、都度、放水砲の旋回角又は俯仰角の修正が行われ、操作者が希望する放水目標位置に放水を続けることができる。
【0027】
以上説明したように、本発明の実施の形態は、複数の熱画像データから放水軌跡及び放水中心点を識別し、制御することを特徴とする。
【0028】
また、前記放水軌跡及び放水中心点をＧＵＩ上に描画し、同ＧＵＩ上にて放水目標位置を設定できるようにしたことで、放水砲の旋回角又は俯仰角の修正、及び制御を可視的に行えるようにしたことを特徴とする。
【0029】
＜システム構成＞以下、本発明の実施の形態に係る消火システムについて説明する。
【0030】
図１に示すように、本発明の実施の形態に係る消火システム１００は、消防ロボット制御装置１０と、飛行型偵察ロボット６０と、走行型偵察ロボット７０と、放水砲ロボット８０と、を備えている。飛行型偵察ロボット６０と走行型偵察ロボット７０は、消防ロボット制御装置１０と無線通信により接続されている。放水砲ロボット８０は、消防ロボット制御装置１０と有線又は無線通信により接続されている。
【0031】
飛行型偵察ロボット６０は、消防ロボット制御装置１０からの指令に応じて飛行し、搭載した熱画像カメラ６０Ａによって撮影された熱画像、及びＧＰＳ等により計測した自装置の位置情報を、消防ロボット制御装置１０へ送信する。
【0032】
走行型偵察ロボット７０は、消防ロボット制御装置１０からの指令に応じて地上を走行し、搭載した熱画像カメラ７０Ａによって撮影された熱画像、及びＧＰＳ等により計測した自装置の位置情報を、消防ロボット制御装置１０へ送信する。
【0033】
放水砲ロボット８０は、ポンプ車から送られてきた水又は泡消火薬剤を放射する放水砲８０Ａを備えている。放水砲ロボット８０は、消防ロボット制御装置１０からの指令に従って、放水砲８０Ａによる放水を制御する。具体的には、消防ロボット制御装置１０からの指令に従って、放水砲８０Ａの俯仰角及び旋回角を制御すると共に、放水砲８０Ａの放水量を制御する。また、放水砲ロボット８０は、搭載した熱画像カメラ８０Ｂによって撮影された熱画像、搭載した風センサ（図示省略）によって検出したセンサ情報、及びＧＰＳ等により計測した自装置の位置情報を、消防ロボット制御装置１０へ送信する。
【0034】
熱画像カメラ６０Ａ、７０Ａ、８０Ｂとしては、例えば、赤外線カメラを用いればよい。
【0035】
＜消防ロボット制御装置の構成＞図２に示すように、消防ロボット制御装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
【0036】
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、放水軌跡を推定するための放水軌跡推定プログラムが格納されている。放水軌跡推定プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
【0037】
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
【0038】
入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
【0039】
表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
【0040】
通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。
【0041】
次に、消防ロボット制御装置１０の機能構成について説明する。図３は、消防ロボット制御装置１０の機能構成の例を示すブロック図である。
【0042】
消防ロボット制御装置１０は、機能的には、図３に示すように、画素抽出部２０、輪郭抽出部２２、放水中心点算出部２４、放水目標位置設定部２６、及び放水制御部２８を備えている。なお、画素抽出部２０は画素判定部の一例である。
【0043】
画素抽出部２０は、熱画像カメラ６０Ａ又は７０Ａ又は８０Ｂにより消火活動を時系列に撮影した複数の熱画像から、画素毎に、放射された水又は泡消火薬剤（以下、放水部分）を表しているか否かを判定する。
【0044】
具体的には、熱画像カメラ６０Ａ又は７０Ａ又は８０Ｂを用いて任意の時間間隔で消火活動を撮影した熱画像を、任意枚数取得する。ただし、放水部分を表しているか否かを識別するうえで、取得時間の間隔や取得枚数が重要なパラメータとなる。これらパラメータは放水砲ノズルの形状や流量、放射環境（風向風速等）によって適切な値が変動するものの、放射流量４００〜６０００［Ｌ／ｍｉｎ］程度のコンスタントフローノズルでは、以下の値にて識別可能となることを実験的に明らかにした。なお本ノズルは、消火・防火設備や防災資機材にて、一般的に用いられるノズルとなる。また、当該値以外の流量のノズルや形状の異なるノズルに対しても、以下の値を調整することにより識別が可能である。
【0045】
熱画像取得間隔：０．１［ｆｐｓ］〜９［ｆｐｓ］抽出枚数：５〜１５枚
【0046】
そして、複数の熱画像から、画素毎に、放水部分に該当するか否かを判定し、放水部分を表す画素群を抽出する。ここで実際に得られた放水部分を表す熱画像を時間経過に沿って比較すると、放水部分の周囲において特有の温度分散を確認できる。したがって、画素毎に温度変化（時間経過）の標準偏差を解析し、当該標準偏差値に閾値を設けて画素毎に二値化を行うことで、放水部分を表す画素群を抽出できる。
【0047】
また、画素の二値化においては上記閾値が重要なパラメータとなるが、前記熱画像取得条件と同様に環境条件によって適切な値が変動するものの、前記熱画像取得条件では、以下の値にて識別可能性が高くなることを見出した。なお、気温センサや、放水砲に放水する水の温度を測定するセンサを設けておき、当該値に応じて、上記閾値を変更してもよい（例えば、水温と気温の差が大きい場合には、閾値を上げる等）。これにより、より精度の高い識別が可能となる。
【0048】
標準偏差下限閾値：０．５標準偏差上限閾値：４．０
【0049】
従って、標準偏差が、０．５以上かつ４．０以下の画素を、放水部分が表す画素として判定することにより、放水部分を表す画素群を抽出する。
【0050】
更に、実際の火災現場等では火炎に起因する温度変動が大きいため、各熱画像の画素に対して以下の通り温度閾値を併せて設けることにより、放水部分を表す画素群をのみを正確に抽出する。
【0051】
温度下限閾値：０［℃］温度上限閾値：１００［℃］
【0052】
従って、温度が、０［℃］以上かつ１００［℃］以下であり、標準偏差が、０．５以上かつ４．０以下の画素を、放水部分が表す画素として判定することにより、放水部分を表す画素群を抽出する。
【0053】
本手法により、放水される水と同程度の放射量を発散する物体（雨雲、消防ホース、水たまり等）はノイズ成分として削除され、放水軌跡のみを正確に抽出することができる。
【0054】
輪郭抽出部２２は、放水部分を表していると判定された画素からなる画素群から、放水部分を表している放水領域の２本の輪郭部分の各々について、当該輪郭部分を表す画素群を抽出し、放水領域の２本の輪郭部分の各々について、当該輪郭部分を表す画素群に対応する近似曲線を求め、放水領域の２本の輪郭部分の各々について求められた近似曲線を表す画像を出力する。
【0055】
具体的には、画素抽出部２０で得られた二値化画像（便宜上、白と黒で表現）では、放水部分に該当する画素に加え、ノイズ成分となる画素が含まれる。したがって得られた二値化画像に対して、ノイズ除去等の画像処理を行い、放水部分に該当する画素群のみを正確に抽出する。更に、抽出された画素群に対して回帰分析を行い、放水領域の輪郭部分に該当する近似曲線を算出する。ただし、画像認識アルゴリズムは以下の通り放水部分の撮影方向によって解析方法が異なる。
【0056】
撮影方向１：放水部分を側面より撮影する場合（熱画像では、画面右から左、又は画面左から右へ水が移動）撮影方向２：放水部分を正面又は背面より撮影する場合（熱画像では、画面手前から奥、又は奥から手前へ水が移動）
【0057】
放水中心点算出部２４は、出力された画像上で指定された水平線と近似曲線との交点に基づいて、放水中心点を算出し、画像上に放水中心点を表示させる。
【0058】
放水目標位置設定部２６は、出力された画像上で指定された水平線上で、放水目標位置を受け付ける。
【0059】
放水制御部２８は、放水目標位置と、放水中心点との差分に基づいて、放水砲８０Ａによる放水の角度として、上下角度（以下、俯仰角）及び回転角度（以下、旋回角）を制御するために、角度信号を、放水砲ロボット８０に対して出力する。これにより、放水砲ロボット８０は、角度信号に応じて、放水砲８０Ａの角度を制御する。なお、放水部分の撮影方向によって制御される角度種は異なるものとし、放水部分を側面撮影した熱画像では俯仰角が、放水部分を背面撮影した熱画像では旋回角が、それぞれ制御されるものとする。
【0060】
＜消火システムの作用＞次に、本発明の実施の形態に係る消火システム１００の作用について説明する。まず、火災が発生している際に、飛行型偵察ロボット６０の熱画像カメラ６０Ａ又は走行型偵察ロボット７０の熱画像カメラ７０Ａ又は放水砲ロボットの熱画像カメラ８０Ｂにより、放水砲８０Ａによる放水部分を表す熱画像を時系列に撮影し、消防ロボット制御装置１０に送信される。このとき、消防ロボット制御装置１０によって、図４に示す放水軌跡推定処理ルーチンが実行される。なお、放水部分の撮影方向が、側面撮影であるか背面撮影であるかは、自動的に識別される。例えば、放水部分の撮影方向は、放水対象と放水砲ロボットの位置座標（放水方向）、および偵察ロボット（熱画像カメラ）の位置座標、および熱画像カメラの向きから、自動的に識別可能である。
【0061】
ステップＳ１００では、画素抽出部２０は、熱画像カメラ６０Ａ又は７０Ａ又は８０Ｂを用いて任意の時間間隔で消火活動を撮影した熱画像を、任意枚数取得する。
【0062】
ステップＳ１０２では、画素抽出部２０は、複数の熱画像から、画素毎に、当該画素が表す温度の標準偏差を算出する。ステップＳ１０４では、画素抽出部２０は、画素毎に、温度の標準偏差の閾値と、温度の閾値とを用いて、当該画素が放水部分に該当するか否かを判定し、放水部分を表す画素群を抽出し、画像の二値化を行う。
【0063】
ステップＳ１０６では、指定された放水部分の撮影方向が、側面撮影であるか背面撮影であるかを判定する。指定された放水部分の撮影方向が、側面撮影である場合には、ステップＳ１０８へ進み、一方、指定された放水部分の撮影方向が、背面撮影である場合には、ステップＳ１２４へ進む。
【0064】
ステップＳ１０８では、輪郭抽出部２２は、上記ステップＳ１０４で得られた二値化画像に対して、ノイズ除去等の画像処理を行い、放水領域の輪郭に該当する画素のみ抽出する。具体的には、以下に説明する、第１のノイズ除去と、第２のノイズ除去とを行う。
【0065】
第１のノイズ除去では、二値化画像の各行ごとに画素の走査を行う（図５参照）。各行で最右端画素を起点として左側に画素走査を行い、５個以上の黒色画素（画素値＝１となる画素）が連続して存在した場合、白色画素（画素値＝０となる画素）と隣接する黒色画素のみを抽出する。なお、同図の二値化画像については、二値化を視覚的に理解できるよう、各座標で数値が「０」の場所を「白色」で、数値が「１」の場所を「黒色」としており、以下に記載する図についても同様の表現方法を用いている。
【0066】
また、最左端画素を起点として右側へも画素走査を行い、同様に黒色画素を抽出する。図５の例の場合、本法則に従うと「×」と記された画素が抽出される。ただし、下記規則Ａ又はＢの条件に該当する場合は、当該規則に従うものとする。
【0067】
規則Ａ：最右端（最左端）画素が黒色画素で、当該画素を含めて５個以上の黒色画素が連続する場合には、最右端（最左端）画素のみを抽出する。
【0068】
規則Ｂ：走査する行が全て黒色画素の場合、最右端（最左端）画素のみを抽出する。
【0069】
上記条件に基づいて二値化画像の全行を走査し、画素の抽出を行う。ここで、二値化画像から抽出された画素を表す二値化データのイメージを、図６に示す。なお同図中の黒色画素が、第１のノイズ除去にて抽出された画素である。
【0070】
第２のノイズ除去では、第１のノイズ除去を経て得られた二値化データについて、再度、各行ごとに画素の走査を行う。本走査では、最右端画素を起点として左側に画素走査を行い、最初に発見された黒色画素を抽出する。また、最左端画素を起点として右側へも画素走査を行い、同様に黒色画素を抽出する。図７の例の場合、本法則に従うと「×」と記された画素が抽出される。ただし、下記規則の条件に該当する場合は、当該規則に従うものとする。
【0071】
規則：最右端（最左端）画素が黒色画素の場合、最右端（最左端）画素を抽出する。
【0072】
上記条件に基づいて二値化データの全行を走査し、画素の抽出を行う。ここで、上記図６に示す二値化データから抽出された二値化データのイメージを、図８に示す。なお同図について、黒色画素は画面最右端からの、灰色画素（図８中のドット部分の画素。以降の図面も同様。）は画面最右端からの走査によりそれぞれ抽出された画素である。
【0073】
両色画素については、後述する、放水領域の上部の輪郭抽出にて使用するため、区別されるものとする。
【0074】
ステップＳ１１０では、輪郭抽出部２２は、放水領域の上部の輪郭抽出と、放水領域の下部の輪郭抽出とを行う。
【0075】
具体的には、放水領域の上部の輪郭抽出として、上記ステップＳ１０８を経て得られた二値化データを基に、放水軌跡の上部の輪郭抽出を行う。
【0076】
本抽出では、灰色及び黒色画素でそれぞれ最も高い行に存在する画素を原点と設定し、周囲に存在する同色の画素を走査して、上記輪郭に該当する画素を抽出していく。例として、上記図８の二値化データの点線部分では、図９の通り原点がそれぞれ設定される。ただし、下記規則Ａ又はＢの条件に該当する場合は、当該規則に従うものとする。
【0077】
規則Ａ：灰色及び黒色画素で原点が同一となる場合、当該画素からそれぞれ走査を行う。規則Ｂ：灰色及び黒色画素の原点が、二値化データの最上行に存在する場合、二値化データから当該画素を削除し、最上行かつ灰色及び黒色画素の中間となる列に存在する画素を、原点画素と書き換え、本画素からそれぞれ走査を行う。
【0078】
原点を決定した後、灰色及び黒色画素に対してそれぞれ走査を行う。
【0079】
灰色画素の場合については、図１０に示すように、原点画素（Ｘ，Ｙ）から１行下のＹ−１行を参照し、当該行の０列（画像左端）からＸ＋４０列の範囲内に同色の画素が存在するか、検索する。該当する画素が存在する場合、当該画素を原点画素（Ｘ’，Ｙ）と再設定し、本座標を基に上記と同様の検索を下行に繰り返し実施する。反対に存在しない場合、原点画素（Ｘ，Ｙ）から２行下のＹ−２行を参照し、当該行の０列からＸ＋４０列の範囲内に同色画素が存在するか検索する。更に該当する画素が存在しない場合は３行下のＹ−３行を検索し、最大で５０行下のＹ−５０行まで順に検索していく。ここで「４０」列、「５０」行との部分はパラメータ値であり、プログラム上の変数となる部分である（設定ファイルにて変更可能とする）。なお、本検索を繰り返して以下のケースＡ〜Ｃの何れかになった時点で、本プロセスを終了する。
【0080】
ケースＡ：Ｙ−５０行まで検索しても該当する画素が存在しない場合。ケースＢ：原点画素（Ｘ’，Ｙ）が二値化データの最左端列（Ｘ’＝０）に到達した場合。
ケースＣ：原点画素（Ｘ’，Ｙ）が二値化データの最下行（Ｙ’＝０）に到達した場合。
【0081】
黒色画素の場合については、灰色画素と同様に走査を行うが、図１１に示すように、各行での走査範囲が異なり、Ｘ−４０列から６３９列（ＶＧＡの場合の範囲）を走査範囲とする。ここで「４０」列、「６３９」列との部分はパラメータ値であり、プログラム上の変数となる部分である（設定ファイルにて変更可能とする）。なお、走査を繰り返して以下のケースＡ〜Ｃの何れかになった時点で、本プロセスを終了する。
【0082】
ケースＡ：Ｙ−５０行まで走査しても該当する画素が存在しない場合。ケースＢ：原点画素（Ｘ’，Ｙ’）が二値化データの最右端列に到達した場合。
ケースＣ：原点画素（Ｘ’，Ｙ’）が二値化データの最下行に到達した場合。
【0083】
上記プロセスにより二値化データから抽出された放水領域の上部の輪郭の点群イメージを、図１２に示す。
【0084】
また、放水領域の下部の輪郭抽出では、まず、上部の輪郭抽出で抽出された放水領域の上部の輪郭の点群イメージ（図１２）のうち、黒色画素部分のみに対して２次の回帰分析を行い、以下の式の通り近似関数ｆ１（ｘ）を算出する（図１３参照）。ここで本関数は、放水領域の下部の輪郭に該当する画素を検索するうえで、基準となる関数である。なお、式中の各Ｓは下付き文字に対する共分散である。
【0085】
【数1】
【0086】
また、第１のノイズ除去を経て得られた二値化データ（上記図６参照）に戻り、列ごとに画素の走査を行い、二値化データを作成する。本走査では、図１４の通り最下行の画素を起点として上側に画素走査を行い、各列で最初に発見された黒色画素を抽出する。ただし、最下段画素が黒色画素の場合は、当該画素を抽出する。ここで、上記図６に示す二値化データから抽出された二値化データのイメージを、図１５に示す。
【0087】
そして、図１５に示す二値化データから、以下の条件Ａ、Ｂの何れも満たす画素を抽出する。本操作では、図１６に示したイメージの通り、算出された近似関数ｆ１（ｘ）によって決定される範囲に存在する黒色画素を抽出する。
【0088】
条件Ａ：近似関数ｆ１（ｘ）の列内（ｘの範囲内）に存在する黒色画素であること。
【0089】
条件Ｂ：列ごとに、近似関数ｆ１（ｘ）に対して任意のＸを代入して得られる値ｆ１（Ｘ）（四捨五入して整数とする）に存在する画素を基準とし、ｆ１（Ｘ）−２２０＜Ｙ＜ｆ１（Ｘ）−２０を満たす範囲に存在する黒色画素であること。
【0090】
ただし、上記「２２０」、「２０」との部分はパラメータ値であり、プログラム上の変数となる部分である（設定ファイルにて変更可能とする）。
【0092】
ステップＳ１１２では、輪郭抽出部２２は、上記ステップＳ１１０で得られた、放水領域の上部の輪郭及び下部の輪郭の各々の点群イメージ（図１２及び図１７）を基に、放水領域の輪郭を表す近似曲線の描画を行う。
【0093】
ここで放水領域の輪郭については、上部及び下部の両者とも点群イメージを基に３次の回帰分析を行い、下記の通り近似曲線を算出して描画する。ただし、本近似曲線の算出は２〜５次関数までできるものとし、ＧＵＩにて任意に変更できるものとする。
【0094】
具体的には、放水領域の上部の輪郭を表す近似曲線を描画する際に、上部の輪郭の点群イメージ（図１２）について、灰色画素と黒画素の両方を併せて回帰分析を行い、近似式
【0095】
【数2】
【0096】
を算出する。その後、算出された近似式ｆ２（ｘ）にｘを等間隔（Δｘ＝５、０≦ｘ≦６３９）で代入してｙ＝ｆ２（ｘ）をそれぞれ算出し、当該近似曲線を、熱画像上に描く（図１８参照）。ただし、以下の条件Ａ〜Ｃに該当する部分は、近似曲線の描画を行わない。
【0097】
条件Ａ：ｆ２（ｘ）＜０となる部分であること。条件Ｂ：放水方向が画面上の右から左の場合、放水領域の上部の輪郭の点群イメージ（図１２）の最右端列より右側の部分であること。
条件Ｃ：放水方向が画面上の左から右の場合、放水領域の上部の輪郭の点群イメージ（図１２）の最左端列より左側の部分であること。
【0098】
また、放水領域の下部の輪郭を表す近似曲線を描画する際に、下部の輪郭の点群イメージ（図１２）について回帰分析を行い、近似式
【0099】
【数3】
【0100】
を算出する。その後、算出された近似式ｆ２（ｘ）にｘを等間隔（Δｘ＝５、０≦ｘ≦６３９）で代入してｙ＝ｆ３（ｘ）をそれぞれ算出し、当該近似曲線を熱画像上に描く（図１９参照）。ただし、以下の条件Ａ〜Ｄに該当する部分は、近似曲線の描画を行わない。
【0101】
条件Ａ：ｆ３（ｘ）＜０となる部分であること。条件Ｂ：放水方向が画面上の右から左の場合、放水領域の上部の輪郭の点群イメージ（図１２）の最右端列より右側の部分であること。
条件Ｃ：放水方向が画面上の左から右の場合、放水領域の上部の輪郭の点群イメージ（図１２）の最左端列より左側の部分であること。
条件Ｄ：放水領域の下部の輪郭に係る近似曲線が、放水領域の上部の輪郭に係る近似曲線を下から突き抜けて交差する場合、当該交点以降（突き抜けた先）の部分であること。
【0102】
最終的に、放水領域の上部の輪郭を表す近似曲線（図１８）と、放水領域の下部の輪郭を表す近似曲線（図１９）とを、放水領域の２本の輪郭とし、纏めて一枚の熱画像上に描画を行う（図２０）。また、ＧＵＩへは本結果を表示するが、前記解析から算出された近似曲線が、上部の輪郭の近似曲線のみの場合は、当該曲線のみを熱画像上に表示する。反対に、算出された近似曲線が下部の輪郭の近似曲線のみの場合、または何れも算出されない場合は、解析できない旨を当該熱画像上に表示する。
【0103】
ステップＳ１１４では、放水中心点算出部２４は、出力された熱画像上で、水平線の設定を受け付ける。
【0104】
具体的には、まず、ＧＵＩに示された放水領域の２本の輪郭を表す近似曲線と熱画像の合成画像（図２０）上で、図２１の通り、操作者の操作により、水平線の設定を受け付ける。水平線の設定により、放水領域の下部の輪郭を表す近似曲線及び上部の輪郭を表す近似曲線と当該水平線に交点が生じ、交点間の距離が水平線における放水領域の輪郭間の幅となる。ここで下部の輪郭を表す近似曲線と水平線の交点のｘ座標をＸｍａｘ、上部の輪郭を表す近似曲線と水平線の交点のｘ座標をＸｍｉｎとすると、両者の幅は（Ｘｍａｘ−Ｘｍｉｎ）で表現される。ただし以下の規則に該当する場合は、当該規則に従うものとする。
【0105】
規則Ａ：下部の輪郭を表す近似曲線が描画されなかった場合には、各行の画面右端をＸｍｉｎとする。規則Ｂ：上部の輪郭を表す近似曲線と水平線の交点が算出できなかった場合には、当該行の画面左端をＸｍａｘとし、下部の輪郭を表す近似曲線と水平線の交点が算出できなかった場合には、当該行の画面右端をＸｍｉｎとする。
【0106】
ステップＳ１１６では、放水中心点算出部２４は、出力された画像上で指定された水平線と近似曲線との交点に基づいて、放水中心点を算出し、画像上に放水中心点を表示させる。
【0107】
具体的には、水平線の設定箇所（設定行）に応じて中心点を描画する。例えば、放水中心点は、何れの行でも上記で算出される幅（Ｘｍａｘ−Ｘｍｉｎ）の一定割合に位置するとし、上記幅と当該割合αの積α（Ｘｍａｘ−Ｘｍｉｎ）にて表現される。したがって、水平線の設定位置に応じて交点座標および上記幅が変わるとともに、放水中心点の位置も変化する。ただし、αはパラメータ値としてプログラム上の変数となる部分であり、放水砲ノズルの形状や種類に応じて変更できる。なお、今回の放水砲ロボットに搭載されるセミアスピレートノズルにおいては、実測値としてαを０．７３とした。最終的に放水中心点のＸ座標ＸＭは、放水の方向に応じて以下の何れかの式で算出される。
【0108】
放水方向が画面上の右から左の場合、以下の式で放水中心点のＸ座標ＸＭが算出される。
【0109】
【数4】
【0110】
放水方向が画面上の左から右の場合、以下の式で放水中心点のＸ座標ＸＭが算出される。
【0111】
【数5】
【0113】
ステップＳ１１８では、放水目標位置設定部２６は、出力された熱画像上で指定された水平線上で、放水目標位置の設定を受け付ける。
【0114】
具体的には、ＧＵＩに示される放水領域の輪郭を表す近似曲線及び放水中心点の表示イメージ（図２２）上で、図２３のような垂直線の設定を受け付ける。本線は左右の列方向に任意に移動できるものとし、水平線との交点として放水目標位置が設定される。ただし放水中心位置と放水目標位置は水平線上の同一行に設定されることとし、当該線の（上下）移動に応じて両点も移動する。
【0115】
ここで放水目標位置とは、現在の放水中心位置（画像上では点線の「×」で表記）に対して、操作者が変更したい（狙いたい）放水位置となり、本目標位置と放水中心点の位置関係を基に、放水砲８０Ａの俯仰角の制御方向（プラス、マイナス）が決定される。したがって制御方向は、現在（熱画像を取得した時点）の放水砲８０Ａの俯仰角を基準として、放水目標位置への放水を行うための放水砲俯仰角の修正方向（プラス、マイナス）となる。
【0116】
ステップＳ１２０では、放水制御部２８は、放水砲ロボット８０の放水砲８０Ａの現在の俯仰角を取得する。
【0117】
そして、ステップＳ１２２では、放水制御部２８は、放水目標位置と、放水中心点との差分、及び現在の俯仰角に基づいて、放水砲８０Ａによる放水の角度として、俯仰角を制御するための角度信号を、放水砲ロボット８０に対して出力する。
【0118】
具体的には、放水砲８０Ａの俯仰角の制御方向（プラス、マイナス）が、上記画面上での放水方向（右から左、左から右）や、放水中心位置に対する放水目標位置の設定場所、並びに取得した放水砲８０Ａの俯仰角θに応じて決まる。例えば、表１に示すように、放水砲８０Ａの俯仰角の制御方向が決定される。
【0119】
【表1】
【0120】
例えば、図２３の場合、放水方向は「右から左」、放水中心位置に対する放水目標位置の設定場所は「右側」であり、現在の放水砲俯仰角θが３５°と仮定すると、「プラス」の制御方向が決定される。ただし同表に記載の通り、俯仰角θが３０°以上３３°以下の一部条件では、制御方向が出力されず、放水範囲外のため俯仰角を修正できない旨を、同ＧＵＩ上に表記する。
【0121】
そして、上記のように制御方向が決定された後、修正角度の初期値２°として、出力値を出力する。例として修正方向が「マイナス」であった場合、「−２°」を現在の放水砲俯仰角θに加えた値（θ−２°）を出力する。ただし、「２°」との部分はパラメータ値であり、プログラム上の変数となる部分である（設定ファイルにて変更可能とする）。そして、ステップ１１８にて設定した放水目標位置を記憶したままステップＳ１００からステップＳ１２２までを一定時間毎に繰り返すことにより、放水中心位置が放水目標位置へ近づくよう放水砲俯仰角が制御される。なお、定められた角度の修正を繰り返し行う場合を例に説明したが、これに限定されるものではなく、放水軌跡と熱画像カメラ間の距離や、熱画像カメラの画角、解像度を基に、修正角度を絶対値として算出してもよい。
【0122】
一方、ステップＳ１２４では、放水砲ロボット８０の放水砲８０Ａの現在の旋回角を取得する。
【0123】
ステップＳ１２６では、輪郭抽出部２２は、上記ステップＳ１０４で得られた二値化画像に対して、ノイズ除去等の画像処理を行い、放水領域の輪郭に該当する画素のみ抽出する。解析に使用する熱画像及び二値化データ例を図２４Ａに示す。
【0124】
図２４Ａの右側に示す二値化データでは、放水領域の輪郭に該当する画素に加え、ノイズ成分となる画素が含まれる。したがって得られた二値化画像に対してノイズ除去を行い、輪郭に該当する画素のみ抽出する。なお、下線部分はパラメータ値であり、プログラム上の変数となる部分である（設定ファイルにて変更可能とする）
【0125】
具体的には、以下に説明する、第３のノイズ除去と、第４のノイズ除去とを行う。
【0126】
第３のノイズ除去では、上記ステップＳ１０８の第１のノイズ除去と同じ規則で実施する。ここで、図２４Ａの右側に示す二値化データから抽出された二値化データのイメージを、図２４Ｂに示す。なお同図中の黒色画素が、第３のノイズ除去にて抽出された画素である。
【0127】
第４のノイズ除去では、第３のノイズ除去を経て得られた二値化データについて、再度、各行ごとに画素の走査を行う。本走査では、最右端画素を起点として左側に画素走査を行い、２番目に発見された黒色画素を抽出する。また、最左端画素を起点として右側へも画素走査を行い、同様に黒色画素を抽出する。図２５の例の場合、本法則に従うと「×」と記された画素が抽出される。ただし、下記規則の条件に該当する場合は、当該規則に従うものとする。
【0128】
規則：最右端（最左端）画素が黒色画素の場合、最右端（最左端）画素を１番目に発見される黒色画素とする。
【0129】
上記のように二値化データの全行を走査し、画素の抽出を行う。ここで、上記図２４Ｂに示す二値化データから抽出された二値化データのイメージを、図２６に示す。なお同図について、黒色画素は画面最右端からの、灰色画素は画面最右端からの走査によりそれぞれ抽出された画素である。両色画素については、放水領域の輪郭の描画にて使用するため、区別されるものとする。
【0130】
ステップＳ１２８では、輪郭抽出部２２は、放水領域の２本の輪郭を抽出し、ステップＳ１３０で、放水領域の２本の輪郭を表す近似曲線を描画する。具体的には、上記ステップＳ１２６の二値化画像のノイズ除去で得られた灰色、及び黒の点群イメージを基に、近似曲線を、放水領域の２本の輪郭として抽出し、放水領域の２本の輪郭を表す近似曲線を描画する。ここで近似曲線の描画に当たっては、上記放水領域の輪郭をｘに係る高次関数で表現できない場合（ｘに２つ以上の解が生じる場合）があり、当該場合に対応できるよう、二値化データの各画素座標のみを逆転させた二値化データを作成する（図２７参照）。
【0131】
輪郭抽出部２２は、得られた二値化データについて、灰色画素と黒画素の点群それぞれに対して２次の回帰分析を行い、近似式【数6】
【0132】
を算出する。なお上記回帰分析および近似式の算出は、ｙ座標が指定範囲に含まれるデータのみで行う。これは、ノイズが発生しやすい地上付近（画面下部）の影響を削減するためである。また、ｙ座標の指定範囲はプログラム上の変数となる部分とし、初期値は１２０≦ｙ≦４７９とする（設定ファイルにて変更可能とする）。その後、上記で算出された近似式ｆ４（ｘ）にｘを等間隔（Δｘ＝５、０≦ｘ≦４７９）で代入してｙ＝ｆ４（ｘ）をそれぞれ算出し、当該近似曲線を描く（図２８参照）。ただし、画素座標が逆転しているため、ｘの代入範囲は０〜４７９となる。なお本近似曲線の算出は２〜４次関数までできるものとし、ＧＵＩにて任意に変更できるものとする。
【0133】
なお、３２０＜ｘ＜４７９列の範囲内にて黒色画素の近似曲線と灰色画素の近似曲線が交差した場合、交点（Ｘ，Ｙ）から右列以降（Ｘ＜ｘ＜４７９）の曲線については描画しない。
【0134】
最終的に、上記で得られた近似曲線（図２８）を放水領域の輪郭とし、二値化データの各画素座標および放水領域の輪郭ｙ＝ｆ４（ｘ）を再度逆転させたデータを作成して、一枚の熱画像上に描画を行う（図２９）。なおＧＵＩへは本結果を表示するが、前記解析から算出された近似曲線が１本のみの場合は、当該近似曲線のみを熱画像上に表示する。更に近似曲線が算出されない場合は、解析できない旨を当該熱画像上に表示する。
【0135】
ステップＳ１３２では、放水中心点算出部２４は、ステップＳ１１４と同様に、出力された熱画像上で、水平線の設定を受け付ける。
【0136】
ステップＳ１３４では、放水中心点算出部２４は、出力された画像上で指定された水平線と近似曲線との交点に基づいて、放水中心点を算出し、画像上に放水中心点を表示させる。
【0137】
具体的には、まず、上記ステップＳ１３０で描画された２本の近似曲線のうち、一方は放水砲８０Ａから最大射高までの放水軌跡（以下、放水砲側）に該当し、他方は最大射高から放水中心点までの放水軌跡（以下、着水側）に該当する。ここで、放水中心点の解析には、両者がどちらに該当するか識別しておく必要がある。
【0138】
図３０の通り、放水を背面から撮影する熱画像カメラ８０Ｂは放水砲８０Ａと連動しており、放水砲８０Ａ直近の放水軌跡は、熱画像内の放水砲回転角度（旋回角）に対応した位置に存在する。本特長を活かして、放水砲回転角度（旋回角）の数値に応じた基準場所（座標）をテーブルファイル等で予め設定し、角度情報を基に、放水方向の識別を行う。具体的には、２本の近似曲線のうち、基準座標（Ｘ，Ｙ）とＹ行で画素距離が短い方を「放水砲側」、遠い方を「着水側」と識別する。例として基準座標を図３１記載の位置とすると、２本の近似曲線に該当する画素のうち、基準座標に近い画素は黒色画素となり、当該画素を含む近似曲線を「放水砲側」と設定する。なお両者への距離が等しい場合、基準座標から一行上のＹ＋１行にて同一の判定を行うものとする。更に等しい場合はＹ＋２行にて同一の判定を行い、最大で５０行上のＹ＋５０行まで順に判定していく。
【0139】
そして、上記ステップＳ１３０で得らえた放水領域の輪郭を表す近似曲線を元に、放水中心点を解析する。ここで、ＧＵＩに示された放水軌跡と熱画像の合成画像上では、図３２のように水平線が設定されると、本線の設定箇所（設定行）に応じて中心点が描画される。また同図の通り、着水側の放水軌跡については、水平線の設定位置に応じて、当該線から下行の部分は、点線での表現となる。
【0140】
ここで水平線の設定によって、「放水砲側」放水軌跡及び「着水側」放水軌跡と当該線に交点が生じ、両交点のうちｘ座標が大きい点をＸｍａｘ、ｘ座標が小さい点をＸｍｉｎとすると、以下の２つの式の何れかによって放水中心点のＸ座標ＸＭが算出される。ただし、放水軌跡幅Ｌｈは放水砲回転角度（旋回角）に別に予め設定される値であり、参照した角度情報を基に、決定される。
【0141】
Ｘｍａｘが「着水側」放水軌跡と水平線の交点である場合（上記図３２参照）、以下の式によって放水中心点のＸ座標ＸＭが算出される。
【0142】
【数7】
【0143】
Ｘｍａｘが「放水砲側」放水軌跡と水平線の交点である場合（図３３参照）、以下の式によって放水中心点のＸ座標ＸＭが算出される。
【0144】
【数8】
【0146】
ステップＳ１３６では、放水目標位置設定部２６は、出力された熱画像上で指定された水平線上で、放水目標位置の設定を受け付ける。
【0147】
具体的には、ＧＵＩに示される放水領域の輪郭を表す近似曲線及び放水中心点の表示イメージ上で、図３４のような垂直線の設定を受け付ける。本線は左右の列方向に任意に移動できるものとし、水平線との交点として放水目標位置が設定される。ただし放水中心位置と放水目標位置は水平線上の同一行に設定されることとし、当該線の（上下）移動に応じて両点も移動する。
【0148】
ここで放水目標位置とは、現在の放水中心位置（画像上では灰色字「×」で表記）に対して、操作者が変更したい（狙いたい）放水位置となり、本目標位置と放水中心点の位置関係を基に、放水砲８０Ａの旋回角の制御方向（プラス、マイナス）が決定される。したがって制御方向は、現在（熱画像を取得した時点）の放水砲８０Ａの旋回角を基準として、放水目標位置への放水を行うための放水砲旋回角の修正方向（プラス、マイナス）となる。
【0149】
そして、ステップＳ１３８では、放水制御部２８は、放水目標位置と、放水中心点との差分、及び現在の旋回角に基づいて、放水砲８０Ａによる放水の角度として、旋回角を制御するための角度信号を、放水砲ロボット８０に対して出力する。
【0150】
具体的には、放水砲８０Ａの旋回角の制御方向（プラス、マイナス）が、放水中心位置に対する放水目標位置の設定場所に応じて決まる。例えば、表２に示すように、放水砲８０Ａの旋回角の制御方向が決定される。
【0151】
【表2】
最終的に上記で制御方向が決定された後、修正角度の初期値２°として、制御値を出力する。例として修正方向が「プラス」であった場合、「＋２°」を現在の放水砲旋回角θに加えた値（θ＋２°）を出力する。ただし、「２°」との部分はパラメータ値であり、プログラム上の変数となる部分である。そして、ステップ１３６にて設定した放水目標位置を記憶したままステップＳ１００からステップＳ１０６、およびステップＳ１２４からステップＳ１３８までを一定時間毎に繰り返すことにより、放水中心位置が放水目標位置へ近づくよう放水砲旋回角が制御される。なお、定められた角度の修正を行う場合を例に説明したが、これに限定されるものではなく、放水軌跡と熱画像カメラ間の距離や、熱画像カメラの画角、解像度を基に、修正角度を絶対値として算出してもよい。
【0152】
以上説明したように、本発明の実施の形態に係る消火システムによれば、時系列に撮影した複数の熱画像に基づいて、放水部分を表していると判定された画素からなる画素群から、放水領域の２本の輪郭部分の各々について、当該輪郭部分を表す画素群を抽出し、当該輪郭部分を表す画素群に対応する近似曲線を求めることにより、画像上の放水軌跡を精度良く推定することができる。
【0153】
また、操作者が任意に設定する放水目標位置に対して、熱画像の取得から放水砲旋回角・俯仰角の修正までを繰り返すことにより、放水中に風向風速等の環境が変化した場合も、都度、放水砲旋回角・俯仰角の修正が行われ、操作者が希望する放水目標位置に放水を続けることができる。
【0154】
＜変形例＞なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0155】
例えば、上記の実施の形態では、操作者が任意に設定する放水目標位置に対して放水砲を制御する場合を例に説明したが、これに限定されるものではない。例えば、熱画像カメラの監視範囲内に火炎が存在している場合、熱画像から当該火炎の位置を識別し、放水目標位置に設定してもよい。これにより、熱画像カメラの監視範囲内で火炎が発生した場合、自動的に放水目標位置が設定され、放水砲の旋回角・俯仰角の制御によって正確に火炎に放水することが可能となる。
【0156】
更に、貯蔵タンク火災に対して泡消火薬剤の放射による消火活動を行う場合、燃焼油面の被覆によって火炎が縮小していくと火炎中央が継時変化していくため、当該位置を赤外線カメラで識別して放水中央位置として都度修正し、それに応じて放水砲の角度を制御することにより、効率的な消火が可能となる。
【0157】
また、熱画像カメラ６０Ａ、７０Ａ、８０Ｂの何れかから熱画像を取得して、放水砲の制御を行う場合を例に説明したが、これに限定されるものではない。例えば、飛行型偵察ロボット６０の熱画像カメラ６０Ａから熱画像を取得すると共に、地上偵察型ロボット７０の熱画像カメラ７０Ａから熱画像を取得して、双方の熱画像を、放水砲の制御に使用するようにしてもよい。具体的には、放水側面を撮影した熱画像を、地上偵察型ロボット７０の熱画像カメラ７０Ａにより取得し、放水背面を撮影した熱画像を、飛行型偵察ロボット６０の熱画像カメラ６０Ａにより取得して、放水砲の旋回角度と俯仰角度の同時制御を行ってもよい。また、放水砲ロボット８０の熱画像カメラ８０Ｂからも熱画像を取得し、熱画像カメラ６０Ａ、７０Ａ、８０Ｂの各々の熱画像から、操作者が任意に２つの熱画像を選択して放水砲の制御を行うようにしてもよい。これにより、例えば一台の熱画像カメラが障害物等で放水軌跡をうまく撮影できない場合でも、他の熱画像カメラを使用することにより、安定して放水砲の制御を行うことができる。
【0158】
また、時系列に撮影した複数の熱画像に基づいて、放水部分を表していると判定された画素からなる画素群から、放水領域の１本の輪郭部分について、当該１本の輪郭部分を表す画素群を抽出し、当該１本の輪郭部分を表す画素群に対応する近似曲線を求めるようにしてもよい。例えば、放水を近くから撮影したり、放水の上側のみを撮影した場合、放水領域の輪郭部分が１本しか（上側の軌跡しか）映らないため、放水領域の１本の輪郭部分について、当該輪郭部分を表す画素群を抽出し、当該１本の輪郭部分を表す画素群に対応する近似曲線を求めるようにすればよい。
【0159】
また、放水中心点ではなく着水点を推定するようにしてもよい。
【符号の説明】
【0160】
１０ 消防ロボット制御装置１５ 入力部
１６ 表示部
２０ 画素抽出部
２２ 輪郭抽出部
２４ 放水中心点算出部
２６ 放水目標位置設定部
２８ 放水制御部
６０ 飛行型偵察ロボット
６０Ａ 熱画像カメラ
７０ 走行型偵察ロボット
７０Ａ 熱画像カメラ
８０ 放水砲ロボット
８０Ａ 放水砲
８０Ｂ 熱画像カメラ
１００ 消火システム