IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱重工業株式会社の特許一覧

特開2023-141392ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム
<>
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図1
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図2
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図3
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図4
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図5
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図6
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図7
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図8
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図9
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図10
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図11
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図12
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図13
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図14
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図15
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図16
  • 特開-ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023141392
(43)【公開日】2023-10-05
(54)【発明の名称】ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230928BHJP
【FI】
G06T7/00 640
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022047701
(22)【出願日】2022-03-24
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】110000785
【氏名又は名称】SSIP弁理士法人
(72)【発明者】
【氏名】神原 信幸
(72)【発明者】
【氏名】荒川 宜彬
(72)【発明者】
【氏名】乾 正幸
(72)【発明者】
【氏名】渋谷 秀和
(72)【発明者】
【氏名】川添 浩平
(72)【発明者】
【氏名】森竹 崇之
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA35
5L096HA04
5L096HA09
(57)【要約】
【課題】UAVに搭載された撮像装置で取得した画像データを用いて監視対象のガスを適切に監視可能なガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラムを提供する。
【解決手段】ガス監視方法は、UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得するステップと、前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するステップと、前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出ステップと、を備える。
【選択図】図3

【特許請求の範囲】
【請求項1】
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得するステップと、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するステップと、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出ステップと、
を備えるガス監視方法。
【請求項2】
前記UAVの飛行状態を示す前記少なくとも1つの変数は、前記UAVの飛行高さH及び前記UAVの飛行速度vを含む
請求項1に記載のガス監視方法。
【請求項3】
地表における風速Wgを取得するステップと、
前記ダウンウォッシュ速度u及び前記風速Wgに基づいて、前記風速Wgを考慮したダウンウォッシュ速度である補正ダウンウォッシュ速度ugを算出するステップと、を備え、
前記抽出ステップでは、前記複数の速度ベクトルから、前記補正ダウンウォッシュ速度ugに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する
請求項1又は2に記載のガス監視方法。
【請求項4】
前記ダウンウォッシュ速度uのベクトルと前記地表における風速Wgのベクトルとを合成することで前記補正ダウンウォッシュ速度ugのベクトルを算出する
請求項3に記載のガス監視方法。
【請求項5】
地表からの高さと風速との相関関係を取得するステップと、
前記UAVの飛行高さにおける風速W1を取得するステップと、を備え、
前記地表における風速Wgを取得するステップでは、前記風速W1及び前記相関関係に基づいて前記地表における風速Wgを取得する
請求項3又は4に記載のガス監視方法。
【請求項6】
前記風速W1を取得するステップでは、前記UAVのモータ電流値に基づいて前記UAVの飛行高さにおける前記風速W1を算出する
請求項5に記載のガス監視方法。
【請求項7】
前記撮像装置は、監視対象のガスが吸収する波長の赤外線を選択的に透過させるフィルタを備えた赤外線カメラを含む
請求項1乃至6の何れか一項に記載のガス監視方法。
【請求項8】
前記複数の画像データをオプティカルフロー推定処理して得られる前記複数の速度ベクトルから、前記複数の速度ベクトルの大きさの度数分布又は前記複数の速度ベクトルの向きの度数分布に基づいてノイズ成分を除去するステップを備え、
前記抽出ステップでは、前記ノイズ成分が除去された前記複数の速度ベクトルから前記ガス速度ベクトルを抽出する
請求項1乃至7の何れか一項に記載のガス監視方法。
【請求項9】
前記複数の速度ベクトルの大きさの度数分布において、度数が第1閾値以上の大きさの範囲に属し、かつ、前記複数の速度ベクトルの向きの度数分布において、度数が第2閾値以下の向きの範囲に属する速度ベクトルを、前記複数の速度ベクトルから前記ノイズ成分として除去する
請求項8に記載のガス監視方法。
【請求項10】
前記UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データを取得するステップと、
前記複数の画像データについてリフレーム処理を施すステップと、
前記リフレーム処理が施された複数の画像データをオプティカルフロー推定処理して前記複数の速度ベクトルを取得するステップと、
を備える請求項1乃至9の何れか一項に記載のガス監視方法。
【請求項11】
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得する速度ベクトル取得部と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するダウンウォッシュ速度取得部と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出部と、
を備えるガス監視装置。
【請求項12】
撮像装置を搭載したUAVと、
前記撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して複数の速度ベクトルを算出するように構成されたオプティカルフロー推定処理部と、
前記複数の速度ベクトルから前記ガス速度ベクトルを抽出するように構成された請求項11に記載のガス監視装置と、
を備えるガス監視システム。
【請求項13】
コンピュータに、
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得する手順と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得する手順と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する手順と、
実行させるためのガス監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラムに関する。
【背景技術】
【0002】
カメラなどの撮像装置で撮影された画像データに基づいてガスを監視したり監視したりすることがある。
【0003】
特許文献1には、オプティカルフロー推定を用いた黒煙検知システムが開示されている。この黒煙検知システムでは、フレアスタックから排出される黒煙に対して、連続して撮影された時系列の2画像を用いて、両画像間で演算したオプティカルフロー推定からガスの移動で生じた画像内局所の速度ベクトルが求められる。このようにして求められた速度ベクトルのうち、大きさ及び向きが所定範囲内であるものを、黒煙の移動を示す速度ベクトルとして抽出している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4266535号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、特許文献1の黒煙検知システムでは、固定された撮像装置(カメラ)を用いているため、撮像装置と撮影対象(煙突等)との距離が一定であり、また、撮影範囲内に速度算出の基準となるスケール(煙突等)が存在するため、オプティカルフロー推定から得られる複数の速度ベクトルの大きさ(速度の絶対値)を算出することができる。
【0006】
一方、UAV(無人航空機;unmanned aerial vehicle)に搭載された撮像装置を用いる場合、UAVの高さや位置は変化するためUAVと撮影対象の距離が一定でなく、また、速度算出の基準となるスケールが画像内に存在するとは限らないため、該複数の速度ベクトルの各々の大きさ(速度の絶対値)はオプティカルフロー推定では演算できず未知である。このため、オプティカルフロー推定で得られる複数の速度ベクトルから、監視対象のガスの移動を示すベクトルを適切に抽出することが難しい。
【0007】
上述の事情に鑑みて、本発明の少なくとも一実施形態は、UAVに搭載された撮像装置で取得した画像データを用いて監視対象のガスを適切に監視可能なガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の少なくとも一実施形態に係るガス監視方法は、
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得するステップと、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するステップと、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出ステップと、
を備える。
【0009】
また、本発明の少なくとも一実施形態に係るガス監視装置は、
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得する速度ベクトル取得部と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するダウンウォッシュ速度取得部と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出部と、
を備える。
【0010】
また、本発明の少なくとも一実施形態に係るガス監視システムは、
撮像装置を搭載したUAVと、
前記撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して複数の速度ベクトルを算出するように構成されたオプティカルフロー推定処理部と、
前記複数の速度ベクトルから前記ガス速度ベクトルを抽出するように構成された上述のガス監視装置と、
を備える。
【0011】
また、本発明の少なくとも一実施形態に係るガス監視プログラムは、
コンピュータに、
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得する手順と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得する手順と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する手順と、
実行させる。
【発明の効果】
【0012】
本発明の少なくとも一実施形態によれば、UAVに搭載された撮像装置で取得した画像データを用いて監視対象のガスを適切に監視可能なガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラムが提供される。
【図面の簡単な説明】
【0013】
図1】一実施形態に係るガス監視システムを構成するUAVの概略図である。
図2】一実施形態に係るガス監視システムの概略図である。
図3】一実施形態に係るガス監視方法のフローチャートである。
図4】撮像装置で撮影された画像の一例を示す図である。
図5】撮像装置で撮影された画像にオプティカルフロー推定により算出された複数の速度ベクトルを重ねた画像の一例である。
図6】UAVの飛行高さH及び飛行速度vとUAVのダウンウォッシュ速度との相関関係の一例を示すグラフである。
図7】UAVの飛行高さH及び飛行速度vとUAVのダウンウォッシュ速度との相関関係の一例を示すチャートである。
図8】UAVのダウンウォッシュ速度の取得手順を説明するための図である。
図9】UAVの補正ダウンウォッシュ速度の取得手順を説明するための図である。
図10】地表からの高さとの風速との相関関係の一例を示すグラフである。
図11】撮像装置で撮影された画像に、抽出ステップで抽出されたガス速度ベクトルVGを重ねた画像の一例である。
図12】ガス速度ベクトルVGの抽出の手順を説明するためのグラフである。
図13】複数の速度ベクトルの大きさの度数分布の一例を示すヒストグラムである。
図14】複数の速度ベクトルの向きの度数分布の一例を示すヒストグラムである。
図15】画像データのリフレーム処理を説明するための図である。
図16】画像データのリフレーム処理を説明するための図である。
図17】画像データのリフレーム処理を説明するための図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
【0015】
(ガス監視システム/ガス監視装置の構成)
図1は、幾つかの実施形態に係るガス監視システムを構成するUAVの概略図であり、図2は、幾つかの実施形態に係るガス監視システムの概略図である。
【0016】
幾つかの実施形態に係るガス監視装置及びガス監視システムは、UAV(無人航空機;unmanned aerial vehicle)に搭載された撮像装置(カメラ等)でフィールドを撮影して得られる画像データに基づいて、画像内のガス領域(監視対象のガスが流れている領域)を特定することが可能な装置及びシステムである。このガス監視装置/ガス監視システムにより、撮影対象となるフィールド領域における監視対象ガスの検知や監視(例えば、施設からのガス漏れ検知や、ガス流出の監視等)をすることができる。なお、監視対象のガスの種類は特に限定されない。以下においては、一例として、二酸化炭素(CO)ガスを監視対象とする場合について説明する。
【0017】
図1及び図2に示すように、一実施形態に係るガス監視システム100は、UAV10と、UAV10に搭載された撮像装置20と、UAV10及び/又は撮像装置20等で取得された計測データや画像データを示す信号を処理するためのガス監視装置50と、を備える。
【0018】
図1に示すように、UAV10は、UAV本体12と、UAV本体12に取り付けられる複数のプロペラ14(通常、3つ以上のプロペラ14)と、を含む。複数のプロペラ14の各々は、モータによって回転駆動されるように構成される。UAV10の飛行高さ、飛行速度、飛行方向等は、複数のプロペラ14を駆動するための各モータの電流値を調節することによって制御可能になっている。各モータの電流値を示す信号は、無線通信によりガス監視装置50に送られるようになっていてもよい。
【0019】
UAV10が飛行するとき、複数のプロペラ14によってダウンウォッシュD(下方に向かう気流)が生成される。UAV10から下方に向かうダウンウォッシュDは、地表Gに衝突して水平方向に転向され、地表におけるUAV10の真下の位置Pcから地表Gに沿って放射状に広がるように流れる。
【0020】
UAV10には、UAV10の飛行高さHを計測するための高度計(不図示)、又は、UAV10の飛行速度vを計測するための速度計(不図示)が設けられていてもよい。高度計で取得されたUAV10の飛行高さHを示す信号、及び/又は、速度計で取得されたUAV10の飛行速度vを示す信号は、無線通信によりガス監視装置50に送られるようになっていてもよい。
【0021】
撮像装置20は、UAV10が飛行している状態で、UAV10の下方のフィールドを時系列で連続的に撮影可能なものである。撮像装置20によって撮像された画像を示す画像データは、無線通信によりガス監視装置50に送られるようになっていてもよい。
【0022】
撮像装置20は、監視対象のガスが吸収する波長(COガスの場合4.3μm)の赤外線を選択的に透過させるフィルタを備えた赤外線カメラであってもよい。このように、特定の波長を選択的にフィルタリングしてイメージングする赤外線カメラを用いることで、撮影視野の流体(気体)については特定のガスのみが画像データにイメージングされる。
【0023】
ガス監視装置50は、UAV10から送られた飛行高さH又は飛行速度v等の計測データ又は撮像装置20から送られた画像データを処理するように構成される。図2に示すように、一実施形態に係るガス監視装置50は、画像取得部52と、リフレーム処理部54と、オプティカルフロー処理部56と、速度ベクトル取得部58と、ノイズ成分除去部60と、飛行状態取得部62と、ダウンウォッシュ速度取得部64と、抽出部66と、表示画像生成部68と、を備える。
【0024】
ガス監視装置50は、プロセッサ(CPU又はGPU等)、記憶装置(メモリデバイス;RAM等)、補助記憶部及びインターフェース等を備えた計算機を含む。ガス監視装置50は、インターフェースを介して、UAV10又は撮像装置20からの信号を受け取るようになっている。プロセッサは、このようにして受け取った信号を処理するように構成される。また、プロセッサは、記憶装置に展開されるプログラムを処理するように構成される。これにより、上述の各機能部(画像取得部52~表示画像生成部68)の機能が実現される。
【0025】
ガス監視装置50での処理内容は、プロセッサにより実行されるプログラムとして実装される。プログラムは、補助記憶部に記憶されていてもよい。プログラム実行時には、これらのプログラムは記憶装置に展開される。プロセッサは、記憶装置からプログラムを読み出し、プログラムに含まれる命令を実行するようになっている。
【0026】
画像取得部52は、UAV10に搭載された撮像装置20で複数の時刻にそれぞれ撮像して得られる複数の画像データを取得するように構成される。
【0027】
リフレーム処理部54は、必要に応じ、画像取得部52によって取得された複数の画像データについてリフレーム処理を行うように構成される。
【0028】
オプティカルフロー処理部56は、画像取得部52によって取得され、必要に応じてリフレーム処理が施された複数の画像データについて、オプティカルフロー推定処理するように構成される。
【0029】
速度ベクトル取得部58は、オプティカルフロー処理部56でのオプティカルフロー処理で算出される複数の速度ベクトルを取得するように構成される。
【0030】
ノイズ成分除去部60は、必要に応じ、速度ベクトル取得部58で取得された複数の速度ベクトルからノイズ成分を除去するように構成される。
【0031】
飛行状態取得部62は、UAV10の飛行状態を示す少なくとも1つの変数の計測値を取得するように構成される。一実施形態では、飛行状態取得部62は、UAV10の飛行状態を示す変数としてのUAV10の飛行高さH及び/又はUAV10の飛行速度vの計測値を取得するように構成される。
【0032】
ダウンウォッシュ速度取得部64は、UAV10の飛行状態を示す少なくとも1つの変数に基づきUAV10のダウンウォッシュ速度uを取得するように構成される。このダウンウォッシュ速度uは、地表におけるUAV10の真下の位置Pcの近傍における、地表Gに沿った方向のダウンウォッシュの流れの速度である。
【0033】
抽出部66は、速度ベクトル取得部58で取得された複数の速度ベクトルから、ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出するように構成される。
【0034】
表示画像生成部68は、抽出部66で抽出されたガス速度ベクトルに基づいて、監視対象のガスに関する情報(例えば、ガスの存在するガス領域や、ガス速度ベクトルの分布等に係る情報)を示す画像データ(監視用の画像データ)を生成するように構成される。表示画像生成部68で生成された画像データは、画像を表示するための表示部70に出力されるようになっていてもよい。
【0035】
また、ガス監視装置50は、UAV10の飛行状態を示す変数とUAV10のダウンウォッシュ速度との相関関係や、地表からの高さと風速との相関関係等を記憶するための記憶部69を備えてもよい。記憶部69は、ガス監視装置50を構成する計算機の記憶装置(メモリデバイス;RAM等)又は補助記憶装置を含んでもよく、あるいは、該計算機とネットワークを介して接続されるストレージデバイスを含んでもよい。
【0036】
(ガス監視方法のフロー)
以下、幾つかの実施形態に係るガス監視方法のフローについて説明する。なお、以下においては、上述のガス監視装置50を用いて監視対象のガスであるCOガスを監視する場合について説明するが、以下に説明する手順の一部又は全部を、他の装置を用いて、あるいは手動で行ってもよく、監視対象のガスはCO以外のガスであってもよい。
【0037】
図3は、一実施形態に係るガス監視方法のフローチャートである。
【0038】
一実施形態では、まず、UAV10に搭載された撮像装置20で複数の時刻にそれぞれ撮像する(S100)。撮像装置20は、UAV10が飛行している状態で、UAV10の下方のフィールドを時系列で連続的に撮影してもよい。図4は、撮像装置20で撮影された画像の一例を示す図である。図4に示す画像Iは、飛行中のUAV10の下方のフィールドを撮影したものであり、地表Gと、地表Gに設置されたCOガスボンベB1,B2が写っている。本実施形態では、撮像装置20として、監視対象のCOガスが吸収する波長(4.3μm)の赤外線を選択的に透過させるフィルタを備えた赤外線カメラを用いる。
【0039】
画像取得部52は、このように撮像装置20で撮像された複数の画像のデータ(複数の画像データ)を取得する。
【0040】
次に、リフレーム処理部54は、必要に応じ、ステップS100にて画像取得部52によって取得された複数の画像データについてリフレーム処理を行ってもよい(S200)。リフレーム処理をして予めUAV10のふらつきによるノイズを除去してから、後述のステップS300でオプティカルフロー推定処理することができるため、後述のステップS800でのガス速度ベクトルの抽出精度をより向上することができる。なお、ステップS200のリフレーム処理については後述する。
【0041】
次に、オプティカルフロー処理部56は、ステップS100にて画像取得部52によって取得された複数の画像データについて、あるいは、ステップS200にてリフレーム処理が施された複数の画像データについて、オプティカルフロー推定処理を行う(S300)。オプティカルフロー推定では、時間的に連続した時系列の2つの画像データを用いて、この2つの画像データ間での、画像内の複数の画素の動きをそれぞれ示す複数の速度ベクトルが算出される。オプティカルフロー推定処理は、例えば特許文献1に記載の方法で行うことができる。図5に示す画像Iは、ステップS300のオプティカルフロー推定処理の対象となった画像(撮像装置で撮影されたもの)に、オプティカルフロー推定により算出された複数の速度ベクトルを重ねた画像の一例である。
【0042】
なお、本実施形態では、COガスが吸収する波長を選択的にフィルタリングしてイメージングする赤外線カメラを用いるため、撮影視野の流体(気体)についてはCOガスのみが画像データにイメージングされるとともに、オプティカルフロー推定の演算対象となる。
【0043】
次に、速度ベクトル取得部58は、ステップS300でのオプティカルフロー推定処理で算出された複数の速度ベクトルを取得する(S400)。
【0044】
次に、ノイズ成分除去部60は、必要に応じ、ステップS400で取得された複数の速度ベクトルからノイズ成分を除去する(S500)。これにより、後述のステップS800でのガス速度ベクトルの抽出精度を向上することができる。なお、ステップS500のノイズ成分除去については後述する。
【0045】
次に、飛行状態取得部62は、UAV10の飛行状態を示す少なくとも1つの変数の計測値を取得する(S600)。ステップS600では、UAV10の飛行状態を示す変数としてのUAV10の飛行高さH及び/又はUAV10の飛行速度vの計測値を取得してもよい。
【0046】
次に、ダウンウォッシュ速度取得部64は、ステップS600で取得されたUAV10の飛行状態を示す少なくとも1つの変数に基づきUAV10のダウンウォッシュ速度uを取得する(S700)。UAV10の飛行状態を示す上述の少なくとも1つの変数と、UAV10のダウンウォッシュ速度uとの相関関係は、予め取得され記憶部69に記憶されていてもよい。ステップS700において、ダウンウォッシュ速度取得部64は、ステップS600で取得されたUAV10の飛行状態を示す少なくとも1つの変数に係る計測値と、記憶部69から取得される上述の相関関係とに基づいて、該計測値に対応するダウンウォッシュ速度uを取得してもよい。
【0047】
上述のUAV10の飛行状態を示す少なくとも1つの変数は、UAV10の飛行高さH及びUAV10の飛行速度vを含んでもよい。ここで、図6及び図7は、それぞれ、UAV10の飛行高さH及びUAV10の飛行速度vと、UAV10のダウンウォッシュ速度uとの相関関係を示すグラフ又はチャートの一例である。
【0048】
一実施形態では、図6に示す相関関係に基づいてダウンウォッシュ速度uを取得してもよい。すなわち、UAV10の飛行高さH及びUAV10の飛行速度vとUAV10のダウンウォッシュ速度uとは、例えば図6に示すような所定の相関関係を有する。この相関関係によれば、同じ飛行速度vでは、飛行高さが高いほどダウンウォッシュ速度uは大きく、また、飛行速度が大きいほどダウンウォッシュ速度uは大きい(ただし、図6において飛行速度vはv0<v1<v2である)。この相関関係は、UAV10を用いた試験により予め取得し、記憶部69に記憶させておく。そして、ダウンウォッシュ速度取得部64は、ステップS600で取得されたUAV10の飛行高さH及び飛行速度vの計測値を、記憶部69から取得される相関関係に当てはめることで、UAV10のダウンウォッシュ速度uを取得することができる。
【0049】
一実施形態では、図7に示す相関関係に基づいて位置P1におけるダウンウォッシュ速度uを取得してもよい。なお、位置P1は、UAV10の真下の位置Pcの近傍の位置である。すなわち、例えば図7に示すように、ダウンウォッシュ速度uは、UAV10の飛行高さH及びUAV10の飛行速度vに加え、地表におけるUAV10真下の位置PcからP1までの距離r、及び、地表において位置Pcを中心としたときの位置P1の基準方位からの角度θ(図8参照)と所定の相関関係を有する。この相関関係は、UAV10を用いた試験により予め取得し、記憶部69に記憶させておく。そして、ダウンウォッシュ速度取得部64は、ステップS600で取得されたUAV10の飛行高さH及び飛行速度vの計測値、及び、上述の距離r及び角度θの計測値を、記憶部69から取得される相関関係に当てはめることで、UAV10のダウンウォッシュ速度uを取得することができる。なお、上述の距離r及び角度θの計測値は、測定者が入力装置(キーボード、マウス、又はタッチパネル等)を介してガス監視装置50に入力してもよい。
【0050】
なお、図8は、ダウンウォッシュ速度uの取得手順を説明するための図であり、地表におけるUAV10真下の位置PcからP1までの距離r、及び、地表において位置Pcwo中心としたときの位置P1の基準方位からの角度θを示す図である。
【0051】
幾つかの実施形態では、ステップS700では、地表Gにおける風速Wgを考慮したダウンウォッシュ速度である補正ダウンウォッシュ速度ugを取得してもよい。補正ダウンウォッシュ速度ugは、上述のようにして求めたダウンウォッシュ速度u及び地表における風速Wgに基づいて算出してもよい。
【0052】
補正ダウンウォッシュ速度ug(ベクトル)は、例えば、上述のようにして求めたダウンウォッシュ速度u(ベクトル)と、地表における風速Wg(ベクトル)との合成ベクトルとして取得することができる(図9参照)。ここで、図9は、補正ダウンウォッシュ速度ugの取得手順を説明するための図である。
【0053】
地表における風速Wg(ベクトル)は、UAV10の飛行高さにおける風速W1(ベクトル)と、地表からの高さと風速との相関関係とに基づいて取得してもよい。ここで、図10は、地表からの高さとの風速との相関関係の一例を示すグラフである。地表からの高さとの風速とは、風速補正係数αを介して、例えば図10に示すような相関関係を有する。すなわち、図10に示す例では、風速補正係数α(ただし地表における風速補正係数αをゼロとする)は、UAV10の飛行高さに対して線形の関数で表現される。この関数から、地表での風速Wgと、飛行高さH1における風速W1との関係は、飛行高さH1における風速補正係数α1とすれば、Wg=α1×W1で表すことができる。地表からの高さと風速との上述の相関関係は、予め取得され、記憶部69に記憶されていてもよい。
【0054】
地表からの高さと風速との上述の相関関係は、地表(フィールド)上における風向とUAV10の飛行高さにおける風向は同じであり、かつ、高さ方向における風速変化の割合は地表(フィールド)上の場所によらず同じであるとの仮定の下、
フィールドの任意地点でUAV10の飛行高さHにおける風速Wを複数点取得することで、取得してもよい。
【0055】
UAV10の飛行高さにおける風速W1(ベクトル)は、UAV10のモータ電流値(プロペラ14を回転駆動するためのモータの電流値)から取得されてもよい。UAV10は、指定された飛行速度(及び方向)に対して、各プロペラ14のモータ電流値を制御して、一定の飛行速度を保つことができ、周囲に風がある場合でも、各プロペラ14のモータ負荷を制御して飛行速度一定に保つことができる。したがって、UAV10の各プロペラ14のモータ電流値から風速(風速W1(ベクトル)の大きさ)及び風向(風速W1(ベクトル)の向き)を特定することができる。
【0056】
あるいは、UAV10の飛行高さにおける風速W1は、UAV10に設けられた風速及び風向を計測するように構成された風速計(不図示)及び風向計(不図示)の計測結果に基づき取得されてもよい。なお、風速計及び風向計の計測結果を示す信号がガス監視装置50に送られるようになっていてもよい。
【0057】
すなわち、ダウンウォッシュ速度取得部64は、UAV10のモータ電流値を取得し、該モータ電流値に基づいてUAV10の飛行高さにおける風速W1(ベクトル)を算出してもよい。あるいは、ダウンウォッシュ速度取得部64は、UAV10に設けられた風速計及び風向計の計測結果を取得し、該計測値に基づいてUAV10の飛行高さにおける風速W1(ベクトル)を算出してもよい。そして、ダウンウォッシュ速度取得部64は、記憶部69から地表からの高さと風速との相関関係を取得し、該相関関係と、上述のUAV10の飛行高さにおける風速W1とに基づいて、地表における風速Wgを取得してもよい。ダウンウォッシュ速度取得部64は、このように取得した地表における風速Wgと、上述のダウンウォッシュ速度uとに基づいて、補正ダウンウォッシュ速度ugを取得してもよい。
【0058】
次に、抽出部66は、ステップS400で取得した複数の速度ベクトル(オプティカルフロー推定処理の結果得られた複数の速度ベクトル;図5参照)から、ステップS700で取得したダウンウォッシュ速度u(又は補正ダウンウォッシュ速度ug)に基づいて決定される範囲内の大きさを有するガス速度ベクトルVGを抽出する(S800)。なお、ステップS500でノイズ成分を除去した場合は、ステップS800では、ステップS500にてノイズ成分が除去された複数の速度ベクトルから、ステップS700で取得したダウンウォッシュ速度u(又は補正ダウンウォッシュ速度ug)に基づいて決定される範囲内の大きさを有するガス速度ベクトルVGを抽出する。ここで、図11に示す画像Iは、ステップS300のオプティカルフロー推定処理の対象となった画像(撮像装置で撮影されたもの)に、ステップS800で抽出されたガス速度ベクトルVGを重ねた画像の一例である。
【0059】
一実施形態では、ステップS800では、例えば、ステップS400で取得した複数の速度ベクトルのうち、ステップS700で取得したダウンウォッシュ速度u(又は補正ダウンウォッシュ速度ug)の位置における速度ベクトルについて、その速度の大きさがダウンウォッシュ速度u(又は補正ダウンウォッシュ速度ug)の速度の大きさと等しいものと見做す。そして、複数の速度ベクトルのうち、ダウンウォッシュ速度u(又は補正ダウンウォッシュ速度ug)に近い速度の大きさを有するものを抽出する。
【0060】
ガス速度ベクトルVGの抽出の仕方の一例として、ここでは、補正ダウンウォッシュ速度ugに基づいて決定される範囲内の大きさを有するガス速度ベクトルVGを抽出する場合について説明する。一例においては、複数の速度ベクトルから、補正ダウンウォッシュ速度ugと同じ大きさの速度ベクトル(VG_max)と、補正ダウンウォッシュ速度ugよりも小さい速度uminと同じ大きさの速度ベクトル(VG_min)との間の大きさを有する速度ベクトルを、ガス速度ベクトルVGとして抽出する(図12参照)。例えば、複数の速度ベクトルのうち、0.25×ug以上、かつ、1×ug以下の大きさを有するものを抽出する。なお、図12は、ガス速度ベクトルVGの抽出の手順を説明するためのグラフである。
【0061】
なお、図11に示す画像Iにおいては、抽出されたガス速度ベクトルVGの分布、及び、抽出されたガス速度ベクトルVGが存在する領域であるガス領域AGが示されている。また、ガス速度ベクトルVGは、COガスボンベから噴出されるCOガスの流れを示すベクトルである。
【0062】
ステップS800で抽出されたガス速度ベクトルVGに基づいて、表示画像生成部68は、抽出部66で抽出されたガス速度ベクトルに基づいて、監視対象のガスに関する情報(例えば、ガスの存在するガス領域や、ガス速度ベクトルの分布等に係る情報)を示す画像データ(監視用の画像データ;例えば図11に示す画像Iのデータ等)を生成してもよい。このように生成された画像データを、表示部70に送って表示部70にて出力する(表示する)ようにしてもよい(S900)。
【0063】
ステップS300のオプティカルフロー推定処理では、複数の速度ベクトルの向き及び相対的な大きさを算出することができるが、絶対的な大きさ(速度の絶対値)を算出することはできない。これは、UAV10に搭載される撮像装置20と撮影対象の距離が一定でなく、さらに速度算出の基準となるスケールが画像内に存在するとは限らないためである。
この点、上述の実施形態では、UAV10の飛行状態を示す少なくとも1つの変数(例えば飛行高さHや飛行速度v)に基づき、UAV10のダウンウォッシュ速度uを取得することができる。そこで、オプティカルフロー推定で得られた未知の大きさを有する複数の速度ベクトルのうち、UAV10のダウンウォッシュの速度uを示すベクトルの大きさを基準にして、該複数の速度ベクトルから、ダウンウォッシュ速度uに基づき決定される範囲内の大きさ(又は、ダウンウォッシュ速度uから求まる補正ダウンウォッシュ速度ugに基づき決定される範囲内の大きさ)を有する速度ベクトルを監視対象のガスの移動速度及び方向を示すガス速度ベクトルVG(ガス領域)として特定することができる。このように抽出されたガス速度ベクトルVGを用いて、ガスを適切に監視することができる。
【0064】
また、一実施形態では、上述したように、UAV10のダウンウォッシュ速度uは、UAVの飛行高さHや飛行速度v及び相関関係を有する。したがって、UAV10の飛行高さH及びUVAの飛行速度vに基づいて、これらとの相関関係から、UAV10のダウンウォッシュ速度uを適切に取得することができる。
【0065】
また、地表においてダウンウォッシュとは別の風が吹いてる場合、地表におけるダウンウォッシュの流れは該風の影響を受け得る。この点、一実施形態では、上述したように、UAV10の飛行状態を示す変数(飛行高さHや飛行速度v)に基づき得られたダウンウォッシュ速度u及び地表における風速Wgに基づいて風速Wgを考慮した補正ダウンウォッシュ速度ugを算出する。そして、オプティカルフロー推定で得られた複数のベクトルから、該補正ダウンウォッシュ速度ugに基づいて決定される範囲内の大きさを有するガス速度ベクトルVGを抽出する。したがって、監視対象のガスの移動速度及び方向を示すガス速度ベクトルをより適切に抽出することができる。
【0066】
(ノイズ成分除去について)
ステップS500のノイズ成分を除去する処理について説明する。幾つかの実施形態では、ステップS500では、ステップS400で得られた複数のベクトル(ステップS300のオプティカルフロー推定処理で算出される複数のベクトル)から、該複数の速度ベクトルの大きさの度数分布、又は、該複数の速度ベクトルの向きの度数分布に基づいて、ノイズ成分の速度ベクトルを除去してもよい。
【0067】
ノイズ成分の速度ベクトルは、大きさ又は向きに関して所定のパターンを有する傾向がある。上述の実施形態では、オプティカルフロー推定により得られる複数の速度ベクトルの大きさ又は向きの度数分布に基づいて、該複数のベクトルからノイズ成分を除去することができる。また、ステップS800では、ノイズ成分が除去された複数のベクトルからダウンウォッシュ速度uに基づきガス速度ベクトルを抽出するので、ガス速度ベクトルVGの抽出精度を向上することができる。
【0068】
ここで、図13は、ステップS400で得られた複数の速度ベクトルの大きさの度数分布の一例を示すヒストグラムであり、図14は、ステップS400で得られた複数の速度ベクトルの向きの度数分布の一例を示すヒストグラムである。
【0069】
一実施形態では、ステップS500では、複数の速度ベクトルの大きさの度数分布(図13参照)において、度数が第1閾値(図13における閾値1)以上の大きさの範囲に属し、かつ、複数の速度ベクトルの向きの度数分布(図14参照)において、度数が第2閾値(図14における閾値2)以下の向きの範囲に属する速度ベクトルを、ノイズ成分としてステップS400で得られた複数の速度ベクトルから除去する。
【0070】
ノイズ成分の速度ベクトル(例えば、UAV10のふらつきを示す速度ベクトル)は、ほぼ同等の大きさを持ち、かつ、向きがばらついているパターンを有する場合がある。上述の実施形態では、大きさの度数分布において度数が比較的大きい範囲に属し、かつ、向きの度数分布において度数が比較的小さい範囲に属するベクトル(即ち上述のパターンに合致するベクトル)を、ノイズ成分として適切に除去することができる。
【0071】
なお、上述の第1閾値又は第2閾値として、各ヒストグラムの縦軸の平均値又は中央値を用いてもよい。
【0072】
なお、複数の速度ベクトルの大きさの度数分布(図13参照)及び向きの度数分布(図14参照)の両方において、度数が閾値よりも大きい速度ベクトル(例えば、図13においてP1で示すピーク、及び、図14においてP2で示すピークの両方に含まれるベクトル)は、監視対象のガスの速度ベクトルである可能性が高い。
【0073】
(リフレーム処理について)
ステップS200のリフレーム処理について説明する。ここで、図15図17は、複数の画像データのリフレーム処理を説明するための図である。図15図17に示す画像I11~I13は、UAV10に搭載された撮像装置20で時系列に撮影された画像である。リフレーム処理では、時系列に撮影された各画像の画像データについて、基準点PがフレームF(画像の表示領域)内の所定位置(例えばフレームFの中心位置)に位置するように画像の縦横比(a:b)を調節して(即ち、画像のうちフレームF外の領域をトリミングして)、フレームFに対する画像の位置を調整する。図示する例では、COガスボンベB1,B2の位置を基準点Pとして、各画像I11~I13の各々について基準点Pがフレームの中心に位置するように、画像の縦横比が、それぞれa1:b1、a2:b2、a3:b3となるように調節して画像の位置を調整している。
【0074】
撮像装置20での撮影中にUAV10は移動する(例えばふらつく)ため、UAV10に搭載された撮像装置20で連続的に撮影される複数の画像データは、撮影位置がずれる場合がある。この点、上述の実施形態によれば、複数の画像データについてリフレーム処理をするため、複数の画像データに含まれる撮影対象物のフレームF中の位置を固定(いわゆるブレ補正)することができる。このように、リフレーム処理をすることで、予めUAV10のふらつきによるノイズを除去してから、ステップS300でオプティカルフロー推定処理することで、ステップS800におけるガス速度ベクトルの抽出精度をより向上することができる。
【0075】
上記各実施形態に記載の内容は、例えば以下のように把握される。
【0076】
(1)本発明の少なくとも一実施形態に係るガス監視方法は、
UAV(10)に搭載された撮像装置(20)で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得するステップ(S400)と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するステップ(S700)と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出ステップ(S800)と、
を備える。
【0077】
上記(1)の方法では、UAVに搭載された撮像装置で撮像された時系列の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルは、検出対象のガスの速度ベクトル(ガス速度ベクトル)に加え、他の速度ベクトル(検出対象のガス以外の物体の移動を示す速度ベクトルやノイズ等)も含まれる。また、UAVと撮影対象の距離が一定でなく、さらに速度算出の基準となるスケールが画像内に存在するとは限らないため、該複数の速度ベクトルの各々の大きさ(速度の絶対値)はオプティカルフロー推定では演算できない。一方、上記(1)の構成では、UAVの飛行状態を示す少なくとも1つの変数に基づき、UAVのダウンウォッシュ速度uを取得することができる。そこで、オプティカルフロー推定で得られた未知の大きさを有する複数の速度ベクトルのうち、UAVのダウンウォッシュの速度を示すベクトルの大きさを基準にして、該複数の速度ベクトルから、ダウンウォッシュ速度uに基づき決定される範囲内の大きさを有する速度ベクトルを監視対象のガスの移動速度及び方向を示すガス速度ベクトル(ガス領域)として特定することができる。このように抽出されたガス速度ベクトルを用いて、ガスを適切に監視することができる。
【0078】
(2)幾つかの実施形態では、上記(1)の方法において、
前記UAVの飛行状態を示す前記少なくとも1つの変数は、前記UAVの飛行高さH及び前記UAVの飛行速度vを含む。
【0079】
UAVのダウンウォッシュ速度uは、UAVの飛行高さHや飛行速度v及び相関関係を有する。上記(2)の方法によれば、UAVの飛行高さH及びUVAの飛行速度vに基づいて、これらとの相関関係から、UAVのダウンウォッシュ速度uを適切に取得することができる。
【0080】
(3)幾つかの実施形態では、上記(1)又は(2)の方法において、
前記ガス監視方法は、
地表における風速Wgを取得するステップ(S700)と、
前記ダウンウォッシュ速度u及び前記風速Wgに基づいて、前記風速Wgを考慮したダウンウォッシュ速度である補正ダウンウォッシュ速度ugを算出するステップ(S700)と、を備え、
前記抽出ステップでは、前記複数の速度ベクトルから、前記補正ダウンウォッシュ速度ugに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する。
【0081】
地表においてダウンウォッシュとは別の風が吹いてる場合、地表におけるダウンウォッシュの流れは該風の影響を受け得る。上記(3)の方法によれば、UAVの飛行状態を示す変数に基づき得られたダウンウォッシュ速度u及び地表における風速Wgに基づいて風速Wgを考慮した補正ダウンウォッシュ速度ugを算出し、オプティカルフロー推定で得られた複数のベクトルから、該補正ダウンウォッシュ速度ugに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する。したがって、監視対象のガスの移動速度及び方向を示すガス速度ベクトルをより適切に抽出することができる。
【0082】
(4)幾つかの実施形態では、上記(3)の方法において、
前記ダウンウォッシュ速度uのベクトルと前記地表における風速Wgのベクトルとを合成することで前記補正ダウンウォッシュ速度ugのベクトルを算出する。
【0083】
上記(4)の方法によれば、ダウンウォッシュ速度uと風速Wgの合成ベクトルとして、補正ダウンウォッシュ速度ugを適切に算出することができる。
【0084】
(5)幾つかの実施形態では、上記(3)又は(4)の方法において、
前記ガス監視方法は、
地表からの高さと風速との相関関係を取得するステップ(S700)と、
前記UAVの飛行高さにおける風速W1を取得するステップ(S700)と、を備え、
前記地表における風速Wgを取得するステップでは、前記風速W1及び前記相関関係に基づいて前記地表における風速Wgを取得する。
【0085】
上記(5)の方法によれば、地表からの高さと風速との相関関係に基づいて、UAVの飛行高さにおける風速W1から、地表における風速Wgを取得する。このように取得した地表での風速Wgに基づいて、上述の補正ダウンウォッシュ速度ugを適切に算出することができる。
【0086】
(6)幾つかの実施形態では、上記(5)の方法において、
前記風速W1を取得するステップでは、前記UAVのモータ電流値に基づいて前記UAVの飛行高さにおける前記風速W1を算出する。
【0087】
UAVの飛行高さにおける風速W1と、UAVのプロペラを駆動するモータの電流値とは、所定の相関関係を有する。上記(6)の方法によれば、例えば風速計等を用いなくても、UAVのモータ電流値に基づいて、UAVの飛行高さにおける風速W1を適切に取得することができる。
【0088】
(7)幾つかの実施形態では、上記(1)乃至(6)の何れかの方法において、
前記撮像装置は、監視対象のガスが吸収する波長の赤外線を選択的に透過させるフィルタを備えた赤外線カメラを含む。
【0089】
上記(7)の方法によれば、撮像装置として、監視対象のガスが吸収する波長の赤外線を選択的に透過させるフィルタを備えた赤外線カメラを用いるので、監視対象のガスを撮影することができる。そして、これにより得られる時系列の画像データをオプティカルフロー処理することで、監視対象ガスの移動を示す速度ベクトルを取得することができる。
【0090】
(8)幾つかの実施形態では、上記(1)乃至(7)の何れかの方法において、
前記ガス監視方法は、
前記複数の画像データをオプティカルフロー推定処理して得られる前記複数の速度ベクトルから、前記複数の速度ベクトルの大きさの度数分布又は前記複数の速度ベクトルの向きの度数分布に基づいてノイズ成分を除去するステップ(S500)を備え、
前記抽出ステップでは、前記ノイズ成分が除去された前記複数の速度ベクトルから前記ガス速度ベクトルを抽出する。
【0091】
ノイズ成分の速度ベクトルは、大きさ又は向きに関して所定のパターンを有する傾向がある。上記(8)の方法によれば、オプティカルフロー推定により得られる複数の速度ベクトルの大きさ又は向きの度数分布に基づいて、該複数のベクトルからノイズ成分を除去することができる。また、ノイズ成分が除去された複数のベクトルからダウンウォッシュ速度uに基づきガス速度ベクトルを抽出するので、ガス速度ベクトルの抽出精度を向上することができる。
【0092】
(9)幾つかの実施形態では、上記(8)の方法において、
前記複数の速度ベクトルの大きさの度数分布において、度数が第1閾値以上の大きさの範囲に属し、かつ、前記複数の速度ベクトルの向きの度数分布において、度数が第2閾値以下の向きの範囲に属する速度ベクトルを、前記複数の速度ベクトルから前記ノイズ成分として除去する。
【0093】
ノイズ成分の速度ベクトルは、ほぼ同等の大きさを持ち、かつ、向きがばらついているパターンを有する場合がある。上記(9)の方法によれば、大きさの度数分布において度数が比較的大きい範囲に属し、かつ、向きの度数分布において度数が比較的小さい範囲に属するベクトル(即ち上述のパターンに合致するベクトル)を、ノイズ成分として適切に除去することができる。
【0094】
(10)幾つかの実施形態では、上記(1)乃至(9)の何れかの方法において、
前記ガス監視方法は、
前記UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データを取得するステップ(S100)と、
前記複数の画像データについてリフレーム処理を施すステップ(S200)と、
前記リフレーム処理が施された複数の画像データをオプティカルフロー推定処理して前記複数の速度ベクトルを取得するステップ(S300,S400)と、
を備える。
【0095】
撮像装置での撮影中にUAVは移動する(例えばふらつく)ため、UAVに搭載された撮像装置で連続的に撮影される複数の画像データは、撮影位置がずれる場合がある。この点、上記(10)の方法によれば、複数の画像データについてリフレーム処理をするため、複数の画像データに含まれる撮影対象物のフレーム中の位置を固定(いわゆるブレ補正)することができる。このように、リフレーム処理をすることで、予めUAVのふらつきによるノイズを除去してから、オプティカルフロー推定処理することで、ガス速度ベクトルの抽出精度をより向上することができる。
【0096】
(11)本発明の少なくとも一実施形態に係るガス監視装置(50)は、
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得する速度ベクトル取得部(58)と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得するダウンウォッシュ速度取得部(64)と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する抽出部(66)と、
を備える。
【0097】
上記(11)の構成では、UAVに搭載された撮像装置で撮像された時系列の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルは、検出対象のガスの速度ベクトル(ガス速度ベクトル)に加え、他の速度ベクトル(検出対象のガス以外の物体の移動を示す速度ベクトルやノイズ等)も含まれる。また、UAVと撮影対象の距離が一定でなく、さらに速度算出の基準となるスケールが画像内に存在するとは限らないため、該複数の速度ベクトルの各々の大きさ(速度の絶対値)はオプティカルフロー推定では演算できない。一方、上記(11)の構成では、UAVの飛行状態を示す少なくとも1つの変数に基づき、UAVのダウンウォッシュ速度uを取得することができる。そこで、オプティカルフロー推定で得られた未知の大きさを有する複数の速度ベクトルのうち、UAVのダウンウォッシュの速度を示すベクトルの大きさを基準にして、該複数の速度ベクトルから、ダウンウォッシュ速度uに基づき決定される範囲内の大きさを有する速度ベクトルを監視対象のガスの移動速度及び方向を示すガス速度ベクトル(ガス領域)として特定することができる。このように抽出されたガス速度ベクトルを用いて、ガスを適切に監視することができる。
【0098】
(12)本発明の少なくとも一実施形態に係るガス監視システム(100)は、
撮像装置(20)を搭載したUAV(10)と、
前記撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して複数の速度ベクトルを算出するように構成されたオプティカルフロー推定処理部(56)と、
前記複数の速度ベクトルから前記ガス速度ベクトルを抽出するように構成された上記(11)に記載のガス監視装置(50)と、
を備える。
【0099】
上記(12)の構成では、UAVに搭載された撮像装置で撮像された時系列の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルは、検出対象のガスの速度ベクトル(ガス速度ベクトル)に加え、他の速度ベクトル(検出対象のガス以外の物体の移動を示す速度ベクトルやノイズ等)も含まれる。また、UAVと撮影対象の距離が一定でなく、さらに速度算出の基準となるスケールが画像内に存在するとは限らないため、該複数の速度ベクトルの各々の大きさ(速度の絶対値)はオプティカルフロー推定では演算できない。一方、上記(12)の構成では、UAVの飛行状態を示す少なくとも1つの変数に基づき、UAVのダウンウォッシュ速度uを取得することができる。そこで、オプティカルフロー推定で得られた未知の大きさを有する複数の速度ベクトルのうち、UAVのダウンウォッシュの速度を示すベクトルの大きさを基準にして、該複数の速度ベクトルから、ダウンウォッシュ速度uに基づき決定される範囲内の大きさを有する速度ベクトルを監視対象のガスの移動速度及び方向を示すガス速度ベクトル(ガス領域)として特定することができる。このように抽出されたガス速度ベクトルを用いて、ガスを適切に監視することができる。
【0100】
(13)本発明の少なくとも一実施形態に係るガス監視プログラムは、
コンピュータに、
UAVに搭載された撮像装置で複数の時刻にそれぞれ撮像して得られる複数の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルを取得する手順と、
前記UAVの飛行状態を示す少なくとも1つの変数に基づき前記UAVのダウンウォッシュ速度uを取得する手順と、
前記複数の速度ベクトルから、前記ダウンウォッシュ速度uに基づいて決定される範囲内の大きさを有するガス速度ベクトルを抽出する手順と、
実行させる。
【0101】
上記(13)の構成では、UAVに搭載された撮像装置で撮像された時系列の画像データをオプティカルフロー推定処理して得られる複数の速度ベクトルは、検出対象のガスの速度ベクトル(ガス速度ベクトル)に加え、他の速度ベクトル(検出対象のガス以外の物体の移動を示す速度ベクトルやノイズ等)も含まれる。また、UAVと撮影対象の距離が一定でなく、さらに速度算出の基準となるスケールが画像内に存在するとは限らないため、該複数の速度ベクトルの各々の大きさ(速度の絶対値)はオプティカルフロー推定では演算できない。一方、上記(13)の構成では、UAVの飛行状態を示す少なくとも1つの変数に基づき、UAVのダウンウォッシュ速度uを取得することができる。そこで、オプティカルフロー推定で得られた未知の大きさを有する複数の速度ベクトルのうち、UAVのダウンウォッシュの速度を示すベクトルの大きさを基準にして、該複数の速度ベクトルから、ダウンウォッシュ速度uに基づき決定される範囲内の大きさを有する速度ベクトルを監視対象のガスの移動速度及び方向を示すガス速度ベクトル(ガス領域)として特定することができる。このように抽出されたガス速度ベクトルを用いて、ガスを適切に監視することができる。
【0102】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
【0103】
本明細書において、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
また、本明細書において、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
また、本明細書において、一の構成要素を「備える」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
【符号の説明】
【0104】
10 UAV
12 UAV本体
14 プロペラ
20 撮像装置
50 ガス監視装置
52 画像取得部
54 リフレーム処理部
56 オプティカルフロー処理部
58 速度ベクトル取得部
60 ノイズ成分除去部
62 飛行状態取得部
64 ダウンウォッシュ速度取得部
66 抽出部
68 表示画像生成部
69 記憶部
70 表示部
100 ガス監視システム
AG ガス領域
B1 COガスボンベ
B2 COガスボンベ
D ダウンウォッシュ
F フレーム
G 地表
P0 基準点
VG ガス速度ベクトル
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17