(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048687
(43)【公開日】2024-04-09
(54)【発明の名称】ガス漏洩検出装置、ガス漏洩検出方法、及び、ガス漏洩検出プログラム
(51)【国際特許分類】
G06T 7/254 20170101AFI20240402BHJP
G06T 7/00 20170101ALI20240402BHJP
G06V 10/82 20220101ALI20240402BHJP
G06V 10/72 20220101ALI20240402BHJP
G01M 3/02 20060101ALI20240402BHJP
G01M 3/38 20060101ALI20240402BHJP
【FI】
G06T7/254 A
G06T7/00 350C
G06V10/82
G06V10/72
G01M3/02 M
G01M3/38 H
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022154745
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】110000785
【氏名又は名称】SSIP弁理士法人
(72)【発明者】
【氏名】神原 信幸
(72)【発明者】
【氏名】荒川 宜彬
(72)【発明者】
【氏名】乾 正幸
(72)【発明者】
【氏名】渋谷 秀和
(72)【発明者】
【氏名】川添 浩平
(72)【発明者】
【氏名】森竹 崇之
(72)【発明者】
【氏名】池田 孝
(72)【発明者】
【氏名】鈴木 啓太
【テーマコード(参考)】
2G067
5L096
【Fターム(参考)】
2G067BB17
2G067BB26
2G067CC04
2G067DD11
2G067EE03
2G067EE13
5L096CA04
5L096EA14
5L096EA43
5L096FA25
5L096FA35
5L096FA69
5L096GA08
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】フィールドの状況に関わらず、ガスの漏洩を精度よく検出する。
【解決手段】ガス漏洩検出装置は、フィールドを時系列的に撮影することで得られた複数の画像データを取得し、2つの画像データ間における各画素の輝度を比較することにより、画像データに含まれる画素ごとに輝度変化を評価する。
輝度変化は画素ごとに積算されることにより、画像データにおける輝度変化頻度分布が算出される。フィールドで漏洩するガスは、このように算出された輝度変化頻度分布に基づいて検出される。
【選択図】
図2
【特許請求の範囲】
【請求項1】
フィールドを時系列的に撮影することで得られた複数の画像データを取得するための画像データ取得部と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価するための輝度変化評価部と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出するための輝度変化頻度分布算出部と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出するためのガス検出部と、
を備える、ガス漏洩検出装置。
【請求項2】
前記輝度変化評価部は、前記2つの画像データ間の差分画像データを生成し、
前記輝度変化頻度分布算出部は、前記差分画像データを積算することにより、前記輝度変化頻度分布を算出する、請求項1に記載のガス漏洩検出装置。
【請求項3】
前記輝度変化評価部は、前記差分画像データの各画素の輝度を予め設定された閾値と比較することで、前記差分画像データに二値化処理を行う、請求項2に記載のガス漏洩検出装置。
【請求項4】
前記ガス検出部は、前記輝度変化頻度分布を、前記輝度変化の大きさに対応した画素輝度値を有するガス分布画像として可視化する、請求項1又は2に記載のガス漏洩検出装置。
【請求項5】
前記複数の画像データの座標系を、予め取得された基準画像データの基準座標系に合わせるための位置合わせ処理を実施するための位置合わせ処理部を更に備える、請求項1又は2に記載のガス漏洩検出装置。
【請求項6】
前記位置合わせ処理は、前記複数の画像データ及び前記基準画像データにそれぞれ含まれる特徴点が一致するように、前記座標系を前記基準座標系に変換するためのアフィン変換により行われる、請求項5に記載のガス漏洩検出装置。
【請求項7】
前記特徴点は、前記複数の画像データ及び前記基準画像データにおいて、複数の画素を含むように設定された検査エリアを移動させた際に、前記検査エリアにおける輝度変化量が基準値より大きな位置として特定される、請求項6に記載のガス漏洩検出装置。
【請求項8】
前記特徴点は、教師データを用いて学習されたニューラルネットワークモデルを用いて、前記複数の画像データ及び前記基準画像データから特定される、請求項6に記載のガス漏洩検出装置。
【請求項9】
前記教師データは、サンプル画像を中心軸の周りに回転させて作成した複数のデータを含む、請求項8に記載のガス漏洩検出装置。
【請求項10】
前記アフィン変換は、予め構築されたディープニューラルネットワークモデルに対して、前記複数の画像データ及び前記基準画像データを入力することで得られるアフィン配列を用いて行われる、請求項6に記載のガス漏洩検出装置。
【請求項11】
前記複数の画像データは、移動体に搭載された撮影装置によって撮影される、請求項1又は2に記載のガス漏洩検出装置。
【請求項12】
前記複数の画像データは、前記フィールドを赤外線カメラで撮影されることで得られる、請求項1又は2に記載のガス漏洩検出装置。
【請求項13】
前記複数の画像データは、動画データを構成する複数のフレーム画像である、請求項1又は2に記載のガス漏洩検出装置。
【請求項14】
フィールドを時系列的に撮影することで得られた複数の画像データを取得する工程と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価する工程と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出する工程と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出する工程と、
を備える、ガス漏洩検出方法。
【請求項15】
コンピュータ装置を用いて、
フィールドを時系列的に撮影することで得られた複数の画像データを取得する工程と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価する工程と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出する工程と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出する工程と、
を実行可能な、ガス漏洩検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ガス漏洩検出装置、ガス漏洩検出方法、及び、ガス漏洩検出プログラムに関する。
【背景技術】
【0002】
例えばCO2等のガスの漏洩を検出するための技術が知られている。検出対象となるフィールドが比較的狭い場合には、ガスが漏洩する可能性がある範囲に、ガスを検知可能なセンサを配置することで検出が可能である。その一方で、検出対象となるフィールドが比較的広い場合には、局所的なガス漏洩を検出するためのセンサでは対応が難しい。この場合、検出対象となるガスに対応する波長を補足可能なカメラ等の撮影装置でフィールドを撮影し、漏洩するガスを可視化することにより、フィールドにおけるガス漏洩を検出することが考えられる。
尚、本願明細書において「検出」は「検知」及び「監視」を含む概念であり、ガスの漏洩を検出という場合には、漏洩ガスの有無だけでなく、漏洩ガスに関する各種情報を取得する場合も含む。
【0003】
このように撮影した画像に基づいてフィールド上で漏洩するガスを検出するためには、フィールドの背景(例えば地面や建物の壁等)と、検出対象であるガスを含む前景とを区別する必要がある。例えば特許文献1は、ガスの漏洩検出に関する技術ではないが、撮影画像を構成する各画素の濃淡値に対して、背景発生確率及び前景発生確率として、ベイズ推定法を適用した画素分類式をそれぞれ計算することにより、各画素が背景であるか、前景であるかを分類可能が技術に関して開示がある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
前述のように、フィールドを撮影した画像データに基づいて、フィールド上におけるガスの漏洩検出を行うことができる。例えば、検出対象とするガスとしてCO2を取り扱う場合、CO2ガスを補足可能な赤外線カメラを用いてフィールドを撮影して取得した瞬間的な撮影画像(いわゆるスナップショット)に基づいて、CO2ガスの漏洩検出を行う。しかしながら、フィールドの温度や背景によっては、単一の撮影画像では、ロバストなガス漏洩検出が難しい場合がある。
【0006】
例えば、赤外線カメラでは赤外線を検出するための検出素子を備えるが、この検出素子では、赤外線カメラに入射する赤外線の強度が検出され、その検知結果が電気的信号に変換された後、信号強度に応じた輝度値の分布から、撮影画像が構築される。このような赤外線カメラでは、フィールドの背景(例えば地面や建物の壁等)から放射される電磁波と、フィールドの背景と赤外線カメラとの間に存在する検出対象ガス(CO2ガス)を通過することで幾らかのエネルギが吸収された電磁波とを検出素子で検出し、その電磁波強度の差に基づいて、検出対象ガスの存在領域を可視化する。
【0007】
ここで背景物体から放射される電磁波の強度は、その背景物体の温度によって変化するため、背景物体と検出対象ガスとの温度差が大きいほど、背景物体から放射される電磁波の強度と検出対象ガスから放射される電磁波の強度との差が大きくなり、背景物体から検出対象ガスを感度よく分離可能となる。その一方で、背景物体と検出対象ガスとの温度差が小さい場合には、背景物体から放射される電磁波の強度と検出対象ガスから放射される電磁波の強度との差が小さく、背景物体から検出対象ガスを分離することが困難になる(すなわち、撮影画像における背景物体と検出対象ガスとの輝度値の差が小さく、検出対象ガスが存在する範囲の輪郭が曖昧になってしまう)。例えば屋外のフィールドを検出対象とする場合、撮影画像には背景物体として土,砂,草等が含まれ、それらの温度は、日照、風雨、気温等の気象条件に応じて変化する。そのため、気象条件によっては背景物体と検出対象ガスとの温度差が小さくなることも考えられる。
【0008】
本開示の少なくとも一実施形態は上述の事情に鑑みなされたものであり、フィールドの状況に関わらず、ガスの漏洩を精度よく検出可能なガス漏洩検出装置、ガス漏洩検出方法、及び、ガス漏洩検出プログラムを提要することを目的とする。
【課題を解決するための手段】
【0009】
本開示の少なくとも一実施形態に係るガス漏洩検出装置は、上記課題を解決するために、
フィールドを時系列的に撮影することで得られた複数の画像データを取得するための画像データ取得部と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価するための輝度変化評価部と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出するための輝度変化頻度分布算出部と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出するためのガス検出部と、
を備える。
【0010】
本開示の少なくとも一実施形態に係るガス漏洩検出方法は、上記課題を解決するために、
フィールドを時系列的に撮影することで得られた複数の画像データを取得する工程と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価する工程と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出する工程と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出する工程と、
を備える。
【0011】
本開示の少なくとも一実施形態に係るガス漏洩検出プログラムは、上記課題を解決するために、
コンピュータ装置を用いて、
フィールドを時系列的に撮影することで得られた複数の画像データを取得する工程と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価する工程と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出する工程と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出する工程と、
を実行可能である。
【発明の効果】
【0012】
本開示の少なくとも一実施形態によれば、フィールドの状況に関わらず、ガスの漏洩を精度よく検出可能なガス漏洩検出装置、ガス漏洩検出方法、及び、ガス漏洩検出プログラムを提要できる。
【図面の簡単な説明】
【0013】
【
図1】本開示の少なくとも一実施形態に係るガス漏洩検出装置と協働する撮影装置を搭載したUAVを側方から示す模式図である。
【
図2】一実施形態に係るガス漏洩検出装置を
図1のUAVとともに示す構成ブロック図である。
【
図3】
図3は一実施形態に係るガス漏洩検出方法を示すフローチャートである。
【
図4】
図3のステップS104における輝度変化頻度分布の算出方法を示す模式図である。
【
図5】
図3のステップS105における規格化処理を示す模式図である。
【
図6】
図3のステップS106で用いられる輝度変化頻度分布の一例である。
【
図7】他の実施形態に係るガス漏洩検出方法を示すフローチャートである。
【
図8】
図7のステップS204で実施される二値化処理を示す模式図である。
【
図9】他の実施形態に係るガス漏洩検出装置の構成ブロック図である。
【
図10】他の実施形態に係るガス漏洩検出方法を示すフローチャートである。
【
図11】
図10のステップS302で実施される位置合わせ処理のサブフローチャートである。
【
図12】
図11のステップS402における特徴点を特定する様子を示す模式図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
【0015】
図1は本開示の少なくとも一実施形態に係るガス漏洩検出装置と協働する撮影装置16を搭載したUAV(無人航空機:Unmanned Aerial Vehicle)10を側方から示す模式図である。少なくとも一実施形態に係るガス漏洩検出装置は、フィールドFにおけるガスGの漏洩(例えばフィールドFに含まれる地表や施設から大気中への流出等)を検出するための装置である。特に、ガス漏洩検出装置100は、撮影装置によってフィールドFを撮影することで取得された画像データを解析することにより、フィールドFにおけるガスの漏洩を検出する。以下に説明する実施形態では、画像データを撮影するための撮影装置が、UAV10(無人航空機;Unmanned Aerial Vehicle)に搭載されている場合について例示的に説明するが、撮影装置は他の移動体に搭載されていてもよいし、地表や建造物のような非移動体に搭載されていてもよい。
【0016】
UAV10は、UAV本体12と、UAV本体12に取り付けられる複数のプロペラ14(通常、3つ以上のプロペラ14)と、撮影装置16とを含む。複数のプロペラ14の各々は、モータ(不図示)によって回転駆動されるように構成される。UAV10の飛行高さ、飛行速度、飛行方向等は、複数のプロペラ14を駆動するための各モータの電流値を調節することによって制御可能になっている。各モータの電流値を示す信号は、
図2を参照して後述するように、無線通信ネットワーク40を介して、ガス漏洩検出装置100に送られるようになっていてもよい。
【0017】
撮影装置16は、検出対象となるガスが吸収する波長を選択的に透過させるフィルタを備えた撮像デバイスである。例えば、CO2ガスを検出対象とする場合、撮影装置16は、CO2ガスが吸収する波長4.3μmの赤外線を選択的に透過させるフィルタを備えた赤外線カメラである。このように、特定の波長を選択的にフィルタリングして撮影する撮影装置16を用いることで、撮影視野にある流体(気体)については特定のガスのみが画像データとして撮影される。撮影装置16で得られた画像データは、
図2を参照するように、無線通信ネットワーク40を介して、ガス漏洩検出装置100に送られるようになっている。
【0018】
尚、検出対象とするガスはCO2ガスに限定されず、例えばメタンやアンモニアのような赤外線を吸収可能な他のガスであってもよい。また撮影は、赤外線領域以外の吸収波長帯域を有する撮影装置16によって行われてもよく、この場合、撮影装置16によって撮影可能な吸収波長帯域を有する任意のガスを検出対象としてもよい。また以下の説明では、検出対象をガスとしたが、例えば微粒子を含む煙のような媒体を検出対象としてもよい。
【0019】
また撮影装置16は、フィールドFを時系列的に撮影することで、複数の画像データを取得可能に構成される。例えば、撮影装置16は、静止画を時系列的に繰り返し取得することで複数の画像データを取得可能な静止カメラであってもよいし、所定のフレーム周波数に対応して時系列的に連続した複数のフレーム画像から構成される動画を取得可能な動画カメラであってもよい(動画カメラでは、動画を構成する複数のフレーム画像が複数の画像データとして取り扱われる)。
【0020】
撮影装置16は、飛行中のUAV10からフィールドFを撮影可能なように、UAV本体12に取り付けられる。UAV本体12に対する撮影装置16の取付姿勢は固定であってもよいし、可変であってもよい。このように撮影装置16は、移動体であるUAV10に搭載されることで、UAV10とともにフィールドF上を移動することにより、フィールドFの任意の範囲におけるガスの漏洩検出が可能となる。
【0021】
続いて上記構成を有するUAV10と協働して機能するガス漏洩検出装置100の構成について説明する。
図2は一実施形態に係るガス漏洩検出装置100を
図1のUAV10とともに示す構成ブロック図である。
【0022】
ガス漏洩検出装置100は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、及びコンピュータ読み取り可能な記憶媒体等から構成されている。そして、各種機能を実現するための一連の処理は、一例として、プログラムの形式で記憶媒体等に記憶されており、このプログラムをCPUがRAM等に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。尚、プログラムは、ROMやその他の記憶媒体に予めインストールしておく形態や、コンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。
【0023】
ガス漏洩検出装置100は、記憶媒体等に記憶されたプログラムが実行されることにより、
図2に示す各機能ブロックが実現される。具体的には、ガス漏洩検出装置100は、画像データ取得部102と、輝度変化評価部104と、輝度変化頻度分布算出部106と、ガス検出部108とを備える。
【0024】
画像データ取得部102は、フィールドFを時系列的に撮影することで得られた複数の画像データを取得するための構成である。本実施形態では、ガス漏洩検出装置100は、無線通信ネットワーク40を介してUAV10と通信可能であり、画像データ取得部102は、無線通信ネットワーク40介してUAV10に搭載された撮影装置16で得られた複数の画像データを取得可能である。
【0025】
尚、ガス漏洩検出装置100に複数の画像データを記憶するための記憶装置(メモリ等)が備えられている場合には、撮影装置16で得られた各画像データを撮影時間と関連付けて記憶装置に蓄積しておき、画像データ取得部102が記憶装置にアクセスすることにより、複数の画像データを取得するようにしてもよい。
【0026】
輝度変化評価部104は、複数の画像データのうち時系列的に前後する2つの画像データ(以下、区別する場合には適宜「第1画像データ」及び「第2画像データ」と称する)間における各画素の輝度を比較することにより、画像データに含まれる画素ごとに輝度変化を評価するための構成である。輝度変化評価部104で取り扱われる複数の画像データは、互いの撮影範囲が一致することを前提とする。仮に画像データ取得部102で取得した複数の画像データに異なる撮影範囲を有する画像データが含まれる場合には、複数の画像データに対して、前処理として後述の位置合わせ処理が実施されることにより、互いの撮影範囲が一致するように補正される。
尚、本願明細書において「時系列的に前後」とは、2つの画像データが時系列的に連続する場合に限られず、2つの画像データの間に他の画像データが介在する場合も含む。
【0027】
具体的に説明すると、輝度変化評価部104では、第1画像データの各画素の輝度値(以下、適宜「第1輝度値」と称する)と、第2画像データの各画素の輝度値(以下、適宜「第2輝度値」と称する)とをそれぞれ特定し、各画素について輝度変化として輝度値の差分(=「第1輝度値」-「第2輝度値」)を算出することにより、差分画像データを作成する。すなわち、差分画像データは、各画素が、前述の「輝度値の差分」の絶対値に対応する輝度値を有する画像として定義される。
【0028】
輝度変化頻度分布算出部106は、輝度変化を画素ごとに積算することにより、画像データにおける輝度変化頻度分布を算出するための構成である。前述のように各画素の輝度変化に対応する差分画像データが作成される場合には、差分画像データの各画素の輝度値が積算されることで輝度変化頻度分布が算出される。ここで積算とは、時系列的に前後する2以上の差分画像データについて、各画素の輝度変化を画素ごとに積算することを意味する。
尚、以下の実施形態では前後する1組(すなわち2枚)の差分画像データについて評価された各画素の輝度変化を積算する場合について述べるが、3以上の任意の数の差分画像データについて評価された各画素の輝度変化を積算してもよい。
【0029】
ガス検出部108は、輝度変化頻度分布算出部106で算出された輝度変化頻度分布に基づいて、フィールドFで漏洩するガスを検出するための構成である。輝度変化頻度分布では、各画素について輝度変化に対応する輝度値が積算された結果が分布として示されており、単一の画像データの輝度分布に比べて、フィールドFを流動するガスの存在が強調される。そのためガス検出部108は、輝度変化頻度に基づいてフィールドFを流動するガスを検出することにより、フィールドFにおけるガスの漏洩箇所を好適に特定することができる。
【0030】
続いて上記構成を有するガス漏洩検出装置100によって実施されるガス漏洩検出方法について説明する。
図3は一実施形態に係るガス漏洩検出方法を示すフローチャートである。
【0031】
まず画像データ取得部102は、フィールドFを時系列的に撮影することで得られた複数の画像データを取得する(ステップS100)。本実施形態では、撮影装置16は動画カメラであり、画像データ取得部102は、動画カメラによって得られた動画データをフレーム分割することによって、複数の画像データが取得される。またステップS100で取得された複数の画像データには、必要に応じてノイズ除去処理やグレースケール変換処理が実施されてもよい。
【0032】
尚、本実施形態では、ステップS100で取得される複数の画像データは、共通の撮影範囲を有する。このように共通の撮影範囲を有する複数の画像データは、例えば、UAV10をフィールドFの所定位置でホバリングさせながら、UAV10に搭載された撮影装置16で撮影を行うことで得ることができる。
【0033】
続いて輝度変化評価部104は、ステップS100で取得された複数の画像データから時系列的に前後する2つの画像データを選択する(ステップS101)。ステップS101では、例えば、ステップS100で取得した複数の画像データを時系列順に配列し、前後する任意の2つの画像データが選択される。
【0034】
続いて輝度変化評価部104は、ステップS101で選択した2つの画像データ(第1画像データ及び第2画像データ)について差分画像データを作成する(ステップS102)。差分画像データは、前述したように、第1画像データの各画素の輝度値(以下、適宜「第1輝度値」と称する)と、第2画像データの各画素の輝度値(以下、適宜「第2輝度値」と称する)とをそれぞれ特定し、各画素について輝度変化として輝度値の差分(=「第1輝度値」-「第2輝度値」)を算出する。そして各画素の輝度値が、得られた差分の絶対値となる差分画像データが作成される。
【0035】
続いてガス漏洩検出装置100は、ステップS100で取得された複数の画像データについて、全ての時系列的に前後する2つの画像データについて差分画像データの作成が完了したか否かを判定する(ステップS103)。全ての時系列的に前後する2つの画像データについて差分画像データの作成が完了していない場合(ステップS103:NO)、ガス漏洩検出装置100は、処理をステップS101に戻すことにより、他の時系列的に前後する2つの画像データについて差分画像データの作成を行う。
【0036】
全ての時系列的に前後する2つの画像データについて差分画像データの作成が完了した場合(ステップS103:YES)、輝度変化頻度分布算出部106は、繰り返し作成された複数の差分画像データを積算することにより、輝度変化頻度分布を算出する(ステップS104)。輝度変化頻度分布は、複数の差分画像データの輝度値を画素ごとに積算することにより得られる。
【0037】
ここで
図4は
図3のステップS104における輝度変化頻度分布の算出方法を示す模式図である。
図4では、t=n-1番目及びn番目の差分画像データと、各差分画像データにおいて二次元配列された各画素の輝度値を示す行列表(行:1、2、3、・・・、列:A、B、C、・・・)とが示されている。輝度変化頻度分布算出部106は、このような複数の差分画像データの各画素について、輝度値を積算することにより、次式によって輝度変化頻度分布を算出する。
ここで、S
xyは積算後の各画素xyの輝度変化頻度であり、l
xy_tはt番目の差分画像データにおける各画素xyの輝度値である。
尚、
図4では、t=n-1番目及びn番目の差分画像データにおける各画素の輝度値は、わかりやすいように「1」又は「0」に二値化されている場合を例示している。
【0038】
続いて輝度変化頻度分布算出部106は、ステップS104で算出された輝度変化頻度分布について規格化処理を行う(ステップS105)。規格化処理は、ステップS105で算出された輝度変化頻度分布から最大値を特定し、当該最大値が所定値になるように規格化演算を行うための処理である。
【0039】
図5は
図3のステップS105における規格化処理を示す模式図である。
図5には、ステップS104で算出された輝度変化頻度分布の一例が示されており、各画素xyに対応する輝度変化頻度Sxyがマトリクス状に示されている。輝度変化頻度分布算出部106は、輝度変化頻度分布に含まれる輝度変化頻度Sxyのなかから最大値(max)を特定し、当該最大値が所定値(255)になるように、各画素xyに対応する輝度変化頻度Sxyを規格化する(規格化後の輝度変化頻度Sxyを「規格化後輝度変化頻度S´xy」で示す)。
【0040】
続いてガス検出部108は、ステップS105で規格化処理が行われた輝度変化頻度分布に基づいて、ガスの漏洩を検出する(ステップS106)。ステップS106では、複数の画像データのうち時系列的に前後する2つの画像データ間において輝度変化を積算することで得られた輝度変化頻度分布を用いることで、単一の画像データの輝度分布を用いる場合に比べて、フィールドF上で漏洩するガスの様子をより明瞭にとらえることができる。
尚、ステップS106におけるガス漏洩の「検出」は、ガス漏洩の有無があることを「検知」することを含み、これに加えて、ガスの漏洩範囲等を検出してもよい。
【0041】
図6は
図3のステップS106で用いられる輝度変化頻度分布の一例である。
図6に示すように、輝度変化頻度分布では、複数の画像データのうち時系列的に前後する2つの画像データ間において輝度変化の積算値である輝度変化頻度が大きな画素ほど、大きな輝度値で表示される。ガス検出部108は、このような輝度変化頻度分布を解析することにより、フィールドFにおけるガスの漏洩を好適に検出することができる。
【0042】
尚、本実施形態では、ステップS105で規格化処理が実施された輝度変化頻度分布に基づいてガスの漏洩検出を行う場合について例示したが、ステップS105の規格化処理を省略した場合には、規格化処理が実施されていない輝度変化頻度分布(すなわちステップS104で算出された結果)に基づいてガスの漏洩検出を行ってもよい。
【0043】
続いて前述のガス漏洩検出方法の他の実施形態について説明する。
図7は他の実施形態に係るガス漏洩検出方法を示すフローチャートである。
【0044】
図7のステップS200~S203は、それぞれ
図3のステップS100~S103と同じであるが、
図7では、ステップS204において、ステップS203までにおいて作成された各差分画像データに対して、二値化処理が実施される。この二値化処理は、例えば、輝度変化評価部104によって、差分画像データの各画素の輝度を予め設定された閾値と比較することで行われる。
【0045】
図8は
図7のステップS204で実施される二値化処理を示す模式図である。二値化処理では、差分画像データの各画素について輝度値が特定され、当該輝度値が閾値以上である場合には輝度値「1」、当該輝度値が閾値未満である場合には輝度値「0」に変換される。これにより、
図8に示すように、差分画像データの各画素は、変換後の輝度値「1」又は「0」のいずれかを有し、差分画像データは二値化処理によってモノクロ画像となる。
【0046】
二値化処理では、閾値以上の輝度値を有する画素が強調された差分画像データが得られる。そしてステップS205では、このように二値化処理が実施された差分画像データが、ステップS104と同様に積算されることで、輝度変化頻度分布が算出される。本実施形態では、二値化処理が実施された差分画像データを積算することにより輝度変化頻度分布が算出されることで、前述の実施形態に比べて、輝度値が閾値以上である画素が強調された輝度変化頻度分布が得られる。そのためステップS207では、このような算出された輝度変化頻度分布に基づいてガスの漏洩検出を行うことで、より精度のよいガス漏洩検出が可能となる。
【0047】
尚、本実施形態では、ステップS204において二値化処理が実施された差分画像データは、ステップS205以降において、前述の実施形態と同様に処理される(すなわち
図7のステップS205~S207は、それぞれ
図3のステップS104~S106と同じである)。
【0048】
続いて更に他の実施形態に係るガス漏洩検出装置100´について説明する。
図9は他の実施形態に係るガス漏洩検出装置100´の構成ブロック図である。
【0049】
図9に示すガス漏洩検出装置100´は、
図2に示すガス漏洩検出装置100に比べて、位置合わせ処理部110を備える点で異なる。本実施形態では、例えばフィールドF上をUAV10が移動することにより、UAV10に搭載された撮影装置16の撮影角度や対象物(ガス漏洩箇所)との距離が変化することにより、複数の画像データの撮影範囲が異なることがある。このような複数の画像データを用いてガス漏洩検出を行う場合、前述のガス漏洩検出装置100では、輝度変化評価部104が前後する2つの画像データから差分画像データを作成する際に、撮影範囲の違いからガスが存在する領域以外においても輝度変化を検出しやすくなり、その結果、ガス漏洩箇所を誤検出してしまう可能性が高くなってしまう。このような誤検出を防止するために、本実施形態に係るガス漏洩検出装置100´は、差分画像データの作成に用いられる複数の画像データについて、前処理として位置合わせ処理を実施するための位置合わせ処理部110を備える。
【0050】
続いて上記構成を有するガス漏洩検出装置100´によって実施される他の実施形態に係るガス漏洩検出方法について説明する。
図10は他の実施形態に係るガス漏洩検出方法を示すフローチャートである。
【0051】
まずステップS300~S301は、前述のステップS100~S101と同様であり、画像データ取得部102によって複数の画像データが取得され、複数の画像データから差分画像データを作成するための時系列的に前後する2つの画像データが選択される。そして位置合わせ処理部110は、ステップS301で選択された2つの画像データに対して位置合わせ処理を実施する(ステップS302)。
【0052】
ここで、ステップS302で実施される位置合わせ処理について、
図11及び
図12を参照して具体的に説明する。
図11は
図10のステップS302で実施される位置合わせ処理のサブフローチャートであり、
図12は
図11のステップS402における特徴点を特定する様子を示す模式図である。
【0053】
まず位置合わせ処理部110は、位置合わせ処理の対象となる画像データDi(ステップS301で選択された2つの画像データ)を取得する(ステップS400)。ここで取得される2つの画像データDiは、前述したように、撮影角度や対象物(ガス漏洩箇所)との距離が変化することにより任意の座標系xyzを有する。
【0054】
続いて位置合わせ処理部110は、基準画像データDirefを取得する(ステップS401)。基準画像データDirefは、位置合わせ処理が実施される画像データDiの座標系xyzを整合させる基準となる基準座標系XYZを有する画像データとして予め用意される。基準画像データDirefは、例えば、メモリ等の記憶装置に記憶されおり、位置合わせ処理部110は、当該記憶装置にアクセスすることにより、基準画像データDirefを取得する。
【0055】
続いて位置合わせ処理部110は、ステップS400で取得した画像データDi、及び、ステップS401で取得した基準画像データDirefの各々について特徴点Pcを特定する(ステップS402)。特徴点Pcは、各画像データの座標系を把握する際の基準となる座標点であり、例えば画像に含まれる構造物のコーナ部やエッジ部のように画素間の輝度変化量が大きな点として特定される。
【0056】
本実施形態では、画像データDi(又は基準画像データDiref)に対して、複数の画素を含むように検査エリアAdを設定し、検査エリアAdを移動させた際に、検査エリアAdにおける輝度変化量が予め設定された基準値より大きくなる位置を特徴点Pcとして特定する。
図12では、撮影装置16によって撮影されたフィールドFの一部が画像データDi(又は基準画像データDiref)として示されている。この画像データには、複数の画素を含むように設定された略矩形状の検査エリアAdが重ねて示されている。位置合わせ処理部110は、検査エリアAdを画像データ上を走査しながら、検査エリアAdに含まれる輝度変化量を検出する。具体的には、検査エリアAdをフィールドF上の位置nから(n+1)に移動した際の検査エリアAd内の輝度変化量を検出し、当該輝度変化量が予め設定された基準値より大きいか否かを判定する。その結果、検査エリアAdに含まれる輝度変化量が基準値より大きな位置は、フィールドFに何らかの特徴的な構造(例えばコーナ部やエッジ部等)が含まれていることを示唆しており、位置合わせ処理部110は、当該位置を特徴点Pcとして特定する。
図12では、このように特定された幾つかの特徴点Pcとして、フィールドF上にある構造物のエッジ部やコーナ部が示されている(
図12にいくつか示されている黒点を参照)。
【0057】
またステップS402において特徴点Pcを特定するための他の手法としては、教師データを用いて学習されたニューラルネットワークモデルを用いてもよい。この場合、画像パターンと特徴点Pcとを関連付けた教師データを用意し、教師データを用いてニューラルネットワークモデルの学習を行う。位置合わせ処理部110は、このように構築されたニューラルネットワークモデルに対して、画像データDi(又は基準画像データDiref)を入力する。ニューラルネットワークモデルは、教師データによる学習によって構築された隠れ層の情報から、入力された画像データDi(又は基準画像データDiref)におけるコントラスト(白黒)、コーナ部、エッジ部等を見分け、特徴点Pcを出力する。
【0058】
尚、ニューラルネットワークモデルの学習に用いられる教師データは、個別に用意してもよいが、例えば、特定のサンプル画像を中心軸回りに回転させて作成した複数のデータを用意してもよい。これにより、もととなる限られたサンプル画像から多くの教師データを作成することができる。
【0059】
続いて位置合わせ処理部110は、ステップS402で特定された特徴点Pcに基づいて、画像データDiの座標系xyzを基準画像データDirefの座標系XYZに変換する(ステップS403)。具体的には、ステップS403では、画像データDiで特定された特徴点Pcが基準画像データDirefで特定された特徴点Pcに一致するように、画像データDiの座標系xyzを基準画像データDirefの座標系XYZにアフィン変換するためのアフィン変換配列が求められ、当該アフィン変換配列を画像データDiに適用することにより位置合わせ処理が実施される。
【0060】
ステップS403で用いられるアフィン変換配列は、例えば、予め構築されたディープニューラルネットワークモデルを用いて求められてもよい。この場合、例えば、所定の画像データをアフィン変換配列を用いて基準画像データに整合させるモデルケースを幾つか手動で用意してデータベース化し、これを教師データとして、ディープニューラルネットワークモデルの学習が行われる。このときディープラーニングの損失関数としては、例えば、基準画像データDirefで特定された特徴点Pcの輝度変化量を用いることができる。位置合わせ処理部110は、このように構築されたディープニューラルネットワークモデルに対して、画像データDi及び基準画像データDirefを入力することで、適切なアフィン変換配列を少ない演算負担で得ることができる(例えばUAV10の意図しない揺らぎ等に対しても、即座にアフィン変換が求まるようになり、各フレーム画像に対する位置合わせが可能となる)。
【0061】
このようにステップS302ではステップS301で選択された2つの画像データについて位置合わせ処理が実施されることで、各画像データの座標系xyzが基準画像データの座標系XYZに揃えられる。
図10に戻って、続くステップS303では、位置合わせ処理が実施された2つの画像データを用いて差分画像データが作成される。以降のステップS304~S308は、前述のステップS103~S106と同じであり、このように位置合わせ処理が実施された画像データを用いた処理が行われることで、誤検出が発生しにくく、精度のよいガス漏洩の検出が可能となる。
【0062】
以上説明したように上記実施形態によれば、フィールドFを時系列的に撮影することで取得された複数の画像データのうち、時系列的に前後する2つの画像データ間における各画素の輝度を比較されることにより、画素ごとの輝度変化が評価される。各画素の輝度変化は、複数の画像データに含まれる時系列的に前後する2つ画像データの各組み合わせにわたって積算されることで、輝度変化頻度分布が求められる。このように算出された輝度変化頻度分布は、フィールドFを流動するガスによる輝度変化が生じやすい画素ほど輝度変化頻度が大きな値を有するように強調される。そのため、輝度変化頻度分布に基づくガス検知を行うことで、フィールドFの状況(例えば背景として含まれる物体や温度等)に関わらず、フィールドFにおけるガス漏洩を精度よく検出できる。
【0063】
上記各実施形態に記載の内容は、例えば以下のように把握される。
【0064】
(1)一態様に係るガス漏洩検出装置は、
フィールドを時系列的に撮影することで得られた複数の画像データを取得するための画像データ取得部と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価するための輝度変化評価部と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出するための輝度変化頻度分布算出部と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出するためのガス検出部と、
を備える。
【0065】
上記(1)の態様によれば、フィールドを時系列的に撮影することで取得された複数の画像データのうち、時系列的に前後する2つの画像データ間における各画素の輝度を比較されることにより、画素ごとの輝度変化が評価される。各画素の輝度変化は、複数の画像データに含まれる時系列的に前後する2つ画像データの各組み合わせにわたって積算されることで、輝度変化頻度分布が求められる。このように算出された輝度変化頻度分布は、フィールドを流動するガスによる輝度変化が生じやすい画素ほど輝度変化頻度が大きな値を有するように強調される。そのため、輝度変化頻度分布に基づくガス検知を行うことで、フィールドの状況(例えば背景として含まれる物体や温度等)に関わらず、フィールドにおけるガス漏洩を精度よく検出できる。
【0066】
(2)他の態様では、上記(1)の態様において、
前記輝度変化評価部は、前記2つの画像データ間の差分画像データを生成し、
前記輝度変化頻度分布算出部は、前記差分画像データを積算することにより、前記輝度変化頻度分布を算出する。
【0067】
上記(2)の態様によれば、時系列的に前後する2つの画像データについて、各画素の輝度変化を各画素の輝度値とする差分画像データが作成される。このように作成される差分画像データを、複数の画像データに含まれる時系列的に前後する2つの画像データの各組合せについて積算することで、フィールドにおけるガスの存在領域を良好に判別可能な輝度変化頻度分布を好適に得ることができる。
【0068】
(3)他の態様では、上記(2)の態様において、
前記輝度変化評価部は、前記差分画像データの各画素の輝度を予め設定された閾値と比較することで、前記差分画像データに二値化処理を行う。
【0069】
上記(3)の態様によれば、差分画像データには、各画素の輝度を閾値と比較する二値化処理が実施される。このような二値化処理が実施された差分画像データを積算することで、フィールド上を流動するガスが存在する領域がより強調された輝度変化頻度分布を得ることができる。
【0070】
(4)他の態様では、上記(1)から(3)のいずれか一態様において、
前記ガス検出部は、前記輝度変化頻度分布を、前記輝度変化頻度の大きさに対応した画素輝度値を有するガス分布画像として可視化する。
【0071】
上記(4)の態様によれば、輝度変化頻度に対応した画素輝度値を有するように、輝度変化頻度分布が可視化される。このように可視化された輝度変化頻度分布は、フィールドを流動するガスが存在する範囲を示すガス分布画像として利用可能である。
【0072】
(5)他の態様では、上記(1)から(4)のいずれか一態様において、
前記複数の画像データの座標系を、予め取得された基準画像データの基準座標系に合わせるための位置合わせ処理を実施するための位置合わせ処理部を更に備える。
【0073】
上記(5)の態様によれば、複数の画像データに位置合わせ処理が実施されることで、各画像データの座標系が、基準画像データの基準座標系に合わせられる。これにより、例えば複数の画像データが移動しながら撮影されることで、各画像データの座標系が基準座標系からずれる場合であっても、位置合わせ処理が実施された複数の画像データに基づいてガスの漏洩を検出するための輝度変化頻度分布を算出できる。
【0074】
(6)他の態様では、上記(5)の態様において、
前記位置合わせ処理は、前記複数の画像データ及び前記基準画像データにそれぞれ含まれる特徴点が一致するように、前記座標系を前記基準座標系に変換するためのアフィン変換により行われる。
【0075】
上記(6)の態様によれば、複数の画像データに含まれる特徴点が、基準画像データに含まれる特徴点に一致するようにアフィン変換されることで、位置合わせ処理を実施できる。
【0076】
(7)他の態様では、上記(6)の態様において、
前記特徴点は、前記複数の画像データ及び前記基準画像データにおいて、複数の画素を含むように設定された検査エリアを移動させた際に、前記検査エリアにおける輝度変化量が基準値より大きな位置として特定される。
【0077】
上記(7)の態様によれば、複数の画像を含むように設定された検査エリアを移動させた際の輝度変化量が基準点より大きな位置として、画像データ及び基準画像データから位置合わせ処理に用いられる特徴点を好適に特定できる。
【0078】
(8)他の態様では、上記(6)の態様において、
前記特徴点は、教師データを用いて学習されたニューラルネットワークモデルを用いて、前記複数の画像データ及び前記基準画像データから特定される。
【0079】
上記(8)の態様によれば、学習済みのニューラルネットワークモデルを用いて画像データ及び基準画像データを解析することで、画像データ及び基準画像データから位置合わせ処理に用いられる特徴点を好適に特定できる。
【0080】
(9)他の態様では、上記(8)の態様において、
前記教師データは、サンプル画像を中心軸の周りに回転させて作成した複数のデータを含む。
【0081】
上記(9)の態様によれば、画像データ及び基準画像データから位置合わせ処理に用いられる特徴点を特定するために用いられるニューラルネットワークモデルの学習に用いられる教師データが、サンプル画像を中心軸の周りに回転させて作成した複数のデータとして用意される。これにより、比較的少ないサンプル画像をもとに多くの教師データを効率的に作成できる。
【0082】
(10)他の態様では、上記(6)の態様において、
前記アフィン変換は、予め構築されたディープニューラルネットワークモデルに対して、前記複数の画像データ及び前記基準画像データを入力することで得られるアフィン配列を用いて行われる。
【0083】
上記(10)の態様によれば、ディープニューラルネットワークモデルに対して、複数の画像データ及び前記基準画像データを入力することで、複数の画像データに対応する座標系を基準画像データに対応する基準座標系に位置合わせするための、アフィン配列が出力される。これにより、少ない演算負担で位置合わせ処理に必要なアフィン配列を得ることができるため、処理の高速化に適している。
【0084】
(11)他の態様では、上記(1)から(10)のいずれか一態様において、
前記複数の画像データは、移動体に搭載された撮影装置によって撮影される。
【0085】
上記(11)の態様によれば、移動体に搭載された撮影装置によって撮影された複数の画像データに基づいて、フィールド上におけるガスの漏洩を好適に検出できる。
【0086】
(12)他の態様では、上記(1)から(11)のいずれか一態様において、
前記複数の画像データは、前記フィールドを赤外線カメラで撮影されることで得られる。
【0087】
上記(12)の態様によれば、赤外線カメラで撮影された複数の画像データに基づいて、例えばCO2ガスのようなガスのフィールド上における漏洩を好適に検出できる。
【0088】
(13)他の態様では、上記(1)から(12)のいずれか一態様において、
前記複数の画像データは、動画データを構成する複数のフレーム画像である。
【0089】
上記(13)の態様によれば、動画データを構成する複数のフレーム画像を前述の複数の画像データとして取り扱うことにより、動画データに基づいてフィールド上におけるガスの漏洩を好適に検出できる。
【0090】
(14)一態様に係るガス漏洩検出方法は、
フィールドを時系列的に撮影することで得られた複数の画像データを取得する工程と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価する工程と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出する工程と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出する工程と、
を備える。
【0091】
上記(14)の態様によれば、フィールドを時系列的に撮影することで取得された複数の画像データのうち、時系列的に前後する2つの画像データ間における各画素の輝度を比較されることにより、画素ごとの輝度変化が評価される。各画素の輝度変化は、複数の画像データに含まれる時系列的に前後する2つ画像データの各組み合わせにわたって積算されることで、輝度変化頻度分布が求められる。このように算出された輝度変化頻度分布は、フィールドを流動するガスによる輝度変化が生じやすい画素ほど輝度変化頻度が大きな値を有するように強調される。そのため、輝度変化頻度分布に基づくガス検知を行うことで、フィールドの状況(例えば背景として含まれる物体や温度等)に関わらず、フィールドにおけるガス漏洩を精度よく検出できる。
【0092】
(15)一態様に係るガス漏洩検出プログラムは、
コンピュータ装置を用いて、
フィールドを時系列的に撮影することで得られた複数の画像データを取得する工程と、
前記複数の画像データのうち時系列的に前後する2つの前記画像データ間における各画素の輝度を比較することにより、前記画像データに含まれる画素ごとに輝度変化を評価する工程と、
前記輝度変化を前記画素ごとに積算することにより、前記画像データにおける輝度変化頻度分布を算出する工程と、
前記輝度変化頻度分布に基づいて、前記フィールドで漏洩するガスを検出する工程と、
を実行可能である。
【0093】
上記(15)の態様によれば、フィールドを時系列的に撮影することで取得された複数の画像データのうち、時系列的に前後する2つの画像データ間における各画素の輝度を比較されることにより、画素ごとの輝度変化が評価される。各画素の輝度変化は、複数の画像データに含まれる時系列的に前後する2つ画像データの各組み合わせにわたって積算されることで、輝度変化頻度分布が求められる。このように算出された輝度変化頻度分布は、フィールドを流動するガスによる輝度変化が生じやすい画素ほど輝度変化頻度が大きな値を有するように強調される。そのため、輝度変化頻度分布に基づくガス検知を行うことで、フィールドの状況(例えば背景として含まれる物体や温度等)に関わらず、フィールドにおけるガス漏洩を精度よく検出できる。
【符号の説明】
【0094】
10 AUV
12 本体
14 プロペラ
16 撮影装置
40 無線通信ネットワーク
100 ガス漏洩検出装置
102 画像データ取得部
104 輝度変化評価部
106 輝度変化頻度分布算出部
108 ガス検出部
110 位置合わせ処理部