特開 2024-33396 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024033396

(43)【公開日】2024-03-13

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G01M 3/02 20060101AFI20240306BHJP

   G06T 7/00 20170101ALI20240306BHJP

【ＦＩ】

G01M3/02 M

G06T7/00 350C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022136947

(22)【出願日】2022-08-30

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】池田 孝

(72)【発明者】

【氏名】鈴木 啓太

(72)【発明者】

【氏名】荒川 宜彬

(72)【発明者】

【氏名】神原 信幸

(72)【発明者】

【氏名】乾 正幸

(72)【発明者】

【氏名】渋谷 秀和

(72)【発明者】

【氏名】石本 芳隆

【テーマコード（参考）】

2G067

5L096

【Ｆターム（参考）】

2G067AA01

2G067AA15

2G067BB17

2G067CC04

2G067DD27

2G067EE15

5L096BA03

5L096FA12

5L096FA32

5L096FA33

5L096FA35

5L096HA11

5L096KA04

(57)【要約】

【課題】ガスの存在を精度よく検知することができる情報処理装置を提供する。
【解決手段】情報処理装置は、検査対象を撮影した検査画像を取得する取得部と、前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知する検知部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

検査対象を撮影した検査画像を取得する取得部と、
前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知する検知部と、
を備える情報処理装置。

【請求項2】

前記変化率は、前記検査画像における輝度変化率である、
請求項１に記載の情報処理装置。

【請求項3】

前記予測モデルは、ＬＳＴＭ（Long short-term memory）を用いて学習された機械学習モデルである、
請求項１に記載の情報処理装置。

【請求項4】

前記入力パラメータは、輝度変化率の平均および標準偏差と、前記検査画像に含まれる要素のコーナーの移動量の平均および標準偏差と、前記検査画像の輝度のヒストグラム形状の変化率とを含む、
請求項１に記載の情報処理装置。

【請求項5】

前記検査画像に対し畳み込み演算を行って、テクスチャ画像を生成する画像処理部をさらに備え、
前記検知部は、前記テクスチャ画像から前記入力パラメータを取得する、
請求項１から４の何れか一項に記載の情報処理装置。

【請求項6】

検査対象を撮影した検査画像を取得するステップと、
前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知するステップと、
を有する情報処理方法。

【請求項7】

検査対象を撮影した検査画像を取得するステップと、
前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知するステップと、
を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

ガス等の流体を可視化するための技術として、温度変動の分布を計測して時系列に表示することによって、計測対象の気流の流れを可視化することが考えられている。例えば、特許文献１には、赤外線カメラで所定時間撮影した流体の温度画像データを取得し、温度画像データから一定期間の温度データを一定の解析ステップずつ時間方向にずらして切り出した部分温度データを作成し、切り出した部分温度データ毎に周波数解析（フーリエ変換処理）を行い、一定期間毎の温度変動分布を検出し、温度変動の分布を時系列的に表示することによって、流体の流れを可視化する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－５２０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、赤外線カメラを固定設置し、ガスの背景が例えば壁等の均一なものであることが前提となっている。一方で、石油化学プラント、パイプライン、貯留サイト等でガスの漏洩を検知および可視化する場合、ガスの背景の揺らぎにより、ガス漏洩の誤検知が生じる可能性がある。背景の揺らぎとして、例えば、日照、雲、風、砂塵、気温による揺らぎ（カゲロウ）等が考えられる。これらの挙動は瞬間的にはランダム性の強い非定常現象であり、従来の技術のような時系列的な周波数解析だけでは、ガスの気流と背景の揺らぎとを切り分けることが難しい可能性がある。

【0005】

本開示の目的は、ガスの存在を精度よく検知することができる情報処理装置、情報処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様によれば、情報処理装置は、検査対象を撮影した検査画像を取得する取得部と、前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知する検知部と、を備える。

【0007】

本開示の一態様によれば、情報処理方法は、検査対象を撮影した検査画像を取得するステップと、前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知するステップと、を有する。

【0008】

本開示の一態様によれば、プログラムは、検査対象を撮影した検査画像を取得するステップと、前記検査画像の時間的および空間的な変化率を入力パラメータとし、前記検査画像にガスが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、前記検査対象の周辺におけるガスの存在を検知するステップと、を情報処理装置に実行させる。

【発明の効果】

【0009】

上記態様によれば、ガスの存在を精度よく検知することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る情報処理システムの全体構成を示す概略図である。

【図2】一実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図3】一実施形態に係る予測モデルの学習処理の一例を示すフローチャートである。

【図4】一実施形態に係るガス検知処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

（情報処理システムの全体構成）
以下、図面を参照しながら実施形態について詳細に説明する。
図１は、一実施形態に係る情報処理システムの全体構成を示す概略図である。
情報処理システム１は、ガス配管９の周辺においてガスＧ（ガスＧの噴霧Ｆ）の存在（漏洩）を検知するためのシステムである。ガス配管９は、ガス利用サイトなどに設置され、内部にガスＧを流通させるための配管である。ガス配管９は、本実施形態に係る検査対象の一例である。他の実施形態では、例えばガスＧの貯蔵タンクなどを検査対象としてもよい。

【0012】

図１に示すように、情報処理システム１は、情報処理装置１０と、移動体２０と、カメラ３０とを備える。

【0013】

移動体２０は、例えばドローンなどの無人機であり、予め設定された監視経路に従って、または、操作者の操作指示に従って、ガス配管９の設置エリア内を移動する。

【0014】

カメラ３０は、移動体２０に搭載され、ガス配管９を撮影する。カメラ３０は、例えばガスＧのガス吸収波長（特定波長）を検知可能な赤外線カメラである。また、カメラ３０は、移動体２０およびガス配管９の位置関係に応じて撮影範囲Ｒの向き（撮影方向）を変更することにより、ガス配管９の上面、側面などの各部位を撮影可能である。

【0015】

移動体２０が設置エリア内を移動中に、カメラ３０はガス配管９を常時撮影する。また、移動体２０は、カメラ３０が撮影した画像（動画）を情報処理装置１０に送信する。

【0016】

情報処理装置１０は、移動体２０と通信可能に接続される。情報処理装置１０は、ガスＧの漏洩がないときにカメラ３０が撮影した画像（以下、学習用画像とも記載する。）に基づいて、ガスＧの存在を検知するための予測モデルを学習する。予測モデルの詳細については後述する。また、情報処理装置１０は、実運用時にカメラ３０が撮影した画像（以下、検査画像とも記載する。）と予測モデルとに基づいて、ガス配管９の周辺にガスＧが存在するか（漏洩したか）を検知する。

【0017】

なお、図１には、情報処理装置１０がガス配管９の設置エリアから離れた監視拠点に設けられる例が示されているが、これに限られることはない。他の実施形態では、情報処理装置１０は移動体２０に内蔵されてもよい。

【0018】

（情報処理装置の機能構成）
図２は、一実施形態に係る情報処理装置の機能構成を示すブロック図である。
図２に示すように、情報処理装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とを備える。

【0019】

プロセッサ１１は、所定のプログラムに従って動作することにより、取得部１１０、画像処理部１１１、検知部１１２、学習部１１３としての機能を発揮する。

【0020】

取得部１１０は、ガス配管９を撮影した検査画像を取得する。

【0021】

画像処理部１１１は、検査画像に対し畳み込み演算を行ってテクスチャ画像を生成する。

【0022】

検知部１１２は、検査画像の輝度の時間的変化および空間的変化を入力パラメータとし、検査画像にガスＧが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、ガス配管９の周辺におけるガスＧの存在を検知する。

【0023】

学習部１１３は、ガス配管９の周辺にガスＧが存在しないときに撮影された学習用画像の輝度の時間的変化および空間的変化に基づいて予測モデルを学習する。

【0024】

メモリ１２は、プロセッサ１１の動作に必要なメモリ領域を有する。

【0025】

ストレージ１３は、いわゆる補助記憶装置であって、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。

【0026】

通信インタフェース１４は、外部装置（移動体２０）との間で各種情報の送受信を行うためのインタフェースである。

【0027】

なお、情報処理装置１０のプロセッサ１１が実行する所定のプログラムは、コンピュータ読み取り可能な記録媒体に記憶される。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。さらに、このプログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0028】

（予測モデルの学習処理について）
図３は、一実施形態に係る予測モデルの学習処理の一例を示すフローチャートである。
ここでは、図３を参照しながら、情報処理装置１０が予測モデルを学習する処理の流れについて説明する。

【0029】

まず、取得部１１０は、カメラ３０が撮影した学習用画像を取得する（ステップＳ１）。学習用画像は、ガス配管９の周辺にガスＧが存在しないときに撮影された画像である。

【0030】

画像処理部１１１は、学習用画像をグレースケールの配列として畳み込み演算を行い、テクスチャ画像を生成する（ステップＳ２）。畳み込み演算は、任意のサイズのフィルタを使って、学習用画像の任意のピクセル、およびその周囲を取り囲む隣接ピクセル（例えば、周囲の８ピクセル）を統合した粗大なピクセルを作成する手法である。粗大なピクセルの値として、任意のピクセルおよび隣接ピクセルの元々の値の和、平均、もしくは最大値等を採用する。この処理により、学習用画像のテクスチャを保持したまま配列の大きさを削減したテクスチャ画像を得ることができるので、以降の処理（ステップＳ３～Ｓ４）における演算速度を高速化することができる。なお、ここで「テクスチャ」は輝度などによる凹凸のような「特徴」を意味しており、「テクスチャ画像」は、凹凸を有する画像を意味している。また、ある一定範囲にあるピクセル群の変化を評価することができるため、元画像の個々のピクセルにおけるノイズによる揺らぎを排除することができる。なお、ここでのノイズは、噴流および背景の揺らぎではなく、例えば画像を通信する際に混入する周囲の電波に影響して生じるノイズ等を指す。

【0031】

次に、学習部１１３は、テクスチャ画像を用いて予測モデルの学習を行う。予測モデルは、テクスチャ画像の特徴量に基づいて、画像に映された物体がガスＧであるのか、背景（ガスＧ以外の物体）であるのかを予測し、各画素についてガスＧが存在するか否かを検知可能な情報を出力する。本実施形態では、学習部１１３は、ＬＳＴＭ（Long short-term memory）を用いて予測モデルの学習を行う。

【0032】

ＬＳＴＭは、ＲＮＮ（Recurrent neural network）の一つである。ＬＳＴＭは、既に蓄積したデータと、新しく入手したデータとがあり、予測モデルを更新する場合に、新しく入手したデータの特徴量をネットワークが独自に判断し、その見出した特徴量と近しいデータを蓄積したデータから参照して予測モデルを更新する。具体的には、ＬＳＴＭは、忘却ゲートと、入力ゲートと、出力ゲートとを有する。忘却ゲートは、蓄積したデータのうち、前回の出力（短期記憶）および新しく入手したデータと相関するデータを残し、相関しないデータを忘却するといった、蓄積したデータ（長期記憶）の取捨選択を行う。入力ゲートは、前回の出力（短期記憶）および新しく入手したデータを蓄積する。出力ゲートは、前回の出力（短期記憶）と、新しく入手したデータと、忘却ゲートで残されたデータ（長期記憶）とに基づく予測を出力する。したがって、ＬＳＴＭは、複数の周期的な特徴を持つサイクリックデータにおいても予測が可能であるというメリットがある。

【0033】

また、例えば、ある画像について、雲の影響で一部の領域の輝度が下がっており、またこの領域とは離れた別の領域にガスＧが映っていたとする。このとき、雲により輝度が下がった領域の特徴量は、ガスＧであるか否かの予測には不要な情報である。通常のＲＮＮでは、画像全体、すなわち、ガスＧと空間的につながりのない領域（雲により輝度が下がった領域）も含めて学習してしまうことから、予測精度が低下する可能性があった。また、通常のＬＳＴＭでは、時間的な変動を取り扱うことが一般的であるが、一方、ある画像について、雲の影響で領域の輝度が変化しる場合を想定すると、この領域にてガスＧが映っていない場合において、仮に雲の影響による領域の輝度の変化の周期がガスＧによる周期と同程度である場合、雲の影響とガスＧによる変動とを混同して予測してしまい、予測精度が低下する可能性があった。

【0034】

このため、本実施形態では、ＬＳＴＭに対して、時間的な変動のみならず、空間的な変動も特徴量として学習させることによって、空間的な特徴についても取捨選択を行わせ、ガスＧであるか否かを予測する精度を向上させる。空間的な変動は時間的な変動も兼ねているため、空間的な変動を学習に用いるデータ（入力パラメータ）の一つとして加える。

【0035】

具体的には、まず、学習部１１３は、学習用画像のテクスチャ画像から、学習データとなる入力パラメータを取得する（ステップＳ３）。入力パラメータは、学習用画像に含まれる背景の揺らぎの評価項目であり、本実施形態では、テクスチャ画像の時間的および空間的な変化率である。ここでは、輝度変化率を用いる例について説明する。

【0036】

時間的および空間的な輝度変化率とは、テクスチャ画像の配列のある要素（画素）について、時間（フレーム）に対する輝度の変化率と、この輝度の変化が各時間の各画像空間上で、どの範囲（距離）まで広がっているかを表す情報である。なお、この距離は二次元座標（ｘｙ座標）で表される距離であってもよいし、極座標で表される距離であってもよい。

【0037】

次に、学習部１１３は、ＬＳＴＭを用いて、入力パラメータを学習データとし、各画素についてガスＧが存在するか否かを検知可能な情報（例えば、ガスＧの存在確率）を出力する予測モデルを学習する（ステップＳ４）。

【0038】

上記したように、学習データの元となる学習用画像は、ガス配管９の周辺にガスＧが存在しないときに撮影された画像である。したがって、本実施形態に係る予測モデルは、時々刻々と風景が変化する一連の画像（動画）において、ガスＧ以外の背景の変化を学習して、この背景の揺らぎに関連するデータ（例えば、雲の影響による輝度値の変化や、輝度値が変化する画像空間上の範囲）を除去して予測を行う。予測モデルは、背景の揺らぎを除去した後に、ある画素について輝度の揺らぎがある場合には、この画素にガスＧが存在する確率が高いと予測する。

【0039】

なお、情報処理装置１０が十分な演算能力を有する場合は、ステップＳ２は省略してもよい。この場合、ステップＳ３～Ｓ４において、学習部１１３はオリジナルの学習用画像から入力パラメータを取得して、学習を行う。

【0040】

また、本実施形態では、入力パラメータ（変化率）として、学習用画像（テクスチャ画像）の時間的および空間的な輝度変化率を用いる例について説明したが、これに限られることはない。他の実施形態では、所定の時間間隔毎の（１）テクスチャ画像の要素の輝度変化率の平均と標準偏差、（２）テクスチャ画像の要素のコーナーの移動量の平均および標準偏差、（３）テクスチャ画像の輝度のヒストグラム形状（平均および標準偏差）の変化率を入力パラメータとして採用してもよい。所定の時間間隔は、（１）～（３）個々に設定する。要素のコーナーは、既知のコーナー検出処理により検出した特徴点である。例えば、（１）のパラメータにより、日照やカゲロウによる揺らぎを評価することができる。（２）のパラメータにより、風や砂塵の揺らぎを評価することができる。（３）のパラメータにより、雲の揺らぎを評価することができる。また、輝度変化率を求める２データの間隔は、例えば全要素の輝度変化率の平均値が最大となる間隔で決定する。

【0041】

さらに、入力パラメータとして時間毎の環境条件を追加してもよい。環境条件は、例えば、気温、湿度、天候、気圧等のデータである。また、入力パラメータとして上記した（１）～（３）を採用する場合には、（１）～（３）個々に設定した時間間隔に合わせて、環境条件の各データを取得する。このようにすることで、ＬＳＴＭの忘却ゲート付きニューラルネットワークによる任意の環境条件下における予測が可能な予測モデルを学習することができる。

【0042】

また、本実施形態では、学習部１１３が学習用画像（テクスチャ画像）から入力パラメータを取得する例について説明したが、これに限られることはない。他の実施形態では、他のコンピュータまたはエンジニア等が画像から入力パラメータとする特徴量を抽出し、これを予測モデルの学習データとして用いるようにしてもよい。

【0043】

（ガス検知処理について）
図４は、一実施形態に係るガス検知処理の一例を示すフローチャートである。
ここでは、図４を参照しながら、情報処理装置１０がガスＧの検知を行う処理の流れについて説明する。なお、本実施形態では、情報処理装置１０が、カメラ３０が撮影した検査画像を逐次取得して、リアルタイムでガスＧの検知を行うものとする。他の実施形態では、情報処理装置１０は、カメラ３０がガス配管９の一部または全部の撮影を行った後、まとめて取得した検査画像に基づいて、ガスＧの検知を行うようにしてもよい。

【0044】

まず、取得部１１０は、カメラ３０が撮影した検査画像を取得する（ステップＳ１１）。

【0045】

画像処理部１１１は、検査画像をグレースケールの配列として畳み込み演算を行い、テクスチャ画像を生成する（ステップＳ１２）。当該処理の内容は、図３のステップＳ２と同じである。この処理により、検査画像のテクスチャを保持したまま配列の大きさを削減したテクスチャ画像を得ることができるので、以降の処理（ステップＳ１３～Ｓ１４）における演算速度を高速化することができる。また、ある一定範囲にあるピクセル群の変化を評価することができるため、元画像の個々のピクセルにおけるノイズによる揺らぎを排除することができる。

【0046】

次に、検知部１１２は、テクスチャ画像と、学習済みの予測モデルとに基づいて、ガスＧの検知を行う。具体的には、まず、検知部１１２は、検査画像のテクスチャ画像から、予測モデルに入力する入力パラメータを取得する（ステップＳ１３）。入力パラメータは、テクスチャ画像の時間的および空間的な輝度変化率である。

【0047】

また、検知部１１２は、予測モデルに入力パラメータを入力し、各画素のガスＧの存在確率を出力として得る。検知部１１２は、ガスＧの存在確率が所定の閾値を超える場合に、この画素にガスＧが存在することを検知する（ステップＳ１４）。

【0048】

情報処理装置１０は、移動体２０（カメラ３０）から検査画像を取得する度に、図４の一連の処理を実行し、ガス配管９からのガスＧの漏洩の有無を監視する。

【0049】

なお、情報処理装置１０が十分な演算能力を有する場合は、ステップＳ１２は省略してもよい。この場合、ステップＳ１３～Ｓ１４において、検知部１１２はオリジナルの検査画像から入力パラメータを取得して、ガスＧの検知を行う。

【0050】

さらに、入力パラメータとして時間毎の環境条件を追加してもよい。環境条件は、例えば、気温、湿度、天候、気圧等のデータである。また、入力パラメータとして上記した（１）～（３）を採用する場合には、（１）～（３）個々に設定した時間間隔に合わせて、環境条件の各データを取得する。このようにすることで、ＬＳＴＭの忘却ゲート付きニューラルネットワークによる任意の環境条件下において、ガスＧの有無を検知することができる。

【0051】

また、本実施形態では、検知部１１２が検査画像（テクスチャ画像）から入力パラメータを取得する例について説明したが、これに限られることはない。他の実施形態では、他のコンピュータまたはエンジニア等が画像から入力パラメータとする特徴量を抽出し、検知部１１２は他のコンピュータまたはエンジニアから指定された入力パラメータを使って、ガスＧを検知するようにしてもよい。

【0052】

また、本実施形態では、予測モデルが各画素のガスＧの存在の有無を予測する（存在確率を出力する）例について説明したが、これに限られることはない。他の実施形態では、予測モデルは、一定期間に取得された画像（テクスチャ画像）の配列の要素毎に、所定の時間間隔における（１）輝度変化率、（２）コーナーの移動量の変化率、（３）テクスチャ画像の輝度のヒストグラム形状の変化率を出力してもよい。所定の時間間隔は、（１）～（３）個々に設定する。この場合、図４のステップＳ１４において、検知部１１２は、例えば、ガスＧが存在しないときのデータから求めた輝度変化率の標準偏差の±３倍（±３σ）を超える場合に、この要素にガスＧが存在することを検知する。また、検知部１１２は、さらにガスＧを検知した要素に対応する画素に対して背景差分法を適用することで、噴霧Ｆ部分の動きのみを抽出してもよい。

【0053】

（作用、効果）
以上のように、本実施形態に係る情報処理装置１０は、ガス配管９を撮影した検査画像を取得する取得部１１０と、検査画像の時間的および空間的な輝度変化率を入力パラメータとし、検査画像にガスＧが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、ガス配管９の周辺におけるガスＧの存在を検知する検知部１１２と、を備える。

【0054】

このようにすることで、情報処理装置１０は、検査画像におけるガスＧ以外の背景の時間的な変化のみならず、空間的な変化も考慮して、検査画像の各部に映る物体がガスＧであるのか、ガスＧ以外の背景であるのかを区別することができる。これにより、情報処理装置１０は、ガス配管９の周辺におけるガスＧの存在（漏洩）を精度よく検知することができる。

【0055】

また、予測モデルは、ＬＳＴＭを用いて学習された機械学習モデルである。

【0056】

評価項目（本実施形態では、輝度変化率）は、季節変動、気候変動などによって長期的な周波数があるが、通常の機械学習法（例えば、ＲＮＮ）では、このような長期的な周波数を学習することができない。これに対し、本実施形態に係る予測モデルは、ＬＳＴＭの忘却ゲートにより、蓄積した過去のデータのうち評価項目と傾向が類似したデータを保持して学習を行うことができる。したがって、情報処理装置１０は、このような予測モデルを用いることにより、季節変動や気候変動などの影響を受けることなく、精度よくガスＧを検知することができる。

【0057】

また、入力パラメータは、輝度変化率の平均および標準偏差と、検査画像に含まれる要素のコーナーの移動量の平均および標準偏差と、検査画像の輝度のヒストグラム形状の変化率とを含む。

【0058】

このようにすることで、情報処理装置１０は、日照、カゲロウ、風、砂塵、雲等の様々な要因による輝度の変化と、ガスＧの存在による輝度の変化とを区別することが可能となる。

【0059】

また、情報処理装置１０は、検査画像に対し畳み込み演算を行って、テクスチャ画像を生成する画像処理部１１１をさらに備える。検知部１１２は、テクスチャ画像から入力パラメータを取得する。

【0060】

このようにすることで、情報処理装置１０は、検査画像のテクスチャを保持したまま配列の大きさを削減したテクスチャ画像を得ることができるので、検知部１１２における演算速度を高速化することができる。また、ある一定範囲にあるピクセル群の変化を評価することができるため、元画像の個々のピクセルにおけるノイズによる揺らぎを排除することができる。これにより、ガスＧの検知精度を向上させることができる。

【0061】

以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0062】

上述した実施形態に係る情報処理装置１０は、単独のコンピュータによって構成されるものであってもよいし、情報処理装置１０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで情報処理装置１０として機能するものであってもよい。このとき、情報処理装置１０を構成する一部のコンピュータが移動体２０の内部に搭載され、他のコンピュータが移動体２０の外部に設けられてもよい。

【0063】

また、上述した実施形態では、カメラ３０が移動体２０に搭載される例について説明したが、これに限られない。例えば、他の実施形態では、カメラ３０はガス配管９の設置エリア内に所定間隔毎に設置された固定カメラであってもよい。

【0064】

＜付記＞
上述の実施形態に記載の情報処理装置、情報処理方法、およびプログラムは、例えば以下のように把握される。

【0065】

（１）第１の態様によれば、情報処理装置１０は、検査対象９を撮影した検査画像を取得する取得部１１０と、検査画像の時間的および空間的な変化率を入力パラメータとし、検査画像にガスＧが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、検査対象９の周辺におけるガスＧの存在を検知する検知部１１２と、を備える。

【0066】

このようにすることで、情報処理装置１０は、検査画像におけるガスＧ以外の背景の時間的な変化のみならず、空間的な変化も考慮して、検査画像の各部に映る物体がガスＧであるのか、ガスＧ以外の背景であるのかを区別することができる。これにより、情報処理装置１０は、ガス配管９の周辺におけるガスＧの存在（漏洩）を精度よく検知することができる。

【0067】

（２）第２の態様によれば、第１の態様に係る情報処理装置１０において、変化率は、検査画像における輝度変化率である。

【0068】

（３）第３の態様によれば、第１または第２の態様に係る情報処理装置１０において、予測モデルは、ＬＳＴＭ（Long short-term memory）を用いて学習された機械学習モデルである。

【0069】

情報処理装置１０は、このような予測モデルを用いることにより、季節変動や気候変動などの影響を受けることなく、精度よくガスＧを検知することができる。

【0070】

（４）第４の態様によれば、第１から第３の何れか一態様に係る情報処理装置１０において、入力パラメータは、輝度変化率の平均および標準偏差と、検査画像に含まれる要素のコーナーの移動量の平均および標準偏差と、検査画像の輝度のヒストグラム形状の変化率とを含む。

【0071】

このようにすることで、情報処理装置１０は、日照、カゲロウ、風、砂塵、雲等の様々な要因による輝度の変化と、ガスＧの存在による輝度の変化とを区別することが可能となる。

【0072】

（５）第５の態様によれば、第１から第４の何れか一項に記載の情報処理装置１０は、検査画像に対し畳み込み演算を行って、テクスチャ画像を生成する画像処理部１１１をさらに備え、検知部１１２は、テクスチャ画像から入力パラメータを取得する。

【0073】

このようにすることで、情報処理装置１０は、検査画像のテクスチャを保持したまま配列の大きさを削減したテクスチャ画像を得ることができるので、検知部１１２における演算速度を高速化することができる。また、ある一定範囲にあるピクセル群の変化を評価することができるため、元画像の個々のピクセルにおけるノイズによる揺らぎを排除することができる。これにより、ガスＧの検知精度を向上させることができる。

【0074】

（６）第６の態様によれば、情報処理方法は、検査対象９を撮影した検査画像を取得するステップと、検査画像の時間的および空間的な変化率を入力パラメータとし、検査画像にガスＧが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、検査対象９の周辺におけるガスＧの存在を検知するステップと、を有する。

【0075】

（７）第７の態様によれば、プログラムは、検査対象９を撮影した検査画像を取得するステップと、検査画像の時間的および空間的な変化率を入力パラメータとし、検査画像にガスＧが存在するか否かを検知可能な情報を出力パラメータとする予測モデルを用いて、検査対象９の周辺におけるガスＧの存在を検知するステップと、を情報処理装置１０に実行させる。

【符号の説明】

【0076】

１ 情報処理システム
９ ガス配管（検査対象）
１０ 情報処理装置
１１ プロセッサ
１１０ 取得部
１１１ 画像処理部
１１２ 検知部
１１３ 学習部
１２ メモリ
１３ ストレージ
１４ 通信インタフェース
２０ 移動体
３０ カメラ

【図1】

【図2】

【図3】

【図4】