▶ サウジ アラビアン オイル カンパニーの特許一覧 ▶ アビタス・システムズ・インコーポレイテッドの特許一覧
特許7183425保温材下腐食を検出するための配備条件を最適化するための機械学習システムおよびデータ融合
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】保温材下腐食を検出するための配備条件を最適化するための機械学習システムおよびデータ融合
(51)【国際特許分類】
G01N 17/00 20060101AFI20221128BHJP
G01N 25/72 20060101ALI20221128BHJP
G06N 3/04 20060101ALI20221128BHJP
G06N 20/00 20190101ALI20221128BHJP
G06T 7/00 20170101ALI20221128BHJP
【ＦＩ】
G01N17/00
G01N25/72 D
G06N3/04 145
G06N20/00
G06T7/00 350C
【請求項の数】
33
(21)【出願番号】P 2021536662
(86)(22)【出願日】2019-08-30
(65)【公表番号】
(43)【公表日】2022-01-06
(86)【国際出願番号】 US2019049154
(87)【国際公開番号】W WO2020047469
(87)【国際公開日】2020-03-05
【審査請求日】2022-08-30
(31)【優先権主張番号】16/254,831
(32)【優先日】2019-01-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/117,937
(32)【優先日】2018-08-30
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】599130449
【氏名又は名称】サウジ アラビアン オイル カンパニー
(73)【特許権者】
【識別番号】521084932
【氏名又は名称】アビタス・システムズ・インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アリ・アル・シェフリ
(72)【発明者】
【氏名】セル・ナム・リム
(72)【発明者】
【氏名】アイマン・アメール
(72)【発明者】
【氏名】ムスタファ・ウズンバス
(72)【発明者】
【氏名】アフマド・アルダバッグ
(72)【発明者】
【氏名】ムハンマド・アーバブタイン
(72)【発明者】
【氏名】ヴィンセント・カニンガム
(72)【発明者】
【氏名】ジョン・ブート
(72)【発明者】
【氏名】ゴダイン・コク・ヤン・チャン
【審査官】外川 敬之
(56)【参考文献】
【文献】米国特許出願公開第２０１０／０１０７７６７（ＵＳ，Ａ１）
【文献】特開２０１８－０２５４９７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ １７／００
Ｇ０１Ｎ ２５／７２
(57)【特許請求の範囲】
【請求項1】
機械学習およびデータ融合を使用して、インフラストラクチャ資産における保温材下腐食（ＣＵＩ）を予測および検出するシステムであって、前記資産の熱画像をキャプチャするように配置された少なくとも１つの赤外線カメラと、
前記少なくとも１つの赤外線カメラを機械的に支持し、それに電気的に結合された少なくとも１つのスマートマウントであって、前記少なくとも１つのスマートマウントが、
無線通信モジュール、
前記少なくとも１つのカメラから受信した熱画像データを記憶するように適合されたメモリストレージ、
前記少なくとも１つの赤外線カメラを再充電するように動作可能なバッテリモジュール、
周囲条件データを取得するように適合された周囲センサモジュール、を含む少なくとも１つのスマートマウントと、
前記少なくとも１つのスマートマウントに通信可能に結合された無線通信モジュールを有する少なくとも１つのコンピューティングデバイスであって、熱画像データ、周囲条件データ、およびデータ融合を提供するプローブセンサからのＣＵＩ関連データを入力として取る機械学習アルゴリズムを実行するための命令で構成され、前記資産に関するＣＵＩ予測を出力するように適合された、少なくとも１つのコンピューティングデバイスと、
前記熱画像データ、周囲条件データ、および前記プローブセンサからのＣＵＩ関連データ、ならびに前記コンピューティングデバイスによって出力された前記予測を受信し、かつ記憶するように適合されたクラウドコンピューティングプラットフォームであって、前記コンピューティングデバイスに記憶された前記機械学習アルゴリズムを更新するための検証データを受信するように適合された、クラウドコンピューティングプラットフォームと、を含む、システム。
【請求項2】
前記少なくとも１つのスマートマウントは、前記赤外線カメラを支持するための固定具を含み、前記固定具は、前記赤外線カメラを平行移動および傾斜させることができるように回転可能および拡張可能である、請求項１に記載のシステム。
【請求項3】
前記資産は識別タグを含み、少なくとも１つのスマートマウントは、前記資産上の前記識別タグをスキャンするように動作可能な標準的なカメラをさらに含む、請求項１に記載のシステム。
【請求項4】
前記周囲センサモジュールは、温度、湿度、および空気圧を検出するように動作可能である、請求項１に記載のシステム。
【請求項5】
前記構造プローブセンサは、磁気センサを含む、請求項１に記載のシステム。
【請求項6】
前記少なくとも１つのスマートマウントに通信可能に結合され、構成および制御コマンドを前記少なくとも１つのスマートマウントに送信するように適合された制御ステーションをさらに含む、請求項１に記載のシステム。
【請求項7】
前記少なくとも１つのコンピューティングデバイスによって採用される前記機械学習アルゴリズムは、深層リカレントニューラルネットワークを含む、請求項１に記載のシステム。
【請求項8】
前記深層リカレントニューラルネットワークは、長短期記憶（ＬＳＴＭ）ネットワークである、請求項７に記載のシステム。
【請求項9】
前記少なくとも１つのコンピューティングデバイスによって採用される前記機械学習アルゴリズムは、畳み込みニューラルネットワークをさらに含む、請求項１に記載のシステム。
【請求項10】
前記少なくとも１つのコンピューティングデバイスは、前記少なくとも１つのスマートマウントから受信した前記データに対してノイズ低減を実行するように構成される、請求項１に記載のシステム。
【請求項11】
前記少なくとも１つのマウントの各々が、それらのそれぞれの通信モジュールを用いて相互に通信することができる、請求項１に記載のシステム。
【請求項12】
前記少なくとも１つのスマートマウントは、三脚として実装される、請求項１に記載のシステム。
【請求項13】
機械学習およびデータ融合を使用して、インフラストラクチャ資産における保温材下腐食（ＣＵＩ）を予測および検出するシステムであって、
前記資産の熱画像をキャプチャするように配置された少なくとも１つの赤外線カメラと、
前記少なくとも１つの赤外線カメラを機械的に支持し、それに電気的に結合され、前記資産に対して調整可能な位置を有する少なくとも１つのスマートマウントであって、前記少なくとも１つのスマートマウントが、
通信モジュール、
前記少なくとも１つのカメラから受信した熱画像データを記憶するように適合されたメモリストレージ、
前記少なくとも１つの赤外線カメラを再充電するように動作可能なバッテリモジュール、
周囲条件データを取得するように適合された周囲センサモジュール、および
前記資産からＣＵＩ関連データを取得するように適合された少なくとも１つの追加センサ、を含む少なくとも１つのスマートマウントと、
プロセッサを有する少なくとも１つのコンピューティングデバイスであって、前記コンピューティングデバイスが、前記プロセッサ内で機械学習アルゴリズムを実行するための命令で構成されており、前記プロセッサが、前記少なくとも１つのスマートマウントの前記通信モジュールまたはメモリストレージのいずれかから、ａ）前記資産の熱画像、ｂ）前記周囲条件データ、ｃ）データ融合を提供する前記少なくとも１つの追加のセンサからのＣＵＩ関連データ、およびｄ）従来のＣＵＩ試験から得られた結果データ、を含む入力を受信し、前記資産に関するＣＵＩ予測を出力する、少なくとも１つのコンピューティングデバイスと、
経時的に前記少なくとも１つのコンピューティングデバイスから受信した蓄積された入力データに基づいて、前記機械学習アルゴリズムをトレーニングするように適合された機械学習プラットフォームと、を含む、システム。
【請求項14】
前記少なくとも１つのコンピューティングデバイスが、現在の配備条件下での前記機械学習アルゴリズムの性能が閾値レベルを満たしているかどうかを判定することにより、現在の赤外線画像、周囲センサデータ、およびＣＵＩ関連データを使用して、前記機械学習アルゴリズムを実行することによって、前記少なくとも１つの赤外線カメラおよび少なくとも１つのスマートマウントの現在の配備条件を試験するように適合されている、請求項１３に記載のシステム。
【請求項15】
前記機械学習アルゴリズム条件の前記性能は、腐食予測精度によって測定される、請求項１４に記載のシステム。
【請求項16】
前記現在の配備条件の前記性能は、配備および試験の費用によって測定される、請求項１４に記載のシステム。
【請求項17】
前記現在の配備条件の前記性能は、配備および試験の速度によって測定される、請求項１４に記載の方法。
【請求項18】
前記少なくとも１つのコンピューティングデバイスによって試験される前記配備条件は、前記少なくとも１つの赤外線カメラおよび少なくとも１つのスマートマウントが配備される時期を含む、請求項１４に記載の方法。
【請求項19】
前記少なくとも１つのコンピューティングデバイスによって試験される前記配備条件は、前記少なくとも１つの赤外線カメラおよび少なくとも１つのスマートマウントが配備される時刻を含む、請求項１４に記載の方法。
【請求項20】
前記少なくとも１つのコンピューティングデバイスによって試験される前記配備条件は、前記少なくとも１つのカメラの位置、向き、および画像キャプチャ持続時間を含む、請求項１４に記載の方法。
【請求項21】
前記少なくとも１つのコンピューティングデバイスによって試験される前記配備条件は、前記少なくとも１つのカメラの期間ごとにキャプチャされる画像の位置、種類、および数を含む、請求項１４に記載の方法。
【請求項22】
機械学習およびデータ融合を使用して、インフラストラクチャ資産における保温材下腐食（ＣＵＩ）を予測および検出するシステムであって、
前記資産の熱画像をキャプチャするように配置された少なくとも１つの赤外線カメラと、
前記少なくとも１つの赤外線カメラを機械的に支持し、それに電気的に結合された少なくとも１つのマウントであって、前記少なくとも１つのスマートマウントが、
無線通信モジュール、
前記少なくとも１つのカメラから受信した熱画像データを記憶するように適合されたメモリストレージ、
前記資産からＣＵＩ関連データを取得するように適合された構造プローブセンサ、を含む少なくとも１つのスマートマウントと、
前記少なくとも１つのマウントに通信可能に結合された少なくとも１つのコンピューティングデバイスであって、熱画像データ、およびデータ融合を提供するプローブセンサからのＣＵＩ関連データを入力として取る機械学習アルゴリズムを実行するための命令で構成され、前記資産に関するＣＵＩ予測を出力するように適合された、少なくとも１つのコンピューティングデバイスと、
前記熱画像データ、および前記プローブセンサからのＣＵＩ関連データ、ならびに前記コンピューティングデバイスによって出力された前記予測を受信し、かつ記憶するように適合されたクラウドコンピューティングプラットフォームであって、前記コンピューティングデバイスに記憶された前記機械学習アルゴリズムを更新するための検証データを受信するように適合された、クラウドコンピューティングプラットフォームと、を含む、システム。
【請求項23】
前記少なくとも１つのマウントは、前記赤外線カメラを支持するための固定具を含み、前記固定具は、前記赤外線カメラを平行移動および傾斜させることができるように回転可能および拡張可能である、請求項２２に記載のシステム。
【請求項24】
前記資産は識別タグを含み、少なくとも１つのマウントは、前記資産上の前記識別タグをスキャンするように動作可能な標準的なカメラをさらに含む、請求項２２に記載のシステム。
【請求項25】
前記少なくとも１つのマウントは、周囲センサモジュールをさらに含む、請求項２２に記載のシステム。
【請求項26】
前記周囲センサモジュールは、温度、湿度、および空気圧を検出するように動作可能である、請求項２５に記載のシステム。
【請求項27】
前記構造プローブセンサは、磁気センサを含む、請求項２２に記載のシステム。
【請求項28】
前記少なくとも１つのマウントに通信可能に結合され、構成および制御コマンドを前記少なくとも１つのマウントに送信するように適合された制御ステーションをさらに含む、請求項２２に記載のシステム。
【請求項29】
前記少なくとも１つのコンピューティングデバイスによって採用される前記機械学習アルゴリズムは、深層リカレントニューラルネットワークを含む、請求項２２に記載のシステム。
【請求項30】
前記深層リカレントニューラルネットワークは、長短期記憶（ＬＳＴＭ）ネットワークである、請求項２９に記載のシステム。
【請求項31】
前記少なくとも１つのコンピューティングデバイスによって採用される前記機械学習アルゴリズムは、畳み込みニューラルネットワークをさらに含む、請求項２２に記載のシステム。
【請求項32】
前記少なくとも１つのコンピューティングデバイスは、前記少なくとも１つのマウントから受信した前記データに対してノイズ低減を実行するように構成される、請求項２２に記載のシステム。
【請求項33】
前記少なくとも１つのマウントの各々が、それらのそれぞれの通信モジュールを用いて相互に通信することができる、請求項２２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査技術に関するものであり、より具体的には、保温材下腐食（ＣＵＩ）の予測および検出のためのハードウェアおよびソフトウェアベースのシステムに関するものである。
【背景技術】
【0002】
保温材下腐食（ＣＵＩ）は、金属パイプなどの保温構造物が保温材の下の金属表面に腐食が発生した状態のことである。腐食は、通常、構造物全体を覆う保温材被覆により容易には観察することができないため、ＣＵＩの検出は困難である。ＣＵＩの通常の原因は、保温材に浸透する水分の蓄積である。保温材と金属表面との間の環状の空間に水がたまり、表面腐食を引き起こす可能性がある。腐食を誘起し得る水源として、雨、水漏れ、および結露、冷却水塔のドリフト、散水設備、蒸気トレースの漏れが挙げられる。腐食は通常、局所的に始まるが、特に熱による加熱および／または冷却サイクルが繰り返される、または塩化物や酸などの汚染物質が水媒体または周囲の空気に含まれている場合には、高い速度で進行する可能性がある。
【0003】
ＣＵＩが検出されない場合、その結果は、プロセスユニットまたは施設全体の閉鎖につながる可能性があり、壊滅的な事故につながる可能性がある。隠れた腐食メカニズムであるため、保温材が除去されるか、または赤外線サーモグラフィなどの高度なＮＤＴ（非破壊検査）技術を使用して保温材の下の金属の状態を確認するまで、損傷は気付かれないままである。保温材の除去は、時間および費用がかかるプロセスであり得るが、ＮＤＴ技術の精度は、検出プロセスにおいて誤検出（腐食の不正確な検出）と検出漏れ（腐食の不正確な非検出）を引き起こす変数（例えば、幾何学的、環境、材料関連）の数が多いために、不十分な場合がある。さらに、多くの施設では、アクセスが困難なパイプの高架ネットワークがあり、目視検査のための足場が必要である。
【0004】
これらの課題から、資産の局所的な目視検査では、ＣＵＩの検出に確実な効果的ではなく、資産の状況を反映していないことがわかってきた。ＣＵＩの予測リスク評価には、関連する技術的なギャップがある。したがって、ＣＵＩ損傷のレベルを判定し、適切なメンテナンススケジュールを作成し、この問題によって課せられる負担のかかる費用を削減するために、検出とリスク評価ツールの改善が急務となっている。
【0005】
本明細書でなされた開示が提示するのは、これらおよび他の考察に関するものである。
【発明の概要】
【課題を解決するための手段】
【0006】
本発明の実施形態は、機械学習およびデータ融合を使用して、インフラストラクチャ資産における保温材下腐食（ＣＵＩ）を予測および検出するシステムを提供する。このシステムは、資産の熱画像をキャプチャするように配置された少なくとも１つの赤外線カメラと、少なくとも１つの赤外線カメラに機械的に支持し、それに電気的に結合され、資産に対して調整可能な位置を有する少なくとも１つのスマートマウントと、を含む。少なくとも１つのスマートマウントは、通信モジュールと、少なくとも１つのカメラから受信した熱画像データを記憶するように適合されたメモリストレージと、少なくとも１つの赤外線カメラを再充電するように動作可能なバッテリモジュールと、周囲条件データを取得するように適合された周囲センサモジュールと、資産からＣＵＩ関連データを取得するように適合された少なくとも１つの追加センサと、を含む。システムはさらに、プロセッサを有する少なくとも１つのコンピューティングデバイスを含み、プロセッサが、少なくとも１つのスマートマウントの通信モジュールまたはメモリストレージのいずれかからの入力として、ａ）資産の熱画像と、ｂ）周囲条件データと、ｃ）データ融合を提供するプローブセンサからのＣＵＩ関連データと、ｄ）従来のＣＵＩ試験から得られた結果データと、を取る機械学習アルゴリズムを実行するための命令で構成されており、資産に関するＣＵＩ予測を出力するように適合される。機械学習プラットフォームは、経時的に少なくとも１つのコンピューティングデバイスから受信した蓄積された入力データに基づいて、機械学習アルゴリズムをトレーニングするように適合される。
【0007】
少なくとも１つのコンピューティングデバイスは、現在の配備条件下での機械学習アルゴリズムの性能が閾値レベルを満たしているかどうかを判定することにより、現在の赤外線画像、周囲センサデータ、およびＣＵＩ関連データを使用して、機械学習アルゴリズムを実行することによって、少なくとも１つの赤外線カメラおよび少なくとも１つのスマートマウントの現在の配備条件を試験するように適合される。
【0008】
いくつかの実施形態では、機械学習アルゴリズム条件の性能は、腐食予測精度によって測定される。他の実施形態では、現在の配備条件の性能は、配備および試験の費用によって測定される。さらに別の実施形態では、現在の配備条件の性能は、配備および試験の速度によって測定される。
【0009】
少なくとも１つのコンピューティングデバイスによって試験される配備条件には、少なくとも１つの赤外線カメラおよび少なくとも１つのスマートマウントが配備される時期と、少なくとも１つの赤外線カメラおよび少なくとも１つの赤外線カメラが配備される時刻と、少なくとも１つのカメラの位置、向き、および画像キャプチャ持続時間と、少なくとも１つのカメラの期間ごとにキャプチャされる画像の位置、種類、および数と、が含まれ得る。
【0010】
本発明の実施形態は、インフラストラクチャ資産における保温材下腐食（ＣＵＩ）を予測および検出するためのシステムを提供する。システムは、資産の熱画像をキャプチャするように配置された少なくとも１つの赤外線カメラと、少なくとも１つの赤外線カメラを機械的に支持し、それに電気的に結合された少なくとも１つのスマートマウントと、を含み、少なくとも１つのスマートマウントが、無線通信モジュールと、少なくとも１つのカメラから受信した熱画像データを記憶するように適合されたメモリストレージと、少なくとも１つの赤外線カメラを再充電するように動作可能なバッテリモジュールと、周囲条件データを取得するように適合された周囲センサモジュールと、資産からＣＵＩ関連のデータを取得するように適合された構造プローブセンサと、を含む。システムはさらに、少なくとも１つのスマートマウントに通信可能に結合された無線通信モジュールを有する少なくとも１つのコンピューティングデバイスと、入力として熱画像データ、周囲条件データ、およびプローブセンサからのＣＵＩ関連データを入力として取る機械学習アルゴリズムを実行し、資産に関するＣＵＩ予測を出力するための命令で構成されるコンピューティングデバイスと、熱画像データ、周囲条件データ、およびプローブセンサからのＣＵＩ関連データ、ならびにコンピューティングデバイスによって出力された予測を受信し、かつ記憶するように適合されたクラウドコンピューティングプラットフォームと、を含み、クラウドコンピューティングプラットフォームは、コンピューティングデバイスに記憶された機械学習アルゴリズムを更新するための検証データを受信するように適合される。
【0011】
特定の実施形態では、少なくとも１つのスマートマウントは、赤外線カメラを支持するための固定具を含み、マウントは、赤外線カメラを平行移動および傾斜させることができるように回転可能および拡張可能である。
【0012】
特定の実装形態では、資産は識別タグを含み、少なくとも１つのスマートマウントは、資産上の識別タグをスキャンするように動作可能な標準的なカメラをさらに含む。
【0013】
特定の実装形態では、周囲センサモジュールは、温度、湿度、および空気圧を検出するように動作可能である。構造プローブセンサは、磁気測定センサを含むことができる。
【0014】
特定の実施形態では、システムは、少なくとも１つのスマートマウントに通信可能に結合され、構成および制御コマンドを少なくとも１つのスマートマウントに送信するように適合された制御ステーションをさらに含む。
【0015】
少なくとも１つのコンピューティングデバイスによって採用される機械学習アルゴリズムは、深層リカレントニューラルネットワークを含むことができ、いくつかの実装形態では、深層リカレントニューラルネットワークは、長短期記憶（ＬＳＴＭ）ネットワークである。少なくとも１つのコンピューティングデバイスによって採用される機械学習アルゴリズムは、畳み込みニューラルネットワークをさらに含むことができる。
【0016】
いくつかの実装形態では、少なくとも１つのコンピューティングデバイスは、少なくとも１つのスマートマウントから受信したデータに対してノイズ低減を実行するように構成される。システムは、少なくとも１つのマウントの各々が、それらのそれぞれの通信モジュールを用いて相互に通信することができるマルチノード能力を有することができる。
【0017】
本発明の実施形態はまた、保温材下腐食（ＣＵＩ）の予測および検出を可能にするために、インフラストラクチャ資産からデータを取得する方法を提供する。この方法は、経時的に資産の熱画像データをキャプチャすることと、追加の感知モードを使用して資産を探査して、経時的に追加のプローブを取得することと、周囲条件を測定して、経時的に周囲条件データを取得することと、熱画像、追加のプローブ、および周囲条件データをコンピュータ可読ファイルに結合することと、熱画像、追加のプローブ、および周囲条件データを使用するアルゴリズムを使用するコンピューティングデバイスに、ファイルを送信して、資産にＣＵＩが含まれているかどうかを予測することと、を含む。
【0018】
この方法の特定の実施形態は、識別タグについて資産をスキャンして、タグ写真データを取得することと、タグ写真データをコンピュータ可読ファイルに含めることと、をさらに含む。追加の感知モードは、例えば、磁気測定センサを含むことができる。周囲条件データには、温度、湿度、および気圧の測定値を含めることができる。
【0019】
本発明の実施形態はまた、クラウドコンピューティングプラットフォームを使用して、インフラストラクチャ資産における保温材下腐食（ＣＵＩ）を予測する方法を提供する。この方法は、資産の熱画像、資産の追加のセンサプローブデータ、および資産の周囲条件を含むデータのストリームを受信することと、クラウドコンピューティングプラットフォームから更新されたときに受信したデータと重みの受信したストリームを使用して、１つ以上の機械学習アルゴリズムをリアルタイムで実行し、資産にＣＵＩが含まれているかどうかに関する予測を生成することと、受信したデータのストリームと予測を、クラウドコンピューティングプラットフォームに送信することと、を含む。
【0020】
この方法のいくつかの実施形態は、受信データをノイズについてフィルタリングすることをさらに含む。
【0021】
この方法はまた、熱動的モデルを使用して、資産の周囲条件およびパラメータに基づいて、合成熱画像データを生成することを含んでもよい。クラウドコンピューティングプラットフォームにおいて、合成熱画像データが、資産の熱画像、資産の追加のセンサプローブデータ、および資産の周囲条件を含むことのストリームと組み合わされて、機械学習モデルをトレーニングするためのデータトレーニングセットを作成することができる。いくつかの実施形態では、深層リカレントニューラルネットワークを含む機械学習モデル。この方法の実装形態には、長短記憶ネットワーク（ＬＳＴＭ）を含めることができる。機械学習モデルには、畳み込みニューラルネットワークをさらに含めることができる。
【0022】
本発明の実施形態はまた、保温材下腐食（ＣＵＩ）の予測および検出を可能にするように、インフラストラクチャ資産からデータを取得するための少なくとも１つの調査キットの配備条件を最適化する方法を提供する。この方法は、熱画像、少なくとも１つの調査キットによって取得された経時的に資産から取得されたセンサデータ、および少なくとも１つの調査キットに関する配備条件情報を受信することと、資産に対応する従来のＣＵＩ検出方法の結果データを経時的に取得することと、キャプチャされた熱画像および他のセンサデータ、ならびに資産から取得した結果データを使用して、機械学習アルゴリズムをトレーニングすることと、少なくとも１つの調査キットの配備条件を試験すること、とを含む。配備条件を試験することには、周囲条件データおよび現在の配備条件を含む現在の試験条件を、少なくとも１つの調査キットにおいて受信して、経時的に周囲条件データを取得することと、少なくとも１つの調査キットの周囲条件データと現在の配備条件を使用して、機械学習アルゴリズムを実行することと、試験条件に基づく機械学習アルゴリズムの性能が、事前設定された性能閾値を超えているかどうかを判定することと、を含む。機械学習アルゴリズムの性能が閾値を超えている場合、試験条件を使用して配備条件を最適化する。対照的に、機械学習アルゴリズムの性能が閾値を超えない場合、性能が閾値を超えるか、設定された回数の繰り返しが実行されるまで、機械学習アルゴリズムの実行を反復的に繰り返す。
【0023】
いくつかの実施形態では、この方法は、現在の試験条件を使用して、腐食予測精度に基づいて、機械学習アルゴリズムの性能を測定することをさらに含む。他の実施形態では、この方法は、配備および試験の費用に基づいて、機械学習アルゴリズムの性能を測定することをさらに含む。さらに他の実施形態では、この方法は、配備および試験の速度に基づいて、機械学習アルゴリズムの性能を測定することを含む。
【0024】
現在の配備条件には、少なくとも１つの調査キットが配備される時期と、少なくとも１つの調査キットが配備される時刻と、少なくとも１つの調査キットの位置、向き、および画像キャプチャ持続時間と、少なくとも１つの調査キットの期間ごとにキャプチャされる画像の位置、種類、および数と、が含まれ得る。
【0025】
これらおよび他の態様、特徴、および利点は、本発明の特定の実施形態の以下の説明、ならびに添付の図面および特許請求の範囲から理解され得る。
【図面の簡単な説明】
【0026】
【図1】本発明の実施形態による、ＣＵＩを予測および検出するためのクラウドベースの学習システムの概略図である。
【図2】ＣＵＩの構造物を監視するために４つの赤外線カメラと、対応するスマートマウントと、コンピューティングデバイスとが配備されているクラウドベースのシステムの実施形態の概略図である。
【図3】本発明の例示的な実施形態による、スマートマウントの機能要素を示すブロック図である。
【図4】本発明の例示的な実施形態による、合成熱画像データ構造を生成するための方法を示すブロックフロー図である。
【図5A】本発明の一実施形態による、調査キットを使用して実行されるＣＵＩ予測のためのデータを取得するための方法のフローチャートである。
【図5B】本発明の一実施形態による、リアルタイムＣＵＩ予測の方法のフローチャートである。
【図6】本発明の実施形態による、ＣＵＩ検出のための調査キットを配備するための配備条件を最適化するために機械学習システムを使用する方法のフローチャートである。
【図7A】本発明の実施形態による、腐食検出のための時期を最適化するためのフローチャートである。
【図7B】本発明の一実施形態による、腐食検出の時刻を最適化するためのフローチャートである。
【図7C】本発明の実施形態による、腐食検出のための調査キットの位置、向き、および画像キャプチャ持続時間を最適化するためのフローチャートである。
【図7D】本発明の一実施形態による、腐食検出のための調査キットの位置、カメラの種類、およびキャプチャされた画像の数を最適化するためのフローチャートである。
【図8A】時期に対する腐食の予測精度の例示的なグラフである。
【図8B】時刻に対する腐食の予測精度の例示的なグラフである。
【発明を実施するための形態】
【0027】
本発明の実施形態は、従属および独立環境変数を考慮に入れた保温材下腐食（ＣＵＩ）を検出するための予測アプローチを提供する。調査対象の資産の熱画像は、経時的にキャプチャされる。
【0028】
同じまたは重複する領域（複数可）の一連の熱画像が、経時的にキャプチャされるため、風などの一時的な問題の影響を含めて、現象の変化を容易に観察することができる。熱画像は、ＣＵＩに対して脆弱な場所を示すことができるいくつかの種類または順序の温度情報を提供することができる。温度情報の第１の順序は、熱画像に示される色によって明らかにされる通常の温度（Ｔ）データである。温度情報の第２の順序は、異なる領域間で示されるコントラストなどの温度変化（ΔＴ）であり、情報の第３の順序は、一連の画像を経時的に分析することによって決定される温度分析の変化率（ｄｆ（Ｔ）／ｄｔ）である。追加の評価は、相関関係を決定するために、独立した非破壊検査（ＮＤＴ）手法、たとえば、ＥＭスペクトルの他の部分における電磁検出、または磁気測定を用いて行われる。この「センサ融合」により、ＣＵＩ検出、影の検出、または異常プロセス活動の精度が向上し、その影響を最小限に抑えることができる。時刻、天気、プロセス条件などの周囲条件データは、複数の入力ソースから結論を生成するために使用される機械学習アルゴリズムへのパラメータ入力として含めることができる。さらに、いくつかの実施形態では、影、反射、または他のアーチファクトによって引き起こされる熱画像における「ノイズ」の影響を低減するために、ノイズフィルタを前処理ステップとして採用することができる。
【0029】
センサ融合と時間ベースの分析を組み合わせることで、非決定的または交絡変数を除外でき、学習アルゴリズムは周囲条件に反している異常に焦点を合わせることが許容されるため、ＣＵＩを示す可能性が高くなる。このような異常は記録され、その後、現場の技術者は、そのような異常が発生した場所で検証検査を行うことができる。フィールド検査の結果（すなわち、「ＣＵＩが検証済み」または「ＣＵＩ未検証」）は、ローカルまたはクラウドベースのプラットフォームに保存され、教師付き機械学習システムのトレーニングに使用することができ、パラメータ（重み、係数）は継続的により包括的なデータセットによって経時的に精緻化されるので、システムはより「インテリジェント」になることが可能になる。
【0030】
図１は、本発明の実施形態による、ＣＵＩの予測および検出のための機械学習システム１００の概略図である。図１は、試験される例示的な構造物１０５、この場合は一組の保温パイプを示す。この例の保温パイプは、１つ以上の保温層に囲まれた金属パイプ導管を含むことができる。腐食が発生すると、保温材と金属パイプの間の環状領域に腐食が発生する傾向があり、そこに水分が閉じ込められて蓄積する可能性がある。図１では、１つ以上の赤外線カメラ１１０（図には１つのカメラのみが示されている）が構造物１０５の近位に配置されて、赤外線放射をキャプチャし、構造物から発せられた熱画像を記録する。ＣＵＩ検出に好適な赤外線カメラの一例として、オレゴン州ウィルソンビルのＦＬＩＲ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が提供するＣ３ Ｗｉ－Ｆｉ対応のサーマルカメラがあるが、他の機器も使用することができる。構造物１０５からキャプチャされた熱画像は、可視スペクトル放射では検出不可能な構造物内の内部熱コントラストを明らかにすることができ、湿気の蓄積および／または腐食を示すことができる。赤外線カメラ１１０は、好ましくは、構造物の領域から受信した熱画像を、選択された持続時間にわたって連続的に、および／または異なる時間または日付で断続的にキャプチャする。赤外線カメラ１１０は、熱画像を標準化されたコンピュータ可読ファイル形式（すなわち、サーモグラフファイル、ｊｐｇ）に変換するように適合される。
【0031】
赤外線カメラ１１０は、マウント１１２上に配置され、これは、以下でより詳細に説明するように、「スマート」であり得、様々な構成要素および機能を有することができる。いくつかの実施形態では、マウントは三脚として実装することができる。マウント１１２は、構造物上の高所に到達するために（例えば、伸縮によって）拡張可能であり得、固定された平面に対して様々な角度でパンおよびチルトするための数度の自由度を有するカメラに結合する機械的なヘッド固定具を含むことができる。現場の技術者は、必要に応じて、マウントヘッドの延長と向きを設定して、構造物の異なる領域から熱画像をキャプチャすることができる。
【0032】
一部の施設では、識別タグを資産またはその部分に貼ることができる。各タグの正確な地理的位置は、ＧＰＳを使用して判定することができる。識別タグは、離れた場所から読み取り可能なＱＲコード（登録商標）などの画像ベースのタグを使用して実装することができる。タグ付け機能を利用するために、いくつかの実施形態では、資産上のタグをスキャンするために、マウント上の赤外線カメラとともに標準カメラを含めることができる。画像内の（既知のサイズの）タグのサイズに応じて、カメラからタグまでの距離を判定することができる。タグ付けにより、施設の複雑な３次元ＣＡＤモデルを作成しなくても、施設資産のスキャンとローカリゼーションを同時に行うことができる。
【0033】
赤外線カメラ１１０は、マウント１１２に物理的、かつおよび通信可能に結合することができる（例えば、ブルートゥース（登録商標）またはＷｉ－Ｆｉ通信によって無線で）。マウント１１２はまた、可視光センサ（通常のカメラ）、または電磁センサ（図１には図示せず）のような１つ以上の追加の検出器を含むか、またはそれに結合されており、これらは、構造物を探査し、熱画像化によって得られたデータを補完するための補足的な読み取り値を得るために使用することができる。このようにして、「センサ融合」と呼ばれる、２つ以上の別個の独立した検知モードからのデータを組み合わせることができ、これにより、誤検出の分類を減らすことで、ダウンストリーム予測および検出をより堅固にすることができる。マウント１１２はまた、温度、湿度、および空気圧を含む周囲条件を検出するためのセンサを含む。受信した熱画像は、周囲条件、および周囲条件が記録されている現在の時刻に関連付けることができる。このデータは、構造物からキャプチャされた熱画像の解釈と分類に寄与する、機械学習アルゴリズムによって使用されるパラメータを含む。
【0034】
いくつかの実施形態では、マウント１１２は、コンピューティングデバイス１１５と通信可能に結合することができ、これは、タブレット、ラップトップ、または、現場の技術専門家が使用するために、現場で便利に持ち込むことが十分な処理およびメモリ能力を有するいずれかの他の好適なコンピューティングデバイスであり得る。そのような実施形態では、マウント１１２は、カメラ１１０から受信したサーモグラフィファイルをコンピューティングデバイス１１５に送信するように動作可能である。他の実施形態では、赤外線カメラ１１０およびマウント１１２の他のセンサによって記憶されたデータは、局所的に、例えば、メモリカードに記憶され、次いで、コンピューティングデバイス１１５に転送され得る。コンピューティングデバイス１１５は、好ましくは、予測分析のために実行可能なアプリケーションを記憶する。予測分析の前に、熱画像は、赤外線カメラ１１０および／またはコンピューティングデバイス１１５によって前処理することができる。前処理には、多くの原因から発生する可能性のある画像のノイズを低減するための画像フィルタリング手順を含めることができる。コンピュータデバイスはまた、受信したサーモグラフファイル（熱画像）を入力として受け取り、熱画像に関心対象の異常がリアルタイムで含まれる確率に関する予測を出力する１つ以上の機械学習アルゴリズムを実行する。米国特許出願第１５／７１２，４９０号「Ｔｈｅｒｍｏｇｒａｐｈｙ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｔｏ Ｉｄｅｎｔｉｆｙ Ｃｏｒｒｏｓｉｏｎ Ｕｎｄｅｒ Ｉｎｓｕｌａｔｉｏｎ（ＣＵＩ）」と題された、関連する同一所有者による出願で考察されたように、深層学習アルゴリズムを含む複数の機械学習アルゴリズムを、ＣＵＩ検出のために使用することができる。いくつかの実装形態では、画像を詳細に分類するのに役立つ畳み込みネットワークが最初の段階で使用され、経時的な変化を追跡するのに役立つリカレントニューラルネットワークが追加の段階で使用される。コンピューティングデバイス１１５は、現場の技術者が便利に調べることができるアプリケーションユーザインターフェースで、機械学習アルゴリズムの出力を提供する。現場でのリアルタイムの予測分析により、現場の技術者は観察をサポートし、腐食による損傷を受ける可能性が高い構造物の高リスク領域に迅速に焦点を合わせることが許容される。
【0035】
図示の実施形態では、コンピューティングデバイス１１５は、ネットワークスイッチ１２０を使用して（無線通信ネットワーク１２２を使用して）クラウドコンピューティングプラットフォーム１２５と無線通信する。あるいは、コンピューティングデバイスは、有線接続を使用して、コンピュータネットワークに、かつクラウドコンピューティングプラットフォーム１２５に結合することができる。無線ネットワーク１２２は、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）、セルラネットワーク、またはそのようなネットワークの組み合わせであり得る。クラウドコンピューティングプラットフォーム１２５は、分散コンピューティング構成において独立してまたは協調的に動作することができる、１つ以上のプロセッサ（例えば、１つ以上のサーバまたはサーバクラスタ）を含む、通常は動的に割り当てられるコンピューティングリソースを含む。クラウドコンピューティングプラットフォーム１２５は、アプリケーションをホストするためのコンピュータ実行可能命令を記憶するための、および長期記憶のために受信したデータをアーカイブするためのデータベース記憶容量を含む。例えば、現場のコンピューティングデバイス１１５は、安全な記憶のために、かつさらなる処理および分析のために、受信した全ての熱画像および他のデータをクラウドコンピューティングプラットフォーム１２５にアップロードすることができる。より具体的には、コンピューティングデバイス１１５は、例えば、ＭｙＳＱＬまたは別のデータベースフォーマットでデータレコードをフォーマットおよび送信することができる。例示的なデータベースレコードは、他のフィールドの中でも、タグ付けされた資産の場所、特定の資産の場所（またはそのリンク）で経時的に撮影された一連の熱画像、熱画像をキャプチャしたカメラのＩＤ（ｃａｍｅｒａＩＤ）のデータ値、各画像がキャプチャされた日時、日時の周囲条件（例えば、温度）、センサ融合データ（例えば、可視光、電磁データ）を含み得る。クラウドデータベースは、（例えば、ＬｉＤＡＲデータからの）インフラストラクチャ資産の位置とレイアウトの詳細な地理的マッピングを記憶し、含むことができ、クラウドプラットフォーム上で実行されるアプリケーションは、構造物全体または構造物のグループに広がるリスク評価を行うために、センサデータと資産の詳細なマッピングを組み合わせた詳細な分析を実行することができる。クラウドコンピューティングプラットフォーム１２５において実行されるそのような評価のレポートおよび他の処理の結果は、クラウドコンピューティングプラットフォームに通信可能に結合された制御ステーション１３０にアクセス可能である。代替的な実施形態では、スマートマウント１１２は、データの分析が現場で実行される直前に、受信したデータをフォーマットし、クラウドコンピューティングプラットフォームに送信することが可能である。
【0036】
図２は、より全体的に図１に示されたＣＵＩ予測および検出のためのクラウドベースの学習システムの例示的な実装形態を示す。図２では、このシステム１５０は、熱画像および他のデータをキャプチャするために、構造物１０５に近接する様々な位置に配置された４組のカメラ、マウント、およびコンピューティングデバイス（「調査キット」）を含む。この実施形態では４つの調査キットが使用されるが、例えば、調査する構造物または設置のサイズに応じて、より少ないまたはより多くのキットを使用することができることに再度留意されたい。より具体的には、システム１５０は、第１の位置に配置された第１のマウント１５４および第１のコンピューティングデバイス１５６に関連付けられた第１の赤外線カメラ１５２と、第２の位置に配置された第２のマウント１６４および第２のコンピューティングデバイス１６６に関連付けられた第２の赤外線カメラ１６２と、第３の位置に配置された第３のマウント１７４および第３のコンピューティングデバイス１７６に関連付けられた第３の赤外線カメラ１７２と、および資産１０５の近位の第４の位置に配置された第４のマウント１８４および第４のコンピューティングデバイス１８６に関連付けられた第４の赤外線カメラ１８２と、を使用して構成される。双方向無線通信は、システムの全てのマウントとコンピューティングデバイスでサポートすることができるため、各々が相互に通信することができる。例えば、コンピューティングデバイス１５６、１６６、１７６、１８６によって受信された熱画像データは、ネットワークスイッチ１２０を用いてクラウドコンピューティングプラットフォーム１２５に、かつ制御ステーション１３０に送信され得る。あるいは、スマートマウント１５４、１６４、１７４、１８４は、無線接続が利用可能である場合、制御ステーションと直接通信することができる。冗長接続性を提供することにより、システム内の各スマートマウントまたはコンピューティングデバイスは、マルチノードシステムの通信ノードとして機能することができるため、マウントまたはコンピューティングデバイスのうちの１つ以上が制御ステーションとの接続性を失った場合、接続性を維持する他のノードにデータを転送することができる。制御ステーション１３０は、スマートマウント１５４、１６４、１７４、１８４またはコンピューティングデバイス１５６、１６６、１７６、１８６に構成および制御コマンドを提供するように構成される。
【0037】
施設内の多数の構造物や場所から読み取りを行うために、調査キットを手動または自動で移動させることができる。キットが異なる位置に移動されると、赤外線画像および他のセンサの読み取り値が、所与の空間（すなわち、直交空間、ｘ、ｙおよびｚ）内の点の範囲にわたって得られ、本明細書に記載されているように処理のためにコンピューティングデバイスに提供される。たとえば、センサデータは、最初に、センサデータについて（ｘ１、ｙ１、ｚ１、ｉ（ｓｅｎｓｏｒ）１）．．．．（ｘｎ、ｙｎ、ｚｎ、ｉ（ｓｅｎｓｏｒ）ｎ）と、赤外線画像データについて（ｘ１、ｙ１、ｚ１、ｉ（ｉｎｆ）１）．．．（ｘｎ、ｙｎ、ｚｎ、ｉ（ｉｎｆ）ｎ）のベクトルデータの集合を生成することができる。２つのデータ集合は、データが実質的に同じ位置からキャプチャされた場合（すなわち、非赤外線センサおよび赤外線センサによってそれぞれ感知された領域の間にオフセットがないか、または有限のオフセットがある場合）、単一のベクトル、すなわち、（ｘｎ、ｙｎ、ｚｎ、ｉ（ｓｅｎｓｏｒ）ｎ、ｉ（ｉｎｆ）ｎ）においてで結合され得る。以下にさらに説明するように、所与の場所の感知モードの各対（または３つ以上のモード）について、コンピューティングシステムは、資産の場所が腐食を受けているかどうかを予測する。これにより、データマッピングは、例えば、（ｘｎ、ｙｎ、ｚｎ、ｉＴＨｚｎ、ｉ（ｉｎｆ）ｎ、Ｐｒｅｄｉｃｔｉｏｎｎ）などのモデルを予測エンジンに供給することによって得られる予測で補完される。予測は施設における大きな３次元空間にわたって判定されるため、場合によっては、同じ近傍の複数のデータポイントが腐食の積極的予測に関連している「ホット」エリアを特定することができる。同様に、腐食が比較的少ないかまったく予測されていない隣接領域も特定することができる。その後、そのようなホットエリアに修復措置を適用することができるが、腐食が比較的少ないと判断された他の領域には適用することができない。このようにして、腐食損傷の可能性が高い特定の部位に対して保温材の除去および他の修復措置を行うことができるので、腐食の有無を判定するために保温材の部位をランダムに、あるいは統計的なパターンに従って除去する必要がなくなる。
【0038】
図３は、本発明の例示的な実施形態による、スマートマウントの機能要素を示すブロック図である。スマートマウント１１２は、カメラカップリングまたはマウント２０２を含み、それによって、赤外線カメラ１１０をマウント１１２にしっかりと機械的に取り付け、電気的に接続することができる。上記のように、カメラ結合２０２は、伸縮シャフトなどの拡張可能かつ回転可能な要素、およびカメラを所望の位置および向きに移動および傾斜させることを可能にする自由度を備える様々なジョイントを含むことができる。いくつかの実装形態では、スマートマウントは、地面にステアリングサブシステムを提供するように、釣合い錘式可動部に支持され得る。
【0039】
システムの他の要素との相互通信を可能にするために、スマートマウント１１２は、アンテナ、トランシーバ、および他のスマートマウント、コンピューティングデバイス、および制御ステーション１３０との双方向無線通信を支持するように構成された電子部品を含むことができる通信モジュール２０４を含むことができる。スマートマウント１１２はまた、ＳＳＤカードメモリを使用して実装することができるメモリモジュール２０６を含む。信号障害によって実際の熱画像ストリーミング速度よりも劣る、最適以下のデータ速度が生じる場所に赤外線カメラが取り付けられている場合、オンボードメモリモジュールを使用して、データのダウンロードを無線でサポートしつつ、待機時間を提供するように熱画像ストリームを記憶することができる。
【0040】
スマートマウント１１２は、温度、湿度、および圧力センサを含み得る周囲センサモジュール２１０をさらに含む。追加の構造プローブセンサモジュール２１２は、可視写真、磁気（磁気測定）および超音波検出器を含むがこれらに限定されない、熱画像化とは異なるモードを使用してＣＵＩの構造物を探査するために使用することができる検出器を含む。赤外線カメラからの熱画像とともに、構造プローブセンサモジュールは、ＣＵＩ予測およびリスク評価を強化するセンサ融合を提供する。電力モジュール２２０は、スマートマウント構成要素に電力を供給し、再充電を必要とする前に好適なデータ収集期間の間、電源回路２２４を用いて赤外線カメラバッテリを充電するのに十分なサイズの電池モジュール２２２を含む。データ収集の好適な持続時間は、例えば、約４５分から約９０分であり得る。より長いまたはより小さなバッテリは、より長いまたはより短いデータ収集期間に使用することができる。
【0041】
動作時には、フィールドコンピューティングデバイスは、赤外線カメラおよびスマートマウントから、熱画像、プローブセンサ、環境条件のデータを受信する（取り込む）。最初のデータ取り込みは、影、反射、スプリアス信号など、現場の状態の影響を受ける可能性がある。上記のように、機械学習アルゴリズムを実行する前に、ノイズをフィルタリングして信号対雑音比を増幅するための前処理ステップとして、ソフトウェア（赤外線カメラにフィルタリング機構が実装されている場合は、ファームウェアまたはハードウェア）内に統合されたノイズフィルタリング機構を使用して、受信データをノイズに対してフィルタリングすることが有用である場合がある。いくつかの実施形態では、取り込まれたデータは、次元縮退および自動符号化技術によってフィルタリングすることができる。他の実施形態では、線形または非線形の平滑化フィルタを、次元縮退技術の代わりに、またはそれに加えて適用することができる。ノイズフィルタリングステップは、ＣＵＩ信号を影、反射、ならびに通常の近赤外線熱信号から区別するのに役立つ。このようなデータ内のノイズやその他のアーチファクトは、最終的には、ニューラルネットワークの段階でマルチコンテキスト埋め込みを使用して機械学習プロセスで認識し、補正することができるが、このような方法でフィルタリングしてデータを前処理する方が、時間とリソースの効率が高くなる。
【0042】
ノイズに対するロバスト性を高めるために使用することができるもう一つの改良点は、現場から取得したデータを補足するために合成トレーニングデータを導入することである。有限要素解析を含む数学的モデルは、保温金属構造物の熱力学と、キャリブレーションおよび比較の基礎として現場で撮影された熱画像に基づいている。合成データは、熱画像トレーニングデータセットをシミュレートし、増大させるためのものであってもよい。合成データは、気象条件、温度、太陽光への露出、保温材の背後の材料温度など、異なる環境条件に対して学習システムをより堅固にすることもできる。合成データは、コンピューティングデバイスまたはクラウドコンピューティングプラットフォームによって、局所的に生成することができる。いずれの場合も、合成データを、クラウドコンピューティングプラットフォームにおけるトレーニングおよびアプリケーションデータベースに組み込むことができる。
【0043】
図４は、予測機械学習モデルのためのトレーニングセットを補足するための、本発明による合成熱画像データ構造を生成するための方法を示すブロックフロー図である。合成熱画像を生成するための入力には、環境変数３０２（例えば、温度、湿度、気圧、時刻）、資産パラメータ３０４（例えば、寸法、位置、材料、保温材）、および現場でキャプチャされた様々な資産の一組の熱画像３０６（「現場サーモグラフ」）が含まれる。環境変数３０２および資産パラメータ３０４は、環境条件に基づく材料の既知の熱力学的特性を利用して、温度および湿度条件のランダムな確率分布に基づいて、経時的に保温資産の合成温度マップ３１５を生成する熱力学モデル３１０に入力される。合成温度マップ３１５およびフィールドサーモグラフは、画像化モデル３２０への入力である。画像は温度マップのみから作成することができるが、フィールドサーモグラフは、キャリブレーションと比較の基礎として使用することができる。例として、資産の温度マップが、類似の条件下で類似の資産のフィールドサーモグラフに示されるよりも大きな温度コントラストの傾向を示す場合、画像化モデルは、温度マップをフィールドサーモグラフに近づけるように重み調整を行うことができる。そのような調整が行われた後、画像化モデルは、トレーニング中にフィールドサーモグラフを補足するために使用することができる一組の合成熱画像３２５を生成する。
【0044】
図５Ａは、本発明の実施形態による、調査キットを使用して実行されるＣＵＩ予測のためのデータを取得するための方法のフローチャートである。ステップ４００で、方法が開始する。ステップ４０２において、スマートマウントおよびカメラ（赤外線、標準）が、施設における資産を監視するために好適な場所に設置される。ステップ４０４において、資産に貼られた全てのタグがスキャンされる。ステップ４０６において、熱画像、センサ融合、および周囲条件データがキャプチャされ、メモリに記憶される。ステップ４０８において、この情報は、リアルタイム分析のためにローカルコンピューティングデバイスに送信される。ステップ４１０で、方法が終了する。
【0045】
図５Ｂは、本発明の実施形態によるリアルタイムＣＵＩ予測の方法のフローチャートである。ステップ５００で、方法が開始する。ステップ５０２において、コンピューティングデバイスは、キャプチャされたデータをスマートマウントから受信する。ステップ５０４において、受信されたデータは、ノイズについてフィルタリングされる。ステップ５０６において、ＣＵＩ予測および検出は、フィルタリングされたデータおよび前のトレーニングからのパラメータ重みに基づいて、機械学習アルゴリズムを使用して実行される。機械学習アルゴリズムには、畳み込みおよびリカレントニューラルネットワークなどの深層学習手法を含めることができる。任意のステップ５０８において、合成データは、スマートマウントから受信されたデータを補足するために生成される。ステップ５１０において、予測出力は、現場の技術者が見ることができるように、グラフィカルユーザインターフェース上で生成される。次のステップ５１２において、受信されたデータおよび予測出力は、クラウドコンピューティングプラットフォームに送信される。ステップ５１４で、方法が終了する。
【0046】
図６は、本発明の実施形態による、ＣＵＩ検出のための調査キットを配備するための配備条件を最適化するために、機械学習システムを使用する方法のフローチャートである。ステップ６００で、方法が開始する。ステップ６０２において、赤外線画像および他のセンサ融合データが、システムに入力される。ステップ６０４において、従来の侵襲的腐食試験の結果データ（画像）が、システムに入力される。結果データは、特定の観測条件と腐食の有無を相関させるようにシステムをトレーニングするために、赤外線および他のデータと、現場での実際の結果とを相関させるのに使用される。
【0047】
ステップ６０６で、機械学習システムは、入力データを受信し、トレーニングと試験のどちらにデータを適用するかを判定する。トレーニングでは、機械学習システムがデータを適用して、画像およびセンサデータを結果データと相関させるためのパラメータを最適化する。言い換えると、トレーニングは、結果（腐食の有無）を、特定の種類の赤外線画像データおよび経時的に受信したその他のセンサデータと照合する試みを行う。最適化されたパラメータは、温度（Ｔ）、静的または動的な温度コントラスト（ΔＴ）、または温度分析における変化率（ｄｆ（Ｔ）／ｄｔ）のうちの１つまたは全てのような、温度データの異なる次数に適用される係数であってもよい。さらに、パラメータには、以下でさらに説明するように、調査キットの配備特性を含めることができる。対照的に、試験中、機械学習システムは、現在のデータまたはトレーニングに使用されたデータとは異なるデータを使用して、トレーニングされたシステムが堅固であり、様々な条件に適用可能であるかどうかを判定する。プロセッサがこのアルゴリズムを実装するように構成された命令を実行することによって、ステップ６０６で、データがトレーニングに使用されることが判定された場合、データは、ステップ６０８で、機械学習アルゴリズムにおいて使用される。ステップ６１０において、機械学習アルゴリズムは、入力データに基づいて最適化されたパラメータを用いてトレーニングされたニューラルネットワークを生成する。ステップ６０６において、プロセッサが命令を実行することによって、データが試験で使用されると判定された場合、ステップ６１２において、ステップ６０８において生成された最適化されたパラメータのロバスト性を試験するためにデータが適用される。ステップ６１２のデータを試験するために、ステップ６１４では、現場での調査キットによって一定期間にわたって時系列として得られた時間的条件データ（すなわち、時間、日付、温度（ｔ１、ｔ２、．．．ｔｎ）、湿度（ｔ１、ｔ２、．．．ｔｎ）、風速（ｔ１、ｔ２、．．．ｔｎ）を、新たなＩＲ画像および結果データとともに、試験中の入力としても使用する。
【0048】
ステップ６１６では、時間的周囲条件データ６１４と現在のＩＲ画像６０２、および結果データ６０４を使用する機械学習アルゴリズムの性能が、予め設定された閾値を超えるかどうかが、プロセッサが命令を実行することによって判断される。試験性能の有効性を決定するための事前設定された閾値は、結果データと一致する試験データ（たとえば、９０％）に基づく機械アルゴリズムの正確な予測の設定パーセンテージであってもよい。閾値に達した場合、ステップ６１８で、配備条件などのパラメータが最適化されたと判定される。次に、ステップ６２０で、方法が終了する。試験が閾値を満たさない場合、方法はステップ６０２、６０４、および６１４に戻り、トレーニングと試験の別の反復のためのデータが取得される。
【0049】
図７Ａ、７Ｂ、７Ｃ、および７Ｄは、施設現場での腐食を判定するための特定の配備条件を最適化するための、図６のフローチャートに基づくフローチャートである。図７Ａのフローチャートは、図６のステップ６０８に類似するステップ７０８において、機械アルゴリズムが、配備条件変数として試験の時期を使用して性能を最適化することを除いて、図６のフローチャートと同一である。試験が行われる時期によって、少なくとも部分的には、調査対象の構造物に入射する太陽光の角度が判定され、また、入射する太陽光の強さによって構造物が加熱したり冷却したりする速度が部分的に判定される。さらに、時期によって湿度のレベルを判定することができる（たとえば、湿度は季節によって変化する可能性がある）。時期と周囲の温度および湿度条件との関係により、調査キットの配備時期は腐食検出の精度に影響を与える可能性がある。したがって、どの時期が腐食試験に最適であるかを知ることは、技術者にとって有益である。これは、たとえば、リカレントニューラルネットワークを実装するためのプロセッサ内のプログラミングを使用する機械学習アルゴリズムを介して決定することができる。ステップ７１８において、プロセッサが命令を実行することによって、試験データが性能の閾値を超えたかどうかが判定された後、最適な時期が判定され、機械学習および試験プロセスの出力として報告され得る。図８Ａは、時期に対する性能の例示的なグラフであり、性能が予め設定された精度閾値（例えば、８５％）を超える年８０２の一部分（夏の一部および秋の大部分に広がる）にわたって示す。図８Ａのグラフは、一般に、遅い要約および秋が、現場で構造物の腐食試験を実施するのに最適な時期であることを示す。図８Ａに示される例示的なグラフは、本発明の原理の単なる例示であり、これらの時期がこの点に関して実際に最適であることを表すことを意味するものではないことに留意されたい。
【0050】
図７Ｂは、図６のステップ６０８に類似する、図６のステップ６０８に類似するステップ７２８において、機械アルゴリズムが、試験の時刻を配備条件変数として使用して性能を最適化するコードを実行することを除いて、図６のフローチャートと同様である。時期のように、時刻によって、日光の強さと湿度のレベルが部分的に判定される。したがって、時期と同様の理由で、どの時刻が腐食試験に最適であるかを知ることは、技術者にとって有益である。ステップ７３８において、コードがプロセッサにおいて実行されることによって、試験データが性能の閾値を超えたかどうかが判定された後、最適な時刻が判定され、機械学習および試験プロセスの出力として報告され得る。図８Ｂは、時期に対する性能の例示的なグラフであり、性能が予め設定された精度閾値（例えば、８５％）を超えている日８０４の一部分（日中に広がる）にわたって示す。図８Ｂのグラフは、正午の数時間前から数時間後までの範囲の日中が、一般に、現場で構造物の腐食試験を実施するのに最適な時間であることを示している。図８Ｂに示される例示的なグラフもまた、本発明の原理の単なる例示であり、これらの時間帯がこの点に関して必ずしも最適であることを表すことを意味しないことに留意されたい。
【0051】
図７Ｃは、調査キットのカメラの位置、および／またはカメラの使用の持続時間を最適化することによって、領域の調査範囲を最適化するための方法のフローチャートである。現場では、赤外線カメラやその他のデバイスを、関心対象の構造物（複数可）に対して、様々な距離と角度で配置することができる。さらに、赤外線カメラや他のセンサが特定の区間からデータを取得する時間は、ユーザの設定に基づいて変化させることができる。いくつかの配置は、他のものよりも高品質の熱画像を取得することをさらに助長し得る。いくつかの実装形態では、取得した赤外線画像が低品質となる露光に必要な最小期間が存在し得る。一方、カメラの露光時間が長すぎると、調査の全体的な時間と費用が増加する可能性がある。図７Ｃのフローチャートでは、トレーニングの目的で、ステップ７４２で入力された赤外線データは、画像データに加えてメタデータを含む。メタデータには、調査キット内の各赤外線カメラの異なる時刻における位置、基準軸に対して測定されたそのような時刻における各カメラの角度位置（方位）、および画像キャプチャ時間を含めることができる。このメタデータは、各時間増分で撮影されたキャプチャされた熱画像に関連付けることができる。ステップ７４８において、機械アルゴリズムは、入力されたトレーニングデータを使用して実行される。いくつかの実施形態では、機械学習アルゴリズムは、予測精度（すなわち、入力データおよび結果データに基づいて正しく腐食を検出する能力）に基づいて、パラメータを最適化するようにプロセッサ内で実行されるコードによって構成される。ステップ７５６において、時間的試験データを使用してトレーニングされたアルゴリズムの試験中に、性能が閾値を下回ると判断された場合、ステップ７５８において、カメラによる構造物の範囲を調整するように、１つ以上のカメラの位置および角度を新しい位置に徐々に自動的に移動させるためのコマンドを与えることができる。ステップ７６０において、新しい赤外線画像データが取得される。さらに、画像キャプチャ持続時間を増加させることができる。展開条件は、その効果をより良く区別するために、連続して（一度に１つずつ）増分することができる。いくつかの実装形態では、カメラは現場の技術者が手動で移動させることができる。配備条件の増分は、性能がステップ７５６で閾値を超えるまで、ループ内で反復的に行うことができる。
【0052】
性能が閾値を超えると、ステップ７６２において、位置、角度、および露光時間の変数は、予め設定された精度閾値での腐食の予測のために最適化されていると考えることができる。これは、必ずしも、ステップ７６２で判定された配置が、構造データを取得するための絶対的に最適な配置であることを意味するわけではない。絶対的な最適配置を判定するために、一連の試験を実行し、結果を比較することができる。
【0053】
図７Ｄは、カメラの種類、場所、および気候条件に基づいて取得される赤外線画像の数を最適化するための方法のフローチャートである。調査中は、異なる種類の赤外線カメラ（例えば、開口サイズおよび解像度を有するカメラ）を調査キット内で使用することができ、カメラの位置を異なる配置で変化させることができる。さらに、調査キットの配置と周囲条件に応じて、十分な範囲、および／または鮮明さを得るために必要な画像の数が変わる可能性がある。図７Ｄのフローチャートでは、トレーニングの目的で、ステップ７７２で入力された赤外線データは、画像データに加えてメタデータを含む。メタデータには、調査キット内の各赤外線カメラの異なる時間における位置、配備された各カメラの種類、各位置においてカメラによってキャプチャされた画像の数を含めることができる。メタデータは、熱画像に関連付けることができる。ステップ７７８において、機械アルゴリズムは、入力されたトレーニングデータを使用して実行される。機械アルゴリズムは、赤外線画像メタデータ（すなわち、時刻ｔ１、ｔ２、ｔ３．．．におけるカメラｎの位置（ｘｎ、ｙｎ、ｚｎ）、カメラｎの種類Ｔｙｐｎ、時刻ｔ１、ｔ２、ｔ３における各カメラｎが取得した画像の枚数を用いて、性能を最適化する。ステップ７８６において、トレーニングされたアルゴリズムの試験中に、性能が閾値以下であると判断された場合、ステップ７８８において、１つ以上のカメラの位置を自動的に修正し、および／または異なる数の画像の１つ以上のカメラによるデータ取得を繰り返すようにコマンドを与えることができる。ステップ７９０において、新しい赤外線画像データは、増分された位置および／またはキャプチャされた画像の数を使用して取得される。あるいは、カメラは現場の技術者が手動で移動させることができる。これは、性能がステップ７７６で閾値を超えるまで、ループ内で反復的に行うことができる。
【0054】
性能が閾値を超えると、ステップ７９２において、位置、カメラの種類、およびキャプチャ画像変数の数は、予め設定された精度閾値での腐食の予測のために十分に最適化されていると考えることができる。これは、必ずしも、ステップ７９２で判定された配置が、構造データを取得するための最適な配置であることを意味するわけではない。最適配置を判定するために、一連の試験を実行し、結果を比較することができる。
【0055】
図７Ａ、７Ｂ、７Ｃおよび７Ｄに関して上記の実施形態では、機械学習アルゴリズムは、腐食検出精度を最適化するように設計されている（すなわち、アルゴリズムの費用関数は、予測された結果と実際の結果との間の不一致である）。他の実施形態または実装形態では、試験の速度、および金額的な試験の費用などの他のパラメータは、機械学習トレーニングおよび試験を実行して、腐食検出システムの調査キットをより高速に、かつ／またはより安価に配置または使用する方法を判定することができるように、最適化された変数とすることができる。
【0056】
本明細書に開示されたいずれの構造および機能の詳細は、システムおよび方法を限定するものとして解釈されるものではなく、むしろ、当業者に、方法を実施するための１つ以上の方法を教示するための代表的な実施形態および／または配置として提供されることを理解されたい。
【0057】
図面中の類似の数字が、いくつかの図面を通して類似の要素を表し、図面に関連して説明され、示された構成要素および／またはステップの全てが、全ての実施形態または構成に必要とされるわけではないことをさらに理解されたい。
【0058】
本明細書において使用される専門用語は、特定の実施形態のみを説明するためのものであり、本発明を限定することを意図するものではない。本明細書において使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかに別のことを示している場合を除き、複数形も含むものと意図する。「ｃｏｍｐｒｉｓｅｓ（備える）」および／または「ｃｏｍｐｒｉｓｉｎｇ（備える）」という用語は、本明細書において使用される場合、記載される特徴、整数、ステップ、操作、要素、および／または構成要素の存在を明記しているが、１つ以上の他の特徴、整数、ステップ、操作、要素、構成要素、および／またはこれらのグループの存在または追加を排除しないことをさらに理解されたい。
【0059】
本明細書では、向きの用語は、単に慣例および参照の目的で使用されており、限定的なものとして解釈されるべきではない。しかしながら、これらの用語が、見る人を基準にして使用される可能性があることを認識されたい。したがって、限定が含意されることもなく、推測されることもない。
【0060】
また、本明細書において使用される表現および専門用語は、説明目的のものであり、限定として見なされるべきではない。本明細書における「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（含む）」、または「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含有する）」、「ｉｎｖｏｌｖｉｎｇ（伴う）」、およびこれらの変形の使用は、これらに続いて列挙される項目、およびこれらの均等物、ならびに追加項目を包含することを意味する。
【0061】
例示的な実施形態を参照して本発明を説明したが、本発明の範囲から逸脱することなく、様々な変更を行い、その要素を等価物で置き換えることができることを当業者は理解するであろう。さらに、本発明の本質的な範囲から逸脱することなく、特定の機器、状況、または材料を本発明の教示に適合させるための多くの修正が当業者には理解されよう。したがって、本発明は、本発明を実施するために想到される最良の形態として開示される特定の実施形態に限定されることがなく、本発明は、添付の特許請求の範囲に収まる全ての実施形態を含むことが意図される。
【符号の説明】
【0062】
110 赤外線
202 機械的／電気的結合
204 通信モジュール
206 メモリストレージ
210 周囲センサモジュール
212 構造プローブモジュール
222 バッテリ
224 電源回路
202 機械的／電気的結合
204 通信モジュール
206 メモリストレージ
210 周囲センサモジュール
212 構造プローブモジュール
222 バッテリ
224 電源回路
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8A】
【図8B】