特許 6961806 保温材下腐食（ＣＵＩ）を識別するためのニューラルネットワークによるサーモグラフィ画像処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6961806

(24)【登録日】2021年10月15日

(45)【発行日】2021年11月5日

(54)【発明の名称】保温材下腐食（ＣＵＩ）を識別するためのニューラルネットワークによるサーモグラフィ画像処理

(51)【国際特許分類】

   G01N 25/72 20060101AFI20211025BHJP

   G06T 7/00 20170101ALI20211025BHJP

   G06N 3/04 20060101ALI20211025BHJP

【ＦＩ】

   G01N25/72 K

   G06T7/00 350C

   G06T7/00 610C

   G06N3/04 154

【請求項の数】18

【全頁数】14

(21)【出願番号】特願2020-515006(P2020-515006)

(86)(22)【出願日】2018年9月20日

(65)【公表番号】特表2021-502543(P2021-502543A)

(43)【公表日】2021年1月28日

(86)【国際出願番号】US2018051865

(87)【国際公開番号】WO2019060490

(87)【国際公開日】20190328

【審査請求日】2020年9月23日

(31)【優先権主張番号】15/712,490

(32)【優先日】2017年9月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】599130449

【氏名又は名称】サウジ アラビアン オイル カンパニー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】アイマン・アメール

(72)【発明者】

【氏名】アリ・シェフリ

(72)【発明者】

【氏名】ブライアン・パロット

(72)【発明者】

【氏名】モハメド・サラージ

【審査官】 外川 敬之

(56)【参考文献】

【文献】 米国特許出願公開第２０１０／０１０７７６７（ＵＳ，Ａ１）

【文献】 特開平０６−１１８０４０（ＪＰ，Ａ）

【文献】 特表２０１７−５１０８０３（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１８３６６１（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／１５１７５７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２５／７２

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

第１の機械学習システムによって、CUI分類精度の第１の閾値までトレーニングされたフィルタを使用して構造物内の保温材下腐食（CUI）を識別するためのコンピュータ実装方法であって、
赤外放射センサを使用して前記構造物から捕捉されたサーモグラフと、前記構造物および環境条件に関連する追加のデータと、を受信することと、
前記第1の機械学習システムの出力と前記構造物および環境条件に関連する追加のデータとを、以前の状態から現在の状態までの情報を組み込む第2の機械学習システムに入力することと、
CUI分類精度の第2の閾値に達するまで、前記第1の機械学習システムの前記出力と前記追加のデータとの経時的な変化に応じてCUIを識別するように、前記第2の機械学習システムをトレーニングすることと、
前記第2の閾値に達した後、前記第1の機械学習システムおよび前記第2の機械学習システムを協調的に使用して、受信したサーモグラフおよび追加のデータに基づいて前記構造物内のCUIを識別することと、を含む、コンピュータ実装方法。

【請求項2】

前記第１の機械学習システムが畳み込みニューラルネットワークを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記畳み込みニューラルネットワークが複数の階層的な層を含み、各階層的な層が畳み込み段階、非線形関数段階、およびプーリング段階を含む、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記第２の機械学習システムが、リカレントニューラルネットワークを含む、請求項２に記載のコンピュータ実装方法。

【請求項5】

前記追加のデータが、経時的に測定された、周囲温度、前記構造物の物理的特性、および気象条件を含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記第１の機械学習システムおよび前記第２の機械学習システムが、前記構造物の外部の物体からの赤外放射の反射に対する誤検出発見を認識するようにトレーニングされる、請求項５に記載のコンピュータ実装方法。

【請求項7】

ＣＵＩの識別が、水分を高い尤度で閉じ込める前記保温材下の前記構造物の脆弱な領域を識別することを含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記構造物の検査によって初期のCUI分類を検証することをさらに含み、検証が、パルス渦電流評価、目視検査、保温材除去、および壁薄肉化の超音波試験のうちの少なくとも2つを使用して実行される、請求項1に記載のコンピュータ実装方法。

【請求項9】

前記サーモグラフデータおよび前記追加のデータを前処理して、カテゴリ変数を符号化し、かつ連続変数を正規化することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項10】

第１の機械学習システムによって、CUI分類精度の第１の閾値までトレーニングされたフィルタを使用して構造物内の保温材下腐食（CUI）を識別するためのシステムであって、
プロセッサ、メモリ、および通信モジュールを含むコンピュータシステムと、を備え、前記プロセッサが、
赤外放射センサを使用して前記構造物から捕捉されたサーモグラフと、前記構造物および環境条件に関連する追加のデータを受信するステップと、
前記第１の機械学習システムの出力と前記構造物および環境条件に関連する追加のデータとを、以前の状態から現在の状態までの情報を組み込む第２の機械学習システムに入力するステップと、
CUI分類精度の第2の閾値に達するまで、前記第1の機械学習システムの前記出力と前記追加のデータとの経時的な変化に応じてCUIを識別するように、前記第2の機械学習システムをトレーニングするステップと、
前記第1の閾値および前記第2の閾値に達した後、前記第1の機械学習システムおよび前記第2の機械学習システムを協調的に使用して、現在のサーモグラフおよび追加のデータに基づいて前記構造物内のCUIを識別するステップと、を実行するプログラムを実行するように構成されている、システム。

【請求項11】

前記第１の機械学習システムが、畳み込みニューラルネットワークを含む、請求項１０に記載のシステム。

【請求項12】

前記畳み込みニューラルネットワークが、複数の階層的な層を含み、各階層的な層は、畳み込み段階、非線形関段階、およびプーリング段階を含む、請求項１１に記載のシステム。

【請求項13】

前記第２の機械学習システムが、リカレントニューラルネットワークを含む、請求項１０に記載のシステム。

【請求項14】

前記追加のデータが、経時的に測定された、周囲温度、前記構造物の物理的特性、および気象条件を含む、請求項１０に記載のシステム。

【請求項15】

前記第１の機械学習システムおよび前記第２の機械学習システムが、前記構造物の外部の物体からの赤外放射の反射に対する誤検出発見を認識するようにトレーニングされる、請求項１０に記載のシステム。

【請求項16】

ＣＵＩの識別が、水分を高い尤度で閉じ込める前記保温材下の前記構造物の脆弱な領域を識別することを含む、請求項10に記載のシステム。

【請求項17】

前記プロセッサが、前記構造物の検査によって初期のCUI分類を検証するステップをさらに実行する前記プログラムを実行するように構成され、検証が、パルス渦電流評価、目視検査、保温材除去、および壁薄肉化の超音波試験のうちの少なくとも2つを使用して実行される、請求項10に記載のシステム。

【請求項18】

前記コンピュータシステムが、前記サーモグラフデータおよび前記追加のデータを前処理して、カテゴリ変数を符号化し、かつ連続変数を正規化する、請求項１０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査技術に関し、特に、サーモグラフィ画像処理がニューラルネットワークとともに使用されて保温材下腐食（corrosion under insulation、ＣＵＩ）を識別する方法およびシステムに関する。

【背景技術】

【0002】

保温材下腐食（CUI）は、金属パイプなどの断熱された構造物が保温材の下の金属表面上で腐食に侵される状態である。通常、構造物全体を囲む保温材被覆に起因して、腐食を容易に観察することができないため、CUIは検出するのが困難である。CUIの通常の原因は、保温材物質に浸透する水分の蓄積である。保温材と金属表面との間の環状の空間に水がたまり、表面腐食を引き起こす可能性がある。腐食を誘起し得る水源として、雨、水漏れ、および結露、冷却水塔のドリフト、散水設備、蒸気トレースの漏れが挙げられ得る。通常、腐食は局所的に始まるが、熱サイクルが繰り返されるか、または塩化物もしくは酸などの水媒体中に汚染物質がある場合、腐食は高い速度で進行する可能性がある。

【0003】

調査によると、パイプ保守コストの40〜60％は、CUIによって引き起こされることが示されている。CUIが検出されない場合、その結果は、プロセスユニットまたは施設全体の閉鎖につながる可能性があり、壊滅的な事故につながる可能性がある。隠れた腐食メカニズムであるため、保温材が除去されるか、または赤外線サーモグラフィなどの高度なNDT（非破壊検査）技術を使用して保温材の下の金属の状態を確認するまで、損傷は気付かれないままである。保温材の除去は時間および費用がかかるプロセスであり得るが、検出プロセスでの誤検出（腐食の誤った検出）および検出漏れ（腐食の誤った非検出）を引き起こす非常に多くの変数（例えば、形状の、環境の、材料に関連する）に起因して、高精度NDT技術では不十分な場合がある。

【0004】

したがって、必要とされるものは、CUI検出の精度を改善するために、外部変数および交絡変数をより適切に考慮することを可能にするNDT検出プロセスの改善である。

【発明の概要】

【0005】

本発明の実施形態は、構造物内の保温材下腐食（ＣＵＩ）を識別するためのコンピュータ実装方法を提供する。この方法は、ａ）赤外放射センサを使用して構造物から捕捉されたサーモグラフを受信することと、 b）第１の機械学習システムを使用してサーモグラフに１つ以上のフィルタを適用することと、ｃ）１つ以上のフィルタからの出力に基づいてCUI分類を初期判定することと、ｄ）構造物の検査によって初期のCUI分類を検証することと、ｅ）検証の結果に基づいて、第１の機械学習システムのフィルタをトレーニングすることと、ｆ）CUI分類精度の第１の閾値に達するまで、追加のサーモグラフデータについてステップa）〜e）を繰り返すことと、を含む。さらなるステップでは、第1の機械学習システムの出力と構造物および環境条件に関連する追加のデータとが、以前の状態から現在の状態までの情報を組み込む第2の機械学習システムに入力され、CUI分類精度の第2の閾値に達するまで、第1の機械学習システムの出力と追加のデータとの経時的な変化に応じてCUIを識別するように、第2の機械学習システムがトレーニングされる。第1の閾値および第2の閾値に達した後、第1の機械学習システムおよび第2の機械学習システムを協調的に使用して、現在のサーモグラフおよび追加のデータに基づいて構造物内のCUIが識別される。

【0006】

いくつかの実施形態では、第１の機械学習システムは畳み込みニューラルネットワークを含む。畳み込みニューラルネットワークの実装形態は、複数の階層的な層を含むことができ、各階層は、畳み込み段階的な層、非線形関数段階、およびプーリング段階を含む。

【0007】

いくつかの実施形態では、第２の機械学習システムは、リカレントニューラルネットワークを含む。

【0008】

いくつかの実装形態では、第2の機械学習システムへの追加のデータ入力は、経時的に測定された、周囲温度、構造物の物理的特性、および気象条件を含む。有利には、第１の機械学習システムおよび第２の機械学習システムは、構造物の外部の物体からの赤外放射の反射に対する誤検出発見を認識するように、トレーニングされ得る。

【0009】

CUIの識別は、高い尤度で水分を閉じ込める保温材下の構造物の脆弱な領域を識別することを含むことができる。いくつかの実装形態では、パルス渦電流評価、目視検査、保温材除去、および壁薄肉化の超音波検査のうちの少なくとも2つの技術を使用して、検証が実行される。

【0010】

さらなる実装形態では、サーモグラフデータおよび追加のデータを前処理して、カテゴリ変数を符号化し、連続変数を正規化することを含む。サーモグラフデータ、環境変数、および構造情報をベクトル化し、ニューラルネットワークへの入力として使用することができる。

【0011】

本発明の実施形態はまた、通信モジュールであって、構造物から放出された赤外放射を捕捉するように配置され、かつ捕捉された放射のサーモグラフを通信モジュールを介して伝送するように適合された通信モジュールを含む赤外カメラを備える構造物内の保温材下腐食（CUI）を識別するためのシステム、ならびにプロセッサ、メモリ、および通信モジュールを含むコンピュータシステムを提供する。コンピュータシステムのプロセッサは、ｉ）第１の機械学習システムを使用して、通信モジュールを介して赤外カメラから受信されたサーモグラフに１つ以上のフィルタを適用するステップと、ｉｉ）１つ以上のフィルタからの出力に基づいてCUI分類を初期判定するステップと、ｉｉｉ）構造物の検査によって初期のCUI分類を検証するステップと、ｉｖ）検証の結果に基づいて、第１の機械学習システムのフィルタをトレーニングするステップと、を実行するプログラムを実行するように、構成されている。プロセッサは、CUI分類精度の第１の閾値に達するまで、追加のサーモグラフデータについてステップi）〜iv）を繰り返すように構成されている。第１の機械学習システムの出力と構造物および環境条件に関連する追加のデータとは、以前の状態から現在の状態までの情報を組み込む第２の機械学習システムに入力される。第2の機械学習システムは、CUI分類精度の第2の閾値に達するまで、第1の機械学習システムの出力と追加のデータとの経時的な変化に応じてCUIを識別するようにトレーニングされる。第1の閾値および第2の閾値に達した後、第1の機械学習システムおよび第2の機械学習システムを協調的に使用して、現在のサーモグラフおよび追加のデータに基づいて、構造物内のCUIが識別される。

【0012】

本明細書で開示される様々な実施形態および実装形態の任意の組み合わせを使用することができる。

【0013】

これらおよび他の態様、特徴、および利点は、本発明の特定の実施形態の以下の説明、ならびに添付の図面および特許請求の範囲から理解され得る。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態による、熱撮像を使用してＣＵＩを検出するためのシステムの概略図である。

【図2】本発明の実施形態による、ＣＵＩの識別のためのニューラルネットワークを用いた熱画像処理の方法の概略図である。

【図3】本発明の状況で使用され得る例示的な畳み込みニューラルネットワークの概略図である。

【図4】畳み込みを画像データに適用することができる方法の例を示す概略図である。

【図5】本発明の状況で使用され得る例示的なリカレントニューラルネットワーク（recurrent neural network、ＲＮＮ）５００の概略図である。

【0015】

図面は例示であり、必ずしも縮尺通りではないことに留意されたい。

【発明を実施するための形態】

【0016】

本明細書で開示される実施形態は、すべての従属および独立の周囲変数を考慮した保温材下腐食（ＣＵＩ）の予測検出のためのシステムおよび方法に関する。この方法は、経時的に複数のIR（赤外）カメラを使用して構造物の熱画像データ（サーモグラフ）を捕捉することと、サーモグラフデータを処理および分析して、腐食を示す構造物内に１つ以上の異常が存在するかどうかに関する初期判定を形成することと、その後の検査（検証）を実行して、初期の異常分析の精度を評価することと、を含む。検証プロセスの結果は、教師付きトレーニングプロセスにフィードバックされて、経時的に異常分析と分類の精度を改善する。相関関係を見つけてCUI検出の確度を高めるために、サーモグラフィ技術によって見つかった異常に対して電磁NDTを使用して追加の評価を行うことができる。

【0017】

分析およびトレーニングの主な目的は、学習システムが、現在の環境、構造、および実験のパラメータが与えられると、異常を適切に区別することができるようにすることである。このプロセスでは、誤検出および検出漏れの判定を防止するために、多数のパラメータが考慮される。例として、構造物が日光に直接さらされている間に構造物上のホットスポットを検出することは、異常な状態ではない。対照的に、ホットスポットを引き起こすと予想され得る日光および/または他の外部条件がない場合にホットスポットが発生すれば、保温材が何かしら損なわれているという初期の結論を導き出すことができる。 後者の場合、異常が記録され、次いで、検査後に、記録された異常がCUIの正確な識別であったかどうかを検証するようにアルゴリズムをトレーニングするレポートが生成される。繰り返し行われると、検証およびフィードバックにより、ソフトウェアは経時的により「インテリジェント」になる。

【0018】

様々な組み合わせの多数の様々な機械学習アルゴリズムを、制限なく使用することができる。特に有用であることが証明された機械学習プロセスの一実施形態は、「畳み込み」（CNN）ニューラルネットワークと「リカレント」（RNN）ニューラルネットワークとの組み合わせを含む。CNNは、画像トポロジに従って熱画像を抽象化レベルに階層化することに特に有用であるが、RNNは、経時的にパターンを検出することに特に有用である。ホットスポットの検出と経時的なホットスポットの形成の判定との両方に着目するため、両方の要素が重要である。加えて、いくつかの実施形態では、より多くの計算時間を費やしてより高い精度を達成するために、「Adaboost」などのブースティングアルゴリズムをCNNおよびRNNとともに使用することができる。間違いを犯すと非常に費用が高くつくため、計算時間を犠牲にして精度を高めることは許容可能なトレードオフである。

【0019】

図１は、本発明の実施形態による、熱撮像を使用してＣＵＩを検出するためのシステム１００の概略図である。ＣＵＩについて検査される例示的な構造物１０２は、保温材１１０の層によって囲まれたパイプ１０５を含む。保温材は、薄い金属ラップを有するフォーム層、または任意の他の従来の構造保温材を含むことができる。パイプ１０５の外表面と保温材１１０との間の接合部に位置する界面１１５が存在し、保温材１１０内に水がたまり、下にあるパイプの腐食および劣化を誘起する可能性がある。図１の例示では、パイプ表面１２２、１２４上に腐食が蓄積した２つの領域が示されている。

【0020】

保温材の下の腐食を検出するために、三脚などの可動プラットフォーム135上に取り付けられた赤外カメラ130を配置して、様々な縦位置および角度で構造物102から放出される赤外放射を捕捉し、これにより、構造物の全長および全周からのデータを捕捉する。高所のパイプ設備などの接近することが困難である場所にある構造物に適した代替実施形態では、赤外カメラ130を無人航空機（例えば、ドローン）上に取り付けることができる。無人航空機は、熱画像データを収集するために、このような場所にある対象の構造物に移動するために、検査要員によって遠隔制御され得る。プラットフォーム135またはUAVは、湿度、気圧、および風速を含む環境条件を検出するための追加のセンサを含むことができる。赤外カメラ130によって捕捉された赤外放射の熱画像またはサーモグラフは、可視スペクトル放射では検出不可能である保温材の下の温度差およびコントラストを明らかにする。より具体的には、パイプラインの表面上のIR熱パターンは、暖かい内側のパイプから保温材を介して外側のラップに伝導される熱によって引き起こされる。

【0021】

赤外カメラ１３０は、好ましくは、選択された（長い）継続時間にわたって構造物１０３の領域から連続的に受けた赤外放射を表すサーモグラフを捕捉する。カメラ１３０は、サーモグラフをコンピュータ可読ファイル形式（すなわち、図１に示すサーモグラフファイル１３７）に変換するように適合されている。サーモグラフファイル１３５は、好ましくは、さらなる処理のために、無線通信モード（例えば、ブルートゥース（登録商標）、Ｗｉ-Ｆｉ）を介してオンサイトコンピュータシステム１４０に伝送される。他の実装形態では、サーモグラフファイル135を、有線接続を介して伝送することができ、または代替的に、赤外カメラのメモリ媒体（例えば、SDカード、フラッシュドライブ）に記憶し、その後、コンピュータシステム140に手動で転送することができる。

【0022】

以下で図２に関してより詳細に説明するように、コンピュータシステム１４０は、機械学習アルゴリズムをトレーニングしてＣＵＩを検出するために使用されるプログラムを実行することが可能なタブレット、ラップトップ、スマートフォン、または任意の他のポータブルコンピューティングデバイスであり得る。コンピュータシステムは、サーモグラフデータを長期間ベースで記憶するために使用されるデータベース145に通信可能に結合されている。多くのサーモグラフが構造物上の様々な場所で長時間（例えば、数分から数時間）にわたって撮影されるため、サーモグラフデータセットは、コンピュータシステム140のかなりのメモリリソース（例えば、ギガバイト（GB）からテラバイト（TB）の範囲）を要し得る。コンピュータシステム１４０からデータベース１４５への定期的なアーカイブを実行して、コンピュータシステム１４０内のメモリを解放することができる。

【0023】

いくつかの実装形態では、可能な限り最良の結果を達成するために、検査要員が特定の経験則を遵守することが好ましい。例えば、日没後にIR検査を実行して、保温材カバーからの日射反射を防止することが好ましい。また、地面などの外部ソースからの熱放出および熱反射を考慮し、最小限に抑えることが好ましい。

【0024】

図２は、本発明の実施形態による、ＣＵＩの識別のためのニューラルネットワークを用いた熱画像処理の方法の概略図である。上部の概括を見ると、この方法は3つの連続した段階、すなわち、データ捕捉段階202、それに続く画像処理および分析段階204、それに続く検証段階206を含む。検証段階206によって取得された情報は、画像処理および分析段階204にフィードバックされる。データ捕捉段階２０２は、対象の構造物から熱画像データを捕捉するための装置をセットアップすること、ならびに環境条件データを判定すること、を包含する。例えば、データ捕捉段階２０２は、選択された継続時間の間、特定の解像度の画像を得るために赤外カメラ２１２をセットアップすることと、対象の構造物の近傍に、または移動機（例えば、ドローン）上にＩＲカメラ２１４を設置することと、熱画像を捕捉するための構造物上の特定のターゲット領域216を画定することと、湿度、気圧、風速などの環境パラメータ218を判定することと、を伴い得る。

【0025】

画像処理および分析段階204は、構造物のターゲット領域の画像を様々なカテゴリに分類し、かつ画像がターゲット領域で異常状態222を示すかどうかの初期識別を可能にする機械学習アルゴリズムに、サーモグラフ画像データを入力することを含む。異常状態は、CUIが構造物のターゲット領域に存在する可能性があることを示している。トレーニングプロセス中、サーモグラフはトレーニングデータとして使用されているため、初期判定は決定的ではない。後続の検証プロセス206では、多数の技術を使用して、機械学習アルゴリズムの初期判定が正しいかどうかを立証し得る。様々な技術として、限定されないが、パルス渦電流評価232、目視検査234、保温材除去236、壁薄肉化の超音波検査238、これらの技術の任意の組み合わせなどを挙げることができ、CUIが構造物のターゲット領域に存在するかどうかに関する最終的な結論に達する。したがって、学習プロセス中に、破壊技術または非破壊技術のいずれかを使用して、CUIが存在するかどうかを検証することができる。

【0026】

初期識別と検証との間の不一致は、機械学習アルゴリズム224にフィードバックされて、教師付き学習プロセスの技術に従ってアルゴリズムを最適化する目的で、アクティベーション（サーモグラフおよび環境データの様々な入力パラメータに使用される重み）を更新する。機械学習アルゴリズムの精度が十分なレベルまで改善されると、検証は実行されなくなり、画像処理および分析段階204を使用してCUIを直接検出および識別する。画像処理および分析段階では、限定されないが、畳み込みルニューラルネットワーク、リカレントニューラルネットワーク、Adaboostなどのアンサンブル学習およびブースティング手法、決定木、ならびにサポートベクトルマシンを含む、多様な教師付き機械学習アルゴリズムおよび技術のうちのいずれか1つ以上を利用することができる。

【0027】

有利な一実施形態では、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）を使用して、捕捉されたサーモグラフデータを階層的に分類する。これに続いて、リカレントニューラルネットワーク（CNN）を使用して、かなりの期間にわたって捕捉されたサーモグラフデータを処理する。いくつかの実装形態では、より高い精度を達成するために、ブースティングアルゴリズムをCNNおよびRNNと組み合わせて使用することができる。ブースティングアルゴリズムは、計算の全体数を増加させ、したがって計算時間を増加させるが、誤識別は費用が高くつくため、追加の精度がより重要な要素である。

【0028】

本発明のいくつかの実施形態では、前処理段階が実行される。前処理段階では、サーモグラフおよび環境データを含むニューラルネットワークアルゴリズムへの入力が符号化および/または正規化される。カテゴリ別である（すなわち、少数の可能な離散値に制限されている）変数は、ニューラルネットワークに供給される前にワンホット符号化され得る。代替的に、連続的である（すなわち、非常に多くの可能な値を有し得る）変数は、正規化され、連続変数の平均は、ニューラルネットワークに供給される前にゼロにシフトされる。

【0029】

前処理段階の出力は、入力のうちのすべての融合である。この融合は、例えば、ａ）変数を互いに連結すること（例えば、環境変数を、あたかも画像の拡張部分であるかのように、サーモグラフに追加すること）、b）入力の各々をn次元ベクトルに平坦化し、次いでn次元ベクトルを単一の長いベクトルに連結すること、および／またはc）追加のネットワークを使用して実装され得る符号化器を適用して、入力のうちのすべてを、メインネットワークに供給する前に、単一の入力へと圧縮もしくは削減することを含む、様々な技術（またはその組み合わせ）を使用して達成され得る。 サーモグラフデータ、環境変数、または他の変数を含むすべての入力変数は、同じ前処理手順を経る。CNNは、関連性の低い変数に対して、関連する変数を強調および強調表示するように動作する。

【0030】

本発明の状況で使用され得る例示的な畳み込みニューラルネットワーク（ＣＮＮ）３００の概略図を、図３に示す。示された例では、CNN300は、入力として画像302の局所区分を受け取る。示されるように、ＣＮＮ３００は、３つの階層レベル３１２、３１４、３１６を含む。より少ない、またはより多い数の階層レベルが使用され得ることに留意されたい。第１の階層レベル３１２は、３つの並列処理パスを含み、各処理パスは、順に３つの別個の処理段階を含む。この複雑なスキームを、単一レベルにある単一処理パスの段階の説明によって明確にすることができる。ここで、第１の階層レベルで最も左側のパスを参照すると、第１の畳み込み段階３２２は、入力画像データに第１の畳み込み関数（フィルタ）を適用する。その他の処理パスは、入力画像の別の局所区分を操作することに留意されたい。各階層レベルは、階層レベルが受信するデータに異なる畳み込み関数を適用して、画像内の特徴をより良好に識別し得る。例えば、フィルタは、平均化によって隣接する画像値間のコントラストをぼかすことができ、または、逆に、いくつかのフィルタが相違を強調してエッジを鮮明にすることができる。各フィルタは、より低レベルの機能のローカルパッチをより高レベルの表示に構成する。このようにして、画素からエッジを見分けることができる、エッジから形状を見分けることができる、などである。畳み込みを画像データに適用することができる方法の例を、図4に示す。図4では、画素値410の5×5正方形サンプルが示されており、サンプル値410の値にわたって畳み込み行列420をスライドさせることにより、サンプルに畳み込み行列420または「窓」を適用することができる。示された例では、畳み込み行列は、対角線に沿ったすべての値に1を掛け、かつ対角線に沿っていない値に0を掛ける、3x3行列関数である。畳み込み行列によって作用される際、画像サンプルの各3x3区分の合計は、出力行列430に提供される。次に、出力行列430は、出力として階層的な層の次の段階に供給される。

【0031】

階層的な層３１２の次の段階では、ＲｅＬＵ（修正線形ユニット）またはｔａｎｈ関数などの非線形関数３２４を畳み込み段階のデータに適用する。この段階は、y_i,j = f （a_i,j ）として表すことができ、ここで、fは非線形関数を表し、 a_i,j は、畳み込み段階の出力行列のi行ｊ列の画素を表す。したがって、非線形関数段階３２４の出力は、畳み込み段階３２２から出力された行列の修正バージョンである。階層レベル312の最終段階では、データを簡略化するために使用され得るプーリング段階326である。例えば、プーリング段階は、最大関数を適用して、非線形段階からの出力行列の画素のいくつかの行および列の非線形関数の最大値のみを出力し得る。データを簡略化した後に、3つの処理パスのうちのすべてのプーリング段階の出力を合計して、次いで、次の階層的な層314の処理パスのうちの1つの畳み込み段階332に入力され得る。階層的な層314では、類似または異なる畳み込み行列を使用して第1の階層的な層312から受信されたデータを処理することができ、同じまたは異なる非線形関数および簡略化関数を、続く非線形段階334およびプーリング段階３３６で使用することができる。第２の階層的な層３１４の並列処理パスからの出力は、同様にプールされ、次いで、出力行列として第３の階層的な層３１６に提供され、そこでさらなる処理が行われ得る。最終出力350は、クラスラベル確度、または別の言い方をすれば、画像の最も可能性の高い分類として、解釈され得る。分類は、温度差およびCUIの可能性を示す異なる種類のホットスポットを含み得る。

【0032】

CNNは、検証および後方伝播によって学習する。これは、出力350の値を設定し、次いで、アルゴリズムをより上位の階層的な層からより下位の層へ逆方向に実行し、最適化関数を使用してより良好な結果を生じるように畳み込み行列を変更することと等価である。トレーニング後、CNNは入力サーモグラフを、ホットスポット、非ホットスポットなどの予め設定されたカテゴリのうちの１つに正確に分類することができるはずである。

【0033】

CNNは、サーモグラフ画像トポロジに従って入力画像を抽象化レベルに階層化するための効率的で有用な方法論であるが、経時的なパターンの検出には最適でない。したがって、本発明の実施形態は、ＣＮＮに関連付けられたリカレントニューラルネットワーク（ＲＮＮ）を利用して、時間ベースのパターン認識を改善する。

【0034】

図５は、本発明の状況で使用され得る例示的なリカレントニューラルネットワーク（ＲＮＮ）５００の概略図である。ＲＮＮ５００は多数の層を含み、そのうちの３つの層５０２、５０４、５０６が明示的に示されている。ＲＮＮは、第２の層５０４を参照して最もよく説明される。この層では、x_t は時間ステップtにおける層への入力である。入力x_t は、値のベクトルまたは行列であり得る。Ｓ_t ５１４は、時間ステップｔにおける隠れ状態を表す。隠れ状態は、RNNの「メモリ」と見なされ得る。隠れ状態は、以前の隠れ状態と現在のステップにおける入力とに基づいて計算され、s_t=f(Ux_t + Ws_t-1)である。関数fは、通常、tanhまたはReLUなどの非線形関数である。通常、最初の隠れ状態はすべてゼロに初期化される。S_tはパラメータベクトルVによって変更されて、ステップtにおける出力であるO_tを生じる。O_tは、次の状態s＋1に対する確度の行列またはベクトルとして解釈され得る。RNN500は、すべてのステップ間で同じパラメータ（上記のU、V、W）を共有する。これは、各ステップにおける同じタスクが、異なる入力を用いて各ステップにおいて実行されるという事実を反映している。これにより、学習するパラメータの総数が減少し、したがって、また処理時間が短縮される。示された例では、各層は各時間ステップにおいて出力を有するが、いくつかの実装形態では最終出力のみが対象であるため、これは必要ではない。

【0035】

RNNを使用して、経時的なサーモグラフの変化を検出し、かつ環境変数を考慮し得る。これらの変数は、サーモグラフデータとともにRNNにパラメータとして導入され得る。考慮すべき最も重要な変数を、i）周囲条件、ii）対象の構造物の条件、iii）任意の識別されるCUIの条件、およびiv）構造物に対するIRカメラの構成という、4つの主要なカテゴリに分けることができる。例えば、分析で考慮する周囲条件として、限定されないが、経時的な周囲温度、構造物内の流体温度、その場所における、降水量、ほこり、および風速を含む気象条件、季節、ならびに日光曝露量が挙げられる。構造物の条件として、限定されないが、構造物および保温材の寸法、保温材の種類および物理的特性、接合部、エルボー、デッドレッグなどの配置、ならびに露出面の光学特性、構造上の金属の反射率、および任意の観察された欠陥（例えば、保温材内の空隙）が挙げられる。任意の識別されるCUIの条件として、限定されないが、CUIの場所（上または下）および成長方向、ならびに損傷のない領域に対してCUIがどのように分布しているかが挙げられる。IRカメラの構成の主な要素は、IRカメラと構造物との間の距離である。

【0036】

経時的な様々なサーモグラフおよび条件の傾向に関する情報を使用して、さらなるレベルの分析を実行することができる。例えば、この分析は、構造物上の様々な場所における温度差データ（例えば、ホットスポット、異常）がどのように関連し、または区別可能であるか、経時的な温度および異常の全体的な傾向、経時的に変化する特徴が表れるか、消失するか、または劣化するかどうか、 CUI条件ではなく、外部放射率および反射により影響がより確からしいかどうか、に着目し得る。

【0037】

いくつかの実施形態では、追加の計算を犠牲にしてより高い精度を達成するために、AdaboostなどのブースティングアルゴリズムをCNNおよびRNNとともに使用することができる。ブースティングは、通常、トレーニング後でも識別のエラー率が高い機械学習アルゴリズムである「弱学習器」を組み合わせおよび改善して「強」学習器にするために使用される。Adaboostは、弱学習アルゴリズムの出力を結合して、ブーストされた分類器の最終出力を表す加重合計にする。任意の所与のアルゴリズムの重みは、そのアルゴリズムの精度に基づいている。CNNおよびRNNは、一般に、強学習器になるようにトレーニングされ得るが、間違いを犯すと非常に費用が高くつくため、さらに精度を確保するためにブースティングを追加すると有利であり得る。計算時間を犠牲にして精度を高めることは、許容可能なトレードオフであり得る。加えて、ブースティングは、CNNおよびRNNを検査するために設計段階で有用であり得る。

【0038】

本発明は、ＣＵＩの正確な検出を可能にする多数の利点を提供する。水スポットおよび湿気スポットは、通常、その時に検出されることなく容易に乾き得る。しかしながら、IR撮像を介して継続的に監視することにより、水スポットおよび湿気スポットを閉じ込める脆弱な場所を捕捉および識別することが可能である。本発明の方法は、監視結果および画像処理結果に従って実施され得る年次検査計画の予算編成を可能にする。監視方法はまた、本質的に安全であり、この方法の自動化により手動検査エラーが排除される。パイプ内の温度が周囲温度と十分に異なる限り、IR評価方法は、一般に、必要とされる基準に応えて機能する。IRによって検出された異常は、相関アプローチを使用して、他の技術（例えば、パルス渦電流（pulsed eddy current、PEC））を使用してさらに評価され得る。加えて、IR撮像を寒冷な気候の用途で使用して、保温材の不良および着氷を検出することができる。

【0039】

本明細書に開示されたいずれの構造および機能の詳細も、システムおよび方法を限定するものとして解釈されるべきではなく、むしろ、当業者に、方法を実装するための１つ以上の手法を教示するための典型的な実施形態および／または構成として提供されていることを理解されたい。

【0040】

本明細書に記載された方法は、プログラムがコンピュータ上で実行されると、例えば、本明細書に記載された方法のうちのいずれかのすべてのステップを実行するように適合されたコンピュータプログラムコード手段を含むコンピュータプログラムの形態で、有形の記憶媒体上のマシン可読形式のソフトウェアによって実行されてもよく、この場合に、コンピュータプログラムは、コンピュータ可読媒体上で実施されてもよい。有形の記憶媒体の例として、ディスク、サムドライブ、メモリなどのコンピュータ可読媒体を含むコンピュータ記憶デバイスが挙げられ、伝播される信号は含まれない。伝播される信号は有形の記憶媒体に存在する場合があるが、伝播される信号自体は有形の記憶媒体の例ではない。ソフトウェアは、方法ステップが任意の適切な順序で、または同時に実行され得るように、並列プロセッサまたは直列プロセッサ上での実行に適し得る。

【0041】

図面中の類似の数字が、いくつかの図を通して類似の要素を表し、図に関連して説明され、示された構成要素および／またはステップのすべてが、すべての実施形態または構成に必要とされるわけではないことをさらに理解されたい。

【0042】

本明細書に使用されている専門用語は、特定の実施形態のみを説明する目的のものであり、本発明を限定することを意図しない。本明細書で使用される際、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上、他の意味を示すことが明らかな場合を除き、複数形も含むことが意図されるものである。「ｃｏｍｐｒｉｓｅｓ（備える）」および／または「ｃｏｍｐｒｉｓｉｎｇ（備える）」という用語が、本明細書で使用する際、述べた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を明示するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらの群の存在または追加を排除しないことがさらに理解されるであろう。

【0043】

配向の用語は、本明細書では、単に慣例および参照の目的で使用され、限定するものとして解釈されるべきではない。しかしながら、これらの用語が見る人を基準にして使用されている可能性があることが分かる。したがって、限定が暗に意味されることもなく、推察されるべきでもない。

【0044】

また、本明細書に使用されている表現および専門用語は、説明目的のものであり、限定するものと見なされるべきではない。本明細書における「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（備える）」、または「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含有する）」、「ｉｎｖｏｌｖｉｎｇ（伴う）」、およびそれらの異形の使用は、それ以降に挙げられた項目、およびその同等物、ならびに追加項目を包含することを目的としている。

【0045】

例示的な実施形態に関連して本発明が説明されてきたが、本発明の範囲から逸脱しない限り、様々な変更が行われてもよく、その要素を均等物に置き換えてもよいことが、当業者には理解されるであろう。さらに、本発明の基本的な範囲から逸脱せずに、特定の計器、状況、または材料を本発明の教示に適合させるための多くの修正形態が当業者には理解されるであろう。したがって、本発明が、本発明を実施するのに向けて考えられた最良の形態として開示された特定の実施形態に限定されず、添付の特許請求の範囲の範囲内に含まれるすべての実施形態を含むようになることが意図されている。

【符号の説明】

【0046】

１００ システム
１０２ 構造物
１０５ パイプ
１１０ 保温材
１１５ 界面
１２２ パイプ表面
１２４ パイプ表面
１３０ 赤外カメラ
１３５ プラットフォーム
１３７ サーモグラフファイル
１４０ コンピュータシステム
１４５ データベース
３００ 畳み込みニューラルネットワーク（ＣＮＮ）
３１２ 第１の階層レベル
３１４ 第２の階層的な層
３１６ 第３の階層的な層
３２２ 第１の畳み込み段階
３２４ 非線形関数段階
３２６ プーリング段階
３３２ 畳み込み段階
３３４ 非線形段階
３３６ プーリング段階
３５０ 最終出力
４１０ 画素値
４２０ 畳み込み行列
４３０ 出力行列

【図1】

【図2】

【図3】

【図4】

【図5】