特開 2023-112272 腐食状態判定装置、腐食状態判定プログラム及び学習モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023112272

(43)【公開日】2023-08-14

(54)【発明の名称】腐食状態判定装置、腐食状態判定プログラム及び学習モデルの生成方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230804BHJP

   G06Q 10/20 20230101ALI20230804BHJP

   G01N 21/954 20060101ALI20230804BHJP

   G06T 7/00 20170101ALI20230804BHJP

【ＦＩ】

G01N21/88 J

G06Q10/00 300

G01N21/954

G06T7/00 350C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022013944

(22)【出願日】2022-02-01

(71)【出願人】

【識別番号】000133733

【氏名又は名称】株式会社テイエルブイ

(72)【発明者】

【氏名】藤原 良康

(72)【発明者】

【氏名】横野 智明

【テーマコード（参考）】

2G051

5L049

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051AC21

2G051CA04

2G051EB09

2G051EC06

2G051ED08

5L049CC15

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096FA17

5L096HA09

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】施工された部材の施工状況に応じて腐食状態を好適に判定することができる腐食状態判定装置等を提供する。
【解決手段】腐食状態判定装置は、施工された部材の少なくとも一部が含まれるように撮像された判定用画像を取得する取得手段、施工された部材の少なくとも一部が含まれる画像と画像に含まれる部材の施行状況とを学習済みの第一学習モデルに基づいて、判定用画像から判定用画像に含まれる部材の施行状況を特定する第一特定手段、特定された施行状況に対応付けられた領域特定情報に基づいて、判定用画像における部材の判定領域を特定する第二特定手段、施工された部材の少なくとも一部が含まれる画像における判定領域が特定された画像と画像の判定領域の腐食状態とを学習済みの第二学習モデルに基づいて、判定領域が特定された判定用画像から、判定領域の腐食状態を判定する判定手段、を備える。
【選択図】図９

【特許請求の範囲】

【請求項1】

施工された部材の少なくとも一部が含まれるように撮像された判定用画像を取得する取得手段、
施工された部材の少なくとも一部が含まれる画像と該画像に含まれる部材の施行状況とを学習済みの第一学習モデルに基づいて、前記判定用画像から該判定用画像に含まれる部材の施行状況を特定する第一特定手段、
前記特定された施行状況に対応付けられた領域特定情報に基づいて、前記判定用画像における該部材の判定領域を特定する第二特定手段、
前記施工された部材の少なくとも一部が含まれる画像における前記判定領域が特定された画像と該画像の該判定領域の腐食状態とを学習済みの第二学習モデルに基づいて、前記判定領域が特定された判定用画像から、該判定領域の腐食状態を判定する判定手段、
を備えた腐食状態判定装置。

【請求項2】

前記第二学習モデルは、前記判定領域が特定された判定用画像及び前記特定された施行状況が入力された場合、該施行状況に対応付けられた基準画像に含まれる対比領域と該判定用画像の判定領域との対比によって、該判定領域の腐食状態の情報を出力する、
請求項１に記載の腐食状態判定装置。

【請求項3】

前記領域特定情報は、施工状況毎に対応付けられた領域特定用画像であり、
前記第二特定手段は、前記特定された施行状況に対応付けられた領域特定用画像と前記判定用画像との対比によって、該判定用画像における前記判定領域を特定する、
請求項１又は請求項２に記載の腐食状態判定装置。

【請求項4】

前記取得手段は、前記判定用画像に含まれる部材に関する部材情報も取得し、
前記第一学習モデルは、前記判定用画像及び部材情報が入力された場合、該判定用画像に含まれる部材の施行状況の情報を出力する、
請求項１～３のいずれかに記載の腐食状態判定装置。

【請求項5】

コンピュータを、
施工された部材の少なくとも一部が含まれるように撮像された判定用画像を取得する取得手段、
施工された部材の少なくとも一部が含まれる画像と該画像に含まれる部材の施行状況とを学習済みの第一学習モデルに基づいて、前記判定用画像から該判定用画像に含まれる部材の施行状況を特定する第一特定手段、
前記特定された施行状況に対応付けられた領域特定情報に基づいて、前記判定用画像における該部材の判定領域を特定する第二特定手段、
前記施工された部材の少なくとも一部が含まれる画像における前記判定領域が特定された画像と該画像の該判定領域の腐食状態とを学習済みの第二学習モデルに基づいて、前記判定領域が特定された判定用画像から、該判定領域の腐食状態を判定する判定手段、
として機能させる腐食状態判定プログラム。

【請求項6】

コンピュータに、
施工された部材の少なくとも一部が含まれる画像と、該画像に含まれる部材の施工状況と、該画像における部材の判定領域が特定された画像と、該判定領域の腐食状態とを含む教師データを取得する処理、
前記教師データに含まれる前記施工された部材の少なくとも一部が含まれる画像と前記施工状況とに基づいて、該画像を入力した場合に、該画像に含まれる部材の施行状況の情報を出力する第一学習モデルを生成する処理、
前記教師データに含まれる前記判定領域が特定された画像と前記施工状況と前記腐食状態とに基づいて、該判定領域が特定された画像及び該施工状況が入力された場合に、該判定領域の腐食状態の情報を出力する第二学習モデルを生成する処理、
を実行させる学習モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、施工された部材の腐食状態を判定する腐食状態判定装置等に関する。

【背景技術】

【0002】

蒸気プラント等の配管などは、定期的に腐食診断が行われている。例えば、検査員が、端末装置を用いて配管の外表面を撮像し、画像に基づいて診断を行っている。診断結果は、配管の腐食状態を管理するシステム上に検査員による手入力により登録される。

【0003】

また、撮像された設備の画像から設備の劣化度合いがＡＩ（Artificial Intelligence）によって判定される構成も開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－８６３７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の検査員による診断の構成では、検査員によって診断にばらつきがあった。これは、検査員の経験値や個人差によるものである。

【0006】

また、上述の撮像された設備の画像から劣化度合いが判定される構成では、設備がどのように設置されているかが考慮されない。配管などの部材は、施行状況によって腐食し易い箇所が異なってくる。例えば、配管の固定の仕方の違いによって、腐食し易い箇所が異なってくる場合がある。

【0007】

この発明は、施工された部材の施工状況に応じて腐食状態を好適に判定することができる腐食状態判定装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の側面によって提供される腐食状態判定装置は、施工された部材の少なくとも一部が含まれるように撮像された判定用画像を取得する取得手段、施工された部材の少なくとも一部が含まれる画像と画像に含まれる部材の施行状況とを学習済みの第一学習モデルに基づいて、判定用画像から判定用画像に含まれる部材の施行状況を特定する第一特定手段、特定された施行状況に対応付けられた領域特定情報に基づいて、判定用画像における部材の判定領域を特定する第二特定手段、施工された部材の少なくとも一部が含まれる画像における判定領域が特定された画像と画像の判定領域の腐食状態とを学習済みの第二学習モデルに基づいて、判定領域が特定された判定用画像から、判定領域の腐食状態を判定する判定手段、を備える。

【0009】

上記第二学習モデルは、判定領域が特定された判定用画像及び特定された施行状況が入力された場合、施行状況に対応付けられた基準画像に含まれる対比領域と判定用画像の判定領域との対比によって、判定領域の腐食状態の情報を出力するようにしてもよい。

【0010】

上記領域特定情報は、施工状況毎に対応付けられた領域特定用画像であり、上記第二特定手段は、特定された施行状況に対応付けられた領域特定用画像と判定用画像との対比によって、判定用画像における判定領域を特定するようにしてもよい。

【0011】

上記取得手段は、判定用画像に含まれる部材に関する部材情報も取得し、上記第一学習モデルは、判定用画像及び部材情報が入力された場合、判定用画像に含まれる部材の施行状況の情報を出力するようにしてもよい。

【0012】

本発明の第２の側面によって提供される腐食状態判定プログラムは、コンピュータを、施工された部材の少なくとも一部が含まれるように撮像された判定用画像を取得する取得手段、施工された部材の少なくとも一部が含まれる画像と画像に含まれる部材の施行状況とを学習済みの第一学習モデルに基づいて、判定用画像から判定用画像に含まれる部材の施行状況を特定する第一特定手段、特定された施行状況に対応付けられた領域特定情報に基づいて、判定用画像における部材の判定領域を特定する第二特定手段、施工された部材の少なくとも一部が含まれる画像における判定領域が特定された画像と画像の判定領域の腐食状態とを学習済みの第二学習モデルに基づいて、判定領域が特定された判定用画像から、判定領域の腐食状態を判定する判定手段、として機能させる。

【0013】

本発明の第３の側面によって提供される学習モデルの生成方法は、コンピュータに、施工された部材の少なくとも一部が含まれる画像と、画像に含まれる部材の施工状況と、画像における部材の判定領域が特定された画像と、判定領域の腐食状態とを含む教師データを取得する処理、教師データに含まれる施工された部材の少なくとも一部が含まれる画像と施工状況とに基づいて、画像を入力した場合に、画像に含まれる部材の施行状況の情報を出力する第一学習モデルを生成する処理、教師データに含まれる判定領域が特定された画像と施工状況と腐食状態とに基づいて、判定領域が特定された画像及び施工状況が入力された場合に、判定領域の腐食状態の情報を出力する第二学習モデルを生成する処理、を実行させる。

【発明の効果】

【0014】

この発明によれば、施行状況に応じた腐食が発生し易い箇所（判定領域）の腐食状態が判定されるので、部材の腐食状態を好適に判定することができる。

【図面の簡単な説明】

【0015】

【図1】この発明の実施形態に係る腐食状態判定システムの概略図である。

【図2】この発明の実施形態に係るサーバ装置のブロック図である。

【図3】この発明の実施形態に係る端末装置のブロック図である。

【図4】この発明の実施形態に係る判定用画像及び判定領域の一例を示す図である。

【図5】この発明の実施形態に係る施工状況ＩＤ及び施工状況の一例を示す図である。

【図6】この発明の実施形態に係る第一学習モデルの概要を示す図である。

【図7】この発明の実施形態に係る第二学習モデルの概要を示す図である。

【図8】この発明の実施形態に係る判定処理を示すフローチャートである。

【図9】この発明の実施形態に係る判定処理の説明図である。

【図10】この発明の実施形態に係る生成処理を示すフローチャートである。

【発明を実施するための形態】

【0016】

図面を参照してこの発明の実施形態に係る腐食状態判定装置（腐食状態判定プログラム）、学習モデルの生成方法について説明する。なお、この発明の構成は、実施形態に限定されるものではない。また、以下で説明するフローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

【0017】

図１は、この発明の実施形態に係る腐食状態判定システム１００の概略図である。腐食状態判定システム１００は、サーバ装置１０と、複数の端末装置２０とを有している。端末装置２０は、カメラ機能を備えている。サーバ装置１０及び端末装置２０は、インターネット等の通信ネットワーク３００を介して通信可能に接続されている。

【0018】

腐食状態判定システム１００は、施工された部材の腐食状態を判定する。腐食状態は、金属製の部材の錆、錆コブによる腐食状態（外面腐食）である。本実施形態の腐食状態判定システム１００は、例えば、蒸気プラント、化学プラント等のプラントを形成する配管、タンク等の部材の腐食状態を判定することができる。

【0019】

本実施形態では、端末装置２０を用いて、部材の少なくとも一部が含まれるように撮像された画像を用いて腐食状態が判定される。以下、腐食状態を判定する画像を判定用画像と称する。判定用画像は、例えば検査員によって撮像される。検査員は、端末装置２０の撮像機能を用いて撮像を行う。また、撮像された判定用画像は、判定要求とともに、端末装置２０からサーバ装置１０に送信される。そして、サーバ装置１０が、判定用画像に対して腐食状態を判定する。

【0020】

本実施形態では、判定用画像の全体ではなく、判定用画像に含まれる判定領域に対して腐食状態が判定される。判定領域は、判定用画像に含まれる部材の領域のうち、腐食が発生し易い箇所を示す領域である。すなわち、腐食が発生し易い箇所は、部材の全体において腐食が最も進み易い箇所でもある。腐食が発生し易い箇所（判断領域）は、部材の施工状況によって異なってくる。施工状況は、施工された部材の設置状況、他の部材との接続状況などである。

【0021】

例えば、図４（Ａ－１）、図４（Ｂ－１）、図４（Ｃ－１）の判定用画像の判定領域について説明する。

【0022】

図４（Ａ－１）で例示された配管Ｐ１の一部が含まれる判定用画像では、ＵバンドＵ１で固定された部分周辺のうち、図４（Ａ－２）に示すように側面部分が判定領域Ｊ１となる。配管Ｐ１は、水平方向に設置されたストレート形状の配管であり、ＵバンドＵ１で固定されている施工状況となる。このような施工状況では、ＵバンドＵ１と配管Ｐ１との隙間に水分が滞留し、判定領域Ｊ１に腐食が発生し易い。

【0023】

また、図４（Ｂ－１）で例示された配管Ｐ２の一部が含まれる判定用画像では、図４（Ｂ－２）に示すように、ダミーサポート管Ｓ２との接続部分が判定領域Ｊ２となる。配管Ｐ２は、鉛直方向に設置された略Ｌ字形状の接続管（エルボ配管）であり、ダミーサポート管Ｓ２によって支持（固定）されている施工状況である。このような施工状況では、ダミーサポート管Ｓ２内部に入った湿気によって判定領域Ｊ２に腐食が発生し易い。

【0024】

さらに、例えば、図４（Ｃ－１）で例示されたタンクＴ３の一部が含まれる判定用画像では、図４（Ｃ－２）に示すように、タンクＴ３上面部分が判定領域Ｊ３となる。タンクＴ３は、平置きされ、上部のノズルＮ３に配管Ｐ３が接続されている施工状況である。このような施工状況では、水滴が配管Ｐ３側からタンクＴ１の上面に流れ落ちてくるので、判定領域Ｑ３に腐食が発生し易い。

【0025】

上述の例のように、部材の施工状況によって腐食が発生し易い箇所は異なってくる。本実施形態では、上述したように、部材における腐食が発生し易い箇所（判定領域）に対して腐食状態の判定が行われる。

【0026】

サーバ装置１０は、判定用画像に含まれる部材の施工状況を判定用画像から特定し、施工状況から判定用画像に含まれる判定領域を特定する。その後、サーバ装置１０は、判定領域の腐食状態を判定する。

【0027】

腐食状態は、例えば、良・可・不可の３段階で判定される。「良」は、腐食がほとんどない状態を示す。「可」は、腐食が生じているが補修の必要はなく継続して使用可能な状態を示す。「不可」は、腐食が進んでおり、補修が必要な状態を示す。なお、腐食状態は３段階でなくてよい。

【0028】

また、腐食状態判定システム１００では、ＡＩ（Artificial Intelligence）を利用して判定用画像の施工状況の特定、及び、腐食状態の判定が行われる。

【0029】

検査員は、例えば、プラントのマップを端末装置２０に表示させ、マップ上に表示された撮像位置に移動し、端末装置２０を用いて部材の撮像を行えばよい。マップ上には複数の撮像位置が表示され、検査員は順に撮像位置に移動して撮像していけばよい。また、例えば、マップ上の撮像位置（タッチパッド）をタップすることで、この撮像位置で撮像するべき見本画像等の情報が端末装置２０に表示される。検査員は、見本画像と同様の構図で撮像を行えばよい。

【0030】

〈サーバ装置の構成〉
図２は、サーバ装置１０のブロック図である。サーバ装置１０は、腐食状態判定装置として機能し、判定用画像から部材の判定領域の腐食状態の判定を行う。サーバ装置１０は、制御部１１、記憶部１２及び通信制御部１３等を有する。

【0031】

制御部１２は、ＣＰＵ、メモリ（ＲＡＭ）等から構成され、装置全体の動作を制御する。詳細は後述する。

【0032】

記憶部１２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、各種プログラム及び各種情報が記憶されている。具体的には、記憶部１２には、腐食状態判定プログラムが記憶されている。腐食状態判定プログラムには、第一学習モデルＤＬ１のプログラムモジュール及び第二学習モデルＤＬ２のプログラムモジュールが含まれる。また、記憶部１２には、腐食状態の判定結果が記憶される。判定結果は、例えば、撮像位置、撮像日時、判定用画像に対応付けて記憶される。

【0033】

通信制御部１３は、通信回路を有し、通信ネットワーク３００を介して端末装置２０等の他の装置と間の通信を制御する。

【0034】

〈サーバ装置の制御部の機能〉
制御部１１は、上述の腐食状態判定プログラムを実行することで、取得部１１１、第一特定部１１２、第二特定部１１３、判定部１１４として少なくとも機能する。

【0035】

取得部（取得手段）１１１は、施工された部材の少なくとも一部が含まれるように撮像された判定用画像を取得する。本実施形態では、取得部１１１は、判定要求とともに端末装置２０から送信される判定用画像を取得する。

【0036】

第一特定部（第一特定手段）１１２は、第一学習モデルＤＬ１に基づいて、判定用画像から、この判定用画像に含まれる部材の施行状況を特定する。

【0037】

第一学習モデルＤＬ１は、多くの教師データを与えて機械学習（例えばディープラーニング）が行われたニューラルネットワーク（Neural Network）である。第一学習モデルＤＬ１は、例えば、図５に示すように、入力層ＤＬ１１、中間層ＤＬ１２及び出力層ＤＬ１３等から構成される。入力層ＤＬ１１には、判定用画像が入力される。

【0038】

中間層ＤＬ１２は、判定用画像に含まれる部材の施行状況の情報が出力層ＤＬ１３から出力されるように、上述の学習によってチューニングされたパラメータ（重み等）が設定されている。出力層ＤＬ１３は、上述の判定画像が入力層ＤＬ１１に入力されると、施行状況の情報を出力する。例えば、施工状況を特定する識別情報（施工状況ＩＤ）が出力される。施工状況ＩＤは、例えば、図７に示すように施工状況ごとに対応付けられる。

【0039】

第二特定部（第二特定手段）１１３は、判定用画像における部材の判定領域を特定する。具体的には、第二特定部１１３は、第一特定部１１２で特定された施工状況（施工状況ＩＤ）が対応付けられた領域特定情報を取得する。そして、第二特定部１１３は、この領域特定情報に基づいて、判定用画像における判定領域を特定する。

【0040】

領域特定情報は、判定用画像において判定領域を特定するための情報である。例えば、対比用の領域特定用画像が領域特定情報に該当する。領域特定用画像は、判定用画像と同様な、施工された部材の少なくとも一部を含む画像である。また、領域特定用画像には、判定領域に該当する画素に判定領域を示す情報が付加されている。各領域特定用画像は、施行状況ＩＤに対応付けて記憶部１２に記憶されている。すなわち、領域特定用画像は、施工状況ごとに用意されている。なお、本実施形態の領域特定用画像は、実際に撮像された画像を用いているが、撮像ではなく、生成された画像を用いてもよい。

【0041】

第二特定部１１３は、第一特定部１１２で特定された施行状況（施工状況ＩＤ）が対応付けられた領域特定用画像を記憶部１２から取得する。そして、第二特定部１１３は、判定用画像と取得した領域特定用画像とを対比し、判定用画像における判定領域を特定する画像解析を行う。そして、第二特定部１１３は、例えば、判定用画像に対し、判定領域に該当する画素に判定領域を示す情報を付加する。これにより、判定領域が特定された判定用画像が生成される。なお、判定用画像に判定領域を示す情報を付加する構成でなくてもよい。例えば、判定用画像の座標系における判定領域に該当する座標情報を抽出する。そして、判定用画像と座標情報とを対応付けてもよい。

【0042】

判定部１１４は、第二学習モデルＤＬ２に基づいて、判定領域が特定された判定用画像から、この判定領域の腐食状態を判定する。

【0043】

第二学習モデルＤＬ２は、多くの教師データを与えて機械学習（例えばディープラーニング）が行われたニューラルネットワーク（Neural Network）である。第二学習モデルＤＬ２は、例えば、図６に示すように、入力層ＤＬ２１、中間層ＤＬ２２及び出力層ＤＬ２３等から構成される。入力層ＤＬ２１には、判定領域が特定された判定用画像及び上記特定された施工状況が入力される。より具体的にには、判定領域に該当する画素に判定領域を示す情報が付加された判定用画像及び施工状況ＩＤが入力される。

【0044】

中間層ＤＬ２２は、判定用画像の判定領域の腐食状態の情報が出力層ＤＬ２３から出力されるように、上述の学習によってチューニングされたパラメータ（重み等）が設定されている。中間層ＤＬ２２は、入力された施工状況ＩＤに対応する、「腐食状態＝良」の基準画像、「腐食状態＝可」の基準画像及び「腐食状態＝不可」の基準画像をそれぞれ参照し、判定領域に近い基準画像の腐食状態を、この判定領域の腐食状態として判定する。より具体的には、判定領域と上述の３つの基準画像のそれぞれに含まれる対比領域とを対比することで、これらの基準画像の中から判定領域に最も近い基準画像を特定する。

【0045】

基準画像は、判定用画像と同様な、施工された部材の少なくとも一部を含む画像である。基準画像には、対比領域に該当する画素に対比領域を示す情報が付加されている。各基準画像は、施工状況ＩＤ及び腐食状態に対応付けられて記憶部１２に記憶されている。すなわち、「腐食状態＝良」の基準画像、「腐食状態＝可」の基準画像及び「腐食状態＝不可」の基準画像は、施工状況ごとに用意されている。なお、本実施形態の基準画像は、実際に撮像された画像を用いているが、撮像ではなく、生成された画像を用いてもよい。また、基準画像には、部材の画像は含まれていなくてもよい。すなわち、対比領域だけを含む画像を基準画像としてもい。

【0046】

出力層ＤＬ２３は、上述の判定画像が入力層ＤＬ２１に入力されると、判定領域の腐食状態の情報を出力する。例えば、腐食状態を示す３段階のいずれかを示す数値（良：２、可：１、不可：０）が出力される。

【0047】

制御部１１は、判定結果を、判定要求をサーバ装置１０に送信した端末装置２０に送信する。

【0048】

なお、上述の第一学習モデルＤＬ１及び第二学習モデルＤＬは、例えば、サーバ装置１０によって教師データを用いて生成される。教師データは、例えば、施工された部材の少なくとも一部が含まれる画像と、この画像に含まれる部材の施工状況と、この画像における部材の判定領域が特定された画像と、この判定領域の腐食状態とを含むデータである。教師データは、記憶部１２に記憶しておけばよい。学習モデルの生成処理については後述する。

【0049】

また、第一学習モデルＤＬ１及び第二学習モデルＤＬには、ＣＮＮ（Convolution Neural Network）、ＳＶＭ（Support Vector Machine）、決定木など、種々の学習アルゴリズムに基づくモデル等を適用してもよい。

【0050】

〈端末装置の構成〉
図３は、端末装置２０のブロック図である。端末装置２０は、例えば、携帯可能なタブレット型の端末装置である。端末装置２０は、施工されている部材の判定用画像の撮像し、サーバ装置１０に判定要求を送信するために用いられる。端末装置２０は、制御部２１、記憶部２２、通信制御部２３、操作部２４、撮像部（カメラ）２５及び表示部２６等を有する。なお、端末装置２０は、内蔵バッテリ（不図示）によって駆動する。

【0051】

制御部２２は、ＣＰＵ、メモリ（ＲＡＭ）等から構成され、装置全体の動作を制御する。詳細は後述する。

【0052】

記憶部２２は、例えば、フラッシュメモリ等であり、各種プログラム及び各種情報が記憶されている。具体的には、記憶部２２には、判定要求プログラムが記憶されている。また、記憶部２２には、プラントのマップ、見本画像等が記憶されている。また、記憶部２２には、撮像された判定用画像が記憶される。

【0053】

通信制御部２３は、無線通信回路を有し、通信ネットワーク３００を介してサーバ装置１０等の他の装置と間の通信を制御する。

【0054】

操作部２４は、タッチパッド等を備え、ユーザ（検査員）からの操作入力を受け付ける。検査員はタッチパッドをタッチすることによって、マップ表示操作、撮像操作、判定要求等を行う。

【0055】

撮像部２５は、光学レンズ、ＣＣＤイメージセンサ（ＣＣＤ）及び撮像信号処理部等を備え、撮像された画像データを生成する。

【0056】

表示部２６は、例えば、液晶表示画面等であり、各種情報を表示する。表示部２６は、例えば、プラントのマップ、判定用画像の判定結果を表示する。

【0057】

〈端末装置の制御部の機能〉
制御部２１は、上述の判定要求プログラムを実行することで、撮像実行部２１１、要求送信部２１２及び表示制御部２１３として少なくとも機能する。

【0058】

撮像実行部２１１は、撮像部２５に部材を撮像させ、撮像された画像を判定用画像として撮像位置、撮像日時とともに記憶部２２に記憶する。例えば、検査員が、表示部２６に表示された撮像ボタン（タッチパッド）をタップ（撮像操作）することで撮像が実行される。要求送信部２１２は、撮像された判定用画像を、通信制御部２３を介してサーバ装置１０に送信する。要求送信部２１２は、例えば、端末装置２０の識別情報、判定要求、撮像位置、撮像日時等とともに判定用画像を送信する。表示制御部２１３は、表示部２６の表示制御を行う。例えば、表示制御部２１３は、マップ表示操作に基づいて、表示部２６にマップを表示させる。また、例えば、表示制御部２１３は、判定結果を受信した場合、表示部２６に判定結果等の情報を表示させる。

【0059】

なお、撮像位置は、例えば、検査員が入力してもよいし、端末装置２０に内蔵されるＧＰＳ受信機を用いて算出された位置であってもよい。サーバ装置１０は、受信した判定用画像を、撮影位置、撮像日時とともに記憶部１２に記憶する。

【0060】

〈システムの動作〉
腐食状態判定システム１００の各種処理について説明する。図８は、腐食状態の判定処理のフローチャートを示す。サーバ装置１０は、例えば、いずれかの端末装置２０から判定要求及び判定用画像を受信した場合、判定処理を実行する。

【0061】

最初に、サーバ装置１０は、特定処理Ａを実行する（ステップＳ１０）。特定処理Ａでは、サーバ装置１０は、取得した判定用画像の施工状況（施工状況ＩＤ）を特定する。具体的には、サーバ装置１０は、取得した判定用画像を第一学習モデルＤＬ１に入力する。これにより、第一学習モデルＤＬ１から施工状況ＩＤが出力される。

【0062】

次に、サーバ装置１０は、特定処理Ｂを実行する（ステップＳ１１）。特定処理Ｂでは、サーバ装置１０は、判定用画像の判定領域を特定する。具体的には、サーバ装置１０は、特定処理Ａで特定した施工状況ＩＤに対応する領域特定用画像を記憶部１２から取得する。そして、サーバ装置１０は、判定用画像と取得した領域特定用用画像とを対比する画像解析を行って、判定用画像に対して判定領域に該当する画素に判定領域を示す情報が付加された（判定領域が特定された）判定用画像を生成する。

【0063】

次に、サーバ装置１０は、判定処理を実行する（ステップＳ１２）。判定処理では、サーバ装置１０は、取得した判定用画像の判定領域の腐食状況を判定する。具体的には、サーバ装置１０は、判定領域に該当する画素に判定領域を示す情報が付加された判定用画像及び施工状況ＩＤを、第二学習モデルＤＬ２に入力する。これにより、第二学習モデルＤＬ２から腐食状態を示す数値（判定結果）が出力される。判定処理では、判定結果が判定用画像等に対応付けて記憶部１２に記憶される。

【0064】

次に、サーバ装置１０は、送信処理を実行する（ステップＳ１３）。送信処理では、サーバ装置１０は、判定処理での判定結果を、判定要求を行った端末装置２０に送信する。その後、サーバ装置１０は、判定処理を終了する。

【0065】

例えば、図４（Ａ－１）で例示した判定用画像の判定要求がされた場合について図９を参照しつつ説明する。

【0066】

サーバ装置１０は、取得した図４（Ａ－１）で例示した判定用画像を第一学習モデルＤＬ１に入力する。これにより、第一学習モデルＤＬ１から「施工状況ＩＤ＝０００１」が出力される。次に、サーバ装置１０は、「施工状況ＩＤ＝０００１」に基づく領域特定用画像を用いて判定用画像に対する画像解析を行う。これによって、図４（Ａ－２）に例示したような判定領域Ｊ１が特定された判定用画像が生成される。次に、サーバ装置１０は、判定領域Ｊ１が特定された判定用画像及び「施工状況ＩＤ＝０００１」を、第二学習モデルＤＬ２に入力する。これにより、第二学習モデルＤＬ２から腐食状態を示す数値（例えば、不可：０）が出力される。

【0067】

〈学習モデルの生成〉
図１０は、第一学習モデルＤＬ１及び第二学習モデルＤＬ２の生成処理の手順を示すフローチャートである。

【0068】

サーバ装置１０は、教師データを取得する（ステップＳ２０）。教師データには、施工された部材の少なくとも一部が含まれる画像と、この画像に含まれる部材の施行状況（例えば、正解を示す施工状況ＩＤ）と、この画像における部材の判定領域が特定された画像と、この判定領域の腐食状態（例えば、正解を示す腐食状態の数値）とが含まれる。施工された複数の部材に関する教師データが記憶部１２に記憶されている。

【0069】

次に、サーバ装置１０は、生成処理Ａを実行する（ステップＳ２１）。生成処理Ａでは、第一学習モデルＤＬ１が生成される。生成処理Ａでは、上述の教師データのうち、施工された部材の少なくとも一部が含まれる画像と施工状況とが、第一学習モデルＤＬ１の教師用のデータとして用いられる。サーバ装置１０は、教師用の施工された部材の少なくとも一部が含まれる画像を第一学習モデルＤＬ１に入力し、この画像に含まれる部材の施行状況の情報（施工状況ＩＤ）を出力として取得する。サーバ装置１０は、取得した施行状況ＩＤを、正解値（正解の施行状況ＩＤ）と比較し、中間層ＤＬ１２の重み等のパラメータを最適化する。

【0070】

次に、サーバ装置１０は、生成処理Ｂを実行する（ステップＳ２２）。生成処理Ｂでは、第二学習モデルＤＬ２が生成される。生成処理Ｂでは、上述の教師データのうち、判定領域が特定された画像と施工状況と腐食状態とが、第二学習モデルＤＬ２の教師用のデータとして用いられる。サーバ装置１０は、教師用の判定領域が特定された画像と施行状況とを第二学習モデルＤＬ２に入力し、この判定領域の腐食状態の情報（数値）を出力として取得する。サーバ装置１０は、取得した腐食状態（数値）を、正解値（正解の腐食状態の数値）と比較し、中間層ＤＬ２２の重み等のパラメータを最適化する。その後、サーバ装置１０は、生成処理を終了する。

【0071】

以上のように、施工された部材に関して、施行状況に応じた腐食が発生し易い箇所（判定領域）の腐食状態が判定される。腐食が発生し易い箇所は部材の全体において腐食が最も進み易い箇所でもあるので、判定領域の腐食状態を判定することで部材の腐食状態を好適に判定することができる。

【0072】

なお、上述の実施形態では、サーバ装置が腐食状態を判定しているが、特にこれに限定されるものではない。例えば、上述の端末装置などの他の装置が腐食状態を判定してもよい。端末装置が腐食状態を判定する場合、端末装置が部材の撮像を行い、取得した判定用画像に対して腐食状態を判定する。そして、端末装置からサーバ装置へ判定結果を判定用画像とともに送信すればよい。

【0073】

上述の実施形態では、サーバ装置が第一学習モデル及び第二学習モデルを生成しているが、特にこれに限定されるものではない。端末装置などの他の装置が生成してもよい。

【0074】

上述の実施形態では、第二特定部での画像解析において、学習モデルが用いられていないが、学習モデルを用いた構成としてもよい。

【0075】

上述の実施形態では、教師データを用いて第一学習モデル及び第二学習モデルが生成されるが、教師データを用いないモデルであってもよい。例えば、強化学習によって学習モデルが生成されるようにしてもよい。

【0076】

上述の実施形態の判定用画像は、施工された部材の少なくとも一部が含まれる画像であればよく、部材の全てが含まれる画像を判定用画像としてもよい。

【0077】

上述の実施形態では、３つ腐食状態に対応する基準画像が用いられているが、基準画像は１つだけであってもよい。この場合、判定領域の腐食状態が、１つの基準画像の対比領域の腐食状態に対して、酷い、同等、良好（腐食してない）のうちのいずれかで判定されるようにすればよい。

【0078】

上述の実施形態では、判定用画像に１の判定領域が含まれる構成であったが、判定領域は判定用画像に２以上含まれる構成であってもよい。

【0079】

上述の実施形態では、プラントを形成する部材の腐食状態が判定されているが、特にこれに限定されるものではない。腐食が発生する部材が施工される構成であれば、本発明を適用可能である。

【0080】

上述の実施形態では、第一学習モデルに判定用画像のみが入力されるが、特にこれに限定されるものではない。例えば、判定用画像とともに、部材に関連する情報（部材情報）を第一学習モデルに入力してもよい。部材情報は、部材の種類、材質大きさ（例えば径など）、内部流体、表面温度等の情報がある。

【0081】

例えば、部材の種類を部材情報として用いる場合、教師データには、施工された部材の少なくとも一部が含まれる画像と、この部材の部材情報と、この画像に含まれる部材の施行状況（例えば、正解を示す施工状況ＩＤ）と、この画像における部材の判定領域が特定された画像と、この判定領域の腐食状態（例えば、正解を示す腐食状態の数値）とが含まれる。部材の種類は、配管タイプ（ストレート配管、エルボ配管）、タンクなどである。判定用画像に加え、部材情報も入力することで、第一学習モデルにおいて、施工状況の特定の精度が向上する。

【0082】

また、部材情報は、第二特定手段における画像解析に用いてもよい。例えば、施工状況及び部材情報ごとに領域特定用画像を用意しておく。そして、特定された施行状況及び部材情報に対応付けられた領域特定用画像と判定用画像との対比によって、判定用画像における判定領域を特定するようにしてもよい。これにより、同じストレート配管であっても、形成されている材質などによって異なる判定領域を設定できる。例えば、錆び難い材質の配管と錆び易い材質の配管とで、大きさ（面積）の異なる判定領域を設定してもよい。

【0083】

また、第二学習モデルに関しても、判定領域が特定された判定用画像及び施工状況が入力されるが、特にこれに限定されるものではない。例えば、判定用画像及び施工状況とともに、上述の部材情報を第二学習モデルに入力してもよい。例えば、施工状況及び部材情報ごとに基準画像を用意しておく。そして、施工状況及び部材情報に対応する、「腐食状態＝良」の基準画像、「腐食状態＝可」の基準画像及び「腐食状態＝不可」の基準画像を参照し、判定領域に近い基準画像の腐食状態を、判定領域の腐食状態として判定すればよい。これにより、材質なども考慮されて腐食状態が判定されるので、腐食状態の判定の精度が向上する。

【0084】

なお、部材情報は、第一学習モデル（第一特定部）、第二特定部、第二学習モデル（判定部）の全てで用いてもよく、いずれかのみで用いてもよい。また、各部に用いられる部材情報は、それぞれ異なる情報であってもよい。例えば、第一学習モデルには、部材の種類を部材情報として入力する。また、第二特定部では、部材の材質を部材情報として用いる。第二学習モデルでは、部材の材質を部材情報として入力する。

【産業上の利用可能性】

【0085】

この発明は、施工された部材の施工状況に応じて腐食状態を好適に判定するのに有用である。

【符号の説明】

【0086】

１０ サーバ装置
２０ 端末装置
１００ 腐食状態判定システム
１１１ 取得部（取得手段）
１１２ 第一特定部（第一特定手段）
１１３ 第二特定部（第二特定手段）
１１４ 判定部（判定手段）
ＤＬ１ 第一学習モデル
ＤＬ２ 第二学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】