特許 7558050 学習装置、その制御方法、および制御プログラム、並びに推定装置、その制御方法、および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】学習装置、その制御方法、および制御プログラム、並びに推定装置、その制御方法、および制御プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240920BHJP

   A61B 1/045 20060101ALI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G02B 23/26 20060101ALI20240920BHJP

【ＦＩ】

G06N20/00 130

A61B1/045 614

G06T7/00 350B

G06T7/00 610

G02B23/26 Z

G02B23/26 D

【請求項の数】 9

(21)【出願番号】P 2020206241

(22)【出願日】2020-12-11

(65)【公開番号】P2022093132

(43)【公開日】2022-06-23

【審査請求日】2023-06-22

(73)【特許権者】

【識別番号】595011238

【氏名又は名称】クボタ環境エンジニアリング株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】大寺 文也

(72)【発明者】

【氏名】山本 高嗣

(72)【発明者】

【氏名】谷本 絢太

【審査官】多賀 実

(56)【参考文献】

【文献】特開２０１９－０２０２６４（ＪＰ，Ａ）

【文献】特開２０２０－０７６３４２（ＪＰ，Ａ）

【文献】永田 毅 ほか，「インフラ・製造現場における外観検査適用」，機械学習・人工知能 業務活用の手引き，株式会社情報機構，2017年11月27日，pp.164-166

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ａ６１Ｂ １／００－ １／３２

Ｆ０４Ｄ １／００－３５／００

Ｇ０２Ｂ ２３／２４－２３／２６

Ｇ０１Ｎ ２１／８４－２１／９５８

(57)【特許請求の範囲】

【請求項1】

対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを記憶する記憶部と、
前記教師データを用いて機械学習を行うことにより前記劣化度の推定モデルを作成する学習部と、を備え、
前記部品の内視鏡画像は、前記部品を撮影した複数の実画像から、前記部品の３次元モデルを構築し、構築された３次元モデルを展開することにより得られた２次元の仮想画像である、学習装置。

【請求項2】

前記部品の劣化度は、前記設備から取り出された当該部品から判定された劣化度である、請求項１に記載の学習装置。

【請求項3】

前記内視鏡画像は、偏光フィルタを介して撮影された画像である、請求項１または２に記載の学習装置。

【請求項4】

対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを用いて機械学習を行うことにより作成された前記劣化度の推定モデルを記憶する記憶部と、
前記内視鏡画像を取得する取得部と、
該取得部が取得した内視鏡画像と、前記記憶部が記憶する前記劣化度の推定モデルとを用いて、前記劣化度を推定する推定部と、を備え、
前記取得部が取得した内視鏡画像は、前記部品を撮影した複数の実画像から、前記部品の３次元モデルを構築し、構築された３次元モデルを展開することにより得られた２次元の仮想画像である、推定装置。

【請求項5】

前記取得部が取得した内視鏡画像は、偏光フィルタを介して撮影された画像である、請求項４に記載の推定装置。

【請求項6】

請求項１から３までの何れか１項に記載の学習装置としてコンピュータを機能させるための制御プログラムであって、前記学習部としてコンピュータを機能させるための制御プログラム。

【請求項7】

請求項４または５に記載の推定装置としてコンピュータを機能させるための制御プログラムであって、前記推定部としてコンピュータを機能させるための制御プログラム。

【請求項8】

学習装置の制御方法であって、
対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを前記学習装置の記憶部から読み出すステップと、
前記教師データを用いて機械学習を行うことにより前記劣化度の推定モデルを作成するステップとを含み、
前記部品の内視鏡画像は、前記部品を撮影した複数の実画像から、前記部品の３次元モデルを構築し、構築された３次元モデルを展開することにより得られた２次元の仮想画像である、学習装置の制御方法。

【請求項9】

推定装置の制御方法であって、
対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを用いて機械学習を行うことにより作成された前記劣化度の推定モデルを前記推定装置の記憶部から読み出すステップと、
前記内視鏡画像を取得するステップと、
前記内視鏡画像と、前記劣化度の推定モデルとを用いて、前記劣化度を推定するステップとを含み、
前記取得するステップにて取得された内視鏡画像は、前記部品を撮影した複数の実画像から、前記部品の３次元モデルを構築し、構築された３次元モデルを展開することにより得られた２次元の仮想画像である、推定装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、その制御方法、および制御プログラム、並びに推定装置、その制御方法、および制御プログラムに関する。また、本発明は、設備の診断に関する。

【背景技術】

【0002】

対象となる設備の内部を内視鏡カメラにて撮影した画像（以下、「内視鏡画像」と称する。）を用いて当該設備の内部の診断を行うことが知られている（例えば特許文献１・２を参照）。また、対象物を撮影した撮像画像を２つ学習モデルに入力し、該２つの学習モデルから出力された情報に基づいて、当該対象物における錆の発生領域を判定する錆検出システムが知られている（例えば特許文献３を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０２０２６４号公報

【文献】特開２０２０－０７６３４２号公報

【文献】特開２０２０－０２０７４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記診断を行うには作業者が多数の内視鏡画像を確認する必要があるため、上記診断に時間がかかることになっていた。また、判定された上記錆の発生領域から、上記対象物に対し、修復、修理、交換などの対策を行うべきか否かを診断するには、上記作業者の熟練度によって左右される。このため、当該診断がばらつく結果となっていた。

【0005】

本発明の一態様は、上記診断を迅速にかつ精度よく実行できる学習装置などを実現することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る学習装置は、対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを記憶する記憶部と、前記教師データを用いて機械学習を行うことにより前記劣化度の推定モデルを作成する学習部と、を備える。

【0007】

上記の構成によると、前記学習部にて作成された劣化度の推定モデルを利用することにより、前記部品の内視鏡画像から当該部品の劣化度を迅速かつ精度よく推定することができる。そして、推定された前記部品の劣化度に基づいて、前記部品を含む前記設備の診断を迅速かつ精度よく行うことができる。

【0008】

本態様に係る学習装置では、前記教師データは前記部品を識別する識別情報をさらに含んでもよい。この場合、前記設備の内部を撮影した内視鏡画像から、各部品の劣化度を推定することができる。従って、部品ごとに撮影を行う必要が無く、その結果、利便性が向上する。

【0009】

本態様に係る学習装置では、前記部品の劣化度は、前記設備から取り出された当該部品から判定された劣化度であってもよい。この場合、適切な前記劣化度を、前記教師データとして利用することができる。従って、前記設備の診断をさらに精度よく行うことができる。

【0010】

本態様に係る学習装置では、前記内視鏡画像は、偏光フィルタを介して撮影された画像であってもよい。この場合、前記内視鏡画像は、前記部品にて反射した偏光を抑制したものとなる。従って、精度の良好な前記劣化度の推定モデルを作成することができる。

【0011】

本態様に係る学習装置では、前記部品の内視鏡画像は、前記部品を撮影した複数の実画像から、前記部品の３次元モデルを構築し、構築された３次元モデルを展開することにより得られた２次元の仮想画像であってもよい。

【0012】

前記複数の実画像では、前記部品の一部が重複して撮影される可能性がある。これに対し、前記仮想画像では、前記部品の一部が重複することを回避できる。従って、教師データとして前記仮想画像を利用することにより、前記設備の診断をさらに精度よく行うことができる。

【0013】

本発明の別の態様に係る推定装置は、対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを用いて機械学習を行うことにより作成された前記劣化度の推定モデルを記憶する記憶部と、前記内視鏡画像を取得する取得部と、該取得部が取得した内視鏡画像と、前記記憶部が記憶する前記劣化度の推定モデルとを用いて、前記劣化度を推定する推定部と、を備える。

【0014】

上記の構成によると、前記劣化度の推定モデルを利用することにより、前記部品の内視鏡画像から当該部品の劣化度を迅速かつ精度よく推定することができる。そして、推定された前記部品の劣化度に基づいて、前記部品を含む前記設備の診断を迅速かつ精度よく行うことができる。

【0015】

本態様に係る推定装置では、前記取得部が取得した内視鏡画像は、偏光フィルタを介して撮影された画像であってもよい。この場合、前記内視鏡画像は、前記部品にて反射した偏光を抑制したものとなる。従って、前記劣化度を精度よく推定することができる。

【0016】

本態様に係る推定装置では、前記取得部が取得した内視鏡画像は、前記部品を撮影した複数の実画像から、前記部品の３次元モデルを構築し、構築された３次元モデルを展開することにより得られた２次元の仮想画像であってもよい。

【0017】

前記複数の実画像では、前記部品の一部が重複して撮影される可能性がある。これに対し、前記仮想画像では、前記部品の一部が重複することを回避できる。従って、前記仮想画像を利用することにより、前記劣化度を精度よく推定することができる。その結果、前記設備の診断をさらに精度よく行うことができる。

【0018】

本発明のさらに別の態様に係る学習装置の制御方法は、対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを前記学習装置の記憶部から読み出すステップと、前記教師データを用いて機械学習を行うことにより前記劣化度の推定モデルを作成するステップとを含む。

【0019】

上記の方法によれば、上述の学習装置と同様の効果を奏することができる。

【0020】

本発明の他の態様に係る推定装置の制御方法は、対象の設備の内部に含まれる部品を内視鏡カメラにて撮影した内視鏡画像と、当該部品の劣化の程度を示す劣化度とを含む教師データを用いて機械学習を行うことにより作成された前記劣化度の推定モデルを前記推定装置の記憶部から読み出すステップと、前記内視鏡画像を取得するステップと、前記内視鏡画像と、前記劣化度の推定モデルとを用いて、前記劣化度を推定するステップとを含む。

【0021】

上記の方法によれば、上述の推定装置と同様の効果を奏することができる。

【0022】

本発明の各態様に係る学習装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記学習装置が備える各部（ソフトウェア要素）として動作させることにより前記学習装置をコンピュータにて実現させる前記学習装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、本発明の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記推定装置が備える各部（ソフトウェア要素）として動作させることにより前記推定装置をコンピュータにて実現させる前記推定装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0023】

本発明の一態様によれば、設備の診断を迅速にかつ精度よく実行できるという効果を奏する。

【図面の簡単な説明】

【0024】

【図1】本発明の一実施形態にかかる劣化度学習システムの概略構成を示すブロック図である。

【図2】上記劣化度学習システムにおける点検用端末の概略構成を示すブロック図である。

【図3】上記劣化度学習システムにおける劣化度学習装置の概略構成を示すブロック図である。

【図4】上記構成の劣化度学習システムにおける設備の点検処理の流れの一例を示すフローチャートである。

【図5】上記構成の劣化度学習システムにおける劣化度の学習処理の流れの一例を示すフローチャートである。

【図6】上記劣化度学習システムにおける設備がポンプ装置である実施例における部品の写真を示す図である。

【図7】本発明の別の実施形態にかかる劣化度学習システムの概略構成を示すブロック図である。

【図8】上記劣化度学習システムにおける設備がポンプ装置である実施例における部品の写真を示す図である。

【図9】本発明の他の実施形態にかかる劣化度学習システムにおける点検用端末の概略構成を示すブロック図である。

【発明を実施するための形態】

【0025】

以下、本発明の実施の形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。

【0026】

〔実施形態１〕
本発明の一実施形態について、図１～図６を参照して説明する。

【0027】

（劣化度学習システム）
図１は、本実施形態にかかる劣化度学習システムの概略構成を示すブロック図である。劣化度学習システム１０は、対象となる設備Ａ内の各部品を内視鏡カメラ１１にて撮影した内視鏡画像と、該内視鏡画像に写っている部品の劣化度とを用いて機械学習を行い、これにより、上記劣化度の推定モデルを作成するシステムである。ここで、上記劣化度とは、上記部品の劣化の程度を数段階（例えば、軽度、中度、および重度の３段階）で示すものである。設備Ａの例としては、内部に内視鏡カメラ１１を挿入できる空間を有するポンプ装置、破砕装置、などが挙げられる。

【0028】

或る部品における複数箇所の複数の劣化度を用いて、当該部品の健全度がルールベースで判定される。また、設備Ａ内の複数の部品の健全度を用いて、設備Ａの健全度がルールベースで判定される。ここで、健全度とは、部品または設備Ａの性能レベルを表すものである。設備Ａの性能管理では、上記健全度に応じた対策が検討される。

【0029】

図１に示すように、劣化度学習システム１０は、内視鏡カメラ１１、点検用端末１２、および劣化度学習装置１３（学習装置・推定装置）を備える構成である。内視鏡カメラ１１は、ケーブル１４を介して点検用端末１２に接続されている。点検用端末１２、および劣化度学習装置１３は、通信ネットワーク１５を介して通信可能に接続されている。

【0030】

内視鏡カメラ１１は、設備Ａの外側から点検口などを介して設備Ａの内側に移動させて、対象設備Ａ内に設けられた種々の部品ｐ１～ｐ４を動画で撮影するものである。撮影された動画のデータは、ケーブル１４を介して点検用端末１２に送信される。なお、内視鏡カメラ１１は、設備Ａの狭隘部、配管の内部を観察するために広く利用されているので、その詳細を省略する。

【0031】

（点検用端末の概要）
図２は、点検用端末１２の概略構成を示すブロック図である。点検用端末１２は、設備Ａの点検に必要な各種情報を有すると共に、上記点検により得られた情報を取得して、通信ネットワーク１５上に送信するものである。図２に示すように、点検用端末１２は、制御部２１、記憶部２２、通信部２３、入力部２４、および表示部２５を備える構成である。

【0032】

制御部２１は、点検用端末１２の各種構成の動作を統括的に制御するものであり、例えばＣＰＵ（Central Processing Unit）及びメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。なお、制御部２１の詳細は後述する。

【0033】

記憶部２２は、情報を記録するものであり、ハードディスク、フラッシュメモリ等の記憶デバイスによって構成される。通信部２３は、インターネット等の通信ネットワーク１５を介して情報の送受信を行うものである。

【0034】

入力部２４は、ユーザが情報を入力するためのものである。タッチパネル、キーボード、ボタンスイッチ、バーコードリーダ、イメージセンサなどの入力インタフェースによって構成される。表示部２５は、情報を画面に表示するものであり、ＬＣＤ（Liquid Crystal Display）、ＬＥＤ（Light Emitting Diode）等の表示デバイスによって構成される。

【0035】

（点検用端末の詳細）
図２に示すように、制御部２１は、画像取得部３１、部品データ取得部３２、劣化度取得部３３、および点検データ作成部３４を備える構成である。

【0036】

画像取得部３１は、内視鏡カメラ１１にて撮影された動画のデータを取得するものである。画像取得部３１は、取得した動画をライブビュー画像として表示部２５を介して表示出力する。また、画像取得部３１は、取得した動画のデータを点検データ作成部３４に送出する。

【0037】

部品データ取得部３２は、設備Ａ内の部品に関するデータ（部品データ）を、入力部２４を介して取得するものである。当該部品情報の例としては、上記部品の識別情報（部品ＩＤ）、上記部品が設けられた設備Ａの識別情報（設備ＩＤ）、などが挙げられる。なお、上記部品ＩＤは部品名であってもよい。部品データ取得部３２は、取得した部品情報を点検データ作成部３４に送出する。

【0038】

劣化度取得部３３は、上記部品の劣化度を、入力部２４を介して取得するものである。具体的には、まず、作業員は、上記ライブビュー画像を参照して、上記部品の劣化度を判定する。そして、判定した上記部品の劣化度を作業員が入力部２４にて入力する。これにより、劣化度取得部３３が上記部品の劣化度を取得する。劣化度取得部３３は、取得した劣化度のデータを点検データ作成部３４に送出する。

【0039】

点検データ作成部３４は、上記部品のそれぞれに関する点検データを作成するものである。点検データ作成部３４は、作成した点検データを、通信部２３および通信ネットワーク１５を介して劣化度学習装置１３に送信する。

【0040】

具体的には、点検データ作成部３４は、まず、画像取得部３１からの動画のデータから或る部品の内視鏡画像のデータを、作業員から入力部２４を介しての指示に基づき作成する。上記内視鏡画像は、上記動画の全部または一部であってもよいし、上記動画から抽出された１または複数の静止画像であってもよい。

【0041】

次に、点検データ作成部３４は、作成した上記部品の内視鏡画像のデータと、部品データ取得部３２からの当該部品の部品データと、劣化度取得部３３からの当該部品の劣化度のデータとを含む点検データを作成する。このとき、点検データ作成部３４は、上記点検データを、表示部２５を介して表示して、作業員から入力部２４を介しての指示に基づき、上記点検データを修正してもよい。そして、点検データ作成部３４は、作成した点検データを通信部２３に送出する。

【0042】

（劣化度学習装置の概要）
図３は、劣化度学習装置１３の概略構成を示すブロック図である。劣化度学習装置１３は、点検用端末１２から通信ネットワーク１５を介して取得した点検データを用いて機械学習を行い、上記劣化度の推定モデルを作成する装置である。

【0043】

図３に示すように、劣化度学習装置１３は、制御部４１、記憶部４２、および通信部４３を備える構成である。なお、劣化度学習装置１３の制御部４１、記憶部４２、および通信部４３は、それぞれ、点検用端末１２の制御部２１、記憶部２２、および通信部２３と同様のハードウェア構成であるので、その説明を省略する。

【0044】

（劣化度学習装置の詳細）
図３に示すように、制御部４１は、点検データ取得部５１（取得部）、学習部５２、および劣化度推定部５３（推定部）を備える構成である。記憶部４２は、教師データ記憶部５５（記憶部）および学習モデル記憶部５６（記憶部）を備える構成である。

【0045】

点検データ取得部５１は、点検用端末１２からの点検データを、通信ネットワーク１５および通信部４３を介して取得するものである。点検データ取得部５１は、取得した点検データを教師データ記憶部５５に書き込む。

【0046】

学習部５２は、教師データ記憶部５５に記憶された多数の点検データのうち、内視鏡画像のデータと劣化度のデータとを教師データとして読み出して機械学習を行うものである。学習部５２は、該機械学習により劣化度の推定モデルを作成し、学習モデル記憶部５６に記憶する。なお、上記機械学習のアルゴリズムとしては、ニューラルネットワーク等の公知のものを利用できるため、当該アルゴリズムの詳細は省略する。

【0047】

劣化度推定部５３は、学習モデル記憶部５６に記憶された劣化度の推定モデルを用いて、内視鏡画像のデータから劣化度を推定するものである。推定した劣化度は、表示出力を行ってもよいし、通信部４３および通信ネットワーク１５を介して、点検用端末１２、その他の端末に送信してもよい。

【0048】

（設備点検処理）
図４は、上記構成の劣化度学習システム１０における設備Ａの点検処理の流れの一例を示すフローチャートである。

【0049】

図４に示すように、まず、作業員が内視鏡カメラ１１を設備Ａ内にて移動させることにより、点検用端末１２が部品の動画像のデータを取得する（Ｓ１１）。次に、点検用端末１２は、作業員からの指示により、動画像の全部もしくは一部、または１または複数の静止画像のデータを内視鏡データとし、該内視鏡データ、部品データ、劣化度を含む点検データを作成して、劣化度学習装置１３に送信する（Ｓ１２）。上記ステップＳ１・Ｓ２を、点検作業が終了するまで繰り返す（Ｓ１３）。その後処理を終了する。

【0050】

（劣化度学習処理）
図５は、上記構成の劣化度学習システム１０における劣化度の学習処理の流れの一例を示すフローチャートである。

【0051】

図５に示すように、劣化度学習装置１３は、多数の点検用端末１２から多数の点検データを収集し、記憶部４２に記憶する（Ｓ２１）。次に、劣化度学習装置１３は、記憶部４２に記憶された多数の点検データのうち、内視鏡画像のデータと劣化度のデータとを教師データとして読み出して機械学習を行う（Ｓ２２）。そして、劣化度学習装置１３は、該機械学習により劣化度の推定モデルを作成し、記憶部４２に記憶する（Ｓ２３）。その後、処理を終了する。

【0052】

（作用効果）
従って、本実施形態の劣化度学習システム１０では、劣化度学習装置１３の学習部５２にて作成された劣化度の推定モデルを利用することにより、上記部品の内視鏡画像から当該部品の劣化度を迅速かつ精度よく推定することができる。また、上記劣化度の判定のバラツキを抑えることができる。そして、推定された上記部品の劣化度に基づいて、上記部品を含む設備Ａの診断を迅速かつ精度よく行うことができる。

【0053】

（付記事項）
なお、学習部５２は、教師データ記憶部５５に記憶された多数の点検データのうち、部品名を追加の教師データとして読み出して、機械学習を行ってもよい。この場合、設備Ａの内部を撮影した内視鏡画像から、各部品の劣化度を推定することができる。従って、部品ごとに撮影を行う必要が無く、その結果、利便性が向上する。

【0054】

また、作業員は、設備Ａから取り出した部品を点検することにより劣化度を判定してもよい。

【0055】

図６は、設備Ａがポンプ装置である実施例における部品の写真を示す図である。図６では、上記ポンプ装置の部品である上部主軸および水中軸受台のそれぞれについて、内視鏡画像と、設備Ａから取り出された上記部品の写真とが示されている。

【0056】

図６を参照すると、作業員は、内視鏡画像に基づいて劣化度を判定するよりも、設備Ａから取り出された上記部品を目視して劣化度を判定する方が、劣化度の精度を向上できることが明らかである。従って、適切な上記劣化度を、上記教師データとして利用することができるので、設備Ａの診断をさらに精度よく行うことができる。

【0057】

また、設備Ａ内の各部品は、金属製であることが多い。このため、内視鏡カメラ１１に内蔵された照明デバイスからの光が上記部品の金属表面にて反射して、ハレーションが発生した撮影画像となる可能性がある。

【0058】

そこで、内視鏡カメラ１１は、偏光フィルタを介して撮影を行ってもよい。この場合、上記内視鏡画像は、上記部品にて反射した偏光を抑制したものとなる。従って、精度の良好な上記劣化度の推定モデルを作成することができる。

【0059】

〔実施形態２〕
本発明の別の実施形態について、図７・図８を参照して説明する。

【0060】

図７は、本実施形態にかかる劣化度学習システムの概略構成を示すブロック図である。図７に示す劣化度学習システム６０は、図１に示す劣化度学習システム１０に比べて、整備工場Ｍが新たに設けられている点が異なり、その他の構成は同様である。

【0061】

整備工場Ｍには、整備員ｍ１、対比物ｍ２、および整備用端末６１が配置されている。設備Ａから部品ｐ３が取り出されて整備工場Ｍに運搬される。整備員ｍ１は、運搬された部品ｐ３とその対比物ｍ２（例えば、新しい部品ｐ３）とを対比して、劣化度を判定する。整備員ｍ１は、判定した劣化度を整備用端末６１に入力する。

【0062】

整備用端末６１は、図２に示す点検用端末１２と同様に、制御部、記憶部、通信部、入力部、および表示部を備える構成である。本実施形態では、図２に示す点検用端末１２における劣化度取得部３３および点検データ作成部３４が、整備用端末６１に設けられている。

【0063】

図８は、設備Ａがポンプ装置である実施例における部品の写真を示す図である。図８では、上記ポンプ装置の部品である下部保護管および水中軸受台のそれぞれについて、内視鏡画像と、整備工場Ｍでの写真とが示されている。

【0064】

図８を参照すると、整備工場Ｍにおいて整備員ｍ１がポンプ装置から取り出された部品と新しい部品とを対比できるので、劣化度をさらに精度よく判定できることが理解できる。従って、さらに適切な上記劣化度を、上記教師データとして利用することができるので、設備Ａの診断をさらに精度よく行うことができる。

【0065】

〔実施形態３〕
本発明の別の実施形態について、図９を参照して説明する。

【0066】

図９は、本実施形態に係る劣化度学習システムにおける点検用端末の概略構成を示すブロック図である。本実施形態の点検用端末７１は、図２に示す点検用端末１２に比べて、画像取得部３１と点検データ作成部３４との間に、３Ｄモデリング部７２および２Ｄ展開部７３が新たに設けられている点が異なり、その他の構成は同様である。

【0067】

３Ｄモデリング部７２は、画像取得部３１からの動画像のデータを用いて、３Ｄ（３次元）モデリング処理を行い、３Ｄモデルを構築し、各部品の３Ｄ画像を作成するものである。３Ｄモデリング部７２は、作成した３Ｄ画像のデータを２Ｄ展開部７３に送出する。

【0068】

２Ｄ展開部７３は、３Ｄモデリング部７２からの３Ｄ画像のデータを用いて、３Ｄ画像を２Ｄ（２次元）の仮想画像に展開するものである。２Ｄ展開部７３は、展開された２Ｄの仮想画像のデータを点検データ作成部３４に送出する。

【0069】

内視鏡カメラ１１からの複数の実画像では、上記部品の一部が重複して撮影される可能性がある。これに対し、上記仮想画像では、上記部品の一部が重複することを回避できる。従って、教師データとして上記仮想画像を利用することにより、劣化度の推定モデルの精度をさらに向上することができ、設備Ａの診断をさらに精度よく行うことができる。

【0070】

なお、図７に示す劣化度学習システム６０における点検用端末１２に３Ｄモデリング部７２および２Ｄ展開部７３を新たに設けてもよい。

【0071】

〔ソフトウェアによる実現例〕
点検用端末１２、劣化度学習装置１３、および整備用端末６１の制御ブロック（特に制御部２１・４１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0072】

後者の場合、点検用端末１２、劣化度学習装置１３、および整備用端末６１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0073】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0074】

例えば、上記実施形態では、内視鏡カメラ１１にて撮影された画像を利用しているが、スキャナ、ドローンなどの任意の撮影装置にて撮影された画像を利用することもできる。

【0075】

また、内視鏡カメラ１１に内蔵または外付けされた照明デバイスに対し、動画像および／または静止画像の撮影時に所定の照明条件となるように点検用端末１２が制御してもよい。この場合、撮影された動画像および／または静止画像の明るさを揃えることができるので、劣化度をより精度よく推定することができる。

【0076】

また、上記実施形態１・２では、内視鏡カメラ１１から画像取得部３１が取得した動画像または静止画像をそのまま内視鏡画像として、学習部５２が推定モデルを作成し、かつ、劣化度推定部５３が劣化度を推定している。しかしながら、学習部５２および劣化度推定部５３が利用する内視鏡画像としては、上記動画像または静止画像に対して各種の画像処理を施した画像であってもよい。当該画像の例としては、上記動画像または静止画像に含まれる上記部品の画像に対し、錆、腐食等が発生している領域を特定し、特定した領域に対し、錆、腐食等の程度に応じて着色した画像が挙げられる。このような画像を内視鏡画像とした場合、劣化度の指標となる箇所が強調されるので、劣化度の推定の精度を向上させることができる。

【符号の説明】

【0077】

１０・６０ 劣化度学習システム
１１ 内視鏡カメラ
１２・７１ 点検用端末
１３ 劣化度学習装置（学習装置・推定装置）
１４ ケーブル
１５ 通信ネットワーク
２１・４１ 制御部
２２・４２ 記憶部
２３・４３ 通信部
２４ 入力部
２５ 表示部
３１ 画像取得部
３２ 部品データ取得部
３３ 劣化度取得部
３４ 点検データ作成部
５１ 点検データ取得部（取得部）
５２ 学習部
５３ 劣化度推定部（推定部）
５５ 教師データ記憶部（記憶部）
５６ 学習モデル記憶部（記憶部）
６１ 整備用端末
７２ ３Ｄモデリング部
７３ ２Ｄ展開部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】