特開 2024-171057 ワイヤロープ破断診断システム、診断方法および診断プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171057

(43)【公開日】2024-12-11

(54)【発明の名称】ワイヤロープ破断診断システム、診断方法および診断プログラム

(51)【国際特許分類】

   B66B 5/00 20060101AFI20241204BHJP

   B66C 13/00 20060101ALI20241204BHJP

   G06T 7/11 20170101ALI20241204BHJP

   G06V 10/26 20220101ALI20241204BHJP

   D06H 3/08 20060101ALI20241204BHJP

   E01D 11/04 20060101ALN20241204BHJP

【ＦＩ】

B66B5/00 D

B66C13/00 Z

G06T7/11

G06V10/26

D06H3/08

E01D11/04

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023087924

(22)【出願日】2023-05-29

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＨＵＮＤＥＲＢＯＬＴ

(71)【出願人】

【識別番号】000005902

【氏名又は名称】株式会社三井Ｅ＆Ｓ

(72)【発明者】

【氏名】滝澤 一樹

【テーマコード（参考）】

2D059

3B154

3F304

5L096

【Ｆターム（参考）】

2D059AA41

2D059GG39

3B154AB14

3B154BA53

3B154CA18

3B154CA23

3B154DA07

3F304BA09

5L096BA03

5L096BA18

5L096FA03

5L096FA19

5L096GA08

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】画像データのみを利用し、ユーザ負担の少ないワイヤロープ破断診断システム、診断方法および診断プログラムを提供することを目的とする。
【解決手段】本発明の一態様によれば、ワイヤロープ破断診断システムが提供され、次の各ステップを実行するように構成される。受付ステップでは、画像撮像装置にて得られたワイヤロープを対象とする画像データを受付け、除去ステップでは前記画像データのうち前記ワイヤロープ以外の背景を除去する。抽出ステップでは、前記背景が除去された画像データにおいて前記ワイヤロープの素線部分のみを抽出し、入力ステップでは前記抽出された前記素線部分のみをモデルに入力する。差分ステップでは前記モデルから出力される復元画像と前記素線部分のみの画像との間で差分画像を作成し、判定ステップでは前記差分画像から前記ワイヤロープの異常度を判定し、送信ステップでは前記判定結果をユーザに通知する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ワイヤロープ破断診断システムであって、
次の各ステップを実行するように構成され、
受付ステップでは、画像撮像装置にて得られたワイヤロープを対象とする画像データを受付け、
除去ステップでは、前記画像データのうち前記ワイヤロープ以外の背景を除去し、
抽出ステップでは、前記背景が除去された画像データにおいて前記ワイヤロープの素線部分のみを抽出し、
入力ステップでは、前記抽出された前記素線部分のみをモデルに入力し、
差分ステップでは、前記モデルから出力される復元画像と前記素線部分のみの画像との間で差分画像を作成し、
判定ステップでは、前記差分画像から前記ワイヤロープの異常度を判定し、
送信ステップでは、前記判定結果をユーザに通知する、ワイヤロープ破断診断システム。

【請求項2】

請求項１に記載のワイヤロープ破断診断システムであって、
前記判定ステップにおける前記異常度の判定が、マハラノビス距離をもとにした、ワイヤロープ破断診断システム。

【請求項3】

請求項１～２のいずれかひとつに記載のワイヤロープ破断診断システムであって、
前記除去ステップにおいて、前記ワイヤロープおよび前記背景の特定を、画像セグメンテーションにより行う、ワイヤロープ破断診断システム。

【請求項4】

請求項３に記載のワイヤロープ破断診断システムであって、
前記画像セグメンテーションが、予め学習させた学習済みデータに基づいてなされる、ワイヤロープ破断診断システム。

【請求項5】

請求項４に記載のワイヤロープ破断診断システムであって、
前記画像セグメンテーションは、学習ステップをさらに備え、
前記学習ステップでは、前記画像セグメンテーション後の画像データを教師データとして、前記学習済みデータを生成又は更新する、ワイヤロープ破断検出システム。

【請求項6】

請求項１～２のいずれかひとつに記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断システム。

【請求項7】

請求項３に記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断システム。

【請求項8】

請求項４に記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断システム。

【請求項9】

請求項５に記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断システム。

【請求項10】

ワイヤロープ破断診断方法であって、
次の各ステップを実行するように構成され、
受付ステップでは、画像撮像装置にて得られたワイヤロープを対象とする画像データを受付け、
除去ステップでは、前記画像データのうち前記ワイヤロープ以外の背景を除去し、
抽出ステップでは、前記背景が除去された画像データにおいて前記ワイヤロープの素線部分のみを抽出し、
入力ステップでは、前記抽出された前記素線部分のみをモデルに入力し、
差分ステップでは、前記モデルから出力される復元画像と前記素線部分のみの画像との間で差分画像を作成し、
判定ステップでは、前記差分画像から前記ワイヤロープの異常度を判定し、
送信ステップでは、前記判定結果をユーザに通知する、ワイヤロープ破断診断方法。

【請求項11】

請求項１０に記載のワイヤロープ破断診断方法であって、
前記判定ステップにおける前記異常度の判定が、マハラノビス距離をもとにした、ワイヤロープ破断診断方法。

【請求項12】

請求項１０～１１のいずれかひとつに記載のワイヤロープ破断診断方法であって、
前記除去ステップにおいて、前記ワイヤロープおよび前記背景の特定を、画像セグメンテーションにより行う、ワイヤロープ破断診断方法。

【請求項13】

請求項１２に記載のワイヤロープ破断診断方法であって、
前記画像セグメンテーションが、予め学習させた学習済みデータに基づいてなされる、ワイヤロープ破断診断方法。

【請求項14】

請求項１３に記載のワイヤロープ破断診断方法において、
前記画像セグメンテーションは、学習ステップをさらに備え、
前記学習ステップでは、前記画像セグメンテーション後の画像データを教師データとして、前記学習済みデータを生成又は更新する、ワイヤロープ破断診断方法。

【請求項15】

請求項１０～１１のいずれかひとつに記載のワイヤロープ破断診断方法であって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断方法。

【請求項16】

請求項１２に記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断方法。

【請求項17】

請求項１３に記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断方法。

【請求項18】

請求項１４に記載のワイヤロープ破断診断システムであって、
前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断方法。

【請求項19】

プログラムであって、
コンピュータに、請求項１０～１８のいずれかひとつに記載のワイヤロープの破断診断方法における各ステップを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワイヤロープ破断診断システム、診断方法および診断プログラムに関する。

【背景技術】

【0002】

ワイヤロープは強度、柔軟性を高い次元で兼ね備えており、橋梁といった構造物やエレベータ、クレーンのような荷役機械など幅広く使用されている。しかし、特にクレーンに使用される場合には、ワイヤロープはシーブに沿って曲げられることになるため、内側と外側とで曲率半径が変わり、ワイヤロープを構成する素線同士がこすり合わされ、素線断線といういわゆる疲労破壊が発生する。
素線断線が生じるとワイヤロープ全体の強度が下がり、いずれワイヤロープ自体が断線する可能性がある。そのため、この素線断線を簡易的な方法で早期に検知する方法が望まれている。

【0003】

特許文献１には以下のワイヤロープ検査方法が記載されている。ワイヤロープに対して磁界を印加することによって、当該ワイヤロープを励振させ、励振された前記ワイヤロープの磁束の変化を検出し、当該検出信号波形に予め取得した異常波形を重畳加算させる。この重畳加算波形が、当該検出信号波形のノイズに対応した所定の範囲を超えるか否かによってワイヤロープの状態を検査する方法である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２３－０２７６４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示される方法では、磁束の計測に先立ってワイヤ自体を磁化させないと微弱信号すぎるゆえ計測できないものであり、ノイズの影響を強く受けてしまうものである。また、ワイヤ自体を磁化させるといった作業が計測の前に必要となることは、準備に多大な時間を要することになり、素線断線の有無について簡易的に素早く判断できるようなものになっていない。

【0006】

本発明では上記事情を鑑み、画像収集装置において得られるワイヤロープの画像データのみを利用し、背景画像の除去、素線部分のみの抽出、モデル入力、復元画像の構築、差分画像の作成、異常度判定を行うといった、ユーザ負担の少ないワイヤロープ破断診断システム及びワイヤロープ破断診断方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の観点は、
ワイヤロープ破断診断システムであって、
次の各ステップを実行するように構成され、
受付ステップでは、画像撮像装置にて得られたワイヤロープを対象とする画像データを受付け、
除去ステップでは、前記画像データのうち前記ワイヤロープ以外の背景を除去し、
抽出ステップでは、前記背景が除去された画像データにおいて前記ワイヤロープの素線部分のみを抽出し、
入力ステップでは、前記抽出された前記素線部分のみをモデルに入力し、
差分ステップでは、前記モデルから出力される復元画像と前記素線部分のみの画像との間で差分画像を作成し、
判定ステップでは、前記差分画像から前記ワイヤロープの異常度を判定し、
送信ステップでは、前記判定結果をユーザに通知する、ワイヤロープ破断診断システムである。

【0008】

本発明の第２の観点は、
ワイヤロープ破断診断方法であって、
次の各ステップを実行するように構成され、
受付ステップでは、画像撮像装置にて得られたワイヤロープを対象とする画像データを受付け、
除去ステップでは、前記画像データのうち前記ワイヤロープ以外の背景を除去し、
抽出ステップでは、前記背景が除去された画像データにおいて前記ワイヤロープの素線部分のみを抽出し、
入力ステップでは、前記抽出された前記素線部分のみをモデルに入力し、
差分ステップでは、前記モデルから出力される復元画像と前記素線部分のみの画像との間で差分画像を作成し、
判定ステップでは、前記差分画像から前記ワイヤロープの異常度を判定し、
送信ステップでは、前記判定結果をユーザに通知する、ワイヤロープ破断診断方法である。

【0009】

これらによれば、ワイヤロープの磁化および磁束密度の計測を行うことなく、画像撮像装置にて得られるワイヤロープを対象とする画像データを受付けさえすれば、簡易にワイヤロープの素線破断等の異常の有無を診断することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るワイヤロープ破断診断システム全体図である。

【図2】サーバ３のハードウェア構成を示すブロック図である。

【図3】サーバ３によって実現される機能を示すブロック図である。

【図4】本実施形態のフローチャート図である。

【図5】背景除去用ピクセル分類モデル例である。

【図6】実画像イメージ、復元画像イメージ、差分画像イメージの図例である。

【図7】差分画像ヒートマップ図例および異常度判定図例である。

【発明を実施するための形態】

【0011】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0012】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピ
ュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ-Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ-Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0013】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハード
ウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの
情報処理と、を合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0014】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ） 、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ） 、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0015】

１．ハードウェア構成
第１節では、本実施形態のハードウェア構成について説明する。

【0016】

１．１ ワイヤロープ破断診断システム１
図１は、本実施形態に係るワイヤロープ破断診断システム１の全体図である。ワイヤロープ破断診断システム１は、画像撮像装置２（例えば、画像撮像装置２－１、２－２、・・・、２－ｎ）と、サーバ３とを備え、これらがネットワークを通じて接続されている。これらの構成要素についてさらに説明する。ここで、ワイヤロープ破断診断システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。

【0017】

１．２ 画像撮像装置２
画像撮像装置２は上記ワイヤロープを対象物としている。ワイヤロープは使用状態において直線状に伸びている箇所が一番多いことから、複数のワイヤロープについて当該直線状にスキャンする撮像装置が効率的で望ましい。なお高速スキャンしながら撮像する場合を考慮して、画像撮像装置２に露光機が設けられているのが好ましい。
画像撮像装置２は、例えばデジタルカメラやデジタルビデオカメラである。本実施形態では素線部分のみをモデル入力するため、それを容易にするためには、４Ｋ（画素数：３８４０×２１６０）カメラが好ましい。サーバ３に送信されるデータ量を低減するためには静止画像が好ましく、実際の画像を目視する用途もある場合には動画が好ましい。なお動画の場合は、３０ＦＰＳ（フレーム/秒）以内が好ましい。より好ましくは５ＦＰＳ以内であり、具体的には例えば、５、１０，１５，２０，２５，３０ＦＰＳであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。フレームレートを低くすることで、サーバ３へ送信されるデータ量を抑制することができ、モデル入力等に要する負荷を軽減しうるからである。

【0018】

画像撮像装置２は、後述のサーバ３における通信部３１とネットワークを介して接続される。撮像された画像データの全てをサーバ３に転送するよう構成される。

【0019】

また、画像撮像装置２として、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域において計測可能なものを採用してもよい。このような画像撮像装置２を採用することによって、暗視野であっても本実施形態に係るワイヤロープ破断診断システム１を実施することができる。

【0020】

１．３ サーバ３
サーバ３は、すべての画像撮像装置２と紐づけられている。後述の機械学習における教師データを蓄積することも考慮するとデータ容量が大きいものほど好ましいが、上記画像撮像装置２から送信されるデータ量を収容できる限りにおいては特に指定されるものではない。

【0021】

図２は、サーバ３のハードウェア構成を示すブロック図である。サーバ３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素がサーバ３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。

【0022】

通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。サーバ３は、通信部３１を介して、画像撮像装置２からの画像データを受信する。詳細は後述する。

【0023】

記憶部３２は、前述の画像撮像装置２から受信した画像データを一時的に記憶する。これは、例えば、制御部３３によって実行されるサーバ３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に図４のステップＳ１０８に記載のユーザへの「通知」がなされ、後述の教師データを保存する場合には「サーバ３に保存」を選択するまで記憶される。

【0024】

制御部３３は、画像収集装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、画像撮像装置２から得られる画像から、ワイヤロープの異常度を判定し、ワイヤロープの破断診断を行う。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで制御部３３に含まれる機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。

【0025】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる機能部として実行されうる。

【0026】

図３は、サーバ３（制御部３３）によって実現される機能を示すブロック図である。具体的には、サーバ３（制御部３３）は、受付部３３１と、除去部３３２と、抽出部３３３と、入力部３３４と、差分画像作成部３３５と、判定部３３６と、送信部３３７とを備える。

【0027】

受付部３３１は、各種の情報を受け付けるように構成される。例えば、受付部３３１は画像撮像装置２から発せられた全画像データを受け付ける。上述のとおり静止画像であっても動画であってもよい。

【0028】

除去部３３２は、画像撮像装置２から送信される全画像データのうち、目的対象物であるワイヤロープ以外の背景を除去するように構成される。例えば、除去部３３２は、記憶部３２に記憶された所定のプログラムを呼び出し、画像撮像装置２から送信された全画像データから特徴量を抽出（エッジ抽出）、解析を行い、目的対象物であるワイヤロープを認識し、それ以外を背景と認識する。

【0029】

なお、上記認識はサーバ３に随時保存される教師データに基づく機械学習がより好ましく、必要に応じて、前記特徴量を抽出するアルゴリズムを含ませてもよい。機械学習のアルゴリズムは特に限定されず、ｋ近傍法、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、トピックモデル、混合ガウスモデル等が適宜採用されればよい。

【0030】

さらに背景除去のためのピクセル分類モデルとしては、ピラミッドプーリング構造をもつ畳み込みニューラルネットワークがより好ましい。図５に示されるように、ワイヤロープ周辺のコンテンツ情報がとりやすくなるため、忠実にワイヤロープ領域を分類できることになるからである。

【0031】

抽出部３３３は、除去部３３２により背景が除去された画像において、ワイヤロープの素線部分のみを抽出するよう構成される。ワイヤロープは使用状態において直線状に伸びる箇所が一番多いことから、当該素線部分についてラインディテクタを適用することが容易となる。なお上記ラインディテクタを適用するに際して、Ｓｕｐｅｒｐｉｘｅｌ単位に分割（色の類似画素の位置関係を反映した小領域に分割）する色彩クラスタリングを併用してもよい。そうして素線領域のみ抽出できることになる。詳細は後述する。

【0032】

入力部３３４は、抽出部３３３により抽出された素線領域部分のみをモデルに入力するよう構成される。当該モデルとは、Ｕ－ｎｅｔ ＡｕｔｏＥｎｃｏｄｅｒに代表される畳み込みニューラルネットワークのひとつであって、破断していない素線の画像（正常画像）を学習済みの教師データとしたモデルが好ましい。

【0033】

上記モデルを用いることで、復元画像が出力される。差分画像作成部３３５では、上記復元画像と除去部３３２により背景が除去された実際の画像との差分画像を作成する。この差分画像を用いてワイヤロープの異常度を判定部３３６が診断する。

【0034】

図７は上記差分画像について、いわゆる正規分布からどの程度外れているかを表したサーモグラフおよびマハラノビス距離（ユークリッド距離ではない）から異常度を計算した図となっている。具体的には、判定部３３６は、上記マハラノビス距離について一定の閾値を定め、その値を超える場合に異常と診断するように構成される。

【0035】

上記診断後、送信部３３７は診断結果をユーザに報告するよう構成される。その際、ユーザに上記差分画像や背景を除去した画像等を送付し、ユーザによる確認チェックがなされるまでワイヤロープ破断診断システム１が終了しないシステムが望ましい。その場合、ユーザは画像撮像装置２からサーバ３に送付された静止画像や動画も合わせて総合確認チェックできることになる。

【0036】

３．ワイヤロープ破断診断方法
本節では、前述したワイヤロープ破断診断システム１の診断方法について説明する。このワイヤロープ破断診断方法は、次の各ステップを備える。受付ステップでは、画像撮像装置にて得られたワイヤロープを対象とする画像データを受付ける。除去ステップでは、前記画像データのうち前記ワイヤロープ以外の背景を除去する。抽出ステップでは、前記背景が除去された画像データにおいて前記ワイヤロープの素線部分のみを抽出する。入力ステップでは、前記抽出された前記素線部分のみをモデルに入力する。差分ステップでは前記モデルから出力される復元画像と前記背景が除去された画像データとの差分画像を作成する。判定ステップでは、前記差分画像から前記ワイヤロープの異常度を判定する。送信ステップでは、前記判定結果をユーザに通知する。

【0037】

図４は、ワイヤロープ破断診断システム１によって実行される情報処理の流れを示すフローチャート図である。以下、このフローチャート図の各フローに沿って、特にクレーンのような荷役機械などに使用されるワイヤロープを対象とする場合を説明するものとする。

【0038】

ユーザが、コンテナクレーンのような荷役機械などに使用されるワイヤロープの状態（素線断線の有無など）を検査または診断しようとする場合、まず画像撮像装置２が起動する。画像撮像装置２をユーザ自身がマニュアル操作にて起動および撮像しても構わない。しかし、クレーンに使用されるワイヤは高所に複数並列して直線状に設置されていることが多いことから、画像撮像装置２は、ワイヤと一定の距離を確保したまま複数のワイヤをスキャン撮像できる装置構成となっているものが安全上の観点からも望ましい。サーバ３は画像撮像装置２からの全画像データを受付けるよう構成される（ステップＳ１０１）。

【0039】

なお画像撮像装置２は４Ｋ（画素数：３８４０×２１６０）カメラが好ましい。前述のとおり素線領域部分のみを抽出しモデル入力するため、解像度不足に陥るのを防ぐためである。しかし、コンテナクレーンのような荷役機械などに使用されるワイヤロープは移動速度も大きいところ、通信インターフェースおよび転送レートを考慮して、撮影範囲の限定や、画素数の低減などによりデータ量を減らすなど適時調整することがより好ましい。
そうして画像撮像装置２から得られた画像において、ワイヤロープと背景画像とを特定していく（ステップＳ１０２）。

【0040】

ステップＳ１０２での特定方法には様々なものがある。前述のとおり教師ありデータを用いた機械学習による特定や畳み込みニューラルネットワークを用いた特定がある。特に、Ｕ－ｎｅｔ Ｃｌａｓｓｉｆｉｅｒに代表されるような畳み込みニューラルネットワークを用いることで、直接特徴を学習できることになるため、ユーザによる特徴抽出の手間が一部省略でき、ワイヤロープ破断診断システム１の精度の向上が図れる。

【0041】

さらに、上記畳み込みニューラルネットワークにおいて、図５に示されるようなピラミッドプーリング構造をもつものがより好ましい。ワイヤロープ領域と背景の分類および特定が改良される。当該改良によってワイヤ径の推定も向上できることになる。

【0042】

クレーンのような荷役機械に使用されるワイヤロープにおいては、使用により全体が摩滅し素線断線を起こす前に、法定制限である１５％の減肉に至ることもある。そのような場合にワイヤ径の推定精度の向上が図れることは有用となる。
また、上記減肉に至る前に、外周部ではなく内部において素線断線を起こしている場合も想定される。そのような場合であってもワイヤ径の推定精度の向上が図れることは好ましい。

【0043】

上述のワイヤロープと背景画像との特定結果を用いて当該背景画像を除去する（ステップＳ１０３）。こうして得られた背景除去画像（ワイヤロープのみ画角に収容された画像）から、さらにワイヤ素線部分のみを抽出する（ステップＳ１０４）。

【0044】

特に、クレーンのような荷役機械に使用されるワイヤロープは、使用上オイルやグリスが塗布されている。しかし、当該ワイヤロープにおいて素線断線が生じやすい部分は摩耗により、素地の金属が露出しており金属光沢が観察される。そのため色彩によるクラスタリングが有効に働き、ラインディテクタがより適用しやすくなる。

【0045】

クラスタリングによる素線部分の判定後、まず当該素線部分に対してラインディテクタで検出されたライン数をカウントする。当該ライン数に閾値を設け、上記閾値を超える部分のみを直線検出領域として取り出す。

【0046】

なお、上記色彩によるクラスタリングするための手法のひとつとして、Ｓｕｐｅｒｐｉｘｅｌ単位に分割（色の類似画素の位置関係を反映した小領域に分割）することが考えられる。こうすることで素線部分のみの抽出がより精度よくなされる。Ｓｕｐｅｒｐｉｘｅｌ自身にも様々な手法のものがあるが、画像セグメンテーションである限りにおいて特に限定されるものではない。

【0047】

上記Ｓｕｐｅｒｐｉｘｅｌを用いたクラスタリングおよびラインディテクタは、ワイヤロープに塗布されているオイルやグリス部分を避けるために取りうる手段であって、特に素線部分の特徴量を失うことなく診断精度の向上に資するものである。なお、素線部分のみの抽出においても、上述のように、教師ありデータを用いた機械学習や畳み込みニューラルネットワークを用いた方法もあり得る。

【0048】

こうして、ワイヤ素線部分のみをモデルに入力する（ステップＳ１０５）。当該モデルは、上述のとおりＵ－ｎｅｔ ＡｕｔｏＥｎｃｏｄｅｒに代表される畳み込みニューラルネットワークに用いられるモデルのひとつである。破断していない素線の画像（正常画像）を教師データとして機械学習していくことで構築されるモデルが好ましい。

【0049】

その後、復元画像が出力される。上記復元画像をフェイク画像、上記素線部分のみの画像をリアル画像として、それぞれをイメージ化し、その差分画像を作成する（ステップＳ１０６）。図６右側に示される実画像イメージ、復元画像イメージ、差分画像イメージの図は、図６左側に示される素線領域のみを抽出したワイヤ（１本のみ）を例として作成されたものである。

【0050】

上記差分画像イメージ図ではユーザが視覚的に直感を持って判断できないものである。そのため上記差分画像について、いわゆる正規分布からどの程度外れているかを表した図７左側のサーモグラフを作成し、当該サーモグラフについても送信部３３７から判定結果の通知とともにユーザに送付されることになる。

【0051】

図７右側は、マハラノビス距離（ユークリッド距離ではない）から異常度を計算した図である。具体的には、上記マハラノビス距離について一定の閾値を定め、その値を超える場合に異常と判定するよう構成される（ステップＳ１０７）。ここでマハラノビス距離を用いるほうが好ましいのは、正規分布から一定の範囲を超えて逸脱している場合であってもその逸脱傾向においては特に問題とならない場合に、異常と判定する、いわゆる誤判定を防ぐことができるからである。

【0052】

特に、コンテナクレーンのような荷役機械などに使用されるワイヤロープの安全性は担保されなければならないが、上記誤判定が頻発すると、海岸沿いにコンテナが滞留する事態が生じかねない。そのため、できる限り上記誤判定を防ぐための異常度診断が必要とされるからである。

【0053】

そうして上述のとおり、最終的にワイヤロープの交換、作業の中断等の決定をユーザが行うべく、上記判定結果の通知および上記サーモグラフや上記素線部分のみの画像をユーザに送付する（ステップＳ１０８）。ユーザが全てのデータを見て確認するという手間が発生しないように、上記一定の閾値を超えた部分に該当する静止画像や動画が確認できる画像のみに限定する態様が好ましい。ユーザは上記判定結果を受けとった後に、ワイヤロープ破断診断システム１は終了する（ステップＳ１０９）。

【0054】

なおユーザは上記判定結果を受け取るだけでなく、素線領域のみ抽出して得られる画像の全てまたはその一部を、抽出部３３３における機械学習の教師データとして選択できる態様が好ましい。上記選択については、ステップＳ１０８の異常度判定の通知と伴になされる態様がとくに好ましい。そのため実際には、教師データを「サーバ３に保存」または「サーバ３に保存しない」を選択したのちにワイヤロープ破断診断システム１は終了する（ステップＳ１０９）。

【0055】

４．その他
本実施形態に係るワイヤロープ破断診断システム１に関して、以下のような態様を採用してもよい。前記判定ステップにおける前記異常度の判定が、マハラノビス距離をもとにしたワイヤロープ破断診断システム１、である。
異常度の判定において、正規分布を用いた種々の判定方法があることは知られており、本実施形態において特に限定されるものではない。しかし、画像診断においては正規分布から一定の範囲を超えて逸脱している場合であってもその逸脱傾向を鑑みると特に問題とならない場合もある。そこでユークリッド距離ではなく、マハラノビス距離を用いることで上記傾向を踏まえた異常度判定が行えるようになるため好ましい。

【0056】

前記除去ステップにおいて、前記ワイヤロープおよび前記背景の特定を、画像セグメンテーションにより行う、ワイヤロープ破断診断システム１である。
画像撮像装置２から送信された全画像データから特徴量を抽出（エッジ抽出）、解析を行うことでワイヤと背景の特定を行いうるが、その特定は研究者等の知見に基づいて当該研究者が抽出のアルゴリズムを作成するものとなっている。そこで深層学習における画像セグメンテーションを採用することで最適な抽出アルゴリズムが自動生成されることになり恣意性を含まないユーザ負担が少ない状態で、ワイヤと背景の特定ができるようになる。そのため、より好ましい。

【0057】

前記画像セグメンテーションが、予め学習させた学習済みデータに基づいてなされる、ワイヤロープ破断診断システム１である。
画像セグメンテーションを使うことで上述のとおり、特徴量の最適な抽出アルゴリズムが作成されることになるが、いわゆる教師データが数多く存在することでより精度の高いワイヤと背景の特定ができるようになるため、もっと好ましい。

【0058】

前記画像セグメンテーションは、学習ステップをさらに備え、前記学習ステップでは、前記画像セグメンテーション後の画像データを教師データとして、前記学習済みデータを生成又は更新する、ワイヤロープの破断診断システム１、である。
学習ステップを備えることで、ユーザは別途教師データを準備することなく、サーバ３に蓄積することができるようになる。こうしてワイヤと背景の特定が更にできるようになるため、さらになお、好ましい。

【0059】

前記抽出ステップにおいて、前記素線部分の特定を、クラスタリングアルゴリズムにより行う、ワイヤロープ破断診断システム１である。
上述の段落００４７のとおり、素線部分のみの抽出において、教師ありデータを用いた機械学習や畳み込みニューラルネットワークを用いた方法もあり得るが、教師データ作成のコストが発生する。特に、コンテナクレーンのような荷役機械などに使用されるワイヤロープにおいて、画像撮像装置２とワイヤロープの位置関係がほぼ一定となり、類似したデータの取得が可能となるところ、上述のＳｕｐｅｒｐｉｘｅｌを用いたクラスタリングおよびラインディテクタの併用によってワイヤロープ破断診断システム１の精度の向上が図れるため、好ましい。

【0060】

なお上記の実施形態では、ワイヤロープ破断診断システム１の構成として説明したが、コンピュータに、ワイヤロープ破断診断システム１における各ステップを実行させるプログラムが提供されてもよい。
ワイヤロープ破断診断システム１の稼働終了後であって、サーバ３が使用できない場合等であっても画像撮像装置２から得られた画像があれば、ユーザ自身が所有するエッジ端末等においてワイヤ破断が診断できることが好ましい。コンテナクレーンのような荷役機械のその他の運用においても共用されうるサーバ３の負荷の軽減にもなりうる。

【0061】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0062】

１ ：ワイヤロープ破断診断システム
２ ：画像撮像装置
３ ：サーバ
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：受付部
３３２ ：除去部
３３３ ：抽出部
３３４ ：入力部
３３５ ：差分画像作成部
３３６ ：判定部
３３７ ：送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】