特表2023-542460ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-10
(54)【発明の名称】ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステム
(51)【国際特許分類】
G06V 10/80 20220101AFI20231002BHJP
G06T 7/00 20170101ALI20231002BHJP
G06V 10/82 20220101ALI20231002BHJP
G06F 18/28 20230101ALI20231002BHJP
G06N 5/00 20230101ALI20231002BHJP
G06N 3/0464 20230101ALI20231002BHJP
G06F 40/151 20200101ALI20231002BHJP
G06F 40/216 20200101ALI20231002BHJP
G06F 40/44 20200101ALI20231002BHJP
【ＦＩ】
G06V10/80
G06T7/00 610Z
G06V10/82
G06F18/28
G06N5/00
G06N3/0464
G06F40/151
G06F40/216
G06F40/44
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023504059
(86)(22)【出願日】2020-09-25
(85)【翻訳文提出日】2023-01-18
(86)【国際出願番号】 CN2020117749
(87)【国際公開番号】W WO2022052181
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】202010938100.4
(32)【優先日】2020-09-09
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518157023
【氏名又は名称】華北電力大学（保定）
【氏名又は名称原語表記】Ｎｏｒｔｈ Ｃｈｉｎａ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｕｎｉｖｅｒｓｉｔｙ （Ｂａｏｄｉｎｇ）
(71)【出願人】
【識別番号】505072650
【氏名又は名称】浙江大学
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＵＮＩＶＥＲＳＩＴＹ
(74)【代理人】
【識別番号】110000475
【氏名又は名称】弁理士法人みのり特許事務所
(72)【発明者】
【氏名】ジャイ，ヨンジエ
(72)【発明者】
【氏名】ヤン，チアン
(72)【発明者】
【氏名】ワン，ヤールー
(72)【発明者】
【氏名】チェン，ユー
(72)【発明者】
【氏名】ジャオ，ジェンビン
(72)【発明者】
【氏名】ワン，チエンミン
(72)【発明者】
【氏名】ワン，シンイン
(72)【発明者】
【氏名】ジャン，ジー
(72)【発明者】
【氏名】ジャン，ジーバイ
(72)【発明者】
【氏名】ウー，トントン
(72)【発明者】
【氏名】ジャオ，ウェンチン
【テーマコード（参考）】
5B109
5L096
【Ｆターム（参考）】
5B109VB11
5L096BA03
5L096DA02
5L096FA02
5L096GA51
5L096HA11
5L096JA03
5L096JA11
5L096JA22
(57)【要約】
【課題】ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステムを提供する。
【解決手段】絶縁体の各欠陥クラスに対応するテキストデータを取得することと、各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得することと、検査対象の絶縁体の画像を取得することと、検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、検出対象の絶縁体の画像特徴ベクトルを抽出することと、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定することと、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、検出対象の絶縁体の欠陥クラスを決定することとを含み、検出対象の絶縁体の欠陥クラスは、画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
【選択図】図１
【解決手段】絶縁体の各欠陥クラスに対応するテキストデータを取得することと、各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得することと、検査対象の絶縁体の画像を取得することと、検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、検出対象の絶縁体の画像特徴ベクトルを抽出することと、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定することと、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、検出対象の絶縁体の欠陥クラスを決定することとを含み、検出対象の絶縁体の欠陥クラスは、画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
【選択図】図１
【特許請求の範囲】
【請求項1】
ゼロサンプル学習に基づく絶縁体欠陥検出方法であって、絶縁体の各欠陥クラスに対応するテキストデータを取得することと、
各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得することと、
検出対象の絶縁体の画像を取得することと、
前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出することと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定することと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定することとを含み、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスであることを特徴とするゼロサンプル学習に基づく絶縁体欠陥検出方法。
【請求項2】
前記絶縁体の欠陥クラスは、表面浸食欠陥、粗い亀裂欠陥、破損断裂欠陥、ストリング落下欠陥、フラッシュオーバー火傷欠陥を含むことを特徴とする請求項１に記載のゼロサンプル学習に基づく絶縁体欠陥検出方法。
【請求項3】
前記絶縁体の各欠陥クラスに対応するテキストデータを取得することは、具体的には、ウィキペディアコーパスから各欠陥クラスに対応するデータを取得することと、
各欠陥クラスに対応するデータからテキストを抽出し、正規表現式によって初歩的なフィルタリングを実行して初歩的なデータを取得することと、
前記初歩的なデータに、簡体字と繁体字の変換、コーパスのクリーニング、および単語分割操作を順次実行して各欠陥クラスに対応するテキストデータを取得することと、を含むことを特徴とする請求項１に記載のゼロサンプル学習に基づく絶縁体欠陥検出方法。
【請求項4】
前記各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得することは、具体的には、各欠陥クラスに対応するテキストデータに従って、Ｓｋｉｐ－Ｇｒａｍモデルを使用して、各欠陥クラスの単語ベクトルを抽出することと、前記単語ベクトルは、対応する欠陥クラスのセマンティック記述情報であることと、
分析辞書学習アルゴリズムを使用して各欠陥クラス単語ベクトルの冗長情報を除去し、各欠陥クラスのセマンティック特徴ベクトルを取得することと、を含むことを特徴とする請求項１に記載のゼロサンプル学習に基づく絶縁体欠陥検出方法。
【請求項5】
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定することは、具体的には、ＬＭＮＮアルゴリズムを使用して前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算し、距離マッピング行列を取得することを含むことを特徴とする請求項１に記載のゼロサンプル学習に基づく絶縁体欠陥検出方法。
【請求項6】
ゼロサンプル学習に基づく絶縁体欠陥検出システムであって、絶縁体の各欠陥クラスに対応するテキストデータを取得するために使用されるテキストデータ取得モジュールと、
各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用されるセマンティック特徴ベクトル取得モジュールと、
検査対象の絶縁体の画像を取得するために使用される画像取得モジュールと、
前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出するために使用される画像特徴ベクトル抽出モジュールと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定するために使用される距離決定モジュールと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定するために使用される欠陥クラス決定モジュールと、を含み、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスであることを特徴とするゼロサンプル学習に基づく絶縁体欠陥検出システム。
【請求項7】
前記絶縁体の欠陥クラスは、表面浸食欠陥、粗い亀裂欠陥、破損断裂欠陥、ストリング落下欠陥、フラッシュオーバー火傷欠陥を含むことを特徴とする請求項６に記載のゼロサンプル学習に基づく絶縁体欠陥検出システム。
【請求項8】
前記テキストデータ取得モジュールは、具体的には、ウィキペディアコーパスから各欠陥クラスに対応するデータを取得するために使用されるデータ抽出ユニットと、
各欠陥クラスに対応するデータからテキストを抽出し、正規表現式によって初歩的なフィルタリングを実行して初歩的なデータを取得するために使用される初歩的なデータ取得ユニットと、
前記初歩的なデータに、簡体字と繁体字の変換、コーパスのクリーニング、および単語の分割操作を順次実行して各欠陥クラスに対応するテキストデータを取得するために使用されるテキストデータ取得ユニットと、を含むことを特徴とする請求項６に記載のゼロサンプル学習に基づく絶縁体欠陥検出システム。
【請求項9】
前記セマンティック特徴ベクトル取得モジュールは、具体的には、各欠陥クラスに対応するテキストデータに従って、Ｓｋｉｐ－Ｇｒａｍモデルを使用して、各欠陥クラスの対応する欠陥クラスのセマンティック記述情報である単語ベクトルを抽出するために使用される単語ベクトル抽出ユニットと、
分析辞書学習アルゴリズムを使用して各欠陥クラス単語ベクトルの冗長情報を除去し、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用される冗長情報除去ユニットと、を含むことを特徴とする請求項６に記載のゼロサンプル学習に基づく絶縁体欠陥検出システム。
【請求項10】
前記距離決定モジュールは、具体的には、ＬＭＮＮアルゴリズムを使用して前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算し、距離マッピング行列を取得するために使用されるＬＭＮＮ計算ユニットを含むことを特徴とする請求項６に記載のゼロサンプル学習に基づく絶縁体欠陥検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は２０２０年９月０９日に中国特許庁に提出された、出願番号２０２０１０９３８１００．４、発明の名称「ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステム」の中国特許出願の優先権を要求し、そのすべての内容は参照により本明細書に組み込まれる。
【0002】
本発明は、欠陥検出の分野、特にゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステムに関する。
【背景技術】
【0003】
絶縁体は、送電線において非常に重要かつ膨大な使用量の絶縁コントロールであり、架空送電線での導線の支持と電流接地の防止という２つの役割を果たすことができる。絶縁体の絶縁不良により送電線の使用や稼働寿命に損傷を与えることを防止するために、送電線の絶縁体を正確に検出する必要があり、これは、絶縁体の欠陥検出の重要な基盤を提供する。現在、絶縁体欠陥検出の検出方法は、非電気検出方法と電気検出方法に分けられる。一般に、現在の絶縁体の欠陥検出方法には、主に次のものが含まれる。
（１）観察方法やスパークフォークなどの従来の検出方法：
観察方法は、高倍率の望遠鏡を使って近くの絶縁体を直接観察する方法である。この方法は、絶縁体の明らかな表面欠陥を見つけることができるが、非効率的である。絶縁体ストリングが正常な場合にコンデンサストリングに相当し、運転状態で絶縁体の１つを短絡する場合、コンデンサの放電の火花が見え、放電音が聞こえ、音の大きさから絶縁体の状態を判断する。上記の２つの方法はいずれも手作業でタワーを登って点検する必要があり、多くの作業と時間と労力が必要であり、高所作業には一定のリスクが伴う。
（２）紫外線イメージング方法と赤外線イメージング方法：
紫外線イメージング技術は、特殊な機器を使用して放電によって生成された紫外線信号を受信し、処理後に可視光画像信号に変換して、電気機器の外部絶縁の実際の状態を判断することである。赤外線イメージング方法により、欠陥のある絶縁体と正常絶縁体の表面温度差を検出することである。しかし、この２つの方法は観察角度や感度の影響を受けやすく、実際の使用では理想的な効果とは言えない。
（３）電界検出方法：
電界検出方法は電界を利用して絶縁体を検出するため、絶縁体の絶縁状態を直接反映でき、干渉の影響が少ない。この方法の欠点は、ポールに登る操作が必要であり、電界の分布に影響を与えないシェッドの破損などの外部の絶縁欠陥を検出できないことである。
（４）特徴量と画像認識に基づくオンライン検出システム：
既存の回線の絶縁状態のある特徴量に基づくオンライン検出システムは、温度、湿度、電流、パルスなどのデータに基づいて、運用保守担当者は、エキスパート診断ソフトウェアを使用して分析と比較して、画像認識システムと組み合わせることで、絶縁体の画像を分析して絶縁体の欠陥の有無と欠陥状態を判断できる。ここで、装置の複雑さが比較的高く、適切な特徴量の選択方法と各特徴量間の関係を判断しにくく、画像認識システムと組み合わせると、欠陥サンプルが少ないクラスでは、認識率が低く、サンプル数、光、角度などの影響を受けやすく、ロバスト性が低く、また、まれな欠陥の場合、そのクラスを判断しにくい。
（１）観察方法やスパークフォークなどの従来の検出方法：
観察方法は、高倍率の望遠鏡を使って近くの絶縁体を直接観察する方法である。この方法は、絶縁体の明らかな表面欠陥を見つけることができるが、非効率的である。絶縁体ストリングが正常な場合にコンデンサストリングに相当し、運転状態で絶縁体の１つを短絡する場合、コンデンサの放電の火花が見え、放電音が聞こえ、音の大きさから絶縁体の状態を判断する。上記の２つの方法はいずれも手作業でタワーを登って点検する必要があり、多くの作業と時間と労力が必要であり、高所作業には一定のリスクが伴う。
（２）紫外線イメージング方法と赤外線イメージング方法：
紫外線イメージング技術は、特殊な機器を使用して放電によって生成された紫外線信号を受信し、処理後に可視光画像信号に変換して、電気機器の外部絶縁の実際の状態を判断することである。赤外線イメージング方法により、欠陥のある絶縁体と正常絶縁体の表面温度差を検出することである。しかし、この２つの方法は観察角度や感度の影響を受けやすく、実際の使用では理想的な効果とは言えない。
（３）電界検出方法：
電界検出方法は電界を利用して絶縁体を検出するため、絶縁体の絶縁状態を直接反映でき、干渉の影響が少ない。この方法の欠点は、ポールに登る操作が必要であり、電界の分布に影響を与えないシェッドの破損などの外部の絶縁欠陥を検出できないことである。
（４）特徴量と画像認識に基づくオンライン検出システム：
既存の回線の絶縁状態のある特徴量に基づくオンライン検出システムは、温度、湿度、電流、パルスなどのデータに基づいて、運用保守担当者は、エキスパート診断ソフトウェアを使用して分析と比較して、画像認識システムと組み合わせることで、絶縁体の画像を分析して絶縁体の欠陥の有無と欠陥状態を判断できる。ここで、装置の複雑さが比較的高く、適切な特徴量の選択方法と各特徴量間の関係を判断しにくく、画像認識システムと組み合わせると、欠陥サンプルが少ないクラスでは、認識率が低く、サンプル数、光、角度などの影響を受けやすく、ロバスト性が低く、また、まれな欠陥の場合、そのクラスを判断しにくい。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステムを提供して、絶縁体欠陥検出の精度およびロバスト性を改善することを目的とする。
【課題を解決するための手段】
【0005】
本発明の技術的解決手段は以下のとおりである。
【0006】
ゼロサンプル学習に基づく絶縁体欠陥検出方法は、
絶縁体の各欠陥クラスに対応するテキストデータを取得することと、
各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得することと、
検査対象の絶縁体の画像を取得することと、
前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出することと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定することと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定することとを含み、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
絶縁体の各欠陥クラスに対応するテキストデータを取得することと、
各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得することと、
検査対象の絶縁体の画像を取得することと、
前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出することと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定することと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定することとを含み、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
【0007】
本発明はまた、ゼロサンプル学習に基づく絶縁体欠陥検出システムを提供し、
絶縁体の各欠陥クラスに対応するテキストデータを取得するために使用されるテキストデータ取得モジュールと、
各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用されるセマンティック特徴ベクトル取得モジュールと、
検査対象の絶縁体の画像を取得するために使用される画像取得モジュールと、
前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出するために使用される画像特徴ベクトル抽出モジュールと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定するために使用される距離決定モジュールと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定するために使用される欠陥クラス決定モジュールとを含み、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
絶縁体の各欠陥クラスに対応するテキストデータを取得するために使用されるテキストデータ取得モジュールと、
各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用されるセマンティック特徴ベクトル取得モジュールと、
検査対象の絶縁体の画像を取得するために使用される画像取得モジュールと、
前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出するために使用される画像特徴ベクトル抽出モジュールと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定するために使用される距離決定モジュールと、
前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定するために使用される欠陥クラス決定モジュールとを含み、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
【発明の効果】
【0008】
従来技術と比較して、本発明は以下の利点を有する。
本発明は、ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステムは、視覚技術を採用して欠陥検出を行い、他の欠陥検出方法と比較して、低コスト、フレキシブルな配置、高いロバスト性を備えている。同時に、ゼロサンプル学習と単語ベクトル技術を総合的に使用することで、欠陥検出がサンプルの量と質に依存することを減らし、抽出された画像特徴は、より表現力があり、一般化可能であり、認識環境の悪いシーンでもロバスト性が高く、欠陥検出・分類精度がより高く、認識可能な欠陥の種類は、既存のサンプルの種類に限定されなくなる。さらに、分析辞書学習アルゴリズムによって単語ベクトルをスパース表現し、冗長な情報を削減する。ＬＭＮＮアルゴリズムを使用して、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算すると、エラー率と計算の複雑さを効果的に削減でき、より良い適用性を持つ。
本発明は、ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステムは、視覚技術を採用して欠陥検出を行い、他の欠陥検出方法と比較して、低コスト、フレキシブルな配置、高いロバスト性を備えている。同時に、ゼロサンプル学習と単語ベクトル技術を総合的に使用することで、欠陥検出がサンプルの量と質に依存することを減らし、抽出された画像特徴は、より表現力があり、一般化可能であり、認識環境の悪いシーンでもロバスト性が高く、欠陥検出・分類精度がより高く、認識可能な欠陥の種類は、既存のサンプルの種類に限定されなくなる。さらに、分析辞書学習アルゴリズムによって単語ベクトルをスパース表現し、冗長な情報を削減する。ＬＭＮＮアルゴリズムを使用して、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算すると、エラー率と計算の複雑さを効果的に削減でき、より良い適用性を持つ。
【図面の簡単な説明】
【0009】
以下で添付の図面を参照しながら本発明を、さらに説明する。
【0010】
【図1】本発明のゼロサンプル学習に基づく絶縁体欠陥検出方法の概略フローチャートである。
【図2】本発明の分析辞書学習アルゴリズムを使用して各欠陥クラスの単語ベクトルの冗長情報を除去する概略図である。
【図3】本発明の畳み込みニューラルネットワークを使用して、検出対象の絶縁体の画像特徴ベクトルを抽出する概略図である。
【図4】本発明のＬＭＮＮアルゴリズムの原理の概略図である。
【図5】本発明のゼロサンプル学習に基づく絶縁体欠陥検出システムの構造概略図である。
【図6】本発明の具体的な実施例のフローチャート概略図である。
【発明を実施するための形態】
【0011】
以下では、本発明の実施例における添付の図面を参照して、本発明の実施例における技術的解決手段を詳細に説明し、明らかに、記載された実施例は、本発明の実施例のすべてではなく一部に過ぎない。本発明の実施例に基づいて、創造的な作業なしに当業者によって得られる他のすべての実施例は、本発明の保護範囲内に入る。
【0012】
現在の特徴量と画像認識に基づくオンライン検出システムは、モデルが複雑で、欠陥サンプルが不足している一部のクラスについては正しい判断が難しく、一部の使用シーンでロバスト性が低く、実際の使用コストが高いという欠陥に対して、本発明は、ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステムを提供する。
【0013】
本発明の上記の目的、特徴、および利点をより明確に理解させるために、以下で添付の図面および発明を実施するための形態を参照しながら本発明を、さらに詳細に説明する。
【0014】
図１は、本発明のゼロサンプル学習に基づく絶縁体欠陥検出方法の概略フローチャートである。図１に示すように、本発明のゼロサンプル学習に基づく絶縁体欠陥検出方法は、以下のステップを含む。
ステップ１００：絶縁体の各欠陥クラスに対応するテキストデータを取得する。絶縁体の欠陥クラスは、表面浸食欠陥、粗い亀裂欠陥、破損断裂欠陥、ストリング落下欠陥、フラッシュオーバー火傷欠陥などを含む。テキストデータを取得する場合、まずコーパスから各欠陥クラスに対応する大量のデータを取得し、そして、得られた大量のデータに対して、テキストの抽出、コーパスのクリーニング、単語分割操作などを順番に実行し、対応するテキストデータを取得し、さらに各欠陥クラスに対応するテキストデータであるテキストの説明を取得できる。
ステップ２００：各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得する。セマンティック特徴ベクトルは、該欠陥クラスを説明する特徴情報である。上記で得られた各欠陥クラスに対応するテキストデータは、単語ベクトルの教師なし学習に使用され、Ｓｋｉｐ－Ｇｒａｍモデルを使用して、各欠陥クラスの単語ベクトルをトレーニングおよび抽出でき、単語ベクトルは、対応する欠陥クラスのセマンティック記述情報である。次に、分析辞書学習アルゴリズムによって単語ベクトルをスパース表現し、冗長な情報を削除し、各欠陥クラスのセマンティック特徴ベクトルを取得し、図２に示すように、図２は、本発明の分析辞書学習アルゴリズムを使用して各欠陥クラスの単語ベクトルの冗長情報を除去する概略図である。
ステップ３００：検査対象の絶縁体の画像を取得する。検出対象の絶縁体の画像は絶縁体の完全な画像である。
ステップ４００：検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、検出対象の絶縁体の画像特徴ベクトルを抽出する。図３に示すように、検査対象の絶縁体の完全な画像を畳み込みニューラルネットワークモデルに入力し、畳み込み層、励起層、プーリング層、全結合層、出力層を順番に通過させる。出力層は、検出対象の絶縁体画像の視覚情報を含む、抽出された画像特徴ベクトルを出力する。
ステップ５００：画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定する。本発明は、Ｌａｒｇｅ Ｍａｒｇｉｎ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ＬＭＮＮ）アルゴリズムを採用して、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算する。図４に示すように、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルをＬＭＮＮアルゴリズムによって計算した後、２つのベクトル間の距離を取得し、最終的に距離マッピング行列を取得する。
ステップ１００：絶縁体の各欠陥クラスに対応するテキストデータを取得する。絶縁体の欠陥クラスは、表面浸食欠陥、粗い亀裂欠陥、破損断裂欠陥、ストリング落下欠陥、フラッシュオーバー火傷欠陥などを含む。テキストデータを取得する場合、まずコーパスから各欠陥クラスに対応する大量のデータを取得し、そして、得られた大量のデータに対して、テキストの抽出、コーパスのクリーニング、単語分割操作などを順番に実行し、対応するテキストデータを取得し、さらに各欠陥クラスに対応するテキストデータであるテキストの説明を取得できる。
ステップ２００：各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得する。セマンティック特徴ベクトルは、該欠陥クラスを説明する特徴情報である。上記で得られた各欠陥クラスに対応するテキストデータは、単語ベクトルの教師なし学習に使用され、Ｓｋｉｐ－Ｇｒａｍモデルを使用して、各欠陥クラスの単語ベクトルをトレーニングおよび抽出でき、単語ベクトルは、対応する欠陥クラスのセマンティック記述情報である。次に、分析辞書学習アルゴリズムによって単語ベクトルをスパース表現し、冗長な情報を削除し、各欠陥クラスのセマンティック特徴ベクトルを取得し、図２に示すように、図２は、本発明の分析辞書学習アルゴリズムを使用して各欠陥クラスの単語ベクトルの冗長情報を除去する概略図である。
ステップ３００：検査対象の絶縁体の画像を取得する。検出対象の絶縁体の画像は絶縁体の完全な画像である。
ステップ４００：検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、検出対象の絶縁体の画像特徴ベクトルを抽出する。図３に示すように、検査対象の絶縁体の完全な画像を畳み込みニューラルネットワークモデルに入力し、畳み込み層、励起層、プーリング層、全結合層、出力層を順番に通過させる。出力層は、検出対象の絶縁体画像の視覚情報を含む、抽出された画像特徴ベクトルを出力する。
ステップ５００：画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定する。本発明は、Ｌａｒｇｅ Ｍａｒｇｉｎ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ＬＭＮＮ）アルゴリズムを採用して、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算する。図４に示すように、画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルをＬＭＮＮアルゴリズムによって計算した後、２つのベクトル間の距離を取得し、最終的に距離マッピング行列を取得する。
【0015】
【0016】
ステップ６００：画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して検出対象の絶縁体の欠陥クラスを決定する。前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
【0017】
上記ゼロサンプル学習に基づく絶縁体欠陥検出方法に対応して、本発明は、ゼロサンプル学習に基づく絶縁体欠陥検出システムも提供し、図５は、本発明のゼロサンプル学習に基づく絶縁体欠陥検出システムの構造概略図である。図５に示すように、本発明のゼロサンプル学習に基づく絶縁体欠陥検出システムは、以下を含む。
テキストデータ取得モジュール５０１であって、絶縁体の各欠陥クラスに対応するテキストデータを取得するために使用される。前記絶縁体の欠陥クラスは、表面浸食欠陥、粗い亀裂欠陥、破損断裂欠陥、ストリング落下欠陥、フラッシュオーバー火傷欠陥を含む。
セマンティック特徴ベクトル取得モジュール５０２であって、各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用される。
画像取得モジュール５０３であって、検査対象の絶縁体の画像を取得するために使用される。
画像特徴ベクトル抽出モジュール５０４であって、前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出するために使用される。
距離決定モジュール５０５であって、前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定するために使用される。
欠陥クラスの決定モジュール５０６であって、前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定するために使用され、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
テキストデータ取得モジュール５０１であって、絶縁体の各欠陥クラスに対応するテキストデータを取得するために使用される。前記絶縁体の欠陥クラスは、表面浸食欠陥、粗い亀裂欠陥、破損断裂欠陥、ストリング落下欠陥、フラッシュオーバー火傷欠陥を含む。
セマンティック特徴ベクトル取得モジュール５０２であって、各欠陥クラスに対応するテキストデータに従って、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用される。
画像取得モジュール５０３であって、検査対象の絶縁体の画像を取得するために使用される。
画像特徴ベクトル抽出モジュール５０４であって、前記検出対象の絶縁体の画像に応じて、畳み込みニューラルネットワークを使用して、前記検出対象の絶縁体の画像特徴ベクトルを抽出するために使用される。
距離決定モジュール５０５であって、前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を決定するために使用される。
欠陥クラスの決定モジュール５０６であって、前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離に基づいて、最近傍分類器を使用して、前記検出対象の絶縁体の欠陥クラスを決定するために使用され、前記検出対象の絶縁体の欠陥クラスは、前記画像特徴ベクトルからの距離が最も短いセマンティック特徴ベクトルに対応する欠陥クラスである。
【0018】
別の実施例として、本発明のゼロサンプル学習に基づく絶縁体欠陥検出システムでは、前記テキストデータ取得モジュール５０１は、具体的には、
ウィキペディアコーパスから各欠陥クラスに対応するデータを取得するために使用されるデータ抽出ユニットと、
各欠陥クラスに対応するデータからテキストを抽出し、正規表現式によって初歩的なフィルタリングを実行して初歩的なデータを取得するために使用される初歩的なデータ取得ユニットと、
前記初歩的なデータに、簡体字と繁体字の変換、コーパスのクリーニング、および単語分割操作を順次実行して各欠陥クラスに対応するテキストデータを取得するために使用されるテキストデータ取得ユニットと、を含む。
ウィキペディアコーパスから各欠陥クラスに対応するデータを取得するために使用されるデータ抽出ユニットと、
各欠陥クラスに対応するデータからテキストを抽出し、正規表現式によって初歩的なフィルタリングを実行して初歩的なデータを取得するために使用される初歩的なデータ取得ユニットと、
前記初歩的なデータに、簡体字と繁体字の変換、コーパスのクリーニング、および単語分割操作を順次実行して各欠陥クラスに対応するテキストデータを取得するために使用されるテキストデータ取得ユニットと、を含む。
【0019】
別の実施例として、本発明のゼロサンプル学習に基づく絶縁体欠陥検出システムでは、前記セマンティック特徴ベクトル取得モジュール５０２は、具体的には以下を含む。
単語ベクトル抽出ユニットであって、各欠陥クラスに対応するテキストデータに従って、Ｓｋｉｐ－Ｇｒａｍモデルを使用して、各欠陥クラスの単語ベクトルを抽出するために使用され、前記単語ベクトルは、対応する欠陥クラスのセマンティック記述情報である。
冗長情報除去ユニットであって、分析辞書学習アルゴリズムを使用して各欠陥クラス単語ベクトルの冗長情報を除去し、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用される。
単語ベクトル抽出ユニットであって、各欠陥クラスに対応するテキストデータに従って、Ｓｋｉｐ－Ｇｒａｍモデルを使用して、各欠陥クラスの単語ベクトルを抽出するために使用され、前記単語ベクトルは、対応する欠陥クラスのセマンティック記述情報である。
冗長情報除去ユニットであって、分析辞書学習アルゴリズムを使用して各欠陥クラス単語ベクトルの冗長情報を除去し、各欠陥クラスのセマンティック特徴ベクトルを取得するために使用される。
【0020】
別の実施例として、本発明のゼロサンプル学習に基づく絶縁体欠陥検出システムでは、前記距離決定モジュール５０５は、具体的には、
ＬＭＮＮアルゴリズムを使用して前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算し、距離マッピング行列を取得するために使用されるＬＭＮＮ計算ユニットを含む。
ＬＭＮＮアルゴリズムを使用して前記画像特徴ベクトルと各欠陥クラスのセマンティック特徴ベクトルとの間の距離を計算し、距離マッピング行列を取得するために使用されるＬＭＮＮ計算ユニットを含む。
【0021】
以下に具体的な実施例を提供して本発明をさらに説明する。
【0022】
本実施例の基本的な考え方は以下のとおりである。畳み込みニューラルネットワーク（ＣＮＮ）を使用して欠陥のある絶縁体の航空画像の画像特徴ベクトルを抽出する。次に、ウィキペディアコーパスから、絶縁体のいくつかの典型的な欠陥に関するテキストデータを取得する。これらのテキストコーパスを単語ベクトルの教師なし学習に使用し、Ｓｋｉｐ－Ｇｒａｍ方法を使用して、対応する欠陥クラスの単語ベクトルをトレーニングして取得する。単語ベクトルを分析辞書学習アルゴリズムにより冗長な情報を削除してセマンティック特徴ベクトルを取得する。画像特徴ベクトルとセマンティック特徴ベクトルは、距離メトリックモジュールでＬａｒｇｅ Ｍａｒｇｉｎ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒアルゴリズムモデルによって計算された後、２つのベクトルの距離と距離マッピング行列を取得する。最後に、最近傍分類器を使用して、距離の大きさに従って欠陥のクラスを決定する。
【0023】
図６は本発明の具体的な実施例のフローチャート概略図である。図６に示すように、本実施例は以下のステップを含む。
（１）検出対象の絶縁体の完全な画像を入力する。
（２）得られた完全な画像をＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（畳み込みニューラルネットワーク）モデルに入力し、畳み込み層、励起層、プーリング層、全結合層、出力層を順番に通過させる。出力層は、絶縁体画像の視覚情報を含む、抽出された画像特徴ベクトルを出力する。Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによって画像特徴抽出を行う。Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ モデルの入力画像サイズが２２４×２２４×３であると仮定すると、第１のｃｏｎｖ×２およびｍａｘ ｐｏｏｌ畳み込みモジュールを経って、２つの層のｃｏｎｖと１つの層のｍａｘ ｐｏｏｌｉｎｇで構成され、ここでｃｏｎｖはｒｅｌｕ活性化関数を使用し、最大プーリング方法を使用し、モジュール出力は１１２×１１２×１２８であり、同様に、第２のｃｏｎｖ×２とｍａｘ ｐｏｏｌ畳み込みモジュール、第３のｃｏｎｖ×３とｍａｘ ｐｏｏｌ畳み込みモジュール、第４のｃｏｎｖ×３とｍａｘ ｐｏｏｌ畳み込みモジュールに引き続き入力し、最後に、１つのｃｏｎｖおよびｍａｘ ｐｏｏｌ層を通過し、それを展開して４０９６次元のベクトルを生成し、最後に全結合層を追加して１０２４次元の画像特徴ベクトルを出力する。
（３）ウィキペディアコーパスから各欠陥クラスのテキストデータを取得し、また、データ抽出、フィルタリング、簡体字と繁体字の変換、コーパスクリーニング、単語分割処理操作を実行する。本実施例では、それぞれ表面浸食、粗い亀裂、破損断裂、ストリング落下、フラッシュオーバー火傷である５つの欠陥タイプを例とする。具体的には、まず、ウィキペディアから絶縁体記述情報をダウンロードする。次に、ダウンロードした圧縮パッケージからテキストを抽出し、正規表現式によって初歩的なフィルタリングを実行する。一方では、これらのヘルプページとリダイレクトされたページを削除し、他方では、ページのテキスト以外の特別なタグを処理して削除し、最後に、ｏｐｅｎｃｃを使用して、テキスト情報を繁体字から簡体字まで変換する。最後に、ｊｉｅｂａ単語分割ツールを使用して、ドキュメント内の数字や句読点などの非中国語文字のコーパスをクリーンアップし、テキスト内の文に対して単語分割処理を実行する。
（４）これらのテキストコーパスを単語ベクトルの教師なし学習に使用し、Ｓｋｉｐ－Ｇｒａｍ方法を使用して、対応する欠陥クラスの単語ベクトルをトレーニングおよび取得する。トレーニングモデルはＳｋｉｐ－Ｇｒａｍモデルであり、コアは、中心的な語彙に従ってそのコンテキストを予測し、特定の名詞に対してデータ増強サンプリングを実行する。
（５）単語ベクトルを分析辞書学習アルゴリズムにより冗長な情報を削除してセマンティック特徴ベクトルを取得する。Ａｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ（分析辞書学習）アルゴリズムは、Ｓｙｎｔｈｅｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ方法の対偶形式であり、それはコーディングに非常に直感的な説明を提供でき、つまり特徴変換である。また、Ａｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇアルゴリズムは、データの処理においてもより効率的である。１つのトレーニングサンプルが与えられると、アルゴリズムの目標は分析型辞書を学習することであり、学習した辞書は、制約条件が満たされているという状況の下で、辞書と単語ベクトルライブラリの積をスパースコーディング行列にできるだけ近づけることができる。本発明は、スパースコーディング行列を使用してセマンティック特徴ベクトルライブラリとして、単語ベクトルライブラリ内の冗長な情報を減らし、計算効率と欠陥検出の精度を改善する。本発明のＡｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇモデルは、（ａ）５つの欠陥クラスを含む単語ベクトルライブラリ、（ｂ）行列乗算および閾値関数によって得られるスパースコーディング行列、（ｃ）学習した分析辞書、制約が満たされるという条件の下で、分析辞書とスパースコーディングマトリックスの積を単語ベクトルの値に近づける。
（６）画像特徴ベクトルとセマンティック特徴ベクトルは、距離メトリックモジュールでＬＭＮＮ（Ｌａｒｇｅ Ｍａｒｇｉｎ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズムモデルによって計算された後、２つのベクトルの距離と距離マッピング行列を取得する。Ｌは距離メトリック行列であり、計算式は
ＬＭＮＮ アルゴリズムの動機は、Ｋ個の最近傍を分類することであり、制約条件（ｐａｉｒｗｉｓｅ ｃｏｎｓｔｒａｉｎｔｓ）に従って、トレーニングセット内のターゲットサンプルの周りのＫ個の最近傍のそれぞれで、ターゲットサンプルと同じクラスラベルを持つポイントは、できるだけ近づける必要があり、異なるクラスラベルを持つポイントは、ターゲットサンプルからできるだけ離れる必要がある。ＬＭＮＮアルゴリズムは、ターゲットサンプルと同じラベルを持つがターゲットサンプルから遠いポイントと、ターゲットサンプルラベルと異なるがターゲットサンプルに近いポイントのみにペナルティを課する。目的関数で解く線形変換が非凸であり、勾配降下法で解くと局所最適解に陥る可能性があり、問題が異なると、与えられた初期行列が異なり、最終結果も異なり、これは、問題によっては再現できない可能性があり、適用性が低い。本発明は、目的関数を再構築し、それを半正定値計画問題に変換する。エラー率と計算の複雑さを効果的に減らすことができ、適用性が向上する。
（７）最後に、最近傍分類器を使用して、距離の大きさに従って欠陥のクラスを決定する。（６）に基づいて算出された距離のうち、検出対象の絶縁体の画像特徴ベクトルに最も近いセマンティック特徴ベクトルで表されるクラスが、検出対象の絶縁体の欠陥クラスである。具体的には、
検出対象の絶縁体の画像特徴ベクトルが、「正常」のクラスを表すセマンティック特徴ベクトルに最も近い場合、正常と判断し、「異常なし」を出力し、「表面侵食」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「表面侵食欠陥あり」を出力し、「粗い亀裂」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「粗い亀裂欠陥があり」を出力し、「破損断裂」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「ストリング落下欠陥があり」を出力し、「フラッシュオーバー火傷」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「フラッシュオーバー火傷欠陥あり」を出力する。
（１）検出対象の絶縁体の完全な画像を入力する。
（２）得られた完全な画像をＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（畳み込みニューラルネットワーク）モデルに入力し、畳み込み層、励起層、プーリング層、全結合層、出力層を順番に通過させる。出力層は、絶縁体画像の視覚情報を含む、抽出された画像特徴ベクトルを出力する。Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによって画像特徴抽出を行う。Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ モデルの入力画像サイズが２２４×２２４×３であると仮定すると、第１のｃｏｎｖ×２およびｍａｘ ｐｏｏｌ畳み込みモジュールを経って、２つの層のｃｏｎｖと１つの層のｍａｘ ｐｏｏｌｉｎｇで構成され、ここでｃｏｎｖはｒｅｌｕ活性化関数を使用し、最大プーリング方法を使用し、モジュール出力は１１２×１１２×１２８であり、同様に、第２のｃｏｎｖ×２とｍａｘ ｐｏｏｌ畳み込みモジュール、第３のｃｏｎｖ×３とｍａｘ ｐｏｏｌ畳み込みモジュール、第４のｃｏｎｖ×３とｍａｘ ｐｏｏｌ畳み込みモジュールに引き続き入力し、最後に、１つのｃｏｎｖおよびｍａｘ ｐｏｏｌ層を通過し、それを展開して４０９６次元のベクトルを生成し、最後に全結合層を追加して１０２４次元の画像特徴ベクトルを出力する。
（３）ウィキペディアコーパスから各欠陥クラスのテキストデータを取得し、また、データ抽出、フィルタリング、簡体字と繁体字の変換、コーパスクリーニング、単語分割処理操作を実行する。本実施例では、それぞれ表面浸食、粗い亀裂、破損断裂、ストリング落下、フラッシュオーバー火傷である５つの欠陥タイプを例とする。具体的には、まず、ウィキペディアから絶縁体記述情報をダウンロードする。次に、ダウンロードした圧縮パッケージからテキストを抽出し、正規表現式によって初歩的なフィルタリングを実行する。一方では、これらのヘルプページとリダイレクトされたページを削除し、他方では、ページのテキスト以外の特別なタグを処理して削除し、最後に、ｏｐｅｎｃｃを使用して、テキスト情報を繁体字から簡体字まで変換する。最後に、ｊｉｅｂａ単語分割ツールを使用して、ドキュメント内の数字や句読点などの非中国語文字のコーパスをクリーンアップし、テキスト内の文に対して単語分割処理を実行する。
（４）これらのテキストコーパスを単語ベクトルの教師なし学習に使用し、Ｓｋｉｐ－Ｇｒａｍ方法を使用して、対応する欠陥クラスの単語ベクトルをトレーニングおよび取得する。トレーニングモデルはＳｋｉｐ－Ｇｒａｍモデルであり、コアは、中心的な語彙に従ってそのコンテキストを予測し、特定の名詞に対してデータ増強サンプリングを実行する。
（５）単語ベクトルを分析辞書学習アルゴリズムにより冗長な情報を削除してセマンティック特徴ベクトルを取得する。Ａｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ（分析辞書学習）アルゴリズムは、Ｓｙｎｔｈｅｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ方法の対偶形式であり、それはコーディングに非常に直感的な説明を提供でき、つまり特徴変換である。また、Ａｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇアルゴリズムは、データの処理においてもより効率的である。１つのトレーニングサンプルが与えられると、アルゴリズムの目標は分析型辞書を学習することであり、学習した辞書は、制約条件が満たされているという状況の下で、辞書と単語ベクトルライブラリの積をスパースコーディング行列にできるだけ近づけることができる。本発明は、スパースコーディング行列を使用してセマンティック特徴ベクトルライブラリとして、単語ベクトルライブラリ内の冗長な情報を減らし、計算効率と欠陥検出の精度を改善する。本発明のＡｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇモデルは、（ａ）５つの欠陥クラスを含む単語ベクトルライブラリ、（ｂ）行列乗算および閾値関数によって得られるスパースコーディング行列、（ｃ）学習した分析辞書、制約が満たされるという条件の下で、分析辞書とスパースコーディングマトリックスの積を単語ベクトルの値に近づける。
（６）画像特徴ベクトルとセマンティック特徴ベクトルは、距離メトリックモジュールでＬＭＮＮ（Ｌａｒｇｅ Ｍａｒｇｉｎ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズムモデルによって計算された後、２つのベクトルの距離と距離マッピング行列を取得する。Ｌは距離メトリック行列であり、計算式は
（７）最後に、最近傍分類器を使用して、距離の大きさに従って欠陥のクラスを決定する。（６）に基づいて算出された距離のうち、検出対象の絶縁体の画像特徴ベクトルに最も近いセマンティック特徴ベクトルで表されるクラスが、検出対象の絶縁体の欠陥クラスである。具体的には、
検出対象の絶縁体の画像特徴ベクトルが、「正常」のクラスを表すセマンティック特徴ベクトルに最も近い場合、正常と判断し、「異常なし」を出力し、「表面侵食」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「表面侵食欠陥あり」を出力し、「粗い亀裂」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「粗い亀裂欠陥があり」を出力し、「破損断裂」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「ストリング落下欠陥があり」を出力し、「フラッシュオーバー火傷」というクラスを表すセマンティック特徴ベクトルに最も近い場合、「フラッシュオーバー火傷欠陥あり」を出力する。
【0024】
この実施例におけるステップ（１）～（２）とステップ（３）～（５）との間には特定の順序ではなく、実際の状況に従って調整することができる。
【0025】
本実施例は、Ａｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇアルゴリズムを使用して単語ベクトルをスパース表示し、冗長な情報を削減する。Ａｎａｌｙｓｉｓ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇアルゴリズムの目的関数を改善し、判定性を改善するための誤差項を追加し、単語ベクトルのノイズとエラーをさらに減らす。距離メトリックモジュールで、Ｌａｒｇｉｎ Ｍａｒｇｉｎ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒアルゴリズムを使用し、損失関数を再構築し、エラー率と計算の複雑さを効果的に減らすことができ、よりよい適用性を有する。本発明のアルゴリズムシステムでは、特定の損失関数が設計され、モデルをトレーニングして、困難なケースを解決したり、欠陥検出の正確度を向上させたりすることができる。
【0026】
以上、添付図面を参照しながら本発明の実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で当業者の知識の範囲内で種々の変更を加えることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】