特表 2022-549541 欠陥検出方法、装置、電子機器及びコンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-28

(54)【発明の名称】欠陥検出方法、装置、電子機器及びコンピュータ記憶媒体

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221118BHJP

   G06T 7/00 20170101ALI20221118BHJP

【ＦＩ】

G01N21/88 Z

G06T7/00 610

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021561907

(86)(22)【出願日】2020-11-28

(85)【翻訳文提出日】2021-10-21

(86)【国際出願番号】 CN2020132532

(87)【国際公開番号】W WO2022036919

(87)【国際公開日】2022-02-24

(31)【優先権主張番号】202010835350.5

(32)【優先日】2020-08-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】サン，ミンシャン

(72)【発明者】

【氏名】バオ，ティアンペン

(72)【発明者】

【氏名】ウー，リウェイ

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051AC16

2G051CA01

2G051EC01

5L096AA06

5L096BA03

5L096BA18

5L096CA02

5L096DA02

5L096DA03

5L096EA35

5L096FA02

5L096FA16

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096JA11

5L096JA16

5L096JA18

(57)【要約】

本願は、欠陥検出方法、装置、電子機器及びコンピュータ記憶媒体を提供し、当該方法は、高速鉄道カテナリーの被検出画像を取得するステップと、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップと、前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するステップと、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップと、を含む。本願の実施例は、カスケードの方式で高速鉄道カテナリーに欠陥検出を行い、高速鉄道カテナリーの欠陥検出の漏れ率を低減させ、検出の精度を向上させることに寄与する。
【選択図】図１

【特許請求の範囲】

【請求項1】

高速鉄道カテナリーの被検出画像を取得するステップと、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップと、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するステップと、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップと、を含むことを特徴とする欠陥検出方法。

【請求項2】

前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップは、
前記被検出画像に特徴抽出を行い、第１の特徴マップを得るステップと、
前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップと、
前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割するステップと、を含むことを特徴する請求項１に記載の方法。

【請求項3】

前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップは、
前記第１の特徴マップで前記第１の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第１の部材の前景オブジェクトを確定するステップと、
前記第１の特徴マップにおける前記第１の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第１のプーリング特徴を得るステップと、
前記第１のプーリング特徴に基づいて前記第１の部材を分類し、前記第１の部材のカテゴリ及び前記第１の矩形検出枠を得るステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割するステップは、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得るステップと、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップは、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得るステップと、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップと、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップは、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定するステップと、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得るステップと、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るステップと、を含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップは、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行うステップと、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得るステップと、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るステップと、を含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得た後、
前記欠陥分類結果に基づいて欠陥早期警報を行うステップを更に含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記欠陥分類結果に基づいて欠陥早期警報を行うステップは、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、を含むことを特徴とする請求項８に記載の方法。

【請求項10】

高速鉄道カテナリーの被検出画像を取得するステップは、
撮像装置により収集された高速鉄道カテナリーの原画像を取得するステップと、
前記高速鉄道カテナリーの原画像をフィルタリングし、前記被検出画像を得るステップと、を含む請求項１に記載の方法。

【請求項11】

高速鉄道カテナリーの被検出画像を取得するための画像取得モジュールと、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するための第１の検出モジュールと、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するための第２の検出モジュールと、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るための欠陥分類モジュールと、を含むことを特徴とする欠陥検出装置。

【請求項12】

前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割する面では、前記第１の検出モジュールは、具体的に、
前記被検出画像に特徴抽出を行い、第１の特徴マップを得て、
前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得て、
前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割するために用いられることを特徴とする請求項１１に記載の装置。

【請求項13】

前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得る面では、前記第１の検出モジュールは、具体的に、
前記第１の特徴マップで前記第１の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第１の部材の前景オブジェクトを確定し、
前記第１の特徴マップにおける前記第１の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第１のプーリング特徴を得て、
前記第１のプーリング特徴に基づいて前記第１の部材を分類し、前記第１の部材のカテゴリ及び前記第１の矩形検出枠を得るために用いられることを特徴とする請求項１２に記載の装置。

【請求項14】

前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割する面では、前記第２の検出モジュールは、具体的に、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得て、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するために用いられることを特徴とする請求項１３に記載の装置。

【請求項15】

前記第１の部材の被分割画像から前記第２の部材の画像を分割する面では、前記第２の検出モジュールは、具体的に、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得て、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得て、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するために用いられることを特徴とする請求項１３に記載の装置。

【請求項16】

前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得る面では、前記第２の検出モジュールは、具体的に、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定し、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得て、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るために用いられることを特徴とする請求項１５に記載の装置。

【請求項17】

前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得る面では、前記欠陥分類モジュールは、具体的に、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行い、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得て、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るために用いられることを特徴とする請求項１６に記載の装置。

【請求項18】

具体的に、前記欠陥分類結果に基づいて欠陥早期警報を行うために用いられる欠陥早期警報モジュールを更に含むことを特徴とする請求項１７に記載の装置。

【請求項19】

前記欠陥分類結果に基づいて欠陥早期警報を行う面では、前記欠陥早期警報モジュールは、具体的に、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行い、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うために用いられることを特徴とする請求項１８に記載の装置。

【請求項20】

高速鉄道カテナリーの被検出画像を取得する面では、前記画像取得モジュールは、具体的に、
撮像装置により収集された高速鉄道カテナリーの原画像を取得し、
前記高速鉄道カテナリーの原画像をフィルタリングし、前記被検出画像を得るために用いられることを特徴とする請求項１１に記載の装置。

【請求項21】

入力機器及び出力機器を含む電子機器であって、
１つ又は複数の命令を実現することに適するプロセッサと、
前記プロセッサによってロードされて請求項１～１０の何れか一項に記載の方法を実行することに適する１つ又は複数の命令が記憶されているコンピュータ記憶媒体と、を更に含むことを特徴とする電子機器。

【請求項22】

プロセッサによってロードされて請求項１～１０の何れか一項に記載の方法を実行することに適する１つ又は複数の命令が記憶されていることを特徴とするコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピュータ視覚技術分野に関し、特に欠陥検出方法、装置、電子機器及びコンピュータ記憶媒体に関する。

【背景技術】

【0002】

高速鉄道の建設の絶えない発展に伴い、高速鉄道電力供給システムの安全性及び信頼性の要求も徐々に高くなり、高速鉄道カテナリーの安全検出及び保守が特に重要になってきた。カテナリー懸架監視装置の普及によりカテナリーの運用保守中の画像収集作業の効率を大幅に向上させたが、大量の画像データに対して、手動検査によってカテナリーに欠陥検出を行う従来の方法では、時間がかかり、効率が低いだけでなく、更に検査漏れ率が高いという問題が存在し、よって、カテナリーの欠陥検出の精度が低い。

【発明の概要】

【0003】

上記問題に対して、本願は、高速鉄道カテナリーの欠陥検出の漏れ率を低減させ、カテナリーの欠陥検出の精度を向上させることに寄与する欠陥検出方法、装置、電子機器及び記憶媒体を提供する。

【0004】

上記目的を達成するために、本願の実施例の第１の態様は、欠陥検出方法を提供し、当該方法は、
高速鉄道カテナリーの被検出画像を取得するステップと、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップと、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するステップと、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップと、を含む。

【0005】

第１の態様と組み合わせ、１つの可能な実施形態において、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップは、
前記被検出画像に特徴抽出を行い、第１の特徴マップを得るステップと、
前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップと、
前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割するステップと、を含む。

【0006】

第１の態様と組み合わせ、１つの可能な実施形態において、前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップは、
前記第１の特徴マップで前記第１の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第１の部材の前景オブジェクトを確定するステップと、
前記第１の特徴マップにおける前記第１の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第１のプーリング特徴を得るステップと、
前記第１のプーリング特徴に基づいて前記第１の部材を分類し、前記第１の部材のカテゴリ及び前記第１の矩形検出枠を得るステップと、を含む。

【0007】

第１の態様と組み合わせ、１つの可能な実施形態において、前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割するステップは、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得るステップと、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含む。

【0008】

第１の態様と組み合わせ、１つの可能な実施形態において、前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップは、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得るステップと、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップと、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含む。

【0009】

第１の態様と組み合わせ、１つの可能な実施形態において、前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップは、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定するステップと、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得るステップと、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るステップと、を含む。

【0010】

第１の態様と組み合わせ、１つの可能な実施形態において、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップは、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行うステップと、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得るステップと、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るステップと、を含む。

【0011】

第１の態様と組み合わせ、１つの可能な実施形態において、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得た後、前記方法は、
前記欠陥分類結果に基づいて欠陥早期警報を行うステップを更に含む。

【0012】

第１の態様と組み合わせ、１つの可能な実施形態において、前記欠陥分類結果に基づいて欠陥早期警報を行うステップは、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、を含む。

【0013】

第１の態様と組み合わせ、１つの可能な実施形態において、高速鉄道カテナリーの被検出画像を取得するステップは、
撮像装置により収集された高速鉄道カテナリーの原画像を取得するステップと、
前記高速鉄道カテナリーの原画像をフィルタリングし、前記被検出画像を得るステップと、を含む。

【0014】

本願の実施例の第２の態様は、欠陥検出装置を提供し、当該装置は、
高速鉄道カテナリーの被検出画像を取得するための画像取得モジュールと、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するための第１の検出モジュールと、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するための第２の検出モジュールと、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るための欠陥分類モジュールと、を含む。

【0015】

本願の実施例の第３の態様は、入力機器及び出力機器を含む電子機器を提供し、前記電子機器は、１つ又は複数の命令を実現することに適するプロセッサと、前記プロセッサによってロードされて上記第１の態様の何れか１つの実施形態におけるステップを実行することに適する１つ又は複数の命令が記憶されているコンピュータ記憶媒体と、を更に含む。

【0016】

本願の実施例の第４の態様は、コンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体には、プロセッサによってロードされて上記第１の態様の何れか１つの実施形態におけるステップを実行することに適する１つ又は複数の命令が記憶されている。

【0017】

本願の実施例は、高速鉄道カテナリーの被検出画像を取得し、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割し、前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割し、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得ることにより、高速鉄道カテナリーの被検出画像に一次部材（即ち、第１の部材）の検出を行い、高速鉄道カテナリーの被検出画像から一次部材の画像を分割し、更に一次部材の画像に二次部材（即ち、第２の部材）の検出を行い、一次部材の二次部材を認識し、二次部材の画像を分割し、一次部材の画像及び二次部材の画像を利用して欠陥分類を行い、カスケード式の高速鉄道カテナリーの欠陥検出を実現し、高速鉄道カテナリーの欠陥検出の漏れ率を低減させ、更にカテナリーの欠陥検出の精度を向上させることに寄与し、同時に、手動点検コストを削減し、検出時間を短縮し、検出効率を向上させることにも寄与することが分かる。

【0018】

本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記載に必要な図面を簡単に説明し、明らかに、以下の記載における図面は、本願のいくつかの実施例に過ぎず、当業者であれば、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。

【図面の簡単な説明】

【0019】

【図1】本願の実施例により提供される欠陥検出方法のフローチャートである。

【図2】本願の実施例により提供される高速鉄道カテナリーの欠陥検出の適用環境の概略図である。

【図3】本願の実施例により提供される高速鉄道カテナリーの原画像をフィルタリングする概略図である。

【図4】本願の実施例により提供される高速鉄道カテナリーの欠陥検出モデルの構造概略図である。

【図5A】本願の実施例により提供される第１の部材を分割する概略図である。

【図5B】本願の実施例により提供される第２の部材を分割する概略図である。

【図6】本願の実施例により提供される別の欠陥検出方法のフローチャートである。

【図7】本願の実施例により提供される特徴マップに基づいて候補領域を生成する概略図である。

【図8】本願の実施例により提供される欠陥検出装置の構造概略図である。

【図9】本願の実施例により提供される別の欠陥検出装置の構造概略図である。

【図10】本願の実施例により提供される電子機器の構造概略図である。

【発明を実施するための形態】

【0020】

当業者に本願の方法をより良く理解させるために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭且つ完全に説明し、明らかに、記載された実施例は、本願の一部の実施例に過ぎず、全ての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提で得られる他の全ての実施例は、いずれも本願の保護範囲に属すべきである。

【0021】

本願の明細書、特許請求の範囲及び図面に現れる「含む」及び「有する」という用語及びこれらの他の変形は、非排他的な包含を網羅することを意図するものである。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、列挙されたステップ又はユニットに限定されないが、任意選択的に、列挙されていないステップ又はユニットを更に含むか、又は、好ましくは、これらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを更に含む。なお、「第１」、「第２」及び「第３」などの用語は、異なるオブジェクトを区別するためのものであり、特定の順序を説明するためのものではない。

【0022】

本願の実施例は、高速鉄道カテナリーの欠陥検出の漏れ率を低減させ、欠陥検出の精度を向上させる高速鉄道カテナリーの欠陥検出手段を提案する。具体的な実施において、深層学習に基づく高速鉄道カテナリーの欠陥検出モデルを採用し、まず、高速鉄道カテナリーの被検出画像から一次部材を位置特定し、更に、一次部材の画像から一次部材とカスケード関係を有する二次部材を位置特定し、部材の漏れ率の低減に寄与し、一次部材の画像、二次部材の画像を利用して一次部材及び二次部材の欠陥タイプの予測を行い、最後に欠陥早期警報時に欠陥の具体的な位置、欠陥タイプ、欠陥の属する部材、欠陥の属する部材の上位部材及び欠陥の位置する具体的な線路区間などを出力することができ、検出プロセス全体は、ツリー構造を呈し、部材間の構造化情報により、運用保守担当者が欠陥位置、欠陥線路を速やかに確定し、カテナリーの保守作業を展開し、高速列車の安全な運転を保証することに寄与し、同時に、新しい部材、新しい欠陥の拡張に寄与する。

【0023】

以下、関連する図面を参照しながら本願の実施例により提供される欠陥検出方法を詳しく説明する。

【0024】

図１を参照し、図１は、本願の実施例により提供される欠陥検出方法のフローチャートであり、当該欠陥検出方法は、深層学習に基づく高速鉄道カテナリーの欠陥検出モデルが配置されたサーバ、コンピュータホスト、クラウドサーバなどのサーバに適用され、図１に示すように、ステップＳ１１～Ｓ１４を含む。

【0025】

Ｓ１１では、高速鉄道カテナリーの被検出画像を取得する。

【0026】

本願の具体的な実施例において、図２に示すように、高速鉄道点検車は、通常、夜間で作業し、点検車には高精細度撮像装置及び車載センサが取り付けられており、点検車は、高速鉄道線路を走行し、車載センサが線路両側の支柱を検出する度に、撮像装置がカテナリーに画像収集を行うようにトリガーし、高速鉄道カテナリーの原画像を得て、例えば、点検車には、通常、車両の前部及び後部に位置する２組の撮像装置が含まれ、車載センサが所定の範囲で支柱を検出した場合、２組の撮像装置がカテナリーの支持部材、懸架部材などに対して表裏面及び全体レイアウトの撮像を行うようにトリガーすることにより、異なる角度からの大量の高速鉄道カテナリーの原画像を得る。高速鉄道カテナリーの原画像の解像度は、一般的に、６５７６＊４３８４画素のような好適な値を有するが、夜間で作業し、霧が立ち込めているなどの環境要因のため、収集された高速鉄道カテナリーの原画像には、解像度の長さ及び幅が２０００画素よりも低い画像のような、解像度の低い画像が依然として存在するため、図３に示すように、収集された高速鉄道カテナリーの原画像をフィルタリングし、解像度の長さ及び幅が所定の画素値に達した高速鉄道カテナリーの原画像を後続の欠陥検出の被検出画像として選別し、解像度の長さ及び幅が所定の画素値よりも低い高速鉄道カテナリーの原画像をフィルタリングして除去する必要がある。

【0027】

Ｓ１２では、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割する。

【0028】

本願の具体的な実施例において、事前にトレーニングされた深層学習に基づく高速鉄道カテナリーの欠陥検出モデルを採用してステップＳ１１で取得した被検出画像における各部材に欠陥検出を行い、当該高速鉄道カテナリーの欠陥検出モデルは、第１の部材の検出器、第２の部材の検出器、欠陥分類器及び欠陥早期警報モジュールを含み、図４に示すように、第１の部材の検出器の入力は、被検出画像であり、被検出画像から高速鉄道カテナリーの第１の部材を検出するために用いられ、前記第１の部材は、例えば、柱頂部蓋板、絶縁体、リングロッド－直角ハンギングプレート継手、アームベース、ＡＦラインショルダーマウントベース、接触ワイヤ中心アンカークランプ、錘制限フレームなどであり、第２の部材の検出器は、第１の部材の検出器から出力された第１の部材の画像から第１の部材上の第２の部材を検出するために用いられ、前記第２の部材は、例えば、絶縁体の両端のボルト、ナット、コッタピンなどであり、その出力は、第２の部材の画像であり、欠陥分類器は、第１の部材の画像に基づいて第１の部材に欠陥分類を行い、第２の部材の画像に基づいて第２の部材に欠陥分類を行うために用いられ、欠陥早期警報モジュールは、欠陥分類器により出力された欠陥分類結果に基づいて欠陥早期警報を行うために用いられ、その出力は、欠陥の位置、欠陥タイプ（例えば、アームベース上のコッタピンが所定の角度に達していない）、欠陥の属する部材の上位部材、欠陥の位置する高速鉄道線路などを含む。任意選択的に、第１の部材の検出器は、二段（ｔｗｏ－ｓｔａｇｅ）検出器であってもよく、一段（ｏｎｅ－ｓｔａｇｅ）検出器であってもよく、二段検出器は、被検出画像から抽出された特徴マップに基づいて候補領域を生成し、その後、候補領域に対して分類予測を行い、第１の部材のカテゴリ及び矩形検出枠の座標を得て、当該矩形検出枠の座標は、左上角及び右下角の座標であってもよく、中心点座標、長さ及び幅などであってもよく、具体的に限定されず、図５Ａに示すように、矩形検出枠に応じて被検出画像から、絶縁体、アームベースなどの第１の部材の画像を分割する。一段検出器は、候補領域を生成する必要がなく、入力された被検出画像に対して分類予測を直接行い、第１の部材のカテゴリ及び矩形検出枠の座標を得て、その後、当該矩形検出枠に応じて第１の部材の画像を分割する。任意選択的に、第１の部材の検出器は、高速鉄道カテナリーのサンプル画像を用いてトレーニングし、当該サンプル画像における第１の部材にはカテゴリラベルが付いており、トレーニング中に所定の損失関数に基づいて当該第１の部材の検出器を最適化する。

【0029】

Ｓ１３では、前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割する。

【0030】

本願の具体的な実施例において、第２の部材とは、第１の部材のサブ部材を指し、両者は、カスケード関係を有し、二次部材は、画素割合が小さいという特徴を有し、光線が不十分な環境で、ステップＳ１２で分割した第１の部材の画像を直接検出すると、検出漏れが発生する可能性が高いため、画像品質を向上させるために、第１の部材の画像にガンマ補正を行い、第１の部材の被分割画像（即ち、ガンマ補正後に得られた画像）を得て、その後、第２の部材の検出器によって被分割画像から高速鉄道カテナリーの第２の部材の画像を分割する必要がある。任意選択的に、当該第２の部材の検出器は、第１の部材の検出器と同じであってもよく、異なってもよく、第１の部材の検出器と共にトレーニングされてもよく、単独でトレーニングされてもよく、同様に、第２の部材のカテゴリ及び矩形検出枠を得た後、図５Ｂに示すように、当該矩形検出枠に応じて第１の部材の画像から第２の部材の画像を分割する。

【0031】

Ｓ１４では、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得る。

【0032】

本願の具体的な実施例において、任意選択的に、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップは、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行うステップと、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得るステップと、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るステップと、を含む。

【0033】

引き続き図４を参照し、第１の部材の画像及び第２の部材の画像を得た後、それらを欠陥分類器に入力して欠陥タイプの確率予測を行う。具体的には、欠陥分類器のバックボーンネットワークによって第１の部材の画像の特徴及び第２の部材の画像の特徴を抽出し、バックボーンネットワークは、主に畳み込み処理を行い、その後、抽出された特徴に基づき、当該特徴を完全接続層に入力して欠陥タイプの確率予測を行い、確率の最も高い欠陥タイプを当該部材の欠陥タイプとし、例えば、現在、第１の部材である錘制限フレームの特徴を入力し、完全接続層は、分類処理により、当該錘制限フレームにクラックが存在する確率が９５％（最高）に達したと予測し、当該錘制限フレームの欠陥タイプは、「クラックあり」である。勿論、欠陥分類器の最終的な出力は、部材の欠陥タイプに加えて、部材のカテゴリインデックス及び矩形検出枠の座標もあり、例えば、「ｃ０５、クラックあり」の場合、ｃ０５は、部材のカテゴリインデックスを表し、ここで、第１の部材のカテゴリインデックスは、第１の部材の検出器により第１の部材のカテゴリを得た時に確定されてよく、第２の部材のカテゴリインデックスは、第２の部材の検出器により第２の部材のカテゴリを得た時に確定されてよい。ここで、欠陥分類器は、第１の部材の検出器と共にトレーニングされてもよく、第２の部材の検出器と共にトレーニングされてもよく、又は単独でトレーニングされてもよい。

【0034】

任意選択的に、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得た後、前記方法は、前記欠陥分類結果に基づいて欠陥早期警報を行うステップを更に含む。

【0035】

本願の具体的な実施例において、前記欠陥分類結果に基づいて欠陥早期警報を行うステップは、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、を含む。

【0036】

具体的には、ターゲットの第１の部材とは、第２の部材の上位部材を指し、欠陥早期警報モジュールの入力は、第１の部材及び第２の部材の欠陥分類結果、第１の部材及び第２の部材の矩形検出枠の座標、出力可能な部材の欠陥タイプ、被検出画像における部材の位置、部材のカテゴリ、被検出画像における部材の属する上位部材の位置、部材の上位部材のカテゴリ及び部材の位置する高速鉄道線路を含む。任意選択的に、被検出画像における部材の位置及び被検出画像における部材の上位部材の位置は、いずれも部材の矩形検出枠で提示され、部材のカテゴリ及び部材の上位部材のカテゴリは、いずれもカテゴリインデックスで提示され、部材の位置する高速鉄道線路は、撮像装置が高速鉄道カテナリーの原画像をアップロードした時に運ばれている標識に基づいて出力されてよく、例えば、ある高速鉄道カテナリーの原画像にＡＢ１００２（Ａ市からＢ市への第１００２号の線路）の標識が運ばれており、当該標識は、全欠陥検出プロセスに存在し、勿論、ここで例示的なものに過ぎず、本願の実施例を限定するものではない。

【0037】

また、第１の部材にその属する上位部材がないため、第１の部材に対して出力された早期警報情報は、第１の部材の欠陥タイプ（例えば、ＡＦラインショルダーマウントベースにあるナットが抜けた）、被検出画像における第１の部材の位置（例えば、ＡＦラインショルダーマウントベースの矩形検出枠）、第１の部材のカテゴリ及び第１の部材の位置する高速鉄道線路を含む。第２の部材には、通常、上位部材が存在するため、第２の部材の属するターゲットの第１の部材を確定する必要があり、第２の部材自体の欠陥タイプ、被検出画像における第２の部材の位置などの情報を出力するほか、当該ターゲットの第１の部材のカテゴリ、被検出画像における位置などを出力する必要もある。

【0038】

更に、前記第２の部材の属するターゲットの第１の部材を確定するステップは、
前記第２の部材の第２の矩形検出枠と全ての前記第１の部材の第１の矩形検出枠との共通部分を取得するステップと、
前記共通部分と前記第２の矩形検出枠との間の比を取得するステップと、
前記第２の矩形検出枠との間の比に基づいて前記第２の部材の属するターゲットの第１の部材を確定するステップと、を含む。

【0039】

具体的には、第１の矩形検出枠とは、第１の部材の境界ボックスの回帰を指し、第２の矩形検出枠とは、第２の部材の境界ボックスの回帰を指し、現在検出される位置決めフック（第２の部材に属する）に対して、その第２の矩形検出枠をＡとし、全ての第１の部材の第１の矩形検出枠をＢ１、Ｂ２、Ｂ３…Ｂｎとすると、まず、当該第２の矩形検出枠Ａと全ての第１の矩形検出枠Ｂ１、Ｂ２、Ｂ３…Ｂｎとの共通部分Ｃ１、Ｃ２、Ｃ３…Ｃｎを取得し、更にそれぞれ共通部分Ｃ１、Ｃ２、Ｃ３…Ｃｎと第２の矩形検出枠Ａとの比Ｃ１／Ａ、Ｃ２／Ａ、Ｃ３／Ａ…Ｃｎ／Ａを計算し、Ｃ１／Ａが最大値である場合、第１の矩形検出枠Ｂ１に対応する第１の部材を当該位置決めフックの位置するターゲットの第１の部材とする。当該実施形態において、欠陥早期警報モジュールによって入力されたのは第１の部材及び第２の部材の欠陥分類結果、第１の部材及び第２の部材の矩形検出枠の座標であるため、第２の部材と第１の部材の矩形検出枠の共通部分及び第２の部材の矩形検出枠との比に基づいて第２の部材の上位部材を確定することができ、検出時間全体に影響を与えず、且つ精度が要求を満たす。

【0040】

本願の実施例は、高速鉄道カテナリーの被検出画像を取得し、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割し、前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割し、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得ることにより、高速鉄道カテナリーの被検出画像に一次部材の検出を行い、高速鉄道カテナリーの被検出画像から一次部材の画像を分割し、更に一次部材の画像に二次部材の検出を行い、一次部材の二次部材を認識し、二次部材の画像を分割し、一次部材の画像及び二次部材の画像を利用して欠陥分類を行い、カスケード式の高速鉄道カテナリーの欠陥検出を実現し、高速鉄道カテナリーの欠陥検出の漏れ率を低減させ、更にカテナリーの欠陥検出の精度を向上させることに寄与し、同時に、手動点検コストを削減し、検出時間を短縮し、検出効率を向上させることにも寄与する。

【0041】

図６を参照し、図６は、本願の実施例により提供される別の欠陥検出方法のフローチャートであり、図６に示すように、ステップＳ６１～Ｓ６７を含む。

【0042】

Ｓ６１では、高速鉄道カテナリーの被検出画像を取得する。

【0043】

Ｓ６２では、前記被検出画像に特徴抽出を行い、第１の特徴マップを得る。

【0044】

Ｓ６３では、前記第１の特徴マップに基づいて高速鉄道カテナリーの第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得る。

【0045】

Ｓ６４では、前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割する。

【0046】

Ｓ６５では、前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割する。

【0047】

Ｓ６６では、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得る。

【0048】

Ｓ６７では、前記欠陥分類結果に基づいて欠陥早期警報を行う。

【0049】

本願の具体的な実施例において、第１の部材の検出器に入力された被検出画像に対して、第１の部材の検出器のバックボーンネットワークによってそれに特徴抽出を行い、バックボーンネットワークは、主に畳み込み処理を行い、出力した特徴マップは、上記第１の特徴マップであり、当該第１の特徴マップで第１の部材の候補領域の座標予測を行い、図７に示す候補領域を生成し、当該候補領域内で前景、背景の分類を行い、第１の部材の前景オブジェクトを得て、その後、第１の特徴マップにおける当該前景オブジェクトに対応する特徴にプーリング処理を行い、出力した特徴は、上記第１のプーリング特徴であり、当該第１のプーリング特徴を完全接続層に入力して最終的な分類を行い、被検出画像における第１の部材のカテゴリ及び矩形検出枠（即ち、第１の矩形検出枠）を出力し、第１の矩形検出枠に応じて被検出画像から第１の部材の画像を分割し、欠陥分類器の入力とする。当該実施形態において、候補領域に基づく第１の部材の検出器を利用して被検出画像における第１の部材を分類し、精度がより高い。

【0050】

任意選択的に、前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割するステップは、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得るステップと、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含む。

【0051】

当該実施形態において、第１の部材の画像にガンマ補正を行うことにより、品質がより高い被分割画像を得ることができ、光線が不十分であることによる検出への影響を解消し、第２の部材の画像を精度よく分割し、第２の部材の漏れ率を低減させることに寄与する。

【0052】

任意選択的に、前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップは、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得るステップと、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップと、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含む。

【0053】

任意選択的に、前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップは、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定するステップと、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得るステップと、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るステップと、を含む。

【0054】

本願の具体的な実施例において、第２の特徴マップとは、第２の部材の検出器がバックボーンネットワークによって第１の部材のサブマップから抽出した特徴マップを指し、第２のプーリング特徴とは、第２の部材の検出器が第２の特徴マップにおける第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行った後に得られた特徴を指す。第２の部材の検出器の処理プロセスは、第１の部材の検出器と同じであり、同様に、生成された候補領域に基づいて第２の部材のカテゴリ予測を行い、第２の部材のカテゴリ及び第２の矩形検出枠を出力することであることを説明しておく。

【0055】

上記ステップＳ６１～Ｓ６７の具体的な実施形態は、図１に示す実施例において関連する説明が記載されており、且つ同じ又は類似する有益な効果を達成することができるため、ここでその説明を省略する。
図１又は図６に示す方法の実施例の説明に基づき、本願の実施例は、欠陥検出装置を更に提供し、図８を参照し、図８は、本願の実施例により提供される欠陥検出装置の構造概略図であり、図８に示すように、当該装置は、
高速鉄道カテナリーの被検出画像を取得するための画像取得モジュール８１と、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するための第１の検出モジュール８２と、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するための第２の検出モジュール８３と、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るための欠陥分類モジュール８４と、を含む。

【0056】

１つの可能な実施形態において、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割する面では、第１の検出モジュール８２は、具体的に、
前記被検出画像に特徴抽出を行い、第１の特徴マップを得て、
前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得て、
前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割するために用いられる。

【0057】

１つの可能な実施形態において、前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得る面では、第１の検出モジュール８２は、具体的に、
前記第１の特徴マップで前記第１の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第１の部材の前景オブジェクトを確定し、
前記第１の特徴マップにおける前記第１の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第１のプーリング特徴を得て、
前記第１のプーリング特徴に基づいて前記第１の部材を分類し、前記第１の部材のカテゴリ及び前記第１の矩形検出枠を得るために用いられる。

【0058】

１つの可能な実施形態において、前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割する面では、第２の検出モジュール８３は、具体的に、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得て、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するために用いられる。

【0059】

１つの可能な実施形態において、前記第１の部材の被分割画像から前記第２の部材の画像を分割する面では、第２の検出モジュール８３は、具体的に、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得て、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得て、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するために用いられる。

【0060】

１つの可能な実施形態において、前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得る面では、第２の検出モジュール８３は、具体的に、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定し、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得て、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るために用いられる。

【0061】

１つの可能な実施形態において、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得る面では、欠陥分類モジュール８４は、具体的に、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行い、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得て、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るために用いられる。

【0062】

１つの可能な実施形態において、図９に示すように、当該装置は、欠陥早期警報モジュール８５を更に含み、前記欠陥早期警報モジュール８５は、具体的に、
前記欠陥分類結果に基づいて欠陥早期警報を行うために用いられる。

【0063】

１つの可能な実施形態において、前記欠陥分類結果に基づいて欠陥早期警報を行う面では、欠陥早期警報モジュール８５は、具体的に、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行い、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うために用いられる。

【0064】

１つの可能な実施形態において、高速鉄道カテナリーの被検出画像を取得する面では、画像取得モジュール８１は、具体的に、
撮像装置により収集された高速鉄道カテナリーの原画像を取得し、
前記高速鉄道カテナリーの原画像をフィルタリングし、前記被検出画像を得るために用いられる。

【0065】

本願の１つの実施例によれば、図８又は図９に示す欠陥検出装置における各ユニットは、それぞれ又は全て１つ又は複数の別のユニットに組み合わせられるように構成されてもよく、又はその中のある（複数の）ユニットが更に機能的により小さい複数のユニットに分割されるように構成されてもよく、これによって、本願の実施例の技術的効果の実現に影響することなく、同様の操作を実現することができる。上記ユニットは、論理機能に基づいて分割され、実際の適用において、１つのユニットの機能は、複数のユニットによって実現されてもよく、又は、複数のユニットの機能は、１つのユニットによって実現されてもよい。本願の他の実施例において、欠陥検出装置が他のユニットを含んでもよいことに基づき、実際の適用において、これらの機能は、他のユニットによって支援して実現されてもよく、且つ複数のユニットによって連携して実現されてもよい。

【0066】

本願の別の実施例によれば、中央処理装置（ＣＰＵ）、ランダムアクセス記憶媒体（ＲＡＭ）、読み出し専用記憶媒体（ＲＯＭ）などの処理素子及び記憶素子を含むコンピュータなどの汎用コンピューティング機器で図１又は図６に示す対応する方法に係る各ステップを実行できるコンピュータプログラム（プログラムコードを含む）を実行することにより、図８又は図９に示す欠陥検出装置機器を構成し、且つ、本願の実施例の欠陥検出方法を実現することができる。前記コンピュータプログラムは、例えばコンピュータ読み取り可能な記憶媒体に記録されてよく、且つコンピュータ読み取り可能な記憶媒体によって上記コンピューティング機器にロードされ、且つその中で実行される。

【0067】

上記方法の実施例及び装置の実施例の説明に基づき、本願の実施例は、電子機器を更に提供する。図１０を参照し、当該電子機器は、少なくともプロセッサ１００１と、入力機器１００２と、出力機器１００３と、コンピュータ記憶媒体１００４とを含む。そのうち、電子機器内のプロセッサ１００１、入力機器１００２、出力機器１００３及びコンピュータ記憶媒体１００４は、パス又は他の方法によって接続されてよい。

【0068】

コンピュータ記憶媒体１００４は、電子機器のメモリに記憶されてよく、前記コンピュータ記憶媒体１００４は、コンピュータプログラムを記憶するために用いられ、前記コンピュータプログラムは、プログラム命令を含み、前記プロセッサ１００１は、前記コンピュータ記憶媒体１００４に記憶されているプログラム命令を実行するために用いられる。プロセッサ１００１（又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，中央処理装置）と呼ばれる）は、電子機器の計算コア及び制御コアであり、１つ又は複数の命令を実現することに適し、具体的に、１つ又は複数の命令をロードして実行することで対応する方法のフロー及び対応する機能を実現することに適する。

【0069】

１つの実施例において、本願の実施例により提供される電子機器のプロセッサ１００１は、
高速鉄道カテナリーの被検出画像を取得し、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割し、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割し、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るといった一連の欠陥検出処理を行うために用いることができる。

【0070】

更に別の実施例において、プロセッサ１００１により、前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップを実行することは、
前記被検出画像に特徴抽出を行い、第１の特徴マップを得るステップと、
前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップと、
前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割するステップと、を含む。

【0071】

更に別の実施例において、プロセッサ１００１により、前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップを実行することは、
前記第１の特徴マップで前記第１の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第１の部材の前景オブジェクトを確定するステップと、
前記第１の特徴マップにおける前記第１の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第１のプーリング特徴を得るステップと、
前記第１のプーリング特徴に基づいて前記第１の部材を分類し、前記第１の部材のカテゴリ及び前記第１の矩形検出枠を得るステップと、を含む。

【0072】

更に別の実施例において、プロセッサ１００１により、前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割するステップを実行することは、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得るステップと、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含む。

【0073】

更に別の実施例において、プロセッサ１００１により、前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップを実行することは、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得るステップと、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップと、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含む。

【0074】

更に別の実施例において、プロセッサ１００１により、前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップを実行することは、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定するステップと、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得るステップと、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るステップと、を含む。

【0075】

更に別の実施例において、プロセッサ１００１により、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップを実行することは、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行うステップと、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得るステップと、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るステップと、を含む。

【0076】

更に別の実施例において、前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得た後、プロセッサ１００１は、更に、
前記欠陥分類結果に基づいて欠陥早期警報を行うステップを実行するために用いられる。

【0077】

更に別の実施例において、プロセッサ１００１により、前記欠陥分類結果に基づいて欠陥早期警報を行うステップを実行することは、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、を含む。

【0078】

更に別の実施例において、プロセッサ１００１により、高速鉄道カテナリーの被検出画像を取得するステップを実行することは、
撮像装置により収集された高速鉄道カテナリーの原画像を取得するステップと、
前記高速鉄道カテナリーの原画像をフィルタリングし、前記被検出画像を得るステップと、を含む。

【0079】

例示的に、上記電子機器は、コンピュータ、コンピュータホスト、サーバ、クラウドサーバ、サーバクラスタなどであってよく、電子機器は、プロセッサ１００１と、入力機器１００２と、出力機器１００３と、コンピュータ記憶媒体１００４とを含んでよいが、これらに限定されず、入力機器１００２は、キーボード、タッチパネルなどであってよく、出力機器１００３は、スピーカ、ディスプレイ、無線周波数送信機などであってよい。当業者であれば理解できるように、前記概略図は、電子機器の例に過ぎず、電子機器を限定するものではなく、図示したものよりも多い又は少ない部材を含んでもよく、又はいくつかの部材を組み合わせてもよく、又は異なる部材を含んでもよい。

【0080】

電子機器のプロセッサ１００１がコンピュータプログラムを実行する時に上記欠陥検出方法におけるステップを実現するため、上記欠陥検出方法の実施例は、いずれも当該電子機器に適用され、且つ、いずれも同じ又は類似する有益な効果を達成できることを説明しておく。

【0081】

本願の実施例は、コンピュータ記憶媒体（Ｍｅｍｏｒｙ）を更に提供し、前記コンピュータ記憶媒体は、電子機器における記憶装置であり、プログラム及びデータを格納するために用いられる。ここのコンピュータ記憶媒体は、端末における内臓記憶媒体を含んでもよく、勿論、端末によりサポートされる拡張記憶媒体を含んでもよいことが理解される。コンピュータ記憶媒体は、記憶スペースを提供し、当該記憶スペースには端末のオペレーティングシステムが記憶されている。且つ、当該記憶スペースには、プロセッサ１００１によりロードされて実行されることに適する１つ又は複数の命令が更に格納されており、これらの命令は、１つ以上のコンピュータプログラム（プログラムコードを含む）であってよい。ここのコンピュータ記憶媒体は、高速ＲＡＭメモリであってもよく、少なくとも１つの磁気ディスクメモリなどの不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、任意選択的に、前記プロセッサ１００１から遠く離れている少なくとも１つのコンピュータ記憶媒体であってもよいことを説明しておく。１つの実施例において、プロセッサ１００１によりコンピュータ記憶媒体に格納されている１つ又は複数の命令をロードして実行することで、上記欠陥検出方法の対応するステップを実現することができる。

【0082】

例示的に、コンピュータ記憶媒体のコンピュータプログラムは、コンピュータプログラムコードを含み、前記コンピュータプログラムコードは、ソースコード形式、オブジェクトコード形式、実行可能ファイル又はいくつかの中間形式などであってよい。前記コンピュータ読み取り可能媒体は、前記コンピュータプログラムコードを運ぶことができる任意のエンティティ又は装置、記憶媒体、ＵＳＢ、ポータブルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み出し専用メモリ（ＲＯＭ，Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気キャリア信号、電気通信信号及びソフトウェア配布媒体などを含んでよい。

【0083】

コンピュータ記憶媒体のコンピュータプログラムがプロセッサによって実行される時に上記欠陥検出方法におけるステップを実現するため、上記欠陥検出方法の全ての実施例は、いずれも当該コンピュータ記憶媒体に適用され、且つ、いずれも同じ又は類似する有益な効果を達成できることを説明しておく。

【0084】

以上、本願の実施例を詳しく説明し、本明細書において、具体的な例を利用して本願の原理及び実施形態について記述したが、以上の実施例の説明は、本願の方法及びその肝心な思想を理解するためのものに過ぎない。同時に、当業者であれば、本願の思想に基づき、発明を実施するための形態及び適用範囲のいずれに対しても変更する可能性があり、以上を纏めると、本明細書の内容は、本開示に対する制限として理解してはいけない。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2021-10-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

高速鉄道カテナリーの被検出画像を取得するステップと、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップと、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するステップと、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップと、を含むことを特徴とする欠陥検出方法。

【請求項2】

前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するステップは、
前記被検出画像に特徴抽出を行い、第１の特徴マップを得るステップと、
前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップと、
前記第１の矩形検出枠に応じて前記被検出画像から前記第１の部材の画像を分割するステップと、を含むことを特徴する請求項１に記載の方法。

【請求項3】

前記第１の特徴マップに基づいて前記第１の部材に位置特定及び分類を行い、前記第１の部材の第１の矩形検出枠を得るステップは、
前記第１の特徴マップで前記第１の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第１の部材の前景オブジェクトを確定するステップと、
前記第１の特徴マップにおける前記第１の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第１のプーリング特徴を得るステップと、
前記第１のプーリング特徴に基づいて前記第１の部材を分類し、前記第１の部材のカテゴリ及び前記第１の矩形検出枠を得るステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記第１の部材の画像から高速鉄道カテナリーの第２の部材の画像を分割するステップは、
前記第１の部材の画像にガンマ補正を行い、前記第１の部材の被分割画像を得るステップと、
前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップは、
前記第１の部材の被分割画像に特徴抽出を行い、第２の特徴マップを得るステップと、
前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップと、
前記第２の矩形検出枠に応じて前記第１の部材の被分割画像から前記第２の部材の画像を分割するステップと、を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記第２の特徴マップに基づいて前記第２の部材に位置特定及び分類を行い、前記第２の部材の第２の矩形検出枠を得るステップは、
前記第２の特徴マップで前記第２の部材の候補領域の座標予測及び前景、背景の分類を行い、前記第２の部材の前景オブジェクトを確定するステップと、
前記第２の特徴マップにおける前記第２の部材の前景オブジェクトに対応する特徴にプーリング処理を行い、第２のプーリング特徴を得るステップと、
前記第２のプーリング特徴に基づいて前記第２の部材を分類し、前記第２の部材のカテゴリ及び前記第２の矩形検出枠を得るステップと、を含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るステップは、
それぞれ前記第１の部材の画像、前記第２の部材の画像に特徴抽出を行うステップと、
前記第１の部材の画像から抽出された特徴に基づいて前記第１の部材に欠陥タイプの予測を行い、前記第１の部材の欠陥タイプ及び前記第１の部材のカテゴリを含む前記第１の部材の欠陥分類結果を得るステップと、
前記第２の部材の画像から抽出された特徴に基づいて前記第２の部材に欠陥タイプの予測を行い、前記第２の部材の欠陥タイプ及び前記第２の部材のカテゴリを含む前記第２の部材の欠陥分類結果を得るステップと、を含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得た後、
前記欠陥分類結果に基づいて欠陥早期警報を行うステップを更に含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記欠陥分類結果に基づいて欠陥早期警報を行うステップは、
前記第１の部材に対して、前記第１の部材の欠陥タイプ、前記被検出画像における前記第１の部材の位置、前記第１の部材のカテゴリ及び前記第１の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、
前記第２の部材に対して、前記第２の部材の属するターゲットの第１の部材を確定し、前記第２の部材の欠陥タイプ、前記被検出画像における前記第２の部材の位置、前記第２の部材のカテゴリ、前記被検出画像における前記ターゲットの第１の部材の位置、前記ターゲットの第１の部材のカテゴリ及び前記第２の部材の位置する高速鉄道線路を出力し、欠陥早期警報を行うステップと、を含むことを特徴とする請求項８に記載の方法。

【請求項10】

高速鉄道カテナリーの被検出画像を取得するステップは、
撮像装置により収集された高速鉄道カテナリーの原画像を取得するステップと、
前記高速鉄道カテナリーの原画像をフィルタリングし、前記被検出画像を得るステップと、を含む請求項１に記載の方法。

【請求項11】

高速鉄道カテナリーの被検出画像を取得するための画像取得モジュールと、
前記被検出画像から高速鉄道カテナリーの第１の部材の画像を分割するための第１の検出モジュールと、
前記第１の部材の画像から高速鉄道カテナリーの、前記第１の部材のサブ部材である第２の部材の画像を分割するための第２の検出モジュールと、
前記第１の部材の画像、前記第２の部材の画像に基づいて前記第１の部材、前記第２の部材に欠陥分類を行い、欠陥分類結果を得るための欠陥分類モジュールと、を含むことを特徴とする欠陥検出装置。

【請求項12】

入力機器及び出力機器を含む電子機器であって、
１つ又は複数の命令を実現することに適するプロセッサと、
前記プロセッサによってロードされて請求項１～１０の何れか一項に記載の方法を実行することに適する１つ又は複数の命令が記憶されているコンピュータ記憶媒体と、を更に含むことを特徴とする電子機器。

【請求項13】

プロセッサによってロードされて請求項１～１０の何れか一項に記載の方法を実行することに適する１つ又は複数の命令が記憶されていることを特徴とするコンピュータ記憶媒体。

【国際調査報告】