知財求人 - 知財ポータルサイト「IP Force」
特表2022-548438欠陥検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-21
(54)【発明の名称】欠陥検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム製品
(51)【国際特許分類】
G06T 7/00 20170101AFI20221114BHJP
G06V 10/30 20220101ALI20221114BHJP
【ＦＩ】
G06T7/00 350Z
G06V10/30
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021567817
(86)(22)【出願日】2020-12-14
(85)【翻訳文提出日】2021-11-11
(86)【国際出願番号】 CN2020136251
(87)【国際公開番号】W WO2022036953
(87)【国際公開日】2022-02-24
(31)【優先権主張番号】202010837709.2
(32)【優先日】2020-08-19
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】徐子豪
(72)【発明者】
【氏名】▲費▼敬敬
(72)【発明者】
【氏名】▲楊▼▲凱▼
(72)【発明者】
【氏名】▲呉▼立威
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA05
5L096EA07
5L096FA17
5L096FA69
5L096GA30
5L096GA51
5L096GA55
5L096HA11
5L096JA13
(57)【要約】
本願は、欠陥検出方法、関連装置、機器及び記憶媒体を開示する。欠陥検出方法は、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報を含む、ことと、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得することと、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む。上記解決手段によれば、欠陥検出漏れ率及び誤検出率を低下させることができる。
【特許請求の範囲】
【請求項1】
欠陥検出方法であって、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、ことと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む、欠陥検出方法。
【請求項2】
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることは、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含む、こと、
及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含む、ことを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関する欠陥検出結果を得ることは、前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行することと、
前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、前記方法は、各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、
第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項5】
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、前記異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことは、
前記異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うことを含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得ることと、
各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得ることと、を含むことを特徴とする
請求項２から５のうちいずれか一項に記載の方法。
【請求項7】
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることは、欠陥検出モデルの第１領域検出ネットワークを利用して、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、
前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、
前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、
前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、
前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることを含むことを特徴とする
請求項２から６のうちいずれか一項に記載の方法。
【請求項8】
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記方法は、前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とすることを更に含むことを特徴とする
請求項１から７のうちいずれか一項に記載の方法。
【請求項9】
前記欠陥検出結果を得た後、前記方法は、前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得ることを更に含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。
【請求項10】
前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングすることは、前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングすること、及び／又は、
前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングすることを含むことを特徴とする
請求項９項に記載の方法。
【請求項11】
前記検出されるべき画像の最終的欠陥検出結果を得た後、前記方法は、前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力することを更に含むことを特徴とする
請求項９又は１０項に記載の方法。
【請求項12】
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することは、前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定することと、
前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張することと、
前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得ることと、を含むことを特徴とする
請求項１から１１のうちいずれか一項に記載の方法。
【請求項13】
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、前記方法は、初期画像をスケーリングし、所定のサイズの画像を得ることと、
スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮することと、
圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得ることと、を更に含むことを特徴とする
請求項１から１２のうちいずれか一項に記載の方法。
【請求項14】
前記第１ターゲット検出及び欠陥検出は、欠陥検出モデルにより実行され、前記欠陥検出モデルは少なくとも、第１サンプル集合を取得するステップであって、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含む、ステップと、
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得るステップと、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するステップと、によって、訓練されたものであることを特徴とする
請求項１から１３のうちいずれか一項に記載の方法。
【請求項15】
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることは、
各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることを含み、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整することは、
全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定することと、
前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整することと、を含むことを特徴とする
請求項１４に記載の方法。
【請求項16】
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、前記方法は、第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、
第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを更に含み、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、
前記第１サンプル集合におけるサンプル画像は少なくとも、
元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
請求項１４又は１５に記載の方法。
【請求項17】
欠陥検出装置であって、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成される第１ターゲット検出モジュールであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、第１ターゲット検出モジュールと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得するように構成される画像領域取得モジュールと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得るように構成される欠陥検出モジュールと、を備える、欠陥検出装置。
【請求項18】
前記欠陥検出モジュールは更に、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含み、及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含むように構成されることを特徴とする請求項１７に記載の装置。
【請求項19】
前記欠陥検出モジュールは更に、前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行し、前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行するように構成されることを特徴とする請求項１８に記載の装置。
【請求項20】
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記欠陥検出モジュールは更に、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを実行するように構成されることを特徴とする
請求項１８又は１９に記載の装置。
【請求項21】
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、前記欠陥検出モジュールは更に、異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うように構成されることを特徴とする請求項２０に記載の装置。
【請求項22】
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記欠陥検出モジュールは更に、前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得、各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得るように構成されることを特徴とする請求項１８から２１のうちいずれか一項に記載の装置。
【請求項23】
前記第１ターゲット検出モジュールは更に、欠陥検出モデルの第１領域検出ネットワークを利用して、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成され、前記欠陥検出モジュールは更に、前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅く、前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得るように構成されることを特徴とする
請求項１８から２２のうちいずれか一項に記載の装置。
【請求項24】
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記欠陥検出モジュールは更に、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とするように構成されることを特徴とする請求項１７から２３のうちいずれか一項に記載の装置。
【請求項25】
前記欠陥検出モジュールは更に、前記欠陥検出結果を得た後、前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得るように構成されることを特徴とする請求項１７から２４のうちいずれか一項に記載の装置。
【請求項26】
前記欠陥検出モジュールは更に、前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングし、及び／又は、前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングするように構成されることを特徴とする請求項２５に記載の装置。
【請求項27】
前記欠陥検出モジュールは更に、前記検出されるべき画像の最終的欠陥検出結果を得た後、前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力するように構成されることを特徴とする請求項２５又は２６項に記載の装置。
【請求項28】
前記画像領域取得モジュールは更に、前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定し、前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張し、前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得るように構成されることを特徴とする請求項１７から２７のうちいずれか一項に記載の装置。
【請求項29】
前記装置は、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、初期画像をスケーリングし、所定のサイズの画像を得、スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮し、圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得るように構成される前処理モジュールを更に備えることを特徴とする請求項１７から２８のうちいずれか一項に記載の装置。
【請求項30】
前記装置は、第１サンプル集合を取得し、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含み、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得、前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するように構成される訓練モジュールを更に備えることを特徴とする請求項１７から２９のうちいずれか一項に記載の装置。
【請求項31】
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、前記訓練モジュールは更に、各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得、全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定し、前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整するように構成されることを特徴とする
請求項３０に記載の装置。
【請求項32】
前記訓練モジュールは更に、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを実行するように構成され、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、前記第１サンプル集合におけるサンプル画像は少なくとも、元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
請求項３０又は３１に記載の装置。
【請求項33】
メモリ及びプロセッサを備える電子機器であって、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、請求項１から１６のうちいずれか一項に記載の方法を実行する、電子機器。
【請求項34】
プロセッサにより実行される時、前記プロセッサに請求項１から１６のうちいずれか一項に記載の方法を実行させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
【請求項35】
コンピュータにより読み取られて実行される時、前記コンピュータに請求項１から１６のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２０年０８月１９日に提出された、出願番号が２０２０１０８３７７０９．２である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０２０年０８月１９日に提出された、出願番号が２０２０１０８３７７０９．２である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、画像処理分野に関するが、これに限定されず、特に欠陥検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム製品に関する。
【背景技術】
【0003】
現在では、環境における機器に対する保護を補強するために、一般的には、環境における機器に対して欠陥検出を行い、機器の欠陥を直ぐに発見することを確保し、更にメンテナンスを行う必要がある。
【0004】
関連技術において、機器の欠陥検出は、機器の画像を撮影し、該画像を手動で検査し、欠陥が存在するかどうかを決定する。しかしながら、手動で欠陥検出を行う場合、人為的不注意による検出漏れ又は誤検出が発生しやすい。従って、欠陥の検出漏れ率を低下させ、欠陥検出の正確性を向上させるために、欠陥検出を如何に行うかは、現在では、極めて重要な課題である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の実施例は少なくとも、欠陥検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【0006】
本願の実施例は、欠陥検出方法を提供する。前記方法は、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報を含む、ことと、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得することと、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む。
【0007】
従って、まず、検出されるべき画像における第１クラスのターゲットの位置を検出し、続いて、第１クラスのターゲットを含む画像領域に対して欠陥検出を行う。ターゲットの所在画像領域に対して直接的に欠陥検出を行うことによって、欠陥検出の領域を減少させ、検出漏れ率及び誤検出率を低下させることができる。
【0008】
本願の幾つかの実施例において、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得ることは、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、第１欠陥検出結果は、第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含む、こと、及び／又は、画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、第２欠陥検出結果は、第１クラスのターゲットが属する第２欠陥の情報を含む、ことを含む。
【0009】
従って、複数の方式により、第１クラスのターゲットを含む画像領域に対して検出を行うことによって、異なる第１クラスのターゲットに対して、異なる検出方式を用い、欠陥検出に、より高い目的性を持たせることができる。それにより得られた欠陥検出結果がより正確である。又は、同一の第１クラスのターゲットに対して異なる検出方式を行い、続いて各異なる欠陥検出方式をまとめることによって得られた検出されるべき画像の最終的な欠陥検出結果がより正確であり、誤検出率を更に低減させる。
【0010】
本願の幾つかの実施例において、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関する欠陥検出結果を得ることは、第１クラスのターゲットが第１サブクラスのターゲットである場合、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行することと、第１クラスのターゲットが第２サブクラスのターゲットである場合、画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行することと、を含む。
【0011】
従って、異なるターゲット対象に対して異なる欠陥検出方式を用いることによって、欠陥検出をより柔軟にする。全ての種類のターゲットに対して同一の検出方式を用いることに比べて、より高い目的性を有し、欠陥検出結果がより正確になる。
【0012】
本願の幾つかの実施例において、第１欠陥検出結果は、各種の第１欠陥の位置情報及び第１欠陥に属する第１確率を含み、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、方法は、各種の第１欠陥の位置情報に応じて、検出されるべき画像における各種の第１欠陥の欠陥領域をそれぞれ決定し、異なる欠陥領域間の重複領域に対して重複排除処理を行うことと、第１確率が第１フィルタリング条件を満たす第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含む。
【0013】
従って、第１サブクラスのターゲットにおける第１欠陥の確率及び第１サブクラスのターゲットを含む画像領域における位置情報を取得し、且つ該位置情報に基づいて、検出されるべき画像における、第１欠陥に対応する領域を見付け、重複部分に対して重複排除処理を行うことによって、１つの第１欠陥を１つの欠陥領域に対応させ、１つの欠陥に対して複数回の後続処理を行うという問題を減少させ、最終的な出力の正確率を向上させる。フィルタリング条件を満たす領域を削除することによって、後続で処理される領域の数を減少させ、処理効率を向上させることができる。
【0014】
本願の幾つかの実施例において、第１フィルタリング条件は、第１確率が第１確率閾値よりも低いことであり、及び／又は、異なる欠陥領域間の重複領域に対して重複排除処理を行うことは、異なる欠陥領域間の重複領域に対して非極大値抑制を行うことを含む。
【0015】
従って、欠陥確率が低いものを削除することによって、多くの不必要な処理領域を減少させ、処理効率を向上させる。非極大値抑制の方式により重複排除を行うことによって、欠陥確率がより大きい欠陥領域を残すことができ、処理効率を向上させると同時に、欠陥検出の正確率を向上させることもできる。
【0016】
本願の幾つかの実施例において、第２欠陥検出結果は、第１クラスのターゲットが第２欠陥に属する第２確率を含み、画像領域に対して分類を行い、第２欠陥検出結果を得ることは、画像領域に対して分類を行い、第１クラスのターゲットが各種の所定の欠陥に属する確率を得ることと、各種の所定の確率を加算し、第１クラスのターゲットが第２欠陥に属する第２確率を得ることと、を含む。
【0017】
従って、複数種の所定の欠陥の確率を総合することによって、該第１クラスのターゲットの欠陥確率を決定する。第１クラスのターゲットが各種の所定の欠陥に属する可能性を広く考慮することによって、第１クラスのターゲットの欠陥確率をより正確にする。
【0018】
本願の幾つかの実施例において、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることは、欠陥検出モデルの第１領域検出ネットワークを利用して、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、欠陥検出モデルの第２領域検出ネットワークを利用して、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、画像領域に対して分類を行い、第２欠陥検出結果を得ることは、欠陥検出モデルの分類ネットワークを利用して、画像領域に対して分類を行い、第２欠陥検出結果を得ることを含む。
【0019】
従って、各異なる部材に異なる欠陥が存在する可能性があるという特徴を考慮して、異なるネットワークモデルを利用して段階的に検出を行うことによって、単一の検出ネットワークを用いる場合に検出漏れ率が高いという問題を一定の程度で軽減させることができる。それと同時に、第２ターゲット検出に用いられるネットワークモデルの深さが第１ターゲット検出に用いられるネットワークモデルの深さよりも浅いため、第２ターゲット検出プロセスにおける演算量を減少させ、検出効率を向上させることができる。
【0020】
本願の幾つかの実施例において、ターゲット検出結果は、第２クラスのターゲット及び第２クラスのターゲットの、検出されるべき画像における第２位置情報を更に含み、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、方法は、第２クラスのターゲットを検出されるべき画像における第３欠陥として決定し、第２クラスのターゲット及びその第２位置情報を第２クラスのターゲットに関わる欠陥検出結果とすることを更に含む。
【0021】
従って、存在しないはずの第２クラスのターゲットを第３欠陥とすることによって、１つの欠陥検出モデルは、複数種のターゲットに対して検出を行うことができ、欠陥検出モデルの適応性を向上させる。
【0022】
本願の幾つかの実施例において、欠陥検出結果を得た後、方法は、欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、検出されるべき画像の最終的欠陥検出結果を得ることを更に含む。
【0023】
従って、条件を満たさない条件をフィルタリングすることによって、明らかに不当な欠陥を減少させ、最終的に得られた欠陥検出結果をより正確にする。
【0024】
本願の幾つかの実施例において、欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングすることは、欠陥検出結果における欠陥の位置情報を利用して欠陥の寸法を得、欠陥検出結果における、寸法が所定の寸法条件を満たさない欠陥をフィルタリングすること、及び／又は、欠陥検出結果における確率が第２確率閾値よりも低い欠陥をフィルタリングすることを含む。
【0025】
従って、寸法又は確率が条件を満たさないものをフィルタリングすることによって、明らかに不当な欠陥を減少させ、最終的に得られた欠陥検出結果をより正確にする。
【0026】
本願の幾つかの実施例において、検出されるべき画像の最終的欠陥検出結果を得た後、方法は、最終的欠陥検出結果における各欠陥の確率の降順に応じて、最終的欠陥検出結果における各欠陥の情報を出力することを更に含む。
【0027】
従って、各欠陥の確率の降順に応じて、最終的欠陥検出結果における各欠陥の情報を出力することによって、出力結果をよりスッキリさせ、後続の更なる観察に寄与する。
【0028】
本願の幾つかの実施例において、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得することは、第１位置情報に基づいて、検出されるべき画像から、第１クラスのターゲットに対応するターゲット領域を決定することと、ターゲット領域を検出されるべき画像において所定の倍数だけ外側へ拡張することと、検出されるべき画像から、外側へ拡張されたターゲット領域を抽出し、第１クラスのターゲットを含む画像領域を得ることと、を含む。
【0029】
従って、ターゲット領域を検出されるべき画像において所定の倍数だけ外側へ拡張することによって、第１クラスのターゲットに対応するターゲット領域を含むものを取得した後に、一部の背景情報を残すことができ、第１クラスのターゲットに対する欠陥検出の正確度を向上させることができる。
【0030】
本願の幾つかの実施例において、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、方法は、初期画像をスケーリングし、所定のサイズの画像を得ることと、スケーリング後の初期画像の画素値を所定の画素値範囲に圧縮することと、圧縮された初期画像に対して正規化処理を行い、検出されるべき画像を得ることと、を更に含む。
【0031】
従って、取得した初期画像の寸法又は画素に対して処理を行うことによって、統一した画像スタイルを得、入力画像のロバスト性を一定の程度で向上させる。
【0032】
本願の幾つかの実施例において、第１ターゲット検出及び欠陥検出は、欠陥検出モデルにより実行され、欠陥検出モデルは少なくとも、第１サンプル集合を取得するステップであって、第サンプル集合は少なくとも１つのサンプル画像を含み、サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、ターゲットは第１クラスのターゲットを含む、ステップと、欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得るステップと、真実の欠陥情報及び欠陥検出結果を利用して、欠陥検出モデルのパラメータを調整するステップと、によって、訓練されたものである。
【0033】
従って、上記方式により訓練された欠陥検出モデルの正確度がより高く、それにより第１ターゲット検出及び欠陥検出を行い、検出結果をより正確にする。
【0034】
本願の幾つかの実施例において、欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各グラフィックプロセッサが取得した第１サンプル集合は異なり、欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得ることは、各グラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層を同期し、各グラフィックプロセッサにおけるバッチ標準化層の同期後に欠陥検出モデルを利用して、サンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得ることを含み、真実の欠陥情報及び欠陥検出結果を利用して、欠陥検出モデルのパラメータを調整することは、全ての欠陥検出結果と真実の欠陥情報に基づいて、欠陥検出モデルの平均損失値を決定することと、平均損失値を利用して、欠陥検出モデルのパラメータを調整することと、を含む。
【0035】
従って、複数のグラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層を同期させることによって、グローバルな第１サンプル集合を利用して正規化を行うことができ、バッチサイズの増大に相当する。それにより複数のグラフィックプロセッサの使用による影響を減少させる。また、複数のグラフィックプロセッサにより、欠陥検出モデルを訓練することによって、訓練速度を速くする。
【0036】
本願の幾つかの実施例において、欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得る前に、方法は、第２サンプル集合を利用して、欠陥検出モデルに対して事前訓練を行うステップと、第１サンプル集合を利用して、欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを更に含み、予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、所定の学習率まで次第に増大するものであり、第１サンプル集合におけるサンプル画像は少なくとも、元画像に対して前処理を行い、サンプル画像を得るステップにより得られたものであり、前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含む。
【0037】
従って、欠陥検出モデルを正式に訓練する前に、まず、第２サンプル集合を利用して、欠陥検出モデルに対して事前訓練を行うことによって、欠陥検出モデルのパラメータを初期化するか、又は、正式な訓練の前に、学習率を初期化し、元画像に対して前処理を行うことによって、欠陥検出モデルの適応性を向上させる。
【0038】
本願の実施例は、欠陥検出装置を提供する。前記装置は、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成される第１ターゲット検出モジュールであって、ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報を含む、第１ターゲット検出モジュールと、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得するように構成される画像領域取得モジュールと、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得るように構成される欠陥検出モジュールと、を備える。
【0039】
本願の実施例は、電子機器を提供する。前記電子機器は、メモリと、プロセッサと、を備え、プロセッサは、メモリに記憶されたプログラム命令を実行して、上記欠陥検出方法の一部又は全部のステップを実行するように構成される。
【0040】
本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはプログラム命令が記憶されており、プログラム命令は、プロセッサにより実行される時、プロセッサに上記欠陥検出方法の一部又は全部のステップを実行させる。
【0041】
本願の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体を含み、前記コンピュータプログラムがコンピュータにより読み取られて実行される時、コンピュータに本願の実施例に記載の方法の一部又は全部のステップを実行させる。該コンピュータプログラム製品は、ソフトウェアインストールパッケージであってもよい。
【発明の効果】
【0042】
本願の実施例において、まず、検出されるべき画像における第１クラスのターゲットの位置を検出し、続いて、第１クラスのターゲットを含む画像領域に対して欠陥検出を行う。ターゲットの所在画像領域に対して直接的に欠陥検出を行うことによって、欠陥検出の領域を減少させ、検出漏れ率及び誤検出率を低下させることができる。
【0043】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0044】
【図1a】本願の実施例による欠陥検出方法を示すフローチャートである。
【図1b】本願の実施例による欠陥検出方法の状態を示す概略図である。
【図2】本願の実施例による欠陥検出方法における検出されるべき画像を示す概略図である。
【図3】本願の実施例による欠陥検出方法における画像領域を示す概略図である。
【図4a】本願の実施例による欠陥検出方法の実現フローを示す概略図である。
【図4b】本願の実施例による画像前処理モジュールの実現フローを示す概略図である。
【図4c】本願の実施例による一次部材検出モジュールのネットワーク構造を示す概略図である。
【図4d】本願の実施例による振動ダンパーの分類認識の実現フローを示す概略図である。
【図4e】本願の実施例による二次碍子自爆検出モジュールのネットワーク構造を示す概略図である。
【図5】本願の実施例による欠陥検出装置の構造を示す概略図である。
【図6】本願の実施例による電子機器の構造を示す概略図である。
【図7】本願の実施例によるコンピュータ可読記憶媒体の構造を示す概略図である。
【発明を実施するための形態】
【0045】
ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【0046】
以下、明細書の図面を参照しながら、本願の実施例の解決手段を詳しく説明する。
【0047】
下記説明において、本願の実施例を深く理解するために、特定システム構造、インタフェース、技術等の具体的な細部を提出し、これは、本願を解釈するためのものに過ぎず、本願を限定するためのものではない。
【0048】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。なお、本明細書において、文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。また、本明細書における「複数」は、２つ又は２つより多いことを表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【0049】
本願の実施例で提供される欠陥検出方法をより良く理解するために、以下では、まず、関連技術における欠陥検出方法を説明する。
【0050】
配電網送電線における欠陥検出を例として、わが国には、百万キロメートルを超える高圧送電線がある。これらの線路に対して、巡回検査、養生及び補修を定期的に行う必要がある。しかしながら、大部の高圧送電線が無人エリアに架設されており、配電網に対する巡回検査の場合、飛行機により送電線に対して空撮を行い、空撮ビデオを肉眼で観察するという方式で、巡回検査を行う。効率を向上させるために、関連技術において、画像処理、機械学習に基づく部材欠陥検出の解決手段を用いる。該解決手段において、検出漏れ率が高く、ビデオ撮影に求められる条件も高い。関連技術において、高解像度カメラが取り付けられている無人機を用いて、送電線を空撮することによって、全体の収集撮影品質を向上させ、コストを低下させる。しかしながら、依然として手動で欠陥検出を行うため、検出漏れ率及び誤検出率は依然として高い。深層学習モデルがコンピュータビジョン領域において飛躍的な進歩を遂げたことに伴い、コンピュータビジョンの各基本タスクの性能指標は大幅に向上した。全てのモデルは、学術的データ集合に関わるタスク向けのものであり、電力巡回検査に対して単独で設計された検出認識解決手段がない。無人機により空撮された画像のスケールが極めて大きく、配電網に対する巡回検査において検出される碍子自爆領域、振動ダンパー、鳥の巣などがいずれも小さいターゲットであるため、異常欠陥を直接的に検出ターゲットとして検出を行うと、大量の誤検出及び検出漏れが発生し、検出効果が極めて低い。
【0051】
上記関連技術における欠陥検出方法に下記問題がある。１）訓練プロセスが煩わしく、検出漏れ率及び誤検出が高い。２）ＣＰＵを用いて推論を行うため、試験速度が遅い。３）電力シーンに対して、アルゴリズムを改良していない。４）例えば、碍子自爆、振動ダンパーの錆びつきなどのような１種の部材又は欠陥に対して単独で検出認識を行うことのみが可能である。
【0052】
【0053】
ステップＳ１１において、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得、ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報を含む。
【0054】
本願の幾つかの実施例において、検出されるべき画像に対して第１ターゲット検出を行う前に、まず、検出されるべき画像を取得する。図１ｂを参照すると、図１ｂは、本願の実施例による欠陥検出方法の状態を示す概略図である。図１ｂに示すように、画像収集機器は、特定の環境において、各検出されるべき対象の検出されるべき画像を収集する。例えば、第１クラスのターゲットを含む検出されるべき画像を収集する。続いて、画像収集機器は、検出されるべき画像を欠陥検出機器に伝送する。ここで、欠陥検出機器は、本願の実施例に記載の方法に応じて、画像収集機器から伝送された検出されるべき画像に対して欠陥検出を行う。第１クラスのターゲットは、点検されるべき機器である。機器が真実に存在すれば、本願の実施例の第１クラスのターゲットになることが可能である。例えば、都市中の１つの交差点での信号灯、下水道のマンホール蓋などである。画像収集機器により、信号灯又はマンホール蓋を含む可能性がある検出されるべき画像を取得することができ、続いて、信号灯又はマンホール蓋を含む可能性がある検出されるべき画像を欠陥検出機器に入力し、更に、信号灯の欠陥検出結果を得る。
【0055】
例えば、配電網送電線において、線路における種々の機器に対して点検を行う必要がある可能性がある。この場合、撮影などの方式により、線路における各線路機器の空撮画像を取得することができる。例えば、碍子連又は振動ダンパーの空撮画像、或いは鳥の巣の空撮画像を得る。続いて、取得した空撮画像を検出されるべき画像として、欠陥検出機器に入力する。その後、欠陥検出機器は、本願の実施例に記載の方法に応じて、検出されるべき画像に対して欠陥検出を行うことができる。ここで、画像収集機器と欠陥検出機器は、１つの機器として集積されてもよく、分散した複数の機器であってもよく、ここで、具体的に限定しない。
【0056】
本願の幾つかの実施例において、検出されるべき画像に対して第１ターゲット検出を行う前に、初期画像を所定のサイズの画像となるようにスケーリングすることができる。ここで、所定のサイズは、幅と高さとの比が（１．１～１．７）：１であること及び／又は寸法が小さい１つの辺が１０００よりも大きいことを含む。本願の実施例において用いられる幅と高さの比は、１．５：１であり、最小辺は、１２００である。続いて、スケーリング後の初期画像の画素値を所定の画素値範囲に圧縮する。例えば、スケーリング後の初期画像の画素値を０－２５５から０－１に圧縮する。続いて、圧縮後の初期画像に対して正規化処理を行い、検出されるべき画像を得る。ここで、正規化処理の方式は、ＩｍａｇｅＮｅｔデータ集合の平均値ｍｅａｎ及び分散ｓｔｄを用いて、圧縮後の初期画像に対して正規化処理を行うことを含む。これは、下記式（１－１）に示すとおりである。
【0057】
【数1】
【0058】
ここで、ｍｅａｎは、データ集合の平均値であり、ｓｔｄは、データ集合の分散であり、ｐｉｘｅｌｖａｌｕｅは、画像における各画素の値である。
【0059】
無論、本願の幾つかの実施例において、例えば、ＣＯＣＯ（Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ）データ集合などのような他のデータ集合を用いてもよい。また、正規化の方式は、他のデータ集合を呼び出すことで正規化を行うという方式に限定されず、一般的に用いられる他の正規化方式を用いてもよい。例えば、初期画像における全ての画素点の画素点をトラバースし、最大値と最小値を記録し、最大値と最小値をパラメータとして、初期画像に対して正規化処理を行う。また、Ｓｉｇｍｏｉｄ関数を利用して正規化を行ってもよい。従って、本願の実施例は、正規化の方式に対して、具体的に限定しない。まず、取得した画像に対して上記前処理を行い、画像のスタイルを統一することによって、入力のロバスト性を向上させることができる。
【0060】
本願の実施例において、欠陥検出モデルの第１領域検出ネットワークにより、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る。
【0061】
ここで、欠陥検出モデルは、下記ステップにより訓練されてもよい。
【0062】
まず、第１サンプル集合を取得し、ここで、第１サンプル集合は、少なくとも１つのサンプル画像を含み、サンプル画像に、ターゲットに関わる真実の欠陥情報が付記されており、ここのターゲットは、第１クラスのターゲットを含み、無論、例えば第２クラスのターゲットなどのような他のクラスのターゲットを含んでもよい。第１サンプル集合におけるサンプル画像は、第１クラスのターゲットを含むと同時に、他のクラスのターゲットを含んでもよい。ここで、ターゲットの真実の欠陥情報は、該ターゲットが正常であって欠陥がないものであることを表す情報であってもよく、第１クラスのターゲットが特定の欠陥を有することを表す情報であってもよい。つまり、本願の実施例において、正常なサンプル画像及び欠陥を有する異常なサンプル画像を利用して、欠陥検出モデルに対して訓練を行い、適応性が高い欠陥検出モデルを得ることができる。第１サンプル集合におけるサンプル画像は、元画像に対して前処理を行うことで得られたものであってもよい。前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つであってもよい。幾つかの実施例において、元画像のスケール変換プロセスにおいて、元画像の長さと幅は、所定の比で変換される。例えば、元画像の縦横比を１．５：１に維持したままでスケール変換される。無論、本願の幾つかの実施例において、他の縦横比を維持するか又は任意の変換を行ってもよい。従って、本願の実施例は、元画像のスケール変換の場合の縦横比を具体的に限定しない。色の変換は、輝度、彩度、色度変換のうちの少なくとも１つであってもよい。例えば、元画像の輝度、彩度及び色度を全て変換することで、同一のターゲットを含む同一の真実の欠陥情報を様々な形式で欠陥検出モデルに入力し、欠陥検出モデルを訓練する。欠陥検出モデルの適応性を補強し、欠陥検出の正確性を向上させる。幾つかの実施例において、上記各種の前処理方式は、欠陥検出モデルの様々な段階のネットワークにおいて単独で使用されてもよく、全ての段階のネットワークにおいて使用されてもよい。
【0063】
次に、欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得る。ここで、欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであってもよく、各グラフィックプロセッサが取得した第１サンプル集合は異なる。複数のグラフィックプロセッサを用いて欠陥検出モデルに対して検出を行うことによって、訓練速度を倍増する。幾つかの実施例において、各グラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層を同期し、各グラフィックプロセッサにおけるバッチ標準化が同期した欠陥検出モデルを利用してサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得る。そのうちの１つのグラフィックプロセッサは、他のグラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層の平均値及び分散を収集し、演算により、合計の平均値及び分散を得る。続いて、該グラフィックプロセッサは、演算により得られた平均値と分散を残りのグラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層に戻し、複数のグラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層を同期させることによって、グローバルの第１サンプル集合を使用して正規化を行うことができ、バッチサイズの増大に相当する。それにより複数のグラフィックプロセッサの使用による影響を減少させる。
【0064】
最後に、真実の欠陥情報及び欠陥検出結果を利用して、欠陥検出モデルのパラメータを調整する。幾つかの実施例において、全ての欠陥検出結果と真実の欠陥情報に基づいて、欠陥検出モデルの平均損失値を決定し、続いて、平均損失値を利用して、欠陥検出モデルのパラメータを調整する。複数のグラフィックプロセッサにより、欠陥検出モデルを同期して訓練することで、訓練後の全てのグラフィックプロセッサにおける欠陥検出モデルのパラメータを一致させる。単一のグラフィックプロセッサに比べて、複数のグラフィックプロセッサにより、欠陥検出モデルを同期して訓練することによって、訓練速度を速くする。
【0065】
本願の幾つかの実施例において、欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得る前に、第２サンプル集合を利用して、欠陥検出モデルに対して事前訓練を行い、及び／又は、第１サンプル集合を利用して欠陥検出モデルに対して予備訓練を行うこともできる。ここで、予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、所定の学習率まで次第に増大するものである。例えば、所定の学習率が０．６であると、予備訓練において、第１学習率０．３から次第に０．４に増大し、続いて、絶え間なく所定の学習率０．６に増大することができる。ここで、第２サンプル集合は、公開訓練集合であってもよい。例えば、一般的なＣＯＣＯ訓練集合及びＩｍａｇｅＮｅｔデータ集合などであってもよい。予備訓練に用いられるサンプルは、正式訓練に用いられるサンプルと同じであってもよい。即ち、予備訓練において、依然として第１サンプル集合を用いる。幾つかの実施例において、第２サンプル集合による事前訓練により、パラメータを初期化した後、第１サンプル集合を利用して予備訓練を行うことで、学習率を絶えずに調整する。予備訓練により学習率を絶えずに調整するプロセスは、欠陥検出モデルのパラメータを更に最適化することにも相当する。それにより正式訓練の場合、好適なパラメータで訓練を行うことができる。幾つかの実施例において、予備訓練プロセスに用いられる第１サンプル集合は依然として、上記前処理後に得られた第１サンプル集合であってもよい。これも、欠陥検出モデルの適応性を向上させ、訓練された欠陥検出モデルの検出精度をより高くすることができる。幾つかの実施例において、第１学習率から、所定の学習率まで次第に線形的に増大するか又は指数関数的に増大することは、学習率の初期化に相当する。これにより、好適な学習率で欠陥検出モデルに対して訓練を行うことができ、訓練効果をより良好にすることができる。
【0066】
ここで、本願の実施例における第１領域検出ネットワークは、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）ネットワーク、例えばＲｅｓＮｅｔ５０を含む。無論、他の実施例において、例えばＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）ネットワークモデルなどのような他のニューラルネットワークモデルを用いて、検出されるべき画像に対して第１ターゲット検出を行うこともでき、また、深さは、ＲｅｓＮｅｔ５０に限定されず、ＲｅｓＮｅｔ１０１、ＲｅｓＮｅｔ２００などであってもよく、ここで、具体的に限定しない。
【0067】
本願の実施例において用いられる第１領域検出ネットワークは、ＲｅｓＮｅｔ５０ネットワークである。検出されるべき画像を第１領域検出ネットワークのヘッダーネットワークに入力することによって、検出されるべき画像の特徴マップを抽出して取得する。ここで、特徴マップの大きさは、検出されるべき画像の大きさの１６分の１である。続いて、領域候補ネットワークＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ：ＲＰＮ）により、特徴マップから候補枠を抽出する。候補枠は、第１クラスのターゲットが存在する可能性がある領域である。ここで、候補枠の抽出は、実際に、候補枠の４つの頂点の画素値の抽出である。続いて、候補枠と特徴マップをプーリング層により処理することによって、各候補枠の特徴マップを得る。該ステップは具体的には以下を含む。候補枠の４つの座標の情報をプーリング層に送り込み、プーリング層において、候補枠の４つの頂点の座標を特徴マップにマッピングし、更に、全結合層により、各候補枠の特徴ベクトルを得る。ここで、これらの特徴ベクトルは、候補枠の特徴情報を表す。続いて、特徴ベクトルに対して枠回帰を行い、所定のクラスに応じて分類を行い、最後にターゲット検出結果を得る。これから分かるように、第１ターゲット検出は、検出されるべき画像に第１クラスのターゲットが含まれるかどうかを検出することである。第１クラスのターゲットが存在すれば、更に、検出されるべき画像における第１クラスのターゲットの第１位置情報を取得する。更に、第１クラスのターゲットの信頼度を得ることもできる。該信頼度は、検出された第１クラスのターゲットが真に第１クラスのターゲットである確率である。
【0068】
ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報、及び／又は、候補枠が第１クラスのターゲットに属する確率を含む。幾つかの実施例において、第１位置情報は、第１クラスのターゲットに対応する候補枠の、検出されるべき画像における位置情報を含む。第１位置情報は、第１クラスのターゲットに対応する候補枠の４つの頂点の位置情報である。ここで、第１クラスのターゲットは、第１サブクラスのターゲット及び第２サブクラスのターゲットを更に含んでもよい。ここで、ここの第１サブクラスのターゲット及び第２サブクラスのターゲットと第１クラスのターゲットとは、所属関係がなくてもよいが、同じ属性を有してもよい。例えば、第１クラスのターゲットは、機器であってもよく、第１サブクラスのターゲットは、もう１つの機器であってもよく、第２サブクラスのターゲットは、他の機器であってもよい。同じ属性は、撮影を行い、続いて対応する画像を分析することによって機器に欠陥があるかどうかを知ることができることである。第１クラスのターゲットに属する確率は、第１サブクラスのターゲットに属する確率及び／又は第２サブクラスのターゲットに属する確率を更に含んでもよい。
【0069】
本願の幾つかの実施例において、ターゲット検出結果は、第１クラスのターゲット及び第２クラスのターゲットの、検出されるべき画像における第２位置情報、及び／又は、第２クラスのターゲットに属する確率を更に含む。ここの第２クラスのターゲットは、本来存在するべきでないが存在しているターゲットであってもよい。その存在は、欠陥である。無論、幾つかの実施例において、初期画像を処理した後に検出されるべき画像を得ると、検出されるべき画像に対して第１ターゲット検出を行った後に得られたターゲット検出結果に、第１クラスのターゲット及び／又は第２クラスのターゲットの、初期画像における第１位置情報が含まれる。第２クラスのターゲットを更に設定することによって、同一のアルゴリズムを利用して、複数の異なるターゲット対象の欠陥状況を検出する場合、複数のアルゴリズムを利用して同一の画像における異なる部材又は機器に対してそれぞれ欠陥検出を行う必要がなく、欠陥検出の操作ステップを大幅に簡略化する。
【0070】
例を挙げて説明すると、初期画像は、無人機により空撮された送電線の画像であり、又は、高精細ビデオからトリミングされたグラフィックフレームである。まず、処理画像に対して処理を行う。該処理は、初期画像をスケーリングすることを含む。初期画像を１２００＊１８００の画像となるようにスケーリングし、続いて、スケーリング後の初期画像の画素値を所定の画素値範囲０－１に圧縮し、ＩｍａｇｅＮｅｔデータ集合の平均値ｍｅａｎ及び分散ｓｔｄを使用して、圧縮後の初期画像に対して正規化演算を行い、検出されるべき画像を得る。続いて、検出されるべき画像をＲｅｓＮｅｔ５０ネットワークに入力し、検出されるべき画像における各候補枠内のターゲット対象が各所定のターゲットクラスに対応する確率を取得し、確率が最も高い所定のターゲットクラスを候補枠におけるターゲット対象のクラスとして選択し、それと同時に各候補枠の位置情報を出力する。ここで、送電線において、一般的な部材は、振動ダンパー、碍子連を含み、即ち本来存在するべきでないが存在しており、その存在が欠陥である外因性欠陥という第２クラスのターゲット、即ち鳥の巣を含む可能性もある。ここで、本願の実施例において、振動ダンパー及び碍子連を第１クラスのターゲットとし、鳥の巣を第２クラスのターゲットとする。即ち、検出されるべき画像をＲｅｓＮｅｔ５０に入力した後、出力されるターゲット検出結果は、振動ダンパー、碍子連又は鳥の巣、及びそれらの、検出されるべき画像における対応する位置情報及び関連確率を含む可能性がある。ここの確率は、候補枠が振動ダンパー、碍子連又は鳥の巣に属する確率である。
【0071】
本願の幾つかの実施例において、ターゲット検出結果を得た後、第２クラスのターゲットを検出されるべき画像における第３欠陥として決定し、第２クラスのターゲット及び第２位置情報を第２クラスのターゲットに関わる欠陥検出結果とする。例えば、第２クラスのターゲットが鳥の巣であり、検出されるべき画像から鳥の巣が検出されていると、鳥の巣が検出されるべき画像における第３欠陥であると決定し、鳥の巣の、検出されるべき画像における第２位置情報を取得する。従って、最後のターゲット検出結果に、鳥の巣及び鳥の巣の第２位置情報が含まれる。
【0072】
ステップＳ１２において、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得する。
【0073】
本願の実施例において、第１位置情報に基づいて、検出されるべき画像から、第１クラスのターゲットに対応するターゲット領域を決定する。具体的には、検出されるべき画像から、第１クラスのターゲットに対応する領域を決定し、つまり、第１クラスのターゲットに対応する候補枠を決定することを含む。続いて、ターゲット領域を検出されるべき画像において所定の倍数だけ外側へ拡張する。ここで、外側へ拡張する方式は、ターゲット領域の中心点をそのままにし、ターゲット領域の長さと幅を元ターゲット領域の１．１～１．５倍にすることを含む。ここで、本願の実施例において、ターゲット領域の長さと幅を元ターゲット領域の１．２倍ほどにする。ターゲット領域の境界が検出されるべき画像の境界を越えると、検出されるべきにおける部分を残す。続いて、検出されるべき画像から、外へ拡張されたターゲット領域を抽出し、第１クラスのターゲットを含む画像領域を得る。具体的には、外側へ拡張されたターゲット領域を検出されるべき画像からトリミングすることを含む。
【0074】
図２と図３を同時に参照すると、図２は、本願の実施例による欠陥検出方法における検出されるべき画像を示す概略図であり、図３は、本願の実施例による欠陥検出方法における画像領域を示す概略図である。図２と図３に示すように、検出されるべき画像１にそれぞれ第１クラスのターゲット１００が含まれる。ここで、第１ターゲット検出ネットワークにより、第１クラスのターゲット１００の位置情報を得、続いて、第１クラスのターゲット１００の位置情報に基づいて、第１クラスのターゲット１００を含む画像領域１１０を取得する。画像領域１１０と候補枠１０１との関係をより明確に説明するために、図３の画像領域において、第１クラスのターゲット１００の候補枠１０１を示す。検出されるべき画像１から、第１クラスのターゲット１００を含む画像領域１１０を取得する場合、第１クラスのターゲット１００を含む画像領域１１０を取得する場合、第１クラスのターゲット１００の候補枠１０１を検出されるべき画像１において一定の比率で外側へ拡張するため、得られる画像領域１００の面積は、元の候補枠１０１の所在領域の面積よりも大きい。
【0075】
本願の幾つかの実施例において、検出画像が、初期画像に対してスケーリング、画素値圧縮及び正規化処理を行うことで得られたものであると、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得することは、第１クラスのターゲットの、初期画像における第１位置情報に基づいて、初期画像において、第１クラスのターゲットに対応するターゲット領域を決定し、即ち、初期画像における第１クラスのターゲットに対応する候補枠の位置を決定し、ターゲット領域を初期画像において所定の倍数だけ外側へ拡張し、初期画像から、外側へ拡張されたターゲット領域を抽出し、第１クラスのターゲットを含む画像領域を得ることである。無論、検出されるべき画像が初期画像に対応するため、本願の別の幾つかの実施例において、検出画像が、初期画像に対してスケーリング、画素値圧縮及び正規化という一連の処理を行うことで得られたものであっても、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得する具体的なステップは、検出されるべき画像から第１クラスのターゲットの画像領域を抽出することを含んでもよい。従って、検出されるべき画像から、第１クラスのターゲットを含む画像領域を取得してもよく、初期画像から、第１クラスのターゲットの画像領域を取得してもよく、ここで、具体的に限定しない。
【0076】
従って、ターゲット領域を検出されるべき画像において所定の倍数だけ外側へ拡張することによって、第１クラスのターゲットに対応するターゲット領域を取得した後、一部の背景情報を残すことができ、第１クラスのターゲットに対する欠陥検出の正確度を向上させることができる。
【0077】
本願の幾つかの実施例において、第１クラスのターゲットを含む画像領域を取得した後、画像領域に対して前処理を行い、即ち、画像領域の寸法を調整する必要がある。ここで、画像領域の縦横比を１：１に調整することができる。画像領域が初期画像から取得されたものであると、画像領域に対して正規化を行う必要がある。正規化処理後の検出されるべき画像から取得されたものであると、ここで、正規化を行わなくてもよい。
【0078】
例えば、碍子連の、検出されるべき画像における第１位置情報に基づいて、碍子連の、検出されるべき画像における対応する候補枠を決定し、候補枠を検出されるべき画像において外側へ１．２倍拡張し、続いて、検出されるべき画像から、外側へ拡張された候補枠を抽出することによって、碍子を含む画像領域を得ることができる。
【0079】
ステップＳ１３において、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得る。
【0080】
画像領域に対して欠陥検出を行う方式は、下記少なくとも１つを含む。１つの方式は、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、ここで、第１欠陥検出結果は、第１クラスのターゲットに存在する少なくとも１つの第１欠陥の情報を含む。もう１つの方式は、画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、ここで、第２欠陥検出結果は、第１クラスのターゲットが属する第２欠陥の情報を含む。ここで、第２ターゲット検出は、第１クラスのターゲットに対して更なるターゲット検出を行うことである。第１ターゲット検出において得られるものは、第１クラスのターゲットの位置情報であり、第１クラスのターゲットの欠陥情報が直接的に検出されていない。従って、第２ターゲット検出は、第１クラスのターゲットに対して意図的な欠陥検出を行う。画像領域に対する分類は、画像領域における第１クラスのターゲットを所定の欠陥クラスに応じて分類を行い、第１クラスのターゲットが各欠陥クラスに属する確率情報を算出することである。
【0081】
複数の方式により、第１クラスのターゲットを含む画像領域に対して検出を行うことによって、異なる第１クラスのターゲットに対して、異なる検出方式を用い、欠陥検出に、より高い目的性を持たせることができる。それにより得られた欠陥検出結果がより正確である。又は、同一の第１クラスのターゲットに対して異なる検出方式を行い、続いて各異なる欠陥検出方式により得られた結果をまとめることによって、検出されるべき画像の最終的な欠陥情報を得、欠陥検出結果をより正確にする。
【0082】
ここで、第１クラスのターゲットが第１サブクラスのターゲットである場合、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行し、第１クラスのターゲットが第２サブクラスのターゲットである場合、画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行する。
【0083】
異なるターゲット対象に対して異なる欠陥検出方式を用いることによって、欠陥検出をより柔軟にする。全ての種類のターゲットに対して同一の検出方式を用いることに比べて、異なるターゲット対象に対して異なる欠陥検出方式を用いる場合、より高い目的性を有し、欠陥検出結果がより正確になる。
【0084】
例えば、所定の碍子連が第１サブクラスのターゲットであり、所定の振動ダンパーが第２サブクラスのターゲットである。従って、第１クラスのターゲットが碍子連であることを検出した場合、碍子連に対応する画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得る。検出されるべき画像から検出された第１クラスのターゲットが振動ダンパーである場合、振動ダンパーに対応する画像領域に対して分類を行い、第２欠陥検出結果を得る。検出された第１クラスのターゲットに碍子連が含まれると同時に振動ダンパーも含まれる場合、碍子連に対応する画像領域に対して第２ターゲット検出を行い、振動ダンパーに対応する画像領域に対して分類を行う。幾つかの実施例において、両者に対する欠陥検出は同時に行われてもよい。即ち、第２ターゲット検出と分類が同時に行われてもよい。無論、幾つかの実施例において、同一の第１サブクラスのターゲットに対してそれぞれ第２ターゲット検出と画像領域分類を行い、続いて、２種の処理方式により得られた結果をまとめ、最終的に、第１サブクラスのターゲットに対する第１欠陥検出結果を得ることもできる。
【0085】
第１欠陥検出結果は、各種の第１欠陥の位置情報及び第１欠陥に属する第１確率を含む。ここで、第１欠陥の位置情報は、第１欠陥の、第１クラスのターゲットを含む画像領域における位置であり、第１欠陥に属する確率は、検出により得られた第１欠陥の信頼度であり、つまり、第１欠陥が確かに第１欠陥に属する確率である。例えば、碍子連を含む画像領域に対して第２ターゲット検出を行うことによって、碍子連におけるＡ位置に碍子自爆が発生した可能性があることを検出する。ここで、碍子自爆という欠陥は、第１欠陥に属する。碍子連におけるＡ位置は、碍子自爆の第２位置情報に属し、碍子自爆の信頼度は、碍子自爆に属する第１確率である。
【0086】
本願の実施例において、第１クラスのターゲットが第１サブクラスのターゲットである場合、画像領域に対して第２ターゲット検出を行う場合、用いられる検出ネットワークは、第２領域検出ネットワークであり、ここで、第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い。例えば、第１領域検出ネットワークがＲｅｓＮｅｔ５０である場合、第２領域検出ネットワークは、ＲｅｓＮｅｔ１８であってもよい。ここで、第２ターゲット検出に用いられるネットワークモデルと第１ターゲット検出に用いられるネットワークモデルがいずれもＦａｓｔｅｒ Ｒ－ＣＮＮネットワークであるため、第２ターゲット検出の具体的なプロセスはここで説明しない。第１ターゲット検出との相違点は、第１ターゲット検出において、異なる第１クラスのターゲットを含む可能性がある検出されるべき画像に対して検出を行い、検出されるべき画像に第１クラスのターゲットが含まれるかどうかを判定し、第１クラスのターゲットの第１位置を取得するが、第２ターゲット検出において、第１サブクラスのターゲットの所在画像領域のみに対して検出を行い、該検出が具体的には第１サブクラスのターゲットに欠陥が存在する確率を検出することを含むことである。
【0087】
例えば、碍子連を含む画像領域を第２領域検出ネットワークＲｅｓＮｅｔ１８に入力した後、碍子連に碍子自爆が発生したかどうかを検出し、発生した場合、碍子連における碍子自爆が発生した位置情報及び自爆の確率情報を出力する。
【0088】
本願の実施例において、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、第１欠陥検出結果を処理することができる。ここで、各種の第１欠陥の位置情報に応じて、検出されるべき画像における各種の第１欠陥の欠陥領域をそれぞれ決定することを含む。第２ターゲット検出により得られた位置情報は、第１欠陥の、第１クラスのターゲットを含む画像領域における位置情報であるため、マッピングの方式により、第１欠陥の、検出されるべき画像における欠陥領域を見付ける必要もある。続いて、欠陥領域に対して所定の処理を行う。ここで、所定の処理は、異なる欠陥領域間の重複領域に対して重複排除処理を行うことと、第１確率が第１フィルタリング条件を満たす第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含む。ここで、異なる欠陥領域間の重複領域に対して重複排除処理を行うという方式は、異なる欠陥領域間の重複領域に対して非極大値抑制を行うことを更に含んでもよい。重複領域の面積が所定の面積に達する場合、互いに重なり合っている欠陥領域の第１確率を取得し、それぞれの確率を比較し、確率が大きい欠陥領域を残し、確率が小さい欠陥領域を捨てる。ここで、第１フィルタリング条件は、第１確率が第１確率閾値よりも低いことである。即ち、第１欠陥確率が第１確率閾値よりも低い場合、該部分の第１欠陥に対応する欠陥領域を除去する。また、第１欠陥の位置情報及び第１確率を第１欠陥検出結果から同時に削除する。つまり、所定の処理のみにより得られた欠陥領域に基づいて、最終的な第１欠陥検出結果を決定する。
【0089】
第１サブクラスのターゲットにおける第１欠陥の確率及び第１サブクラスのターゲットを含む画像領域における位置情報を取得し、且つ該位置情報に基づいて、検出されるべき画像における、第１欠陥に対応する領域を見付け、重複部分に対して重複排除処理を行うことによって、１つの第１欠陥を１つの欠陥領域に対応させ、１つの欠陥に対して複数回の後続処理を行うという問題を減少させ、最終的な出力の正確率を向上させる。フィルタリング条件を満たす領域を削除することによって、後続で処理される領域の数を減少させ、処理効率を向上させることができる。
【0090】
本願の幾つかの実施例において、欠陥確率が低いものを削除することによって、多くの不必要な処理領域を減少させ、処理効率を向上させる。非極大値抑制の方式により重複排除を行うことによって、欠陥確率がより大きい欠陥領域を残すことができ、処理効率を向上させると同時に、欠陥検出の正確率を向上させることもできる。
【0091】
第１クラスのターゲットが第２サブクラスのターゲットである場合、第２欠陥検出結果は、第１クラスのターゲットが第２欠陥に属する第２確率を含む。幾つかの実施例において、ここの第２欠陥は、第２サブクラスのターゲットに欠陥が存在するかどうかを指す。ここで、第２確率は、第２サブクラスに欠陥が存在する確率である。無論、他の実施例において、第２欠陥は、複数の異なるサブ欠陥を含んでもよい。第２確率は、第２サブクラスのターゲットが各サブ欠陥に属する確率である。画像領域に対して分類を行うプロセスは、画像領域に対して分類を行い、第１クラスのターゲットが各種の所定の欠陥に属する確率を得、つまり、第２サブクラスのターゲットが各種の所定の欠陥に属する確率を得ることを含む。例えば、第１クラスのターゲットが第２サブクラスのターゲット、例えば振動ダンパーである場合、振動ダンパーを含む画像領域に対して分類を行い、振動ダンパーがそれぞれ正常な振動ダンパー、振動ダンパーの錆びつき、振動ダンパーねじり、振動ダンパー破損、振動ダンパー脱落に属する確率を得る。例えば、正常な振動ダンパーに属する確率が０．１であり、振動ダンパーの錆びつきに属する確率が０であり、振動ダンパーねじりに属する確率が０．２であり、振動ダンパー破損に属する確率が０．５であり、振動ダンパー脱落に属する確率が０である。この場合、振動ダンパーが所定の欠陥である振動ダンパー破損に属する確率が最も高いことを得ることができる。本願の幾つかの実施例において、該確率により、振動ダンパーが振動ダンパー破損に属すると認めることができる。本願の実施例において、第１クラスのターゲットが各種の所定の欠陥に属する確率を得た後、各種の所定の欠陥の確率を加算し、第１クラスのターゲットが第２欠陥に属する第２確率を得る。即ち、振動ダンパーの４種の欠陥確率を加算し、該振動ダンパーに欠陥が存在する確率が０．７であることを知る。この場合の第２欠陥は、振動ダンパーに存在する欠陥であり、第２確率は、振動ダンパーに欠陥がある確率である。複数種の所定の確率をまとめることによって、該第１クラスのターゲットの欠陥確率を決定する。第１クラスのターゲットが各種の所定のターゲットに属する可能性を広く考慮して、第１クラスのターゲットの欠陥確率をより正確にする。
【0092】
画像領域に対して分類を行うプロセスにおいて、用いられるネットワークは、分類ネットワークである。ここで、該分類ネットワークの深さは、第１領域検出ネットワークの深さよりも浅くてもよい。この場合の分類ネットワークは、同様にＲｅｓＮｅｔ１８であってもよく、無論、他の深さを有するネットワークであってもよい。例えば、第１領域検出ネットワークがＲｅｓＮｅｔ１０１である場合、分類ネットワークは、ＲｅｓＮｅｔ５０であってもよい。無論、幾つかの実施例において、分類ネットワークの深さは、第１領域検出ネットワークの深さと同じであってもよい。従って、分類ネットワークの選択について、ここで具体的に限定しない。
【0093】
各異なる部材の異なる欠陥という特徴を考慮して、異なるネットワークモデルを利用して段階的に検出を行うことによって、単一の検出ネットワーク又は分類器を用いる場合に検出漏れ率が高いという問題を一定の程度で軽減させることができる。それと同時に、第２ターゲット検出に用いられるネットワークモデルの深さが第１ターゲット検出に用いられるネットワークモデルの深さよりも浅いため、第２ターゲット検出プロセスにおける演算量を減少させ、検出効率を向上させることができる。
【0094】
本願の幾つかの実施例において、欠陥検出結果を得た後、欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングする。ここで、ここの欠陥検出結果は、第１欠陥検出結果と、第２欠陥検出結果と、第２クラスのターゲットに関わる欠陥検出結果と、の組み合わせであってもよい。欠陥検出結果における各欠陥の位置情報を利用して欠陥の寸法を得、欠陥検出結果における寸法が所定の寸法条件を満たさない欠陥をフィルタリングする。例えば、寸法が大きすぎるか又は小さすぎる碍子自爆の欠陥領域又は鳥の巣の領域及び異常振動ダンパーの所在領域をフィルタリングする。又は、欠陥検出結果における確率が第２確率閾値よりも低い欠陥をフィルタリングする。具体的には、異なるクラスのターゲットに対して、異なる閾値を設定する。例えば、第１ターゲットの第１サブクラスのターゲットに対して閾値０．３を設定し、第２サブクラスのターゲットに対して閾値０．２を設定し、第２クラスのターゲットに対して閾値０．２などを設定する。続いて、所定の閾値に基づいて、欠陥検出結果における欠陥をフィルタリングする。無論、欠陥検出結果における欠陥の寸法及び欠陥の確率を同時にフィルタリングし、欠陥検出結果における欠陥の数を減少させることもできる。最後に、最終的な欠陥検出結果における各欠陥の確率の降順に応じて、欠陥検出結果における各欠陥の情報を出力する。ここで、出力される欠陥の情報は、欠陥の、検出されるべき画像における位置情報及び確立を含む。又は、欠陥の、初期画像における位置情報及び対応する確率を直接的に出力する。
【0095】
本願の幾つかの実施例において、出力の形式は、文字の形式で、欠陥の、検出されるべき画像及び／又は初期画像における位置及び確率を出力することを含んでもよく、付記の方式で、全ての欠陥を検出されるべき画像及び／又は初期画像において標識し、標識枠にそれぞれの確率を記入することを含んでもよく、又は、各欠陥の、検出されるべき画像及び／又は初期画像における対応する画像領域を直接的に出力し、画像領域において欠陥の確率を明記することをふくんでもよい。
【0096】
欠陥検出結果における欠陥に対してフィルタリングを行うことによって、フィルタリング後の欠陥検出結果に、可能な限り少ない正常な場合の情報を含ませるか又は明らかに不当な状況を排除し、それにより欠陥検出結果の合理性を向上させ、また、誤検出率を低下させる。
【0097】
上記解決手段において、まず、検出されるべき画像における第１クラスのターゲットの位置を検出し、続いて、第１クラスのターゲットを含む画像領域に対して欠陥検出を行う。ターゲットの所在画像領域に対して直接的に欠陥検出を行うことによって、欠陥検出の領域を減少させ、検出漏れ率及び誤検出率を低下させることができる。
【0098】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの実際の実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。ここで、欠陥検出方法の実行主体は、欠陥検出装置であってもよい。例えば、欠陥検出方法は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。幾つかの実施例において、該欠陥検出方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。
【0099】
以下では、本願の実施例の、実際の適用シーンへの例示的な適用を説明する。本願の実施例は、深層学習に基づく配電網送電線におけるマルチクラス欠陥検出方法を提供する。深層学習モデルを用いて、大きなスケールの入力画像に対して２段階の検出と分類を行う。該方法は、碍子自爆検出、振動ダンパー欠陥検出、鳥の巣検出などの異常欠陥認識を同時に行うことができる。図４ａに示すように、該方法の実現フローは主に、ＲＧＢ画像入力モジュール４１０、画像前処理モジュール４２０、一次部材検出モジュール４３０、二次振動ダンパー分類認識モジュール４４０、二次碍子自爆検出モジュール４５０、自爆検出後処理モジュール４６０及び異常欠陥選別モジュール４７０という機能モジュールを含む。以下では、各モジュールをそれぞれ具体的に説明する。
【0100】
１）ＲＧＢ画像入力モジュール。該モジュールは、異なる無人機カメラにより撮影されたデータ出力を取得し、無人機により空撮されたＲＧＢ画像又は高精細ビデオを得ることができる。高精細ビデオに対して、画像フレームに切り分けて、対応するＲＧＢ画像を得ることができる。
【0101】
２）画像前処理モジュール。図４ｂに示すように、該モジュールは、ＲＧＢ画像に対して統一した処理を行い、欠陥検出に用いられる入力されるべき画像を得ることができる。処理プロセスは以下を含む。ａ）画像スケーリング４２１：入力された高精細ＲＧＢ画像に対してスケーリングを行い、サイズ１２００×１８００の画像となるようにスケーリングする。ｂ）画素値圧縮４２２：スケーリング後の画像の画素値を０－２５５から、０－１に圧縮する。ｃ）画素値正規化４２３：ＩｍａｇｅＮｅｔデー集合の平均値ｍｅａｎ及び分散ｓｔｄを用いて、画素値が圧縮された画像に対して、前記式（１－１）に応じて正規化演算を行う。
【0102】
３）一次部材検出モジュール。該モジュールの入力は、正規化されたＲＧＢ画像である。ターゲット検出ネットワークＦａｓｔｅｒ Ｒ－ＣＮＮにより、鳥の巣、碍子連、振動ダンパーという２つのクラスの一次部材を検出し、碍子連領域、振動ダンパー領域及び鳥の巣領域という３つのクラスの候補領域、及び各候補領域に対応するスコアを得る。該モジュールの主なネットワーク構造は、図４ｃに示すように、ＲｅｓＮｅｔ５０ヘッダーネットワーク４３１を検出ネットワークのバックボーンネットワークとして使用し、Ｃ４層特徴マップ４３２を抽出する。該モジュールによる一次部材の検出プロセスは、以下を含む。ＲＧＢ画像をＲｅｓＮｅｔ５０ヘッダーネットワーク４３１により処理することによって、Ｃ４層特徴マップ４３２を得る。特徴マップの大きさは、入力画像の１／１６である。ＲｅｓＮｅｔ５０ヘッダーネットワーク４３１は、少なくとも１つの畳み込み層、少なくとも１つの正規化層、サブサンプリング層を積層することで構成され、スキップ接続の方式でフォワード演算を行う。Ｃ４層特徴マップ４３２に対して、ＲＰＮによる候補枠抽出４３３を行い、抽出される候補枠は、ターゲットが存在する可能性がある領域である。候補枠とＣ４層特徴マップをＲｏＩプーリング層４３４により処理することによって、各候補領域の特徴マップを得、更に、少なくとも１つの全結合層４３５により処理することによって、各候補領域の特徴ベクトル。候補領域の特徴ベクトルは、候補領域の特徴情報を表す。最後に、各候補領域の特徴ベクトルに対して枠座標回帰４３６及びマルチクラス分類４３７を行い、最終的な検出結果を得、鳥の巣、碍子連、振動ダンパーの、元画像における位置領域及び対応する確率値を出力する。ここで、鳥の巣領域を直接的に異常欠陥選別モジュールに送り込み、碍子連領域を二次自爆検出モジュールに送り込んで自爆検出を行い、振動ダンパー領域を二次振動ダンパー分類認識モジュールに送り込んで振動ダンパークラスの分類を行う。
【0103】
４）二次振動ダンパー分類認識モジュール。該モジュールは、一次部材検出モジュールにより検出された振動ダンパー領域を入力として、主にＲｅｓＮｅｔ１８分類ネットワークにより、元画像からトリミングされた振動ダンパー領域に対して異常タイプのマルチ分類（分類クラスも正常なクラスを含む）を行い、最後に欠陥クラスの確率を整合し、正常な振動ダンパー及び異なる異常な振動ダンパーを得る。該モジュールは、振動ダンパーの形態に応じて、振動ダンパーを、正常な振動ダンパー、振動ダンパーの錆びつき、振動ダンパーねじり、振動ダンパー破損、振動ダンパー脱落という５つのクラスに分かる。ここで、後の４つのクラスは、欠陥クラスである。該モジュールによる振動ダンパー分類認識のプロセスは、図４ｄに示すように、元画像からの振動ダンパー領域のトリミング４４１、画像前処理４４２、ＲｅｓＮｅｔ１８によるマルチ分類４４３、欠陥クラス確率の整合４４４という４つのサブプロセスを含む。確率が第１特定の閾値を超える一段部材から検出された振動ダンパー領域に対して、まず、元画像から振動ダンパー領域をトリミングし、続いて、各トリミングされた振動ダンパー領域サブ画像に対して画像前処理を行い、スケールを保持する。続いて、各サブ画像をＲｅｓＮｅｔ１８分類ネットワークに入力して５分類を行い、ｓｏｆｔｍａｘにより、５つの振動ダンパー形態クラスの確率値を算出する。最後に、欠陥クラス確率の整合を行い、即ち、４つのクラスの振動ダンパー欠陥の確率値を加算して、振動ダンパーに欠陥がある確率とする。
【0104】
５）二次碍子自爆検出モジュール。該モジュールは、一次部材検出モジュールにより検出された碍子連領域を入力として、主にＦａｓｔｅｒ Ｒ－ＣＮＮ検出ネットワークにより、各碍子連領域サブ画像に対して自爆領域検出を行い、自爆を含む可能性がある碍子を得る。該モジュールの主なネットワーク構造は、図４ｅに示すように、ＲｅｓＮｅｔ１８ヘッダーネットワーク４５１を検出ネットワークのバックボーンネットワークとして用いることで、演算量を減少させることができる。まず、確率が第２特定の閾値を超える碍子連領域をトリミングし、得られた各サブ画像に対して画像前処理を行い、スケールを保持し、検出用ＲＧＢ画像を得る。各ＲＧＢ画像をＲｅｓＮｅｔ１８ヘッダーネットワーク４５１により処理することによって、碍子連の自爆領域に対して検出を行い、Ｃ４層特徴マップ４５２を得る。Ｃ４層特徴マップ４５２に対してＲＰＮによる候補枠抽出４５３を行う。抽出された候補枠は、碍子連自爆が存在する可能性がある領域である。候補枠とＣ４層特徴マップをＲｏＩプーリング層４５４により処理することによって、各候補領域の特徴マップを得、更に、少なくとも１つの全結合層４５５により処理することによって、各候補領域の特徴ベクトルを得る。最後に、各候補領域の特徴ベクトルに対して枠座標回帰４５６及びマルチクラス分類４５７を行い、最終的な検出結果を得、碍子連の自爆領域及び対応する確率値を出力する。
【0105】
６）自爆検出後処理モジュール。該モジュールは、碍子連領域サブ画像における自爆検出結果を元画像結果にマッピングし、複数回繰り返して検出された自爆領域に対して重複抑制処理を行い、元画像における碍子自爆領域の位置情報を得る。該モジュールの処理プロセスは、以下の３つのステップに分けられる。ａ）碍子連サブ画像における自爆領域の座標を元画像領域にマッピングする。ｂ）重複した自爆領域を抑制する。ｃ）スコアが低い自爆領域枠をフィルタリングする。
【0106】
７）異常欠陥選別モジュール。該モジュールは、鳥の巣領域、異常振動ダンパー、碍子自爆の検出認識結果に対して選別を行い、最終的な異常欠陥検出結果を得る。該モジュールの処理プロセスは、以下の３つのステップに分けられる。ａ）鳥の巣領域及び自爆領域に対して寸法に応じてフィルタリングを行い、大きすぎる検出枠及び小さすぎる検出枠を除去する。ｂ）鳥の巣、碍子自爆及び異常振動ダンパーに対して、それぞれのクラスの閾値に応じて、対応する閾値よりも低い結果を削除する。ｃ）全ての残された検出結果をスコアの降順に応じて全体的に順序付けて出力結果とする。
【0107】
本願の実施例において、無人機により空撮された高精細画像を入力として用い、軽量型深層学習検出及び分類モジュールを導入して、碍子自爆、振動ダンパー、鳥の巣の付着などの複数の欠陥異常に対して統合的に認識を行う。以下の有益な効果を有する。１）関連技術における送電網欠陥検出アルゴリズムにおいて、主に画像処理及び機械学習の方法を利用して、ターゲットに対して手作りの特徴を先験的に構成する必要があり、ロバスト性が悪く、正確度が低く、且つ撮影環境による影響が大きい。本願の実施例において、深層学習モデルに基づいて、ネットワークにより特徴を能動的に学習する。適用シーンがより広く、ロバスト性がより強く、正確度がより高い。２）本願の実施例において、送電線路巡回検査シーンに対して提出された２段階の検出－検出、検出－分類アルゴリズムは、無人機により空撮された高精細画像に適し、且つ、碍子自爆が、碍子連に依存するという欠陥特徴を十分に考慮することによって、関連技術における単一のネットワーク検出又は分類器の、高精細画像検出認識効果が低いという問題を解決する。３）関連技術において、１つのアルゴリズムは、１種の部材の欠陥のみを検出認識することができる。複数種の欠陥検出を行うために、元画像を異なるアルゴリズムに繰り返して入力する必要があり、効率が低い。本願の実施例において、複数種の欠陥を１つのアルゴリズムに整合して検出認識を行い、正確性を確保する前提で、検出効率を大幅に向上させる。
【0108】
図５を参照すると、図５は、本願の実施例による欠陥検出装置の構造を示す概略図である。欠陥検出装置３０は、第１ターゲット検出モジュール３１と、画像領域取得モジュール３２と、欠陥検出モジュール３３と、を備え、第１ターゲット検出モジュール３１は、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成され、ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報を含み、領域取得モジュール３２は、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得するように構成され、欠陥検出モジュール３３は、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得るように構成される。
【0109】
上記解決手段において、まず、検出されるべき画像における第１クラスのターゲットの位置を検出し、続いて、第１クラスのターゲットを含む画像領域に対して欠陥検出を行う。ターゲットの所在画像領域に対して直接的に欠陥検出を行うことによって、欠陥検出の領域を減少させ、検出漏れ率及び誤検出率を低下させることができる。
【0110】
ここで、欠陥検出装置３０は、前処理モジュール（図示されず）を更に備える。
【0111】
本願の幾つかの実施例において、第１ターゲット検出モジュール３１が検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、前処理モジュールは、初期画像をスケーリングし、所定のサイズの画像を得、スケーリング後の初期画像の画素値を所定の画素値範囲に圧縮し、圧縮された初期画像に対して正規化処理を行い、検出されるべき画像を得るように構成される。
【0112】
上記解決手段において、取得した初期画像の寸法又は画素に対して処理を行うことによって、統一した画像スタイルを得、入力画像のロバスト性を一定の程度で向上させることができる。
【0113】
本願の幾つかの実施例において、第１ターゲット検出モジュール３１が検出されるべき画像に対して第１ターゲット検出を行い、検出結果を得ることは、第１領域検出ネットワークを利用して、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、第２領域検出ネットワークを利用して、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、ここで、第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、画像領域に対して分類を行い、第２欠陥検出結果を得ることは、分類ネットワークを利用して、画像領域に対して分類を行い、第２欠陥検出結果を得ることを含む。
【0114】
上記解決手段において、各異なる部材の異なる欠陥の特徴を考慮して、異なるネットワークモデルを利用して段階的に検出を行うことによって、単一の検出ネットワークを用いる場合に検出漏れ率が高いという問題を一定の程度で解決することができる。それと同時に、第２ターゲット検出に用いられるネットワークモデルの深さが第１ターゲット検出に用いられるネットワークモデルの深さよりも浅いため、第２ターゲット検出プロセスにおける演算量を減少させ、検出効率を向上させることができる。
【0115】
本願の幾つかの実施例において、画像領域取得モジュール３２が第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得することは、第１位置情報に基づいて、検出されるべき画像から、第１クラスのターゲットに対応するターゲット領域を決定することと、ターゲット領域を検出されるべき画像において所定の倍数だけ外側へ拡張することと、検出されるべき画像から、外側へ拡張されたターゲット領域を抽出し、第１クラスのターゲットを含む画像領域を得ることと、を含む。
【0116】
上記解決手段において、ターゲット領域を検出されるべき画像において所定の倍数だけ外側へ拡張することによって、第１クラスのターゲットに対応するターゲット領域を含むものを取得した後に、一部の背景情報を残すことができ、第１クラスのターゲットに対する欠陥検出の正確度を向上させることができる。
【0117】
本願の幾つかの実施例において、欠陥検出モジュール３３が更に、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得るように構成されることは、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、ここで、第１欠陥検出結果は、第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含む、こと、及び／又は、画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、ここで、第２欠陥検出結果は、第１クラスのターゲットが属する第２欠陥の情報を含む、ことを含む。
【0118】
上記解決手段において、複数の方式により、第１クラスのターゲットを含む画像領域に対して検出を行うことによって、異なる第１クラスのターゲットに対して、異なる検出方式を用い、欠陥検出に、より高い目的性を持たせることができる。それにより得られた欠陥検出結果がより正確である。又は、同一の第１クラスのターゲットに対して異なる検出方式を行い、続いて各異なる欠陥検出方式をまとめることによって得られた検出されるべき画像の最終的な欠陥検出結果がより正確であり、誤検出率を更に低減させる。
【0119】
本願の幾つかの実施例において、欠陥検出モジュール３３が更に、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関する欠陥検出結果を得るように構成されることは、第１クラスのターゲットが第１サブクラスのターゲットである場合、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行することと、第１クラスのターゲットが第２サブクラスのターゲットである場合、画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行することと、を含む。
【0120】
上記解決手段において、異なるターゲット対象に対して異なる欠陥検出方式を用いることによって、欠陥検出をより柔軟にする。全ての種類のターゲットに対して同一の検出方式を用いることに比べて、より高い目的性を有し、欠陥検出結果がより正確になる。
【0121】
本願の幾つかの実施例において、第１欠陥検出結果は、各種の第１欠陥の位置情報及び第１欠陥に属する第１確率を含み、欠陥検出モジュール３３が画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、各種の第１欠陥の位置情報に応じて、検出されるべき画像における各種の第１欠陥の欠陥領域をそれぞれ決定し、異なる欠陥領域間の重複領域に対して重複排除処理を行うことと、第１確率が第１フィルタリング条件を満たす第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含む。
【0122】
上記解決手段において、第１サブクラスのターゲットにおける第１欠陥の確率及び第１サブクラスのターゲットを含む画像領域における位置情報を取得し、且つ該位置情報に基づいて、検出されるべき画像における、第１欠陥に対応する領域を見付け、重複部分に対して重複排除処理を行うことによって、１つの第１欠陥を１つの欠陥領域に対応させ、１つの欠陥に対して複数回の後続処理を行うという問題を減少させ、最終的な出力の正確率を向上させる。フィルタリング条件を満たす領域を削除することによって、後続で処理される領域の数を減少させ、処理効率を向上させることができる。
【0123】
本願の幾つかの実施例において、第１フィルタリング条件は、第１確率が第１確率閾値よりも低いことであり、及び／又は、異なる欠陥領域間の重複領域に対して重複排除処理を行うことは、異なる欠陥領域間の重複領域に対して非極大値抑制を行うことを含む。
【0124】
上記解決手段において、欠陥確率が低いものを削除することによって、多くの不必要な処理領域を減少させ、処理効率を向上させる。非極大値抑制の方式により重複排除を行うことによって、欠陥確率がより大きい欠陥領域を残すことができ、処理効率を向上させると同時に、欠陥検出の正確率を向上させることもできる。
【0125】
本願の幾つかの実施例において、第２欠陥検出結果は、第１クラスのターゲットが第２欠陥に属する第２確率を含み、欠陥検出モジュール３３が画像領域に対して分類を行い、第２欠陥検出結果を得ることは、画像領域に対して分類を行い、第１クラスのターゲットが各種の所定の欠陥に属する確率を得ることと、各種の所定の確率を加算し、第１クラスのターゲットが第２欠陥に属する第２確率を得ることと、を含む。
【0126】
上記解決手段において、複数種の所定の欠陥の確率を総合することによって、該第１クラスのターゲットの欠陥確率を決定する。第１クラスのターゲットが各種の所定の欠陥に属する可能性を広く考慮することによって、第１クラスのターゲットの欠陥確率をより正確にする。
【0127】
本願の幾つかの実施例において、第１ターゲット検出モジュール３１が検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることは、欠陥検出モデルの第１領域検出ネットワークを利用して、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、欠陥検出モジュール３３が画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、欠陥検出モデルの第２領域検出ネットワークを利用して、画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、ここで、第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、画像領域に対して分類を行い、第２欠陥検出結果を得ることは、欠陥検出モデルの分類ネットワークを利用して、画像領域に対して分類を行い、第２欠陥検出結果を得ることを含む。
【0128】
上記解決手段において、各異なる部材に異なる欠陥が存在する可能性があるという特徴を考慮して、異なるネットワークモデルを利用して段階的に検出を行うことによって、単一の検出ネットワークを用いる場合に検出漏れ率が高いという問題を一定の程度で軽減させることができる。それと同時に、第２ターゲット検出に用いられるネットワークモデルの深さが第１ターゲット検出に用いられるネットワークモデルの深さよりも浅いため、第２ターゲット検出プロセスにおける演算量を減少させ、検出効率を向上させることができる。
【0129】
本願の幾つかの実施例において、ターゲット検出結果は、第２クラスのターゲット及び第２クラスのターゲットの、検出されるべき画像における第２位置情報を更に含み、第１ターゲット検出モジュール３１は、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、更に、第２クラスのターゲットを検出されるべき画像における第３欠陥として決定し、第２クラスのターゲット及びその第２位置情報を第２クラスのターゲットに関わる欠陥検出結果とするように構成される。
【0130】
上記解決手段において、存在しないはずの第２クラスのターゲットを第３欠陥とすることによって、１つの欠陥検出モデルは、複数種のターゲットに対して検出を行うことができ、欠陥検出モデルの適応性を向上させる。
【0131】
本願の幾つかの実施例において、欠陥検出モジュール３３は、欠陥検出結果を得た後、更に、欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、検出されるべき画像の最終的欠陥検出結果を得ることを更に含む。
【0132】
上記解決手段において、条件を満たさない条件をフィルタリングすることによって、明らかに不当な欠陥を減少させ、最終的に得られた欠陥検出結果をより正確にする。
【0133】
本願の幾つかの実施例において、検出モジュール３３が欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングすることは、欠陥検出結果における欠陥の位置情報を利用して欠陥の寸法を得、欠陥検出結果における、寸法が所定の寸法条件を満たさない欠陥をフィルタリングすること、及び／又は、欠陥検出結果における確率が第２確率閾値よりも低い欠陥をフィルタリングすることを含む。
【0134】
上記解決手段において、寸法又は確率が条件を満たさないものをフィルタリングすることによって、明らかに不当な欠陥を減少させ、最終的に得られた欠陥検出結果をより正確にする。
【0135】
本願の幾つかの実施例において、欠陥検出モジュール３３が検出されるべき画像の最終的欠陥検出結果を得た後、更に、最終的欠陥検出結果における各欠陥の確率の降順に応じて、最終的欠陥検出結果における各欠陥の情報を出力するように構成される。
【0136】
上記解決手段において、各欠陥の確率の降順に応じて、最終的欠陥検出結果における各欠陥の情報を出力することによって、出力結果をよりスッキリさせ、後続の更なる観察に寄与する。
【0137】
欠陥検出装置は、訓練モジュール（図示されず）を更に備え、訓練モジュールは、欠陥検出モデルを訓練するように構成される。
【0138】
本願の幾つかの実施例において、第１ターゲット検出及び欠陥検出は、欠陥検出モデルにより実行され、ここで、欠陥検出モデルは少なくとも、第１サンプル集合を取得するステップであって、ここで、第サンプル集合は少なくとも１つのサンプル画像を含み、サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、ターゲットは第１クラスのターゲットを含む、ステップと、欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得るステップと、真実の欠陥情報及び欠陥検出結果を利用して、欠陥検出モデルのパラメータを調整するステップと、を実行するによって、訓練されたものである。
【0139】
上記解決手段において、上記方式により訓練された欠陥検出モデルの正確度がより高く、それにより第１ターゲット検出及び欠陥検出を行い、検出結果をより正確にする。
【0140】
本願の幾つかの実施例において、欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各グラフィックプロセッサが取得した第１サンプル集合は異なり、訓練モジュールが欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得ることは、各グラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層を同期し、各グラフィックプロセッサにおけるバッチ標準化層の同期後に欠陥検出モデルを利用して、サンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得ることを含み、真実の欠陥情報及び欠陥検出結果を利用して、欠陥検出モデルのパラメータを調整することは、全ての欠陥検出結果と真実の欠陥情報に基づいて、欠陥検出モデルの平均損失値を決定することと、平均損失値を利用して、欠陥検出モデルのパラメータを調整することと、を含む。
【0141】
上記解決手段において、複数のグラフィックプロセッサにおける欠陥検出モデルのバッチ標準化層を同期することによって、グローバルな第１サンプル集合を利用して正規化を行うことができ、バッチサイズの増大に相当する。それにより複数のグラフィックプロセッサの使用による影響を減少させる。また、複数のグラフィックプロセッサにより、欠陥検出モデルを訓練することによって、訓練速度を速くする。
【0142】
本願の幾つかの実施例において、訓練モジュールが欠陥検出モデルを利用して、第１サンプル集合におけるサンプル画像に対して検出を行い、ターゲットに関わる欠陥検出結果を得る前に、第２サンプル集合を利用して、欠陥検出モデルに対して事前訓練を行うステップと、第１サンプル集合を利用して、欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを更に含み、ここで、予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、所定の学習率まで次第に増大するものであり、ここで、第１サンプル集合におけるサンプル画像は少なくとも、元画像に対して前処理を行い、サンプル画像を得るステップにより得られたものであり、前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含む。
【0143】
上記解決手段において、欠陥検出モデルを正式に訓練する前に、まず、第２サンプル集合を利用して、欠陥検出モデルに対して事前訓練を行うことによって、欠陥検出モデルのパラメータを初期化するか、又は、正式な訓練の前に、学習率を初期化し、元画像に対して前処理を行うことによって、欠陥検出モデルの適応性を向上させる。
【0144】
図５を参照すると、図５は、本願の実施例による電子機器の構造を示す概略図である。電子機器４０は、メモリ４１と、プロセッサ４２と、を備え、プロセッサ４２は、メモリ４１に記憶されたプログラム命令を実行し、上記欠陥検出方法の実施例のステップを実現させるように構成される。１つの実施シーンにおいて、電子機器４０は、マイクロコンピュータ、サーバを含んでもよいが、これらに限定されない。なお、電子機器４０は、ノートパソコン、タブレットなどの携帯機器を含んでもよく、ここで、これを限定するものではない。
【0145】
具体的には、プロセッサ４２は、その自体及びメモリ４１を制御して、上記いずれか１つの欠陥検出方法の実施例におけるステップを実現させるように構成される。プロセッサ４２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算装置）と呼ばれてもよい。プロセッサ４２は、信号処理能力を持つ集積回路チップであってもよい。プロセッサ４２は、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）又は他のプログラマブルゲートアレイ、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、如何なる従来のプロセッサなどであってもよい。なお、プロセッサ４２は、集積回路チップにより共同で実現してもよい。
【0146】
上記解決手段において、まず、検出されるべき画像における第１クラスのターゲットの位置を検出し、続いて、第１クラスのターゲットを含む画像領域に対して欠陥検出を行う。ターゲットの所在画像領域に対して直接的に欠陥検出を行うことによって、欠陥検出の領域を減少させ、検出漏れ率及び誤検出率を低下させることができる。
【0147】
図６を参照すると、図６は、本願の実施例によるコンピュータ可読記憶媒体の構造を示す概略図である。コンピュータ可読記憶媒体５０に、プロセッサにより実行可能なプログラム命令５０１が記憶されており、プログラム命令５０１は、上記欠陥検出方法の実施例のステップを実現させるように構成される。
【0148】
本願の実施例は、コンピュータプログラム製品を更に提供する。該コンピュータプログラム製品は、プロセッサにより実行される時、前記実施例のいずれか１つの方法を実現させる。該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。本願の幾つかの実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化され、本願の別の幾つかの実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化される。
【0149】
上記解決手段において、まず、検出されるべき画像における第１クラスのターゲットの位置を検出し、続いて、第１クラスのターゲットを含む画像領域に対して欠陥検出を行う。ターゲットの所在画像領域に対して直接的に欠陥検出を行うことによって、欠陥検出の領域を減少させ、検出漏れ率及び誤検出率を低下させることができる。
【0150】
幾つかの実施例において、本願の実施例が提供する装置が有する機能又は含むモジュールは、上記方法の実施例に記載の方法を実行するように構成されてもよく、その具体的な実現は、上記方法の実施例の記述を参照することができ、簡潔のために、ここで詳細な説明を省略する。
【0151】
上記各実施例に対する説明は、各実施例間の相違を強調し、その同じまたは類似な所は相互に参照されることができ、簡潔のために、ここで詳細な説明を省略する。
【0152】
本発明で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0153】
また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。上記集積したユニットは、ハードウェアの形式で実現してもよく、ソフトウェア機能ユニットの形式で実現してもよい。
【0154】
集積したユニットは、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ設備（パソコン、サーバ、又はネットワーク装置など）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。
【産業上の利用可能性】
【0155】
本願の実施例は、欠陥検出方法、関連装置、機器及び記憶媒体を提供する。ここで、方法は、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、ターゲット検出結果は、第１クラスのターゲット及び検出されるべき画像における第１クラスのターゲットの第１位置情報を含む、ことと、第１位置情報に基づいて、第１クラスのターゲットを含む画像領域を取得することと、画像領域に対して欠陥検出を行い、第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む。上記解決手段において、本願の実施例が提供する欠陥検出方法により、検出されるべき画像に対して欠陥検出を行うことで、検出漏れ率及び誤検出率を低下させることができる。
【図1a】
【図1b】
【図2】
【図3】
【図4a】
【図4b】
【図4c】
【図4d】
【図4e】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2021-11-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
欠陥検出方法であって、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、ことと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む、欠陥検出方法。
【請求項2】
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることは、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含む、こと、
及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含む、ことを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関する欠陥検出結果を得ることは、前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行することと、
前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、前記方法は、各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、
第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含み、
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、
前記異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことは、前記異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うことを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項5】
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得ることと、
各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得ることと、を含むことを特徴とする
請求項２から４のうちいずれか一項に記載の方法。
【請求項6】
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることは、欠陥検出モデルの第１領域検出ネットワークを利用して、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、
前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、
前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、
前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、
前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることを含むことを特徴とする
請求項２から５のうちいずれか一項に記載の方法。
【請求項7】
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記方法は、前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とすることを更に含むことを特徴とする
請求項１から６のうちいずれか一項に記載の方法。
【請求項8】
前記欠陥検出結果を得た後、前記方法は、前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得ることを更に含み、
前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングすることは、
前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングすること、及び／又は、
前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングすることを含み、
前記検出されるべき画像の最終的欠陥検出結果を得た後、前記方法は、
前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力することを更に含むことを特徴とする
請求項１から７のうちいずれか一項に記載の方法。
【請求項9】
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することは、前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定することと、
前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張することと、
前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得ることと、を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。
【請求項10】
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、前記方法は、初期画像をスケーリングし、所定のサイズの画像を得ることと、
スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮することと、
圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得ることと、を更に含むことを特徴とする
請求項１から９のうちいずれか一項に記載の方法。
【請求項11】
前記第１ターゲット検出及び欠陥検出は、欠陥検出モデルにより実行され、前記欠陥検出モデルは少なくとも、第１サンプル集合を取得するステップであって、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含む、ステップと、
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得るステップと、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するステップと、によって、訓練されたものであることを特徴とする
請求項１から１０のうちいずれか一項に記載の方法。
【請求項12】
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることは、
各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることを含み、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整することは、
全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定することと、
前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整することと、を含むことを特徴とする
請求項１１に記載の方法。
【請求項13】
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、前記方法は、第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、
第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを更に含み、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、
前記第１サンプル集合におけるサンプル画像は少なくとも、
元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
請求項１１又は１２に記載の方法。
【請求項14】
欠陥検出装置であって、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成される第１ターゲット検出モジュールであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、第１ターゲット検出モジュールと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得するように構成される画像領域取得モジュールと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得るように構成される欠陥検出モジュールと、を備える、欠陥検出装置。
【請求項15】
メモリ及びプロセッサを備える電子機器であって、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、請求項１から１３のうちいずれか一項に記載の方法を実行する、電子機器。
【請求項16】
コンピュータに請求項１から１３のうちいずれか一項に記載の方法を実行させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
【請求項17】
コンピュータに請求項１から１３のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【0041】
本願の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体を含み、前記コンピュータプログラムがコンピュータにより読み取られて実行される時、コンピュータに本願の実施例に記載の方法の一部又は全部のステップを実行させる。該コンピュータプログラム製品は、ソフトウェアインストールパッケージであってもよい。
例えば、本願は以下の項目を提供する。
（項目１）
欠陥検出方法であって、
検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、ことと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む、欠陥検出方法。
（項目２）
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることは、
前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含む、こと、
及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含む、ことを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関する欠陥検出結果を得ることは、
前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行することと、
前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行することと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、前記方法は、
各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、
第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、
前記異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことは、
前記異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うことを含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、
前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得ることと、
各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得ることと、を含むことを特徴とする
項目２から５のうちいずれか一項に記載の方法。
（項目７）
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることは、
欠陥検出モデルの第１領域検出ネットワークを利用して、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、
前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、
前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、
前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、
前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることを含むことを特徴とする
項目２から６のうちいずれか一項に記載の方法。
（項目８）
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記方法は、
前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とすることを更に含むことを特徴とする
項目１から７のうちいずれか一項に記載の方法。
（項目９）
前記欠陥検出結果を得た後、前記方法は、
前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得ることを更に含むことを特徴とする
項目１から８のうちいずれか一項に記載の方法。
（項目１０）
前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングすることは、
前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングすること、及び／又は、
前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングすることを含むことを特徴とする
項目９項に記載の方法。
（項目１１）
前記検出されるべき画像の最終的欠陥検出結果を得た後、前記方法は、
前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力することを更に含むことを特徴とする
項目９又は１０項に記載の方法。
（項目１２）
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することは、
前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定することと、
前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張することと、
前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得ることと、を含むことを特徴とする
項目１から１１のうちいずれか一項に記載の方法。
（項目１３）
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、前記方法は、
初期画像をスケーリングし、所定のサイズの画像を得ることと、
スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮することと、
圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得ることと、を更に含むことを特徴とする
項目１から１２のうちいずれか一項に記載の方法。
（項目１４）
前記第１ターゲット検出及び欠陥検出は、欠陥検出モデルにより実行され、前記欠陥検出モデルは少なくとも、
第１サンプル集合を取得するステップであって、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含む、ステップと、
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得るステップと、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するステップと、によって、訓練されたものであることを特徴とする
項目１から１３のうちいずれか一項に記載の方法。
（項目１５）
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることは、
各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることを含み、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整することは、
全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定することと、
前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整することと、を含むことを特徴とする
項目１４に記載の方法。
（項目１６）
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、前記方法は、
第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、
第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを更に含み、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、
前記第１サンプル集合におけるサンプル画像は少なくとも、
元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
項目１４又は１５に記載の方法。
（項目１７）
欠陥検出装置であって、
検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成される第１ターゲット検出モジュールであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、第１ターゲット検出モジュールと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得するように構成される画像領域取得モジュールと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得るように構成される欠陥検出モジュールと、を備える、欠陥検出装置。
（項目１８）
前記欠陥検出モジュールは更に、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含み、及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含むように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記欠陥検出モジュールは更に、前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行し、前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行するように構成されることを特徴とする
項目１８に記載の装置。
（項目２０）
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記欠陥検出モジュールは更に、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、
各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを実行するように構成されることを特徴とする
項目１８又は１９に記載の装置。
（項目２１）
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、前記欠陥検出モジュールは更に、異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うように構成されることを特徴とする
項目２０に記載の装置。
（項目２２）
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記欠陥検出モジュールは更に、前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得、各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得るように構成されることを特徴とする
項目１８から２１のうちいずれか一項に記載の装置。
（項目２３）
前記第１ターゲット検出モジュールは更に、欠陥検出モデルの第１領域検出ネットワークを利用して、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成され、
前記欠陥検出モジュールは更に、前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅く、前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得るように構成されることを特徴とする
項目１８から２２のうちいずれか一項に記載の装置。
（項目２４）
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記欠陥検出モジュールは更に、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とするように構成されることを特徴とする
項目１７から２３のうちいずれか一項に記載の装置。
（項目２５）
前記欠陥検出モジュールは更に、前記欠陥検出結果を得た後、前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得るように構成されることを特徴とする
項目１７から２４のうちいずれか一項に記載の装置。
（項目２６）
前記欠陥検出モジュールは更に、前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングし、及び／又は、前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングするように構成されることを特徴とする
項目２５に記載の装置。
（項目２７）
前記欠陥検出モジュールは更に、前記検出されるべき画像の最終的欠陥検出結果を得た後、前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力するように構成されることを特徴とする
項目２５又は２６項に記載の装置。
（項目２８）
前記画像領域取得モジュールは更に、前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定し、前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張し、前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得るように構成されることを特徴とする
項目１７から２７のうちいずれか一項に記載の装置。
（項目２９）
前記装置は、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、初期画像をスケーリングし、所定のサイズの画像を得、スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮し、圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得るように構成される前処理モジュールを更に備えることを特徴とする
項目１７から２８のうちいずれか一項に記載の装置。
（項目３０）
前記装置は、第１サンプル集合を取得し、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含み、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得、前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するように構成される訓練モジュールを更に備えることを特徴とする
項目１７から２９のうちいずれか一項に記載の装置。
（項目３１）
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、
前記訓練モジュールは更に、各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得、全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定し、前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整するように構成されることを特徴とする
項目３０に記載の装置。
（項目３２）
前記訓練モジュールは更に、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを実行するように構成され、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、
前記第１サンプル集合におけるサンプル画像は少なくとも、元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
項目３０又は３１に記載の装置。
（項目３３）
メモリ及びプロセッサを備える電子機器であって、
前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、項目１から１６のうちいずれか一項に記載の方法を実行する、電子機器。
（項目３４）
プロセッサにより実行される時、前記プロセッサに項目１から１６のうちいずれか一項に記載の方法を実行させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
（項目３５）
コンピュータにより読み取られて実行される時、前記コンピュータに項目１から１６のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
（項目１）
欠陥検出方法であって、
検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、ことと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることと、を含む、欠陥検出方法。
（項目２）
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得ることは、
前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含む、こと、
及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることであって、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含む、ことを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関する欠陥検出結果を得ることは、
前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行することと、
前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行することと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、前記方法は、
各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、
第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、
前記異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことは、
前記異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うことを含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、
前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得ることと、
各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得ることと、を含むことを特徴とする
項目２から５のうちいずれか一項に記載の方法。
（項目７）
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることは、
欠陥検出モデルの第１領域検出ネットワークを利用して、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得ることを含み、
前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることは、
前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得ることであって、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅い、ことを含み、
前記画像領域に対して分類を行い、第２欠陥検出結果を得ることは、
前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得ることを含むことを特徴とする
項目２から６のうちいずれか一項に記載の方法。
（項目８）
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記方法は、
前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とすることを更に含むことを特徴とする
項目１から７のうちいずれか一項に記載の方法。
（項目９）
前記欠陥検出結果を得た後、前記方法は、
前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得ることを更に含むことを特徴とする
項目１から８のうちいずれか一項に記載の方法。
（項目１０）
前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングすることは、
前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングすること、及び／又は、
前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングすることを含むことを特徴とする
項目９項に記載の方法。
（項目１１）
前記検出されるべき画像の最終的欠陥検出結果を得た後、前記方法は、
前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力することを更に含むことを特徴とする
項目９又は１０項に記載の方法。
（項目１２）
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得することは、
前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定することと、
前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張することと、
前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得ることと、を含むことを特徴とする
項目１から１１のうちいずれか一項に記載の方法。
（項目１３）
前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、前記方法は、
初期画像をスケーリングし、所定のサイズの画像を得ることと、
スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮することと、
圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得ることと、を更に含むことを特徴とする
項目１から１２のうちいずれか一項に記載の方法。
（項目１４）
前記第１ターゲット検出及び欠陥検出は、欠陥検出モデルにより実行され、前記欠陥検出モデルは少なくとも、
第１サンプル集合を取得するステップであって、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含む、ステップと、
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得るステップと、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するステップと、によって、訓練されたものであることを特徴とする
項目１から１３のうちいずれか一項に記載の方法。
（項目１５）
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることは、
各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得ることを含み、
前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整することは、
全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定することと、
前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整することと、を含むことを特徴とする
項目１４に記載の方法。
（項目１６）
前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、前記方法は、
第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、
第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを更に含み、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、
前記第１サンプル集合におけるサンプル画像は少なくとも、
元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
項目１４又は１５に記載の方法。
（項目１７）
欠陥検出装置であって、
検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成される第１ターゲット検出モジュールであって、前記ターゲット検出結果は、第１クラスのターゲット及び前記検出されるべき画像における前記第１クラスのターゲットの第１位置情報を含む、第１ターゲット検出モジュールと、
前記第１位置情報に基づいて、前記第１クラスのターゲットを含む画像領域を取得するように構成される画像領域取得モジュールと、
前記画像領域に対して欠陥検出を行い、前記第１クラスのターゲットに関わる欠陥検出結果を得るように構成される欠陥検出モジュールと、を備える、欠陥検出装置。
（項目１８）
前記欠陥検出モジュールは更に、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得、前記第１欠陥検出結果は、前記第１クラスのターゲットに存在する少なくとも１種の第１欠陥の情報を含み、及び／又は、前記画像領域に対して分類を行い、第２欠陥検出結果を得、前記第２欠陥検出結果は、前記第１クラスのターゲットが属する第２欠陥の情報を含むように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記欠陥検出モジュールは更に、前記第１クラスのターゲットが第１サブクラスのターゲットである場合、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得るステップを実行し、前記第１クラスのターゲットが第２サブクラスのターゲットである場合、前記画像領域に対して分類を行い、第２欠陥検出結果を得るステップを実行するように構成されることを特徴とする
項目１８に記載の装置。
（項目２０）
前記第１欠陥検出結果は、各種の前記第１欠陥の位置情報及び前記第１欠陥に属する第１確率を含み、前記欠陥検出モジュールは更に、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得た後、
各種の前記第１欠陥の位置情報に応じて、前記検出されるべき画像における各種の前記第１欠陥の欠陥領域をそれぞれ決定し、異なる前記欠陥領域間の重複領域に対して重複排除処理を行うことと、第１確率が第１フィルタリング条件を満たす前記第１欠陥をフィルタリングすることと、のうちの少なくとも１つを実行するように構成されることを特徴とする
項目１８又は１９に記載の装置。
（項目２１）
前記第１フィルタリング条件は、前記第１確率が第１確率閾値よりも低いことであり、及び／又は、前記欠陥検出モジュールは更に、異なる前記欠陥領域間の重複領域に対して非極大値抑制を行うように構成されることを特徴とする
項目２０に記載の装置。
（項目２２）
前記第２欠陥検出結果は、前記第１クラスのターゲットが第２欠陥に属する第２確率を含み、前記欠陥検出モジュールは更に、前記画像領域に対して分類を行い、前記第１クラスのターゲットが各種の所定の欠陥に属する確率を得、各種の所定の確率を加算し、前記第１クラスのターゲットが第２欠陥に属する第２確率を得るように構成されることを特徴とする
項目１８から２１のうちいずれか一項に記載の装置。
（項目２３）
前記第１ターゲット検出モジュールは更に、欠陥検出モデルの第１領域検出ネットワークを利用して、検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得るように構成され、
前記欠陥検出モジュールは更に、前記欠陥検出モデルの第２領域検出ネットワークを利用して、前記画像領域に対して第２ターゲット検出を行い、第１欠陥検出結果を得、前記第２領域検出ネットワークの深さは、第１領域検出ネットワークの深さよりも浅く、前記欠陥検出モデルの分類ネットワークを利用して、前記画像領域に対して分類を行い、第２欠陥検出結果を得るように構成されることを特徴とする
項目１８から２２のうちいずれか一項に記載の装置。
（項目２４）
前記ターゲット検出結果は、第２クラスのターゲット及び前記検出されるべき画像における第２クラスのターゲットの第２位置情報を更に含み、前記欠陥検出モジュールは更に、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得た後、前記第２クラスのターゲットを前記検出されるべき画像における第３欠陥として決定し、前記第２クラスのターゲット及びその前記第２位置情報を前記第２クラスのターゲットに関わる欠陥検出結果とするように構成されることを特徴とする
項目１７から２３のうちいずれか一項に記載の装置。
（項目２５）
前記欠陥検出モジュールは更に、前記欠陥検出結果を得た後、前記欠陥検出結果における第２フィルタリング条件を満たす欠陥をフィルタリングし、前記検出されるべき画像の最終的欠陥検出結果を得るように構成されることを特徴とする
項目１７から２４のうちいずれか一項に記載の装置。
（項目２６）
前記欠陥検出モジュールは更に、前記欠陥検出結果における前記欠陥の位置情報を利用して前記欠陥の寸法を得、前記欠陥検出結果における前記寸法が所定の寸法条件を満たさない欠陥をフィルタリングし、及び／又は、前記欠陥検出結果における確率が第２確率閾値よりも低い前記欠陥をフィルタリングするように構成されることを特徴とする
項目２５に記載の装置。
（項目２７）
前記欠陥検出モジュールは更に、前記検出されるべき画像の最終的欠陥検出結果を得た後、前記最終的欠陥検出結果における各前記欠陥の確率の降順に応じて、前記最終的欠陥検出結果における各前記欠陥の情報を出力するように構成されることを特徴とする
項目２５又は２６項に記載の装置。
（項目２８）
前記画像領域取得モジュールは更に、前記第１位置情報に基づいて、前記検出されるべき画像から、前記第１クラスのターゲットに対応するターゲット領域を決定し、前記ターゲット領域を前記検出されるべき画像において所定の倍数だけ外側へ拡張し、前記検出されるべき画像から、外側へ拡張された前記ターゲット領域を抽出し、前記第１クラスのターゲットを含む画像領域を得るように構成されることを特徴とする
項目１７から２７のうちいずれか一項に記載の装置。
（項目２９）
前記装置は、前記検出されるべき画像に対して第１ターゲット検出を行い、ターゲット検出結果を得る前に、初期画像をスケーリングし、所定のサイズの画像を得、スケーリング後の前記初期画像の画素値を所定の画素値範囲に圧縮し、圧縮された前記初期画像に対して正規化処理を行い、前記検出されるべき画像を得るように構成される前処理モジュールを更に備えることを特徴とする
項目１７から２８のうちいずれか一項に記載の装置。
（項目３０）
前記装置は、第１サンプル集合を取得し、前記第サンプル集合は少なくとも１つのサンプル画像を含み、前記サンプル画像に、ターゲットに関する真実の欠陥情報が付記されており、前記ターゲットは第１クラスのターゲットを含み、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得、前記真実の欠陥情報及び前記欠陥検出結果を利用して、前記欠陥検出モデルのパラメータを調整するように構成される訓練モジュールを更に備えることを特徴とする
項目１７から２９のうちいずれか一項に記載の装置。
（項目３１）
前記欠陥検出モデルは、複数のグラフィックプロセッサにより共同訓練されたものであり、各前記グラフィックプロセッサが取得した第１サンプル集合は異なり、
前記訓練モジュールは更に、各前記グラフィックプロセッサにおける前記欠陥検出モデルのバッチ標準化層を同期し、各前記グラフィックプロセッサにおける前記バッチ標準化層の同期後に欠陥検出モデルを利用して、前記サンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得、全ての前記欠陥検出結果と前記真実の欠陥情報に基づいて、前記欠陥検出モデルの平均損失値を決定し、前記平均損失値を利用して、前記欠陥検出モデルのパラメータを調整するように構成されることを特徴とする
項目３０に記載の装置。
（項目３２）
前記訓練モジュールは更に、前記欠陥検出モデルを利用して、前記第１サンプル集合におけるサンプル画像に対して検出を行い、前記ターゲットに関わる欠陥検出結果を得る前に、第２サンプル集合を利用して、前記欠陥検出モデルに対して事前訓練を行うステップと、第１サンプル集合を利用して、前記欠陥検出モデルに対して予備訓練を行うステップと、のうちの少なくとも１つを実行するように構成され、前記予備訓練のプロセスに用いられる学習率は、所定の学習率よりも低い第１学習率から、前記所定の学習率まで次第に増大するものであり、
前記第１サンプル集合におけるサンプル画像は少なくとも、元画像に対して前処理を行い、前記サンプル画像を得るステップにより得られたものであり、前記前処理の方式は、スケール変換、色変換、水平反転、垂直反転、回転、トリミングのうちの少なくとも１つを含むことを特徴とする
項目３０又は３１に記載の装置。
（項目３３）
メモリ及びプロセッサを備える電子機器であって、
前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、項目１から１６のうちいずれか一項に記載の方法を実行する、電子機器。
（項目３４）
プロセッサにより実行される時、前記プロセッサに項目１から１６のうちいずれか一項に記載の方法を実行させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
（項目３５）
コンピュータにより読み取られて実行される時、前記コンピュータに項目１から１６のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
【国際調査報告】