特表 2023-544428 コンポーネントを分析する方法、システムをトレーニングする方法、デバイス、コンピュータプログラム及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-23

(54)【発明の名称】コンポーネントを分析する方法、システムをトレーニングする方法、デバイス、コンピュータプログラム及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231016BHJP

   G06V 10/82 20220101ALI20231016BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023521376

(86)(22)【出願日】2021-09-29

(85)【翻訳文提出日】2023-04-06

(86)【国際出願番号】 EP2021076841

(87)【国際公開番号】W WO2022073827

(87)【国際公開日】2022-04-14

(31)【優先権主張番号】102020126291.4

(32)【優先日】2020-10-07

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】522288832

【氏名又は名称】フジツウ テクノロジー ソリューションズ ゲーエムベーハー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シュピッツァー・フィーリップ

(72)【発明者】

【氏名】シュルキン・ドミートリイ

(72)【発明者】

【氏名】ナウジャエック・マルセル

(72)【発明者】

【氏名】シファー・シュテファン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096DA01

5L096DA02

5L096EA13

5L096EA16

5L096EA35

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

コンポーネントを分析する方法、システムをトレーニングする方法、装置、コンピュータプログラム、及びコンピュータ可読記憶媒体に関する。コンポーネントを分析するための方法（２００）に関し、方法（２００）は、
－ コンポーネントの画像を受信するステップと、
－ 複数のニューラルネットワークを使用して受信した画像上の特徴認識を実行するステップ（２０３）であって、複数のニューラルネットワークのうちの少なくとも１つの第１ニューラルネットワークは、トレーニング画像の第１セットに基づいてトレーニングされ、複数のニューラルネットワークのうちの少なくとも１つの第２ニューラルネットワークは、トレーニング画像の少なくとも１つの第２セットに基づいてトレーニングされ、少なくとも１つの第１ニューラルネットワーク及び少なくとも１つの第２ニューラルネットワークはそれぞれ、グローバルプーリング層を含む、ステップと、
－ コンポーネントの表現を参照して特徴認識の結果を表示するステップ（２０５）と、を含む。

【特許請求の範囲】

【請求項1】

コンポーネントを分析するための方法であって、
－ 前記コンポーネントの画像を受信するステップと、
－ 複数のニューラルネットワークを使用して受信した前記画像上の特徴認識を実行するステップであって、前記複数のニューラルネットワークのうちの少なくとも１つの第１ニューラルネットワークは、トレーニング画像の第１セットに基づいてトレーニングされ、前記複数のニューラルネットワークのうちの少なくとも１つの第２ニューラルネットワークは、トレーニング画像の少なくとも１つの第２セットに基づいてトレーニングされ、前記少なくとも１つの第１ニューラルネットワーク及び前記少なくとも１つの第２ニューラルネットワークはそれぞれ、グローバルプーリング層を含む、ステップと、
－ 前記コンポーネントの表現を参照して前記特徴認識の結果を表示するステップと、
を含む、方法。

【請求項2】

前記特徴認識の結果が表示される前記コンポーネントの表現は、前記コンポーネントの受信された前記画像である、
請求項１記載の方法。

【請求項3】

前記特徴認識の前記結果を表示するために、ニューラルネットワークを使用して計算された確率を表示する方法、特にクラス活性化マッピング方法、を使用する、
請求項１又は２記載の方法。

【請求項4】

受信した前記画像の少なくとも一部を、特徴認識を実行するステップの前又は実行中に強化する、
請求項１乃至３いずれか１項記載の方法。

【請求項5】

前記コンポーネントの受信した前記画像を、前記複数のニューラルネットワークのうちの少なくとも１つをさらにトレーニングするためにさらに使用する、
請求項１乃至４いずれか１項記載の方法。

【請求項6】

受信した前記画像のサイズが前記少なくとも１つの第１ニューラルネットワーク及び／又は前記少なくとも１つの第２ニューラルネットワークの入力サイズに対応しない場合、受信した前記画像を、前記特徴認識を実行するステップの前に、複数の画像セクションに分割する、
請求項１乃至５いずれか１項記載の方法。

【請求項7】

前記特徴認識を実行するステップにおいて、前記少なくとも１つの第１ニューラルネットワークによって第１特徴認識を実行し、前記少なくとも１つの第２ニューラルネットワークによって第２特徴認識を実行し、前記特徴認識の結果を算出するために、前記第１特徴認識及び前記第２特徴認識の結果を比例的に重み付けする、
請求項１乃至６いずれか１項記載の方法。

【請求項8】

コンポーネントを分析するためのシステムをトレーニングする方法であって、
－ トレーニング画像の第１セットを作成するステップであって、前記トレーニング画像の前記第１セットは、少なくとも１つのコンポーネントの少なくとも一部を示し、前記記第１セットのうちの前記トレーニング画像において前記少なくとも１つのコンポーネント上の認識可能な特徴がマークされているトレーニング画像を含む、ステップと、
－ 前記トレーニング画像の前記第１セットに基づいて少なくとも１つの第１ニューラルネットワークをトレーニングするステップであって、前記少なくとも１つの第１ニューラルネットワークはグローバルプーリング層を含む、ステップと、
－ トレーニング画像の少なくとも１つの第２セットを作成するステップであって、前記トレーニング画像の前記少なくとも１つの第２セットは、少なくとも１つのコンポーネント上の特徴が前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかったトレーニング画像を含む、ステップと、
－ 前記トレーニング画像の前記少なくとも１つの第２セットに基づいて少なくとも１つの第２ニューラルネットワークをトレーニングするステップであって、前記少なくとも１つの第２ニューラルネットワークはグローバルプーリング層を含み、前記トレーニング画像の前記第２セットのうちの前記トレーニング画像上の認識可能な特徴はマークされているか、又は、認識可能な特徴を含む前記トレーニング画像の画像セクションは対応する特徴クラスに割り当てられている、ステップと、
－ 前記少なくとも１つの第１ニューラルネットワーク及び前記少なくとも１つの第２ニューラルネットワークを複数のニューラルネットワークにまとめるステップと、
を含む、方法。

【請求項9】

前記少なくとも１つの第１ニューラルネットワークのトレーニング及び／又は前記少なくとも１つの第２ニューラルネットワークのトレーニングは、教師あり学習を使用して実行される、
請求項８記載の方法。

【請求項10】

－ 前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、前記少なくとも１つの第１ニューラルネットワークによって検出されたにもかかわらず、関連するトレーニング画像の対応する位置がマークされておらず、関連するトレーニング画像中に描かれたコンポーネントがこの位置に特徴を有さないような特徴を含むか、及び／又は、
－ 前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、前記少なくとも１つの第１ニューラルネットワークによって検出されなかったにもかかわらず、関連するトレーニング画像の対応する位置がマークされており、関連するトレーニング画像中に表現されたたコンポーネントがこの位置に特徴を有する、特徴を含むか、及び／又は、
－ 前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、前記少なくとも１つの第１ニューラルネットワークによって検出されたにもかかわらず、関連するトレーニング画像の対応する位置がマークされていないが、関連するトレーニング画像中のマッピングされたコンポーネントがこの位置に特徴を有する、
請求項８又は９記載の方法。

【請求項11】

前記少なくとも１つの第１ニューラルネットワーク及び前記少なくとも１つの第２ニューラルネットワークを複数のニューラルネットワークにまとめるステップは、さらに、
－ 前記少なくとも１つの第１ニューラルネットワークによる分析の結果を評価する第１重み付けを割り当てるステップと、
－ 前記少なくとも１つの第２ニューラルネットワークによる分析の結果を評価する少なくとも１つの第２重み付けを割り当てるステップと、を含む、
請求項８乃至１０いずれか１項記載の方法。

【請求項12】

コンポーネントの表面を分析するための装置であって、前記装置は請求項１乃至７いずれか１項記載の方法を実行するように構成されている、装置。

【請求項13】

コンポーネントの表面を分析するシステムをトレーニングするための装置であって、前記装置は請求項８乃至１１いずれか１項記載の方法を実行するように構成されている、装置。

【請求項14】

コンピュータプログラムであって、前記コンピュータプログラムがコンピュータによって実行されるときに、前記コンピュータに請求項１乃至１１いずれか１項記載の方法を実行させる命令を含むコンピュータプログラム。

【請求項15】

請求項１４記載のコンピュータプログラムを備えるコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンポーネントを分析する（Ａｎａｌｙｓｉｅｒｅｎ）方法に関する。さらに、本発明は、コンポーネントの分析システムをトレーニングする方法に関する。さらに、本発明は、コンポーネントを分析する装置及びコンポーネントを分析するシステムをレーニングする装置に関する。さらに、本発明は、コンピュータプログラム及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

例えば機械によって製造される、コンポーネントは、例えばその表面又は内部に、特徴を有し得る。これらの特徴は、刻印（Ｇｒａｖｕｒ）や類似のもののような意図された構造であることもあれば、コンポーネントの欠陥であることもある。かかるコンポーネントの表面又は内部の欠陥は、コンポーネントの価値を著しく低下させたり、使用できなくさせることさえある。かかる欠陥が検出されない場合、重大な安全上のリスクをもたらす可能性もある。このため、かかるコンポーネントの表面又は内部の特徴を確実に検出し、必要に応じて異なる種類の特徴を区別する必要がある。

【0003】

かかる特徴認識は、例えば専門家によって行われる。しかしながら、これは非常に時間がかかり、人為的ミスによってかなり変動する結果をもたらす可能性がある。かかる特徴の機械認識では、今日では特徴認識において十分に高い信頼性がないことが問題となっている。その結果、これらの特徴を検出するためのシステムが非常に敏感に設定されており、検出されないで残る欠陥コンポーネントができるだけ少ない場合、多数のコンポーネントが特徴を有するものとして拒否される。これは、かかるコンポーネントの高い拒否率につながり、高いコストと材料の浪費の原因となる。

【発明の概要】

【0004】

本発明の目的は、上記の問題を解決又は緩和することである。

【0005】

この目的は、独立請求項の特徴によって解決される。有利な実施形態は、従属請求項において定義される。

【0006】

本発明の第１態様によれば、コンポーネントを分析する方法は、
－ コンポーネントの画像を受信するステップと、
－ 複数のニューラルネットワークを使用して受信した画像上の特徴認識を実行するステップであって、複数のニューラルネットワークのうちの少なくとも１つの第１ニューラルネットワークは、トレーニング画像の第１セットに基づいてトレーニングされ、複数のニューラルネットワークのうちの少なくとも１つの第２ニューラルネットワークは、トレーニング画像の少なくとも１つの第２セットに基づいてトレーニングされ、少なくとも１つの第１ニューラルネットワーク及び少なくとも１つの第２ニューラルネットワークはそれぞれ、グローバルプーリング層を含む、ステップと、
－ コンポーネントの表現を参照して（ｍｉｔ Ｂｅｚｕｇ ｚｕ ｅｉｎｅｒ Ｄａｒｓｔｅｌｌｕｎｇ ｄｅｓ Ｂａｕｔｅｉｌｓ）特徴認識の結果を表示するステップと、
を含む。

【0007】

ここに示す方法では、捕捉した画像に基づいて、非常に高い信頼度でコンポーネントの表面又は内部の特徴を検出し、それらの特徴を視覚化することができる。特徴は、例えば、コンポーネントの表面又は内部の欠陥である。代替的に又は付加的に、特徴は、刻印やその他の意図的な表面構造であることもできる。

【0008】

例えば、グローバル平均プーリング層は、グローバルプーリング層として適している。代替的に、グローバル最大プーリング層又はグローバル最小プーリング層を使用することもできる。

【0009】

少なくとも１つの第１ニューラルネットワーク及び／又は少なくとも１つの第２ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）（ＣＮＮ）である。グローバルプーリング層は、有利には、最後の畳み込み層に続く第１層である。

【0010】

有利には、第１態様による方法では、これらの特徴の機械認識が高い認識率で提供される。少なくとも２つのトレーニングされたニューラルネットワークで特徴認識を実行することは、特徴の認識において高い信頼性を提供する。したがって、上記の方法は、特に、欠陥や他の特徴などの検出が複雑なコンポーネントに使用することができる。これは、例えばダイキャスト工程によって製造されたコンポーネントに関する場合である。ダイキャストによって製造されたコンポーネントは、検出が困難な欠陥やその他の特徴を有する場合がある。しかしながら、他の方法で製造されたコンポーネントについても同様である。ここで検討されるコンポーネントは、例えば、プラスチック、金属、セラミック、ガラス、又はその他の材料でできている可能性がある。かかる特徴は、例えば、コンポーネントの表面の写真やその他の画像によって、又は、内部で、Ｘ線画像又は超音波画像などの対応する画像化方法によって、検出できる特徴である。ここに示す方法では、検出が困難なかかる欠陥であっても、高い信頼度で見つけることができる。

【0011】

第１態様による方法のさらなる利点は、特徴を検出するだけでなく、特徴の検出結果が、コンポーネントの表面又は内部の対応する画像に対して表示されることである。換言すると、コンポーネントの表面や内部で検出された特徴は、コンポーネントの表面や内部の画像に対して位置特定又はローカライズされ（ｌｏｋａｌｉｓｉｅｒｔ）、それに応じて表示される。このようにして、上記の方法のユーザは、コンポーネントのどの位置に特徴が位置するかを即座に認識することができる。これにより、コンポーネントの迅速で時間を節約できる検査と、対応する信頼性の高い迅速な品質保証が可能になる。

【0012】

第１態様による方法は、コンピュータで実装される方法である。

【0013】

少なくとも１つの実施形態では、特徴認識の結果を表示するために、ニューラルネットワークを使用して計算された確率を表示する方法が使用される。特に、クラス活性化マッピング方法（Ｃｌａｓｓ－Ａｃｔｉｖａｔｉｏｎ－ Ｍａｐｐｉｎｇ Ｖｅｒｆａｈｒｅｎ）が使用される。

【0014】

この実施形態において計算された確率は、確率が示されている対応する場所に特徴が存在するかどうかの可能性を示す。換言すると、確率の表現は、検査された画像のどのエリアが少なくとも１つの第１ニューラルネットワーク又は少なくとも１つの第２ニューラルネットワークの注意を惹くかを示す。ニューラルネットワークは、コンポーネントの画像化された部分の分類のみを実行するが、つまり、表面又は内部の構造が特徴として検出されるか否かを検出するが、特徴を有するエリアがどこにあるかをこの方法で表すことも可能である。

【0015】

ここでの利点は、分類のためだけにトレーニングされたニューラルネットワークであっても、特徴の位置的又は局所的な（ｌｏｋａｌｅｎ）配置をグラフィカルに表現できることである。

【0016】

少なくとも１つの実施形態において、受信した画像の少なくとも一部は、特徴認識を実行するステップの前又は実行中に強化又は拡張される（ａｕｇｍｅｎｔｉｅｒｔ）。

【0017】

この文脈における強化（Ｄａｓ Ａｕｇｍｅｎｔｉｅｒｅｎ）とは、受信画像の少なくとも一部を異なる形式で提示することを意味し、例えば、受信画像の少なくとも一部に回転、反転、又はフィルタを適用することを含む。

【0018】

ここでの利点は、特徴認識中にこの方法でより信頼性の高い結果を達成できることである。例えば、表面のシェーディングや反射、又はコンポーネント内部を含む画像のその他の障害は、この方法で特徴とよりよく区別できる。

【0019】

少なくとも１つの実施形態では、コンポーネントの受信した画像をさらに使用して、複数のニューラルネットワークの少なくとも１つをさらにトレーニングする。

【0020】

受信した画像は、少なくとも１つの第１ニューラルネットワークのトレーニング及び／又は少なくとも１つの第２ニューラルネットワークのトレーニングのために使用されることができる。ここでの利点は、この方法でニューラルネットワークをさらにトレーニングして、改善された特徴認識結果を達成できることである。これにより、専門家を必要とせずにニューラルネットワークを独立して拡張することができる。この目的のために、例えば、いわゆる「半教師あり学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ－ｌｅａｒｎｉｎｇ）」が使用される。

【0021】

少なくとも１つの実施形態において、受信した画像は、特徴認識を実行するステップの前に、複数の画像セクションに分割される。

【0022】

これらの個別の画像セクションは、特徴認識で個別に処理されることができる。ここでの利点は、画像セクションを処理するための計算能力が、捕捉された画像全体と比較して削減できることである。これにより、計算能力が節約される。さらに、この方法で処理時間が節約される。さらに、これにより、より正確な検出が可能になり、特に受信画像内の特徴のより正確な位置特定が可能になる。

【0023】

本発明の第２態様によれば、コンポーネントを分析するためのシステムをトレーニングする方法は：
－ トレーニング画像の第１セットを作成するステップであって、第１セットは、少なくとも１つのコンポーネントの少なくとも一部を示し、第１セットのうちのトレーニング画像において少なくとも１つのコンポーネント上の認識可能な特徴がマークされているトレーニング画像を含む、ステップと、
－ トレーニング画像の第１セットに基づいて少なくとも１つの第１ニューラルネットワークをトレーニングするステップであって、少なくとも１つの第１ニューラルネットワークはグローバルプーリング層を含む、ステップと、
－ トレーニング画像の少なくとも１つの第２セットを作成するステップであって、少なくとも１つの第２セットは、少なくとも１つのコンポーネント上の特徴が少なくとも１つの第１ニューラルネットワークによって正しく検出されなかったトレーニング画像を含む、ステップと、
－ トレーニング画像の少なくとも１つの第２セットに基づいて少なくとも１つの第２ニューラルネットワークをトレーニングするステップであって、少なくとも１つの第２ニューラルネットワークはグローバルプーリング層を含み、
トレーニング画像の第２セットのうちのトレーニング画像上の認識可能な特徴はマークされているか、又は認識可能な特徴を含むトレーニング画像の画像セクションは、対応する特徴クラスに割り当てられている、ステップと、
－ 少なくとも１つの第１ニューラルネットワーク及び少なくとも１つの第２ニューラルネットワークを複数のニューラルネットワークにまとめる又は集約する（Ｚｕｓａｍｍｅｎｆａｓｓｅｎ）ステップと、を含む。

【0024】

例えば、グローバル平均プーリング層はグローバルプーリング層として適している。代替的に、グローバル最大プーリング層又はグローバル最小プーリング層を使用することもできる。

【0025】

少なくとも１つの第１ニューラルネットワーク及び／又は少なくとも１つの第２ニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）である。グローバルプーリング層は、有利には最後の畳み込み層に続く第１層である。

【0026】

有利には、第２態様による方法では、コンポーネントを分析するためのシステムは、かかるコンポーネントを分析するときに特に高い認識率を達成するようにトレーニングされる。トレーニング画像の第１セットのうちのトレーニング画像では、トレーニング画像に示される少なくとも１つのコンポーネントの特徴がマークされる。換言すると、対応する画像ファイルとともに、これらの画像のどこに特徴があるかが保存される。これは「ラベル付き（ｇｅｌａｂｅｌｔｅｎ：ｌａｂｅｌｅｄ）」画像とも称される。これらのトレーニング画像で少なくとも１つの第１ニューラルネットワークをトレーニングすることによって、比較的高い確率で特徴を検出する少なくとも１つの第１ニューラルネットワークが生成される。

【0027】

少なくとも１つの第２ニューラルネットワークをトレーニングするために使用される、トレーニング画像の少なくとも１つの第２セット（以下、少なくとも１つの第２トレーニング画像セットとも称される。）は、コンポーネントの表現された特徴が少なくとも１つの第１ニューラルネットワークによって正しく検出されていないトレーニング画像を含む。例えば、少なくとも１つの第２トレーニング画像セットは、少なくとも１つの第１ニューラルネットワークをテストするために使用され、少なくとも１つの第１ニューラルネットワークによって適切に分析されなかったトレーニング画像を含む。また、少なくとも１つの第２トレーニング画像セットは、不正確な分析が適用されるかかるテスト画像の一部のみを含むこともできる。

【0028】

少なくとも１つの第２トレーニング画像セットで少なくとも１つの第２ニューラルネットワークをトレーニングすることは、特に、少なくとも１つの第１ニューラルネットワークによって検出されない特徴を認識するようにトレーニングされた第２ニューラルネットワークを生成する。換言すると、少なくとも１つの第２ニューラルネットワークは、改善された結果を達成するために、少なくとも１つの第１ニューラルネットワークと共に、結果生成のためのアンサンブルに含まれる。少なくとも１つの第２トレーニング画像のセットを作成し、それに基づいて少なくとも１つの第２ニューラルネットワークをトレーニングすることは、「ハードネガティブマイニング（Ｈａｒｄ－Ｎｅｇａｔｉｖｅ－Ｍｉｎｉｎｇ）」方法とも称される。代替的に、いわゆる「ハードポジティブマイニング（Ｈａｒｄ－Ｐｏｓｉｔｉｖｅ－Ｍｉｎｉｎｇ）」方法を使用することもできる。

【0029】

少なくとも１つの第２トレーニング画像セットに基づいて少なくとも１つの第２ネットワークをトレーニングすることは、少なくとも１つの第２ニューラルネットワークが第２トレーニング画像セットに基づいてトレーニングされるように、１回実行されることができる。しかしながら、さらなる第２トレーニング画像セットに基づいて、さらなる第２ニューラルネットワークがトレーニングされるように、このプロセスを複数回実行することもできる。これらは、前述のようないわゆる「ハードネガティブ」トレーニング画像、又はいわゆる「ハードポジティブ」トレーニング画像で作成することができる。さらなる第２トレーニング画像セットには、また、例えば、以前にトレーニングされた第２ニューラルネットワークによって正確に分析されなかった（ハードネガティブ／ハードポジティブ）トレーニング画像を含むことができる。

【0030】

少なくとも１つの第１ニューラルネットワーク及び少なくとも１つの第２ニューラルネットワークは両方とも、グローバルプーリング層をそれぞれ含む。最後の畳み込み層に続くこの第１層は、どちらの場合もグローバルプーリング層であり、それぞれのニューラルネットワークの最後の２次元層を変換し、決定された結果をベクトルで保存する。このグローバルプーリング層は、例えば、最後の完全に接続された層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ－ｌａｙｅｒ）を置き換える。ここでの利点は、最後の畳み込み層に続く第１層としてのグローバルプーリング層が、いわゆるヒートマップにおけるコンポーネントの分析結果の表示に特に適していることである。

【0031】

少なくとも１つの第１ニューラルネットワークと少なくとも１つの第２ニューラルネットワークとを複数のニューラルネットワークにまとめる又は集約すること（Ｚｕｓａｍｍｅｎｆａｓｓｅｎ）は、後続の分析でコンポーネントを分析できる第１及び第２ニューラルネットワークのアンサンブルが作成されることを意味する。

【0032】

第２態様による方法は、コンピュータ実行方法である。

【0033】

少なくとも１つの実施形態において、少なくとも１つの第１ニューラルネットワークのトレーニング及び／又は少なくとも１つの第２ニューラルネットワークのトレーニングは、教師あり学習（ｕｅｂｅｒｗａｃｈｔｅｍ Ｌｅｒｎｅｎ）を使用して実行される。

【0034】

ここでの利点は、このようにしてニューラルネットワークによる特徴の認識プロセスにおけるエラーが減少することである。この目的のために、認識された特徴に関するそれぞれのニューラルネットワークの予測結果は、それぞれのラベル付きトレーニング画像を使用して検証され、必要に応じて補正される。

【0035】

少なくとも１つの実施形態において、少なくとも１つの第１ニューラルネットワークによって正しく検出されない特徴は、それらが存在しマークされているにもかかわらず、少なくとも１つの第１ニューラルネットワークによって検出されなかった特徴、又は関連するトレーニング画像の対応する位置がマークされておらず、関連するトレーニング画像中に表示されたコンポーネントがこの位置に特徴を有さないにもかかわらず検出された特徴を含む。代替的に又は付加的に、少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、関連するトレーニング画像に表示されるコンポーネントがこの位置に特徴を有するが、関連するトレーニング画像の対応する位置がマークされていないにもかかわらず、少なくとも１つの第１ニューラルネットワークによって検出された特徴を含む。特に、前述のケースが適用されるより大きな画像のセクションのみが、少なくとも１つの第２ニューラルネットワークのためのトレーニング画像としても使用されることができる。トレーニング画像のさらなる第２セットについて、前述のケースは、以前にトレーニングされた第２ニューラルネットワークによって正しく検出されなかった特徴に類似して適用できる。

【0036】

かかるトレーニング画像を少なくとも１つの第２トレーニング画像セットに使用すると、少なくとも１つの第２ニューラルネットワークをこれらのトレーニング画像でトレーニングできるという利点があり、少なくとも１つの第１ニューラルネットワーク又は以前にトレーニングされた第２ニューラルネットワークによる分析の結果におけるエラーを高い信頼性で補償できる。さらに、トレーニング画像又は画像セクションは、少なくとも１つの第１ニューラルネットワーク又は以前にトレーニングされた少なくとも１つの第２ニューラルネットワークによって、正しく検出された特徴を含む少なくとも１つの第２トレーニング画像セットにも使用されることができる。

【0037】

少なくとも１つの実施形態において、少なくとも１つの第１ニューラルネットワーク及び少なくとも１つの第２ニューラルネットワークを複数のニューラルネットワークにまとめるステップは、さらに、
－ 少なくとも１つの第１ニューラルネットワークによる分析の結果が評価される第１重み付けを割り当てるステップと、
－ 少なくとも１つの第２ニューラルネットワークによる分析の結果が評価される少なくとも１つの第２重み付けを割り当てるステップと、を含む。

【0038】

ここでは、それぞれのニューラルネットワークの分析結果が重み付けされる適切な重み付けの選択によって、コンポーネントの分析で可能な限り最良の合計結果（ｅｉｎ ｂｅｓｔｍｏｅｇｌｉｃｈｅｓ Ｇｅｓａｍｔｅｒｇｅｂｎｉｓ）を得ることができるという利点がある。ここでいう可能な限り最良（Ｂｅｓｔｍｏｅｇｌｉｃｈ）とは、可能な限り高い信頼性を有する結果を意味する。例えば、可能な限り最良の重み付けはテスト分析によって検査できる。例えば、少なくとも１つの第１ニューラルネットワークには、少なくとも１つの第２ニューラルネットワークよりも高い重み付けを割り当てることができる。この場合、第１ニューラルネットワークが不確実な結果しか提供しないが、少なくとも１つの第２ニューラルネットワークが、第１ニューラルネットワークの分析にエラーがあると高い確率で判断するとき、少なくとも１つの第２ニューラルネットワークによる分析の結果は、少なくとも１つの第１ニューラルネットワークによる分析の結果を覆す。

【0039】

本発明の第３態様によれば、コンポーネントを分析する装置は、第１態様に従って方法を実行するように構成されている。

【0040】

本発明の第４態様によれば、コンポーネントを分析するシステムをトレーニングする装置は、本発明の第２態様にしたがって方法を実行するように構成される。

【0041】

本発明の第５態様によれば、コンピュータプログラムがコンピュータによって実行されるときに、コンピュータプログラムに第１態様による方法又は第２態様による方法を実行させる命令を、コンピュータプログラムは、含む。

【0042】

本発明の第６態様によれば、コンピュータ可読記憶媒体は、第５態様によるコンピュータプログラムを含む。

【0043】

第３、第４、第５及び第６態様の利点及び実施形態は、それぞれ第１及び第２態様の利点及び実施形態に実質的に対応する。いずれかの態様に関して言及された特徴は、他の態様の主題と適切に組み合わせることもできる。

【図面の簡単な説明】

【0044】

本発明の実施形態を、概略図を参照して以下により詳細に説明する。

【図1】図１は、コンポーネントを分析するためのシステムをトレーニングする方法のフローチャートを示す図である。

【図2】図２はコンポーネントの分析方法のフロー図を示す図である。

【図3】図３は、システムをトレーニングし、コンポーネントを分析するためのデバイスを概略的に示す図である。

【発明を実施するための形態】

【0045】

図１は、コンポーネントを分析するためのシステムをトレーニングする方法１００のフローチャートを示す。図１による方法１００は、コンポーネントの表面を分析するためのシステムをトレーニングする例で説明されている。ただし、これはあくまで一例として理解されるべきである。同様に、本方法は、コンポーネントの別の部分を分析するためにシステムをトレーニングするために使用されることもできる。例えば、切断面（Ｓｃｈｎｉｔｔｓｔｅｌｌｅｎ）、破損エリア（Ｂｒｕｃｈｓｔｅｌｌｅｎ）、Ｘ線画像、超音波画像などを、コンポーネントの内部エリアを分析するために使用することができる。

【0046】

方法１００の第１ステップ１０１では、トレーニング画像の第１セットが作成される。トレーニング画像の第１セットは、コンポーネントの表面を示す複数の２Ｄ－ＲＧＢ画像である。画像は、コンポーネントの表面を分析するためにシステムによって最終的に分析されるべきコンポーネントに類似のコンポーネントの表面を示している。例えば、システムをダイキャストコンポーネントの分析に使用する場合、トレーニング画像の第１セットのうちの画像は、かかるダイキャストコンポーネントの表面を示している。もちろん、他のタイプのコンポーネントも使用できる。あるいは、２Ｄ－ＲＧＢ画像の代わりに他の画像、例えば白黒画像、グレースケール画像、他の写真画像、Ｘ線画像、超音波画像などを使用することもできる。トレーニング画像の画像タイプは、後の分析の最良の結果のために、かかる画像の画像タイプと一致し、後の特徴認識に使用される。

【0047】

トレーニング画像の第１セットのうちの画像では、コンポーネントの表面に視認される特徴にラベル付けされている。これは「ラベル付き」画像とも称される。特徴とは、例えば、不所望な穴（ｕｎｇｅｗｏｌｌｔｅ Ｌｏｅｃｈｅｒ）、すり傷（Ｋｒａｔｚｅｒ）、ひび割れ（Ｒｉｓｓｅ）、へこみ（Ｄｅｌｌｅｎ）、くぼみ（Ｂｅｕｌｅｎ）、かけ（Ｍａｃｋｅｎ）、押し型（Ａｂｄｒｕｅｃｋｅ）などの不所望な欠陥（ｕｎｇｅｗｏｌｌｔｅ Ｄｅｆｅｋｔｅ）や、例えば刻印（Ｇｒａｖｕｒｅｎ）、折り目（Ｆａｌｚｅ）、意図した開口（ｖｏｒｇｅｓｅｈｅｎｅ Ｏｆｆｎｕｎｇｅｎ）などのシステムによって検出されるべきその他の特徴である。トレーニング画像の第１セットのうちの画像における特徴のマーキングは、例えば、専門家によって行われたものである。特徴のラベルは、それぞれの画像に関連するＸＹ座標とともに保存される。画像内の特徴のラベル付けは、代替的に、後で行うこともでき、これについては後述する。この場合、トレーニング画像の第１セットのうちの画像は初期にはラベル付けされていない。

【0048】

第１ステップ１０１では、トレーニング画像の第１セットのうちの画像がさらに複数の画像セクションに分割される（ｕｎｔｅｒｔｅｉｌｔ）。これらの画像セクションは「パッチ」とも称される。例えば、画像は同じサイズの複数の画像セクションに分割される。この実施形態では、画像セクションのサイズは、このシステムでトレーニングされるニューラルネットワークの入力サイズに適応される。画像セクションは連続して配置されることができる。あるいは、画像セクションは、重なり合うことができる。

【0049】

第２ステップ１０２において、トレーニング画像の第１セットのうちの画像の画像セクションは分類される。この目的のために、各画像の各セクションは、予め決められたクラスを割り当てられる。予め決められたクラスは、特徴を有する画像セクションから特徴を有しない画像セクションを区別する。これは、例えば、それぞれの画像セクションが特徴でマークされたエリアに少なくとも部分的に配置されているかどうかを検出することによって、自動的に行われる。

【0050】

画像内の特徴が初期にラベル付けされていなかった前述のケースでは、このステップ１０２の分類と同時に特徴のラベル付けを行うことができる。この場合、ステップ１０１で作成されたラベル付けされていない画像の画像セクションは、専門家によって直接分類される。したがって、各画像セクションについて、少なくとも部分的に特徴又は特徴の一部を示す画像セクションであるかどうかが決定される。同時に、少なくとも部分的に特徴の一部を示す画像セクションは、特徴の所定のクラスに割り当てられる。

【0051】

分類にはクラス「ノーマル（ｎｏｒｍａｌ）」があり、特徴を有さない画像セクションに割り当てられる。特定の種類の特徴に割り当てられるクラスもある。したがって、対応する特徴を有する画像セクションに割り当てられるクラス「特徴１（Ｍｅｒｋｍａｌ １）から「特徴（Ｍｅｒｋｍａｌ ｎ）がある。これらの異なる特徴クラスは、後にトレーニングされたニューラルネットワークによってクラスに従って認識され区別される、異なるタイプの特徴を参照する。例えば、後にトレーニングされたニューラルネットワークによって、表面のすり傷や表面の不所望な穴と、例えば刻印（ｅｎｇｒａｖｉｎｇｓ）とが互いに区別される場合、すり傷のある画像部分に割り当てられるクラス１、不所望な穴のある画像部分に割り当てられるクラス２、刻印が認識できる画像部分に割り当てられるクラス３がある。

【0052】

それぞれの画像セクションへのクラスの割り当ては、例えば閾値に基づいて行うことができる。この場合、それぞれの画像セクションは、対応する特徴を有する画像セクションの一部が閾値を超える場合にのみ、対応するクラスに割り当てられる。例えば、この目的のために１０％から２５％の閾値を選択することができる。この閾値は、特にそれぞれの特徴の共通サイズに依存することができる。

【0053】

第３ステップ１０３では、グラフィカルフィルタがトレーニング画像の第１セットの画像の全ての画像セクションに適用される。例えば、２Ｄ－ＲＧＢ画像を白黒画像に変換する白黒フィルタなど。特に、ＲＧＢ画像を２値白黒画像に変換する、いわゆる大津フィルタ（Ｏｔｓｕ－Ｆｉｌｔｅｒ）が適している。

【0054】

トレーニング画像の第１セットの画像の画像セクションにフィルタを適用した後、コンポーネントのどの部分も示さない全ての画像セクションを簡単な自動化された方法でソートできる。例えば、これらはコンポーネントがその前で撮影された背景を示す画像セクションである。これらのセクションは、ニューラルネットワークのトレーニングには関係ない。かかる画像セクションをソートすることで、ニューラルネットワークのより迅速で正確なトレーニングが可能になる。ここでも、画像セクションをソートする閾値が選択されることができる。例えば、画像セクションは、画像セクションの少なくとも５％がコンポーネントの一部を示している場合にのみ考慮されることができる。

【0055】

第４ステップ１０４において、第１ニューラルネットワークのセットが準備される。第１ニューラルネットワークは、事前にトレーニングされたニューラルネットワークである場合もあれば、新たにトレーニングされたニューラルネットワークである場合もある。特に、第１ニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）である。例えば、事前にトレーニングされたオープンソースネットワークをこの目的に使用することができる。例えば、ＣＮＮ「ＲｅｓＮｅｔ ５０」をこの目的に使用することができる。さらに、結果がその後に平均化される異なる第１ニューラルネットワークを使用することができる。さらに、ネットワークを選択する際に、コンポーネントの表面を分析するための要件を考慮することができる。例えば、コンポーネントの表面を分析する際に、より正確な結果又はより短い分析時間が所望されるかによって特定のニューラルネットワークを選択することができる。

【0056】

第４ステップ１０４では、それぞれの第１ニューラルネットワークが、グローバル平均プーリング層、グローバル最大プーリング層、又はグローバル最小プーリング層などのグローバルプーリング層を有することがさらに保証される。本実施形態において、グローバルプーリング層は、最後の畳み込み層に続く第１層である。第１ニューラルネットワークとしてどのニューラルネットワークが選択されても、出力層がグローバルプーリング層でない場合は、最後の畳み込み層に最初に続くネットワークの既存の層が除去され、代わりにグローバルプーリング層が挿入される。グローバルプーリング層は、分析結果の視覚化に特に適しているため、ここでは第１ニューラルネットワークの最後の畳み込み層に続く第１層として選択される。

【0057】

第４ステップ１０４では、グローバルプーリング層は、第１ニューラルネットワークに存在するシグモイド層又はソフトマックス層にも接続される。オーバーフィッティングを回避又は緩和するために、グローバルプーリング層とシグモイド層又はソフトマックス層との間に追加層を挿入することができる。シグモイド層は、最大で２つの特徴クラスがある場合に特に使用される。ソフトマックス層は、２つ以上の特徴クラスが存在する場合に特に使用される。シグモイド層又はソフトマックス層は、特徴が検出されたときに、その特徴が属するクラスを決定する最終層である。

【0058】

追加の中間層を使用することに加えて、画像セクションを強化し、複数の第１ニューラルネットワークを使用することで、オーバーフィッティングを軽減又は回避することもできる。これは、ニューラルネットワークのトレーニングに使用可能なデータが少量であっても、ニューラルネットワークの正確で信頼性の高いトレーニングが可能であるという利点がある。

【0059】

第５ステップ１０５では、第１ニューラルネットワークが、ラベル付きの第１トレーニング画像セットに基づいてトレーニングされる。第１ニューラルネットワークのトレーニングには、いわゆる「教師あり学習（ｓｕｐｅｒｖｉｓｅｄ－ｌｅａｒｎｉｎｇ）」が使用される。ここで、第１ニューラルネットワークの予測結果は、トレーニング手順の間に、トレーニング画像の第１セットのラベル付き画像を使用してチェックされる。このようにして、予測結果のエラーを補正し、第１ニューラルネットワークのより良いトレーニング結果を達成することが可能である。

【0060】

あるいは、第１ニューラルネットワークのトレーニングは、半教師つき学習を使用して実行されることもできる。半教師つき学習を使用してトレーニングされた第１ニューラルネットワークでは、トレーニング画像の特徴とはさらに異なる特徴を認識することも可能である。

【0061】

第１ニューラルネットワークのトレーニング中に、第１ニューラルネットワークがトレーニングされる画像セクションが強化される。画像セクションの拡張には、例えば、画像セクションの回転、反転、ノイズフィルタの適用、鮮明化などが含まれる。あるいは、トレーニングプロセスの前に画像セクションの強化を完了し、トレーニングプロセスのために強化されたイメージセクションを保存することもできる。換言すると、強化はオンライン又はオフラインで実行できる。

【0062】

特に、画像セクションがランダムに変更されるように、ランダムなアルゴリズムを使用して拡張を実行することができる。この方法で、よりロバストなモデルをトレーニングできる。セクションを強化するもう１つの利点は、たとえば、トレーニング画像の第１セットの画像のさまざまな露出や反射、又はその他の視覚障害の影響を軽減又は排除できることである。

【0063】

第６ステップ１０６において、全ての第１ニューラルネットワークは、テストデータセットを使用してテストされる。ここで示される実施例において、トレーニング画像と同様に、テストデータセットの画像も画像セクションに分割され、分類、ラベル付けされ、グラフィカルフィルタを使用して、無関係な画像セクションが事前にソートされる。換言すれば、テストデータセットのイメージは、ステップ１０１～１０３に類似して準備される。

【0064】

テストデータセットの画像の分析から得られた結果に基づいて、最終的にコンポーネントの表面の分析に使用される第１ニューラルネットワークからニューラルネットワークのアンサンブルが選択される。アンサンブルは、少なくとも１つの第１ニューラルネットワークを含む。特に、テストデータの分析時に最も信頼性の高い結果を達成する少なくとも１つ以上の第１ニューラルネットワークが選択される。

【0065】

第７ステップ１０７では、トレーニング画像の第２セットが組み立てられる。トレーニング画像の第２セットは、ステップ１０６でのテスト中に特徴が正しく検出されなかったテストデータセットの画像の画像セクションからなる。ここに示される例示的実施形態では、これは、推定上の特徴が第１ニューラルネットワークによって検出されたが存在しないか、又はラベル付けされた特徴が第１ニューラルネットワークによって検出されなかった場合と、第１ニューラルネットワークが、テスト中に、テスト画像の画像セクションに実際に存在するが、誤って特徴ラベルでラベル付けされなかった特徴を検出した場合と、の両方に関する。後者は、たとえば、テスト画像のラベル付けを行った専門家が特徴を認識しなかったか、ラベル付けを忘れた場合である。第２セットのトレーニング画像を作成するために、本実施形態では前述のハードネガティブマイニングマイニング法を使用する。あるいは、完全に対応する画像を使用することもできる。

【0066】

次に、トレーニング画像の第２セットの画像は、誤った認識（「ハードネガティブ」）であるか、誤ったラベリング（「ラベルなし」）であるかにかかわらず、画像セクションに関する対応する情報とともに保存される。さらに、トレーニング画像の第２セットに、特徴を有すると正しくラベリングされ、これが第１ニューラルネットワークによって正しく検出された画像セクションを追加することもできる。

【0067】

方法１００の第８ステップ１０８では、トレーニング画像の第２セットに基づいて第２ニューラルネットワークがトレーニングされる。第１ニューラルネットワークと同様に、第２ニューラルネットワークは事前にトレーニングされたものでも、トレーニングされていないものでもよい。さらに、第２ニューラルネットワークも、特に畳み込みニューラルネットワーク（ＣＮＮ）である。ここに示す例示的実施形態では、第２ニューラルネットワークのトレーニングがステップ１０７で作成されたトレーニング画像の第２セットに基づいていることを除いて、第１ニューラルネットワークと同様に準備され、トレーニングされる。換言すると、ステップ１０４から１０６は第２ニューラルネットワークに対して実行される。

【0068】

第２ニューラルネットワークはステップ１０７で作成されたトレーニング画像に基づいてトレーニングされるため、第２ニューラルネットワークは特に、第１ニューラルネットワークによって正しく検出されなかったコンポーネントの表面の特徴を認識するようにトレーニングされる。したがって、第２ニューラルネットワークを使用して、第１ニューラルネットワークで実行された分析の結果を検証し、必要に応じて補正することができる。次に、第２ニューラルネットワークのうちの、特に最も信頼性の高い結果を提供する、少なくとも１つの第２ニューラルネットワークが選択される。

【0069】

必要に応じて、トレーニング画像のさらなる第２セットを作成し、さらに、トレーニング画像のさらなる第２セットに基づいて、さらなる第２ニューラルネットワークをトレーニングすることもできる。これは、前述の第２ニューラルネットワークと類似して行われることができる。トレーニング画像のさらなる第２セットは、例えば、以前にトレーニングされた第２ニューラルネットワークによって正しく検出されなかったトレーニング画像をさらに含むことができる。したがって、前述のハードネガティブマイニング法は、以前にトレーニングされた第２ニューラルネットワークに関してここで適用することができる。さらに、ハードポジティブマイニング手順もここで適用することができる。

【0070】

第９ステップ１０９では、第１ニューラルネットワークと第２ニューラルネットワークとのアンサンブルが組み立てられる。この目的のために、ステップ１０６で選択された最良の特徴認識結果を提供した第１ニューラルネットワークと、第２ニューラルネットワーク側で最良の特徴認識結果を提供した第２ニューラルネットワークとが選択される。アンサンブルは、１つの第１ニューラルネットワークと１つの第２ニューラルネットワークとをそれぞれ含むか、又は、それぞれ、複数の第１ニューラルネットワーク及び／又は複数の第２ニューラルネットワークを含むか、又は、１つの第１ニューラルネットワークと複数の第２ニューラルネットワークとを含むか、又は、複数の第１ニューラルネットワークと１つの第２ニューラルネットワークとを含むことができる。アンサンブルのために複数の第１及び／又は第２ニューラルネットワークを選択すると、よりロバストな特徴検出結果を提供することができる。アンサンブルのために第１又は第２ニューラルネットワークの数を減らすと、特徴認識の処理時間及び／又は計算コストを低減することができる。必要に応じて、アンサンブルはさらなる第２ニューラルネットワークのうちのニューラルネットワークを追加的に含むことができる。

【0071】

方法１００のステップ１０９では、係数がさらに第１及び第２ニューラルネットワークに割り当てられ、これを用いてコンポーネントの表面の分析結果がそれぞれ重み付けされる。特徴分析において特徴がそのように認識されるかどうかは、最終的に個々の第１及び第２ニューラルネットワークの結果に重み付けを行うことによって評価される。さらなる第２ニューラルネットワークが利用可能であれば、それに応じて重み付けを行うことができる。

【0072】

この評価では、第１又は第２ニューラルネットワークの特徴認識の個々の結果が係数に従って重み付けされる。個々の第１ニューラルネットワークの結果は、互いに異なる重み付けをすることもできる。同様に、個々の第２ニューラルネットワークの結果も、互いに異なる重み付けをすることができる。

【0073】

例えば、第１ニューラルネットワークの結果は係数ファクター０．６で重み付けされ、第２ニューラルネットワークの結果は係数ファクター０．４で重み付けされる。例えば、第１ニューラルネットワークによる特徴分析の平均評価が、ある特徴が特定の位置で６０％の確率で検出されたことを示す場合、この結果は０．６のファクターで重み付けされる。第２ニューラルネットワークによる特徴分析の評価で、この位置に９５％の確率で特徴が存在しないことが示された場合、この９５％の結果は０．４の因子で重み付けされる。この場合、第２ニューラルネットワークの評価が第１ニューラルネットワークの評価の結果を超えるため、第１及び第２ニューラルネットワークのアンサンブルは、より高い確率で、その位置に特徴が存在しないという結果を予測する。さらなる第２ニューラルネットワークをトレーニングすれば、これらは類似して重み付けされることができる

【0074】

ここで説明する第１ニューラルネットワークのより高い重み付けの利点は、第１ニューラルネットワークがより広範なデータベースでトレーニングされたことである。したがって、第１ニューラルネットワークは多くのエリアで比較的信頼性の高い結果をもたらす。しかしながら、第１ニューラルネットワークが信頼性の高い結果を提供できないエリア、すなわち結果の正しさの確率が相対的に低いエリアでは、第２ニューラルネットワークの結果の正しさの確率が第１ニューラルネットワークの結果の正しさの確率を超える場合、第２ニューラルネットワークの結果がより弱い重み付けにもかかわらず優勢になるように、これらのエリアを第２ニューラルネットワークによって提供される結果に基づいて補正することができる。

【0075】

上記の重み付けは、ここに示す実施形態では、テストデータを使用して異なる重み付けをテストし、テストデータでテストしたときに最良の最終結果を提供する第１及び第２ニューラルネットワークの重み付けの比率を決定することによって、自動化された方法で決定することができる。

【0076】

図２は、コンポーネントを分析する方法２００のフローチャートを示す。図２による方法２００は、コンポーネントの表面を分析する例を用いて説明されている。ただし、これはあくまで一例として理解されるべきである。同様に、方法２００はコンポーネントの別の部分を分析するためにも使用できる。例えば、コンポーネントの切断面、破損エリア、Ｘ線画像、超音波画像又は同様の領域を分析することもできる。

【0077】

第１ステップ２０１では、検査されるべきコンポーネントの表面の画像を捕捉する。画像は、例えば、カメラ、携帯電話、タブレットＰＣ、又はその他の捕捉デバイスで撮影された写真である。画像は、例えば、２Ｄ－ＲＧＢ画像である。あるいは、２Ｄ－ＲＧＢ画像の代わりに別の画像タイプ、例えば、白黒画像、グレースケール画像、その他の写真画像、Ｘ線画像、超音波画像など、を使用することもできる。捕捉された画像の画像タイプは、分析の最良の結果を得るためのトレーニングに使用されるそのような画像の画像タイプと一致する。

【0078】

あるいは、画像が以前に捕捉された場合は、ステップ２０１で、例えばデータベースから画像を受信するだけでよい。

【0079】

第２ステップ２０２では、ステップ２０１で取得した画像を画像セクションに分割する。画像セクションは、互いに隣接しているか、少なくとも部分的に重なるように分割することができる。特に、画像セクションのサイズは、表面を分析するために使用されるニューラルネットワークの入力サイズに適応されている。画像セクションの重なり合いは、例えば、分析結果の視覚化に有利な場合がある。

【0080】

第３ステップ２０３では、少なくとも１つの第１ニューラルネットワークと少なくとも１つの第２ニューラルネットワークのアンサンブルを使用して、捕捉された画像の各画像セクションに対して特徴認識を実行する。ここでは、特徴認識を実行する前又は実行中に画像セクションを強化することができる。強化は、実質的に図１を参照して説明した拡張に対応しており、ここでは再び説明しない。例えば、少なくとも１つの第１ニューラルネットワークと少なくとも１つの第２ニューラルネットワークとのアンサンブルは、図１に従って生成された第１ニューラルネットワークと第２ニューラルネットワークとのアンサンブルである。

【0081】

第１ニューラルネットワークと第２ニューラルネットワークの特徴認識の結果を互いに平均化し、その後第１ニューラルネットワークの平均結果と第２ニューラルネットワークの平均結果とを互いに重み付けして、特徴認識の最終結果を生成する。この重み付けは、図１を参照して説明した重み付けに対応しており、ここでは再度説明しない。特徴が存在するかどうかの情報に加えて、第１及び第２ニューラルネットワークのアンサンブルをさらに使用して、それがどのような種類の特徴であるかを決定する。換言すると、異なる特徴クラスがニューラルネットワークでトレーニングされている場合、その特徴も分類される。

【0082】

第４ステップ２０４では、ステップ２０３の特徴検出中に関連性があると評価された領域が画像セクションにローカライズ又は位置特定（ｌｏｋａｌｉｓｉｅｒｔ）される。これらの領域のローカライズには、いわゆるクラス活性化マッピング方法（Ｃｌａｓｓ－Ａｃｔｉｖａｔｉｏｎ－Ｍａｐｐｉｎｇ Ｖｅｒｆａｈｒｅｎ）が用いられる。ここでは、それぞれ第１及び第２ニューラルネットワークの出力層の重み付けされた結果が、それぞれ第１及び第２ニューラルネットワークの畳み込み特徴マップ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｆｅａｔｕｒｅ ｍａｐｓ）に投影される。換言すると、第１及び第２ニューラルネットワークのアンサンブルが特徴を検出した位置が顕著なものとして視覚化される。この第１及び第２ニューラルネットワークの特徴認識の結果の視覚化では、画像セクションのピクセルはカラー重み付けされる。ここでのピクセルの色は、第１及び第２ニューラルネットワークのアンサンブルが特徴を認識した確率に対応する。画像セクション上の特徴をよりよく視覚化するために、クラス活性化マップは、拡張された画像セクションに対して個別に形成され、それらにわたって平均化される。これは、グラディエント塗りつぶし（Ｇｒａｄｉｅｎｔｅｎｆｕｌｌｕｅｎｇ）とも称される。

【0083】

第５ステップ２０５では、ヒートマップが作成され、ステップ２０１で捕捉された画像にオーバーレイされる。ヒートマップは、ステップ２０４からの強化クラス活性化マップを平均化することによって作成される。ヒートマップの各ピクセルは、その位置に特徴が存在する確率を表す。ヒートマップは捕捉された画像上に半透明で表示されるため、特徴分析結果の確率の色のグラデーションを使用して、元の画像内でどの位置の特徴が検出されたかをすぐに示すことができる。

【0084】

第６ステップ２０６では、専門家が検出された特徴の正確性と完全性を検証した後、元の画像にヒートマップに基づいてラベル付けされる。換言すると、元の画像に対して、どの場所にどのような特徴があるかを座標に基づいて決定する。このラベル付きの元の画像は、ステップ１０１で使用した図１を参照して説明したラベル付きトレーニングデータに対応する。その後、ラベル付きの元の画像が保存され、トレーニング画像のセットに追加される。この方法で、より豊富なトレーニングデータが生成され、これを使用して、例えば、図１を参照して説明した方法１００を使用して、第１及び第２ニューラルネットワークをさらにトレーニングすることができる。

【0085】

図１及び２に従って説明した方法１００及び２００は、コンピュータ実方法である。

【0086】

図３は、コンポーネント２を分析するシステムをトレーニングするためのデバイス１の概略図を示す。デバイス１は、コンポーネント２を分析するようにさらに構成されている。図３によるデバイス１を、分析されるべきコンポーネントの表面を例に使用して説明する。ただし、これはあくまで一例として理解されるべきである。同様に、デバイス１はコンポーネントの別の部分を分析するためにも使用できる。例えば、コンポーネントの切断面、破損エリア、Ｘ線画像、超音波画像又は同様の領域を分析することもできる。

【0087】

特に、装置１は、図１及び２を参照して説明した方法１００及び方法２００を実行するように適合されている。装置１は、第１ニューラルネットワーク４及び第２ニューラルネットワーク５をトレーニングするようにアレンジされたコンピュータシステム３を含む。

【0088】

第１ニューラルネットワーク４及び第２ニューラルネットワーク５をトレーニングするために、コンピュータシステム３はトレーニング画像６にアクセスする。トレーニング画像６は、第１ニューラルネットワーク４がトレーニングされるトレーニング画像の第１セットと、トレーニングされた第１ニューラルネットワーク４がテストされ、そこからトレーニング画像の第２セットが生成される、少なくとも１つのテストデータセットとを含む。トレーニング画像の第２セットは、第２ニューラルネットワーク５をトレーニングするために使用される。その後、さらなる第２ニューラルネットワーク５は、例えば、以前にトレーニングされた第２ニューラルネットワーク５をテストするためにさらなるテストデータセットを使用することによって作成された、トレーニング画像のさらなる第２セットを使用してトレーニングすることができる。

【0089】

トレーニング画像６は、コンポーネントの表面を示す２Ｄ－ＲＧＢ画像である。しかしながら、トレーニング画像６は、上記のように別のタイプの画像であることもできる。トレーニング画像６は、それぞれ画像セクション７に分割される。トレーニング画像６に加えて、画像されたコンポーネントの表面上の特徴が認識可能な特定の画像セクション７の情報が格納される。

【0090】

コンピュータシステム３は、第１ニューラルネットワーク４及び第２ニューラルネットワーク５をトレーニング及びテストし、第１及び第２ニューラルネットワーク４，５のアンサンブル８を選択し、アンサンブル８の第１及び第２ニューラルネットワーク４，５に重み付けするようにアレンジされる。その詳細はここでは繰り返さず、図１及び図２に関する議論を参照する。

【0091】

デバイス１はさらに記録表示デバイス９、ここに示す例示的実施形態ではスマートフォンやタブレットＰＣなどのモバイル機器、を含む。記録表示装置９は、表面が分析されるべきコンポーネント２の２Ｄ－ＲＧＢ画像を捕捉するために使用することができる。他の種類の画像については、Ｘ線デバイス、超音波デバイスなど、それに応じて他の記録表示デバイスが使用される。捕捉した画像を捕捉表示するためのデバイスは、もちろん別のデバイスに実装することもできる。

【0092】

捕捉表示デバイス９は、捕捉した画像をコンピュータシステム３に送信するようにアレンジされている。コンピュータシステム３は、第１ニューラルネットワーク４及び第２ニューラルネットワーク５のアンサンブル８を用いて、捕捉した画像に対して特徴認識を行うようにアレンジされている。

【0093】

コンピュータシステム３は、特徴認識の結果を記録表示デバイス９に送信するようにアレンジされている。記録表示デバイス９は、コンピュータシステム３から受信した特徴認識の結果を、コンポーネント２のキャプチャ画像を参照して表示できるディスプレイ１０を備えている。

【0094】

記録表示デバイス９は、トレーニング画像６を捕捉するために使用することもできる。あるいは、トレーニング画像６は、別のデバイスによって捕捉されている場合もある。

【0095】

ここに示す実施形態では、コンピュータシステム３と記録表示デバイス９は別個のデバイスである。あるいは、これらを１つのデバイスに統合することもできる。さらに、デバイス１の少なくとも一部をクラウドソリューションとして実装することもできる。

【符号の説明】

【0096】

１ 装置又はデバイス（Vorrichtung）
２ コンポーネント（Bauteil）
３ コンピュータシステム（Computersystem）
４ 第１ニューラルネットワーク（erstes neuronales Netz）
５ 第２ニューラルネットワーク（zweites neuronales Netz）
６ トレーニング画像（Trainingsbild）
７ 画像セクション（Bildsektion）
８ アンサンブル（Ensemble）
９ 記録及び表示デバイス（Aufnahme- und Anzeigegeraet）
１０ ディスプレイ（Display）
１００ 方法（Verfahren）
２００ 方法（Verfahren）
１０１－１０９ ステップ（Schritte）
２０１－２０６ ステップ（Schritte）

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-04-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンポーネントを分析するための方法であって、
－ 前記コンポーネントの画像を受信するステップと、
－ 複数のニューラルネットワークを使用して受信した前記画像上の特徴認識を実行するステップであって、前記複数のニューラルネットワークのうちの少なくとも１つの第１ニューラルネットワークは、トレーニング画像の第１セットに基づいてトレーニングされ、前記複数のニューラルネットワークのうちの少なくとも１つの第２ニューラルネットワークは、トレーニング画像の少なくとも１つの第２セットに基づいてトレーニングされ、前記少なくとも１つの第１ニューラルネットワーク及び前記少なくとも１つの第２ニューラルネットワークはそれぞれ、グローバルプーリング層を含む、ステップと、
－ 前記コンポーネントの表現を参照して前記特徴認識の結果を表示するステップと、
を含む、方法。

【請求項2】

前記特徴認識の結果が表示される前記コンポーネントの表現は、前記コンポーネントの受信された前記画像であり、
前記特徴認識の前記結果を表示するために、ニューラルネットワークを使用して計算された確率を表示する方法、特にクラス活性化マッピング方法、を使用する、
請求項１記載の方法。

【請求項3】

受信した前記画像の少なくとも一部を、特徴認識を実行するステップの前又は実行中に強化し、
受信した前記画像のサイズが前記少なくとも１つの第１ニューラルネットワーク及び／又は前記少なくとも１つの第２ニューラルネットワークの入力サイズに対応しない場合、受信した前記画像を、前記特徴認識を実行するステップの前に、複数の画像セクションに分割する、
請求項１記載の方法。

【請求項4】

前記特徴認識を実行するステップにおいて、前記少なくとも１つの第１ニューラルネットワークによって第１特徴検出を実行し、前記少なくとも１つの第２ニューラルネットワークによって第２特徴検出を実行し、前記特徴認識の結果を算出するために、前記第１特徴検出及び前記第２特徴検出の結果をパーセンテージで重み付けする、
請求項１記載の方法。

【請求項5】

コンポーネントを分析するためのシステムをトレーニングする方法であって、
－ トレーニング画像の第１セットを作成するステップであって、前記トレーニング画像の前記第１セットは、少なくとも１つのコンポーネントの少なくとも一部を示し、前記記第１セットのうちの前記トレーニング画像において前記少なくとも１つのコンポーネント上の認識可能な特徴がマークされているトレーニング画像を含む、ステップと、
－ 前記トレーニング画像の前記第１セットに基づいて少なくとも１つの第１ニューラルネットワークをトレーニングするステップであって、前記少なくとも１つの第１ニューラルネットワークはグローバルプーリング層を含む、ステップと、
－ トレーニング画像の少なくとも１つの第２セットを作成するステップであって、前記トレーニング画像の前記少なくとも１つの第２セットは、少なくとも１つのコンポーネント上の特徴が前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかったトレーニング画像を含む、ステップと、
－ 前記トレーニング画像の前記少なくとも１つの第２セットに基づいて少なくとも１つの第２ニューラルネットワークをトレーニングするステップであって、前記少なくとも１つの第２ニューラルネットワークはグローバルプーリング層を含み、前記トレーニング画像の前記第２セットのうちの前記トレーニング画像上の認識可能な特徴はマークされているか、又は、認識可能な特徴を含む前記トレーニング画像の画像セクションは対応する特徴クラスに割り当てられている、ステップと、
－ 前記少なくとも１つの第１ニューラルネットワーク及び前記少なくとも１つの第２ニューラルネットワークを複数のニューラルネットワークにまとめるステップと、
を含む、方法。

【請求項6】

前記少なくとも１つの第１ニューラルネットワークのトレーニング及び／又は前記少なくとも１つの第２ニューラルネットワークのトレーニングは、教師あり学習を使用して実行される、
請求項５記載の方法。

【請求項7】

－ 前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、前記少なくとも１つの第１ニューラルネットワークによって検出されたにもかかわらず、関連するトレーニング画像の対応する位置がマークされておらず、関連するトレーニング画像中に描かれたコンポーネントがこの位置に特徴を有さないような特徴を含むか、及び／又は、
－ 前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、前記少なくとも１つの第１ニューラルネットワークによって検出されなかったにもかかわらず、関連するトレーニング画像の対応する位置がマークされており、関連するトレーニング画像中に表現されたたコンポーネントがこの位置に特徴を有する、特徴を含むか、及び／又は、
－ 前記少なくとも１つの第１ニューラルネットワークによって正しく検出されなかった特徴は、前記少なくとも１つの第１ニューラルネットワークによって検出されたにもかかわらず、関連するトレーニング画像の対応する位置がマークされていないが、関連するトレーニング画像中のマッピングされたコンポーネントがこの位置に特徴を有する、
請求項５記載の方法。

【請求項8】

前記少なくとも１つの第１ニューラルネットワーク及び前記少なくとも１つの第２ニューラルネットワークを複数のニューラルネットワークにまとめるステップは、さらに、
－ 前記少なくとも１つの第１ニューラルネットワークによる分析の結果を評価する第１重み付けを割り当てるステップと、
－ 前記少なくとも１つの第２ニューラルネットワークによる分析の結果を評価する少なくとも１つの第２重み付けを割り当てるステップと、を含む、
請求項５記載の方法。

【請求項9】

コンポーネントの表面を分析するための装置であって、前記装置は請求項１記載の方法を実行するように構成されている、装置。

【国際調査報告】