(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-13
(45)【発行日】2024-12-23
(54)【発明の名称】欠陥検査装置、欠陥検査方法、教師データ生成方法および判定モデル生成方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241216BHJP
G01N 21/17 20060101ALI20241216BHJP
G01N 21/88 20060101ALI20241216BHJP
【FI】
G06T7/00 610Z
G06T7/00 350B
G01N21/17 A
G01N21/88 J
(21)【出願番号】P 2023020853
(22)【出願日】2023-02-14
【審査請求日】2023-12-22
(73)【特許権者】
【識別番号】000128175
【氏名又は名称】株式会社エフ・シー・シー
(74)【代理人】
【識別番号】100105784
【氏名又は名称】橘 和之
(72)【発明者】
【氏名】岡崎 元樹
(72)【発明者】
【氏名】村上 俊
(72)【発明者】
【氏名】倉田 朋実
(72)【発明者】
【氏名】村井 杏朱
(72)【発明者】
【氏名】岩下 翔馬
【審査官】山田 辰美
(56)【参考文献】
【文献】特開2013-222740(JP,A)
【文献】特開平06-003123(JP,A)
【文献】国際公開第2022/137494(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
G01N 21/17
G01N 21/88
(57)【特許請求の範囲】
【請求項1】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する欠陥検査装置であって、
上記複数のコマ部材を撮影して得られる画像を取得する画像取得部と、
上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する検査画像生成部と、
上記検査画像生成部により生成された上記補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出する欠陥判定部とを備え、
上記教師データは、上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線が描画された補助線付き教師画像であり、
上記判定モデルは、上記補助線付き検査画像が入力された際に上記位置ずれに関する欠陥情報を出力するように、上記教師データを用いた機械学習処理により生成されて
おり、
上記所定位置に描画される上記補助線は、上記複数のコマ部材の内縁を繋ぐ内接円の内側における同心円および上記複数のコマ部材の外縁を繋ぐ外接円の外側における同心円の少なくとも一方として描画される線、または、上記複数のコマ部材の内縁を繋ぐ内接矩形の内側における同心矩形および上記複数のコマ部材の外縁を繋ぐ外接矩形の外側における同心矩形の少なくとも一方として描画される線である
ことを特徴とする欠陥検査装置。
【請求項2】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する欠陥検査装置であって、
上記複数のコマ部材を撮影して得られる画像を取得する画像取得部と、
上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する検査画像生成部と、
上記検査画像生成部により生成された上記補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出する欠陥判定部とを備え、
上記教師データは、上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線が描画された補助線付き教師画像であり、
上記判定モデルは、上記補助線付き検査画像が入力された際に上記位置ずれに関する欠陥情報を出力するように、上記教師データを用いた機械学習処理により生成されており、
上記複数のコマ部材は、環状ディスクの面に沿って周方向に所定の間隔ごとに並べて配置されており、
上記所定位置に描画される上記補助線は、上記複数のコマ部材が存在する位置近傍に、上記複数のコマ部材の内側における内周円および上記複数のコマ部材の外側における外周円の少なくとも一方
として描画される線である
ことを特徴とす
る欠陥検査装置。
【請求項3】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する欠陥検査装置であって、
上記複数のコマ部材を撮影して得られる画像を取得する画像取得部と、
上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する検査画像生成部と、
上記検査画像生成部により生成された上記補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出する欠陥判定部とを備え、
上記教師データは、上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線が描画された補助線付き教師画像であり、
上記判定モデルは、上記補助線付き検査画像が入力された際に上記位置ずれに関する欠陥情報を出力するように、上記教師データを用いた機械学習処理により生成されており、
上記所定位置に描画される上記補助線は、上記複数のコマ部材が存在する位置にオーバーラップさせて、上記複数のコマ部材の内縁を繋ぐ内接円に対する同心円および上記複数のコマ部材の外縁を繋ぐ外接円に対する同心円の少なくとも一方として描画される線、または、上記複数のコマ部材が存在する位置にオーバーラップさせて、上記複数のコマ部材の内縁を繋ぐ内接矩形に対する同心矩形および上記複数のコマ部材の外縁を繋ぐ外接矩形に対する同心矩形の少なくとも一方として描画される線である
ことを特徴とする欠陥検査装置。
【請求項4】
上記検査画像生成部は、上記画像取得部により取得された画像から上記複数のコマ部材または上記複数のコマ部材が配置されている領域を抽出して成る抽出画像を生成し、当該抽出画像において上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線を描画することによって上記補助線付き検査画像を生成することを特徴とする請求項1
~3の何れか1項に記載の欠陥検査装置。
【請求項5】
上記補助線付き教師画像は、上記複数のコマ部材に位置ずれがない正常品を撮影して得られる正常品画像をもとに画像処理により何れかのコマ部材に位置ずれを生じさせることによって生成された欠陥品画像に対して上記補助線が描画された補助線付き欠陥品画像を含むことを特徴とする請求項1
~3の何れか1項に記載の欠陥検査装置。
【請求項6】
上記補助線付き教師画像は、上記位置ずれの種類が異なる複数の上記補助線付き欠陥品画像を含むことを特徴とする請求項
5に記載の欠陥検査装置。
【請求項7】
上記補助線付き欠陥品画像は、上記何れかのコマ部材の欠損、上記何れかのコマ部材の回転ずれ、上記何れかのコマ部材の円周方向ずれ、上記何れかのコマ部材の径方向ずれ、または、上記何れかのコマ部材の回転ずれ、円周方向ずれおよび径方向ずれのうち少なくとも2つに関する複合ずれの何れかを含むことを特徴とする請求項
5に記載の欠陥検査装置。
【請求項8】
上記補助線付き教師画像は、上記位置ずれの量が異なる複数の上記補助線付き欠陥品画像を含むことを特徴とする請求項
5に記載の欠陥検査装置。
【請求項9】
上記位置ずれの種類が異なる上記補助線付き欠陥品画像および上記位置ずれの量が所定量以内となる上記補助線付き欠陥品画像を含まず、上記位置ずれの種類が同じで上記位置ずれの量が上記所定量を超えて異なるように生成された複数の上記補助線付き欠陥品画像を含む上記補助線付き教師画像を1群の教師データセットとし、
上記判定モデルは、上記1群の教師データセットを用いた機械学習処理により生成されている
ことを特徴とする請求項
5に記載の欠陥検査装置。
【請求項10】
上記位置ずれの種類ごとに複数群の教師データセットが形成され、
上記判定モデルは、上記複数群の教師データセットをそれぞれ個別に用いた機械学習処理により生成された複数の判定モデルを含む
ことを特徴とする請求項
9に記載の欠陥検査装置。
【請求項11】
上記位置ずれの種類ごとおよび上記所定量の大きさごとに複数群の教師データセットが形成され、
上記判定モデルは、上記複数群の教師データセットをそれぞれ個別に用いた機械学習処理により生成された複数の判定モデルを含む
ことを特徴とする請求項
9に記載の欠陥検査装置。
【請求項12】
上記欠陥判定部は、上記複数の判定モデルのうち何れか1つまたは複数に対して上記補助線付き検査画像を適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出することを特徴とする請求項
10に記載の欠陥検査装置。
【請求項13】
上記欠陥判定部は、上記複数の判定モデルのうち何れか1つまたは複数に対して上記補助線付き検査画像を適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出することを特徴とする請求項11に記載の欠陥検査装置。
【請求項14】
上記教師データは、上記補助線付き欠陥品画像に対して、上記位置ずれを生じさせたコマ部材の位置を示す位置情報が付与されたデータであり、
上記判定モデルが出力する上記欠陥情報は、上記位置ずれの位置を示す情報を含む
ことを特徴とする請求項
5に記載の欠陥検査装置。
【請求項15】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する欠陥検査方法であって、
欠陥検査装置の画像取得部が、上記複数のコマ部材を撮影して得られる画像を取得する第1のステップと、
上記欠陥検査装置の検査画像生成部が、上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する第2のステップと、
上記欠陥検査装置の欠陥判定部が、上記検査画像生成部により生成された上記補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出する第3のステップとを有し、
上記教師データは、上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線が描画された補助線付き教師画像であり、
上記判定モデルは、上記補助線付き検査画像が入力された際に上記位置ずれに関する欠陥情報を出力するように、上記教師データを用いた機械学習処理により生成されて
おり、
上記所定位置に描画される上記補助線は、上記複数のコマ部材の内縁を繋ぐ内接円の内側における同心円および上記複数のコマ部材の外縁を繋ぐ外接円の外側における同心円の少なくとも一方として描画される線、または、上記複数のコマ部材の内縁を繋ぐ内接矩形の内側における同心矩形および上記複数のコマ部材の外縁を繋ぐ外接矩形の外側における同心矩形の少なくとも一方として描画される線である
ことを特徴とする欠陥検査方法。
【請求項16】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する欠陥検査方法であって、
欠陥検査装置の画像取得部が、上記複数のコマ部材を撮影して得られる画像を取得する第1のステップと、
上記欠陥検査装置の検査画像生成部が、上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する第2のステップと、
上記欠陥検査装置の欠陥判定部が、上記検査画像生成部により生成された上記補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出する第3のステップとを有し、
上記教師データは、上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線が描画された補助線付き教師画像であり、
上記判定モデルは、上記補助線付き検査画像が入力された際に上記位置ずれに関する欠陥情報を出力するように、上記教師データを用いた機械学習処理により生成されており、
上記複数のコマ部材は、環状ディスクの面に沿って周方向に所定の間隔ごとに並べて配置されており、
上記所定位置に描画される上記補助線は、上記複数のコマ部材が存在する位置近傍に、上記複数のコマ部材の内側における内周円および上記複数のコマ部材の外側における外周円の少なくとも一方として描画される線である
ことを特徴とする欠陥検査方法。
【請求項17】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する欠陥検査方法であって、
欠陥検査装置の画像取得部が、上記複数のコマ部材を撮影して得られる画像を取得する第1のステップと、
上記欠陥検査装置の検査画像生成部が、上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する第2のステップと、
上記欠陥検査装置の欠陥判定部が、上記検査画像生成部により生成された上記補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、上記複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出する第3のステップとを有し、
上記教師データは、上記複数のコマ部材が存在する位置近傍の所定位置に上記補助線が描画された補助線付き教師画像であり、
上記判定モデルは、上記補助線付き検査画像が入力された際に上記位置ずれに関する欠陥情報を出力するように、上記教師データを用いた機械学習処理により生成されており、
上記所定位置に描画される上記補助線は、上記複数のコマ部材が存在する位置にオーバーラップさせて、上記複数のコマ部材の内縁を繋ぐ内接円に対する同心円および上記複数のコマ部材の外縁を繋ぐ外接円に対する同心円の少なくとも一方として描画される線、または、上記複数のコマ部材が存在する位置にオーバーラップさせて、上記複数のコマ部材の内縁を繋ぐ内接矩形に対する同心矩形および上記複数のコマ部材の外縁を繋ぐ外接矩形に対する同心矩形の少なくとも一方として描画される線である
ことを特徴とする欠陥検査方法。
【請求項18】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれの判定に使用する判定モデルの機械学習に用いる教師データを生成する方法であって、
コンピュータの画像取得部が、上記複数のコマ部材を撮影して得られる画像を取得する第1のステップと、
上記コンピュータの教師データ生成部が、上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍に
、上記複数のコマ部材の内縁を繋ぐ内接円の内側における同心円および上記複数のコマ部材の外縁を繋ぐ外接円の外側における同心円の少なくとも一方、または、上記複数のコマ部材の内縁を繋ぐ内接矩形の内側における同心矩形および上記複数のコマ部材の外縁を繋ぐ外接矩形の外側における同心矩形の少なくとも一方を補助線
として描画することによって補助線付き教師画像を生成する第2のステップとを有し、
上記教師データ生成部により生成された上記補助線付き教師画像を上記教師データとする
ことを特徴とする教師データ生成方法。
【請求項19】
環状ディスクの面に沿って周方向に所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれの判定に使用する判定モデルの機械学習に用いる教師データを生成する方法であって、
コンピュータの画像取得部が、上記複数のコマ部材を撮影して得られる画像を取得する第1のステップと、
上記コンピュータの教師データ生成部が、上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材が存在する位置近傍に、上記複数のコマ部材の内側における内周円および上記複数のコマ部材の外側における外周円の少なくとも一方を補助線として描画することによって補助線付き教師画像を生成する第2のステップとを有し、
上記教師データ生成部により生成された上記補助線付き教師画像を上記教師データとする
ことを特徴とする教師データ生成方法。
【請求項20】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれの判定に使用する判定モデルの機械学習に用いる教師データを生成する方法であって、
コンピュータの画像取得部が、上記複数のコマ部材を撮影して得られる画像を取得する第1のステップと、
上記コンピュータの教師データ生成部が、上記画像取得部により取得された画像に対して画像処理を行い、上記複数のコマ部材とオーバーラップする位置に、上記複数のコマ部材の内縁を繋ぐ内接円に対する同心円および上記複数のコマ部材の外縁を繋ぐ外接円に対する同心円の少なくとも一方、または、上記複数のコマ部材の内縁を繋ぐ内接矩形に対する同心矩形および上記複数のコマ部材の外縁を繋ぐ外接矩形に対する同心矩形の少なくとも一方を補助線として描画することによって補助線付き教師画像を生成する第2のステップとを有し、
上記教師データ生成部により生成された上記補助線付き教師画像を上記教師データとする
ことを特徴とする教師データ生成方法。
【請求項21】
上記画像取得部は、上記複数のコマ部材に位置ずれがない正常品を撮影して得られる正常品画像を取得し、
上記教師データ生成部は、上記正常品画像に対して画像処理により何れかのコマ部材に位置ずれを生じさせることによって欠陥品画像を生成し、当該欠陥品画
像に上記補助線を描画することによって上記補助線付き教師画像を生成する
ことを特徴とする請求項
18~20の何れか1項に記載の教師データ生成方法。
【請求項22】
上記教師データ生成部は、上記位置ずれの種類が異なる複数の補助線付き欠陥品画像を上記補助線付き教師画像として生成することを特徴とする請求項
21に記載の教師データ生成方法。
【請求項23】
上記教師データ生成部は、上記何れかのコマ部材の欠損、上記何れかのコマ部材の回転ずれ、上記何れかのコマ部材の円周方向ずれ、上記何れかのコマ部材の径方向ずれ、または、上記何れかのコマ部材の回転ずれ、円周方向ずれおよび径方向ずれのうち少なくとも2つに関する複合ずれの何れかを含む補助線付き欠陥品画像を上記補助線付き教師画像として生成することを特徴とする請求項
21に記載の教師データ生成方法。
【請求項24】
上記教師データ生成部は、上記位置ずれの量が異なる複数の補助線付き欠陥品画像を上記補助線付き教師画像として生成することを特徴とする請求項
21に記載の教師データ生成方法。
【請求項25】
上記教師データ生成部は、上記位置ずれの種類が異なる補助線付き欠陥品画像および上記位置ずれの量が所定量以内となる補助線付き欠陥品画像を含まず、上記位置ずれの種類が同じで上記位置ずれの量が上記所定量を超えて異なる複数の補助線付き欠陥品画像を含む上記補助線付き教師画像を1群の教師データセットとして生成することを特徴とする請求項
21に記載の教師データ生成方法。
【請求項26】
上記教師データ生成部は、上記位置ずれの種類ごとに複数群の教師データセットを生成することを特徴とする請求項
25に記載の教師データ生成方法。
【請求項27】
上記教師データ生成部は、上記位置ずれの種類ごとおよび上記所定量の大きさごとに複数群の教師データセットを生成することを特徴とする請求項
25に記載の教師データ生成方法。
【請求項28】
上記教師データ生成部は、上記補助線付き教師画像を生成するとともに、上記位置ずれを生じさせたコマ部材の位置を示す位置情報を付与することによって上記教師データを生成することを特徴とする請求項
21に記載の教師データ生成方法。
【請求項29】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれの判定に使用する判定モデルを、教師データを用いた機械学習により生成する判定モデル生成方法であって、
コンピュータの判定モデル生成部が、請求項
18~20の何れか1項に記載の教師データ生成方法によって生成された教師データを用いた機械学習処理により上記判定モデルを生成することを特徴とする判定モデル生成方法。
【請求項30】
所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれの判定に使用する判定モデルを、教師データを用いた機械学習により生成する判定モデル生成方法であって、
コンピュータの判定モデル生成部が、請求項
21に記載の教師データ生成方法によって生成された複数群の教師データセットをそれぞれ個別に用いた機械学習処理により複数の上記判定モデルを生成することを特徴とする判定モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、欠陥検査装置、欠陥検査方法、教師データ生成方法および判定モデル生成方法に関し、特に、環状ディスクの面に沿って周方向に所定の間隔ごとに並べて配置された複数のコマ部材の位置ずれに関する欠陥を検出する技術に関するものである。
【背景技術】
【0002】
従来、車両のクラッチ装置やブレーキ装置などに使用されている摩擦板の良否を検査するための装置が知られている(例えば、特許文献1参照)。環状に形成された摩擦板の面には複数個のコマ部材が周方向に所定の間隔を存した状態で取り付けられており、この複数個のコマ部材の取付状態によって摩擦板としての性能が左右される。特許文献1に記載の検査装置では、摩擦板を撮影して得られる画像データに基づいて、コマ部材の位置ずれ等を摩擦板の良否として検査する。
【0003】
この特許文献1に記載の検査装置では、画像データに画像処理を施して、摩擦板の中心座標から半径r1,r2の2つの円領域を生成し、その2つの円領域の差領域を抽出することにより、コマ部材が貼り付けられている環状円領域を生成する。そして、この環状円領域に対応する画像を画像データの中から抽出して解析範囲を絞り込み、絞り込んだ画像を対象として所定の画像処理を行うことによってコマ部材の位置ずれを判定する。
【先行技術文献】
【特許文献】
【0004】
特許文献1に記載の検査装置によれば、摩擦板の良否の判別を作業員の目視によって行う場合に比べて、コマ部材の位置ずれを見過ごしてしまう可能性を低減することが可能である。しかしながら、画像データに画像処理を施すことによって、コマ部材の面積、平均グレイ値、環状円領域からのはみ出し面積、コマ部材間の円弧距離などを計算し、それらの計算値をそれぞれの規定値と比較することによってコマ部材の位置ずれを判定するため、それぞれの規定値をあらかじめ設定しておく必要がある。
【0005】
そのため、検査対象とする摩擦板に応じて規定値を適切に設定しないと、位置ずれの誤判定を生じる可能性があるという問題があった。また、画像処理によって生成される摩擦板の画像データにノイズが含まれることがあり、そのノイズが計算値と規定値との比較に悪影響を与えて誤判定を生じる可能性があるという問題もあった。
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、このような問題を解決するために成されたものであり、コマ部材の位置ずれの検出性能を向上させることができるようにすることを目的とする。
【課題を解決するための手段】
【0008】
上記した課題を解決するために、本発明では、複数のコマ部材を撮影して得られる画像に対して画像処理を行い、複数のコマ部材が存在する位置近傍の所定位置に補助線を描画することによって補助線付き検査画像を生成する。そして、生成した補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、複数のコマ部材の何れかにおける位置ずれに関する欠陥を検出するようにしている。ここで、判定モデルは、補助線付き検査画像と同様の補助線付き教師画像を含む教師データを用いた機械学習処理により生成されており、補助線付き検査画像が入力された際に位置ずれに関する欠陥情報を出力する。
【発明の効果】
【0009】
上記のように構成した本発明によれば、撮影画像に対する画像処理によってコマ部材について計算される各種の値に基づいて位置ずれを判定するのではなく、教師データを用いた機械学習により生成された判定モデルを用いてコマ部材の位置ずれを判定するので、計算値と比較するための規定値の設定が不要で、撮影画像にノイズが含まれている場合でもノイズが計算値と規定値との比較に悪影響を与えて誤判定を生じる可能性を低減できる。また、補助線付き教師画像を教師データとして用いた機械学習により生成した判定モデルを用いて、補助線付き検査画像をもとに位置ずれの判定を行っているので、補助線を基準として、コマ部材に生じている位置ずれの学習および判定を行いやすい状態とすることができる。以上により、本発明によれば、コマ部材の位置ずれの検出性能を向上させることができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態による欠陥検査装置の機能構成例を示すブロック図である。
【
図2】環状ディスクの撮影画像の一例および様々なタイプの環状ディスクの例を示す図である。
【
図3】本実施形態による検査画像生成部の処理内容を説明するための図である。
【
図4】本実施形態による教師データ生成装置の機能構成例を示すブロック図である。
【
図6】位置ずれの量が異なる複数の欠陥品画像の生成例を示す図である。
【
図7】本実施形態による判定モデル生成装置の機能構成例を示すブロック図である。
【
図8】本実施形態による教師データ生成装置の動作例を示すフローチャートである。
【
図9】本実施形態による判定モデル生成装置の動作例を示すフローチャートである。
【
図10】本実施形態による欠陥検査装置の動作例を示すフローチャートである。
【
図11】位置ずれの有無を検出するように構成した判定モデルを用いて複数の環状ディスクについて欠陥の検査を行った結果を示す図である。
【
図12】位置ずれの程度を検出するように構成した判定モデルを用いて複数の環状ディスクについて欠陥の検査を行った結果を示す図である。
【
図13】検出性能が異なる3つの判定モデルに基づいて周方向ずれの検出を行った結果を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本実施形態による欠陥検査装置10の機能構成例を示すブロック図である。
図1に示すように、本実施形態の欠陥検査装置10は、機能構成として、画像取得部11、検査画像生成部12および欠陥判定部13を備えて構成される。検査画像生成部12は、具体的な機能構成として、コマ領域抽出部12Aおよび補助線描画部12Bを備えている。また、本実施形態の欠陥検査装置10は、記憶媒体として、判定モデル記憶部14を備えている。
【0012】
上記機能ブロック11~13は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック11~13は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムが動作することによって実現される。CPUに代えてまたは加えてGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)などを用いてもよい。
【0013】
画像取得部11は、被検査物である環状ディスクの面を撮影して得られる画像を取得する。環状ディスクの撮影画像は、環状ディスクを所定の位置から所定の撮影条件のもとでカメラにより撮影した画像である。例えば、ベルトコンベア等の搬送機構によって環状ディスクを所定の撮影位置に移動させ、当該撮影位置に設置されたカメラにおいて環状ディスクを撮影する。画像取得部11は、カメラにより撮影された環状ディスクの画像を取得する。
【0014】
環状ディスクは、例えば車両のクラッチ装置やブレーキ装置などに使用されているクラッチディスクまたはブレーキディスクである。
図2は、環状ディスクの撮影画像の一例および様々なタイプの環状ディスクの例を示す図である。
図2(a)に示す撮影画像200は、環状ディスク100を正面(複数のコマ部材101が配置されている面)から撮影した状態を示しており、環状ディスク100が写っている製品領域201と、環状ディスク100以外の背景領域202とを含んでいる。
【0015】
図2(a)に示すように、環状ディスク100は、面に沿って周方向に所定の間隔ごとに並べて配置された複数のコマ部材101を有している。コマ部材101は、例えばペーパー材などから成る摩擦材であり、これが環状ディスク100の面に固着されている。例えば、クラッチ装置は、クラッチディスクとクラッチプレートとが摩擦材を介して圧接することでエンジン側と車輪側との間で動力が伝達されるとともに、当該圧接力が解放されることで当該動力の伝達を遮断し得るように構成されている。
【0016】
なお、
図2(a)に示した環状ディスク100の構成は一例であり、これに限定されるものではない。例えば
図2(b)~(e)に示すようにコマ部材101の形状や数、大きさなどは製品のタイプに応じて様々であり、これら何れのタイプの環状ディスク100も被検査物として用いることが可能である。
図2(b)および(c)のように、全てのコマ部材101が同じ形状であることも必須ではない。
【0017】
検査画像生成部12は、画像取得部11により取得された画像に対して画像処理を行い、複数のコマ部材101が存在する位置近傍の所定位置に円形の補助線を描画することによって補助線付き検査画像を生成する。この補助線付き検査画像を生成する際、コマ領域抽出部12Aは、画像取得部11により取得された画像から複数のコマ部材101または複数のコマ部材101が配置されている領域を抽出して成る抽出画像を生成する。
【0018】
図3は、検査画像生成部12の処理内容を説明するための図である。このうち
図3(a)は、コマ領域抽出部12Aにより生成される抽出画像の例を示す図である。例えばコマ領域抽出部12Aは、画像取得部11により取得された撮影画像を2値化した後、複数のコマ部材101に相当するコマ領域301を検出し、それ以外の領域の画像を削除する(白色化する)。そして、コマ領域301の内部を黒色で塗り潰した後に、白黒の階調を反転することにより、
図3(a)に示すような抽出画像を生成する。
図3(a)に示すように、複数のコマ領域301は、基本的には1つ1つが分離された領域であるが、撮影時または画像処理時に乗るノイズ等の影響により、隣接する領域が細い線で繋がったり、領域の形状の一部が変形したりしていることがある。
【0019】
補助線描画部12Bは、コマ領域抽出部12Aにより生成された抽出画像において複数のコマ部材101(コマ領域301)が存在する位置近傍の所定位置に補助線を描画することにより、補助線付き検査画像を生成する。なお、以下の説明において、画像に関する説明において「コマ部材101」というときは、コマ領域301の画像を意味している。
図3(b)は、
図3(a)に示した抽出画像に対して補助線302,303を描画することによって生成した補助線付き検査画像の例を示す図である。
【0020】
図3(b)では、複数のコマ部材101(コマ領域301)が存在する位置近傍に、複数のコマ部材101の内側における内周円302および複数のコマ部材101の外側における外周円303を補助線として描画した例を示している。例えば、補助線描画部12Bは、複数のコマ領域301の外縁(内縁でもよい)を円弧で繋ぐ円を設定し、その円と同心状となる半径r
1の円を内周円302として描画するとともに、半径r
2(r
1<r
2)の円を外周円303として描画する。半径r
1,r
2の値は、検査対象とする環状ディスク100の仕様に基づきあらかじめ設定しておく。
【0021】
なお、内周円302および外周円303の描画方向はこれに限定されるものではなく、例えば以下のようにしてもよい。すなわち、補助線描画部12Bは、複数のコマ領域301の内縁を円弧で繋ぐ内接円を設定し、その内接円の半径r1’を計算する。そして、内接円と同心状の円で半径が内接円より若干小さい半径r1(r1=r1’-Δ)の円を内周円302として描画する。また、補助線描画部12Bは、複数のコマ領域301の外縁を円弧で繋ぐ外接円を設定し、その外接円の半径r2’を計算する。そして、外接円と同心状の円で半径が外接円より若干大きい半径r2(r2=r2’+Δ)の円を外周円303として描画する。
【0022】
ここでは、内周円302および外周円303の2つの円を補助線302,303として描画する例について説明したが、何れか一方でもよい。またここでは、複数のコマ領域301にオーバーラップしない位置に補助線302,303を描画する例について説明したが、オーバーラップする位置に補助線302,303を描画するようにしてもよい。
【0023】
図3に示す画像の例では、1つのコマ領域301eについて径方向に対する位置ずれが生じている。すなわち、コマ領域301eは、本来の正しい位置よりも径方向外側に僅かにずれた位置に存在している。
図3(a)と
図3(b)とを比較すると分かる通り、補助線302,303がない場合に比べて補助線302,303がある場合の方が、コマ領域301eの位置ずれを明確に認識することが可能である。補助線302,303を基準としてコマ領域301eの相対的な位置を認識することが可能となるからである。
【0024】
欠陥判定部13は、検査画像生成部12により生成された補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、複数のコマ部材101の何れかにおける位置ずれに関する欠陥を検出する。学習済みの判定モデルは、判定モデル記憶部14にあらかじめ記憶されている。この判定モデルは、補助線付き検査画像が入力された際に位置ずれに関する欠陥情報を出力するように、教師データを用いた機械学習処理により生成されている。判定モデルが出力する欠陥情報は、欠陥(コマ部材101の位置ずれ)の有無を示す情報であってもよいし、位置ずれの程度を示す情報(例えば異常値スコア)であってもよい。
【0025】
判定モデルは、例えば、
図2に例示したような環状ディスク100のタイプ別に生成されている。欠陥判定部13は、被検査物の環状ディスク100のタイプに応じた判定モデルを用いて欠陥の検出を行う。なお、
図2(a)に示すタイプと
図2(b)に示すタイプのように類似のタイプについては1つの判定モデルで兼用するようにしてもよい。判定モデルをタイプ別に生成することなく、全てのタイプで1つの判定モデルを兼用するようにしてもよいが、タイプ別に判定モデルを生成する方が、欠陥の検出性能が上がる点で好ましい。
【0026】
判定モデルの機械学習処理に用いる教師データは、
図3(b)に示した補助線付き検査画像と同様の補助線付き教師画像を含む。補助線付き教師画像は、複数のコマ部材101が存在する位置近傍の所定位置に円形の補助線302,303が描画された画像である。この補助線付き教師画像は、複数のコマ部材101に位置ずれがない正常品の環状ディスク100の面を撮影して得られる正常品画像をもとに画像処理により何れかのコマ部材101に位置ずれを生じさせることによって生成した欠陥品画像に対して補助線302,303が描画された補助線付き欠陥品画像を含む。
【0027】
図4は、以上のような教師データを生成する教師データ生成装置20の機能構成例を示すブロック図である。
図4に示すように、本実施形態の教師データ生成装置20は、機能構成として、画像取得部21および教師データ生成部22を備えている。教師データ生成部22は、具体的な機能構成として、コマ領域抽出部22A、欠陥品画像生成部22Bおよび補助線描画部22Cを備えている。また、本実施形態の教師データ生成装置20は、記憶媒体として、教師データ記憶部23を備えている。
【0028】
上記機能ブロック21~22は、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック21~22は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムが動作することによって実現される。CPUに代えてまたは加えてGPU、FPGAまたはASICなどを用いてもよい。
【0029】
画像取得部21は、環状ディスクの面を撮影して得られる画像を取得する。教師データ生成部22は、画像取得部21により取得された画像に対して画像処理を行い、複数のコマ部材101が存在する位置近傍の所定位置に円形の補助線を描画することによって補助線付き教師画像を生成し、これを教師データとして教師データ記憶部23に記憶する。
【0030】
ここで、画像取得部21および教師データ生成部22は、例えば以下のようにして教師データを生成することが可能である。すなわち、画像取得部21は、何れかのコマ部材101に位置ずれが存在する複数の欠陥品の環状ディスクの面を撮影して得られる複数の欠陥品画像を取得する。そして、教師データ生成部22は、当該撮影により取得された複数の欠陥品画像に対して画像処理により補助線を描画することによって複数の補助線付き教師画像を生成する。
【0031】
なお、この方法では、欠陥品の環状ディスクを多数用意して撮影する必要がある。現実的に欠陥品はそれほど多く製造されないため、学習精度を十分に上げられるほどの数の欠陥品画像を取得するのは難しい。そこで、画像取得部21および教師データ生成部22は、以下のようにして教師データを生成するようにしてもよい。すなわち、画像取得部21は、複数のコマ部材101に位置ずれがない正常品の環状ディスク100の面を撮影して得られる正常品画像を取得する。教師データ生成部22は、正常品画像に対する画像処理によって複数の欠陥品画像を生成し、生成した複数の欠陥品画像に対して補助線を描画することによって複数の補助線付き教師画像を生成する。
【0032】
ここで、コマ領域抽出部22Aは、
図1に示したコマ領域抽出部12Aと同様に、画像取得部21により取得された正常品画像から複数のコマ部材101または複数のコマ部材101が配置されている領域を抽出して成る抽出画像を生成する。
【0033】
欠陥品画像生成部22Bは、正常品画像からコマ領域抽出部22Aにより生成された抽出画像に対して画像処理を行い、何れかのコマ部材101(コマ領域301)に位置ずれを生じさせることによって欠陥品画像を生成する。ここで、欠陥品画像生成部22Bは、例えば位置ずれの種類が異なる複数の欠陥品画像を生成する。
【0034】
図5は、位置ずれの種類を例示する図である。
図5(a)は、何れかのコマ部材101の欠損を示す。
図5(b)は、何れかのコマ部材101の回転ずれを示す。
図5(c)は、何れかのコマ部材101の周方向ずれを示す。
図5(d)は、何れかのコマ部材101の径方向ずれを示す。
図5(e)は、何れかのコマ部材101の回転ずれ、周方向ずれおよび径方向ずれのうち少なくとも2つに関する複合ずれを示す。欠陥品画像生成部22Bは、正常品画像をもとに、欠損、回転ずれ、周方向ずれ、径方向ずれまたは複合ずれの何れかを含む欠陥品画像を複数生成する。
【0035】
また、欠陥品画像生成部22Bは、正常品画像をもとに、例えば位置ずれの量が異なる複数の欠陥品画像を生成する。
図6は、位置ずれの量が異なる複数の欠陥品画像の生成例を示す図である。
図6は、周方向ずれを生じさせた欠陥品画像の生成例を示しており、1つのコマ部材101を正常位置から周方向に10画素ずらした欠陥品画像(
図6(a))、正常位置から周方向に15画素ずらした欠陥品画像(
図6(b))、正常位置から周方向に20画素ずらした欠陥品画像(
図6(c))を例示している。欠陥品画像生成部22Bは、これと同様のことを回転ずれ、径方向ずれ、複合ずれについても行う。
【0036】
補助線描画部22Cは、
図1に示した補助線描画部12Bと同様に、欠陥品画像生成部22Bにより生成された欠陥品画像において複数のコマ部材101(コマ領域301)が存在する位置近傍の所定位置に補助線302,303を描画することによって補助線付き教師画像を生成する。
【0037】
以上のコマ領域抽出部22A、欠陥品画像生成部22Bおよび補助線描画部22Cの処理により、教師データ生成部22は、位置ずれの種類が異なる複数の補助線付き欠陥品画像を補助線付き教師画像として生成する。また、教師データ生成部22は、位置ずれの量が異なる複数の補助線付き欠陥品画像を補助線付き教師画像として生成する。教師データ生成部22は、生成した補助線付き教師画像を教師データ記憶部23に記憶する。
【0038】
なお、ここでは補助線付き欠陥品画像を補助線付き教師画像として生成し、これを教師データとする例について説明したが、これに限定されない。例えば、画像取得部21により取得された正常品画像に対してもコマ領域抽出部22Aおよび補助線描画部22Cの処理を実行することによって補助線付き正常品画像を生成し、補助線付き正常品画像および補助線付き欠陥品画像を補助線付き教師画像(教師データ)とするようにしてもよい。この場合は、補助線付き正常品画像に正常品ラベルを付与するとともに、補助線付き欠陥品画像に欠陥品ラベルを付与する。
【0039】
図7は、以上のように教師データ生成装置20により生成された教師データを用いて判定モデルを生成する判定モデル生成装置30の機能構成例を示すブロック図である。
図7に示すように、本実施形態の判定モデル生成装置30は、機能構成として、教師データ入力部31および判定モデル生成部32を備えている。また、本実施形態の判定モデル生成装置30は、記憶媒体として、判定モデル記憶部33を備えている。
【0040】
上記機能ブロック31~32は、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック31~32は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムが動作することによって実現される。CPUに代えてまたは加えてGPU、FPGAまたはASICなどを用いてもよい。
【0041】
教師データ入力部31は、教師データ生成装置20により生成された教師データを入力する。判定モデル生成部32は、教師データ入力部31により入力された教師データを用いて機械学習処理を実行することにより、判定モデルを生成する。判定モデル生成部32は、生成した判定モデルを判定モデル記憶部33に記憶する。判定モデル記憶部33に記憶された判定モデルが、
図1に示した判定モデル記憶部14に記憶される。
【0042】
判定モデル生成部32が生成する判定モデルは、補助線付き検査画像が入力された際に位置ずれに関する欠陥情報を出力するように構成されたモデルであり、位置ずれの有無を示す欠陥情報を出力する判定モデルとしてもよいし、位置ずれの程度を示す欠陥情報を出力する判定モデルとしてもよい。判定モデルの形態は、回帰モデル、木モデル、ニューラルネットワークモデル、ベイズモデル、クラスタリングモデルなどのうち何れかとすることが可能である。なお、ここに挙げた予測モデルの形態は一例に過ぎず、これに限定されるものではない。
【0043】
なお、上記実施形態では、教師データ生成装置20と判定モデル生成装置30とを別装置として構成する例を示したが、これらを1つの装置として構成するようにしてもよい。また、
図1に示した欠陥検査装置10を更に加えて1つの装置として構成するようにしてもよい。
【0044】
図8は、以上のように構成した教師データ生成装置20の動作例を示すフローチャートである。
図8において、まず画像取得部21は、正常品の環状ディスクの面を撮影して得られる正常品画像を取得する(ステップS1)。次に、教師データ生成部22のコマ領域抽出部22Aは、画像取得部21により取得された正常品画像から複数のコマ部材101または複数のコマ部材101が配置されている領域を抽出して成るコマ領域301の抽出画像を生成する(ステップS2)。
【0045】
次いで、欠陥品画像生成部22Bは、正常品画像からコマ領域抽出部22Aにより生成された抽出画像に対して画像処理を行い、何れかのコマ部材101(コマ領域301)に位置ずれを生じさせることによって欠陥品画像を生成する(ステップS3)。ここで、欠陥品画像生成部22Bは、例えば位置ずれの種類が異なる複数の欠陥品画像および位置ずれの量が異なる複数の欠陥品画像を生成する。
【0046】
その後、補助線描画部22Cは、欠陥品画像生成部22Bにより生成された複数の欠陥品画像のそれぞれにおいて、複数のコマ部材101が存在する位置近傍の所定位置に補助線302,303を描画することによって補助線付き欠陥品画像を生成し(ステップS4)、当該補助線付き欠陥品画像を補助線付き教師画像(教師データ)として教師データ記憶部23に記憶する(ステップS5)。これにより、
図8に示すフローチャートの処理を終了する。
【0047】
図9は、以上のように構成した判定モデル生成装置30の動作例を示すフローチャートである。
図9において、まず教師データ入力部31は、教師データ生成装置20により生成された教師データを入力する(ステップS11)。そして、判定モデル生成部32は、入力された教師データを用いて機械学習処理を実行することによって判定モデルを生成し(ステップS12)、生成した判定モデルを判定モデル記憶部33に記憶する(ステップS13)。これにより、
図9に示すフローチャートの処理を終了する。
【0048】
図10は、以上のように構成した欠陥検査装置10の動作例を示すフローチャートである。
図10において、まず画像取得部11は、被検査物である環状ディスクの面を撮影して得られる画像を取得する(ステップS21)。次に、検査画像生成部12のコマ領域抽出部12Aは、画像取得部11により取得された画像から複数のコマ部材101または複数のコマ部材101が配置されている領域を抽出して成るコマ領域301の抽出画像を生成する(ステップS22)。
【0049】
次いで、補助線描画部12Bは、コマ領域抽出部12Aにより生成された抽出画像において複数のコマ部材101が存在する位置近傍の所定位置に補助線302,303を描画することにより、補助線付き検査画像を生成する(ステップS23)。そして、欠陥判定部13は、検査画像生成部12により生成された補助線付き検査画像を、判定モデル記憶部14に記憶されている学習済みの判定モデルに適用し、複数のコマ部材101の何れかにおける位置ずれに関する欠陥を検出する(ステップS24)。すなわち、欠陥判定部13は、補助線付き検査画像を判定モデルに入力し、位置ずれの有無を示す欠陥情報または位置ずれの程度を示す欠陥情報(例えば異常値スコア)を判定モデルから出力する。これにより、
図10に示すフローチャートの処理を終了する。
【0050】
以上詳しく説明したように、本実施形態では、環状ディスク100の面を撮影して得られる画像に対して画像処理を行い、複数のコマ部材101が存在する位置近傍の所定位置に円形の補助線302,303を描画することによって補助線付き検査画像を生成する。そして、生成した補助線付き検査画像を、教師データを用いて学習済みの判定モデルに適用し、複数のコマ部材101の何れかにおける位置ずれに関する欠陥を検出するようにしている。ここで、判定モデルは、補助線付き検査画像と同様の補助線付き教師画像を含む教師データを用いた機械学習処理により生成されており、補助線付き検査画像が入力された際に位置ずれに関する欠陥情報を出力する。
【0051】
このように構成した本実施形態によれば、環状ディスク100の撮影画像に対する画像処理によってコマ部材101について計算される各種の値に基づいて位置ずれを判定するのではなく、教師データを用いた機械学習により生成された判定モデルを用いてコマ部材101の位置ずれを判定するので、計算値と比較するための規定値の設定が不要で、環状ディスク100の撮影画像にノイズが含まれている場合でもノイズが計算値と規定値との比較に悪影響を与えて誤判定を生じる可能性を低減できる。また、補助線付き教師画像を教師データとして用いた機械学習により生成した判定モデルを用いて、補助線付き検査画像をもとに位置ずれの判定を行っているので、補助線302,303を基準として、コマ部材101に生じている位置ずれの学習および判定を行いやすい状態とすることができる。以上により、本実施形態の欠陥検査装置10によれば、コマ部材101の位置ずれの検出性能を向上させることができる。
【0052】
図11は、位置ずれの有無を検出するように構成した判定モデルを用いて複数の環状ディスク100について欠陥の検査を行った結果を示す図である。この
図11は、周方向ずれおよび径方向ずれに関して、補助線302,303がある場合とない場合における位置ずれの検出性能の違いを示す図であり、
図11(a)は周方向ずれの検出性能を示し、
図11(b)は径方向ずれの検出性能を示している。
【0053】
図11において、横軸は位置ずれの程度を示しており、中央において位置ずれが最も小さく、中央から左右に離れるほど位置ずれが大きい。縦軸は位置ずれを検出できた被検査物の数を示している。周方向ずれおよび径方向ずれの何れに関しても、補助線302,303がある場合の方がない場合よりも検出件数の谷が狭くなっている。すなわち、
図11に丸印で示したように、補助線302,303がある場合の方が、より小さな位置ずれを検出できた件数が多くなっている。
【0054】
図12は、位置ずれの程度を示す欠陥情報(異常値スコア)を出力するように構成した判定モデルを用いて複数の環状ディスク100について欠陥の検査を行った結果を示す図である。この
図12は、周方向ずれに関して、補助線302,303がある場合とない場合における位置ずれの検出性能の違いを示す図であり、
図12(a)は補助線302,303がない場合の検出性能を示し、
図12(b)は補助線302,303がある場合の検出性能を示している。
【0055】
図12において、横軸は位置ずれの程度を示しており、中央において位置ずれが最も小さく、中央から左右に離れるほど位置ずれが大きい。縦軸は異常値スコアを示している。
図12(a)に示すように、補助線302,303がない場合は、位置ずれの程度が大きくなっても異常値スコアはそれほど大きく増加していない。これに対し、
図12(b)に示すように、補助線302,303がある場合は、位置ずれの程度が大きくなるほど異常値スコアも大きく上昇している。すなわち、補助線302,303がある場合の方がない場合よりも異常値スコアの谷が深くなっており、補助線302,303がある場合はない場合に比べて位置ずれの程度をより正確に検出できていることが分かる。
【0056】
図11および
図12に示される通り、位置ずれの有無を示す欠陥情報を出力するように構成した判定モデルおよび位置ずれの程度を示す欠陥情報を出力するように構成した判定モデルの何れに関しても、補助線302,303を描画することによってコマ部材101の位置ずれの検出性能を向上させることができる。
【0057】
また、本実施形態では、正常品の環状ディスク100を撮影して得られる正常品画像に対する画像処理によって複数の補助線付き欠陥品画像を生成しているので、多数の教師データを簡便に生成することが可能である。正常品画像に特定の欠陥画像を上書きすることによって欠陥品画像を生成する方法(例えば、特開2021-135903号公報参照)や、機械学習によって欠陥品画像を生成する方法(例えば、特開2022-108855号公報参照)が知られているが、前者の場合は多数の欠陥画像を用意しなければならないという欠点があり、後者の場合は機械学習のためのシステム構築に労力を要するという欠点がある。これに対し、本実施形態によれば、正常品画像に対する画像処理という簡単な処理によって多様な補助線付き教師画像を簡便に生成することが可能である。
【0058】
また、本実施形態では、正常品画像に対する画像処理によって複数の補助線付き欠陥品画像を生成しているので、位置ずれの種類が同じ複数の補助線付き欠陥品画像を1群の教師データセットとして判定モデルを生成したり、位置ずれの大きさが同じ程度の複数の補助線付き欠陥品画像を1群の教師データセットとして判定モデルを生成したり、位置ずれの種類が同じで位置ずれの大きさが同じ程度の複数の補助線付き欠陥品画像を1群の教師データセットとして判定モデルを生成したりすることも容易にできる。
【0059】
例えば、教師データ生成装置20の教師データ生成部22は、位置ずれの種類が異なる補助線付き欠陥品画像および位置ずれの量が所定量以内となる補助線付き欠陥品画像を含まず、位置ずれの種類が同じで位置ずれの量が所定量を超えて異なる複数の補助線付き欠陥品画像を含む補助線付き教師画像を1群の教師データセットとして生成するようにしてもよい。この場合、判定モデル生成装置30の判定モデル生成部32は、当該1群の教師データセットを用いた機械学習処理により判定モデルを生成する。例えば、特定の種類の位置ずれで、そのずれ量が所定量より大きい位置ずれを検出したい用途の場合に、上記のような1群の教師データセットを生成して機械学習処理を行うことにより、当該用途に合わせた判定モデルを生成することが可能である。
【0060】
また、教師データ生成部22は、位置ずれの種類ごとに複数群の教師データセットを生成するようにしてもよい。また、教師データ生成部22は、位置ずれの種類ごとおよびずれ量(上述した所定量)の大きさごとに複数群の教師データセットを生成するようにしてもよい。これらの場合、判定モデル生成装置30の判定モデル生成部32は、生成された複数群の教師データセットをそれぞれ個別に用いた機械学習処理により複数の判定モデルを生成する。
【0061】
このようにすれば、どの種類の位置ずれを検出したいのか、あるいは、どの種類のどの程度の大きさの位置ずれを検出したいのかの用途に応じて、用途に合わせた判定モデルを用いて欠陥の検査を行うことが可能となる。この場合、欠陥検査装置10の欠陥判定部13は、検査画像生成部12により生成される補助線付き検査画像を複数の判定モデルのうち何れか1つまたは複数に対して適用し、複数のコマ部材101の何れかにおける位置ずれに関する欠陥を検出する。
【0062】
図13は、周方向ずれのずれ量の大きさに基づいて3群に分けて教師データセット(補助線付き教師画像のデータセット)を生成し、当該3群の教師データセットをそれぞれ個別に用いた機械学習処理により生成した3つの判定モデルに基づいて周方向ずれの検出を行った結果を示す図である。
図13において、横軸は位置ずれの程度を示しており、中央において位置ずれが最も小さく、中央から左右に離れるほど位置ずれが大きい。縦軸は位置ずれを検出できた被検査物の数を示している。
図13に示す通り、ずれ量の大きさに基づいて3群に分けて生成した教師データセットを用いることで、異なる検出性能を持つ3つの判定モデルを生成することが可能である。
【0063】
なお、上記実施形態では、位置ずれの有無を示す欠陥情報を出力する判定モデル、または位置ずれの程度を示す欠陥情報を出力する判定モデルを生成する例について説明したが、本発明はこれに限定されない。例えば、判定モデルが出力する欠陥情報は、位置ずれが生じているコマ部材101の位置を示す情報を含んでもよいし、位置ずれの種類を示す情報を含んでもよい。
【0064】
例えば、位置ずれの有無または程度を示す情報と共に位置ずれの位置を示す情報を欠陥情報として出力する判定モデルを生成する場合、教師データ生成装置20の教師データ生成部22は、補助線付き教師画像を生成するとともに、位置ずれを生じさせたコマ部材101の位置を示す位置情報を付与することによって教師データを生成する。
【0065】
本実施形態では、正常品画像に含まれる何れかのコマ領域301に対する画像処理によって欠陥品画像を生成しているので、位置ずれを生じさせたコマ領域301の位置は画像処理の際に欠陥品画像生成部22Bにより認識される。よって、この画像処理の際に補助線付き教師画像に対して位置情報を自動的に付与することが可能である。これにより、1つ1つの補助線付き教師画像に対して位置情報を手動で付与する必要がなく、位置情報付きの教師データを効率的に生成することができる。
【0066】
また、位置ずれの有無または程度を示す情報と共に位置ずれの種類を示す情報を欠陥情報として出力する判定モデルを生成する場合、教師データ生成装置20の教師データ生成部22は、補助線付き教師画像を生成するとともに、位置ずれの種類を示す種類情報を付与することによって教師データを生成する。位置ずれの種類も画像処理の際に欠陥品画像生成部22Bにより認識され得るため、画像処理の際に補助線付き教師画像に対して種類情報を自動的に付与することが可能である。
【0067】
また、上記実施形態では、複数のコマ部材101が環状ディスク100の面に沿って周方向に所定の間隔ごとに並べて配置されており、円形の補助線302,303を描画する例について説明したが、本発明はこれに限定されない。すなわち、複数のコマ部材101が配置されるのは環状の部材であることを必須とするものではなく、補助線302,303は円形であることを必須とするものではない。例えば、矩形の部材に複数のコマ部材が矩形の周方向に所定の間隔ごとに並べて配置されたものであってもよく、この場合に補助線は矩形または複数の直線としてもよい。
【0068】
また、上記実施形態では、環状ディスク100の撮影画像に対して2値化や階調反転などの画像処理を行うことにより、複数のコマ部材101または複数のコマ部材101が配置されている領域を抽出して成る抽出画像を生成する例について説明したが、この処理は省いてもよい。すなわち、複数のコマ部材101が含まれる環状ディスク100の撮影画像に対してそのまま補助線302,303を描画するようにしてもよい。ただし、複数のコマ部材101以外の余計な要素を削除して解析範囲を絞り込むことにより、余計な要素が機械学習処理や判定処理に影響を与えることを回避して欠陥の検出性能を上げることが可能である。
【0069】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0070】
10 欠陥検査装置
11 画像取得部
12 検査画像生成部
12A コマ領域抽出部
12B 補助線描画部
13 欠陥判定部
14 判定モデル記憶部
20 教師データ生成装置
21 画像取得部
22 教師データ生成部
22A コマ領域抽出部
22B 欠陥品画像生成部
22C 補助線描画部
23 教師データ記憶部
30 判定モデル生成装置
31 教師データ入力部
32 判定モデル生成部
33 判定モデル記憶部
100 環状ディスク
101 コマ部材(摩擦材)
301 コマ領域
302 内周円(補助線)
303 外周円(補助線)