IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立オートモティブシステムズ株式会社の特許一覧

<>
  • 特開-欠陥検査装置および欠陥検査方法 図1
  • 特開-欠陥検査装置および欠陥検査方法 図2
  • 特開-欠陥検査装置および欠陥検査方法 図3
  • 特開-欠陥検査装置および欠陥検査方法 図4
  • 特開-欠陥検査装置および欠陥検査方法 図5
  • 特開-欠陥検査装置および欠陥検査方法 図6
  • 特開-欠陥検査装置および欠陥検査方法 図7
  • 特開-欠陥検査装置および欠陥検査方法 図8
  • 特開-欠陥検査装置および欠陥検査方法 図9
  • 特開-欠陥検査装置および欠陥検査方法 図10
  • 特開-欠陥検査装置および欠陥検査方法 図11
  • 特開-欠陥検査装置および欠陥検査方法 図12
  • 特開-欠陥検査装置および欠陥検査方法 図13
  • 特開-欠陥検査装置および欠陥検査方法 図14
  • 特開-欠陥検査装置および欠陥検査方法 図15
  • 特開-欠陥検査装置および欠陥検査方法 図16
  • 特開-欠陥検査装置および欠陥検査方法 図17
  • 特開-欠陥検査装置および欠陥検査方法 図18
  • 特開-欠陥検査装置および欠陥検査方法 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000090
(43)【公開日】2024-01-05
(54)【発明の名称】欠陥検査装置および欠陥検査方法
(51)【国際特許分類】
   G01N 21/88 20060101AFI20231225BHJP
   G06T 7/00 20170101ALI20231225BHJP
【FI】
G01N21/88 J
G06T7/00 350B
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022098638
(22)【出願日】2022-06-20
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】110002549
【氏名又は名称】弁理士法人綾田事務所
(72)【発明者】
【氏名】小林 康彦
(72)【発明者】
【氏名】関 高輝
(72)【発明者】
【氏名】藤岡 恭弘
(72)【発明者】
【氏名】今泉 貴正
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA07
2G051AB02
2G051CA04
2G051DA03
2G051DA05
2G051EA08
2G051EA17
2G051EB05
2G051EC02
2G051ED21
5L096AA02
5L096AA06
5L096BA03
5L096CA04
5L096FA33
5L096FA59
5L096FA64
5L096FA67
5L096GA40
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】 検査の判定精度を向上した欠陥検査装置および欠陥検査方法を提供することにある。
【解決手段】 欠陥検査方法は、欠陥検査装置が、被検査物と撮像部の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得ステップと、複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得ステップと、第1特徴量を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得ステップと、第1波形データに応じて欠陥の判定を行う欠陥判定ステップを有する。
【選択図】 図1
【特許請求の範囲】
【請求項1】
被検査物の欠陥判定を行う欠陥検査装置であって、
前記被検査物と撮像部の相対姿勢を変化させて、前記相対姿勢毎に撮像を行い、複数の画像を取得する画像取得部と、
前記複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得部と、
前記第1特徴量を前記相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得部と、
前記第1波形データに応じて欠陥の判定を行う欠陥判定部と、
を備えることを特徴とした欠陥検査装置。
【請求項2】
請求項1に記載の欠陥検査装置において、
前記第1特徴量は、前記複数の画像を走査して得られる輝度、輝度勾配、幾何的特性、輝度のばらつき、色強度のうちの1つである、
ことを特徴とする欠陥検査装置。
【請求項3】
請求項2に記載の欠陥検査装置において、
前記特徴量取得部は、前記輝度、輝度勾配、幾何的特性、輝度のばらつき、色強度のうちの前記第1特徴量以外の1つを第2特徴量として取得し、
前記波形データ取得部は、前記第2特徴量を前記相対姿勢の変化の順に並べた第2波形データを取得し、
前記欠陥判定部は、前記第1波形データと前記第2波形データの両方の波形データを用いて欠陥の判定を行う、
ことを特徴とする欠陥検査装置。
【請求項4】
請求項3に記載の欠陥検査装置において、
前記特徴量取得部は、前記輝度、輝度勾配、幾何的特性、輝度のばらつき、色強度のうちの前記第1特徴量及び前記第2特徴量以外の1つを第3特徴量として取得し、
前記波形データ取得部は、前記第3特徴量を前記相対姿勢の変化の順に並べた第3波形データを取得し、
前記欠陥判定部は、前記第1波形データと前記第2波形データと前記第3波形データの3つの波形データを用いて欠陥の判定を行う、
ことを特徴とする欠陥検査装置。
【請求項5】
請求項2に記載の欠陥検査装置において、
前記第1特徴量は輝度差であって、前記画像を走査して得られる輝度の最大値と最小値の差を用いる、
ことを特徴とする欠陥検査装置。
【請求項6】
請求項2に記載の欠陥検査装置において、
前記第1特徴量は輝度勾配であって、前記画像を走査して得られる輝度勾配の最大値を用いる、
ことを特徴とする欠陥検査装置。
【請求項7】
請求項3に記載の欠陥検査装置において、
前記第1特徴量は輝度差であり、前記第2特徴量は輝度勾配である、
ことを特徴とする欠陥検査装置。
【請求項8】
請求項4に記載の欠陥検査装置において、
前記第1特徴量は輝度差であり、前記第2特徴量は輝度勾配であり、前記第3特徴量は輝度のばらつきである、
ことを特徴とする欠陥検査装置。
【請求項9】
請求項1に記載の欠陥検査装置において、
前記特徴量取得部は、機械学習を用いて前記複数の画像のそれぞれから欠陥の可能性がある欠陥候補領域を抽出する領域抽出部を有し、
前記第1特徴量は、前記欠陥候補領域を走査して得られる特定の特徴である、
ことを特徴とする欠陥検査装置。
【請求項10】
請求項1に記載の欠陥検査装置において、
前記第1特徴量は、前記複数の画像のそれぞれの画素領域の全体を走査して得られる特定の特徴である、
ことを特徴とする欠陥検査装置。
【請求項11】
請求項2に記載の欠陥検査装置において、
前記第1特徴量は、前記画像を走査して得られる、輝度が所定以下の画素領域の幾何的特性である、
ことを特徴とする欠陥検査装置。
【請求項12】
欠陥検査装置が被検査物の欠陥判定を行う欠陥検査方法であって、
前記欠陥検査装置が、
前記被検査物と撮像部の相対姿勢を変化させて、前記相対姿勢毎に撮像を行い、複数の画像を取得する画像取得ステップと、
前記複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得ステップと、
前記第1特徴量を前記相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得ステップと、
前記第1波形データに応じて欠陥の判定を行う欠陥判定ステップと、
を備えることを特徴とした欠陥検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、欠陥検査装置および欠陥検査方法に関する。
【背景技術】
【0002】
特許文献1には、表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、ワークの被測定部位についての複数の画像を取得し、各画像に対する二値化処理と閾値の適用により、画像の特徴点を抽出し、各特徴点に対し多次元の特徴量を求め、仮欠陥候補を抽出する。仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補が対応する画像が予め設定された閾値以上存在すれば、仮欠陥候補を欠陥候補として決定し、決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成し、作成された合成画像に基づいて欠陥検出を行うワークの表面欠陥検出装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-56183号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の表面欠陥検査装置では、決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成し、作成された1つの合成画像に基づいて欠陥検出を行うため、欠陥を誤検出してしまうおそれがあった。
本発明の目的の一つは、検査の判定精度を向上した欠陥検査装置および欠陥検査方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一実施形態における欠陥検査方法は、欠陥検査装置が、被検査物と撮像部の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得ステップと、複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得ステップと、第1特徴量を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得ステップと、第1波形データに応じて欠陥の判定を行う欠陥判定ステップと、を有する。
【発明の効果】
【0006】
よって、本発明にあっては、第1特徴量を相対姿勢の変化の順に並べた第1波形データに応じて汚れ、欠陥の判定を行うことで、検査の判定精度を向上することができる。
【図面の簡単な説明】
【0007】
図1】実施形態1の欠陥検査装置の全体図である。
図2】実施形態1における欠陥検査方法の流れを示すフローチャートである。
図3】実施形態1における輝度差(第1特徴量)の特性を示す図である。
図4】実施形態1における欠陥検査方法の動作を説明する第1タイムチャートである。
図5】実施形態1における欠陥検査方法の動作を説明する第2タイムチャートである。
図6】実施形態2における輝度勾配(第1特徴量)の特性を示す図である。
図7】実施形態2における欠陥検査方法の動作を説明する第1タイムチャートである。
図8】実施形態2における欠陥検査方法の動作を説明する第2タイムチャートである。
図9】実施形態3における輝度のばらつき(第1特徴量)の特性を示す図である。
図10】実施形態3における欠陥検査方法の動作を説明するタイムチャートである。
図11】実施形態4における幾何的特性(第1特徴量)と欠陥検査方法の動作を説明するタイムチャートである。
図12】実施形態5における色強度(第1特徴量)の特性を示す図である。
図13】実施形態5における欠陥検査方法の動作を説明するタイムチャートである。
図14】実施形態6における欠陥検査方法の流れを示すフローチャートである。
図15】実施形態6における欠陥検査方法の動作を説明する第1タイムチャートである。
図16】実施形態6における欠陥検査方法の動作を説明する第2タイムチャートである。
図17】実施形態7における欠陥検査方法の流れを示すフローチャートである。
図18】実施形態7における欠陥検査方法の動作を説明するタイムチャートである。
図19】実施形態8における欠陥検査方法の流れを示すフローチャートである。
【発明を実施するための形態】
【0008】
〔実施形態1〕
図1は、実施形態1の欠陥検査装置の全体図である。
【0009】
実施形態1の検査装置1は、カメラ(撮像部)2、ロボット3およびコンピュータ4を備える。
カメラ2は、ピストン(被検査物)5の冠面5aの画像を撮像する。
なお、ピストン5の冠面5aは、表面性状が大きく異なる加工面と鋳肌面を有している。
ロボット3は、カメラ2に対するピストン5の相対姿勢(アングル)を変化させる。
コンピュータ4は、例えばパーソナルコンピュータであり、CPU6を備える。
CPU6は、画像取得部7、領域抽出部8aを有する特徴量取得部8、波形データ取得部9、欠陥判定部10を備える。
画像取得部7は、カメラ2により撮像されたピストン5の冠面5aの画像を、複数取得する(画像取得ステップ)。
領域抽出部8aは、機械学習や画像処理にて欠陥候補領域を抽出・特定する(欠陥候補領域特定ステップ)。
機械学習は、例えば、ニューラルネットを用いた学習であって、実施形態1では、CNN(Convolutinal Neural Netwark)を採用している。
特徴量取得部8は、領域抽出部8aが機械学習や画像処理により抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差(第1特徴量)を取得する(特徴量取得ステップ)。
輝度差とは、得られた輝度の最大値と最小値の差である。
波形データ取得部9は、取得した第1特徴量を相対姿勢(アングル)の変化の順に並べた第1波形データを取得する(波形データ取得ステップ)。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差は0としている。
欠陥判定部10は、機械学習にて第1波形データの形状から欠陥を判定する(欠陥判定ステップ)。
この機械学習は、例えば、ニューラルネットを用いた学習であって、実施形態1では、RNN(Recurrent Neural Netwark)を採用している。
【0010】
図2は、実施形態1における欠陥検査方法の流れを示すフローチャートである。
【0011】
ステップS1では、ロボット3によりピストン5の相対姿勢(アングル)を変化させ、カメラ2により撮像されたピストン5の冠面5aの画像を、画像取得部7が複数取得する(画像取得ステップ)。
具体的には、相対姿勢(アングル)の総数は、25アングルである。
ステップS2では、領域抽出部8aが、機械学習や画像処理により欠陥候補領域を抽出・特定する(欠陥候補領域特定ステップ)。
ステップS3では、特徴量取得部8が、領域抽出部8aが機械学習や画像処理により抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差を取得する(特徴量取得ステップ)。
ステップS4では、波形データ取得部9が、取得した輝度差を相対姿勢(アングル)の変化の順に並べた第1波形データを取得する(波形データ取得ステップ)。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差は0としている。
ステップS5では、欠陥判定部10が、機械学習にて第1の波形データの形状から欠陥を判定する(欠陥判定ステップ)。
【0012】
図3は、実施形態1における輝度差(第1特徴量)の特性を示す図である。
すなわち、輝度差の特性は、図3(a)に示すように、汚れは黒色が薄いので輝度差が小さく、欠陥は黒色が濃いので輝度差が大きい特性を有している。
また、輝度差の特性は、図3(b)に示すように、輝度差は同じでも、汚れはランダムに発生し、欠陥は明視野で連続して発生する特性を有している。
【0013】
図4は、実施形態1における欠陥検査方法の動作を説明する第1タイムチャートである。
すなわち、ピストン5の加工面同士の欠陥検査方法の動作を示している。
【0014】
欠陥候補領域特定ステップでは、領域抽出部8aにより、加工面1は、アングル番号14、18-20の画像が欠陥候補領域として抽出・特定され、加工面2は、アングル番号14-17の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した加工面1のアングル番号14、18-20の画像と加工面2のアングル番号14-17の画像を取得し、それぞれの画素領域全体を走査して、輝度差を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度差の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面1のアングル番号14、18-20の画像の輝度差a1は小さいので、OK(汚れ)と判定し、加工面2のアングル番号14-17の画像の輝度差a2は大きいので、NG(欠陥)と判定する。
【0015】
図5は、実施形態1における欠陥検査方法の動作を説明する第2タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
【0016】
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号10、12、15の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号14-17の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが、欠陥候補領域として抽出・特定した鋳肌面のアングル番号10、12、15の画像と加工面のアングル番号14-17の画像を取得し、それぞれの画素領域全体を走査して、輝度差を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号10、12、15の画像の輝度差a3と加工面のアングル番号14-17の画像の輝度差a3に差はないが、鋳肌面の輝度差はランダムに発生し、加工面の輝度は連続して発生している。
このため、鋳肌面のアングル番号10、12、15の画像は、OK(汚れ)と判定し、加工面のアングル番号14-17の画像は、NG(欠陥)と判定する。
【0017】
次に、実施形態1の作用効果を説明する。
実施形態1では、以下のような作用効果を奏する。
【0018】
(1)欠陥検査装置1は、ピストン5とカメラ2の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得部7と、複数の画像のそれぞれの画素領域全体を走査して得られる第1特徴量としての輝度差を取得する特徴量取得部8と輝度差を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得部9と、第1波形データによる輝度差の大きさに応じて、欠陥の判定を行う欠陥判定部10とを備えるようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度を向上することができる。
【0019】
(2)輝度差は、複数の画像のそれぞれ画素領域全体を走査して得られる輝度の最大値と最小値の差であるようにした。
よって、輝度の最大値と最小値の差が大きいほど急激な輝度変化があるということで、検査の判定精度をより向上することができる。
【0020】
(3)特徴量取得部8の領域抽出部8aは、機械学習であるCNN(Convolutinal Neural Netwark)を用いて、欠陥候補領域の抽出・特定を行うようにした。
よって、欠陥の判定が容易となる。
【0021】
(4)輝度差の大きさと輝度差の発生状況(ランダムまたは連続)に応じて、欠陥の判定を行うようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度をより向上することができる。
【0022】
〔実施形態2〕
図6は、実施形態2における輝度勾配(第1特徴量)の特性を示す図である。
すなわち、輝度勾配の特性は、図6(a)に示すように、汚れは輝度勾配の最大値が小さく、欠陥は輝度勾配の最大値が大きい特性を有している。
また、輝度勾配の特性は、輝度差の特性と同様に、図6(b)に示すように、汚れはランダムに発生し、欠陥は明視野で連続して発生する特性を有している。
【0023】
図7は、実施形態2における欠陥検査方法の動作を説明する第1タイムチャートである。
すなわち、ピストン5の加工面同士の欠陥検査方法の動作を示している。
【0024】
欠陥候補領域特定ステップでは、領域抽出部8aにより、加工面1は、アングル番号14、18-20の画像が欠陥候補領域として抽出・特定され、加工面2は、アングル番号21-24の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した加工面1のアングル番号14、18-20の画像と加工面2のアングル番号21-24の画像を取得し、それぞれの画素領域全体を走査して、輝度勾配を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度勾配の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面1のアングル番号14、18-20の画像の輝度勾配は小さいので、OK(汚れ)と判定し、加工面2のアングル番号21-24の画像の輝度勾配は大きいので、NG(欠陥)と判定する。
【0025】
図8は、実施形態2における欠陥検査方法の動作を説明する第2タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
【0026】
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号14、16、18の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号21-24の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号14、16、18の画像と加工面のアングル番号21-24の画像を取得し、それぞれの画素領域全体を走査して、輝度勾配を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号14、16、18の画像の輝度勾配は小さく、ランダムに発生しているので、OK(汚れ)と判定し、加工面のアングル番号21-24の画像の輝度勾配は大きく、連続して発生しているので、NG(欠陥)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態2では、第1特徴量として輝度勾配を用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【0027】
次に、実施形態2の作用効果を説明する。
実施形態2では、実施形態1と同様に以下のような作用効果を奏する。
【0028】
(1)欠陥検査装置1は、ピストン5とカメラ2の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得部7と、複数の画像のそれぞれの画素領域全体を走査して得られる第1特徴量としての輝度勾配を取得する特徴量取得部8と輝度勾配を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得部9と、第1波形データによる輝度勾配の大きさに応じて、欠陥の判定を行う欠陥判定部10とを備えるようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度を向上することができる。
【0029】
(2)輝度勾配は、複数の画像をそれぞれ走査して得られる輝度勾配の最大値を用いるようにした。
よって、輝度勾配は複数取得することができるが、最大値を用いることで、NG(欠陥)、OK(汚れ)の検査の判定精度をより向上することができる。
【0030】
(3)特徴量取得部8の領域抽出部8aは、機械学習であるCNN(Convolutinal Neural Netwark)を用いて、欠陥候補領域の抽出・特定を行うようにした。
よって、欠陥の判定が容易となる。
【0031】
(4)輝度勾配の大きさと輝度勾配の発生状況(ランダムまたは連続)に応じて、欠陥の判定を行うようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度をより向上することができる。
【0032】
〔実施形態3〕
図9は、実施形態3における輝度のばらつき(第1特徴量)の特性を示す図である。
すなわち、輝度のばらつき(輝度分布標準偏差)σの特性は、図9(a)に示すように、汚れは輝度のばらつき(輝度分布標準偏差)σが大きく、欠陥は輝度のばらつき(輝度分布標準偏差)σが小さい特性を有している。
【0033】
図10は、実施形態3における欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
【0034】
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号14、16、18の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号22-24の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号14、16、18の画像と加工面のアングル番号22-24の画像を取得し、それぞれの画素領域全体を走査して、輝度のばらつき(輝度分布標準偏差)σを取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度のばらつき(輝度分布標準偏差)は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号14、16、18の画像の輝度のばらつき(輝度分布標準偏差)σは大きいので、OK(汚れ)と判定し、加工面のアングル番号22-24の画像の輝度のばらつき(輝度分布標準偏差)σは小さいので、NG(欠陥)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態3では、第1特徴量として輝度のばらつき(輝度分布標準偏差)σを用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態3では、実施形態1と同様の作用効果を奏する。
【0035】
〔実施形態4〕
図11は、実施形態4における幾何的特性(第1特徴量)と欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の加工面同士の欠陥検査方法の動作を示している。
【0036】
幾何的特性としては、汚れは幅、面積などが小さく、欠陥は幅、面積が大きい特性を有している。
欠陥候補領域特定ステップで、領域抽出部8aにより、所定輝度以下の加工面1の欠陥候補領域として抽出・特定された画像と所定輝度以下の加工面2の欠陥候補領域として抽出・特定された画像(図面では、特定のアングル番号のもののみ表示)を、特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した複数の画像を取得し、それぞれの画素領域全体を走査して、それぞれの幾何的特性を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、幾何的特性は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した幾何的特性の波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面1の画像の幾何的特性の幅、面積が大きいので、NG(欠陥)と判定し、加工面2の画像の幾何的特性の幅、面積が小さいので、OK(汚れ)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態4では、第1特徴量として幾何的特性を用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態4では、実施形態1と同様の作用効果を奏する。
【0037】
〔実施形態5〕
図12は、実施形態5における色強度(第1特徴量)の特性を示す図である。
例えば、色強度が、欠陥はG(緑)とB(青)の輝度差が大きく、汚れはG(緑)とR(赤)の輝度差が大きい特性を有している場合、B(青)とR(赤)の輝度差の大きさから欠陥か汚れかを判定可能となる。
【0038】
図13は、実施形態5における欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の加工面と鋳肌面の欠陥検査方法の動作を示している。
【0039】
欠陥候補領域特定ステップで、領域抽出部8aにより、加工面の欠陥候補領域として抽出・特定された画像と鋳肌面の欠陥候補領域として抽出・特定された画像が抽出・特定されている(図面では、特定のアングル番号のもののみ表示)。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した複数の画像を取得し、それぞれの画素領域全体を走査して、それぞれの色強度(輝度差)を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、色強度(輝度差)は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した色(RGB)ごとの強度(輝度差)の波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面の画像の色強度(輝度差)がB(青)の輝度差が大きく、R(赤)の輝度差が小さいので、NG(欠陥)と判定し、鋳肌面の画像の色強度(輝度差)がB(青)の輝度差が小さく、R(赤)の輝度差が大きいのでOK(汚れ)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態5では、第1特徴量として色強度(輝度差)を用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態5では、実施形態1と同様の作用効果を奏する。
【0040】
〔実施形態6〕
図14は、実施形態6における欠陥検査方法の流れを示すフローチャートである。
【0041】
実施形態1では、第1特徴量のみを用いていたが、実施形態6では、第1特徴量に加え、第2特徴量を用いるようにしている。
すなわち、ステップS3aでは、特徴量取得部8が、領域抽出部8aが抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差(第1特徴量)、輝度勾配(第2特徴量)を取得し、ステップS4aでは、波形データ取得部9が、輝度差(第1特徴量)、輝度勾配(第2特徴量)をそれぞれ相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データを取得し、ステップS5aでは、欠陥判定部10が、機械学習にて、第1波形データ、第2波形データの形状から欠陥を判定するようにしている。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【0042】
図15は、実施形態6における欠陥検査方法の動作を説明する第1タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
【0043】
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号18、20、23の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号22-25の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号18、20、23の画像と加工面のアングル番号22-25の画像を取得し、それぞれの画素領域全体を走査して、輝度差と輝度勾配を取得し、波形データ取得部9が、輝度差と輝度勾配のそれぞれを相対姿勢(アングル)の変化の順に並べた第1、第2波形データを取得する。
なお、図面では、代表例として、鋳肌面のアングル番号18と加工面のアングル番号22の第1、第2波形データを示している。
また、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号18の画像の輝度勾配b1と加工面のアングル番号22の画像の輝度勾配b1は大きいが、鋳肌面の輝度差a1は小さく、加工面の輝度差a2は大きい。
このため、鋳肌面のアングル番号18の画像は、OK(汚れ)と判定し、加工面のアングル番号22の画像は、NG(欠陥)と判定する。
他の抽出・取得したアングル番号の画像も同様に判定する。
【0044】
図16は、実施形態6における欠陥検査方法の動作を説明する第2タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
【0045】
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号18、20、23の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号22-25の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号18、20、23の画像と加工面のアングル番号22-25の画像を取得し、それぞれの画素領域全体を走査して、走査して、輝度差と輝度勾配を取得し、波形データ取得部9が、輝度差と輝度勾配のそれぞれを相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データを取得する。
なお、図面では、代表例として、鋳肌面のアングル番号18と加工面のアングル番号22の第1、第2波形データを示している。
また、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データ、第2波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号18の画像の輝度勾配b1は小さく、加工面のアングル番号22の画像の輝度勾配b2は大きく、鋳肌面の輝度差a1と加工面の輝度差a1は大きい。
このため、鋳肌面のアングル番号18の画像は、輝度差a1は大きいが、輝度勾配b1が小さいので、OK(汚れ)と判定し、加工面のアングル番号22の画像は、輝度差a1および輝度勾配b2がともに大きいので、NG(欠陥)と判定する。
他の抽出・取得したアングル番号の画像も同様に判定する。
【0046】
次に、実施形態6の作用効果を説明する。
実施形態1の作用効果に加え、以下の作用効果を奏する。
【0047】
(1)特徴量として、輝度差(第1特徴量)と輝度勾配(第2特徴量)を併用するようにした。
よって、情報量が増えることにより、判定精度がさらに向上する。
【0048】
〔実施形態7〕
図17は、実施形態7における欠陥検査方法の流れを示すフローチャートである。
【0049】
実施形態6では、第1特徴量と第2特徴量を用いていたが、実施形態7では、第1特徴量と第2特徴量に加え、第3特徴量を用いるようにしている。
すなわち、ステップS3bでは、特徴量取得部8が、領域抽出部8aが抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差(第1特徴量)、輝度勾配(第2特徴量)、輝度のばらつき(第3特徴量)を取得し、ステップS4bでは、波形データ取得部9が、輝度差(第1特徴量)、輝度勾配(第2特徴量)、輝度のばらつき(第3特徴量)をそれぞれ相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データ、第3波形データを取得し、ステップS5bでは、欠陥判定部10が、機械学習にて、第1波形データ、第2波形データ、第3波形データの形状から欠陥を判定するようにしている。
その他の構成は、実施形態6と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【0050】
図18は、実施形態7における欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
【0051】
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号14、17、18、20の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号19、22、23、25の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号14、17、18、20の画像と加工面のアングル番号19、22、23、25の画像を取得し、それぞれの画素領域全体を走査して、輝度差と輝度勾配と輝度のばらつきを取得し、波形データ取得部9が、輝度差と輝度勾配と輝度のばらつきをそれぞれ相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データ、第3波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差、輝度勾配、輝度のばらつきは0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データ、第2波形データ、第3波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面は、輝度勾配、輝度差は大きいが、輝度のばらつきが大きいので、OK(汚れ)と判定し、加工面は、輝度勾配、輝度差は大きいが、輝度のばらつきが小さいので、NG(欠陥)と判定する。
【0052】
次に、実施形態7の作用効果を説明する。
実施形態6の作用効果に加え、以下の作用効果を奏する。
【0053】
(1)特徴量として、輝度差(第1特徴量)と輝度勾配(第2特徴量)と輝度のばらつき(第3特徴量)を併用するようにした。
よって、情報量が増えることにより、より判定精度がさらに向上する。
【0054】
〔実施形態8〕
図19は、実施形態8における欠陥検査方法の流れを示すフローチャートである。
【0055】
実施形態1では、領域抽出部8aが、CNN(Convolutinal Neural Netwark)を用いて欠陥候補領域を抽出・特定し、輝度差(第1特徴量)を取得していたが、実施形態8では、複数のアングルの画像のそれぞれの画素領域全体を走査して、輝度差(第1特徴量)を取得するようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【0056】
次に、実施形態8の作用効果を説明する。
実施形態1の作用効果に加え、以下の作用効果を奏する。
【0057】
(1)コンピュータ4の欠陥候補領域を抽出・特定する領域抽出部8aのCNN(Convolutinal Neural Netwark)を用いないようにした。
よって、コンピュータ4の費用を抑制することができる。
【0058】
〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、CNN(Convolutinal Neural Netwark)やRNN(Recurrent Neural Netwark)に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
【符号の説明】
【0059】
1 欠陥検査装置、2 カメラ(撮像部)、3 ロボット、4 コンピュータ、5 ピストン(被検査物)、6 CPU、7 画像取得部、8 特徴量取得部、8a 領域抽出部、9 波形データ取得部、10 欠陥判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19