(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116664
(43)【公開日】2024-08-28
(54)【発明の名称】外観検査装置および外観検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240821BHJP
G06T 7/00 20170101ALI20240821BHJP
【FI】
G01N21/88 J
G06T7/00 610B
G06T7/00 350B
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023022389
(22)【出願日】2023-02-16
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】110002549
【氏名又は名称】弁理士法人綾田事務所
(72)【発明者】
【氏名】小林 康彦
(72)【発明者】
【氏名】仁藤 拓実
(72)【発明者】
【氏名】渡邊 高志
(72)【発明者】
【氏名】一ノ瀬 正寿
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA07
2G051AB02
2G051CA04
2G051DA03
2G051EB05
2G051ED21
5L096AA06
5L096BA03
5L096EA15
5L096EA16
5L096FA64
5L096FA67
5L096FA69
5L096GA34
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】 不良品サンプルの収集工数を削減できる外観検査装置および外観検査方法を提供する。
【解決手段】 外観検査装置1は、ピストン5の表面の撮像画像と、所定の形状を複数重ね合わせて作られた欠陥要素画像を、ピストン5相当のサンプル品の表面画像に合成して生成した複数の不良品サンプル画像を用いて機械学習させた学習結果と、に基づいてピストン5の表面を検査する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被検査物の表面を検査する外観検査装置であって、
前記被検査物の表面を撮像する撮像部と、
所定の形状を複数重ね合わせて作られた欠陥要素画像を、前記被検査物相当のサンプル品の表面画像に合成して生成した複数の人工欠陥画像を用いて機械学習させた学習結果が記憶された記憶部と、
前記撮像部にて撮像された撮像画像と、前記学習結果と、に基づいて前記被検査物の表面を検査する検査部と、
を備える外観検査装置。
【請求項2】
請求項1に記載の外観検査装置であって、
複数の前記形状は、前記形状の特徴量を第1のパラメータとして有し、
前記欠陥要素画像は、前記第1のパラメータをそれぞれ変更した複数の前記形状を重ね合わせて生成される、
外観検査装置。
【請求項3】
請求項2に記載の外観検査装置であって、
前記第1のパラメータは前記形状の寸法または輝度である、
外観検査装置。
【請求項4】
請求項2に記載の外観検査装置であって、
前記形状は楕円であって、前記第1のパラメータは前記楕円の長径と短径の少なくとも1つである、
外観検査装置。
【請求項5】
請求項2に記載の外観検査装置であって、
複数の前記形状は、前記第1のパラメータと異なる特徴量を第2のパラメータとして有し、
前記欠陥要素画像は、前記第1のパラメータおよび前記第2のパラメータをそれぞれ変更した複数の前記形状を重ね合わせて生成される、
外観検査装置。
【請求項6】
請求項5に記載の外観検査装置であって、
前記第1のパラメータは前記形状の寸法であり、
前記第2のパラメータは前記形状の輝度である、
外観検査装置。
【請求項7】
請求項5に記載の外観検査装置であって、
前記形状は楕円であって、
前記第1のパラメータは前記楕円の長径と短径の少なくとも1つであり、
前記第2のパラメータは前記形状の輝度である、
外観検査装置。
【請求項8】
請求項2に記載の外観検査装置であって、
複数の前記形状は、初期形状と最終形状の2つの形状から、
前記第1のパラメータを変更した前記初期形状と前記最終形状との間を補完する中間形状を生成し、
前記欠陥要素画像は、前記初期形状と前記最終形状と前記中間形状を重ね合わせて生成される、
外観検査装置。
【請求項9】
請求項8に記載の外観検査装置であって、
前記初期形状と前記最終形状とを繋ぐ経路を第3のパラメータとして指定可能であって、前記第3のパラメータに応じた位置に前記中間形状を生成する、
外観検査装置。
【請求項10】
請求項5に記載の外観検査装置であって、
前記第1および第2のパラメータは、実欠陥のサンプルから得られる統計データに基づき、設定する、
外観検査装置。
【請求項11】
被検査物の表面を検査するために用いる人工欠陥画像を生成する画像生成方法であって、
所定の形状を複数重ね合わせて欠陥要素画像を生成する第1画像生成ステップと、
前記被検査物相当のサンプル品の表面画像に合成して複数の人工欠陥画像を生成する第2画像生成ステップと、
を備える画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外観検査装置および外観検査方法に関する。
【背景技術】
【0002】
特許文献1には、被検査物の表面の撮像画像と、複数の不良品サンプル画像を用いて機械学習させた学習結果とに基づいて、被検査物の表面を検査する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の外観検査装置において、機械学習モデルの構築には大量の不良品サンプル画像が必要となるが、不良品の発生頻度は低いため、収集工程が膨大になるおそれがあった。
本発明の目的の一つは、不良品サンプルの収集工数を削減できる外観検査装置および外観検査方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一実施形態における外観検査装置は、被検査物の表面の撮像画像と、所定の形状を複数重ね合わせて作られた欠陥要素画像を、被検査物相当のサンプル品の表面画像に合成して生成した複数の人工欠陥画像を用いて機械学習させた学習結果と、に基づいて被検査物の表面を検査する。
【発明の効果】
【0006】
よって、本発明にあっては、不良品サンプルの収集が不要であるため、不良品サンプルの収集構成を削減できる。
【図面の簡単な説明】
【0007】
【
図1】実施形態1の外観検査装置1の概略図である。
【
図2】楕円の初期形状E
1および最終形状E
2の一例である。
【
図3】
図2に示した楕円を用いたブローホール向けの欠陥要素の生成イメージの一例である。
【
図4】ブローホール向けの欠陥要素のバッチ画像一例である。
【
図5】
図2に示した楕円を用いた鋳巣およびキズ向けの欠陥要素の生成イメージの他の例である。
【
図6】鋳巣向けの欠陥要素およびキズ向けの欠陥要素のパッチ画像一例である。
【
図7】楕円の初期形状E1および最終形状E2の他の例である。
【
図8】
図7に示した楕円を用いた鋳巣向けの欠陥要素の生成イメージの一例である。
【
図9】鋳巣向けの欠陥要素のパッチ画像の他の例である。
【
図10】人工欠陥画像および人工欠陥のパッチ画像の生成方法を示す図である。
【
図11】統計分析を用いた欠陥要素の最適化手順を示すフローチャートである。
【
図12】実欠陥の撮像画像における長径と輝度との関係性を示す図である。
【
図13】欠陥が大きくなるに連れて輝度が低くなるように生成した欠陥要素の一例である。
【
図14】最適化手法を用いた欠陥要素の最適化手順を示すフローチャートである。
【発明を実施するための形態】
【0008】
〔実施形態1〕
図1は、実施形態1の外観検査装置1の概略図である。
実施形態1の外観検査装置1は、カメラ(撮像部)2、ロボット3およびコンピュータ4を備える。カメラ2は、被検査物であるエンジンピストン素材またはエンジンピストンの加工完成品(以下、単にピストンと称す。)5の表面を撮像する。ロボット3は、多関節ロボットであって、ピストン5を保持するハンド3aを有する。
【0009】
コンピュータ4は、例えばパーソナルコンピュータであり、CPU6およびメモリ(記憶部)7を備える。CPU6は、検査部8および学習部9を有する。検査部8は、取得部8aおよび欠陥判定部8bを有する。取得部8aは、カメラ2により撮像された撮像画像を取得する。欠陥判定部8bは、取得部8aにより取得された撮像画像と、メモリ7に記憶された学習結果と、に基づいてピストン5の表面にキズや欠陥があるか否かを検査する(キズや欠陥が有る製品はNG、無い製品はOK)。
【0010】
学習部9は、欠陥要素生成部9a、人工欠陥画像生成部9bおよびCNN学習部9cを有する。欠陥要素生成部9aは、所定の形状を複数重ね合わせて欠陥要素画像を生成する(第1画像生成ステップ)。人工欠陥画像生成部9bは、欠陥要素画像を、ピストン5相当のサンプル品の表面画像に合成して擬似的な不良品サンプル画像である人工欠陥画像を生成する(第2画像生成ステップ)。CNN学習部9cは複数の人工欠陥画像を用いて機械学習を行う。機械学習は、ニュートラルネットワークを用いた学習であって、実施形態1では、CNN(Convolutional Neural Network)モデルによるディープラーニングを採用している。
メモリ7は、欠陥要素生成部9aにより生成された複数の欠陥要素画像、人工欠陥画像生成部9bにより生成された複数の人工欠陥画像、およびCNN学習部9cによる学習結果を記憶する。
【0011】
次に、欠陥要素生成部9aによる欠陥要素画像の生成方法を説明する。
欠陥要素生成部9aは、互いに大きさおよび輝度(第2のパラメータ)の異なる複数の基本図形を重ね合わせることにより、欠陥要素画像を生成する。実施形態1では、基本図形を楕円とし、入力パラメータを変更することで欠陥要素画像を生成する。
図2は、楕円の初期形状E
1および最終形状E
2の一例である。
図2(a)の初期形状E
1は、長径d
1、縦横比a
1である。一方、
図2(b)の最終形状E
2は、長径d
2、縦横比a
2である。
【0012】
欠陥要素は、初期形状E
1と最終形状E
2との間を補完する1つまたは複数の中間形状を生成し、各形状を重ね合わせて生成される。
図3は、
図2に示した楕円を用いたブローホール向けの欠陥要素の生成イメージの一例であり、入力パラメータは、長径(第1のパラメータ)d、輝度(第2のパラメータ)L、描写経路(第3のパラメータ)p(t)、回転角度θおよび楕円個数nである。描写経路p(t)は直線で数式化し、楕円個数n=3としている。これにより、
図4に示すようなブローホール向けの欠陥要素のパッチ画像を生成できる。
【0013】
図5は、
図2に示した楕円を用いた鋳巣およびキズ向けの欠陥要素の生成イメージであり、入力パラメータは、長径d、輝度L、描写経路p(t)、ランダム回転角度dθ、ランダム座標ずれ量dPおよび楕円個数nである。描写経路p(t)は直線で数式化し、楕円個数n=4としている。ランダムに基本図形を回転/平行移動させることにより、
図6(a)のような鋳巣向けの欠陥要素や、
図6(b)のようなキズ向けの欠陥要素のパッチ画像を生成できる。
【0014】
図7は、楕円の初期形状E
1および最終形状E
2の他の例であり、この例では、
図7(a)の初期形状E
1の長径d
1および縦横比a
1と、
図7(b)の最終形状E
2の長径d
2および縦横比a
2と、は略一致している。
図8は、
図7に示した楕円を用いた鋳巣向けの欠陥要素の生成イメージであり、入力パラメータは、長径d、輝度L、描写経路p(t)および楕円個数nである。描写経路p(t)は二次関数またはベジェ曲線等の曲線で数式化し、楕円個数n=5としている。これにより、
図9に示すような鋳巣向けの欠陥要素のパッチ画像を生成できる。
【0015】
図10は、人工欠陥画像生成部9bによる人工欠陥画像の生成方法を示す図であり、
図10(a)は人工欠陥画像の生成方法、
図10(b)は人工欠陥のパッチ画像の生成方法である。
図10(a)に示すように、複数の欠陥要素のパッチ画像10を、ピストン5の全体
図11を背景画像として合成することにより、複数の人工欠陥画像12を生成できる。一方、
図10(b)に示すように、複数の欠陥要素のパッチ画像10を、ピストン5のパッチ画像13を背景画像として合成することにより、複数の人工欠陥のパッチ画像14を生成できる。
【0016】
次に、欠陥要素の最適化について説明する。
CNN学習部9cは、人工欠陥画像生成部9bにより生成された複数の人工欠陥画像および複数の人工欠陥のパッチ画像から、欠陥の画像をニュートラルネットワークに学習させる。このとき、実際の欠陥と視覚的特徴が異なる人工欠陥画像を学習させると、CNNの精度が低下するため、CNNの認識精度を向上可能な欠陥要素、すなわち、実欠陥に類似し、かつ良品と類似しない欠陥要素が必要である。つまり、CNNの精度向上を図るためには、欠陥要素(の生成パラメータ)の適正化が必要となる。以下、欠陥要素を最適化する2つの方法を説明する。
【0017】
1つ目の方法は、実欠陥の統計情報から欠陥要素を生成することで、実際の欠陥に近い欠陥要素を生成する方法である。
図11は、統計分析を用いた欠陥要素の最適化手順を示すフローチャートである。
ステップS1では、欠陥種(鋳巣、キズ)毎に実欠陥の過去サンプルを統計分析する。具体的には、例えば、長径と輝度との関係性などを抽出する。
ステップS2では、ステップS1における統計分析結果に基づき、欠陥種毎に欠陥要素を設計/生成する。例えば、統計分析において、
図12のように大きい欠陥ほど輝度が低くなるような関係性が現れた場合には、
図13に示すように、欠陥が大きくなるに連れて、輝度が低くなる(暗くなる)ようにパラメータを設定し、欠陥要素を生成する。
【0018】
ステップS3では、ステップS2で生成した欠陥要素から人工欠陥画像を生成する。
ステップS4では、ステップS3で生成した人工欠陥画像から欠陥種毎にラベル付けして機械学習モデル(CNNモデル)を生成する。
ステップS5では、ステップS4で生成したCNNモデルの学習結果に基づいて、実欠陥を検査する。
【0019】
2つ目の方法は、最適化手法などを用いて欠陥要素の設計変数を最適化する方法である。
図14は、最適化手法を用いた欠陥要素の最適化手順を示すフローチャートである。
ステップS11では、欠陥種毎に欠陥要素のパラメータ(長径d、輝度L、描写経路p(t)、回転角度θ、楕円個数n)を設計し、仮のパラメータで欠陥要素を生成する。
ステップS12では、ステップS11で生成した欠陥要素から人工欠陥画像を生成する。
ステップS13では、ステップS12で生成した人工欠陥画像から欠陥種毎にラベル付けして機械学習モデル(CNNモデル)を生成する。
【0020】
ステップS14では、実欠陥過去サンプルを検査する。
ステップS15では、終了条件を満足するか否かを判定し、YESの場合はステップS16へ進み、NOの場合はステップS17へ進む。ここで、終了条件は、目的関数(NGとOKの正解率)がしきい値以上であるか否かを判定する。
ステップS16では、実欠陥検査を行う。
ステップS17では、目的関数が最大化するように、パラメータを修正する。
【0021】
次に、実施形態1の作用効果を説明する。
従来の外観検査方法では、収集した不良品サンプル画像から欠陥の画像をCNN学習させ、検査対象の画像における欠陥の有無を判定している。このため、不良率が低い製造ラインでは、学習に必要な不良品サンプルの収集に工数および時間を要する。
これに対し、実施形態1の外観検査方法では、ピストン5の表面の撮像画像と、所定の形状を複数重ね合わせて作られた欠陥要素画像を、ピストン5相当のサンプル品の表面画像に合成して生成した複数の人工欠陥画像を用いて機械学習させた学習結果と、に基づいてピストン5の表面を検査する。
【0022】
すなわち、人工欠陥画像を用いることにより、不良品サンプル画像の収集および保存が不要となる。人工欠陥画像の生成に要する時間は、不良品サンプルの収集に要する時間と比べて短いため、実作業時間を削減でき、検査効率を向上できる。この効果は、特に不良率が低い製造ラインや、多品種を製造する製造ライン等、不良品サンプルの収集に時間を要する製造ラインにおいて顕著である。
また、実施形態1の外観検査方法では、所定の形状を複数重ね合わせて欠陥要素画像を生成しているため、3Dモデルを用いて欠陥要素画像を生成する方法と比較して、より簡易に人工欠陥画像を生成できる。
【0023】
実施形態1の欠陥要素画像は、寸法または輝度の少なくとも一方を互いに異ならせた複数の形状を重ね合わせて生成される。形状または輝度のパラメータを変更して重ね合わせることにより、より実欠陥に近い欠陥要素画像を作り出せる。従来の単一図形を用いた欠陥要素画像の生成方法では、楕円や円形など特定の形状や単調な輝度の変化しか表現できない。一方、実施形態1の外観検査方法では、重ね合わせる形状や輝度を変更することで様々な形状、見た目の欠陥を作成可能であり、より実欠陥に合致した人工欠陥画像の生成が可能である。特に、パラメータを複数持たせ、それらを変更することでより複雑な人工欠陥画像を簡易に生成できる。さらに、検出したい欠陥バリエーションをパラメトリックに管理/適正化可能である。
【0024】
また、欠陥要素画像は、重ね合わせる基本図形を楕円としている。各楕円の長径、短径、回転角度などの寸法パラメータを変えることで、円状または楕円状の鋳巣、線状のキズなど多彩な欠陥形状を表現できる。また、実際の欠陥と同様に、角部に丸みを持つ形状を容易に表現できる。例えば、曲線形状の線状欠陥は、楕円の寸法を極限まで小さくすることで表現可能である。
【0025】
欠陥要素画像は、初期形状、最終形状および1つまたは複数の中間形状を重ね合わせて生成される。仮に初期形状と最終形状のみを重ね合わせて欠陥要素画像を生成する場合、寸法や輝度が急変するため、実欠陥に近い人工欠陥画像を生成することは難しい。そこで、初期形状と最終形状との間に中間形状を設けることにより、寸法および輝度の急激な変化を抑制でき、より実欠陥に近い人工欠陥画像を生成できる。
【0026】
欠陥要素画像は、初期形状と最終形状とを繋ぐ描写経路をパラメータとして持ち、描写経路に応じた位置に中間形状が生成される。これにより、円弧状欠陥のような、より複雑な人工欠陥画像を生成できる。
欠陥要素画像のパラメータは、実欠陥の過去サンプルから得られる統計データに基づいて設定される。実欠陥の統計情報から欠陥要素を生成することにより、より実欠陥に近い形状で種々の人工欠陥要素を生成できる。
【0027】
〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、欠陥要素画像を生成する際に重ね合わせる基本図形は、楕円に限らず、円形や多角形であっても良い。
被検査物は、ピストンに限らない。
学習結果は、ニューラルネットワークやディープラーニングに限らず、機械学習であればよい。
【符号の説明】
【0028】
1…外観検査装置、 2…カメラ(撮像部)、 5…ピストン(被検査物)、 7…メモリ(記憶部)、 8…検査部