特開 2022-189274 外観検査装置、外観検査方法、画像生成装置および画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189274

(43)【公開日】2022-12-22

(54)【発明の名称】外観検査装置、外観検査方法、画像生成装置および画像生成方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221215BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021097770

(22)【出願日】2021-06-11

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002549

【氏名又は名称】弁理士法人綾田事務所

(72)【発明者】

【氏名】小野塚 英明

(72)【発明者】

【氏名】井上 真一

(72)【発明者】

【氏名】今泉 貴正

(72)【発明者】

【氏名】林 裕之

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA07

2G051AB02

2G051CA04

2G051DA07

2G051EB01

2G051EB09

(57)【要約】

【課題】 工数の増大を抑制しつつ、検査対象物表面の検査精度を向上することができる外観検査装置、外観検査方法、画像生成装置、及び画像生成方法を提供することにある。
【解決手段】 外観検査装置は、被検査物の表面を撮像する撮像部と、撮像部に対する被検査物の姿勢を変化させる姿勢制御部と、予め設定された姿勢角になるように傾けられた前記被検査物に相当する三次元データを参照して求められた合成位置で、被検査物の表面画像に予め用意された欠陥部画像を合成して生成した不良品サンプル画像を用いて機械学習させた学習結果が記憶された記憶部と、撮像部によって姿勢角で撮像された撮像画像と、学習結果と、に基づいて前記被検査物の表面を検査する検査部とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

被検査物の表面を検査する外観検査装置であって、
前記被検査物の表面を撮像する撮像部と、
前記撮像部に対する前記被検査物の姿勢を変化させる姿勢制御部と、
予め設定された姿勢角になるように傾けられた前記被検査物に相当する三次元データを参照して求められた合成位置で、前記被検査物の表面画像に予め用意された欠陥部画像を合成して生成した不良品サンプル画像を用いて機械学習させた学習結果が記憶された記憶部と、
前記撮像部によって前記姿勢角で撮像された撮像画像と、前記学習結果と、に基づいて前記被検査物の表面を検査する検査部と、
を備える外観検査装置。

【請求項2】

請求項１に記載の外観検査装置であって、
前記欠陥部画像は、欠陥部分ではない部分の輝度をゼロとした二値画像である、
外観検査装置。

【請求項3】

請求項１に記載の外観検査装置であって、
前記欠陥部画像は、前記姿勢角に基づいたコントラストの調整がされて、前記合成位置で合成される、
外観検査装置。

【請求項4】

請求項１に記載の外観検査装置であって、
前記合成位置は、前記被検査物の表面の正面画像で指定された二次元座標と、前記三次元データと、に基づいて求められる三次元座標から求められる、
外観検査装置。

【請求項5】

請求項１に記載の外観検査装置であって、
前記機械学習は、ニューラルネットワークを用いた学習である、
外観検査装置。

【請求項6】

請求項１に記載の外観検査装置であって、
前記機械学習は、ディープラーニングによる学習である、
外観検査装置。

【請求項7】

被検査物の表面を撮像する撮像部と、前記撮像部に対する前記被検査物の姿勢を変化させる姿勢制御部と、を備え、コンピュータによって、前記被検査物の表面を検査する外観検査方法であって、
前記被検査物の表面を撮像する撮像ステップと、
予め設定された姿勢角になるように傾けられた前記被検査物に相当する三次元データを参照して求められた合成位置で、前記被検査物の表面画像に予め用意された欠陥部画像を合成して生成した不良品サンプル画像を用いて機械学習させた学習結果と、前記撮像ステップによって前記姿勢角で撮像された撮像画像と、に基づいて前記被検査物の表面を検査する検査ステップと、
を備える外観検査方法。

【請求項8】

被検査物の表面を検査するために用いる不良品サンプル画像を生成する画像生成装置であって、
予め設定された姿勢角になるように傾けられた前記被検査物に相当する三次元データを参照して、前記被検査物の表面画像に、予め用意された欠陥部画像を合成する合成位置を求める合成位置取得部と、
前記合成位置で、前記欠陥部画像を前記被検査物の表面画像に合成することで前記不良品サンプル画像を生成する画像生成部と、
を備える画像生成装置。

【請求項9】

コンピュータによって、被検査物の表面を検査するために用いる不良品サンプル画像を生成する画像生成方法であって、
予め設定された姿勢角になるように傾けられた前記被検査物に相当する三次元データを参照して、前記被検査物の表面画像に、予め用意された欠陥部画像を合成する合成位置を求める合成位置取得ステップと、
前記合成位置で、前記欠陥部画像を前記被検査物の表面画像に合成することで前記不良品サンプル画像を生成する画像生成ステップと、
を備える画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外観検査装置、外観検査方法、画像生成装置および画像生成方法に関する。

【背景技術】

【0002】

特許文献１には、識別器によって、検査対象物の複数の画像に基づいて検査対象物に検出対象部位が含まれているか否かを判定する判定部と、２以上の異なる撮像条件で検査対象物の複数の画像を取得する取得部と、判定部によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定された場合に、検出対象部位に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する生成部と、を備える、データ生成装置が開示されてる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１０９５７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献1は、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させるための技術であって、検査のための学習用画像そのものを生成するものではない。
ところで、検査対象物の検査精度を向上させるために、検査対象物を複数の姿勢角で撮像して検査することがあるが、この場合、姿勢角毎に学習用画像を構築する必要があり、工数が増大するおそれがあった。
本発明の目的の一つは、工数の増大を抑制しつつ、検査対象物表面の検査精度を向上することができる外観検査装置、外観検査方法、画像生成装置、及び画像生成方法を提供することにある。

【課題を解決するための手段】

【0005】

本発明の一実施形態における外観検査装置は、被検査物の表面を撮像する撮像部と、撮像部に対する被検査物の姿勢を変化させる姿勢制御部と、予め設定された姿勢角になるように傾けられた前記被検査物に相当する三次元データを参照して求められた合成位置で、被検査物の表面画像に予め用意された欠陥部画像を合成して生成した不良品サンプル画像を用いて機械学習させた学習結果が記憶された記憶部と、撮像部によって姿勢角で撮像された撮像画像と、学習結果と、に基づいて前記被検査物の表面を検査する検査部とを備える。

【発明の効果】

【0006】

よって、本発明にあっては、工数の増大を抑制しつつ、検査対象物表面の検査精度を向上することができる。

【図面の簡単な説明】

【0007】

【図1】実施形態１の外観検査装置1の概略図である。

【図2】実施形態１における検査部の動作を示すタイムチャートである。

【図3】実施形態１における不良品サンプル画像の生成方法の流れを示すタイムチャートである。

【図4】実施形態1における三次元データを参照した合成位置の座標の計算を説明する図である。

【図5】実施形態1における三次元データを参照した不良品サンプル画像の生成方法を示すフローチャートである。

【図6】実施形態1における三次元データを参照した不良品サンプル画像の生成方法の流れを示すタイムチャートである。

【発明を実施するための形態】

【0008】

〔実施形態１〕
図１は、実施形態１の外観検査装置1の概略図である。
実施形態１の外観検査装置1は、カメラ（撮像部）２、ロボット（姿勢制御部）３およびコンピュータ４を備える。
カメラ２は、被検査物であるピストン５の表面を撮像する（撮像ステップ）。
ロボット３は、カメラ２に対するピストン５のアングル（姿勢角）を変化させる。
コンピュータ４は、例えばパーソナルコンピュータであり、メモリ（記憶部）６およびＣＰＵ７を備える。
ＣＰＵ７は、合成位置取得部８ａと画像生成部８ｂを有する画像生成装置８と検査部９を備える。
メモリ６は、複数の不良品サンプル画像を用いて機械学習させた学習結果が記憶されている。機械学習は、ニューラルネットワークを用いた学習であって、実施形態１では、ディープラーニングによる学習を採用している。
これにより、ニューラルネットワークを用いた学習の場合、特徴量設計が不要となるため、外観検査の判定精度を高めることができるとともに、十分な不良品サンプルが必要となるが、後述するように擬似的な不良品サンプルを用いているため、実在する不良品サンプルを収集することなく、外観検査の判定精度を向上できる。
また、ニューラルネットワークを多層に結合したディープラーニングによる学習を行うため、ニューラルネットワークを用いた場合と比較して、外観検査の判定精度を向上できる。
複数の不良品サンプル画像は、予め設定された姿勢角になるように傾けられたピストン５に相当する三次元データを参照して合成位置取得部８ａにて求められた合成位置で、ピストン５の表面画像に、予め用意された欠陥部画像を画像生成部８ｂにて合成することにより生成される。

【0009】

図２は、実施形態１における検査部の動作を示すタイムチャートである。
カメラ２により、ピストン５の表面を２５アングル（姿勢角）の３Ｄ曲面のマルチアングル撮像する（撮像ステップ）。
つぎに、ＣＰＵ７は、メモリ６に記憶されたプログラムに基づき、カメラ２により撮像された撮像画像と、メモリ６に記憶されたディープラーニングによる学習結果と、に基づいてピストン５の表面にキズや欠陥があるか否かを検査し（検査ステップ）、欠陥候補箇所を切り出して、検査結果としての欠陥候補画像を出力する。

【0010】

図３は、実施形態１における不良品サンプル画像の生成方法の流れを示すタイムチャートである。
第1ブロックＲ１では、合成する二次元の欠陥部画像を入手する。
この欠陥部画像は、ピストン５の現物からの画像、あるいは、設計したフェイク画像でもよい。
第２ブロックＲ２では、欠陥部画像の背景を除去し、欠陥部のみの画像を生成する。
第３ブロックＲ３では、カメラ２により撮像されたピストン５の表面の３０～４０枚×２５アングル（姿勢角）の二次元の正面画像に背景を除去した欠陥部のみの画像を指定された二次元座標に合成し、二次元の正面画像を生成する。
第４ブロックＲ４では、背景を除去した欠陥部のみの二次元の正面画像から、輪郭を抽出した二次元の正面画像を生成する。
第５ブロックＲ５では、輪郭をオフセットして、線幅を調整して塗りつぶし、欠陥部の輝度２５５、正常部の輝度０としたマーキング画像（二値画像）としての二次元の正面画像を生成する。
これにより、手作業による欠陥部のマーキング作業を削減することができる。
第６ブロックＲ６では、カメラ２により撮像された３０～４０枚×２５アングル（姿勢角）の二次元の正面画像に、欠陥部の輝度２５５、正常部の輝度０としたマーキング画像（二値画像）を指定された二次元座標に合成し、二次元の正面画像を生成する。
なお、指定された二次元座標は、ピストン５の三次元データを参照することにより、補正するようにしている。詳細は、後述する。
この三次元データは、三次元ＣＡＤモデル、あるいは、ピストン５の現物を読み込みデータ変換したものでもよい。
ブロックＲ７では、第３ブロックＲ３にて生成した二次元の正面画像と第６ブロックＲ６にて生成した二次元の正面画像を合成し、二次元の不良品サンプル画像を生成する。
なお、ピストン５の画像の外側は、検査時に無視する領域としてマスクを施している。
これにより、工数増大を抑制することができる。

【0011】

図４は、実施形態1における三次元データを参照した合成位置の座標の計算を説明する図である。
すなわち、ピストン５の二次元の正面画像に、欠陥部を合成して二次元の不良品サンプル画像を生成する場合には、ピストン５の二次元の正面画像の合成位置が不正確となる恐れがある。
このため、実施形態1では、ピストン５の三次元データを参照して、指定された二次元座標（ｘ０、ｙ０）を、二次元座標（ｘ（φｘ）、ｙ（φｘ））に補正する。
すなわち、二次元座標（ｘ（φｘ）、ｙ（φｘ））は、図４に示したように、ピストン５をｘ軸周りにφｘ回転させた場合の下記の式（１）から求めることができる。

【数1】

なお、図４および式（１）では、説明を簡単にするため、ピストン５をｘ軸周りにφｘ回転させた場合の例を示したが、実際の運用では、ｘ軸、ｙ軸周りの回転の組合わせによって様々な姿勢での撮像を行うため、下記の式（２）に示すように、ｙ軸周りの姿勢変化も組み合わされた式になる。

【数2】

【0012】

図５は、実施形態1における三次元データを参照した不良品サンプル画像の生成方法を示すフローチャートであり、図６は、実施形態1における三次元データを参照した不良品サンプル画像の生成方法の流れを示すタイムチャートである。
ステップＳ１では、合成する疑似欠陥部画像を読込む（図６のブロックＴ１）。
ステップＳ２では、正面からのピストン５の良品の撮像画像を読込み、ステップＳ３では、疑似欠陥部画像の合成位置をピストン５の良品の撮像画像上で指定する（図６のブロックＴ２）。
ステップＳ４では、疑似欠陥部画像を合成する撮像アングル（姿勢角）を指定する（図６のブロックＴ３）。
ステップＳ５では、ピストン５の良品の三次元データを指定された撮像アングル(姿勢角)となるように傾斜させて，指定された合成位置の要素の座標を計算する（図６のブロックＴ４）。
なお、最初に指定された合成位置の三次元座標は、（ｘ、ｙ、ｚ）であり、ピストン５の良品の三次元データを指定された撮像アングル(姿勢角)となるように傾斜させて補正された合成位置の三次元座標は、（ｘ'、ｙ'、ｚ'）となる。
この補正された合成位置の二次元座標（ｘ'、ｙ'）は、前述した二次元座標（ｘ（φｘ）、ｙ（φｘ））に相当する。
このステップＳ１～Ｓ５は、画像生成装置８の合成位置取得部８ａが実行する合成位置取得ステップである。

【0013】

ステップＳ６では、指定された撮像アングル(姿勢角)の良品画像を読込み、ステップＳ７では、指定された良品画像に疑似欠陥部画像を合成位置の二次元座標（ｘ'、ｙ'）に合成する（図６のブロックＴ５）。

【0014】

ステップＳ８では、コントラストを調整、良品の二次元画像の指定された合成位置の輝度へ換算する（図６のブロックＴ６）。
このステップＳ６～Ｓ８は、画像生成装置８の画像生成部８ｂが実行する画像生成ステップである。
これにより、ピストン５の二次元の正面画像にはない高さ方向の位置（ｚ座標）を参照することにより、ピストン５の二次元の正面画像に、欠陥部を合成する合成位置が正確になり、機械学習させた学習結果の精度が向上し、検査精度を向上することができる。

【0015】

次に、実施形態１の作用効果を説明する。

【0016】

（１）外観検査装置１は、ピストン５の表面を撮像するカメラ２と、カメラ２に対するピストン５の姿勢を変化させるロボット３と、予め設定された撮像アングル(姿勢角)になるように傾けられたピストン５に相当する三次元データを参照して求められた合成位置で、ピストン５の表面画像に予め用意された欠陥部画像を合成して生成した不良品サンプル画像を用いて機械学習させた学習結果が記憶されたメモリ６と、カメラ２によって撮像アングル(姿勢角)で撮像された撮像画像と、学習結果と、に基づいてピストン５の表面を検査する検査部９を備えるようにした。
よって、工数の増大を抑制しつつ、検査対象物表面の検査精度を向上することができる。

【0017】

（２）欠陥部画像は、欠陥部分ではない部分の輝度をゼロとした二値画像にした。
よって、手作業による欠陥部のマーキング作業を削減することができる。

【0018】

（３）欠陥部画像は、撮像アングル(姿勢角)に基づいたコントラストの調整がされて、合成位置で合成されるようにした。
よって、欠陥部画像が明確になり、不良品サンプル画像の精度を向上することができる。

【0019】

（４）合成位置は、ピストン５の表面の正面画像で指定された二次元座標と、ピストン５の三次元データと、に基づいて求められる三次元座標から求めるようにした。
よって、合成位置の精度を向上することができ、より検査精度を向上することができる。

【0020】

（５）機械学習は、ニューラルネットワークを用いた学習である。
よって、特徴量設計が不要となるため、外観検査の判定精度を高めることができる。
また、ニューラルネットワークを用いる場合、十分な不良品サンプルが必要となるが、実施形態１では、擬似的な不良品サンプルを用いているため、実在する不良品サンプルを収集することなく、外観検査の判定精度を向上することができる。

【0021】

（６）機械学習は、ディープラーニングを用いた学習である。
よって、ニューラルネットワークを多層に結合したディープラーニングによる学習を行うため、ニューラルネットワークを用いた場合と比較して、外観検査の判定精度を向上することができる。

【0022】

〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
被検査物は、ピストンに限らないし、学習結果は、ニューラルネットワークやディープラーニングに限らず、機械学習であればよい。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。

【符号の説明】

【0023】

１ 外観検査装置、２ カメラ（撮像部）、３ ロボット（姿勢制御部）、４ コンピュータ、５ ピストン（被検査物）、６ メモリ（記憶部）、７ ＣＰＵ、８ 画像生成部（画像生成装置）、８ａ 合成位置取得部、８ｂ 画像生成部、９ 検査部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】