ホーム > 特許ランキング > 日立Ａｓｔｅｍｏ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075062
(43)【公開日】2024-06-03
(54)【発明の名称】外観検査装置および外観検査用識別器の生成方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240527BHJP
G06N 20/00 20190101ALI20240527BHJP
G06T 7/00 20170101ALI20240527BHJP
G06V 10/778 20220101ALI20240527BHJP
【ＦＩ】
G01N21/88 J
G06N20/00
G06T7/00 350B
G06T7/00 610C
G06T7/00 300F
G06V10/778
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022186211
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Ａｓｔｅｍｏ株式会社
(74)【代理人】
【識別番号】110002549
【氏名又は名称】弁理士法人綾田事務所
(72)【発明者】
【氏名】関 高輝
(72)【発明者】
【氏名】小野塚 英明
(72)【発明者】
【氏名】一ノ瀬 正寿
(72)【発明者】
【氏名】渡邉 高志
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA07
2G051AB02
2G051CA04
2G051DA03
2G051EA14
2G051EB10
5L096AA06
5L096BA03
5L096CA02
5L096DA01
5L096DA02
5L096FA64
5L096FA67
5L096GA51
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】 検査の判定精度を向上した外観検査装置および外観検査用識別器の生成方法を提供することにある。
【解決手段】 外観検査装置は、外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、不良品画像と疑似画像のペア若しくは２つの疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、境界学習結果に基づいて被検査物の表面を検査する検査部と、を備える。
【選択図】 図１
【解決手段】 外観検査装置は、外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、不良品画像と疑似画像のペア若しくは２つの疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、境界学習結果に基づいて被検査物の表面を検査する検査部と、を備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
被検査物の表面を検査して良品と不良品を識別する外観検査装置であって、
外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、前記不良品画像と前記疑似画像のペア若しくは２つの疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、
前記境界学習結果に基づいて前記被検査物の表面を検査する検査部と、
を備える外観検査装置。
外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、前記不良品画像と前記疑似画像のペア若しくは２つの疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、
前記境界学習結果に基づいて前記被検査物の表面を検査する検査部と、
を備える外観検査装置。
【請求項2】
請求項１に記載の外観検査装置において、
前記疑似画像は、外観検査において不良品と良品の判定基準に近く、かつ、外観検査において良品と判定されるように生成された疑似良品画像であって、
前記不良品画像と前記疑似良品画像を用いた機械学習により前記境界学習結果を得る、
ことを特徴とする外観検査装置。
前記疑似画像は、外観検査において不良品と良品の判定基準に近く、かつ、外観検査において良品と判定されるように生成された疑似良品画像であって、
前記不良品画像と前記疑似良品画像を用いた機械学習により前記境界学習結果を得る、
ことを特徴とする外観検査装置。
【請求項3】
請求項１に記載の外観検査装置において、
前記疑似画像は、前記不良品画像よりも前記判定基準に近いが外観検査において不良品と判定されるように生成された疑似不良品画像と、外観検査において良品と判定されるように生成された疑似良品画像とである、
ことを特徴とする外観検査装置。
前記疑似画像は、前記不良品画像よりも前記判定基準に近いが外観検査において不良品と判定されるように生成された疑似不良品画像と、外観検査において良品と判定されるように生成された疑似良品画像とである、
ことを特徴とする外観検査装置。
【請求項4】
請求項１に記載の外観検査装置において、
前記疑似画像を複数作成し、複数の疑似画像に応じて前記欠陥の特徴を抽出し、前記複数の疑似画像と外観検査において不良品と良品の判定基準との類似度を算出する類似度算出部をさらに有し、
前記複数の疑似画像から前記類似度に応じて選出した特定の疑似画像を用いて機械学習を行う、
ことを特徴とする外観検査装置。
前記疑似画像を複数作成し、複数の疑似画像に応じて前記欠陥の特徴を抽出し、前記複数の疑似画像と外観検査において不良品と良品の判定基準との類似度を算出する類似度算出部をさらに有し、
前記複数の疑似画像から前記類似度に応じて選出した特定の疑似画像を用いて機械学習を行う、
ことを特徴とする外観検査装置。
【請求項5】
請求項１に記載の外観検査装置において、
前記外観検査装置は、所定のトリガーに応じて前記境界機械学習結果をアップデート可能になっている、
ことを特徴とする外観検査装置。
前記外観検査装置は、所定のトリガーに応じて前記境界機械学習結果をアップデート可能になっている、
ことを特徴とする外観検査装置。
【請求項6】
請求項１に記載の外観検査装置において、
前記疑似画像は、前記欠陥の特徴量を変化させて疑似形状を生成し、前記疑似形状を画像に配置することで生成する、
ことを特徴とする外観検査装置。
前記疑似画像は、前記欠陥の特徴量を変化させて疑似形状を生成し、前記疑似形状を画像に配置することで生成する、
ことを特徴とする外観検査装置。
【請求項7】
請求項６に記載の外観検査装置において、
前記疑似画像は、前記不良品画像の領域のうち、前記欠陥のある場所と少なくとも一部が重なる位置に前記疑似形状を配置することで生成する、
ことを特徴とする外観検査装置。
前記疑似画像は、前記不良品画像の領域のうち、前記欠陥のある場所と少なくとも一部が重なる位置に前記疑似形状を配置することで生成する、
ことを特徴とする外観検査装置。
【請求項8】
請求項７に記載の外観検査装置において、
前記疑似画像は、前記疑似形状を前記欠陥のある場所の複数の位置に配置することで生成する、
ことを特徴とする外観検査装置。
前記疑似画像は、前記疑似形状を前記欠陥のある場所の複数の位置に配置することで生成する、
ことを特徴とする外観検査装置。
【請求項9】
被検査物の表面を検査して良品と不良品を識別する外観検査装置用識別器の生成方法であって、
外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成するステップと、
前記被検査物を撮像した検査画像に基づいて前記被検査物が良品か否かを識別する外観検査用識別器を、前記欠陥画像と前記疑似画像のペア若しくは２つの前記疑似画像のペアを用いて良品と不良品の境界を機械学習して前記外観検査用識別器を得るステップと、
を有する外観検査用識別器の生成方法。
外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成するステップと、
前記被検査物を撮像した検査画像に基づいて前記被検査物が良品か否かを識別する外観検査用識別器を、前記欠陥画像と前記疑似画像のペア若しくは２つの前記疑似画像のペアを用いて良品と不良品の境界を機械学習して前記外観検査用識別器を得るステップと、
を有する外観検査用識別器の生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外観検査装置および外観検査用識別器の生成方法に関する。
【背景技術】
【0002】
特許文献１には、検査対象物の良否判定を、一つの疑似画像を生成して行う外観検査装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－２１４９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の外観検査装置では、抽出した疑似画像の良否を人が判定する必要があり、特徴量がブラックボックスの深層学習に適用するには、かなり困難であるという課題を有している。
本発明の目的の一つは、検査の判定精度を向上した外観検査装置および外観検査用識別器の生成方法を提供することにある。
本発明の目的の一つは、検査の判定精度を向上した外観検査装置および外観検査用識別器の生成方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一実施形態における外観検査装置は、外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、不良品画像と疑似画像のペア若しくは２つの疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、境界学習結果に基づいて被検査物の表面を検査する検査部と、を備える。
【発明の効果】
【0006】
よって、本発明にあっては、高効率な学習工数と検出精度の高精度化を両立することができる。
【図面の簡単な説明】
【0007】
【図1】実施形態１の外観検査装置の全体図である。
【図2】実施形態１における境界機械学習結果作成の流れを示すフローチャートである。
【図3】実施形態１における境界機械学習結果作成の動作を説明する第１タイムチャートである。
【図4】実施形態１における境界機械学習結果作成の動作を説明する第２タイムチャートである。
【図5】実施形態１における境界機械学習結果作成の動作を説明する第３タイムチャートである。
【図6】実施形態１における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【図7】実施形態２における境界機械学習結果作成の流れを示すフローチャートである。
【図8】実施形態２における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【図9】実施形態３における境界機械学習結果作成の流れを示すフローチャートである。
【図10】実施形態３における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【図11】実施形態４の外観検査装置の全体図である。
【図12】実施形態４における境界機械学習結果作成の流れを示すフローチャートである。
【図13】実施形態４における境界機械学習結果作成の動作を説明する第３タイムチャートである。
【図14】実施形態４における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【発明を実施するための形態】
【0008】
〔実施形態１〕
図１は、実施形態１の外観検査装置の全体図である。
図１は、実施形態１の外観検査装置の全体図である。
【0009】
実施形態１の外観検査装置1は、カメラ２、ロボット３およびコンピュータ４を備える。
カメラ２は、ピストン（被検査物）５の冠面５ａの画像を撮像する。
なお、ピストン５の冠面５ａは、表面性状が大きく異なる加工面と鋳肌面を有している。
ロボット３は、カメラ２に対するピストン５の相対姿勢を変化させる。
コンピュータ４は、例えばパーソナルコンピュータであり、ＣＰＵ６を備える。
ＣＰＵ６は、検査画像取得部７、疑似画像生成部８、境界機械学習部９、第１記憶部（記憶部）１０ａと第１検査部（検査部）１０ｂを備えるピストン冠面検査用の第１識別器（外観検査用識別器）１０、第２記憶部１１ａと第２検査部１１ｂを備える境界機械学習用の第２識別器１１を備える。
この機械学習は、例えば、ニューラルネットワークを用いた学習であって、実施形態１では、ニューラルネットワークの多層化板である深層学習を採用している。
カメラ２は、ピストン（被検査物）５の冠面５ａの画像を撮像する。
なお、ピストン５の冠面５ａは、表面性状が大きく異なる加工面と鋳肌面を有している。
ロボット３は、カメラ２に対するピストン５の相対姿勢を変化させる。
コンピュータ４は、例えばパーソナルコンピュータであり、ＣＰＵ６を備える。
ＣＰＵ６は、検査画像取得部７、疑似画像生成部８、境界機械学習部９、第１記憶部（記憶部）１０ａと第１検査部（検査部）１０ｂを備えるピストン冠面検査用の第１識別器（外観検査用識別器）１０、第２記憶部１１ａと第２検査部１１ｂを備える境界機械学習用の第２識別器１１を備える。
この機械学習は、例えば、ニューラルネットワークを用いた学習であって、実施形態１では、ニューラルネットワークの多層化板である深層学習を採用している。
【0010】
図２は、実施形態１における境界機械学習結果作成の流れを示すフローチャートである。
【0011】
ステップＳ１では、複数の良品画像と検出したい複数種類の欠陥を含んだ１枚以上の不良品画像を検査画像取得部７から入手する（画像入手ステップ）。
ステップＳ２では、複数の良品画像と１枚以上の検出したい不良品画像により、境界機械学習部９にて境界機械学習させ、製品検査用の境界機械学習結果（特徴量の境界ｂ１）により、閾値(判定基準)ａ（＝０．６）を設定する（閾値設定ステップ）。
ステップＳ３では、複数の良品画像と検出したい１種類の欠陥を含んだ不良品画像により、境界機械学習部９を用いて境界機械学習させ、検出したい欠陥専用の境界機械学習結果を第２識別器１１の第２記憶部１１ａに記憶する（欠陥専用の境界機械学習ステップ）。
ステップＳ４では、検出したい欠陥画像の特徴量を変更させて複数の疑似形状を作成し、作成した疑似形状から複数の疑似欠陥画像を作成し、検出したい欠陥のある場所と少なくとも一部が重なる位置あるいは検出したい欠陥のある場所の複数の位置に、複数の疑似欠陥画像を良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する（疑似欠陥画像作成取得ステップ、疑似画像作成ステップ）。
ステップＳ５では、作成した複数の疑似画像を第２記憶部１１ａに記憶されている検出したい欠陥専用の境界機械学習結果により、第２検査部１１ｂにて検査する（疑似良品画像抽出ステップ）。
ステップＳ６では、検査結果により、良品/不良品の閾値ａ近傍の１枚以上の疑似良品画像を抽出する（疑似良品画像抽出ステップ）。
ステップＳ７では、他の検出したい欠陥があるかを確認する。
ある場合には、ステップＳ１に戻り、ない場合には、ステップ８へ進む。
これにより、新たに他の検出したい欠陥がある場合（所定のトリガー）には、境界機械学習結果をタイムリーにアップデートすることができる。
ステップＳ８では、少なくとも一対の不良品画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶する（再度境界学習結果取得ステップ）。
ステップＳ２では、複数の良品画像と１枚以上の検出したい不良品画像により、境界機械学習部９にて境界機械学習させ、製品検査用の境界機械学習結果（特徴量の境界ｂ１）により、閾値(判定基準)ａ（＝０．６）を設定する（閾値設定ステップ）。
ステップＳ３では、複数の良品画像と検出したい１種類の欠陥を含んだ不良品画像により、境界機械学習部９を用いて境界機械学習させ、検出したい欠陥専用の境界機械学習結果を第２識別器１１の第２記憶部１１ａに記憶する（欠陥専用の境界機械学習ステップ）。
ステップＳ４では、検出したい欠陥画像の特徴量を変更させて複数の疑似形状を作成し、作成した疑似形状から複数の疑似欠陥画像を作成し、検出したい欠陥のある場所と少なくとも一部が重なる位置あるいは検出したい欠陥のある場所の複数の位置に、複数の疑似欠陥画像を良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する（疑似欠陥画像作成取得ステップ、疑似画像作成ステップ）。
ステップＳ５では、作成した複数の疑似画像を第２記憶部１１ａに記憶されている検出したい欠陥専用の境界機械学習結果により、第２検査部１１ｂにて検査する（疑似良品画像抽出ステップ）。
ステップＳ６では、検査結果により、良品/不良品の閾値ａ近傍の１枚以上の疑似良品画像を抽出する（疑似良品画像抽出ステップ）。
ステップＳ７では、他の検出したい欠陥があるかを確認する。
ある場合には、ステップＳ１に戻り、ない場合には、ステップ８へ進む。
これにより、新たに他の検出したい欠陥がある場合（所定のトリガー）には、境界機械学習結果をタイムリーにアップデートすることができる。
ステップＳ８では、少なくとも一対の不良品画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶する（再度境界学習結果取得ステップ）。
【0012】
図３は、実施形態１における境界機械学習結果作成の動作を説明する第１タイムチャートであり、図４は、実施形態１における境界機械学習結果作成の動作を説明する第２タイムチャートであり、図５は、実施形態１における境界機械学習結果作成の動作を説明する第３タイムチャートであり、図６は、実施形態１における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【0013】
画像入手ステップでは、複数の良品画像と検出したい複数種類の欠陥を含んだ１枚以上の不良品画像を検査画像取得部７から入手する。
閾値（判定基準）設定ステップでは、検査画像取得部７から入手した複数の良品画像と検出したい複数種類の欠陥を含んだ１枚以上の不良品画像により、境界機械学習を行い、境界機械学習結果を入手する。
さらに、入手した境界機械学習結果から良品と不良品とをスコア（類似度）で整理し、良品と不良品との閾値ａを設定する。例えば、０．６に設定する。
閾値（判定基準）設定ステップでは、検査画像取得部７から入手した複数の良品画像と検出したい複数種類の欠陥を含んだ１枚以上の不良品画像により、境界機械学習を行い、境界機械学習結果を入手する。
さらに、入手した境界機械学習結果から良品と不良品とをスコア（類似度）で整理し、良品と不良品との閾値ａを設定する。例えば、０．６に設定する。
【0014】
欠陥専用の境界機械学習ステップでは、複数の良品画像と検出したい１種類の欠陥を含んだ不良品画像により、境界機械学習部９を用いて境界機械学習させ、検出したい欠陥専用の境界機械学習結果を第２識別器１１の第２記憶部１１ａに記憶する。
【0015】
図５は、実施形態１における境界機械学習結果作成の動作を説明する第３タイムチャートである。
【0016】
疑似欠陥画像ステップでは、検出したい欠陥画像の欠陥の特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更させて複数の疑似形状の疑似欠陥画像を作成する。
なお、図５では、６種類しか記載していないが、例えば、２０種類程度作成する。
疑似画像作成ステップでは、検出したい欠陥画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置に、複数作成した疑似欠陥画像を良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する。
検出したい欠陥画像の欠陥の特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更させて複数の疑似形状を作成するようにしたので、複数の疑似形状から作成する複数の疑似画像を容易に作成することができる。
また、検出したい欠陥画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置に、複数作成した疑似欠陥画像を良品画像に配置して複数の疑似画像を作成するようにしたので、背景や位置情報を除いた欠陥部分のみの特徴量を抽出可能となり、より高精度なペアを見つけることができる。
なお、図５では、６種類しか記載していないが、例えば、２０種類程度作成する。
疑似画像作成ステップでは、検出したい欠陥画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置に、複数作成した疑似欠陥画像を良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する。
検出したい欠陥画像の欠陥の特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更させて複数の疑似形状を作成するようにしたので、複数の疑似形状から作成する複数の疑似画像を容易に作成することができる。
また、検出したい欠陥画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置に、複数作成した疑似欠陥画像を良品画像に配置して複数の疑似画像を作成するようにしたので、背景や位置情報を除いた欠陥部分のみの特徴量を抽出可能となり、より高精度なペアを見つけることができる。
【0017】
図６は、実施形態１における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【0018】
良品と不良品の閾値ａ（＝０．６）に近い疑似画像を少なくとも１つ生成するステップである疑似良品画像抽出ステップでは、作成した複数の疑似画像を第２記憶部１１ａに記憶されている検出したい欠陥専用の境界機械学習結果により第２検査部１１ｂにて検査し、検査結果から良品と不良品とをスコア（類似度）で整理し、良品/欠陥品の閾値ａ（＝０．６）近傍の１枚以上の疑似良品画像を抽出する。
【0019】
外観検査用識別器を得るステップである再度境界学習結果取得ステップでは、少なくとも一対の欠陥画像と閾値ａ（＝０．６）近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶する。
これにより、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、修正した境界学習結果を第１記憶部１０ａに記憶させることで、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化することができる。
これにより、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、修正した境界学習結果を第１記憶部１０ａに記憶させることで、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化することができる。
【0020】
次に、実施形態１の作用効果を説明する。
実施形態１では、以下のような作用効果を奏する。
実施形態１では、以下のような作用効果を奏する。
【0021】
（１）外観検査装置１の第１識別器１０の第１記憶部１０ａは、少なくとも一対の欠陥画像と閾値ａ近傍の疑似良品画像をペアとして、境界機械学習部９にて境界機械学習させた境界学習結果（特徴量の境界ｂ）を記憶し、第１識別器１０の検査部１０ｂは、この記憶した境界学習結果（特徴量の境界ｂ）に基づいてピストン５の冠面５ａを検査するようにした。
よって、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化させることができる。
よって、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化させることができる。
【0022】
（２）新たに他の検出したい欠陥がある場合には、再度境界機械学習を行うようにした。
よって、境界機械学習結果をタイムリーにアップデートすることができる。
よって、境界機械学習結果をタイムリーにアップデートすることができる。
【0023】
（３）検出したい欠陥画像の欠陥の特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更させて複数の疑似形状の疑似欠陥画像を作成するようにした。
よって、複数の疑似形状から作成する複数の疑似欠陥画像を容易に作成することができる。
よって、複数の疑似形状から作成する複数の疑似欠陥画像を容易に作成することができる。
【0024】
（４）検出したい欠陥画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置に、複数の疑似形状から作成する複数の疑似欠陥画像を良品画像に配置して複数の疑似画像を作成するようにした。
よって、背景や位置情報を除いた欠陥のみの特徴量を抽出可能となり、より高精度なペアを見つけることができる。
よって、背景や位置情報を除いた欠陥のみの特徴量を抽出可能となり、より高精度なペアを見つけることができる。
【0025】
【0026】
実施形態１では、少なくとも一対の欠陥画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶していたが、実施形態２では、少なくとも一対の閾値ａ近傍の疑似欠陥画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶するようにしている。
【0027】
すなわち、図７、図８に示すように、実施形態１の疑似良品画像抽出ステップに代えて、疑似良品画像・疑似不良品画像抽出ステップとしている。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態２では、実施形態１と同様の作用効果を奏する。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態２では、実施形態１と同様の作用効果を奏する。
【0028】
【0029】
実施形態１では、少なくとも一対の不良品画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶していたが、実施形態３では、少なくとも一対の不良品画像と閾値ａ近傍の疑似不良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶するようにしている。
【0030】
すなわち、図９、図１０に示すように、実施形態１の疑似良品画像抽出ステップに代えて、疑似不良品画像抽出ステップとしている。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態３では、実施形態１と同様の作用効果を奏する。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態３では、実施形態１と同様の作用効果を奏する。
【0031】
〔実施形態４〕
図１１は、実施形態４の外観検査装置の全体図である。
図１１は、実施形態４の外観検査装置の全体図である。
【0032】
実施形態４の外観検査装置では、実施形態１の外観検査装置に、さらに、類似度算出部１２を有している。
【0033】
図１２は、実施形態４における境界機械学習結果作成の流れを示すフローチャートであり、図１３は、実施形態４における境界機械学習結果作成の動作を説明する第３タイムチャートであり、図１４は、実施形態４における境界機械学習結果作成の動作を説明する第４タイムチャートである。
【0034】
図１２の疑似欠陥画像作成ステップと疑似画像作成ステップであるステップＳ４ａに示すように、類似度算出部１２は、検出したい欠陥画像から特徴量を変更した閾値ａ近傍の複数の疑似良品画像を、最小２乗法でスコア推定式を算出して作成する。
具体的には、図１３に示すように、特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更して、スコア推定式を用いて、閾値ａ近傍の複数の疑似良品画像を作成し、不良品画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置の良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する。
なお、図１３では、４種類しか記載していないが、例えば、２０種類程度作成する。
すなわち、図１４に示すように、実施形態１では、一対の不良品画像と閾値ａ近傍の疑似良品画像をペアとしていたが、実施形態４では、一つの不良品画像と複数の閾値ａ近傍の疑似良品画像をペアとしている。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
具体的には、図１３に示すように、特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更して、スコア推定式を用いて、閾値ａ近傍の複数の疑似良品画像を作成し、不良品画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置の良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する。
なお、図１３では、４種類しか記載していないが、例えば、２０種類程度作成する。
すなわち、図１４に示すように、実施形態１では、一対の不良品画像と閾値ａ近傍の疑似良品画像をペアとしていたが、実施形態４では、一つの不良品画像と複数の閾値ａ近傍の疑似良品画像をペアとしている。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【0035】
次に、実施形態４の作用効果を説明する。
実施形態４では、実施形態１の作用効果に加え、以下のような作用効果を奏する。
実施形態４では、実施形態１の作用効果に加え、以下のような作用効果を奏する。
【0036】
（１）一つの不良品画像と複数の閾値近傍の疑似良品画像をペアとするようにした。
よって、境界学習結果（特徴量の境界ｂ）の設定精度を向上することができる。
よって、境界学習結果（特徴量の境界ｂ）の設定精度を向上することができる。
【0037】
〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、ニューラルネットワークの多層化板である深層学習に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
なお、実施形態４では、一対の不良品画像と複数の閾値近傍の疑似良品画像をペアとするようにしているが、実施形態２、３の疑似画像にも適用可能である。
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、ニューラルネットワークの多層化板である深層学習に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
なお、実施形態４では、一対の不良品画像と複数の閾値近傍の疑似良品画像をペアとするようにしているが、実施形態２、３の疑似画像にも適用可能である。
【符号の説明】
【0038】
１ 外観検査装置、１０ 第１識別器（外観検査用識別器）、１０ａ 第１記憶部（記憶部）、１０ｂ 第１検査部（検査部）、１２ 類似度算出部、ａ 閾値（判定基準）、ｂ 境界（境界学習結果）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2022-11-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項1】
被検査物の表面を検査して良品と不良品を識別する外観検査装置であって、
外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、前記不良品画像と前記疑似画像のペア若しくは２つの前記疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、
前記境界学習結果に基づいて前記被検査物の表面を検査する検査部と、
を備える外観検査装置。
外観検査において不良品と判定される欠陥が含まれる不良品画像に基づいて、外観検査において不良品と良品の判定基準に近い疑似画像を少なくとも１つ生成し、前記不良品画像と前記疑似画像のペア若しくは２つの前記疑似画像のペアを用いて良品と不良品の境界を機械学習した境界学習結果を記憶した記憶部と、
前記境界学習結果に基づいて前記被検査物の表面を検査する検査部と、
を備える外観検査装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
ステップＳ１では、複数の良品画像と検出したい複数種類の欠陥を含んだ１枚以上の不良品画像を検査画像取得部７から入手する（画像入手ステップ）。
ステップＳ２では、複数の良品画像と１枚以上の検出したい不良品画像により、境界機械学習部９にて境界機械学習させ、製品検査用の境界機械学習結果（特徴量の境界ｂ１）により、閾値(判定基準)ａ（＝０．６）を設定する（閾値設定ステップ）。
ステップＳ３では、複数の良品画像と検出したい１種類の欠陥を含んだ不良品画像により、境界機械学習部９を用いて境界機械学習させ、検出したい欠陥専用の境界機械学習結果を第２識別器１１の第２記憶部１１ａに記憶する（欠陥専用の境界機械学習ステップ）。
ステップＳ４では、検出したい欠陥画像の特徴量を変更させて複数の疑似形状を作成し、作成した疑似形状から複数の疑似欠陥画像を作成し、検出したい欠陥のある場所と少なくとも一部が重なる位置あるいは検出したい欠陥のある場所の複数の位置に、複数の疑似欠陥画像を良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する（疑似欠陥画像作成取得ステップ、疑似画像作成ステップ）。
ステップＳ５では、作成した複数の疑似画像を第２記憶部１１ａに記憶されている検出したい欠陥専用の境界機械学習結果により、第２検査部１１ｂにて検査する（疑似良品画像抽出ステップ）。
ステップＳ６では、検査結果により、良品/不良品の閾値ａ近傍の１枚以上の疑似良品画像を抽出する（疑似良品画像抽出ステップ）。
ステップＳ７では、他の検出したい欠陥があるかを確認する。
ある場合には、ステップＳ１に戻り、ない場合には、ステップ８へ進む。
これにより、新たに他の検出したい欠陥がある場合（所定のトリガー）には、境界機械学習結果をタイムリーにアップデートすることができる。
ステップＳ８では、不良品画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶する（再度境界学習結果取得ステップ）。
ステップＳ２では、複数の良品画像と１枚以上の検出したい不良品画像により、境界機械学習部９にて境界機械学習させ、製品検査用の境界機械学習結果（特徴量の境界ｂ１）により、閾値(判定基準)ａ（＝０．６）を設定する（閾値設定ステップ）。
ステップＳ３では、複数の良品画像と検出したい１種類の欠陥を含んだ不良品画像により、境界機械学習部９を用いて境界機械学習させ、検出したい欠陥専用の境界機械学習結果を第２識別器１１の第２記憶部１１ａに記憶する（欠陥専用の境界機械学習ステップ）。
ステップＳ４では、検出したい欠陥画像の特徴量を変更させて複数の疑似形状を作成し、作成した疑似形状から複数の疑似欠陥画像を作成し、検出したい欠陥のある場所と少なくとも一部が重なる位置あるいは検出したい欠陥のある場所の複数の位置に、複数の疑似欠陥画像を良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する（疑似欠陥画像作成取得ステップ、疑似画像作成ステップ）。
ステップＳ５では、作成した複数の疑似画像を第２記憶部１１ａに記憶されている検出したい欠陥専用の境界機械学習結果により、第２検査部１１ｂにて検査する（疑似良品画像抽出ステップ）。
ステップＳ６では、検査結果により、良品/不良品の閾値ａ近傍の１枚以上の疑似良品画像を抽出する（疑似良品画像抽出ステップ）。
ステップＳ７では、他の検出したい欠陥があるかを確認する。
ある場合には、ステップＳ１に戻り、ない場合には、ステップ８へ進む。
これにより、新たに他の検出したい欠陥がある場合（所定のトリガー）には、境界機械学習結果をタイムリーにアップデートすることができる。
ステップＳ８では、不良品画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶する（再度境界学習結果取得ステップ）。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【0019】
外観検査用識別器を得るステップである再度境界学習結果取得ステップでは、欠陥画像と閾値ａ（＝０．６）近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶する。
これにより、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、修正した境界学習結果を第１記憶部１０ａに記憶させることで、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化することができる。
これにより、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、修正した境界学習結果を第１記憶部１０ａに記憶させることで、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化することができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【0021】
（１）外観検査装置１の第１識別器１０の第１記憶部１０ａは、欠陥画像と閾値ａ近傍の疑似良品画像をペアとして、境界機械学習部９にて境界機械学習させた境界学習結果（特徴量の境界ｂ）を記憶し、第１識別器１０の検査部１０ｂは、この記憶した境界学習結果（特徴量の境界ｂ）に基づいてピストン５の冠面５ａを検査するようにした。
よって、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化させることができる。
よって、目標とする境界ｂ０と境界学習結果による境界ｂとをほぼ一致させることができ、境界学習結果を高効率に構築できるとともに、第１識別機１０によるピストン５の冠面５ａの良品／不良品の検査精度を高精度化させることができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【0026】
実施形態１では、欠陥画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶していたが、実施形態２では、閾値ａ近傍の疑似欠陥画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶するようにしている。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【0029】
実施形態１では、不良品画像と閾値ａ近傍の疑似良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶していたが、実施形態３では、不良品画像と閾値ａ近傍の疑似不良品画像をペアとして、再度製品検査用を境界機械学習部９にて境界機械学習させ、境界学習結果を修正し、修正した境界学習結果（特徴量の境界ｂ）を第１記憶部１０ａおよび第２記憶部１１ａに記憶するようにしている。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【0034】
図１２の疑似欠陥画像作成ステップと疑似画像作成ステップであるステップＳ４ａに示すように、類似度算出部１２は、検出したい欠陥画像から特徴量を変更した閾値ａ近傍の複数の疑似良品画像を、最小２乗法でスコア推定式を算出して作成する。
具体的には、図１３に示すように、特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更して、スコア推定式を用いて、閾値ａ近傍の複数の疑似良品画像を作成し、不良品画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置の良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する。
なお、図１３では、４種類しか記載していないが、例えば、２０種類程度作成する。
すなわち、図１４に示すように、実施形態１では、不良品画像と閾値ａ近傍の疑似良品画像をペアとしていたが、実施形態４では、一つの不良品画像と複数の閾値ａ近傍の疑似良品画像をペアとしている。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
具体的には、図１３に示すように、特徴量（角度Ａ、欠陥輝度Ｂ、長径Ｌ、短径Ｓ）を変更して、スコア推定式を用いて、閾値ａ近傍の複数の疑似良品画像を作成し、不良品画像の欠陥のある場所と少なくとも一部が重なる位置あるいは複数の位置の良品画像に配置して複数の疑似画像を疑似画像生成部８で作成する。
なお、図１３では、４種類しか記載していないが、例えば、２０種類程度作成する。
すなわち、図１４に示すように、実施形態１では、不良品画像と閾値ａ近傍の疑似良品画像をペアとしていたが、実施形態４では、一つの不良品画像と複数の閾値ａ近傍の疑似良品画像をペアとしている。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【0037】
〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、ニューラルネットワークの多層化板である深層学習に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
なお、実施形態４では、一つの不良品画像と複数の閾値近傍の疑似良品画像をペアとするようにしているが、実施形態２、３の疑似画像にも適用可能である。
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、ニューラルネットワークの多層化板である深層学習に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
なお、実施形態４では、一つの不良品画像と複数の閾値近傍の疑似良品画像をペアとするようにしているが、実施形態２、３の疑似画像にも適用可能である。