特開 2023-49847 検査装置および検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023049847

(43)【公開日】2023-04-10

(54)【発明の名称】検査装置および検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230403BHJP

   G06T 7/00 20170101ALI20230403BHJP

   G06T 7/62 20170101ALI20230403BHJP

   G06T 7/90 20170101ALI20230403BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350B

G06T7/62

G06T7/90 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021159836

(22)【出願日】2021-09-29

(71)【出願人】

【識別番号】000232302

【氏名又は名称】日本電産株式会社

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(72)【発明者】

【氏名】石川 博一

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051CA04

2G051EA11

2G051EC01

2G051ED21

5L096AA06

5L096BA03

5L096CA04

5L096DA02

5L096EA43

5L096FA04

5L096FA05

5L096FA54

5L096FA59

5L096FA64

5L096GA02

5L096JA22

5L096KA04

(57)【要約】      （修正有）

【課題】疵と埃などのように、画像データからロジカルに区分けすることが難しい、類似度の高い複数種類の不良要因が混在する場合には、最終的な良否判定の精度が低かった。複数種類の不良要因が混在する場合でも、最終的な良否判定の精度を向上させる。
【解決手段】複数種類の不良要因を学習した学習データにより撮影画像中で不良要因候補を検出して当該複数種類のうちのいずれかに分類する分類処理部と、上記不良要因候補について、分類された種類に応じで設定された判定基準に基づいて、不良要因であるか否かを判定する判定処理部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数種類の不良要因を学習した学習データにより撮影画像中で不良要因候補を検出して当該複数種類のうちのいずれかに分類する分類処理部と、
前記不良要因候補について、分類された種類に応じで設定された判定基準に基づいて、不良要因であるか否かを判定する判定処理部と、
を備える検査装置。

【請求項2】

前記判定処理部は、前記複数種類のうちの一部の種類については、当該一部の種類に分類されたことで前記不良要因候補を不良要因であると判定する請求項１に記載の検査装置。

【請求項3】

前記分類処理部は、前記複数種類の不良要因として、少なくとも疵、汚れ、埃、打痕、および擦れを検出して分類する請求項１または２に記載の検査装置。

【請求項4】

前記撮影画像に対して画像処理を施して不良要因候補を検出する画像処理部を備え、
前記判定処理部は、前記画像処理部で検出された不良要因候補のうち、前記分類処理部でも検出された不良要因候補について不良要因であるか否かを判定する請求項１から３のいずれか１項に記載の検査装置。

【請求項5】

前記画像処理部は、前記画像処理により前記不良要因候補について近似形状を算出し、
前記判定処理部は、前記判定基準として、前記近似形状のサイズに関する基準を用いる請求項４に記載の検査装置。

【請求項6】

前記画像処理部は、前記近似形状として、近似四辺形および近似楕円の少なくとも一方を用いる請求項５に記載の検査装置。

【請求項7】

前記画像処理部は、前記近似形状として近似四辺形を用い、
前記判定処理部は、前記判定基準として、短辺、長辺、および対角線の長さに関する基準を用いる請求項５に記載の検査装置。

【請求項8】

前記判定処理部は、前記判定基準として、前記近似形状の面積に関する基準を用いる請求項５から７のいずれか１項に記載の検査装置。

【請求項9】

前記判定処理部は、前記判定基準として、前記画像処理部によって検出された不良要因候補のドット数に関する基準を用いる請求項４から８のいずれか１項に記載の検査装置。

【請求項10】

前記判定処理部は、前記判定基準として、前記画像処理部によって検出された不良要因候補の色情報に関する基準を用いる請求項４から９のいずれか１項に記載の検査装置。

【請求項11】

複数種類の不良要因を学習した学習データにより撮影画像中で不良要因候補を検出して当該複数種類のうちのいずれかに分類する分類処理過程と、
前記不良要因候補について、分類された種類に応じで設定された判定基準に基づいて、不良要因であるか否かを判定する判定処理過程と、
を経る検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置および検査方法に関する。

【背景技術】

【0002】

従来、製品の外観検査などを自動で行う検査装置が知られ、検査の精度を向上させる工夫が求められる。

【0003】

例えば特許文献１には、被写体像における１フレーム内に存在する複数の疵のそれぞれに順位を付け、上記順位付けた各疵中の上位から所定数の疵を選別してそれぞれに特徴量を付与し、上記特徴量に基づいて各疵を複数のグループに選別し、上記選別したグループ毎に上記各疵候補を統合して１つの疵候補とし、上記各疵候補に対して、疵の種類及びグレードを判定する提案が記載される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－２５７７３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１の技術では、疵と埃などのように、画像データからロジカルに区分けすることが難しい、類似度の高い複数種類の不良要因が混在する場合には、最終的な良否判定の精度が低かった。
そこで、本開示は、複数種類の不良要因が混在する場合でも、最終的な良否判定の精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る検査装置の一態様は、複数種類の不良要因を学習した学習データにより撮影画像中で不良要因候補を検出して当該複数種類のうちのいずれかに分類する分類処理部と、上記不良要因候補について、分類された種類に応じで設定された判定基準に基づいて、不良要因であるか否かを判定する判定処理部と、を備える。
本開示に係る検査方法の一態様は、複数種類の不良要因を学習した学習データにより撮影画像中で不良要因候補を検出して当該複数種類のうちのいずれかに分類する分類処理過程と、上記不良要因候補について、分類された種類に応じで設定された判定基準に基づいて、不良要因であるか否かを判定する判定処理過程と、を経る。

【発明の効果】

【0007】

本開示によれば、複数種類の不良要因が混在する場合でも、最終的な良否判定の精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態の外観検査システムを示す図である。

【図2】図２は、外観検査システムの機能構造を示すブロック図である。

【図3】図３は、外観検査システムにおける処理手順を示すフローチャートである。

【図4】図４は、ＡＩ処理および画像処理が施された撮影画像を模式的に示す図である。

【図5】図５は、内外判定の結果を模式的に示す図である。

【図6】図６は、近似四辺形のサイズを示す図である。

【図7】図７は、記憶部に記憶された良否判定の判定基準を示す図である。

【図8】図８は、画像処理で近似楕円が用いられる例を示す図である。

【図9】図９は、近似楕円のサイズを示す図である。

【図10】図１０は、近似楕円が用いられる場合における良否判定の判定基準を示す図である。

【発明を実施するための形態】

【0009】

以下、添付の図面を参照しながら、本開示の検査装置および検査方法の実施形態を詳細に説明する。但し、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするため、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。また、先に説明した図に記載の要素については、後の図の説明において適宜に参照する場合がある。
図１は、本実施形態の外観検査システムを示す図である。

【0010】

外観検査システム１００は、本開示の検査システムの一実施形態であり、一例として、スマートフォンにアプリケーションプログラムが組み込まれたシステムである。
外観検査システム１００は、カメラ１０１とタッチパネル付きのディスプレイ１０２とを備える。
カメラ１０１は撮影画角Ｒを有し、検査対象２００を撮影する。
図１には、一例として円筒状の周面を有する検査対象２００が示されるが、検査対象２００は平面状の表面を有してもよい。
外観検査システム１００は、検査対象２００が撮影されて得られた画像を用いて外観検査を行い、検査結果をディスプレイ１０２上に表示する。
図２は、外観検査システム１００の機能構造を示すブロック図である。
外観検査システム１００は、制御部１１０と、カメラ部１２０と、記憶部１３０と、入力部１４０と、出力部１５０とを備える。
制御部１１０は、スマートフォンに組み込まれたＣＰＵなどによって担われ、外観検査システム１００全体を制御する。制御部１１０は、記憶部１３０に記憶されたアプリケーションプログラムを読み出して実行する。
カメラ部１２０は、図１に示すカメラ１０１によって担われ、検査対象２００を撮影する。
記憶部１３０は、スマートフォンに組み込まれた記憶素子などによって担われ、外観検査に必要な学習データや判定基準などを記憶する。記憶部１３０には、制御部１１０が使用するアプリケーションプログラムも記憶する。
入力部１４０は図１に示すディスプレイ１０２のタッチパネルによって担われ、撮影条件の情報などが入力される。
出力部１５０は、ディスプレイ１０２の表示機能に相当し、出力部１５０により撮影画像の表示や検査結果の表示などが行われる。
制御部１１０は、カメラ制御部１１１と、ＡＩ処理部１１２と、画像処理部１１３と、判定部１１４とを備える。
カメラ制御部１１１は、カメラ部１２０を制御して検査対象２００の撮影画像を得る。

【0011】

ＡＩ処理部１１２は、本開示にいう分類処理部の一例に相当し、複数種類の不良要因を学習した学習データにより撮影画像中で不良要因候補を検出して当該複数種類のうちのいずれかに分類する。本開示にいう分類処理部による処理は、いわゆるＡＩ処理に限定されず、いわゆる機械学習に基づいた処理であってもよい。
画像処理部１１３は、本開示にいう画像処理部の一例に相当し、撮影画像に対してエッジ処理などの画像処理を施して不良要因候補を検出する。

【0012】

判定部１１４は、本開示にいう判定処理部の一例に相当し、不良要因候補について、分類された種類に応じで設定された判定基準に基づいて、不良要因であるか否かを判定する。本実施形態では、判定部１１４は、ＡＩ処理部１１２と画像処理部１１３との双方により検出された不良要因候補に対して良否判定を行う。言い換えると、判定部１１４は、画像処理部１１３で検出された不良要因候補２１０のうち、ＡＩ処理部１１２でも検出された不良要因候補２１０について不良要因であるか否かを判定する。判定部１１４が良否判定の対象を限定することで処理効率および判定精度が向上する。

【0013】

ＡＩや機械学習などが得意な不良要因の分類と、種類毎の判定基準による良否判定とが組み合わされることにより、複数種類の不良要因が混在しても精度のよい良否判定が可能となる。
図３は、外観検査システム１００における処理手順を示すフローチャートである。
以下、図４～図７を適宜参照しながら図３のフローチャートが示す処理手順について説明する。

【0014】

外観検査システム１００は、ステップＳ１０１で、カメラ制御部１１１によりカメラ部１２０を制御して検査対象２００の撮影を行い、撮影画像を得る。検査対象２００の撮影としては、単発の撮影の他に、検査対象２００の外面を複数に分割した分割撮影もあり得る。分割撮影の場合には、複数の撮影画像が得られ、それら複数の撮影画像が合成されて検査対象２００の展開画像が作成される。以下では説明の便宜上、撮影の種類を特に区別せず、単発撮影で得られる撮影画像も、分割撮影の結果作成される展開画像も含めて、単に「撮影画像」と称する。

【0015】

外観検査システム１００は、撮影画像を得ると、ステップＳ１０２で撮影画像に対してＡＩ処理部１１２によってＡＩ処理を施し、ステップＳ１０３で撮影画像に対して画像処理部１１３によって画像処理を施す。ステップＳ１０２は、本開示にいう分類処理過程の一例に相当する。ＡＩ処理部１１２によるＡＩ処理と画像処理部１１３による画像処理とは互いに独立した処理であるため、ステップＳ１０２とＳ１０３は、図３に示す順とは逆順で実行されてもよいし、並列に実行されてもよい。
図４は、ＡＩ処理および画像処理が施された撮影画像を模式的に示す図である。

【0016】

撮影画像２０５には、画像濃度などの乱れを生じた箇所である不良要因候補２１０が含まれている。不良要因候補２１０は、疵、汚れ、埃、打痕、擦れ、指紋、マーカーの消し忘れなど、複数の原因それぞれによって発生した複数種類の不良要因のいずれかである可能性がある。不良要因候補２１０は、上記複数種類の不良要因のいずれにも該当しない単なる撮影上の画像乱れなどである場合もある。

【0017】

ＡＩ処理部１１２によるＡＩ処理では、記憶部１３０に記憶された学習データに基づいて撮影画像２０５中から不良要因候補２１０が検出され、上記複数種類の不良要因のうちいずれかに分類される。ＡＩ処理では、全ての不良要因候補２１０が検出される訳ではなく、人間の感覚に近い判別によって一部の不良要因候補２１０だけが検出されて分類される。ＡＩ処理部１１２によるＡＩ処理で分類された不良要因候補２１０の検出領域については、分類済領域２２０として座標などが記憶部１３０に記憶される。

【0018】

画像処理部１１３による画像処理では、グレースケール化、二値化、エッジ強調などの処理が組み合わされて不良要因候補２１０が検出される。画像処理で検出された不良要因候補２１０は点群データとして取り扱われ、画像処理部１１３によって点群データに対する近似形状が算出される。図４に示す例では、近似形状として近似四辺形２３０が用いられ、近似四辺形２３０の情報も記憶部１３０に記憶される。つまり、画像処理部１１３は、画像処理により不良要因候補２１０について近似形状（例えば近似四辺形２３０）を算出する。

【0019】

図３のステップＳ１０４では、検出された不良要因候補２１０に対し、判定部１１４による内外判定が行われる。内外判定では、画像処理部１１３で検出された不良要因候補２１０が、ＡＩ処理による分類済領域２２０内に含まれているか否かが判定される。この内外判定は、結果として、不良要因候補２１０が、ＡＩ処理と画像処理とで重複して検出されたか否かを判定することになる。
図５は、内外判定の結果を模式的に示す図である。

【0020】

図５には、画像処理で検出された不良要因候補２１０の近似四辺形２３０と、ＡＩ処理で不良要因候補２１０が検出された分類済領域２２０とが示される。図５に示す例では、画像処理で検出された不良要因候補２１０が分類済領域２２０内に含まれていることの基準として、近似四辺形２３０の４つの角全てが分類済領域２２０内に位置するという基準が用いられる。なお、この基準としては、例えば近似四辺形２３０の４つの角のうち２つ以上（あるいは３つ以上）が分類済領域２２０内に位置するという基準が用いられてもよいし、例えば４つの角のうち少なくとも１つが分類済領域２２０内に位置するという基準が用いられてもよい。

【0021】

図５では、近似四辺形２３０のうち、４つの角全てが分類済領域２２０内に位置する近似四辺形２３０（即ち不良要因候補２１０がＡＩ処理と画像処理とで重複して検出されたと判定された近似四辺形２３０）が実線で示される。また、近似四辺形２３０のうち、４つの角のうち少なくとも１つが分類済領域２２０から外れた近似四辺形２３０が点線で示される。

【0022】

近似四辺形２３０が実線で示された不良要因候補２１０については、図３のステップＳ１０５で判定部１１４による良否判定が行われる。ステップＳ１０５は、本開示にいう判定処理過程の一例に相当する。本実施形態では、判定部１１４は、良否判定の判定基準として、例えば近似形状のサイズに関する基準を用いる。
図６は、近似四辺形２３０のサイズを示す図である。

【0023】

本実施形態において画像処理部１１３は、近似形状として例えば近似四辺形２３０を用い、判定部１１４は、良否判定の判定基準として、例えば近似四辺形２３０の短辺Ｌ１、長辺Ｌ２、および対角線Ｌ３の長さに関する基準を用いる。
図７は、記憶部１３０に記憶された良否判定の判定基準を示す図である。

【0024】

本実施形態では、不良要因のうち一例として、打痕、埃、擦れ、疵、汚れ、および指紋の合計６種類の不良要因それぞれに対する判定基準が設定される。ＡＩ処理では、これら６種類への不良要因候補２１０の分類が行われ、判定部１１４による良否判定ではこれら６種類について個別の判定基準が用いられる。

【0025】

ＡＩ処理部１１２は、複数種類の不良要因として、少なくとも疵、汚れ、埃、打痕、および擦れを検出して分類することが望ましい。不良要因候補２１０がこれらの種類に分類されることで、分類後の判定処理などが容易となる。

【0026】

６種類の不良要因のうち、打痕、埃、および擦れについては、最終的な良否判定までのアルゴリズム（処理）として、「判定アルゴリズム」欄に示されるように、ＡＩ処理とともにロジック処理が用いられる。ロジック処理では、「ロジックでの判定基準」欄の基準による判定が行われる。ロジックでの判定基準としては、図６に示す短辺Ｌ１、長辺Ｌ２、および対角線Ｌ３の長さそれぞれに関する基準が用いられる。不良要因の種類が異なると判定基準も異なる。

【0027】

ＡＩ処理は不良要因の分類に適しているが、学習段階でサイズの情報などを欠落させる処理を経ることが多く、一般的には良否判定に適さない。そこで、ＡＩ処理での分類後に、不良要因の種類毎の判定基準でロジカルな良否判定が行われることで、ＡＩ処理とロジック処理とで相互に欠点が補われる。また、不良要因の種類毎に判定基準が設定されることで、詳細な基準設定が可能となり、過検出が抑制されて良否判定の精度が向上する。

【0028】

また、良否判定の基準として近似形状のサイズに関する基準が用いられることで、複数種類の不良要因それぞれの不良要因候補２１０について近似形状のサイズが似通っていても、分類ごとの判定基準によって高い精度で良否判定することができる。更に、良否判定の基準として近似四辺形２３０の短辺Ｌ１、長辺Ｌ２、および対角線Ｌ３の長さに関する基準が用いられることで、複数種類の不良要因それぞれに適した判定基準が容易に得られる。

【0029】

判定部１１４は、判定基準として、近似形状（例えば近似四辺形２３０）の面積に関する基準を用いてもよい。また、判定部１１４部は、判定基準として、画像処理部１１３によって検出された不良要因候補２１０のドット数に関する基準を用いてもよい。面積やドット数に関する基準が用いられることにより、複数種類の不良要因それぞれに対する詳細な基準設定が可能となる。

【0030】

６種類の不良要因のうち、打痕、埃、および擦れについては、「ロジックでの判定基準」を満たす場合（一例としてＡＮＤ条件で満たす場合）に、「ＯＫ／ＮＧ」欄に示すように「ＮＧ」と判定される。

【0031】

６種類の不良要因のうち、疵および汚れについては、「判定アルゴリズム」欄に示されるように、ＡＩ処理の結果のみで良否判定が行われる。即ち、判定部１１４は、複数種類の不良要因のうちの一部の種類の不良要因については、当該一部の種類に分類されたことで不良要因候補２１０を不良要因であると判定する。これにより、ＡＩや機械学習などでも容易に判定可能な種類の不良要因については処理が容易となり検査が高速化する。

【0032】

６種類の不良要因のうち、指紋についても、「判定アルゴリズム」欄に示されるように、ＡＩ処理の結果のみで良否判定が行われるが、指紋については、指紋と分類された結果として、「ＯＫ／ＮＧ」欄に示すように「ＯＫ」と判定される。指紋は製品の品質などに影響しないからである。

【0033】

図７に示す判定基準が用いられて図３のステップＳ１０５で良否判定が行われると、ステップＳ１０６で判定結果が出力部１５０によってディスプレイ１０２上に表示される。本実施形態では、図７に示す判定基準で１つ以上の不良要因候補２１０について「ＮＧ」と判定された場合には、検査対象２００が「ＮＧ」であるという判定結果がディスプレイ１０２に表示される。

【0034】

上記の例では、画像処理部１１３による画像処理で近似形状として近似四辺形２３０が用いられるが、画像処理部１１３による画像処理では近似形状としては近似楕円が用いられてもよい。画像処理部１１３は、近似形状として、近似四辺形２３０および近似楕円２４０の少なくとも一方を用いることが望ましい。近似四辺形２３０および近似楕円２４０は近似のための画像処理が容易だからである。
図８は、画像処理で近似楕円が用いられる例を示す図である。

【0035】

図８には、一例として打痕２５０が写った撮影画像２０５が示される。打痕２５０に対し、画像処理部１１３による画像処理で不良要因候補２１０として点群データが検出され、点群データについて近似楕円２４０が算出される。不良要因の種類によっては、近似形状として近似楕円２４０が用いられることが望ましい場合がある。なお、点群データ（即ち不良要因候補２１０）に対する近似形状としては、近似四辺形２３０および近似楕円２４０の他に、近似直線などが用いられてもよい。
図９は、近似楕円２４０のサイズを示す図であり、図１０は、近似楕円２４０が用いられる場合における良否判定の判定基準を示す図である。
近似楕円２４０のサイズとしては、例えば、最小半径Ｒ１と最大半径Ｒ２が用いられる。
図１０に示す例では不良要因として打痕、擦れ、（マーカーの）消し忘れ、および鉄粉の４種類が示され、各種類に対応づけられた判定基準が示される。

【0036】

４種類の不良要因のうち、打痕および擦れについては、「判定アルゴリズム」欄に示されるようにＡＩ処理とともにロジック処理が用いられ、「ロジックでの判定基準」欄に示されるように、良否判定の基準としては、最小半径Ｒ１に関する基準と最大半径Ｒ２に関する基準が用いられる。図１０に示す例では、良否判定の基準として更に、色に関する基準も用いられる。即ち、判定部１１４は、判定基準として、画像処理部１１３によって検出された不良要因候補２１０の色情報に関する基準を用いる。例えば打痕などの場合は、深く傷ついていると内部の金属が出現して色に特徴が生じる可能性があるので、色情報に関する基準が用いられると、より詳細な判定が可能となる。

【0037】

４種類の不良要因のうち（マーカーの）消し忘れについては、「判定アルゴリズム」欄に示されるようにＡＩ処理の結果のみで良否判定が行われ、消し忘れに分類されると、「ＯＫ／ＮＧ」欄に示すように「ＮＧ」と判定される。

【0038】

４種類の不良要因のうち鉄粉については、「判定アルゴリズム」欄に示されるようにＡＩ処理とともにロジック処理が用いられ、「ロジックでの判定基準」欄に示されるように、良否判定の基準としては、最小半径Ｒ１に関する基準のみが用いられる。そして、判定基準を満たした場合は、「ＯＫ／ＮＧ」欄に示すように「ＯＫ」と判定される。

【0039】

近似形状として近似楕円２４０が用いられる場合にも、ＡＩ処理による不良要因候補の分類とロジックでの良否判定とが組み合わされることで高精度な良否判定が実現される。

【0040】

なお、ここでは、本開示の検査装置における使用方法の一例として外観検査が挙げられるが、本開示の検査装置の使用方法は上記に限定されず、Ｘ線画像による非破壊検査や超音波画像による断層検査など広範囲に使用可能である。

【0041】

上述した実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した実施の形態ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0042】

１００ ：外観検査システム１００
１０１ ：カメラ１０１
１０２ ：タッチパネル付きディスプレイ１０２
１１０ ：制御部１１０
１２０ ：カメラ部１２０
１３０ ：記憶部１３０
１４０ ：入力部１４０
１５０ ：出力部１５０
１１１ ：カメラ制御部１１１
１１２ ：ＡＩ処理部１１２
１１３ ：画像処理部１１３
１１４ ：判定部１１４
２００ ：検査対象２００
２０５ ：撮影画像２０５
２１０ ：不良要因候補２１０
２２０ ：分類済領域２２０
２３０ ：近似四辺形２３０
２４０ ：近似楕円２４０
２５０ ：打痕２５０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】