(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023109552
(43)【公開日】2023-08-08
(54)【発明の名称】欠陥検査装置、欠陥検査方法およびプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20230801BHJP
G06T 7/00 20170101ALI20230801BHJP
G06T 7/62 20170101ALI20230801BHJP
G01N 21/958 20060101ALN20230801BHJP
【FI】
G01N21/88 J
G06T7/00 350B
G06T7/00 610
G06T7/62
G01N21/958
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022011119
(22)【出願日】2022-01-27
(71)【出願人】
【識別番号】000001133
【氏名又は名称】株式会社小糸製作所
(74)【代理人】
【識別番号】110004060
【氏名又は名称】弁理士法人あお葉国際特許事務所
(74)【代理人】
【識別番号】100077986
【弁理士】
【氏名又は名称】千葉 太一
(74)【代理人】
【識別番号】100139745
【弁理士】
【氏名又は名称】丹波 真也
(74)【代理人】
【識別番号】100187182
【弁理士】
【氏名又は名称】川野 由希
(74)【代理人】
【識別番号】100207642
【弁理士】
【氏名又は名称】簾内 里子
(72)【発明者】
【氏名】籾山 拓三
(72)【発明者】
【氏名】栗田 直人
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA86
2G051AB01
2G051AB12
2G051BA08
2G051BA20
2G051BB03
2G051CA03
2G051CA04
2G051CB02
2G051EB01
2G051EB05
2G051EC01
2G051ED09
2G051ED21
5L096AA06
5L096BA03
5L096CA02
5L096CA17
5L096DA02
5L096EA31
5L096FA02
5L096FA06
5L096FA59
5L096GA51
5L096HA11
5L096JA11
5L096JA24
5L096KA04
(57)【要約】
【課題】 欠陥の判定精度を向上した欠陥検査装置を提供する。
【解決手段】 欠陥検査装置100は、被検査体90を照明して撮像した画像の輝度値の大きさに基いて欠陥を検出する欠陥検査装置であって、輝度値の大きさが所定の範囲を逸脱する領域Rの面積S
Rが、第1の面積閾値X以上となる場合に、領域Rが欠陥候補であると判定する欠陥候補判定部53と、欠陥候補領域の形状が中実の円形状である場合に、領域がR欠陥であると判定する欠陥判定部54と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被検査体を照明して撮像した画像の輝度の大きさに基いて欠陥を検出する欠陥検査装置であって、
前記輝度の大きさが所定の範囲を逸脱する領域の面積が、第1の面積閾値以上となる場合に、前記領域が欠陥候補であると判定する欠陥候補判定部と、
欠陥候補であるとされた前記領域の形状が中実の円形状である場合に、前記領域が欠陥であると判定する欠陥判定部と、
を備えることを特徴とする欠陥検査装置。
【請求項2】
前記欠陥判定部は、前記画像から算出した前記領域の幅および高さを、それぞれ幅および高さとする楕円の面積に対する、前記領域が占める面積の比率である楕円比率が所定の閾値以上である場合に、前記領域が中実の円形状であると判定することを特徴とする請求項1に記載の欠陥検査装置。
【請求項3】
前記欠陥判定部は、前記領域の面積が第2の面積閾値以上となる場合に、前記領域が欠陥であると判定することを特徴とする請求項1または2に記載の欠陥検査装置。
【請求項4】
前記楕円比率の閾値は、0.76~0.95であることを特徴とする請求項2または請求項2に従属する請求項3に記載の欠陥検査装置。
【請求項5】
前記楕円比率の閾値は、0.86~0.90であることを特徴とする請求項4に記載の欠陥検査装置。
【請求項6】
前記欠陥は、ブツ不良およびタレ不良であることを特徴とする請求項1または2に記載の欠陥検査装置。
【請求項7】
前記欠陥判定部は、前記領域が中実の円形状であるとする判定を、被検査体を照明して撮像した学習用画像と、前記学習用画像内の輝度の大きさが所定の範囲を逸脱する領域が中実の円形状であるか否かとが対応付けられた学習用データを機械学習して生成された学習済モデルを用いて実行することを特徴とする請求項1に記載の欠陥検査装置。
【請求項8】
被検査体を照明して撮像した画像の輝度の大きさに基いて欠陥を判定する欠陥検査方法であって、
前記輝度の大きさが所定の範囲を逸脱する領域の面積が、第1の面積閾値以上となる場合に、前記領域が欠陥候補であると判定し、
欠陥候補であるとされた前記領域の形状が中実の円形状である場合に、前記領域が欠陥であると判定する
ことを特徴とする欠陥検査方法。
【請求項9】
コンピュータに、請求項8に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、欠陥検査装置、欠陥検査方法およびプログラムに関し、より詳細には、透光性樹脂部材の表面を検査する欠陥検査装置、欠陥検査方法およびプログラムに関する。
【背景技術】
【0002】
従来、透光性樹脂部材の表面を検査する欠陥検査装置として、照明光を被検査体である透光性樹脂部材に照射して、その画像を撮像し、画像における輝度の大きさに基いて表面欠陥の有無を検査する欠陥検査装置が知られている(例えば、特許文献1参照)。
【0003】
従来の欠陥検査装置では、画像のうち輝度値が所定の範囲を逸脱した領域の面積が所定の面積閾値以上となる場合に該領域が欠陥であると判定する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、輝度値が所定の範囲を逸脱する領域の面積が所定の面積閾値以上となることを判定条件とする従来の検査装置では、良品として許容されるレベルの塗装ムラなどの品質のばらつきを、欠陥と誤判定してしまう場合があるという問題があった。
【0006】
図13を参照して具体的に説明する。
図13は、従来の検査装置における欠陥判定条件を説明する図である。従来の装置では、領域Rの面積を画素数で算出し、面積が所定の面積閾値(図示の例では40ピクセル)以上となる場合に領域Rが欠陥であると判定する。しかし、2欄(右欄)に示すような、実際には、欠陥でない場合でも、領域Rの面積S
Rが所定の面積閾値を以上となれば、欠陥であると判定し、誤判定となっていた。
【0007】
発明者らが鋭意検討した結果、誤判定が起こる場合は、良品レベルの塗装ムラがある場合に起こり、この塗装ムラと、欠陥であるブツ不良、タレ不良では、撮像した画像における、輝度値が所定の範囲を逸脱する領域の形状に違いがあることわかった。具体的には、欠陥であるブツ不良、タレ不良では、
図13の1欄(左欄)や
図6のサンプルNo.6~10に示すような、中実の略円または略楕円形状である。一方、誤判定を引き起こすような塗装ムラでは、
図13の2欄(右欄)や
図6のサンプルNo.1~5に示すような、中実の円形状とは言えない歪な形状であることが分かった。そこで、この差異を考慮して欠陥であるか否かを判定することで欠陥の判定精度が向上することを見出した。
【0008】
このように、本発明は、欠陥の判定精度を向上した欠陥検査装置、欠陥検査方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の1つの態様に係る欠陥検査装置は、被検査体を照明して撮像した画像の輝度の大きさに基いて欠陥を検出する欠陥検査装置であって、前記輝度の大きさが所定の範囲を逸脱する領域の面積が、第1の面積閾値以上となる場合に、前記領域が欠陥候補であると判定する欠陥候補判定部と、欠陥候補であるとされた前記領域の形状が中実の円形状である場合に、前記領域が欠陥であると判定する欠陥判定部と、を備えることを特徴とする。
【0010】
ここで、中実の円形状とは中実の略円または略楕円形状をいい、矩形の画素から構成されるため外縁部が滑らかであることを要さない。
【0011】
従来の方法では、輝度の大きさが所定の範囲を逸脱する領域の面積が第1の面積閾値以上となる場合に、欠陥であると判定するため、良品レベルの塗装ムラでも第1の面積閾値以上であれば欠陥であると誤判定されていた。上記の通り面積に加えて形状で判断することにより、領域Rの形状が中実の円形状でなければ、誤判定を防ぎ、欠陥検出の精度を向上することができる。
【0012】
また、上記態様において、前記欠陥判定部は、前記画像から算出した前記領域の幅および高さを、それぞれ幅および高さとする楕円の面積に対する、前記領域が占める面積の比率である楕円比率が所定の閾値以上である場合に、前記領域が中実の円形状であると判定することも好ましい。
【0013】
また、上記態様において、前記欠陥判定部は、前記領域の面積が第2の面積閾値以上となる場合に、前記欠陥候補領域が欠陥であると判定することも好ましい。
【0014】
上記態様において、前記楕円比率の閾値は、0.76~0.95であることも好ましい。
【0015】
上記態様において、前記楕円比率の閾値は、0.86~0.90であることも好ましい。
【0016】
上記態様において、前記欠陥は、ブツ不良およびタレ不良であることも好ましい。
【0017】
上記態様において、前記欠陥判定部は、前記領域が中実の円形状であるとする判定を、被検査体を照明して撮像した学習用画像と、前記学習用画像内の輝度の大きさが所定の範囲を逸脱する領域が中実の円形状であるか否かとが対応付けられた学習用データを機械学習して生成された学習済モデルを用いて実行することも好ましい。
【0018】
また、本発明の別の態様に係る欠陥検査方法は、被検査体を照明して撮像した画像の輝度の大きさに基いて欠陥を判定する欠陥検査方法であって、前記輝度の大きさが所定の範囲を逸脱する領域の面積が、第1の面積閾値以上となる場合に、前記領域が欠陥候補であると判定し、欠陥候補であるとされた前記領域の形状が中実の円形状である場合に、前記領域が欠陥であると判定することを特徴とする。
【0019】
また、本発明の別の態様に係るプログラムは、上記態様に係る欠陥検査方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0020】
上記態様によれば、欠陥の判定精度を向上した欠陥検査装置、欠陥検査方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0021】
【
図1】第1の実施の形態に係る欠陥検査装置の全体構成を示す図である。
【
図2】(A)~(C)は、同欠陥検査装置による欠陥検出方法を説明する図である。
【
図3】同欠陥検査装置による欠陥判定方法を説明する図である。
【
図4】同欠陥検査装置における検査の処理のフローチャートである。
【
図5】同欠陥検査装置による欠陥候補領域判定および欠陥判定の処理のフローチャートである。
【
図6】同欠陥検査装置を用いた実験結果を示す図である。
【
図7】同欠陥検査装置の変形例による欠陥候補領域判定および欠陥判定の処理のフローチャートである。
【
図8】同変形例に係る欠陥検査装置による欠陥判定方法を説明する図である。
【
図9】第2の実施の形態に係る欠陥検査装置の全体構成を示す図である。
【
図10】同欠陥検査装置による欠陥判定のための学習モデル生成の概要を説明する図である。
【
図11】同欠陥検査装置による欠陥候補領域判定および欠陥判定の処理のフローチャートである。
【
図12】第3の実施の形態に係る欠陥検査装置の全体構成を示す図である。
【
図13】従来の欠陥検査装置による欠陥判定方法を説明する図である。
【発明を実施するための形態】
【0022】
以下、本発明の好適な実施の形態を、図面を参照しながら説明する。実施の形態は、本発明を限定するものではなく、例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。また、以下の説明において、同一の機械構成を備える構成要素には同一の名称を付し、さらに同一の機能を備える構成要素には同一の符号を付して重複する説明は適宜省略する。なお、各図において、構成要素は、発明の主題を変更しない範囲で簡略化して図示されている。また、説明の便宜のため、部材間の寸法比が変更されている場合がある。
【0023】
(第1の実施の形態)
(欠陥検査装置100の構成)
図1は、第1の実施の形態に係る欠陥検査装置100の全体構成を示す図である。
【0024】
欠陥検査装置100は、本発明を、車両用前照灯の前面カバーを被検査体(ワーク90)として、ワーク90の表面の欠陥を検査する装置として適用したものである。欠陥検査装置100は、概略として、照明部10、撮像部20、治具30、および検査部40を備える。
【0025】
ワーク90は、箱状のランプボディ(図示せず)の開口を覆う蓋状の形状を有し、ポリカーボネートやポリメタクリル酸メチル等の透光性樹脂で構成された、透光性樹脂部材である。
図1では、ワーク90が鉛直断面によって示されている。
【0026】
ワーク90には、透明着色塗料、ハードコート塗料、防曇コート塗料等による塗装が施される場合がある。欠陥検査装置100は、主として、ワーク90の表面に生じるブツ不良やタレ不良を検出する。ブツ不良とは、塗料に混入したゴミや顔料の凝集物等の異物や、塗装後に付着した異物(砂埃、糸くず等)により塗装面に生じる凸部である。タレ不良とは、塗装時に塗料が流れ、局所的に生じる塗膜厚が不均一となる部分である。
【0027】
照明部10は、ワーク90の下方に配置され、ワーク90の一方の面92に白色の光を照射する。照明部10から出射される光は、ワーク90の一方の面92から他方の面91側に向かってワーク90を透過する。照明部10としては、例えば、複数のLED(Light・Emitting・Diode)が所定の方向に並列されたライン照明や、複数のLEDが二次元配列された面状照明等が挙げられる。また、照明部10の数は特に限定されず、1つであってもよく、2つ以上であってもよい。
【0028】
撮像部20は、いわゆるデジタルカメラである。撮像部20は、ワーク90の上方に、ワーク90を介して照明部10と対向するように配置されている。撮像部20は、照明部10が点灯している状態で、ワーク90を撮像し、照明部10からの光を透過している状態のワーク90の検査領域全体の画像を取得して制御演算部41に出力する。撮像部20としては、例えば、フォトダイオードを備えるCCD(Charge・Coupled・Device)や、CMOS(Complementar・Metal・Oxide・Semiconductor)等の固体撮像素子を直線状に配列したラインセンサカメラや、固体撮像素子を2次元状に配列したエリアセンサカメラを用いることができる。
【0029】
撮像部20がエリアセンサカメラである場合、照明部10には面状照明を採用し、ワーク90の検査領域全体の画像を取得するように構成される。また、撮像部20がラインセンサカメラである場合、照明部10にはライン照明を採用し、照明部10と、撮像部20との間を横切るようにワーク90を相対移動させながら、撮像部20が所定の時間間隔で撮像することで、検査領域全体の画像を取得するように構成される。
【0030】
治具30は、撮像部20と照明部10との間で、ワーク90の検査対象領域が撮像部20に向かうように保持している。この時、検査対象であるワーク90の表面91または92が、撮像部20の焦点の範囲に入るようになっている。
【0031】
検査部40は、制御演算部41と、記憶部42と、操作部43と、表示部44とを備える。検査部40は、所謂情報処理装置であり、典型的にはパーソナルコンピュータとして構成されている。
【0032】
制御演算部41は、例えば、少なくとも1つのプロセッサ(例えば、CPU(Central・Processing・Unit)とメモリ(例えば、DRAM(Dynamic・Ramdom・Access・Memory),SRAM(Static・RAM)等)を備えるマイクロコンピュータである。この時、制御演算部41は、画像処理のためにGPU(Graphical・Processing・Unit)を備えていてもよい。制御演算部41の機能がソフトウェア的に実現される場合、制御演算部41は、記憶部42に記憶されたプログラムおよびデータを読み出してメモリにロードするとともに、メモリに読み出されたプログラムのコマンドに基づいて以下に説明する機能部の機能を実行する。
【0033】
あるいは、制御演算部41を、各機能部の機能を実施する演算プログラムをハードウェアで構築したFPGA(Field・Programmable・Gate・Array)等のハードウェアで構成してもよい。
【0034】
制御演算部41は、機能部として、画像取得部51と、画像処理部52と、欠陥候補判定部63と、欠陥判定部64とを備える。
【0035】
画像取得部51は、照明部10の点消灯および撮像部20を制御して、照明されたワーク90の被検査領域の画像を取得する。
【0036】
画像処理部52は、取得された画像に、ノイズ除去、γ補正、階調値の部分拡大強調等を実施して、正常領域と、欠陥候補領域との輝度差を強調する処理を行う。このような処理は、ワーク90を照明して画像を取得し、輝度値に基づいて欠陥を検査する分野において公知であるので詳細な説明は省略する。
【0037】
欠陥候補判定部53は、検査領域全体の画像から、欠陥候補領域を検出する。
【0038】
欠陥判定部54は、欠陥候補であると判定された領域Rが欠陥であるか否かを判定する。欠陥候補判定部53および欠陥判定部54の詳細な処理は後述する。
【0039】
記憶部42は、ハードディスク、フラッシュメモリ等の1以上の不揮発性記憶装置を含んで構成されるコンピュータ読取可能な記憶媒体である。記憶部42は、制御演算部41の各機能部がソフトウェア的に構成されている場合に、各機能部の処理を実行するためのプログラムを記憶する。また、記憶部42は、撮像部で取得した画像データ、および欠陥検査結果データ等を記憶する。
【0040】
操作部43は、例えば、キーボード等であり、ユーザからの操作を受け付ける。表示部44は、例えば、液晶ディスプレイ、EL(Electroluminescence)ディスプレイ等であり、画像取得部51で取得される画像データ、欠陥判定部54での検査結果、欠陥検査装置100を操作するための操作画面等を表示する。
【0041】
(欠陥判定方法の詳細)
本欠陥検査装置100による欠陥判定方法の詳細を、
図2、3を参照しながら説明する。
図2(A)は、欠陥検査装置100でワーク90を撮像する際の光の挙動を説明する図である。
図2(B)は、得られる検査領域全体の画像60を模式的に示す図である。
図2(C)は、画像60における
図2(B)のIIC-IIC線と対応する位置の輝度プロファイルを示す図である。
図3は、欠陥検査装置100による欠陥候補判定条件および欠陥判定条件を説明する図である。
【0042】
図2(A)に示すように、照明部10から照射される光Lがワーク90に入射すると、ワーク90を透過して撮像部20に入射し、
図2(B)に模式的に示す、検査領域全体の画像60として取得される。欠陥93のない検査領域全体は、明るい領域として撮像される。
【0043】
画像60の各ピクセルには輝度値が割り当てられている。
図2(C)に示すように、画像60の明るい領域では、輝度値が、所定の閾値Th
1~Th
2の範囲に収まるようになっている。ワーク90の一方の表面91に欠陥93がある場合、欠陥93では、ワーク90に入射した光が吸収されたり、反射したり、屈折したりする。この結果、検査領域全体の画像60において、欠陥93に対応する部分61は、輝度値が所定の範囲から逸脱した領域Rとして検出される。
【0044】
そこでまず、
図3に示すように、この輝度値が所定の範囲から逸脱した領域Rの面積S
Rが、所定の面積閾値(第1の面積閾値)X以上となることを、欠陥候補判定の条件とする。領域Rの面積は、撮像部20とワーク90との位置関係等の撮像条件、判定に先立って施される輝度差を強調させるための画像処理の条件により変動する。このため、面積閾値Xは、撮像条件、画像処理条件、および検出対象とする欠陥の大きさに応じて決定される。
【0045】
領域Rが欠陥候補であると判定されると、次に領域Rを含む最小の矩形の領域を欠陥候補領域62(
図2(B))として抽出し、欠陥候補領域62毎に、領域Rが欠陥であるか否かを判定する。欠陥判定の条件は、領域Rの形状が中実の円形状でないことを条件とする。本実施の形態では、中実の円形状であるか否かは、領域Rの楕円比率ERが所定の閾値Z以上であるか否かで判定する。
【0046】
ここで、楕円比率ERは、輝度値が所定の範囲から逸脱した領域Rの幅Wおよび高さHをそれぞれ幅および高さとする楕円(
図3に破線で示す楕円E
1,E
2)の面積S
Eに対する、領域Rが占める面積S
Rの比率であり、以下の式1で表される。
ER=S
R/S
E
=S
R×4/W×H×π (式1)
(ここで、S
Rは輝度値が所定の範囲から逸脱した領域Rの面積、S
Eは領域Rの幅Wおよび高さHをそれぞれ幅および高さとする楕円の面積、Wは領域Rの幅、Hは領域Rの高さである。)
【0047】
所定の閾値Zは、0.76~0.95であると好ましく、0.80~0.90であるとより好ましい。同じ大きさの不良または塗装ムラであっても、面積閾値Xの設定値等により楕円比率ERが変動する場合がある。様々な条件において、楕円比率ERの閾値Zを、0.76~0.95の範囲で設定することで、欠陥判定の正確さを従来の方法と比較して高めることができるからである。特に、楕円比率ERの閾値Zを0.80~0.90の範囲で設定することで、より確実に欠陥判定の確度を高めることが可能となるからである。
【0048】
図3の例では、例えば、面積閾値Xを40に、閾値Zを0.85に設定することで、
図13の従来の方法では不良であると誤判定されていた2欄の領域Rが、正常であると正しく判定することが可能となる。
【0049】
(検査部の処理のフロー)
図4は、欠陥検査装置100を用いた欠陥検査方法における検査部40の処理の概略的なフローチャートである。
【0050】
検査を開始すると、ステップS01で、画像取得部51が、照明部10と、撮像部20とを制御して、検査領域全体の画像を取得する。上述の通り、撮像部20がエリアセンサカメラである場合、照明部10を点灯してワーク90の検査領域全体の画像を撮像し、照明部10を消灯する。撮像部20がラインセンサカメラである場合、照明部10を点灯して、照明部10と、撮像部20との間を横切るようにワーク90を相対移動させながら、撮像部20が所定の時間間隔で撮像することで、検査領域全体の画像60を取得する。その後、照明部10を消灯する。
【0051】
次に、ステップS02で、画像処理部52が、取得された画像60に、ノイズ除去、γ補正、階調値の部分拡大強調等を実施して、正常領域と、欠陥領域との輝度差を強調する処理を行う。
【0052】
次に、ステップS03で、欠陥候補判定部53が、画像60から欠陥候補となる領域を検出する。
【0053】
次に、ステップS04で、欠陥判定部54が、欠陥候補領域が中実の円形状であるかどうかを判定して欠陥であるか否かを判定する。
【0054】
図5は、上記ステップS03,S04の詳細な処理を示すフローチャートである。ステップS11,S12およびS15がステップS03と、ステップS13,S14およびS15がステップS04と対応する。
【0055】
ステップS03を開始すると、ステップS11で、欠陥候補判定部53が、全体の画像60において、輝度値が所定の範囲を逸脱する領域Rの面積SRが面積閾値X以上であるかどうかを判定する。
【0056】
面積SRが面積閾値X以上である場合(Yes)、ステップS12で、欠陥候補判定部53は領域Rが欠陥候補であると判定する。また、領域Rを含む最小のまたは領域Rの周辺の所定距離の範囲を含む矩形領域を欠陥候補領域62として抽出する。一方、面積SRが面積閾値Xよりも小さい場合(No)、ステップS15で領域Rは欠陥候補ではない、すなわち正常であると判定する。
【0057】
次に、ステップS13では、欠陥判定部54は、領域Rの楕円比率ERが閾値Z以上であるかどうかを判定する。
【0058】
楕円比率ERが閾値Z以上である場合(Yes)、ステップS14で、欠陥判定部54は、領域Rが欠陥であると判定する。一方、楕円比率ERが閾値Z未満の場合、ステップS15で、領域Rは正常であると判定する。
【0059】
[実験]
実施の形態に係る欠陥検査装置100の効果を検証するために実験を行った。
図6は、被検査体として車両用前照灯の前面カバーを撮像し、ブツ不良およびタレ不良の欠陥部分と良品レベルの塗装ムラ部分を、実施の形態に係る欠陥検査方法と、従来の欠陥検査方法により検査を行った結果を示す図である。
【0060】
実施例では、欠陥検査装置100は、照明部10にライン照明を、撮像部20にラインセンサカメラを採用して、照明部10と撮像部20が正対する配置のユニットとして構成し、ユニットをライン照明の配列方向と直交する方向に移動することで、被検査体を走査し、検査領域全体の画像60を取得するように構成したものを用いた。
そして、画像60を
(1)輝度値が所定の範囲を逸脱する領域Rの面積SRの面積閾値Xを293pixとして、欠陥候補領域を判定し、
(2)領域Rの楕円比率ERの閾値Zを0.86として、欠陥を判定した。
比較例では、同じ条件で取得した画像60について、
(3)輝度値が所定の範囲を逸脱する領域Rの面積SRの面積閾値Xを293pixとして、欠陥を判定した。
【0061】
図6は、このようにして実施した実験の結果を示す図である。サンプルNo.1~10は、いずれも領域Rの面積が293ピクセル以上となる部分の画像を抽出したものである。サンプルNo.1~5は、良品レベルの塗装ムラの部分を、サンプルNo.6~8は、ブツ不良の部分、サンプルNo.9,10は、タレ不良の部分である。
【0062】
図中、原画像は、ステップS01で取得された画像である。強調画像は、原画像にステップS02の輝度差を強調する画像処理を施した後の画像である。検出画像は、強調画像において検出される、輝度値が所定の範囲を逸脱する領域Rを塗りつぶして示したものである。
【0063】
比較例では、No.1~10の全てで欠陥であると判定され、良品レベルの塗装ムラであるNo.1~5では誤判定となった。一方、楕円比率0.86以上を欠陥であると判定する実施例では、No.1~5は正常、No.6~10は欠陥であると、全て正しく判定された。
【0064】
このように、本実施の形態に係る欠陥検査装置100では、輝度値の大きさが所定の範囲を逸脱する領域Rの面積SRの大きさに加えて、領域Rが中実の円形状であることを判断することにより、誤判定を防ぎ、欠陥検出の確度を向上することができることが分かった。特に、中実の円形状であるか否かは、面積閾値により欠陥候補であると判定された、輝度値の大きさが所定の範囲を逸脱する領域Rの幅および高さを、それぞれ幅および高さとする楕円の面積に対する、前記欠陥候補領域が占める面積の比率である楕円比率を用いて、判定することで、形状を数値化することができ、判定結果の再現性が向上した。
また、図示は省略するが、種々の透光性樹脂部材について、それぞれブツ不良およびタレ不良の欠陥部分と良品レベルの塗装ムラ部分を含む多数の検査体を撮像し、従来方法と、本実施の形態に係る方法とにより、実験を実施した。その結果、いずれの場合も、撮像条件、透光性樹脂部材の種類等に応じて、楕円比率ERの閾値Zを0.76~0.95の間で設定することで、誤判定が低減し、判定の正確性が改善されることが分かった。特に、楕円比率ERの閾値Zを0.86~0.90の間で設定することが好適であった。
【0065】
[変形例]
本実施の形態に係る欠陥検査装置100の変形例として、欠陥候補判定部53A(図示せず),欠陥判定部54A(図示せず)の実行するステップS03,S04の詳細な処理を
図7に示すように変更してもよい。この場合、ステップS21,S22,S25,S26がステップS03に対応し、ステップS23~S26が、ステップS04に対応する。
【0066】
すなわち、ステップS03を開始すると、ステップS21,S22では、ステップS11,S12と同様に、欠陥候補判定部53Aが全体の画像において、輝度値が所定の範囲を逸脱する領域Rの面積SRが、所定の面積閾値X以上であるかどうかを判定し、所定の面積閾値X以上である場合(Yes)、領域Rが欠陥候補であると判定する。次に、ステップS23で、欠陥判定部54Aは、領域Rの面積SRが、所定の面積閾値Y以上となるか否かを判定する。所定の面積閾値Y以上となる場合(Yes)、欠陥判定部54Aは、ステップS25で領域Rが欠陥であると判定する。一方、ステップS23で、所定の面積閾値Y未満となる場合(No)、欠陥判定部54Aは、ステップS24で、領域Rの楕円比率ERが、所定の閾値Z以上となるか否かを判定する。楕円比率ERが、所定の閾値Z以上となる場合(Yes)、ステップS25で、欠陥判定部54Aは、領域Rが欠陥であると判定する。
【0067】
一方、ステップS21で領域Rの面積SRが、面積閾値X未満である場合(No)およびステップS24で楕円比率ERが閾値Z未満である場合(NO)は、ステップS26で、領域Rは正常であると判断される。ステップS23およびS24はこの順序に限らず、ステップS23に先行して、ステップS24を行い、ステップS24で楕円比率ERが閾値Z未満である場合(N)に、ステップS23を実行してもよい。
【0068】
上記フローチャートの説明で述べたように、本変形例では、欠陥候補判定条件が領域Rの面積が所定の面積閾値X以上であること、欠陥判定条件が、楕円比率ERが所定の閾値Z以上であることに加えて、領域Rの面積閾値がY以上であることを含んでいる。すなわち、楕円比率ERが所定の閾値Z以上であるかどうかに関わらず、領域Rの面積が、面積閾値Y以上であるときに、領域Rが欠陥であると判定される。
【0069】
そこで、
図8を用いて面積閾値Xを40ピクセル、面積閾値Yを80ピクセル、閾値Zを0.85とした場合に、変形例に係る欠陥検査方法と、従来の検査方法と、上記実施の形態1に説明した検査方法による判定結果を説明する。
【0070】
1欄に模式的に示す検出画像は、
図3と同様の、小さなブツ不良に対応する画像の模式図であり、2欄の検出画像は、
図3と同様の小さな塗装ムラ(良品レベル)を示す。また、3欄の検出画像は、大きいブツ不良(糸くず)に対応する画像の模式図を示す。
【0071】
図8に示すように従来の方法では、領域Rの面積が面積閾値X以上となる場合に欠陥であると判定するため、2欄,3欄のように、領域Rの面積が所定の面積閾値X以上であれば、欠陥であると判定し、良品レベルのムラであるにも関わらず欠陥であると誤判定してしまう。また、第1の実施の形態に係る方法では、良品レベルのムラを正常であると正しく判定するが、欄3の大きいブツ不良も、正常であると誤判定してしまう。一方、変形例に係る欠陥検査装置では、領域面積Rの面積S
Rが面積閾値Y以上になれば楕円比率ER、すなわち形状に関わらず欠陥であると判定する。この結果欄1~3のいずれも正しく判定することが可能となる。
【0072】
なお、ピクセル数で示される面積閾値Yの値は、面積閾値Xと同様に、撮像部20とワーク90との位置関係等の撮像条件や、判定に先立って施される輝度差を強調させるための画像処理の条件により変動する。面積閾値Yの値は、おおむね直径1~数mm以上のブツ不良/タレ不良に対応する数値であるとよい。このような大きさの欠陥は、中実の円形状でないことが多いからである。
【0073】
このように、領域Rの大きさが大きくなれば、ブツ不良、タレ不良と良品レベルの塗装ムラの形状の差異が小さくなり、ブツ不良、タレ不良であっても楕円比率ERが小さくなる。第2の面積閾値Yを用いて楕円比率が小さくても欠陥であると判定することで、誤判定を防ぎ判定の精度をさらに向上させることが可能となる。
【0074】
[第2の実施の形態]
図8は、第2の実施の形態に係る欠陥検査装置200の全体構成図である。欠陥検査装置200は、概略として欠陥検査装置100と同様の機械構成を備えるが、検査部240の制御演算部241が、欠陥判定部54に代えて欠陥判定部254を備える点で異なる。また、記憶部242が学習済モデル71を備える点で異なる。
【0075】
欠陥判定部254は、ワーク90を照明して撮像した学習用画像と、学習用画像内の輝度値が所定の範囲を逸脱する領域Rが、中実の円形状であるか否かとが、対応付けられた学習用データを機械学習して生成された学習済モデル71を用いて実行する。
【0076】
記憶部242は、学習済モデル71を記憶する。学習済モデル71は、ワーク90を照明して撮像した画像内の輝度値が所定の範囲を逸脱する領域Rを含む部分の画像を入力すると、その画像における輝度値が所定の範囲を逸脱する領域Rが、欠陥であるか否かを判定する。
【0077】
学習済モデル71は、学習済モデル生成装置70により、ワーク90を照明して撮像した学習用画像と、学習用画像内の輝度値が所定の範囲を逸脱する領域Rが、中実の円形状であるか否かとが、対応付けられた学習用データを機械学習して生成される。
【0078】
学習済モデル生成装置70は、図示しないが、制御演算部、記憶部、操作部、表示部を備える情報処理装置である。制御演算部、記憶部、操作部、表示部のハードウェア構成は、例えば検査部40と同様である。このように、学習済モデル生成装置70は、典型的には、パーソナルコンピュータ、サーバコンピュータ等として構成される。
【0079】
図10は学習済モデル生成の概要を示す図である。まず、学習用データ(教師データ)について説明する。
【0080】
学習用データは、例えば、以下の様に生成する。まず、欠陥検査装置200と同じ構成の欠陥検査装置を用い、多数のワーク90の検査領域全体の画像60を取得し、画像処理を施し、輝度値が所定の範囲から逸脱する領域Rが所定の面積閾値X以上となるものを含む欠陥候補領域62の画像を収集する。欠陥候補領域62は、上述の通り領域Rを含む最小のまたは領域Rの周辺の所定距離の範囲を含む矩形領域である。
【0081】
欠陥候補領域62の画像を、画像における領域Rの形状が、中実の円形状であるか否かのクラスに分類し、各データに「0.中実の円形状」,「1.中実の円形状でない」のようにラベルする。中実の円形状であるか否かの分類は、楕円比率ERが所定の閾値Z以上になるか否かにより判断して自動的に行ってもよく、あるいは作業者が目視により判断したものであってもよい。
【0082】
このように収集したデータを教師データとして、制御演算部で機械学習することにより、検出画像として、領域Rを含む欠陥候補領域62の画像を入力したときに、領域Rの形状が、中実の円形状であるか否かを出力する学習済モデル71が生成される。学習済モデル71は、ワーク90の種類、ワークに施された表面処理の種類等毎に生成してもよい。
【0083】
なお、機械学習は、例えば、ロジスティック回帰、SVM(Support・Vector・Machine)、ランダムフォレスト、CNN(Convolutional・Neural・Network),RNN(Recurrent・Neural・Network)等のニューラルネットワーク等を用いて実施することができる。
【0084】
図11は、欠陥検査装置200における欠陥候補判定および欠陥判定の処理のフローチャートである。ステップS31,S32およびS36は、ステップS03に対応し、ステップS33~S36は、ステップS04に対応する。
【0085】
ステップS03を開始すると、ステップS31,S32では、ステップS11,S12と同様に欠陥候補判定部253が全体の画像において、輝度値が所定の範囲を逸脱する領域Rの面積SRが、所定の面積閾値X以上であるか否かを判定し、大きい場合(Yes)、領域Rが欠陥候補であると判定する。次に、ステップS33で、欠陥判定部254が、欠陥候補であると判定された領域Rを欠陥候補領域62として抽出し、これを検出画像として、記憶部242から読み出した学習済モデル71に入力する。そして、ステップS34で、領域Rが中実の円形状であるか否かを判定する。領域Rが中実の円形状となる場合(Yes)、ステップS35で、欠陥判定部254は、領域Rが欠陥であると判定する。
【0086】
一方、ステップS31で領域Rの面積SRが、面積閾値X未満である場合(No)、およびステップS34で領域Rが中実の円形状でない場合(No)欠陥候補判定部253は、領域Rは正常であると判断する。
【0087】
このように、機械学習により生成した学習済モデルを用いることによっても、実施の形態1と同様に、欠陥検出の正確さを向上させることが可能となる。
【0088】
[第3の実施の形態]
図12は、第3の実施の形態に係る欠陥検査装置300の全体構成図である。欠陥検査装置300は、概略として欠陥検査装置100と同様の機械構成を備える。しかし、欠陥検査装置100において、照明部10と撮像部20が、ワーク90を介して正対するように配置されているのに対して、本欠陥検査装置300は、照明部310と撮像部320がいずれもワーク90上方に配置されている。そして、照明部310と撮像部320は、照明部310から出射された照明光が、ワーク90の表面で反射して、撮像部320に入射するように配置されている。また、照明部310と撮像部320は、位置関係を維持しながら、ワーク90と相対的に移動しながら所定の間隔で撮像することにより、検査領域全体の画像60を取得できるようになっている。
【0089】
したがって、撮像部320により取得される検査領域全体の画像は、明るい画像となる。一方、本実施の形態が目的とする欠陥は、ブツ不良、タレ不良等、照明光の、反射や拡散により明るい画像の中で暗く認識される。このように、明視野の中で欠陥を観察するような欠陥検査装置であれば、第1の実施の形態と同等の効果を奏することが可能となる。また、例えば第1の実施の形態において、照明部10と撮像部20を上下反転する配置としても同等の効果を奏することが可能である。
【符号の説明】
【0090】
53 53A :欠陥候補判定部
54 54A :欠陥判定部
60 :画像
62 :欠陥候補領域
63 :欠陥候補判定部
64 :欠陥判定部
71 :学習済モデル
93 :欠陥
100 200 300 :欠陥検査装置
243 :欠陥候補判定部
253 :欠陥候補判定部
254 :欠陥判定部
E1 :楕円
E2 :楕円
ER :楕円比率
H :高さ
R :領域