(58)【調査した分野】(Int.Cl.,DB名)
ワークを撮像した画像データを二値化することにより前記ワークの外周輪郭及び内周輪郭を特定する処理と、二値化した画像データから前記ワークの外周輪郭又は内周輪郭の画素を検出しその画素数をカウントしてこの画素数と1画素のサイズとの積により前記ワークの外周輪郭長又は内周輪郭長を算出する処理と、前記外周輪郭長又は内周輪郭長から前記ワークを疑似的に円形としたときの外径又は内径を算出する処理と、前記外周輪郭に対する法線上での前記外周輪郭の画素と前記内周輪郭の画素間の距離から前記ワークの幅を算出する処理と、前記外径又は内径及び幅の算出値と予め登録された外径又は内径及び幅の基準値との一致度により前記ワークの品目を識別すると共に正常品であるか異品であるかを判別する処理と、からなることを特徴とする画像処理による品目識別及び異品判別方法。
ワークの外周輪郭又は内周輪郭の画素を検出しその画素数をカウントする処理が、二値化画像データの外周輪郭又は内周輪郭の画素のうちカウント開始点となる画素を検出してその座標を記憶し、次いでこの座標をカウント開始点としてその周囲に隣接する8画素を順次サーチして前記開始点に隣接する外周輪郭又は内周輪郭の画素を検出すると共に計数1を加え、以下、検出された外周輪郭又は内周輪郭の画素を基準座標としてその周囲に隣接する8画素を順次サーチして前記基準座標に隣接する外周輪郭又は内周輪郭の画素を検出すると共に計数1を加える処理を繰り返して、前記基準座標が前記カウント開始点の座標と一致した時点でサーチを終了すると共に計数1を加えることによりなされることを特徴とする請求項1に記載の画像処理による品目識別及び異品判別方法。
ワークの幅を算出する処理が、外周輪郭又は内周輪郭の画素のうち任意の画素を基準画素として、前記外周輪郭又は内周輪郭の画素のうち前記基準画素の両側へ任意の画素数だけ離れた1対の画素を通る直線を近似接線とし、次いで前記近似接線と直交すると共に前記基準画素を通る法線を求め、前記法線が通る内周輪郭又は外周輪郭の画素と前記基準画素との距離を計測することによりなされることを特徴とする請求項1〜3のいずれか一に記載の画像処理による品目識別及び異品判別方法。
法線が通る内周輪郭又は外周輪郭の画素と基準画素との距離の計測を、外周輪郭又は内周輪郭の画素のすべてについて行い、計測されたすべての距離の平均値をワークの幅とすることを特徴とする請求項4に記載の画像処理による品目識別及び異品判別方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながらこれらの従来技術は、形状が容易に変化しない製品の検査(特に、テンプレートマッチングでは積層回路基板の回路パターン検査等)にのみ有効であり、例えば
図24に示すゴム製ガスケットa〜dのように変形しやすい製品の品目識別及び異品判別には適用が難しい。
【0006】
また、テンプレートマッチングにおいては、撮像データとマスター画像データとの一致度により異品判別を行うため、変形を想定した複数のマスター画像データを登録しておくことで変形による形状のバラつきを吸収する手法も使用されているが、変形は不特定であることから多数のマスター画像データを登録しておく必要があるばかりでなく、正常品を他の品目(異品)として誤認識したり、逆に異品を正常品として誤認識したりする確率が高くなってしまう問題が指摘される。
【0007】
また、特許文献1に記載の技術のように、角などの情報をもとに判断する方法では、
図24に示すような、曲線で構成される形状の多いガスケットなどの品目識別及び異品判別には適用が難しい。
【0008】
本発明は、以上のような点に鑑みてなされたものであって、その技術的課題は、形状が複雑な製品や、自らの重量などによって変形しやすい不定形状の製品について、品目識別及び異品判別を安定して行うことを可能とすることにある。
【課題を解決するための手段】
【0009】
上述した技術的課題を有効に解決するための手段として、請求項1の発明に係る画像処理による品目識別及び異品判別方法は、ワークを撮像した画像データを二値化することにより前記ワークの外周輪郭及び内周輪郭を特定する処理と、二値化した画像データから前記ワークの外周輪郭又は内周輪郭の画素を検出しその画素数をカウントしてこの画素数と1画素のサイズとの積により前記ワークの外周輪郭長又は内周輪郭長を算出する処理と、前記外周輪郭長又は内周輪郭長から前記ワークを疑似的に円形としたときの外径又は内径を算出する処理と、前記外周輪郭に対する法線上での前記外周輪郭の画素と前記内周輪郭の画素間の距離から前記ワークの幅を算出する処理と、前記外径又は内径及び幅の算出値と予め登録された外径又は内径及び幅の基準値との一致度により前記ワークの品目を識別すると共に正常品であるか異品であるかを判別する処理と、からなるものである。
【0010】
上記構成によれば、画像データの二値化によって特定したワークの外周輪郭又は内周輪郭の長さから算出される、このワークの外周輪郭を疑似的に円形としたときの理論外径又は理論内径と、ワークの法線上にある外周輪郭の画素と内周輪郭の画素間の距離として算出される幅(線径)を、予め登録された理論外径又は理論内径及び幅の基準値と比較することによって、複雑な形状の製品や変形しやすい不定形状の製品の品目識別及び異品判別を精度よく行うことができる。
【0011】
請求項2の発明に係る画像処理による品目識別及び異品判別方法は、請求項1に記載された方法において、ワークの外周輪郭又は内周輪郭の画素を検出しその画素数をカウントする処理が、二値化画像データの外周輪郭又は内周輪郭の画素のうちカウント開始点となる画素を検出してその座標を記憶し、次いでこの座標をカウント開始点としてその周囲に隣接する8画素を順次サーチして前記開始点に隣接する外周輪郭又は内周輪郭の画素を検出すると共に計数1を加え、以下、検出された外周輪郭又は内周輪郭の画素を基準座標としてその周囲に隣接する8画素を順次サーチして前記基準座標に隣接する外周輪郭又は内周輪郭の画素を検出すると共に計数1を加える処理を繰り返して、前記基準座標が前記カウント開始点の座標と一致した時点でサーチを終了すると共に計数1を加えることによりなされるものである。
【0012】
上記構成によれば、ワークの外周輪郭又は内周輪郭の画素を順次検出するたび計数1を加えながらワークの外周輪郭又は内周輪郭を一周することで、外周輪郭又は内周輪郭の画素数をカウントすることができる。
【0013】
請求項3の発明に係る画像処理による品目識別及び異品判別方法は、請求項2に記載された方法において、検出された画素が基準点の画素に対して斜めに隣接する場合は、加える計数を√2とすることを特徴とするものである。
【0014】
上記構成によれば、外周輪郭長又は内周輪郭長の算出精度を一層向上させることができる。
【0015】
請求項4の発明に係る画像処理による品目識別及び異品判別方法は、請求項1〜3のいずれか
一に記載された方法において、ワークの幅を算出する処理が、外周輪郭又は内周輪郭の画素のうち任意の画素を基準画素として、前記外周輪郭又は内周輪郭の画素のうち前記基準画素の両側へ任意の画素数だけ離れた1対の画素を通る直線を近似接線とし、次いで前記近似接線と直交すると共に前記基準画素を通る法線を求め、前記法線が通る内周輪郭又は外周輪郭の画素と前記基準画素との距離を計測することによりなされるものである。
【0016】
上記構成によれば、確実にワークの法線を検出してその法線が通る内周輪郭又は外周輪郭の画素と基準画素との距離を計測することで、任意の法線上でのワークの幅を正確に求めることができる。
【0017】
請求項5の発明に係る画像処理による品目識別及び異品判別方法は、請求項4に記載された方法において、法線が通る内周輪郭又は外周輪郭の画素と基準画素との距離の計測を、外周輪郭又は内周輪郭の画素のすべてについて行い、計測されたすべての距離の平均値をワークの幅とするものである。
【0018】
上記構成によれば、外周輪郭又は内周輪郭の画素のすべてについてワークの法線を検出して各法線が通る内周輪郭又は外周輪郭の画素と基準画素との距離の平均値を求めることで、ワークの幅を一層高精度に求めることができる。
【0019】
請求項6の発明に係る画像処理による品目識別及び異品判別方法は、請求項1〜5のいずれか
一に記載された方法において、ワークを疑似的に円形としたときの外径
又は内径を算出する処理が、算出された外周輪郭長又は内周輪郭長をπ又は2π(πは円周率)で除算することによるものである。
【0020】
上記構成によれば、ワークを疑似的に円形としたときの外径又は内径の算出を容易に行うことができ、ワークを疑似的に円形として判定することで、異品の有無の管理を一元化して行うことができる。
【発明の効果】
【0021】
本発明によれば、テンプレートマッチングにおいて必要であった複数のマスター画像データの登録が不要になると共に、形状が複雑な製品や変形しやすい不定形状の製品について、正常品と異品との判別を安定して行うことが可能である。
【図面の簡単な説明】
【0022】
【
図1】本発明に係る画像処理による品目識別及び異品判別方法を実施するために用いられるシステムを概略的に示すブロック図である。
【
図2】本発明による処理の流れを示すフローチャートである。
【
図3】
図2の処理ステップS103をさらに詳しく示すフローチャートである。
【
図4】
図2における処理ステップの一部を詳細に示すフローチャートである。
【
図5】本発明による処理を模式化して示す説明図である。
【
図6】本発明においてワークを撮像した8bitグレースケール画像の一部を模式化して示す説明図である。
【
図7】
図6の8bitグレースケール画像を二値化する処理を模式化して示す説明図である。
【
図8】
図6の8bitグレースケール画像を二値化した画像の一部を模式化して示す説明図である。
【
図9】
図8の二値化画像を走査してワークの外周輪郭のカウント開始点の画素を検出する処理を模式化して示す説明図である。
【
図10】開始点の画素の周囲の8画素を順次サーチして前記開始点に隣接する外周輪郭の画素を検出する処理を模式化して示す説明図である。
【
図11】開始点に隣接する外周輪郭の画素を検出した状態を模式化して示す説明図である。
【
図12】検出した画素を基準画素としてその周囲の8画素を順次サーチして基準画素に隣接する外周輪郭の画素を検出する処理を模式化して示す説明図である。
【
図13】基準画素に隣接する外周輪郭の画素を検出した状態を模式化して示す説明図である。
【
図14】検出した画素を次の基準画素としてその周囲の8画素を順次サーチして基準画素に隣接する外周輪郭の画素を検出する処理を模式化して示す説明図である。
【
図15】次の基準画素に隣接する外周輪郭の画素を検出した状態を模式化して示す説明図である。
【
図16】基準画素が斜めに並んでいる場合のワークの外周輪郭長の算出方法を模式化して示す説明図である。
【
図17】ワークの幅の算出処理において、外周輪郭の画素データを取得した二値化画像の一部を模式化して示す説明図である。
【
図18】ワークの幅の算出処理において、外周輪郭の画素に基準画素を設定した二値化画像の一部を模式化して示す説明図である。
【
図19】ワークの幅の算出処理において、外周輪郭に対する近似接線検出過程を模式化して示す説明図である。
【
図20】ワークの幅の算出処理において、外周輪郭に対する法線検出状態を模式化して示す説明図である。
【
図21】ワークの幅の算出処理において、法線上での外周輪郭の画素と内周輪郭の画素間の距離を算出する方法を模式化して示す説明図である。
【
図22】ワークの幅の算出処理において、計測された幅の平均値を算出する処理を示す説明図である
【
図23】ワークの幅の算出処理において、近似接線検出及び法線検出の終了時を模式化して示す説明図である。
【
図24】品目識別及び異品判別対象のゴム製ガスケットの例を示す説明図である。
【発明を実施するための形態】
【0023】
以下、本発明に係る画像処理による品目識別及び異品判別方法の好ましい実施の形態について、図面を参照しながら説明する。
【0024】
まず
図1は、本発明に係る画像処理による品目識別及び異品判別方法を実施するために用いられるシステムを概略的に示すものであって、参照符号Wは検査対象のワークであり、例えば先に説明した
図5(A)に示すゴム製ガスケット100のように、自重などによって容易に変形可能な環状製品である。
【0025】
参照符号1はワークWを照明する照明装置、参照符号2はレンズによるワークWの光学像をCCDやCMOS等の撮像素子によって画像信号に変換(撮像)するカメラ、参照符号3はカメラ2からのアナログ画像信号をディジタル画像信号に変換する画像処理装置、参照符号4は画像処理装置3を介して取り込まれた画像信号について後述の処理ステップによる各種の演算処理を行う演算処理装置、参照符号5は演算処理装置3による画像データや演算処理結果を出力表示する出力表示装置、参照符号6は記憶装置である。
【0026】
演算処理装置4は、画像処理装置3を介して取り込まれた画像信号について後述の処理ステップによる各種の演算処理を行うことにより画像処理による異品判別を実行するものであり、すなわち例えば、
図5(A)に示すような非円形の複雑な形状を有するゴム製ガスケット等のワークWを
図5(B)に示すように展開W’したときの長さ(外周輪郭長)Lと幅(線径)Hを算出し、外周輪郭長Lから、前記ワークWを
図5(C)に示すように疑似的に円形W”にした場合の理論外径D(又はr)を算出し、これら理論外径D(又はr)及び幅Hを記憶装置6に登録された理論外径D(又はr)及び幅Hの基準値と比較することで、前記ワークWの品目を識別すると共に正常品と異品とを判別するものである。
【0027】
図2は、演算処理装置4による処理の流れを示すフローチャートである。すなわち、まず画像処理装置3を介して例えば8bitグレースケールの画像データが演算処理装置4に取り込まれる(ステップS101)。8bitグレースケールの画像データは、周知のように、カメラ2における撮像モジュールに並んだCCDやCMOS等の各撮像素子が単位時間内に受光した明るさを2
8諧調すなわち256諧調に分割して0〜255の値で表し、黒を0、白を255としてその間の明暗の度合いをその間の数値で表したものである。
図6は、ワークWを撮影した8bitグレースケールの画像データの一部を抽出して示すものである。
【0028】
次に、演算処理装置4に取り込まれた8bitグレースケールの画像データにおけるワーク画像P
Wのエッジラインを特定して製品と背景の区別を行うために、8bitグレースケール画像を白と黒の2諧調に変換する二値化が行われる(ステップS102)。この二値化は、あらかじめ設定された閾値を用いて行われ、まず
図7に示すように、8bitグレースケール画像から明度が閾値以上の画素(背景)と閾値未満の画素(ワーク画像P
W)を識別し、例えば
図8に示すように、背景を表す画素を“0”、ワークを表す画素を“1”とする。
【0029】
次に
図9に矢印で示すように、二値化画像を例えばx方向へたどりながら、ワーク画像P
Wの外周輪郭に位置する“1”の画素をサーチし、“1”の画素が検出されなければy方向へ1段移動して再びx方向へたどりながら“1”の画素を検出するといった走査を行う。そして“1”の画素p
1が検出されたら、この画素p
1の座標をワーク画像P
Wの外周輪郭に位置する画素数のカウントの開始点として記憶し、
図5に示す外周輪郭長Lの算出を開始する(ステップS103)。
【0030】
図3はステップS103における処理をさらに詳しく示すフローチャートで、すなわちワーク画像P
Wの外周輪郭に位置する画素数のカウントにおいては、まず
図10に示すように、基準点の画素p
1の周りに隣接する8画素を、例えば
図10に示す番号n1〜n8の順に反時計回りへ順次サーチする(ステップS201)。このサーチは、
図11に示すように、検出される画素の諧調が“0”から“1”へ移行することによって、基準点の画素p
1に隣接する外周輪郭の画素p
2が検出されるまで行う(ステップS202)。そして外周輪郭の画素p
2が検出されたら(ステップS202=YES)、カウント画素数に計数1を加える(ステップS203)。
【0031】
次に、検出された外周輪郭の画素p
2がカウント開始点として記憶された画素p
1の座標と一致するか否かを判定し(ステップS204)、不一致(ステップS204=NO)であれば処理はステップS201へ戻る。図示の例では、画素p
2は開始点の座標とは不一致であるため、
図12に示すように、検出された外周輪郭の画素p
2を次の基準点としてその周りに隣接する8画素を、画素p
1に隣接する画素から
図12に示す番号n1〜n8の順に反時計回りへ順次サーチして、
図13に示すように次の外周輪郭画素p
3を検出すると共にカウント画素数に計数1を加えるといったカウント処理を繰り返す。
【0032】
図13に示す例でも、検出された外周輪郭画素p
3がカウント開始点として記憶された画素p
1の座標とは一致しないので、
図14に示すように、この画素p
3を次の基準点としてその周囲に隣接する8画素を、画素p
2に隣接する画素から
図14に示す番号n1〜n8の順に反時計回りへ順次サーチして、
図15に示すように次の外周輪郭画素p
4を検出すると共にカウント画素数に計数1を加える。
【0033】
そして、n回目に検出された外周輪郭の画素p
nがカウント開始点として記憶された画素p
1の座標と一致した場合は(ステップS204=YES)、カウント画素数に計数1を加えてカウントを終了し(ステップS205)、カウントされた画素数nに画素サイズを乗算することによって、
図5に示す外周輪郭長Lを算出する(ステップS206)。例えば、カウントされた画素数nが1,000、1画素のサイズが50μmである場合は、
L=1,000×0.05mm=50mm
となる。
【0034】
なお、
図15に示す例のように、検出された画素p
4が基準点の画素p
3に対してx方向又はy方向に隣接する場合は、加算するカウント画素数を1とし、
図11及び
図13に示す例のように、検出された画素p
2(p
3)が基準点の画素p
1(p
2)に対して斜めに隣接する場合は、
図16に示すように、加算するカウント画素数を√2とすることによって、外周輪郭長Lの算出精度を向上させることができる。
【0035】
上述した外周輪郭に位置する画素数のカウントによる外周輪郭長Lの算出が終わったら、外周輪郭長Lから、ワークWを
図5(C)に示すように疑似的に円形にした場合の理論外径D(又はr)を算出する処理(
図2のステップS104)及びワークWの幅(線径)Hを算出する処理(ステップS105)へ移行する。
【0036】
このうち、ステップS104における理論外径D(又はr)の算出は、次式;
D=L/π
又は次式
r=L/2π
として求められる。
【0037】
また、ステップS105における幅(線径)Hの算出処理は、次のように行われる。
図4はステップS105における処理をさらに詳しく示すフローチャートで、すなわち、まず
図17に示す二値画像データから、上述した外周輪郭長Lの処理において検出した外周輪郭の画素p
1〜p
nのデータを取得する(ステップS301)。
【0038】
次にこの画素p
1〜p
nのうち、例えば
図18に示す任意の画素p
mを基準点(開始点)として、この基準点から
図19に示すように、外周輪郭の延長方向両側へ同じ画素数(図示の例では前後3画素)だけ離れた1対の接線算出用画素p
m−3,p
m+3を抽出し、この画素p
m−3,p
m+3を通る直線を近似接線Tとし(ステップS302)、さらに
図20に示すように、この近似接線Tから、幅(線径)Hを求めるための、基準点p
mを通る法線Vの式を得る(ステップS303)。なお、
図19に示す例では基準点の前後3画素目を接線算出用画素としているが、前後何画素目とするかは任意であり、複数点を用いた最少2乗近似算出用の外周輪郭自体を平滑化しておいても良い。
【0039】
すなわち基準点p
mの座標を(X
m,Y
m)、画素p
m−3の座標を(X
m−3,Y
m−3)、画素p
m+3の座標を(X
m+3,Y
m+3)とすると、近似接線T;
y=Ax+B
A=(Y
m+3−Y
m−3)÷(X
m+3−X
m−3)
B=Y
m−3−A×X
m−3
法線V;
y=A’x+B’
A’=−1÷A
B’= Y
m−A’ ×X
m
である。なお、処理プログラムにおいては、次のような時例外処理を行う。
(Y
m+3−Y
m−3)=0
(X
m+3−X
m−3)=0
【0040】
そして
図21に示すように、基準点の画素p
mから法線V上を移動しながら、検出される画素の諧調が“0”から“1”へ移行する点の座標をサーチして“1”へ移行する直前の画素を内周輪郭に位置する画素p
inとして検出することによって、この画素p
inと基準点の画素p
mとの距離を算出し、画素p
mを通る法線V上でのワーク画像P
W(ワークW)の幅(線径)とする(ステップS304)。すなわち内周輪郭に位置する画素p
inの座標を(X
in,Y
in)とすると、
幅(線径);H
n=√(X
m−X
in)
2+(Y
m−Y
in)
2
である。
【0041】
そして次に、取得された外周輪郭の画素p
1〜p
nのうち上述の画素p
mと隣接する画素p
m+1の座標は、開始点として記憶された画素p
mの座標と一致するか否かを判定し(ステップS305)、不一致(ステップS305=NO)であれば、この隣接画素p
m+1を次の基準点として、処理はステップS302へ戻り、S302〜S305の処理を繰り返す。
【0042】
そしてn回の繰り返しによって、隣接画素p
m+nが開始点として記憶された画素p
mの座標と一致した場合は(ステップS305=YES)、
図22に示すように、算出されたすべての法線上の幅(線径)H
nの平均値を算出する(ステップS306)。すなわち外周輪郭の画素p
1〜p
nの画素数をNとすると、
幅(線径)の平均値; H
AVE=ΣH
n÷N
である。そしてこのH
AVEをワークW(ワーク画像P
W)の幅(線径)Hとして用いることによって、計測精度を向上することができる。
【0043】
なお
図23に示すように、計測開始点の画素p
mと計測終了点での画素p
Eについては、これら画素p
mと画素p
Eは画像上はつながっているため、配列の終端部もしくは始端部のデータを使用して算出することができる。例えば開始点の画素p
mを通る法線の傾きを求めるための前側の要素は、
図19に示す例のように前後3要素目を用いる場合はp
E−2(終了点−2の画素)を用いることができる。
【0044】
次に、上述のようにして算出されたワークWの理論外径D(又はr)及び幅Hと、記憶装置6に登録された理論外径及び幅の基準値と比較して、その一致度により品目識別及び異品判別を行う。すなわち前記基準値に対する理論外径D(又はr)及び幅Hの誤差が所定値未満であればワークWが識別対象の品目であると判定され、前記誤差が所定値を超えている場合は異品として判定される(
図2のステップS106)。
【0045】
そして引き続き次の製品検査を行う場合は(ステップS107=NO)、処理はステップS101へ戻る。
【0046】
上述のように、本発明によれば、画像データの二値化によって特定したワーク画像P
Wの外周輪郭の長さLから算出される、ワークを疑似的に円形としたときの理論外径D(又はr)と、ワーク画像P
Wの法線V上にある外周輪郭の画素と内周輪郭の画素間の距離として算出される幅(線径)Hを、予め登録された理論外径及び幅の基準値と比較するものであるため、複雑な形状の製品や、線径が細くて変形しやすい不定形状の製品など、異品と誤判定しやすい品目について、品目識別及び異品判別を精度よく行うことができ、しかもテンプレートマッチングによる手法のような複数のマスター画像が不要である。
【0047】
なお、上述の実施の形態では、ワークWの外周輪郭長Lと幅(線径)Hを算出し、外周輪郭長Lから、前記ワークWを疑似的に円形にした場合の理論外径D(又はr)を算出し、これら理論外径D(又はr)及び幅Hをその基準値と比較することで、ワークWの品目を識別すると共に正常品と異品とを判別することとしたが、ワークWの内周輪郭長と幅(線径)を算出し、内周輪郭長から、ワークWを疑似的に円形にした場合の理論内径を算出し、これら理論内径及び幅をその基準値と比較することによっても、ワークWの品目を識別すると共に正常品と異品とを判別することも可能である。