(58)【調査した分野】(Int.Cl.,DB名)
前記表示処理は、前記方向変換処理によって方向が変換された前記部品保持状態の複数の分割画像を置き換えて、前記撮像処理によって得られた複数の前記部品保持状態の画像を一つの画像として表示する請求項1に記載の画像処理方法。
前記画像分割処理によって前記吸着ノズルの部品保持状態画像毎に分割された分割画像データを保存する分割データ保存処理を有し、前記方向変換処理は、前記分割データ保存処理によって保存された複数の分割画像データについて変換を行う請求項1に記載の画像処理方法。
前記部品保持状態が、前記複数の吸着ノズルの先端部を側面側から撮像したものであり、前記方向変換処理は、分割画像データの方向変換により前記吸着ノズルの方向を一致させる請求項1乃至請求項3のいずれかに記載の画像処理方法。
前記部品保持状態が、前記複数の前記吸着ノズルに吸着保持された部品を保持面の反対側から撮像したものであり、前記方向変換処理は、分割画像データの方向変換により前記部品の方向を一致させる請求項1乃至請求項3のいずれかに記載の画像処理方法。
前記撮像装置は、複数のミラーを使用した光学系を介して前記複数の吸着ノズルの先端部側面を一つのカメラによって同時に撮像するものである請求項7に記載の部品実装機。
前記画像データ処理装置は、前記吸着ノズルの位置情報に関連した角度情報を基に、前記分割画像データについて前記部品保持状態の方向を変換する請求項7乃至請求項9のいずれかに記載の部品実装機。
【発明を実施するための形態】
【0011】
次に、本発明に係る画像処理方法および部品実装機の一実施形態について、図面を参照しながら以下に説明する。
図1は、一部を透視して示した部品実装機の外観斜視図である。本実施形態の部品実装機1は、搬送される基板に対して部品を装着するいわゆるマウンタである。部品実装機1には幅方向側面に大きな開口部が形成され、隣り合う部品実装機との間で基板の搬送を可能とし、スクリーン印刷機や他の部品実装機などと並べることで基板製造ラインが構成される。
図1には、ベース9の上に2台の部品実装機1が並んで搭載された状態が示されている。なお、基板を搬送する方向である機体幅方向をX軸方向、それに直交する機体前後方向をY軸方向、そして高さ方向をZ軸方向として説明する。
【0012】
部品実装機1は、基板を搬送するめの基板搬送装置2、部品を供給する部品供給装置3、その部品供給装置3から取り出した部品を基板へと装着する部品装着装置4などによって構成されている。基板搬送装置2は、基板のサイズに合わせた同じ構成のベルトコンベアである搬送部201,202が並設され、基板の搬送や基板に対する部品の装着作業が2箇所で行われるようになっている。搬送部201,202は、各々にクランプ機構が設けられ、搬送された基板を機内で位置決めすることが可能となっている。
【0013】
部品供給装置3は、部品を保持したテープフィーダ18が搭載されている。部品実装機1には本体カバー5の前方部分に開口部が形成され、そこにデバイステーブル19が設置され、複数のテープフィーダ18がそれぞれ着脱可能な状態で取り付けられている。次に、部品装着装置4は、テープフィーダ18から部品を取り出して基板へと装着する作業装置であり、吸着ノズル21を備えた実装ヘッド6(
図2参照)が水平なXY平面上を移動可能な構成となっている。
【0014】
本体カバー5の天井側には機体の前後方向に2本のY軸レール11が平行に固定され、そのY軸レール11に対してY軸スライド12が摺動自在に組み付けられている。Y軸スライド12にはナット部材13が固定され、Y軸サーボモータ14に連結されたネジ軸15がナット部材13を貫通して螺合するボールネジ機構が構成されている。また、Y軸スライド12にはX軸レールが固定され、X軸スライドに搭載された実装ヘッド6がX軸方向に摺動自在に組み付けられている。そのX軸スライドにはX軸サーボモータの回転を直進運動に変換するボールネジ機構が構成されている。
【0015】
機内を移動する実装ヘッド6の移動範囲にはパーツカメラ17が設けられている。本実施形態では、部品を供給する部品供給装置3と基板を搬送保持する基板搬送装置2との間に設けられている。パーツカメラ17は、実装ヘッド6に保持された部品を下から撮像するものであり、その画像データから部品の破損や、保持された部品の保持位置や姿勢が検出できるようになっている。実装ヘッド6は、複数の吸着ノズル21が搭載されたものであり、パーツカメラ17は、そこに吸着保持された全ての部品を一度に撮像することが可能なものである。
【0016】
図2は、実装ヘッド6の一部を簡略化した図であり、回転軸方向の下側から示されている。また、
図3は、その実装ヘッド6に搭載された光学系を概念的に示した図である。実装ヘッド6は、旋回モータに連結されたノズルホルダ16を有し、その円周方向に複数の吸着ノズル21が等間隔で取り付けられている。その実装ヘッド6は、ノズルホルダ16が回転する旋回割出しによって、2本の吸着ノズル21が部品取出し位置であるP1位置とP2位置にそれぞれ配置され、昇降用モータの回転を鉛直方向の直進運動に変換する昇降機構によって上下動するよう構成されている。
【0017】
こうした実装ヘッド6では、吸着ノズル21の昇降動作に伴う真空引きによって部品が吸着保持され、また正圧付与によって基板に対する部品の実装が行われる。部品実装機1は、作業を実行する吸着ノズル21に関して、ノズル先端部における部品の吸着保持状態や、実装後の非保持状態など(まとめて「部品保持状態」という)を確認するための撮像装置が設けられている。その一つが、前述したパーツカメラ17であり、上方を通過する実装ヘッド6に吸着保持された複数の部品の撮像が行われる。
【0018】
そのほかにも、実装ヘッド6には、吸着ノズルの先端部を側面から撮像するための側面カメラ23と、複数のミラーによって複数個所の画像を撮像素子に結像させる光学系25とを備える撮像装置が設けられている。
図2及び
図3は、この実装ヘッド6の側面カメラ23に関する光学系25が表現されている。実装ヘッド6では、ノズルホルダ16が一定角度回転する毎に、吸着ノズル21が順番にP1位置又はP2位置に旋回割出しが行われる。側面カメラ23では、P1位置およびP2位置の前後に位置する2本ずつの吸着ノズル21(21a,21b,21c,21d)の撮像が行われる。
【0019】
すなわち、この撮像装置では、P1位置又はP2位置で部品を吸着保持する直前の吸着ノズル21a,21cと、部品を吸着保持した直後の吸着ノズル21b,21dのノズル先端部が一度に撮像可能となっている。そこで、光学系25は、4本のラインで示すように、4箇所にある吸着ノズル21(21a,21b,21c,21d)を反射した光が矢印で示す方向とは逆に入光し、側面カメラ23の撮像素子に受光されるよう構成されている。
【0020】
その光学系25は、側面カメラ23から見た場合、板状ミラー28によって上下方向から横方向に光路を変え、三角柱のブロックミラー29によってP1側とP2側とに分かれる。分離した両側では同じように板状ミラー31,32及び、次の板状ミラー33,34に反射して方向を変え、更に三角柱のブロックミラー35,36によってP1側とP2側とにおいて、それぞれ2方向に分かれる。そして、各々の板ミラー37,38,39,40を反射して吸着ノズル21a,21b,21c,21dに光が達するようになっている。
【0021】
次に、
図4は、部品実装機1の制御システムを示したブロック図である。制御装置10では、マイクロプロセッサ(CPU)41、ROM42、RAM43、不揮発性メモリ44がバスラインを介して接続されている。CPU41は、制御装置全体を統括制御するものであり、ROM42には、CPU41が実行するシステムプログラムや制御パラメータ等が格納され、RAM43には、一時的な計算データや画像データ等が格納される。不揮発性メモリ44は、CPU41が行う処理に必要な情報が記憶され、部品実装機1のシーケンスプログラムなどが格納されている。
【0022】
不揮発性メモリ44は、そのほかにも基板に対して実装ヘッド6による所定の作業を行うための生産ジョブ(生産プログラム)や、吸着ノズル21に関する部品保持状態を表示するための画像処理プログラムなどが格納されている。本実施形態の画像処理プログラムは、パーツカメラ17や側面カメラ23によって撮像された吸着ノズル21に関する部品保持状態の画像データを、所定の画像処理方法によって処理してモニタに表示するものである。
【0023】
部品実装機1は、機体前部にタッチパネル式のモニタやボタン式の入力部を備えた操作表示装置7が設けられ、制御装置10に接続されている。また、部品実装機1のシステム全体の管理を行う管理装置としてモニタを備えた汎用のコンピュータ50が制御装置10に接続されている。コンピュータ50は、制御装置10で処理された画像をモニタに表示するほか、吸着ノズル21に関する部品保持状態の画像データを取得して、自ら画像処理すべく画像処理プログラムを格納したものであってもよい。そのため、以下に説明するモニタでの表示は、操作表示装置7およびコンピュータ50のいずれにも該当する。
【0024】
続いて、部品実装機1の作用について説明する。部品実装機1では、プログラムに従った駆動制御により、実装ヘッド6がXY平面上を移動し、吸着ノズル21によって部品供給装置3から供給された部品の吸着保持が行われる。その際、実装ヘッド6では、ノズルホルダ16が回転した旋回割出しによって、複数の吸着ノズル21が順番にP1位置又はP2位置に移動し、各々の位置で吸着ノズル21が下降するとともに真空引きが行われ、テープフィーダ18によって送られた部品が吸着保持される。実装ヘッド6には
図2に示すように20本の吸着ノズル21が搭載されており、全ての吸着ノズル21によって部品の吸着保持が行われる。
【0025】
その後、実装ヘッド6が部品供給装置3から基板搬送装置2へと移動し、搬送された基板に対して部品の装着が行われる。こうした一連の動作において、部品供給装置3で行われる部品の取り出し中には、側面カメラ23によって吸着ノズル21に関する部品保持状態が撮像される。そして、部品供給装置3から部品を実装するため基板搬送装置2へと移動する途中では、パーツカメラ17によって吸着ノズル21に関する部品保持状態が撮像される。
【0026】
画像処理プログラムでは、作業者によって操作表示装置7やコンピュータ50から確認モードが選択された場合に、側面カメラ23やパーツカメラ17によって撮像された部品保持状態の画像がモニタに表示されるようになっている。通常の生産過程で表示するようにしてもよいが、一般的には、生産プログラムを作成した際のテスト打ちや、生産開始時の初品検査などに使用されるからである。そこで、先ず側面カメラ23によって撮像された画像の画像処理について説明する。
図5は、側面カメラ23によって撮像された吸着ノズル21の部品保持状態の表示画面を示した図である。
【0027】
実装ヘッド6では、P1位置およびP2位置において吸着ノズル21によって順番に部品80が吸着保持される。そして、その吸着動作に合わせて、前後に位置する2本ずつの吸着ノズル21a,21bおよび吸着ノズル21c,21dが側面カメラ23によって撮像される。側面カメラ23には、被写体である4本の吸着ノズル21の先端部分の画像つまり部品保持状態の画像が
図3に示す光学系25によって一つの画像として撮像され、
図5に示すように一つのモニタ60に同時に表示される。特に本実施形態では、画像処理プログラムによって図面上側の通常パターンについて画像処理が施され、図面下側の変換パターンの画像がモニタ60に表示される。
【0028】
側面カメラ23の光学系25では、反射ミラーによって像が反転してしまう。そのため、例えばP1側の画像が通常パターン画像のように上下が反転していたとしても、これまではそのままの画像がモニタ60に表示されていた。しかし、通常パターンの画像を見た作業者は、上下反転した画像61A,61Bから吸着ノズル21の本来の状態を想像しながら確認することになるため、見間違いや確認ミスにつながるおそれがあった。そこで、本実施形態の画像処理プログラムでは、作業者が想像するノズル本来の方向に部品保持状態の方向を変換する方向変換処理が行われる。
【0029】
先ず、側面カメラ23によって撮像された画像データのうち、方向変換が必要な領域が分割され、画素値の変換によって、変換パターン画像に示す上下を反転させた画像が作成される。側面カメラ23の場合には、画像61A,61Bの領域が変換の対象であり、その画像を180°反転させることも予め分かっている。そこで、側面カメラ23によって撮像された画像データを基に、画像61A,61Bの領域が分割され画素値の変換によって、変換パターン画像に示す上下を反転させた画像61Ax,61Bxが作成される。変換された画像61Ax,61Bxは画像61A,61Bに置き換えられ、画像61C,61Dと一緒に一つの変換パターン画像としてモニタ60に表示される。
【0030】
この変換パターン画像では、吸着ノズル21a,21b,21c,21dの先端が全て下向きに統一されているため、作業者は直感的に各々の吸着部品保持状態を理解することができる。なお、モニタ60に表示される変換パターン画像は、
図5に示すように吸着ノズル21a,21b,21c,21dの部品保持状態を一つの画像としてモニタ60に表示させるほか、方向変換が必要でない領域の画像61C,61Dについても分割し、各吸着ノズル21の部品保持状態の画像61Ax,61Bx,61C,61Dを一画面ずつモニタ60に表示させるようにしてもよい。
【0031】
次に、パーツカメラ17によって撮像された画像の画像処理について説明する。
図6は、パーツカメラ17によって撮像された吸着ノズル21の部品保持状態の表示画面を示した図であり、特に、モニタ60に表示され部品80の状態が示されている。また、
図7は、パーツカメラ17によって撮像された吸着ノズル21の部品保持状態を部品80毎に分割した画像を示した図である。
【0032】
部品80を吸着保持した実装ヘッド6は、基板へ装着する前にパーツカメラ17の上を通過する。その際、吸着ノズル21に保持された部品80が撮像され、その画像データによって部品判定や位置ズレ判定が行われる。パーツカメラ17によって撮像された複数の部品80が、
図6に示すようにモニタ60に表示される。しかし、ロータリヘッドである実装ヘッド6は、吸着ノズル21が旋回するため、
図6の通常パターンに示すように、部品80の方向がバラバラになってしまっている。そこで、本実施形態の画像処理プログラムでは、全ての部品80の方向を揃えるようにした方向変換処理が行われる。
【0033】
パーツカメラ17によって撮像された画像データのうち、方向変換が必要な領域が分割され、更に画素値の変換によって部品80が全て横向きに変換され、変換パターンに示す画像が作成される。パーツカメラ17によって撮像された際、各々の吸着ノズル21に関する中心位置情報から画像内の部品80の位置が特定でき、更に各々の吸着ノズル21に関する旋回角度情報から吸着保持された部品80の方向(角度)も特定できる。そこで、パーツカメラ17によって撮像された画像データを基に、
図6の通常パターンの画面上に示した画像63A,63B,63C,63D…の領域の分割が全ての部品80について行われる。
【0034】
そして、分割された画像63Aなどは、それぞれ画素値の変換によって、全ての部品80が画面に対して横向きになるように所定の角度回転し、変換された画像63Ax,63Bx,63Cx,63Dx…を一つにした変換パターン画像が作成される、そして、変換前と同じように、複数の部品80が円周上に並べられた部品保持状態の画像がモニタ60に表示される。よって、
図6に示す変換パターン画像では、吸着ノズル21毎に方向の異なる部品80が全て同じ横向きに統一された画像であり、作業者は直感的に各々の吸着部品保持状態を理解することができる。
【0035】
また、パーツカメラ17によって撮像された画像データは、別の表示形態として、
図7に示すように位置ズレ情報とともに表示される場合がある。これまでは、通常パターンとして示すように、撮像した状態の画像をそのまま吸着ノズル21の領域毎に分割して表示されていた。しかし、旋回する吸着ノズル21によって部品80の方向がバラバラになってしまうため、ズレ量の数値を部品80の画像に対応して理解することが難しかった。
【0036】
ここでは、吸着ノズル21の中心を基準として、吸着保持した部品80の中心位置が、
図1に示す部品実装機1のX軸方向、Y軸方向および、回転方向にどの程度誤差を生じているかが算出され、その数値が表示される。しかし、表示された部品80の画像が様々な方向を向いた状態で表示されると、数値が意味する方向のズレ量と、モニタ60に表示される部品80の画像を、作業者が一致させて理解することが難しかった。
【0037】
そこで、本実施形態の画像処理プログラムでは、全ての部品80の方向を揃えるようにした方向変換処理が行われる。先ず、
図7に示す通常パターンは、
図6の場合と同様に、各吸着ノズル21の情報に基づき、全ての部品80の各領域について画像65A,65B,65C,65D…の分割が行われる。そして、画素値の変換によって部品80が縦向きになるように、各分割画像について所定の角度回転した画像65Ax,65Bx,65Cx,65Dx…が作成される。その後、画像処理された画像65Ax,65Bx,65Cx,65Dx…は、順番に並べられた変換パターン画像としてモニタ60に表示される。
【0038】
よって、
図7に示す変換パターン画像では、吸着ノズル21毎に方向の異なっていた部品80が、全て長手方向をY軸方向に統一した画像として表示されるため、作業者は、Y軸およびX軸方向のズレ量、回転方向のズレ量を直感的に理解することができる。特に、この方向変換は部品80が実装される方向、すなわち部品実装機1の前後方向であるY軸方向に合わせて縦向きになっている。そのため、部品80が基板に実装されるときのズレ量を作業者がイメージしやすくなっている。
【0039】
ところで、前記実施形態では部品80が全て同じもののように表現されているが、実装ヘッド6が取り扱う部品は同じ種類のものばかりではなく、異なる種類の部品80が一つの画像に含まれるような場合であってもよい。
図6及び
図7では、それぞれ変換パターン画像において、全ての部品80の長手方向をX軸方向またはY軸方向に統一して表示しているが、作業者が操作表示装置7やコンピュータ50を操作して、制御装置に指示することにより、部品80の方向の統一方法を選択できるようにしてもよい。例えば、各種の部品80について中心の位置ズレや旋回角度のズレを判断するための部品形状データを作成した際に基準とした方向で表示させる。この場合は、一つの変換パターン画像内に、部品80の種類によって長手方向がX軸方向になるもの、Y軸方向になるものがそれぞれ含まれることになることもある。また、そのほかにも、部品供給装置3において供給される各種部品80の方向によって表示するようにしてもよい。
【0040】
画像処理した変換パターン画像は、操作表示装置7およびコンピュータ50を区別せず、各々のモニタ60に表示される場合について説明したが、主にコンピュータ50で表示させるようにしてもよい。その際、
図5で示す側面カメラ23で撮像された通常パターンなどの分割画像データは制御装置10のRAM43に保存され、コンピュータ50へそのまま送信される。そして、コンピュータ50では、通常パターンの画像データを基に前述したように変換パターンの画像を作成し、そのモニタ60に表示させるようにする。その場合、部品実装機1の操作表示装置7で変換パターンの画像を見たい場合には、コンピュータ50で作成された変換パターンの画像を制御装置10へ送信して表示させるようにしてもよい。
【0041】
以上、本発明の一実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を逸脱しない範囲で様々な変更が可能である。
例えば、
図6の例では、全ての部品80について画像63A,63B,63C,63D…の領域の分割を行ったが、既に横向きで表示されている部品80の領域については画像を分割しなくてもよい。
図7の例でも同じである。
また、例えば、前記実施形態では複数の吸着ノズル21を搭載した実装ヘッド6としてロータリヘッドを例に挙げて説明したが、別タイプの実装ヘッドであってもよく、また実装ヘッド6に設けられた、側面カメラ23や光学系25からなる撮像装置も異なる構成のものであってもよい。