【解決手段】マーク認識装置1では、画像処理部85によってマーク認識画像G1に画像処理が施され、マーク認識条件設定部87によって基準マークFMを画像認識する際のマーク認識条件が設定される。マーク認識条件設定部87は、RGB色空間で表現されたマーク認識画像G1をHSV画像G7に変換する際の適合色相角をマーク認識条件として特定する色相角特定部871を含む。色相角特定部871により特定される適合色相角は、R成分画像G8Rにおいてマーク対応領域RMC内の画素群の平均輝度値と、マーク外周対応領域RMOC内の画素群の平均輝度値との差分である色相適用差分が、所定の基準輝度差LDS以上となる場合の色相角である。
前記画像処理部は、前記減色カラー画像を色毎に複数の色領域に分割し、前記複数の色領域の各々にラベルを付与するラベリング処理を実行するラベリング処理部を、更に含み、
前記領域抽出部は、前記ラベリング処理後の前記減色カラー画像において、前記特徴領域を抽出する、請求項2〜4のいずれか1項に記載のマーク認識装置。
前記減色処理部は、前記領域抽出部による前記特徴領域の抽出ができなかった場合に、前記マーク認識画像に対する減色度が調整されるように、前記減色処理のリトライ処理を実行する、請求項2に記載のマーク認識装置。
前記マーク認識条件設定部は、前記適合色相角に対応した前記特定色成分画像である注目色成分画像を構成する各画素の輝度値に基づいて、前記マーク対応領域と前記マーク外周対応領域とを区別するための2値化閾値を、前記マーク認識条件として特定する2値化閾値特定部を、更に含み、
前記2値化閾値を用いて前記注目色成分画像に対して2値化処理を施して2値画像を生成し、その2値画像におけるマーク対応領域の形状、外形サイズ及び中心位置を、マーク認識データとして取得するマーク認識部を、更に備える、請求項1〜6のいずれか1項に記載のマーク認識装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に開示される技術をマーク認識装置に適用した場合、マーク認識画像においてマーク領域を強調するための画像処理の処理条件は、オペレーターの入力操作によって設定されることとなる。画像処理条件の設定作業をオペレーターに委ねると、オペレーターの作業負担が増大するだけではなく、設定のばらつきが生じる虞がある。このため、基準マークの画像認識の精度が低下する虞がある。
【0007】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、基板上に配置された基準マークの画像認識を高精度に実施することが可能なマーク認識装置、及びそれを備えた処理装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一の局面に係るマーク認識装置は、基板上に配置された基準マークを認識する装置である。このマーク認識装置は、前記基準マークが含まれる前記基板上の所定のマーク配置領域を照明する照明部と、前記マーク配置領域を撮像し、当該マーク配置領域からの反射光に基づきカラーのマーク認識画像を生成するカラー画像撮像部と、を有する撮像カメラと、前記マーク認識画像に画像処理を施す画像処理部と、前記画像処理部による前記画像処理において、前記マーク認識画像上で前記基準マークを画像認識する条件であるマーク認識条件を特定し設定するマーク認識条件設定部と、を備える。前記画像処理部は、前記マーク認識画像において、前記基準マークの領域を示すマーク領域と、前記マーク領域を取り囲む所定範囲のマーク外周領域とを抽出する領域抽出部を含む。前記マーク認識条件設定部は、前記マーク認識画像に対応した特定の色成分の画像である特定色成分画像に基づいて、前記マーク認識条件としての適合色相角を特定する色相角特定部を含む。そして、前記色相角特定部は、前記特定色成分画像において、前記マーク領域に対応したマーク対応領域内の画素群の輝度値から計算される代表値と、前記マーク外周領域に対応したマーク外周対応領域内の画素群の輝度値から計算される代表値との差分である色相適用差分が、最大または所定の基準輝度差以上となる場合の色相角を、前記適合色相角として特定する。
【0009】
このマーク認識装置によれば、画像処理部によってマーク認識画像に画像処理が施され、マーク認識条件設定部によって基準マークを画像認識する際のマーク認識条件が設定される。マーク認識条件設定部は、マーク認識画像をHSV画像に変換する際の適合色相角をマーク認識条件として特定する色相角特定部を含む。色相角特定部により特定される適合色相角は、特定色成分画像においてマーク対応領域内の画素群の輝度値から計算される代表値と、マーク外周対応領域内の画素群の輝度値から計算される代表値との差分である色相適用差分が、最大または所定の基準輝度差以上となる場合の色相角である。このため、H成分を示す色相の色相角が適合色相角とされたHSV画像に基づき変換されたRGB画像においては、マーク対応領域がマーク外周対応領域に対して強調されたものとなる。このようなHSV画像から変換されたRGB画像に基づく画像認識によって、基準マークを高精度に認識することができる。ここで、基準マークを画像認識する際のマーク認識条件となる適合色相角は、オペレーターの入力操作によって設定されるのではなく、色相角特定部によって自動的に特定される。このため、オペレーターの設定作業に起因した、マーク認識条件の設定のばらつきが生じることが抑制される。
【0010】
上記のマーク認識装置において、前記画像処理部は、前記マーク認識画像の色を減らす減色処理を実行し、前記マーク認識画像に対して減色された減色カラー画像を生成する減色処理部を、更に含む。そして、前記領域抽出部は、前記減色カラー画像において所定の形状を示す特徴領域を抽出し、その特徴領域に対応した前記マーク認識画像の領域を前記マーク領域として特定する。
【0011】
この態様では、マーク認識画像に対して減色された減色カラー画像に基づいて、マーク領域の特定処理が行われる。これにより、領域抽出部によるマーク領域の特定処理の効率化が図られる。
【0012】
上記のマーク認識装置において、前記減色処理部は、前記マーク認識画像をRGBの各色成分に分解し、色成分毎の色成分画像を生成する色分解部と、前記色成分画像を構成する各画素の輝度値に基づいて、前記色成分画像毎に複数の色成分分割領域に分割する領域分割部と、前記色成分画像において、前記色成分分割領域毎にその領域内の各画素の輝度値を当該領域内の画素群の輝度値から計算される代表値に変換し、前記色成分画像毎に階調数を減らした階調調整色成分画像を生成する階調数調整部と、前記各階調調整色成分画像を合成し、前記減色カラー画像を生成する減色画像生成部と、を有する。
【0013】
この態様では、減色処理部は、マーク認識画像をRGBの色成分毎に分解して色成分画像を生成し、当該色成分画像毎に階調数を減らした階調調整色成分画像を生成し、これらの各階調調整色成分画像を合成することによって減色カラー画像を生成する。すなわち、減色処理部は、フルカラー画像であるマーク認識画像に対する直接的な減色処理によって減色カラー画像を生成するものではなく、RGBの色成分画像毎に階調数を減らす処理を施して減色カラー画像を生成する。これにより、例えば512色のフルカラー画像を256色に減色し、更に256色から128色へと減色するような減色処理を繰り返す必要がなくなるから、減色処理部による減色処理の効率化が図られる。
【0014】
また、上記のマーク認識装置において、前記減色処理部は、前記マーク認識画像をHSV画像に変換してHSVの各色成分に分解し、色成分毎の色成分画像を生成する色分解部と、前記色成分画像を構成する各画素の輝度値に基づいて、前記色成分画像毎に複数の色成分分割領域に分割する領域分割部と、前記色成分画像において、前記色成分分割領域毎にその領域内の各画素の輝度値を当該領域内の画素群の輝度値から計算される代表値に変換し、前記色成分画像毎に階調数を減らした階調調整色成分画像を生成する階調数調整部と、前記各階調調整色成分画像をRGB画像に変換して合成し、前記減色カラー画像を生成する減色画像生成部と、を有する構成であってもよい。
【0015】
上記のマーク認識装置において、前記画像処理部は、前記減色カラー画像を色毎に複数の色領域に分割し、前記複数の色領域の各々にラベルを付与するラベリング処理を実行するラベリング処理部を、更に含む。そして、前記領域抽出部は、前記ラベリング処理後の前記減色カラー画像において、前記特徴領域を抽出する。
【0016】
この態様では、領域抽出部は、色領域毎にラベルが付与された減色カラー画像を用いて特徴領域を抽出し、その特徴領域に対応したマーク領域を特定する。領域抽出部は、減色カラー画像においてマーク領域に対応した特徴領域を抽出する際に、色領域毎に付与されたラベルを目印とすることができる。これにより、領域抽出部によるマーク領域の特定の精度が向上する。
【0017】
上記のマーク認識装置において、前記減色処理部は、前記領域抽出部による前記特徴領域の抽出ができなかった場合に、前記マーク認識画像に対する減色度が調整されるように、前記減色処理のリトライ処理を実行する。
【0018】
この態様では、減色処理部のリトライ処理によって、マーク認識画像に対する減色度が調整された減色カラー画像を生成することができる。
【0019】
上記のマーク認識装置において、前記マーク認識条件設定部は、前記適合色相角に対応した前記特定色成分画像である注目色成分画像を構成する各画素の輝度値に基づいて、前記マーク対応領域と前記マーク外周対応領域とを区別するための2値化閾値を、前記マーク認識条件として特定する2値化閾値特定部を、更に含む。そして、マーク認識装置は、前記2値化閾値を用いて前記注目色成分画像に対して2値化処理を施して2値画像を生成し、その2値画像におけるマーク対応領域の形状、外形サイズ及び中心位置を、マーク認識データとして取得するマーク認識部を、更に備える。
【0020】
この態様では、マーク認識部は、基準マークの画像認識結果を示すマーク認識データとして、マーク対応領域の形状、外形サイズ及び中心位置を取得する。これにより、基準マークの形状、外形サイズ及び中心位置に関する情報について、オペレーターの入力操作が不要となる。このため、オペレーターの入力操作の作業負担を軽減することができると共に、入力ミス等に起因した基準マークに関する設定のばらつきが生じることが抑制される。
【0021】
上記のマーク認識装置において、前記マーク認識条件設定部は、彩度画像を、前記基準マークの画像認識の際に用いるか否かを判定する彩度判定部を、更に含む。前記彩度判定部は、前記彩度画像において、前記マーク領域に対応したマーク対応領域内の画素群の輝度値から計算される代表値と、前記マーク外周領域に対応したマーク外周対応領域内の画素群の輝度値から計算される代表値との差分である彩度適用差分を算出し、当該彩度適用差分が前記色相適用差分よりも大きい場合に、前記基準マークの画像認識の際に前記彩度画像を用いると判定する。
【0022】
例えば、広範囲の色成分を含んだ色(白色)の基板に基準マークが配置されている場合を想定する。この場合、H成分を示す色相の色相角が適合色相角とされたHSV画像に基づき変換されたRGB画像において、マーク対応領域がマーク外周対応領域に対して強調されたものが得にくいことが想定される。このような場合には、彩度判定部は、基準マークの画像認識の際に彩度画像を用いると判定する。これにより、マーク対応領域がマーク外周対応領域に対して強調されたものを得ることができる。
【0023】
上記のマーク認識装置は、前記マーク認識条件設定部による前記マーク認識条件の特定に適合した前記照明部の適合照明出力を特定する照明条件特定処理部を、更に備える。そして、前記画像処理部は、前記マーク認識画像をモノクロ画像に変換する画像変換処理部を、更に含む。前記照明条件特定処理部は、前記モノクロ画像を構成する各画素の輝度値に基づいて、当該モノクロ画像において、所定の閾値よりも大きい輝度値の画素群からなる照明特定領域を抽出する照明領域抽出部と、前記照明特定領域内の各画素において、所定の輝度値を超える輝度値を示す注目画素の画素数の、前記照明特定領域内の画素の総画素数に対する比率である照明特定比率が、所定の基準比率以下となる場合の前記照明部の照明出力を、前記適合照明出力として特定する照明出力特定部と、を有する。
【0024】
また、上記のマーク認識装置において、前記照明出力特定部は、明るさが異なる複数の前記モノクロ画像の各々について前記照明特定比率を演算するように構成されていてもよい。そして、複数の前記モノクロ画像は、前記照明部の照明出力を複数の条件で切替えて前記カラー画像撮像部により撮像された複数の前記マーク認識画像が前記画像変換処理部によって変換されたもの、又は、前記照明部の照明出力の変化を疑似的に再現して明るさが調整されたものである。
【0025】
この態様では、照明条件特定処理部は、マーク認識条件設定部によるマーク認識条件の特定に適合した照明部の適合照明出力を特定する。これにより、過照度の照明に由来した色飛び(白飛び)の発生が抑制されたマーク認識画像に基づいて、マーク認識条件設定部によるマーク認識条件の設定を行うことができる。
【0026】
本発明の他の局面に係る処理装置は、基準マークが配置された基板を搬送する搬送部と、前記基板上の前記基準マークを認識する上記のマーク認識装置と、前記マーク認識装置による前記基準マークの認識結果に基づいて、前記基板上の所定領域に処理を施すヘッドユニットと、を備える。
【0027】
この処理装置によれば、基板上に配置された基準マークの画像認識を高精度に実施することが可能なマーク認識装置を備える。これにより、ヘッドユニットは、マーク認識装置による基準マークの認識結果に基づいて、位置ズレが生じないように基板上の所定領域に処理を施すことができる。
【発明の効果】
【0028】
以上説明したように、本発明によれば、基板上に配置された基準マークの画像認識を高精度に実施することが可能なマーク認識装置、及びそれを備えた処理装置を提供することができる。
【発明を実施するための形態】
【0030】
以下、本発明の実施形態に係るマーク認識装置及び処理装置について、図面に基づいて説明する。
【0031】
[部品実装装置の構成]
図1は、本発明の一実施形態に係る部品実装装置1の構成を示す平面図である。
図2は、部品実装装置1に備えられるヘッドユニット5の平面図である。なお、
図1では、水平面上のXY直交座標軸を用いて、方向関係が示されている。X軸方向の一方向側を「+X側」と称し、X軸方向の一方向側とは反対の他方向側を「−X側」と称する。また、Y軸方向の一方向側を「+Y側」と称し、Y軸方向の一方向側とは反対の他方向側を「−Y側」と称する。
【0032】
部品実装装置1は、基板P上の所定領域に処理を施す処理装置の一例である。部品実装装置1は、基板Pに部品を搭載(実装)して部品搭載基板を生産する装置である。部品実装装置1は、本体フレーム2と、コンベア3と、部品供給装置4と、ヘッドユニット5と、を備える。
【0033】
本体フレーム2は、部品実装装置1を構成する各部が配置される構造体であり、鉛直上方から見た平面視で略矩形状に形成されている。
【0034】
コンベア3は、X軸方向に延び、本体フレーム2に配置されている。コンベア3は、X軸方向に沿った搬送方向に基板Pを搬送する搬送部である。基板Pは、コンベア3上を搬送されて、所定の作業位置(基板P上に部品Eが搭載される部品搭載位置)に位置決めされるようになっている。コンベア3は、基板Pが前記部品搭載位置に位置決めされるように当該基板Pを搬送する。
【0035】
部品供給装置4は、本体フレーム2に設定された部品供給領域21に配置されている。部品供給領域21は、本体フレーム2におけるY軸方向の+Y側及び−Y側の領域部分にそれぞれ、X軸方向に2箇所ずつ合計4箇所に設定される。各部品供給領域21に、複数の部品供給装置4が配列されている。部品供給装置4は、基板Pに搭載される部品を所定の部品供給位置に供給する装置である。
【0036】
部品供給装置4は、部品供給方式の違いにより、テープフィーダー、トレイフィーダー及びスティックフィーダーに大別される。各部品供給領域21には、部品供給方式が同一の1種の部品供給装置が配置されていてもよいし、部品供給方式が異なる2種以上の部品供給装置がそれぞれ配置されていてもよい。テープフィーダーは、部品が収納された部品収納テープを前記部品供給位置に向けて送出することにより部品を供給する方式の装置である。トレイフィーダーは、複数の部品を保持したトレイが載置されたパレットを前記部品供給位置に移動させることにより部品を供給する方式の装置である。スティックフィーダーは、筒状のスティックに収納された部品を当該スティックから押し出しながら前記部品供給位置に供給する方式の装置である。
【0037】
ヘッドユニット5は、移動フレーム5Aに配設されている。移動フレーム5Aは、X軸方向に延び、Y軸方向に移動可能となるように本体フレーム2に支持される。移動フレーム5Aは、第1駆動機構5BによってY軸方向に移動される。第1駆動機構5Bは、例えば、駆動モーターと、Y軸方向に延び、駆動モーターに連結されるボールねじ軸と、移動フレーム5Aに配設されてボールねじ軸と螺合するボールナットと、を含んで構成される。このような構成の第1駆動機構5Bは、駆動モーターによるボールねじ軸の回転駆動に伴ってボールナットがボールねじ軸に沿って進退することにより、移動フレーム5AをY軸方向に移動させる。
【0038】
ヘッドユニット5は、X軸方向に移動可能となるように、移動フレーム5Aに配設される。すなわち、ヘッドユニット5は、移動フレーム5Aの移動に伴ってY軸方向に移動可能であり、且つ、移動フレーム5Aに沿ってX軸方向に移動可能である。ヘッドユニット5は、第2駆動機構5Cによって移動フレーム5Aに沿って移動される。第2駆動機構5Cは、第1駆動機構5Bと同様に、例えば、駆動モーターと、X軸方向に延び、駆動モーターに連結されるボールねじ軸と、ヘッドユニット5に配設されてボールねじ軸と螺合するボールナットと、を含んで構成される。このような構成の第2駆動機構5Cは、駆動モーターによるボールねじ軸の回転駆動に伴ってボールナットがボールねじ軸に沿って進退することにより、ヘッドユニット5をX軸方向に移動させる。
【0039】
なお、第1駆動機構5B及び第2駆動機構5Cは、当例では、駆動モーターによりボールねじ軸を介して移動フレーム5A及びヘッドユニット5を移動させる構成である。しかし、例えばリニアモーターを駆動源として移動フレーム5Aやヘッドユニット5をダイレクトに駆動する構成であってもよい。
【0040】
ヘッドユニット5は、部品供給装置4の前記部品供給位置と、コンベア3により搬送された基板Pの所定の部品搭載位置とにわたって移動可能とされる。ヘッドユニット5は、部品供給位置において部品供給装置4から部品を取り出すと共に、その取り出した部品を部品搭載位置において基板P上に搭載(実装)する。
【0041】
ヘッドユニット5は、
図2に示すように、ヘッド本体51と、回転体52と、吸着ノズル53とを含む。ヘッド本体51は、ヘッドユニット5の本体部分を構成する。回転体52は、円柱状に形成され、回転体駆動機構により鉛直軸(鉛直方向に延びる軸)を回転中心として回転可能に、ヘッド本体51に設けられる。
【0042】
回転体52の外周縁端部には、複数の吸着ノズル53が、周方向に所定の間隔をおいて配設されている。吸着ノズル53は、部品供給装置4により部品供給位置に供給された部品を吸着して保持可能な保持具である。吸着ノズル53は、電動切替弁を介して負圧発生装置、正圧発生装置及び大気の何れかに連通可能とされている。つまり、吸着ノズル53に負圧が供給されることで当該吸着ノズル53による部品の吸着保持(部品の取り出し)が可能となり、その後、正圧が供給されることで当該部品の吸着保持が解除される。なお、本実施形態では、吸着ノズル53以外の保持具として、例えば部品を把持して保持するチャックなどであってもよい。
【0043】
吸着ノズル53は、ノズル昇降駆動機構により上下方向(鉛直方向)に昇降可能に、回転体52に設けられる。吸着ノズル53は、部品供給装置4により部品供給位置に供給された部品の保持が可能な保持位置と、保持位置に対して上方側の退避位置との間で、上下方向に移動可能である。つまり、部品供給位置に供給された部品を保持するときには、吸着ノズル53は、ノズル昇降駆動機構によって退避位置から保持位置へ向かって下降し、当該保持位置において部品を吸着保持する。一方、部品の吸着保持後の吸着ノズル53は、ノズル昇降駆動機構によって保持位置から退避位置へ向かって上昇する。
【0044】
また、部品実装装置1は、ヘッド本体51の下面に固定された部品供給カメラC1及びマーク認識カメラ7と、本体フレーム2に配設された部品認識カメラC2と、を更に備える。
【0045】
部品供給カメラC1は、ヘッド本体51の下面において、回転体52よりも外側(−X側)に固定された撮像カメラである。部品供給カメラC1は、吸着ノズル53による部品の吸着保持動作の前に、部品供給装置4により部品供給位置に供給された部品を斜め上方から撮像する。部品供給カメラC1は、部品供給装置4によって部品供給位置に部品が供給されているか、又は、部品供給位置に供給された部品の姿勢を検出する。
【0046】
部品認識カメラC2は、本体フレーム2上の各部品供給領域21とコンベア3との間の位置にそれぞれ配設された撮像カメラである。部品認識カメラC2は、吸着ノズル53に吸着保持された部品の保持状態を認識するために、当該部品を下側から撮像する。部品供給位置において吸着ノズル53により部品が吸着保持された後、コンベア3上で位置決めされた基板Pの部品搭載位置に向けてヘッドユニット5が移動されると、その移動中において部品認識カメラC2が部品を撮像する。すなわち、部品認識カメラC2は、吸着ノズル53に吸着保持された部品が部品搭載位置において基板P上に搭載される前に、当該部品を撮像する。
【0047】
部品認識カメラC2は、ヘッドユニット5が部品搭載動作を実行する前に、吸着ノズル53による部品の保持状態を認識する。部品認識カメラC2は、部品認識動作において、吸着ノズル53による部品の保持異常が生じている場合には、その保持異常を認識する。具体的には、部品認識カメラC2は、吸着ノズル53が部品を不保持である場合には、その不保持であることを保持異常として認識する。また、部品認識カメラC2は、吸着ノズル53が吸着保持している部品の姿勢が異常である場合には、その異常姿勢であることを保持異常として認識する。
【0048】
マーク認識カメラ7は、ヘッド本体51の下面において、回転体52に対してY軸方向の+Y側及び−Y側に配設された撮像カメラである。マーク認識カメラ7は、後記のマーク認識装置6の一部を構成する。すなわち、本実施形態に係る部品実装装置1は、マーク認識装置6を備えている。
【0049】
[マーク認識装置の構成]
図3は、マーク認識装置6の構成を示すブロック図である。マーク認識装置6は、コンベア3によって前記部品搭載位置に搬送されてきた基板P上に配置された基準マークFM(
図1)を、画像認識する装置である。
図1に示す例では、基準マークFMは、矩形の基板Pの対角線上に付設された一対のフィデューシャルマークであって、基板Pの原点座標に対する位置ズレ量を検知するためのマークである。マーク認識装置6は、マーク認識カメラ7と、マーク認識制御部8とを備える。
【0050】
<マーク認識カメラ>
マーク認識カメラ7は、コンベア3上で位置決めされた基板Pの上面に付設されている基準マークFMを認識するために、当該基準マークFMを上方から撮像する。マーク認識カメラ7は、照明部71とカラー画像撮像部72とを有する。
【0051】
照明部71は、例えばLED(Light Emintting Diode)である。照明部71は、基準マークFMが含まれる基板P上の所定のマーク配置領域を照明する。照明部71は、照明出力の変更が可能である。照明部71は、照明出力の変更によって、基板P上における照明対象の前記マーク配置領域の照度を調整することができる。
【0052】
カラー画像撮像部72は、例えばCMOS(Complementary metal−oxide−semiconductor)やCCD(Charged−coupled devices)などの撮像素子を含む。カラー画像撮像部72は、照明部71によって照明された前記マーク配置領域を撮像し、当該マーク配置領域からの反射光に基づきマーク認識画像G1(後記の
図4)を生成する。マーク認識画像G1は、RGB色空間で表現されたフルカラー画像である。RGB色空間は、原色をR(Red;赤)、G(Green;緑)及びB(Blue;青)とするRGB表色系によって構成される色空間である。
【0053】
RGB色空間で表現されたマーク認識画像G1においては、256階調の場合、最大輝度の赤色を示す画素の画素値は(255,0,0)で表現され、最大輝度の緑色を示す画素の画素値は(0,255,0)で表現され、最大輝度の青色を示す画素の画素値は(0,0,255)で表現される。また、白色を示す画素の画素値は(255,255,255)で表現され、黒色を示す画素の画素値は(0,0,0)で表現される。また、黄色を示す画素の画素値は(255,255,0)で表現され、マゼンタ色を示す画素の画素値は(255,0,255)で表現され、シアン色を示す画素の画素値は(0,255,255)で表現される。
【0054】
マーク認識カメラ7によって基準マークFMを撮像する際には、当該マーク認識カメラ7が基準マークFMを撮像可能なよう、ヘッドユニット5がX軸方向及びY軸方向に移動される。
【0055】
<マーク認識制御部>
マーク認識制御部8は、マーク認識装置6の画像認識動作を統括的に制御する制御部を構成する。マーク認識制御部8は、例えば、マイクロプロセッサやその周辺回路等で構成されている。マーク認識制御部8は、マーク認識カメラ7の撮像により生成されたマーク認識画像G1に基づいて、基準マークFMを画像認識する画像認識処理を実行する。マーク認識制御部8の画像認識処理によって、マーク認識画像G1上での基準マークFMの形状、外形サイズ及び中心位置が認識される。マーク認識制御部8による基準マークFMの認識結果は、ヘッドユニット5が基板P上に部品を搭載する部品搭載動作を実行するときに参照される。すなわち、ヘッドユニット5は、マーク認識制御部8による基準マークFMの認識結果に基づいて、位置ズレが生じないように部品を基板P上の所定の部品搭載位置に搭載する。
【0056】
マーク認識制御部8は、中央処理部81と、信号入出力部82と、データ通信部83と、記憶部84と、画像処理部85と、照明条件特定処理部86と、マーク認識条件設定部87と、マーク認識部88とを含む。
【0057】
中央処理部81は、マーク認識制御部8において、マーク認識画像G1に基づく画像認識処理を管理する部分であって、信号入出力部82、データ通信部83、記憶部84、画像処理部85、照明条件特定処理部86、マーク認識条件設定部87及びマーク認識部88の各々と接続される。
【0058】
信号入出力部82は、部品実装装置1においてヘッドユニット5の移動動作などを制御する実装制御装置等の外部装置からの信号の入力や、当該外部装置への信号の出力が行われるインターフェイス回路である。
【0059】
データ通信部83は、マーク認識カメラ7によって生成されたマーク認識画像G1を示す画像データをマーク認識カメラ7から受信すると共に、後述のマーク認識部88が取得したマーク認識データを前記外部装置に送信するデータ通信を行う。
【0060】
記憶部84は、マーク認識部88によって取得された前記マーク認識データを記憶する。また、記憶部84は、詳細については後述するが、マーク認識条件設定部87によって設定された適合色相角、2値化閾値及び彩度画像適用情報などのマーク認識条件、照明条件特定処理部86によって特定された適合照明出力を、前記マーク認識データに関連付けて記憶する。
【0061】
<画像処理部>
画像処理部85は、マーク認識画像G1に画像処理を施す。画像処理部85は、画像変換処理部851と、減色処理部852と、ラベリング処理部853と、領域抽出部を構成するマーク領域抽出部854及びマーク外周領域抽出部855と、色空間変換部856と、を含む。
【0062】
(画像変換処理部)
図4は、画像変換処理部851による画像変換処理を示す図である。画像変換処理部851は、マーク認識カメラ7によって生成されたマーク認識画像G1をモノクロ画像G2に変換する画像変換処理を実行する。モノクロ画像G2は、白黒の濃淡を表現したグレースケール画像である。モノクロ画像G2では、白黒の濃淡が例えば256階調で表現される。モノクロ画像G2においては、黒色を示す画素の輝度値(画素値)は「0」で表現され、白色を示す画素の輝度値は「255」で表現され、黒色と白色との間の中間色を示す画素の輝度値は「0」から「255」までの間の数値で表現される。
【0063】
(減色処理部)
減色処理部852は、マーク認識画像G1の色を減らす減色処理を実行し、マーク認識画像G1に対して減色された減色カラー画像G5(後記の
図8)を生成する。減色処理部852が実行する減色処理としては、メディアンカット法やK−means法などの公知の処理の適用が可能であるが、本実施形態では特異な減色処理が採用される。具体的には、減色処理部852は、
図3に示すように、色分解部8521と、領域分割部8522と、階調数調整部8523と、減色画像生成部8524とを有する。
【0064】
図5は、色分解部8521による色成分分解処理を示す図である。色分解部8521は、マーク認識画像G1をRGBの各色成分に分解する色成分分解処理を実行し、色成分毎の色成分画像となるR成分画像G3R、G成分画像G3G及びB成分画像G3Bを生成する。R成分画像G3R、G成分画像G3G及びB成分画像G3Bは、例えば256階調で濃淡が表現されたグレースケール画像である。
【0065】
図6は、領域分割部8522による領域分割処理を示す図である。領域分割部8522は、R成分画像G3R、G成分画像G3G及びB成分画像G3Bの各色成分画像について、画像を構成する各画素の輝度値に基づいて、色成分画像毎に複数の色成分分割領域に分割する領域分割処理を実行する。
【0066】
図6に示す例では、領域分割部8522は、R成分画像G3Rを構成する画素群の輝度値分布を表すR成分ヒストグラムHRに基づいて、R成分分割閾値TR1,TR2を決定する。そして、領域分割部8522は、R成分分割閾値TR1,TR2を用いてR成分画像G3Rを、複数の第1〜第3R成分分割領域RR1,RR2,RR3に分割する。第1R成分分割領域RR1は、R成分画像G3Rにおいて閾値TR1よりも小さい輝度値の画素群からなる領域である。第2R成分分割領域RR2は、R成分画像G3Rにおいて閾値TR1から閾値TR2までの輝度値の画素群からなる領域である。第3R成分分割領域RR3は、R成分画像G3Rにおいて閾値TR2よりも大きい輝度値の画素群からなる領域である。
【0067】
G成分画像G3Gに対する領域分割処理は、R成分画像G3Rの場合と同様である。すなわち、領域分割部8522は、G成分画像G3Gを構成する画素群の輝度値分布を表すG成分ヒストグラムHGに基づいて、G成分分割閾値TG1,TG2を決定する。そして、領域分割部8522は、G成分分割閾値TG1,TG2を用いてG成分画像G3Gを、複数の第1〜第3G成分分割領域RG1,RG2,RG3に分割する。第1G成分分割領域RG1は、G成分画像G3Gにおいて閾値TG1よりも小さい輝度値の画素群からなる領域である。第2G成分分割領域RG2は、G成分画像G3Gにおいて閾値TG1から閾値TG2までの輝度値の画素群からなる領域である。第3G成分分割領域RG3は、G成分画像G3Gにおいて閾値TG2よりも大きい輝度値の画素群からなる領域である。
【0068】
B成分画像G3Bに対する領域分割処理は、R成分画像G3Rの場合と同様である。すなわち、領域分割部8522は、B成分画像G3Bを構成する画素群の輝度値分布を表すB成分ヒストグラムHBに基づいて、B成分分割閾値TB1,TB2を決定する。そして、領域分割部8522は、B成分分割閾値TB1,TB2を用いてB成分画像G3Bを、複数の第1〜第3B成分分割領域RB1,RB2,RB3に分割する。第1B成分分割領域RB1は、B成分画像G3Bにおいて閾値TB1よりも小さい輝度値の画素群からなる領域である。第2B成分分割領域RB2は、B成分画像G3Bにおいて閾値TB1から閾値TB2までの輝度値の画素群からなる領域である。第3B成分分割領域RB3は、B成分画像G3Bにおいて閾値TB2よりも大きい輝度値の画素群からなる領域である。
【0069】
図7は、階調数調整部8523による階調数調整処理を示す図である。階調数調整部8523は、R成分画像G3R、G成分画像G3G及びB成分画像G3Bの各色成分画像において、色成分分割領域毎にその領域内の各画素の輝度値を、当該領域内の画素群の輝度値から計算される代表値(例えば平均輝度値)に変換する階調数調整処理を実行する。階調数調整部8523は、階調数調整処理の実行によって、階調数を減らした階調調整色成分画像となる階調調整R成分画像G4R、階調調整G成分画像G4G及び階調調整B成分画像G4Bを生成する。
【0070】
図7に示す例では、階調数調整部8523は、R成分画像G3Rにおいて、第1〜第3R成分分割領域RR1,RR2,RR3毎にその領域内の各画素の輝度値を当該領域内の例えば平均輝度値に変換する。これにより、階調数調整部8523は、R成分画像G3Rに対して階調数を減らした階調調整R成分画像G4Rを生成する。また、階調数調整部8523は、G成分画像G3Gにおいて、第1〜第3G成分分割領域RG1,RG2,RG3毎にその領域内の各画素の輝度値を当該領域内の例えば平均輝度値に変換する。これにより、階調数調整部8523は、G成分画像G3Gに対して階調数を減らした階調調整G成分画像G4Gを生成する。また、階調数調整部8523は、B成分画像G3Bにおいて、第1〜第3B成分分割領域RB1,RB2,RB3毎にその領域内の各画素の輝度値を当該領域内の例えば平均輝度値に変換する。これにより、階調数調整部8523は、B成分画像G3Bに対して階調数を減らした階調調整B成分画像G4Bを生成する。
【0071】
減色画像生成部8524は、RGB色成分毎の階調調整R成分画像G4R、階調調整G成分画像G4G及び階調調整B成分画像G4Bを合成し、減色カラー画像G5(後記の
図8)を生成する。
【0072】
なお、他の実施形態において、減色処理部852は、色分解部8521、領域分割部8522、階調数調整部8523及び減色画像生成部8524が、以下に示す処理を実行するように構成されていてもよい。
【0073】
減色処理部852の他の実施形態において、色分解部8521は、マーク認識画像G1をHSV画像に変換してHSVの各色成分に分解し、色成分毎の色成分画像を生成する。領域分割部8522は、色分解部8521によって生成された各色成分画像について、画像を構成する各画素の輝度値に基づいて、色成分画像毎に複数の色成分分割領域に分割する。階調数調整部8523は、各色成分画像において、色成分分割領域毎にその領域内の各画素の輝度値を、当該領域内の画素群の輝度値から計算される代表値(例えば平均輝度値)に変換する階調数調整処理を実行する。階調数調整部8523は、階調数調整処理の実行によって、階調数を減らした階調調整色成分画像を生成する。そして、減色画像生成部8524は、HSV成分毎の階調調整色成分画像をRGB画像に変換して合成し、減色カラー画像G5を生成する。
【0074】
(ラベリング処理部)
図8及び
図9は、ラベリング処理部853が実行する処理を示す図である。ラベリング処理部853は、減色カラー画像G5を色毎に複数の色領域RC1,RC2,RC3,RC4に分割する(
図8参照)。そして、ラベリング処理部853は、減色カラー画像G5の各色領域RC1,RC2,RC3,RC4にラベルを付与するラベリング処理を実行し、ラベル付与画像G6を生成する(
図9参照)。
【0075】
(マーク領域抽出部)
マーク領域抽出部854について、
図9を参照して説明する。マーク領域抽出部854は、マーク認識画像G1において、基準マークFMの領域を示すマーク領域RMを抽出する。マーク領域抽出部854は、減色カラー画像G5において所定の形状及び外形サイズを示す特徴領域RCSを抽出し、その特徴領域RCSに対応したマーク認識画像G1の領域をマーク領域RMとして特定する。より具体的には、マーク領域抽出部854は、ラベリング処理部853によるラベリング処理後の減色カラー画像であるラベル付与画像G6において、所定の形状及び外形サイズを示す特徴領域RCSを抽出し、その特徴領域RCSに対応したマーク認識画像G1の領域をマーク領域RMとして特定する。
【0076】
(マーク外周領域抽出部)
マーク外周領域抽出部855は、マーク認識画像G1において、前記マーク領域RMを取り囲む所定範囲の外周領域を抽出し、その外周領域をマーク外周領域RMO(
図9)として特定する。
【0077】
(色空間変換部)
図10は、色空間変換部856による第1色空間変換処理を示す図である。
図11は、HSV画像G7のH成分を示す色相の色相角を説明する図である。
図12は、色空間変換部856による第2色空間変換処理を示す図である。色空間変換部856は、RGB色空間で表現されたマーク認識画像G1をHSV色空間で表現されたHSV画像G7に変換する第1色空間変換処理を実行する。HSV色空間は、H(Hue;色相)成分、S(Saturation;彩度)成分、及びV(Value;明度)の3成分からなる色空間である。HSV色空間で表現されたHSV画像G7は、H成分を示す色相の画像であるH成分画像G7Hと、S成分を示す彩度の画像であるS成分画像G7Sと、V成分を示す明度の画像であるV成分画像G7Vとが組み合わされたものである。
【0078】
HSV画像G7のH成分を示す色相は、
図11に示すように、0度から360度までの角度を用いて数値化することができる。色相の数値化された角度を「色相角」という。色相角が「0度又は360度」の場合は赤色の様相を示し、色相角が「120度」の場合は緑色の様相を示し、色相角が「240度」の場合は青色の様相を示す。また、色相角が「60度」の場合は黄色の様相を示し、色相角が「180度」の場合はシアン色の様相を示し、色相角が「300度」の場合はマゼンタ色の様相を示す。
【0079】
更に、色空間変換部856は、HSV画像G7のH成分を示す色相の色相角を所定範囲(例えば0度から360度までの範囲)で変化させた場合の各画像を、RGB色空間で表現されたRGB画像G8に変換する第2色空間変換処理を実行する。
図12に示すように、色相角の変化に応じて生成された複数のRGB画像G8の各々は、マーク領域抽出部854がマーク認識画像G1において特定したマーク領域RMに対応したマーク対応領域RMCを含んでいる。また、各RGB画像G8は、マーク外周領域抽出部855がマーク認識画像G1において特定したマーク外周領域RMOに対応したマーク外周対応領域RMOCを含んでいる。
【0080】
<照明条件特定処理部>
図13は、照明条件特定処理部86による照明条件特定処理を示す図である。照明条件特定処理部86は、後述のマーク認識条件設定部87によるマーク認識条件の設定に適合した照明部71の適合照明出力を特定する照明条件特定処理を実行する。照明条件特定処理部86は、
図3に示すように、照明領域抽出部861と照明出力特定部862とを有する。
【0081】
(照明領域抽出部)
照明領域抽出部861は、画像変換処理部851によって生成されたモノクロ画像G2を構成する各画素の輝度値に基づいて、当該モノクロ画像G2において、所定の照明特定閾値TISよりも大きい輝度値の画素群からなる照明特定領域RITを抽出する。
【0082】
図13に示す例では、照明領域抽出部861は、モノクロ画像G2を構成する画素群の輝度値分布を表す照明特定用ヒストグラムHIに基づいて、第1及び第2照明閾値TI1,TI2を決定する。照明領域抽出部861は、第1及び第2照明閾値TI1,TI2のうち、大きい値を示す第2照明閾値TI2を照明特定閾値TISとして認識する。照明領域抽出部861は、照明特定用ヒストグラムHIに基づく照明閾値が1つである場合にはそれを照明特定閾値TISとして認識する。一方、照明閾値が3以上の場合には、照明領域抽出部861は、最大値を示すものを照明特定閾値TISとして認識する。
【0083】
モノクロ画像G2は、第1照明閾値TI1よりも小さい輝度値の画素群からなる第1照明領域と、第1照明閾値TI1から照明特定閾値TISまでの輝度値の画素群からなる第2照明領域RI2と、照明特定閾値TISよりも大きい輝度値の画素群からなる照明特定領域RITとを含んでいる。照明領域抽出部861は、モノクロ画像G2に含まれている照明特定領域RITを抽出することになる。
【0084】
なお、モノクロ画像G2において照明特定領域RITには、最大輝度領域RIT1と、それ以外の領域RIT2とが含まれている。最大輝度領域RIT1は、照明特定領域RITにおいて、所定の輝度値を超える輝度値(例えば最大輝度値(255))を示す注目画素の画素群からなる領域である。一方、領域RIT2は、照明特定領域RITにおいて、前記最大輝度値と照明特定閾値TISとの間の輝度値を示し、前記注目画素以外の画素群からなる領域である。
【0085】
(照明出力特定部)
照明出力特定部862は、照明特定領域RIT内の各画素において、最大輝度領域RIT1を構成する注目画素の画素数の、照明特定領域RIT内の画素の総画素数に対する比率である照明特定比率を演算する。そして、照明出力特定部862は、前記照明特定比率が所定の基準比率以下となる場合の照明部71の照明出力を、前記適合照明出力として特定する。ここで、照明出力特定部862は、明るさが異なる複数のモノクロ画像G2の各々について前記照明特定比率を演算し、前記適合照明出力を特定する。前記複数のモノクロ画像G2は、照明部71の照明出力を複数の条件で切替えてカラー画像撮像部72により撮像された複数のマーク認識画像G1が画像変換処理部851によって画像変換されたものであってもよいし、照明部71の照明出力の変化を疑似的に再現して明るさが調整されたものであってもよい。
【0086】
照明出力特定部862によって特定された前記適合照明出力は、マーク認識データに関連付けられて記憶部84に記憶される。記憶部84に記憶された前記適合照明出力は、マーク認識条件設定部87によるマーク認識条件の設定の際に読み出される。
【0087】
<マーク認識条件設定部>
マーク認識条件設定部87は、画像処理部85によるマーク認識画像G1に対する画像処理において、基準マークFMを画像認識する条件であるマーク認識条件を特定して設定する。マーク認識条件設定部87は、
図3に示すように、色相角特定部871と、2値化閾値特定部872と、彩度判定部873とを含む。
【0088】
(色相角特定部)
色相角特定部871は、HSV画像G7のH成分の色相角の変化に応じて生成された複数のRGB画像G8(
図12)を用いて、マーク認識条件としての適合色相角を特定する。この色相角特定部871の処理について、
図12に加えて
図14を参照して説明する。
図14は、色相角特定部871の処理を説明するための図であって、色相角と色相適用差分との関係を示すグラフである。
【0089】
色相角特定部871は、前記複数のRGB画像G8の各々について、RGBの各色成分に分解し、色成分毎のR成分画像G8R、G成分画像G8G及びB成分画像G8Bを生成する(
図12参照)。R成分画像G8R、G成分画像G8G及びB成分画像G8Bは、例えば256階調で濃淡が表現されたグレースケール画像である。R成分画像G8R、G成分画像G8G及びB成分画像G8Bの各々は、マーク領域抽出部854がマーク認識画像G1において特定したマーク領域RMに対応したマーク対応領域RMCを含んでいる。また、R成分画像G8R、G成分画像G8G及びB成分画像G8Bの各々は、マーク外周領域抽出部855がマーク認識画像G1において特定したマーク外周領域RMOに対応したマーク外周対応領域RMOCを含んでいる。
【0090】
色相角特定部871は、R成分画像G8R、G成分画像G8G及びB成分画像G8Bのうちの特定の色成分の画像である特定色成分画像に基づいて、前記適合色相角を特定する。本実施形態では、色相角特定部871は、R成分画像G8Rを特定色成分画像として認識する。そして、色相角特定部871は、R成分画像G8Rにおいて、マーク対応領域RMC内の画素群の輝度値から計算される代表値(例えば平均輝度値)と、マーク外周対応領域RMOC内の画素群の輝度値から計算される代表値(例えば平均輝度値)との差分である色相適用差分を演算する。色相角特定部871は、演算によって求められた前記色相適用差分が、所定の基準輝度差LDS以上となる場合の色相角を、前記適合色相角として特定する。
図14に示す例では、色相角特定部871は、前記色相適用差分が基準輝度差LDS以上となる、例えば0度から120度までの範囲内での所定値を、前記適合色相角として特定する。
【0091】
色相角特定部871は、前記色相適用差分が最大となる色相角を前記適合色相角として特定してもよい。しかし、色相角特定部871は、前記色相適用差分が基準輝度差LDS以上となる角度範囲(0度から120度までの範囲)の中央付近の色相角(例えば60度)を前記適合色相角として特定することが望ましい。
【0092】
色相角特定部871によって特定された前記適合色相角は、マーク認識データに関連付けられて記憶部84に記憶される。
【0093】
(2値化閾値特定部)
2値化閾値特定部872は、後述のマーク認識部88が基準マークFMに関するマーク認識データを取得する際に用いる2値化閾値を、マーク認識条件として特定する。
図15は、2値化閾値特定部872による2値化閾値TBBの特定の様子を示す図である。2値化閾値特定部872は、色相角特定部871によって特定された前記適合色相角に対応したR成分画像G8Rである注目R成分画像G9を認識する。注目R成分画像G9は、例えば256階調で濃淡が表現されたグレースケール画像である。注目R成分画像G9は、マーク領域抽出部854がマーク認識画像G1において特定したマーク領域RMに対応したマーク対応領域RMCを含んでいる。また、注目R成分画像G9は、マーク外周領域抽出部855がマーク認識画像G1において特定したマーク外周領域RMOに対応したマーク外周対応領域RMOCを含んでいる。そして、2値化閾値特定部872は、注目R成分画像G9を構成する各画素の輝度値に基づいて、マーク対応領域RMCとマーク外周対応領域RMOCとを区別するための2値化閾値TBBを特定する。
【0094】
図15に示す例では、2値化閾値特定部872は、注目R成分画像G9を構成する画素群の輝度値分布を表す2値化特定用ヒストグラムHBBに基づいて、2値化閾値TBBを特定する。注目R成分画像G9において、2値化閾値TBBよりも大きい輝度値の画素群からなる領域がマーク対応領域RMCとなる。
【0095】
2値化閾値特定部872によって特定された前記2値化閾値TBBは、マーク認識データに関連付けられて記憶部84に記憶される。記憶部84に記憶された前記2値化閾値TBBは、後述のマーク認識部88が基準マークFMに関するマーク認識データを取得する際に読み出される。
【0096】
(彩度判定部)
彩度判定部873は、HSV画像G7のS成分を示す彩度画像であるS成分画像G7S(
図10)を、基準マークFMの画像認識の際に用いるか否かを判定する。彩度判定部873は、S成分画像G7Sにおいて、マーク対応領域RMC内の画素群の輝度値から計算される代表値(例えば平均輝度値)と、マーク外周対応領域RMOC内の画素群の輝度値から計算される代表値(例えば平均輝度値)との差分である彩度適用差分を算出する。そして、彩度判定部873は、前記彩度適用差分が前記適合色相角に対応した前記色相適用差分よりも大きい場合に、基準マークFMの画像認識の際にS成分画像G7Sを用いると判定し、その判定結果を示す彩度画像適用情報を出力する。
【0097】
彩度判定部873から前記彩度画像適用情報が出力された場合には、その彩度画像適用情報は、マーク認識データに関連付けられて記憶部84に記憶される。
【0098】
<マーク認識部>
マーク認識部88は、2値化閾値特定部872により特定された2値化閾値TBBを用いて注目R成分画像G9に対して2値化処理を施して2値画像を生成する。2値画像には、注目R成分画像G9と同様に、マーク対応領域RMC及びマーク外周対応領域RMOCが含まれている。そして、マーク認識部88は、その2値画像におけるマーク対応領域RMCの形状、外形サイズ、中心位置(座標)等を、マーク認識データとして取得する。マーク認識部88が取得したマーク対応領域RMCの形状、外形サイズ及び中心位置等の情報は、マーク認識データとして記憶部84に記憶される。
【0099】
なお、マーク認識部88が実行する2値化処理は、注目R成分画像G9を構成する各画素において、2値化閾値TBBよりも大きい輝度値の画素群についてはその輝度値を最大輝度値(255)に変換し、2値化閾値TBB以下の輝度値の画素群についてはその輝度値を最小輝度値(0)に変換して2値化する処理である。
【0100】
[マーク認識装置の画像認識処理について]
次に、
図16のフローチャートを参照して、マーク認識装置6が実行する画像認識処理を説明する。まず、中央処理部81は、信号入出力部82を介したマーク認識指令信号の入力を把握する(ステップs1)。マーク認識指令信号は、マーク認識装置6による基準マークFMの画像認識処理の開始を指令する信号である。このマーク認識指令信号は、ヘッドユニット5による基板Pに対する部品搭載動作が実行される前に、部品実装装置1の実装制御装置からマーク認識装置6に向けて送信される。
【0101】
信号入出力部82を介してマーク認識指令信号が入力されると、中央処理部81は、基板Pにおける基準マークFMの位置を示すマーク座標が既知であるか否かを判定する(ステップs2)。中央処理部81は、基板Pに対応したマーク座標が記憶部84に記憶されている場合や、マーク認識指令信号にマーク座標に関する情報が付加されている場合などに、マーク座標が既知であると判定する。マーク座標が既知であって記憶部84に記憶されていない場合には、当該マーク座標は、マーク認識データと関連付けられて記憶部84に記憶される(ステップs3)。マーク座標が既知ではない場合には、中央処理部81は、マーク座標要求信号を出力する(ステップs21)。中央処理部81から出力されたマーク座標要求信号は、マーク座標の要求を示す信号であって、信号入出力部82を介して実装制御装置に向けて送信される。マーク座標要求信号に応答するようにマーク座標が信号入出力部82を介して入力されると(ステップs22において「YES」の場合)、当該マーク座標は記憶部84に記憶される(ステップs3)。
【0102】
次に、中央処理部81は、ヘッド移動案内信号を出力する(ステップs4)。中央処理部81から出力されたヘッド移動案内信号は、ヘッドユニット5の移動を案内する信号であって、信号入出力部82を介して実装制御装置に向けて送信される。ヘッド移動案内信号を受信した実装制御装置は、マーク認識カメラ7が基準マークFMの直上付近に配置されるように、マーク座標を目印としてヘッドユニット5を移動させる。
【0103】
ヘッドユニット5の移動が完了すると、中央処理部81は、照明条件特定処理(ステップs5)、マーク領域特定処理(ステップs6)、マーク認識条件設定処理(ステップs7)、及びマーク認識処理(ステップs8)を順次実行する。中央処理部81がステップs5からステップs8までの各処理を実行した場合、その中央処理部81の制御によって、マーク認識カメラ7、信号入出力部82、データ通信部83、記憶部84、画像処理部85、照明条件特定処理部86、マーク認識条件設定部87、及びマーク認識部88の各構成要素が動作する。
【0104】
<照明条件特定処理>
中央処理部81が実行するステップs5の照明条件特定処理について、
図17のフローチャートを参照して説明する。まず、マーク認識カメラ7は、照明部71の照明出力を最大値に設定する(ステップs51)。そして、マーク認識カメラ7は、基板P上に配置された基準マークFMの近傍を上方から撮像し、
図4に示すマーク認識画像G1を生成する(ステップs52)。撮像後のマーク認識画像G1は、データ通信部83を介してマーク認識制御部8に入力される。
【0105】
マーク認識画像G1が入力されると、画像変換処理部851は、当該マーク認識画像G1を
図4に示すモノクロ画像G2に変換する(ステップs53)。次に、照明領域抽出部861は、モノクロ画像G2において、
図13に示す照明特定領域RITを抽出する(ステップs54)。そして、照明出力特定部862は、照明特定領域RIT内の各画素において、最大輝度領域RIT1を構成する注目画素の画素数の、照明特定領域RIT内の画素の総画素数に対する比率である照明特定比率を演算する。照明出力特定部862は、演算によって求めた照明特定比率が所定の基準比率以下であるか否かを判定する(ステップs55)。
【0106】
照明出力特定部862は、前記照明特定比率が基準比率以下である場合(ステップs55で「YES」の場合)には、その照明出力を適合照明出力として特定する(ステップs56)。照明出力特定部862によって特定された適合照明出力は、マーク認識データに関連付けられて記憶部84に記憶される(ステップs57)。一方、前記照明特定比率が基準比率以下ではない場合(ステップs55で「NO」の場合)を想定する。この場合、マーク認識カメラ7において照明部71の照明出力が変化され(ステップs551)、前記照明特定比率が基準比率以下となるまでステップs52からステップs55までの各処理が繰り返される。
【0107】
照明出力特定部862によって適合照明出力が特定され、その適合照明出力が記憶部84に記憶されると、照明条件特定処理は終了する。
【0108】
<マーク領域特定処理>
中央処理部81が実行するステップs6のマーク領域特定処理について、
図18のフローチャートを参照して説明する。まず、マーク認識カメラ7は、照明部71の照明出力を適合照明出力に設定し、その条件下での撮像によってマーク認識画像G1を生成する(ステップs61)。この適合照明出力の条件下で撮像されたマーク認識画像G1は、マーク領域特定処理におけるステップs61以降の各ステップで利用されると共に、当該マーク領域特定処理後の後述のマーク認識条件設定処理の実行時に利用される。これにより、過照度の照明に由来した色飛び(白飛び)の発生が抑制されたマーク認識画像G1に基づいて、マーク領域RMの特定やマーク認識条件の設定を行うことができる。
【0109】
マーク認識画像G1が生成されると、減色処理部852は、当該マーク認識画像G1の色を減らす減色処理を実行し、
図8に示す減色カラー画像G5を生成する(ステップs62)。減色処理部852は、フルカラー画像であるマーク認識画像G1に対する直接的な減色処理によって減色カラー画像G5を生成するものではなく、RGBの色成分画像G3R,G3G,G3B毎に階調数を減らす処理を施して減色カラー画像G5を生成する。これにより、例えば512色のフルカラー画像を256色に減色し、更に256色から128色へと減色するような減色処理を繰り返す必要がなくなるから、減色処理部852による減色処理の効率化が図られる。
【0110】
次に、ラベリング処理部853は、減色カラー画像G5を色毎に複数の色領域RC1,RC2,RC3,RC4に分割する(ステップs63)。そして、ラベリング処理部853は、減色カラー画像G5の各色領域RC1,RC2,RC3,RC4にラベルを付与するラベリング処理を実行し、
図9に示すラベル付与画像G6を生成する(ステップs64)。
【0111】
ラベル付与画像G6が生成されると、マーク領域抽出部854は、マーク座標が既知であるか否かを判定する(ステップs65)。マーク領域抽出部854は、記憶部84にマーク座標が記憶されている場合には、マーク座標が既知であると判定する。この場合、マーク領域抽出部854は、ラベル付与画像G6のマーク座標に対応した位置において、所定の形状を示す特徴領域RCSの抽出を試みる(ステップs66)。特徴領域RCSの抽出ができた場合(ステップs66で「YES」の場合)には、マーク領域抽出部854は、当該特徴領域RCSに対応したマーク認識画像G1の領域をマーク領域RMとして特定する(ステップs67)。そして、マーク外周領域抽出部855は、マーク認識画像G1において、マーク領域RMの外周領域となるマーク外周領域RMOを特定する(ステップs68)。
【0112】
ステップs66において特徴領域RCSの抽出ができなかった場合(「NO」の場合)には、ステップs62に処理が戻されて、減色処理部852による減色処理のリトライ処理が行われる。減色処理部852のリトライ処理においては、階調数調整部8523によるR成分画像G3R、G成分画像G3G及びB成分画像G3Bに対する階調数の調整アルゴリズムが切り替えられる。具体的には、R成分画像G3R、G成分画像G3G及びB成分画像G3Bの各色成分画像において、色成分分割領域毎にその領域内の各画素の輝度値を所望の輝度値に変換するときに、当該所望の輝度値を平均輝度値に対して変化させる。これにより、階調調整R成分画像G4R、階調調整G成分画像G4G及び階調調整B成分画像G4Bにおいて、R成分画像G3R、G成分画像G3G及びB成分画像G3Bに対する階調数の減少度を調整することができる。従って、減色処理部852によって生成される減色カラー画像G5において、マーク認識画像G1に対する減色度が調整される。
【0113】
また、ステップs65においてマーク座標が既知ではなかった場合(「NO」の場合)を想定する。この場合、マーク領域抽出部854は、減色カラー画像G5の各色領域RC1,RC2,RC3,RC4に対応したラベル付与画像G6のラベル付与部分の形状を判定する(ステップs651)。そして、マーク領域抽出部854は、ラベル付与画像G6において所定の形状を示す特徴領域RCSの抽出を試みる(ステップs652)。特徴領域RCSの抽出ができなかった場合(ステップs652で「NO」の場合)には、ステップs62に処理が戻されて、減色処理部852による上記のリトライ処理が行われる。
【0114】
一方、特徴領域RCSの抽出ができた場合(ステップs652で「YES」の場合)には、マーク領域抽出部854は、その抽出個数が1個であるか否かを判定する(ステップs653)。特徴領域RCSの抽出個数が1個の場合には、マーク領域抽出部854は、当該特徴領域RCSに対応したマーク認識画像G1の領域をマーク領域RMとして特定する(ステップs67)。そして、マーク外周領域抽出部855は、マーク認識画像G1において、マーク領域RMの外周領域となるマーク外周領域RMOを特定する(ステップs68)。
【0115】
特徴領域RCSの抽出個数が1個ではなく複数個の場合(ステップs653で「NO」の場合)には、特徴領域選択指示信号が入力されるまで待機する(ステップs6531)。特徴領域選択指示信号は、オペレーターの入力操作に基づき信号入出力部82を介して入力されるものであって、複数個の特徴領域RCSから1個を選択する指示を示す信号である。特徴領域選択指示信号が入力されて1個の特徴領域RCSが選択されると、マーク領域抽出部854は、当該特徴領域RCSに対応したマーク認識画像G1の領域をマーク領域RMとして特定する(ステップs67)。そして、マーク外周領域抽出部855は、マーク認識画像G1において、マーク領域RMの外周領域となるマーク外周領域RMOを特定する(ステップs68)。
【0116】
以上説明した通り、マーク領域抽出部854は、マーク認識画像G1に対して減色された減色カラー画像G5に基づいて、マーク領域RMを特定する。これにより、マーク領域抽出部854によるマーク領域RMの特定処理の効率化が図られる。
【0117】
また、マーク領域抽出部854は、色領域RC1,RC2,RC3,RC4毎にラベルが付与された減色カラー画像G5であるラベル付与画像G6を用いて特徴領域RCSを抽出し、その特徴領域RCSに対応したマーク領域RMを特定する。マーク領域抽出部854は、減色カラー画像G5においてマーク領域RMに対応した特徴領域RCSを抽出する際に、色領域RC1,RC2,RC3,RC4毎に付与されたラベルを目印とすることができる。これにより、マーク領域抽出部854によるマーク領域RMの特定の精度が向上する。
【0118】
<マーク認識条件設定処理>
中央処理部81が実行するステップs7のマーク認識条件設定処理について、
図19のフローチャートを参照して説明する。マーク認識条件設定処理が実行されるときには、適合照明出力の条件下で撮像されたマーク認識画像G1において、マーク領域RM及びマーク外周領域RMOが特定されている。色空間変換部856は、このようなマーク認識画像G1を
図10に示すHSV画像G7に変換する(ステップs71)。そして、色空間変換部856は、HSV画像G7のH成分を示す色相の色相角を0度から360度までの範囲で変化させ(ステップs72)、この場合の各画像を
図12に示すRGB画像G8に変換する(ステップs73)。
【0119】
次に、色相角特定部871は、色相角の変化に応じた複数のRGB画像G8の各々において、RGBの各色成分に分解してR成分画像G8Rを生成し、そのR成分画像G8Rに基づいて、適合色相角を特定する(ステップs74)。具体的には、色相角特定部871は、R成分画像G8Rにおいて、マーク対応領域RMC内の画素群の例えば平均輝度値と、マーク外周対応領域RMOC内の画素群の例えば平均輝度値との差分である色相適用差分を演算する。そして、色相角特定部871は、演算によって求められた前記色相適用差分が、最大または所定の基準輝度差LDS以上となる場合の色相角を、前記適合色相角として特定する。
【0120】
このように、色相角特定部871により特定される適合色相角は、R成分画像G8Rにおける前記色相適用差分が最大または基準輝度差LDS以上となる場合の色相角である。このため、H成分を示す色相の色相角が適合色相角とされたHSV画像G7に基づき変換されたRGB画像G8においては、マーク対応領域RMCがマーク外周対応領域RMOCに対して強調されたものとなる。このようなHSV画像G7から変換されたRGB画像G8に基づく画像認識によって、基準マークFMを高精度に認識することができる。ここで、基準マークFMを画像認識する際のマーク認識条件となる適合色相角は、オペレーターの入力操作によって設定されるのではなく、色相角特定部871によって自動的に特定される。このため、オペレーターの設定作業に起因した、マーク認識条件の設定のばらつきが生じることが抑制される。
【0121】
次に、彩度判定部873は、HSV画像G7のS成分を示すS成分画像G7Sを、基準マークFMの画像認識の際に用いるか否かを判定する(ステップs75)。彩度判定部873は、S成分画像G7Sにおいて、マーク対応領域RMC内の画素群の例えば平均輝度値と、マーク外周対応領域RMOC内の画素群の例えば平均輝度値との差分である彩度適用差分を算出する。そして、彩度判定部873は、前記彩度適用差分が前記適合色相角に対応した前記色相適用差分よりも大きい場合に、基準マークFMの画像認識の際にS成分画像G7Sを用いると判定する(ステップs75で「YES」)。この場合、彩度判定部873は、その判定結果を示す彩度画像適用情報を出力する。彩度判定部873から前記彩度画像適用情報が出力された場合には、その彩度画像適用情報は、マーク認識データに関連付けられて記憶部84に記憶される(ステップs751)。
【0122】
例えば、広範囲の色成分を含んだ色(白色)の基板Pに基準マークFMが配置されている場合を想定する。この場合、H成分を示す色相の色相角が適合色相角とされたHSV画像G7に基づき変換されたRGB画像G8において、マーク対応領域RMCがマーク外周対応領域RMOCに対して強調されたものが得にくいことが想定される。このような場合には、彩度判定部873は、基準マークFMの画像認識の際にS成分画像G7Sを用いると判定する。これにより、マーク対応領域RMCがマーク外周対応領域RMOCに対して強調されたものを得ることができる。
【0123】
ステップs75においてS成分画像G7Sを用いないと判定された場合(「NO」の場合)、ステップs74において色相角特定部871によって特定された前記適合色相角が、マーク認識データに関連付けられて記憶部84に記憶される(ステップs76)。
【0124】
前記適合色相角が記憶部84に記憶されると、2値化閾値特定部872は、前記適合色相角に対応したR成分画像G8Rである、
図15に示す注目R成分画像G9を認識する。そして、2値化閾値特定部872は、注目R成分画像G9を構成する各画素の輝度値に基づいて、マーク対応領域RMCとマーク外周対応領域RMOCとを区別するための2値化閾値TBBを特定する(ステップs77)。2値化閾値特定部872によって特定された2値化閾値TBBは、マーク認識データに関連付けられて記憶部84に記憶される(ステップs78)。記憶部84に記憶された2値化閾値TBBは、後述のマーク認識処理の実行時に用いられる。
【0125】
<マーク認識処理>
中央処理部81が実行するステップs8のマーク認識処理について、
図20のフローチャートを参照して説明する。まず、マーク認識部88は、2値化閾値特定部872により特定された2値化閾値TBBを用いて注目R成分画像G9に対して2値化処理を施して2値画像を生成する(ステップs81)。
【0126】
次に、マーク認識部88は、基準マークFMのマーク形状及び外形サイズが既知であるか否かを判定する(ステップs82)。マーク形状及び外形サイズが既知である場合には、マーク認識部88は、それらの情報を、マーク対応領域RMCの形状及び外形サイズを示すマーク認識データとして取得する。一方、マーク形状及び外形サイズが既知ではない場合には、マーク認識部88は、2値画像におけるマーク対応領域RMCの形状及び外形サイズを、マーク認識データとして取得する(ステップs821)。マーク認識部88が取得したマーク対応領域RMCの形状及び外形サイズの情報は、マーク認識データとして記憶部84に記憶される(ステップs83)。
【0127】
次に、マーク認識部88は、基準マークFMのマーク中心位置が既知であるか否かを判定する(ステップs84)。マーク中心位置が既知である場合には、マーク認識部88は、その情報を、マーク対応領域RMCの中心位置を示すマーク認識データとして取得する。一方、マーク中心位置が既知ではない場合には、マーク認識部88は、2値画像におけるマーク対応領域RMCの中心位置を、マーク認識データとして取得する(ステップs841)。マーク認識部88が取得したマーク対応領域RMCの中心位置の情報は、マーク認識データとして記憶部84に記憶される(ステップs85)。
【0128】
以上説明した通り、マーク認識部88は、基準マークFMの画像認識結果を示すマーク認識データとして、マーク対応領域RMCの形状、外形サイズ及び中心位置を取得する。これにより、基準マークFMの形状、外形サイズ及び中心位置に関する情報について、オペレーターの入力操作が不要となる。このため、オペレーターの入力操作の作業負担を軽減することができると共に、入力ミス等に起因した基準マークFMに関する設定のばらつきが生じることが抑制される。
【0129】
マーク認識装置6による基準マークFMの画像認識が終了すると、ヘッドユニット5の基板Pに対する部品搭載動作が実行される。マーク認識装置6は、上記の通り、基板P上に配置された基準マークFMの画像認識を高精度に実施することが可能である。これにより、ヘッドユニット5は、マーク認識装置6による基準マークFMの認識結果に基づいて、位置ズレが生じないように部品を基板P上の所定位置に搭載することができる。
【0130】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、例えば次のような変形実施形態を採ることができる。
【0131】
上記の実施形態においては、基板Pに所定の処理を施す処理装置として、基板P上に部品を搭載する部品実装装置1について説明したが、これに限定されるものではない。処理装置の他の例としては、基板に半田を印刷する印刷装置、部品接着用の接着剤を基板に塗布する塗布装置などを挙げることができる。