(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-16
(45)【発行日】2022-11-25
(54)【発明の名称】三次元計測装置、及び、ワーク作業装置
(51)【国際特許分類】
G01B 11/25 20060101AFI20221117BHJP
【FI】
G01B11/25 H
(21)【出願番号】P 2020562280
(86)(22)【出願日】2018-12-28
(86)【国際出願番号】 JP2018048533
(87)【国際公開番号】W WO2020136885
(87)【国際公開日】2020-07-02
【審査請求日】2021-02-01
【前置審査】
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】110001036
【氏名又は名称】弁理士法人暁合同特許事務所
(72)【発明者】
【氏名】仲村 誠司
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開2018-151239(JP,A)
【文献】特表2015-524916(JP,A)
【文献】米国特許出願公開第2014/0340485(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/25
(57)【特許請求の範囲】
【請求項1】
計測対象の高さを計測する三次元計測装置であって、
複数波長間の相対的な明るさが所定の方向に連続して変化しているパターン光であって、各前記波長の光の明るさを変数とする所定の演算式の演算値が前記明るさの変化の1周期内において重複しないパターン光を、前記計測対象の高さの基準となる基準平面に向けて前記所定の方向から斜めに投影する第1の光源部と、
前記計測対象で反射された前記パターン光を前記波長毎に受光する第1の受光部と、
前記第1の受光部が前記波長毎に受光した光の受光量に基づいて前記計測対象の高さを求める制御部と、
を備え、
前記制御部は、前記第1の受光部が前記波長毎に受光した光の受光量から求めた前記演算値と、前記パターン光の各前記波長の光の明るさから求めた前記演算値を表す基準平面マップとに基づいて前記計測対象の高さを求め、
前記基準平面に一致するように配置されている基準板を有し、
前記制御部は、前記第1の光源部によって前記基準板に前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって前記演算値を求めることによって部分的なマップを作成し、作成した部分的なマップから前記基準平面マップの他の部分を補間することによって前記基準平面マップを作成する、三次元計測装置。
【請求項2】
計測対象の高さを計測する三次元計測装置であって、
複数波長間の相対的な明るさが所定の方向に連続して変化しているパターン光であって、各前記波長の光の明るさを変数とする所定の演算式の演算値が前記明るさの変化の1周期内において重複しないパターン光を、前記計測対象の高さの基準となる基準平面に向けて前記所定の方向から斜めに投影する第1の光源部と、
前記計測対象で反射された前記パターン光を前記波長毎に受光する第1の受光部と、
前記第1の受光部が前記波長毎に受光した光の受光量に基づいて前記計測対象の高さを求める制御部と、
記憶部と、
を備え、
前記制御部は、前記第1の受光部が前記波長毎に受光した光の受光量から求めた前記演算値と、前記パターン光の各前記波長の光の明るさから求めた前記演算値を表す基準平面マップとに基づいて前記計測対象の高さを求め、
前記基準平面に一致するように配置されている基準板に前記第1の光源部によって前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって求めた前記演算値を表す前記基準平面マップにおいて、各前記波長の光の明るさが変化する方向に並ぶ複数の前記演算値を行と定義し、当該方向に直交する方向に並ぶ複数の前記演算値を列と定義したとき、前記記憶部には列毎に前記演算値を平均した平均値が記憶されており、
前記制御部は、前記計測対象で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量と、前記記憶部に記憶されている前記列毎の平均値とに基づいて前記計測対象の高さを求める、三次元計測装置。
【請求項3】
計測対象の高さを計測する三次元計測装置であって、
複数波長間の相対的な明るさが所定の方向に連続して変化しているパターン光であって、各前記波長の光の明るさを変数とする所定の演算式の演算値が前記明るさの変化の1周期内において重複しないパターン光を、前記計測対象の高さの基準となる基準平面に向けて前記所定の方向から斜めに投影する第1の光源部と、
前記計測対象で反射された前記パターン光を前記波長毎に受光する第1の受光部と、
前記第1の受光部が前記波長毎に受光した光の受光量に基づいて前記計測対象の高さを求める制御部と、
記憶部と、
を備え、
前記制御部は、前記第1の受光部が前記波長毎に受光した光の受光量から求めた前記演算値と、前記パターン光の各前記波長の光の明るさから求めた前記演算値を表す基準平面マップとに基づいて前記計測対象の高さを求め、
前記基準平面に一致するように配置されている基準板に前記第1の光源部によって前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって求めた前記演算値を表す前記基準平面マップにおいて、各前記波長の光の明るさが変化する方向に並ぶ複数の前記演算値を行と定義し、当該方向に直交する方向に並ぶ複数の前記演算値を列と定義したとき、前記記憶部には列方向の一方の端部の所定数の行について列毎に前記演算値を平均した平均値が記憶されているとともに、列方向の他方の端部の所定数の行について列毎に前記演算値を平均した平均値が記憶されており、
前記制御部は、前記記憶部に記憶されている前記一方の端部の前記所定数の行の列毎の平均値と前記他方の端部の前記所定数の行の列毎の平均値とから前記基準平面マップの各行を補間することによって前記基準平面マップを復元する、三次元計測装置。
【請求項4】
請求項1乃至
請求項3のいずれか一項に記載の三次元計測装置であって、
前記制御部は、前記計測対象で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から、前記計測対象の明るさを表す多値画像を作成する、三次元計測装置。
【請求項5】
請求項1乃至
請求項4のいずれか一項に記載の三次元計測装置であって、
前記第1の光源部が前記計測対象に前記パターン光を投影する方向を相対的に変更する変更部を備え、
前記制御部は、前記変更部によって前記方向を相対的に変更することにより、前記第1の光源部に少なくとも2方向から順に前記パターン光を投影させる、三次元計測装置。
【請求項6】
計測対象の高さを計測する三次元計測装置であって、
複数波長間の相対的な明るさが所定の方向に連続して変化しているパターン光であって、各前記波長の光の明るさを変数とする所定の演算式の演算値が前記明るさの変化の1周期内において重複しないパターン光を、前記計測対象の高さの基準となる基準平面に向けて前記所定の方向から斜めに投影する第1の光源部と、
前記計測対象で反射された前記パターン光を前記波長毎に受光する第1の受光部と、
前記第1の受光部が前記波長毎に受光した光の受光量に基づいて前記計測対象の高さを求める制御部と、
前記第1の光源部によって投影される前記パターン光とは波長が異なる前記パターン光を前記第1の光源部とは異なる方向から前記基準平面に向けて斜めに投影する第2の光源部と、
前記第2の光源部によって投影されて前記計測対象で反射された前記パターン光を前記波長毎に受光する第2の受光部と、
を備え、
前記制御部は、前記第1の光源部と前記第2の光源部とに同時に前記パターン光を投影させる、三次元計測装置。
【請求項7】
ワークに対して所定の作業を行う作業部と、
前記作業に関わる対象物の高さを計測する請求項1乃至
請求項6のいずれか一項に記載の三次元計測装置と、
を備えるワーク作業装置。
【請求項8】
請求項1から
請求項6のいずれか一項に記載の三次元計測装置であって、
前記演算値は色相値である、三次元計測装置。
【請求項9】
請求項4に記載の三次元計測装置であって、
前記パターン光は、赤、青、緑の各色の光の明るさを台形状に変化させ、それらの位相を120度ずつずらして重ね合わせた光であって、常に赤、青、緑のいずれかの明るさが最大値となっている光であり、
前記制御部は、前記計測対象で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量からカラー画像を作成し、作成したカラー画像から画素毎に赤、青、緑の明るさの最大値を取得することで前記多値画像を作成する、三次元計測装置。
【請求項10】
請求項4に記載の三次元計測装置であって、
前記パターン光は、赤、青、緑の各色の光の明るさをsin波で変化させ、赤、青、緑の明るさの和が常に一定となるように位相を120度ずつずらして重ね合わせた光であり、
前記制御部は、前記計測対象で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量からカラー画像を作成し、作成したカラー画像から画素毎に赤、青、緑の明るさの和を取得することで前記多値画像を作成する、三次元計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術は、三次元計測装置、及び、ワーク作業装置に関する。
【背景技術】
【0002】
従来、デジタルカメラなどの撮像部を用いて計測対象の高さを計測する方法として位相シフト法が知られている(例えば、特許文献1参照)。位相シフト法は、計測対象の同一領域に、sin波で白黒が変化する光を、位相を1/3あるいは1/4ずつずらして複数回撮像し、位相差から計測対象の高さを計測する方法である。
【0003】
また、従来、計測対象の高さを計測する方法として光切断法も知られている。光切断法はスポット光あるいはライン光を計測対象に投影し、計測対象で反射された光を受光した受光素子の位置から三角測量の原理で高さを計測するものである。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、位相シフト法では位相をずらして計測対象の同一領域を複数回撮像しなければならないので計測に時間を要する。また、光切断法ではライン上のみの高さ情報しか得られないので、視野全体の高さ情報を得るには、ラインに直交する方向の画素数分ラインを移動撮像する必要があり、撮像回数が大幅に増加する。
本明細書では、位相シフト法や光切断法に比べて短時間で計測対象の高さを計測できる技術を開示する。
【課題を解決するための手段】
【0006】
本明細書で開示する三次元計測装置は、計測対象の高さを計測する三次元計測装置であって、複数波長間の相対的な明るさが所定の方向に連続して変化しているパターン光であって、各前記波長の光の明るさを変数とする所定の演算式の演算値が前記明るさの変化の1周期内において重複しないパターン光を、前記計測対象の高さの基準となる基準平面に向けて前記所定の方向から斜めに投影する第1の光源部と、前記計測対象で反射された前記パターン光を前記波長毎に受光する第1の受光部と、前記第1の受光部が前記波長毎に受光した光の受光量に基づいて前記計測対象の高さを求める制御部と、を備える。
【0007】
複数波長の光は無彩色(黒色、白色もしくはその中間の明るさのグレー等)の面で反射されても各波長の光の明るさの比率(複数波長間の相対的な明るさ)が変化しない。言い換えると、複数波長の光が無彩色の面で反射された場合、反射された各波長の光の明るさの比率は無彩色の面の明るさ(黒色、白色もしくはその中間の明るさのグレー等)や光自体の明るさに影響されない。
このため、所定の演算式が、各波長の光の明るさの比率が同じであれば演算値が同じになるものである場合、複数波長間の相対的な明るさが所定の方向に連続して変化しているパターン光であって、当該所定の演算式の演算値が各波長の光の明るさの変化の1周期内において重複しないパターン光を無彩色の面に投影し、当該パターン光が投影された領域の各位置で反射された各波長の光の受光量から当該所定の演算式の演算値を求めると、求めた演算値は計測対象の明るさや当該パターン光自体の明るさによらず位置毎に一意の値(ユニークな値)となる。
このため、例えば予め高さの基準となる基準平面にパターン光を投影し、各位置で反射されたパターン光を波長毎に受光した受光量あるいはその受光量から所定の演算式によって求めた演算値を記憶しておけば、計測対象で反射されたパターン光を受光した受光量と、予め記憶されている受光量あるいは演算値とから、各位置の高さを判断できる。
即ち、当該パターン光を用いると計測対象の明るさやパターン光自体の明るさによらず位置毎に演算値が一意の値になるので、位相シフト法のように同一領域を複数回撮像しなくても高さを計測できる。また、光切断法のようにラインに直交する方向の画素数分ラインを移動撮像しなくても高さを計測できる。
よって上記の三次元計測装置によると、位相シフト法や光切断法に比べて短時間で計測対象の高さを計測できる。
なお、計測対象の面は無彩色に限られない。計測対象の面が有彩色である場合は可視領域外の光(言い換えると不可視領域の光)を投影すればよい。不可視領域の光を投影すれば有彩色の面で反射されても複数波長の光の明るさの比率が変化しないので同様の効果を得ることができる。
【0008】
前記制御部は、前記第1の受光部が前記波長毎に受光した光の受光量から前記所定の演算式の演算値を求め、当該演算値に基づいて前記計測対象の高さを求めてもよい。
【0009】
上記の三次元計測装置によると、例えば予め高さの基準となる基準平面にパターン光を投影し、各位置で反射されたパターン光を波長毎に受光した受光量から所定の演算式によって演算した演算値を記憶しておき、第1の受光部が波長毎に受光した光の受光量から所定の演算式によって演算した演算値と、予め記憶されている演算値とに基づくことにより、計測対象の高さを求めることができる。
【0010】
前記パターン光は前記基準平面の所定の範囲に投影されてもよい。
【0011】
上記の三次元計測装置によると、計測対象を上述した所定の範囲内に配置することにより、計測対象の高さを計測できる。
【0012】
前記第1の光源部は線状の前記パターン光を投影するものであり、前記第1の受光部は主走査方向に並列に延びる複数のラインセンサであり、当該三次元計測装置は、前記第1の光源部及び前記ラインセンサを前記計測対象に対して前記主走査方向に直交する副走査方向に相対移動させる移動部を備えてもよい。
【0013】
上記の三次元計測装置によると、相対移動させる移動量を変えることで、計測対象の大きさに応じて撮像範囲を変えることができる。
【0014】
前記第1の光源部は面状の前記パターン光を投影するものであり、前記第1の受光部はエリアセンサであってもよい。
【0015】
上記の三次元計測装置によると、計測対象全体を一度で撮像できるので、ラインセンサを用いる場合に比べて短時間に高さを計測できる。
【0016】
前記複数の波長は可視領域外の波長であってもよい。
【0017】
可視領域外の波長(以下、不可視領域の波長という)は計測対象の色の影響を受けない(あるいは受け難い)ので、計測対象の色が有彩色であっても高さを計測できる。
【0018】
前記パターン光は前記複数波長間の相対的な明るさが連続して且つ周期的に変化しており、且つ、周期毎に前記明るさの変動幅が異なっていてもよい。
【0019】
計測対象の高さがパターン光の1周期分の幅を超えている場合、パターン光を位相接続して複数周期分投影すると、周期間で演算値が重複することにより、高さを誤計測する可能性がある。
周期毎に明るさの変動幅を異ならせると、各周期で同じ演算値が求められても明るさの変動幅の違いからそれぞれがいずれの周期の演算値であるかを特定できる。このため、計測対象の高さがパターン光の1周期分の幅を超えていても一度の撮像で計測対象の高さを計測できる。
【0020】
前記制御部は、前記第1の受光部が前記波長毎に受光した光の受光量から求めた前記演算値と、前記パターン光の各前記波長の光の明るさから求めた前記演算値を表す基準平面マップとに基づいて前記計測対象の高さを求めてもよい。
【0021】
上記の三次元計測装置によると、基準平面マップを用いることにより、計測対象の高さを求めることができる。
【0022】
前記制御部は、前記パターン光の各前記波長の光の理論的な明るさから前記所定の演算式によって前記演算値を求めることによって前記基準平面マップを作成してもよい。
【0023】
上記の三次元計測装置によると、基準板を用いずに基準平面マップを作成できるので、簡素な構成で基準平面マップを作成できる。
【0024】
前記基準平面に一致するように配置されている基準板を有し、前記制御部は、前記第1の光源部によって前記基準板に前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって前記演算値を求めることによって前記基準平面マップを作成してもよい。
【0025】
上記の三次元計測装置によると、基準板を備えているので、定期的に基準板から基準平面マップを作成することにより、第1の光源部の明るさや第1の受光部の受光感度などが経時変化しても計測精度の低下を抑制できる。
【0026】
前記基準平面に一致するように配置されている基準板を有し、前記制御部は、前記第1の光源部によって前記基準板に前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって前記演算値を求めることによって部分的なマップを作成し、作成した部分的なマップから前記基準平面マップの他の部分を補間することによって前記基準平面マップを作成してもよい。
【0027】
上記の三次元計測装置によると、基準平面マップ全体を一度に作成できる大きな基準板を用いる場合に比べて基準板を小さくできる。
【0028】
記憶部を備え、前記基準平面に一致するように配置されている基準板に前記第1の光源部によって前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって求めた前記演算値を表す前記基準平面マップにおいて、各前記波長の光の明るさが変化する方向に並ぶ複数の前記演算値を行と定義し、当該方向に直交する方向に並ぶ複数の前記演算値を列と定義したとき、前記記憶部には列毎に前記演算値を平均した平均値が記憶されており、前記制御部は、前記計測対象で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量と、前記記憶部に記憶されている前記列毎の平均値とに基づいて前記計測対象の高さを求めてもよい。
【0029】
基準平面マップはデータ量が多いので、基準平面マップ全体を記憶部に記憶させると大容量の記憶部が必要となり、三次元計測装置の製造コストが増加する。
上記の三次元計測装置によると、列毎に演算値を平均した平均値を記憶部に記憶させるので、記憶部に記憶させるデータ量は基準平面マップの1行分のデータ量となる。このため、基準平面マップ全体を記憶させておく場合に比べて記憶部の記憶領域を節約できる。
【0030】
記憶部を備え、前記基準平面に一致するように配置されている基準板に前記第1の光源部によって前記パターン光を投影し、前記基準板で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から前記所定の演算式によって求めた前記演算値を表す前記基準平面マップにおいて、各前記波長の光の明るさが変化する方向に並ぶ複数の前記演算値を行と定義し、当該方向に直交する方向に並ぶ複数の前記演算値を列と定義したとき、前記記憶部には列方向の一方の端部の所定数の行について列毎に前記演算値を平均した平均値が記憶されているとともに、列方向の他方の端部の所定数の行について列毎に前記演算値を平均した平均値が記憶されており、前記制御部は、前記記憶部に記憶されている前記一方の端部の前記所定数の行の列毎の平均値と前記他方の端部の前記所定数の行の列毎の平均値とから前記基準平面マップの各行を補間することによって前記基準平面マップを復元してもよい。
【0031】
基準板にパターン光を投影して撮像した画像から基準平面マップを作成する場合、第1の光源部と第1の受光部との相対角度が傾いていることにより、基準平面マップが傾いて作成されることがある。その場合は計測対象も傾いて撮像されることになるが、基準平面マップも傾いているので高さの計測には支障がない。
しかしながら、列毎に演算値を平均した平均値を記憶部に記憶させておき、記憶されている列毎の平均値を基準平面マップとして用いると、傾いていない基準平面マップが用いられてしまう。
上記の三次元計測装置によると、列方向の一方の端部の所定数の行の列毎の平均値と他方の端部の所定数の行の列毎の平均値とを記憶部に記憶させておくので、基準平面マップ全体を記憶させておく場合に比べて記憶部の記憶領域を節約できる。そして、上記の三次元計測装置によると、それらの平均値から基準平面マップの各行を補間するので、傾いた状態の基準平面マップを復元できる。このため、第1の光源部と第1の受光部との相対角度が傾いていても高さを精度よく計測できる。
【0032】
前記制御部は、前記計測対象で反射されて前記第1の受光部で受光された前記パターン光の前記波長毎の光の受光量から、前記計測対象の明るさを表す多値画像を作成してもよい。
【0033】
計測対象に段差がない領域があり、その領域に文字や極性マークなどの図形が当該領域の明るさとは異なる明るさで表記されている場合がある。三次元計測装置は複数波長の光の相対的な明るさから部品の高さを計測するので計測対象の明るさの影響を受けないが、その過程で受光した各波長の光の受光量から、計測対象の明るさを表す多値画像を作成することができる。すなわち、部品全体を一度撮像することで、部品の高さの計測と計測対象に表記されている図形の認識とを行うことができる。
【0034】
前記第1の光源部が前記計測対象に前記パターン光を投影する方向を相対的に変更する変更部を備え、前記制御部は、前記変更部によって前記方向を相対的に変更することにより、前記第1の光源部に少なくとも2方向から順に前記パターン光を投影させてもよい。
【0035】
計測対象にパターン光を投影する方向が一方向だけであると、計測対象の形状によってはパターン光が投影されない陰の部分が生じ、計測対象の高さを全面に亘って計測できない場合がある。
上記の三次元計測装置によると、計測対象にパターン光を投影する方向を相対的に変更して少なくとも2方向から順にパターン光を投影させるので、パターン光を投影する方向が一方向だけである場合に比べ、計測対象の高さを全面に亘って計測できる可能性が高くなる。
【0036】
前記第1の光源部によって投影される前記パターン光とは波長が異なる前記パターン光を前記第1の光源部とは異なる方向から前記基準平面に向けて斜めに投影する第2の光源部と、前記第2の光源部によって投影されて前記計測対象で反射された前記パターン光を前記波長毎に受光する第2の受光部と、を備え、前記制御部は、前記第1の光源部と前記第2の光源部とに同時に前記パターン光を投影させてもよい。
【0037】
パターン光を投影する方向が一方向だけであると、計測対象の形状によってはパターン光が投影されない陰の部分が生じ、計測対象の高さを全面に亘って計測できない場合がある。
上記の三次元計測装置によると、計測対象に複数の方向からパターン光を投影するので、パターン光を投影する方向が一方向だけである場合に比べ、計測対象の高さを全面に亘って計測できる可能性が高くなる。
また、三次元計測装置によると、第1の光源部によって投影されるパターン光の波長と第2の光源部によって投影されるパターン光の波長とが異なっているので、これらを同時に計測対象に投影しても各波長の光を個別に受光できる。このため第1の光源部と第2の光源部とから同時にパターン光を投影して計測対象を撮像することができる。このため撮像に要する時間を短縮でき、計測対象の高さを短時間で計測できる。
【0038】
本明細書で開示するワーク作業装置は、ワークに対して所定の作業を行う作業部と、前記作業に関わる対象物の高さを計測する請求項1乃至請求項12のいずれか一項に記載の三次元計測装置と、を備える。
【0039】
上記のワーク作業装置によると、位相シフト法や光切断法に比べて短時間で計測対象の高さを計測できる。
【図面の簡単な説明】
【0040】
【
図8】(A)は台形波の模式図、(B)はカラー画像の模式図
【
図9】(A)はsin波の模式図、(B)はカラー画像の模式図
【
図14】(A)は実施形態2に係るデータ量を削減する方法1を説明するための模式図、(B)は実施形態2に係るデータ量を削減する方法2を説明するための模式図
【
図15】実施形態3に係る基準平面色相マップを作成する他の方法2を説明するための模式図
【
図16】(A)は実施形態4に係る台形波の模式図、(B)はカラー画像の模式図
【
図17】(A)はsin波の模式図、(B)はカラー画像の模式図
【
図18】(A)は独立波の模式図、(B)はカラー画像の模式図
【
図20】(A)は実施形態5に係るカラー画像の模式図、(B)は別のカラー画像の模式図
【
図22】(A)は他の実施形態に係る色相値のグラフ、(B)は(A)に示すグラフの位相を補正したグラフ
【発明を実施するための形態】
【0041】
<実施形態1>
実施形態1を
図1乃至
図13に基づいて説明する。以降の説明では同一の構成部材には一部を除いて図面の符号を省略している場合がある。
【0042】
(1)部品実装ライン
図1を参照して、部品実装ライン10について説明する。部品実装ライン10は基板W(
図2参照、ワークの一例)に部品E(
図2参照、計測対象及び作業に関わる対象物の一例)を実装するラインである。部品実装ライン10はローダー11、スクリーン印刷機12、印刷検査機13、ディスペンサ14、複数台の表面実装機15(ワーク作業装置の一例)、実装後外観検査機16、リフロー装置17、硬化後外観検査装置18及びアンローダー19を備えており、これらが複数のコンベア20を介して直列に接続されている。
【0043】
ローダー11はラックに収納されている基板Wをスクリーン印刷機12に供給する装置である。
スクリーン印刷機12は基板Wの表面に半田ペーストをスクリーン印刷することによって回路を形成する装置である。
印刷検査機13はスクリーン印刷機12によってスクリーン印刷された半田を検査する装置である。
【0044】
ディスペンサ14は基板Wに接着剤を塗布する装置である。
表面実装機15は基板Wに部品Eを実装する実装作業(所定の作業の一例)を行う装置である。表面実装機15の構成については後述する。
実装後外観検査機16は表面実装機15によって部品Eが実装された後の基板Wの外観を検査する装置である。
【0045】
リフロー装置17は半田ペーストを高温下で溶解させ、部品Eと基板W上の電極(いわゆるランド)とを電気的に接続する装置である。
硬化後外観検査装置18はリフロー装置17によって溶解された半田ペーストが硬化した後に基板Wの外観を検査する装置である。
アンローダー19は硬化後外観検査装置18から送り出された基板Wをラックに収納する装置である。
【0046】
(1-1)表面実装機の構成
図2を参照して、表面実装機15の構成について説明する。以降の説明では
図2に示すX方向を左右方向、Y方向を前後方向、
図3に示すZ方向を上下方向という。また、以降の説明では
図2に示す右側を上流側、左側を下流側という。
【0047】
表面実装機15は基台29、基板Wを搬送する基板搬送装置30、図示しないバックアップ装置、基板Wに搭載する部品Eを供給する4つのテープ部品供給装置31、テープ部品供給装置31によって供給された部品Eを基板Wに実装する部品実装装置32、制御部33(
図6参照)及び操作部34(
図6参照)を備えている。基板搬送装置30、バックアップ装置、テープ部品供給装置31及び部品実装装置32は作業部の一例である。
【0048】
基板搬送装置30は基板WをX方向の上流側から作業位置Aに搬入し、作業位置Aで部品Eが実装された基板Wを下流側に搬出するものである。基板搬送装置30はX方向に循環駆動する一対のコンベアベルト30A及び30B、それらのコンベアベルト30A及び30Bを駆動するコンベア駆動モータ60(
図6参照)などを備えている。後側のコンベアベルト30Aは前後方向に移動可能であり、基板Wの幅に応じて2つのコンベアベルト30Aと30Bとの間隔を調整可能である。
【0049】
図示しないバックアップ装置は作業位置Aの下方に配置されている。バックアップ装置は基板Wの品種に応じた位置にセットされている複数のバックアップピンを備えており、作業位置Aに基板Wが搬送されるとバックアップピンを上昇させて基板Wを下から支持する。
【0050】
テープ部品供給装置31は部品実装装置32のY方向の両側においてX方向に並んで2箇所ずつ、計4箇所に配されている。これらのテープ部品供給装置31には複数のフィーダ35がX方向に横並び状に整列して取り付けられている。各フィーダ35は複数の部品Eが収容された部品テープが巻回されたリール、及び、リールから部品テープを引き出す電動式のテープ送出装置等を備えており、作業位置A側の端部に設けられた部品供給位置から部品Eを一つずつ供給する。
【0051】
なお、ここでは部品供給装置としてテープ部品供給装置31を例に説明するが、部品供給装置は部品Eが載置されているトレイを供給する所謂トレイフィーダであってもよいし、半導体ウェハを供給するものであってもよい。
【0052】
部品実装装置32はヘッドユニット36、ヘッド搬送部37(移動部の一例)、基板撮像カメラ38、及び、2つの部品撮像カメラ39(撮像部の一例)を備えている。部品撮像カメラ39と制御部33(
図6参照)とは実施形態1に係る三次元計測装置を構成している。
【0053】
ヘッドユニット36は複数(ここでは5個)の実装ヘッド40を備えており、それらの実装ヘッド40によって部品Eを吸着及び解放するものである。本実施形態に係るヘッドユニット36は所謂インライン型であり、複数の実装ヘッド40がX軸方向に並んで設けられている。ヘッドユニット36の構成については後述する。
【0054】
ヘッド搬送部37はヘッドユニット36を所定の可動範囲内でX方向及びY方向に搬送するものである。ヘッド搬送部37はヘッドユニット36をX方向に往復移動可能に支持しているビーム41、ビーム41をY方向に往復移動可能に支持している一対のY軸ガイドレール42、ヘッドユニット36をX方向に往復移動させるX軸サーボモータ56、ビーム41をY方向に往復移動させるY軸サーボモータ57などを備えている。
【0055】
基板撮像カメラ38はヘッドユニット36に設けられている。基板撮像カメラ38は基板Wに付されている図示しないフィデューシャルマークを上から撮像して基板Wの位置や傾きなどを認識するためのものであり、撮像面を下に向けた姿勢で配されている。
【0056】
2つの部品撮像カメラ39はそれぞれX軸方向に並んだ2つのテープ部品供給装置31の間に設けられている。部品撮像カメラ39は実装ヘッド40に吸着されている部品Eを下から撮像して部品Eの形状、実装ヘッド40に対する部品Eの位置、実装ヘッド40の中心軸線周りの部品Eの回転角度などを認識するためのものであり、撮像面を上に向けた姿勢で配されている。また、本実施形態では部品撮像カメラ39は部品Eの高さ計測にも用いられる。部品撮像カメラ39の構成については後述する。
【0057】
図3を参照して、ヘッドユニット36の構成について説明する。ヘッドユニット36は5個の実装ヘッド40、各実装ヘッド40を個別に昇降させるZ軸サーボモータ58(
図6参照)、各実装ヘッド40を一斉に軸周りに回転させるR軸サーボモータ59(
図6参照、変更部の一例)などを備えている。
【0058】
各実装ヘッド40はノズルシャフト40Aと、ノズルシャフト40Aの下端部に着脱可能に取り付けられている吸着ノズル40Bとを有している。吸着ノズル40Bにはノズルシャフト40Aを介して図示しない空気供給装置から負圧及び正圧が供給される。吸着ノズル40Bは負圧が供給されることによって部品Eを吸着し、正圧が供給されることによってその部品Eを解放する。
【0059】
なお、ここではインライン型のヘッドユニット36を例に説明したが、ヘッドユニット36は例えば複数の実装ヘッド40が円周上に配列された所謂ロータリーヘッドであってもよい。
【0060】
図4を参照して、部品撮像カメラ39の構成について説明する。部品撮像カメラ39はY方向(主走査方向)に延びるライン状の光を部品Eの下面に斜め下から投影する第1の光源部39Aと、部品Eで反射された光を受光する受光部39Bとを備えている。
【0061】
前述したように部品撮像カメラ39は部品Eの高さ計測にも用いられる。詳しくは後述するが、本実施形態では色の3属性(色相、彩度、明度)の一つである色相が連続して変化しているライン状のパターン光65(複数波長間の相対的な明るさが連続して変化しているパターン光の一例)を部品Eに投影して高さを計測する。即ち、パターン光65は、パターン光65の光軸に対して傾斜角度を有する平面上にて1方向に色相が連続的に変化することとなるパターン光ともいえる。
【0062】
第1の光源部39Aはパターン光65を投影するためにカラー液晶プロジェクタとして構成されている。なお、第1の光源部39Aはパターン光65を投影できるものであればカラー液晶プロジェクタに限られない。例えば、第1の光源部39Aは透明なシートに描かれたパターン画像を投影するプロジェクタであってもよい。
【0063】
受光部39Bは複数の受光素子がY方向(主走査方向)に1列に並ぶ図示しないラインセンサを3列有している。各列は互いに並列に配されており、それぞれR(赤)、G(緑)、B(青)のうち他の列とは異なる波長(色)の光だけを透過させるカラーフィルタが設けられている。3列のリニアセンサは第1の受光部の一例である。
【0064】
演算に用いる濃度が検出される1つの画素は上述した3つのラインセンサの隣接する受光素子ということになる。詳しくは後述するが、部品撮像カメラ39は上方を通過する部品Eを時系列で撮像する。このとき部品撮像カメラ39は部品Eの同一か所で反射された光が各ラインセンサに入射するよう、各ラインセンサが光を受光するタイミングを僅かにずらして受光する。このため3つの受光素子を1つの画素とみなすことができる。なお、より精度が求められる場合にはプリズム等により1ライン上の光が各ラインセンサに同時に分配される構成としてもよい。
【0065】
部品Eによって反射されたパターン光65はラインセンサによって受光され、各受光素子の受光量に応じたアナログ電圧が画像処理部53(
図6参照)に出力される。なお、部品撮像カメラ39はアナログ電圧をデジタルデータ(濃度)に変換して画像処理部53に出力してもよい。
【0066】
図5に示すように、制御部33はヘッド搬送部37を制御して部品Eが部品撮像カメラ39の上方をX方向(副走査方向)の上流側から下流側(あるいは下流側から上流側)に向かって通過するようにヘッドユニット36を搬送する。部品撮像カメラ39は上方を通過する部品Eを時系列で撮像することによって部品E全体を撮像する。
【0067】
(1-2)表面実装機の電気的構成
図6を参照して、表面実装機15の電気的構成について説明する。表面実装機15は制御部33及び操作部34を備えている。
制御部33は演算処理部50、モータ制御部51、記憶部52、画像処理部53、外部入出力部54、フィーダ通信部55などを備えている。
【0068】
演算処理部50はCPU、ROM、RAMなどを備えている。ROMには制御プログラムや各種のデータなどが記憶されている。CPUは制御プログラムを実行することによって表面実装機15の各部を制御する。RAMはCPUが各種の処理を実行するための主記憶装置として用いられる。
【0069】
モータ制御部51は演算処理部50の制御の下でX軸サーボモータ56、Y軸サーボモータ57、Z軸サーボモータ58、R軸サーボモータ59、コンベア駆動モータ60などの各モータを回転させる。
記憶部52はハードディスクや不揮発性のメモリなどを記憶媒体として用いる外部記憶装置である。記憶部52には表面実装機15の動作を定義した生産プログラムなどの各種のデータが記憶される。生産プログラムには生産が予定されている基板Wの生産枚数や品種に関する情報、部品Eの実装座標や実装角度に関する情報、部品Eの実装順序に関する情報等が定義されている。
【0070】
画像処理部53は基板撮像カメラ38や部品撮像カメラ39から出力されたアナログ電圧をRGB毎に0~255の256階調のデジタルデータ(濃度)に変換することによってカラー画像データを作成する。画像処理部53は各波長の光の受光量が所定の値の場合に最大階調として出力されるように調整されている。更には、部品撮像カメラ39の第1の光源部39Aも投影するパターン光65の各波長の光の最大光量が256階調の最大階調となるように調整されている。
なお、基板撮像カメラ38や部品撮像カメラ39が直接デジタルデータ(濃度)を出力する場合は、画像処理部53は不要である。
【0071】
外部入出力部54はいわゆるインターフェースであり、表面実装機15に設けられている各種センサ67から出力される検出信号が取り込まれるように構成されている。また、外部入出力部54は演算処理部50から出力される制御信号に基づいて各種アクチュエータ類68に対する動作制御を行うように構成されている。
【0072】
フィーダ通信部55は演算処理部50がフィーダ35と通信するためのインターフェースである。
操作部34は液晶ディスプレイなどの表示装置や、タッチパネル、キーボード、マウスなどの入力装置を備えている。作業者は操作部34を操作して各種の設定などを行うことができる。
【0073】
(2)コプラナリティ
図4では部品Eの例としてSOP(Small Outline Package)を示している。SOPは部品本体の対向する2辺にリード電極61を有している。各リード電極61の最下面の高さにバラツキがあると部品Eを基板Wに搭載したときに一部のリード電極61が基板Wに接触しないことによって実装不良となる虞がある。
【0074】
このため、制御部33は部品撮像カメラ39を用いて各リード電極61の最下面の高さを計測し、各リード電極61の最下面の高さの均一性(所謂コプラナリティ)を判断する。制御部33は、コプラナリティが悪い場合(即ち最下面の高さのバラツキが大きい場合)は部品不良として部品Eを廃棄ボックスに廃棄する。
【0075】
ここで、
図4において平面62は部品Eの高さを計測するときに吸着ノズル40Bの下端面が位置する平面である。以降の説明では平面62のことを基準平面62という。基準平面62は受光部39Bの光軸に対して垂直であること、即ち3つのラインセンサの受光素子の直線(もしくは受光部39Bがエリアセンサを有するものである場合はエリアセンサの受光素子の平面)と平行なことが好ましい。なお、受光部39Bの光軸に垂直な面に対して傾きがある場合には傾きを補正すればよい。
【0076】
以降の説明では部品Eの下面の任意の点と基準平面62との上下方向の距離をその点の高さという。本実施形態では部品Eの下面が基準平面62より上にある場合も下にある場合も高さを計測できる。部品Eの下面が基準平面62より上にある場合はマイナスの高さとなる。高さは基準平面62に対する変位量ということもできる。
【0077】
ここでは部品EとしてSOPを例に説明したが、部品EはSOPに限られない。例えば部品EはQFP(Quad Flat Package)であってもよいし、下面に複数の半田ボールを有するBGA(Ball Grid Array)であってもよい。
【0078】
(3)部品撮像カメラを用いた高さ計測
以下の説明では部品Eの下面(パターン光65が投影される面)の色は無彩色であるとする。無彩色は白と黒との混合で得られる色であり、白、黒、グレーが含まれる。無彩色に限定する理由は、RGBの3波長からなるパターン光65は有彩色の面で反射されると色相(言い換えると各波長の光の相対的な明るさ)が変化するため、高さを精度よく計測できないからである。
【0079】
(3―1)色相
先ず、
図7を参照して、色相について説明する。前述したように色相は色の3属性(色相、彩度、明度)の一つであり、色合い、あるいは色調とも称される。彩度は色の鮮やかさであり、明度は色の明暗(明るさ)である。色相は色から彩度の要素と明度の要素とを取り除いた残りであるということもできる。
【0080】
図7に模式的に示す色相環は色相を環状に表したものである。
図7においてRは赤、Yは黄、Gは緑、Cはシアン、Bは青、Mはマゼンタを示している。以降の説明では色相環において赤を始点とした反時計回りの角度を色相値という。HSV表色系の場合は以下の式1から色相値を計算できる。式1は所定の演算式の一例であり、色相値は所定の演算式の演算値の一例である。
【数1】
・・・ 式1
【0081】
図4に示すパターン光65は、Y方向(所定の方向の一例)の前側から後側に向かって色相を0度~360度まで連続して一意に変化させることを2周期繰り返したものである。同一周期内では色相が連続して一意に変化しているので(言い換えると同じ色相が2度表れないので)、色相の1周期分のパターン光を受光して画素毎に色相値を計算すると全ての色相値がユニークな値となる。
【0082】
また、色相は色から彩度の要素と明度の要素とを取り除いた残りであるので、計算される色相値は部品Eの明るさ(表面の色が白か黒かグレーかという明るさ)や光源の明るさ(光源との距離が異なる等して明るさが異なるような場合を含む光源全体としての明るさであり、撮像対象の高さが部分的に異なって明るさが異なっても影響を受けない)に影響されない。
【0083】
例えば、部品Eに所定の色相の光(R,G,B夫々の波長相互の光量が所定の比率の光)を投影し、部品Eで反射された光を受光して色相値を計算する場合、投影する光の色相が同じであれば部品Eの明るさや光源の明るさを変えても計算される色相値は同じになる。
【0084】
(3-2)パターン光の生成
図8及び
図9を参照して、パターン光65を生成する方法について説明する。パターン光65を生成する方法としては種々の方法があるが、ここでは
図8に示す台形波を用いる方法、及び、
図9に示すsin波を用いる方法について説明する。
【0085】
(3-2-1)台形波を用いる方法
図8(A)は台形波の一例である。
図8(B)は
図8(A)に示す台形波を用いて生成したパターン光65を基準平面62に投影して撮像されたカラー画像を示している。ここでは光の明るさを0(黒)~255(白)の256階調で表すものとする。
【0086】
図8(A)に示すように、台形波を用いる方法ではRGBの各色の光の明るさを台形状に変化させ、それらの位相を1/3(=120度)ずつずらして重ね合わせる。具体的には、
図8(A)に示す例では色相の1周期(360度)が6等分されている。赤色の光の明るさは、0度~60度の区間では255、60度~120度の区間では255~0まで直線的に変化、120度~240度の区間では0、240度~300度の区間では0~255まで直線的に変化、300度~360度の区間では255となっている。
【0087】
緑色の光の明るさは、0度~60度の区間では0~255まで直線的に変化、60度~180度の区間では255、180度~240度の区間では255~0まで直線的に変化、240度~360度の区間では0となっている。
青色の光の明るさは、0度~120度の区間では0、120度~180度の区間では0~255まで直線的に変化、180度~300度の区間では255、300度~360度の区間では255~0まで直線的に変化している。
【0088】
なお、ここでは台形波を例に説明したが、RGBいずれかの波形が連続して変化していれば台形波以外であってもよい。例えば二等辺三角形(左右対称が望ましい)であってもよい。また、左右対称でなくても(極端にはノコギリ波)でもよい。また、上述した台形波のように、RGBの光のうち少なくとも一つの明るさが連続して変化している区間では、他の色の光は明るさが変化しなくてもよい。
【0089】
(3-2-2)sin波を用いる方法
図9(A)はsin波の一例である。
図9(B)は
図9(A)に示すsin波を用いて生成したパターン光65を基準平面62に投影して撮像されたカラー画像を示している。
図9(A)に示すように、sin波を用いる方法では、RGBの各色の光の明るさをsin波で変化させ、RGBの明るさの和が常に一定となるように位相を1/3(=120度)ずつずらして重ね合わせる。
【0090】
図9(A)に示す例では、赤色の光は0度及び360度で明るさが255になり、180度で明るさが0になる。緑色の光は赤色の光に対して位相が120度ずれており、120度で明るさが255になり、300度で明るさが0になる。青色の光は赤色の光に対して位相が240度ずれており、60度で明るさが0になり、240度で明るさが255になる。
【0091】
なお、光源部39Aは所定の距離離れた基準平面62に台形波またはsin波の1周期のパターン光65を所定の長さに亘り投影することを2周期繰り返すが、この所定の長さは設計値として記憶部52に記憶されている。また、光源部39Aが基準平面62に対して固定されているので基準平面62の所定の位置にパターン光65が形成される。従って、パターン光65の各波長の光の明るさが連続的に変化する方向において所定の原点位置を決めることで、パターン光65の所定の位相位置は原点からの対応する所定の距離に位置することになる。
【0092】
(3-3)高さ計測の手順
図10に示すように、便宜上、ここでは部品E1と部品E2とを同時に撮像してそれらの高さを計測する場合を例に説明する(なお、通常、実装ヘッド40に吸着されている部品Eは一つずつ撮像される)。また、ここでは1周期のパターン光65を位相接続して2周期分のパターン光65(
図8に示される台形波または
図9に示されるsin波)を投影する場合を例に説明する。
【0093】
図11に示す画像70は部品撮像カメラ39によって
図10に示されるパターン光65が投影された部品E1及び部品E2を撮像したカラー画像(画像の一例)である。カラー画像70の各画素のRGB毎の濃度は夫々0~255の256階調で表される。カラー画像70において矩形領域71は部品E1の下面を示しており、矩形領域72は部品E2の下面を示している。
【0094】
なお、パターン光65が斜めから投影されるのでカラー画像70には部品Eの影となる部分が生じるが、簡単化のためカラー画像70では影を省略している。また、部品Eの形状によっては矩形領域71や矩形領域72に影が生じる場合もあるが、
図11に示す部品Eは下面がフラットであるので矩形領域71や矩形領域72に影は生じていない。
【0095】
画像73は図示しない無彩色(例えば白)の基準板を基準平面62と一致するように配置し、その状態で部品撮像カメラ39によって
図10に示されるパターン光65が投影された基準板を撮像したカラー画像を前述した式1によって色相値に変換し、さらにその色相値を明るさ(濃度)に変換して表示した画像である。以下、この色相値を基準平面62内の位置毎に記憶したマップを基準平面色相マップという。なお、基準平面62内の位置は部品撮像カメラ39の画素の位置で表される。
【0096】
基準平面色相マップを明度で表示した画像73の各画素の濃度は0~359度の360階調で表される。実施形態1では、予め表面実装機15の工場出荷時などに基準平面色相マップが作成されて記憶部52に記憶されているものとする。
基準平面色相マップの作成では、1ライン分のパターン光65が投影される大きさのY方向に延びる細長い無彩色(例えば白)の基準板が基準平面62に重なるように配置される。そして、部品撮像カメラ39によってその基準板に1ライン分のパターン光65が投影され、基準板で反射されたパターン光65をラインセンサによって波長毎に受光した受光量から1ライン分の基準平面色相マップが作成される。
図7に示す画像73はY方向に延びる1ライン分の基準平面色相マップを示す画像をX方向に複数並列に並べたものであり、記憶部52に記憶されている基準平面色相マップは1ライン分だけである。
【0097】
前述したように、画像73は基準平面マップの一例を画像として示すものである。基準平面色相マップは基準平面62と一致する基準板に投影されたパターン光を撮像することなしに、
図8または
図9に示す理論値通りの波形のパターン光65が基準平面62に投影された場合を想定してその位置毎のRGBの値を式1にて計算して求めて位置毎に記憶してもよい。位置毎は想定される部品撮像カメラ39の画素毎でもよいし、それとは異なる距離間隔毎に記憶してもよい。
更には、あえて基準平面マップとして予め記憶しておかず、対象物の高さを算出する際に演算により個々の位置の色相値を求めてもよい。
【0098】
グラフ74は基準平面色相マップを示す画像73の直線75上の画素の色相値を表すグラフである。グラフ74の横軸は基準平面上の位置を示す画素数(即ち基準平面62上の基準位置からの距離)であり、縦軸は0から359度の色相値である。
グラフ74に示すように、パターン光65は1周期内では色相が略リニア(略直線状)に変化している(即ち1周期内では色相が連続して一意に変化している)。なお、パターン光65は1周期内で色相が連続して一意に変化していればよく、必ずしもリニアに変化するものに限定されない。
【0099】
画像76はカラー画像70の各画素のRGB毎の濃度を前述した式1によって色相値に変換した画像(正確には色相値をさらに明度(濃度)に変換した白黒画像であり、以下、色相変換画像76という)である。色相変換画像76の各画素の濃度も360階調で表される。
グラフ77は色相変換画像76の直線78上の画素の色相値を表すグラフである。グラフ77の横軸は基準平面上の位置を示す画素数であり、縦軸は0から359度の色相値である。
【0100】
画像79は色相変換画像76の各画素の色相値から基準平面色相マップを示す画像73の対応する画素の色相値を減じた画像(以下、色相差画像79という)である。
グラフ80は色相差画像79の直線81上の画素の色相値を表すグラフである。グラフ80の横軸は画素数であり、縦軸は0から359度の色相値である。なお、直線75,78,81は基準平面62上の同じ直線であるものとする。
【0101】
例えば、色相変換画像76のグラフ77のX方向(横軸方向)の位置(画素番号)P1について考える。便宜上、ここでは位置P1の色相値が200度であるとする。基準平面色相マップを示す画像73のグラフ74では、色相値が200度となる位置は位置P2である。即ち、部品E1がなければ位置P2で受光されていた光が、部品E1があることによって位置P1で受光されている。
【0102】
この場合、
図12に示すように、第1の光源部39Aから投影されるパターン光65の傾きをθとすると、位置P1と位置P2との距離(画素数)とパターン光65の傾きθとから位置P1における部品E1の高さを計算できる。具体的には、以下に示す式2によって高さを計算できる。
高さ=位置P1と位置P2との距離×tanθ ・・・ 式2
【0103】
上述した式2によって計算される高さの単位は画素数である。なお、所定の比例係数を乗算することによって単位を画素数から基準平面62上の距離[m]に変換することもできる。
【0104】
なお、パターン光65が平行光でない場合は、パターン光65が投影された領域内の位置によってパターン光65の傾きθが異なる。このため、パターン光65が平行光でない場合は位置に応じて傾きθを補正してもよい。
【0105】
ところで、画像73の基準平面色相マップのグラフ74で示されるように、本実施形態では位置(画素番号)と色相値とが略リニアに対応しているので、画像73の基準平面色相マップにおける位置P1の色相値と色相変換画像76における位置P1の色相値との差(色相差)は、位置P1と位置P2との距離に略正比例する。このため、本実施形態では、制御部33は位置P1と位置P2との距離からではなく、色相差から位置P1の高さを計算する。
【0106】
具体的には、制御部33は、位置P1の色相値と色相変換画像76における位置P1の色相値との差(色相差)が位置P1と位置P2との距離に正比例すると看做せる場合には、位置P1における色相差を色相差画像79から取得し、以下の式3によって高さを計算する。
高さ=色相差×tanθ ・・・ 式3
【0107】
色相差と距離とに比例関係があるので、上述した式3によって計算される高さの単位は画素数と等価である。このため、所定の比例係数を乗算することによって単位を画素数に変換することもできる。また、別の比例係数を乗算することによって基準平面62上の距離[m]に変換することもできる。
【0108】
なお、位置(画素番号)と色相値とは一対一で対応していればよく、必ずしもリニアに対応していなくてもよい。位置と色相値とがリニアに対応していない場合は前述した式2によって高さを計算すればよい。即ち、位置P1の色相値を取得し、基準平面色相マップに記憶された色相値からこの色相値と同じ色相値を有する位置P2を検索して式2により計算すればよい。
【0109】
(4)部品の明るさを表す多値画像の作成
図13に示すように、部品Eの下面に文字や極性マークなどの図形85が部品Eの下面の明るさ(明度)とは異なる明るさで表記されている場合がある。制御部33は、部品Eの高さを計測する過程で作成されたカラー画像70から部品Eの下面の明るさを表す多値画像を作成し、作成した多値画像を解析して図形85を認識する。
【0110】
以下、カラー画像70から部品Eの下面の明るさを表す多値画像を作成する方法について説明する。多値画像を作成する方法はパターン光65を作成する方法によって異なる。ここでは多値画像を作成する方法を、パターン光65を作成する方法毎に説明する。
【0111】
(4-1)台形波を用いてパターン光を作成する場合
前述した
図8(A)に示すように、台形波は常にRGBのいずれかの値が最大値となっている。このため、制御部33は、以下の式4に示すように、カラー画像70から画素毎にRGBの明るさ(濃度)の最大値を取得することで多値画像を作成する。
図8(A)の台形波の場合、位置(画素)毎の最大値は常に最大の濃度であるので一定の明るさが得られる。
明るさ=Max(R,G,B) ・・・ 式4
【0112】
(4-2)sin波を用いてパターン光を作成する場合
前述した
図9(A)に示すように、sin波はRGBの明るさの和が常に一定となっている。このため、制御部33は、以下の式5に示すように、カラー画像70から画素毎にRGBの明るさ(濃度)の和を取得することで多値画像を作成する。
明るさ=R+G+B ・・・ 式5
【0113】
(5)実施形態の効果
実施形態1に係る三次元計測装置(部品撮像カメラ39及び制御部33)によると、色相が連続して変化しているパターン光65を部品Eに投影する。パターン光65を用いると部品Eの明るさやパターン光65自体の明るさによらず位置毎に色相値が一意の値になるので、位相シフト法のように同一領域を複数回撮像しなくても高さを計測できる。また、光切断法のようにラインに直交する方向の画素数分ラインを移動撮像しなくても高さを計測できる。このため位相シフト法や光切断法に比べて短時間で部品Eの高さを計測できる。
【0114】
三次元計測装置によると、受光部39Bとしてラインセンサを用いるので、部品撮像カメラ39と部品Eとを相対移動させる移動量を変えることで、部品Eの大きさに応じて撮像範囲を変えることができる。また、パターン光65の照射範囲を狭めることができるので、三次元計測装置のサイズを小さくできる。
【0115】
三次元計測装置によると、部品Eの高さを計測する過程で作成されるカラー画像70から部品Eの下面の明るさを表す多値画像を作成するので、部品E全体を一度撮像することで、部品Eの高さの計測と部品Eの下面に表記されている図形85の認識とを行うことができる。
【0116】
<実施形態2>
前述した実施形態1は第1の光源部39Aがライン状のパターン光を投影するものであり、受光部39Bとしてラインセンサを用いるものである。そして、実施形態1では1ライン分の基準平面色相マップが記憶部52に記憶されている。
【0117】
これに対し、実施形態2に係る第1の光源部39Aは面状のパターン光を投影するものであり、受光部39BはRGBの各色の受光素子が所定の配列パターンで二次元配列されたカラーエリアセンサ(以下、単にエリアセンサという)である。実施形態2では面状の基準板を用いて基準平面色相マップが作成される。具体的には、第1の光源部39Aによって面状の基準板に面状のパターン光が投影され、基準板で反射されたパターン光をエリアセンサによって波長毎に受光した光の受光量に基づいて基準平面色相マップが作成される。
【0118】
実施形態2に係る基準平面色相マップは二次元データであるので実施形態1の基準平面色相マップに比べてデータ量が多くなる。このため、実施形態2では基準平面色相マップのデータ量を削減して記憶する。ここでは基準平面色相マップのデータ量を削減する方法として2つの方法について説明する。
【0119】
(1)方法1
図14(A)を参照して、方法1について説明する。方法1では、基準板を撮像して作成された基準平面色相マップにおいて、パターン光の各波長の光の明るさが変化する方向(
図14において左右方向)を行方向と定義し、当該方向に直交する方向(
図14において上下方向)を列方向と定義したとき、列毎に色相値を平均した平均値(以下、代表色相値という)を記憶部52に記憶させておく。
【0120】
制御部33は、記憶部52に記憶されている列毎の代表色相値を基準平面色相マップとして用いる。具体的には、制御部33は色相変換画像76の各画素からその画素が位置している列の代表色相値を減算することによって色相差画像79を作成する。
【0121】
(2)方法2
図14(B)を参照して、方法2について説明する。基準平面62を撮像する場合、第1の光源部39Aと受光部39Bとの相対的な角度がずれていることにより、
図14(B)に示すように斜めに傾いた平面部分について基準平面色相マップが作成される場合がある。この場合、方法1のように各列の代表色相値だけを記憶部52に記憶すると、基準平面色相マップ上部(列方向の一方の端部の一例)の色相値、及び、基準平面色相マップ下部(列方向の他方の端部の一例)の色相値が代表色相値と大きく異なってしまう。
【0122】
このため、方法2では、基準板を撮像して作成された基準平面色相マップにおいて、基準平面色相マップ上部の所定数の行(例えば2~3行)について列毎に色相値の平均値を記憶部52に記憶させておくとともに、基準平面色相マップ下部の所定数の行について列毎に色相値の平均値を記憶部52に記憶させておく。
制御部33は、記憶部52に記憶されている基準平面色相マップ上部の所定数の行の列毎の平均値と基準平面色相マップ下部の所定数の行の列毎の平均値とから基準平面色相マップの各行を線形補間することにより、斜めに傾いた基準平面色相マップを復元する。
【0123】
(3)実施形態の効果
方法1によると、列毎に色相値を平均した平均値(代表色相値)を記憶部52に記憶させるので、記憶部52に記憶させるデータ量は基準平面色相マップの1行分のデータ量となる。このため、基準平面色相マップ全体を記憶させておく場合に比べて記憶部52の記憶領域を節約できる。
【0124】
方法2によると、列方向の一方の端部の所定数の行の列毎の平均値と他方の端部の所定数の行の列毎の平均値とを記憶部52に記憶させておくので、基準平面色相マップ全体を記憶させておく場合に比べて記憶部52の記憶領域を節約できる。そして、方法2によると、それらの平均値から基準平面色相マップを復元するので、傾いた状態の基準平面色相マップを復元できる。このため、第1の光源部39Aと受光部39Bとの相対角度が傾いていても高さを精度よく計測できる。
【0125】
<実施形態3>
前述した実施形態1では基準板を撮像することによって基準平面色相マップを作成する場合を例に説明した。実施形態3では基準平面色相マップを作成する他の方法について説明する。
【0126】
(1)他の方法1
他の方法1は計算によって基準平面色相マップを作成する方法である。具体的には例えば、制御部33は前述した
図8(A)や
図9(A)に示すRGB各色の光の明るさ(0~255)を角度毎に色相値に変換することによって基準平面色相マップを論理的に作成する。例えば
図8(A)に示す120度の場合、制御部33は120度におけるRGB各色の光の明るさ(0,255,0)を前述した式1に代入することによって色相値に変換する。
【0127】
上述した120度は位相値である。位相値は基準平面62における位置、即ち位相原点からの距離(例えばX)になる。距離XにおけるRGBの各色の光の明るさは台形波あるいはsin波の関数となる。従って、色相値は距離Xの関数で表される。色相値が距離Xの関数であるので、色相値からその色相値のあるべき位置が計算できる。前述しているが、これから基準平面色相マップに記憶してもよいし、基準平面色相マップに記憶しないで計算式だけを記憶しておいてもよい。
【0128】
他の方法1は、計算した色相値(設計値)のパターン光65を第1の光源部39Aが忠実に再現でき、また、受光部39Bもそのパターン光65を受光して上述した設計値を忠実に再現できる場合(あるいは忠実に再現できると見做せる場合)に適用できる。
【0129】
(2)他の方法2
図15を参照して、他の方法2について説明する。他の方法2では部品撮像カメラ39の撮像範囲86の左側、又は、撮像範囲86の右側、あるいはその両方にY方向に延びる細長い無彩色(例えば白)の基準板87を配置する。制御部33は基準板87で反射されたパターン光65を波長毎に受光した受光量から変換された各画素の濃度から色相値を計算することによって部分的なマップを作成する。そして、制御部33は作成した部分的なマップから前述した実施形態2の方法1や方法2と同様にして基準平面色相マップの他の部分を補間することによって基準平面色相マップを作成する。
【0130】
(3)実施形態の効果
他の方法1では基準平面色相マップを記憶部52に記憶しておかなくてよいので、記憶部52の記憶領域を節約できる。また、他の方法1では基準板を用いずに基準平面色相マップを作成するので、基準板を用いる場合に比べて簡素な構成で基準平面色相マップを作成できる。
【0131】
他の方法2では基準平面色相マップを記憶部52に記憶しておかなくてよいので、記憶部52の記憶領域を節約できる。また、他の方法2では基準平面色相マップ全体を一度に作成できる大きな基準板を用いる場合に比べて基準板87を小さくできる。また、他の方法2では定期的に基準板87を撮像して基準平面色相マップを作成することにより(あるいは部品Eの高さを計測するときにその都度基準板87を撮像して基準平面色相マップを作成することにより)、第1の光源部39Aの明るさや受光部39Bの受光感度が経時変化しても計測精度の低下を抑制できる。
【0132】
<実施形態4>
前述した実施形態1では1周期の色相を位相接続して複数周期分のパターン光65を投影する。これに対し、実施形態4では色相が連続して且つ周期的に変化しており、且つ、周期毎に彩度値(明るさの変動幅)が異なっているパターン光を投影する。
【0133】
(1)パターン光の生成
上述したパターン光を生成する方法としては、台形波を用いる方法、sin波を用いる方法、独立波を用いる方法などがある。以下、各方法について説明する。なお、以下の説明ではパターン光の波長としてRGBを例に説明するが、波長はRGBに限定されない。
【0134】
(1-1)台形波を用いる方法
図16(A)は台形波の一例である。
図16(B)は
図16(A)に示す台形波を用いて生成したパターン光を基準平面62に投影して撮像されたカラー画像を示している。
図16(A)に示すように、台形波を用いる方法では、いずれの周期においても台形の上辺の明るさを255とし、1周期が経過するごとに台形の下辺の明るさを段階的に低くする。具体的には、
図16(A)に示す例では、1周期目では台形の下辺の明るさが150であり、2周期目では100、3周期目では50、4周期目では0となるように下辺の明るさが段階的に低くなっている。
【0135】
台形波を用いる場合、色相値、明度値、彩度値は以下の式から計算できる。式6は所定の演算式の一例である。
【数2】
・・・ 式6
【0136】
明度値=MAX(R,G,B) ・・・ 式7
【数3】
・・・ 式8
【0137】
(1-2)sin波を用いる方法
図17(A)はsin波の一例である。
図17(B)は
図17(A)に示すsin波を用いて生成したパターン光を基準平面62に投影して撮像されたカラー画像を示している。
図17(A)に示すように、sin波を用いる方法では1周期が経過するごとにsin波の振幅(明るさの変動幅)を段階的に大きくする。
【0138】
sin波を用いる場合、色相値、明度値、彩度値は以下の式から計算できる。式9は所定の演算式の一例である。
【数4】
・・・ 式9
【0139】
明度値=R+G+B ・・・ 式10
【数5】
・・・ 式11
【0140】
(1-3)独立波を用いる方法
図18(A)は独立波の一例である。
図18(B)は
図18(A)に示す独立波を用いて生成したパターン光を基準平面62に投影して撮像されたカラー画像を示している。
図18(A)に示すように、独立波を用いる方法では、RGB毎に互いに異なる変化パターンで明るさを変化させる。具体的には、
図18(A)に示す例では、赤の明るさは255で一定である。緑の明るさは周期の始めが0であり、周期の終わりに255となるように明るさが直線的に変化している。青の明るさは1周期が経過するごとに段階的に高くなっている。
【0141】
独立波を用いる場合、色相値、明度値、彩度値は以下の式から計算できる。式12は所定の演算式の一例である。
色相値=G/R ・・・ 式12
明度値=R ・・・ 式13
彩度値=B/R ・・・ 式14
【0142】
なお、上記の例ではR(赤)を明度として一定の値(リファレンス)とし、G(緑)を色相として連続的に変化させ、B(青)を彩度として段階的に変化させているが、いずれの色(波長)を色相、明度、彩度とするかは適宜に決定できる。
【0143】
(2)高さ計測の手順
図19に示す画像90は上述したパターン光が投影された基準平面62を撮像したカラー画像である。なお、便宜上、
図19では部品Eを省略している。
画像91はカラー画像90から変換した画像(以下、色相変換画像91という)である。グラフ92は色相変換画像91の直線93上の画素の色相値を表すグラフである。グラフ92に示すように、色相変換画像91の画素の色相値は周期毎に0度~360度まで直線的に変化する。
【0144】
画像94はカラー画像90から変換した彩度値を表す画像(以下、彩度変換画像94という)である。HSV表色系の場合は前述した式8から彩度値を計算できる。グラフ95は彩度変換画像94の直線96上の画素の彩度値を表すグラフである。グラフ95に示すように、彩度変換画像94の画素の彩度値は1周期内では一定であり、1周期が経過するごとに段階的に大きくなる。
【0145】
画像97は色相変換画像76を彩度変換画像94に基づいて補正した画像(以下、補正色相画像97という)である。具体的には、補正色相画像97は、以下の式15~式17に示すように、色相変換画像91の各画素の色相値に、彩度変換画像94の彩度値が変化する毎に360を加算することによって補正した画像である。
S0:補正色相値=色相値+0・・・ 式15
S1:補正色相値=色相値+360・・・ 式16
S2:補正色相値=色相値+720・・・ 式17
【0146】
グラフ98は補正色相画像97の直線99上の画素の色相値を表すグラフである。グラフ98に示すように、補正色相画像97の各画素の色相値は全ての周期に亘って一意の値になる。グラフ98は理論通りのパターン光65と理論通りの受光部39Bであれば完全に直線の1次関数となる。
【0147】
(2)実施形態の効果
実施形態4に係る三次元計測装置によると、パターン光は色相が連続して且つ周期的に変化しており、且つ、周期毎に彩度値(明るさの変動幅)が異なっているので、各周期で同じ演算値が計算されても彩度値の違いからそれぞれがいずれの周期の演算値であるかを特定できる。このため、部品Eの高さがパターン光の1周期分の幅を超えていても一度の撮像で計測対象の高さを計測できる。
【0148】
<実施形態5>
実施形態5では、部品撮像カメラ39が部品Eにパターン光65を投影する方向を相対的に変更し、各方向で部品撮像カメラ39によって部品Eを撮像する。具体的には、前述したようにヘッドユニット36は部品Eを吸着する実装ヘッド40を軸周りに回転させるR軸サーボモータ59を備えている。制御部33は実装ヘッド40を軸周りに回転させることによって部品Eを回転させる。これにより、部品撮像カメラ39が部品Eにパターン光65を投影する方向が変更される。制御部33は複数の方向(例えば0度及び180度)で部品撮像カメラ39によって部品Eを撮像する。
【0149】
なお、パターン光65を投影する方向は2方向に限定されるものではなく、3方向以上から投影してもよい。ただし、精度よく高さを計測するためには少なくとも対向する二つの方向(例えば0度及び180度)を含むことが望ましい。
【0150】
図20(A)は0度で撮像されたカラー画像を示しており、
図20(B)は180度で撮像されたカラー画像を示している。
図20(A)では部品Eの右側にパターン光65が投影されない陰の部分が生じているが、
図20(B)ではパターン光65を逆側から投影しているので部品Eの右側の影が消えている。制御部33はこれら2つのカラー画像を用いることによって部品Eの高さを計測する。
【0151】
実施形態5に係る三次元計測装置によると、部品Eにパターン光65を投影する方向を相対的に変更して少なくとも2方向から順にパターン光65を投影させるので、パターン光65を投影する方向が一方向だけである場合に比べ、部品Eの高さを全面に亘って計測できる可能性が高くなる。
【0152】
また、三次元計測装置によると、R軸サーボモータ59を用いることによって部品撮像カメラ39が部品Eにパターン光65を投影する方向を相対的に変更するので、方向を相対的に変更するための構成を別途備えなくてよい。このため、方向を相対的に変更するためのコストを抑制できる。
【0153】
<実施形態6>
図21に示すように、実施形態6に係る部品撮像カメラ39は第2の光源部101を備えている。第2の光源部101もプロジェクタとして構成されている。第2の光源部101は、複数波長間の相対的な明るさが連続して変化しているパターン光102であって第1の光源部39Aによって投影されるパターン光65とは波長が異なるパターン光102を、第1の光源部39Aとは異なる方向(例えば第1の光源部39Aから実装ヘッド40の軸回りに180度回転した方向)から部品Eに投影する。
【0154】
ここで波長が異なるとは、RGBの範囲と重なる部分がない範囲の波長であり、例えば紫外線領域の波長や赤外線領域の波長である。
なお、パターン光102は、第1の光源部39Aによって投影されるパターン光65と重ならない範囲であればRGBの範囲の波長であってもよい。ここで「重ならない」とは、パターン光65の複数の波長の最小値と最大値との間にパターン光102の複数の波長のいずれもが重ならないことをいう。また、パターン光102は可視光(可視領域の波長)であっても不可視光(不可視領域の波長)であってもよい。
【0155】
また、第1の光源部39A及び第2の光源部101がいずれも不可視光を投影してもよい。例えば第1の光源部39Aが紫外線領域の2以上の波長の光からなるパターン光を投影し、第2の光源部101が赤外線領域の2以上の波長の光からなるパターン光を投影してもよい。
【0156】
受光部39Bは、前述したRGBの3列のラインセンサ(第1の受光部の一例)に加えて、第2の光源部101によって投影されて部品Eで反射されたパターン光102を受光する複数のラインセンサ(第2の受光部の一例)を有している。これらのラインセンサにはパターン光102を構成する光の波長のうち他のラインセンサとは異なる波長の光だけを透過させるフィルタが設けられている。
【0157】
第1の光源部39Aによって投影されるパターン光65と第2の光源部101によって投影されるパターン光102とは波長が異なっているので、これらを同時に投影しても各ラインセンサはそのラインセンサに対応する波長の光だけを受光できる。このため、制御部33は撮像に要する時間を短縮するために第1の光源部39Aと第2の光源部101とから同時に部品Eにパターン光65及び102を投影して部品Eを撮像する。
そして、制御部33は、第1の光源部39Aによって投影されたパターン光65を受光して作成したカラー画像と、第2の光源部101によって投影されたパターン光102を受光して作成した画像とを用いて部品Eの高さを判断する。
【0158】
実施形態6に係る三次元計測装置によると、部品Eに2方向からパターン光65及び102を投影するので、部品Eの高さを全面に亘って計測できる可能性が高くなる。また、三次元計測装置によると、第1の光源部39Aと第2の光源部101とから同時に部品Eにパターン光65及び102を投影して部品Eを撮像するので、撮像に要する時間を短縮できる。このため部品Eの高さを短時間で計測できる。
【0159】
<他の実施形態>
本明細書によって開示される技術は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本明細書によって開示される技術的範囲に含まれる。
【0160】
(1)上記実施形態1では複数の波長としてRGBの3つの可視光を例に説明したが、複数の波長は不可視領域の波長(例えば近赤外光)であってもよい。不可視領域の波長は部品Eの色の影響を受けないので(あるいは受け難いので)、部品Eの下面の色が有彩色であっても高さを計測できる。なお、不可視領域の波長を用いる場合は受光部39Bの受光波長もその波長に合わせる必要がある。
【0161】
(2)上記実施形態では第1の光源部39A及び第2の光源部101としてプロジェクタを例に説明したが、これらの光源部はプロジェクタに限られない。例えば光源部は回析格子(グレーティング)、プリズム、光学フィルタ、複数色LED順次配列などであってもよい。
【0162】
(3)上記実施形態では複数波長の例として3波長を例に説明したが、複数波長は3波長に限定されるものではなく、2波長以上であればよい。
【0163】
(4)上記実施形態ではカラー画像の表色系としてHSV表色系を例に説明したが、表色系はHSV表色系に限られない。例えば表色系はYIQ表色系、Lab表色系などであってもよい。
【0164】
YIQ表色系の場合は以下の式18によって色相値を計算できる。式18は所定の演算式の一例である。
【数6】
・・・ 式18
【0165】
Lab表色系の場合は以下の式19~式22によって色相値を計算できる。式22においてXn、Yn、Znは基準白色におけるXYZの値である。式19~式22は所定の演算式の一例である。
X=0.412R+0.358G+0.181B ・・・ 式19
Y=0.213R+0.715G+0.072B ・・・ 式20
Z=0.019R+0.119G+0.951B ・・・ 式21
【数7】
・・・ 式22
【0166】
図22(A)はHSV表色系、YIQ表色系及びLab表色系で計算した色相値を示すグラフである。図示するように各表色系は位相がずれている。
図22(B)は各表色系の位相が一致するように補正したグラフである。
【0167】
(5)上記実施形態1では予め作成された基準平面色相マップが記憶部52に記憶されている場合を例に説明した。これに対し、基準平面色相マップ全体を一度に作成できる大きな基準板を備え、その基準板から基準平面色相マップを作成してもよい。このようにすると、第1の光源部39Aがパターン光を忠実に再現する精度や受光部39Bのパターン光を忠実に再現する精度が低くても高さを精度よく計測できる。
【0168】
(6)上記実施形態では撮像部として部品撮像カメラ39を例に説明したが、撮像部は基板撮像カメラ38であってもよい。
【0169】
(7)上記実施形態ではワーク作業装置として表面実装機15を例に説明したが、ワーク作業装置は表面実装機15に限られない。例えば、ワーク作業装置はスクリーン印刷機12、印刷検査機13、ディスペンサ14、実装後外観検査機16あるいは硬化後外観検査装置18であってもよい。
例えば、スクリーン印刷機12の場合は、撮像面を下に向けた姿勢の撮像部と、撮像部を基板Wの上方で水平方向に搬送する搬送部とを備え、撮像部を搬送して基板Wの各部を上から撮像することにより、基板Wに印刷された半田ペーストの高さを計測してもよい。
また、ディスペンサ14の場合は、接着剤を塗布するディスペンサヘッドを上下方向に移動可能に保持しているヘッドユニット36と、ヘッドユニット36を水平方向に搬送する搬送部とを備えているので、撮像面を下に向けた姿勢の撮像部をヘッドユニット36に配置し、撮像部を搬送して基板Wの各部を上から撮像することにより、基板Wに塗布された接着剤の高さを計測してもよい。
印刷検査機13、実装後外観検査機16、硬化後外観検査装置18などについても同様である。
【符号の説明】
【0170】
15…表面実装機(ワーク作業装置の一例)、30…基板搬送装置(作業部の一例)、31…テープ部品供給装置(作業部の一例)、32…部品実装装置(作業部の一例)、33…制御部(三次元計測装置の一例)、37…ヘッド搬送部(移動部の一例)、39…部品撮像カメラ(撮像部、三次元計測装置の一例)、39A…第1の光源部、39B…第1の受光部、52…記憶部、59…R軸サーボモータ(変更部の一例)、62…基準平面、65…パターン光、70…カラー画像(画像の一例)、73…基準平面色相マップ(基準平面マップの一例)、87…基準板、90…カラー画像(画像の一例)、100…パターン光、101…第2の光源部、102…パターン光、E(E1、E2)…部品(計測対象の一例)