【課題を解決するための手段】
【0017】
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0018】
手段1.縞状の光強度分布を有する光パターンを被計測物(例えばプリント基板など)に対し照射可能な照射手段と、
前記光パターンの照射された前記被計測物上の所定の計測領域(計測エリア)を撮像可能な撮像手段と、
前記照射手段及び前記撮像手段を制御し、前記光パターンの位相を複数通りに変化させ、該各光パターンの下でそれぞれ撮像した前記計測領域に係る複数通りの画像(画像データ)を取得可能に構成されると共に、前記計測領域について取得(撮像)すべき画像数を前記計測領域に応じて変更可能な画像取得手段と、
前記画像取得手段により取得された画像を基に、位相シフト法により前記計測領域内における計測対象(例えばクリーム半田など)について三次元計測を実行可能な画像処理手段とを備え、
前記画像取得手段は、
前記計測領域内に所定の判定条件を満たす前記計測対象が含まれている場合には、第1所定数通り(例えば4通り)の位相で光パターンを照射し撮像した前記第1所定数通りの画像を取得し、
前記計測領域内に前記判定条件を満たす前記計測対象が含まれていない場合には、前記第1所定数よりも少ない第2所定数通り(例えば3通り)の位相で光パターンを照射し撮像した前記第2所定数通りの画像を取得することを特徴とする三次元計測装置。
【0019】
一般に、三次元計測装置によって計測されるプリント基板上には、大きさの異なる種々のクリーム半田が印刷されており、その種類や配置は各計測領域ごとに様々である。つまり、高精度の計測を必要とする比較的サイズの小さいクリーム半田を含むプリント基板であっても、高精度の計測を必要としない計測領域は存在し得る。
【0020】
それにも拘らず、従来では、プリント基板上に設定された全ての計測領域について、予め設定された同一の撮像方式(例えば高精度の計測を行う場合には4回撮像方式、計測精度をそれほど必要とせず、より短い時間で計測を行う場合には3回撮像方式)によって画一的に計測を行っていた。
【0021】
これに対し、上記手段1によれば、所定の判定条件(例えば大きさが所定値未満)を満たす計測対象を含む計測領域については、第1所定数通り(例えば4通り)の画像を基により高精度に三次元計測を実行する一方、それ以外の計測領域については、前記第1所定数よりも少ない第2所定数通り(例えば3通り)の画像を基により短時間に三次元計測を実行することができる。
【0022】
結果として、位相シフト法を利用した三次元計測を行うにあたり、所定の判定条件を満たす計測対象(高精度の計測を必要とする計測対象)に必要な計測精度を維持しつつ、計測速度の向上を図ることができる。
【0023】
尚、上記「所定の判定条件」には、計測対象の大きさが所定値未満であること(例えば「面積」、「体積」、「周囲長」又は「短辺長」が所定値未満であること)や、計測対象が所定の属性に属するものであること(例えば計測対象となるクリーム半田に対し実装される部品の品種が所定の品種であること)などが含まれる。尚、計測領域内に所定の判定条件を満たす計測対象が含まれているか否かの判定は、所定の記憶手段に予め記憶された被計測物に係る設計データ(ガーバデータ等)を基に行うことができる。
【0024】
手段2.前記画像取得手段が前記第1所定数通り(例えば4通り)の画像を取得した場合において、
前記画像処理手段は、
前記計測領域内における前記判定条件を満たす前記計測対象については、前記第1所定数通りの画像を基に、位相シフト法により三次元計測を行い、
前記計測領域内における前記判定条件を満たさない計測対象については、前記第2所定数通り(例えば3通り)の画像を基に、位相シフト法により三次元計測を行うことを特徴とする手段1に記載の三次元計測装置。
【0025】
上記手段2によれば、所定の判定条件を満たさない計測対象(計測精度をそれほど必要としない計測対象)については、より少ない画像を基により短時間で三次元計測を行うことができる。結果として、計測速度のさらなる向上を図ることができる。
【0026】
また、第1所定数通り(例えば4通り)の画像を取得した場合における「所定の判定条件を満たさない計測対象」についての計測精度と、第2所定数通り(例えば3通り)の位相で光パターンを照射し撮像した第2所定数通りの画像を基に三次元計測を行った場合における「所定の判定条件を満たさない計測対象」についての計測精度とを同等にすることができる。
【0027】
手段3.外部操作に基づき前記判定条件を設定可能な条件設定手段を備えていることを特徴とする手段1又は2に記載の三次元計測装置。
【0028】
上記手段3によれば、所定の判定条件を任意に設定することができ、利便性及び汎用性の向上を図ることができる。
【0029】
手段4.前記条件設定手段により設定した前記判定条件の下で前記被計測物の計測にかかる予定時間を表示可能な予定時間表示手段を備えていることを特徴とする手段3に記載の三次元計測装置。
【0030】
上記手段4によれば、作業者が求める計測時間や計測精度を満たす最適な判定条件を見付けるために、事前に何度も三次元計測装置を実際に稼働させる必要がない。結果として、利便性の向上を図ることができる。
【0031】
手段5.前記画像取得手段は、
前記計測領域内に前記判定条件を満たす前記計測対象が含まれている場合には、前記第1所定数通りとして4通り又は3通りの位相で光パターンを照射し撮像した4通り又は3通りの画像を取得し、
前記計測領域内に前記判定条件を満たす前記計測対象が含まれていない場合には、前記第2所定数通りとして2通りの位相で光パターンを照射し撮像した2通りの画像を取得することを特徴とする手段1乃至4のいずれかに記載の三次元計測装置。
【0032】
上記手段5によれば、所定の判定条件を満たさない計測対象(計測精度をそれほど必要としない計測対象)については、より少ない画像を基により短時間で三次元計測を行うことができる。結果として、計測速度のさらなる向上を図ることができる。
【0033】
手段6.前記画像取得手段は、
前記計測領域内に前記判定条件のうちの特定条件を満たす前記計測対象が含まれている場合には、前記第1所定数通りとして4通りの位相で光パターンを照射し撮像した4通りの画像を取得し、
前記計測領域内に前記判定条件を満たす前記計測対象が含まれているが、前記特定条件を満たす前記計測対象が含まれていない場合には、前記第1所定数通りとして3通りの位相で光パターンを照射し撮像した3通りの画像を取得し、
前記計測領域内に前記判定条件を満たす前記計測対象が含まれていない場合には、前記第2所定数通りとして2通りの位相で光パターンを照射し撮像した2通りの画像を取得することを特徴とする手段1乃至4のいずれかに記載の三次元計測装置。
【0034】
上記手段6によれば、上記手段5の作用効果に加え、さらに細かく計測対象の違いに対応することができ、さらなる計測速度の向上を図ることができる。
【0035】
さらに、上記手段2の構成下における手段6では、
「前記画像取得手段が4通りの画像を取得した場合において、
前記画像処理手段は、
前記計測領域内における前記特定条件を満たす前記計測対象については、4通りの画像を基に、位相シフト法により三次元計測を行い、
前記計測領域内における前記特定条件を満たさずかつ前記判定条件を満たす前記計測対象については、3通りの画像を基に、位相シフト法により三次元計測を行い、
前記計測領域内における前記判定条件を満たさない計測対象については、2通りの画像を基に、位相シフト法により三次元計測を行い、
前記画像取得手段が3通りの画像を取得した場合において、
前記画像処理手段は、
前記計測領域内における前記判定条件を満たす前記計測対象については、3通りの画像を基に、位相シフト法により三次元計測を行い、
前記計測領域内における前記判定条件を満たさない計測対象については、2通りの画像を基に、位相シフト法により三次元計測を行うこと」とすれば、さらなる計測精度の向上を図ることができる。
【0036】
手段7.前記画像処理手段は、
所定の撮像条件により定まるゲイン及びオフセットの関係と、
前記画像上の各画素の輝度値から定まる該画素に係るゲイン又はオフセットの値とを利用することにより、
位相シフト法による三次元計測を、2通りの画像を基に実行可能としたことを特徴とする手段5又は6に記載の三次元計測装置。
【0037】
上記手段7によれば、所定の撮像条件により定まるゲインA及びオフセットBの関係〔例えばA=K(比例定数)×B〕と、画像上の各画素(x,y)の輝度値V(x,y)から定まる、該画素(x,y)に係るゲインA(x,y)又はオフセットB(x,y)の値とを利用することにより、2通りの画像を基に位相シフト法により三次元計測を行うことが可能となる。
【0038】
これにより、4通り又は3通りの画像を必要とする従来技術に比べて、計測時間を飛躍的に短縮することができる。
【0039】
一般に上記「照射手段」は、所定の光を発する光源、及び、該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、該光パターンを被計測物に対し照射可能に構成されている。
【0040】
そして、光源から照射された光は、まず格子を通過する際に減衰され、次に被計測物(計測対象)にて反射する際に減衰され、最後に撮像手段においてA/D変換(アナログ−デジタル変換)される際に減衰された上で、画像の各画素の輝度値として取得される。
【0041】
従って、撮像手段により撮像された画像の各画素の輝度値は、光源の明るさ(輝度)、光源から照射された光が格子を通過する際の減衰率、光が被計測物にて反射する際の反射率、撮像手段においてA/D変換(アナログ−デジタル変換)される際の変換効率等を掛け合わせることにより表現することができる。
【0042】
例えば、光源(均一光)の明るさ:L
格子の透過率:G=αsinθ+β
α,βは任意の定数。
【0043】
被計測物上の座標 (x,y)における反射率:R(x,y)
撮像手段(撮像素子)の各画素の変換効率:E
被計測物上の座標(x,y)に対応する画像上の画素の輝度値:V(x,y)
被計測物上の座標(x,y)における光パターンのゲイン:A(x,y)
被計測物上の座標(x,y)における光パターンのオフセット:B(x,y)
とした場合には、下記式(F1)で表すことができる。
【0044】
【数1】
【0045】
ここで、ゲインA(x,y)は、「sinθ=1」の光による輝度値V(x,y)
MAXと、「sinθ=−1」の光による輝度値V(x,y)
MINとの差から表すことができるので、
例えば、格子がθ=0の時の透過率(=平均透過率):Gθ
=0
格子がθ=π/2の時の透過率(=最大透過率):Gθ
=π
/2
格子がθ=−π/2の時の透過率(=最小透過率):Gθ
=-π
/2
とした場合には、下記式(F2)で表すことができる。
【0046】
【数2】
【0047】
また、オフセットB(x,y)は、「sinθ=0」の光における輝度値V(x,y)であって、「sinθ=1」の光による輝度値V(x,y)
MAXと、「sinθ=−1」の光による輝度値V(x,y)
MINとの平均値であるので、下記式(F3)で表すことができる。
【0048】
【数3】
【0049】
つまり、輝度値の最大値V(x,y)
MAX、最小値V(x,y)
MIN、平均値V(x,y)
AVはそれぞれ下記式(F4)、(F5)、(F6)で表すことができ、
図3のグラフに示すような関係となる。
【0050】
【数4】
【0051】
図3から見てとれるように、所定の座標(x,y)における輝度値の最大値V(x,y)
MAXと輝度値の最少値V(x,y)
MINの平均値V(x,y)
AVがオフセットB(x,y)となり、該オフセットB(x,y)と最大値V(x,y)
MAXとの差、及び、該オフセットB(x,y)と最少値V(x,y)
MINとの差がそれぞれゲインA(x,y)となる。
【0052】
また、輝度値V(x,y)は、光源の明るさL又は反射率R(x,y)に比例して変化するため、例えば反射率Rが半分となる座標位置では、ゲインAやオフセットBの値も半分となる。
【0053】
次に上記式(F2)、(F3)を下記式(F2´)、(F3´)とした上で、両者を合わせて整理すると、下記式(F7)が導き出せる。
【0054】
【数5】
【0055】
さらに、上記式(F7)をA(x,y)について解くと、下記式(F8)となり、
図4に示すグラフのように表すことができる。
【0056】
【数6】
【0057】
つまり、光源の明るさL又は反射率R(x,y)の一方を固定して他方を変化させた場合には、オフセットB(x,y)が増減すると共に、該オフセットB(x,y)に比例してゲインA(x,y)も増減することとなる。かかる式(F8)により、ゲインA又はオフセットBの一方が分かれば、他方を求めることができる。ここで、比例定数Kは、光源の明るさLや反射率Rとは無関係に、格子の透過率Gにより定まる。つまり、下記の手段8,9のように換言することができる。
【0058】
手段8.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする手段7に記載の三次元計測装置。
【0059】
ゲインAとオフセットBとが相互に一義的に定まる関係であれば、例えばゲインAとオフセットBとの関係を表した数表やテーブルデータを作成することにより、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。
【0060】
手段9.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする手段7に記載の三次元計測装置。
【0061】
ゲインとオフセットとが比例関係であれば、例えばA=K×B+C〔但し、C:カメラの暗電流(オフセット)〕のような関係式で表すことができ、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。ひいては下記の手段10のような構成とすることができる。
【0062】
手段10.前記2通りの画像に係る光パターンの相対位相関係をそれぞれ0、γとしたときの該2通りの画像の各画素の輝度値をそれぞれV
0、V
1とした場合に、
前記画像処理手段は、
下記式(1)、(2)、(3)の関係を満たす位相θを求め、該位相θに基づき三次元計測を行うことを特徴とする手段7乃至9のいずれかに記載の三次元計測装置。
【0063】
V
0=Asinθ+B ・・・(1)
V
1=Asin(θ+γ)+B ・・・(2)
A=KB ・・・(3)
但し、γ≠0、A:ゲイン、B:オフセット、K:比例定数。
【0064】
上記手段10によれば、上記式(3)を上記式(1)に代入することにより、下記式(4)を導き出すことができる。
【0065】
V
0=KBsinθ+B ・・・(4)
これをオフセットBについて解くと、下記式(5)を導き出すことができる。
【0066】
B=V
0/(Ksinθ+1) ・・・(5)
また、上記式(3)を上記式(2)に代入することにより、下記式(6)を導き出すことができる。
【0067】
V
1=KBsin(θ+γ)+B ・・・(6)
上記式(6)を上記式(5)に代入し、下記[数7]に示すように整理していくと、下記式(7)を導き出すことができる。
【0068】
【数7】
【0069】
ここで、「V
0cosγ−V
1=a」、「V
0sinγ=b」、「(V
0−V
1)/K=c」と置くと、上記式(7)は下記式(8)のように表すことができる。
【0070】
asinθ+bcosθ+c=0 ・・・(8)
ここで、下記[数8]に示すように、上記式(8)を位相θについて解いていくと、下記[数9]に示す下記式(9)を導き出すことができる。
【0071】
【数8】
【0072】
【数9】
【0073】
従って、上記手段10における『下記式(1)、(2)、(3)の関係を満たす位相θを求め、該位相θに基づき三次元計測を行うこと』とあるのは、『下記式(9)に基づき位相θを求め、該位相θに基づき三次元計測を行うこと』と換言することができる。勿論、位相θを得るアルゴリズムは、上記式(9)に限定されるものではなく、上記式(1)、(2)、(3)の関係を満たすものであれば、他の構成を採用してもよい。
【0074】
尚、上述したカメラの暗電流C等を考慮すれば、計測精度のさらなる向上を図ることができる。
【0075】
手段11.γ=180°としたことを特徴とする手段10に記載の三次元計測装置。
【0076】
上記手段11によれば、位相が180°異なる2通りの光パターンの下でそれぞれ撮像した2通りの画像を基に三次元計測を行うこととなる。
【0077】
上記式(2)においてγ=180°とすることで下記式(10)が導き出される。
【0078】
V
1=Asin(θ+180°)+B
=−Asinθ+B ・・・(10)
そして、上記式(1),(10)から下記式(11)を導き出すことができ、これをオフセットBについて解くと、下記式(12)を導き出すことができる。
【0079】
V
0+V
1=2B ・・・(11)
B=(V
0+V
1)/2 ・・・(12)
さらに、上記式(12)を上記式(3)に代入することにより、下記式(13)を導き出すことができる。
【0080】
A=KB
=K(V
0+V
1)/2 ・・・(13)
また、上記式(1)を「sinθ」について整理すると、下記式(1´)のようになる。
【0081】
sinθ=(V
0−B)/A ・・・(1´)
そして、上記式(1´)に、上記式(12),(13)を代入することにより、下記式(14)を導き出すことができる。
【0082】
sinθ={V
0−(V
0+V
1)/2}/{K(V
0+V
1)/2}
=(V
0−V
1)/K(V
0+V
1) ・・・(14)
ここで、上記式(14)を位相θについて解くと、下記式(15)を導き出すことができる。
【0083】
θ=sin
-1[(V
0−V
1)/K(V
0+V
1)] ・・・(15)
つまり、位相θは、既知の輝度値V
0,V
1及び定数Kにより特定することができる。
【0084】
このように、上記手段11によれば、比較的簡単な演算式に基づいて位相θを求めることができ、計測対象の三次元計測を行うに際し、さらなる処理の高速化が可能となる。
【0085】
手段12.γ=90°としたことを特徴とする手段10に記載の三次元計測装置。
【0086】
上記手段12によれば、位相が90°異なる2通りの光パターンの下でそれぞれ撮像した2通りの画像を基に三次元計測を行うこととなる。
【0087】
上記式(2)においてγ=90°とすることで下記式(16)が導き出される。
【0088】
V
1=Asin(θ+90°)+B
=Acosθ+B ・・・(16)
上記式(16)を「cosθ」について整理すると、下記式(17)のようになる。
【0089】
cosθ=(V
1−B)/A ・・・(17)
また、上記式(1)を「sinθ」について整理すると、上述したように下記式(1´)のようになる。
【0090】
sinθ=(V
0−B)/A ・・・(1´)
次に上記式(1´)、(17)を下記式(18)に代入すると下記式(19)のようになり、さらにこれを整理することで、下記式(20)が導き出される。
【0091】
sin
2θ+cos
2θ=1 ・・・(18)
{(V
0−B)/A}
2+{(V
1−B)/A}
2=1 ・・・(19)
(V
0−B)
2+(V
1−B)
2=A
2 ・・・(20)
そして、上記式(20)に対し上記式(3)を代入すると下記式(21)のようになり、さらにこれを整理することで、下記式(22)が導き出される。
【0092】
(V
0−B)
2+(V
1−B)
2=K
2B
2 ・・・(21)
(2−K
2)B
2−2(V
0+V
1)B+V
02V
12=0 ・・・(22)
ここで、上記式(22)をオフセットBについて解くと、下記式(23)を導き出すことができる。
【0093】
【数10】
【0094】
つまり、オフセットBは、既知の輝度値V
0,V
1及び定数Kにより特定することができる。
【0095】
また、下記式(24)に上記式(1´)、(17)を代入すると下記式(25)のようになり、さらにこれを整理することで、下記式(26)が導き出される。
【0096】
tanθ=sinθ/cosθ ・・・(24)
={(V
0−B)/A}/{(V
1−B)/A} ・・・(25)
=(V
0−B)/(V
1−B) ・・・(26)
そして、上記式(26)を位相θについて解くと、下記式(27)を導き出すことができる。
【0097】
θ=tan
-1{(V
0−B)/(V
1−B)} ・・(27)
つまり、位相θは、上記式(23)を用いることにより、既知の輝度値V
0,V
1及び定数Kにより特定することができる。
【0098】
このように、上記手段12によれば、「tan
-1」を用いた演算式に基づいて位相θを求めることができるため、−180°〜180°の360°の範囲で三次元計測可能となり、計測レンジをより大きくすることができる。
【0099】
手段13.予め前記ゲイン及びオフセットの関係を把握する関係把握手段を備えていることを特徴とする手段7乃至12のいずれかに記載の三次元計測装置。
【0100】
関係把握手段としては、例えば予めキャリブレーションによりゲイン及びオフセットの関係を把握する構成が挙げられる。例えば基準板に対し3通り又は4通りに位相変化させた光パターンを照射し、これらの下でそれぞれ撮像した3通り又は4通りの画像に基づき各画素におけるゲインA及びオフセットBを特定し、上記式(3)から定数Kを決定しておく。かかる構成によれば、各画素においてより精度の良い計測を行うことができる。
【0101】
また、関係把握手段としては、例えば別途行った計測時(実測時)に撮像した画像を基にゲイン及びオフセットの関係を把握する構成が挙げられる。かかる構成によれば、キャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。
【0102】
ここで、上記「別途行った計測時に撮像した画像」には、例えば4通り又は3通りに位相変化させた光パターンの下でそれぞれ撮像した4通り又は3通りの画像は勿論のこと、2通りに位相変化させた光パターンの下でそれぞれ撮像した2通りの画像も含まれる。
【0103】
尚、2通りに位相変化させた光パターンの下でそれぞれ撮像した2通りの画像を基にゲイン及びオフセットの関係を把握する場合には、例えば上記式(12)等を用いて画像の全画素についてオフセットBを求め、その中でオフセットBの値が一致する画素の輝度値Vを抽出し、そのヒストグラムを作成する。そして、そのヒストグラムから輝度値の最大値V
MAXと最小値V
MINを決定する。
【0104】
上述したとおり、輝度値の最大値V
MAXと最少値V
MINの平均値がオフセットBとなり、最大値V
MAXと最少値V
MINの差の半分がゲインAとなる。これを基に、上記式(3)から定数Kを決定することができる。
【0105】
手段14.前記計測対象は、前記被計測物としてのプリント基板に印刷されたクリーム半田であること、又は、前記被計測物としてのウエハ基板に形成された半田バンプであることを特徴とする手段1乃至13のいずれかに記載の三次元計測装置。
【0106】
上記手段14によれば、プリント基板に印刷されたクリーム半田、又は、ウエハ基板に形成された半田バンプの高さ計測等を行うことができる。ひいては、クリーム半田又は半田バンプの検査において、その計測値に基づいてクリーム半田又は半田バンプの良否判定を行うことができる。従って、かかる検査において、上記各手段の作用効果が奏されることとなり、精度よく良否判定を行うことができる。結果として、半田印刷検査装置又は半田バンプ検査装置における検査精度の向上を図ることができる。