【課題を解決するための手段】
【0018】
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0019】
手段1.所定の光を発する第1光源、及び、該第1光源からの光を縞状の光強度分布を有する第1光パターンに変換する第1格子を有し、該第1光パターンを第1位置から被計測物に対し照射可能な第1照射手段と、
前記第1格子の移送又は切替を制御し、前記第1照射手段から照射する前記第1光パターンの位相を第1所定数(例えば「3」又は「4」)通りに変化させる第1格子制御手段と、
所定の光を発する第2光源、及び、該第2光源からの光を縞状の光強度分布を有する第2光パターンに変換する第2格子を有し、該第2光パターンを前記第1位置とは異なる第2位置から被計測物に対し照射可能な第2照射手段と、
前記第2格子の移送又は切替を制御し、前記第2照射手段から照射する前記第2光パターンの位相を前記第1所定数通りよりも少ない第2所定数(例えば「2」又は「3」)通りに変化させる第2格子制御手段と、
前記第1光パターン又は第2光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
前記撮像手段により撮像された画像データを基に位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記第1所定数通りに位相変化させた前記第1光パターンを照射して行われる前記第1所定数回の撮像処理のうちの1回分である第1撮像処理、又は、前記第2所定数通りに位相変化させた前記第2光パターンを照射して行われる前記第2所定数回の撮像処理のうちの1回分である第2撮像処理のうちの一方の撮像処理を実行した後、該一方の撮像処理に係る前記第1格子又は前記第2格子の移送又は切替処理の完了を待つことなく(移送又は切替処理の開始前を含む)、前記両撮像処理のうちの他方の撮像処理を実行可能な構成であって、
前記画像処理手段は、
前記第1所定数回の第1撮像処理により取得した前記第1所定数通りの画像データを基に前記被計測物の三次元計測を実行可能な第1計測手段と、
前記第2所定数回の第2撮像処理により取得した前記第2所定数通りの画像データを基に、所定の撮像条件により定まるゲイン及びオフセットの関係と、前記画像データ上の各画素の輝度値から定まる該画素に係るゲイン又はオフセットの値とを利用して、前記被計測物の三次元計測を実行可能な第2計測手段と、
前記両光パターンのうちの一方の光パターン(例えば第1光パターン)の照射により計測可能な領域に関しては、前記両計測手段のうち該一方の光パターンに係る計測手段の計測結果(例えば第1計測手段の計測結果)を該領域に係る計測値として取得し、かつ、該一方の光パターンの照射により計測困難な領域(輝度の不足した領域あるいは適切な高さデータが得られない領域など)に関しては、前記両光パターンのうちの他方の光パターン(例えば第2光パターン)に係る計測手段の計測結果(例えば第2計測手段の計測結果)を該領域に係る計測値として取得する計測値取得手段とを備えていることを特徴とする三次元計測装置。
【0020】
上記手段1によれば、光パターンを2方向から照射することにより、被計測物に光パターンが照射されない影の部分が生じないようにすることができる。そして、両光パターンのうち、例えば第1光パターンの照射により計測可能な領域に関しては、該第1光パターンに係る第1計測手段の計測結果を該領域に係る計測値として取得する一方、該第1光パターンの照射により計測困難な領域に関しては、他方の第2光パターンに係る第2計測手段の計測結果を該領域に係る計測値として取得することにより、データの欠落部分のない計測データを取得することができる。結果として、計測精度の向上を図ることができる。
【0021】
さらに、本手段では、第1光パターンの下での1回分の第1撮像処理、又は、第2光パターンの下での1回分の第2撮像処理のうちの一方の撮像処理(例えば第1撮像処理)を実行した後、該一方の撮像処理に係る格子の移送等の完了を待つことなく、前記両撮像処理のうちの他方の撮像処理(例えば第2撮像処理)を実行可能な構成となっている。
【0022】
このように、一方の格子の移送等の完了を待つことなく、他方の格子の下での撮像、ひいては該撮像後の格子の移送等を行うことで、比較的長い時間を要する2つの格子の移送処理を一部で重複して行うことが可能となる。結果として、所定の計測対象範囲に係る全ての撮像処理(最後の撮像処理)が終了するまでに必要な時間を短縮することができる。
【0023】
加えて、本手段では、第2光パターンの照射に基づく計測を行う際には、所定の撮像条件により定まるゲインA及びオフセットBの関係〔例えばA=K(比例定数)×B〕と、画像データ上の各画素(x,y)の輝度値V(x,y)から定まる、該画素(x,y)に係るゲインA(x,y)又はオフセットB(x,y)の値とを利用して、被計測物の三次元計測を行う構成となっている。
【0024】
つまり、少なくとも2通りに位相変化させた第2光パターンの下で撮像された少なくとも2通りの画像データを取得しさえすれば、位相シフト法による三次元計測が可能となる。結果として、第2光パターンの下で撮像すべき画像数(撮像回数)が、第1光パターンの下で撮像すべき画像数より少なくて済む。
【0025】
例えば4通り(又は3通り)に位相変化させた第1光パターンの照射に基づき4通り(又は3通り)の画像を撮像すると共に、2通りに位相変化させた第2光パターンの照射に基づき2通りの画像を撮像する場合には、撮像回数が計6回(又は5回)となり、撮像時間が減少する。
【0026】
従って、従来技術に比べ、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、より高精度な計測をより短時間で実現することが可能となる。
【0027】
尚、光源から照射された光は、まず格子を通過する際に減衰され、次に被計測物にて反射する際に減衰され、最後に撮像手段においてA/D変換(アナログ−デジタル変換)される際に減衰された上で、画像データの各画素の輝度値として取得される。
【0028】
従って、撮像手段により撮像された画像データの各画素の輝度値は、光源の明るさ(輝度)、光源から照射された光が格子を通過する際の減衰率、光が被計測物にて反射する際の反射率、撮像手段においてA/D変換(アナログ−デジタル変換)される際の変換効率等を掛け合わせることにより表現することができる。
【0029】
例えば、光源(均一光)の明るさ:L
格子の透過率:G=αsinθ+β
α,βは任意の定数。
【0030】
被計測物上の座標 (x,y)における反射率:R(x,y)
撮像手段(撮像素子)の各画素の変換効率:E
被計測物上の座標(x,y)に対応する画像上の画素の輝度値:V(x,y)
被計測物上の座標(x,y)における光パターンのゲイン:A(x,y)
被計測物上の座標(x,y)における光パターンのオフセット:B(x,y)
とした場合には、下記式(F1)で表すことができる。
【0031】
【数1】
【0032】
ここで、ゲインA(x,y)は、「sinθ=1」の光による輝度値V(x,y)
MAXと、「sinθ=−1」の光による輝度値V(x,y)
MINとの差から表すことができるので、
例えば、格子がθ=0の時の透過率(=平均透過率):Gθ
=0
格子がθ=π/2の時の透過率(=最大透過率):Gθ
=π
/2
格子がθ=−π/2の時の透過率(=最小透過率):Gθ
=-π
/2
とした場合には、下記式(F2)で表すことができる。
【0033】
【数2】
【0034】
また、オフセットB(x,y)は、「sinθ=0」の光における輝度値V(x,y)であって、「sinθ=1」の光による輝度値V(x,y)
MAXと、「sinθ=−1」の光による輝度値V(x,y)
MINとの平均値であるので、下記式(F3)で表すことができる。
【0035】
【数3】
【0036】
つまり、輝度値の最大値V(x,y)
MAX、最小値V(x,y)
MIN、平均値V(x,y)
AVはそれぞれ下記式(F4)、(F5)、(F6)で表すことができ、
図4のグラフに示すような関係となる。
【0037】
【数4】
【0038】
図4から見てとれるように、所定の座標(x,y)における輝度値の最大値V(x,y)
MAXと輝度値の最少値V(x,y)
MINの平均値V(x,y)
AVがオフセットB(x,y)となり、該オフセットB(x,y)と最大値V(x,y)
MAXとの差、及び、該オフセットB(x,y)と最少値V(x,y)
MINとの差がそれぞれゲインA(x,y)となる。
【0039】
また、輝度値V(x,y)は、光源の明るさL又は反射率R(x,y)に比例して変化するため、例えば反射率Rが半分となる座標位置では、ゲインAやオフセットBの値も半分となる。
【0040】
次に上記式(F2)、(F3)を下記式(F2´)、(F3´)とした上で、両者を合わせて整理すると、下記式(F7)が導き出せる。
【0041】
【数5】
【0042】
さらに、上記式(F7)をA(x,y)について解くと、下記式(F8)となり、
図5に示すグラフのように表すことができる。
【0043】
【数6】
【0044】
つまり、光源の明るさL又は反射率R(x,y)の一方を固定して他方を変化させた場合には、オフセットB(x,y)が増減すると共に、該オフセットB(x,y)に比例してゲインA(x,y)も増減することとなる。かかる式(F8)により、ゲインA又はオフセットBの一方が分かれば、他方を求めることができる。ここで、比例定数Kは、光源の明るさLや反射率Rとは無関係に、格子の透過率Gにより定まる。つまり、下記の手段2,3のように換言することができる。
【0045】
尚、上記特許文献1に記載されているように、互いに波長成分(RGB成分)の異なる2つの光パターンを同時に照射し、これらが照射された被計測物からの反射光を各光成分毎に分離して撮像可能な構成とすれば、第1撮像処理と第2撮像処理とを同時に行うことができ、計測時間をさらに短縮することは可能となるが、かかる構成では、上記各光成分毎に分離して撮像可能なカメラとして、例えば各波長域に対応する複数のダイクロイックミラー及び撮像部を備えたカラーカメラや、各画素毎に撮像可能な波長域が異なる単板式カラーカメラ等を用いる必要があり、計測装置が非常に高価になるおそれがある。また、RGB各成分の光パターンごとに被計測物での反射率などが異なるため、被計測物の色の種類によっては、各光パターンによって計測精度が異なってくるおそれがある。
【0046】
手段2.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする手段1に記載の三次元計測装置。
【0047】
ゲインAとオフセットBとが相互に一義的に定まる関係であれば、例えばゲインAとオフセットBとの関係を表した数表やテーブルデータを作成することにより、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。
【0048】
手段3.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする手段1に記載の三次元計測装置。
【0049】
ゲインとオフセットとが比例関係であれば、例えばA=K×B+C〔但し、C:カメラの暗電流(オフセット)〕のような関係式で表すことができ、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。ひいては下記の手段4のような構成とすることができる。
【0050】
手段4.前記第2所定数が2の場合において、
2通りに位相変化させた前記第2光パターンの相対位相関係をそれぞれ0、γとしたときの2通りの画像データの各画素の輝度値をそれぞれV
0、V
1とした場合に、
前記第2計測手段は、三次元計測を行うに際し、
下記式(1)、(2)、(3)の関係を満たす位相θを算出することを特徴とする手段1乃至3のいずれかに記載の三次元計測装置。
【0051】
V
0=Asinθ+B ・・・(1)
V
1=Asin(θ+γ)+B ・・・(2)
A=KB ・・・(3)
但し、γ≠0、A:ゲイン、B:オフセット、K:比例定数。
【0052】
上記手段4によれば、上記式(3)を上記式(1)に代入することにより、下記式(4)を導き出すことができる。
【0053】
V
0=KBsinθ+B ・・・(4)
これをオフセットBについて解くと、下記式(5)を導き出すことができる。
【0054】
B=V
0/(Ksinθ+1) ・・・(5)
また、上記式(3)を上記式(2)に代入することにより、下記式(6)を導き出すことができる。
【0055】
V
1=KBsin(θ+γ)+B ・・・(6)
上記式(6)を上記式(5)に代入し、下記[数7]に示すように整理していくと、下記式(7)を導き出すことができる。
【0056】
【数7】
【0057】
ここで、「V
0cosγ−V
1=a」、「V
0sinγ=b」、「(V
0−V
1)/K=c」と置くと、上記式(7)は下記式(8)のように表すことができる。
【0058】
asinθ+bcosθ+c=0 ・・・(8)
ここで、下記[数8]に示すように、上記式(8)を位相θについて解いていくと、下記[数9]に示す下記式(9)を導き出すことができる。
【0059】
【数8】
【0060】
【数9】
【0061】
従って、上記手段4における『下記式(1)、(2)、(3)の関係を満たす位相θを算出すること』とあるのは、『下記式(9)に基づき位相θを算出すること』と換言することができる。勿論、位相θを得るアルゴリズムは、上記式(9)に限定されるものではなく、上記式(1)、(2)、(3)の関係を満たすものであれば、他の構成を採用してもよい。
【0062】
尚、上述したカメラの暗電流C等を考慮すれば、計測精度のさらなる向上を図ることができる。
【0063】
手段5.γ=180°としたことを特徴とする手段4に記載の三次元計測装置。
【0064】
上記手段5によれば、位相が180°異なる2通りの第2光パターンの下で2回の撮像を行うこととなる。
【0065】
上記式(2)においてγ=180°とすることで下記式(10)が導き出される。
【0066】
V
1=Asin(θ+180°)+B
=−Asinθ+B ・・・(10)
そして、上記式(1),(10)から下記式(11)を導き出すことができ、これをオフセットBについて解くと、下記式(12)を導き出すことができる。
【0067】
V
0+V
1=2B ・・・(11)
B=(V
0+V
1)/2 ・・・(12)
さらに、上記式(12)を上記式(3)に代入することにより、下記式(13)を導き出すことができる。
【0068】
A=KB
=K(V
0+V
1)/2 ・・・(13)
また、上記式(1)を「sinθ」について整理すると、下記式(1´)のようになる。
【0069】
sinθ=(V
0−B)/A ・・・(1´)
そして、上記式(1´)に、上記式(12),(13)を代入することにより、下記式(14)を導き出すことができる。
【0070】
sinθ={V
0−(V
0+V
1)/2}/{K(V
0+V
1)/2}
=(V
0−V
1)/K(V
0+V
1) ・・・(14)
ここで、上記式(14)を位相θについて解くと、下記式(15)を導き出すことができる。
【0071】
θ=sin
-1[(V
0−V
1)/K(V
0+V
1)] ・・・(15)
つまり、位相θは、既知の輝度値V
0,V
1及び定数Kにより特定することができる。
【0072】
このように、上記手段5によれば、比較的簡単な演算式に基づいて位相θを求めることができ、被計測物の三次元計測を行うに際し、さらなる処理の高速化が可能となる。
【0073】
手段6.γ=90°としたことを特徴とする手段4に記載の三次元計測装置。
【0074】
上記手段6によれば、位相が90°異なる2通りの第2光パターンの下で2回の撮像を行うこととなる。
【0075】
上記式(2)においてγ=90°とすることで下記式(16)が導き出される。
【0076】
V
1=Asin(θ+90°)+B
=Acosθ+B ・・・(16)
上記式(16)を「cosθ」について整理すると、下記式(17)のようになる。
【0077】
cosθ=(V
1−B)/A ・・・(17)
また、上記式(1)を「sinθ」について整理すると、上述したように下記式(1´)のようになる。
【0078】
sinθ=(V
0−B)/A ・・・(1´)
次に上記式(1´)、(17)を下記式(18)に代入すると下記式(19)のようになり、さらにこれを整理することで、下記式(20)が導き出される。
【0079】
sin
2θ+cos
2θ=1 ・・・(18)
{(V
0−B)/A}
2+{(V
1−B)/A}
2=1 ・・・(19)
(V
0−B)
2+(V
1−B)
2=A
2 ・・・(20)
そして、上記式(20)に対し上記式(3)を代入すると下記式(21)のようになり、さらにこれを整理することで、下記式(22)が導き出される。
【0080】
(V
0−B)
2+(V
1−B)
2=K
2B
2 ・・・(21)
(2−K
2)B
2−2(V
0+V
1)B+V
02V
12=0 ・・・(22)
ここで、上記式(22)をオフセットBについて解くと、下記式(23)を導き出すことができる。
【0081】
【数10】
【0082】
つまり、オフセットBは、既知の輝度値V
0,V
1及び定数Kにより特定することができる。
【0083】
また、下記式(24)に上記式(1´)、(17)を代入すると下記式(25)のようになり、さらにこれを整理することで、下記式(26)が導き出される。
【0084】
tanθ=sinθ/cosθ ・・・(24)
={(V
0−B)/A}/{(V
1−B)/A} ・・・(25)
=(V
0−B)/(V
1−B) ・・・(26)
そして、上記式(26)を位相θについて解くと、下記式(27)を導き出すことができる。
【0085】
θ=tan
-1{(V
0−B)/(V
1−B)} ・・(27)
つまり、位相θは、上記式(23)を用いることにより、既知の輝度値V
0,V
1及び定数Kにより特定することができる。
【0086】
このように、上記手段6によれば、「tan
-1」を用いた演算式に基づいて位相θを求めることができるため、−180°〜180°の360°の範囲で高さ計測可能となり、計測レンジをより大きくすることができる。
【0087】
手段7.予めキャリブレーションにより算出した前記ゲイン及びオフセットの関係を記憶する記憶手段を備えていることを特徴とする手段1乃至6のいずれかに記載の三次元計測装置。
【0088】
例えば基準板に対し3通り又は4通りに位相変化させた光パターンを照射し、これらの下で撮像した3通り又は4通りの画像データに基づき各画素におけるゲインA及びオフセットBを特定し、上記式(3)から定数Kを決定しておく。これにより、上記手段7によれば、各画素においてより精度の良い高さ計測を行うことができる。
【0089】
手段8.前記第1所定数回の第1撮像処理により取得した前記第1所定数通りの画像データを基に、前記ゲイン及びオフセットの関係を把握する関係把握手段を備えたことを特徴とする手段1乃至6のいずれかに記載の三次元計測装置。
【0090】
上記手段8によれば、上記手段7と同様の作用効果が奏される。上述したとおり、ゲインA及びオフセットBの関係(比例定数K)は、光源の明るさLや反射率Rとは無関係に、格子の透過率Gにより定まる。そのため、第1格子と第2格子が同一のものであれば、第1照射手段に係るゲイン及びオフセットの関係と、第2照射手段に係るゲイン及びオフセットの関係は同じものとなる。これを利用することにより、上記手段7のようなキャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。
【0091】
手段9.前記第2所定数回の第2撮像処理により取得した前記第2所定数通りの画像データを基に、前記ゲイン及びオフセットの関係を把握する関係把握手段を備えたことを特徴とする手段1乃至6のいずれかに記載の三次元計測装置。
【0092】
例えば上記式(12)等を用いて画像データの全画素についてオフセットBを求め、その中でオフセットBの値が一致する画素の輝度値Vを抽出し、そのヒストグラムを作成する。そして、そのヒストグラムから輝度値の最大値V
MAXと最小値V
MINを決定する。
【0093】
上述したとおり、輝度値の最大値V
MAXと最少値V
MINの平均値がオフセットBとなり、最大値V
MAXと最少値V
MINの差の半分がゲインAとなる。これを基に、上記式(3)から定数Kを決定することができる。これにより、上記手段9によれば、上記手段7のようなキャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。
【0094】
手段10.前記計測値取得手段は、前記第1光パターンの照射により計測可能な領域に関しては、前記第1計測手段の計測結果を該領域に係る計測値として取得し、かつ、該第1光パターンの照射により計測困難な領域に関しては、他方の第2光パターンに係る第2計測手段の計測結果を該領域に係る計測値として取得することを特徴とする手段1乃至9のいずれかに記載の三次元計測装置。
【0095】
第1撮像処理の実行回数は、第2撮像処理の実行回数よりも多く、これに基づく第1計測手段の計測結果は、第2計測手段の計測よりも計測精度が高くなる。これを踏まえ、上記手段10によれば、計測精度の高い第1計測手段の計測結果を主として用いる一方、一部のデータ欠落部分に関しては、第2計測手段の計測結果を用いることで、全体としては計測精度が高くかつデータの欠落部分が少ない計測データを取得することができる。
【0096】
手段11.前記第1撮像処理の終了と同時に、該第1撮像処理に係る前記第1格子の移送又は切替処理を開始可能とすると共に、
前記第1格子の移送又は切替処理の終了と同時に、前記第1撮像処理を開始可能とし、
前記第1格子の移送又は切替処理の実行中に、前記第2撮像処理を実行可能に構成されていることを特徴とする手段1乃至10のいずれかに記載の三次元計測装置。
【0097】
上記手段11によれば、所定の計測対象範囲に係る全ての第1撮像処理を最短で終了することができる。また、第2撮像処理の実行回数は第1撮像処理の実行回数よりも少ないため、第1格子の移送又は切替処理の実行中(第1撮像処理と第1撮像処理との間)に第2撮像処理を実行する構成とすることにより、所定の計測対象範囲に係る全ての第1撮像処理が終了するまでの間に、全ての第2撮像処理も終了させることができる。結果として、上記手段1等の作用効果をさらに高め、計測時間のさらなる短縮化を図ることができる。
【0098】
手段12.少なくとも前記第2格子の移送又は切替処理を、前記第1格子の移送又は切替処理と同時に行うことを特徴とする手段1乃至11のいずれかに記載の三次元計測装置。
【0099】
仮に両照射手段のうちの一方の照射手段の格子を移送等する間に、他方の照射手段から光パターンを照射して撮像を行う構成となっている場合には、アクチュエータ等により格子を移送する際の機械的振動や、格子を構成する液晶シャッタ等を切替制御する際に発生し得る電気的ノイズの影響を受け、計測誤差等が生じるおそれもある。
【0100】
これに対し、本手段12によれば、第1撮像処理の実行中に、第2照射手段の第2格子の移送等が行われないため、第1計測手段に係る計測精度の低下抑制を図ることができる。
【0101】
尚、上記手段12の構成の下では、第1照射手段の第1格子の移送又は切替処理中に第2撮像処理が行われ得るが、上述したように、第2計測手段による計測は、もともと第1計測手段による計測よりも計測精度が低いことから、仮に上記計測誤差等が発生した場合でも、計測結果に与える影響は、第1計測手段の計測結果に与える影響よりも小さくなる。
【0102】
特に、上記手段10,11の構成の下では、第2計測手段の計測結果が、第1計測手段の計測結果のデータ欠落部分を補完する補完データとなるため、計測精度が低下しても、計測データ全体に与える影響は極めて小さい。
【0103】
手段13.前記被計測物が、プリント基板に印刷されたクリーム半田、又は、ウエハ基板に形成された半田バンプであることを特徴とする手段1乃至12のいずれかに記載の三次元計測装置。
【0104】
上記手段13によれば、プリント基板に印刷されたクリーム半田、又は、ウエハ基板に形成された半田バンプの高さ計測等を行うことができる。ひいては、クリーム半田又は半田バンプの検査において、その計測値に基づいてクリーム半田又は半田バンプの良否判定を行うことができる。従って、かかる検査において、上記各手段の作用効果が奏されることとなり、精度よく良否判定を行うことができる。結果として、半田印刷検査装置又は半田バンプ検査装置における検査精度の向上を図ることができる。