特許第6126640号(P6126640)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ CKD株式会社の特許一覧

<>
  • 特許6126640-三次元計測装置及び三次元計測方法 図000018
  • 特許6126640-三次元計測装置及び三次元計測方法 図000019
  • 特許6126640-三次元計測装置及び三次元計測方法 図000020
  • 特許6126640-三次元計測装置及び三次元計測方法 図000021
  • 特許6126640-三次元計測装置及び三次元計測方法 図000022
  • 特許6126640-三次元計測装置及び三次元計測方法 図000023
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6126640
(24)【登録日】2017年4月14日
(45)【発行日】2017年5月10日
(54)【発明の名称】三次元計測装置及び三次元計測方法
(51)【国際特許分類】
   G01B 11/25 20060101AFI20170424BHJP
   G01B 11/00 20060101ALI20170424BHJP
【FI】
   G01B11/25 H
   G01B11/00 H
【請求項の数】8
【全頁数】20
(21)【出願番号】特願2015-96469(P2015-96469)
(22)【出願日】2015年5月11日
(65)【公開番号】特開2016-211986(P2016-211986A)
(43)【公開日】2016年12月15日
【審査請求日】2016年12月2日
【早期審査対象出願】
(73)【特許権者】
【識別番号】000106760
【氏名又は名称】CKD株式会社
(74)【代理人】
【識別番号】100111095
【弁理士】
【氏名又は名称】川口 光男
(72)【発明者】
【氏名】大山 剛
(72)【発明者】
【氏名】坂井田 憲彦
(72)【発明者】
【氏名】二村 伊久雄
【審査官】 眞岩 久恵
(56)【参考文献】
【文献】 特開2013−124938(JP,A)
【文献】 特開2012−053015(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00−11/30
(57)【特許請求の範囲】
【請求項1】
所定の光を発する光源、及び、当該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、当該光パターンを少なくとも被計測物に対し照射可能な照射手段と、
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
前記撮像手段により撮像された画像データを基に前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係と、
前記画像データ上の被計測座標の輝度値から定まる、該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用することにより、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を実行可能とし
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする三次元計測装置。
【請求項2】
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする請求項1に記載の三次元計測装置。
【請求項3】
前記2通りに位相変化させた光パターンの相対位相関係をそれぞれ0、γとしたときの前記2通りの画像データの各画素の輝度値をそれぞれV0、V1とした場合に、
前記画像処理手段は、
下記式(1)、(2)、(3)の関係を満たす位相角θを求め、該位相角θに基づき前記高さ計測を行うことを特徴とする請求項1又は2に記載の三次元計測装置。
0=Asinθ+B ・・・(1)
1=Asin(θ+γ)+B ・・・(2)
A=KB ・・・(3)
但し、γ≠0、A:ゲイン、B:オフセット、K:比例定数。
【請求項4】
γ=180°としたことを特徴とする請求項に記載の三次元計測装置。
【請求項5】
γ=90°としたことを特徴とする請求項に記載の三次元計測装置。
【請求項6】
予めキャリブレーション又は別途行った計測結果により算出した前記光パターンのゲイン及びオフセットの関係を記憶する記憶手段を備えていることを特徴とする請求項1乃至のいずれかに記載の三次元計測装置。
【請求項7】
前記光パターンのゲイン及びオフセットの関係を、前記2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に求めることを特徴とする請求項1乃至のいずれかに記載の三次元計測装置。
【請求項8】
所定の光を発する光源、及び、当該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、当該光パターンを少なくとも被計測物に対し照射可能な照射手段と、
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段とを備えた三次元計測装置によって行われる三次元計測方法であって、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係を予めキャリブレーション又は別途行った計測結果により求める関係取得工程と、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを取得する画像取得工程と、
前記関係取得工程において求めた前記光パターンのゲイン及びオフセットの関係と、前記画像データ上の被計測座標の輝度値から定まる該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用して、前記2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を行う計測工程とを備え
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であるたことを特徴とする三次元計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位相シフト法を利用して高さ計測を行う三次元計測装置及び三次元計測方法に関するものである。
【背景技術】
【0002】
一般に、プリント基板上に電子部品を実装する場合、まずプリント基板上に配設された所定の電極パターン上にクリームハンダが印刷される。次に、該クリームハンダの粘性に基づいてプリント基板上に電子部品が仮止めされる。その後、前記プリント基板がリフロー炉へ導かれ、所定のリフロー工程を経ることでハンダ付けが行われる。昨今では、リフロー炉に導かれる前段階においてクリームハンダの印刷状態を検査する必要があり、かかる検査に際して三次元計測装置が用いられることがある。
【0003】
近年、光を用いたいわゆる非接触式の三次元計測装置が種々提案されており、例えば位相シフト法を用いた三次元計測装置に関する技術が提案されている。
【0004】
当該位相シフト法を利用した三次元計測装置においては、所定の光を発する光源と、当該光源からの光を正弦波状(縞状)の光強度分布を有する光パターンに変換する格子との組み合わせからなる照射手段により、光パターンを被計測物(この場合プリント基板)に照射する。そして、基板上の点を真上に配置した撮像手段を用いて観測する。撮像手段としては、レンズ及び撮像素子等からなるCCDカメラ等が用いられる。
【0005】
上記構成の下、撮像手段により撮像された画像データ上の各画素の光の強度(輝度)Iは下式(T1)で与えられる。
【0006】
I=f・sinφ+e ・・(T1)
但し、f:ゲイン、e:オフセット、φ:その画素における正弦波の位相角。
【0007】
ここで、上記格子を切替制御することにより、光パターンの位相を例えば4段階(φ+0、φ+90°、φ+180°、φ+270°)に変化させ、これらに対応する強度分布I0、I1、I2、I3をもつ画像データを取り込み、下記式(T2)に基づいてf(ゲイン)とe(オフセット)をキャンセルし、位相角φを求める。
【0008】
φ=arctan{(I1−I3)/(I2−I0)} ・・(T2)
そして、この位相角φを用いて、三角測量の原理に基づき、プリント基板(クリームハンダ)上の被計測座標(X,Y)における高さ(Z)が算出される(例えば、特許文献1参照)。
【0009】
例えば、被計測座標(X,Y)における高さ(Z)が「0」の場合、当該座標(X,Y)に照射されるパターン光の位相角φは「0°」となり、所定の高さを有する場合には位相角φが「10°」となるといったように、当該座標(X,Y)に係る位相角φは、その高さにより変化する。
【0010】
これに対し、近年では、光パターンの位相を3段階に変化させ、3通りの画像データから位相角φを取得する技術も提案されている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開平5−280945号公報
【特許文献2】特開2002−81924号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、従来の三次元計測装置においては、位相を4段階又は3段階に変化させ、これらに対応する強度分布をもつ4通り又は3通りの画像を撮像する必要がある。つまり、1つのポイントに関し撮像を4回又は3回行う必要があるため、撮像に時間を要し、計測時間が長くなるおそれがある。そのため、計測時間のさらなる短縮化が求められていた。
【0013】
尚、上記課題は、必ずしもプリント基板上に印刷されたクリームハンダ等の高さ計測に限らず、他の三次元計測装置の分野においても内在するものである。
【0014】
本発明は、上記事情に鑑みてなされたものであり、その目的は、位相シフト法を利用して高さ計測を行うにあたり、計測時間の短縮化を図ることのできる三次元計測装置及び三次元計測方法を提供することにある。
【課題を解決するための手段】
【0015】
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0016】
手段1.所定の光を発する光源、及び、当該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、当該光パターンを少なくとも被計測物に対し照射可能な照射手段と、
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
前記撮像手段により撮像された画像データを基に前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係と、
前記画像データ上の被計測座標の輝度値から定まる、該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用することにより、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を実行可能とし
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする三次元計測装置。
【0018】
このように、本手段では、2通りの画像データに基づいて被計測物の高さ計測を行うことができることから、1つのポイントに関し4回又は3回の撮像を必要とする従来技術に比べて、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、計測時間を飛躍的に短縮することができる。
【0019】
尚、光源から照射された光は、まず格子を通過する際に減衰され、次に被計測物にて反射する際に減衰され、最後に撮像手段においてA/D変換(アナログ−デジタル変換)される際に減衰された上で、画像データの各画素の輝度値として取得される。
【0020】
従って、撮像手段により撮像された画像データの各画素の輝度値は、光源の明るさ、光源から照射された光が格子を通過する際の減衰率、光が被計測物にて反射する際の反射率、撮像手段においてA/D変換(アナログ−デジタル変換)される際の変換効率等を掛け合わせることにより表現することができる。
【0021】
例えば、光源(均一光)の明るさ:L
格子の透過率:G=αsinθ+β
α,βは任意の定数。
【0022】
被計測物上の座標 (x,y)における反射率:R(x,y)
撮像手段(撮像素子)の各画素の変換効率:E
被計測物上の座標(x,y)に対応する画像上の画素の輝度値:V(x,y)
被計測物上の座標(x,y)における光パターンのゲイン:A(x,y)
被計測物上の座標(x,y)における光パターンのオフセット:B(x,y)
とした場合には、下記式(F1)で表すことができる。
【0023】
【数1】
【0024】
ここで、ゲインA(x,y)は、「sinθ=1」の光による輝度値V(x,y)MAXと、「sinθ=−1」の光による輝度値V(x,y)MINとの差から表すことができるので、
例えば、格子がθ=0の時の透過率(=平均透過率):Gθ=0
格子がθ=π/2の時の透過率(=最大透過率):Gθ=π/2
格子がθ=−π/2の時の透過率(=最小透過率):Gθ=-π/2
とした場合には、下記式(F2)で表すことができる。
【0025】
【数2】
【0026】
また、オフセットB(x,y)は、「sinθ=0」の光における輝度値V(x,y)であって、「sinθ=1」の光による輝度値V(x,y) MAXと、「sinθ=−1」の光による輝度値V(x,y) MINとの平均値であるので、下記式(F3)で表すことができる。
【0027】
【数3】
【0028】
つまり、輝度値の最大値V(x,y)MAX、最小値V(x,y)MIN、平均値V(x,y)AVはそれぞれ下記式(F4)、(F5)、(F6)で表すことができ、図3のグラフに示すような関係となる。
【0029】
【数4】
【0030】
図3から見てとれるように、所定の座標(x,y)における輝度値の最大値V(x,y)MAXと輝度値の最少値V(x,y)MINの平均値V(x,y)AVがオフセットB(x,y)となり、該オフセットB(x,y)と最大値V(x,y)MAXとの差、及び、該オフセットB(x,y)と最少値V(x,y)MINとの差がそれぞれゲインA(x,y)となる。
【0031】
また、輝度値V(x,y)は、光源の明るさL又は反射率R(x,y)に比例して変化するため、例えば反射率Rが半分となる座標位置では、ゲインAやオフセットBの値も半分となる。
【0032】
次に上記式(F2)、(F3)を下記式(F2´)、(F3´)とした上で、両者を合わせて整理すると、下記式(F7)が導き出せる。
【0033】
【数5】
【0034】
さらに、上記式(F7)をA(x,y)について解くと、下記式(F8)となり、図4に示すグラフのように表すことができる。
【0035】
【数6】
【0036】
つまり、光源の明るさL又は反射率R(x,y)の一方を固定して他方を変化させた場合には、オフセットB(x,y)が増減すると共に、該オフセットB(x,y)に比例してゲインA(x,y)も増減することとなる。かかる式(F8)により、ゲインA又はオフセットBの一方が分かれば、他方を求めることができる。ここで、比例定数Kは、光源の明るさLや反射率Rとは無関係に、格子の透過率Gにより定まる。つまり、下記の手段2,3のように換言することができる。
【0037】
手段2.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする手段1に記載の三次元計測装置。
【0038】
また、ゲインAとオフセットBとが相互に一義的に定まる関係であれば、例えばゲインAとオフセットBとの関係を表した数表やテーブルデータを作成することにより、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。
【0039】
手段.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする手段1に記載の三次元計測装置。
【0040】
ゲインとオフセットとが比例関係であれば、例えばA=K×B+C〔但し、C:カメラの暗電流(オフセット)〕のような関係式で表すことができ、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。ひいては下記の手段のような構成とすることができる。
【0041】
手段. 前記2通りに位相変化させた光パターンの相対位相関係をそれぞれ0、γとしたときの前記2通りの画像データの各画素の輝度値をそれぞれV0、V1とした場合に、
前記画像処理手段は、
下記式(1)、(2)、(3)の関係を満たす位相角θを求め、該位相角θに基づき前記高さ計測を行うことを特徴とする手段1又は2に記載の三次元計測装置。
【0042】
0=Asinθ+B ・・・(1)
1=Asin(θ+γ)+B ・・・(2)
A=KB ・・・(3)
但し、γ≠0、A:ゲイン、B:オフセット、K:比例定数。
【0043】
上記手段によれば、上記式(3)を上記式(1)に代入することにより、下記式(4)を導き出すことができる。
【0044】
0=KBsinθ+B ・・・(4)
これをオフセットBについて解くと、下記式(5)を導き出すことができる。
【0045】
B=V0/(Ksinθ+1) ・・・(5)
また、上記式(3)を上記式(2)に代入することにより、下記式(6)を導き出すことができる。
【0046】
1=KBsin(θ+γ)+B ・・・(6)
上記式(6)を上記式(5)に代入し、下記[数7]に示すように整理していくと、下記式(7)を導き出すことができる。
【0047】
【数7】
【0048】
ここで、「V0cosγ−V1=a」、「V0sinγ=b」、「(V0−V1)/K=c」と置くと、上記式(7)は下記式(8)のように表すことができる。
【0049】
asinθ+bcosθ+c=0 ・・・(8)
ここで、下記[数8]に示すように、上記式(8)を位相角θについて解いていくと、下記[数9]に示す下記式(9)を導き出すことができる。
【0050】
【数8】
【0051】
【数9】
【0052】
従って、上記手段における『下記式(1)、(2)、(3)の関係を満たす位相角θを求め、該位相角θに基づき前記高さ計測を行うこと』とあるのは、『下記式(9)に基づき位相角θを求め、該位相角θに基づき前記高さ計測を行うこと』と換言することができる。勿論、位相角θを得るアルゴリズムは、上記式(9)に限定されるものではなく、上記式(1)、(2)、(3)の関係を満たすものであれば、他の構成を採用してもよい。
【0053】
尚、上述したカメラの暗電流C等を考慮すれば、計測精度のさらなる向上を図ることができる。
【0054】
手段.γ=180°としたことを特徴とする手段に記載の三次元計測装置。
【0055】
上記手段によれば、位相が180°異なる2通りの光パターンの下で2回の撮像を行うこととなる。
【0056】
上記式(2)においてγ=180°とすることで下記式(10)が導き出される。
【0057】
1=Asin(θ+180°)+B
=−Asinθ+B ・・・(10)
そして、上記式(1),(10)から下記式(11)を導き出すことができ、これをオフセットBについて解くと、下記式(12)を導き出すことができる。
【0058】
0+V1=2B ・・・(11)
B=(V0+V1)/2 ・・・(12)
さらに、上記式(12)を上記式(3)に代入することにより、下記式(13)を導き出すことができる。
【0059】
A=KB
=K(V0+V1)/2 ・・・(13)
また、上記式(1)を「sinθ」について整理すると、下記式(1´)のようになる。
【0060】
sinθ=(V0−B)/A ・・・(1´)
そして、上記式(1´)に、上記式(12),(13)を代入することにより、下記式(14)を導き出すことができる。
【0061】
sinθ={V0−(V0+V1)/2}/{K(V0+V1)/2}
=(V0−V1)/K(V0+V1) ・・・(14)
ここで、上記式(14)を位相角θについて解くと、下記式(15)を導き出すことができる。
【0062】
θ=sin-1[(V0−V1)/K(V0+V1)] ・・・(15)
つまり、位相角θは、既知の輝度値V0,V1及び定数Kにより特定することができる。
【0063】
このように、上記手段によれば、比較的簡単な演算式に基づいて位相角θを求めることができ、被計測物の高さ計測を行うに際し、さらなる処理の高速化が可能となる。
【0064】
手段.γ=90°としたことを特徴とする手段に記載の三次元計測装置。
【0065】
上記手段によれば、位相が90°異なる2通りの光パターンの下で2回の撮像を行うこととなる。
【0066】
上記式(2)においてγ=90°とすることで下記式(16)が導き出される。
【0067】
1=Asin(θ+90°)+B
=Acosθ+B ・・・(16)
上記式(16)を「cosθ」について整理すると、下記式(17)のようになる。
【0068】
cosθ=(V1−B)/A ・・・(17)
また、上記式(1)を「sinθ」について整理すると、上述したように下記式(1´)のようになる。
【0069】
sinθ=(V0−B)/A ・・・(1´)
次に上記式(1´)、(17)を下記式(18)に代入すると下記式(19)のようになり、さらにこれを整理することで、下記式(20)が導き出される。
【0070】
sin2θ+cos2θ=1 ・・・(18)
{(V0−B)/A}2+{(V1−B)/A}2=1 ・・・(19)
(V0−B)2+(V1−B)2=A2 ・・・(20)
そして、上記式(20)に対し上記式(3)を代入すると下記式(21)のようになり、さらにこれを整理することで、下記式(22)が導き出される。
【0071】
(V0−B)2+(V1−B)2=K22 ・・・(21)
(2−K2)B2−2(V0+V1)B+V0212=0 ・・・(22)
ここで、上記式(22)をオフセットBについて解くと、下記式(23)を導き出すことができる。
【0072】
【数10】
【0073】
つまり、オフセットBは、既知の輝度値V0,V1及び定数Kにより特定することができる。
【0074】
また、下記式(24)に上記式(1´)、(17)を代入すると下記式(25)のようになり、さらにこれを整理することで、下記式(26)が導き出される。
【0075】
tanθ=sinθ/cosθ ・・・(24)
={(V0−B)/A}/{(V1−B)/A} ・・・(25)
=(V0−B)/(V1−B) ・・・(26)
そして、上記式(26)を位相角θについて解くと、下記式(27)を導き出すことができる。
【0076】
θ=tan-1{(V0−B)/(V1−B)} ・・(27)
つまり、位相角θは、上記式(23)を用いることにより、既知の輝度値V0,V1及び定数Kにより特定することができる。
【0077】
このように、上記手段によれば、「tan-1」を用いた演算式に基づいて位相角θを求めることができるため、−180°〜180°の360°の範囲で高さ計測可能となり、計測レンジをより大きくすることができる。
【0078】
手段.予めキャリブレーション又は別途行った計測結果により算出した前記光パターンのゲイン及びオフセットの関係を記憶する記憶手段を備えていることを特徴とする手段1乃至のいずれかに記載の三次元計測装置。
【0079】
例えば基準板に対し3通り又は4通りに位相変化させた光パターンを照射し、これらの下で撮像した3通り又は4通りの画像データに基づき各画素におけるゲインA及びオフセットBを特定し、上記式(3)から定数Kを決定しておく。これにより、上記手段によれば、各画素においてより精度の良い高さ計測を行うことができる。
【0080】
手段.前記光パターンのゲイン及びオフセットの関係を、前記2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に求めることを特徴とする手段1乃至のいずれかに記載の三次元計測装置。
【0081】
例えば上記式(12)等を用いて画像データの全画素についてオフセットBを求め、その中でオフセットBの値が一致する画素の輝度値Vを抽出し、そのヒストグラムを作成する。そして、そのヒストグラムから輝度値の最大値VMAXと最小値VMINを決定する。
【0082】
上述したとおり、輝度値の最大値VMAXと最少値VMINの平均値がオフセットBとなり、最大値VMAXと最少値VMINの差の半分がゲインAとなる。これを基に、上記式(3)から定数Kを決定することができる。これにより、上記手段によれば、上記手段のようなキャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。
【0083】
手段.所定の光を発する光源、及び、当該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、当該光パターンを少なくとも被計測物に対し照射可能な照射手段と、
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段とを備えた三次元計測装置によって行われる三次元計測方法であって、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係を予めキャリブレーション又は別途行った計測結果により求める関係取得工程と、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを取得する画像取得工程と、
前記関係取得工程において求めた前記光パターンのゲイン及びオフセットの関係と、前記画像データ上の被計測座標の輝度値から定まる該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用して、前記2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を行う計測工程とを備え
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であるたことを特徴とする三次元計測方法。
【0084】
上記手段によれば、上記手段1及び手段と同様の作用効果が奏される。
【図面の簡単な説明】
【0085】
図1】基板検査装置を模式的に示す概略構成図である。
図2】基板検査装置の電気的構成を示すブロック図である。
図3】光源の明るさ又は反射率と輝度値との関係を示すグラフである。
図4】ゲインとオフセットの関係を示すグラフである。
図5】各データ区間に含まれる輝度値の数の分布を表した分布表である。
図6】各データ区間に含まれる輝度値の数の分布を表したヒストグラムである。
【発明を実施するための形態】
【0086】
〔第1実施形態〕
以下、一実施形態について図面を参照しつつ説明する。図1は、本実施形態における三次元計測装置を具備する基板検査装置1を模式的に示す概略構成図である。同図に示すように、基板検査装置1は、計測対象たるクリームハンダが印刷されてなる被計測物としてのプリント基板2を載置するための載置台3と、プリント基板2の表面に対し斜め上方から所定の光パターンを照射する照射手段としての照明装置4と、プリント基板2上の光パターンの照射された部分を撮像するための撮像手段としてのカメラ5と、基板検査装置1内における各種制御や画像処理、演算処理を実施するための制御装置6とを備えている。
【0087】
載置台3には、モータ15,16が設けられており、該モータ15,16が制御装置6(モータ制御手段23)により駆動制御されることによって、載置台3上に載置されたプリント基板2が任意の方向(X軸方向及びY軸方向)へスライドさせられるようになっている。
【0088】
照明装置4は、所定の光を発する光源4aと、当該光源4aからの光を正弦波状(縞状)の光強度分布を有する光パターンに変換する液晶格子4bとを備えており、プリント基板2に対し、斜め上方から複数通りに位相変化する縞状の光パターンを照射可能となっている。
【0089】
より詳しくは、照明装置4において、光源4aから発せられた光は光ファイバーにより一対の集光レンズに導かれ、そこで平行光にされる。その平行光が、液晶格子4bを介して投影レンズに導かれる。そして、投影レンズからプリント基板2に対し縞状の光パターンが照射される。
【0090】
液晶格子4bは、一対の透明基板間に液晶層が形成されると共に、一方の透明基板上に配置された共通電極と、これと対向するように他方の透明基板上に複数並設された帯状電極とを備え、駆動回路により、各帯状電極にそれぞれ接続されたスイッチング素子(薄膜トランジスタ等)をオンオフ制御し、各帯状電極に印加される電圧を制御することにより、光透過率の高い「明部」と、光透過率の低い「暗部」とからなる縞状の格子パターンを形成する。そして、液晶格子4bを介してプリント基板2上に照射される光は、回折作用に起因したボケ等により、正弦波状の光強度分布を有する光パターンとなる。
【0091】
カメラ5は、レンズや撮像素子等からなる。撮像素子としては、CMOSセンサを採用している。勿論、撮像素子はこれに限定されるものではなく、例えばCCDセンサ等を採用してもよい。カメラ5によって撮像された画像データは、当該カメラ5内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置6(画像データ記憶手段24)に入力される。そして、制御装置6は、当該画像データを基に、後述するような画像処理や検査処理等を実施する。かかる意味で、制御装置6は画像処理手段を構成する。
【0092】
次に、制御装置6の電気的構成について説明する。図2に示すように、制御装置6は、カメラ5の撮像タイミングを制御するカメラ制御手段21と、照明装置4を制御する照明制御手段22と、モータ15,16を制御するモータ制御手段23と、カメラ5により撮像された画像データ(輝度データ)を記憶する画像データ記憶手段24と、後述するキャリブレーションデータを記憶するキャリブレーションデータ記憶手段25と、前記画像データを基に算出された位相データを記憶する位相データ記憶手段26と、前記キャリブレーションデータ及び位相データを基に三次元計測を行う三次元計測手段29と、当該三次元計測手段29の計測結果を基にクリームハンダ4の印刷状態を検査する判定手段30とを備えている。照明装置4(液晶格子4b)を制御する照明制御手段22により本実施形態における位相制御手段が構成される。
【0093】
なお、図示は省略するが、基板検査装置1は、キーボードやタッチパネルで構成される入力手段、CRTや液晶などの表示画面を有する表示手段、検査結果等を格納するための記憶手段、ハンダ印刷機等に対し検査結果等を出力する出力手段等を備えている。
【0094】
次に、基板検査装置1よるプリント基板2の検査手順について詳しく説明する。はじめに、光パターンのばらつき(位相分布)を把握するためのキャリブレーションを行う。
【0095】
液晶格子4bでは、各帯状電極に接続された各トランジスタの特性(オフセットやゲイン等)のばらつきにより、上記各帯状電極に印加される電圧にもばらつきが生じるため、同じ「明部」や「暗部」であっても、各帯状電極に対応する各ラインごとに光透過率(輝度レベル)がばらつくこととなる。その結果、被計測物上に照射される光パターンも正弦波状の理想的な光強度分布とならず、三次元計測結果に誤差が生じるおそれがある。
【0096】
そこで、予め光パターンのばらつき(位相分布)を把握しておく、いわゆるキャリブレーション等が行われる。
【0097】
キャリブレーションの手順としては、まずプリント基板2とは別に、高さ位置0、かつ、平面をなす基準面を用意する。基準面は、計測対象たるクリームハンダと同一色となっている。すなわち、クリームハンダと光パターンの反射率が等しくなっている。
【0098】
続いて上記基準面に対し光パターンを照射すると共に、これをカメラ5により撮像することで、各座標の輝度値を含んだ画像データを得る。本実施形態では、後述する実測時とは異なり、キャリブレーションを行う際には、光パターンの位相を90°ずつシフトさせ、各光パターンの下で撮像された4通りの画像データを取得する。
【0099】
そして、制御装置6は、上記4通りの画像データから各座標における光パターンの位相角θを算出し、これをキャリブレーションデータとしてキャリブレーションデータ記憶手段25に記憶する。
【0100】
さらに本実施形態では、上記4通りの画像データから各座標における光パターンのゲインA及びオフセットB、並びに両者の関係を特定し、これをキャリブレーションデータとしてキャリブレーションデータ記憶手段25に記憶する。従って、キャリブレーションデータ記憶手段25が本実施形態における記憶手段を構成し、かかる工程が本実施形態における関係取得工程を構成する。
【0101】
ここで、ゲインA及びオフセットBを算出する手順についてより詳しく説明する。4通りの画像データの各座標における輝度値(V0,V1,V2,V3)と、ゲインA及びオフセットBとの関係は、下記式(H1)、(H2)、(H3)、(H4)により表すことができる。
【0102】
【数11】
【0103】
そして、4通りの画像データの輝度値(V0,V1,V2,V3)を加算し、上記式(H1)、(H2)、(H3)、(H4)を下記[数12]に示すように整理すると、下記式(H5)を導き出すことができる。
【0104】
【数12】
【0105】
また、上記式(H1)、(H3)から、下記式(H6)を導き出すことができる。
【0106】
【数13】
【0107】
また、上記式(H2)、(H4)から、下記式(H7)を導き出すことができる。
【0108】
【数14】
【0109】
そして、下記[数15]に示すように、上記式(H6)、(H7)を下記式(H8)に代入し、整理していくと、下記式(H9)を導き出すことができる。
【0110】
【数15】
【0111】
さらに、上記式(H5)、(H9)から導き出された下記式(H10)を基にゲインA及びオフセットBの比例定数Kを算出する。
【0112】
【数16】
【0113】
そして、上記のように算出された各座標における光パターンのゲインA、オフセットB、及び、比例定数Kをキャリブレーションデータとしてキャリブレーションデータ記憶手段25に記憶する。勿論、比例定数Kのみをキャリブレーションデータとして記憶する構成としてもよい。
【0114】
次に、各検査エリアごとに行われる検査ルーチンについて詳しく説明する。この検査ルーチンは、制御装置6にて実行されるものである。
【0115】
制御装置6(モータ制御手段23)は、まずモータ15,16を駆動制御してプリント基板2を移動させ、カメラ5の視野をプリント基板2上の所定の検査エリア(計測範囲)に合わせる。なお、検査エリアは、カメラ5の視野の大きさを1単位としてプリント基板2の表面を予め分割しておいた中の1つのエリアである。
【0116】
続いて、制御装置6は、照明装置4の液晶格子4bを切替制御し、当該液晶格子4bに形成される格子の位置を所定の基準位置に設定する。
【0117】
液晶格子4bの切替設定が完了すると、制御装置6は、照明制御手段22により照明装置4の光源4aを発光させ、所定の光パターンの照射を開始すると共に、カメラ制御手段21によりカメラ5を駆動制御して、当該光パターンが照射された検査エリア部分の撮像を開始する。尚、カメラ5により撮像された画像データは、画像データ記憶装置24へ転送され記憶される。
【0118】
同様に、上記一連の処理を、光パターンの位相を例えば180°シフトさせた光パターンの下で行う。これにより、所定の検査エリアにつき、位相を180°シフトさせた2通りの光パターンの下で撮像された2通りの画像データが取得される。かかる工程が本実施形態における画像取得工程を構成する。
【0119】
そして、制御装置6は、位相シフト法により、上記2通りの画像データから各座標における光パターンの位相角θを算出し、これを位相データとして位相データ記憶手段26に記憶する。具体的には、上記式(15)に基づき、上記2通りの画像データ上の各座標における輝度値V0,V1と、キャリブレーションデータ記憶手段25に記憶したキャリブレーションデータ(キャリブレーションに基づく各座標の比例定数K)とを参酌して、各座標における光パターンの位相角θを算出する。
【0120】
続いて、制御装置6(三次元計測手段29)は、キャリブレーションデータ記憶手段25に記憶したキャリブレーションデータ(キャリブレーションに基づく各座標の位相角)と、位相データ記憶手段26に記憶した位相データ(実測に基づく各座標の位相角)とを比較して、同一の位相角を有する座標のズレ量を算出し、三角測量の原理に基づき、検査エリアの各座標における高さデータを取得する。かかる工程が本実施形態における計測工程を構成する。
【0121】
例えば、被計測座標(x,y)における実測値(位相角)が「10°」であった場合、当該「10°」の値が、キャリブレーションにより記憶したデータ上のどの位置にあるかを検出する。ここで、被計測座標(x,y)よりも3画素隣りに「10°」が存在していれば、それは光パターンの縞が3画素ずれたことを意味する。そして、光パターンの照射角度と、光パターンの縞のズレ量を基に、三角測量の原理により、被計測座標(x,y)の高さデータ(z)を求めることができる。
【0122】
さらに、制御装置6(三次元計測手段29)は、得られた検査エリアの各座標における高さデータに基づいて、基準面より高くなったクリームハンダの印刷範囲を検出し、この範囲内での各部位の高さを積分することにより、印刷されたクリームハンダの量を算出する。
【0123】
そして、制御装置6(判定手段30)は、このようにして求めたクリームハンダの位置、面積、高さ又は量等のデータを、予め記憶した基準データと比較判定し、この比較結果が許容範囲内にあるか否かによって、その検査エリアにおけるクリームハンダの印刷状態の良否を判定する。
【0124】
かかる処理が行われている間に、制御装置6は、モータ15,16を駆動制御してプリント基板2を次の検査エリアへと移動せしめ、以降、上記一連の処理が、全ての検査エリアで繰り返し行われることで、プリント基板2全体の検査が終了する。
【0125】
以上詳述したように、本実施形態によれば、所定の撮像条件により定まる光パターンのゲインA及びオフセットBの関係〔例えばA=K(比例定数)×B〕と、画像データ上の被計測座標(x,y)の輝度値V(x,y)から定まる、該被計測座標(x,y)に係る光パターンのゲインA(x,y)又はオフセットB(x,y)の値とを利用することにより、2通りに位相変化させた光パターンの下で撮像した2通りの画像データを基に位相シフト法により被計測座標の高さ計測を行うことができる。
【0126】
このように、2通りの画像データに基づいて高さ計測を行うことができることから、1つのポイントに関し4回又は3回の撮像を必要とする従来技術に比べて、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、計測時間を飛躍的に短縮することができる。
【0127】
〔第2実施形態〕
以下、第2実施形態について図面を参照しつつ説明する。尚、第1実施形態と同一構成部分については、同一符号を付し、その詳細な説明を省略する。
【0128】
上記第1実施形態では、各座標における光パターンのゲインA及びオフセットBの関係(比例定数K)を、予めキャリブレーションにより求める構成となっているが、これに代えて、第2実施形態では、光パターンのゲインA及びオフセットBの関係(比例定数K)を、実測時に撮像した前記2通りに位相変化させた光パターンの下で撮像した2通りの画像データを基に求める構成となっている。
【0129】
その手順としては、まず上記式(12)を用いて画像データの全画素についてオフセットBを求める。次に、その中でオフセットBの値が一致する画素の輝度値V(=Asinθ+B)を抽出し、そのヒストグラムを作成する。その一例を図5,6の表に示す。但し、図5,6はゲインAを「1」、オフセットBを「0」とした場合を例示している。図5は、輝度値Vを「0.1」幅のデータ区間に区切って、そのデータ区間に含まれる輝度値の数を表した分布表であり、図6は、それをプロットしたヒストグラムである。
【0130】
そして、このヒストグラムを基に輝度値の最大値VMAXと最小値VMINを決定する。「sinθ」の特性を利用することにより、上記ヒストグラムにおいて発生する2つのピークをそれぞれ輝度値の最大値VMAXと最小値VMINとして決定することができる。図5,6に示す例では、輝度値Vが「−1.0〜−0.9」及び「0.9〜1.0」のデータ区間に入る輝度値Vの個数がそれぞれ「51」となり、ここが2つのピークとなる。
【0131】
続いて、輝度値の最大値VMAXと最少値VMINを基にゲインA及びオフセットBを算出する。上述したとおり、輝度値の最大値VMAXと最少値VMINの平均値がオフセットBとなり、最大値VMAXと最少値VMINの差の半分がゲインAとなる。つまり、図6に示すように、2つのピークの中間値がオフセットBとなり、2つのピークの幅の半分がゲインAとなる。
【0132】
このようにして得たゲインAとオフセットBの値を基に比例定数Kを決定することができる〔上記式(3)参照〕
本実施形態によれば、上記第1実施形態のようなキャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。
【0133】
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
【0134】
(a)上記実施形態では、三次元計測装置を、プリント基板2に印刷形成されたクリームハンダの高さを計測する基板検査装置1に具体化したが、これに限らず、例えば基板上に印刷されたハンダバンプや、基板上に実装された電子部品など、他のものの高さを計測する構成に具体化してもよい。
【0135】
(b)上記実施形態では、光源4aからの光を縞状の光パターンに変換するための格子を、液晶格子4bにより構成すると共に、これを切替制御することにより、光パターンの位相をシフトさせる構成となっている。これに限らず、例えば格子部材をピエゾアクチュエータ等の移送手段により移送させ、光パターンの位相をシフトさせる構成としてもよい。
【0136】
(c)上記実施形態では、実測時において、位相が180°異なる2通りの光パターンの下で撮像された2通りの画像データを基に高さ計測を行う構成となっている。これに代えて、例えば位相が90°異なる2通りの光パターンの下で撮像された2通りの画像データを基に高さ計測を行う構成としてもよい。かかる場合、上記式(23),(27)を用いることにより、2通りの画像データ上の各座標における輝度値V0,V1と、既知の比例定数Kを利用して、各座標における光パターンの位相角θを算出することができる。
【0137】
勿論、この他にも、上記式(1)、(2)、(3)の関係を満たすものであれば、他の構成を採用してもよい。位相角θを得る一般式としては、上記式(9)が一例に挙げられる〔[数9]参照〕。
【0138】
(d)上記第1実施形態では、位相が90°異なる4通りの光パターンの下で撮像された4通りの画像データを基にキャリブレーションを行う構成となっているが、これに限らず、例えば位相の異なる3通りの光パターンの下で撮像された3通りの画像データを基にキャリブレーションを行う構成としてもよい。
【0139】
また、キャリブレーションを行う際に、光源の輝度を変えて複数回行う構成としてもよい。かかる構成とすれば、下記式(28)に示すようなカメラ5の暗電流(オフセット)Cまで求めることができる。
【0140】
A=KB+C ・・・(28)
但し、A:ゲイン、B:オフセット、C:カメラの暗電流(オフセット)、K:比例定数。
【0141】
あるいは、ゲインAとオフセットBとの関係は、式として求めることなく、ゲインAとオフセットBとの関係を表した数表やテーブルデータを作成することにより、ゲインAからオフセットBあるいはオフセットBからゲインAを求めることが可能に構成しても良い。さらに、キャリブレーションに代えて別途行った計測結果等を利用してゲインAとオフセットBとの関係を求めても良い。
【0142】
(e)上記第2実施形態では、位相が180°異なる2通りの光パターンの下で撮像された2通りの画像データを基に、画像データの全画素について比例定数K等を求める構成となっている。
【0143】
これに限らず、例えば位相が90°異なる2通りの光パターンの下で撮像された2通りの画像データを基に比例定数K等を求める構成としてもよい。また、画像データの全画素ではなく、被計測座標の周辺など画像データの一部の範囲において、比例定数K等を求める構成としてもよい。
【符号の説明】
【0144】
1…基板検査装置、2…プリント基板、4…照明装置、4a…光源、4b…液晶格子、5…カメラ、6…制御装置、24…画像データ記憶手段、25…キャリブレーションデータ記憶手段、26…位相データ記憶手段、V0,V1,V2,V3…輝度値、A…ゲイン、B…オフセット、K…比例定数。
図1
図2
図3
図4
図5
図6