【実施例1】
【0018】
〔全体構成〕
図1は本発明の実施例1に係る検査装置の全体構成を表す概念図である。
【0019】
図1に示すように、本実施例の検査装置は、計測対象物3を撮像する撮像機1と、計測対象物3に光線(例えばレーザ光)を投光する投光機12と、撮像機1及び投光機12と計測対象物3とを相対的に移動させる走査部5と、撮像機1で取得された取得画像を処理する処理部27とを備えている。
【0020】
撮像機1は、計測対象物3の検査面に対向して配置されている。計測対象物3は、例えばスポット溶接により接合した長尺の薄板金属であり、特に図示していないが支持部材により支持されて撮像機1に対して対向している。撮像機1及び投光機12はフレーム25に固定的に支持されており、走査装置5に一体に搭載されている。走査装置5の走査方向は計測対象物3の延在方向と平行であり、長尺物を計測対象物3とする本実施例においては、走査装置5によって計測対象物3の長手方向に撮像機1及び投光機12が一体となって移動するようになっている。計測対象物3の検査面にはスポット溶接部4が点在しており、当該検査面は撮像機1の撮像視野2よりも広く、走査装置5による移動と撮像機1による撮像とを繰り返し、複数の取得画像で検査面の全体がカバーされる。但し、走査装置5による走査は1次元的なものに限定されず、例えば2次元的に撮像機1を走査する構成とすることもできる。また、同様の撮像動作を実行する上では、撮像機1ではなく計測対象物3を走査する構成としても良い。
【0021】
また、計測対象物3においては、幅方向の両側の端部(計測対象物3が横方向に延在する本実施例では上下の端部)の少なくとも一方について一定の真直度が予め程度保証されているものとする。撮像機1による取得画像には、計測対象物3の幅方向の両側の端部(本実施例では上下の端部)が写り込むようにする。また、投光機12は、出射する光線の光軸が撮像機1の撮像軸(撮像用レンズの光軸)と平行になるように配置されている。投光機12から出た光線は計測対象物3の表面に当たり、計測対象物3の表面に画像補正用の基準点13を指し示す。なお、
図1では本実施例では投光機12を3つ設けた場合を例示しているが、3つに限られるものではなく、投光機12を4つ以上設置する構成としても構わない。
【0022】
撮像機1によって撮像された画像は、画像取込ボード6を介して処理部27内に取り込まれる。処理部27としては例えばパーソナルコンピュータ等を用いることができる。処理部27は、バッファメモリ7と、溶接部抽出部8と、座標算出部9と、補正処理部14と、データ記憶部10と、画像表示部11とを備えている。処理部27では、取得された画像データがバッファメモリ7に一時保管されるとともに、溶接部抽出部8において取得画像上でスポット溶接部が抽出される。溶接部抽出部8による抽出結果は座標算出部9に送られ、座標算出部9において、抽出したスポット溶接部の像の座標が算出され、さらに補正処理部14において取得画像から求めた補正値(後述)により取得画像上でスポット溶接部の座標のずれが補正される。ここで言う「ずれ」とは、撮像機1に対して計測対象物3が所望の距離だけ離れて正対しているとした場合における取得画像との座標のずれ量のことをいう。補正処理部14で算出された補正結果は、データ記憶部10に記憶されるとともに、画像表示部11に表示出力することもできる。
【0023】
図2は撮像機1と投光機12の位置関係を示す図である。
【0024】
3次元空間座標軸は、撮像機1の受光面中心を原点とし、受光面平面すなわち取得画像平面をXY平面とし、撮像軸に沿ってZ軸をとる。前述した通り投光機12と撮像機1はフレーム25を介して一体に構成されており、撮像機1に対する投光機12の位置関係は不変である。加えて、投光機12の光線は撮像機1の撮像軸すなわちZ軸に平行である。そのため、計測対象物3上に指示された基準点13のXY座標は既知である。すなわち、
図2に併せて示した3つの基準点13の空間座標のうち、X1,Y1,X2,Y2,X3,Y3については既知の値となる。なお、複数の投光機12の各設置位置が、X軸又はY軸を境に対称な位置関係である必要はなく、X軸方向又はY軸方向に隣接する投光機12のX座標又はY座標を揃える必要はない。
【0025】
〔補正処理部〕
以下、補正処理部14で実行される座標補正処理について説明する。
【0026】
図3は補正処理部14の機能ブロック図である。
【0027】
補正処理部14は、取得画像上の基準点13を抽出する基準点抽出部20、基準点抽出部20で抽出した基準点13の座標を基に計測対象物3の検査面の撮像機1に対するXY軸周りの傾き及び画像倍率に起因するずれ量を補正値として算出する第1の補正値算出部21、取得画像上の計測対象物3の特徴量を抽出する特徴量抽出部22、特徴量抽出部22で抽出した特徴量から取得画像の蛇行及びZ軸周りの回転に対する補正値を算出する第2の補正値算出部23、及び座標算出部9で算出したスポット溶接部13の座標を第1及び第2の補正値算出部21,23で算出した補正値により補正する座標補正部24を備えている。
【0028】
補正処理部14において、バッファメモリ7から送られてきた取得画像は、基準点抽出部20及び特徴量抽出部22に入力される。
【0029】
基準点抽出部20においては、入力された取得画像上の基準点13が抽出される。そして、第1の補正値算出部21においては、抽出した基準点13の座標情報を基に、計測対象物3のX軸及びY軸周りの傾き(チルト)及び倍率のずれを加味した取得画像上の座標の補正値が算出される(後述)。
【0030】
一方、特徴量抽出部22においては、取得画像上の特徴量(本実施例では計測対象物3の像の上下のエッジ)が抽出される。そして、第2の補正値算出部23においては、当該特徴量を基に、取得画像の計測対象物3の像が隣接画像の計測対象物3の像とずれなく繋がるようにするために必要な、取得画像の蛇行及びZ軸周りの回転についての補正値が算出される(後述)。
【0031】
座標補正部24においては、第1の補正値算出部21と第2の補正値算出部23において算出された補正値が座標算出部9で算出されたスポット溶接部13の座標に加算され、計測対象物3と撮像機1との位置関係のばらつきを加味してスポット溶接部13の算出座標が補正される(後述)。
【0032】
ここで、基準点13を基準とした取得画像のX軸及びY軸周りの傾き及び倍率の補正値の算出方法、及び特徴量を基準とした取得画像の蛇行及びZ軸周りの傾きの補正値の算出方法を説明する。以下の説明において、撮像機1に正対する計測対象物3を「正対対象物3a」、撮像機1に正対しない計測対象物3を「非正対対象物3b」と適宜記載する。
【0033】
〔第1の補正値算出部〕
まず、第1の補正値算出部21による補正値の算出処理について説明する。
【0034】
図4は正対対象物3a(点線)と併せて非正対対象物3b(実線)を表した模式図、
図5は正対対象物3a(左図)と非正対対象物3b(右図)を撮像して得られた取得画像を例示する図である。
【0035】
第1の補正値算出部21では、基準点13を基準として取得画像26上のスポット溶接部の算出座標の補正値を算出するにあたり、まず、撮像機1を原点とする3次元空間座標系における計測対象物3の検査面の空間位置を求める。
【0036】
(1)Z軸方向への計測対象物3の移動、(2)X軸方向に延びる軸を支点とする計測対象物3の傾斜、(3)Y軸方向に延びる軸を支点とする計測対象物3の傾斜に起因して計測対象物3の検査面の撮像機1からの距離が変化した場合(
図4参照)、非正対対象物3b上の基準点13bのZ座標が変化し、それに伴って非正対対象物3bの撮像画像26上の基準点15bの座標も変化する(
図5参照)。非正対対象物3b上の基準点13bのZ座標は、取得画像26上の基準点15bの座標を基に算出することができる。
【0037】
図6は非正対対象物3b上の基準点13bのZ座標の算出概念を表す説明図である。
【0038】
ここでは、簡単のために撮像機受光面16の中心を原点とした2次元平面(XZ平面)を用いて説明する。撮像機1は、撮像機受光面16と撮像機レンズ17を有しており、撮像機レンズ17の焦点距離をfとする。非正対対象物3b上の基準点13bから出射されて撮像機レンズ17の中心を通る光は基準点15bの撮像機受光面16上の結像位置まで直進する。撮像機受光面16上の基準点像15bの結像位置のX座標Xdは実空間距離であるが、取得画像26を基にして撮像機受光面16上の結像位置が分かるため、撮像機受光面16の中心画素から基準点像15bの結像位置までの画素数に画素サイズを乗ずることで求められる。加えて、既述のように撮像機受光面16の中心から投光機12までの距離X1は既知であるため、非正対対象物3b上の基準点13bのZ座標Z1は、
Z1={(X1+Xd)/Xd}・f ・・・(式1)
で与えられる。
【0039】
非正対対象物3b上の基準点13bのZ座標Z1が求められると、基準点13bのX座標X1、Y座標Y1が既知であることから、非正対対象物3b上の基準点13bの空間座標が定まる。このような空間座標を非正対対象物3b上の各基準点13b(3点以上)について求めることで、非正対対象物3bの検査面の空間位置を一意的に求めることができる。なお、4点以上の基準点13bの座標を算出した場合には近似平面を算出する。
【0040】
図7は非正対対象物3bの検査面の空間位置の変化についての説明図である。
【0041】
上記のようにして非正対対象物3bの検査面18bの空間位置が求められるので、正対対象物3aの検査面18aを基準として、当該検査面18aに対する検査面18bの位置ずれ量(Z軸方向距離Δd、X軸周り回転方向角度α、Y軸周り回転方向角度β)や倍率の違いを算出することができる。ここで、正対対象物3aの検査面18aは、撮像機受光面16から距離dの位置で撮像機受光面16に正対する一定の大きさの平面であって撮像軸に直交する平面である。
【0042】
〔第2の補正値算出部〕
次に、第2の補正値算出部23による補正値の算出処理を説明する。
【0043】
図8はY軸方向の補正概念の説明図である。
【0044】
第2の補正値算出部23は、Y軸方向へのスポット溶接部の算出座標の補正値を算出する場合、まず、取得した複数の画像26a−26c上の計測対象物像19のエッジ19a,19b(上下の端部)を検出する。そして、各画像上のエッジ19a,19bの少なくとも一方について直線近似を行い、それにより求めた直線の各画像における同一X座標上のY座標を求める。この数値が、Y軸方向の補正値となる。
【0045】
各画像26a−26cについて同一X座標(例えばX=0)におけるエッジ19aのY座標を求め、任意に選択した画像(本例では左画像26aとする)におけるエッジ19aの近似直線のY座標を基準として、当該画像26aの近似直線と他の画像26b,26cの各近似直線とのY座標の差分をそれぞれ算出する。この値が他の画像26b,26cにおけるY軸方向の補正値であり、座標算出部9で算出された画像26b,26c上のスポット溶接部の算出座標に各補正値を加算することで、他の画像26b,26cについて座標算出部9で算出されたスポット溶接部の座標を、計測対象物3の蛇行によるずれを加味して補正することができる。
図8においては、左端の画像26aのY座標を基準として、中央の画像26bのスポット溶接部の算出座標をY座標の差分g1だけ下に、右端の画像26cのスポット溶接部の算出座標をY座標の差分g2だけ上に平行移動し、計測対象物3のY軸方向への相対位置の変位によるずれを補正する場合のイメージを取得画像26a−26cを用いて概念的に表している。
【0046】
図9はZ軸周りの回転方向の補正概念の説明図である。
【0047】
第2の補正値算出部23は、Z軸周りの回転方向にスポット溶接部の算出座標を補正する場合、各画像26a−26cにおけるエッジ19aの近似直線の傾きを求める。この数値がZ軸周り回転方向の補正値となる。この補正値によって、計測対象物3のZ軸周りの回転に起因する誤差を加味してスポット溶接部の座標を補正することができる。
【0048】
図9においては、左端の画像26a上のスポット溶接部の算出座標を同画像26aの近似直線の傾きθ1だけ、中央の画像26b上のスポット溶接部の算出座標を同画像26bの近似直線の傾きθ2だけ、右端の画像26c上のスポット溶接部の算出座標を同画像26bの近似直線の傾きθ3だけ回転補正する場合のイメージを取得画像26a−26cを用いて概念的に表している。
【0049】
図8及び
図9で説明した補正を順次実行することで、計測対象物3の蛇行及びZ軸周りの回転変位に起因するスポット溶接部の検出誤差を補正することができる。
【0050】
なお、本実施例ではエッジ26a,26bを用いてY軸方向移動、及びZ軸周り回転を検出しているが、取得画像内におけるY軸方向位置、及びZ軸周りの傾きが計測対象物3の全体に亘って検出可能な画像内特徴量であれば、他の特徴量を用いても構わない。また、Y軸方向移動補正、Z軸周り回転移動補正については、どちらの補正値を先に算出しても構わない。
【0051】
〔溶接部補正演算部〕
第1の補正算出部21と第2の補正値算出部23で算出された値は、座標補正部24(
図3参照)に送られる。座標補正部24の処理について説明する。
【0052】
座標補正部24は、まず
図7で説明したように取得画像にX軸周り及びY軸周りの回転方向への傾き補正(以下「正対補正」)及び倍率補正を加えるイメージで、取得画像上のスポット溶接部の算出座標を補正する。撮像機受光面16及び正対対象物3aの検査面18aの間の距離(実空間距離)をdとする。正対対象物3aの検査面18aは、撮像機受光面16から距離dの位置で撮像機受光面16に正対する所定の大きさの平面である。求めた非正対対象物3bの検査面18bが、Z軸方向に距離Δd、X軸周り回転方向に角度α、Y軸周り回転方向に角度βだけ正対対象物3aの検査面18aとずれている場合、非正対対象物3bの取得画像上のスポット溶接部の算出座標(X,Y)について次の式2及び式3で表される座標変換を実行することで、正対対象物3aの検査面18aを撮像した場合に得られる取得画像上のスポット溶接部の座標(X’,Y’)に変換する。但し、この補正のみでは、補正後の座標は、Y軸方向及びZ軸周りの回転方向への補正をまだ必要とし得る。
【0053】
X’={f・(d+Δd−f)・X}/{(d−f)・(f・cosβ−Xsinβ)} ・・・(式2)
Y’={f・(d+Δd−f)・Y}/{(d−f)・(f・cosα−Ysinα)} ・・・(式3)
なお、fは撮像機レンズ17(
図6参照)の焦点距離である。
【0054】
また、座標補正部24は、Y軸方向及びZ軸周り回転方向に取得画像を補正するイメージで、取得画像上のスポット溶接部の座標を補正する。例えば、先の
図8における中央の取得画像26b上の計測対象物19のエッジ19aが、基準とする左側の取得画像26a上のエッジ19aと比較してY座軸方向にgだけずれており、取得画像26b上のエッジ19aが水平に対して角度θだけ傾斜しているとする。この場合、座標補正部24は、取得画像26b上のスポット溶接部の算出座標(X,Y)について次の式4及び式5で表される座標変換を実行することで、Y軸方向のずれgとZ軸周りの回転ずれθが反映された座標(X’,Y’)が得られる。
【0055】
X’=X0+(X−X0)・cosθ−(Y−Y0)・sinθ ・・・(式4)
Y’=Y0+(X−X0)・sinθ+(Y−Y0)・cosθ+g ・・・(式5)
なお、座標(X0,Y0)は取得画像26a−26c内の任意の点であって各取得画像26a−26c上の同一座標の点とする。
【0056】
以上のようにして得られたスポット溶接部の補正座標は、データ記憶部10に送られて保存され、また画像表示部11に送られて表示される。
【0057】
〔効果〕
ここで、
図10は撮像機1と計測対象物3との相対的な位置関係についての説明図である。
【0058】
撮像機1の受光面中心すなわち撮像機1による取得画像の中心位置を撮像機原点とし、撮像機1の走査方向にX軸、撮像軸方向にZ軸をとり、Z軸及びX軸に直交する軸をY軸とする。また、撮像軸(Z軸)と計測対象物3の検査面との交点を計測対象物原点とし、計測対象物長尺方向にX’軸、検査面内でX’軸に直交する方向にY’軸、検査面の法線方向にZ’軸をとる。撮像機1を走査する際に発生する可能性のある撮像機1と計測対象物3との相対位置のずれ、すなわち撮像機原点及び計測対象物原点との距離や軸のずれは、走査装置の送り精度に依存するX’軸方向移動を除く、X’軸周り回転、Y’軸周り回転、Y’軸方向移動、Z’軸周り回転、Z’軸方向移動の5つの成分からなる。
【0059】
本実施例においては、上記のように撮像画像上のスポット溶接部の座標、及び撮像機1のレンズ倍率を用いてスポット溶接部4の位置を算出する。スポット溶接部4の位置を高精度に算出するためには、撮像機1と計測対象物3との位置関係を把握し、算出したスポット溶接部4の座標を撮像機1と計測対象物3との位置関係を基にして補正する必要がある。
【0060】
それに対し、本実施例では、取得画像のX軸及びY軸周りの傾き、並びに画像倍率についての
図7の補正を実行することで、
図10における計測対象物3と撮像機受光面18との位置関係に起因するスポット溶接部の算出座標誤差のうちZ軸方向移動、X軸周り回転、及びY軸周り回転に起因する成分を補正することができる。さらに、
図8及び
図9で説明した撮像画像のY軸方向及びZ軸周りの回転方向のずれを補正することで、残るY軸方向移動、及びZ軸周り回転に起因する成分を補正することができる。
【0061】
このとき、計測対象物3はスポット溶接を施した薄板金属であるためスポット溶接によって多少変形する場合がある。そのため、例えば、計測対象物3上にマークを付けるのではマークと撮像原点との位置関係が上記5つの成分方向に変位する可能性があり、計測対象物3上のマークを基準にして同じ計測対象物3上のスポット溶接部の座標を補正するのでは精度を確保することが困難である。
【0062】
そこで、本実施例では、計測対象物3上にマークを付すのではなく、投光機12により基準点13を指し示すことにより、基準点位置のXY座標を既知の値とするとともにZ座標についても上記式1で一意的に算出することができ、撮像機受光面16に対する計測対象物3の位置関係を高精度に特定することができる。したがって、第1の補正値算出部21や第2の補正値算出部23により算出される補正値の精度を確保することができる。
【0063】
以上により、本実施例によれば、スポット溶接部4の有無はもとよりスポット溶接部4の位置を精度良く計測することができる。
【実施例2】
【0064】
本実施例が実施例1と相違する点は、実施例1が、補正値を取得画像上のスポット溶接部の座標にのみ反映させる例であってあくまでスポット溶接部の補正座標を算出する例であったのに対し、本実施例はスポット溶接部のみならずこれを含む取得画像上のデータ全体を補正して、スポット溶接部の座標データを得るのみならず補正画像上でスポット溶接部の位置を視覚的に確認することができる点である。
【0065】
図11は本発明の実施例2に係る検査装置に備えられた補正処理部の機能ブロック図である。
【0066】
図11に示したように、本実施例では、座標算出部9から送られたスポット溶接部の抽出結果にバッファメモリ7から送られた取得画像を重ね合わせた合成画像のデータが、補正処理部14に送られる。補正処理部14においては、実施例1と同じ要領で第1及び第2補正値算出部21,23で算出した補正値を用いて、座標補正部24で合成画像を補正する。補正した合成画像のデータはデータ記憶部10及び画像表示部11に送られる。
【0067】
先の
図7を参照しつつ、座標補正部24による合成画像の補正方法について説明する。
【0068】
まず、座標補正部24は、合成画像の正対補正及び倍率補正を行う。撮像機受光面16と正対対象物3aの検査面18aとの距離をdとし、また、正対対象物3aの検査面18aに対して非正対対象物3bの検査面18bが、Z軸方向に距離Δd、X軸周り回転方向に角度α、Y軸周り回転方向に角度β変動した場合、非正対対象物3bの検査面18bを撮像して取得した取得画像上の全点の座標(Xi,Yi)において、次の式6及び式7で表される座標変換を行う。
【0069】
Xi’={f・(d+Δd−f)・Xi}/{(d−f)・(f・cosβ−Xisinβ)} ・・・(式6)
Yi’={f・(d+Δd−f)・Yi}/{(d−f)・(f・cosα−Yisinα)} ・・・(式7)
但し、fは撮像機レンズ17の焦点距離である。
【0070】
次に、計測対象物3の蛇行及びZ軸周りの回転に起因して合成画像を補正する。例えば基準画像と比較して画像上の計測対象物のエッジ19aが、Y軸方向にd、Z軸周りの回転方向に角度θだけずれている場合、撮像画像上の全ての座標(Xi,Yi)において次の式8及び式9で表される座標変換を行う。
【0071】
Xi’=X0+(Xi−X0)・cosθ−(Yi−Y0)・sinθ ・・・(式8)
Yi’=Y0+(Xi−X0)・sinθ+(Yi−Y0)・cosθ+d ・・・(式9)
但し、座標(X0,Y0)は取得画像内の任意の点であって複数の画像において同一の値であるとする。
【0072】
以上により取得されたデータに基づき補正画像を画像表示部11に表示することにより、
図12に示したように、
図10で説明した5つの誤差成分を包含した合成画像(左図)を正対像としての補正画像(右)に補正することができ、実施例1の効果に加え、当該補正画像上でスポット溶接部28の位置を画像上で視覚的に確認できるメリットが得られる。