IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤマハ発動機株式会社の特許一覧

<>
  • 特許-ワーク計測装置およびワーク計測方法 図1
  • 特許-ワーク計測装置およびワーク計測方法 図2
  • 特許-ワーク計測装置およびワーク計測方法 図3
  • 特許-ワーク計測装置およびワーク計測方法 図4A
  • 特許-ワーク計測装置およびワーク計測方法 図4B
  • 特許-ワーク計測装置およびワーク計測方法 図4C
  • 特許-ワーク計測装置およびワーク計測方法 図4D
  • 特許-ワーク計測装置およびワーク計測方法 図5
  • 特許-ワーク計測装置およびワーク計測方法 図6
  • 特許-ワーク計測装置およびワーク計測方法 図7
  • 特許-ワーク計測装置およびワーク計測方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-18
(45)【発行日】2025-04-28
(54)【発明の名称】ワーク計測装置およびワーク計測方法
(51)【国際特許分類】
   G01B 11/24 20060101AFI20250421BHJP
【FI】
G01B11/24 K
【請求項の数】 6
(21)【出願番号】P 2023565762
(86)(22)【出願日】2021-12-08
(86)【国際出願番号】 JP2021045061
(87)【国際公開番号】W WO2023105664
(87)【国際公開日】2023-06-15
【審査請求日】2024-03-15
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】110004303
【氏名又は名称】弁理士法人三協国際特許事務所
(72)【発明者】
【氏名】高橋 政二
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開2013-242257(JP,A)
【文献】特開2015-105883(JP,A)
【文献】特開2009-068986(JP,A)
【文献】米国特許出願公開第2019/0026877(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
計測対象のワークに対してライン光を照射する第1光源と、
前記ワークに対して通常照明光を照射する第2光源と、
前記ライン光および前記通常照明光が照射された前記ワークおよびその周辺の画像を取得可能な撮像部と、
前記ワークを所定の送り方向に相対移動させる移動機構と、
前記撮像部、前記第1光源、前記第2光源および前記移動機構の動作を制御する制御部と、
前記撮像部が取得した画像に基づき、前記ワークについての二次元データおよび三次元データを求める計測部と、を備え、
前記制御部は、前記移動機構により前記ワークを移動させつつ、前記第1光源および前記第2光源を同時に点灯させた状態で、前記撮像部に所定のカメラスケール単位で前記ワークの撮像動作を行わせ、
前記計測部は、
前記カメラスケール単位で順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出するとともに、抽出された画像データを時系列順に並べて当該注目位置の輝度分布マップを生成し、
前記輝度分布マップに基づき、前記注目位置の二次元データおよび三次元データを導出する、ワーク計測装置。
【請求項2】
請求項1に記載のワーク計測装置において、
前記計測部は、前記輝度分布マップにおいて、前記ライン光に基づく高さ情報が現れる領域を前記三次元データの取得する3D領域とし、他の領域を前記二次元データの取得する2D領域と設定する、ワーク計測装置。
【請求項3】
請求項2に記載のワーク計測装置において、
前記計測部は、前記3D領域の情報に基づき光切断法により前記注目位置の高さを求めて前記三次元データを取得し、前記2D領域の輝度データに基づき前記注目位置の前記二次元データを取得する、ワーク計測装置。
【請求項4】
請求項2又は3に記載のワーク計測装置において、
前記計測部は、前記輝度分布マップにおいて前記3D領域が所定の領域幅よりも広い領域に設定されている場合、当該輝度分布マップの輝度平均値を算出して前記二次元データを求める、ワーク計測装置。
【請求項5】
請求項2~4のいずれか1項に記載のワーク計測装置において、
前記撮像部は、画素がマトリクス配列された撮像素子を備え、
前記計測部は、前記撮像素子が取得する全画像エリアのうち使用する一部を指定するROI指定が可能であり、
前記3D領域は、ROI指定の範囲に基づき設定される、ワーク計測装置。
【請求項6】
計測対象のワークの二次元データおよび三次元データを取得するワーク計測方法であって、
前記ワークを相対移動させつつ、ライン光および通常照明光を同時に前記ワークに照射した状態で、所定のカメラスケール単位で前記ワークの画像を取得し、
前記カメラスケール単位で順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出するとともに、抽出された画像データを時系列順に並べて当該注目位置の輝度分布マップを生成し、
前記輝度分布マップに基づき、前記注目位置の二次元データおよび三次元データを導出する、ワーク計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計測対象のワークの二次元データおよび三次元データを取得するワーク計測装置および計測方法に関する。
【背景技術】
【0002】
ワークの高さ計測を非接触で行う方法として、光切断法が知られている。光切断法では、ライン光が照射されたワークをスキャン撮像し、その撮像画像から三角測量の原理にてワークの高さを求める。特許文献1には、光切断法を用いたワークの三次元形状計測装置が開示されている。特許文献1の計測装置では、スキャンで得られた画像の注目点のピクセルの輝度値を時系列順に並べ、前記注目点の輝度変化を求めている。
【0003】
特許文献2には、ワークの三次元形状と二次元テクスチャ画像とから、ワークの三次元モデルを生成する装置が開示されている。特許文献2の計測装置では、ワークの三次元データおよび二次元データを同時取得するために、三次元計測用の第1光源および第1受光部と、二次元計測用であって前記第1光源とは波長の異なる第2光源および第2受光部とを備えている。
【0004】
しかし、特許文献1のように、ワークの三次元データだけを求める計測装置を用いた場合、ワークの二次元データの取得のためには、当該ワークに対する別途の計測工程が必要となる。一方、特許文献2の計測装置によれば、ワークの三次元計測用および二次元計測用として、それぞれ光源およびカメラが必要となり、装置が複雑化する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2015-105883号公報
【文献】特開2006-162386号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、ワークの二次元データおよび三次元データを、作業性良く且つ装置を複雑化させることなく計測できるワーク計測装置および計測方法を提供することにある。
【0007】
本発明の一局面に係るワーク計測装置は、計測対象のワークに対してライン光を照射する第1光源と、前記ワークに対して通常照明光を照射する第2光源と、前記ライン光および前記通常照明光が照射された前記ワークおよびその周辺の画像を取得可能な撮像部と、前記ワークを所定の送り方向に相対移動させる移動機構と、前記撮像部、前記第1光源、前記第2光源および前記移動機構の動作を制御する制御部と、前記撮像部が取得した画像に基づき、前記ワークについての二次元データおよび三次元データを求める計測部と、を備え、前記制御部は、前記移動機構により前記ワークを移動させつつ、前記第1光源および前記第2光源を同時に点灯させた状態で、前記撮像部に所定のカメラスケール単位で前記ワークの撮像動作を行わせ、前記計測部は、前記カメラスケール単位で順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出するとともに、抽出された画像データを時系列順に並べて当該注目位置の輝度分布マップを生成し、前記輝度分布マップに基づき、前記注目位置の二次元データおよび三次元データを導出する。
【0008】
本発明の他の局面に係るワーク計測方法は、計測対象のワークの二次元データおよび三次元データを取得するワーク計測方法であって、前記ワークを移動させつつ、ライン光および通常照明光を同時に前記ワークに照射した状態で、所定のカメラスケール単位で前記ワークの画像を取得し、前記カメラスケール単位で順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出するとともに、抽出された画像データを時系列順に並べて当該注目位置の輝度分布マップを生成し、前記輝度分布マップに基づき、前記注目位置の二次元データおよび三次元データを導出する。
【図面の簡単な説明】
【0009】
図1図1は、本発明の実施形態に係るワーク計測装置のハード構成を簡略的に示す模式図である。
図2図2は、前記ワーク計測装置の電気的構成を示すブロック図である。
図3図3(A)~(C)は、光切断法によるワークの高さ計測の手法を示す模式図である。
図4A図4Aは、ワークの注目位置に対する撮像状況を示す図である。
図4B図4Bは、ワークの注目位置に対する撮像状況を示す図である。
図4C図4Cは、ワークの注目位置に対する撮像状況を示す図である。
図4D図4Dは、ワークの注目位置に対する撮像状況を示す図である。
図5図5(A)は、前記注目位置の輝度分布マップの一例を示す図、図5(B)は、図5(A)のVB-VB線に沿う輝度値を示すグラフである。
図6図6(A)~(E)は、前記輝度分布マップからワークの二次元データおよび三次元データを導出する過程を説明するための図である。
図7図7は、本実施形態のワーク計測装置を用いたワークの二次元データおよび三次元データの導出処理を示すフローチャートである。
図8図8(A)~(D)は、変形例に係る輝度分布マップからワークの二次元データおよび三次元データを導出する過程を説明するための図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係るワーク計測装置は、各種の工業製品、半製品、機械部品、電子部品、食品、農産物などの、計測対象のワークの二次元計測および三次元計測に広く適用することができる。例えば、基板に実装された部品をワークとして二次元・三次元計測を行う場合に、本発明のワーク計測装置は好適である。
【0011】
[装置構成]
図1は、本実施形態に係るワーク計測装置1のハード構成を簡略的に示す模式図である。ワーク計測装置1は、第1光源2、第2光源3、カメラ装置4(撮像部)、移動モータ5(移動機構)および制御部6を備えている。ワーク計測装置1は、基台51上のワークWの二次元データ(輝度計測データ)および三次元データ(高さ計測データ)を導出する装置である。ここでは、ワークWとしてマウスが基台51上に載置されている例を示している。基台51の表面は、高さ計測の際の基準高さ面となる。ワークWが実装基板上の部品である場合、基台51は当該部品が実装された基板となる。
【0012】
第1光源2は、スリット状の光を発生する光源であって、計測対象のワークWに対してライン光SLを照射する。例えば第1光源2としては、レーザ光源と、当該レーザ光源が発するレーザ光を扇型に広がるスリット光に変換する光学部品とを含む光源装置を適用することができる。本実施形態では第1光源2は、ワークWの鉛直上方からライン光SLを照射するよう配置されている例を示している。
【0013】
第2光源3は、ワークWに対して通常照明光TLを照射する。図1では、図示簡略化のため通常照明光TLを円錐型に拡がる拡散光の態様で示しているが、実際の通常照明光TLは、ワークWに対して全方位から光線を照射可能な無指向性の照明光である。第2光源3は、例えば多数のLEDがマトリクス搭載された基板を、指向方向を異ならせて環状に配列してなる光源装置を適用することができる。ワークWに対して無指向性の照明光を照射可能である限りにおいて、第2光源3の配置形態には特に制限はない。
【0014】
カメラ装置4は、ライン光SLおよび通常照明光TLが照射されたワークWおよびその周辺の画像を取得する。カメラ装置4は、基台51の鉛直方向に対して傾いた撮像光軸AXを有している。すなわちカメラ装置4は、ライン光SLの投影軸に対して傾いた撮像光軸AXを具備している。これらの軸配置は、光切断法によりワークWの三次元形状を計測するための配置である。なお、撮像光軸AXを鉛直方向に配置し、ライン光SLの投影軸を撮像光軸AXに対して傾けて配置する構成としても良い。
【0015】
移動モータ5は、ワークWを所定のワーク送り方向Fに相対移動させる移動機構の駆動源である。ワークWの相対移動の態様としては、第1光源2、第2光源3およびカメラ装置4の測定系を固定配置として、ワークWおよび基台51をワーク送り方向Fに移動させる態様と、静置されたワークWおよび基台51に対して前記測定系をワーク送り方向Fにスキャン移動させる態様とを例示することができる。移動モータ5は、前者の場合にはワークWおよび基台51を移動させるコンベア等の駆動源、後者の場合には前記測定系をガイドレール等に沿って移動させる駆動源となる。
【0016】
制御部6は、マイクロコンピュータやパーソナルコンピュータ等からなり、第1光源2、第2光源3、カメラ装置4および移動モータ5の動作を制御する。具体的には制御部6は、第1光源2によるライン光SLの照射動作、第2光源3による通常照明光TLの照射動作、カメラ装置4によるワークWの撮像動作、並びに、移動モータ5によるワークWの送り動作、つまりスキャン動作などを制御する。
【0017】
[ワーク計測装置の電気的構成]
図2は、ワーク計測装置1の電気的構成を示すブロック図である。カメラ装置4は、撮像素子41、画像メモリ42、計測部43、設定記憶部44およびI/F部45を備えている。撮像素子41は、光電変換素子からなる画素がマトリクス配置されたセンサである。撮像素子41としては、画素の読み出し範囲を定めるROI(Region Of Interest)の指定が可能なCMOSセンサを用いることが望ましい。
【0018】
画像メモリ42は、撮像素子41が取得した画像データを一時的に格納する。計測部43は、撮像動作により取得されたワークWの画像、つまり画像メモリ42に格納された画像データに基づき、当該ワークWの二次元データおよび三次元データを求める。本実施形態では、計測部43がカメラ装置4に装備されている例を示すが、計測部43は制御部6若しくは他の外部装置に装備されていても良い。設定記憶部44は、計測部43の計測動作に関連する各種設定データやパラメータ等を記憶する。後述する輝度分布マップMにおける2D領域および3D領域を区画する基準位置に関する設定値を、設定記憶部44に格納させても良い。I/F部45は、制御部6とデータ通信を行わせるためのインターフェース回路である。
【0019】
計測部43は、機能的に画像配列部431、高さ算出部432、輝度算出部433およびROI設定部434を含む。画像配列部431は、撮像素子41により所定のカメラスケール単位で順次撮像された画像の各々から、ワークWの注目位置に対応する画像データを抽出する。さらに、画像配列部431は、抽出された画像データを時系列順に並べて、当該注目位置についての輝度分布マップM(図5)を生成する。
【0020】
高さ算出部432は、ワークWの三次元データの導出のため、輝度分布マップMに基づき、ワークWの各注目位置の高さを光切断法により求める処理を実行する。輝度算出部433は、ワークWの二次元データの導出のため、輝度分布マップMに基づき、各注目位置の輝度を求める処理を実行する。ROI設定部434は、撮像素子41のROIを指定する。ROIのワーク送り方向Fのレンジ、つまりプロファイル方向のレンジを広くするほど、計測対象のワークWの高さレンジが拡張され、より高いワークWの三次元計測が可能となる。
【0021】
制御部6は、移動モータ5を備えた移動機構によりワークWをワーク送り方向Fへ移動させつつ、第1光源2および第2光源3を同時に点灯させた状態で、カメラ装置4に所定のフレームレートでワークWの撮像動作を行わせる。すなわち、撮像素子41の画素列のサイズに比例したピッチ毎、換言するとカメラスケール単位で、制御部6はカメラ装置4に撮像動作を行わせる。制御部6は、所定のプログラムが実行されることにより、機能的にカメラ制御部61、光源制御部62、モータ制御部63、データ記憶部64およびI/F部65を具備するように動作する。
【0022】
カメラ制御部61は、カメラ装置4を制御して、相対移動するワークWを所定のカメラスケール単位で撮像させる。この撮像により、ワークWの多数枚のフレーム画像が取得され、画像メモリ42に格納される。前記カメラスケール単位は、ワークWの相対移動距離と、撮像素子41の画素列上のサイズとが比例関係となるように設定される。
【0023】
光源制御部62は、カメラ装置4によるワークWの撮像時に、第1光源2および第2光源3を同時に点灯させる。これにより、ライン光SLおよび通常照明光TLの双方の、ワークWからの反射光を同時にカメラ装置4に入射させることができる。モータ制御部63は、カメラ装置4によるワークWの撮像時に、移動モータ5を制御して、ワークWおよび基台51をワーク送り方向Fへ所定の移動速度で相対移動させる。データ記憶部64は、カメラ装置4の計測部43から送信される、ワークWの二次元データおよび三次元データを記憶する。I/F部65は、カメラ装置4とデータ通信を行わせるためのインターフェース回路である。
【0024】
[光切断法による高さ計測]
図3(A)~(C)を参照して、ワーク計測装置1において実行可能な、光切断法による三次元計測(高さ計測)について説明を加えておく。図3(A)に示す通り、ここでは測定対象として、直方体のワークWが基台51に搭載されている例を示している。高さ計測には、上述のカメラ装置4と、ライン光SLを発する第1光源2とが用いられる。図1とは異なり図3(A)では、撮像光軸AXが鉛直方向となるようにカメラ装置4が配置され、ライン光SLの投影光軸が当該撮像光軸AXに対して所定の交差角θを持つように第1光源2が配置されている例を示す。
【0025】
図3(B)は、ワークWにライン光SLが照射される、あるスキャン位置でカメラ装置4が取得するフレーム画像F01を示している。ライン光SLがワークWを含む領域に照射されると、ワークWの周囲の基台51からの、つまり基準高さからの反射光RL1と、ワークWの上面からの反射光RL2とがカメラ装置4にて撮像される。ライン光SLが斜光であってワークWが高さを持つので、フレーム画像F01上において、反射光RL1、RL2はX座標の互いに異なる位置に観測される。具体的には、反射光RL1は座標x11に、反射光RL2は座標x11よりもワーク送り方向Fの上流側に位置する座標x12に表れる。
【0026】
図3(A)の点P0にライン光SLが照射された場合を、計算上の高さ=0の地点と扱う。そうすると、図3(C)に示すように、交差角θを用いた三角測量の原理より、座標x11の高さはh1、座標x12の高さはh2という高さデータを得ることができる。以降、後続のフレーム画像F02、F03が順次撮像され、ワークWの異なる位置の画像が取得される。これにより、フレーム画像F02では座標x21、x22の高さデータが、フレーム画像F03では座標x31、x32の高さデータが取得される。言うまでもなく、実際のカメラスケール単位は、図例よりも遙かに狭ピッチである。
【0027】
以上のようなスキャン動作により取得された複数の高さデータを統合することで、ワークWの三次元データを求めることができる。なお、各フレーム画像F01、F02、F03で取得される高さデータは、反射光RL1、RL2が異なるX座標位置に照射された結果に基づく。このため、データ統合に際しては、例えばフレーム画像F01においてワークWの領域で得られた座標x12の高さデータと、その後のスキャン位置で基台51の領域で得られた座標x12の高さデータとを整合させる高さテーブルが作成しても良い。
【0028】
[二次元データおよび三次元データの同時取得]
続いて、ワーク計測装置1における二次元データおよび三次元データの同時取得について説明する。図4A図4Dは、ワークWの注目位置Nに対する撮像状況を示す図である。図4A図4Dでは、高さhを有する直方体状のワークWを、カメラ装置4の撮像素子41に対してワーク送り方向Fに相対移動させながら、所定のカメラスケール単位で当該ワークWの撮像が行われる状態を示している。
【0029】
ワークWに対しては、第1光源2が発するライン光SLと、第2光源3が発する図略の通常照明光TLとが同時に照射されている。このため、撮像素子41にはワークWに照射されたライン光SLの反射光であるライン反射光RLと、通常照明光TLの反射光である通常反射光RTとが同時に入射する。なお、ライン反射光RLとしては、h=0の位置からのライン反射光RL1と、高さhからのライン反射光RL2とが示されている。
【0030】
ワークWには、二次元データおよび三次元データを求めるべき注目位置Nを示している。注目位置Nのワーク送り方向Fのサイズは、一つのフレーム画像および次のフレーム画像の撮像ピッチ間に当該ワークWが移動する距離に相当する。撮像素子41に付されている画素列L1~L10は、前記撮像ピッチに対応する画素数を備えた画素列である。注目位置Nは、ワーク送り方向Fに移動されながら、連続的に撮像される10枚のフレーム画像F1~F10において、画素列L1~L10の各々に順次撮像されることになる。このうち、図4A図4Dでは、3番目~6番目のフレーム画像F3~F6の撮像状況を示している。なお、h=0のライン反射光RL1は、画素列L4に入射する設定である。
【0031】
図4Aのフレーム画像F3では、注目位置Nは未だライン光SLの照射位置には到達していない。このため、フレーム画像F3において注目位置Nが撮像される画素列L3で取得される画像データF3-L3は、通常反射光RTのみからなる画像データとなる。フレーム画像F3よりも先に撮像されるフレーム画像F1,F2も同様である。
【0032】
図4Bのフレーム画像F4では、注目位置Nは画素列L3のワーク送り方向Fの下流側に隣接する画素列L4で撮像される。フレーム画像F4においても、ワークWからの通常反射光RTが画素列L4に入射する。また、注目位置Nとワーク送り方向Fの同位置にあるh=0の領域からのライン反射光RL1も、画素列L4に入射する。このため、フレーム画像F4において注目位置Nが撮像される画素列L4で取得される画像データF4-L4は、通常反射光RTにライン反射光RL1が重畳された画像データとなる。
【0033】
図4Cのフレーム画像F5では、注目位置Nは画素列L5で撮像される。フレーム画像F5においても、ワークWからの通常反射光RTが画素列L5に入射し、さらに、ワークWの高さhの領域からのライン反射光RL2が画素列L5に入射する。従って、フレーム画像F5において注目位置Nが撮像される画素列L5で取得される画像データF5-L5は、通常反射光RTにライン反射光RL2が重畳された画像データとなる。
【0034】
一方、図4Dのフレーム画像F6が撮像されるタイミングでは、注目位置Nはライン光SLの照射位置を通過している。このため、フレーム画像F6において注目位置Nが撮像される画素列L6で取得される画像データF6-L6は、専ら通常反射光RTの画像データとなる。なお、図4A図4Dではライン光SLが単純な線状光として描かれているが、実際のライン光SLはワーク送り方向Fにガウス分布状の光強度分布を持つ。このため、画像データF6-L6が、通常反射光RTにライン反射光RL2の一部が重畳された画像データとなる場合もある。フレーム画像F6よりも後に撮像されるフレーム画像F7~F10は、通常反射光RTだけが入射する画像となる。
【0035】
以上の通り、図4A図4Dの画像データF3-L3~F6-L6を含む、フレーム画像F1~F10は、画像メモリ42(図2)に一時的に記憶される。計測部43の画像配列部431は、画像メモリ42に格納されたフレーム画像F1~F10の中から、注目位置Nに対応する画像データを抽出する。さらに、画像配列部431は、抽出された画像データを時系列順に並べて当該注目位置Nの輝度分布マップを生成する。同様の処理を、ワークWの他の部位を注目位置Nとして繰り返す。
【0036】
図5(A)は、注目位置Nの輝度分布マップMの一例を示す図である。図中のx方向は、画像データを時系列順に配列する方向であって、ワークWの高さデータが表出するプロファイル方向である。y方向は、ワーク送り方向Fと直交するワークWの幅方向であって、ライン光SLの延在方向である。図5(B)は、図5(A)のVB-VB線に沿う輝度値を示すグラフである。
【0037】
図5(A)に例示する輝度分布マップMは、フレーム画像F1~F10の各々において、注目位置Nについて取得された画像データF1-L1~F10-L10をx方向に並べて作成されている。つまり、輝度分布マップMは、フレーム画像F1~F10におけるある一つの注目位置Nの輝度変化を示している。
【0038】
図4Bに示したように、画像データF4-L4には、h=0の領域からのライン反射光RL1が含まれている。従って、輝度分布マップMのF4-L4の領域には、ライン反射光RL1に対応する輝度データD11が計測されている。また、図4Cに示したように、画像データF5-L5には、ワークWの高さhの領域からのライン反射光RL2が含まれている。従って、輝度分布マップMのF5-L5の領域には、ライン反射光RL2に対応する輝度データD12が計測されている。一方、通常反射光RTは、全ての画像データF1-L1~F10-L10に含まれている。このため、図5(B)に示すように、輝度分布マップMの全領域において、通常反射光RTに対応する輝度データD2が計測されている。VB-VB線上では、ライン反射光RL2の輝度データD12が突出して高い輝度値を示している。輝度データD12が方形波ではなく三角波の形状となるのは、既述の通りライン光SLがガウス分布の光強度分布を有するからである。
【0039】
上述の輝度分布マップMに基づき、計測部43の高さ算出部432は、注目位置Nの高さデータ、つまり三次元データを、輝度算出部433は、注目位置Nの輝度データ、つまり二次元データを導出する。図6(A)~(E)は、輝度分布マップMからワークの二次元データおよび三次元データを導出する過程を説明するための図である。
【0040】
データ導出に際して画像配列部431は、輝度分布マップM上に、図6(A)に示すように、二次元データを取得する2D領域M1と、三次元データを取得する3D領域M2とを設定する。3D領域M2は、輝度分布マップMにおいてライン光SLに基づくワークWの高さ情報が現れる領域に設定され、2D領域M1は、その他の領域に設定される。図5(A)に例示する輝度分布マップMでは、高さ情報が現れるのは、画像データF4-L4~F10-L10の領域であるので、当該領域が3D領域M2に設定される。この場合、2D領域M1は、画像データF1-L1~F3-L3の領域となる。
【0041】
3D領域M2の範囲は、ROI設定部434による撮像素子41のROIの指定範囲により調整することができる。撮像素子41は、マトリクス配列された多数の画素を有し、これら画素群の二次元配列範囲が画像を取得可能な画像エリアとなる。ROI設定部434は、撮像素子41が取得する全画像エリアのうち使用する一部を指定するROI指定を行う。ワーク送り方向Fのレンジの広いROI指定を行えば、計測可能なワークWの高さレンジを拡張できる。ROI設定部434は、ワークWの種別に応じて、適宜な範囲を有するROI指定を行う。ROI指定に基づく2D領域M1および3D領域M2の設定値は、設定記憶部44に格納される。
【0042】
図6(B)に示すように、輝度算出部433は、2D領域M1に任意に設定したデータ取得ラインG1上において、所定数の輝度データを抽出する。データ取得ラインG1は、1ラインのみでも良いし、複数ラインでも良い。図6(C)は、データ取得ラインG1に沿って任意のピッチで抽出された輝度データを示すグラフである。通常反射光RTは、無指向性の通常照明光TLの反射光であるが、データ取得ラインG1上の輝度データには、ある程度の輝度値のバラツキが生じる。輝度算出部433は、抽出した輝度データ群の例えば平均値、最大値、あるいは中央値を求める処理を行って一つの輝度データを導出する。この輝度データが、注目位置Nの二次元データとなる。
【0043】
高さ算出部432は、図6(D)に示すように、3D領域M2において、ワークWの最高位置を相当する輝度データD12をx方向に横切るデータ取得ラインG2上において、所定数の輝度データを抽出する。図6(E)は、データ取得ラインG2に沿って任意のピッチで抽出された輝度データを示すグラフである。この輝度データの波形には、通常反射光RTの輝度成分で嵩上げされた輝度データD12のピーク値TDが現れる。ピーク値TDは、ワークWの高さhを正確に表す輝度データとなる。高さ算出部432は、例えば重心計算や位相計算によりピーク値TDを求め、輝度データD12の高さ位置とする。同様に、輝度データD11についてもピーク値を求め、h=0の高さ基準位置とする。このようにして得た輝度データD11、D12の各ピーク値に基づき、高さ算出部432は光切断法により注目位置Nの高さを求めることで、三次元データを取得する。
【0044】
[データ導出処理のフロー]
図7は、本実施形態のワーク計測装置1を用いたワークWの二次元データおよび三次元データの導出処理を示すフローチャートである。ワークWの計測の開始に際し、ROI設定部434が撮像素子41のROI指定を行う(ステップS1)。ワークWの高さが予め想定されている場合、このROI指定は上述の2D領域M1および3D領域M2の設定に繋がる。予め、設定記憶部44に2D領域M1および3D領域M2の範囲の設定を記憶させておき、ステップS1で前記設定を読み出すようにしても良い。
【0045】
次に、ワークWのスキャンが実行される(ステップS2)。スキャンに際し、制御部6の光源制御部62は、第1光源2および第2光源3を同時に点灯させて、ライン光SLおよび通常照明光TLをワークWに照射させる。モータ制御部63は、移動モータ5を動作させて、ワークWを所定速度でワーク送り方向Fへ移動させる。カメラ制御部61は、カメラ装置4を制御して、所定のカメラスケール単位でワークWのフレーム画像を連続的に撮像させる。取得されたフレーム画像データは、画像メモリ42に一時的に格納される(ステップS3)。
【0046】
その後、計測部43が画像メモリ42から画像データを読み出して、ワークWの計測データを導出する処理を実行する。先ず、計測部43は、ワークWに対して、注目位置Nを設定する(ステップS4)。注目位置Nは、ワークWの表面を細分化してn個設定される。次いで、画像配列部431が、カウンタをN=1に設定して、画像メモリ42内のフレーム画像の各々から、1番目の注目位置Nの画像データを抽出する(ステップS5)。この画像データは、例えば図4A図4Dに示した、画像データF3-L3~F6-L6である。さらに、画像配列部431は、抽出された画像データを時系列順に並べて、当該注目位置Nの輝度分布マップMを生成する(ステップS6)。輝度分布マップMの具体例は、図5(A)に示されている。
【0047】
続いて、高さ算出部432が、輝度分布マップMの3D領域M2から輝度データを読み取る(ステップS7)。3D領域M2は、図6(A)の輝度分布マップMに例示する通りであり、輝度データの読取は、図6(D)のデータ取得ラインG2に沿った輝度データの抽出に相当する。次に、高さ算出部432は、図6(E)に例示したように、抽出した輝度データの波形のピーク値TDを求めることで、ライン光SL(ライン反射光RL)の中心位置を求める処理を実行する(ステップS8)。これにより、ワークWの高さhの位置が特定される。そして、高さ算出部432は、h=0となる高さ基準位置を参照して、光切断法により注目位置Nの高さに相当する三次元データを導出する(ステップS9)。
【0048】
次に、輝度算出部433が、輝度分布マップMの2D領域M1から輝度データを読み取る(ステップS10)。3D領域M2は、図6(A)の輝度分布マップMに例示する通りであり、輝度データの読取は、図6(B)のデータ取得ラインG1に沿った輝度データの抽出に相当する。続いて輝度算出部433は、抽出した輝度データの平均値を求める等して、注目位置Nの輝度に相当する二次元データを導出する(ステップS11)。ステップS9およびステップS11で各々導出された三次元データおよび二次元データは、制御部6に転送され、データ記憶部64に格納される(ステップS12)。
【0049】
続いて、計測部43は、注目位置Nの処理個数を示すカウンタが、ステップS4で設定したn個に到達しているか否か、つまりN=nを満足するか否かを判定する(ステップS13)。N=nではない場合(ステップS13でNO)、計測部43は、N=N+1としてカウンタをインクリメントし(ステップS14)、ステップS5に戻って次の注目位置Nに対して同様の処理を実行する。一方、N=nである場合(ステップS13でYES)、計測部43は処理を終える。
【0050】
以上の通り、本実施形態のワーク計測装置1によれば、第1光源2のライン光SLをワークWに照射したライン反射光RLを撮像することで、光切断法により当該ワークWの三次元データを求めることができる。また、第2光源3の通常照明光TLをワークWに照射した通常反射光RTを撮像することで、当該ワークWの二次元データを求めることができる。制御部6は、ワークWを移動させつつ第1光源2および第2光源3を同時に点灯させた状態で、カメラ装置4に撮像動作を実行させる。このため、カメラ装置4は、二次元および三次元の計測データの双方を抽出可能なフレーム画像を取得できる。
【0051】
取得されたフレーム画像群から作成される注目位置Nの輝度分布マップMは、ライン反射光RLおよび通常反射光RTに基づく輝度情報であって、当該注目位置Nについての二次元および三次元情報を含む輝度分布情報となる。従って、輝度分布マップMから、注目位置Nの二次元データおよび三次元データを導出することができる。このように、本実施形態に係るワーク計測装置1によれば、ワークWの二次元データおよび三次元データを、一つのカメラ装置4を用いた一回のワークWのスキャン動作で取得できる。従って、作業性良く且つ装置を複雑化させることなくワークWを計測できる。
【0052】
[変形例]
図8(A)~(D)は、変形例に係る輝度分布マップMAからワークWの二次元データおよび三次元データを導出する過程を説明するための図である。変形例では、計測部43は、輝度分布マップMAにおいて3D領域が所定の領域幅よりも広い領域に設定されている場合、輝度分布マップMAの輝度平均値を算出して二次元データを求める例を示す。
【0053】
図8(A)に示すように、変形例に係る輝度分布マップMAにおいて3D領域のプロファイル方向(x方向)の範囲は、図6(A)の3D領域の範囲が広く設定されている。3D領域の範囲は、ROI設定部434がワーク送り方向Fに広いROI指定を行うことで拡張することができる。3D領域を拡張すると、ワークWの高さ計測のレンジが大きくなる。従って、高さ基準の輝度データD11に対し、輝度分布マップMA上で相当離間した位置に現れる輝度データD12Aを計測できる。つまり、より背の高いワークWの高さ計測を行うことが可能となる。
【0054】
3D領域の高さレンジが十分に大きく取られている輝度分布マップMAの場合、例えば3D領域のプロファイル方向の範囲が2D領域の2倍~5倍程度に設定されている場合、カメラ装置4により撮像される画像におけるライン光SL(ライン反射光RL)の成分は相対的に小さくなる。従って、輝度分布マップMAの輝度平均値は、二次元データに対応する輝度データに近似する。
【0055】
上記の知見に基づき変形例では、図8(B)に示すように、計測部43は輝度データD12をx方向に横切るデータ取得ラインG3に沿って、任意のピッチで輝度データを抽出する。図8(C)は、抽出された輝度データのx方向の分布を示すグラフである。輝度算出部433は、データ取得ラインG3に沿って抽出された複数の輝度データの輝度平均値を算出する。この輝度平均値を、ワークWの注目位置Nについて近似的に導出された二次元データと扱う。
【0056】
高さ算出部432は、同じくデータ取得ラインG3に沿って抽出された複数の輝度データを用い、図8(D)に示すような輝度データを示すグラフを作成する。そして高さ算出部432は、上述の実施形態と同様にして輝度データD12のピーク値TDを求めるとともに、光切断法により注目位置Nの高さを求めることで、三次元データを取得する。このような変形例によれば、一つのデータ取得ラインG3に沿った輝度データ抽出により二次元データおよび三次元データを導出できるので、計測作業を簡素化することができる。
【0057】
[上記実施形態に含まれる発明]
本発明の一局面に係るワーク計測装置は、計測対象のワークに対してライン光を照射する第1光源と、前記ワークに対して通常照明光を照射する第2光源と、前記ライン光および前記通常照明光が照射された前記ワークおよびその周辺の画像を取得可能な撮像部と、前記ワークを所定の送り方向に相対移動させる移動機構と、前記撮像部、前記第1光源、前記第2光源および前記移動機構の動作を制御する制御部と、前記撮像部が取得した画像に基づき、前記ワークについての二次元データおよび三次元データを求める計測部と、を備え、前記制御部は、前記移動機構により前記ワークを移動させつつ、前記第1光源および前記第2光源を同時に点灯させた状態で、前記撮像部に所定のカメラスケール単位で前記ワークの撮像動作を行わせ、前記計測部は、前記カメラスケール単位で順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出するとともに、抽出された画像データを時系列順に並べて当該注目位置の輝度分布マップを生成し、前記輝度分布マップに基づき、前記注目位置の二次元データおよび三次元データを導出する。
【0058】
本発明の他の局面に係るワーク計測方法は、計測対象のワークの二次元データおよび三次元データを取得するワーク計測方法であって、前記ワークを相対移動させつつ、ライン光および通常照明光を同時に前記ワークに照射した状態で、所定のカメラスケール単位で前記ワークの画像を取得し、前記カメラスケール単位で順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出するとともに、抽出された画像データを時系列順に並べて当該注目位置の輝度分布マップを生成し、前記輝度分布マップに基づき、前記注目位置の二次元データおよび三次元データを導出する。
【0059】
上記のワーク計測装置または計測方法によれば、第1光源のライン光をワークに照射した反射光を撮像部に撮像させることで、光切断法により当該ワークの三次元データを求めることができる。また、第2光源の通常照明光をワークに照射した反射光を撮像部に撮像させることで、当該ワークの二次元データを求めることができる。なお、通常照明光は、ワークに対して全方位から光線を照射可能な無指向性の照明光である。そして、制御部が第1光源および第2光源を同時に点灯させた状態で、撮像部に撮像動作を実行させる。このため、前記撮像部は、二次元および三次元の計測データを抽出可能な画像を、カメラスケール単位に沿った撮像毎に取得できる。
【0060】
さらに計測部は、ワークを移動させながら順次撮像された画像の各々から、前記ワークの注目位置に対応する画像データを抽出する。抽出された画像データを時系列順に並べることで、当該注目位置の輝度分布マップが生成される。この輝度分布マップは、前記ライン光および通常照明光の反射光に基づく輝度情報であって、ある一つの注目位置についての二次元および三次元情報を含む輝度分布情報となる。従って、前記輝度分布マップから、前記注目位置の二次元データおよび三次元データを導出することができる。このように、本発明に係るワーク計測装置または計測方法によれば、ワークの二次元データおよび三次元データを、一つの撮像部を用いた一回のワークのスキャン動作で取得することが可能である。従って、作業性良く且つ装置を複雑化させることなくワークを計測できる。
【0061】
上記のワーク計測装置において、前記計測部は、前記輝度分布マップにおいて、前記ライン光に基づく高さ情報が現れる領域を前記三次元データの取得する3D領域とし、他の領域を前記二次元データの取得する2D領域と設定することが望ましい。
【0062】
このワーク計測装置によれば、輝度分布マップにおいて高さ情報が現れる領域外に2D領域が設定されるので、二次元データおよび三次元データを確実に峻別して取得させることができる。
【0063】
上記のワーク計測装置において、前記計測部は、前記3D領域の情報に基づき光切断法により前記注目位置の高さを求めて前記三次元データを取得し、前記2D領域の輝度データに基づき前記注目位置の前記二次元データを取得することが望ましい。
【0064】
このワーク計測装置によれば、光切断法に基づき注目位置の三次元形状を求め、輝度データに基づき注目位置の色彩、模様などを求めることが可能となる。
【0065】
上記のワーク計測装置において、前記計測部は、前記輝度分布マップにおいて前記3D領域が所定の領域幅よりも広い領域に設定されている場合、当該輝度分布マップの輝度平均値を算出して前記二次元データを求めることが望ましい。
【0066】
輝度分布マップにおいて3D領域の高さレンジが十分に大きく取られている場合、撮像される画像におけるライン光の成分は相対的に小さくなる。従って、輝度分布マップの輝度平均値は、二次元データに対応する輝度データに近似する。上記のワーク計測装置によれば、二次元データの導出を簡素化することができる。
【0067】
上記のワーク計測装置において、前記撮像部は、画素がマトリクス配列された撮像素子を備え、前記計測部は、前記撮像素子が取得する全画像エリアのうち使用する一部を指定するROI指定が可能であり、前記3D領域は、ROI指定の範囲に基づき設定することができる。
【0068】
このワーク計測装置によれば、ワークの想定高さなどに応じて、ROI指定の範囲を適宜調製することで、的確にワークの三次元データを取得することができる。
【符号の説明】
【0069】
1 ワーク計測装置
2 第1光源
3 第2光源
4 カメラ装置(撮像部)
41 撮像素子
43 計測部
431 画像配列部
432 高さ算出部
433 輝度算出部
434 ROI設定部
5 移動モータ(移動機構)
6 制御部6
F ワーク送り方向
SL ライン光
TL 通常照明光
RL ライン反射光
RT 通常反射光
W ワーク
N 注目位置
M 輝度分布マップ
図1
図2
図3
図4A
図4B
図4C
図4D
図5
図6
図7
図8