特開 2024-3389 ３次元計測装置、部品実装装置、及び３次元計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024003389

(43)【公開日】2024-01-15

(54)【発明の名称】３次元計測装置、部品実装装置、及び３次元計測方法

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240105BHJP

   H05K 13/04 20060101ALI20240105BHJP

   G01B 11/00 20060101ALI20240105BHJP

【ＦＩ】

G01B11/25 H

H05K13/04 C

G01B11/00 H

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022102496

(22)【出願日】2022-06-27

(71)【出願人】

【識別番号】000003399

【氏名又は名称】ＪＵＫＩ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山田 友美

(72)【発明者】

【氏名】小倉 豊

(72)【発明者】

【氏名】山田 和範

【テーマコード（参考）】

2F065

5E353

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065CC01

2F065CC28

2F065DD06

2F065HH06

2F065JJ03

2F065JJ26

2F065LL62

2F065PP22

2F065PP25

2F065QQ25

2F065QQ31

2F065RR08

5E353BB06

5E353CC08

5E353HH51

5E353JJ08

5E353JJ50

5E353KK01

5E353KK11

5E353KK21

5E353QQ01

(57)【要約】

【課題】部品の３次元形状の計測処理を高速化すること。
【解決手段】３次元計測装置は、基板に実装される部品のモデルの３次元点群データを示すモデル点群データを生成するモデル点群データ生成部と、３次元センサにより複数の視点のそれぞれから検出された部品の複数の検出データに基づいて、部品の３次元点群データを示す検出点群データを生成する検出点群データ生成部と、検出点群データをモデル点群データに位置合わせするためのオフセットデータを複数の検出点群データのそれぞれについて算出するオフセットデータ算出部と、オフセットデータに基づいてオフセットされた複数の検出点群データを統合して、部品の統合点群データを生成する統合点群データ生成部と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

基板に実装される部品のモデルの３次元点群データを示すモデル点群データを生成するモデル点群データ生成部と、
３次元センサにより複数の視点のそれぞれから検出された前記部品の複数の検出データに基づいて、前記部品の３次元点群データを示す検出点群データを生成する検出点群データ生成部と、
前記検出点群データを前記モデル点群データに位置合わせするためのオフセットデータを複数の前記検出点群データのそれぞれについて算出するオフセットデータ算出部と、
前記オフセットデータに基づいてオフセットされた複数の前記検出点群データを統合して、前記部品の統合点群データを生成する統合点群データ生成部と、を備える、
３次元計測装置。

【請求項2】

前記部品のモデルを示すモデルデータを記憶するモデルデータ記憶部を備え、
前記モデル点群データ生成部は、前記モデルデータに基づいて前記モデル点群データを生成する、
請求項１に記載の３次元計測装置。

【請求項3】

前記部品は、ボディ部と、前記ボディ部から突出する複数の突出部とを有し、
前記統合点群データは、前記突出部の曲がり量及び前記突出部の先端部の座標を含む、
請求項１に記載の３次元計測装置。

【請求項4】

基板に実装される部品を保持した状態で駆動するロボットマニピュレータと、
前記部品の３次元形状を計測する請求項１に記載の３次元計測装置と、
前記３次元計測装置の計測処理結果に基づいて、前記部品が基板に実装されるように、前記ロボットマニピュレータを制御する制御装置と、を備える、
部品実装装置。

【請求項5】

基板に実装される部品のモデルの３次元点群データを示すモデル点群データを生成することと、
３次元センサにより複数の視点のそれぞれから検出された前記部品の複数の検出データに基づいて、前記部品の３次元点群データを示す検出点群データを生成することと、
前記検出点群データを前記モデル点群データに位置合わせするためのオフセットデータを複数の前記検出点群データのそれぞれについて算出することと、
前記オフセットデータに基づいてオフセットされた複数の前記検出点群データを統合して、前記部品の統合点群データを生成することと、を含む、
３次元計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示する技術は、３次元計測装置、部品実装装置、及び３次元計測方法に関する。

【背景技術】

【0002】

部品実装装置に係る技術分野において、特許文献１に開示されているような、３次元計測装置を備える電子部品実装装置が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１４４１３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

部品実装装置を用いて電子機器を効率良く生産するために、部品の３次元形状の計測処理を高速化することが要望される。

【課題を解決するための手段】

【0005】

本明細書は、３次元計測装置を開示する。３次元計測装置は、基板に実装される部品のモデルの３次元点群データを示すモデル点群データを生成するモデル点群データ生成部と、３次元センサにより複数の視点のそれぞれから検出された部品の複数の検出データに基づいて、部品の３次元点群データを示す検出点群データを生成する検出点群データ生成部と、検出点群データをモデル点群データに位置合わせするためのオフセットデータを複数の検出点群データのそれぞれについて算出するオフセットデータ算出部と、オフセットデータに基づいてオフセットされた複数の検出点群データを統合して、部品の統合点群データを生成する統合点群データ生成部と、を備える。

【発明の効果】

【0006】

本明細書で開示する技術によれば、部品の３次元形状の計測処理が高速化される。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る部品実装装置を示す斜視図である。

【図2】図２は、実施形態に係る部品実装装置を示す側面図である。

【図3】図３は、実施形態に係るロボットハンドを示す斜視図である。

【図4】図４は、実施形態に係るロボットハンドに保持された部品を示す側面図である。

【図5】図５は、実施形態に係る部品を下方から見た図である。

【図6】図６は、実施形態に係る３次元計測装置を示す斜視図である。

【図7】図７は、実施形態に係るロボットマニピュレータの動作を説明するための図である。

【図8】図８は、実施形態に係る部品実装装置を示すブロック図である。

【図9】図９は、実施形態に係る演算装置の画像処理方法を示すフローチャートである。

【図10】図１０は、実施形態に係るモデル点群データの一例を模式的に示す図である。

【図11】図１１は、実施形態に係る検出点群データの一例を模式的に示す図である。

【図12】図１２は、実施形態に係るオフセットデータを説明するための図である。

【図13】図１３は、実施形態に係る統合点群データの一例を模式的に示す図である。

【図14】図１４は、実施形態に係るリード部品のリードを基板の孔に挿入する動作を説明するための図である。

【図15】図１５は、実施形態に係るリード部品のリードを基板の孔に挿入する動作を説明するための図である。

【図16】図１６は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0008】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0009】

実施形態においては、部品実装装置１にローカル座標系を設定し、ローカル座標系を参照しながら各部の位置関係について説明する。ローカル座標系として、ＸＹＺ直交座標系を設定する。所定面内においてＸ軸に平行な方向をＸ軸方向とする。所定面内においてＸ軸と直交するＹ軸に平行な方向をＹ軸方向とする。Ｘ軸及びＹ軸のそれぞれと直交するＺ軸に平行な方向をＺ軸方向とする。Ｘ軸を中心とする回転方向又は傾斜方向をθＸ方向とする。Ｙ軸を中心とする回転方向又は傾斜方向をθＹ方向とする。Ｚ軸を中心とする回転方向又は傾斜方向をθＺ方向とする。所定面は、ＸＹ平面である。Ｚ軸は、所定面と直交する。実施形態において、所定面は、水平面に平行であることとする。Ｚ軸方向は、鉛直方向である。なお、所定面が水平面に対して傾斜していてもよい。

【0010】

［部品実装装置］
図１は、実施形態に係る部品実装装置１を示す斜視図である。図２は、実施形態に係る部品実装装置１を示す側面図である。部品実装装置１は、部品１００を基板２００に実装する。

【0011】

図１及び図２に示すように、部品実装装置１は、基台２と、部品供給部材３と、基板支持部材４と、ロボットハンド５と、ロボットマニピュレータ６と、３次元計測装置７とを備える。

【0012】

基台２は、部品供給部材３、基板支持部材４、ロボットマニピュレータ６、及び３次元計測装置７のそれぞれを支持する。

【0013】

部品供給部材３は、部品１００を供給する。実施形態において、部品供給部材３は、部品１００が配置されるトレイを含む。複数の部品１００が部品供給部材３に配置される。複数の部品１００の種類は、同じでもよいし異なってもよい。

【0014】

基板支持部材４は、部品１００が実装される基板２００を支持する。基板支持部材４は、基板２００の上面とＸＹ平面とが平行になるように、基板２００を支持する。

【0015】

ロボットハンド５は、部品１００を保持する。ロボットハンド５は、ロボットマニピュレータ６の先端部に設けられる。

【0016】

ロボットマニピュレータ６は、ロボットハンド５を移動する。ロボットマニピュレータ６は、ロボットハンド５を介して部品１００を保持する。ロボットマニピュレータ６は、基板２００に実装される部品１００を保持した状態で駆動する。ロボットマニピュレータ６は、多関節ロボットを含む。実施形態において、ロボットマニピュレータ６は、垂直多関節ロボットである。なお、ロボットマニピュレータ６は、水平多関節ロボットでもよい。ロボットマニピュレータ６は、基台２に固定されるベース部材６Ａと、ベース部材６Ａに支持される旋回部材６Ｂと、旋回部材６Ｂに連結される第１アーム６Ｃと、第１アーム６Ｃに連結される第２アーム６Ｄと、第２アーム６Ｄに連結される第３アーム６Ｅとを有する。

【0017】

旋回部材６Ｂは、旋回軸ＴＸを中心に旋回可能にベース部材６Ａに支持される。旋回軸ＴＸは、Ｚ軸に平行である。第１アーム６Ｃは、第１回動軸ＡＸ１を中心に回動可能に旋回部材６Ｂに連結される。第１回動軸ＡＸ１は、Ｚ軸と直交する。第２アーム６Ｄは、第２回動軸ＡＸ２を中心に回動可能に第１アーム６Ｃに連結される。第２回動軸ＡＸ２は、第１回動軸ＡＸ１に平行である。第３アーム６Ｅは、第３回動軸ＡＸ３を中心に回動可能に第２アーム６Ｄに連結される。第３回動軸ＡＸ３は、第２回動軸ＡＸ２に平行である。ロボットハンド５は、第３アーム６Ｅに取り付けられる。

【0018】

ロボットマニピュレータ６は、旋回部材６Ｂを旋回させる旋回アクチュエータと、第１アーム６Ｃを回動させる第１回動アクチュエータと、第２アーム６Ｄを回動させる第２回動アクチュエータと、第３アーム６Ｅを回動させる第３回動アクチュエータとを有する。

【0019】

３次元計測装置７は、ロボットハンド５を介してロボットマニピュレータ６に保持された部品１００を計測する。３次元計測装置７は、位相シフト法に基づいて、部品１００の３次元形状を計測する。また、３次元計測装置７は、位相シフト法に基づいて、ローカル座標系における部品１００の位置及び角度を検出する。

【0020】

［ロボットハンド］
図３は、実施形態に係るロボットハンド５を示す斜視図である。ロボットハンド５は、第３アーム６Ｅに取り付けられる連結部材５Ａと、連結部材５Ａに支持される回転部材５Ｂと、回転部材５Ｂに支持される一対の移動部材５Ｃとを有する。

【0021】

回転部材５Ｂは、回転軸ＲＸを中心に回転可能に連結部材５Ａに支持される。回転軸ＲＸは、第３回動軸ＡＸ３と直交する。一対の移動部材５Ｃは、相互に接近する方向及び離隔する方向に移動する。移動部材５Ｃの下端部にグリップ部５Ｄが設けられる。一対のグリップ部５Ｄは、相互に接近及び離隔する。

【0022】

ロボットハンド５は、回転部材５Ｂを回転させる回転アクチュエータと、一対の移動部材５Ｃを相互に接近又は離隔させるグリップアクチュエータとを有する。

【0023】

一対のグリップ部５Ｄの間に部品１００が配置された状態で、一対のグリップ部５Ｄが相互に接近することにより、部品１００がグリップ部５Ｄに保持される。一対のグリップ部５Ｄが相互に離隔することにより、グリップ部５Ｄから部品１００が解放される。

【0024】

一方の移動部材５Ｃに力覚センサ８が配置される。力覚センサ８は、グリップ部５Ｄに掛かる負荷を検出することができる。

【0025】

［部品］
図４は、実施形態に係るロボットハンド５に保持された部品１００を示す側面図である。図５は、実施形態に係る部品１００を下方から見た図である。

【0026】

部品１００は、ボディ部１０１と、ボディ部１０１から突出する複数のリード部１１０とを有する。

【0027】

ボディ部１０１は、合成樹脂製のハウジングを含む。ボディ部１０１の内部空間に、例えばコイルのような素子が配置される。リード部１１０は、ボディ部１０１から突出する金属製の突出部である。リード部１１０は、例えばボディ部１０１の内部空間に配置されている素子に接続される。

【0028】

リード部１１０は、ボディ部１０１の下面から下方に突出する。部品１００が基板２００に実装された状態で、ボディ部１０１の下面と基板２００の上面とが対向する。

【0029】

ロボットハンド５は、部品１００のボディ部１０１を保持する。一対のグリップ部５Ｄは、ボディ部１０１を挟むことによって部品１００を保持する。

【0030】

［３次元計測装置］
図６は、実施形態に係る３次元計測装置７を示す斜視図である。図６に示すように、３次元計測装置７は、ボディ部１０１がロボットハンド５に保持された状態で、部品１００の３次元形状を計測する。

【0031】

３次元計測装置７は、投影装置７Ａと、撮像装置７Ｂと、演算装置７Ｃとを有する。実施形態において、投影装置７Ａ及び撮像装置７Ｂのそれぞれは、ハウジング７Ｄに収容される。投影装置７Ａ及び撮像装置７Ｂのそれぞれは、ハウジング７Ｄに固定される。ハウジング７Ｄの上端部の開口に透明部材７Ｅが配置される。透明部材７Ｅとして、ガラス板が例示される。

【0032】

投影装置７Ａは、ボディ部１０１がロボットハンド５に保持された状態で、部品１００に縞パターン光を照射する。投影装置７Ａは、光源と、光源から射出された光を光変調して縞パターン光を生成する光変調素子と、光変調素子で生成された縞パターン光を射出する射出光学系とを有する。光変調素子として、デジタルミラーデバイス(ＤＭＤ：Digital Mirror Device)、透過型の液晶パネル、又は反射型の液晶パネルが例示される。

【0033】

撮像装置７Ｂは、縞パターン光が照射された部品１００を所定の視点から撮像する。撮像装置７Ｂの視点とは、部品１００に対する撮像装置７Ｂの相対的な撮像位置及び撮像角度をいう。撮像装置７Ｂは、部品１００で反射した縞パターン光を結像する結像光学系と、結像光学系を介して部品１００の画像データを取得する撮像素子とを有する。撮像素子として、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）又はＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）が例示される。

【0034】

実施形態において、撮像装置７Ｂは、部品１００を検出する３次元センサとして機能する。撮像装置７Ｂにより撮像された部品１００の撮像データは、３次元センサにより検出された部品１００の検出データとして機能する。

【0035】

演算装置７Ｃは、撮像装置７Ｂに撮像された部品１００の撮像データに基づいて、部品１００の３次元形状の計測処理を実施する。演算装置７Ｃは、位相シフト法に基づいて、部品１００の３次元形状の計測処理を実施する。演算装置７Ｃの計測処理は、撮像装置７Ｂに撮像された部品１００の撮像データの画像処理を含む。演算装置７Ｃは、コンピュータシステムを含む。演算装置７Ｃは、ＣＰＵ（Central Processing Unit）のようなプロセッサ、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）のようなメモリと、信号及びデータを入出力可能な入出力回路を含む入出力インターフェースとを有する。

【0036】

投影装置７Ａは、例えば正弦波状の明度分布の縞パターン光を位相シフトさせながら部品１００に照射する。ロボットハンド５に保持された部品１００は、透明部材７Ｅの上方に配置される。投影装置７Ａから射出された縞パターン光は、透明部材７Ｅを介して部品１００に照射される。

【0037】

撮像装置７Ｂは、縞パターン光が照射された部品１００を撮像する。撮像装置７Ｂは、透明部材７Ｅを介して部品１００を撮像する。撮像装置７Ｂは、部品１００よりも下方から部品１００を撮像する。撮像装置７Ｂの視点は、部品１００の下方に規定される。ロボットマニピュレータ６が作動して、ロボットハンド５に保持されている部品１００の位置及び角度が変化することにより、部品１００と撮像装置７Ｂとの相対位置及び相対角度が変化する。部品１００と撮像装置７Ｂとの相対位置及び相対角度が変化することにより、部品１００に対する撮像装置７Ｂの相対的な視点が変化する。

【0038】

演算装置７Ｃは、撮像装置７Ｂに撮像された部品１００の撮像データを位相シフト法に基づいて画像処理して、リード部１１０の３次元データを算出する。リード部１１０の３次元データは、ローカル座標系で規定される３次元空間におけるリード部１１０の曲がり量及びリード部１１０の先端部の座標を含む。ボディ部１０１に対するリード部１１０の設計値上の角度を理想角度とし、ボディ部１０１に対するリード部１１０の実際の角度を実際角度とした場合、リード部１１０の曲がり量とは、理想角度と実際角度との差をいう。

【0039】

［ロボットマニピュレータの動作］
図７は、実施形態に係るロボットマニピュレータ６の動作を説明するための図である。部品実装装置１は、ロボットマニピュレータ６を制御する制御装置９を備える。制御装置９は、コンピュータシステムを含む。図７に示すように、基板２００には、部品１００のリード部１１０が挿入される孔２１０が設けられる。制御装置９は、３次元計測装置７の演算装置７Ｃの画像処理結果に基づいて、部品１００のリード部１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。

【0040】

［演算装置］
図８は、実施形態に係る部品実装装置１を示すブロック図である。図８に示すように、部品実装装置１は、演算装置７Ｃと、制御装置９を有する。

【0041】

演算装置７Ｃは、モデルデータ記憶部１１と、モデル点群データ生成部１２と、検出点群データ生成部１３と、オフセットデータ算出部１４と、統合点群データ生成部１５と、出力部１６とを有する。

【0042】

モデルデータ記憶部１１は、部品１００のモデルを示すモデルデータを記憶する。部品１００のモデルデータは、部品１００の設計データを含む。部品１００の設計データは、３次元ＣＡＤ（Computer Aided Design）データを含む。

【0043】

部品１００のモデルデータは、既知データである。部品１００のモデルデータは、モデルデータ記憶部１１に予め記憶される。部品１００のモデルデータは、リード部１１０の長さ、ボディ部１０１とリード部１１０との相対位置、ボディ部１０１に対するリード部１１０の角度（理想角度）、及び複数のリード部１１０の間隔を含む。

【0044】

なお、部品１００のモデルデータは、設計データでなくてもよい。設計値上の形状である理想形状及び設計値上の寸法である理想寸法の部品１００が３次元計測装置７により計測された場合、理想形状及び理想寸法の部品１００の３次元データを部品１００のモデルデータとしてもよい。

【0045】

モデル点群データ生成部１２は、モデルデータ記憶部１１に記憶されている部品１００のモデルデータに基づいて、部品１００のモデルの３次元点群データを示すモデル点群データＤａを生成する。モデル点群データＤａは、部品１００のモデルの表面の３次元形状を示す。モデル点群データＤａは、部品１００のモデルの表面における３次元計測装置７による複数の計測点の集合体である。複数の計測点のそれぞれの位置は、Ｘ座標、Ｙ座標、及びＺ座標によって規定される。

【0046】

検出点群データ生成部１３は、撮像装置７Ｂにより複数の視点のそれぞれから撮像された部品１００の複数の撮像データに基づいて、部品１００の３次元点群データを示す検出点群データＤｂを生成する。

【0047】

実施形態において、検出点群データ生成部１３は、撮像装置７Ｂから部品１００の撮像データを取得する。検出点群データ生成部１３は、取得した部品１００の撮像データを位相シフト法に基づいて演算処理して、部品１００の３次元画像データを生成する。検出点群データ生成部１３は、生成した３次元画像データを３次元点群データである検出点群データＤｂに変換する。検出点群データＤｂは、部品１００の表面の３次元形状を示す。検出点群データＤｂは、部品１００の表面における３次元計測装置７による複数の計測点の集合体である。複数の計測点のそれぞれの位置は、Ｘ座標、Ｙ座標、及びＺ座標によって規定される。

【0048】

実施形態において、制御装置９は、部品１００が複数の視点のそれぞれから撮像装置７Ｂに撮像されるように、ロボットマニピュレータ６を制御する。検出点群データ生成部１３は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の視点のそれぞれから見た部品１００の複数の検出点群データＤｂを生成する。

【0049】

オフセットデータ算出部１４は、規定のアルゴリズムに基づいて、検出点群データＤｂをモデル点群データＤａに位置合わせするためのオフセットデータＤｆを複数の検出点群データＤｂのそれぞれについて算出する。オフセットデータＤｆは、検出点群データＤｂをモデル点群データＤａに位置合わせするための、検出点群データＤｂのＸ軸方向の移動量Δｘ、検出点群データＤｂのＹ軸方向の移動量Δｙ、検出点群データＤｂのＺ軸方向の移動量Δｚ、検出点群データＤｂのθＸ方向の回転量Δθｘ、検出点群データＤｂのθＹ方向の回転量Δθｙ、検出点群データＤｂの及びθＺ方向の回転量Δθｚを含む。

【0050】

規定のアルゴリズムとして、ＩＣＰ（Iterative Closest Point）マッチングアルゴリズムが例示される。オフセットデータ算出部１４は、ＩＣＰマッチングアルゴリズムのような既存のアルゴリズムに基づいて、検出点群データＤｂをモデル点群データＤａに位置合わせするためのオフセットデータＤｆを複数の検出点群データＤｂのそれぞれについて算出する。

【0051】

統合点群データ生成部１５は、オフセットデータＤｆに基づいてオフセットされた複数の検出点群データＤｂを統合して、部品１００の統合点群データＤｃを生成する。統合点群データＤｃは、部品１００の３次元点群データである。統合点群データ生成部１５は、複数の検出点群データＤｂのそれぞれがモデル点群データＤａに合致するように、複数の検出点群データＤｂのそれぞれとモデル点群データＤａとを３次元空間で位置合わせして、統合点群データＤｃを生成する。

【0052】

出力部１６は、統合点群データ生成部１５により生成された部品１００の統合点群データＤｃを制御装置９に出力する。演算装置７Ｃの計測処理結果は、統合点群データ生成部１５により算出されたリード部１１０の統合点群データＤｃを含む。リード部１１０の統合点群データＤｃは、リード部１１０の曲がり量及びリード部１１０の先端部の座標を含む。制御装置９は、リード部１１０の統合点群データＤｃに基づいて、リード部１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。

【0053】

［画像処理方法］
図９は、実施形態に係る演算装置７Ｃの画像処理方法を示すフローチャートである。部品１００を基板２００に実装するために、制御装置９は、ロボットハンド５が部品供給部材３に接近するように、ロボットマニピュレータ６を制御する。部品供給部材３に移動したロボットハンド５は、部品供給部材３に配置されている部品１００のボディ部１０１を保持する。部品１００のボディ部１０１がロボットハンド５に保持された後、制御装置９は、ロボットハンド５に保持された部品１００が３次元計測装置７に計測されるように、ロボットマニピュレータ６を制御する。すなわち、制御装置９は、図６を参照して説明したように、ロボットハンド５に保持された部品１００が３次元計測装置７の上方に配置されるように、ロボットマニピュレータ６を制御する。

【0054】

実施形態において、制御装置９は、部品１００が複数の視点のそれぞれから撮像装置７Ｂに撮像されるように、ロボットマニピュレータ６を制御する。すなわち、制御装置９は、３次元計測装置７の上方において、ロボットハンド５に保持された部品１００の位置及び角度が変化するように、ロボットマニピュレータ６を制御する。撮像装置７Ｂは、異なる複数の視点のそれぞれから部品１００を撮像する。

【0055】

モデル点群データ生成部１２は、モデルデータ記憶部１１に記憶されている部品１００のモデルデータに基づいて、モデル点群データＤａを生成する（ステップＳ１）。

【0056】

図１０は、実施形態に係るモデル点群データＤａの一例を模式的に示す図である。図１０に示すように、モデル点群データＤａにおいて、計測点は、ボディ部１０１の表面の全部及びリード部１１０の表面の全部に設けられる。モデル点群データＤａにおいて、計測点に欠損は存在しない。モデル点群データＤａにおいて、計測点は、理想的に配置される。

【0057】

検出点群データ生成部１３は、撮像装置７Ｂにより複数の視点のそれぞれから撮像された部品１００の複数の撮像データを取得する。検出点群データ生成部１３は、複数の視点のそれぞれから撮像された部品１００の複数の撮像データに基づいて、複数の視点のそれぞれから見た部品１００の検出点群データＤｂを生成する（ステップＳ２）。

【0058】

図１１は、実施形態に係る検出点群データＤｂの一例を模式的に示す図である。複数の視点から部品１００が撮像された場合、検出点群データ生成部１３は、複数の視点のそれぞれから見た部品１００の複数の検出点群データＤｂを生成する。例えば、３つの視点から部品１００が撮像された場合、図１１に示すように、検出点群データ生成部１３は、第１の視点から見た部品１００の検出点群データＤｂ１と、第２の視点から見た部品１００の検出点群データＤｂ２と、第３の視点から見た部品１００の検出点群データＤｂ３とを生成する。

【0059】

部品１００に対する撮像装置７Ｂの相対的な撮像位置及び撮像角度により、撮像装置７Ｂは、部品１００の全部を撮像できない可能性がある。すなわち、撮像装置７Ｂの視点によっては、部品１００に死角が生じて、撮像装置７Ｂで撮像できない範囲が部品１００に生じる可能性がある。図１１に示すように、検出点群データＤｂにおいて、計測点がボディ部１０１の表面の少なくとも一部に設けられない場合がある。また、検出点群データＤｂにおいて、計測点がリード部１１０の表面の少なくとも一部に設けられない場合がある。すなわち、検出点群データＤｂにおいて、計測点に欠損が生じる可能性がある。

【0060】

なお、図１１に示す検出点群データＤｂは、一例である。２つの視点のそれぞれから見た２つの検出点群データＤｂが生成されてもよいし、４つ以上の任意の複数の視点のそれぞれから見た複数の検出点群データＤｂが生成されてもよい。

【0061】

オフセットデータ算出部１４は、規定のアルゴリズムに基づいて、検出点群データＤｂをモデル点群データＤａに位置合わせするためのオフセットデータＤｆを複数の検出点群データＤｂのそれぞれについて算出する（ステップＳ３）。

【0062】

図１２は、実施形態に係るオフセットデータＤｆを説明するための図である。図１２に示すように、オフセットデータＤｆは、検出点群データＤｂをモデル点群データＤａに位置合わせするための、検出点群データＤｂのＸ軸方向の移動量Δｘ、検出点群データＤｂのＹ軸方向の移動量Δｙ、検出点群データＤｂのＺ軸方向の移動量Δｚ、検出点群データＤｂのθＸ方向の回転量Δθｘ、検出点群データＤｂのθＹ方向の回転量Δθｙ、検出点群データＤｂの及びθＺ方向の回転量Δθｚを含む。ローカル座標系におけるモデル点群データＤａの位置及び角度は、基準位置及び基準角度に予め定められている。ローカル座標系における検出点群データＤｂの位置及び角度は、例えばロボットマニピュレータ６の駆動量に基づいて算出可能である。したがって、オフセットデータ算出部１４は、ローカル座標系におけるモデル点群データＤａの位置及び角度と、ローカル座標系における検出点群データＤｂの位置及び角度とに基づいて、検出点群データＤｂをモデル点群データＤａに位置合わせするためのオフセットデータＤｆを算出することができる。

【0063】

オフセットデータ算出部１４は、部品１００の特徴部に基づいて、オフセットデータＤｆを算出する。部品１００の特徴部として、ボディ部１０１の角部、又はボディ部１０１とリード部１１０との境界部が例示される。オフセットデータ算出部１４は、モデル点群データＤａの特徴部と検出点群データＤｂの特徴部とが位置合わせされるように、オフセットデータＤｆを算出する。

【0064】

なお、図１２には、第１の視点から見た部品１００の検出点群データＤｂ１をモデル点群データＤａに位置合わせするためのオフセットデータＤｆが示されている。オフセットデータ算出部１４は、ステップＳ２において生成された複数の検出点群データＤｂのそれぞれについてオフセットデータＤｆを生成する。

【0065】

統合点群データ生成部１５は、オフセットデータＤｆに基づいてオフセットされた複数の検出点群データＤｂを統合して、部品１００の統合点群データＤｃを生成する。すなわち、統合点群データ生成部１５は、ステップＳ２において生成された複数の検出点群データＤｂのそれぞれを、ステップＳ３において算出されたオフセットデータＤｆに基づいてオフセットして、複数の検出点群データＤｂを統合する（ステップＳ４）。

【0066】

図１３は、実施形態に係る統合点群データＤｃの一例を模式的に示す図である。ＩＣＰマッチングアルゴリズムのような既存のアルゴリズムに基づいて、複数の検出点群データＤｂが統合されることにより、統合点群データＤｃが生成される。図１１を参照して説明したように、検出点群データＤｂにおいて計測点に欠損が生じても、複数の検出点群データＤｂが統合されることにより、計測点の欠損が複数の検出点群データＤｂで相互に補われる。これにより、図１３に示すように、統合点群データＤｃにおいて、計測点は、ボディ部１０１の表面の全部及びリード部１１０の表面の全部に設けられる。統合点群データＤｃにおいて、計測点に欠損は実質的に存在しない。

【0067】

なお、図１３に示す統合点群データＤｃは、部品１００の一方のリード部１１０が僅かに曲がっている例を示す。

【0068】

出力部１６は、ステップＳ４において生成された統合点群データＤｃを制御装置９に出力する。統合点群データＤｃは、３次元計測装置７の計測処理結果に相当する（ステップＳ５）。

【0069】

制御装置９は、出力部１６から出力された統合点群データＤｃに基づいて、部品１００が基板２００に実装されるように、ロボットマニピュレータ６を制御する。統合点群データＤｃは、リード部１１０の曲がり量及びリード部１１０の先端部の座標を含む。制御装置９は、統合点群データＤｃに基づいて、リード部１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。

【0070】

［リード部の挿入］
図１４及び図１５のそれぞれは、実施形態に係る部品１００のリード部１１０を基板２００の孔２１０に挿入する動作を説明するための図である。図１４及び図１５に示す例において、部品１００は、２本のリード部１１０を有する。リード部１１０は、第１リード部１１１と、第２リード部１１２とを含む。基板２００の孔２１０は、第１リード部１１１が挿入される第１孔２１１と、第２リード部１１２が挿入される第２孔２１２とを含む。

【0071】

実施形態において、ロボットマニピュレータ６は、多関節ロボットである。そのため、ロボットマニピュレータ６は、基板２００の上面に対して部品１００を傾斜させることができる。ロボットマニピュレータ６は、基板２００の上面とロボットハンド５に保持されているボディ部１０１の下面とがなす角度を任意に調整することができる。

【0072】

図１４に示すように、例えば第２リード部１１２が曲がっている場合、制御装置９は、演算装置７Ｃの画像処理結果に基づいて、第１リード部１１１が第１孔２１１に挿入される前に、第２リード部１１２が第２孔２１２に挿入されるように、ロボットマニピュレータ６を制御する。ロボットマニピュレータ６は、部品１００を傾斜させながら、第２リード部１１２を第２孔２１２に挿入する。

【0073】

第２リード部１１２が第２孔２１２に挿入された後、制御装置９は、第１リード部１１１の先端部が基板２００の第１孔２１１に対向するまで、部品１００を－Ｘ方向に移動させる。これにより、第２リード部１１２が矯正される。第１リード部１１１が基板２００の第１孔２１１に対向するまで第２リード部１１２が矯正された後、図１５に示すように、制御装置９は、第２リード部１１２が第２孔２１２に配置された状態で、第１リード部１１１が第１孔２１１に挿入されるように、ロボットマニピュレータ６を制御する。

【0074】

［コンピュータシステム］
図１６は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の演算装置７Ｃ及び制御装置９のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。演算装置７Ｃ及び制御装置９のそれぞれの機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0075】

コンピュータプログラムは、上述の実施形態に従って、コンピュータシステム１０００に、基板２００に実装される部品１００のモデルの３次元点群データを示すモデル点群データＤａを生成することと、３次元センサである撮像装置７Ｂにより複数の視点のそれぞれから検出（撮像）された部品１００の複数の検出データ（撮像データ）に基づいて、部品１００の３次元点群データを示す検出点群データＤｂを生成することと、検出点群データＤｂをモデル点群データＤａに位置合わせするためのオフセットデータＤｆを複数の検出点群データＤｂのそれぞれについて算出することと、オフセットデータＤｆに基づいてオフセットされた複数の検出点群データＤｂを統合して、部品１００の統合点群データＤｃを生成することと、を実行させることができる。

【0076】

［効果］
以上説明したように、３次元計測装置７は、基板２００に実装される部品１００のモデルの３次元点群データを示すモデル点群データＤａを生成するモデル点群データ生成部１２と、３次元センサである撮像装置７Ｂにより複数の視点のそれぞれから検出（撮像）された部品１００の複数の検出データ（撮像データ）に基づいて、部品１００の３次元点群データを示す検出点群データＤｂを生成する検出点群データ生成部１３と、検出点群データＤｂをモデル点群データＤａに位置合わせするためのオフセットデータＤｆを複数の検出点群データＤｂのそれぞれについて算出するオフセットデータ算出部１４と、オフセットデータＤｆに基づいてオフセットされた複数の検出点群データＤｂを統合して、部品１００の統合点群データＤｃを生成する統合点群データ生成部と、を備える。

【0077】

実施形態によれば、複数の検出点群データＤｂを統合するときに、モデル点群データＤａが参照される。モデル点群データＤａを基準として複数の検出点群データＤｂのそれぞれが統合される。モデル点群データＤａが無い場合、複数の検出点群データＤｂの統合のために、複数の検出点群データＤｂのそれぞれにおいて相互に重複する共通部分が必要になる。そのため、多数の検出点群データＤｂを取得する必要がある。多数の検出点群データＤｂを取得するためには、相互に異なる多数の視点で部品１００を撮像しなければならない。すなわち、撮像装置７Ｂによる撮像回数を増やさなければならない。その結果、部品１００の３次元形状の計測処理に時間を要してしまう。計測処理に要する時間の短縮のために、検出点群データＤｂの数を少なくしてしまうと、相互に重複する共通部分が少なくなってしまうため、複数の検出点群データＤｂを統合することが困難となる。

【0078】

実施形態においては、モデル点群データＤａを基準として複数の検出点群データＤｂのそれぞれが統合される。そのため、検出点群データＤｂの数が少なくても、検出点群データＤｂを統合して統合点群データＤｃを生成することができる。したがって、部品１００の３次元形状の計測処理が高速化される。

【0079】

３次元計測装置７は、部品１００のモデルを示すモデルデータを記憶するモデルデータ記憶部１１を備える。モデル点群データ生成部１２は、モデルデータに基づいてモデル点群データＤａを生成する。モデルデータが予め定められているので、モデル点群データ生成部１２は、モデル点群データＤａを適正に生成することができる。

【0080】

部品１００は、ボディ部１０１と、ボディ部１０１から突出する複数の突出部であるリード部１１０とを有する。統合点群データＤｃは、リード部１１０の曲がり量及びリード部１１０の先端部の座標を含む。これにより、制御装置９は、統合点群データＤｃに基づいて、部品１００のリード部１１０を基板２００の孔２１０に挿入することができる。

【0081】

［その他の実施形態］
上述の実施形態において、３次元センサが投影装置７Ａにより縞パターン光が投影された部品１００を殺属する撮像装置７Ｂであることとした。３次元センサは、部品１００の３次元形状を検出できればよい。３次元センサは、例えばレーザスキャナでもよいし、ステレオカメラでもよい。

【0082】

上述の実施形態において、部品１００の突出部が金属製のリード部１１０であることとした。突出部は、合成樹脂製でもよい。例えば、突出部として、ボディ部１０１から合成樹脂製のボス部が突出し、ボス部が基板２００の孔２１０に挿入されてもよい。

【符号の説明】

【0083】

１…部品実装装置、２…基台、３…部品供給部材、４…基板支持部材、５…ロボットハンド、５Ａ…連結部材、５Ｂ…回転部材、５Ｃ…移動部材、５Ｄ…グリップ部、６…ロボットマニピュレータ、６Ａ…ベース部材、６Ｂ…旋回部材、６Ｃ…第１アーム、６Ｄ…第２アーム、６Ｅ…第３アーム、７…３次元計測装置、７Ａ…投影装置、７Ｂ…撮像装置、７Ｃ…演算装置、７Ｄ…ハウジング、７Ｅ…透明部材、８…力覚センサ、９…制御装置、１１…モデルデータ記憶部、１２…モデル点群データ生成部、１３…検出点群データ生成部、１４…オフセットデータ算出部、１５…統合点群データ生成部、１６…出力部、１００…部品、１０１…ボディ部、１１０…リード部、１１１…第１リード部、１１２…第２リード部、２００…基板、２１０…孔、２１１…第１孔、２１２…第２孔、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＡＸ１…第１回動軸、ＡＸ２…第２回動軸、ＡＸ３…第３回動軸、Ｄａ…モデル点群データ、Ｄｂ…検出点群データ、Ｄｃ…統合点群データ、Ｄｆ…オフセットデータ、ＲＸ…回転軸、ＴＸ…旋回軸。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】