知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023054992
(43)【公開日】2023-04-17
(54)【発明の名称】部品実装装置及び部品実装方法
(51)【国際特許分類】
H05K 13/04 20060101AFI20230410BHJP
G06T 7/55 20170101ALI20230410BHJP
G06T 7/00 20170101ALI20230410BHJP
【ＦＩ】
H05K13/04 C
G06T7/55
G06T7/00 C
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021164065
(22)【出願日】2021-10-05
(71)【出願人】
【識別番号】000003399
【氏名又は名称】ＪＵＫＩ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】佐野 孝浩
【テーマコード（参考）】
5E353
5L096
【Ｆターム（参考）】
5E353BB06
5E353EE26
5E353JJ02
5E353JJ08
5E353JJ50
5E353JJ60
5E353KK01
5E353KK11
5E353KK25
5E353QQ01
5L096AA06
5L096AA09
5L096BA05
5L096CA04
5L096DA02
5L096EA14
5L096EA37
5L096FA19
5L096FA66
5L096FA67
5L096FA69
(57)【要約】 （修正有）
【課題】部品実装装置の生産性の低下を抑制すること。
【解決手段】部品実装装置は、ロボットマニピュレータと、ボディがロボットハンドに保持された状態で、リード部品に縞パターン光を照射する投影装置と、撮像する撮像装置と、撮像データを画像処理する演算装置と、演算装置の画像処理結果に基づいて、リード部品のリードが基板の孔に挿入されるように、ロボットマニピュレータの制御装置と、を備える。演算装置は、リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成する３次元画像生成部と、３次元画像データを３次元点群データに変換する３次元点群変換部と、３次元点群データをセグメンテーションして、３次元点群データからリードの表面の３次元形状を示すリード点群データを抽出するセグメンテーション部と、リード点群データを主成分分析して、リードの３次元データを算出するリード状態算出部と、を有する。
【選択図】図８
【解決手段】部品実装装置は、ロボットマニピュレータと、ボディがロボットハンドに保持された状態で、リード部品に縞パターン光を照射する投影装置と、撮像する撮像装置と、撮像データを画像処理する演算装置と、演算装置の画像処理結果に基づいて、リード部品のリードが基板の孔に挿入されるように、ロボットマニピュレータの制御装置と、を備える。演算装置は、リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成する３次元画像生成部と、３次元画像データを３次元点群データに変換する３次元点群変換部と、３次元点群データをセグメンテーションして、３次元点群データからリードの表面の３次元形状を示すリード点群データを抽出するセグメンテーション部と、リード点群データを主成分分析して、リードの３次元データを算出するリード状態算出部と、を有する。
【選択図】図８
【特許請求の範囲】
【請求項1】
ロボットマニピュレータと、
前記ロボットマニピュレータの先端部に設けられ、リード部品のボディを保持するロボットハンドと、
前記ボディが前記ロボットハンドに保持された状態で、前記リード部品に縞パターン光を照射する投影装置と、
前記縞パターン光が照射された前記リード部品を所定の視点から撮像する撮像装置と、
前記撮像装置に撮像された前記リード部品の撮像データを画像処理する演算装置と、
前記演算装置の画像処理結果に基づいて、前記リード部品のリードが基板の孔に挿入されるように、前記ロボットマニピュレータを制御する制御装置と、を備え、
前記演算装置は、
前記リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成する３次元画像生成部と、
前記３次元画像データを３次元点群データに変換する３次元点群変換部と、
前記３次元点群データをセグメンテーションして、前記３次元点群データから前記リードの表面の３次元形状を示すリード点群データを抽出するセグメンテーション部と、
前記リード点群データを主成分分析して、前記リードの３次元データを算出するリード状態算出部と、を有する、
部品実装装置。
前記ロボットマニピュレータの先端部に設けられ、リード部品のボディを保持するロボットハンドと、
前記ボディが前記ロボットハンドに保持された状態で、前記リード部品に縞パターン光を照射する投影装置と、
前記縞パターン光が照射された前記リード部品を所定の視点から撮像する撮像装置と、
前記撮像装置に撮像された前記リード部品の撮像データを画像処理する演算装置と、
前記演算装置の画像処理結果に基づいて、前記リード部品のリードが基板の孔に挿入されるように、前記ロボットマニピュレータを制御する制御装置と、を備え、
前記演算装置は、
前記リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成する３次元画像生成部と、
前記３次元画像データを３次元点群データに変換する３次元点群変換部と、
前記３次元点群データをセグメンテーションして、前記３次元点群データから前記リードの表面の３次元形状を示すリード点群データを抽出するセグメンテーション部と、
前記リード点群データを主成分分析して、前記リードの３次元データを算出するリード状態算出部と、を有する、
部品実装装置。
【請求項2】
前記セグメンテーションにより、前記リード点群データが複数のセグメント点群に分離され、
前記演算装置は、
前記リード部品の設計値と、前記リード部品を撮像したときの前記撮像装置の視点と、規定の接続条件とに基づいて、複数の前記セグメント点群を接続して、前記リードの候補となる候補点群データを生成する候補点群生成部を有し、
前記リード点群データを主成分分析することは、前記候補点群データを主成分分析することを含む、
請求項１に記載の部品実装装置。
前記演算装置は、
前記リード部品の設計値と、前記リード部品を撮像したときの前記撮像装置の視点と、規定の接続条件とに基づいて、複数の前記セグメント点群を接続して、前記リードの候補となる候補点群データを生成する候補点群生成部を有し、
前記リード点群データを主成分分析することは、前記候補点群データを主成分分析することを含む、
請求項１に記載の部品実装装置。
【請求項3】
前記制御装置は、前記リード部品が複数の視点のそれぞれから前記撮像装置に撮像されるように、前記ロボットマニピュレータを制御し、
前記３次元画像生成部は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の３次元画像データを生成し、
前記３次元点群変換部は、複数の３次元画像データに基づいて、複数の３次元点群データを生成し、
前記演算装置は、
複数の３次元点群データを規定のアルゴリズムに基づいて位置合わせして、統合点群データを生成する３次元点群統合部を有し、
前記３次元点群データをセグメンテーションすることは、前記統合点群データをセグメンテーションすることを含む、
請求項１又は請求項２に記載の部品実装装置。
前記３次元画像生成部は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の３次元画像データを生成し、
前記３次元点群変換部は、複数の３次元画像データに基づいて、複数の３次元点群データを生成し、
前記演算装置は、
複数の３次元点群データを規定のアルゴリズムに基づいて位置合わせして、統合点群データを生成する３次元点群統合部を有し、
前記３次元点群データをセグメンテーションすることは、前記統合点群データをセグメンテーションすることを含む、
請求項１又は請求項２に記載の部品実装装置。
【請求項4】
前記リード状態算出部は、前記リードの３次元データとして、３次元空間における前記リードの曲がり量及び前記リードの先端部の座標を算出する、
請求項１から請求項３のいずれか一項に記載の部品実装装置。
請求項１から請求項３のいずれか一項に記載の部品実装装置。
【請求項5】
ロボットマニピュレータの先端部に設けられたロボットハンドでリード部品のボディを保持した状態で、前記リード部品に縞パターン光を照射することと、
前記縞パターン光が照射された前記リード部品を所定の視点から撮像することと、
前記リード部品の撮像データを画像処理することと、
画像処理結果に基づいて、前記リード部品のリードが基板の孔に挿入されるように、前記ロボットマニピュレータを制御することと、を含み、
前記画像処理することは、
前記リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成することと、
前記３次元画像データを３次元点群データに変換することと、
前記３次元点群データをセグメンテーションして、前記３次元点群データから前記リードの表面の３次元形状を示すリード点群データを抽出することと、
前記リード点群データを主成分分析して、前記リードの３次元データを算出することと、を含む、
部品実装方法。
前記縞パターン光が照射された前記リード部品を所定の視点から撮像することと、
前記リード部品の撮像データを画像処理することと、
画像処理結果に基づいて、前記リード部品のリードが基板の孔に挿入されるように、前記ロボットマニピュレータを制御することと、を含み、
前記画像処理することは、
前記リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成することと、
前記３次元画像データを３次元点群データに変換することと、
前記３次元点群データをセグメンテーションして、前記３次元点群データから前記リードの表面の３次元形状を示すリード点群データを抽出することと、
前記リード点群データを主成分分析して、前記リードの３次元データを算出することと、を含む、
部品実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術は、部品実装装置及び部品実装方法に関する。
【背景技術】
【0002】
電子機器の生産において、部品を基板に実装する部品実装装置が使用される。特許文献１には、リード部品を基板に実装する部品実装装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－０９３５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
リード部品のリードが基板の孔に挿入されることによって、リード部品が基板に実装される。リードの状態によっては、リードを基板の孔に挿入することが困難となり、その結果、部品実装装置の生産性が低下する可能性がある。例えばリードが曲がっている状態の場合、リードを基板の孔に挿入することが困難となり、その結果、リード部品の実装を断念せざるを得ない状況が発生する可能性がある。部品実装装置の生産性の低下を抑制するためには、リードの状態を認識して、リードの状態に合わせてリードを基板の孔に挿入できる技術が要望される。
【課題を解決するための手段】
【0005】
本明細書は、部品実装装置を開示する。部品実装装置は、ロボットマニピュレータと、ロボットマニピュレータの先端部に設けられ、リード部品のボディを保持するロボットハンドと、ボディがロボットハンドに保持された状態で、リード部品に縞パターン光を照射する投影装置と、縞パターン光が照射されたリード部品を所定の視点から撮像する撮像装置と、撮像装置に撮像されたリード部品の撮像データを画像処理する演算装置と、演算装置の画像処理結果に基づいて、リード部品のリードが基板の孔に挿入されるように、ロボットマニピュレータを制御する制御装置と、を備える。演算装置は、リード部品の撮像データを位相シフト法に基づいて演算処理して、３次元画像データを生成する３次元画像生成部と、３次元画像データを３次元点群データに変換する３次元点群変換部と、３次元点群データをセグメンテーションして、３次元点群データからリードの表面の３次元形状を示すリード点群データを抽出するセグメンテーション部と、リード点群データを主成分分析して、リードの３次元データを算出するリード状態算出部と、を有する。
【発明の効果】
【0006】
本明細書で開示する部品実装装置によれば、生産性の低下が抑制される。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0009】
実施形態においては、部品実装装置１にローカル座標系を設定し、ローカル座標系を参照しながら各部の位置関係について説明する。ローカル座標系として、ＸＹＺ直交座標系を設定する。所定面内においてＸ軸に平行な方向をＸ軸方向とする。所定面内においてＸ軸と直交するＹ軸に平行な方向をＹ軸方向とする。Ｘ軸及びＹ軸のそれぞれと直交するＺ軸に平行な方向をＺ軸方向とする。Ｘ軸を中心とする回転方向又は傾斜方向をθＸ方向とする。Ｙ軸を中心とする回転方向又は傾斜方向をθＹ方向とする。Ｚ軸を中心とする回転方向又は傾斜方向をθＺ方向とする。所定面は、ＸＹ平面である。Ｚ軸は、所定面と直交する。実施形態において、所定面は、水平面に平行であることとする。Ｚ軸方向は、鉛直方向である。なお、所定面が水平面に対して傾斜していてもよい。
【0010】
［部品実装装置］
図１は、実施形態に係る部品実装装置１を示す斜視図である。図２は、実施形態に係る部品実装装置１を示す側面図である。図１及び図２に示すように、部品実装装置１は、基台２と、部品供給部材３と、基板支持部材４と、ロボットハンド５と、ロボットマニピュレータ６と、３次元計測装置７とを備える。
図１は、実施形態に係る部品実装装置１を示す斜視図である。図２は、実施形態に係る部品実装装置１を示す側面図である。図１及び図２に示すように、部品実装装置１は、基台２と、部品供給部材３と、基板支持部材４と、ロボットハンド５と、ロボットマニピュレータ６と、３次元計測装置７とを備える。
【0011】
基台２は、部品供給部材３、基板支持部材４、ロボットマニピュレータ６、及び３次元計測装置７のそれぞれを支持する。
【0012】
部品供給部材３は、リード部品１００を供給する。実施形態において、部品供給部材３は、リード部品１００が配置されるトレイを含む。複数のリード部品１００が部品供給部材３に配置される。複数のリード部品１００の種類は、同じでもよいし異なってもよい。
【0013】
基板支持部材４は、リード部品１００が実装される基板２００を支持する。基板支持部材４は、基板２００の上面とＸＹ平面とが平行になるように、基板２００を支持する。
【0014】
ロボットハンド５は、リード部品１００を保持する。ロボットハンド５は、ロボットマニピュレータ６の先端部に設けられる。
【0015】
ロボットマニピュレータ６は、ロボットハンド５を移動する。ロボットマニピュレータ６は、多関節ロボットを含む。実施形態において、ロボットマニピュレータ６は、垂直多関節ロボットである。なお、ロボットマニピュレータ６は、水平多関節ロボットでもよい。ロボットマニピュレータ６は、基台２に固定されるベース部材６Ａと、ベース部材６Ａに支持される旋回部材６Ｂと、旋回部材６Ｂに連結される第１アーム６Ｃと、第１アーム６Ｃに連結される第２アーム６Ｄと、第２アーム６Ｄに連結される第３アーム６Ｅとを有する。
【0016】
旋回部材６Ｂは、旋回軸ＴＸを中心に旋回可能にベース部材６Ａに支持される。旋回軸ＴＸは、Ｚ軸に平行である。第１アーム６Ｃは、第１回動軸ＡＸ１を中心に回動可能に旋回部材６Ｂに連結される。第１回動軸ＡＸ１は、Ｚ軸と直交する。第２アーム６Ｄは、第２回動軸ＡＸ２を中心に回動可能に第１アーム６Ｃに連結される。第２回動軸ＡＸ２は、第１回動軸ＡＸ１に平行である。第３アーム６Ｅは、第３回動軸ＡＸ３を中心に回動可能に第２アーム６Ｄに連結される。第３回動軸ＡＸ３は、第２回動軸ＡＸ２に平行である。ロボットハンド５は、第３アーム６Ｅに取り付けられる。
【0017】
ロボットマニピュレータ６は、旋回部材６Ｂを旋回させる旋回アクチュエータと、第１アーム６Ｃを回動させる第１回動アクチュエータと、第２アーム６Ｄを回動させる第２回動アクチュエータと、第３アーム６Ｅを回動させる第３回動アクチュエータとを有する。
【0018】
３次元計測装置７は、ロボットハンド５に保持されたリード部品１００を計測する。３次元計測装置７は、位相シフト法に基づいて、ローカル座標系におけるリード部品１００の位置を検出する。
【0019】
［ロボットハンド］
図３は、実施形態に係るロボットハンド５を示す斜視図である。ロボットハンド５は、第３アーム６Ｅに取り付けられる連結部材５Ａと、連結部材５Ａに支持される回転部材５Ｂと、回転部材５Ｂに支持される一対の移動部材５Ｃとを有する。
図３は、実施形態に係るロボットハンド５を示す斜視図である。ロボットハンド５は、第３アーム６Ｅに取り付けられる連結部材５Ａと、連結部材５Ａに支持される回転部材５Ｂと、回転部材５Ｂに支持される一対の移動部材５Ｃとを有する。
【0020】
回転部材５Ｂは、回転軸ＲＸを中心に回転可能に連結部材５Ａに支持される。回転軸ＲＸは、第３回動軸ＡＸ３と直交する。一対の移動部材５Ｃは、相互に接近する方向及び離隔する方向に移動する。移動部材５Ｃの下端部にグリップ部５Ｄが設けられる。一対のグリップ部５Ｄは、相互に接近及び離隔する。
【0021】
ロボットハンド５は、回転部材５Ｂを回転させる回転アクチュエータと、一対の移動部材５Ｃを相互に接近又は離隔させるグリップアクチュエータとを有する。
【0022】
一対のグリップ部５Ｄの間にリード部品１００が配置された状態で、一対のグリップ部５Ｄが相互に接近することにより、リード部品１００がグリップ部５Ｄに保持される。一対のグリップ部５Ｄが相互に離隔することにより、グリップ部５Ｄからリード部品１００が解放される。
【0023】
一方の移動部材５Ｃに力覚センサ８が配置される。力覚センサ８は、グリップ部５Ｄに掛かる負荷を検出することができる。
【0024】
【0025】
リード部品１００は、ボディ１０１と、ボディ１０１から突出する複数のリード１１０とを有する。
【0026】
ボディ１０１は、合成樹脂製のハウジングを含む。ボディ１０１の内部空間に、例えばコイルのような素子が配置される。リード１１０は、金属製の突起物である。リード１１０は、例えばボディ１０１の内部空間に配置されている素子に接続される。
【0027】
リード１１０は、ボディ１０１の下面から下方に突出する。リード部品１００が基板２００に実装された状態で、ボディ１０１の下面と基板２００の上面とが対向する。
【0028】
ロボットハンド５は、リード部品１００のボディ１０１を保持する。一対のグリップ部５Ｄは、ボディ１０１を挟むことによってリード部品１００を保持する。
【0029】
［３次元計測装置］
図６は、実施形態に係る３次元計測装置７を示す斜視図である。図６に示すように、３次元計測装置７は、ボディ１０１がロボットハンド５に保持された状態で、リード部品１００の３次元形状を計測する。
図６は、実施形態に係る３次元計測装置７を示す斜視図である。図６に示すように、３次元計測装置７は、ボディ１０１がロボットハンド５に保持された状態で、リード部品１００の３次元形状を計測する。
【0030】
３次元計測装置７は、投影装置７Ａと、撮像装置７Ｂと、演算装置７Ｃとを有する。実施形態において、投影装置７Ａ及び撮像装置７Ｂのそれぞれは、ハウジング７Ｄに収容される。投影装置７Ａ及び撮像装置７Ｂのそれぞれは、ハウジング７Ｄに固定される。ハウジング７Ｄの上端部の開口に透明部材７Ｅが配置される。透明部材７Ｅとして、ガラス板が例示される。
【0031】
投影装置７Ａは、ボディ１０１がロボットハンド５に保持された状態で、リード部品１００に縞パターン光を照射する。投影装置７Ａは、光源と、光源から射出された光を光変調して縞パターン光を生成する光変調素子と、光変調素子で生成された縞パターン光を射出する射出光学系とを有する。光変調素子として、デジタルミラーデバイス(ＤＭＤ：Digital Mirror Device)、透過型の液晶パネル、又は反射型の液晶パネルが例示される。
【0032】
撮像装置７Ｂは、縞パターン光が照射されたリード部品１００を所定の視点から撮像する。撮像装置７Ｂの視点とは、リード部品１００に対する撮像装置７Ｂの相対的な撮像位置及び撮像角度をいう。撮像装置７Ｂは、リード部品１００で反射した縞パターン光を結像する結像光学系と、結像光学系を介してリード部品１００の画像データを取得する撮像素子とを有する。撮像素子として、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）又はＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）が例示される。
【0033】
演算装置７Ｃは、撮像装置７Ｂに撮像されたリード部品１００の撮像データを画像処理する。演算装置７Ｃは、コンピュータシステムを含む。演算装置７Ｃは、ＣＰＵ（Central Processing Unit）のようなプロセッサ、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）のようなメモリと、信号及びデータを入出力可能な入出力回路を含む入出力インターフェースとを有する。
【0034】
３次元計測装置７は、位相シフト法に基づいて、ロボットハンド５に保持されたリード部品１００の３次元形状を計測する。
【0035】
投影装置７Ａは、例えば正弦波状の明度分布の縞パターン光を位相シフトさせながらリード部品１００に照射する。ロボットハンド５に保持されたリード部品１００は、透明部材７Ｅの上方に配置される。投影装置７Ａから射出された縞パターン光は、透明部材７Ｅを介してリード部品１００に照射される。
【0036】
撮像装置７Ｂは、縞パターン光が照射されたリード部品１００を撮像する。撮像装置７Ｂは、透明部材７Ｅを介してリード部品１００を撮像する。撮像装置７Ｂは、リード部品１００よりも下方からリード部品１００を撮像する。撮像装置７Ｂの視点は、リード部品１００の下方に規定される。ロボットマニピュレータ６が作動して、ロボットハンド５に保持されているリード部品１００の位置及び姿勢が変化することにより、リード部品１００と撮像装置７Ｂとの相対位置及び相対角度が変化する。リード部品１００と撮像装置７Ｂとの相対位置及び相対角度が変化することにより、リード部品１００に対する撮像装置７Ｂの相対的な視点が変化する。
【0037】
演算装置７Ｃは、撮像装置７Ｂに撮像されたリード部品１００の撮像データを位相シフト法に基づいて画像処理して、リード１１０の３次元データを算出する。リード１１０の３次元データは、ローカル座標系で規定される３次元空間におけるリード１１０の曲がり量及びリード１１０の先端部の座標を含む。ボディ１０１に対するリード１１０の設計値上の角度を理想角度とし、ボディ１０１に対するリード１１０の実際の角度を実際角度とした場合、リード１１０の曲がり量とは、理想角度と実際角度との差をいう。
【0038】
［ロボットマニピュレータの動作］
図７は、実施形態に係るロボットマニピュレータ６の動作を説明するための図である。部品実装装置１は、ロボットマニピュレータ６を制御する制御装置９を備える。制御装置９は、コンピュータシステムを含む。図７に示すように、基板２００には、リード部品１００のリード１１０が挿入される孔２１０が設けられる。制御装置９は、３次元計測装置７の演算装置７Ｃの画像処理結果に基づいて、リード部品１００のリード１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。
図７は、実施形態に係るロボットマニピュレータ６の動作を説明するための図である。部品実装装置１は、ロボットマニピュレータ６を制御する制御装置９を備える。制御装置９は、コンピュータシステムを含む。図７に示すように、基板２００には、リード部品１００のリード１１０が挿入される孔２１０が設けられる。制御装置９は、３次元計測装置７の演算装置７Ｃの画像処理結果に基づいて、リード部品１００のリード１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。
【0039】
【0040】
演算装置７Ｃは、３次元画像生成部１１と、３次元点群変換部１２と、３次元点群統合部１３と、セグメンテーション部１４と、候補点群生成部１５と、リード状態算出部１６と、出力部１７とを有する。
【0041】
３次元画像生成部１１は、撮像装置７Ｂからリード部品１００の撮像データを取得する。３次元画像生成部１１は、リード部品１００の撮像データを位相シフト法に基づいて演算処理して、リード部品１００の３次元画像データＤａを生成する。
【0042】
実施形態において、制御装置９は、リード部品１００が複数の視点のそれぞれから撮像装置７Ｂに撮像されるように、ロボットマニピュレータ６を制御する。３次元画像生成部１１は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の視点のそれぞれから見たリード部品１００の複数の３次元画像データＤａを生成する。
【0043】
３次元点群変換部１２は、３次元画像生成部１１に生成された３次元画像データＤａを３次元点群データＤｂに変換する。３次元点群データＤｂは、リード部品１００の表面の３次元形状を示す。３次元点群データＤｂは、リード部品１００の表面における３次元計測装置７による複数の計測点の集合体である。複数の計測点のそれぞれの位置は、Ｘ座標、Ｙ座標、及びＺ座標によって規定される。
【0044】
上述のように、実施形態において、３次元画像生成部１１は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の３次元画像データＤａを生成する。３次元点群変換部１２は、複数の３次元画像データＤａに基づいて、複数の視点のそれぞれから見たリード部品１００の複数の３次元点群データＤｂを生成する。
【0045】
３次元点群統合部１３は、３次元点群変換部１２に生成された複数の３次元点群データＤｂを規定のアルゴリズムに基づいて位置合わせして、統合点群データＤｃを生成する。
【0046】
規定のアルゴリズムとして、ＩＣＰ（Iterative Closest Point）マッチングアルゴリズムが例示される。３次元点群統合部１３は、ＩＣＰマッチングアルゴリズムのような既存のアルゴリズムに基づいて、複数の３次元点群データＤｂを３次元空間で位置合わせして、統合点群データＤｃを生成する。
【0047】
セグメンテーション部１４は、３次元点群データＤｂをセグメンテーションして、３次元点群データＤｂからリード点群データＤｄを抽出する。リード点群データＤｄは、リード１１０の表面の３次元形状を示す。リード１１０の表面は、リード１１０の外周面及び下端面を含む。セグメンテーションにより、３次元点群データＤｂにおいて、リード１１０に相当する計測点と、背景又はノイズに相当する計測点とが分離される。すなわち、セグメンテーションにより、リード１１０に相当する計測点が抽出され、背景又はノイズに相当する計測点が除去される。
【0048】
セグメンテーションとは、規定のルールに従って、３次元点群データＤｂを構成する点群から注目する点群を分離する処理をいう。実施形態において、セグメンテーション部１４は、３次元点群データＤｂの特徴点を捉えて、３次元点群データＤｂを構成する計測点を複数のグループに分類する。セグメンテーション部１４は、規定のセグメンテーション法に基づいて、３次元点群データＤｂをセグメンテーションする。
【0049】
セグメンテーション法として、ＬＣＣＰ（Locally Convex Connected Patches）法、又は領域拡張法（Region Growing）法が例示される。セグメンテーション部１４は、ＬＣＣＰ法又は領域拡張法のような既存のセグメンテーション法に基づいて、３次元点群データＤｂからリード点群データＤｄを抽出する。
【0050】
実施形態において、３次元点群データＤｂをセグメンテーションすることは、３次元点群統合部１３に生成された統合点群データＤｃをセグメンテーションすることを含む。セグメンテーション部１４は、３次元点群統合部１３に生成された統合点群データＤｃをセグメンテーションして、統合点群データＤｃからリード点群データＤｄを抽出する。
【0051】
候補点群生成部１５は、リード部品１００の設計値と、リード部品１００を撮像したときの撮像装置７Ｂの視点と、規定の接続条件とに基づいて、複数のセグメント点群Ｄｅを接続して、リード１１０の候補となる候補点群データＤｆを生成する。セグメンテーションにより、統合点群データＤｃからリード点群データＤｄが抽出されるものの、リード点群データＤｄが複数のセグメント点群Ｄｅに分離される場合がある。セグメンテーションにより、リード点群データＤｄが複数のセグメント点群Ｄｅに分離された場合、どのセグメント点群Ｄｅがリード１１０に相当してどのセグメント点群Ｄｅがリード１１０に相当しないのかが不明確になる可能性がある。そこで、候補点群生成部１５は、リード部品１００の設計値と、リード部品１００を撮像したときの撮像装置７Ｂの視点と、規定の接続条件とに基づいて、リード１１０に相当すると予測される複数のセグメント点群Ｄｅを抽出し、それら複数のセグメント点群Ｄｅを接続して、リード１１０の候補となる候補点群データＤｆを生成する。
【0052】
リード部品１００の設計値は、既知のデータである。リード部品１００の設計値は、候補点群生成部１５に予め記憶されている。リード部品１００の設計値として、リード１１０の長さ、ボディ１０１とリード１１０との相対位置、ボディ１０１に対するリード１１０の角度（理想角度）、及び複数のリード１１０の間隔が例示される。
【0053】
候補点群生成部１５は、リード部品１００が撮像装置７Ｂに撮像されるときに制御装置９からロボットマニピュレータ６に出力される制御指令に基づいて、リード部品１００を撮像したときの撮像装置７Ｂの視点を算出することができる。なお、ロボットマニピュレータ６の位置及び姿勢を検出可能なセンサがロボットマニピュレータ６に設けられている場合、候補点群生成部１５は、センサの検出値に基づいて、リード部品１００を撮像したときの撮像装置７Ｂの視点を算出することができる。
【0054】
規定の接続条件は、予め定められる。規定の接続条件は、候補点群生成部１５に予め記憶されている。実施形態において、規定の接続条件は、第１の接続条件と、第２の接続条件とを含む。第１の接続条件は、接続対象の２つのセグメント点群Ｄｅの相対距離が予め定められている規定距離以下であることを含む。第２の接続条件は、接続後のセグメント点群Ｄｅを軸平行境界ボックス（ＡＡＢＢ：Axis-Aligned Bounding Box）で囲った場合の軸平行境界ボックスの最小面の面積をα、リード１１０の直径をβ、係数をγとした場合、［α＜β×γ］の条件を満足することを含む。軸平行境界ボックスとは、ローカル座標系で規定される３次元空間のＸ軸、Ｙ軸、及びＺ軸のそれぞれに、各辺が平行な直方体の境界図形をいう。
【0055】
リード状態算出部１６は、リード点群データＤｄを主成分分析して、リード１１０の３次元データを算出する。リード状態算出部１６は、リード１１０の３次元データとして、ローカル座標系で規定される３次元空間におけるリード１１０の曲がり量及びリード１１０の先端部の座標を算出する。
【0056】
主成分分析とは、第１主成分の分散を最大化し、第２主成分以降は、それ以前の主成分と直交する条件において分散を最大化するように選択することにより主成分を決定していく分析手法をいう。
【0057】
実施形態において、リード点群データＤｄを主成分分析することは、候補点群生成部１５に生成された候補点群データＤｆを主成分分析することを含む。リード状態算出部１６は、候補点群生成部１５に生成された候補点群データＤｆを主成分分析して、リード１１０の３次元データを算出する。
【0058】
実施形態において、リード状態算出部１６は、候補点群データＤｆの主成分の主軸ベクトル及びリード１１０の先端部の座標がリード１１０の設計値とリード部品１００を撮像したときの撮像装置７Ｂの視点とに基づいて予測されるリード１１０の主軸ベクトル及びリード１１０の先端部の座標に近似する主成分を、リード１１０として抽出する。
【0059】
出力部１７は、リード状態算出部１６に算出されたリード１１０の３次元データを制御装置９に出力する。演算装置７Ｃの画像処理結果は、リード状態算出部１６に算出されたリード１１０の３次元データを含む。制御装置９は、リード１１０の３次元データに基づいて、リード１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。
【0060】
［画像処理方法］
図９は、実施形態に係る演算装置７Ｃの画像処理方法を示すフローチャートである。リード部品１００を基板２００に実装するために、制御装置９は、ロボットハンド５が部品供給部材３に接近するように、ロボットマニピュレータ６を制御する。部品供給部材３に移動したロボットハンド５は、部品供給部材３に配置されているリード部品１００のボディ１０１を保持する。リード部品１００のボディ１０１がロボットハンド５に保持された後、制御装置９は、ロボットハンド５に保持されたリード部品１００が３次元計測装置７に計測されるように、ロボットマニピュレータ６を制御する。すなわち、制御装置９は、図６を参照して説明したように、ロボットハンド５に保持されたリード部品１００が３次元計測装置７の上方に配置されるように、ロボットマニピュレータ６を制御する。
図９は、実施形態に係る演算装置７Ｃの画像処理方法を示すフローチャートである。リード部品１００を基板２００に実装するために、制御装置９は、ロボットハンド５が部品供給部材３に接近するように、ロボットマニピュレータ６を制御する。部品供給部材３に移動したロボットハンド５は、部品供給部材３に配置されているリード部品１００のボディ１０１を保持する。リード部品１００のボディ１０１がロボットハンド５に保持された後、制御装置９は、ロボットハンド５に保持されたリード部品１００が３次元計測装置７に計測されるように、ロボットマニピュレータ６を制御する。すなわち、制御装置９は、図６を参照して説明したように、ロボットハンド５に保持されたリード部品１００が３次元計測装置７の上方に配置されるように、ロボットマニピュレータ６を制御する。
【0061】
実施形態において、制御装置９は、リード部品１００が複数の視点のそれぞれから撮像装置７Ｂに撮像されるように、ロボットマニピュレータ６を制御する。すなわち、制御装置９は、３次元計測装置７の上方において、ロボットハンド５に保持されたリード部品１００の位置及び角度が変化するように、ロボットマニピュレータ６を制御する。撮像装置７Ｂは、異なる複数の視点のそれぞれからリード部品１００を撮像する。
【0062】
３次元画像生成部１１は、撮像装置７Ｂからリード部品１００の撮像データを取得する（ステップＳ１）。
【0063】
３次元画像生成部１１は、リード部品１００の撮像データを位相シフト法に基づいて演算処理して、リード部品１００の３次元画像データＤａを生成する。３次元画像生成部１１は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の視点のそれぞれから見たリード部品１００の複数の３次元画像データＤａを生成する（ステップＳ２）。
【0064】
３次元点群変換部１２は、３次元画像データＤａを３次元点群データＤｂに変換する。３次元点群変換部１２は、ステップＳ２で生成された複数の３次元画像データＤａに基づいて、複数の視点のそれぞれから見たリード部品１００の複数の３次元点群データＤｂを生成する（ステップＳ３）。
【0065】
図１０は、実施形態に係る３次元点群データＤｂの一例を模式的に示す図である。複数の視点からリード部品１００が撮像された場合、３次元点群変換部１２は、複数の視点のそれぞれから見たリード部品１００の複数の３次元点群データＤｂを生成する。例えば、３つの視点からリード部品１００が撮像された場合、図１０に示すように、３次元点群変換部１２は、第１の視点から見たリード部品１００の３次元点群データＤｂ１と、第２の視点から見たリード部品１００の３次元点群データＤｂ２と、第３の視点から見たリード部品１００の３次元点群データＤｂ３とを生成する。
【0066】
３次元点群統合部１３は、ステップＳ３で生成された複数の３次元点群データＤｂを規定のアルゴリズムに基づいて位置合わせして、統合点群データＤｃを生成する（ステップＳ４）。
【0067】
図１１は、実施形態に係る統合点群データＤｃの一例を模式的に示す図である。図１０に示したように、３つの３次元点群データＤｂ（Ｄｂ１，Ｄｂ２，Ｄｂ３）が生成された場合、３次元点群統合部１３は、ＩＣＰマッチングアルゴリズムのような既存のアルゴリズムに基づいて、ステップＳ３で生成された３つの３次元点群データＤｂを３次元空間で位置合わせして、統合点群データＤｃを生成する。
【0068】
セグメンテーション部１４は、ステップＳ４で生成された統合点群データＤｃをセグメンテーションして、統合点群データＤｃからリード点群データＤｄを抽出する（ステップＳ５）。
【0069】
図１２は、実施形態に係るリード点群データＤｄの一例を模式的に示す図である。セグメンテーション部１４は、ＬＣＣＰ法又は領域拡張法のような既存のセグメンテーション法に基づいて、統合点群データＤｃをセグメンテーションして、統合点群データＤｃからリード点群データＤｄを抽出する。図１２に示すように、セグメンテーションにより、リード点群データＤｄが抽出される。また、セグメンテーションにより、背景又はノイズに相当する計測点が除去される。
【0070】
ステップＳ５のセグメンテーションにより、統合点群データＤｃからリード点群データＤｄが抽出されるものの、リード点群データＤｄが複数のセグメント点群Ｄｅに分離される場合がある。候補点群生成部１５は、リード部品１００の設計値と、リード部品１００を撮像したときの撮像装置７Ｂの視点と、規定の接続条件とに基づいて、複数のセグメント点群Ｄｅを接続して、リード１１０の候補となる候補点群データＤｆを生成する（ステップＳ６）。
【0071】
図１３は、実施形態に係るセグメント点群Ｄｅを説明するための図である。図１３に示すように、セグメンテーションにより、統合点群データＤｃからリード点群データＤｄが抽出されるものの、リード点群データＤｄが複数のセグメント点群Ｄｅに分離される場合がある。図１３に示す例において、セグメント点群Ｄｅは、第１セグメント点群Ｄｅ１と、第２セグメント点群Ｄｅ２と、第３セグメント点群Ｄｅ３と、第４セグメント点群Ｄｅ４とを含む。セグメンテーションにより、リード点群データＤｄが複数のセグメント点群Ｄｅに分離された場合、どのセグメント点群Ｄｅがリード１１０に相当してどのセグメント点群Ｄｅがリード１１０に相当しないのかが不明確になる可能性がある。そこで、候補点群生成部１５は、リード部品１００の設計値と、リード部品１００を撮像したときの撮像装置７Ｂの視点と、規定の接続条件とに基づいて、リード１１０に相当すると予測される複数のセグメント点群Ｄｅを抽出し、それら複数のセグメント点群Ｄｅを接続して、リード１１０の候補となる候補点群データＤｆを生成する。
【0072】
上述のように、実施形態において、規定の接続条件は、第１の接続条件と、第２の接続条件とを含む。第１の接続条件は、接続対象の２つのセグメント点群Ｄｅの相対距離が予め定められている規定距離以下であることを含む。第２の接続条件は、接続後のセグメント点群Ｄｅを軸平行境界ボックスで囲った場合の最小面の面積をα、リード１１０の直径をβ、係数をγとした場合、［α＜β×γ］の条件を満足することを含む。
【0073】
接続対象の２つのセグメント点群Ｄｅは、リード部品１００の設計値及びリード部品１００を撮像したときの撮像装置７Ｂの視点に基づいて決定される。候補点群生成部１５は、リード部品１００の設計値及びリード部品１００を撮像したときの撮像装置７Ｂの視点に基づいて、現実のリード１１０の延伸方向を予測する。候補点群生成部１５は、現実のリード１１０の延伸方向に沿うように配置される複数のセグメント点群Ｄｅを接続対象に決定する。
【0074】
図１３に示す例において、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３と第４セグメント点群Ｄｅ４とが、予測される現実のリード１１０が延伸方向に沿うように配置されている。そのため、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３と第４セグメント点群Ｄｅ４とが接続対象に決定される。より詳細には、第１セグメント点群Ｄｅ１と第１セグメント点群Ｄｅ１に隣接する第２セグメント点群Ｄｅ２とが接続対象に決定される。第２セグメント点群Ｄｅ２と第２セグメント点群Ｄｅ２に隣接する第３セグメント点群Ｄｅ３とが接続対象に決定される。第３セグメント点群Ｄｅ３と第３セグメント点群Ｄｅ３に隣接する第４セグメント点群Ｄｅ４とが接続対象に決定される。
【0075】
図１３に示す例において、第１接続条件に着目すると、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２とは近接しており、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２との相対距離は、規定距離以下である。第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３とは近接しており、第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３との相対距離は、規定距離以下である。一方、第３セグメント点群Ｄｅ３と第４セグメント点群Ｄｅ４とは離隔しており、第３セグメント点群Ｄｅ３と第４セグメント点群Ｄｅ４との相対距離は、規定距離を上回る。したがって、図１３に示す例において、第４セグメント点群Ｄｅ４は、第１の接続条件を満足しないと判定される。
【0076】
図１３に示す例において、第２接続条件に着目すると、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３とを接続した場合、接続後の３つのセグメント点群Ｄｅ（Ｄｅ１，Ｄｅ２，Ｄｅ３）を囲む軸平行境界ボックスＢａの最小面Ａａである下面の面積αは、［β×γ］を下回る。一方、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３と第４セグメント点群Ｄｅ４とを接続した場合、接続後の４つのセグメント点群Ｄｅ（Ｄｅ１，Ｄｅ２，Ｄｅ３，Ｄｅ４）を囲む軸平行境界ボックスＢｂの最小面Ａｂである下面の面積αは、［β×γ］を上回る。したがって、図１３に示す例において、第４セグメント点群Ｄｅ４は、第２の接続条件も満足しないと判定される。
【0077】
また、接続後の３つのセグメント点群Ｄｅ（Ｄｅ１，Ｄｅ２，Ｄｅ３）の延伸方向は、予測される現実のリード１１０の延伸方向に合致する。一方、接続後の４つのセグメント点群Ｄｅ（Ｄｅ１，Ｄｅ２，Ｄｅ３，Ｄｅ４）の延伸方向は、予測される現実のリード１１０の延伸方向に合致しない。
【0078】
このように、図１３に示す例の場合、候補点群生成部１５は、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３とがリード１１０に相当すると予測し、第４セグメント点群Ｄｅ４はリード１１０に相当しないと予測する。
【0079】
候補点群生成部１５は、リード１１０に相当すると予測される複数のセグメント点群Ｄｅ（Ｄｅ１，Ｄｅ２，Ｄｅ３）を抽出し、それら複数のセグメント点群Ｄｅ（Ｄｅ１，Ｄｅ２，Ｄｅ３）を接続して、リード１１０の候補となる候補点群データＤｆを生成する（ステップＳ６）。
【0080】
図１３に示す例において、候補点群データＤｆは、第１セグメント点群Ｄｅ１と第２セグメント点群Ｄｅ２と第３セグメント点群Ｄｅ３とにより構成される。
【0081】
リード状態算出部１６は、ステップＳ６で生成された候補点群データＤｆを主成分分析して、リード１１０の３次元データを算出する（ステップＳ７）。
【0082】
実施形態において、リード状態算出部１６は、候補点群データＤｆの主成分の主軸ベクトル及びリード１１０の先端部の座標がリード１１０の設計値とリード部品１００を撮像したときの撮像装置７Ｂの視点とに基づいて予測されるリード１１０の主軸ベクトル及びリード１１０の先端部の座標に近似する主成分を、リード１１０として抽出する。図１３に示したように、予測されるリード１１０の主軸ベクトルは、上述した、予測される現実のリード１１０の延伸方向を含む。
【0083】
リード状態算出部１６は、リード１１０の３次元データとして、ローカル座標系で規定される３次元空間におけるリード１１０の曲がり量及びリード１１０の先端部の座標を算出する。
【0084】
出力部１７は、ステップＳ７で算出されたリード１１０の３次元データを制御装置９に出力する（ステップＳ８）。
【0085】
制御装置９は、リード１１０の３次元データに基づいて、リード１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御する。
【0086】
［リードの挿入］
図１４及び図１５のそれぞれは、実施形態に係るリード部品１００のリード１１０を基板２００の孔２１０に挿入する動作を説明するための図である。図１４及び図１５に示す例において、リード部品１００は、２本のリード１１０を有する。リード１１０は、第１リード１１１と、第２リード１１２とを含む。基板２００の孔２１０は、第１リード１１１が挿入される第１孔２１１と、第２リード１１２が挿入される第２孔２１２とを含む。
図１４及び図１５のそれぞれは、実施形態に係るリード部品１００のリード１１０を基板２００の孔２１０に挿入する動作を説明するための図である。図１４及び図１５に示す例において、リード部品１００は、２本のリード１１０を有する。リード１１０は、第１リード１１１と、第２リード１１２とを含む。基板２００の孔２１０は、第１リード１１１が挿入される第１孔２１１と、第２リード１１２が挿入される第２孔２１２とを含む。
【0087】
実施形態において、ロボットマニピュレータ６は、多関節ロボットである。そのため、ロボットマニピュレータ６は、基板２００の上面に対してリード部品１００を傾斜させることができる。ロボットマニピュレータ６は、基板２００の上面とロボットハンド５に保持されているボディ１０１の下面とがなす角度を任意に調整することができる。
【0088】
図１４に示すように、例えば第２リード１１２が曲がっている場合、制御装置９は、演算装置７Ｃの画像処理結果に基づいて、第１リード１１１が第１孔２１１に挿入される前に、第２リード１１２が第２孔２１２に挿入されるように、ロボットマニピュレータ６を制御する。ロボットマニピュレータ６は、リード部品１００を傾斜させながら、第２リード１１２を第２孔２１２に挿入する。
【0089】
第２リード１１２が第２孔２１２に挿入された後、制御装置９は、第１リード１１１の先端部が基板２００の第１孔２１１に対向するまで、リード部品１００を－Ｘ方向に移動させる。これにより、第２リード１１２が矯正される。第１リード１１１が基板２００の第１孔２１１に対向するまで第２リード１１２が矯正された後、図１５に示すように、制御装置９は、第２リード１１２が第２孔２１２に配置された状態で、第１リード１１１が第１孔２１１に挿入されるように、ロボットマニピュレータ６を制御する。
【0090】
［コンピュータシステム］
図１６は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の演算装置７Ｃ及び制御装置９のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。演算装置７Ｃ及び制御装置９のそれぞれの機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
図１６は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の演算装置７Ｃ及び制御装置９のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。演算装置７Ｃ及び制御装置９のそれぞれの機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0091】
コンピュータプログラムは、上述の実施形態に従って、コンピュータシステム１０００に、ロボットマニピュレータ６の先端部に設けられたロボットハンド５でリード部品１００のボディ１０１を保持した状態で、リード部品１００に縞パターン光を照射することと、縞パターン光が照射されたリード部品１００を所定の視点から撮像することと、リード部品１００の撮像データを画像処理することと、画像処理結果に基づいて、リード部品１００のリード１１０が基板２００の孔２１０に挿入されるように、ロボットマニピュレータ６を制御することと、を実行させることができる。画像処理において、コンピュータプログラムは、上述の実施形態に従って、コンピュータシステム１０００に、リード部品１００の撮像データを位相シフト法に基づいて演算処理して、３次元画像データＤａを生成することと、３次元画像データＤａを３次元点群データＤｂに変換することと、３次元点群データＤｂをセグメンテーションして、３次元点群データＤｂからリード１１０の表面の３次元形状を示すリード点群データＤｄを抽出することと、リード点群データＤｄを主成分分析して、リード１１０の３次元データを算出することと、を実行させることができる。
【0092】
［効果］
以上説明したように、実施形態によれば、部品実装装置１は、ロボットマニピュレータ６と、ロボットハンド５と、３次元計測装置７とを備える。３次元計測装置７により、リード１１０の状態として、ローカル座標系で規定される３次元空間におけるリード１１０の曲がり量及びリード１１０の先端部の座標を認識することができる。ロボットマニピュレータ６及びロボットハンド５により、リード１１０の状態に合わせてリード１１０を基板２００の孔２１０に挿入することができる。したがって、部品実装装置１の生産性の低下が抑制される。
以上説明したように、実施形態によれば、部品実装装置１は、ロボットマニピュレータ６と、ロボットハンド５と、３次元計測装置７とを備える。３次元計測装置７により、リード１１０の状態として、ローカル座標系で規定される３次元空間におけるリード１１０の曲がり量及びリード１１０の先端部の座標を認識することができる。ロボットマニピュレータ６及びロボットハンド５により、リード１１０の状態に合わせてリード１１０を基板２００の孔２１０に挿入することができる。したがって、部品実装装置１の生産性の低下が抑制される。
【0093】
３次元計測装置７の演算装置７Ｃは、リード部品１００の撮像データを位相シフト法に基づいて演算処理して、３次元画像データＤａを生成する３次元画像生成部１１と、３次元画像データＤａを３次元点群データＤｂに変換する３次元点群変換部１２と、３次元点群データＤｂをセグメンテーションして、３次元点群データＤｂからリード１１０の表面の３次元形状を示すリード点群データＤｄを抽出するセグメンテーション部１４と、リード点群データＤｄを主成分分析して、リード１１０の３次元データを算出するリード状態算出部１６と、を有する。セグメンテーション部１４によるセグメンテーションにより、３次元点群データＤｂから背景又はノイズに相当する計測点が除去される。リード状態算出部１６による主成分分析により、リード１１０の状態を表す主軸ベクトルが算出される。したがって、３次元計測装置７は、リード１１０の状態を適正に認識することができる。
【0094】
セグメンテーションにより、リード点群データＤｄが複数のセグメント点群Ｄｅに分離された場合、候補点群生成部１５は、リード部品１００の設計値と、リード部品１００を撮像したときの撮像装置７Ｂの視点と、規定の接続条件とに基づいて、複数のセグメント点群Ｄｅを接続して、リード１１０の候補となる候補点群データＤｆを生成する。３次元計測装置７は、候補点群データＤｆに基づいて、リード１１０の状態を適正に認識することができる。
【0095】
３次元画像生成部１１は、複数の視点のそれぞれから撮像された複数の撮像データに基づいて、複数の３次元画像データＤａを生成する。３次元点群変換部１２は、複数の３次元画像データＤａに基づいて、複数の３次元点群データＤｂを生成する。３次元点群統合部１３は、複数の３次元点群データを規定のアルゴリズムに基づいて位置合わせして、統合点群データＤｃを生成する。これにより、撮像装置７Ｂによるリード部品１００の撮像においてロボットマニピュレータ６の位置決め精度が不足していても、統合点群データＤｃが生成されることにより、ロボットマニピュレータ６の位置決め精度に起因する３次元点群データＤｂの誤差が吸収される。
【符号の説明】
【0096】
１…部品実装装置、２…基台、３…部品供給部材、４…基板支持部材、５…ロボットハンド、５Ａ…連結部材、５Ｂ…回転部材、５Ｃ…移動部材、５Ｄ…グリップ部、６…ロボットマニピュレータ、６Ａ…ベース部材、６Ｂ…旋回部材、６Ｃ…第１アーム、６Ｄ…第２アーム、６Ｅ…第３アーム、７…３次元計測装置、７Ａ…投影装置、７Ｂ…撮像装置、７Ｃ…演算装置、７Ｄ…ハウジング、７Ｅ…透明部材、８…力覚センサ、９…制御装置、１１…３次元画像生成部、１２…３次元点群変換部、１３…３次元点群統合部、１４…セグメンテーション部、１５…候補点群生成部、１６…リード状態算出部、１７…出力部、１００…リード部品、１０１…ボディ、１１０…リード、１１１…第１リード、１１２…第２リード、２００…基板、２１０…孔、２１１…第１孔、２１２…第２孔、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、Ａａ…最小面、Ａｂ…最小面、ＡＸ１…第１回動軸、ＡＸ２…第２回動軸、ＡＸ３…第３回動軸、Ｂａ…軸平行境界ボックス、Ｂｂ…軸平行境界ボックス、Ｄａ…３次元画像データ、Ｄｂ…３次元点群データ、Ｄｂ１…３次元点群データ、Ｄｂ２…３次元点群データ、Ｄｂ３…３次元点群データ、Ｄｃ…統合点群データ、Ｄｄ…リード点群データ、Ｄｅ…セグメント点群、Ｄｅ１…第１セグメント点群、Ｄｅ２…第２セグメント点群、Ｄｅ３…第３セグメント点群、Ｄｅ４…第４セグメント点群、Ｄｆ…候補点群データ、ＲＸ…回転軸、ＴＸ…旋回軸。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】