(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175942
(43)【公開日】2024-12-19
(54)【発明の名称】表面実装機、部品供給ユニット及び検査方法
(51)【国際特許分類】
H05K 13/08 20060101AFI20241212BHJP
H05K 13/02 20060101ALI20241212BHJP
【FI】
H05K13/08 A
H05K13/02 D
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023094064
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】110001036
【氏名又は名称】弁理士法人暁合同特許事務所
(72)【発明者】
【氏名】松本 隆
【テーマコード(参考)】
5E353
【Fターム(参考)】
5E353CC03
5E353CC04
5E353CC05
5E353CC21
5E353EE25
5E353EE33
5E353EE53
5E353HH11
5E353HH52
5E353HH53
5E353HH58
5E353JJ25
5E353JJ48
5E353KK02
5E353KK03
5E353KK13
5E353KK25
5E353LL03
5E353QQ11
(57)【要約】 (修正有)
【課題】トレイの表面状態の異常やトレイに収容された電子部品の配置異常を検出することにより、トレイから電子部品を取り出す際に、実装ヘッドがトレイに干渉したり、吸着ミスを起こすことを抑制する。
【解決手段】TOFカメラ100は、保管庫81から引き出されたパレット90上のトレイ95に光を照射し、その反射光に基づいて、保管庫81から引き出されたトレイ95の表面高さ及び前記トレイ95に収容されたトレイ部品の表面高さを示す3次元画像を取得する。検査装置は、TOFカメラ100により取得した3次元画像に基づいて、保管庫81から引き出された前記トレイ95の表面状態の異常及び前記トレイ95に対するトレイ部品の配置異常のうち、少なくともいずれか一方を検出する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
表面実装機であって、
トレイフィーダと、
前記トレイフィーダから供給される電子部品を基板上に実装するヘッドユニットと、
TOFカメラと、
検査装置と、を含み、
前記トレイフィーダは、
電子部品を収容したトレイを保管する保管庫と、
前記保管庫から引き出し可能であり、前記トレイを載置したパレットと、を含み、
前記TOFカメラは、前記保管庫から引き出された前記パレット上の前記トレイに光を照射し、その反射光に基づいて、前記保管庫から引き出された前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を取得し、
前記検査装置は、前記TOFカメラにより取得した前記3次元画像に基づいて、前記保管庫から引き出された前記トレイの表面状態の異常及び前記トレイに対する電子部品の配置異常のうち、少なくともいずれか一方を検出する、表面実装機。
【請求項2】
請求項1に記載の表面実装機であって、
前記検査装置は、
前記トレイの表面高さの変位箇所を、前記3次元画像に基づいて認識することで、前記トレイの表面状態の異常を検出する、表面実装機。
【請求項3】
請求項1に記載の表面実装機であって、
前記検査装置は、
前記トレイに収容された電子部品の表面高さの変位箇所を、前記3次元画像に基づいて認識することで、前記トレイに対する電子部品の配置異常を検出する、表面実装機。
【請求項4】
請求項1に記載の表面実装機であって、
前記検査装置は、
モデル生成部と、
判定部と、を含み、
前記モデル生成部は、前記トレイの正常な表面高さを示す3次元画像を教師データとして用いた教師あり学習モデルであって、前記トレイの表面高さを示す前記3次元画像を入力として、前記トレイの表面状態の異常を推定する第1学習モデルを、機械学習により生成し、
前記判定部は、前記第1学習モデルから前記トレイの表面状態の異常を判定する、表面実装機。
【請求項5】
請求項1に記載の表面実装機であって、
前記検査装置は、
モデル生成部と、
判定部と、を含み、
前記モデル生成部は、
前記トレイに対する電子部品の正常配置を示す3次元画像を教師データとして用いた教師あり学習モデルであって、前記トレイに収容された電子部品の表面高さを示す前記3次元画像を入力として、前記トレイに対する電子部品の配置異常を推定する第2学習モデルを、機械学習により生成し、
前記判定部は、前記第2学習モデルから前記トレイに対する電子部品の配置異常を判定する、表面実装機。
【請求項6】
請求項1に記載の表面実装機であって、
前記検査装置は、前記保管庫から前記トレイが引き出された後であって、かつ前記ヘッドユニットが前記トレイから電子部品を取り出す前において、
前記保管庫から引き出した前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を前記TOFカメラにより取得し、
取得した3次元画像に基づいて、前記トレイの表面状態の異常及び前記トレイに収容された電子部品の配置異常のうち、少なくともいずれか一方を検出する、表面実装機。
【請求項7】
請求項1に記載の表面実装機であって、
前記検査装置は、前記トレイから電子部品を取り出した後、次の電子部品を前記トレイから取り出すまでの期間に、
前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を前記TOFカメラにより取得し、
取得した3次元画像に基づいて、前記トレイの表面状態の異常及び前記トレイに収容された電子部品の配置異常のうち、少なくともいずれか一方を検出する、表面実装機。
【請求項8】
請求項2に記載の表面実装機であって、
前記検査装置は、前記保管庫から引き出された前記トレイの表面高さを示す3次元画像を、前記トレイの正常な表面高さを示す3次元画像と比較することにより、前記トレイの表面高さの変位箇所を認識する、表面実装機。
【請求項9】
請求項1に記載の表面実装機であって、
前記TOFカメラは、前記ヘッドユニットに取り付けられ、前記ヘッドユニットと共に前記保管庫から引き出された前記トレイ上空を移動自在である、表面実装機。
【請求項10】
請求項1に記載の表面実装機であって、
前記TOFカメラは、前記保管庫の上部において移動不能に固定されている、表面実装機。
【請求項11】
請求項1に記載の表面実装機であって、
表示部を備え、
前記検査装置は、前記表示部に対して、前記トレイの表面状態の異常及び電子部品の配置異常のうち、少なくともいずれか一方を表示する、表面実装機。
【請求項12】
請求項11に記載の表面実装機であって、
前記表示部は、電子部品の配置異常箇所を特定した表示を行う、表面実装機。
【請求項13】
部品供給ユニットであって、
トレイフィーダと、
TOFカメラと、を含み、
前記トレイフィーダは、
電子部品を収容したトレイを保管する保管庫と、
前記保管庫から引き出し可能であり、前記トレイを載置したパレットと、を含み、
前記TOFカメラは、前記保管庫の上部において移動不能に固定されており、前記保管庫から引き出されたパレット上の前記トレイに光を照射し、その反射光に基づいて、前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を取得する、部品供給ユニット。
【請求項14】
検査方法であって、
保管庫から引き出されたトレイの3次元画像を、TOFカメラにより取得し、
前記TOFカメラにより取得した前記トレイの3次元画像に基づいて、前記保管庫から引き出された前記トレイの表面状態の異常及び前記トレイに収容された電子部品の配置異常のうち、少なくともいずれか一方を検出する、検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トレイを利用して電子部品を供給するトレイフィーダに関する。
【背景技術】
【0002】
表面実装機は、部品供給装置により供給される電子部品を、実装ヘッドを用いて基板に実装する。こうした部品供給装置の一つに、トレイを利用して電子部品を供給するトレイ型部品供給装置(トレイフィーダ)がある。トレイ型の部品供給装置に関する技術を開示した公報として、特許文献1がある。
【0003】
特許文献1は、「トレイ型部品供給装置から引き出されたパレット上の空のトレイをその上方から吸着パッドで吸着して排出するトレイ排出システムにおいて、前記トレイをその上方から撮像するカメラと、前記カメラで前記トレイを撮像した画像を処理して当該トレイのうちの前記吸着パッドで吸着可能な部分を認識して当該吸着可能な部分の位置を計測し、計測した前記吸着可能な部分の位置の計測データに基づいて前記トレイのうちの当該吸着可能な部分を前記吸着パッドで吸着して排出する動作を制御する制御装置とを備えた構成としたものである。」を開示する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
トレイに歪みや変形等の異常が生じた場合、トレイから電子部品を取り出す際に、実装ヘッドがトレイに干渉する可能性がある。又は、トレイに対する電子部品の配置異常がある場合、吸着ミスが発生する可能性がある。
【0006】
本発明は上記のような事情に基づいて完成されたものであって、トレイの表面状態の異常やトレイに収容された電子部品の配置異常を検出することにより、トレイから電子部品を取り出す際に、実装ヘッドがトレイに干渉したり、吸着ミスを起こすことを抑制することを課題とする。
【課題を解決するための手段】
【0007】
(1)表面実装機であって、トレイフィーダと、前記トレイフィーダから供給される電子部品を基板上に実装するヘッドユニットと、TOFカメラと、検査装置と、を含み、前記トレイフィーダは、電子部品を収容したトレイを保管する保管庫と、前記保管庫から引き出し可能であり、前記トレイを載置したパレットと、を含む。
前記TOFカメラは、前記保管庫から引き出された前記パレット上の前記トレイに光を照射し、その反射光に基づいて、前記保管庫から引き出された前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を取得する。
前記検査装置は、前記TOFカメラにより取得した前記3次元画像に基づいて、前記保管庫から引き出された前記トレイの表面状態の異常及び前記トレイに対する電子部品の配置異常のうち、少なくともいずれか一方を検出する。
【0008】
尚、TOFカメラは、光の走行距離に基づいて、対象物の表面高さを計測するカメラであり、TOFは、「Time of flight」の略称である。また、表面高さの3次元画像は、対象物の表面高さの分布を可視化した画像(Depth画像)である。
【0009】
(2)(1)に記載の表面実装機であって、前記検査装置は、前記トレイの表面高さの変位箇所を、前記3次元画像に基づいて認識することで、前記トレイの表面状態の異常を検出してもよい。尚、トレイの表面高さの変位は、正常時のトレイの表面高さと比較することにより検出してもよいし、周囲の表面高さと比較することにより検出してもよい。
【0010】
(3)(1)に記載の表面実装機であって、前記検査装置は、前記トレイに収容された電子部品の表面高さの変位箇所を、前記3次元画像に基づいて認識することで、前記トレイに対する電子部品の配置異常を検出してもよい。尚、電子部品の表面高さの変位は、例えば、正常時の電子部品の表面高さと比較することにより、検出することが出来る。
【0011】
(4)(1)に記載の表面実装機であって、前記検査装置は、モデル生成部と、判定部と、を含み、前記モデル生成部は、前記トレイの正常な表面高さを示す3次元画像を教師データとして用いた教師あり学習モデルであって、前記トレイの表面高さを示す前記3次元画像を入力として、前記トレイの表面状態の異常を推定する第1学習モデルを、機械学習により生成し、前記判定部は、前記第1学習モデルから前記トレイの表面状態の異常を判定してもよい。この構成では、トレイの表面状態を、機械学習による学習モデルを利用して検査することにより、例えば、表面状態の緩やかな変化など、閾値だけは判断な困難な場合でも、トレイの表面状態の異常を精度よく判定できることが期待できる。
【0012】
(5)(1)に記載の表面実装機であって、前記検査装置は、モデル生成部と、判定部と、を含み、前記モデル生成部は、前記トレイに対する前記電子部品の正常配置を示す3次元画像を教師データとして用いた教師あり学習モデルであって、前記トレイに収容された電子部品の表面高さを示す前記3次元画像を入力として、前記トレイに対する電子部品の配置異常を推定する第2学習モデルを、機械学習により生成し、前記判定部は、前記第2学習モデルから前記トレイに対する電子部品の配置異常を判定してもよい。
【0013】
(6)(1)に記載の表面実装機であって、前記検査装置は、前記保管庫から前記トレイが引き出された後であって、かつ前記ヘッドユニットが前記トレイから電子部品を取り出す前において、前記保管庫から引き出した前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を前記TOFカメラにより取得し、取得した3次元画像に基づいて、前記トレイの表面状態の異常及び前記トレイに収容された電子部品の配置異常のうち、少なくともいずれか一方を検出してもよい。この構成では、保管庫から引き出したトレイから1つ目の電子部品を取り出す際に、実装ヘッドがトレイに干渉したり、吸着ミスを起こすことを抑制することが出来る。
【0014】
(7)(1)に記載の表面実装機であって、前記検査装置は、前記トレイから電子部品を取り出した後、次の電子部品を前記トレイから取り出すまでの期間に、前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を前記TOFカメラにより取得し、取得した3次元画像に基づいて、前記トレイの表面状態の異常及び前記トレイに収容された電子部品の配置異常のうち、少なくともいずれか一方を検出してもよい。この構成では、保管庫から引き出したトレイから2つ目以降の電子部品を取り出す際に、実装ヘッドがトレイに干渉したり、吸着ミスを起こすことを抑制することが出来る。
【0015】
(8)(2)に記載の表面実装機であって、前記検査装置は、前記保管庫から引き出された前記トレイの表面高さを示す3次元画像を、前記トレイの正常な表面高さを示す3次元画像と比較することにより、前記トレイの表面高さの変位箇所を認識してもよい。正常時の3次元画像を比較対象とすることで、トレイの表面高さの変化箇所を精度よく認識することが出来る。
【0016】
(9)(1)に記載の表面実装機であって、前記TOFカメラは、前記ヘッドユニットに取り付けられ、前記ヘッドユニットと共に前記保管庫から引き出された前記トレイ上空を移動自在でもよい。TOFカメラの視野が、トレイの大きさに比べて狭い場合でも、トレイ上空を移動し、複数回撮影を行うことで、トレイ全体の3次元画像を取得することが出来る。
【0017】
(10)(1)に記載の表面実装機であって、前記TOFカメラは、前記保管庫の上部において移動不能に固定されていてもよい。
【0018】
(11)(1)に記載の表面実装機であって、表示部を備え、前記検査装置は、前記表示部に対して、前記トレイの表面状態の異常及び電子部品の配置異常のうち、少なくともいずれか一方を表示してもよい。表示からエラー(異常)の内容を把握することが出来るので、エラーに応じた措置を講じることが可能となる。
【0019】
(12)(1)に記載の表面実装機であって、前記表示部は、電子部品の配置異常箇所を特定した表示を行ってもよい。表示から、トレイのどの部分で、配置異常が発生しているのか、容易に把握できる。
【0020】
(13)部品供給ユニットであって、トレイフィーダと、TOFカメラと、を含み、前記トレイフィーダは、電子部品を収容したトレイを保管する保管庫と、前記保管庫から引き出し可能であり、前記トレイを載置したパレットと、を含み、前記TOFカメラは、前記保管庫の上部において移動不能に固定されており、前記保管庫から引き出されたパレット上の前記トレイに光を照射し、その反射光に基づいて、前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像を取得する。この構成によれば、トレイの表面高さ及びトレイに収容された電子部品の表面高さを示す3次元画像を取得することが出来る。取得した3次元画像を、表面実装機のコントローラ等にて解析することで、トレイの表面状態の異常やトレイに収容された電子部品の配置異常を検出することが出来る。
【発明の効果】
【0021】
本発明によれば、TOFカメラにより取得したトレイの3次元画像からトレイの表面状態の異常やトレイに収容された電子部品の配置異常を検出することが出来る。TOFカメラは、撮影角度の異なる2つのカメラの視差により距離の情報を取得するステレオカメラと比較して、小型であり、かつ配置の自由度が高い。そのため、柔軟な設計が可能である。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
<実施形態1>
1.表面実装機1Aの全体構成
表面実装機1Aは、
図1に示すように、基台11、搬送コンベア20、駆動装置30、ヘッドユニット60、テープフィーダ70、トレイフィーダ80及びTOFカメラ100を備えている。
【0024】
以下の説明において、基台11の長手方向(
図1の左右方向)をX方向と呼ぶものとし、基台11の奥行方向(
図1の上下方向)をY方向、
図2の上下方向(実装ヘッド63の昇降方向)をZ方向とする。
【0025】
搬送コンベア20は、基台11の中央に配置されている。搬送コンベア20はX方向に循環駆動する一対の搬送ベルト21を備えており、搬送ベルト21上のプリント基板Pを、X方向に搬送する。
【0026】
本実施形態では、
図1に示す左側が入り口となっており、プリント基板Pは、
図1に示す左側より搬送コンベア20を通じて機内へと搬入される。搬入されたプリント基板Pは、搬送コンベア20により基台中央の作業位置まで運ばれる。
【0027】
基台上には、プリント基板Pの作業位置の周囲4箇所に、フィーダ設置部13A~13Dが設けられている。フィーダ設置部13A、13C、13Dは、テープ部品用であり、テープフィーダ70が設置されている。
【0028】
テープフィーダ70は、部品供給テープ(図略)を供給位置に送り出すことにより、テープ部品E1を供給する装置である。テープ部品は、例えば、チップコンデンサ等の小型電子部品である。
【0029】
フィーダ設置部13Bは、トレイ部品用であり、トレイフィーダ80が設置されている。トレイフィーダ80は、トレイ部品E2を収容したトレイ95を、保管庫81から引き出すことによりトレイ部品E2を供給する装置である。トレイ部品E2は、例えば、IC等の中大型電子部品である。
【0030】
駆動装置30は、
図1、
図2に示すように、一対のYビーム41、Xビーム51、Y軸ボールねじ45、Y軸モータ47、X軸ボールねじ55、X軸モータ57から構成される。
【0031】
具体的に説明すると、
図1に示すように、一対のYビーム41は、基台11のX方向両側に位置している。一対のYビーム41は、Y方向に平行に延びており、Xビーム51をY方向にスライド可能に支持している。
【0032】
Yビーム41の上面には、Y方向に延びるY軸ボールねじ45と、その軸端部にY軸モータ47が配置されている。Y軸ボールねじ45は、Y軸方向の駆動軸であり、Xビーム51の下面に固定されたボールナット(図略)が螺合している。
【0033】
Y軸モータ47の駆動により、Y軸ボールねじ45を軸中心に回転させることで、Xビーム51及びヘッドユニット60をY方向に移動させることができる(Y軸サーボ機構)。
【0034】
Xビーム51は、X方向に長い形状であり、ヘットユニット60をX方向に沿ってスライド可能に支持している。Xビーム51の側面には、X方向に延びるX軸ボールねじ55と、その軸端部にX軸モータ57が配置されている。X軸ボールねじ55は、X軸方向の駆動軸であり、ヘッドユニット60に固定されたボールナット(図略)が螺合している。
【0035】
X軸モータ57の駆動により、X軸ボールねじ55を軸中心に回転させることで、Xビーム51に対して、ヘッドユニット60をX方向に移動させることができる(X軸サーボ機構)。
【0036】
以上のことから、X軸モータ57、Y軸モータ47を複合的に制御することで、基台11上の任意の位置に、ヘッドユニット60を移動させることが出来る。
【0037】
ヘッドユニット60は、複数本の実装ヘッド63を有している。実装ヘッド63はヘッドユニット60に対してX方向に一列状に配置されている。各実装ヘッド63は、Z軸モータ67の駆動により、上下方向に移動することが出来る(Z軸サーボ機構)。
【0038】
実装ヘッド63はZ方向に長いシャフトであり、先端(下端)には、吸着ノズル68を有している。吸着ノズル68の内圧を、負圧と正圧に切り換えることで、テープ部品E1、トレイ部品E2を保持又は解放できる。
【0039】
このような構成とすることで、X軸モータ57、Y軸モータ47、Z軸モータ67を所定のタイミングで作動させることにより、フィーダ70により供給されるテープ部品E1や、トレイフィーダ80により供給されるトレイ部品E2を、実装ヘッド63により取り出して、プリント基板P上に搭載することが出来る。
【0040】
尚、
図1に示す符号17は部品認識カメラである。部品認識カメラ17は基台11上において撮像面を上に向けて固定されており、実装ヘッド63により取り出されたテープ部品E1やトレイ部品E2の画像(下面画像)を撮像する。
【0041】
2.表面実装機1Aの電気的構成
表面実装機1Aは、
図3に示すように、コントローラ150を有している。コントローラ150は、演算部であるCPU151とメモリ153を備える。
【0042】
コントローラ150には、バスBSを介して、コンベア20、モータ制御部35、テープフィーダ70、トレイフィーダ80、部品認識カメラ17、TOFカメラ100、表示部160、操作パネル170などが接続されている。モータ制御部35には、X軸モータ57、Y軸モータ47、Z軸モータ67が接続されている。
【0043】
コントローラ150は、表面実装機1の主制御部であり、代表的には、プリント基板Pの搬送、ヘッドユニット60による電子部品の実装を制御する。また、コントローラ150は、以降で詳しく説明するように、TOFカメラ100により取得したトレイ95の3次元画像Gに基づいて、トレイ95の表面状態の異常やトレイ部品E2の配置異常を検査する。コントローラ150は、本発明の「検査装置」の一例である。
【0044】
3.トレイフィーダ80とTOFカメラ100
図4はトレイフィーダ80の斜視図、
図5はトレイフィーダ80の側面図である。トレイフィーダ80は、トレイ95を利用してトレイ部品E2を供給する装置であり、前面に引き出し口82を有する保管庫81、マガジン83、パレットベース85及び引き出し装置87を備える。
【0045】
マガジン83は、トレイ95を載置したパレット90を積層状に配置したものであり、保管庫81に対して上下移動可能に支持されている。パレットベース85は、保管庫前面であって、引き出し口82の下部に位置している。引き出し装置87は、パレット90を保管庫81からパレットベース85上に引き出す装置である。引き出し装置87は、引き出したパレット90を保管庫81に回収することも出来る。
【0046】
トレイフィーダ80は、マガジン83を昇降させて、引き出し口82の高さに、トレイ95を載置したパレット90を移動した後、トレイ95を載置したパレット90を保管庫81からパレットベース85上に移動させることで、トレイ部品E2を供給することが出来る。
【0047】
TOFカメラ100は、
図4、
図5に示すように、保管庫81の上部において、撮影面を下方に向けて配置(移動不能に固定)されている。TOFカメラ100は、投光部101と受光部103を備える。投光部101は、トレイ95に向けて光Lを出射し、受光部103は、その反射光Lを受光する。光Lは、一例として、赤外線(赤外光)である。
【0048】
TOFカメラ100は、光Lの走行距離に基づいて、対象物の高さを計測するカメラであり、保管庫81から引き出されたトレイ95の3次元画像Gを取得する。TOFカメラ100の視野は、トレイ95よりも広く、一度の撮影で、トレイ全体の3次元画像Gを取得することが出来る。
【0049】
TOFカメラ100により取得されるトレイ95の3次元画像Gは、トレイ95の表面高さやトレイ部品E2の表面高さの分布を可視化した画像(Depth画像)であり、トレイ95の表面高さの情報及びトレイ部品E2の表面高さの情報が含まれている。
【0050】
図6はトレイ95の平面図、
図7はトレイ95の断面図である。トレイ95は、
図6に示すように、X方向を長辺、Y方向と短辺とする、概ね長方形である。トレイ95は、部品収容部96を、行列状に複数室有している。
図6の例では、部品収容部96を、X方向に6列、Y方向に4行、合計で24室有しており、トレイ95に対してトレイ部品E2を24個収容することが出来る。
【0051】
尚、
図6は、トレイ95に対し、左2列にトレイ部品E2を収容し、右4列は部品未収用の状態を図示している。
【0052】
トレイ95は、
図7に示すように、部品収容部96が凹んでおり、高さ方向(Z方向)において、トレイ上面S1に比べて、部品収容部96の底面S3が低い形態である。
【0053】
図8、
図9は、TOFカメラ100により撮影されたトレイ95の3次元画像である。
図8は部品未収納時の3次元画像G1、
図9は部品収納時の3次元画像G2である。3次元画像G1、G2は、トレイ95の表面高さの分布及びトレイ95に収容されたトレイ部品E2の表面高さの分布を、表示色の変化(グラデーション)により表した画像である。
【0054】
図7に示すように、トレイ下面S0を基準として、部品収容部底面S3、部品上面S2、トレイ上面S1の順に、表面高さが高く変化していることから、
図8、
図9の画像では、部品収容部底面S3、部品上面S2、トレイ上面S1の順に、表示色が薄く変化している。
【0055】
図10は、上面が湾曲変形したトレイ95の断面図、
図11は、上面が湾曲変形したトレイ95の3次元画像G3である。上面が湾曲変形したトレイ95の3次元画像G3(
図11)は、正常なトレイ95の3次元画像(
図9)と比べて、湾曲変形した部分(A部)の表示色が異なった画像となる。
【0056】
4.トレイ95の状態確認
トレイ95の表面に歪みや変形等の異常が生じた場合、トレイ95からトレイ部品E2を取り出す際に、実装ヘッド63がトレイ95に干渉する可能性がある。
【0057】
保管庫81から引き出したトレイ95の3次元画像Gを、TOFカメラ100により取得し、トレイ95の表面状態を確認することで、トレイ95の表面高さの異常を検査することが出来る。
【0058】
尚、表面高さの異常が存在するか、否かの判定は、保管庫81から引き出されたトレイ95の表面高さの変位箇所を、トレイ95の3次元画像Gに基づいて、認識することにより、行うことが出来る。
【0059】
例えば、TOFカメラ100により取得した3次元画像(
図11に示す3次元画像G3)と、正常な表面高さのトレイの3次元画像(
図9に示す3次元画像G2)を比較することにより、表面高さの変位箇所を認識することが出来る。この実施形態では、正常時の画像と比較して閾値以上の高さ変化がある場合、表面高さの変位箇所として、認識する。
【0060】
尚、正常な表面高さのトレイ95の3次元画像(
図9に示す3次元画像G2)は、TOFカメラ100で事前に撮影し、そのデータをメモリ153に格納しておけば、判定時に、読み出して、比較対象として使用することが出来る。
【0061】
そして、トレイ95の表面高さの異常を検出した場合、トレイ部品E2の供給を停止すると共に、ヘッドユニット60によるトレイ部品E2の吸着動作を停止することにより、変形したトレイ95に、実装ヘッド63が干渉することを抑制できる。
【0062】
この際、表示部160に、エラーメッセージを表示するとともに、エラーの原因となったトレイ95の3次元画像G3を表示してもよい。また、エラー原因となったトレイの3次元画像G3には、
図11に示すように、変形個所を丸印で囲むなど、変形箇所を特定した表示を行うとよい。
【0063】
変形個所を特定することで、オペレータは、表示されたトレイ95の3次元画像G3から、トレイ95のどの部分が変形(異常)しているのか、容易に認識することが出来る。
【0064】
トレイ95の異常を認識したオペレータは、トレイ95を正常品と交換するなどの措置を講じることが出来る。
【0065】
5.トレイ部品E2の配置確認
また、実装ヘッド63は、トレイ上のトレイ部品E2の位置情報に基づいて、トレイ部品E2の上空に移動し、トレイ部品E2を吸着する。
【0066】
トレイ部品E2が、トレイ95に対して位置情報通りに配置されていない場合、例えば、トレイ部品E2が存在しない箇所に対して、実装ヘッド63が吸着動作を行う可能性があり、吸着エラーの原因となる。
【0067】
図12は、トレイ部品E2を正常配置したトレイ95の3次元画像G4、
図13はトレイ部品E2が一部欠品した時のトレイ95の3次元画像G5である。
【0068】
TOFカメラ100により取得されるトレイ95の3次元画像Gは、
図12、
図13に示すように、トレイ95の表面高さの情報に加え、部品収容部96に収容されたトレイ部品E2の表面高さの情報を含んでいる。
【0069】
そのため、トレイ95の3次元画像Gに含まれる、トレイ部品E2の表面高さの情報に基づいて、トレイ95に対するトレイ部品E2の配置異常を検出することが出来る。
【0070】
尚、配置異常が存在するか、否かの判定は、トレイ部品E2の表面高さの変位箇所を、トレイ95の3次元画像Gに基づいて、認識することにより、行うことが出来る。
【0071】
例えば、検査対象となる3次元画像(
図13に示す3次元画像G5)を、正常配置されたトレイ部品E2の表面高さを示す3次元画像(
図12に示す3次元画像G4)と比較することにより、トレイ部品E2の表面高さの変位箇所を、認識することが出来る。この実施形態では、正常時の画像と比較して閾値以上の高さ変化がある場合、トレイ部品E2の表面高さの変位箇所として、認識する。
【0072】
正常配置されたトレイ部品E2の表面高さを示す3次元画像(
図12に示す3次元画像G4)は、TOFカメラ100で事前に撮影し、そのデータをメモリ153に格納しておけば、判定時に、読み出して、比較対象として、使用することが出来る。
【0073】
トレイ部品E2の配置異常がある場合、ヘッドユニット60によるトレイ部品E2の吸着動作を停止することにより、実装ヘッド63によるトレイ部品E2の吸着ミスが発生することを抑制できる。
【0074】
この際、表示部160に、エラーメッセージを表示するとともに、エラーの原因となったトレイ95の3次元画像G5を表示してもよい。また、エラー原因となったトレイの3次元画像G5には、
図13に示すように、配置異常個所を丸印で囲むなど、配置異常個所を特定した表示を行うとよい。
【0075】
配置異常個所を特定することで、オペレータは、表示されたトレイ95の3次元画像G5から、トレイ95のどの部分にトレイ部品E2の配置異常が発生していたのか、容易に認識することが出来る。
【0076】
また、トレイ部品E2の位置情報は、操作パネル170に対する手入力によって表面実装機1Aに入力される場合がある。手入力されたトレイ部品E2の位置情報のデータと、3次元画像Gによる部品配置の検査結果を比較することにより、手入力情報(トレイ部品E2の位置情報)のエラーチェックを行うことが出来る。
【0077】
6.制御フロー
図14は、トレイ状態の確認処理のフローチャートである。トレイ状態の確認処理は、S10からS30の3つのステップから構成されている。
【0078】
トレイ状態の確認処理は、保管庫81から引き出されトレイ95について、トレイ部品E2の吸着動作を実行する前(1つ目のトレイ部品を吸着する前)、表面状態の良否を確認する処理であり、保管庫81から1枚目のトレイ95を引き出した時や、トレイ部品E2の供給後、使用済みのトレイ95を回収し、保管庫81から新しいトレイ95を引き出した時に実行される。
【0079】
保管庫81からトレイ95が引き出されると、S10にて、コントローラ150は、TOFカメラ100によりトレイ95を撮影し、トレイ95の3次元画像Gを取得する。
【0080】
トレイ95の3次元画像Gは、本発明の「前記トレイの表面高さ及び前記トレイに収容された電子部品の表面高さを示す3次元画像」に相当する。
【0081】
その後、S20に移行し、コントローラ150は、トレイ95の3次元画像Gからトレイ各部の表面高さの情報を取得し、保管庫81から引き出されたトレイ95に実装ヘッド63と干渉する可能性がある表面高さの異常が存在するか、判定する。尚、この際、トレイ95の表面高さの異常判定に加えて、トレイ部品E2の配置異常についても、判定してよい。
【0082】
そして、表面高さの異常が存在する場合(S20:YES)、S30に移行する。S30に移行すると、コントローラ150は、表示部160にエラーメッセージを表示する共に、ヘッドユニット60を含む表面実装機1Aの動作を停止する。
【0083】
表面高さの異常が存在しない場合(S20:NO)、
図15に示す実装制御に移行する。実装制御は、S100からS160の7つのステップから構成されている。実装制御がスタートすると、S100に移行する。
【0084】
S100に移行すると、コントローラ150は、保管庫81から引き出されたトレイ上方に、ヘッドユニット60を移動させる。
【0085】
ヘッドユニット60がトレイ上方に移動すると、S110に移行し、コントローラ150は、トレイ部品E2を実装ヘッド63により吸着して、トレイ95から取り出す。
【0086】
その後、S120に移行し、コントローラ150は、実装ヘッド63によるトレイ部品E2の吸着成否を判断する。吸着の成否は、実装ヘッド63の負圧から判断することができる。
【0087】
部品吸着に成功している場合(S120:YES)、S130に移行する。S130に移行すると、コントローラ150は、ヘッドユニット60をプリント基板P上に移動し、吸着保持したテープ部品E1やトレイ部品E2をプリント基板Pに実装する。
【0088】
また、S130の部品実装と並行して、S140が実行され、コントローラ150は、TOFカメラ100により部品取り出し後のトレイ95を撮影し、トレイ95の3次元画像Gを取得する。
【0089】
その後、S150に移行し、コントローラ150は、S140で取得したトレイ95の3次元画像Gからトレイ各部の表面高さの情報を取得し、部品取り出し後のトレイ95について、実装ヘッド63と干渉する可能性がある表面高さの異常が存在するか、判定する。
【0090】
尚、部品取り出し後のトレイ95について、表面高さの異常を判定する理由は、実装ヘッド63が、部品取り出し時にトレイ95に干渉して、トレイ95を変形させたり、吸着した部品E2を、トレイ上に落とす場合があるためである。
【0091】
表面高さの異常が存在しない場合(S150:NO)、テープフィーダ70やトレイフィーダ80から取り出した部品E1、E2の実装が終了するのを待って、S100に戻り、次のトレイ部品E2を取り出すため、ヘッドユニット60をトレイ95上に移動させる処理が実行される。
【0092】
一方、トレイ95の表面高さに異常が存在する場合(S150:YES)、S160に移行する。S160に移行すると、コントローラ150は、表示部160にエラーメッセージを表示する共に、ヘッドユニット60を含む表面実装機1Aの動作を停止する。
【0093】
また、実装ヘッド63が部品吸着に失敗した場合(S120:NO)、リトライ動作が実行される。リトライ動作は、
図16に示すように、S200からS240の5つのステップから構成されている。
【0094】
リトライ動作がスタートすると、S200に移行する。S200に移行すると、コントローラ150は、実装ヘッド63を安全な高さまで上昇させ、トレイ上から低速退避させる。その後、S210に移行する。
【0095】
S210に移行すると、コントローラ150は、TOFカメラ100により、トレイ95を撮影し、トレイ95の3次元画像Gを取得する。
【0096】
その後、S220に移行し、コントローラ150は、TOFカメラ100により取得したトレイ95の3次元画像Gからトレイ各部の表面高さの情報を取得し、トレイ95に実装ヘッド63と干渉する可能性がある表面高さの異常が存在するか、判定する。
【0097】
表面高さの異常が存在する場合(S220:YES)、S230に移行する。S230に移行すると、コントローラ150は、表示部160にエラーメッセージを表示する共に、ヘッドユニット60を含む表面実装機1Aの動作を停止する。
【0098】
一方、表面高さの異常が存在しない場合(S220:NO)、S240に移行して、部品吸着のリトライが実施される。
【0099】
7.効果説明
本発明によれば、TOFカメラ100により撮影したトレイ95の3次元画像Gからトレイ95の表面状態の異常やトレイ部品E2の配置異常を検出することが出来る。トレイ95の表面状態の異常やトレイ部品E2の配置異常を検出した場合、警告等を行うことで、トレイ95からトレイ部品E2を取り出す際に、実装ヘッド63がトレイ95の表面に干渉したり、吸着ミスを起こすことを、抑制することが出来る。
【0100】
また、TOFカメラ100は、撮影角度の異なる2つのカメラの視差により距離の情報を取得するステレオカメラと比較して、小型であり、かつ配置の自由度が高い。そのため、柔軟な設計が可能である。
【0101】
<実施形態2>
実施形態2は、実施形態1に対して、トレイ95の表面状態の異常を、機械学習による学習モデルM1を利用して検査する点が相違する。
【0102】
図17は、機械学習による学習モデルM1を利用した、判定装置200のブロック図である。判定装置200は、本発明の「検査装置」の一例である。判定装置200は、情報処理部210及び記憶部220により、構成されている。
【0103】
情報処理部210は、学習モデル生成部213及び判定実行部215により、構成されている。記憶部220は、画像記憶部221、学習済みモデル記憶部223及び判定結果記憶部225により、構成されている。尚、学習モデル生成部213が本発明の「モデル生成部」に相当し、判定実行部215が本発明の「判定部」に相当する。
【0104】
画像記憶部221には、TOFカメラ100により取得したトレイ95の3次元画像Gが記憶される。学習モデル生成部213は、トレイ95の表面高さの異常を判定する学習モデルM1を生成する。
【0105】
学習モデルM1は、トレイ95の正常な表面高さを示す3次元画像(例えば、
図8に示す3次元画像G1)を教師データとして用いた教師あり学習モデルであって、トレイ95の表面高さを示す3次元画像Gを入力として、トレイ95の表面高さの異常を推定する学習モデルである。
【0106】
学習モデル生成部213により生成された学習モデルM1は、学習済みモデル記憶部223に記憶される。
【0107】
学習モデルM1の生成後、判定実行部215は、TOFカメラ100によりトレイ95の3次元画像G2、G3が撮影されると、撮影された3次元画像G2、G3を入力データとして、学習済みモデル記憶部223に記憶された学習モデルM1に基づいて、トレイ95の表面状態を判定する。
【0108】
そして、判定結果は、判定結果記憶部225に記憶されると共に、表示部160に表示される。
【0109】
学習モデルM1は、例えば、
図18に示すように、入力層、隠れ層(中間層)、出力層からなる、ニューラルネットワークモデルにより構築される。
【0110】
入力層は、例えば、トレイ95の3次元画像Gの画素数に応じた複数のニューロンからなる。入力層の各ニューロンには、トレイ95の3次元画像Gの各画素の高度値(表面高さのデータ)xが入力される。
【0111】
隠れ層は、入力層の各ニューロンと結合する複数のニューロンからなる。隠れ層は、トレイ95の3次元画像Gから特徴を抽出する層であり、この例では、2つの隠れ層を有している。
【0112】
出力層は、隠れ層の各ニューロンと結合する2つのニューロンからなる。出力層は、トレイ95の表面状態の良否の確率を出力する層である。
【0113】
各層の結合の重みw(n)、v(n)、q(n)を、教師データに基づいて最適化することにより、学習モデルMの推定精度を向上させることが出来る。
【0114】
トレイ95の表面状態を、機械学習による学習モデルM1を利用して判定することにより、例えば、表面状態の緩やかな変化など、閾値だけは判断な困難な場合でも、トレイ95の表面状態の異常を精度よく判定できることが期待できる。
【0115】
尚、上記の例では、機械学習による学習モデルM1を利用して、トレイ95の表面状態の異常を判定したが、機械学習による学習モデルM2を利用して、トレイ95に対するトレイ部品E2の配置異常を判定してもよい。
【0116】
学習モデルM2は、トレイ部品E2の正常配置を示す3次元画像(例えば、
図12に示す3次元画像G4)を教師データとして用いた教師あり学習モデルであって、トレイ9595に収容されたトレイ部品E2の表面高さを示す3次元画像(例えば、
図13に示す3次元画像G5)を入力として、トレイ95に対するトレイ部品E2の配置異常を推定する学習モデルである。
【0117】
学習モデルM2は、学習モデルM1と同様に、ニューラルネットワーク等により構築できる。
【0118】
図19は、表面実装機1Bのブロック図である。実施形態2で開示する表面実装機1Bは、実施形態1の表面実装機1Aに対して、判定装置200が追加されている。尚、この例では、判定装置200をコントローラ150とは別に設置した例を示したが、判定装置200の一部又は全ての機能をコントローラ150で実行する形態も可能である。
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば、次のような実施形態も本発明の技術的範囲に含まれる。
【0119】
(1)実施形態1では、TOFカメラ100を保管庫81の前面に取り付けた。
図20に示すように、TOFカメラ100をヘッドユニット60に取り付けてもよい。TOFカメラ100は、ヘッドユニット60と共に、保管庫81から引き出されたトレイ95の上空を移動自在でもよい。視野の狭いTOFカメラ100でも、トレイ上空を移動し、複数回撮影を行うことで、トレイ全体の3次元画像Gを取得することが出来る。
【0120】
(2)実施形態1では、TOFカメラ100により取得したトレイ95の3次元画像Gに基づいて、トレイ95の表面高さの異常と、トレイ部品E2の配置異常を検査した。トレイ95の表面高さの異常とトレイ部品E2の配置異常のうち、いずれか一方のみ検査してもよい。
【0121】
(3)実施形態1では、TOFカメラ100により取得したトレイ95の3次元画像(
図11に示す3次元画像G3)を、正常な表面高さのトレイ95の3次元画像(
図9に示す3次元画像G2)と比較することにより、トレイ95の表面高さの変位箇所を認識した。
変位箇所を認識する際の、比較対象は、正常な表面高さの3次元画像Gに限らず、例えば、トレイ95の形状データでもよい。トレイ95の形状データは、
図21に示すトレイ底部97の厚さのデータD1やトレイ側壁部98の高さデータD2などである。
【0122】
また、トレイ部品E2の表面高さの変位箇所を認識する場合も同様であり、比較対象は、正常配置時の3次元画像Gに限らず、例えば、トレイ収容時のトレイ部品E2の表面高さのデータ(
図21に示すD1+D3)でもよい。D1はトレイ底部97の厚さのデータ、D3はトレイ部品E2の高さのデータである。
【0123】
(4)実施形態1では、トレイフィーダ80に対してTOFカメラ100を設置した構成を例示した。トレイフィーダ80に対してTOFカメラ100を設置する場合、トレイフィーダ80及びTOFカメラ100を、一つのユニットとして、取り扱うことも出来る。
図22に示す表面実装機1Cは、トレイフィーダ80、TOFカメラ100及びフィーダコントローラ250からなる部品供給ユニットUを有している。フィーダコントローラ250は、I/O175を介して表面実装機1CのバスBSに接続されており、コントローラ150の指令に応じて、トレイフィーダ80を制御する。具体的には、保管庫81からパレット90を引き出すことにより、トレイ部品E2を供給する。フィーダコントローラ250は、いわゆる制御基板であり、トレイフィーダ80の保管庫等に内蔵されていてもよいし、トレイフィーダ80に外付けされる形態でもよい。TOFカメラ100は、表面実装機1Aと同様に、保管庫81の上部において、撮影面を下方に向けて配置されている。TOFカメラ100は、表面実装機1CのバスBSに接続されており、コントローラ150からの指令に応答して、トレイ95及びトレイ95に収容されたトレイ部品E2の3次元画像を取得する。取得された3次元画像のデータは、バスBSを介して、コントローラ150に出力され、表面実装機ICのコントローラ150により、トレイ95の表面高さの異常やトレイ部品E2の配置異常を検査する。
【0124】
また、トレイ95の表面高さの異常やトレイ部品E2の配置異常の検査は、表面実装機1Cのコントローラ150で行う形態の他、部品供給ユニットUのフィーダコントローラ250で行ってもよい。つまり、3次元画像のデータを、TOFカメラ100から部品供給ユニットUのフィーダコントローラ250に送り、フィーダコントローラ250で、トレイ95の表面高さの異常等を検査してもよい。その場合、表面実装機1Cのコントローラ150には、I/O175を介して、判定結果のみ通知する構成にすることも出来る。
【0125】
(5)実施形態2では、機械学習による学習モデルM1、M2として、入力層、2つの隠れ層、出力層を有するニューラルネットワークを例示した。学習モデルMは、実施形態の例に限定されない。トレイ95の表面状高さの異常やトレイ部品E2の配置異常を検査する学習モデルMであれば、隠れ層を単層としたニューラルネットワーク等でもよい。また、ニューラルネットワーク以外の学習モデルでもよい。
【符号の説明】
【0126】
1A~1C…表面実装機
20…搬送コンベア
60…ヘッドユニット
63…実装ヘッド
70…テープフィーダ
80…トレイフィーダ
81…保管庫
90…パレット
95…トレイ
100…TOFカメラ
101…投光素子
103…受光素子
150…コントローラ(検査装置)
200…判定装置(検査装置)
250…フィーダコントローラ