(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-14
(45)【発行日】2024-03-25
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
H05K 13/08 20060101AFI20240315BHJP
【FI】
H05K13/08 Q
(21)【出願番号】P 2020051300
(22)【出願日】2020-03-23
【審査請求日】2023-02-21
(73)【特許権者】
【識別番号】000003399
【氏名又は名称】JUKI株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】藤江 公子
【審査官】三宅 達
(56)【参考文献】
【文献】特開2005-116765(JP,A)
【文献】特開平05-048295(JP,A)
【文献】特開2012-203612(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H05K 13/00-13/08
(57)【特許請求の範囲】
【請求項1】
ノズルに保持された第1部品を撮像した第1原画像を極座標変換した第1極座標変換画像に基づいて、前記第1部品の特徴点を含むテンプレート画像を作成するティーチング処理部と、
ノズルに保持された後且つ基板に実装される前の第2部品を撮像した第2原画像を極座標変換した第2極座標変換画像と、前記テンプレート画像と、を照合することにより、前記基板と垂直方向の周りの、前記第2部品の角度を算出する認識処理部と、
を備え
、
前記第1部品及び前記第2部品は、平面視して円形状であり、第1半径から第2半径までの環状の範囲に前記特徴点を有し、
前記ティーチング処理部は、前記第1極座標変換画像の内の、前記第1部品の前記環状の範囲の一部であって前記特徴点を含むC字形状の範囲に相当する画像を、前記テンプレート画像として作成し、
前記認識処理部は、前記第2原画像の前記環状の範囲を極座標変換した画像と、前記テンプレート画像と、を照合する、
画像処理装置。
【請求項2】
前記ティーチング処理部は、前記第1極座標変換画像において、前記第1部品の特徴点が角度の基準方向に重なる場合には、前記基準方向を予め定められた角度だけずらす、
請求項
1に記載の画像処理装置。
【請求項3】
前記認識処理部は、前記第2極座標変換画像の末尾の予め定められた第1角度範囲の部分画像を、前記第2極座標変換画像の先頭の前にコピーし、前記第2極座標変換画像の先頭の予め定められた第2角度範囲の部分画像を、前記第2極座標変換画像の末尾の後にコピーする、
請求項1
又は2に記載の画像処理装置。
【請求項4】
ノズルに保持された第1部品を撮像した第1原画像を極座標変換した第1極座標変換画像に基づいて、前記第1部品の特徴点を含むテンプレート画像を作成するティーチング工程と、
ノズルに保持された後且つ基板に実装される前の第2部品を撮像した第2原画像を極座標変換した第2極座標変換画像と、前記テンプレート画像と、を照合することにより、前記基板と垂直方向の周りの、前記第2部品の角度を算出する認識工程と、
を備え
、
前記第1部品及び前記第2部品は、平面視して円形状であり、第1半径から第2半径までの環状の範囲に前記特徴点を有し、
前記ティーチング工程は、前記第1極座標変換画像の内の、前記第1部品の前記環状の範囲の一部であって前記特徴点を含むC字形状の範囲に相当する画像を、前記テンプレート画像として作成し、
前記認識工程は、前記第2原画像の前記環状の範囲を極座標変換した画像と、前記テンプレート画像と、を照合する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
電子デバイスを生産する生産システムにおいて、複数の実装装置により生産ラインが構築される。基板が生産ラインに搬入され、部品が実装装置によって基板に実装される。
【0003】
特許文献1には、LED素子が発光する光を拡散するためのレンズを基板上に装着する技術が、開示されている。特許文献1記載の技術によれば、レンズの下面に形成されている突起の撮像画像を認識処理した結果に基づいて、突起の位置が把握され、レンズの中心と突起の中心位置とから、レンズの角度が求められる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
レンズの角度の算出には、突起の位置の特定が必要である。しかしながら、撮像画像において、レンズの外周、レンズの表面の凹凸等によるエッジなどに比べると、突起のエッジは不鮮明である。従って、突起は特徴として抽出されにくいので、角度の算出精度が低くなる。
【0006】
本発明の態様は、部品の角度を高い精度で算出することを目的とする。
【課題を解決するための手段】
【0007】
本発明の態様に従えば、ノズルに保持された第1部品を撮像した第1原画像を極座標変換した第1極座標変換画像に基づいて、前記第1部品の特徴点を含むテンプレート画像を作成するティーチング処理部と、ノズルに保持された後且つ基板に実装される前の第2部品を撮像した第2原画像を極座標変換した第2極座標変換画像と、前記テンプレート画像と、を照合することにより、前記基板と垂直方向の周りの、前記第2部品の角度を算出する認識処理部と、を備える画像処理装置が提供される。
【発明の効果】
【0008】
本発明の態様によれば、部品の角度が高い精度で算出される。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る生産システムを示す図である。
【
図2】
図2は、実施形態に係る実装装置の一例を模式的に示す平面図である。
【
図3】
図3は、実施形態に係る実装ヘッドの一例を模式的に示す図である。
【
図4】
図4は、実施形態に係る生産システムで生産されるLED照明デバイスを模式的に示す図である。
【
図5】
図5は、実施形態に係る実装装置に含まれる制御装置を示すブロック図である。
【
図6】
図6は、実施形態に係る実装装置の表示装置に表示される画像の例を示す図である。
【
図7】
図7は、実施形態に係る実装装置で生成される極座標変換画像の例を示す図である。
【
図8】
図8は、実施形態に係る実装装置で生成される極座標変換画像の例を示す図である。
【
図9】
図9は、実施形態に係る実装装置で取得される画像の例を示す図である。
【
図10】
図10は、実施形態に係る実装装置で生成される極座標変換画像の例を示す図である。
【
図11】
図11は、実施形態に係る実装装置で生成される極座標変換画像及びテンプレート画像の例を示す図である。
【
図12】
図12は、実施形態に係る画像処理方法を示すフローチャートである。
【
図13】
図13は、実施形態に係る画像処理方法を示すフローチャートである。
【
図14】
図14は、実施形態に係るコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明は実施形態に限定されない。
【0011】
<実施形態>
[生産システム]
図1は、実施形態に係る生産システムを示す図である。
図1に示すように、生産システム1は、検査装置2と、実装装置3と、検査装置4と、管理装置5とを備える。検査装置2、実装装置3、及び検査装置4により、電子デバイスの生産ライン6が構築される。
【0012】
実施形態では、生産システム1は、LED照明デバイスを生産するものとするが、本開示はこれに限定されない。LED照明デバイスは、LED発光素子が基板上に実装され、更に、LED発光素子から出射される光を拡散するレンズが、LED発光素子を覆うように基板上に実装される。レンズは、光透過性の樹脂で形成されることが例示されるが、本開示はこれに限定されない。
【0013】
生産ライン6において、実装装置3は、複数設けられる。実施形態において、実装装置3は、実装装置3Aと、実装装置3Bと、実装装置3Cとを含むこととするが、本開示はこれに限定されない。実装装置3の数は、2個以下又は4個以上であっても良い。
【0014】
生産ライン6において基板Pが搬送される。生産ライン6において基板Pが搬送されることにより、電子デバイスが生産される。実施形態において、生産ライン6の先頭装置は、検査装置2である。生産ライン6の後尾装置は、検査装置4である。基板Pは、検査装置2に搬入された後、複数の実装装置3(3A,3B,3C)のそれぞれに順次搬送される。複数の実装装置3(3A,3B,3C)は、基板Pに部品Cを順次実装する。実装装置3において部品Cが実装された基板Pは、検査装置4から搬出される。
【0015】
実施形態では、部品Cは、電子部品(LED発光素子を含む)と、LED発光素子から出射される光を拡散するレンズと、を含むこととするが、本開示はこれに限定されない。
【0016】
基板Pが生産ライン6に搬入される前に、印刷機により基板Pにクリーム半田が印刷される。クリーム半田が印刷された基板Pが、検査装置2に搬入される。なお、印刷機の図示は省略する。
【0017】
検査装置2は、部品Cが実装される前の基板Pの印刷状態を検査する半田印刷検査装置(SPI:Solder Paste Inspection)を含む。
【0018】
実装装置3は、クリーム半田が印刷された基板Pに部品Cを実装する。部品Cが実装された基板Pは、リフロー炉において加熱される。リフロー炉において基板Pが加熱されることにより、クリーム半田が溶ける。溶けたクリーム半田が冷却されることにより、部品Cが基板Pに半田付けされる。なお、リフロー炉の図示は省略する。
【0019】
レンズは、LED発光素子が基板Pに半田付けされた後に、LED発光素子を覆うように、基板Pに接着される。
【0020】
検査装置4は、部品Cが実装された後の基板Pの状態を検査する基板外観検査装置(AOI:Automated Optical Inspection)を含む。
【0021】
管理装置5は、コンピュータシステムを含む。管理装置5は、生産ライン6を制御する。
【0022】
[実装装置]
図2は、実施形態に係る実装装置の一例を模式的に示す平面図である。実装装置3は、部品Cを基板Pに実装する。実装装置3は、ベース部材31と、基板Pを搬送する基板搬送装置32と、部品Cを供給する電子部品供給装置33と、ノズル34を有する実装ヘッド35と、実装ヘッド35を移動するヘッド移動装置36と、ノズル34を移動するノズル移動装置37と、撮像装置39と、を備える。
【0023】
ベース部材31は、基板搬送装置32、電子部品供給装置33、実装ヘッド35、ヘッド移動装置36、ノズル移動装置37及び撮像装置39を支持する。
【0024】
基板搬送装置32は、基板Pを実装位置DMに搬送する。実装位置DMは、基板搬送装置32の搬送経路に規定される。基板搬送装置32は、基板Pを搬送する搬送ベルト32Bと、基板Pをガイドするガイド部材32Gと、基板Pを保持する保持部材32Hとを有する。搬送ベルト32Bは、アクチュエータの作動により移動して、基板Pを搬送方向に搬送する。また、不図示の昇降機構により、保持部材32Hと基板Pと搬送ベルト32Bとが上下方向に移動する。基板Pは、実装位置DMに移動した後、昇降機構により上昇して、搬送ベルト32Bとガイド部材32Gとに挟持される。実装ヘッド35は、実装位置DMに配置された基板Pの表面に部品Cを実装する。
【0025】
電子部品供給装置33は、部品Cを供給位置SMに供給する。電子部品供給装置33は、複数のテープフィーダ33Fを含む。テープフィーダ33Fは、複数の部品Cを保持する。電子部品供給装置33は、複数の部品Cのうち少なくとも1つの部品Cを供給位置SMに供給する。電子部品供給装置33は、基板搬送装置32の両側に配置される。なお、電子部品供給装置33は、基板搬送装置32の片側のみに配置されてもよい。
【0026】
実装ヘッド35は、電子部品供給装置33から供給された部品Cをノズル34で保持して基板Pに実装する。実装ヘッド35は、複数のノズル34を有する。実装ヘッド35は、電子部品供給装置33から部品Cが供給される供給位置SMと、基板Pが配置されている実装位置DMとの間を移動可能である。実装ヘッド35は、供給位置SMに供給された部品Cをノズル34で保持して、実装位置DMに移動した後、実装位置DMに配置されている基板Pに部品Cを実装する。
【0027】
ヘッド移動装置36は、実装ヘッド35を移動可能である。ヘッド移動装置36は、実装ヘッド35を水平面内の第1軸(X軸)方向に移動する第1軸移動装置36Xと、実装ヘッド35を第1軸方向と直交する水平面内の第2軸(Y軸)方向に移動する第2軸移動装置36Yとを有する。第1軸移動装置36X及び第2軸移動装置36Yのそれぞれは、アクチュエータを含む。第1軸移動装置36Xは、実装ヘッド35に連結される。第1軸移動装置36Xの作動により、実装ヘッド35が第1軸方向に移動する。第2軸移動装置36Yは、第1軸移動装置36Xを介して実装ヘッド35に連結される。第2軸移動装置36Yの作動により第1軸移動装置36Xが第2軸方向に移動することによって、実装ヘッド35が第2軸方向に移動する。
【0028】
部品センサ38は、複数のテープフィーダ33Fのそれぞれに設けられる。部品センサ38は、供給位置SMに供給された部品Cを検出することによって、テープフィーダ33Fに残っている部品Cの数を示す残数を検出する。また、部品センサ38は、供給位置SMに供給される部品Cを検出することによって、テープフィーダ33Fにおいて部品Cが無くなったことを検出する。
【0029】
撮像装置39は、実装ヘッド35のノズル34に保持されているレンズの正姿勢の画像を撮像する。撮像装置39は、ベース部材31に設けられている。実施形態では、撮像装置39は、水平面と直交する第3軸(Z軸)方向に沿って(
図2の紙面奥から紙面手前に向かう方向に沿って)、実装ヘッド35のノズル34に保持されているレンズの画像を撮像することとするが、本開示はこれに限定されない。撮像装置39は、ミラー等で反射されたレンズの画像を撮像しても良い。また、実装装置3は、ノズル34に保持されているレンズを照らす照明装置を更に備えても良い。照明装置は、ノズル34に保持されているレンズを直接照明しても良いし、ミラー等を介して間接的に照明しても良い。実装ヘッド35は、ノズル34に保持されているレンズの画像を撮像する場合は、撮像装置39の上を通過する。なお、実装ヘッド35は、撮像装置39の上で一時停止しても良い。
【0030】
図3は、実施形態に係る実装ヘッドの一例を模式的に示す図である。
図3に示すように、実装ヘッド35は、複数のノズル34を有する。ノズル34は、部品Cを着脱可能に保持する。ノズル34は、部品Cを吸着保持する吸引ノズルである。ノズル34の先端部34Tに開口が設けられる。ノズル34の開口は、真空システムと接続される。ノズル34の先端部34Tと部品Cとが接触した状態で、ノズル34の先端部34Tに設けられた開口からの吸引動作が実施されることにより、ノズル34の先端部34Tに部品Cが吸着保持される。開口からの吸引動作が解除されることにより、ノズル34から部品Cが解放される。
【0031】
ノズル移動装置37は、ノズル34を水平面と直交する第3軸(Z軸)方向及び第3軸を中心とする回転方向のそれぞれに移動可能である。ノズル移動装置37は、実装ヘッド35に支持される。ノズル34は、シャフト34Sの下端部に接続される。シャフト34Sは、複数設けられる。複数のノズル34は、複数のシャフト34Sのそれぞれに接続される。ノズル移動装置37は、複数設けられる。複数のノズル移動装置37は、複数のシャフト34Sのそれぞれに接続される。ノズル34は、シャフト34S及びノズル移動装置37を介して実装ヘッド35に支持される。ノズル移動装置37は、シャフト34Sを第3軸(Z軸)方向及び第3軸を中心とする回転方向に移動することによって、ノズル34を移動する。
【0032】
ノズル34は、ヘッド移動装置36及びノズル移動装置37により、第1軸(X軸)方向、第2軸(Y軸)方向、第3軸(Z軸)方向、及び第3軸と中心とする回転方向に移動可能である。ノズル34が移動することにより、ノズル34に保持されている部品Cも、第1軸方向、第2軸方向、第3軸方向、及び第3軸を中心とする回転方向に移動可能である。
【0033】
なお、ノズル34は、部品Cを挟んで保持する把持ノズルでもよい。
【0034】
[LED照明デバイス]
図4は、実施形態に係る生産システムで生産されるLED照明デバイスを模式的に示す図である。基板P上には、LED発光素子100が実装される。更に、基板P上には、LED発光素子100から出射される光を拡散するレンズ101が、LED発光素子100を覆うように実装される。
【0035】
レンズ101を実装する前に、接着剤が、塗布機により基板Pに塗布される。なお、塗布機の図示は省略する。
【0036】
レンズ101の第3軸(Z軸)方向の側は、凸面形状である。レンズ101の第3軸(Z軸)方向と反対側(
図4中の下側)は、平面状である。その平面に、1つ又は複数の突起部(ボス)101aが形成されている。レンズ101の平面の中央部には、有底穴101bが形成されている。ノズル34は、有底穴101bの中にLED発光素子100が収容されるように、レンズ101を、接着剤が塗布された基板Pに実装する。これにより、突起部101aは、基板Pに接着される。つまり、レンズ101は、基板Pに接着される。
【0037】
[制御装置]
図5は、実施形態に係る実装装置に含まれる制御装置を示すブロック図である。
【0038】
制御装置50が、本開示の「画像処理装置」に相当する。
【0039】
なお、以降では、部品Cがレンズである場合について説明するが、本開示はこれに限定されない。部品Cは、電子部品であっても良い。
【0040】
制御装置50は、画像取得部51と、ティーチング処理部52と、記憶部53と、認識処理部54と、実装制御部55と、を含む。ティーチング処理部52は、特徴点位置取得部52aと、極座標変換画像生成部52bと、特徴点位置算出部52cと、テンプレート画像生成部52dと、を含む。認識処理部54は、極座標変換画像生成部54aと、部品角度算出部54bと、を含む。
【0041】
画像取得部51は、ノズル34に保持されたレンズの画像を撮像装置39から取得する。
【0042】
ティーチング処理部52は、生産ライン6の稼働開始前、つまりLED照明デバイスの生産開始前に、ノズル34に保持されたティーチング用のレンズ101(後の
図6参照)のテンプレート画像を作成するティーチング処理を実行する。
【0043】
レンズ101が、本開示の「第1部品」に相当する。
【0044】
特徴点位置取得部52aは、ノズル34に保持されたティーチング用のレンズ101の画像150(後の
図6参照)を画像取得部51から受け取って、表示装置61に表示させる。表示装置61は、液晶表示装置、有機EL表示装置が例示されるが、本開示はこれに限定されない。オペレータ(ティーチング作業者)は、表示装置61に表示された画像150を見ながら、レンズ101の特徴点の位置を入力装置62に入力する。入力装置62は、キーボード、マウスが例示されるが、本開示はこれに限定されない。
【0045】
画像150が、本開示の「第1原画像」に相当する。
【0046】
図6は、実施形態に係る実装装置の表示装置に表示される画像の例を示す図である。
図6の例では、レンズ101は、3個の突起部101a1、101a2及び101a3を含む。
【0047】
実施形態では、レンズ101の特徴点は、3個の突起部101a1、101a2及び101a3とするが、本開示はこれに限定されない。レンズ101の特徴点は、レンズ101に形成された刻印等であっても良い。また、実施形態では、レンズ101は、突起部101a1、101a2及び101a3という3個の特徴点を含むこととするが、本開示はこれに限定されない。レンズ101は、2個以下、又は、4個以上の特徴点を含んでも良い。
【0048】
オペレータは、突起部101a1を囲むウィンドウカーソル111を設定する。また、オペレータは、突起部101a2を囲むウィンドウカーソル112を設定する。また、オペレータは、突起部101a3を囲むウィンドウカーソル113を設定する。
【0049】
特徴点位置取得部52aは、特徴点の位置としてのウィンドウカーソル111、112及び113を、入力装置62から取得する。
【0050】
なお、実施形態では、オペレータがウィンドウカーソル111、112及び113を設定することとしたが、本開示はこれに限定されない。特徴点位置取得部52aが、画像認識処理により、突起部101a1、101a2及び101a3の位置を取得しても良い。
【0051】
再び
図5を参照すると、極座標変換画像生成部52bは、ノズル34に保持されたティーチング用のレンズ101の画像150を画像取得部51から受け取って、極座標変換した極座標変換画像160(後の
図7参照)を生成する。極座標変換画像160は、二次元直交座標系(X,Y)の画像150を、極座標系(r,θ)に変換した画像である。
【0052】
極座標変換画像160が、本開示の「第1極座標変換画像」に相当する。
【0053】
図7は、実施形態に係る実装装置で生成される極座標変換画像の例を示す図である。詳しくは、
図7(a)は、極座標変換前の画像150の例を示す図であり、
図7(b)は、画像150を極座標変換した極座標変換画像160の例を示す図である。極座標変換画像160は、第1軸(
図7(b)では、水平右方向)を角度θとし、第1軸に交差する第2軸(
図7(b)では、垂直下方向)を径rとする座標系で表される画像である。第1軸(θ軸)と第2軸(r軸)とは、直交することが例示されるが、本開示はこれに限定されない。
【0054】
極座標変換画像生成部52bは、画像150において、レンズ101の中心101cを算出し、中心101cとレンズ101の外形サイズ(例えば、半径)に基づいて、極座標変換画像160を生成することが例示されるが、本開示はこれに限定されない。極座標変換画像生成部52bは、中心101cを、例えば、レンズ101の外周輪郭の重心で算出したり、外周輪郭を円近似したりして算出することが可能であるが、本開示はこれに限定されない。極座標変換画像生成部52bは、中心101cから予め定められた方向(
図7(a)では、水平右方向)へ向かう線102を角度θの基準とするが、本開示はこれに限定されない。極座標変換画像生成部52bは、線102から時計回りの方向を、角度θの正方向とするが、本開示はこれに限定されない。
【0055】
なお、極座標変換画像生成部52bは、極座標変換画像160において、特徴点の1つである突起部101a1がθ=0°の境界線に重なる場合には、基準方向(
図7(a)の線102の方向)を、予め定められた角度だけ、角度θの逆方向にずらせば良い。例えば、極座標変換画像生成部52bは、基準方向(線102の方向)を、-45°ずらすことが例示されるが、本開示はこれに限定されない。これにより、極座標変換画像生成部52bは、特徴点の1つである突起部101a1がθ=0°の境界線に重ならないようにすることができる。
【0056】
再び
図5を参照すると、特徴点位置算出部52cは、特徴点である突起部101a1、101a2及び101a3の、極座標変換画像160内での位置を算出する。例えば、特徴点位置算出部52cは、ウィンドウカーソル111(
図6参照)の中央の二次元座標(X,Y)を極座標(r,θ)に変換することにより、ウィンドウカーソル111の中央の極座標変換画像160内での位置、つまり突起部101a1の中央の極座標変換画像160内での位置を、算出できる。
【0057】
テンプレート画像生成部52dは、特徴点である突起部101a1、101a2及び101a3を含む、極座標変換画像160内の部分画像を、テンプレート画像170(後の
図8参照)として生成し、記憶部53に記憶させる。
【0058】
図8は、実施形態に係る実装装置で生成される極座標変換画像の例を示す図である。特徴点位置算出部52cは、特徴点である突起部101a1、101a2及び101a3を含む、角度θ
1から角度θ
2まで且つ径r
1から径r
2までの、極座標変換画像160内の矩形の部分画像を切り出し、テンプレート画像170として生成し、記憶部53に記憶させる。
【0059】
図9は、実施形態に係る実装装置で取得される画像の例を示す図である。詳しくは、
図9は、画像150において、テンプレート画像170に相当する部分画像151を示す図である。部分画像151は、角度θ
1から角度θ
2まで且つ径r
1から径r
2までのC字形状である。
【0060】
再び
図5を参照すると、認識処理部54は、生産ライン6の稼働開始後、つまりLED照明デバイスの生産開始後に、ノズル34に保持された後且つ基板Pに実装される前の実装用のレンズ201(後の
図10参照)の画像に対する認識処理を実行する。認識処理部54は、実装用のレンズ201を基板Pに実装する都度、認識処理を実行する。
【0061】
レンズ201が、本開示の「第2部品」に相当する。
【0062】
極座標変換画像生成部54aは、ノズル34に保持された後且つ基板Pに実装される前のレンズ201の画像180(後の
図10参照)を画像取得部51から受け取って、極座標変換した極座標変換画像190(後の
図10参照)を生成する。極座標変換画像生成部54aは、テンプレート画像170の径方向の範囲(径r
1から径r
2まで)に相当する、画像180内の環状の部分画像を極座標変換し、極座標変換画像190を生成する。
【0063】
画像180が、本開示の「第2原画像」に相当する。極座標変換画像190が、本開示の「第2極座標変換画像」に相当する。
【0064】
図10は、実施形態に係る実装装置で生成される極座標変換画像の例を示す図である。詳しくは、
図10(a)は、極座標変換前の画像180の例を示す図であり、
図10(b)は、画像180を極座標変換した極座標変換画像190の例を示す図である。レンズ201は、突起部201a1、201a2及び201a3を含む。
【0065】
極座標変換画像生成部54aは、画像180において、レンズ201の中心201cを算出し、角度0°から角度360°まで且つ径r
1から径r
2までの環状の部分画像181を極座標変換し、極座標変換画像190を生成する。極座標変換画像生成部52bは、中心201cから予め定められた方向(
図10(a)では、水平右方向)へ向かう線182を角度θの基準とするが、本開示はこれに限定されない。
【0066】
なお、極座標変換画像190において、特徴点の1つである突起部201a1がθ=0°の境界線に重なる場合が起こり得る。そこで、極座標変換画像生成部54aは、極座標変換画像190の末尾の予め定められた第1角度範囲(例えば、315°から360°まで)の部分画像を、極座標変換画像190の先頭(0°)の前にコピーすることとしても良い。同様に、特徴点の1つである突起部201a3がθ=360°の境界線に重なる場合が起こり得る。そこで、極座標変換画像生成部54aは、極座標変換画像190の先頭の予め定められた第2角度範囲(例えば、0°から45°まで)の部分画像を、極座標変換画像190の末尾(360°)の後にコピーすることとしても良い。これにより、極座標変換画像生成部54aは、特徴点が極座標変換画像190の境界線に重なることを、抑制できる。
【0067】
再び
図5を参照すると、部品角度算出部54bは、極座標変換画像190と、記憶部53に記憶されているテンプレート画像170と、を照合することにより、レンズ201の第3軸(Z軸)周りの角度を算出する。部品角度算出部54bは、既知のパターンマッチング技術を、照合に利用することができる。
【0068】
図11は、実施形態に係る実装装置で生成される極座標変換画像及びテンプレート画像の例を示す図である。テンプレート画像170の角度範囲は、角度θ
1から角度θ
2までであることが既に判明している。従って、部品角度算出部54bは、極座標変換画像190とテンプレート画像170との角度θ方向のずれ量を算出することにより、レンズ201の第3軸(Z軸)周りの角度を算出することができる。
【0069】
なお、極座標変換画像190及びテンプレート画像170のr軸方向の範囲は、径r1から径r2までで、同じである。従って、部品角度算出部54bは、r軸方向のずれを考慮する必要がなく、θ軸方向のずれ量だけを算出すれば良いので、照合のための演算処理量を抑制でき、レンズ201の第3軸(Z軸)周りの角度の算出に要する時間を抑制できる。認識処理は、レンズ201を基板Pに実装する都度、ノズル34に保持された後且つ基板Pに実装される前のレンズ201の画像に対して、実行される。従って、制御装置50は、レンズ201の第3軸(Z軸)周りの角度の算出に要する時間を抑制できることにより、レンズ201の実装時間を抑制することができる。これにより、生産システム1は、LED照明デバイスの生産時間を抑制することができる。
【0070】
再び
図5を参照すると、実装制御部55は、部品角度算出部54bで算出された角度に基づいて、実装ヘッド35内のノズル移動装置37を第3軸(Z軸)周りに回転させるように制御する。これにより、実装装置3は、レンズ201を予め定められた角度で基板Pに実装することができる。
【0071】
[画像処理方法]
(ティーチング工程)
図12は、実施形態に係る画像処理方法を示すフローチャートである。詳しくは、
図12は、ティーチング処理部52が実行するティーチング工程を示すフローチャートである。
【0072】
ノズル34が供給位置SMでティーチング用の部品C(レンズ101)を保持し、撮像装置39の上に達すると、撮像装置39は、ノズル34に保持されたティーチング用の部品C(レンズ101)の画像150を撮像する。画像取得部51は、ノズル34に保持されたティーチング用の部品C(レンズ101)の画像150を撮像装置39から取得する(ステップS1)。
【0073】
特徴点位置取得部52aは、ノズル34に保持されたティーチング用の部品C(レンズ101)の画像150を画像取得部51から受け取って、表示装置61に表示させる(ステップS2)。
【0074】
オペレータ(ティーチング作業者)は、表示装置61に表示された画像150を見ながら、部品C(レンズ101)の特徴点の位置を入力装置62に入力する。特徴点位置取得部52aは、特徴点の位置を入力装置62から取得する(ステップS3)。
【0075】
極座標変換画像生成部52bは、ノズル34に保持されたティーチング用の部品C(レンズ101)の画像150を画像取得部51から受け取って、極座標変換した極座標変換画像160を生成する(ステップS4)。
【0076】
特徴点位置算出部52cは、極座標変換画像160内での特徴点の位置を算出する(ステップS5)。
【0077】
テンプレート画像生成部52dは、極座標変換画像160内の特徴点を含む部分画像を、テンプレート画像170として生成し、記憶部53に記憶させる(ステップS6)。
【0078】
(認識工程)
図13は、実施形態に係る画像処理方法を示すフローチャートである。詳しくは、
図13は、認識処理部54が実行する認識工程を示すフローチャートである。
【0079】
ノズル34が供給位置SMで実装用の部品C(レンズ201)を保持し、撮像装置39の上に達すると、撮像装置39は、ノズル34に保持された実装用の部品C(レンズ201)の画像180を撮像する。画像取得部51は、ノズル34に保持された実装用の部品C(レンズ201)の画像180を撮像装置39から取得する(ステップS11)。
【0080】
極座標変換画像生成部54aは、ノズル34に保持された実装用の部品C(レンズ201)の画像180を画像取得部51から受け取って、極座標変換した極座標変換画像190を生成する(ステップS12)。
【0081】
部品角度算出部54bは、極座標変換画像190と、記憶部53に記憶されているテンプレート画像170と、を照合することにより、部品C(レンズ201)の第3軸(Z軸)周りの角度を算出する(ステップS13)。
【0082】
[コンピュータシステム]
図14は、実施形態に係るコンピュータシステムを示すブロック図である。上述の管理装置5及び制御装置50の各々は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。管理装置5及び制御装置50のそれぞれの機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
【0083】
プログラムは、上述の実施形態に従って、コンピュータシステム1000に、ティーチング用の部品C(レンズ101)の極座標変換画像160を生成することと、テンプレート画像170を生成することと、実装用の部品C(レンズ201)の極座標変換画像190を生成することと、極座標変換画像190とテンプレート画像170とを照合することと、実装用の部品C(レンズ201)の第3軸(Z軸)周りの角度を算出すること、を実行させることができる。
【0084】
[効果]
以上説明したように、ティーチング用のレンズ101の画像150を極座標変換した極座標変換画像160が生成され、レンズ101の特徴点を含む極座標変換画像160の部分画像が、テンプレート画像170として生成される。実装用のレンズ201の画像180を極座標変換した極座標変換画像190が生成される。極座標変換画像190とテンプレート画像170とが照らし合わされ、実装用のレンズ201の第3軸(Z軸)周りの角度が算出される。従って、画像180において特徴点のエッジが若干不鮮明であったとしても、実装用のレンズ201の第3軸(Z軸)周りの角度が高い精度で算出される。
【0085】
また、極座標変換画像190及びテンプレート画像170のr軸方向の範囲は、径r1から径r2までで、同じである。従って、r軸方向のずれ量を考慮する必要がなく、θ軸方向のずれ量だけが算出されれば良いので、照らし合わせのための演算処理量が抑制され、レンズ201の第3軸(Z軸)周りの角度の算出に要する時間が抑制される。認識処理は、レンズ201を基板Pに実装する都度、ノズル34に保持された後且つ基板Pに実装される前のレンズ201の画像に対して、実行される。従って、レンズ201の第3軸(Z軸)周りの角度の算出に要する時間が抑制されることにより、レンズ201の実装時間が抑制される。これにより、LED照明デバイスの生産時間が抑制される。
【0086】
また、極座標変換画像160において、特徴点がθ=0°の境界線に重なる場合には、基準方向が、θ方向と逆の方向にずらされる。例えば、基準方向が、-45°ずらされる。これにより、特徴点がθ=0°の境界線に重ならないようにすることができる。
【0087】
また、極座標変換画像190において、特徴点がθ=0°の境界線に重なる場合が起こり得る。そこで、極座標変換画像190の末尾の予め定められた第1角度範囲(例えば、315°から360°まで)の部分画像が、極座標変換画像190の先頭(0°)の前にコピーされる。様に、特徴点がθ=360°の境界線に重なる場合が起こり得る。そこで、極座標変換画像190の先頭の予め定められた第2角度範囲(例えば、0°から45°まで)の部分画像が、極座標変換画像190の末尾(360°)の後にコピーされる。これにより、特徴点が極座標変換画像190の境界線に重なることが、抑制される。
【0088】
<その他の実施形態>
管理装置5(
図1参照)が、ティーチング工程(
図12参照)及び認識工程(
図13参照)の内の一方又は両方を実行しても良い。但し、認識工程は、ノズル34に保持された後且つ基板Pに実装される前の実装用の部品C(レンズ201)の画像に対して実行されるので、高速に行われることが好ましい。従って、管理装置5がティーチング工程を実行する場合であっても、制御装置50が認識工程を実行することが好ましい。この場合、管理装置5がテンプレート画像170を作成して制御装置50に送信し、制御装置50が管理装置5から受信したテンプレート画像170を自装置のストレージ1003に記憶することが好ましい。
【符号の説明】
【0089】
1…生産システム、2…検査装置、3…実装装置、3A…実装装置、3B…実装装置、3C…実装装置、4…検査装置、5…管理装置、6…生産ライン、34…ノズル、35…実装ヘッド、37…ノズル移動装置、51…画像取得部、52…ティーチング処理部、52a…特徴点位置取得部、52b…極座標変換画像生成部、52c…特徴点位置算出部、52d…テンプレート画像生成部、53…記憶部、54…認識処理部、54a…極座標変換画像生成部、54b…部品角度算出部、55…実装制御部、101…レンズ、1000…コンピュータシステム、1001…プロセッサ、1002…メインメモリ、1003…ストレージ、1004…インターフェース、P…基板。