特開 2024-109048 画像処理装置、位置決め装置、実装装置、画像処理方法、位置決め方法及び実装方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109048

(43)【公開日】2024-08-13

(54)【発明の名称】画像処理装置、位置決め装置、実装装置、画像処理方法、位置決め方法及び実装方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240805BHJP

   H01L 21/52 20060101ALI20240805BHJP

   H01L 21/60 20060101ALI20240805BHJP

【ＦＩ】

G06T7/00 300F

H01L21/52 F

H01L21/60 311

G06T7/00 610

G06T7/00 350B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023218700

(22)【出願日】2023-12-25

(31)【優先権主張番号】P 2023013491

(32)【優先日】2023-01-31

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2023013493

(32)【優先日】2023-01-31

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002428

【氏名又は名称】芝浦メカトロニクス株式会社

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】関野 司紗

(72)【発明者】

【氏名】谷尾 哲嗣

(72)【発明者】

【氏名】古水戸 順介

【テーマコード（参考）】

5F044

5F047

5L096

【Ｆターム（参考）】

5F044KK01

5F044KK21

5F044PP17

5F047AA17

5F047FA79

5F047FA83

5L096BA08

5L096CA04

5L096CA24

5L096DA02

5L096EA03

5L096EA12

5L096EA13

5L096EA35

5L096FA02

5L096FA64

5L096FA67

5L096FA69

5L096GA19

5L096HA09

5L096HA11

5L096JA09

5L096JA11

5L096JA22

5L096KA04

5L096KA15

(57)【要約】

【課題】撮像された画像にかかわらず、パターンマッチングの成功率を高めることができる画像処理装置、位置決め装置、実装装置、画像処理方法、位置決め方法及び実装方法を提供する。
【解決手段】実施形態の画像処理装置６１は、画像生成モデルを生成するモデル生成部６０５と、物品画像ＧＭから分割物品画像ＤＧＭを生成する物品画像分割部６０６と、画像生成モデルにより分割特徴画像ＤＦＭを生成する分割特徴画像生成部６０７と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成部６０８と、特徴画像ＦＭの領域ＳＡを選択する領域選択部６０９と、領域ＳＡを登録するテンプレート登録部６１０と、パターンマッチング用分割物品画像から生成したパターンマッチング用分割特徴画像を、特徴画像生成部６０８によって結合したパターンマッチング用特徴画像と、テンプレートとをパターンマッチングするパターンマッチング部６１１と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物品の特徴を含む領域を撮像した物品画像を、所定のサイズに分割した学習用分割物品画像を生成する学習用物品画像分割部と、
前記物品画像から前記特徴を抽出した特徴画像を、所定のサイズに分割した教示用分割特徴画像を生成する教示用特徴画像分割部と、
前記学習用分割物品画像及び前記教示用分割特徴画像に基づいて、前記物品画像から前記特徴を抽出する画像生成モデルを生成するモデル生成部と、
前記物品画像を、所定のサイズに分割した分割物品画像を生成する物品画像分割部と、
前記分割物品画像から、前記画像生成モデルによって、前記分割物品画像毎の前記特徴を抽出した分割特徴画像を生成する分割特徴画像生成部と、
前記分割特徴画像を結合した特徴画像を生成する特徴画像生成部と、
前記特徴画像の所望の領域を選択する領域選択部と、
前記領域選択部により選択された領域を、パターンマッチング用のテンプレートとして登録するテンプレート登録部と、
パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、前記物品画像分割部が分割したパターンマッチング用分割物品画像から、前記分割特徴画像生成部が生成したパターンマッチング用分割特徴画像を、前記特徴画像生成部によって結合したパターンマッチング用特徴画像と、登録された前記テンプレートとをパターンマッチングするパターンマッチング部と、
を有する画像処理装置。

【請求項2】

学習用の前記物品画像における特徴の輝度及びサイズに、パターンマッチングの前記テンプレート用の物品画像における特徴の輝度及びサイズが合うように、前記テンプレート用の物品画像の輝度及びサイズを変換する第１の画像変換部と、
前記物品画像分割部が前記テンプレート用の物品画像を分割して生成した分割物品画像から、前記分割特徴画像生成部が抽出した分割特徴画像を、前記特徴画像生成部が結合することにより生成した特徴画像のサイズを、第１の画像変換部による変換前の物品画像のサイズに変換する第２の画像変換部と、
を有し、
前記領域選択部は、前記第２の画像変換部が変換した特徴画像の所望の領域を選択する請求項１記載の画像処理装置。

【請求項3】

前記学習用分割物品画像、前記教示用特徴画像、前記分割物品画像、前記分割特徴画像、前記パターンマッチング用分割物品画像、前記パターンマッチング用分割特徴画像は、同一のサイズである請求項１又は請求項２記載の画像処理装置。

【請求項4】

前記パターンマッチング部がパターンマッチングに失敗する場合に、前記モデル生成部が、当該パターンマッチングに失敗する画像を用いて、再度、前記画像生成モデルを生成させる請求項１又は請求項２記載の画像処理装置。

【請求項5】

前記第１の画像変換部は、サイズの変換と輝度の変換の順序が、切り替え可能である請求項２記載の画像処理装置。

【請求項6】

請求項１又は請求項２記載の画像処理装置を有し、
前記パターンマッチング部によりパターンマッチングされた前記パターンマッチング用特徴画像と、前記テンプレートとの前記特徴のずれ量を算出するずれ量算出部と、
前記パターンマッチングの対象となった物品の位置決めを行う位置決め機構と、
前記ずれ量を補正するように、前記位置決め機構に前記パターンマッチングの対象となった物品を移動させることにより位置決めする位置決め制御部と、
を有する位置決め装置。

【請求項7】

請求項６記載の位置決め装置を有し、
前記物品は基板及び前記基板に搭載される電子部品であり、
前記位置決め機構は、前記基板及び前記電子部品を相対移動させることにより位置決めする機構であり、
位置決めされた前記電子部品を前記基板に搭載する搭載機構と、
前記搭載機構に、前記電子部品を前記基板に搭載する方向に移動させることにより、前記電子部品を前記基板に実装させる実装制御部と、
を有する実装装置。

【請求項8】

物品の特徴を含む領域を撮像した物品画像を、所定のサイズに分割した学習用物品画像を生成する学習用物品画像生成処理と、
前記物品画像の前記特徴を抽出した特徴画像を、所定のサイズに分割した教示用特徴画像を生成する教示特徴画像生成処理と、
前記学習用物品画像及び前記教示用特徴画像に基づいて、前記物品画像から前記特徴を抽出する画像生成モデルを生成するモデル生成処理と、
前記物品画像を、所定のサイズに分割した分割物品画像を生成する物品画像分割処理と、
前記分割物品画像から、前記画像生成モデルに基づいて、前記分割物品画像毎の前記特徴を抽出した分割特徴画像を生成する分割特徴画像生成処理と、
前記分割特徴画像を結合した特徴画像を生成する特徴画像生成処理と、
前記特徴画像の所望の領域を選択する領域選択処理と、
前記領域選択処理により選択された領域を、パターンマッチング用のテンプレートとして登録するテンプレート登録処理と、
パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、前記物品画像分割処理により分割したパターンマッチング用分割物品画像から、前記分割特徴画像生成処理により生成したパターンマッチング用分割特徴画像を、前記特徴画像生成処理によって結合したパターンマッチング用特徴画像と、登録された前記テンプレートとをパターンマッチングするパターンマッチング処理と、
を含む画像処理方法。

【請求項9】

学習用の前記物品画像における特徴の輝度及びサイズに、パターンマッチングのテンプレート用の前記物品画像における特徴の輝度及びサイズが合うように、テンプレート用の前記物品画像の輝度及びサイズを変換する第１の画像変換処理と、
前記物品画像分割処理により前記テンプレート用の物品画像を分割して生成した分割物品画像から、前記分割特徴画像生成処理により抽出した分割特徴画像を、前記特徴画像生成処理により結合することにより生成した特徴画像のサイズを、第１の画像変換部による変換前の物品画像のサイズに変換する第２の画像変換処理と、
を含み、
前記領域選択処理は、前記第２の画像変換処理により変換した特徴画像の所望の領域を選択する請求項８記載の画像処理方法。

【請求項10】

請求項８又は請求項９記載の画像処理方法を含み、
前記パターンマッチング処理によりパターンマッチングされた前記パターンマッチング用特徴画像と、前記テンプレートとの前記特徴のずれ量を算出するずれ量算出処理と、
前記ずれ量を補正するように、位置決め機構に前記パターンマッチングの対象となった物品を移動させることにより位置決めさせる位置決め処理と、
を含む位置決め方法。

【請求項11】

請求項１０記載の位置決め方法を含み、
前記物品は基板及び前記基板に搭載される電子部品であり、
前記位置決め処理は、前記基板及び前記電子部品を相対移動させることにより位置決めさせる処理であり、
搭載機構に、位置決めされた前記電子部品を前記基板に搭載させる搭載処理を含む実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、位置決め装置、実装装置、画像処理方法、位置決め方法及び実装方法に関する。

【背景技術】

【0002】

半導体チップなどの電子部品を、ウェーハやトレイからピックアップし、基板の上に搬送し、基板に押し付けて実装することが行われている。このような電子部品の実装では、ひとつの基板に多数の電子部品を実装するものもある。電子部品を基板に実装する前には、実装領域に電子部品を位置合わせする必要がある。

【0003】

基板と電子部品を位置決めするために、例えば、パターンマッチングによる方法が行われている。パターンマッチングでは、基準となる特徴（配線パターン、マーク、端子（電極配置、バンプ配置等））を含む画像を、テンプレートとして予め登録しておく。そして、基板や電子部品の特徴を含む領域を撮像した画像と、テンプレートとをパターンマッチングさせて、画像とテンプレートの特徴の位置のずれ量を検出する。そして、位置決め機構が、ずれ量が補正されるように、電子部品と基板との位置決めを行っている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１０－２５６３５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記のような従来技術では、電子部品の様々な表面状態や形状のばらつき、画像における電子部品の写り方のばらつきなどにより、特徴以外の箇所の影響を受けてしまい、テンプレートとのパターンマッチング率が低下して、位置決めに失敗する場合がある。これに対処するため、テンプレートを大量に用意する場合には、多大な手間がかかる。

【0006】

本発明の実施形態は、撮像された画像にかかわらず、パターンマッチングの成功率を高めることができる画像処理装置、位置決め装置、実装装置、画像処理方法、位置決め方法及び実装方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、実施形態の画像処理装置は、物品の特徴を含む領域を撮像した物品画像を、所定のサイズに分割した学習用分割物品画像を生成する学習用物品画像分割部と、前記物品画像から前記特徴を抽出した特徴画像を、所定のサイズに分割した教示用分割特徴画像を生成する教示用特徴画像分割部と、前記学習用分割物品画像及び前記教示用分割特徴画像に基づいて、前記物品画像から前記特徴を抽出する画像生成モデルを生成するモデル生成部と、前記物品画像を、所定のサイズに分割した分割物品画像を生成する物品画像分割部と、前記分割物品画像から、前記画像生成モデルによって、前記分割物品画像毎の前記特徴を抽出した分割特徴画像を生成する分割特徴画像生成部と、前記分割特徴画像を結合した特徴画像を生成する特徴画像生成部と、前記特徴画像の所望の領域を選択する領域選択部と、前記領域選択部により選択された領域を、パターンマッチング用のテンプレートとして登録するテンプレート登録部と、パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、前記物品画像分割部が分割したパターンマッチング用分割物品画像から、前記分割特徴画像生成部が生成したパターンマッチング用分割特徴画像を、前記特徴画像生成部によって結合したパターンマッチング用特徴画像と、登録された前記テンプレートとをパターンマッチングするパターンマッチング部と、を有する。

【0008】

実施形態の位置決め装置は、前記画像処理装置を有し、前記パターンマッチング部によりパターンマッチングされた前記パターンマッチング用特徴画像と、前記テンプレートとの前記特徴のずれ量を算出するずれ量算出部と、前記パターンマッチングの対象となった物品の位置決めを行う位置決め機構と、前記ずれ量を補正するように、前記位置決め機構に前記パターンマッチングの対象となった物品を移動させることにより位置決めする位置決め制御部と、を有する。

【0009】

実施形態の実装装置は、前記位置決め装置を有し、前記物品は基板及び前記基板に搭載される電子部品であり、前記位置決め機構は、前記基板及び前記電子部品を相対移動させることにより位置決めする機構であり、位置決めされた前記電子部品を前記基板に搭載する搭載機構と、前記搭載機構に、前記電子部品を前記基板に搭載する方向に移動させることにより、前記電子部品を前記基板に実装させる実装制御部と、を有する。

【0010】

実施形態の画像処理方法は、物品の特徴を含む領域を撮像した物品画像を、所定のサイズに分割した学習用物品画像を生成する学習用物品画像生成処理と、前記物品画像の前記特徴を抽出した特徴画像を、所定のサイズに分割した教示用特徴画像を生成する教示特徴画像生成処理と、前記学習用物品画像及び前記教示用特徴画像に基づいて、前記物品画像から前記特徴を抽出する画像生成モデルを生成するモデル生成処理と、前記物品画像を、所定のサイズに分割した分割物品画像を生成する物品画像分割処理と、前記分割物品画像から、前記画像生成モデルに基づいて、前記分割物品画像毎の前記特徴を抽出した分割特徴画像を生成する分割特徴画像生成処理と、前記分割特徴画像を結合した特徴画像を生成する特徴画像生成処理と、前記特徴画像の所望の領域を選択する領域選択処理と、前記領域選択処理により選択された領域を、パターンマッチング用のテンプレートとして登録するテンプレート登録処理と、パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、前記物品画像分割処理により分割したパターンマッチング用分割物品画像から、前記分割特徴画像生成処理により生成したパターンマッチング用分割特徴画像を、前記特徴画像生成処理によって結合したパターンマッチング用特徴画像と、登録された前記テンプレートとをパターンマッチングするパターンマッチング処理と、を含む。

【0011】

実施形態の位置決め方法は、前記画像処理方法を含み、前記パターンマッチング処理によりパターンマッチングされた前記パターンマッチング用特徴画像と、前記テンプレートとの前記特徴のずれ量を算出するずれ量算出処理と、前記ずれ量を補正するように、位置決め機構に前記パターンマッチングの対象となった物品を移動させることにより位置決めさせる位置決め処理と、を含む。

【0012】

実施形態の実装方法は、前記位置決め方法を含み、前記物品は基板及び前記基板に搭載される電子部品であり、前記位置決め処理は、前記基板及び前記電子部品を相対移動させることにより位置決めさせる処理であり、搭載機構に、位置決めされた前記電子部品を前記基板に搭載させる搭載処理を含む。

【発明の効果】

【0013】

本発明の実施形態では、撮像された画像にかかわらず、パターンマッチングの成功率を高めることができる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態の実装装置を示す正面図及び制御装置を示すブロック図である。

【図2】図１の実装装置を示す平面図である。

【図3】図１の実装装置の電子部品の受け渡し時を示す正面図である。

【図4】図３の状態の実装装置を示す平面図である。

【図5】図１のＡ－Ａ断面図であり、電子部品、基板の撮像時を示す図である。

【図6】電子部品の実装面を示す図（Ａ）、実装面に対する撮像部の視野範囲を異なる箇所に位置付けた様子を示す図（Ｂ）である。

【図7】撮像部の視野範囲、物品画像、特徴画像、分割物品画像、分割特徴画像の関係を示す図である。

【図8】物品画像を示す図（Ａ）、特徴画像を示す図（Ｂ）である。

【図9】分割物品画像を示す図（Ａ）、分割特徴画像を示す図（Ｂ）である。

【図10】パターンマッチング対象となる電子部品の実装面を示す図（Ａ）、撮像部の視野範囲とテンプレートとして選択された領域を示す図（Ｂ）である。

【図11】登録されたテンプレートの姿勢を示す図（Ａ）、実装対象となる電子部品の姿勢を示す図（Ｂ）

【図12】モデル生成の処理手順を示すフローチャートである。

【図13】テンプレートの登録手順を示すフローチャートである。

【図14】パターンマッチングの処理手順を示すフローチャートである。

【図15】電子部品の位置決めと搭載手順を示すフローチャートである。

【図16】特徴以外の背景が異なる物品画像を示す図（Ａ）、特徴のサイズが異なる物品画像を示す図（Ｂ）、輝度が異なる物品画像を示す図（Ｃ）である。

【図17】第２の実施形態の実装装置を示す正面図及び制御装置を示すブロック図である。

【図18】第２の実施形態のモデル生成の処理手順を示すフローチャートである。

【図19】第２の実施形態のテンプレートの登録手順を示すフローチャートである。

【図20】実施形態の変形例の処理手順を示すフローチャートである。

【図21】ダミーダイの画像を示す図である。

【発明を実施するための形態】

【0015】

本発明の実施の形態について、図面を参照して具体的に説明する。なお、図面は模式図であって、各部のサイズ、比率等は、理解を容易にするために誇張している部分を含んでいる。

【0016】

［第１の実施形態］
まず、第１の実施形態について説明する。
［概要］
図１～図４に示すように、本実施形態の実装装置１は、電子部品２の供給装置１０、ピックアップ装置２０、搭載装置３０、基板ステージ４０、撮像部５０及び制御装置６０を有する。実装装置１は、供給装置１０からピックアップ装置２０によってピックアップされた電子部品２を反転させて、搭載装置３０に受け渡し、搭載装置３０によって基板ステージ４０における基板３に搭載することにより実装する。

【0017】

電子部品２は、例えば、矩形状の薄小片部品である。本実施形態では、電子部品２は、半導体チップである。半導体チップは、表裏のうち一方の面が、電極部を有し基板３に実装される実装面２ａである。基板３は、電子部品２が搭載される複数の実装領域３ａが、マトリクス（行列）状に設けられた板体である。各実装領域３ａには、電極部が設けられている。実装領域３ａの電極部に、電子部品２の電極部が接合されるように、電子部品２が基板３に搭載される。

【0018】

電子部品２と実装領域３ａとは、実装前に位置決めする必要がある。電子部品２の電極部、基板３の電極部は、位置決めのための特徴となる。本実施形態では、画像生成モデルによって、電極部を含む基板３の画像（物品画像）を分割した分割物品画像から、電極部を抽出した分割特徴画像を生成する。この分割特徴画像を結合した特徴画像と、予め登録したテンプレートとのパターンマッチングを行い、特徴画像の電極部とテンプレートの電極部とのずれ量を補正するように位置決めを行う。

【0019】

［供給装置］
供給装置１０は、電子部品２をピックアップ装置２０へと供給する装置である。供給装置１０は、ピックアップ対象の電子部品２を供給位置Ｐ１に移動させる。供給位置Ｐ１とは、ピックアップ装置２０が、ピックアップ対象となる電子部品２をピックアップする位置である。供給装置１０は、電子部品２が載置されたトレイ１１を支持する供給ステージ１２、供給ステージ１２を移動させるステージ移動機構１３を備える。このステージ移動機構１３としては、例えば、サーボモータによって駆動されるボールねじ機構によって、レール上をスライダが移動するリニアガイドを用いることができる。

【0020】

電子部品２が載置されるトレイ１１は、上面に複数の電子部品２を載置する板体である。トレイ１１上には、図示はしないが、窪みがマトリクス（行列）状に形成されている。各窪みに、電子部品２が載置されることにより、トレイ１１上に電子部品２がマトリクス状に並ぶ。本実施形態では、電子部品２は、実装面２ａが上方に露出したフェイスアップ状態で配置されているものとする。

【0021】

供給ステージ１２は、電子部品２が載置されたトレイ１１を、水平に支持する台である。供給ステージ１２は、ステージ移動機構１３によって、水平方向に移動可能に設けられている。トレイ１１は供給ステージ１２に支持されているため、ステージ移動機構１３によって供給ステージ１２が移動するとともに、トレイ１１及び当該トレイ１１に載せられた電子部品２もまた、水平方向に移動可能に設けられている。

【0022】

なお、図１に示すように、水平方向のうち、供給装置１０と搭載装置３０が並ぶ方向をＸ軸方向、Ｘ軸に直交する方向をＹ軸方向という。また、トレイ１１の平面に直交する方向をＺ軸方向または上下方向とする。また、水平方向における回転方向をθ軸方向とする。但し、これらの方向は実装装置１の設置方向を限定するものではない。

【0023】

［ピックアップ装置］
ピックアップ装置２０は、供給装置１０から電子部品２をピックアップし、ピックアップした電子部品２を搭載装置３０に受け渡す装置である。このピックアップ装置２０は、ピックアップノズル２１と、移動機構２２と、反転機構２３とを備える。

【0024】

（ピックアップノズル）
ピックアップノズル２１は、電子部品２を吸引保持し、また吸引保持を解除して電子部品２を解放する機構である。ピックアップノズル２１は、先端面に開口したノズル孔を備える。ノズル孔は真空ポンプ等を含む負圧発生回路（図示せず）と連通しており、当該回路が負圧を発生させることによって、ピックアップノズル２１の先端面に電子部品２を吸着保持する。また、負圧を解除することで先端面から電子部品２の保持状態を解除する。

【0025】

移動機構２２は、図１～図４に示すように、供給位置Ｐ１と受け渡し位置Ｐ２との間でピックアップノズル２１を往復移動させ、また、供給位置Ｐ１及び受け渡し位置Ｐ２でピックアップノズル２１を昇降させる機構である。なお、受け渡し位置Ｐ２とは、ピックアップ装置２０が、供給位置Ｐ１でピックアップした電子部品２を後述する受取部として機能するボンディングヘッド３１０に受け渡す位置である。供給位置Ｐ１及び受け渡し位置Ｐ２は、主にＸＹ方向の位置を意味し、必ずしもＺ軸方向の位置を意味するものではない。

【0026】

（移動機構）
移動機構２２は、ピックアップノズル２１が取り付けられたアーム２２ａを有し、アーム２２ａを移動させることにより、ピックアップノズル２１を移動させる。移動機構２２は、スライド機構２２ｂ、昇降機構２２ｆを備える。スライド機構２２ｂは、ピックアップノズル２１が取り付けられたアーム２２ａを移動させることにより、ピックアップノズル２１を供給位置Ｐ１と受け渡し位置Ｐ２との間で往復移動させる。ここでは、スライド機構２２ｂは、Ｘ軸方向と平行に延び、支持フレーム２２ｃに固定されたレール２２ｄと、レール２２ｄ上を走行するスライダ２２ｅとを有する。スライダ２２ｅは、図示はしないが、回転モータにより駆動されるボールねじ、リニアモータ等により駆動される。

【0027】

昇降機構２２ｆは、ピックアップノズル２１が取り付けられたアーム２２ａを移動させることにより、ピックアップノズル２１を上下方向に移動させる。具体的には、昇降機構２２ｆは、サーボモータによって駆動されるボールねじ機構によって、レール上をスライダが移動するリニアガイドを用いることができる。すなわち、サーボモータの駆動により、ピックアップノズル２１がＺ軸方向に沿って昇降する。

【0028】

（反転機構）
反転機構２３は、ピックアップノズル２１と移動機構２２の間に設けられている。反転機構２３は、ここでは、ピックアップノズル２１の向きを変更するモータ等の駆動源、ボールベアリング等の回転ガイドを含んでなるアクチュエータである。向きを変更するとは、上下方向に０°～１８０°回転させることである。

【0029】

［搭載装置］
搭載装置３０は、電子部品２を基板３の実装領域３ａに搭載する装置である。搭載装置３０は、図３及び図４に示すように、ピックアップ装置２０から受け取った電子部品２を実装位置Ｐ３まで搬送し、基板３に搭載することにより実装する。実装位置Ｐ３とは、電子部品２を基板３に実装する位置である。実装位置Ｐ３は、主にＸＹ方向の位置を意味し、必ずしもＺ軸方向の位置を意味するものではない。搭載装置３０は、ボンディングヘッド３１０、ヘッド移動機構３２０を有する。

【0030】

（ボンディングヘッド）
ボンディングヘッド３１０は、受け渡し位置Ｐ２でピックアップノズル２１から電子部品２を受け取る受取部としての機能を有し、また当該電子部品２を実装位置Ｐ３で基板３に実装する装置である。ボンディングヘッド３１０は、電子部品２を保持し、また実装後は電子部品２から離脱する。

【0031】

具体的には、ボンディングヘッド３１０は、ボンディングツール３１１、回動ユニット３１２を有する。ボンディングツール３１１は板体であり、一方の面は、下方に向かい、電子部品２を保持する保持面３１１ａである。保持面３１１ａの中央には、負圧発生回路に接続された吸引経路の端部が、ボンディングツール３１１の電子部品２の保持面３１１ａに開口した吸引口となっていて、この吸引口において電子部品２を吸引保持する。また、ボンディングツール３１１は、ボンディングヘッド３１０に、負圧により吸着保持される。

【0032】

回動ユニット３１２は、図示しないモータによりベルトを介して回動可能に設けられ、ボンディングツール３１１を水平方向に回動させることができる。これにより、回動ユニット３１２は、ボンディングツール３１１に保持された電子部品２を、θ軸方向に位置決めできる。

【0033】

（ヘッド移動機構）
ヘッド移動機構３２０は、ボンディングヘッド３１０を、受け渡し位置Ｐ２と実装位置Ｐ３との間で往復移動させ、また、受け渡し位置Ｐ２及び実装位置Ｐ３で昇降させる機構である。本実施形態のヘッド移動機構３２０は、電子部品２を基板３に搭載する搭載機構として機能する。また、本実施形態のヘッド移動機構３２０は、上記の回動ユニット３１２、後述するステージ移動機構４２とともに、基板３の実装領域３ａに対して電子部品２の実装面２ａを位置決めする位置決め機構として機能する。具体的には、ヘッド移動機構３２０は、スライド機構３２１、昇降機構３２２を備える。

【0034】

スライド機構３２１は、ボンディングヘッド３１０を受け渡し位置Ｐ２と実装位置Ｐ３との間で往復移動させる。ここでは、スライド機構３２１は、Ｘ軸方向と平行に延び、支持フレーム３２１ａに固定された２本のレール３２１ｂと、レール３２１ｂ上を走行するスライダ３２１ｃとを有する。スライダ３２１ｃは、図示はしないが、回転モータにより駆動されるボールねじ、リニアモータ等により駆動される。

【0035】

なお、図示はしないが、スライド機構３２１は、ボンディングヘッド３１０をＹ軸方向にスライド移動させるスライド機構を有している。このスライド機構も、Ｙ軸方向のレールとレールを走行するスライダによって構成できる。スライダは、回転モータにより駆動されるボールねじ、リニアモータ等により駆動される。

【0036】

昇降機構３２２は、ボンディングヘッド３１０を上下方向に移動させる。具体的には、昇降機構３２２は、サーボモータ３２２ａによって駆動されるボールねじ機構によって、レール３２２ｂ上をスライダ３２２ｃが移動するリニアガイドを用いることができる。すなわち、サーボモータ３２２ａの駆動により、ボンディングヘッド３１０がＺ軸方向に沿って昇降する。

【0037】

［基板ステージ］
基板ステージ４０は、電子部品２を実装するための基板３を支持する。基板ステージ４０は、基板３を支持する基板支持台４１が、ステージ移動機構４２に設けられている。ステージ移動機構４２は、基板支持台４１をＸＹ平面上でスライド移動させ、基板３における実装対象となる実装領域３ａを実装位置Ｐ３に位置付ける機構である。ステージ移動機構４２は、例えば、サーボモータによって駆動されるボールねじ機構によって、レール上をスライダが移動するリニアガイドを用いることができる。

【0038】

［撮像部］
撮像部５０は、物品の特徴を含む領域を撮像する装置である。撮像部５０は、図５に示すように、実装位置Ｐ３と実装位置Ｐ３から退避する位置との間で移動可能に設けられ、ボンディングヘッド３１０に保持された電子部品２の実装面２ａと、基板ステージ４０に支持された基板３の実装領域３ａを撮像する。より具体的には、撮像部５０は、カメラ、レンズ、鏡筒、光源等を有し、カメラが上下二視野で、ボンディングヘッド３１０に保持された電子部品２と、基板ステージ４０に支持された基板３とを同時に撮像可能となるように、光軸が垂直方向に配置されている。

【0039】

撮像部５０が有する座標は、例えば、撮像中心がＸＹ座標の原点とされ、この原点が機械的あるいは演算可能な情報として実装位置Ｐ３と一致するように設定される。この場合、実装装置１におけるＸＹ座標上の基準位置とは実装位置Ｐ３のことである。撮像部５０により撮像された電子部品２及び基板３の物品画像に基づいて、パターンマッチング及び位置決めが行われる。

【0040】

［制御装置］
制御装置６０は、供給装置１０、ピックアップ装置２０、搭載装置３０、基板ステージ４０、撮像部５０の起動、停止、速度、動作タイミング等を制御する。制御装置６０は、実装装置１の各種の機能を実現するべく、プログラムを実行するプロセッサ、プログラムや動作条件などの各種情報を記憶するメモリ、各要素を駆動する駆動回路等を有する。また、制御装置６０には、オペレータが制御に必要な指示や情報を入力する入力装置８０、画像を確認するための表示装置９０が接続されている。

【0041】

本実施形態の制御装置６０は、図１に示すように、撮像制御部６０１、教示用特徴画像生成部６０２、学習用物品画像分割部６０３、教示用特徴画像分割部６０４、モデル生成部６０５、物品画像分割部６０６、分割特徴画像生成部６０７、特徴画像生成部６０８、領域選択部６０９、テンプレート登録部６１０、パターンマッチング部６１１、ずれ量算出部６１２、位置決め制御部６１３、実装制御部６１４、記憶部６１５を有する。

【0042】

教示用特徴画像生成部６０２、学習用物品画像分割部６０３、教示用特徴画像分割部６０４、モデル生成部６０５、物品画像分割部６０６、分割特徴画像生成部６０７、特徴画像生成部６０８、領域選択部６０９、テンプレート登録部６１０、パターンマッチング部６１１は、画像処理装置６１として捉えることができる。また、画像処理装置６１、ずれ量算出部６１２、位置決め制御部６１３は、位置決め機構（回動ユニット３１２、ヘッド移動機構３２０、ステージ移動機構４２）とともに、位置決め装置として捉えることができる。

【0043】

撮像制御部６０１は、下端面に電子部品２を吸着保持したボンディングヘッド３１０を、基板３の実装対象となる実装領域３ａの上方で待機させて、ボンディングヘッド３１０と基板３との間に、撮像部５０を進入させて、ボンディングヘッド３１０に保持された電子部品２の実装面２ａと基板３の実装領域３ａとを撮像し、退避させる。これにより、制御装置６０において物品画像が取得される。

【0044】

物品画像は、物品の特徴を含む領域を撮像した画像である。物品は、電子部品２、基板３である。物品の特徴を含む領域は、電子部品２の実装面２ａ、基板３の実装領域３ａである。物品の特徴としては電極部を用いることができる。このとき、物品画像は、撮像部５０が電子部品２の電極部を含む実装面２ａあるいは基板３の電極部を含む実装領域３ａを撮像した画像である。

【0045】

図６（Ａ）は、電子部品２の実装面２ａの一例を示す模式図であり、図６（Ｂ）は、点線の矩形の枠で示した撮像部５０の視野範囲ＶＡを、実装面２ａの様々な位置に位置付ける様子を示す図である。図６において、Ｂで示す黒丸は電極部であるバンプを示す。縦横の筋は回路パターンを模したものを示す。太い筋は、回路パターンの領域の間などで、筋状に見える部分を表現している。太さや濃淡の違う部分は、表面状態（回路構成や密度、表面保護膜等）により見え方の違う部分を示す。このような実装面２ａは、濃淡が異なる等、見え方がばらつくことがある。そのため、物品の特徴であるバンプＢが、バンプＢとして認識されない場合があった。

【0046】

また、撮像制御部６０１は、図６（Ｂ）に示すように、視野範囲ＶＡを実装面２ａに対して相対移動させて、撮像部５０に複数箇所を撮像させることができる。

【0047】

図７は、撮像部の視野範囲ＶＡ、物品画像ＧＭ、特徴画像ＦＭ、分割物品画像ＤＧＭ、分割特徴画像ＤＦＭの関係を示す。図７の一番上の図は、図６（Ａ）で示す実装面２ａの一部を、視野範囲ＶＡで撮像した画像を示す。図７の白塗りの矢印の先の図に示すように、視野範囲ＶＡで撮像された画像が、物品画像ＧＭとなる。図６（Ｂ）の例では、９箇所を撮像した９枚の物品画像ＧＭが取得される。

【0048】

教示用特徴画像生成部６０２は、物品画像ＧＭから、図７の黒塗りの矢印の先の図に示すように、特徴を抽出した特徴画像ＦＭを生成する。特徴画像ＦＭは、物品画像ＧＭにおける特徴の位置及びサイズのみを示す画像である。つまり、特徴画像ＦＭは、電子部品２の電極部、基板３の電極部のみが、物品画像と同じ位置及びサイズで示された画像となる。図６の例では、特徴画像ＦＭは、電子部品２の電極部であるバンプＢのみが、物品画像と同じ位置及びサイズで示された画像となる。

【0049】

また、図６（Ｂ）の例では、９枚の物品画像ＧＭから９枚の特徴画像ＦＭが生成される。なお、図６（Ａ）で示す電子部品２では、中央部分にバンプＢが存在しない。したがって、図６（Ｂ）に示すように、中央部分を撮像した視野範囲ＶＡの画像には、特徴であるバンプＢが存在しない。この視野範囲ＶＡに対応する物品画像ＧＭには、バンプＢが存在しないことになるため、これに対応する特徴画像ＦＭは、バンプＢの指定が無い画像となる。

【0050】

図８（Ａ）は物品画像ＧＭの一例である。図６と図８（Ａ）の物品画像ＧＭのバンプＢの配置とは一致していないが、図８（Ａ）は、図６（Ｂ）のいずれか１つの視野範囲ＶＡに対応する物品画像ＧＭと見なすことができる。図８（Ｂ）は、図８（Ａ）の物品画像ＧＭから、電極部を抽出した特徴画像ＦＭである。教示用特徴画像は、特徴画像ＦＭであって、後述するモデル生成部６０５に機械学習をさせて画像生成モデルを作成するための教示画像である。

【0051】

但し、以下に説明するように、本実施形態の画像生成モデルは、分割された物品画像ＧＭに基づいて、特徴を抽出することにより、分割された特徴画像ＦＭを生成する。このため、機械学習は、物品画像ＧＭを分割した各画像（学習用分割物品画像）に、特徴画像ＦＭを分割した各画像（教示用分割特徴画像）が１対１で対応する正解であるとして行われる。

【0052】

教示用特徴画像生成部６０２は、表示装置９０に表示された物品画像ＧＭにおいて、オペレータが入力装置８０を用いて特徴の位置を選択する、つまり特徴の位置を教示すると、選択された特徴の位置を記録することにより、教示用特徴画像を生成する。なお、教示用特徴画像としては、予め物品画像ＧＭの特徴の位置が記録されたＣＡＤデータから生成した画像や、予め用意する、機能素子や配線がなくバンプまたは電極部だけ形成されたダミーチップ（ダミーダイ）の画像等を用いてもよい。

【0053】

学習用物品画像分割部６０３は、学習用の物品画像ＧＭを、所定のサイズに分割した学習用分割物品画像を生成する。所定のサイズに分割するとは、撮像部５０が撮像した物品画像ＧＭを、複数のブロックに等しいサイズの複数のブロックに分割することをいう。例えば、図７の点線の矢印の先の図に示すように、視野範囲ＶＡで撮像した物品画像ＧＭを９つのブロックに分割する。より具体的には、図９（Ａ）に示すように、図８（Ａ）で示す電子部品２を撮像した物品画像ＧＭを、９つのブロックに等分割したものが、分割物品画像ＤＧＭ（［１］～［９］）であり、これが学習用分割物品画像として用いられる。

【0054】

教示用特徴画像分割部６０４は、教示用特徴画像を、所定のサイズに分割した教示用分割特徴画像を生成する。分割特徴画像ＤＦＭは、例えば、図７の一点鎖線の矢印の先の図に示すように、視野範囲ＶＡで撮像した物品画像ＧＭからバンプＢだけを選択して生成した特徴画像ＦＭを９つのブロックに分割する。より具体的には、図９（Ｂ）に示すように、図８（Ｂ）で示す電子部品２の特徴画像ＦＭを、分割物品画像ＤＧＭ（［１］～［９］）と等しいサイズに分割した画像であり、これが教示用の分割特徴画像ＤＦＭとして用いられる。分割物品画像［１］と分割特徴画像［１´］が対応しており、同様に、分割物品画像［２］と分割特徴画像［２´］、…分割物品画像［９］と分割特徴画像［９´］が、それぞれ１対１で対応している。

【0055】

分割物品画像ＤＧＭ及び分割特徴画像ＤＦＭのサイズは、例えば、電極部がバンプＢである場合に、バンプＢを特徴として捉えるのに適切なサイズである。このサイズは、予め実験等により決定することができる。このサイズを、学習サイズと称する。学習サイズを、例えば、横１００ｐｘ、縦８０ｐｘとする。撮像する画像のサイズは、この学習サイズより大きいサイズとすることが好ましい。本実施形態では、図９（Ａ）及び図９（Ｂ）に示すように、３１０ｐｘ×２４５ｐｘで撮像した画像を、学習サイズの１００ｐｘ×８０ｐｘの各３倍となる横３００ｐｘ、縦２４０ｐｘサイズの画像にトリミングして、物品画像ＧＭとする。この物品画像ＧＭと同じサイズで特徴画像ＦＭを生成し、物品画像ＧＭ及び特徴画像ＦＭの縦横をそれぞれ３等分割することにより、学習用分割物品画像、教示用分割特徴画像を生成している。上記の図６及び図７の例では、９枚の物品画像ＧＭ及び特徴画像ＦＭを、それぞれ９分割した８１枚の画像を取得することになる。

【0056】

なお、学習用物品画像、教示用特徴画像の対象となる物品は、特徴が正確に抽出できればよい。このため、パターンマッチングの対象となる物品と特徴の形状及び大きさが一致していればよいが、パターンマッチングの対象となる物品と同じ物品である必要はない。「同じ物品」とは、特徴の形状及び大きさのみならず、位置及び数が共通の製品群をいう。例えば、特徴がバンプＢの場合、バンプＢの形状、大きさ、位置及び数が一致していれば、同じ電子部品２となる。学習用物品画像、教示用特徴画像の対象となる物品は、例えば、電子部品２の場合、バンプＢの形状及び大きさが一致していればよく、位置及び数まで一致している電子部品２である必要はない。つまり、特徴を抽出するための学習用の画像であるため、複数の電子部品２の画像を取り混ぜて撮像しても良い。

【0057】

モデル生成部６０５は、学習用分割物品画像と教示用分割特徴画像に基づいて、物品画像ＧＭから特徴を抽出する画像生成モデルを生成する。つまり、対応する物品画像ＧＭと特徴画像ＦＭとで、各画像を分割して、物品画像におけるどのような写り方をしている部分がバンプＢなのかを学習し、画像生成モデルを生成する。様々な状態で見える部分を、バンプＢと教示されたら、その見え方（輝度パターン）状態を覚える。学習する画像サイズ（学習サイズ）中に存在するバンプＢと教示された位置の写り方を覚え、同様の写り方をしているものがあればバンプＢと認識するような学習を行う。なお、モデル生成部６０５は、機械学習により画像生成モデルを作成するツールであり、例えば、Ｕ－Ｎｅｔ、ＧＡＮ（Generative Adversarial Networks）、Ａｕｔｏｅｎｃｏｄｅｒ等を使用することができるが、特定のものには限定されない。機械学習モデルのノード数、層数は任意に設定できる。

【0058】

より具体的には、モデル生成部６０５は、対応する分割物品画像［ｎ］の各ブロックから、分割特徴画像［ｎ´］の各ブロックが生成できるように学習を行う。学習に用いる画像を、複数の分割物品画像［ｎ］、複数の分割特徴画像［ｎ´］に分割することにより、共通の特徴を抽出するための学習の練度が高まる。図６及び図７の例では、８１枚の学習用分割物品画像に対して、８１枚の教示用分割特徴画像を用いて学習することができる。なお、バンプＢの数が多い領域、バンプＢと背景の見分けがつきにくい領域を選択して学習する方が有効となる。以上のようなモデル生成部６０５による画像生成モデルの生成は、電子部品２と基板３のそれぞれを別々に行う。なお、左右反転、上下反転又は回転させ（角度を変え）た画像を用いることにより、さらに画像の数を増やすことができる。

【0059】

物品画像分割部６０６は、物品画像ＧＭを、所定のサイズに分割した分割物品画像ＤＧＭを生成する（図９（Ａ）参照）。但し、ここでいう物品画像ＧＭは、パターンマッチングのテンプレート（基準パターン）を作成するための画像である。つまりパターンマッチングの対象となる物品と同じ特徴を含む領域を、撮像部５０が撮像した画像である。本実施形態の物品画像ＧＭは、位置決め対象、実装対象となる電子部品２あるいは基板３を撮像した画像である。所定のサイズに分割するとは、物品画像ＧＭを、学習サイズと等しいサイズの複数のブロックに分割することをいう。このように分割された物品画像ＧＭが、分割物品画像ＤＧＭである。

【0060】

このようなテンプレート作成用の物品画像ＧＭの取得は、予めテンプレートとなる領域を想定して、以下のように行う。すなわち、図１０（Ａ）に示すように、撮像部５０が撮像したテンプレートの領域候補を含む画像を取得する。図１０（Ａ）では、この画像の範囲を、撮像部５０の視野範囲ＶＡで示す。また、図１０（Ｂ）は、視野範囲ＶＡに対応する物品画像ＧＭの領域を点線、テンプレートの候補となる領域ＳＡを一点鎖線、で示している。オペレータは、予め、電子部品２の実装面２ａ上のパターンマッチングし易い特徴的なパターン（バンプＢの配置など）で構成する領域を、領域ＳＡとして決めておく。一般的には、対角の二隅近傍を、一対の領域ＳＡとして決める。ここでは、図面上、左上と右下の二隅とする。なお、この時点では、領域ＳＡは、この後、テンプレートとして選択されるべき領域であり、まだ選択はされていない。

【0061】

撮像制御部６０１は、図１０（Ａ）に示すように、視野範囲ＶＡを相対移動させて、領域ＳＡを含む対角の二隅近傍の二箇所を撮像する。各視野範囲ＶＡで撮像された画像が、それぞれ物品画像ＧＭとなる。要求精度に対応した倍率での視野範囲ＶＡの中で、電子部品２のずれ量を考慮したやや小さめの領域が領域ＳＡであり、この視野範囲ＶＡが、領域ＳＡを含む物品画像ＧＭとなる。より具体的には、視野範囲ＶＡは狭いため、図１０（Ａ）に示す電子部品２の実装面２ａの一部が、表示装置９０に撮像部５０により撮像された画像として表示される。オペレータは、図１０（Ｂ）の領域ＳＡを想定しつつ、表示される範囲で、特徴的なパターン部分を探し出す。図１０（Ａ）のような実装面２ａの対角の二隅の部分を選択するのは、後述するように、対角の二隅のパターンをそれぞれパターンマッチングして、それぞれの画像中心位置を算出し、二隅の位置から二隅の画像中心を結ぶ線分の基準座標からの角度を向き（姿勢）とするためである（図１１（Ａ）参照）。対角とするのは、一番距離の長い部分を選択することで、角度計算の精度を高めるためである。このように、なお、あらためて撮像しなくても、学習時に撮像した物品画像ＧＭであって、領域ＳＡを含む画像を用いることもできる。

【0062】

分割特徴画像生成部６０７は、分割物品画像ＤＧＭから、画像生成モデルによって、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する。分割特徴画像ＤＦＭにおける特徴は、分割物品画像ＤＧＭの特徴の位置、サイズ及び数が同じである（図９（Ａ）、（Ｂ）参照）。つまり、分割特徴画像ＤＦＭは、電子部品２の電極部、あるいは基板３の電極部のみが、分割物品画像ＤＧＭと同じ位置、サイズ及び数で示された画像となる。分割特徴画像ＤＦＭは、それぞれが等しく、また学習サイズと等しい。特徴画像生成部６０８は、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する。これにより、図８（Ｂ）に示すように、物品画像ＧＭと等しいサイズの特徴画像ＦＭが生成される。

【0063】

領域選択部６０９は、特徴画像ＦＭにおける所望の領域を選択する。図１０（Ｂ）の矩形の一点鎖線で示すように、表示装置９０に表示された特徴画像ＦＭにおいて、オペレータが入力装置８０を用いて所望の領域ＳＡを指定すると、領域選択部６０９が当該領域ＳＡを選択する。指定する領域ＳＡは、物品である電子部品２の特徴とするバンプの配置が識別しやすい特徴的なパターンとなるような領域とするのが好ましい。また、領域ＳＡは、電子部品２の中心を挟んで対角に対応する位置に並ぶ一対とするのが好ましい。これにより、ＸＹ方向のずれ量のみならず、θ方向のずれ量の補正が容易となる。テンプレート登録部６１０は、領域選択部６０９により選択された領域ＳＡを、パターンマッチングのための基準パターン（参照パターン）となるテンプレートとして登録する。この場合、電子部品２に対する電子部品側のテンプレート（電子部品２のテンプレート）となる。なお、同様に、基板３の実装領域に対しても領域ＳＡを指定して基板側のテンプレート（基板３のテンプレート）として登録する。

【0064】

なお、パターンマッチングでは、ずれが検出しやすい特徴を選択する。例えば、対角の二隅、あるいは四隅にアライメント用のマークが電子部品２の実装面２ａに設けられている場合には、それを含む領域ＳＡとしてもよい。円形のマークは重心が求め易い。十字マークはＸＹ辺があるので、ＸＹの位置ずれが認識し易い。パターンマッチング率を高めるために、つまり特徴化するために、アライメントマークとその周囲の回路、配線パターンを含めてもよい。

【0065】

また、一か所の特徴的なパターンを含む領域ＳＡでも、方向ズレを認識することは可能である。撮像画像あるいは二値化（多値化画像）を所定角度変換し、それぞれをテンプレートとパターンマッチングさせる。一番パターンマッチング率が高いときの変換角度が、θずれ量となる。

【0066】

パターンマッチング部６１１は、登録されたテンプレートと、パターンマッチング用特徴画像とのパターンマッチングを行う。このパターンマッチングにより、パターンマッチング用特徴画像における特徴のサイズと位置が、テンプレートにおける特徴のサイズと位置が一致する箇所があるか否かを検出する。特徴のサイズと位置が一致する箇所がある場合に、パターンマッチングができた（成功した）ことになる。このとき、「一致する箇所がある」とは、予め定めた比率（パターンマッチング率）以上で、一番比率が高い（一致度が高い）箇所が特定できたことを言う。つまり、一致すると判断できる箇所が特定できたとも言える。したがって、このパターンマッチング率より低い場合、一致しない、一致した箇所が見つからない、一致すると判断できる箇所が特定できないために、パターンマッチングできない（失敗した）ということになる。このように、パターンマッチングは、一致度（マッチング率）が一番高い位置を探査する。ただし、例えば、所定のマッチング率のしきい値を８０％に設定し、探査して見つけた場所のマッチング率がしきい値を超えていることを条件とする。したがって、最高のマッチング率が、所定のしきい値より小さい場合、パターンマッチングできなかった（失敗）となる。

【0067】

また、特徴のサイズと位置が一致する箇所があるとは、パターンマッチング用特徴画像の全体とテンプレートの全体との間に相対的なずれがあってもよく、ずれを補正すれば、テンプレートの領域において特徴のサイズと位置が一致すればよい。撮像部５０により撮像された画像が、照明条件などが変わることにより、特徴の写り方が、特徴として認識できない程度に変わらない姿勢であればよい。

【0068】

パターンマッチング用特徴画像は、特徴画像生成部６０８が、パターンマッチング用分割特徴画像を結合することにより生成する。パターンマッチング用分割特徴画像は、分割特徴画像生成部６０７が、パターンマッチング用分割物品画像から生成する。パターンマッチング用分割物品画像は、パターンマッチングの対象となる物品の特徴を含む領域を、撮像部５０が撮像したパターンマッチング用物品画像を、物品画像分割部６０６が分割することにより生成する。パターンマッチングの対象となる物品は、テンプレートの対象となった電子部品２あるいは基板３と同じ特徴を有する物品であり、位置決め対象、実装対象となる物品である。

【0069】

つまり、パターンマッチング用物品画像は、これから実装される電子部品２の実装面２ａであって、登録した二つのテンプレートを含む領域（二隅の領域）をそれぞれ撮像する。そして、それぞれのパターンマッチング用物品画像を分割し、画像生成モデルを適用して、それぞれのパターンマッチング用分割特徴画像を生成する。生成したそれぞれのパターンマッチング用分割特徴画像を結合して、元の撮像画像と同じサイズのパターンマッチング用特徴画像とする。そして、これから実装する電子部品２のテンプレートを含む領域のパターンマッチング用特徴画像と、登録したテンプレート画像とを、上記のようにパターンマッチングする。

【0070】

ずれ量算出部６１２は、パターンマッチング用特徴画像と登録されたテンプレートとのパターンマッチングに成功した場合に、パターンマッチング用特徴画像と、テンプレートとの特徴の水平方向（Ｘ、Ｙ、θ）のずれ量を算出する。つまり、ずれ量算出部６１２は、これから実装する電子部品２の位置が、登録したテンプレートの位置に対して、どれだけずれているかを算出する。

【0071】

より具体的には、パターンマッチング部６１１が、二隅それぞれの画像を、それぞれのテンプレートでパターンマッチングし、一番高い比率（マッチング率）となる（所定のマッチング率より大きい）位置を抽出し、ずれ量算出部６１２が、基準からのずれ量を算出する。また、ずれ量算出部６１２は、二隅の、それぞれのテンプレート領域の中心を結ぶ線分と、二隅の抽出した位置を結ぶ線分とがなす角度を算出し、θ方向のずれ量を算出する。

【0072】

図１１（Ａ）は、登録した二カ所のテンプレートＴＭの位置を、仮想的な実装面２ａを背景に実線で示した図である。図１１（Ｂ）は、テンプレートＴＭに対応する特徴画像ＦＭを電子部品２の実装面２ａ上に展開した図である。これらの図は、電子部品２の実装面２ａの基準点位置と、ボンディングヘッド基準位置（中心）からの距離などの情報から想定できる。図１１（Ａ）に、２箇所のテンプレートＴＭが登録された時のそれぞれの中心位置を十字で示す。図１１（Ｂ）に、これから実装する電子部品２が、ボンディングヘッド３１０に対して、ある角度で保持された状態で撮像された画像から抽出されたパターンマッチング用の２箇所の特徴画像ＦＭのそれぞれの中心位置を十字で示す。

【0073】

位置決め制御部６１３は、ずれ量を補正するように、位置決め機構（回動ユニット３１２、ヘッド移動機構３２０、ステージ移動機構４２）に物品を移動させることにより位置決めする。制御部６は、撮像部５０が撮像した撮像画像を用いることで、登録されたテンプレートの位置と、実装位置Ｐ３との位置関係が得られている。したがって、電子部品２と基板３の実装領域３ａの位置が一致するように、実装位置Ｐ３に位置付けることができる。

【0074】

実装制御部６１４は、位置決め後、ヘッド移動機構３２０の昇降機構３２２によってボンディングヘッド３１０を下降させて、電子部品２を基板３の実装領域３ａに実装させる。電子部品２及び基板３は、テンプレートとの位置ずれが補正され、互いの電極部は位置座標が一致しているため、双方の電極部が接触するように電子部品２が基板３に搭載されて実装される。

【0075】

記憶部６１５は、記録媒体である各種メモリ（ＨＤＤ：Hard Disk DriveやＳＳＤ：Solid State Driveなど）、記録媒体と外部とのインターフェースを含む記憶装置である。記憶部６１５には、実装装置１の動作に必要なデータ、プログラムが記憶される。必要なデータは、例えば、物品画像、学習用分割物品画像、教示用分割特徴画像、画像生成モデル、分割物品画像、分割特徴画像、特徴画像、テンプレート、パターンマッチング用物品画像、パターンマッチング用分割物品画像、パターンマッチング用分割特徴画像、パターンマッチング用特徴画像、各種のしきい値などを含む。また、各装置が出力するデータも、記憶部６１５に適宜記憶される。以下の説明では、例えば、撮像部５０が撮像した画像など、各装置において出力されるデータを取得することも、記憶部６１５に記憶することに相当する。

【0076】

［動作］
以上のような実装装置１において、ピックアップ装置２０により供給装置１０から電子部品２をピックアップし、当該電子部品２を搭載装置３０に受け渡し、搭載装置３０において電子部品２を基板３に実装する手順を、上記の図１～図１１に加えて、図１２～図１５のフローチャートを参照して説明する。なお、以下に説明する各部の処理を含む画像処理方法、位置決め方法、実装方法も、本実施形態の一態様である。

【0077】

（画像生成モデルの作成）
まず、モデル生成部６０５による画像生成モデルの作成の手順を、図１２のフローチャートに従って説明する。まず、撮像部５０により撮像された物品画像ＧＭを、制御装置６０が取得する（ステップＳ１０１）。次に、表示装置９０に表示された物品画像ＧＭにおける特徴の位置を、オペレータが入力装置８０を用いて教示する。つまり、表示装置９０が表示した物品画像ＧＭにおいて、バンプＢの位置を、オペレータが入力装置８０を用いて選択する。すると、教示用特徴画像生成部６０２は、物品画像ＧＭから特徴を抽出した特徴画像ＦＭである教示用特徴画像を生成する（ステップＳ１０２）。

【0078】

なお、画像生成モデルを作成するための撮像部５０による物品画像ＧＭの撮像は、画像生成モデルの作成以前であればよい。また、撮像環境は、実装装置１とは別の装置や、コンピュータにおいて行ってもよい。

【0079】

まず、実装装置１の実装位置Ｐ３において電子部品２及び基板３を撮像する場合を説明する。すなわち、ボンディングヘッド３１０の保持面３１１ａに電子部品２を保持させる。例えば、オペレータが入力装置８０を手動操作することにより、トレイ１１から電子部品２をピックアップし、ボンディングヘッド３１０へ受け渡して保持させる。そして、ボンディングヘッド３１０を実装位置Ｐ３に移動し、撮像部５０を電子部品２の下に移動させる。また、オペレータが入力装置８０を手動操作することにより、基板ステージ４０に載置した基板３の適当な実装領域３ａを、実装位置Ｐ３に移動させる。そして、撮像部５０を実装位置Ｐ３に移動させ、電子部品２の実装面２ａ、基板３の実装領域３ａを撮像する。なお、撮像の際、撮像部５０のピント調整、照明の照射位置や明るさの調整を行う。

【0080】

実装装置１における実装位置Ｐ３以外の場所で撮像する場合は、例えば、電子部品２を一時的に載置するためのプリサイサ上に、電子部品２を載置して、上方からプリサイサ用の撮像部で撮像した画像を用いることができる。また、シート上の電子部品２を撮像するピックアップ用の撮像部で撮像した画像を用いることもできる。さらに、別の実装装置１での撮像画像や、撮像するだけのテストベンチのようなものでの撮像画像も、画像生成モデルを生成するのに使用することができる。

【0081】

画像生成モデルの生成のための撮像は、特徴であるバンプＢが映っていればどこでもよい。学習用の画像は、例えば、ボンディングヘッド１１０が保持した電子部品２の実装面２ａの全面を、撮像部５０の視野範囲で順次撮像し、記憶させるが、これにより、多数の画像を得ることができる。例えば、図６（Ｂ）に示すように、点線で示す視野範囲ＶＡを、ボンディングヘッド１１０を移動させることで移動させ、適当な場所で撮像する。図６（Ｂ）では、９箇所で撮像することにより、９枚の物品画像ＧＭを得ている。９箇所分のそれぞれでバンプＢが含まれている場合には、その位置も特定される。上記のように、バンプＢが含まれていない物品画像ＧＭが存在する場合もある。９枚の物品画像ＧＭのそれぞれについて、９枚の特徴画像ＦＭを作成する。

【0082】

学習用物品画像分割部６０３は、物品画像ＧＭを分割した分割物品画像ＤＧＭである学習用分割物品画像を生成する（ステップＳ１０３）。教示用特徴画像分割部６０４は、教示用特徴画像を分割した分割特徴画像ＤＦＭである教示用分割特徴画像を生成する（ステップＳ１０４）。モデル生成部６０５は、学習用分割物品画像及び教示用分割特徴画像に基づく機械学習を行い（ステップＳ１０５）、画像生成モデルを作成する（ステップＳ１０６）。

【0083】

例えば、９枚の物品画像ＧＭのそれぞれを、例えば、９分割して学習用分割物品画像とする。また、９枚の特徴画像ＦＭのそれぞれも、９分割して教示用分割特徴画像とする。モデル生成部６０５は、このように作成された合計８１枚の学習用分割物品画像と合計８１枚の教示用分割物品画像を使って、特徴であるバンプＢがどのように画像上写っているか、つまりどのように写っている部分がバンプＢなのかを機械学習する。

【0084】

（テンプレートの登録）
次に、テンプレートの登録の手順を説明する。まず、撮像部５０により撮像された物品画像ＧＭを、制御装置６０が取得する（ステップＳ２０１）。物品画像分割部６０６は、物品画像ＧＭを分割することにより分割物品画像ＤＧＭを生成する（ステップＳ２０２）。分割特徴画像生成部６０７は、画像生成モデルを用いて、分割物品画像ＤＧＭから、分割特徴画像ＤＦＭを生成する（ステップＳ２０３）。特徴画像生成部６０８は、分割特徴画像ＤＦＭを結合することにより、特徴画像ＦＭを生成する（ステップＳ２０４）。

【0085】

このようなテンプレート作成用の物品画像ＧＭの撮像は、認識する対象の基準位置を指定するために実施する。その撮像の手順は、上記の画像生成モデルを作成するための学習用の物品画像ＧＭの撮像と同様である。但し、学習用の物品画像ＧＭをそのまま利用することもできるし、あらためて撮像してもよい。例えば、電子部品２の品種を切り替える場合などには、新たな種類の電子部品２をボンディングヘッド１１０に保持させて撮像する。もちろん、パターンマッチング用のテンプレートは新たな品種での特徴画像ＦＭに基づいて生成する。

【0086】

表示装置９０は特徴画像ＦＭを表示し、オペレータが、特徴画像ＦＭが特徴の位置を正しく生成できているかどうかを確認し、入力装置８０を用いて、テンプレートとすべき領域ＳＡを指定すると、領域選択部６０９が当該領域を選択する（ステップＳ２０５）。テンプレート登録部６１０は、選択された領域を、テンプレートとして登録する（ステップＳ２０６）。なお、上記の画像生成モデルの作成、テンプレートの登録は、電子部品２及び基板３の双方について行われる。

【0087】

ここで、学習用に撮像した物品画像ＧＭを用いる場合には、複数の物品画像ＧＭのうち、パターンマッチングを行うのに適切な部分（テンプレートとすべき領域を含む）の物品画像ＧＭを使用する。例えば、図６（Ａ）に示す左上隅と右下隅の画像を使用する。上記の説明の通り、この物品画像ＧＭをそれぞれ分割した、分割物品画像ＤＧＭに基づいて、分割特徴画像ＤＦＭを生成し、これを結合して、元の各隅の画像位置、画像サイズで、特徴画像ＦＭを生成する。上記のように、例えば、左上隅と右下隅の画像から生成した特徴画像ＦＭの、特徴的なパターンを含む部分を領域ＳＡとして選択して、テンプレートＴＭとして登録する。図１１（Ａ）で、対角の二隅の実線の矩形枠が、テンプレートＴＭである。

【0088】

（電子部品の実装）
次に、実際に電子部品２を基板３に位置決めして実装する動作を説明する。
＜電子部品の移送＞
まず、電子部品２を供給装置１０から搭載装置３０へ移送する動作を説明する。ピックアップ装置２０によって、ピックアップノズル２１を供給位置Ｐ１に移動させる。一方、供給装置１０は、供給ステージ１２を移動させ、供給位置Ｐ１にピックアップ対象の電子部品２を位置させる。この後、ピックアップノズル２１が降下して、電子部品２に接近して行き、電子部品２に接触して停止する。そして、ピックアップノズル２１が停止した状態で、ノズル孔からの排気によって吸引を開始する。この状態で、ピックアップノズル２１が上昇すると、ピックアップノズル２１によって吸引された電子部品２が、トレイ１１からピックアップされる。

【0089】

ピックアップ装置２０は、反転機構２３によって、ピックアップノズル２１を反転させる。ピックアップ装置２０は、移動機構２２によって、受け渡し位置Ｐ２にピックアップした電子部品２を移動させる。図３、図４に示すように、受け渡し位置Ｐ２では、搭載装置３０のボンディングヘッド３１０が待機しており、反転したピックアップノズル２１に保持された電子部品２と対向する。ボンディングヘッド３１０に向けてピックアップノズル２１を上昇させ、ボンディングツール３１１に電子部品２を接触させる。ボンディングツール３１１の吸引孔からの排気によって吸引を開始する。これにより、ボンディングツール３１１に電子部品２を吸着させて保持した後、ピックアップノズル２１が負圧を解除することにより、ボンディングヘッド３１０へと電子部品２を受け渡す。この後、ピックアップノズル２１は、ボンディングヘッド３１０から離間するように下降して、供給位置Ｐ１に戻る。ボンディングヘッド３１０は、図１及び図２に示すように、実装位置Ｐ３へと移動することにより、電子部品２の実装面２ａと基板３の実装領域３ａとを対向させる。

【0090】

＜パターンマッチング＞
次に、パターンマッチング処理を説明する。まず、図５に示すようにして、撮像部５０が電子部品２及び基板３を撮像した物品画像ＧＭを、制御装置６０が取得する（ステップＳ３０１）。物品画像分割部６０６は、物品画像ＧＭを分割した分割物品画像ＤＧＭを生成する（ステップＳ３０２）。特徴画像生成部６０８は、分割物品画像ＤＧＭから、画像生成モデルによって、分割特徴画像ＤＦＭを生成する（ステップＳ３０３）。特徴画像生成部６０８は、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する（ステップＳ３０４）。パターンマッチング部６１１は、特徴画像ＦＭと登録したテンプレートとのパターンマッチングを行う（ステップＳ３０５）。つまり、電子部品２の特徴画像ＦＭとテンプレートとのパターンマッチング、基板３の特徴画像ＦＭとテンプレートとのパターンマッチングを行う。

【0091】

＜搭載動作＞
さらに、電子部品２の搭載動作を説明する。ずれ量算出部６１２は、特徴画像ＦＭの特徴とテンプレートの特徴に基づいて、電子部品２とテンプレートのＸ、Ｙ、θのずれ量、基板３とテンプレートのＸ、Ｙ、θのずれ量を求める（ステップＳ４０１）。

【0092】

より具体的には、パターンマッチング部６１１が、二隅それぞれの特徴画像ＦＭを、それぞれのテンプレートＴＭでパターンマッチングし、一番高い比率（マッチング率）となる（所定のマッチング率より大きい）位置を抽出し、ずれ量算出部６１２が、基準からのずれ量を算出する。また、ずれ量算出部６１２は、二隅の、それぞれのテンプレートＴＭの領域の中心を結ぶ線分（図１１（Ａ）の一点鎖線）と、二隅の抽出した特徴画像ＦＭの中心を結ぶ線分（図１１（Ｂ）の二点鎖線）とがなす角度を算出し、θ方向のずれ量を算出する。なお、基準からのＸ、Ｙのずれ量は、それぞれのテンプレートＴＭと特徴画像ＦＭの位置関係から求めても良いし、テンプレートＴＭと特徴画像ＦＭとの、それぞれの二隅の中心を結ぶ線分の中点の位置関係から求めても良い。

【0093】

そして、位置決め制御部６１３は、ずれ量が解消されるように、位置決め機構を動作させることにより、位置決めを行う（ステップＳ４０２）。そして、実装制御部６１４は、昇降機構３２２によってボンディングヘッド３１０を下降させて、電子部品２を基板３に搭載する（ステップＳ４０３）。

【0094】

［効果］
（１）本実施形態の画像処理装置６１は、物品の特徴を含む領域を撮像した物品画像ＧＭを、所定のサイズに分割した学習用分割物品画像を生成する学習用物品画像分割部６０３と、物品画像ＧＭから特徴を抽出した特徴画像ＦＭを、所定のサイズに分割した教示用分割特徴画像を生成する教示用特徴画像分割部６０４と、学習用分割物品画像及び教示用分割特徴画像に基づいて、物品画像ＧＭから特徴を抽出する画像生成モデルを生成するモデル生成部６０５と、を有する。

【0095】

また、本実施形態の画像処理装置６１は、物品画像ＧＭを、所定のサイズに分割した分割物品画像を生成する物品画像分割部６０６と、分割物品画像ＤＧＭから、画像生成モデルによって、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する分割特徴画像生成部６０７と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成部６０８と、特徴画像ＦＭの所望の領域を選択する領域選択部６０９と、領域選択部６０９により選択された領域を、パターンマッチングのテンプレートとして登録するテンプレート登録部６１０と、を有する。

【0096】

さらに、本実施形態の画像処理装置６１は、パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、物品画像分割部６０６が分割したパターンマッチング用分割物品画像から、分割特徴画像生成部６０７が生成したパターンマッチング用分割特徴画像を、特徴画像生成部６０８によって結合したパターンマッチング用特徴画像と、登録されたテンプレートとをパターンマッチングするパターンマッチング部６１１と、を有する。

【0097】

本実施形態の画像処理方法は、物品の特徴を含む領域を撮像した物品画像ＧＭを、所定のサイズに分割した学習用物品画像を生成する学習用物品画像生成処理と、物品画像ＧＭの特徴を抽出した特徴画像ＦＭを、所定のサイズに分割した教示用特徴画像を生成する教示特徴画像生成処理と、学習用物品画像及び教示用特徴画像に基づいて、物品画像ＧＭから特徴を抽出する画像生成モデルを生成するモデル生成処理と、を含む。

【0098】

また、本実施形態の画像処理方法は、物品画像ＧＭを、所定のサイズに分割した分割物品画像ＤＧＭを生成する物品画像分割処理と、分割物品画像ＤＧＭから、画像生成モデルに基づいて、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する分割特徴画像生成処理と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成処理と、特徴画像ＦＭの所望の領域を選択する領域選択処理と、領域選択処理により選択された領域を、パターンマッチングのテンプレートとして登録するテンプレート登録処理と、を含む。

【0099】

さらに、本実施形態の画像処理方法は、パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、物品画像分割処理により分割したパターンマッチング用分割物品画像から、分割特徴画像生成処理により生成したパターンマッチング用分割特徴画像を、特徴画像生成処理によって結合したパターンマッチング用特徴画像と、登録されたテンプレートとをパターンマッチングするパターンマッチング処理と、を含む。

【0100】

このため、物品画像ＧＭの態様にかかわらず、特徴を抽出した画像によって正確にパターンマッチングすることができる。つまり、物品の様々な表面状態や形状のばらつき、画像における物品の写り方のばらつきなどによる特徴以外の箇所の影響を受けることなく、撮像された画像にかかわらず、パターンマッチングの成功率を高めることができる。例えば、図８（Ａ）の物品画像ＧＭと比較して、図１６（Ａ）に示すように、背景の見た目が異なる物品画像ＧＭを取得した場合でも、特徴の位置以外の情報の影響を受けずに位置合わせできる。

【0101】

また、分割された複数の分割物品画像ＤＧＭにより、共通の特徴を学習することができるので、学習の練度が高まる。さらに、各分割物品画像ＤＧＭにおける特徴の数や特徴以外の要素の数は、物品画像ＧＭよりも低減できる。このため、正確にパターンマッチングができる画像生成モデルの生成の確実性が増す。

【0102】

（２）画像処理装置６１は、学習用分割物品画像、教示用特徴画像、分割物品画像、分割特徴画像、パターンマッチング用分割物品画像、パターンマッチング用分割特徴画像は、同一のサイズである。対応する画像のサイズを合わせることにより、特徴の抽出を正確に行うことができる。

【0103】

（３）本実施形態の位置決め装置は、パターンマッチング部６１１によりパターンマッチングされたパターンマッチング用特徴画像と、テンプレートとの特徴のずれ量を算出するずれ量算出部６１２と、パターンマッチングの対象となった物品の位置決めを行う位置決め機構と、ずれ量を補正するように、位置決め機構にパターンマッチングの対象となった物品を移動させることにより位置決めする位置決め制御部６１３と、を有する。これにより、正確に抽出された特徴の位置により、位置決めができる。

【0104】

（４）位置決め機構は、基板３及び電子部品２を相対移動させることにより位置決めする機構であり、位置決めされた電子部品２を基板３に搭載する搭載機構と、搭載機構に、電子部品２を基板３に搭載する方向に移動させることにより、電子部品２を基板３に搭載させる実装制御部６１４と、を有する。これにより、位置決めされた電子部品２を、基板３に正確に実装できる。

【0105】

［第２の実施形態］
次に、第２の実施形態について説明する。なお、第１の実施形態と同様の構成については、同一の名称、符号を付して説明を省略する。

【0106】

［概要］
図１７に示すように、本実施形態の実装装置１は、第１の実施形態の制御装置６０が、画像情報取得部６００Ａ、第１の画像変換部６００Ｂ、第２の画像変換部６００Ｃを有する。

【0107】

画像情報取得部６００Ａは、取得した物品画像における特徴の輝度及びサイズを取得する。第１の画像変換部６００Ｂは、学習用の物品画像における特徴の輝度及びサイズに、パターンマッチングのテンプレート用の物品画像における特徴の輝度及びサイズが合うように、テンプレート用の物品画像の輝度及びサイズを変換する。第２の画像変換部６００Cは、物品画像分割部６０６がテンプレート用の物品画像を分割して生成した分割物品画像から、分割特徴画像生成部６０７が抽出した分割特徴画像を、特徴画像生成部６０８が結合することにより生成した特徴画像のサイズを、第１の画像変換部６００Ｂによる変換前の物品画像のサイズに変換する。

【0108】

画像情報取得部６００Ａ、教示用特徴画像生成部６０２、学習用物品画像分割部６０３、教示用特徴画像分割部６０４、モデル生成部６０５、第１の画像変換部６００Ｂ、物品画像分割部６０６、分割特徴画像生成部６０７、特徴画像生成部６０８、第２の画像変換部６００Ｃ、領域選択部６０９、テンプレート登録部６１０、パターンマッチング部６１１は、画像処理装置６１として捉えることができる。また、画像処理装置６１、ずれ量算出部６１２、位置決め制御部６１３は、位置決め機構（回動ユニット３１２、ヘッド移動機構３２０、ステージ移動機構４２）とともに、位置決め装置として捉えることができる。

【0109】

画像情報取得部６００Ａは、上記のように、物品画像における特徴の輝度及びサイズを取得する。なお、画像情報が予め入力又は設定されている場合も含めて、様々な取得の態様すべてが「画像情報の取得」に含まれる。

【0110】

学習用物品画像、教示用特徴画像の対象となる物品は、特徴が正確に抽出できればよい。このため、パターンマッチングの対象となる物品と特徴の形状が一致していればよいが、パターンマッチングの対象となる物品と同じ物品である必要はない。「同じ物品」とは、特徴の形状のみならず、大きさ、位置及び数が共通の製品群をいう。例えば、特徴がバンプＢの場合、バンプＢの形状、大きさ、位置及び数が一致していれば、同じ電子部品２となる。学習用物品画像、教示用特徴画像の対象となる物品は、例えば、電子部品２の場合、バンプＢの形状が一致していればよく、大きさ、位置及び数まで一致している電子部品２である必要はない。つまり、特徴を抽出するための学習用の画像であるため、複数の電子部品２の画像を取り混ぜて撮像しても良い。

【0111】

第１の画像変換部６００Ｂは、学習用の物品画像ＧＭにおける特徴の輝度及びサイズに、パターンマッチングのテンプレート用の物品画像ＧＭにおける特徴の輝度及びサイズが合うように、テンプレート用の物品画像ＧＭの輝度及びサイズを変換する。テンプレート用の物品画像ＧＭは、パターンマッチングの対象となる物品と同じ特徴を含む領域を、撮像部５０が撮像した画像である。本実施形態の物品画像ＧＭは、位置決め対象、実装対象となる電子部品２あるいは基板３を撮像した画像である。

【0112】

このような第１の画像変換部６００Ｂによる画像の変換を、円形のバンプＢを特徴とする例で説明する。サイズとしては、設計上のサイズを用いてもよいし、学習用の物品画像ＧＭにおけるバンプＢのサイズの平均値を用いてもよい。学習用の物品画像ＧＭにおけるバンプＢのサイズが直径１０ｐｘの円形で、テンプレート用に取得した物品画像ＧＭにおけるバンプＢのサイズが直径２０ｐｘの円形だった場合、学習用の物品画像ＧＭの全体と、テンプレート用の物品画像ＧＭの全体の比率が、２：１となるように、テンプレート用の物品画像ＧＭの全体のサイズを変換（リサイズ）を行う。リサイズの方法は、テンプレート用の物品画像ＧＭのバンプＢのサイズが直径１０ｐｘとなれば良く、種々の画像処理方法を適用できる。

【0113】

また、輝度値については、バンプＢであると認識された領域の輝度値であり、黒（最小輝度）を下限値の０、白（最大輝度）を上限値の２５５とする。また、物品画像ＧＭにおけるバンプＢの輝度値の平均値を用いることができる。具体的には、学習用の物品画像ＧＭに対する教示用特徴画像で示されるバンプＢの位置の、バンプＢのサイズ分の輝度値の平均値、および複数のバンプＢの輝度の平均値や中央値、最頻値等をバンプの輝度値として取得する。なお、輝度値の平均値に限らず、中央値や最頻値などでも良い。換言すれば、バンプＢの輝度値は、物品画像ＧＭにおいてバンプＢと認識できる領域の輝度値と言える。例えば、学習用の物品画像ＧＭにおけるバンプＢの輝度値が１６０で、リサイズした物品画像ＧＭの輝度値が８５だった場合、物品画像ＧＭの全体の輝度値を１６０までシフトさせて、学習用の物品画像ＧＭと同じになるように変換する。つまり、学習用の物品画像ＧＭでは、中程度の明るさであったバンプＢが、テンプレート用の物品画像ＧＭでは、より暗く撮像されている場合、その画像を学習時と同じ中程度の明るさとなるように輝度を上げる。

【0114】

なお、はじめに、学習用の物品画像ＧＭの撮像において、オペレータが、例えば、照明の明るさを調整して、バンプＢが見えない暗い状態から徐々に明るくし、バンプＢが見え始めて、ハレーションでバンプＢの外形がぼやけてしまうようになったら、その間で明るさを下げ上げして、バンプＢの外形がはっきり見える真ん中の明るさに設定すると良い。

【0115】

リサイズは、画素サイズは同じまま、例えばバンプＢを構成する画素の位置が、相似形となるようにその位置を変換する。このため、拡大変換（拡大リサイズ）の場合には、元の画像には存在しない画素が生じるので、その分は対象となる元の画素の近傍画素を使って補間処理する。縮小変換（縮小リサイズ）の場合には、元の画像から余る画素が生じるので、その分は間引き処理する。

【0116】

また、バンプＢを拡大するリサイズの場合、上述のように補間処理が行われるので、この補間処理の影響（近傍画素の輝度値）で輝度値が変化する可能性がある。このため、特徴画像ＦＭの生成ができないか、生成できたとしてもパターンマッチングに失敗する可能性がある。なお、拡大リサイズでの形状変形については無いと言える、又は無視できるレベルである。

【0117】

また、バンプＢを縮小するリサイズの場合、上述のように間引き処理となり、近傍画素を使った補間がされないため、輝度値には影響しない。しかし、間引き処理されることで、バンプＢの形状が歪んでしまう可能性がある。このため、特徴画像ＦＭの生成ができないか、生成できたとしてもパターンマッチングが失敗する可能性がある。なお、アルゴリズムによっては縮小の場合でも補間処理を行う場合が考えられ、この場合には、拡大の場合と同様に輝度値に影響が出る懸念が生じ、特徴画像ＦＭが生成できないか、生成できたとしてもパターンマッチングに失敗する可能性が生じる。

【0118】

第１の画像変換部６００Ｂは、サイズの変換と輝度の変換の順序が、切り替え可能である。つまり、第１の画像変換部６００Ｂは、リサイズ後に輝度の調整を行っても、輝度の調整後にリサイズを行ってもよい。輝度の調整は、物品画像ＧＭの全体で行われるので、処理する画素数によって処理時間が変わる。つまり、リサイズにおいて画素サイズは変わらないので、小さい物品画像ＧＭのサイズでは処理する画素数が少なくて処理時間が短く、大きい物品画像ＧＭのサイズでは処理する画素数が多くて処理時間が長くなる。したがって、バンプＢを拡大するリサイズの場合、バンプＢを構成する画素数が元のサイズに対して増えることになる結果、拡大リサイズした後の輝度調整では、輝度調整の対象となる画素数が、元の画像に対して増えることになるので、元の画像に対する輝度調整より輝度調整の時間が長くなる。

【0119】

一方、バンプＢを縮小するリサイズの場合、バンプＢを構成する画素数が元のサイズに対して減ることになる結果、縮小リサイズした後の輝度調整では、輝度調整の対象となる画素数が元の画像に対して減ることになるので、元の画像に対する輝度調整より輝度調整の時間が短くなる。

【0120】

つまり、拡大リサイズの場合は、輝度調整を先に行う方が、処理対象の画素数が少ない状態で処理ができるので、処理時間が長くなることが抑制できる。しかし、輝度調整した後での拡大リサイズによって、調整した輝度が変化し、特徴画像ＦＭが生成できない場合が生じる懸念がある。

【0121】

このため、リサイズと輝度調整は、その順序によって以下のような有利な点、不利な点がある。
（Ａ）拡大リサイズの場合
（１）拡大リサイズでの輝度変化が特徴画像ＦＭの生成に影響しない、あるいは許容できる影響範囲内であれば、輝度調整を先に行い、その後で拡大リサイズを行う。これにより、処理時間を短くできる。

【0122】

（２）拡大リサイズでの輝度変化が特徴画像ＦＭの生成に影響してしまう、あるいは許容できる影響範囲内で収まらない場合には、リサイズを先に行う。拡大後の輝度調整となるので、処理時間は長くなるが、特徴画像への影響を抑えることができる。

【0123】

（Ｂ）縮小リサイズの場合
リサイズを先に行い、その後で輝度調整をする方が、輝度調整の処理対象の画素数が少ない状態で処理ができるので、処理時間を短くできる。縮小の場合には、補間処理がないので輝度変化の問題は生じない。

【0124】

以上をまとめると、以下の表のようになる。処理順[1]、[2]は、左欄が先、右欄が後で行う処理である。また、輝度の変化（明るさの変化）は見た目の色（色味）として認識できるので、「色味」と表記している。

【0125】

したがって、リサイズと輝度調整はいずれが先でもよいが、状況に応じて、リサイズが縮小か拡大かによって、処理順番を変更するように切り替わるように制御すると良い。
（ａ）拡大時は、処理時間が問題となるのであれば、輝度調整の後、リサイズを行う。色味の変化が問題とならない場合、処理時間増大を防ぐことができる。
（ｂ）拡大時は、処理時間が問題とならないのであれば、リサイズの後、輝度調整を行う。この場合、色味の変化はない。
（ｃ）縮小時は、リサイズの後、輝度調整を行う。これにより、処理時間を短縮できる。
なお、輝度だけ、サイズだけの変換もあり得る。この場合は、処理順によって生じる問題は生じない。

【0126】

なお、例えば、学習用の物品画像ＧＭのバンプのサイズが５０ｐｘで、テンプレート用の物品画像ＧＭのバンプのサイズが６０ｐｘの場合、テンプレート用の物品画像ＧＭを、６：５の比で縮小させるリサイズとなる。すると、学習用の物品画像ＧＭを分割する時の学習サイズは固定（例えば１００ｐｘ×１００ｐｘ）なので、テンプレート用の物品画像ＧＭが縮小されると均等分割とならなくなる。この場合、アライメントに影響しない無地の背景(撮像画像以上で、均等分割できるサイズ)を付与することで、物品画像ＧＭの全域に亘って、画像生成モデルによる特徴画像ＦＭの生成を可能とする。これは、拡大のリサイズの場合も同様である。

【0127】

第２の画像変換部６００Ｃは、特徴画像ＦＭのサイズを、第１の画像変換部６００Ｂによる変換前の物品画像ＧＭのサイズに変換する。つまり、位置決め対象、実装対象となる物品の物品画像ＧＭとのマッチングが可能となる元の大きさに戻す。

【0128】

なお、記憶部６１５が記憶する実装装置１の動作に必要なデータには、画像情報を含む。

【0129】

［動作］
以上のような実装装置１において、ピックアップ装置２０により供給装置１０から電子部品２をピックアップし、当該電子部品２を搭載装置３０に受け渡し、搭載装置３０において電子部品２を基板３に実装する手順を、上記の図１～図１１に加えて、図１４、図１５、図１８、図１９のフローチャートを参照して説明する。なお、以下に説明する各部の処理を含む画像処理方法、位置決め方法、実装方法も、本実施形態の一態様である。

【0130】

（画像生成モデルの作成）
まず、モデル生成部６０５による画像生成モデルの作成の手順を、図１８のフローチャートに従って説明する。まず、撮像部５０により撮像された物品画像ＧＭを、制御装置６０が取得する（ステップＳ５０１）。このとき、画像情報取得部６００Ａは、取得した物品画像ＧＭにおける特徴の輝度及びサイズを取得する（ステップＳ５０２）。次に、表示装置９０に表示された物品画像ＧＭにおける特徴の位置を、オペレータが入力装置８０を用いて教示する。つまり、表示装置９０が表示した物品画像ＧＭにおいて、バンプＢの位置を、オペレータが入力装置８０を用いて選択する。すると、教示用特徴画像生成部６０２は、物品画像ＧＭから特徴を抽出した特徴画像ＦＭである教示用特徴画像を生成する（ステップＳ５０３）。

【0131】

なお、画像生成モデルを作成するための撮像部５０による物品画像ＧＭの撮像は、画像生成モデルの作成以前であればよい。また、撮像環境は、実装装置１とは別の装置や、コンピュータにおいて行ってもよい。

【0132】

まず、実装装置１の実装位置Ｐ３において電子部品２及び基板３を撮像する場合を説明する。すなわち、ボンディングヘッド３１０の保持面３１１ａに電子部品２を保持させる。例えば、オペレータが入力装置８０を手動操作することにより、トレイ１１から電子部品２をピックアップし、ボンディングヘッド３１０へ受け渡して保持させる。そして、ボンディングヘッド３１０を実装位置Ｐ３に移動し、撮像部５０を電子部品２の下に移動させる。また、オペレータが入力装置８０を手動操作することにより、基板ステージ４０に載置した基板３の適当な実装領域３ａを、実装位置Ｐ３に移動させる。そして、撮像部５０を実装位置Ｐ３に移動させ、電子部品２の実装面２ａ、基板３の実装領域３ａを撮像する。なお、撮像の際、撮像部５０のピント調整、照明の照射位置や明るさの調整を行う。

【0133】

実装装置１における実装位置Ｐ３以外の場所で撮像する場合は、例えば、電子部品２を一時的に載置するためのプリサイサ上に、電子部品２を載置して、上方からプリサイサ用の撮像部で撮像した画像を用いることができる。また、シート上の電子部品２を撮像するピックアップ用の撮像部で撮像した画像を用いることもできる。さらに、別の実装装置１での撮像画像や、撮像するだけのテストベンチのようなものでの撮像画像も、画像生成モデルを生成するのに使用することができる。

【0134】

画像生成モデルの生成のための撮像は、特徴であるバンプＢが映っていればどこでもよい。学習用の画像は、例えば、ボンディングヘッド１１０が保持した電子部品２の実装面２ａの全面を、撮像部５０の視野範囲で順次撮像し、記憶させるが、これにより、多数の画像を得ることができる。例えば、図６（Ｂ）に示すように、点線で示す視野範囲ＶＡを、ボンディングヘッド１１０を移動させることで移動させ、適当な場所で撮像する。図６（Ｂ）では、９箇所で撮像することにより、９枚の物品画像ＧＭを得ている。９箇所分のそれぞれでバンプＢが含まれている場合には、その位置も特定される。上記のように、バンプＢが含まれていない物品画像ＧＭが存在する場合もある。９枚の物品画像ＧＭのそれぞれについて、９枚の特徴画像ＦＭを作成する。

【0135】

学習用物品画像分割部６０３は、物品画像ＧＭを分割した分割物品画像ＤＧＭである学習用分割物品画像を生成する（ステップＳ５０４）。教示用特徴画像分割部６０４は、教示用特徴画像を分割した分割特徴画像ＤＦＭである教示用分割特徴画像を生成する（ステップＳ５０５）。モデル生成部６０５は、学習用分割物品画像及び教示用分割特徴画像に基づく機械学習を行い（ステップＳ５０６）、画像生成モデルを作成する（ステップＳ５０７）。

【0136】

例えば、９枚の物品画像ＧＭのそれぞれを、例えば、９分割して学習用分割物品画像とする。また、９枚の特徴画像ＦＭのそれぞれも、９分割して教示用分割特徴画像とする。モデル生成部６０５は、このように作成された合計８１枚の学習用分割物品画像と合計８１枚の教示用分割物品画像を使って、特徴であるバンプＢがどのように画像上写っているか、つまりどのように写っている部分がバンプＢなのかを機械学習する。

【0137】

（テンプレートの登録）
次に、テンプレートの登録の手順を、図１９のフローチャートを参照して説明する。まず、撮像部５０により撮像された物品画像ＧＭを、制御装置６０が取得する（ステップＳ６０１）。第１の画像変換部６００Ｂは、画像情報取得部６００Ａが取得した特徴の輝度及びサイズに、物品画像ＧＭにおける特徴の輝度及びサイズが合うように、物品画像ＧＭの輝度及びサイズを変換する（ステップＳ６０２）。物品画像分割部６０６は、変換した物品画像ＧＭを分割することにより分割物品画像ＤＧＭを生成する（ステップＳ６０３）。分割特徴画像生成部６０７は、画像生成モデルを用いて、分割物品画像ＤＧＭから、分割特徴画像ＤＦＭを生成する（ステップＳ６０４）。特徴画像生成部６０８は、分割特徴画像ＤＦＭを結合することにより、特徴画像ＦＭを生成する（ステップＳ６０５）。さらに、第２の画像変換部６００Ｃは、特徴画像ＦＭのサイズを、第１の画像変換部６００Ｂによる変換前の物品画像ＧＭのサイズに変換する（ステップＳ６０６）。

【0138】

このようなテンプレート作成用の物品画像ＧＭの撮像は、認識する対象の基準位置を指定するために実施する。その撮像の手順は、上記の画像生成モデルを作成するための学習用の物品画像ＧＭの撮像と同様である。但し、学習用の物品画像ＧＭをそのまま利用することもできるし、あらためて撮像してもよい。例えば、電子部品２の品種を切り替える場合などには、新たな種類の電子部品２をボンディングヘッド１１０に保持させて撮像する。もちろん、パターンマッチング用のテンプレートは新たな品種での特徴画像ＦＭに基づいて生成する。

【0139】

表示装置９０は特徴画像ＦＭを表示し、オペレータが、特徴画像ＦＭが特徴の位置を正しく生成できているかどうかを確認し、入力装置８０を用いて、テンプレートとすべき領域ＳＡを指定すると、領域選択部６０９が当該領域を選択する（ステップＳ６０７）。テンプレート登録部６１０は、選択された領域を、テンプレートとして登録する（ステップＳ６０８）。なお、上記の画像生成モデルの作成、テンプレートの登録は、電子部品２及び基板３の双方について行われる。

【0140】

ここで、学習用に撮像した物品画像ＧＭを用いる場合には、複数の物品画像ＧＭのうち、パターンマッチングを行うのに適切な部分（テンプレートとすべき領域を含む）の物品画像ＧＭを使用する。例えば、図６（Ａ）に示す左上隅と右下隅の画像を使用する。上記の説明の通り、この物品画像ＧＭをそれぞれ分割した、分割物品画像ＤＧＭに基づいて、分割特徴画像ＤＦＭを生成し、これを結合して、元の各隅の画像位置、画像サイズで、特徴画像ＦＭを生成する。上記のように、例えば、左上隅と右下隅の画像から生成した特徴画像ＦＭの、特徴的なパターンを含む部分を領域ＳＡとして選択して、テンプレートＴＭとして登録する。図１１（Ａ）で、対角の二隅の実線の矩形枠が、テンプレートＴＭである。その後の処理は、図１４、図１５に示した上記の第１の実施形態と同様である。

【0141】

［効果］
（１）本実施形態の画像処理装置６１は、物品の特徴を含む領域を撮像した物品画像ＧＭを、所定のサイズに分割した学習用分割物品画像を生成する学習用物品画像分割部６０３と、物品画像ＧＭから特徴を抽出した特徴画像ＦＭを、所定のサイズに分割した教示用分割特徴画像を生成する教示用特徴画像分割部６０４と、学習用分割物品画像及び教示用分割特徴画像に基づいて、物品画像ＧＭから特徴を抽出する画像生成モデルを生成するモデル生成部６０５と、を有する。

【0142】

また、本実施形態の画像処理装置６１は、物品画像ＧＭを、所定のサイズに分割した分割物品画像を生成する物品画像分割部６０６と、分割物品画像ＤＧＭから、画像生成モデルによって、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する分割特徴画像生成部６０７と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成部６０８と、特徴画像ＦＭの所望の領域を選択する領域選択部６０９と、領域選択部６０９により選択された領域を、パターンマッチングのテンプレートとして登録するテンプレート登録部６１０と、を有する。

【0143】

また、本実施形態の画像処理装置６１は、学習用の物品画像ＧＭにおける特徴の輝度及びサイズに、パターンマッチングのテンプレート用の物品画像ＧＭにおける特徴の輝度及びサイズが合うように、テンプレート用の物品画像ＧＭの輝度及びサイズを変換する第１の画像変換部６００Ｂと、テンプレート用の物品画像ＧＭを、所定のサイズに分割した分割物品画像を生成する物品画像分割部６０６と、分割物品画像ＤＧＭから、画像生成モデルによって、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する分割特徴画像生成部６０７と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成部６０８と、特徴画像ＦＭのサイズを、第１の画像変換部６００Ｂによる変換前の物品画像ＧＭのサイズに変換する第２の画像変換部６００Ｃと、特徴画像ＦＭの所望の領域を選択する領域選択部６０９と、領域選択部６０９により選択された領域を、パターンマッチングのテンプレートとして登録するテンプレート登録部６１０と、を有する。

【0144】

さらに、本実施形態の画像処理装置６１は、パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、物品画像分割部６０６が分割したパターンマッチング用分割物品画像から、分割特徴画像生成部６０７が生成したパターンマッチング用分割特徴画像を、特徴画像生成部６０８によって結合したパターンマッチング用特徴画像と、登録されたテンプレートとをパターンマッチングするパターンマッチング部６１１と、を有する。

【0145】

本実施形態の画像処理方法は、物品の特徴を含む領域を撮像した物品画像ＧＭを、所定のサイズに分割した学習用物品画像を生成する学習用物品画像生成処理と、物品画像ＧＭの特徴を抽出した特徴画像ＦＭを、所定のサイズに分割した教示用特徴画像を生成する教示特徴画像生成処理と、学習用物品画像及び教示用特徴画像に基づいて、物品画像ＧＭから特徴を抽出する画像生成モデルを生成するモデル生成処理と、を含む。

【0146】

また、本実施形態の画像処理方法は、物品画像ＧＭを、所定のサイズに分割した分割物品画像ＤＧＭを生成する物品画像分割処理と、分割物品画像ＤＧＭから、画像生成モデルに基づいて、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する分割特徴画像生成処理と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成処理と、特徴画像ＦＭの所望の領域を選択する領域選択処理と、領域選択処理により選択された領域を、パターンマッチングのテンプレートとして登録するテンプレート登録処理と、を含む。

【0147】

また、本実施形態の画像処理方法は、学習用の物品画像ＧＭにおける特徴の輝度及びサイズに、パターンマッチングのテンプレート用の物品画像ＧＭにおける特徴の輝度及びサイズが合うように、テンプレート用の物品画像ＧＭの輝度及びサイズを変換する第１の画像変換処理と、テンプレート用の物品画像ＧＭを、所定のサイズに分割した分割物品画像ＤＧＭを生成する物品画像分割処理と、分割物品画像ＤＧＭから、画像生成モデルに基づいて、分割物品画像ＤＧＭ毎の特徴を抽出した分割特徴画像ＤＦＭを生成する分割特徴画像生成処理と、分割特徴画像ＤＦＭを結合した特徴画像ＦＭを生成する特徴画像生成処理と、特徴画像ＦＭのサイズを、第１の画像変換部６００Ｂによる変換前の物品画像ＧＭのサイズに変換する第２の画像変換部６００Ｃと、特徴画像ＦＭの所望の領域を選択する領域選択処理と、領域選択処理により選択された領域を、パターンマッチングのテンプレートとして登録するテンプレート登録処理と、を含む。

【0148】

さらに、本実施形態の画像処理方法は、パターンマッチングの対象となる物品の特徴を含む領域を撮像したパターンマッチング用物品画像を、物品画像分割処理により分割したパターンマッチング用分割物品画像から、分割特徴画像生成処理により生成したパターンマッチング用分割特徴画像を、特徴画像生成処理によって結合したパターンマッチング用特徴画像と、登録されたテンプレートとをパターンマッチングするパターンマッチング処理と、を含む。

【0149】

このため、物品画像ＧＭの態様にかかわらず、特徴を抽出した画像によって正確にパターンマッチングすることができる。つまり、物品の様々な表面状態や形状のばらつき、画像における物品の写り方のばらつきなどによる特徴以外の箇所の影響を受けることなく、撮像された画像にかかわらず、パターンマッチングの成功率を高めることができる。例えば、図８（Ａ）の物品画像ＧＭと比較して、図１６（Ａ）に示すように、背景の見た目が異なる物品画像ＧＭを取得した場合でも、特徴の位置以外の情報の影響を受けずに位置合わせできる。

【0150】

また、テンプレート用の物品画像ＧＭを所定のサイズに分割する前に、学習用の物品画像ＧＭの特徴のサイズと輝度値に合わせて、テンプレート用の物品画像ＧＭのサイズと輝度値を変換し、分割特徴画像を結合後に、分割特徴画像を元の物品画像ＧＭサイズに戻す。このため、図１６（Ｂ）に示すように、物品の品種が異なり特徴のサイズが異なる場合や、図１６（Ｃ）に示すように、照明等の影響で特徴の見え方が異なる場合も、共通の画像生成モデルによって特徴画像ＦＭを生成できる。

【0151】

また、分割された複数の分割物品画像ＤＧＭにより、共通の特徴を学習することができるので、学習の練度が高まる。さらに、各分割物品画像ＤＧＭにおける特徴の数や特徴以外の要素の数は、物品画像ＧＭよりも低減できる。このため、正確にパターンマッチングができる画像生成モデルの生成の確実性が増す。

【0152】

（２）画像処理装置６１は、学習用分割物品画像、教示用特徴画像、分割物品画像、分割特徴画像、パターンマッチング用分割物品画像、パターンマッチング用分割特徴画像は、同一のサイズである。対応する画像のサイズを合わせることにより、特徴の抽出を正確に行うことができる。

【0153】

第１の画像変換部６００Ｂは、サイズの変換と輝度の変換の順序が、切り替え可能である。あるいは、サイズの変換だけ、輝度の変換だけとすることも切り替え可能である。このため、サイズの変換が縮小か拡大かによって、処理順番を変更することにより、処理時間が長時間になることを防止できる。

【0154】

（３）本実施形態の位置決め装置は、パターンマッチング部６１１によりパターンマッチングされたパターンマッチング用特徴画像と、テンプレートとの特徴のずれ量を算出するずれ量算出部６１２と、パターンマッチングの対象となった物品の位置決めを行う位置決め機構と、ずれ量を補正するように、位置決め機構にパターンマッチングの対象となった物品を移動させることにより位置決めする位置決め制御部６１３と、を有する。これにより、正確に抽出された特徴の位置により、位置決めができる。

【0155】

（４）位置決め機構は、基板３及び電子部品２を相対移動させることにより位置決めする機構であり、位置決めされた電子部品２を基板３に搭載する搭載機構と、搭載機構に、電子部品２を基板３に搭載する方向に移動させることにより、電子部品２を基板３に搭載させる実装制御部６１４と、を有する。これにより、位置決めされた電子部品２を、基板３に正確に実装できる。

【0156】

［変形例］
本発明は、上記の実施形態には限定されない。上記の実施形態と基本的な構成は同様として、以下のような変形例も適用可能である。

【0157】

（１）画像生成モデルで、実装時に撮像された位置決め用物品画像や物品（電子部品２、基板３）の品種による差異などによって、特徴画像ＦＭによるパターンマッチングに失敗する場合がある。そこで、パターンマッチングに失敗する場合には、モデル生成部６０５が追加学習してもよい。つまり、図２０に示すように、図１４のステップＳ３０１～Ｓ３０５と同様のステップＳ７０１～Ｓ７０５の処理後、パターンマッチングに失敗する場合（ステップＳ７０６のＮＯ）、ステップＳ１０１以降の画像生成モデルの作成を行う（追加学習）。これにより、それまでの画像生成モデルではパターンマッチングに失敗する画像が生成される場合であっても、画像生成モデルが追加学習することで、画像生成モデルの汎用性が向上する。

【0158】

（２）教示用特徴画像としては、上記のように、ＣＡＤデータから生成した画像や、特徴となるバンプだけが所定の配置で存在するダミーチップ（ダミーダイ）を撮像した画像等を用いてもよい。図２１は、ダミーチップの画像の例である。ＣＡＤデータを用いる場合には、物品を用意する必要がなく、品種に対応する画像の製作が容易であるため、バンプまたは電極部配置パターンの変更が容易となる。ダミーチップを用いる場合、ダミーチップ自体は機能素子が形成されていないものなので、安価に教示用の物品が用意できる。また、ダミーチップは、製品となるものではないので、多くの数量を用意することが容易となる。しかも、ダミーチップは、ＣＡＤデータと違って、バンプ自体は実在し、その撮像画像を用いるので、現実のさまざまなバンプの見え方で学習させることができる。なお、実製品のチップを用いる場合には、背景となる部分を含めてより現実のバンプの見え方に対応する学習ができるので、より誤検出を抑制することができる。さらに、実製品のチップとダミーチップを混在させて教示用特徴画像を生成してもよく、さらに、ＣＡＤデータより生成した画像を加えてもよい。

【0159】

また、上述のパターンマッチングに失敗する場合で追加学習に使用した画像に倣って、特徴であるバンプや背景の映り方が相違する画像、すなわち輝度や輝点の位置、形状パターン、コントラストや明るさが相違する画像、また、それらの様々なパターンが一つの画像の中で、混在させたり、部分的に適用した画像などを生成し、ＣＡＤデータやダミーチップの画像に合成して、学習に使うようにしてもよい。これにより、画像生成モデルの汎用性が向上する。

【0160】

（３）教示用の分割特徴画像ＤＦＭは、学習用の物品画像ＧＭから特徴画像ＦＭを生成して、これを分割してもよいし、分割物品画像のそれぞれから、教示用の分割特徴画像を生成してもよい。但し、学習の画像の数を増やすために、取得する画像をオーバーラップさせて、画像を分割する場合は、先に分割すると、重複分の特徴を教示する手間が増えるため、特徴を教示してから特徴画像ＦＭを分割したほうが良い。

【0161】

（４）特徴の種類、位置や数等は、上記には限定されない。例えば、電子部品２、基板３の電極部の他、配線パターン、アライメントマークなどを特徴としてもよい。また、電子部品２の外縁、基板３の外縁、ウェーハのダイシングラインなども特徴となる。基板３の場合、実装領域３ａに設けられたアライメントマークを用いることが一般的である。特徴の位置とは、特徴から導出できる位置であってもよい。つまり、電子部品２の外縁の形状から算出される重心を、特徴の位置とすることができる。特徴のサイズとは、例えばバンプや電極の直径やＸＹの長さ、配線の幅、マークの大きさなどになる。なお、例えば、十字形状など、特定の形状のアライメントマークを特徴として使用する場合、物品画像ＧＭ中のアライメントマークの形状も指定して教示する。

【0162】

（５）上記の例では、一つの電子部品２の物品画像ＧＭを取得して、これに基づいて学習していたが、複数の電子部品２の物品画像ＧＭを用いてもよい。この場合、例えば、ボンディングヘッド３１０に保持した電子部品２は、オペレータが手で取り除くなどで排除して、別な電子部品２（同じ特徴がある同品種のもの）を保持させて撮像する。電子部品２を交換して撮像する際に、基板３の実装領域３ａを別な場所に変更してもよい。

【0163】

（６）撮像部５０の設置位置は、実装位置Ｐ３には限定されない。例えば、撮像部５０を供給位置Ｐ１に設置してもよい。これにより、撮像部５０によって、供給ステージ１２のトレイ１１に載置された電子部品２の実装面２ａを撮像した物品画像ＧＭに基づいて、電子部品２をピックアップ位置に位置決めできる。また、撮像部５０を、受け渡し位置Ｐ２に設置して、ボンディングヘッド３１０に保持された電子部品２の実装面２ａを撮像した物品画像ＧＭに基づいて、電子部品２を位置決めしてもよい。

【0164】

（７）電子部品２は半導体チップには限定されず、基板３へ実装される種々の電子部品２に適用可能である。上記の実施形態では、供給装置１０において、電子部品２は、電極等が設けられた機能面が上方に露出したフェイスアップ状態で配置されていたが、機能面が下方のトレイ１１側となったフェイスダウン状態で配置されていても良い。また、電子部品２は、基板３に対してフェイスダウンで実装される場合も、フェイスアップで実装される場合も含む。つまり、フェイスアップで配置された電子部品２は、反転させることによりフェイスダウンボンディングができ、中継装置を設けて、この中継装置を経由することにより、フェイスアップボンディングができる。また、フェイスダウンで配置された電子部品２は、反転させることによりフェイスアップボンディングができ、中継装置を経由することにより、フェイスダウンボンディングができる。

【0165】

（８）ボンディングヘッド３１０による電子部品２の保持は、吸引には限定されない。例えば、粘着により保持する態様であってもよい。例えば、保持面３１１ａの中央には、粘着部が設けられており、その粘着部は、電子部品２を粘着保持する部材であって、ＰＤＭＳ（Polydimethylsiloxane）を用いてもよい。

【0166】

（９）供給装置１０は、電子部品２が貼り付けられたシートを支持する供給ステージと、ピックアップ時にシートを介して電子部品２を突き上げる突き上げ機構とを有する装置であってもよい。

【0167】

［他の実施形態］
以上、本発明の実施形態及び各部の変形例を説明したが、この実施形態や各部の変形例は、一例として提示したものであり、発明の範囲を限定することは意図していない。上述したこれら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明に含まれる。

【符号の説明】

【0168】

１ 実装装置
２ 電子部品
２ａ 実装面
３ 基板
３ａ 実装領域
１０ 供給装置
１１ トレイ
１２ 供給ステージ
１３ ステージ移動機構
２０ ピックアップ装置
２１ ピックアップノズル
２２ 移動機構
２２ａ アーム
２２ｂ スライド機構
２２ｃ 支持フレーム
２２ｄ レール
２２ｅ スライダ
２２ｆ 昇降機構
２３ 反転機構
３０ 搭載装置
４０ 基板ステージ
４１ 基板支持台
４２ ステージ移動機構
５０ 撮像部
６０ 制御装置
６１ 画像処理装置
８０ 入力装置
９０ 表示装置
３１０ ボンディングヘッド
３１１ ボンディングツール
３１１ａ 保持面
３１２ 回動ユニット
３２０ ヘッド移動機構
３２１ スライド機構
３２１ａ 支持フレーム
３２１ｂ レール
３２１ｃ スライダ
３２２ 昇降機構
３２２ａ サーボモータ
３２２ｂ レール
３２２ｃ スライダ
６００Ａ 画像情報取得部
６００Ｂ 第１の画像変換部
６００Ｃ 第２の画像変換部
６０１ 撮像制御部
６０２ 教示用特徴画像生成部
６０３ 学習用物品画像分割部
６０４ 教示用特徴画像分割部
６０５ モデル生成部
６０６ 物品画像分割部
６０７ 分割特徴画像生成部
６０８ 特徴画像生成部
６０９ 領域選択部
６１０ テンプレート登録部
６１１ パターンマッチング部
６１２ ずれ量算出部
６１３ 位置決め制御部
６１４ 実装制御部
６１５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】