特許 7536112 画像処理装置、実装装置、実装システム、画像処理方法及び実装方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-08

(45)【発行日】2024-08-19

(54)【発明の名称】画像処理装置、実装装置、実装システム、画像処理方法及び実装方法

(51)【国際特許分類】

   H05K 13/08 20060101AFI20240809BHJP

   H05K 13/00 20060101ALI20240809BHJP

【ＦＩ】

H05K13/08 Q

H05K13/00 Z

【請求項の数】 10

(21)【出願番号】P 2022563504

(86)(22)【出願日】2020-11-19

(86)【国際出願番号】 JP2020043242

(87)【国際公開番号】W WO2022107286

(87)【国際公開日】2022-05-27

【審査請求日】2023-10-02

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000017

【氏名又は名称】弁理士法人アイテック国際特許事務所

(72)【発明者】

【氏名】大石 信夫

【審査官】中田 誠二郎

(56)【参考文献】

【文献】特開２０１４－０２７０６４（ＪＰ，Ａ）

【文献】特開２０１１－２２８５８３（ＪＰ，Ａ）

【文献】国際公開第２０１５／０７１９２９（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１７３２７９（ＷＯ，Ａ１）

【文献】特開平０９－２０４４５４（ＪＰ，Ａ）

【文献】国際公開第２００４／１０６８５１（ＷＯ，Ａ１）

【文献】特開２０１７－０３４１５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０５Ｋ １３／００－１３／０８

(57)【特許請求の範囲】

【請求項1】

本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部を備えた実装装置に用いられる画像処理装置であって、
前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、前記本体と前記突出部との距離の被写界深度を少なくとも有し前記部品を下方から撮像する撮像部と、を有する撮像ユニットの前記側射照明及び／又は前記落射照明で撮像した撮像画像を取得し、取得した前記撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出し、前記挿入部の情報を取得し、前記本体の形状及び方向を含む輪郭形状モデルと前記突出部の位置、数、先端部の特徴を含む突出部モデルとを含む部品モデルを生成する画像制御部、
を備えた画像処理装置。

【請求項2】

前記画像制御部は、前記挿入部の情報から前記挿入部の位置、数及びサイズを含む挿入部モデルをさらに含む部品モデルを生成する、請求項１に記載の画像処理装置。

【請求項3】

本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部と、
前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、
前記本体と前記突出部との距離の被写界深度を少なくとも有し、前記部品を下方から撮像する撮像部と、
請求項１又は２の画像処理装置で生成された前記部品モデルで使用された照明を用い、前記実装部により採取された前記部品を撮像した撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出し、前記画像処理装置で生成された前記部品モデルを利用して該部品を前記処理対象物へ前記実装部に配置させる実装制御部と、
を備えた実装装置。

【請求項4】

前記実装制御部は、前記部品モデルを利用して該部品が前記処理対象物に配置可能か否かを判定する、請求項３に記載の実装装置。

【請求項5】

前記実装制御部は、前記挿入部の情報から生成される前記挿入部の位置、数、及びサイズを含む挿入部モデルを用いて、第１サイズ及び前記第１サイズより小さな第２サイズの前記挿入部を少なくとも想定して前記突出部が前記挿入部に挿入する際に干渉するか否かを判定する、請求項３又は４に記載の実装装置。

【請求項6】

前記実装制御部は、前記撮像画像に対して画像中央を基準とした視差補正を実行し、前記突出部の位置を検出する、請求項３～５のいずれか１項に記載の実装装置。

【請求項7】

前記実装制御部は、前記突出部の先端部の１画素あたりの分解能Ｒｐ、所定長さあたりの分解能変化量である単位分解能Ｒｕ、突出部の本体からの長さＰＬとしたときに、Ｒｐ－Ｒｕ×ＰＬの前記視差補正を実行する、請求項６に記載の実装装置。

【請求項8】

請求項３～７のいずれか１項に記載の実装装置と、
前記部品を不定方向で載置領域に供給する供給装置と、を備え、
前記実装部は、多関節アームロボットを有する、実装システム。

【請求項9】

本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部を備えた実装装置に用いられる画像処理方法であって、
（ａ）前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、前記本体と前記突出部との距離の被写界深度を少なくとも有し前記部品を下方から撮像する撮像部と、を有する撮像ユニットの前記側射照明及び／又は前記落射照明で撮像した撮像画像を取得するステップと、
（ｂ）取得した前記撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出するステップと、
（ｃ）前記挿入部の情報を取得するステップと、
（ｄ）前記ステップ（ｂ）の検出結果と前記ステップ（ｃ）で取得した情報に基づいて、前記本体の形状及び方向を含む輪郭形状モデルと、前記突出部の位置、数、先端部の特徴を含む突出部モデルと、前記挿入部の位置、数及びサイズを含む挿入部モデルとを含む部品モデルを生成するステップと、
を含む画像処理方法。

【請求項10】

本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部と、前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、前記本体と前記突出部との距離の被写界深度を少なくとも有し前記部品を下方から撮像する撮像部と、を備えた実装装置が実行する実装方法であって、
（ｅ）請求項９に記載の画像処理方法で生成された前記部品モデルで使用された照明を用い、前記実装部により採取された前記部品を撮像した撮像画像を取得するステップと、
（ｆ）取得した前記撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出し、前記部品モデルを利用して該部品を前記処理対象物へ前記実装部に配置させるステップと、
を含む実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、画像処理装置、実装装置、実装システム、画像処理方法及び実装方法を開示する。

【背景技術】

【0002】

従来、実装装置としては、吸着ノズルで吸着された電子部品の像を反射ミラーによってカメラに導き、カメラで撮像するものが提案されている（例えば、特許文献１など参照）。この装置では、装着ヘッドと装置の小型化とコストダウン、及び生産のタクトタイムの短縮が図れる構成を提供することができるとしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－５０８８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１では、本体からリードが突出された部品を採取し、基板上に形成された穴部にこのリードを挿入させて実装する処理については考慮されていなかった。このように、本体と本体から突出した突出部とを有する部品をより適正に認識し、基板などの処理対象物へより適正に配置することが求められていた。

【0005】

本開示は、このような課題に鑑みなされたものであり、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる画像処理装置、実装装置、実装システム、画像処理方法及び実装方法を提供することを主目的とする。

【課題を解決するための手段】

【0006】

本開示では、上述の主目的を達成するために以下の手段を採った。

【0007】

本開示の画像処理装置は、
本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部を備えた実装装置に用いられる画像処理装置であって、
前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、前記本体と前記突出部との距離の被写界深度を少なくとも有し前記部品を下方から撮像する撮像部と、を有する撮像ユニットの前記側射照明及び／又は前記落射照明で撮像した撮像画像を取得し、取得した前記撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出し、前記挿入部の情報を取得し、前記本体の形状及び方向を含む輪郭形状モデルと前記突出部の位置、数、先端部の特徴を含む突出部モデルとを含む部品モデルを生成する画像制御部、
を備えたものである。

【0008】

この画像処理装置では、部品に対して側方から光を照射する側射照明及び部品に対して下方から光を照射する落射照明の少なくとも一方で撮像した撮像画像から本体の形状と突出部の位置と突出部の数と突出部の先端部とを検出し、挿入部の情報を取得し、本体の形状及び方向を含む輪郭形状モデルと突出部の位置、数、先端部の特徴を含む突出部モデルとを含む部品モデルを生成する。この画像処理装置では、例えば、突出部の先端部にレーザを照射してこの先端部に焦点を合わせて撮像するような特別な照明部や撮像部を要することなく、側方からの側射照明と下方からの落射照明とによって突出部や本体をより確実に検出可能な撮像画像を得ることができる。この画像処理装置では、このように得られた撮像画像を用いて部品の基準データとなる部品モデルを構築することができる。そして、実装装置は、この部品モデルを用いて突出部を有する部品の認識を実行し、実装処理を実行することができる。したがって、この画像処理装置では、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。

【図面の簡単な説明】

【0009】

【図1】実装システム１０の一例を示す概略説明図。

【図2】撮像ユニット１４の一例を示す概略説明図。

【図3】記憶部４２に記憶された情報の一例を示す説明図。

【図4】部品モデル生成処理ルーチンの一例を示すフローチャート。

【図5】側射照明と落射照明とで得られる撮像画像の相違を示す説明図。

【図6】実装処理ルーチンの一例を示すフローチャート。

【図7】画像認識処理の概要を説明する説明図。

【図8】視差を加味して突出部領域Ａの設定位置を補正する説明図。

【図9】突出部の長さ及び部品３１と撮像部１５との距離の説明図。

【図10】挿入部モデル４６を用いた挿入可否判定の一例を示す説明図。

【図11】別の実装システム１０Ｂの一例を示す説明図。

【発明を実施するための形態】

【0010】

本実施形態を図面を参照しながら以下に説明する。図１は、本開示である実装システム１０の一例を示す概略説明図である。図２は、撮像ユニット１４の一例を示す概略説明図である。図３は、記憶部４２に記憶された情報の一例を示す説明図である。なお、本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１、２に示した通りとする。

【0011】

実装システム１０は、例えば、処理対象物３０に部品３１を実装処理する装置であり、実装装置１１と、供給装置２５とを備えている。実装装置１１は、搬送装置１２と、撮像ユニット１４と、実装部２０と、制御装置４０とを備えている。処理対象物３０は、部品３１の突出部３３を挿入する挿入部を備えたものとすれば特に限定されないが、例えば、基板や、３次元形状の基材（立体物）などが挙げられる。

【0012】

部品３１は、電子部品であり、本体３２と、突出部３３とを有する。突出部３３は、端子ピンであり、本体３２に複数形成されている。部品３１は、突出部３３が処理対象物３０の挿入部に挿入されて固定される。突出部３３は、先端に向けて細く形成されるテーパ面を有するテーパ部３４と、先端面である先端部３５とがその先端側に形成されている。テーパ部３４は、例えば、処理対象物３０の挿入部に突出部３３が挿入しやすいように形成されている。このテーパ部３４は、部品種別によって、平面や曲面など、突出部３３の形状に適した形状で適宜形成されている。また、部品３１は、突出部３３である端子に極性がある場合、本体３２の下面に、本体３２の方向を規定するマークが形成されている（図３の輪郭形状モデル４４参照）。なお、説明の便宜のため、以下では突出部３３を「端子」や「ピン」とも称する。

【0013】

搬送装置１２は、処理対象物３０の搬入、搬送、実装位置での固定、搬出を行うユニットである。搬送装置１２は、間隔を開けて設けられた１対のコンベアベルトにより処理対象物３０を搬送する。

【0014】

撮像ユニット１４は、実装部２０に採取され保持された状態の部品３１の下面側の画像を撮像する装置である。撮像ユニット１４は、搬送装置１２と供給装置２５との間に配設されている。この撮像ユニット１４は、撮像部１５と、照明部１６とを備えている。撮像部１５の撮像範囲は、図２に示すように、撮像部１５の上方である。撮像部１５は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなど、受光により電荷を発生させ発生した電荷を出力する撮像素子を有する。この撮像部１５は、本体３２と突出部３３との距離の被写界深度を少なくとも有する。照明部１６は、実装部２０に保持された部品３１に光を照射するものであり、部品３１へ照射される光の明るさ（光量）、光の波長及び光の照射位置などを調整可能な光源である。照明部１６は、部品３１に対して側方から光を照射する側射ランプ１７と部品３１に対して下方から光を照射する落射ランプ１８とを少なくとも備えている。この照明部１６は、側射ランプ１７と落射ランプ１８とを同時に又は別々に点灯可能に構成されている。また、照明部１６は、撮像部１５からの距離が異なる突出部３３の先端及び本体３２のそれぞれの被写体を同時に照明可能に構成されている。この撮像ユニット１４は、部品３１の移動なしに、側射ランプ１７での側射照明による本体３２及び突出部３３の画像と、落射ランプ１８での落射照明による本体３２及び突出部３３の画像とを撮像可能に構成されている（図２参照）。なお、撮像ユニット１４は、側射ランプ１７及び落射ランプ１８を同時に点灯させて被写体である本体３２及び突出部３３を撮像することもできる。撮像ユニット１４は、部品３１を保持した多関節アームロボット２１が撮像部１５の上方で停止する際、又は移動中に部品３１の画像を撮像し、撮像画像を制御装置４０へ出力する。制御装置４０は、この撮像画像によって、部品３１の形状及び部位が正常であるか否かの検査や、部品３１の採取時の位置や回転などのずれ量の検出などを実行することができる。

【0015】

実装部２０は、部品３１を処理対象物３０へ配置させる装置である。実装部２０は、多関節アームロボット２１と、採取部材２２と、カメラ２３とを備えている。多関節アームロボット２１は、回動軸を中心に回動する第１アームや第２アームを接続した作業ロボットである。採取部材２２は、部品３１を採取して処理対象物３０に配置する作業を行う部材であり、多関節アームロボット２１の先端に回動可能に接続されている。採取部材２２は、例えば、負圧により部品３１を吸着して採取するノズルとしてもよいし、部品３１を物理的に把持して採取するメカニカルチャックとしてもよい。カメラ２３は、下方を撮像するものであり、例えば、供給装置２５に載置された部品３１を撮像し、部品３１の姿勢などを認識する際に使用される。このカメラ２３は、多関節アームロボット２１の先端に固定されている。

【0016】

供給装置２５は、部品３１を供給する装置である。供給装置２５は、供給載置部２６と、加振部２７と、部品供給部２８とを備えている。供給載置部２６は、載置面を有し姿勢不定の部品３１を載置し、前後方向へ移動させるベルトコンベアとして構成されている。加振部２７は、供給載置部２６に振動を与え、供給載置部２６上の部品３１の姿勢を変更させるものである。部品供給部２８は、供給載置部２６の後方上部に配設されており（不図示）、部品３１を収容して供給載置部２６へ供給する装置である。部品供給部２８は、載置面上の部品が所定数未満になるか、又は定期的に供給載置部２６へ部品３１を放出する。実装部２０は、多関節アームロボット２１、採取部材２２及びカメラ２３を用い、供給載置部２６上で採取、配置可能な姿勢の部品３１を認識してこれを採取する。

【0017】

制御装置４０は、ＣＰＵ４１を中心とするマイクロプロセッサを有しており、搬送装置１２、撮像ユニット１４、実装部２０及び供給装置２５などを含む装置全体の制御を司る。ＣＰＵ４１は、撮像ユニット１４の画像処理を実行する画像処理装置における画像制御部と、多関節アームロボット２１の制御を行う実装装置における実装制御部との機能を兼ね備えている。この制御装置４０は搬送装置１２や撮像ユニット１４、実装部２０、供給装置２５へ制御信号を出力する一方、搬送装置１２や撮像ユニット１４、実装部２０、供給装置２５からの信号を入力する。制御装置４０は、ＣＰＵ４１のほか、記憶部４２や、表示装置４７、入力装置４８を備えている。記憶部４２は、各種アプリケーションプログラムや各種データファイルを記憶する、ＨＤＤやフラッシュメモリなどの大容量の記憶媒体である。表示装置４７は、実装システム１０に関する情報や各種入力画面などを表示するディスプレイである。入力装置４８は、作業者が入力するキーボードやマウスなどを含む。

【0018】

記憶部４２には、例えば、部品３１を処理対象物３０へ実装する実装ジョブとしての実装条件情報や、部品３１の認識に用いられる部品モデル４３などが記憶されている。実装条件情報は、部品３１を処理対象物３０へ実装する配置位置や配置数などの情報が含まれている。部品モデル４３は、部品３１の基準データであり、図３に示すように、部品ＩＤ、照明方法、輪郭形状モデル４４、突出部モデル４５及び挿入部モデル４６などが含まれる。部品ＩＤは、部品３１を特定する識別情報であり、予め部品３１の種別ごとに付与されている。照明方法は、部品モデル４３を生成する撮像画像を撮像したときの照明方法を特定する情報であり、側射照明及び落射照明のうち少なくとも一方である。輪郭形状モデル４４は、本体３２を規定する基準データである。輪郭形状モデル４４には、本体３２の形状、方向（端子の極性）のほか本体３２のサイズなどが規定されている。輪郭形状モデル４４には、本体３２の方向を規定するマークの形状や配置位置なども含まれている。突出部モデル４５は、端子などの突出部３３を規定する基準データである。突出部モデル４５には、突出部３３のピッチなども含む突出部３３の位置や、数、先端部の特徴などが含まれている。先端部の特徴には、例えば、先端部３５の形状、そのサイズ、および信号レベルなどが含まれる。先端部の形状には、例えば、円、正方形、長方形、台形、その他任意の形状などが含まれる。サイズには、半径（円）、幅／高さ（矩形）、幅１／幅２／高さ（台形）、幅／高さなどの情報が含まれる。信号レベルには、所定の照明で撮像した際の先端部の信号レベルやその周辺部の信号レベルなどが含まれる。また突出部モデル４５には、更に、突出部３３のサイズや本体３２に配設された１以上の突出部３３を含む突出部領域Ａの情報などが含まれている。挿入部モデル４６は、突出部３３が挿入される、処理対象物３０に形成された挿入部を規定する基準データである。挿入部モデル４６には、挿入部のピッチなども含む挿入部の位置や、数、挿入部の形状を含む特徴、そのサイズなどの情報が含まれている。

【0019】

次に、こうして構成された本実施形態の実装システム１０の動作、まず制御装置４０が部品モデル４３を生成する処理について説明する。図４は、ＣＰＵ４１が実行する部品モデル生成処理ルーチンの一例を示すフローチャートである。このルーチンは、記憶部４２に記憶され、部品３１を利用する前に実行される。このルーチンを開始すると、まず、ＣＰＵ４１は、部品３１を撮像位置で保持するよう多関節アームロボット２１を制御し、照明部１６の照明方法を設定する（Ｓ１１０）。ＣＰＵ４１は、初期値が側射照明で、次が落射照明を照明方法に設定する。次に、ＣＰＵ４１は、テーパ部３４と先端部３５とにコントラストが発生するよう撮像ユニット１４の照明強度と露光時間を調節して設定する（Ｓ１２０）。次に、ＣＰＵ４１は、設定した条件で部品３１を撮像し（Ｓ１３０）、全ての照明方法で部品３１を撮像したか否かを判定し（Ｓ１４０）、全ての照明方法で撮像していないときには、Ｓ１１０以降の処理を実行する。即ち、照明方法を変更して落射照明とし、テーパ部３４と先端部３５とにコントラストが発生するよう照明強度と露光時間とを定めて部品３１を撮像する。なお、Ｓ１１０では、更に、側射照明及び落射照明を同時点灯させる照明方法で部品３１を撮像してもよい。同時照明では、検出効率を改善することができる場合がある。

【0020】

図５は、側射照明と落射照明とで得られる撮像画像の相違を示す説明図である。図５に示すように、側射照明で突出部３３を撮像すると、照明の反射により、テーパ部３４が白（明部）、先端部３５が黒（暗部）である撮像画像が得られる。一方、落射照明で突出部３３を撮像すると、照明の反射により、テーパ部３４が黒（暗部）、先端部３５が白（明部）である撮像画像が得られる。部品３１のようなリード付き電子部品では、ほとんどの場合で側射照明が突出部３３の先端部を認識する画像取得が有効であるが、一部の部品やキャリブレーション時に落射照明がよいこともあるため、撮像ユニット１４では、両照明の少なくとも一方で撮像画像を取得することができるよう構成されている。

【0021】

次に、ＣＰＵ４１は、部品３１の画像認識に好適な照明方法および撮像画像を選択する（Ｓ１５０）。ＣＰＵ４１は、例えば、側射照明及び落射照明の撮像画像のうち突出部３３の先端部３５を検出しやすい撮像画像を選択するものとしてもよい。ＣＰＵ４１は、例えば、突出部３３の先端部３５の縁部（テーパ部３４の領域）が本体３２と区別しやすい撮像画像を選択するものとしてもよい。即ち、ＣＰＵ４１は、テーパ部３４と先端部３５とのコントラストに加え、本体３２とのコントラストを加味して照明方法および撮像画像を選択するものとしてもよい。あるいは、Ｓ１５０では、作業者が好適な照明方法および撮像画像を選択するものとしてもよい。

【0022】

次に、ＣＰＵ４１は、部品情報及び挿入部情報を取得する（Ｓ１６０）。部品情報は、部品３１の製造会社が提供する情報であり、例えば、本体３２のサイズ、形状、方向や、突出部３３の位置、数、および複数の突出部間のピッチ（距離）などの情報が含まれている。突出部３３の位置には、行／列数、行／列ピッチなどの情報も含まれるものとする。この部品情報には、突出部３３の先端形状などの情報は含まれていない。また、挿入部情報は、処理対象物３０の製造会社が提供する情報であり、例えば、挿入部の位置、数、形状、サイズなどの情報、より具体的には、穴径、行／列数、ピン数、除外ピン数、列ピッチ、行ピッチなどの情報が含まれている。除外ピン数とは、等ピッチのピン列の中に存在しないピン数をいう。ＣＰＵ４１は、部品情報や挿入部情報を提供されたデータで取得するものとしてもよいし、ＣＡＤデータから抽出して取得するものとしてもよいし、作業者が仕様書から入力したデータを取得するものとしてもよい。

【0023】

次に、ＣＰＵ４１は、撮像画像を用いて、本体３２の形状及び方向の情報を含み、更にサイズの情報を含む輪郭形状モデル４４を生成する（Ｓ１７０）。輪郭形状モデル４４を生成するに際して、ＣＰＵ４１は、部品情報を用いてもよい。また、ＣＰＵ４１は、本体３２における極性や方向を示すマークなどの特徴も輪郭として抽出するものとする。次に、ＣＰＵ４１は、突出部３３の先端部３５が存在する部分を囲うように突出部領域Ａを設定する（Ｓ１８０，後述図７Ｃ参照）。ＣＰＵ４１は、突出部３３の位置情報を用いて、突出部３３の存在する領域に対して所定のマージンを設けて突出部領域Ａを設定する。所定のマージンは、例えば、突出部３３の誤検出をより抑制可能な値を経験的に求めてその値に定めることができる。次に、ＣＰＵ４１は、挿入部情報に基づいて、挿入部の位置、数及び穴のサイズを含み、形状などの特徴を含む挿入部モデル４６を生成する（Ｓ１９０）。

【0024】

続いて、ＣＰＵ４１は、撮像画像から、突出部３３の位置、数及び先端部を検出し、さらにその特徴を分析し（Ｓ２００）、分析した情報に基づいて、突出部３３の位置、数、先端部３５の特徴の情報を含み、更にサイズの情報を含む突出部モデル４５を生成する（Ｓ２１０）。突出部モデル４５を生成するに際して、ＣＰＵ４１は、部品情報を用いてもよい。また、ＣＰＵ４１は、Ｓ２００において、検出した突出部３３に番号を付与してもよい。また、突出部３３の位置には、行／列数、行／列ピッチなどの情報も含まれるものとする。また、先端部３５の特徴には、先端部３５の形状（円、正方形、長方形、台形など）とそのサイズ、先端部およびその周辺領域の信号レベルなども含まれるものとしてもよい。そして、ＣＰＵ４１は、撮像画像の照明方法と、輪郭形状モデル４４と、突出部モデル４５と、挿入部モデル４６とを部品ＩＤに対応づけ、部品モデル４３（図３参照）を生成し、記憶部４２に記憶させ、このルーチンを終了する。このようにして、制御装置４０は、部品３１の基本データ及び形状テンプレートとしての部品モデル４３を実装システム１０を用いて生成することができる。

【0025】

次に、部品モデル４３を用いて、処理対象物３０の挿入部へ突出部３３を挿入させて部品３１を配置する実装処理について説明する。図６は、ＣＰＵ４１が実行する実装処理ルーチンの一例を示すフローチャートである。図７は、部品３１の画像認識処理の概要を説明する説明図であり、図７Ａが部品画像５１の説明図、図７Ｂが本体５２の輪郭形状認識処理、図７Ｃが突出部領域Ａの設定、図７Ｄが先端部３５の認識、図７Ｅが挿入部を適用した説明図である。実装処理ルーチンは、記憶部４２に記憶され、作業者による開始指示により実行される。

【0026】

このルーチンを開始すると、まず、ＣＰＵ４１は、実装条件情報及び部品モデル４３を読み出して取得する（Ｓ３００）。次に、ＣＰＵ４１は、搬送装置１２に処理対象物３０を実装位置まで搬送させ、固定処理させ（Ｓ３１０）、供給載置部２６に部品３１を供給するよう部品供給部２８を制御する（Ｓ３２０）。次に、ＣＰＵ４１は、多関節アームロボット２１を制御し、カメラ２３を供給載置部２６の上方に移動させ、供給載置部２６上の部品３１をカメラ２３に撮像させ、採取可能な部品３１を認識する処理を行う（Ｓ３３０）。ＣＰＵ４１は、供給載置部２６上の部品３１のうち、突出部３３が下側、本体３２が上側にある部品３１を採取可能部品として認識する。なお、採取可能な部品３１がないときには、加振部２７を駆動して部品３１の姿勢を変更させる。また、供給載置部２６上に部品３１が存在しないときには、部品供給部２８を駆動し、部品３１を供給載置部２６上へ供給させる。

【0027】

次に、部品３１は、多関節アームロボット２１及び採取部材２２を駆動し、部品３１を採取部材２２に採取させ、撮像ユニット１４の上部へ移動させる（Ｓ３４０）。実装部２０では、採取部材２２の中心位置が画像中心に移動するように、予め撮像位置や多関節アームロボット２１の制御を調整する。次に、ＣＰＵ４１は、部品種に応じた照明方法を含む撮像条件で、部品３１を突出部３３側から撮像ユニット１４に撮像させる（Ｓ３５０）。ＣＰＵ４１は、照明方法や撮像条件を部品モデル４３から取得する。次に、ＣＰＵ４１は、撮像画像から部品３１の領域を抽出し（図７Ａ）、本体３２の中心位置及び本体３２の方向（極性）を認識する（Ｓ３６０）。図７Ａに示すように、部品画像５１には、画像としての本体５２、突出部５３、先端部５５などが含まれている。部品３１の領域は、輪郭形状モデル４４のパターンマッチングによって抽出することができる。本体３２の方向は、マーク或いは方向を認識可能な形状特徴を検出し、パターンマッチングを行うことによって、認識することができる（図７Ｂ）。次に、ＣＰＵ４１は、検出された部品３１の中心位置を用いて、視差補正を行い、突出部領域Ａの位置を設定する（Ｓ３７０）。

【0028】

図８は、視差を加味して突出部領域Ａの設定位置を補正する説明図であり、図８Ａが視差補正前、図８Ｂが視差補正後の説明図である。図９は、突出部の長さ及び部品３１と撮像部１５との距離の説明図である。部品３１では、図９に示すように、撮像部１５と先端部３５との距離に比して、撮像部１５と本体３２との距離がより遠くなるため、図８に示すように、部品３１が画像中心から外れると、本体３２や突出部３３の側面が見えるように、視差が生じる。部品３１が画像中心にあるときには問題ないが、画像周辺部にあるときは、先端部３５の位置が本体３２に対してずれる。この状態で突出部領域Ａを設定すると、適切な先端部３５の検出を行うことができない場合が生じる。ＣＰＵ４１は、撮像画像に対して画像中央を基準とした視差補正を実行し、突出部領域Ａを部品画像５１上に設定したうえで突出部３３の位置を検出する。視差補正において、ＣＰＵ４１は、突出部３３の先端部３５の１画素あたりの分解能Ｒｐ（μｍ／ｐｉｘｅｌ）、所定長さあたりの分解能変化量である単位分解能Ｒｕ（μｍ／ｐｉｘｅｌ）、突出部３３の本体３２からの長さＰＬ（ｍｍ）としたときに、Ｒｐ－Ｒｕ×ＰＬの視差補正を実行する（図８Ｂ）。このような視差補正を行うことによって、ＣＰＵ４１は、先端部３５をより確実に認識することができる。

【0029】

次に、ＣＰＵ４１は、突出部領域Ａの内側の領域において、各突出部３３の先端部３５の位置と先端部３５の中心位置とを推定し、認識する処理を行う（Ｓ３８０）。ＣＰＵ４１は、突出部モデル４５を用いて、突出部領域Ａ内でパターンマッチングを行うことによって、先端部３５の位置を認識することができる。突出部モデル４５には、突出部３３の位置や数の情報が含まれており、ＣＰＵ４１は、おおよその先端部３５の位置を推定することができる（図３参照）。また、部品モデル４３には、先端部３５の形状特徴が含まれているため、これを用いてＣＰＵ４１は、形状モデルを自動的に生成し、パターンマッチングを行う。このとき、先端部３５は、ひとつひとつの先端部毎に形状、サイズ、信号レベルの個体差があるので、ＣＰＵ４１は、これらのパラメータを変動させながらパターンマッチングを行う。特に形状に関しては、モデル生成時の個体では円でのマッチングスコアが高い場合であっても別の個体では長方形の方がマッチングスコアが高くなるケースがある。このため、ＣＰＵ４１は、突出部モデル４５に記載された数量の突出部３３が検出できない場合は、別形状の形状モデルを生成して再度パターンマッチングを行い、認識率を向上させるものとしてもよい。ＣＰＵ４１は、全ての先端部３５の位置を検出すると、全ての先端部３５の中心位置を算出する。

【0030】

先端部３５の中心位置を検出すると、ＣＰＵ４１は、先端部３５の中心位置と挿入部との位置関係から最適な補正位置を算出する（Ｓ３９０）。ＣＰＵ４１は、先端部３５の位置のピッチと位置のばらつき量と、挿入部の穴との位置関係から補正値を求める。より具体的には、ＣＰＵ４１は、各先端部３５の中央位置と挿入部の穴との距離を計測し、その距離の最大値が最小となる位置を最適補正値とする。次に、ＣＰＵ４１は、この部品３１が挿入部へ挿入可能であるかを判定する（Ｓ４００）。突出部３３は、曲がるなど、その先端部３５が常に等ピッチになっているとは限らない。ＣＰＵ４１は、挿入部の穴と突出部３３の先端外形との距離を計算し、全ての突出部３３と穴の距離が所定の許容閾値以上であるときに部品３１が挿入可能であると判断する。この許容閾値は、例えば、突出部３３が挿入部の内壁に干渉しない値に経験的に求められている。

【0031】

図１０は、挿入部モデル４６を用いた挿入可否判定の一例を示す説明図である。ＣＰＵ４１は、上記補正値を適用した状態で、図１０に示すように、挿入部モデル４６の穴径を標準穴径から小さくしながら穴と突出部３３の先端部３５との干渉をチェックし、穴と先端部３５とが干渉するときの穴径と標準穴径との差が許容閾値を超えているか否かに基づいてこの判定を行うことができる。このように、ＣＰＵ４１は、第１サイズ及び第１サイズより小さな第２サイズの挿入部を少なくとも想定して突出部３３が挿入部に挿入する際に干渉するか否かを判定するのである。

【0032】

Ｓ４００で、部品３１が挿入部に挿入可能であるときには、ＣＰＵ４１は、位置補正を行い、部品３１を処理対象物３０の予め定められた配置位置へ配置させる（Ｓ４１０）。このとき、ＣＰＵ４１が部品３１を処理対象物３０へ配置させると、判定結果同様に、突出部３３が処理対象物３０の挿入部に挿入される。一方、Ｓ４００で、部品３１が挿入部に挿入可能でないときには、ＣＰＵ４１は、この部品３１の使用を中止して廃棄すると共に、その旨のメッセージを作業者へ報知する（Ｓ４２０）。作業者への報知は、例えば、表示装置４７上に部品３１が挿入可能でない旨のメッセージやアイコンなどを表示させるものとする。

【0033】

Ｓ４２０のあと、または、Ｓ４１０のあと、ＣＰＵ４１は、次の配置するべき部品３１があるか否かを判定し（Ｓ４３０）、次の部品３１があるときには、Ｓ３２０以降の処理を実行する。即ち、ＣＰＵ４１は、必要に応じて供給載置部２６に部品３１を供給し、採取可能な部品３１を認識し、部品３１を採取して撮像ユニット１４で撮像し、先端部３５の認識及び挿入可能かを判定して配置させる処理を繰り返し実行する。一方、Ｓ４３０で、この処理対象物３０に配置する次の部品がないときには、ＣＰＵ４１は、次に部品３１を配置すべき処理対象物３０があるか否かを判定し（Ｓ４４０）、次の処理対象物３０があるときには、Ｓ３１０以降の処理を実行する。即ち、ＣＰＵ４１は、部品３１の配置が終了した処理対象物３０を排出させ、次の処理対象物３０を搬入し、Ｓ３２０以降の処理を実行する。一方、Ｓ４４０で次の処理対象物３０がないときには、ＣＰＵ４１は、このルーチンを終了する。

【0034】

ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態のＣＰＵ４１が本開示の画像制御部及び実装制御部に相当し、実装部２０が実装部に相当し、撮像部１５が撮像部に相当し、照明部１６が照明部に相当し、供給装置２５が供給装置に相当する。また、制御装置４０が画像処理装置に相当し、実装装置１１が実装装置に相当する。なお、本実施形態では、実装システム１０の動作を説明することにより本開示の画像処理方法及び実装方法の一例も明らかにしている。

【0035】

以上説明した本実施形態の制御装置４０では、部品３１に対して側方から光を照射した突出部３３と、部品３１に対して下方から光を照射した本体３２との撮像画像から本体３２の形状と突出部３３の位置と突出部３３の数と突出部３３の先端部３５とを検出し、挿入部の情報を取得し、本体３２の形状及び方向を含む輪郭形状モデル４４と突出部３３の位置、数、先端部３５の特徴を含む突出部モデル４５とを含む部品モデル４３を生成する。この制御装置４０では、例えば、突出部３３の先端部３５にレーザを照射してこの先端部３５に焦点を合わせて撮像するような特別な照明部や撮像部を要することなく、側方からの側射照明と下方からの落射照明とによって突出部３３や本体３２をより確実に検出可能な撮像画像を得ることができる。この制御装置４０では、このように得られた撮像画像を用いて部品３１の基準データとなる部品モデル４３を構築することができる。そして、実装装置１１は、この部品モデル４３を用いて突出部３３を有する部品３１の認識を実行し、実装処理を実行することができる。したがって、この制御装置４０では、本体３２から突出した突出部３３を有する部品３１を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。また、制御装置４０は、挿入部の情報から挿入部の位置、数及びサイズを含む挿入部モデル４６の情報を含む部品モデル４３を生成することができる。

【0036】

また、本実施形態の実装装置１１では、側射照明及び落射照明のうち少なくとも一方で得られた撮像画像から本体３２の形状と突出部３３の位置と突出部３３の数と突出部３３の先端部３５とを検出し、本体３２の形状及び方向を含む輪郭形状モデル４４と、突出部３３の位置、数、先端部３５の特徴を含む突出部モデル４５とを生成し、挿入部の情報から挿入部の位置、数及びサイズを含む挿入部モデル４６を生成し、輪郭形状モデル４４と突出部モデル４５と挿入部モデル４６とを含む部品モデル４３を生成する。また、この実装装置１１では、取得した部品３１の撮像画像から本体３２の形状と突出部３３の位置と突出部３３の数と突出部の先端部３５とを検出し、部品モデル４３を利用してこの部品３１を処理対象物３０へ実装部２０に配置させる。この実装装置１１では、生成された部品モデル４３で使用された照明を用い、実装部２０により採取された部品３１を撮像した撮像画像を取得し、取得した撮像画像から本体３２の形状と突出部３３の位置と突出部３３の数と突出部３３の先端部３５とを検出する。そして、この実装装置１１は、部品モデル４３を利用してこの部品３１を処理対象物３０へ実装部２０に配置させる。したがって、この実装装置１１では、本体３２から突出した突出部３３を有する部品３１を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。

【0037】

また、ＣＰＵ４１は、部品モデル４３を利用してこの部品３１が処理対象物３０に配置可能か否かを判定する。突出部３３を有する部品３１では、突出部３３の変形など、その形状によっては、挿入部に挿入できない場合がある。この実装装置１１では、部品モデル４３を利用して部品３１が使用可能である情報を事前に取得することができ、より確実に実装処理を実行することができる。更に、ＣＰＵ４１は、挿入部モデル４６を用いて、第１サイズ及び第１サイズより小さな第２サイズの挿入部を少なくとも想定して突出部３３が挿入部に挿入する際に干渉するか否かを判定する。この実装装置１１では、挿入部のサイズをより小さく変更することによって、部品３１が挿入部に干渉せずに使用可能かの情報を取得することができる。更にまた、ＣＰＵ４１は、撮像画像に対して画像中央を基準とした視差補正を実行し、突出部３３の位置を検出する。本体３２と突出部３３との距離の被写界深度を少なくとも有する撮像部１５においては、突出部３３の先端部３５よりも本体３２が遠いことから、画像の中央からより外れた画像外周側では、より視差が生じる。この実装装置１１では、このような視差を補正することによって、突出部３３の位置をより適正に検出し、部品モデル４３をより適正に用いることができる。このとき、ＣＰＵ４１は、突出部３３の先端部３５の１画素あたりの分解能Ｒｐ、所定長さあたりの分解能変化量である単位分解能Ｒｕ、突出部の本体からの長さＰＬとしたときに、Ｒｐ－Ｒｕ×ＰＬの視差補正を実行する。この実装装置１１では、分解能や突出部の長さを考慮して、より適切な視差補正を実行することができる。

【0038】

本実施形態の実装システム１０は、上述した実装装置１１と、部品３１を不定方向で載置領域に供給する供給装置２５とを備え、実装部２０は、多関節アームロボット２１を有する。この実装システム１０では、突出部３１を有する部品を簡便に供給し、汎用的な多関節アームロボット２１を用いて処理対象物３０に突出部３３を挿入して部品３１を配置することができる。

【0039】

また、実装装置１１において、撮像部１５は本体３２と突出部３３との距離の被写界深度を少なくとも有するため、本体３２と突出部３３とを同一画像上に撮像することができる。また、ＣＰＵ４１は、部品モデル４３を設定する撮像画像として、側射照明及び落射照明のうち少なくとも一方で得られた撮像画像を選択するため、より好適な部品モデル４３を生成することができる。このとき、ＣＰＵ４１は、側射照明の撮像画像と落射照明の撮像画像とのうち突出部３３の先端部３５を検出しやすい撮像画像を選択するめ、側射照明と落射照明とを使い分けることによって、部品３１が有する突出部３３の先端部３５を検出することができる。また、ＣＰＵ４１は、側射照明の撮像画像と落射照明の撮像画像とのうち、突出部３３の先端部３５の縁部が本体３２と区別しやすい撮像画像を選択する。この制御装置４０では、側射照明か落射照明かのいずれかにより、先端部３５の縁部の撮像色を変更することが可能であり、その縁部の撮像色が本体３２の色と異なるものとすることにより、突出部３３の先端部３５をより確実に認識することができる。

【0040】

更に、ＣＰＵ４１は、１以上の突出部３３が含まれる突出部領域Ａを突出部モデル４５に含む部品モデル４３を生成する。この制御装置４０では、突出部３３の位置を領域単位で取り扱うことができるため、より効率よく突出部３３を認識することができる。また、ＣＰＵ４１は、部品３１の方向を含む輪郭形状モデル４４を生成するため、部品本体の方向も含めた部品モデル４３を構築することができる。

【0041】

また、実装システム１０は、多関節アームロボット２１を有する実装装置１１と、部品３１を不定方向に載置する供給装置２５とを用いて、端子を挿入部へ挿入する実装処理を実行可能であるため、汎用装置を使って、比較的安価に複雑な実装処理を実行することができる。更に、実装システム１０では、わずかなパラメータ入力を行えば、部品モデル４３を生成することができるため、作業者の画像処理設定の手間を最小限に抑えることができる。更にまた、特殊なレーザ照明や、被写界深度の小さい特殊な撮像部を用いる専用装置では、突出部３３の先端部３５と本体３２とを同一画像に撮像することは不可能であったが、この実装システム１０では、１回の撮像で先端部３５と本体３２とを撮像可能であり、先端部３５と本体３２の方向とを１つの画像により実行可能であるため、処理時間の短縮を図ることができる。そして、実装システム１０では、端子長にばらつきがある部品３１においても、１回の撮像によって、先端部３５の認識を実行することができる。そしてまた、実装システム１０は、１つ１つの端子を認識し、その端子間の距離等も計測するため、端子折れや曲がりなどの不良品の検出と廃棄とが可能になるため、生産現場での作業性がより向上する。

【0042】

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0043】

例えば、上述した実施形態では、実装装置１１の制御装置４０が画像処理装置の機能を有するものとしたが、特にこれに限定されず、実装装置１１とは別に画像処理装置を設けるものとしてもよい。同様に、上述した実施形態では、ＣＰＵ４１が画像制御部と実装制御部の機能を有するものとしたが、特にこれに限定されず。ＣＰＵ４１とは別に画像制御部を設けるものとしてもよい。この実装装置１１においても、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。

【0044】

上述した実施形態では、輪郭形状モデル４４には、本体３２の形状、方向（端子の極性）のほか本体３２のサイズなどが規定されているものとしたが、これに限定されず、他の因子を含んでもよいし、少なくとも本体３２の形状及び方向を含むものとしてもよい。また、上述した実施形態では、突出部モデル４５には、突出部３３の位置や、数、先端部の特徴、突出部３３のサイズ、突出部領域Ａの情報などが含まれているものとしたが、これに限定されず、他の因子を含んでもよいし、少なくとも、突出部３３の位置、数、先端部３５の特徴を含むものとしてもよい。更に、上述した実施形態では、挿入部モデル４６には、挿入部のピッチなども含む挿入部の位置や、数、挿入部の形状を含む特徴、そのサイズなどの情報が含まれているものとしたが、これに限定されず、他の因子を含んでもよいし、少なくとも挿入部の位置、数及びサイズを含むものとしてもよい。また、上述した実施形態では、部品モデル４３は、輪郭形状モデル４４と、突出部モデル４５と、挿入部モデル４６とを含むものとしたが、特にこれに限定されず、例えば、挿入部モデル４６を省略してもよい。部品モデル４３は、突出部３３を挿入部に挿入可能となる情報を適宜含むものとすればよい。

【0045】

上述した実施形態では、撮像画像の視差補正を行うに際して、分解能Ｒｐ、単位分解能Ｒｕ、突出部長さＰＬとを用いてＲｐ－Ｒｕ×ＰＬの視差補正を実行するものとしたが、これに限定されず、これらの因子に加えて、あるいは変えて他の因子を用いて視差補正を実行するものとしてもよい。あるいは、ＣＰＵ４１は、視差補正を省略してもよい。このとき、ＣＰＵ４１は、突出部領域Ａを用いずにより広範囲で先端部３５を認識する処理を実行することが望ましい。

【0046】

上述した実施形態では、ＣＰＵ４１は、部品モデルの生成において、側射照明で撮像された撮像画像か、落射照明で撮像された撮像画像かのいずれかを用いて部品モデルを生成するものとしたが、特にこれに限定されず、側射照明及び落射照明を同時点灯した撮像画像から部品モデルを生成するものとしてもよい。また、ＣＰＵ４１は、側射照明の撮像画像を画像処理し、落射照明の撮像画像を画像処理し、２つの画像処理結果を合成して最終的に１つの画像処理結果を得ることにより、部品モデルを生成するものとしてもよい。ＣＰＵ４１は、部品３１に応じて適切な照明方法や画像処理方法を選択すればよい。なお、ＣＰＵ４１は、実装部２０が採取した部品３１に対して部品モデルを用いて画像処理する際においても、上記と同様の照明方法や画像処理方法を採用することができる。

【0047】

上述した実施形態では、部品３１の突出部３３は、端子ピンであるものとして説明したが、処理対象物３０の挿入部（穴部）に挿入される部位であれば、特にこれに限定されない。

【0048】

上述した実施形態では、実装部２０は、多関節アームロボット２１を有するものとして説明したが、突出部３３を挿入部に挿入して部品３１を処理対象物３０に配置することができるものであれば特にこれに限定されず、例えば、ＸＹロボットの構成を有するものとしてもよい。図１１は、別の実装システム１０Ｂの一例を示す説明図である。この実装システム１０Ｂは、実装装置１１Ｂと、管理装置６０とを備える。実装装置１１Ｂは、基板３０Ｂを搬送する搬送装置１２Ｂと、フィーダ２９を備えた供給装置２５Ｂと、側射照明と落射照明とを実行可能な撮像ユニット１４と、実装部２０Ｂと、制御装置４０とを備える。実装部２０Ｂは、実装ヘッド２１Ｂと、実装ヘッド２１Ｂに装着された採取部材２２Ｂと、実装ヘッド２１ＢをＸＹ方向に移動させるヘッド移動部２４とを備える。撮像ユニット１４及び制御装置４０は、上述した実施形態と同様である。このような実装装置１１Ｂを用いた場合でも、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。

【0049】

上述した実施形態では、本開示の画像処理装置を制御装置４０として説明したが、特にこれに限定されず、画像処理方法としてもよいし、この画像処理方法をコンピュータが実行するプログラムとしてもよい。また、上述した実施形態では、本開示の実装装置を実装装置１１として説明したが、特にこれに限定されず、実装方法としてもよいし、この実装方法をコンピュータが実行するプログラムとしてもよい。

【0050】

ここで、本開示の画像処理装置や実装装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記画像制御部は、前記挿入部の情報から前記挿入部の位置、数及びサイズを含む挿入部モデルをさらに含む部品モデルを生成するものとしてもよい。この画像処理装置では挿入部の情報を含む部品モデルを生成することができる。

【0051】

本開示の実装装置は、
本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部と、
前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射す落射する照明とを点灯可能な照明部と、
前記本体と前記突出部との距離の被写界深度を少なくとも有し、前記部品を下方から撮像する撮像部と、
上述した画像処理装置で生成された前記部品モデルで使用された照明を用い、前記実装部により採取された前記部品を撮像した撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出し、前記画像処理装置で生成された前記部品モデルを利用して該部品を前記処理対象物へ前記実装部に配置させる実装制御部と、
を備えたものである。

【0052】

この実装装置では、上述した画像処理装置で生成された部品モデルで使用された側射照明及び／又は落射照明を用い、実装部により採取された部品を撮像した撮像画像を取得し、取得した撮像画像から本体の形状と突出部の位置と突出部の数と突出部の先端部とを検出する。そして、この実装装置は、画像処理装置で生成された部品モデルを利用してこの部品を処理対象物へ実装部に配置させる。したがって、この実装装置では、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。また、この実装装置では、上述した画像処理装置を採用した態様に応じた効果を得ることができる。

【0053】

本開示の実装装置において、前記実装制御部は、前記部品モデルを利用して該部品が前記処理対象物に配置可能か否かを判定するものとしてもよい。突出部を有する部品では、突出部の変形など、その形状によっては、挿入部に挿入できない場合がある。この実装装置では、部品モデルを利用して部品が使用可能である情報を事前に取得することができ、より確実に実装処理を実行することができる。

【0054】

本開示の実装装置において、前記実装制御部は、前記挿入部モデルを用いて、第１サイズ及び前記第１サイズより小さな第２サイズの前記挿入部を少なくとも想定して前記突出部が前記挿入部に挿入する際に干渉するか否かを判定するものとしてもよい。この実装装置では、複数の挿入部のサイズを用いて、部品が挿入部に干渉せずに使用可能かの情報を取得することができ、より確実に実装処理を実行することができる。

【0055】

本開示の実装装置において、前記実装制御部は、前記撮像画像に対して画像中央を基準とした視差補正を実行し、前記突出部の位置を検出するものとしてもよい。本体と前記突出部との距離の被写界深度を少なくとも有する撮像部においては、突出部の先端部よりも本体が遠いことから、画像の中央からより外れた画像外周側では、より視差が生じる。この実装装置では、このような視差を補正することによって、突出部の位置をより適正に検出し、部品モデルをより適正に用いることができる。このとき、前記実装制御部は、前記突出部の先端部の１画素あたりの分解能Ｒｐ、所定長さあたりの分解能変化量である単位分解能Ｒｕ、突出部の本体からの長さＰＬとしたときに、Ｒｐ－Ｒｕ×ＰＬの前記視差補正を実行するものとしてもよい。この実装装置では、分解能や突出部の長さを考慮して、より適切な視差補正を実行することができる。

【0056】

本開示の実装システムは、上述したいずれかに記載の実装装置と、前記部品を不定方向で載置領域に供給する供給装置と、を備え、前記実装部は、多関節アームロボットを有するものである。この実装システムでは、突出部を有する部品を簡便に供給し、比較的汎用的な多関節アームロボットを用いて処理対象物に配置することができる。

【0057】

本開示の画像処理方法は、
本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部を備えた実装装置に用いられる画像処理方法であって、
（ａ）前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、前記本体と前記突出部との距離の被写界深度を少なくとも有し前記部品を下方から撮像する撮像部と、を有する撮像ユニットの前記側射照明及び／又は前記落射照明で撮像した撮像画像を取得するステップと、
（ｂ）取得した前記撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出するステップと、
（ｃ）前記挿入部の情報を取得するステップと、
（ｄ）前記ステップ（ｂ）の検出結果と前記ステップ（ｃ）で取得した情報に基づいて、前記本体の形状及び方向を含む輪郭形状モデルと、前記突出部の位置、数、先端部の特徴を含む突出部モデルと、前記挿入部の位置、数及びサイズを含む挿入部モデルとを含む部品モデルを生成するステップと、
を含むものである。

【0058】

この画像処理方法では、上述した画像処理装置と同様に、特別な照明部や撮像部を要することなく、複数の照明モードによって突出部をより確実に検出可能な撮像画像を得ることができ、本体と突出部とを一度に撮像することができる。このため、この画像処理方法では、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。なお、この画像処理方法において、上述した画像処理装置の種々の態様を採用してもよいし、また、上述した画像処理装置の各機能を実現するようなステップを追加してもよい。

【0059】

本開示の実装方法は、
本体と前記本体に形成された１以上の突出部とを有する部品の該突出部を処理対象物に形成された挿入部に挿入して前記部品を前記処理対象物に配置する実装部と、前記部品に対して側方から光を照射する側射照明と前記部品に対して下方から光を照射する落射照明とを点灯可能な照明部と、前記本体と前記突出部との距離の被写界深度を少なくとも有し前記部品を下方から撮像する撮像部と、を備えた実装装置が実行する実装方法であって、
（ｅ）上述した画像処理方法で生成された前記部品モデルで使用された照明を用い、前記実装部により採取された前記部品を撮像した撮像画像を取得するステップと、
（ｆ）取得した前記撮像画像から前記本体の形状と前記突出部の位置と前記突出部の数と前記突出部の先端部とを検出し、前記部品モデルを利用して該部品を前記処理対象物へ前記実装部に配置させるステップと、
を含むものである。

【0060】

この実装方法では、上述したいずれかの画像処理装置で生成された部品モデルで使用された照明を用いて取得した撮像画像から本体の形状と突出部の位置と突出部の数と突出部の先端部とを検出する。そして、この実装方法では、部品モデルを利用してこの部品を処理対象物へ実装部に配置させる。したがって、この実装方法では、本体から突出した突出部を有する部品を実装するに際して、より簡便な構成でより確実に実装処理を実行することができる。また、採用した画像処理方法の態様に応じた効果を得ることができる。なお、この実装方法において、上述した実装装置の種々の態様を採用してもよいし、また、上述した実装装置の各機能を実現するようなステップを追加してもよい。

【産業上の利用可能性】

【0061】

本開示の画像処理装置、実装装置、実装システム及び画像処理方法は、例えば、電子部品の実装分野に利用可能である。

【符号の説明】

【0062】

１０，１０Ｂ 実装システム、１１，１１Ｂ 実装装置、１２，１２Ｂ 搬送装置、１３ 搬送部、１４ 撮像ユニット、１５ 撮像部、１６ 照明部、１７ 側射ランプ、１８ 落射ランプ、２０，２０Ｂ 実装部、２１ 多関節アームロボット、２１Ｂ 実装ヘッド、２２、２２Ｂ 採取部材、２３ カメラ、２４ ヘッド移動部、２５，２５Ｂ 供給装置、２６ 供給載置部、２７ 加振部、２８ 部品供給部、２９ フィーダ、３０ 処理対象物、３０Ｂ 基板、３１ 部品、３２ 本体、３３ 突出部、３４ テーパ部、３５ 先端部、４０ 制御装置、４１ ＣＰＵ、４２ 記憶部、４３ 部品モデル、４４ 輪郭形状モデル、４５ 突出部モデル、４６ 挿入部モデル、４７ 表示装置、４８ 入力装置、５１ 部品画像、５２ 本体、５３ 突出部、５５ 先端部、５６ 挿入部、６０ 管理装置、Ａ 突出部領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】