特許 7403040 保持部表示システムおよび保持部表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】保持部表示システムおよび保持部表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231215BHJP

   H05K 13/04 20060101ALI20231215BHJP

【ＦＩ】

G06T19/00 600

H05K13/04 Z

【請求項の数】 16

(21)【出願番号】P 2019045524

(22)【出願日】2019-03-13

(65)【公開番号】P2020149279

(43)【公開日】2020-09-17

【審査請求日】2022-01-11

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100131495

【弁理士】

【氏名又は名称】前田 健児

(72)【発明者】

【氏名】横井 敬明

(72)【発明者】

【氏名】譚 隕林

(72)【発明者】

【氏名】生田 直史

(72)【発明者】

【氏名】志垣 栄滋

(72)【発明者】

【氏名】岩田 維里

(72)【発明者】

【氏名】山口 達也

(72)【発明者】

【氏名】雜賀 俊二

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２００６－２６１２０５（ＪＰ，Ａ）

【文献】特開２００２－２８８２５６（ＪＰ，Ａ）

【文献】特開２０１７－１６７９０２（ＪＰ，Ａ）

【文献】特開２０１４－２３５７０４（ＪＰ，Ａ）

【文献】特開２００６－３３９５３１（ＪＰ，Ａ）

【文献】特開２０１８－０５６２５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０５Ｋ １３／０４

(57)【特許請求の範囲】

【請求項1】

部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示システムであって、
作業者の視線方向を撮像する撮像部と、
表示部と、
前記保持部のサイズ情報に基づいて、前記保持部の３次元画像を生成する３次元画像生成部と、
前記撮像部で撮像した撮像画像に基づいて、前記３次元画像生成部によって生成された３次元画像を前記撮像画像に重ね合わせて前記表示部に表示させる表示処理部と、
前記保持部のサイズ情報と部品のサイズ情報とに基づいて、部品の保持条件を満たすかを判定する判定部とを備え、
前記表示処理部は、前記部品の保持条件を満たさないと判定された場合、前記保持部の３次元画像の該当する箇所を視覚的に変化させて前記表示部に表示させる、保持部表示システム。

【請求項2】

前記３次元画像生成部は、前記撮像部を視点とする前記保持部の３次元画像を生成する、請求項１に記載の保持部表示システム。

【請求項3】

前記３次元画像生成部は、前記撮像部によって撮像された部品の大きさに基づいて、前記保持部の３次元画像を生成する、請求項１または２に記載の保持部表示システム。

【請求項4】

前記撮像画像に基づいて、原点位置を設定する設定部をさらに備え、
前記表示処理部は、前記原点位置に前記保持部の３次元画像の基点を合わせて前記表示部に表示させる、請求項１から３のいずれかに記載の保持部表示システム。

【請求項5】

前記表示処理部は、前記保持部のサイズ情報に含まれる少なくとも１つの情報を前記表示部に表示させる、請求項１から４のいずれかに記載の保持部表示システム。

【請求項6】

前記保持部のサイズ情報を部品のサイズ情報と関連付けて記憶する記憶部と、
前記部品のサイズ情報のうち少なくとも一部の情報を入力する入力部と、
入力された前記情報から適合する前記保持部を抽出する抽出部と、をさらに備え、
前記表示処理部は、抽出された前記保持部の３次元画像を前記表示部に表示させる、請求項１から５のいずれかに記載の保持部表示システム。

【請求項7】

前記３次元画像生成部は、部品のサイズ情報に基づいて、前記保持部の３次元画像を生成する、請求項１から６のいずれかに記載の保持部表示システム。

【請求項8】

前記３次元画像生成部は、部品のサイズ情報に基づいて、前記部品の３次元画像を生成し、
前記表示処理部は、前記撮像画像に基づいて、前記部品の３次元画像を前記表示部に表示させる、請求項１から７のいずれかに記載の保持部表示システム。

【請求項9】

部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示方法であって、
前記保持部のサイズ情報に基づいて、前記保持部の３次元画像を生成する３次元画像生成工程と、
作業者の視線方向を撮像する撮像部で撮像した撮像画像に基づいて、前記３次元画像生成工程において生成された３次元画像を前記撮像画像に重ね合わせて表示部に表示させる表示処理工程と、
前記保持部のサイズ情報と部品のサイズ情報とに基づいて、部品の保持条件を満たすかを判定する判定工程を含み、
前記判定工程において前記部品の保持条件を満たさないと判定された場合、前記表示処理工程において、前記保持部の３次元画像の該当する箇所を視覚的に変化させて前記表示部に表示させる、保持部表示方法。

【請求項10】

前記３次元画像生成工程において、前記撮像部を視点とする前記保持部の３次元画像を生成する、請求項９に記載の保持部表示方法。

【請求項11】

前記３次元画像生成工程において、前記撮像部によって撮像された部品の大きさに基づいて、前記保持部の３次元画像を生成する、請求項９または１０に記載の保持部表示方法。

【請求項12】

前記撮像画像に基づいて、原点位置を設定する原点位置設定工程を、さらに含み、
前記表示処理工程において、前記原点位置に前記保持部の３次元画像の基点を合わせて前記表示部に表示させる、請求項９から１１のいずれかに記載の保持部表示方法。

【請求項13】

前記表示処理工程において、前記保持部のサイズ情報に含まれる少なくとも１つの情報を前記表示部に表示させる、請求項９から１２のいずれかに記載の保持部表示方法。

【請求項14】

前記保持部のサイズ情報と関連付けられた前記部品のサイズ情報のうち少なくとも一部の情報を入力する入力工程と、
入力された前記情報から適合する前記保持部を抽出する抽出工程と、をさらに含み、
前記表示処理工程において、抽出された前記保持部の３次元画像を前記表示部に表示させる、請求項９から１３のいずれかに記載の保持部表示方法。

【請求項15】

前記３次元画像生成工程において、部品のサイズ情報に基づいて、前記保持部の３次元画像を生成する、請求項９から１４のいずれかに記載の保持部表示方法。

【請求項16】

前記３次元画像生成工程において、部品のサイズ情報に基づいて、前記部品の３次元画像を生成し、
前記表示処理工程において、前記撮像画像に基づいて、前記部品の３次元画像を前記表示部に表示させる、請求項９から１５のいずれかに記載の保持部表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、部品実装装置において部品を保持する保持部を表示する保持部表示システムおよび保持部表示方法に関する。

【背景技術】

【0002】

部品を吸着ノズルなどの保持部で保持して基板に実装する部品実装装置では、部品種類に適合する保持部を使用して部品が実装される。新たな部品を実装する際には、新たな部品に適合する保持部が選択されて使用される。また、新たな部品が複雑な形状をした特殊部品などで適合する保持部がない場合には、新たに保持部が作成される。特許文献１に記載のノズル作成装置は、吸着ノズルが保持する部品の形状、吸着ノズルが係合される実装ヘッドの装着部分の形状などに基づいて決定された、吸着ノズルの係合部分の形状、ノズル開口の面積、先端部分の長さなどのパラメータを使用して、吸着ノズルを作成することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０６９３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１を含む従来技術では、部品の形状を記述した設計データは部品の形状を忠実に再現したものではないため、部品の設計データに基づいて作成された保持部であっても実際の部品を保持できないことがある。このような場合は保持部を再設計して再作成することになるが、保持部の作成には時間を要するため、作成される保持部が実際に部品を保持できるか否かを保持部の作成前に確認できることが望まれていた。

【0005】

そこで本発明は、保持部が部品に適合しているか否かを容易に確認することができる保持部表示システムおよび保持部表示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の保持部表示システムは、部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示システムであって、撮像部と、表示部と、前記保持部のサイズ情報に基づいて、前記保持部の３次元画像を生成する３次元画像生成部と、前記撮像部で撮像した撮像画像に基づいて、前記３次元画像生成部によって生成された３次元画像を前記表示部に表示させる表示処理部と、を備える。

【0007】

本発明の保持部表示方法は、部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示方法であって、前記保持部のサイズ情報に基づいて、前記保持部の３次元画像を生成する３次元画像生成工程と、撮像部で撮像した撮像画像に基づいて、前記３次元画像生成工程において生成された３次元画像を表示部に表示させる表示処理工程と、を含む。

【発明の効果】

【0008】

本発明によれば、保持部が部品に適合しているか否かを容易に確認することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施の形態の部品実装システムの構成説明図

【図2】本発明の一実施の形態の部品実装装置の構成説明図

【図3】本発明の一実施の形態の部品実装システムが備える管理コンピュータの処理系の構成を示すブロック図

【図4】本発明の一実施の形態の情報端末（保持部表示システム）の処理系の構成を示すブロック図

【図5】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された待機モードにおける表示映像の一例の説明図

【図6】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された原点位置設置モードにおける表示映像の一例の説明図

【図7】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された吸着ノズル表示モードにおける表示映像の一例の説明図

【図8】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された吸着ノズル移動表示モードにおける表示映像の一例の説明図

【図9】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された追従表示モードにおける表示映像の一例の説明図

【図10】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された判定結果表示モードにおける表示映像の一例の説明図

【図11】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された吸着ノズル抽出表示モードにおける表示映像の一例の説明図

【図12】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された追従表示モードにおける表示映像の一例の説明図

【図13】本発明の一実施の形態の情報端末（保持部表示システム）の表示部に表示された部品表示モードにおける表示映像の一例の説明図

【図14】本発明の一実施の形態の保持部表示方法のフロー図

【発明を実施するための形態】

【0010】

以下に図面を用いて、本発明の一実施の形態を詳細に説明する。以下で述べる構成、形状等は説明のための例示であって、部品実装システム、部品実装装置、情報端末の仕様に応じ、適宜変更が可能である。以下では、全ての図面において対応する要素には同一符号を付し、重複する説明を省略する。図２では、水平面内で互いに直交する２軸方向として、基板搬送方向のＸ方向（図２における紙面に左右方向）、基板搬送方向に直交するＹ方向が示される。図２では、水平面と直交する高さ方向としてＺ方向（図２における上下方向）が示される。Ｚ方向は、部品実装装置が水平面上に設置された場合の上下方向または直交方向である。

【0011】

まず図１を参照して、部品実装システム１の構成を説明する。部品実装システム１は、基板に部品を実装して実装基板を製造する機能を有している。部品実装システム１は、複数の部品実装装置Ｍ１，Ｍ２を連結して構成されている。部品実装装置Ｍ１，Ｍ２は、通信ネットワーク２を介して管理コンピュータ３に接続されている。部品実装システム１は、管理コンピュータ３と無線通信する情報端末Ｔを備えている。管理コンピュータ３は、情報端末Ｔと無線通信する管理側通信部３ａを備えている。管理コンピュータ３は、部品実装システム１による実装基板の製造を統合管理する他、情報端末Ｔに表示させる画像データなどを作成する。なお、情報端末Ｔは、管理コンピュータ３と有線通信してもよいし、メモリ媒体を介してデータのやり取りをしてもよい。

【0012】

ここで図２を参照して、部品実装装置Ｍ１，Ｍ２の構成を説明する。部品実装装置Ｍ１、部品実装装置Ｍ２は同様の構成であり、ここでは部品実装装置Ｍ１について説明する。部品実装装置Ｍ１は、上流側の装置から基板Ｂを受け取ってＸ方向に搬送し、基板Ｂを実装作業領域Ｗに位置決めし、また基板Ｂを下流側の装置に搬出する搬送コンベア４を備えている。搬送コンベア４の上方には、搭載ヘッド５が配置されている。搭載ヘッド５は、
下端に設けられたノズルホルダ６を上下方向（Ｚ方向）に昇降させるホルダ昇降機構７を備えている。

【0013】

ノズルホルダ６の下端には、真空吸引によって下端に部品Ｐを保持する吸着ノズル８が着脱自在に装着されている。搭載ヘッド５は、搭載ヘッド移動機構９によって部品供給部（図示省略）と実装作業領域Ｗに保持された基板Ｂの上方との間を往復移動して、部品供給部が供給する部品Ｐを保持した吸着ノズル８を下降させて基板Ｂの実装位置に部品Ｐを実装する。このように、部品実装装置Ｍ１は、部品Ｐを基板Ｂに実装する。吸着ノズル８は、ノズルホルダ６の下端に着脱自在に装着されて部品Ｐを保持する保持部である。なお、保持部は、チャックで部品Ｐを把持する構成であってもよい。

【0014】

図１において、情報端末Ｔは、メガネ型ウェアラブル端末や頭部装着ディスプレイ、スマートフォンやタブレットＰＣなどである。図１では、メガネ型ウェアラブル端末を例示している。情報端末Ｔは、表示部１１、カメラ１２、端末側通信部１３、入力部１４を備えている。表示部１１は、ハーフミラーと投影装置を含んで構成されている。作業者は、情報端末Ｔを装着した状態で、ハーフミラーを透した情報端末Ｔの外の様子と、投影装置によってハーフミラーに投影された各種情報などを同時に見ることができる。

【0015】

すなわち、表示部１１は、作業者の視野に各種情報を重ねて表示する。なお、表示部１１は、作業者の視野に各種情報を重ねて表示できるものであればよく、例えば、作業者の眼球に直接各種情報を投影するものであってもよい。また、表示部１１は、作業者の片目にのみ装着するものであってもよい。カメラ１２は、動画や静止画を撮影する撮像部である。カメラ１２のレンズは、情報端末Ｔを装着した作業者の視線の方向を撮影するように設けられている。これにより、カメラ１２は、情報端末Ｔを装着した作業者が顔を向けた方向を撮影する。

【0016】

端末側通信部１３は、管理コンピュータ３と無線で通信する。入力部１４は、ボタン、タッチセンサ、振動センサなどの入力装置であり、作業者による指示の入力に用いられる。なお、入力部１４は、作業者からの指示を入力できるものであればよく、例えばマイク（図示省略）を通じた音声入力装置であっても、カメラ１２が撮像する作業者の手や指先の動きを認識して入力するモーション入力装置であってもよい。また、入力部１４は、これらを組み合わせて情報を入力するようにしてもよい。

【0017】

次に図３を参照して、管理コンピュータ３の構成について説明する。ここでは、管理コンピュータ３が有する複数の機能のうち、情報端末Ｔが撮像画像に３次元画像を重ね合わせて表示する処理を支援する機能について説明する。管理コンピュータ３は、管理処理部２０、記憶装置である管理記憶部２３、管理入力部２４、管理表示部２５、管理側通信部３ａを備えている。なお、管理コンピュータ３は、ひとつのコンピュータで構成する必要はなく、複数のデバイスで構成してもよい。例えば、管理記憶部２３の全てもしくは一部をサーバを介してクラウドに備えてもよい。

【0018】

管理入力部２４は、キーボード、タッチパネル、マウスなどの入力装置であり、操作コマンドやデータ入力時などに用いられる。管理表示部２５は液晶パネルなどの表示装置であり、管理記憶部２３が記憶する各種データを表示する他、管理入力部２４による操作のための操作画面などの各種情報を表示する。管理側通信部３ａは通信インターフェースであり、情報端末Ｔが備える端末側通信部１３と無線によりデータの送受信を行う。

【0019】

図３において、管理記憶部２３には、保持部データベース２３ａ、部品データベース２３ｂなどが記憶されている。保持部データベース２３ａには、部品実装装置Ｍ１，Ｍ２で使用される吸着ノズル８を特定するノズルＩＤ（ノズル番号）毎に、吸着ノズル８の形状
を規定する保持部のサイズ情報、吸着ノズル８が保持可能な部品Ｐの条件である部品の保持条件、吸着ノズル８の３次元表示データなどが記憶されている。

【0020】

保持部のサイズ情報（以下「保持部サイズ情報」と称する。）には、ノズル長さ、ノズル外径、ノズル内径、ノズル本数、ノズル間隔などが含まれる。部品の保持条件（以下「部品保持条件」と称する。）には、保持可能な部品Ｐの部品ＩＤ（部品番号）の他、最大部品重量、最大部品高さ、最小部品サイズなどが含まれる。吸着ノズル８の３次元表示データ（以下「保持部３次元データ」と称する。）は、吸着ノズル８の３次元画像を描画するために必要な３次元表示モデルなどのデータである。

【0021】

部品データベース２３ｂには、基板Ｂに実装される部品Ｐを特定する部品ＩＤ（部品番号）毎に、部品Ｐの電気特性、部品Ｐの形状を規定する部品のサイズ情報、部品Ｐの３次元表示データなどが記憶されている。部品のサイズ情報（以下「部品サイズ情報」と称する。）には、部品長さ、部品幅、部品高さ、切り欠き形状、部品重量などが含まれる。部品Ｐの３次元表示データ（以下「部品３次元データ」と称する。）は、部品Ｐの３次元画像を描画するために必要な３次元表示モデルなどのデータである。

【0022】

図３において、管理処理部２０はＣＰＵなどの情報処理部であり、内部処理部としてデータ選択部２１、管理通信処理部２２を備えている。管理通信処理部２２は、管理側通信部３ａを介して各種データを情報端末Ｔとの間で送受信する。データ選択部２１は、情報端末Ｔから送信（要求）される吸着ノズル８または部品Ｐに関する情報に基づいて、保持部データベース２３ａまたは部品データベース２３ｂから要求に合致する情報（データ）を抽出する。データ選択部２１が抽出した情報は、管理通信処理部２２によって情報端末Ｔに送信（返信）される。

【0023】

次に図４を参照して、情報端末Ｔの構成について説明する。ここでは、情報端末Ｔが有する複数の機能のうち、表示部１１に撮像画像と３次元画像を重ね合わせて表示する機能について説明する。情報端末Ｔは、端末処理部３０、記憶装置である端末記憶部３６、表示部１１、カメラ１２、端末側通信部１３、入力部１４を備えている。端末記憶部３６には、保持部情報３６ａ、部品情報３６ｂなどが記憶されている。なお、端末記憶部３６は情報端末Ｔに備えていなくてもよく、サーバから対象情報を都度取得してもよい。

【0024】

保持部情報３６ａには、管理記憶部２３に記憶されている保持部データベース２３ａのうち一部のデータが記憶されている。すなわち、保持部情報３６ａには、部品実装装置Ｍ１，Ｍ２で使用される一部の吸着ノズル８について、ノズルＩＤ（ノズル番号）毎に、保持部サイズ情報、部品保持条件、保持部３次元データなどが記憶されている。部品情報３６ｂには、管理記憶部２３に記憶されている部品データベース２３ｂのうち一部のデータが記憶されている。すなわち、部品情報３６ｂには、基板Ｂに実装される一部の部品Ｐについて、部品サイズ情報、部品３次元データなどが記憶されている。

【0025】

保持部情報３６ａに含まれる保持部サイズ情報と部品情報３６ｂに含まれる部品サイズ情報は、保持部情報３６ａに含まれる部品保持条件の保持可能な部品Ｐの部品ＩＤや保持可能な部品のサイズなどによって関連付けられている。すなわち、端末記憶部３６は、保持部サイズ情報（保持部のサイズ情報）を部品サイズ情報（部品のサイズ情報）と関連付けて記憶する記憶部である。

【0026】

図４において、端末処理部３０はＣＰＵなどの情報処理部であり、内部処理部として端末通信処理部３１、表示処理部３２、設定部３３、判定部３４、抽出部３５を備えている。端末通信処理部３１は、端末側通信部１３を介して各種データを管理コンピュータ３との間で送受信する。表示処理部３２は、表示部１１に表示させる各種データを作成して、
表示部１１に表示させる表示処理を実行する。表示処理部３２は、内部処理部として３次元画像生成部３２ａ、設定情報生成部３２ｂ、情報表示生成部３２ｃ、入力欄生成部３２ｄを備えている。

【0027】

ここで、図５を参照して、情報端末Ｔであるメガネ型ウェアラブル端末を装着した作業者に見える映像（以下、「表示映像１１ａ」と称する。）について説明する。作業者には、表示部１１が備えるハーフミラーを通して見える外の様子と、表示処理部３２が表示部１１が備える投影装置を使用してハーフミラーに投影させた画像が重なって見える。図５では、外の様子として作業者の前にある台４０の上面に載置された部品Ｐ１が見えている。部品Ｐ１は、大型の異形部品である。表示映像１１ａの上部には、表示処理部３２が表示させた情報端末Ｔの処理状況４１が文字で表示されている。図５では、情報端末Ｔは次の操作入力を待機している「待機モード」である。

【0028】

図４において、設定部３３は、カメラ１２で撮像した撮像画像に基づいて、表示処理部３２がデータや画像を表示部１１に表示させる際の原点位置を設定する（「原点位置設定モード」）。設定部３３は、作業者による入力部１４の操作、カメラ１２が撮像する作業者の指先の動き、または作業者の視線の方向と連動して原点位置を設定する。

【0029】

ここで図６を参照して、「原点位置設定モード」における表示映像１１ａについて説明する。ここでは、作業者の指先の動きと入力部１４の操作で台４０上の部品Ｐ１に原点位置Ｓを設定する例を説明する。なお、図６では、作業者の指先などの表示は省略されている。まず作業者は、吸着ノズル８が部品Ｐ１を保持する際に吸着ノズル８の基点が位置する部品Ｐ１の上面の保持中心位置Ｒを指先で設定する。例えば、指先で保持中心位置Ｒを示した後に入力部１４を操作すると保持中心位置Ｒが設定される。保持中心位置Ｒが設定されると、設定情報生成部３２ｂが保持中心位置Ｒの図形を生成し、表示処理部３２が表示映像１１ａに保持中心位置Ｒの図形を表示させる。

【0030】

次いで作業者が指先を保持中心位置Ｒから鉛直方向に移動させると、設定情報生成部３２ｂが指先の動きを表す矢印付き点線４２の図形を生成し、表示処理部３２が表示映像１１ａに矢印付き点線４２の図形を表示させる。次いで作業者が原点位置Ｓにおいて指先を止めて入力部１４を操作すると原点位置Ｓが設定され、設定情報生成部３２ｂが原点位置Ｓの図形を生成し、表示処理部３２が表示映像１１ａに原点位置Ｓの図形を表示させる。このように、設定情報生成部３２ｂは、表示部１１に表示させる原点位置Ｓの設定に関係する設定画像４３を生成する。

【0031】

なお、情報端末ＴがタブレットＰＣなどタッチパネルで入力する装置の場合は、タッチパネルに表示されているカメラ１２（撮像部）で撮像した部品Ｐ１の撮像画像に対して、作業者が指先でタップやスライドなどの操作を行うことにより保持中心位置Ｒや原点位置Ｓが設定される。そして、表示処理部３２は、設定情報生成部３２ｂが生成した設定画像４３をカメラ１２が撮像した撮像画像に重ね合わせて表示部１１に表示させる。

【0032】

図４において、３次元画像生成部３２ａは、保持部情報３６ａに含まれる保持部サイズ情報（保持部のサイズ情報）に基づいて、表示部１１に表示させる吸着ノズル８（保持部）の３次元画像を生成する。その際、３次元画像生成部３２ａは、カメラ１２（撮像部）によって撮像された部品Ｐの大きさ、部品Ｐの姿勢に基づいて、カメラ１２を視点とする吸着ノズル８の３次元画像を生成する。そして、表示処理部３２は、原点位置Ｓに吸着ノズル８の３次元画像の基点を合わせて表示部１１に表示させる。

【0033】

より正確に吸着ノズル８の３次元画像を表示部１１で表示させるには、カメラ１２（撮像部）によって撮像された部品Ｐの大きさと部品Ｐの姿勢に加えて、撮像位置から部品Ｐ
までの距離にも基づいて、カメラ１２を視点とする吸着ノズル８の３次元画像を生成する。すなわち、表示処理部３２は、カメラ１２で撮像した撮像位置から部品Ｐまでの距離と部品情報３６ｂ（もしくは、部品データベース２３ｂ）で記憶される基準撮像距離とを比較して、その比率に基づいて、部品Ｐの大きさを変更させる。また、その他の方法として、推奨視認位置をあらかじめ設定しておくことでも正確な吸着ノズル８の３次元画像を表示部１１に表示させることができる。

【0034】

情報表示生成部３２ｃは、３次元画像生成部３２ａが３次元画像を生成した吸着ノズル８の所定の情報を保持部情報３６ａから抽出して、表示部１１に表示させる情報表示画像を生成する。表示処理部３２は、表示部１１に情報表示画像を表示させる。すなわち、表示処理部３２は、保持部情報３６ａに記憶される保持部サイズ情報に含まれる少なくとも１つの情報を表示部１１に表示させる。

【0035】

ここで、図７を参照して、「吸着ノズル表示モード」における表示映像１１ａについて説明する。表示処理部３２は、基点Ｑを「原点位置設定モード」において部品Ｐ１の上方に設定された原点位置Ｓに合わせ、吸着ノズル８Ａの軸Ｃが保持中心位置Ｒと原点位置Ｓを結ぶ直線と一致する姿勢となるように吸着ノズル８Ａの３次元画像４４を表示部１１に表示させている。吸着ノズル８Ａは、２本のノズルを有しており、大型部品の部品Ｐ１に適合している。

【0036】

さらに、表示処理部３２は、情報表示画像４５を吸着ノズル８Ａの３次元画像４４に重ならないように表示部１１に表示させている。情報表示画像４５には、保持部情報３６ａに含まれる情報のうち、吸着ノズル８ＡのノズルＩＤ（Ｎ０２４）、最大部品重量（８０ｇ）、最大部品高さ（１８ｍｍ）、ノズル長さ（３５ｍｍ）が表示されている。すなわち、情報表示画像４５には、保持部情報３６ａに含まれる部品保持条件（最大部品重量、最大部品高さ）、保持部サイズ情報（ノズル長さ）が表示されている。

【0037】

このように、情報端末Ｔは、部品Ｐ１を基板Ｂに実装する部品実装装置Ｍ１，Ｍ２が備える部品Ｐ１を保持する吸着ノズル８Ａ（保持部）を表示する保持部表示システムである。作業者の前にある現実の部品Ｐ１と、情報端末Ｔが生成した吸着ノズル８Ａの３次元画像４４、吸着ノズル８Ａのサイズに関する情報（情報表示画像４５）を同時に表示部１１に表示することで、吸着ノズル８Ａが部品Ｐ１に適合しているか否かを容易に確認することができる。

【0038】

図８は、「吸着ノズル表示モード」において吸着ノズル８Ａを表示部１１に表示させた後に移行した、「吸着ノズル移動表示モード」における表示映像１１ａを示している。「吸着ノズル移動表示モード」では、作業者の操作によって表示されている吸着ノズル８Ａの位置と軸Ｃを回転軸とする回転角度を変更することができる。図８では、「原点位置設定モード」において原点位置Ｓが部品Ｐ１の保持中心位置Ｒに設定され、「吸着ノズル表示モード」において吸着ノズル８Ａの２本のノズルが部品Ｐ１の上面に当接している２点鎖線で示す状態で吸着ノズル８Ａの３次元画像４４が表示されていたとして説明する。

【0039】

「吸着ノズル移動表示モード」において、作業者が入力部１４を操作して吸着ノズル８Ａの回転角度を変更すると（矢印ａ）、３次元画像生成部３２ａは軸Ｃを中心に回転した吸着ノズル８Ａの３次元画像を再生成する。そして、表示処理部３２は、原点位置Ｓに再生成された吸着ノズル８Ａの３次元画像の基点Ｑを合わせて表示部１１に表示させる。

【0040】

また、作業者が入力部１４を操作して原点位置Ｓを移動させると（矢印ｂ）、表示処理部３２は、移動した原点位置Ｓに吸着ノズル８Ａの３次元画像４４の基点Ｑを合わせるように移動させて表示部１１に表示させる。このように、現実の部品Ｐ１と、部品Ｐ１に対
する回転角度と高さ位置を変更させながら生成した吸着ノズル８Ａの３次元画像を同時に表示部１１に表示することで、吸着ノズル８Ａが部品Ｐ１に適合しているか否かを容易に確認することができる。

【0041】

図４において、情報端末Ｔは、「吸着ノズル表示モード」において吸着ノズル８Ａを表示部１１に表示させた後に、「追従表示モード」に移行することができる。「追従表示モード」では、３次元画像生成部３２ａは、カメラ１２（撮像部）が撮像している撮像画像に基づいて、吸着ノズル８Ａの３次元画像を変化させて生成する。具体的には、３次元画像生成部３２ａは、撮像されている部品Ｐ１の位置や姿勢に合わせて原点位置Ｓを移動させ、部品Ｐ１の姿勢と吸着ノズル８Ａの軸Ｃの方向、部品Ｐ１と吸着ノズル８Ａの回転角度との相対的な関係を維持させた状態で吸着ノズル８Ａの３次元画像を再生成する。そして、表示処理部３２は、移動した原点位置Ｓに吸着ノズル８Ａの３次元画像の基点Ｑを合わせて表示部１１に表示させる。

【0042】

ここで、図９を参照して、「追従表示モード」における表示映像１１ａについて説明する。図９では、作業者が部品Ｐ１を保持して持ち上げて、カメラ１２（撮像部）からの視線が部品Ｐ１を斜め下方から見上げるように移動させている。なお、図９では、作業者の指先などの表示を省略している。３次元画像生成部３２ａは部品Ｐ１の姿勢に合わせて吸着ノズル８Ａの軸Ｃが傾いた３次元画像４６を生成し、表示処理部３２は、移動した原点位置Ｓに吸着ノズル８Ａの基点Ｑを合わせて表示部１１に表示させている。３次元画像生成部３２ａと表示処理部３２は、部品Ｐ１の姿勢の変化に合わせて、３次元画像の生成と表示部１１への表示を繰り返し実行する。これにより、部品Ｐ１の姿勢の変化に追従して吸着ノズル８Ａの３次元画像が表示部１１に表示される。

【0043】

図９では、吸着ノズル８Ａが有する２本のノズルの間隔（ノズル間隔）、ノズルの内径（ノズル内径）を容易に確認できる位置と姿勢で部品Ｐ１が静止している。このように、現実の部品Ｐ１と、カメラ１２を視点とする部品Ｐ１の姿勢に合わせた吸着ノズル８Ａの３次元画像４６を同時に表示部１１に表示することで、吸着ノズル８Ａが部品Ｐ１に適合しているか否かを容易に確認することができる。例えば、作成した吸着ノズル８Ａの保持部情報３６ａに関連付けられている部品情報３６ｂ以外の部品情報３６ｂを関連付けたい場合に、実際の部品Ｐ１と吸着ノズル８Ａ確認しながら、適合するか否かを確認することができる。適合する場合は、保持部情報３６ａと部品情報３６ｂが関連付けられる。

【0044】

図４において、判定部３４は、保持部情報３６ａに含まれる保持部サイズ情報（保持部のサイズ情報）と部品情報３６ｂに含まれる部品サイズ情報（部品サイズ情報）に基づいて、吸着ノズル８（保持部）と部品Ｐの組合せが保持部情報３６ａに含まれる部品保持条件（部品の保持条件）を満たすか否かを判定する。判定部３４によって部品保持条件を満たさないと判定された場合、表示処理部３２は、吸着ノズル８（保持部）の３次元画像の該当する箇所（部品保持条件に違反する箇所）を点滅させたり他の箇所と色を変えたりするなど視覚的に変化させて表示部１１に表示させる。

【0045】

ここで、図１０を参照して、「判定結果表示モード」における表示映像１１ａについて説明する。ここでは、台４０の上面に載置されている小型の部品Ｐ２と、大型の部品Ｐ１に適合する２本のノズル４８を有する吸着ノズル８Ａの適合性が判定されている。吸着ノズル８Ａは２本のノズル４８の間隔が部品Ｐ２の長さより広くて部品Ｐ２を保持することができず、判定部３４によって部品保持条件を満たさないと判定されている。表示処理部３２は、吸着ノズル８Ａの３次元画像４７を部品Ｐ２の上方に表示させて、部品保持条件（ここでは「最小部品長さ」）に違反する２本のノズル４８を視覚的に変化させて（図面上は点線）表示部１１に表示させている。

【0046】

また、表示処理部３２は、情報表示画像４９を表示部１１に表示させている。情報表示画像４９には、違反している部品保持部条件である最小部品長さ（６０ｍｍ）が視覚的に変化する状態で（図面上は斜め線でハッチング）表示されている。このように、現実の部品Ｐ２と、吸着ノズル８Ａの３次元画像４７を部品保持条件に違反する箇所を視覚的に変化させて同時に表示部１１に表示することで、吸着ノズル８Ａが部品Ｐ２に適合しているか否かを容易に確認することができる。

【0047】

図４において、入力欄生成部３２ｄは、部品Ｐのサイズを入力するための入力欄画像を生成する。作業者は、入力部１４を操作して表示部１１に表示された入力欄画像に部品サイズ情報に含まれる部品Ｐのサイズを入力する。すなわち、入力部１４は、部品サイズ情報（部品のサイズ情報）のうち少なくとも一部の情報を入力欄画像に入力する。抽出部３５は、入力された情報から適合する吸着ノズル８（保持部）を抽出する。３次元画像生成部３２ａは、抽出された吸着ノズル８の３次元画像を生成する。すなわち、３次元画像生成部３２ａは、部品サイズ情報に基づいて、吸着ノズル８の３次元画像を生成する。そして、表示処理部３２は、抽出された吸着ノズル８の３次元画像を表示部１１に表示させる。なお、入力された情報に適合する吸着ノズル８がない場合は、その旨を表示部１１に表示する。

【0048】

ここで、図１１を参照して、「吸着ノズル抽出表示モード」における表示映像１１ａについて説明する。表示処理部３２は、入力欄生成部３２ｄによって生成された入力欄画像５０を表示部１１に表示させている。作業者は、入力部１４を操作して、入力欄画像５０に部品のサイズを入力する。ここでは、長さ（４．０ｍｍ）、幅（２．０ｍｍ）、高さ（０．８ｍｍ）が入力されている。なお、部品のサイズは、カメラ１２が撮像した部品Ｐ２の撮像画像を画像処理して自動的に入力するようにしてもよい。表示処理部３２は、抽出部３５が抽出して３次元画像生成部３２ａが生成させた小型部品用の吸着ノズル８Ｂの３次元画像５１を、吸着ノズル８Ｂの基点Ｑを台４０の上面に載置された部品Ｐ２の上面の保持中心位置Ｒに合わせて表示させている。

【0049】

また、表示処理部３２は、情報表示生成部３２ｃが生成した吸着ノズル８Ｂの情報表示画像５２を表示部１１に表示させている。情報表示画像５２には、保持部情報３６ａに含まれる情報のうち、吸着ノズル８ＢのノズルＩＤ（Ｎ００５）、最大部品重量（１５ｇ）、最大部品高さ（２ｍｍ）、ノズル長さ（５０ｍｍ）が表示されている。このように、現実の部品Ｐ２と、入力された部品のサイズに基づいて抽出した吸着ノズル８Ｂの３次元画像５１を同時に表示部１１に表示することで、吸着ノズル８Ｂが部品Ｐ２に適合しているか否かを容易に確認することができる。

【0050】

図４において、情報端末Ｔは、「吸着ノズル抽出表示モード」において吸着ノズル８Ｂを表示部１１に表示させた後に「追従表示モード」に移行することができる。「追従表示モード」では、３次元画像生成部３２ａは、カメラ１２のズーム機能によって表示部１１に表示される部品Ｐが拡大、縮小されると、表示されている部品Ｐの大きさに基づいて、吸着ノズル８を拡大、縮小させた３次元画像を生成する。すなわち、３次元画像生成部３２ａは、カメラ１２（撮像部）によって撮像された部品Ｐの大きさに基づいて、吸着ノズル８（保持部）の３次元画像を生成する。

【0051】

ここで、図１２を参照して、「追従表示モード」においてカメラ１２のズーム機能によって部品Ｐ２を拡大させた後の表示映像１１ａについて説明する。図１２では、「吸着ノズル抽出表示モード」で台４０上の現実の部品Ｐ２の上面に接するように吸着ノズル８Ｂの３次元画像５１を表示させた後に（図１１参照）、ズーム機能によって部品Ｐ２と吸着ノズル８Ｂの先端付近を拡大させている。３次元画像生成部３２ａは、拡大された部品Ｐ２の大きさに基づいて、吸着ノズル８Ｂの３次元画像５３を拡大して生成している。この
ように、微小なサイズの部品Ｐ２であってもズーム機能で拡大させて表示部１１に表示することで、吸着ノズル８Ｂが部品Ｐ２に適合しているか否かを容易に確認することができる。

【0052】

図４において、３次元画像生成部３２ａは、部品Ｐの部品情報３６ｂに含まれる部品サイズ情報（部品のサイズ情報）に基づいて、部品Ｐの３次元画像を生成する。表示処理部３２は、カメラ１２（撮像部）で撮像した撮像画像に基づいて、吸着ノズル８などと縮尺を合わせて部品Ｐの３次元画像を表示部１１に表示させる。

【0053】

ここで、図１３を参照して、「部品表示モード」において部品Ｐ３の３次元画像５７を表示させた表示映像１１ａについて説明する。カメラ１２は、台４０の上面に載置されている部品Ｐ１を撮像している。表示処理部３２は、入力欄生成部３２ｄが生成した入力欄画像５４と、３次元画像生成部３２ａが生成した吸着ノズル８Ｂの３次元画像５５と、情報表示生成部３２ｃが生成した吸着ノズル８Ｂの情報表示画像５６を表示部１１に表示させている。

【0054】

さらに、入力欄画像５４の入力欄に入力された部品のサイズに基づいて、３次元画像生成部３２ａが生成した部品Ｐ３の３次元画像５７が表示されている。このように、現実の部品Ｐ１と、入力された部品のサイズに基づいて作成した部品Ｐ３の３次元画像５７を同時に表示部１１に表示することで、作業者が入力した部品のサイズが正しいか否かを容易に確認することができる。

【0055】

次に図１４のフローに沿って、図６～図１１、図１３を参照しながら、情報端末Ｔ（保持部表示システム）によって部品Ｐを基板Ｂに実装する部品実装装置Ｍ１，Ｍ２が備える部品Ｐを保持する吸着ノズル８（保持部）を表示する保持部表示方法について説明する。まず、作業者は、表示部１１に表示された入力欄画像５０，５４（図１１，図１３参照）に入力部１４を使用して部品Ｐのサイズを入力する（ＳＴ１：入力工程）。これにより、吸着ノズル８の保持部サイズ情報（保持部のサイズ情報）と関連付けられた部品サイズ情報（部品のサイズ情報）のうち少なくとも一部の情報が入力される。

【0056】

次いで抽出部３５は、入力された情報から適合する吸着ノズル８（保持部）を抽出する（ＳＴ２：抽出工程）。なお、吸着ノズル８は、作業者がノズルＩＤを入力して指定するようにしてもよい。次いで作業者は、情報端末Ｔが「原点位置設置モード」にある状態で、カメラ１２（撮像部）で撮像された撮像画像に基づいて、原点位置Ｓを設定する（ＳＴ３：原点位置設定工程）（図６参照）。次いで３次元画像生成部３２ａは、抽出工程（ＳＴ２）において抽出された吸着ノズル８の保持部サイズ情報（保持部のサイズ情報）に基づいて、吸着ノズル８の３次元画像を生成する（ＳＴ４：３次元画像生成工程）。

【0057】

３次元画像生成工程（ＳＴ４）において、３次元画像生成部３２ａは、部品サイズ情報（部品のサイズ情報）とカメラ１２（撮像部）によって撮像された部品Ｐの大きさ、部品Ｐの姿勢に基づいて、カメラ１２を視点とする吸着ノズル８（保持部）の３次元画像を生成する。また、３次元画像生成工程（ＳＴ４）において、３次元画像生成部３２ａは、部品サイズ情報に基づいて、部品Ｐの３次元画像を生成する。

【0058】

図１４において、次いで判定部３４は、保持部サイズ情報（保持部のサイズ情報）と部品サイズ情報（部品のサイズ情報）とに基づいて、抽出された吸着ノズル８の部品保持条件（部品の保持条件）がカメラ１２（撮像部）によって撮像されている部品Ｐの形状（サイズ）を満たすかを判定する（ＳＴ５：判定工程）。部品保持条件を満たすと判定された場合（ＳＴ５においてＹｅｓ）、表示処理部３２は、カメラ１２で撮像した撮像画像に基づいて、３次元画像生成工程（ＳＴ４）において生成された３次元画像４４，４６を設定
された原点位置Ｓに基点Ｑを合わせて表示部１１に表示させる（ＳＴ６：通常表示処理工程）（図７～図９参照）。

【0059】

また、通常表示処理工程（ＳＴ６）において、表示処理部３２は、保持部サイズ情報（保持部のサイズ情報）に含まれる少なくとも１つの情報を情報表示画像４５として表示させる（図７参照）。また、通常表示処理工程（ＳＴ６）において、表示処理部３２は、カメラ１２（撮像部）で撮像した撮像画像に基づいて、部品Ｐ３の３次元画像を表示部１１に表示させる（図１３参照）。

【0060】

図１４において、判定工程（ＳＴ５）において部品保持条件（部品の保持条件）を満たさないと判定された場合（Ｎｏ）、表示処理部３２は、吸着ノズル８Ａ（保持部）の３次元画像４７の該当する箇所（２本のノズル４８）を視覚的に変化させて表示部１１に表示させる（ＳＴ７：視覚的変化表示処理工程）（図１０参照）。このように、通常表示処理工程（ＳＴ６）と視覚的変化表示処理工程（ＳＴ７）は、３次元画像生成工程（ＳＴ４）において生成された３次元画像を表示部１１に表示させる表示処理工程である。現実の部品Ｐと、生成した吸着ノズル８の３次元画像を同時に表示部１１に表示することで、吸着ノズル８が部品Ｐに適合しているか否かを容易に確認することができる。なお、吸着ノズル８が部品Ｐに適合しているか否かを確認した後、修正が必要な箇所を入力部を通して入力してもよい。

【0061】

上記説明したように、本実施の形態の情報端末Ｔは、撮像部（カメラ１２）と、表示部１１と、保持部サイズ情報（保持部のサイズ情報）に基づいて、保持部の３次元画像を生成する３次元画像生成部３２ａと、撮像部で撮像した撮像画像に基づいて、３次元画像生成部３２ａによって生成された３次元画像を表示部１１に表示させる表示処理部３２と、を備え、部品実装装置Ｍ１，Ｍ２が備える保持部を表示する保持部表示システムである。これによって、保持部が部品Ｐに適合しているか否かを容易に確認することができる。

【0062】

なお、部品Ｐは、上述した本実施の形態以外に吸着面が曲面形状、半曲面形状、および凸凹面形状等であっても本発明が適用でき、吸着ノズル８が部品Ｐに適合しているか否かを容易に確認することができる。また、本実施の形態では保持部の3次元画像を生成した
が、保持部以外にも交換可能に構成されるエンドエフェクタであれば、例えばワークに材料を塗布する塗布部やワークに載置される部品を締結部等に適用可能である。

【産業上の利用可能性】

【0063】

本発明の保持部表示システムおよび保持部表示方法は、保持部が部品に適合しているか否かを容易に確認することができるという効果を有し、部品を基板に実装する分野において有用である。

【符号の説明】

【0064】

８、８Ａ、８Ｂ 吸着ノズル（保持部）
１１ 表示部
１２ カメラ（撮像部）
１４ 入力部
４４、４６、４７、５１、５３、５５ 吸着ノズルの３次元画像（保持部の３次元画像）
５７ 部品の３次元画像
Ｂ 基板
Ｍ１、Ｍ２ 部品実装装置
Ｐ、Ｐ１、Ｐ２、Ｐ３ 部品
Ｑ 基点
Ｓ 原点位置
Ｔ 情報端末（保持部表示システム）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】