特許 7261707 作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-12

(45)【発行日】2023-04-20

(54)【発明の名称】作業支援システム

(51)【国際特許分類】

   H05K 13/08 20060101AFI20230413BHJP

   G06Q 50/04 20120101ALI20230413BHJP

【ＦＩ】

H05K13/08 Z

G06Q50/04

【請求項の数】 11

(21)【出願番号】P 2019165913

(22)【出願日】2019-09-12

(65)【公開番号】P2021044416

(43)【公開日】2021-03-18

【審査請求日】2022-05-13

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000604

【氏名又は名称】弁理士法人 共立特許事務所

(72)【発明者】

【氏名】江嵜 弘健

(72)【発明者】

【氏名】ナラサンビ アヌスヤ

(72)【発明者】

【氏名】大池 博史

【審査官】三宅 達

(56)【参考文献】

【文献】特開２０１７－０７３４０８（ＪＰ，Ａ）

【文献】特開２０１８－１８１２３２（ＪＰ，Ａ）

【文献】特開２００６－２３７５６６（ＪＰ，Ａ）

【文献】特開２０１８－０５６２５３（ＪＰ，Ａ）

【文献】特開２０１８－０５６２５２（ＪＰ，Ａ）

【文献】特開２０１４－２３５７０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０５Ｋ １３／００－１３／０８

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

対基板作業ラインを構成する複数の対基板作業機の配置を表す配置情報を記憶する記憶部と、
オペレータの作業が必要になった前記対基板作業機、および前記作業が必要になると予測される前記対基板作業機の少なくとも一方を特定する実体特定部と、
前記オペレータの視野に入る前記対基板作業ラインを撮像して視野画像を取得する撮像部と、
前記配置情報に基づき、前記視野画像内において前記実体特定部により特定された前記対基板作業機の位置を特定する画像内特定部と、
前記オペレータの前記視野内または前記視野画像内において、前記画像内特定部により特定された前記対基板作業機の前記位置または近傍位置に前記作業が必要であることを表示する表示部と、
を備える作業支援システム。

【請求項2】

前記実体特定部は、必要となる時期が早い順位の複数の前記作業に対応する前記対基板作業機を特定し、
前記画像内特定部は、前記視野画像内において前記実体特定部により特定された複数の前記作業に対応する前記対基板作業機の前記位置を特定し、
前記表示部は、前記画像内特定部により特定された前記対基板作業機の前記位置または前記近傍位置に前記作業の前記順位を表示する、
請求項１に記載の作業支援システム。

【請求項3】

前記表示部は、前記作業を開始するまでの残余時間、前記作業の内容、および、前記作業を実施する前記対基板作業機内の作業位置の少なくとも一項目を併せて表示する、請求項１または２に記載の作業支援システム。

【請求項4】

前記配置情報は、前記対基板作業ラインの近傍に配置されて前記対基板作業ラインを特定する識別マーカーを識別するための識別情報と、前記識別マーカーに対する前記対基板作業機の相対位置を表す相対位置情報と、を含み、
前記画像内特定部は、前記視野画像内において前記識別マーカーを認識し、さらに前記相対位置情報を用いて前記対基板作業機の前記位置を特定する、
請求項１～３のいずれか一項に記載の作業支援システム。

【請求項5】

前記表示部は、前記オペレータの前記視野を透かすとともに前記オペレータの前記視野内に表示を行い、かつ前記撮像部が設けられたスマートグラスである、請求項１～４のいずれか一項に記載の作業支援システム。

【請求項6】

前記表示部は、前記視野画像内に表示を行い、かつ前記撮像部が設けられた携帯型表示装置である、請求項１～４のいずれか一項に記載の作業支援システム。

【請求項7】

前記オペレータの前記作業は、
前記対基板作業機で消費される部材の補給作業、
前記対基板作業機に着脱可能に装備される装置または器具の交換作業、
前記対基板作業機のメンテナンス作業、ならびに、
前記対基板作業機で発生した異常に対する調査点検作業および復旧作業、
の少なくとも一作業を含む、請求項１～６のいずれか一項に記載の作業支援システム。

【請求項8】

前記オペレータの前記作業は、前記対基板作業機に該当する部品装着機に設けられた部品供給装置で消費される部品の補給作業、複数の前記部品を保持する部品保持器具の交換作業、および、前記部品供給装置の交換作業、の少なくとも一作業を含む、請求項７に記載の作業支援システム。

【請求項9】

前記記憶部は、補給用の前記部品、交換用の前記部品保持器具、および交換用の前記部品供給装置の少なくともひとつである保管品を保管する保管庫の内部における前記保管品の配置情報を記憶し、
前記実体特定部は、前記オペレータの前記作業に使用される前記保管品を特定し、
前記撮像部は、前記オペレータの前記視野に入る前記保管庫を撮像して保管庫視野画像を取得し、
前記画像内特定部は、前記保管品の前記配置情報に基づき、前記保管庫視野画像内において前記実体特定部により特定された前記保管品の位置を特定し、
前記表示部は、前記オペレータの前記視野内または前記保管庫視野画像内において、前記画像内特定部により特定された前記保管品の前記位置を表示する、
請求項８に記載の作業支援システム。

【請求項10】

前記保管品の前記配置情報は、前記保管庫の近傍に配置されて前記保管庫を特定する保管庫識別マーカーを識別するための保管庫識別情報と、前記保管庫識別マーカーに対する前記保管品の相対位置を表す保管品相対位置情報と、を含み、
前記画像内特定部は、前記保管庫視野画像内において前記保管庫識別マーカーを認識し、さらに前記保管品相対位置情報を用いて前記保管品の前記位置を特定する、
請求項９に記載の作業支援システム。

【請求項11】

前記保管品を識別するための識別コードが前記保管品に貼り付けられており、
前記保管庫は、前記識別コードを読み取るコードリーダを有し、
前記実体特定部は、前記コードリーダが読み取った前記識別コードに基づいて、前記作業に使用される前記保管品を特定する、
請求項９または１０に記載の作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、対基板作業ラインでオペレータが実施する作業を支援する作業支援システムに関する。

【背景技術】

【0002】

多数の部品が装着された基板製品を生産する対基板作業機として、はんだ印刷機、部品装着機、リフロー機、基板検査機などがある。これらの対基板作業機を一列に配置して対基板作業ラインを構成することが一般的になっている。対基板作業ラインにおいて、消費される部材を補給したり、装置または器具を交換したりするオペレータの作業が必要である。この種の作業を支援するシステムの一技術例が特許文献１に開示されている。

【0003】

特許文献１のフィーダ配置支援システムは、撮像部に撮像されている情報を基に、フィーダ配置部の映像または作業者の視野に、フィーダの配置支援情報を重ねて表示する表示部を備える。実施形態の説明によれば、部品装着機のフィーダ配置部において、フィーダの取り外し、移動、および取り付けに関する情報を表示することが開示されている。これにより、作業者が段取り替え作業を直感的に把握できる、とされている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－５６２５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、特許文献１は、対基板作業機の内部において作業に関する表示を行う技術である。しかしながら、対基板作業ラインにおいては、作業が必要になった対基板作業機が分からない場合が生じて、作業効率が低下する。また、作業が必要になった後の表示では、効率の良い作業計画を立てて実施することが難しい。

【0006】

本明細書は、対基板作業ラインにおけるオペレータの作業を支援して、作業効率を良好にする作業支援システムを提供することを解決すべき課題とする。

【課題を解決するための手段】

【0007】

本明細書は、対基板作業ラインを構成する複数の対基板作業機の配置を表す配置情報を記憶する記憶部と、オペレータの作業が必要になった前記対基板作業機、および前記作業が必要になると予測される前記対基板作業機の少なくとも一方を特定する実体特定部と、前記オペレータの視野に入る前記対基板作業ラインを撮像して視野画像を取得する撮像部と、前記配置情報に基づき、前記視野画像内において前記実体特定部により特定された前記対基板作業機の位置を特定する画像内特定部と、前記オペレータの前記視野内または前記視野画像内において、前記画像内特定部により特定された前記対基板作業機の前記位置または近傍位置に前記作業が必要であることを表示する表示部と、を備える作業支援システムを開示する。

【発明の効果】

【0008】

本明細書で開示する作業支援システムによれば、オペレータの作業が必要になり、または必要になると予測される対基板作業機を特定し、オペレータの視野内または視野画像内において、特定した対基板作業機の位置または近傍位置に作業が必要であることを表示する。このため、オペレータは、作業が必要な対基板作業機を視覚的に確認でき、確認に時間を要さない。したがって、オペレータの作業が支援され、作業効率は良好となる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態の作業支援システムが対象とする対基板作業ラインを模式的に示す斜視図である。

【図2】作業支援システムの制御の構成を示すブロック図である。

【図3】表示部および撮像部を備えるスマートグラスの斜視図である。

【図4】第一識別マーカーの形状に一致した第一テンプレート情報の図である。

【図5】第二識別マーカーの形状に一致した第二テンプレート情報の図である。

【図6】対基板作業機の相対位置を表す相対位置情報を説明する第一ラインの模式的な平面図である。

【図7】作業支援システムの動作を説明する動作フローの図である。

【図8】対基板作業ラインの全体を含む視野画像の例を示す図である。

【図9】オペレータの視野内に見える対基板作業ラインに対し、特定された対基板作業機の位置に作業が必要であることを重ねて表示した例を示す図である。

【図10】第２実施形態で対象とする保管庫を説明する斜視図である。

【図11】フィーダ装置の側面に貼り付けられた識別コードを示す斜視図である。

【図12】保管庫識別マーカーの形状に一致した第三テンプレート情報の図である。

【図13】フィーダ装置の相対位置を表す相対位置情報を説明する保管庫の上部の正面図である。

【図14】オペレータの視野内に見える保管庫に対し、交換作業に使用するフィーダ装置の位置を重ねて表示した例を示す図である。

【発明を実施するための形態】

【0010】

１．対基板作業ライン９の構成
まず、第１実施形態の作業支援システム１が対象とする対基板作業ライン９の構成について説明する。図１および図２に示されるように、対基板作業ライン９は、第一ライン６、第二ライン７、およびホスト制御装置８を含んで構成される。第一ライン６および第二ライン７は、工場内に離隔平行して設置されている。第一ライン６および第二ライン７は、７台の対基板作業機が一列に配置される同一のライン構成を有する。なお、対基板作業ライン９は、単一ラインの構成でも、三ライン以上の構成でもよい。

【0011】

第一ライン６は、半田印刷機６１、印刷検査機６２、第一部品装着機６３、第二部品装着機６４、第三部品装着機６５、基板検査機６６、およびリフロー機６７が一列に配置されて構成される。同様に、第二ライン７は、半田印刷機７１、印刷検査機７２、第四部品装着機７３、第五部品装着機７４、第六部品装着機７５、基板検査機７６、およびリフロー機７７が一列に配置されて構成される。図１において、部品装着機（以降では第一～第六を区別する必要がない場合に用いる）以外の対基板作業機は、図示省略されている。

【0012】

第一ライン６の近傍に配置された掲示板６８に、第一ライン６を特定する第一識別マーカー６９が掲示されている。第一識別マーカー６９は、板状の掲示板６８の表面および裏面に合計で２個設けられでもよく、９０°ピッチで四方を向くように合計で４個設けられてもよい。同様に、第二ライン７の近傍に配置された掲示板７８に、第二ライン７を特定する第二識別マーカー７９が掲示されている。第一識別マーカー６９の形状は、太線の円形の内部に太線のＸ印が描かれて形成される。第二識別マーカー７９の形状は、太線の円形により形成される。識別マーカー（以降では第一および第二を区別する必要がない場合に用いる）の形状、掲示位置、および掲示方法は、上記に限定されない。

【0013】

以下、第一ライン６を例にして、対基板作業機を説明し、さらにオペレータＭの作業について説明する。半田印刷機６１は、スクリーンおよびスキージを用いて、基板上の部品装着位置にクリーム状半田を印刷する。印刷検査機６２は、検査用カメラを用いて、クリーム状半田の印刷状態を検査する。第一部品装着機６３、第二部品装着機６４、および第三部品装着機６５は、基板上のクリーム状半田の上に部品を装着する。基板検査機６６は、検査用カメラを用いて、基板上の部品の状態を検査する。リフロー機６７は、クリーム状半田を溶解し固化させて、部品の装着状態を安定化する。

【0014】

さらに、６台の同一構成の部品装着機は、基板搬送装置、複数のフィーダ装置５、および部品移載装置などで構成される。基板搬送装置は、前工程の対基板作業機から基板を搬入し、装着実施位置に位置決めする。また、基板搬送装置は、部品の装着が済んだ基板を装着実施位置から後工程の対基板作業機に搬出する。

【0015】

複数のフィーダ装置５は、部品供給装置であり、部品装着機の前側に並んで着脱可能に装備される。フィーダ装置５は、部品を保持するキャリアテープを繰り出して、その部品を部品移載装置に供給する。キャリアテープは、部品保持器具に相当するテープリールに巻回されて提供される。部品移載装置は、吸着ノズルなどの部品装着器具を用いて、フィーダ装置５から部品を採取し、位置決めされた基板に装着する。

【0016】

部品装着機の前面のフィーダ装置５よりも上側に、操作パネル６Ｐが設けられている。操作パネル６Ｐは、オペレータＭの指令を受け付ける入力部、および、機内の稼働状況や異常の発生状況などを表示する表示部をもつ。さらに、部品装着機の上部に、３個の異常表示灯６Ｌが設けられている。異常表示灯６Ｌは、表示色の違いおよび点灯と点滅の違いを利用して、機内で発生した異常を種類別に表示し、あるいは緊急度の違いを表示する。異常表示灯６Ｌの個数および点灯方式は、上記に限定されない。

【0017】

部品装着機で発生する異常として、機内の装置故障や、部品の採取および装着のエラー率増加などがある。このとき、オペレータＭのメンテナンス作業や調査点検作業、復旧作業などが必要になる。また、部品の消費により発生する部品切れは、異常ではないが、オペレータＭの作業が必要である点で共通する。部品切れが発生したとき、オペレータＭは、フィーダ装置５の交換作業、またはテープリールの交換作業を行う。

【0018】

なお、フィーダ装置５以外の部品供給装置、例えば、部品のみを補給する方式の装置や、部品保持器具としてトレイを用いる方式の装置が部品装着機に装備されてもよい。それでも、部品切れが発生したときに、オペレータＭの部品補給作業またはトレイの交換作業が必要になる。また、部品切れの発生時期は、事後検出に限定されず、部品が消費される経過状況に基づいて予め推定されてもよい。

【0019】

オペレータＭの作業が必要になることは、他の種類の対基板作業機でも発生し得る。例えば、機内の装置故障は、いずれの対基板作業機でも発生し得る。また、半田印刷機６１において、スキージの状態を整備したり、固化した半田を除去したりするメンテナンス作業が必要になる場合がある。印刷検査機６２や基板検査機６６においては、検査で不良が見つかったときに確認作業が必要であり、確認結果によっては更なる作業が必要になる。

【0020】

ホスト制御装置８は、コンピュータ装置を用いて構成される。ホスト制御装置８は、第一ライン６および第二ライン７を構成する対基板作業機に通信接続されている。ホスト制御装置８は、ジョブデータにしたがって対基板作業機を制御し、第一ライン６および第二ライン７でそれぞれ基板製品を生産させる。第一ライン６および第二ライン７で生産する基板製品は、同種類でも相違してもよい。

【0021】

ジョブデータは、基板の種類ごとに対基板作業の詳細を記述したデータである。ジョブデータは、基板の回路パターン等の設計情報に加え、それぞれの対基板作業機の動作条件、使用する装置や器具の情報、装着する部品の種類、装着順序、および装着座標の情報、ならびに、検査の実施条件や合否判定に関する情報などを含んでいる。部品切れが発生したときに次に使用するフィーダ装置５の情報も、ジョブデータに設定されている。

【0022】

２．第１実施形態の作業支援システム１の構成
次に、第１実施形態の作業支援システム１の構成について説明する。作業支援システム１は、図２に示されるように、ホスト制御装置８の制御機能とスマートグラス３の組み合わせによって構成される。ホスト制御装置８の制御機能は、記憶部８１、実体特定部８２、画像内特定部８３、および無線通信部８４を含む。スマートグラス３は、撮像部３１、表示部３２、および無線通信部３３を備える。

【0023】

スマートグラス３は、拡張現実表示機能、すなわち、現実に見える実体に重ねて拡張情報を表示する機能を有する。スマートグラス３は、図３に示されるように、めがねに類似した形状を有する。したがって、オペレータＭは、図１に示されるように、スマートグラス３を身につけて使用することができる。スマートグラス３の表示部３２は、オペレータＭの両目に対応して左右一対とされる。表示部３２は、オペレータＭの視野を透かすとともに、オペレータＭの視野内に拡張現実表示を行う。表示部３２の具体的な表示内容については後述する。

【0024】

スマートグラス３の撮像部３１は、左右一対の表示部３２の間に、前方を向く姿勢で配置される。撮像部３１は、オペレータＭの視野に入る物体を撮像範囲に収めることができる。オペレータＭの視野に対基板作業ライン９が入ったときに、撮像部３１は、対基板作業ライン９を撮像して視野画像を取得する。無線通信部３３は、無線通信を用いて、視野画像の画像データを送信するとともに、他のデータや指令および応答などの各種情報を送受信する。

【0025】

ホスト制御装置８の無線通信部８４は、スマートグラス３の無線通信部３３との間で無線通信を行い、画像データを受信するとともに、各種情報を送受信する。記憶部８１は、対基板作業ライン９を構成する複数の対基板作業機の配置を表す配置情報を記憶する。配置情報は、識別情報および相対位置情報からなる。

【0026】

識別情報は、第一識別マーカー６９を識別するための第一識別情報、および第二識別マーカー７９を識別するための第二識別情報を含む。第一識別情報は、第一識別マーカー６９の形状に一致した第一テンプレート情報６Ａ(図４参照)、および付随するテキスト情報からなる。テキスト情報は、少なくとも第一識別マーカー６９と第一ライン６を対応付けている。第二識別情報は、第二識別マーカー７９の形状に一致した第二テンプレート情報７Ａ(図５参照)、および付随するテキスト情報からなる。テキスト情報は、少なくとも第二識別マーカー７９と第二ライン７を対応付けている。

【0027】

相対位置情報は、識別マーカーに対する対基板作業機の相対位置を表す。図６に示される第一ライン６において、相対位置情報は、第一識別マーカー６９の位置を原点とする水平面内のＸ－Ｙ座標系において、対基板作業機の中央位置を示す座標値で表される。例えば、第一部品装着機６３の相対位置（Ｘ１，Ｙ１）、第二部品装着機６４の相対位置（Ｘ２，Ｙ１）、第三部品装着機６５の相対位置（Ｘ３，Ｙ１）と表される。同様に、第二ライン７において、相対位置情報は、第二識別マーカー７９の位置を原点とする水平面内のＸ－Ｙ座標系において、対基板作業機の中央位置を示す座標値で表される。

【0028】

実体特定部８２は、オペレータＭの作業が必要になった対基板作業機、および作業が必要になると予測される対基板作業機の少なくとも一方を特定する。第１実施形態において、実体特定部８２は、必要となる時期が早い順位の複数の作業に対応する対基板作業機を特定する。なお、オペレータＭの作業が必要になったことは、異常表示灯６ＬによってオペレータＭに通知されてもよい。つまり、作業支援システム１は、異常表示灯６Ｌによる作業支援との併用が可能である。

【0029】

ここで、ホスト制御装置８はそれぞれの対基板作業機を制御しているので、実体特定部８２は、オペレータＭの作業が必要になった対基板作業機を容易に事後検出することができる。さらに、前述したように、フィーダ装置５の部品切れの発生時期は推定可能である。したがって、実体特定部８２は、部品装着機でフィーダ装置５の交換作業が必要となる時期を推定し、交換作業の時期が早い部品装着機を順位付けしつつ特定することができる。また、定期的に実施されるメンテナンス作業についても、実施時期の推定、および対基板作業機の順位付けが可能である。

【0030】

画像内特定部８３は、記憶部８１が記憶している配置情報に基づき、視野画像内において実体特定部８２により特定された対基板作業機の位置を特定する。詳細には、画像内特定部８３は、視野画像内において識別マーカーを認識し、さらに相対位置情報を用いて、特定された複数の作業に対応する対基板作業機の位置を特定する。ここで、視野画像は、スマートグラス３の撮像部３１に取得されて、無線通信部３３から無線通信部８４に送信された画像データが相当する。

【0031】

画像内特定部８３は、視野画像内において識別マーカーを認識するときに、図４に示される第一テンプレート情報６Ａ、および図５に示される第二テンプレート情報７Ａを用いたパターンマッチング処理を実施する。ここで、撮像部３１と識別マーカーの距離は、時々で変化し、視野画像内における識別マーカーの画像の大きさが変化する。また、撮像部３１は、識別マーカーを斜め方向から撮像することがあり、視野画像内における識別マーカーの画像は、円形でなく楕円形に変形する。したがって、画像内特定部８３は、識別マーカーの画像の大きさの変化および変形に対応したパターンマッチング処理の方法を用いる必要がある。

【0032】

パターンマッチング処理によって第一識別マーカー６９および第二識別マーカー７９の少なくとも一方を認識したとき、画像内特定部８３は、視野画像内において、Ｘ軸およびＹ軸の延在方向、ならびに縮尺度を決定するための画像処理を実施する。これにより、Ｘ－Ｙ座標系の相対位置情報を用いて対基板作業機の位置を特定することが可能になる。また、第一識別マーカー６９および第二識別マーカー７９のどちらも認識できなかったとき、画像内特定部８３は、以降の処理を実施しない。

【0033】

画像内特定部８３が特定した対基板作業機の位置の情報は、無線通信部８４に送られ、無線通信部３３に送信される。併せて、作業の順位の情報、および作業に関する付帯情報が送信される。付帯情報として、作業を開始するまでの残余時間、作業の内容、および、作業を実施する対基板作業機内の作業位置の少なくとも一項目が送信される。これにより、表示部３２は、対基板作業機の位置の情報、作業の順位の情報、および付帯情報を取得する。

【0034】

表示部３２は、取得した情報に基づき、オペレータＭの視野内において、当該の対基板作業機の位置または近傍位置に作業が必要であることを表示する。さらに、表示部３２は、作業の順位を、当該の対基板作業機の位置または近傍位置に表示する。加えて、表示部３２は、付帯情報を併せて表示する。これらの表示は、拡張現実表示の方法による。

【0035】

３、第１実施形態の作業支援システム１の動作
次に、第１実施形態の作業支援システム１の動作について、オペレータＭの動作を考慮しながら説明する。図７に示される動作フローのステップＳ１で、記憶部８１が動作する。ステップＳ１は、原則的に１回だけ実施される。例外として、対基板作業ライン９のライン構成が変更されたとき、ならびに、第一識別マーカー６９および第二識別マーカー７９の形状が変更されたときに、ステップＳ１は再度実施される。

【0036】

次のステップＳ２で、対基板作業ライン９が稼動を開始する。すると、次のステップＳ３で、実体特定部８２が自動的に動作を開始し、以降は継続して動作する。また、オペレータＭがスマートグラス３の電源を入れた後のステップＳ４で、撮像部３１が動作する。次のステップＳ５で、画像内特定部８３が動作する。次のステップＳ６で、パターンマッチング処理が良好であるか、それとも不良であるかが判定される。

【0037】

パターンマッチング処理で第一識別マーカー６９および第二識別マーカー７９のどちらも認識されない不良の場合、オペレータＭが対基板作業ライン９から離れているか、または他の方向を見ていることになる。この場合、動作フローの実行はステップＳ４に戻される。そして、オペレータＭが対基板作業ライン９を近くから見るまで、ステップＳ４～ステップＳ６が繰り返される。

【0038】

なお、対基板作業ライン９の大部分が視野画像に含まれていても、第一識別マーカー６９および第二識別マーカー７９が視野画像に含まれない場合がある。この場合、パターンマッチング処理は不良となる。また、対基板作業ライン９の一部に加えて、第一識別マーカー６９および第二識別マーカー７９の少なくとも一方が視野画像に含まれる場合がある。この場合、パターンマッチング処理は良好となるが、実体特定部８２が特定した対基板作業機の位置が視野画像に含まれないときに、画像内特定部８３は機能を発揮できない。これら二つの場合にも、ステップＳ４～ステップＳ６が繰り返される。

【0039】

一方、撮像部３１によって図８に例示される視野画像Ｇが取得されていると、パターンマッチング処理は良好となる。図８において、対基板作業ライン９の全体が視野画像Ｇに含まれている。このとき、画像内特定部８３が特定した対基板作業機の位置の情報、作業の順位の情報、および付帯情報が表示部３２に取得される。そして、動作フローの実行は、ステップＳ６からステップＳ７に進められる。ステップＳ７で、表示部３２は、図９に例示される拡張現実表示を行う。

【0040】

図９において、表示部３２を透かしたオペレータＭの視野内に、対基板作業ライン９の実体が見えている。そして、表示部３２により、作業が必要であることを示す赤色の風船形マーク（斜線ハッチングを付して表示）が、第一部品装着機６３、第五部品装着機７４、および第六部品装着機７５の位置に重ねてハイライト表示される。また、第六部品装着機７５の近傍位置に「交換順位：１位」とポップアップ表示され、第一部品装着機６３の近傍位置に「交換順位：２位」とポップアップ表示され、第五部品装着機７４の近傍位置に「交換順位：３位」とポップアップ表示される。表示された交換順位は、次に説明する残余時間の長短に基づいて決定された順位である。

【0041】

第六部品装着機７５の近傍の「交換順位：１位」の下側には、付帯情報が表示される。具体的に、第六部品装着機７５の名称略号が「機名：Ｍ3-6」と表示される。また、作業までの残余時間は、実体特定部８２によって予め推定されている。この推定結果に基づいて、「残余時間：５分」と表示される。

【0042】

さらに、取り外すフィーダ装置５が「フィーダ番号：FO11」と表示される。フィーダ番号は、フィーダ装置５の個体を識別する識別コードに一致する。また、部品切れになる部品の種類が「部品ID：P01」と表示される。フィーダ番号および部品IDの表示は、第六部品装着機７５内で実施する作業内容および作業位置を示唆している。第一部品装着機６３および第五部品装着機７４についても、同様の付帯情報が表示される。

【0043】

なお、ステップＳ６で第一識別マーカー６９および第二識別マーカー７９が認識されない場合に、表示部３２は、作業が必要になっていることや、作業が必要になると予測されていることを表示してもよい。例えば、表示部３２は、オペレータＭの視野の隅（例えば右上コーナー部）に赤丸を点滅させて、作業の必要性を表示することができる。また、表示部３２は、図９において風船形マークを表示し、交換順位および付帯情報の少なくとも一方を表示しない簡易な表示方法を用いてもよい。さらに、表示部３２は、オペレータＭと対基板作業機の距離が所定距離以下になったときにだけ、交換順位や付帯情報を表示してもよい。その他にも、表示部３２の表示項目および表示方法は、様々に変形することができる。

【0044】

また、基板検査機６６で、基板不良の検査結果が発生する場合がある。この場合、オペレータＭの視野内において、風船形マークが基板検査機６６の位置に重ねてハイライト表示される。そして、基板検査機６６の近傍位置に「基板不良発生：１位」とポップアップ表示され、さらに、「残余時間：なし」と表示される。表示部３２は、その他の対基板作業機についても、同様の表示を行うことができる。

【0045】

表示部３２の拡張現実表示により、オペレータＭは、作業の必要な対基板作業機を視覚的にすぐに確認できる。図９の例で、オペレータＭは、フィーダ装置５を交換する第六部品装着機７５、第一部品装着機６３、および第五部品装着機７４を視覚的にすぐに確認できる。加えて、付帯情報が併せて表示されることにより、作業内容等の認識が容易になる。

【0046】

さらに、オペレータＭは、複数の作業を対象として、効率の良い作業計画を立てて実施することができる。例えば、二つの交換作業の残余時間が接近しているときに、オペレータＭは、交換用のフィーダ装置５を二個まとめて準備し、二度手間を省略することができる。また例えば、オペレータＭは、二つの作業の残余時間の差を考慮して、作業の合間に対基板作業ライン９の近くに留まるか、一旦離れて他の業務に従事するかを適正に判断することができる。

【0047】

この後、ステップＳ３からステップＳ７までが繰り返される。したがって、オペレータＭが移動したときおよび視野の方向が変化したときに、視野画像が変化し、表示部３２の表示内容が更新される。また、オペレータＭが対基板作業ライン９から遠ざかったときや、スマートグラス３の電源が切られたときに、作業支援システム１は、実質的に機能しなくなる。

【0048】

第１実施形態の作業支援システム１によれば、オペレータＭの作業が必要になり、または必要になると予測される対基板作業機を特定し、オペレータＭの視野内において、当該の対基板作業機の位置または近傍位置に作業が必要であることを表示する。このため、オペレータＭは、当該の対基板作業機を視覚的に確認でき、確認に時間を要さない。したがって、オペレータＭの作業が支援され、作業効率は良好となる。

【0049】

４．第２実施形態における保管庫４の構成
次に、第２実施形態の作業支援システムについて説明する。第２実施形態の作業支援システムは、第１実施形態の全部の構成および機能を含み、対基板作業ライン９に加えて図１０に示された保管庫４を対象とする。保管庫４は、工場内に設置され、複数であってもよい。保管庫４と対基板作業ライン９との位置関係は、限定されない。保管庫４は、交換用のフィーダ装置５（保管品）を保管する。

【0050】

詳述すると、保管庫４は、上段、中段、および下段にそれぞれ収納棚を有する棚形状に形成されている。それぞれの収納棚は、仕切り板によって五つに区画され、５個の保管スロット４１が形成される。合計１５個の保管スロット４１には、それぞれフィーダ装置５が収納されて保管される(図１０では省略されている)。

【0051】

各保管スロット４１の片側の仕切り板に、それぞれコードリーダ４２が設けられる。コードリーダ４２は、収納されたフィーダ装置５の側面に貼り付けられた識別コード５１（図１１参照）を読み取る。識別コード５１は、フィーダ装置５の個体を識別するものであり、フィーダ番号に相当する。また、コードリーダ４２は、保管スロット４１にフィーダ装置５が収納されていない状態を併せて検出する。

【0052】

識別コード５１が読み取られることにより、保管スロット４１の位置と収納されているフィーダ装置５の対応関係が定まる。この対応関係は、有線通信または無線通信を用いて、ホスト制御装置８に送信され、実体特定部８２によって使用される。なお、保管スロット４１の個数は、実際には１５個よりも多い。

【0053】

保管庫４の上方に配置された掲示板４３に、保管庫４を特定する保管庫識別マーカー４４が掲示されている。保管庫識別マーカー４４は、第一識別マーカー６９と同様、合計で２個や４個設けられてもよい。保管庫識別マーカー４４の形状は、太線の円形の内部に太線の－印が描かれて形成される。

【0054】

５．第２実施形態の作業支援システムの機能および動作
第２実施形態の作業支援システムの機能および動作は、保管庫４および保管庫４内のフィーダ装置５を対象に含む点を除いて、第１実施形態に類似する。図９の表示に基づいてフィーダ装置５の交換作業を行うオペレータＭは、交換用のフィーダ装置５を保管庫４に取りに行く。そして、オペレータＭの視野に保管庫４が入ったときに、撮像部３１は、保管庫４を撮像して保管庫視野画像を取得することができる。保管庫視野画像の画像データは、無線通信によってホスト制御装置８に送信され、画像内特定部８３によって使用される。

【0055】

一方、記憶部８１は、保管庫４の内部におけるフィーダ装置５の配置情報を記憶する。配置情報は、保管庫識別情報および保管品相対位置情報からなる。保管庫識別情報は、保管庫識別マーカー４４を識別するための情報である。保管庫識別情報は、保管庫識別マーカー４４の形状に一致した第三テンプレート情報４５(図１２参照)、および付随するテキスト情報からなる。テキスト情報は、少なくとも第三テンプレート情報４５と保管庫４を対応付けている。なお、保管庫４がひとつの場合、保管庫識別情報は、保管庫４の位置を検出するために用いられ、テキスト情報は必要でなくなる。

【0056】

保管品相対位置情報は、保管庫識別マーカー４４に対するフィーダ装置５の相対位置を表す。図１３に示されるように、保管品相対位置情報は、保管庫識別マーカー４４の位置を原点とする垂直面内のＸ－Ｚ座標系において、フィーダ装置５（または保管スロット４１）の位置を表す座標値で表される。例えば、保管庫４の上段の中央の保管スロット４１に収納されたフィーダ装置５の相対位置（Ｘ４，Ｚ１）と表される。

【0057】

実体特定部８２は、交換作業に使用されるフィーダ装置５を特定する。交換作業について詳述すると、オペレータＭは、部品切れになったフィーダ装置５を部品装着機から取り外す。また、オペレータＭは、実体特定部８２によって特定されたフィーダ装置５を保管庫４から取り出し、対基板作業ライン９まで搬送して部品装着機に装備する。

【0058】

ここで、実体特定部８２は、ジョブデータを参照することにより、部品切れになるフィーダ装置５の次に使用するフィーダ装置５を認識することができる。さらに、実体特定部８２は、保管スロット４１の位置と収納されているフィーダ装置５の対応関係に基づいて、次に使用するフィーダ装置５およびその保管スロット４１の位置を特定することができる。上記した認識および特定の処理は、フィーダ装置５の識別コード５１（フィーダ番号）を参照して行われる。なお、特定されるフィーダ装置５の個数は、複数でもよい。

【0059】

画像内特定部８３は、保管品配置情報に基づき、保管庫視野画像内において実体特定部８２により特定されたフィーダ装置５の位置を特定する。詳細には、画像内特定部８３は、保管庫視野画像内において保管庫識別マーカー４４を認識し、さらに保管品相対位置情報を用いて、特定されたフィーダ装置５の位置を特定する。

【0060】

画像内特定部８３は、保管庫視野画像内において保管庫識別マーカー４４を認識するときに、図１２に示される第三テンプレート情報４５を用いたパターンマッチング処理を実施する。パターンマッチング処理によって保管庫識別マーカー４４を認識すると、画像内特定部８３は、視野画像内において、Ｘ軸およびＺ軸の延在方向、ならびに縮尺度を決定するための画像処理を実施する。これにより、Ｘ－Ｚ座標系の相対位置情報を用いてフィーダ装置５の位置を特定することが可能になる。

【0061】

画像内特定部８３が特定したフィーダ装置５の位置の情報は、無線通信部８４に送られ、無線通信部３３に送信される。併せて、付帯情報が送信される。付帯情報は、保管スロット４１の位置、フィーダ番号、および交換作業の対象となる部品装着機の名称略号の三項目である。これにより、表示部３２は、フィーダ装置５の位置の情報および付帯情報を取得し、図１４に示される拡張現実表示を行う。

【0062】

図１４において、表示部３２を透かしたオペレータＭの視野内に保管庫４の実体が見えている。そして、表示部３２により、交換作業に使用することを示す赤色の風船形マーク（斜線ハッチングを付して表示）の２個がハイライト表示される。ひとつ目の風船形マークは、上段の最も右側の保管スロット４１に収納されたフィーダ装置５Ａの位置を示している。二つ目の風船形マークは、中段の左から二番目の保管スロット４１に収納されたフィーダ装置５Ｂの位置を示している。さらに、風船形マークの近傍位置に、それぞれ付帯情報が表示される。

【0063】

フィーダ装置５Ａに対応する付帯情報は、「保管スロットID：SLOT-05」、「フィーダ番号：F016」、および「機名：Ｍ3-6」と表示されている。名称略号の「機名：Ｍ3-6」は、第六部品装着機７５を表している。したがって、オペレータＭは、交換順位１位でフィーダ装置５Ａを第六部品装着機７５に装備する、という作業内容を容易に認識することができる。また、フィーダ装置５Ｂに対応する名称略号の「機名：Ｍ3-1」は、第一部品装着機６３を表している。したがって、オペレータＭは、交換順位２位でフィーダ装置５Ｂを第一部品装着機６３に装備する、という作業内容を容易に認識することができる。なお、表示されるフィーダ装置５の個数は、１個または３個以上でもよい。

【0064】

第２実施形態の作業支援システム１によれば、オペレータＭの視野内において、保管庫４から取り出すフィーダ装置（５Ａ、５Ｂ）の位置が表示される。このため、オペレータＭは、取り出すフィーダ装置（５Ａ、５Ｂ）を視覚的に確認でき、確認に時間を要さないため、作業効率は良好となる。加えて、付帯情報が併せて表示されることにより、作業内容等の認識が容易になる。

【0065】

６．実施形態の応用および変形
なお、第１および第２実施形態において、スマートグラス３に代え、撮像部３１が設けられた携帯型表示装置を用いることができる。携帯型表示装置は、スマートフォンやタブレット端末などが該当する。オペレータＭは、携帯型表示装置の撮像部３１を対基板作業ライン９または保管庫４に向けて撮像を行い、視野画像を取得する。表示部３２は、オペレータＭの視野内でなく視野画像内に拡張現実表示を行う。

【0066】

また、部品切れが発生したときにフィーダ装置５を交換するのでなく、テープリールを交換する構成であってもよい。この態様において、保管庫４は、識別コードが貼り付けられた複数のテープリールをそれぞれ保管スロット４１に収納する。そして、表示部３２は、テープリールの交換作業に係る表示を実施するとともに、テープリールに関する付帯情報を表示する。

【0067】

また、配置情報（識別情報および相対位置情報）を用いて視野画像内で対基板作業機の位置を特定することに代え、それぞれの対基板作業機に識別コードを付してもよい。識別コードとして、バーコードや二次元コードなどが適用可能である。かつ、識別コードは、一定の距離範囲で撮像部３１から撮像可能かつ読み取り可能な大きさとされる。これによれば、画像内特定部は、撮像部３１が取得した視野画像内の識別コードを認識して、対基板作業機の位置を特定することができる。

【0068】

さらに、ＧＰＳシステム（位置情報システム）を応用した構成を採用することもできる。つまり、画像内特定部は、ＧＰＳシステムを用いて複数の対基板作業機とオペレータＭの相対位置関係を取得するとともに、視野画像に画像処理を実施し、画像内に前記相対位置関係を見出して、対基板作業機の位置を特定することができる。第１および第２実施形態は、その他にも様々な応用や変形が可能である。

【符号の説明】

【0069】

１：作業支援システム ３：スマートグラス ３１：撮像部 ３２：表示部 ３３：無線通信部 ４：保管庫 ４１：保管スロット ４２：コードリーダ ４４：保管庫識別マーカー ４５：第三テンプレート情報 ５、５Ａ、５Ｂ：フィーダ装置 ５１：識別コード ６：第一ライン ６３：第一部品装着機 ６４：第二部品装着機 ６５：第三部品装着機 ６９：第一識別マーカー ６Ａ：第一テンプレート情報 ７：第二ライン ７３：第四部品装着機 ７４：第五部品装着機 ７５：第六部品装着機 ７９：第二識別マーカー ７Ａ：第二テンプレート情報 ８：ホスト制御装置 ８１：記憶部 ８２：実体特定部 ８３：画像内特定部 ８４：無線通信部 ９：対基板作業ライン Ｍ：オペレータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】