特開 2025-1975 情報処理システム、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025001975

(43)【公開日】2025-01-09

(54)【発明の名称】情報処理システム、情報処理方法

(51)【国際特許分類】

   H05K 13/00 20060101AFI20241226BHJP

【ＦＩ】

H05K13/00 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023101808

(22)【出願日】2023-06-21

(71)【出願人】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】110001036

【氏名又は名称】弁理士法人暁合同特許事務所

(72)【発明者】

【氏名】ダニエル シホンビン

【テーマコード（参考）】

5E353

【Ｆターム（参考）】

5E353AA02

5E353CC01

5E353CC03

5E353CC04

5E353CC08

5E353CC12

5E353CC21

5E353CC22

5E353EE02

5E353EE53

5E353GG01

5E353HH11

5E353HH51

5E353JJ21

5E353JJ48

5E353KK02

5E353KK03

5E353KK11

5E353LL02

5E353LL03

5E353LL04

5E353LL06

5E353LL07

5E353QQ01

5E353QQ08

(57)【要約】      （修正有）

【課題】認識エラーに伴う、表面実装機の運転停止時間を短縮する。
【解決手段】情報処理システム６０は、表面実装機１２と、生産管理装置４０と、生産管理装置と無線により通信可能な携帯端末５０と、を備える。表面実装機は、認識エラーの発生により運転停止した場合、エラー情報、画像認識に使用した認識パラメータ及びカメラ情報を、生産管理装置を経由して携帯端末に送信する。携帯端末は、認識パラメータの編集画面を表示すると共に、認識パラメータが編集された場合、編集後の認識パラメータを、生産管理装置を経由して表面実装機に送信し、表面実装機は、編集後の認識パラメータを適用して対象画像を再認識し、編集後の認識パラメータによる認識結果を、生産管理装置を経由して携帯端末に送信する。携帯端末は、編集後の認識パラメータで画像認識に成功した場合、運転を再開する指示を、生産管理装置を経由して、表面実装機に送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理システムであって、
表面実装機と、
前記表面実装機と通信可能な生産管理装置と、
前記生産管理装置と無線により通信可能な携帯端末と、を備え、
前記表面実装機は、認識エラーの発生により運転停止した場合、エラー情報、対象物の画像認識に使用した認識パラメータ及びカメラ情報を、前記生産管理装置を経由して前記携帯端末に送信し、
前記携帯端末は、前記認識パラメータの編集画面を表示すると共に、前記認識パラメータが編集された場合、編集後の認識パラメータを、前記生産管理装置を経由して前記表面実装機に送信し、
前記表面実装機は、編集後の認識パラメータを適用して対象物の画像を再認識し、編集後の認識パラメータによる認識結果を、前記生産管理装置を経由して前記携帯端末に送信し、
前記携帯端末は、編集後の認識パラメータで画像認識に成功した場合、運転を再開する指示を、前記生産管理装置を経由して、前記表面実装機に送信する、情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記生産管理装置は、記憶部を有し、前記認識パラメータの編集履歴を編集履歴情報として前記記憶部に記憶する、情報処理システム。

【請求項3】

請求項２に記載の情報処理システムであって、
前記生産管理装置は、認識パラメータ編集後の生産実績が、認識パラメータ編集前の生産実績よりも悪化した場合、前記携帯端末に警告情報を送信する、情報処理システム。

【請求項4】

請求項１又は請求項２に記載の情報処理システムであって、
前記携帯端末は、認識エラーによる運転停止中に加え、基板の生産開始前又は生産終了後でも、前記認識パラメータの編集が可能である、情報処理システム。

【請求項5】

請求項１又は請求項２に記載の情報処理システムであって、
前記対象物は、基板に搭載される電子部品、基板マーク及び基台マークのうち、少なくともいずれか一つを含む、情報処理システム。

【請求項6】

請求項２に記載の情報処理システムであって、
前記生産管理装置と通信可能に接続されたクラウドサーバを含み、
前記生産管理装置は、前記クラウドサーバに、基板の生産実績を含む生産履歴情報と認識パラメータの編集履歴情報を送信し、
前記クラウドサーバは、前記生産履歴情報と前記認識パラメータの編集履歴情報を教師データとして、前記認識パラメータの編集による生産実績への影響度を判定する学習モデルを生成する、情報処理システム。

【請求項7】

請求項１又は請求項２に記載の情報処理システムであって、
前記表面実装機は、基板に搭載される電子部品の認識エラーにより運転停止した場合、
前記基板のうち、認識エラーの対象となった前記電子部品の搭載予定位置の画像を、運転再開前に、前記生産管理装置を経由して前記携帯端末に送信する、情報処理システム。

【請求項8】

情報処理方法であって、
表面実装機は、認識エラーの発生により運転停止した場合、エラー情報、画像認識に使用した認識パラメータ及びカメラ情報を、生産管理装置を経由して携帯端末に送信すること、
前記携帯端末は、前記認識パラメータの編集画面を表示する共に、前記認識パラメータが編集された場合、編集後の認識パラメータを、前記生産管理装置を経由して前記表面実装機に送信すること、
前記表面実装機は、編集後の認識パラメータを適用して対象画像を再認識し、編集後の認識パラメータによる認識結果を、前記生産管理装置を経由して前記携帯端末に送信すること、
前記携帯端末は、編集後の認識パラメータで画像認識に成功した場合、運転を再開する指示を、前記生産管理装置を経由して、前記表面実装機に送信する、ことを含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、及び情報処理方法に関する。

【背景技術】

【0002】

表面実装機は、基板に搭載する電子部品や基板に付されたマークなどの対象物を、カメラで撮影し、画像認識している。この種の技術を開示する文献として、下記特許文献１がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０１７５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

表面実装機は、対象物の画像認識に失敗する（以下、認識エラー）と、運転停止することがあった。表面実装機の運転を再開するには、復旧に必要なデータの修正作業をオペレータが現場に移動して行うことが必要な場合があり、復旧に時間がかかる場合があった。
本発明は、表面実装機が認識エラーにより停止した場合、復旧に必要なデータの修正作業を遠隔で行い、早期復旧を図ることを課題とする。

【課題を解決するための手段】

【0005】

（１）本発明に係る情報処理システムは、表面実装機と、前記表面実装機と通信可能な生産管理装置と、前記生産管理装置と無線により通信可能な携帯端末と、を備える。
前記表面実装機は、認識エラーの発生により運転停止した場合、エラー情報、対象物の画像認識に使用した認識パラメータ及びカメラ情報を、前記生産管理装置を経由して前記携帯端末に送信する。
前記携帯端末は、前記認識パラメータの編集画面を表示する共に、前記認識パラメータが編集された場合、編集後の認識パラメータを、前記生産管理装置を経由して前記表面実装機に送信する。前記表面実装機は、編集後の認識パラメータを適用して対象物の画像を再認識し、編集後の認識パラメータによる認識結果を、前記生産管理装置を経由して前記携帯端末に送信する。前記携帯端末は、編集後の認識パラメータで画像認識に成功した場合、運転を再開する指示を、前記生産管理装置を経由して、前記表面実装機に送信する。

【0006】

オペレータやサービスマンは、表面実装機から離れた場所にいても、携帯端末に転送されるエラー情報からエラーの発生状況を把握し、画像認識に使用される認識パラメータの編集作業（修正作業）を携帯端末にて行うことが出来る。つまり、認識エラーの対応を遠隔で行うことが出来るので、遠隔対応が出来ない場合に比べて、表面実装機の運転停止時間を短縮することが出来る。

【0007】

（２）上記（１）に記載の情報処理システムにおいて、前記生産管理装置は、記憶部を有し、前記認識パラメータの編集履歴を編集履歴情報として前記記憶部に記憶させてもよい。編集履歴情報を残すことで、認識パラメータのデータ解析を行うことが出来る。

【0008】

（３）上記（１）又は（２）に記載の情報処理システムにおいて、前記生産管理装置は、認識パラメータ編集後の生産実績が、認識パラメータ編集前の生産実績よりも悪化した場合、前記携帯端末に警告情報を送信してもよい。

【0009】

この構成では、認識パラメータの編集により生産実績が悪化したことを通知することにより、認識パラメータを戻すかどうか選択の機会をオペレータに提供することが出来る。編集前の認識パラメータに戻した場合、生産実績を悪化前の元の実績に戻すことが出来る。

【0010】

尚、生産実績とは、基板に部品を実装する工程全般の実績であり、例えば、画像認識処理における認識成功率や、基板に対する部品の搭載位置精度等が含まれる。

【0011】

（４）上記（１）から（３）のいずれかに記載の情報処理システムにおいて、前記携帯端末は、認識エラーに伴う運転停止中に加え、基板の生産開始前又は生産終了後でも、前記認識パラメータの編集が可能でもよい。

【0012】

この構成は、認識エラーで停止している場合に限らず、生産開始前や生産終了後も、携帯端末を利用して、認識パラメータの編集を行うことが出来る。

【0013】

（５）上記（１）から（４）のいずれかに記載の情報処理システムにおいて、前記対象物は、基板に搭載される電子部品、基板マーク及び基台マークのうち、少なくともいずれか一つを含んでいてもよい。

【0014】

（６）上記（２）から（５）のいずれかに記載の情報処理システムは、前記生産管理装置と通信可能に接続されたクラウドサーバを含み、前記生産管理装置は、クラウドサーバに、基板の生産実績を含む生産履歴情報と認識パラメータの編集履歴情報を送信し、前記クラウドサーバは、前記生産履歴情報と前記認識パラメータの編集履歴情報を教師データとして、前記認識パラメータの編集による生産実績への影響度を出力する学習モデルを生成してもよい。

【0015】

このようにすると、オペレータ又はサービスマンは、機械学習の結果（生産実績への影響度）を参考にして、認識パラメータの編集作業を行うことが出来る。

【0016】

（７）上記（１）から（６）のいずれかに記載の情報処理システムにおいて、前記表面実装機は、運転を再開する前に、基板上における部品の搭載位置を撮像した画像を、前記生産管理装置を経由して、前記携帯端末に送信してもよい。

【0017】

この構成では、運転再開にあたり、基板の搭載位置に対して、電子部品が既に搭載されているのか、いないのか、確認することが出来る。

【発明の効果】

【0018】

本発明によれば、認識エラーに伴う、表面実装機の運転停止時間（復旧作業時間）を短縮することが出来る。

【図面の簡単な説明】

【0019】

【図1】生産システム（情報処理システム）の全体図

【図2】表面実装機の平面図

【図3】表面実装機の側面図

【図4】生産システム（情報処理システム）のブロック図

【図5】電子部品の平面図

【図6】認識パラメータの具体例

【図7】フローチャート

【図8】携帯端末の編集画面

【図9】実施形態２に係る情報処理システムのブロック図

【図10】情報処理システムのブロック図

【図11】携帯端末の警告画面

【図12】情報処理システムのブロック図

【図13】学習モデルを示す図

【発明を実施するための形態】

【0020】

＜実施形態１＞
１．生産システム１０
図１は、生産システム１０の全体図である。生産システム１０は、生産ラインＬｖと、生産管理装置４０と、を含む。生産ラインＬｖは、上流側（図１の右側）から順に、印刷機１１、表面実装機１２、検査機１３、リフロー装置１４を備えており、これら各マシン１１、１２、１３、１４が複数のコンベアを介して直列に接続されている。

【0021】

印刷機１１は表面実装機１２の上流側に位置し、表面実装機１２に投入する基板Ｐにはんだペーストを印刷する。

【0022】

表面実装機１２は、印刷機１１の下流側に位置している。表面実装機１２は、電子部品Ｅを基板Ｐの表面に実装する装置である。表面実装機１２の台数は、１台の場合や複数台の場合があり、この実施形態は、３台の表面実装機１２を直列に配置したライン構成になっている。表面実装機１２の構成については後述する。

【0023】

検査機１３は、表面実装機１２の下流側に位置する。検査機１３は、電子部品Ｅが実装された基板Ｐを、リフロー装置１４に投入する前に検査する装置である。

【0024】

リフロー装置１４は、検査機１３の下流に位置する。リフロー装置１４は、検査済みの基板Ｐを加熱し、基板Ｐの表面に塗布されたはんだペーストを溶融することにより、基板Ｐと電子部品Ｅを、はんだ接合する装置である。

【0025】

２．表面実装機
表面実装機１２は、図２に示すように、基台２１、搬送コンベア２２、駆動装置２３、ヘッドユニット２６、テープフィーダＦ１及びトレイフィーダＦ２備えている。

【0026】

以下の説明において、基台２１の長手方向（図２の左右方向）をＸ方向と呼ぶものとし、基台２１の奥行方向（図２の上下方向）をＹ方向、図３の上下方向（実装ヘッド２６Ａの昇降方向）をＺ方向とする。

【0027】

搬送コンベア２２は、基台２１の中央に配置されている。搬送コンベア２２はＸ方向に循環駆動する一対の搬送ベルト２２Ａを備えており、搬送ベルト２２Ａ上の基板Ｐを、Ｘ方向に搬送する。

【0028】

本実施形態では、図２に示す右側が入り口となっており、基板Ｐは、図２に示す右側より搬送コンベア２２を通じて機内へと搬入される。搬入された基板Ｐは、搬送コンベア２２により基台中央の作業位置まで運ばれる。

【0029】

基台２１上には、基板Ｐの作業位置の周囲４箇所に、テープフィーダＦ１、トレイフィーダＦ２が設置されている。

【0030】

テープフィーダＦ１は、部品供給テープ（図略）を供給位置に送り出すことにより、テープ部品Ｅ１を供給する装置である。テープ部品Ｅ１は、例えば、チップコンデンサ等の小型電子部品である。

【0031】

トレイフィーダＦ２は、トレイ部品Ｅ２を収容したトレイを、保管庫から引き出すことによりトレイ部品Ｅ２を供給する装置である。トレイ部品Ｅ２は、例えば、ＩＣ等の中大型電子部品である。

【0032】

駆動装置２３は、図２、図３に示すように、一対のＹビーム２４、Ｘビーム２５、Ｙ軸ボールねじ２４Ａ、Ｙ軸モータ２４Ｂ、Ｘ軸ボールねじ２５Ａ、Ｘ軸モータ２５Ｂから構成される。

【0033】

具体的に説明すると、図２に示すように、一対のＹビーム２４は、基台２１のＸ方向両側に位置している。一対のＹビーム２４は、Ｙ方向に平行に延びており、Ｘビーム２５をＹ方向にスライド可能に支持している。

【0034】

Ｙビーム２４の上面には、Ｙ方向に延びるＹ軸ボールねじ２４Ａと、その軸端部にＹ軸モータ２４Ｂが配置されている。Ｙ軸ボールねじ２４Ａは、Ｙ軸方向の駆動軸であり、Ｘビーム２５の下面に固定されたボールナット（図略）が螺合している。

【0035】

Ｙ軸モータ２４Ｂの駆動により、Ｙ軸ボールねじ２４Ａを軸中心に回転させることで、Ｘビーム２５及びヘッドユニット２６をＹ方向に移動させることが出来る（Ｙ軸サーボ機構）。

【0036】

Ｘビーム２５は、Ｘ方向に長い形状であり、ヘットユニット２６をＸ方向に沿ってスライド可能に支持している。Ｘビーム２５の側面には、Ｘ方向に延びるＸ軸ボールねじ２５Ａと、その軸端部にＸ軸モータ２５Ｂが配置されている。Ｘ軸ボールねじ２５Ａは、Ｘ軸方向の駆動軸であり、ヘッドユニット２６に固定されたボールナット（図略）が螺合している。

【0037】

Ｘ軸モータ２５Ｂの駆動により、Ｘ軸ボールねじ２５Ａを軸中心に回転させることで、Ｘビーム２５に対して、ヘッドユニット２６をＸ方向に移動させることが出来る（Ｘ軸サーボ機構）。

【0038】

以上のことから、Ｘ軸モータ２５Ｂ、Ｙ軸モータ２４Ｂを複合的に制御することで、基台２１上の任意の位置に、ヘッドユニット２６を移動させることが出来る。

【0039】

ヘッドユニット２６は、複数本の実装ヘッド２６Ａを有している。実装ヘッド２６Ａはヘッドユニット２６に対してＸ方向に一列状に配置されている。各実装ヘッド２６Ａは、Ｚ軸モータ２６Ｂの駆動により、上下方向に移動することが出来る（Ｚ軸サーボ機構）。

【0040】

実装ヘッド２６ＡはＺ方向に長いシャフトであり、先端（下端）には、吸着ノズルを有している。吸着ノズルの内圧を、負圧と正圧に切り換えることで、テープ部品Ｅ１、トレイ部品Ｅ２を保持又は解放出来る。

【0041】

このような構成とすることで、Ｘ軸モータ２５Ｂ、Ｙ軸モータ２４Ｂ、Ｚ軸モータ２６Ｂを所定のタイミングで作動させることにより、テープフィーダＦ１により供給されるテープ部品Ｅ１や、トレイフィーダＦ２により供給されるトレイ部品Ｅ２を、実装ヘッド２６Ａにより取り出して、基板Ｐ上に搭載することが出来る。

【0042】

尚、図２に示す符号２７は部品認識カメラ、図３に示す符号２８は基板認識カメラである。部品認識カメラ２７は基台２１上において撮像面を上に向けて固定されており、実装ヘッド２６Ａにより取り出されたテープ部品Ｅ１やトレイ部品Ｅ２の画像（下面画像）を撮像する。

【0043】

基板認識カメラ２８は、ヘッドユニット２６に対して撮像面を下に向けて取り付けられており、基台２１上をヘッドユニット２６と共に移動することが出来る。基板認識カメラ２８は、基板Ｐに設けられた各マークや基台２１上の補正マーク等を撮影する。

【0044】

次に、図４を参照して、表面実装機１２の電気的構成について説明する。表面実装機１２は、演算処理部３０、通信部３１、データ記憶部３２、プログラム記憶部３３、モータ制御部３４、認識部３５、表示部３７、操作部３８等を備えている。

【0045】

演算処理部３０は、ＣＰＵ、ＲＡＭ等を備えている。演算処理部３０は、制御プログラムに従って、モータ制御部３４を制御することで、電子部品Ｅを基板Ｐに実装する。

【0046】

通信部３１は、生産管理装置４０との間で情報の通信を行うためのインターフェースである。通信部３１は、通信ケーブルを介して生産管理装置４０と通信可能に接続されている。

【0047】

データ記憶部３２には、画像認識に使用される認識パラメータが記憶され、プログラム記憶部３３には、画像認識用の認識アルゴリズムが記憶されている。

【0048】

認識部３５は、部品認識カメラ２７及び基板認識カメラ２８と接続されており、これらカメラ２７、２８から出力される画像に基づいて対象物を画像認識する。画像認識は、後に詳しく説明する。

【0049】

表示部３７は、例えばディスプレイである。操作部３８は、ユーザが入力操作をするためのユーザインターフェースである。

【0050】

３．生産管理装置４０の構成
生産管理装置４０は、生産ラインＬｖを管理する装置であり、例えばパーソナルコンピュータである。図４に示すように、生産管理装置４０は、通信部４１と、制御部４２と、記憶部４３と、表示部４４と、操作部４５と、を備える。

【0051】

通信部４１は、表面実装機１２の通信部３１とは、通信ケーブルを介して相互に通信可能に接続されている。表面実装機１２と生産管理装置４０との間では、コマンド（指示）の送受信や、データの送受信を行うことが出来る。また、通信部４１は、後述する携帯端末５０の通信部５１と、無線で通信可能である。そのため、表面実装機１２は、生産管理装置４０を介して、携帯端末５０とも、コマンドやデータの送受信が可能である。

【0052】

制御部４２は、ＣＰＵ、ＲＡＭ等を備えている。記憶部４３は、表面実装機１２で生産する基板Ｐの情報や、基板Ｐに搭載する電子部品Ｅの情報が記憶されている。

【0053】

表示部４４は、例えばディスプレイである。操作部４５は、ユーザが入力操作をするためのユーザインターフェースである。

【0054】

４．画像認識処理
表面実装機１２は、基台２１上に搬送された基板Ｐの位置確認や、基板Ｐに搭載する電子部品Ｅを確認するため、基板Ｐの位置マークや実装ヘッド２６Ａに吸着保持された電子部品Ｅを、部品認識カメラ２７や基板認識カメラ２８により撮影して画像認識している。

【0055】

例えば、リード付きの電子部品Ｅ２を画像認識する場合、図５Ａに示すように、電子部品Ｅ２を撮影した画像から、電子部品Ｅ２のリードＲを特定し、リードＲの本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰを検出する。

【0056】

そして、リードＲの検査結果（リード本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰ）を、比較データと照合することにより、電子部品Ｅ２を認識する。比較データは、リードＲの検査対象部位（リード本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰ）の設計データである。

【0057】

つまり、リードＲの検査結果が比較データと一致していれば、リード付きの電子部品Ｅ２と認識することが出来る。そして、この実施形態では、電子部品Ｅ２の認識に成功した場合、図５Ｂに示すように、電子部品Ｅ２の傾きや中心位置Ｏのずれ量を認識し、基板Ｐに対する電子部品Ｅの搭載位置を補正することにより、電子部品Ｅの搭載精度を高めている。

【0058】

このように、本実施形態では、対象物（リード付き電子部品）を撮影した画像から、検査対象部位（リード本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰ）を検出し、その結果を、比較データと照合することにより、対象物（リード付き電子部品）を画像認識している。

【0059】

認識パラメータは、画像認識に使用されるパラメータであり、上記したように、リードＲの比較データに加え、画像認識に使用される認識アルゴリズムや、対象物の撮影する際の照明条件や画像から検査対象部位を抽出する条件等に関する情報が含まれている。

【0060】

この実施形態では、図６Ａに示すように、認識パラメータを、第１パラメータ及び第２パラメータの２種類のパラメータから構成している。

【0061】

＜第１パラメータ＞
（１）画像認識に使用される認識アルゴリズムの種類
（２）電子部品Ｅ１、Ｅ２の形状に関するデータ（外形寸法、部品厚さ等）
（３）検査対象部位の比較データ（リード本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰ）

【0062】

＜第２パラメータ＞
（１）画像撮像時の照明条件
（２）撮影した画像から検査対象部位（リードＲ）を抽出する条件（検出範囲、しきい値）
検出範囲は、認識対象として、画像から切り出す範囲である。しきい値は、画像から認識対象の輪郭や外形を抽出する際の輝度のしきい値である。

【0063】

これら認識パラメータの初期値は、表面実装機１２の運転開始時に、生産管理装置４０から表面実装機１２に送信され、表面実装機１２のデータ記憶部３２に記憶されるようになっている。尚、この実施形態では、第１パラメータとして、（１）～（３）の３例と、第２パラメータとして、（１）～（２）の２例を示したが、これらはあくまでも例示であり、例示した中から任意に選択される１又は複数を認識パラメータとして使用することが出来る。また、例示したもの以外を、認識パラメータに含めることも出来る。

【0064】

５．表面実装機１２の復旧を補助する情報処理システム
画像認識の結果、リードＲの検査結果が比較データと一致していない場合や、画像からリードＲの抽出に失敗した場合、認識エラーとなる。

【0065】

認識エラーが発生すると、表面実装機１２が運転停止する場合があり、運転を再開するには、オペレータやサービスマンが現場に移動して復旧に必要なデータの修正作業（認識パラメータの編集作業）を行うことが必要なケースがある。このような事情から、表面実装機１２の復旧に、時間がかかることが課題となっていた。

【0066】

情報処理システム６０は、認識エラーにより運転停止した表面実装機１２の復旧を補助するシステムであり、図１に示すように、表面実装機１２及び生産管理装置４０に加え、携帯端末５０（図１、図４）を備えた構成になっている。

【0067】

携帯端末５０は、オペレータが携帯可能な情報通信端末である。携帯端末５０は、図４に示すように、通信部５１、制御部５２、記憶部５３、表示部５４及び操作部５７を備えている。

【0068】

通信部５１は、生産管理装置４０の通信部４１と、無線で通信可能に接続されている。上述したように、生産管理装置４０と表面実装機１２も通信可能に接続されているため、携帯端末５０が表面実装機１２から離れた場所にあっても、生産管理装置４０を経由して両者の間で通信が可能である。

【0069】

この実施形態では、携帯端末５０としてタッチパネルを備えたスマートフォンを例示して説明する。タッチパネルは、表示部５４と、携帯端末５０を操作する操作部５７の両方の機能を備えている。

【0070】

制御部５２は、ＣＰＵ、ＲＡＭ等を備えている。記憶部５３には、認識パラメータを編集するための編集アプリケーションソフトが記憶されている。制御部５２は、編集アプリケーションソフトの実行により、図８の編集画面を表示し、認識パラメータの編集作業を可能とする。

【0071】

６．生産ラインの遠隔復旧処理
表面実装機１２は、基板Ｐの生産中に認識エラーが発生した場合、運転を停止する。運転停止後、図７に示す遠隔復旧処理が開始される。

【0072】

遠隔復旧処理の開始後、表面実装機１２はエラー情報を生成する（Ｓ１１）。エラー情報は、認識エラーとなった画像認識結果の情報であり、少なくとも、認識結果情報及びエラー画像を含む。この実施態様では、図６Ｂに示すように、認識失敗情報、認識結果情報及びエラー画像Ｉｅの３つの情報をエラー情報としている。尚、図６Ｂでは、リード付き電子部品に代えて、チップ部品のエラー画像を載せている。

【0073】

認識失敗情報は、エラーの種類を示すエラー番号や、認識対象の電子部品を保持していた実装ヘッド２６Ａに関する情報である。

【0074】

認識結果情報は、認識対象がリード付電子部品Ｅ２の場合、リード本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰのデータである。

【0075】

表面実装機１２は、エラー情報を生成すると生産管理装置４０を経由して、（１）～（３）のデータを携帯端末５０に送信する（Ｓ１１、Ｓ２１）。

【0076】

（１）エラー情報
（２）認識エラー発生時、画像認識に使用していた認識パラメータ
（３）画像認識に使用したカメラ情報

【0077】

カメラ情報（図６Ｃ参照）は、画像認識に使用したカメラの種類とカメラの調整情報が含まれる。カメラの種類は、型番などカメラを特定するための情報やスキャン、マルチ、固定など撮影方式を特定するための情報等である。また、カメラ情報には、ＦＩＤ（基板のフィデユーシャルマーク撮影用）、コプラ（ボール部品やＩＣ部品のコプラナリティチェック）など、撮影用途を特定するための情報を含めることも出来る。カメラの調整情報は、カメラの拡大倍率や取り付け角度の情報である。この実施形態では、設備稼働前やメンテナンス時に、テスト撮影等を行って、所望の画像が得られるように、カメラ２７、２８の拡大倍率と取り付け角度を調整し、その時のデータを表面実装機１２に送信する。尚、これらのデータ（カメラの種類やカメラ調整情報を含むカメラ情報）は、データ記憶部３２に保管し、必要に応じて、読み出すとよい。

【0078】

Ｓ１１、Ｓ２１の処理は、本願の請求項１に記載の「前記表面実装機は、認識エラーの発生により運転停止した場合、エラー情報、画像認識に使用した認識パラメータ及びカメラ情報を、前記生産管理装置を経由して前記携帯端末に送信し、」を開示する。

【0079】

携帯端末５０は、生産管理装置４０から、エラー情報と認識パラメータを受信すると（Ｓ３１）、表示部５４にエラー情報を表示し、記憶部５３に認識パラメータを記憶する。その後、オペレータやサービスマンの入力操作を待つ待機状態となる。

【0080】

オペレータやサービスマンは、認識パラメータの編集により復旧が見込める場合、携帯端末５０に登録されている編集用アプリケーションソフト（以下、編集用アプリ）を実行する。

【0081】

編集用アプリの実行により、携帯端末５０の表示部に、認識パラメータの編集用画面が表示される。この実施形態では、図８に示す表示画面が表示される。

【0082】

オペレータやサービスマンは、携帯端末５０の編集用画面から、エラー発生時、画像認識に使用されていた認識パラメータを編集することが出来る（Ｓ３２：ＹＥＳ、Ｓ３３）。

【0083】

そして、認識パラメータの編集後、携帯端末５０は編集後の認識パラメータを、生産管理装置４０を経由して、表面実装機１２に送信する（Ｓ３４、Ｓ２４）。

【0084】

Ｓ３３、Ｓ３４、Ｓ２４の処理は、本願の請求項１に記載の、「前記携帯端末は、前記認識パラメータの編集画面を表示する共に、前記認識パラメータが編集された場合、編集後の認識パラメータを、前記生産管理装置を経由して前記表面実装機に送信し、」を開示する。

【0085】

表面実装機１２は、編集後の認識パラメータを受信すると、受信した編集後の認識パラメータを適用して、認識対象画像を、再び、画像認識する（Ｓ１４）。

【0086】

編集後の認識パラメータによる画像認識結果は、生産管理装置４０を経由して、表面実装機１２から携帯端末５０に送信される（Ｓ２５）。

【0087】

Ｓ１４、Ｓ２５の処理は、本願の請求項１に記載の、「前記表面実装機は、編集後の認識パラメータを適用して対象画像を再認識し、編集後の認識パラメータによる認識結果を、前記生産管理装置を経由して前記携帯端末に送信し、」を開示する。

【0088】

携帯端末５０は認識結果を受信すると（Ｓ３５）、表示部５４に対して認識結果を表示する。オペレータ又はサービスマンは、編集後の認識パラメータにより、画像認識に成功している場合、認識パラメータの編集成功と判断する（Ｓ３６：ＹＥＳ）。

【0089】

また、認識パラメータの編集は、必ずしも１回目で成功する必要はなく、１回目の編集で成功しなくても、編集を繰り返した結果、認識パラメータの編集に成功してもよい。

【0090】

そして、１回又は複数回の編集により、認識パラメータの編集に成功した場合（Ｓ３６：ＹＥＳ）、サービスマン又はオペレータは、携帯端末５０を操作して、運転を再開する旨の指示を、生産管理装置４０を経由して表面実装機１２に送信する（Ｓ２６）。

【0091】

表面実装機１２は、携帯端末５０から運転再開の指示を受けると、運転を再開し、運転再開後は、編集後の認識パラメータを使用して画像認識する（Ｓ１５）。これにより、遠隔復旧処理は終了する。

【0092】

Ｓ３６、Ｓ２６の処理は、本願の請求項１の、「前記携帯端末は、編集後の認識パラメータで画像認識に成功した場合、運転を再開する指示を、前記生産管理装置を経由して、前記表面実装機に送信する、」を開示する。

【0093】

尚、認識パラメータを編集しても、運転復旧が見込めない場合、Ｓ３２、Ｓ３７でいずれもＮＯ判定となる。この場合、携帯端末５０から表面実装機１２に対して運転を停止する運転停止コマンドが送信される。

【0094】

また、認識パラメータを編集しなくても、運転復旧が見込める場合、Ｓ３２でＮＯ、Ｓ３７でＹＥＳ判定となる。この場合、携帯端末５０から表面実装機１２に対して運転を再開する運転再開コマンドが送信される。

【0095】

７．認識パラメータの編集画面
図８は、携帯端末５０に表示される認識パラメータの編集用画面の一態様である。編集画面は、画面の上半分を占める第１表示領域５５と、画面の下半分を占める第２表示領域５６から構成されている。

【0096】

第１表示領域５５は、表面実装機１２から送信された電子部品Ｅ２のエラー画像Ｉｅを表示する領域である。携帯端末５０に対するパネル操作によって、第１表示領域５５に表示されるエラー画像Ｉｅを移動することが出来る。また、エラー画像Ｉｅを拡大縮小することも可能である。

【0097】

編集用アプリは、形状描画機能を備えており、表面実装機１２から転送された認識パラメータに基づいて、電子部品Ｅ２の形状モデルを自動的に描画する。形状の描画は、認識パラメータに含まれるカメラ角度や拡大倍率に基づいて、実寸（実際のスケール）で描画することが出来る。

【0098】

第１表示領域５５には、操作用に第１ボタン５５Ａと第２ボタン５５Ｂが表示される。第１ボタン５５Ａは、表示切替用であり、ボタン操作により、図８に示すように、第１表示領域５５に形状モデルＩｍをエラー画像Ｉｅと重ねて表示したり、形状モデルＩｍを非表示として、エラー画像Ｉｅのみ表示したりすることが出来る。

【0099】

第２ボタン５５Ｂは、計測用のボタンである。第２ボタン５５Ｂのボタン操作により、編集用アプリにおいて、計測用プログラムが起動し、第１表示領域５５内の任意の２点を指定することにより、任意の２点間の距離を計測することが出来る。

【0100】

この寸法計測機能を利用して、エラー画像Ｉｅから、認識対象となった電子部品Ｅ２の外形やリードＲの各寸法を計測することが出来る。認識パラメータに含まれるカメラ角度や拡大倍率に基づいて、電子部品Ｅ２の外形やリードＲの各寸法を実寸（実際のスケール）で計測することが出来る。

【0101】

第２表示領域５６は、表面実装機１２から転送された認識パラメータや認識結果を表示する領域であり、第２表示領域５６には、第３ボタン５６Ａ、第４ボタン５６Ｂ、データ表示枠５６Ｃが表示される。

【0102】

第３ボタン５６Ａの操作により、データ表示枠５６Ｃに対して、認識パラメータが表示され、第４ボタン５６Ｂの操作により、データ表示枠５６Ｃに対して、認識結果が表示される。この実施形態では、認識結果として、リードＲのリード本数、リード長Ｌ、リード幅ｄ、リード間ピッチＰのデータが表示される。

【0103】

そして、データ表示枠５６Ｃに対して認識パラメータを表示している時には、携帯端末５０に対するパネル操作により、表示された認識パラメータを編集することが出来る。

【0104】

ここで、編集用画面には、以下の情報が表示可能であることから、認識エラーの発生原因の特定やその解消策の検討に、これらの情報を役立てることで、認識パラメータの編集作業の助けとすることが出来る。

【0105】

（１）エラー画像
（２）形状モデル
（３）認識結果
（４）認識パラメータ

【0106】

＜認識パラメータの編集事例＞
例えば、エラー画像Ｉｅにおいて、リードＲの先端部分に欠けが発生しており、リード長Ｌの不一致により、認識エラーが発生している場合、リードＲを含む電子部品Ｅ２の全体が検出範囲に含まれるように、画像の検出範囲を修正することが考えられる。

【0107】

そして、認識パラメータの編集作業終了後、オペレータ又はサービスマンは、第２表示領域５６の下部に表示される認識実行ボタン５６Ｄを操作することで、携帯端末５０から表面実装機１２に対して、生産管理装置４０を経由して、編集後の認識パラメータの送信と、編集後の認識パラメータによる再認識の実行を指示することが出来る。

【0108】

８．効果説明
本発明によれば、認識エラーの発生により運転停止した表面実装機１２の復旧作業（認識パラメータの編集作業）を、携帯端末５０を利用して遠隔で行うことで出来る。これにより、表面実装機１２の復旧作業（認識パラメータの編集作業）を現場でしか行えない場合と比較して、表面実装機１２の運転停止時間を短縮して、早期に運転再開出来る。

【0109】

＜実施形態２＞
図９は、実施形態２に係る情報処理システム１６０のブロック図である。情報処理システム１６０は、編集後の認識パラメータで画像認識した結果、編集前に比べて生産実績が悪化した場合、携帯端末５０が警告情報を出力して生産実績の悪化をオペレータに報知する点が相違している。

【0110】

具体的に説明すると、図９に示すように、生産管理装置４０の記憶部４３には、生産履歴情報と編集履歴情報が記憶される。

【0111】

＜生産履歴情報＞
生産履歴情報は、基板Ｐの生産結果に関する情報の履歴であり、図１０に示すように、装置名、基板データ、部品番号、搭載番号及び生産実績を含む。生産実績は、認識成功率及び搭載精度である。

【0112】

認識成功率は、画像認識の試行回数に対する、認識の成功回数の割合である。搭載精度は、基板Ｐに対する電子部品Ｅの搭載位置と設計上の搭載位置とのずれ量のばらつきを標準偏差（３σ）で表した値である。生産履歴情報は、認識パラメータの編集の有無にかかわらず、表面実装機１２又は検査機１３から生産管理装置４０に転送され、生産管理装置４０に対して累積的に記憶される。

【0113】

＜編集履歴情報＞
編集履歴情報は、携帯端末５０による認識パラメータの編集履歴を記録した情報であり、例えば、図１０（Ｂ）に示すように、編集した日時や装置名、基板種類、搭載する電子部品Ｅ１、Ｅ２の部品番号、編集作業を行ったオペレータやサービスマンのユーザ名のほか、認識パラメータの変更点を含む。

【0114】

認識パラメータの変更点には、編集対象となった認識パラメータの種類や、編集前後のパラメータ値が含まれる。

【0115】

編集履歴情報は、携帯端末５０にて認識パラメータが編集され、認識に成功した認識パラメータが、携帯端末５０から表面実装機１２に、生産管理装置４０を経由して転送される度に、生産管理装置４０に対して、累積的に記憶される。

【0116】

生産管理装置４０は、認識パラメータが編集された後、編集後の認識パラメータを適用して所定期間が経過すると、編集前と編集後の生産実績を比較し、編集後の生産実績が、編集前よりも悪化した場合、携帯端末５０に対し、警告情報を無線送信する。

【0117】

例えば、認識前後の認識成功率を比較して、認識後の認識成功率が、認識前の認識成功率よりも悪化している場合、携帯端末５０に対し、警告情報を無線送信する。

【0118】

携帯端末５０は、警告情報を受信すると、図１１に示すように、表示部５４に警告情報を表示し、認識パラメータの編集後、生産実績が悪化したことをオペレータに報知する。

【0119】

携帯端末５０は、表示部５４への警告表示とともに、又は警告情報の表示に代えて、アラーム音などの音でオペレータに報知してもよい。

【0120】

警告情報の送信後、オペレータが認識パラメータを編集前に戻すと判断した場合、オペレータは、携帯端末５０を介して、認識パラメータを編集前に変更する指示を、生産管理装置４０に送信する。

【0121】

生産管理装置４０は携帯端末５０から認識パラメータの変更指示を受けると、記憶部４３の編集履歴情報から編集前の認識パラメータを読み出して表面実装機１２に転送する。

【0122】

その後、表面実装機１２は、基板Ｐの生産中、画像認識を行う際には、編集前の認識パラメータを適用する。

【0123】

実施形態２の構成は、認識パラメータの編集により生産実績が悪化した場合、編集パラメータを編集前に戻すことで、生産実績の悪化を抑制することが出来る。

【0124】

＜実施形態３＞
図１２は、実施形態３に係る情報処理システム２６０のブロック図である。情報処理システム２６０は、実施形態２に係る情報処理システム２６０に対して、クラウドサーバ７０に生産実績を含む生産履歴情報と認識パラメータの編集履歴情報を蓄積し、生産実績と認識パラメータの関係を機械学習する点が相違する。

【0125】

クラウドサーバ７０は、有線又は無線のネットワークを介して生産管理装置４０と通信可能に接続されている。生産管理装置４０からクラウドサーバ７０に対して、表面実装機１２の生産履歴情報と、認識パラメータの編集履歴情報が送信される。

【0126】

クラウドサーバ７０は、基板Ｐの生産履歴情報と認識パラメータの編集履歴情報を教師データとして、認識パラメータの編集による生産実績への影響度を判定する学習モデルＭを生成する（図１３）。影響度は、例えば、「生産実績が１０％向上する」や、「１０％低下する」等である。学習モデルＭは、例えば、ニューラルネットワークを利用した深層学習による学習モデルを例示することが出来る。

【0127】

上記した機械学習の結果は、以下の方法で、活用することが出来る。
オペレータが認識パラメータを編集する際、認識パラメータの編集データを携帯端末５０から生産管理装置４０を経由してクラウドサーバ７０に送り、生産実績への影響度を、学習モデルＭを用いて評価する。そして、学習モデルＭによる評価結果を、生産管理装置４０を経由して、携帯端末５０に転送し、オペレータやサービスマンに提示する（表示画面に表示する）ことにより、認識パラメータの編集作業に役立てることが出来る。

【0128】

＜他の実施形態＞
（１）上記実施形態では、認識エラーに伴う運転停止中に、認識パラメータを編集した例を説明した。認識パラメータの編集は、認識エラーの有無にかかわらず、行ってもよい。例えば、基板Ｐの生産開始前や生産終了後など、表面実装機１２が非稼働で、基板Ｐの生産を行っていない期間に、行ってもよい。例えば、生産開始前に認識パラメータを編集する場合、携帯端末５０から生産管理装置４０を介して表面実装機１２に指令を送ることにより、生産に使用予定の認識パラメータを表面実装機１２から携帯端末５０に送信し、送信された認識パラメータを編集する構成が考えられる。同様に、生産開始後に認識パラメータを編集する場合、携帯端末５０から生産管理装置４０を介して表面実装機１２に指令を送ることにより、生産に使用した認識パラメータを表面実装機１２から携帯端末５０に送信し、送信された認識パラメータを編集する構成が考えられる。この場合、カメラ情報は、認識パラメータと共に携帯端末５０に送信してもよいし、送信を省いてよい。また、認識パラメータの読み出し先は、表面実装機１２に限らず、生産管理装置４０から行う形態も考えられる。

【0129】

（２）上記実施形態では、携帯端末５０として、タッチパネルで操作可能なスマートフォンを例示した。携帯端末５０は、スマートフォンに限らず、例えば、ノートパソコンなど、オペレータが持ち運び可能な情報通信端末でもよい。

【0130】

（３）上記実施形態では、認識パラメータのうち、画像の検出範囲を、編集した例を示したが、他の認識パラメータを編集してもよい。例えば、輪郭を抽出する際の輝度のしきい値を編集してもよいし、リード長やリード幅を編集してもよい。

【0131】

（４）上記実施形態では、画像認識対象を電子部品Ｅとしたが、画像認識対象は、電子部品Ｅに限らず、基板認識カメラ２８で撮影した基板マークや基台マークでもよい。基板マークは、基板上面に付される位置確認用のフィデューシャルマーク８１（図２参照）や基板の良否を識別するためのバットマークである。また、基台マークは、基台上に設置される位置補正用の補正マーク８２（図２参照）である。

【0132】

（５）上記実施形態では、画像認識対象を、リード付き電子部品としたが、画像認識対象物は、リード付き電子部品に限らず、チップコンデンサ等のチップ部品やボール部品でもよい。チップ部品の場合、電極の形状、ボール部品の場合、ボールの形状に基づいて、当該部品を画像認識することが考えられる。

【0133】

（６）上記実施形態では、編集後の認識パラメータで画像認識に成功した場合、携帯端末５０から生産管理装置４０を介して表面実装機１２に対して運転再開の指示を行った。画像認識に成功した場合、携帯端末５０に、認識エラーの対象となった電子部品Ｅの搭載予定位置の基板画像を表示し、基板Ｐの搭載予定位置に電子部品Ｅが搭載されていない事を確認した上で、表面実装機１２に対して、運転再開の指示を送るようにしてもよい。尚、搭載予定位置の基板画像は、エラー画像Ｉｅと一緒に、表面実装機１２から生産管理装置４０を経由して携帯端末５０に送ってもよいし、別のタイミング（例えば、編集後の認識パラメータで認識に成功した時）で、携帯端末５０から送信指示を送り、生産管理装置４０を経由して表面実装機１２から転送するようにしてもよい。

【0134】

（７）実施形態１では、認識エラーの発生時に、表面実装機１２から携帯端末５０（生産管理装置４０を経由）に対して、エラー情報、画像認識に使用した認識パラメータ及びカメラ情報の３つの情報を送信したが、認識エラー発生時に、エラー情報及び認識パラメータのみ送信し、カメラ情報の送信は省略してもよい。また、カメラ情報を送信する場合、カメラ種類とカメラ調整情報の双方を送ってもよいし、カメラ種類とカメラ調整情報のうち、いずれか一方のみ送信してもよい。つまり、カメラ情報のみ送ってもよいし、カメラ調整情報のみ送ってもよい。

【符号の説明】

【0135】

１０： 生産システム
１２： 表面実装機
２６： ヘッドユニット
２６Ａ： 実装ヘッド
２７： 部品認識カメラ
２８： 基板認識カメラ
４０： 生産管理装置
５０： 携帯端末
６０： 情報処理システム
７０： クラウドサーバ
Ｌｖ： 生産ライン
Ｐ： 基板
Ｅ１、Ｅ２： 電子部品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】