特許 6838175 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6838175

(24)【登録日】2021年2月15日

(45)【発行日】2021年3月3日

(54)【発明の名称】部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法

(51)【国際特許分類】

   H05K 13/08 20060101AFI20210222BHJP

【ＦＩ】

   H05K13/08 Q

   H05K13/08 D

【請求項の数】9

【全頁数】11

(21)【出願番号】特願2019-570235(P2019-570235)

(86)(22)【出願日】2018年2月9日

(86)【国際出願番号】JP2018004555

(87)【国際公開番号】WO2019155593

(87)【国際公開日】20190815

【審査請求日】2020年3月10日

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】100098420

【弁理士】

【氏名又は名称】加古 宗男

(72)【発明者】

【氏名】小野 貴紘

(72)【発明者】

【氏名】鬼頭 秀一郎

(72)【発明者】

【氏名】横井 勇太

【審査官】 松江川 宗

(56)【参考文献】

【文献】 特開２００８−１３０８６５（ＪＰ，Ａ）

【文献】 特開２０１４−０２７０６４（ＪＰ，Ａ）

【文献】 特開２００９−０５４８２１（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０８１７３６（ＷＯ，Ａ１）

【文献】 特開２０１３−１００９９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０５Ｋ １３／００−１３／０８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システムにおいて、
基準となる部品の画像認識に使用する基準学習済みモデルを取得するコンピュータを備え、
前記コンピュータは、前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成する、部品画像認識用学習済みモデル作成システム。

【請求項2】

前記コンピュータによって前記部品の種類毎に作成した前記部品別学習済みモデルは、当該部品の種類毎に用意された画像処理用部品形状データに含まれる、請求項１に記載の部品画像認識用学習済みモデル作成システム。

【請求項3】

前記基準となる部品に対して所定の類似関係がある部品とは、前記基準となる部品とサイズ、色、素材、製造会社、製造ロットのいずれかが違っていても部品の形状が同一又は類似している部品である、請求項１又は２に記載の部品画像認識用学習済みモデル作成システム。

【請求項4】

前記コンピュータは、生産中に部品実装機のカメラ又は検査機のカメラで前記撮像対象を撮像した画像を前記サンプル部品画像として収集する、請求項１乃至３のいずれかに記載の部品画像認識用学習済みモデル作成システム。

【請求項5】

前記基準学習済みモデル及び前記部品別学習済みモデルは、前記吸着ノズルに吸着した部品の吸着姿勢が正常吸着か異常吸着かを判別する学習済みモデルである、請求項１乃至４のいずれかに記載の部品画像認識用学習済みモデル作成システム。

【請求項6】

前記基準学習済みモデル及び前記部品別学習済みモデルは、前記吸着ノズルに吸着した部品の有無を判別する学習済みモデルである、請求項１乃至４のいずれかに記載の部品画像認識用学習済みモデル作成システム。

【請求項7】

前記基準学習済みモデル及び前記部品別学習済みモデルは、前記回路基板に実装した部品の有無を判別する学習済みモデルである、請求項１乃至４のいずれかに記載の部品画像認識用学習済みモデル作成システム。

【請求項8】

前記コンピュータは、作成した前記部品別学習済みモデルをそれを使用する部品実装機又は検査機へ転送する、請求項１乃至７のいずれかに記載の部品画像認識用学習済みモデル作成システム。

【請求項9】

部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成方法において、
基準となる部品の画像認識に使用する基準学習済みモデルを取得する工程と、
前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集する工程と、
前記部品の種類毎に取得した前記サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成する工程と
を含む、部品画像認識用学習済みモデル作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法に関する技術を開示したものである。

【背景技術】

【0002】

部品実装機の吸着ノズルに吸着した部品の吸着姿勢は、正常吸着であれば部品が水平に吸着されるが、何等かの原因で部品が斜め等の異常な姿勢で吸着される異常吸着が発生することがある。このような異常吸着は部品実装不良の原因となるため、従来より、部品実装機には、吸着ノズルに吸着した部品を撮像するカメラを搭載し、そのカメラで撮像した画像を処理することで、部品の吸着姿勢が正常吸着か異常吸着かを判別して、異常吸着と判定した部品を廃棄し、正常吸着と判定した部品のみを回路基板に実装するようにしている。

【0003】

従来の一般的な画像処理は、部品のサイズ等を含む画像処理用部品形状データを用いて正常吸着／異常吸着を判別するようにしているが、吸着ノズルに吸着した部品が微小な部品である場合には、従来の画像処理用部品形状データを用いた画像処理では、正常吸着／異常吸着の判別が困難な場合がある。

【0004】

そこで、特許文献１（特開２００８−１３０８６５号公報）に記載されているように、ニューラルネットワーク等の機械学習手法を用いて、予め正常吸着／異常吸着を判別する学習済みモデルを作成しておき、生産中に部品実装機のカメラで撮像した部品画像を処理して、学習済みモデルを用いて正常吸着／異常吸着を判別するようにしたものがある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−１３０８６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、電気的に同じ仕様の部品であっても、サイズ、色、素材、製造会社、製造ロット等のいずれかが違っている場合があり、その違いによって画像認識結果にも違いが生じる場合がある。しかし、生産開始前に電気的に同じ仕様の部品に対して、サイズ、色、素材、製造会社、製造ロット等によって部品の種類を細分化して、その全ての種類について機械学習手法により学習済みモデルを作成しようとすると、非常に多くの学習済みモデルを作成しなければならず、学習済みモデルの作成作業に多くの手間と時間がかかる。

【0007】

そこで、既に学習済みモデルが作成されている部品と形状等が似ている種類の部品に対しては、取り敢えず、既存の学習済みモデルを使用して正常吸着／異常吸着を判別する場合があるが、その場合、生産中に期待する判別精度が得られない場合がある。この場合には、速やかに当該部品に特化した学習済みモデルを作成する必要があるが、従来手法で学習済みモデルを最初から作成するには、手間と時間がかかる。

【課題を解決するための手段】

【0008】

上記課題を解決するために、部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システムにおいて、基準となる部品の画像認識に使用する基準学習済みモデルを取得するコンピュータを備え、前記コンピュータは、前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成するようにしたものである。

【0009】

要するに、基準学習済みモデルが作成されている基準となる部品に対して所定の類似関係がある部品については、その部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで、当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成するものである。このようにすれば、基準となる部品に対して所定の類似関係がある部品の画像認識に用いる部品別学習済みモデルを基準学習済みモデルから比較的簡単に作成することができる。

【図面の簡単な説明】

【0010】

【図1】図１は一実施例の部品実装ラインの構成例を示すブロック図である。

【図2】図２は正常吸着を説明する正面図である。

【図3】図３は斜め吸着を説明する正面図である。

【図4】図４は部品吸着姿勢判別プログラムの処理の流れを示すフローチャートである。

【図5】図５は部品別学習済みモデル作成プログラムの処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、一実施例を説明する。
まず、図１に基づいて部品実装ライン１０の構成を説明する。

【0012】

部品実装ライン１０は、回路基板１１の搬送方向に沿って、１台又は複数台の部品実装機１２と、半田印刷機１３やフラックス塗布装置（図示せず）等の実装関連機を配列して構成されている。部品実装ライン１０の基板搬出側には、回路基板１１に実装した各部品の実装状態の良否を検査する検査機１４が設置されている。

【0013】

部品実装ライン１０の各部品実装機１２、半田印刷機１３及び検査機１４は、ネットワーク１６を介して生産管理用コンピュータ２１と相互に通信可能に接続され、この生産管理用コンピュータ２１によって部品実装ライン１０の生産が管理される。各部品実装機１２の制御装置１７は、１台又は複数台のコンピュータ（ＣＰＵ）を主体として構成され、生産管理用コンピュータ２１から転送されてくる生産ジョブ（生産プログラム）に従って、実装ヘッド（図示せず）を部品吸着位置→部品撮像位置→部品実装位置の経路で移動させて、フィーダ１９から供給される部品（図２、図３参照）を実装ヘッドの吸着ノズル３１（図２、図３参照）で吸着して当該部品をその下方から部品撮像用カメラ１８で撮像して、その撮像画像を部品実装機１２の制御装置１７の画像処理機能によって処理して、後述する学習済みモデルを用いて当該部品の吸着姿勢が正常吸着（図２参照）か異常吸着（図３参照）かを判別する。その結果、異常吸着と判定すれば当該部品を所定の廃棄ボックス（図示せず）に廃棄し、正常吸着と判定すれば、当該部品の吸着位置Ｘ，Ｙと角度θを計測し、当該部品の位置Ｘ，Ｙや角度θのずれを補正して当該部品を回路基板１１に実装するという動作を繰り返して、当該回路基板１１に所定数の部品を実装する。

【0014】

また、検査機１４の制御装置２０は、１台又は複数台のコンピュータ（ＣＰＵ）を主体として構成され、搬入された回路基板１１上の各部品の実装状態をその上方から検査用カメラ２２で撮像して、その撮像画像を処理して、回路基板１１上の各部品の有無や実装位置ずれ等の実装状態を認識してその認識結果に基づいて各部品の実装不良（検査不合格）の有無を検査する。この際、後述する学習済みモデルを用いて回路基板１１上の各部品の有無を判別するようにしても良い。

【0015】

部品実装ライン１０のネットワーク１６には、後述する基準学習済みモデルや部品別学習済みモデルの作成に用いる教師データ（サンプル部品画像）の収集及び学習を行う学習用コンピュータ２３が接続されている。

【0016】

各部品実装機１２の制御装置１７は、生産中に後述する図４の部品吸着姿勢判別プログラムを実行することで、吸着ノズル３１に吸着した部品の種類に応じた学習済みモデルを選択して、当該部品の撮像画像の処理結果から当該部品の吸着姿勢が正常吸着か異常吸着かを判別すると共に、正常吸着と判別した撮像画像を正常吸着のサンプル部品画像として学習用コンピュータ２３へ転送し、異常吸着と判別した撮像画像を異常吸着のサンプル部品画像として学習用コンピュータ２３へ転送する。

【0017】

一方、学習用コンピュータ２３は、後述する図５の部品別学習済みモデル作成プログラムを実行することで、各部品実装機１２の制御装置１７から転送されてくる正常吸着／異常吸着のサンプル部品画像を部品の種類毎に分類して収集すると共に、検査機１４の検査結果の情報を取得して部品の種類毎に実装不良発生率を算出し、実装不良発生率が判定しきい値を超えた部品が存在する場合には、当該部品について収集した正常吸着／異常吸着のサンプル部品画像を基準学習済みモデルの教師データとして追加して再学習することで当該部品の画像認識に用いる部品別学習済みモデルを作成して、その部品別学習済みモデルを各部品実装機１２の制御装置１７へ転送する。再学習の手法は、ニューラルネットワーク、サポートベクターマシン等の機械学習の手法を用いれば良い。

【0018】

ここで、基準学習済みモデルは、基準となる部品の画像認識に使用する学習済みモデルであり、学習用コンピュータ２３が基準となる部品の正常吸着／異常吸着のサンプル部品画像を教師データとして収集して、ニューラルネットワーク、サポートベクターマシン等の機械学習で学習して基準学習済みモデルを作成しても良いし、外部のコンピュータで作成した基準学習済みモデルを学習用コンピュータ２３に取り込むようにしても良い。また、基準となる部品は、特定の部品に限定されるものではなく、事前に学習済みモデルが作成されている部品を「基準となる部品」とすれば良い。

【0019】

各部品実装機１２の制御装置１７は、学習用コンピュータ２３から転送されてくる基準学習済みモデルと部品別学習済みモデルをそのモデルを用いて画像認識する部品の種類と関連付けて記憶装置（図示せず）に記憶する。その際、部品の種類毎に用意された画像処理用部品形状データに基準学習済みモデル又は部品別学習済みモデルを含ませて記憶する。以下の説明で、単に「学習済みモデル」という場合は、基準学習済みモデルと部品別学習済みモデルの両方を含む。画像処理用部品形状データは、部品のボディ部分のサイズ、バンプやリード等の端子の位置、サイズ、ピッチ、個数等の外観上の特徴を表すデータであり、画像認識した部品の種類を判別したり、部品の吸着位置・角度等を計測するのに使用される。部品の種類毎に作成した学習済みモデルを当該部品の種類毎に用意された画像処理用部品形状データに含ませる処理は、各部品実装機１２の制御装置１７で行っても良いし、学習用コンピュータ２３で行っても良い。或は、学習用コンピュータ２３から学習済みモデルを生産管理用コンピュータ２１へ転送して、この生産管理用コンピュータ２１で学習済みモデルを画像処理用部品形状データに含ませる処理を行って、生産管理用コンピュータ２１から各部品実装機１２の制御装置１７へ学習済みモデルを含む画像処理用部品形状データを転送するようにしても良い。

【0020】

各部品実装機１２の制御装置１７は、部品の種類毎に記憶した学習済みモデルの中に、吸着ノズル３１に吸着した部品の画像認識に用いる学習済みモデルが存在する場合には、当該部品用の学習済みモデルを選択して当該部品の画像認識を行うが、当該部品用の学習済みモデルが存在しない場合には、学習済みモデルが存在する部品の中から、吸着ノズル３１に吸着した部品と所定の類似関係がある部品を「基準となる部品」とみなして、当該基準となる部品用の学習済みモデルを「基準学習済みモデル」として用いて、吸着ノズル３１に吸着した部品の画像認識を行う。この際、基準となる部品用の学習済みモデルが、他の部品用の基準学習済みモデルから作成した部品別学習済みモデルである場合もあり、この場合は、他の部品用の基準学習済みモデルから作成した部品別学習済みモデルが基準学習済みモデルとして用いられることになる。

【0021】

この場合、所定の類似関係がある部品とは、例えば、部品のサイズ、色、素材、製造会社、製造ロット等のいずれかが違っていても部品の形状が同一又は類似している部品である。部品どうしに所定の類似関係があれば、一方の部品用の学習済みモデルを用いて他方の部品の画像認識を行っても、ある程度の精度（一般には生産に必要最低限の精度以上）で画像認識可能である。換言すれば、一方の部品用の学習済みモデルを用いて他方の部品の画像認識をある程度の精度で行うことができれば、これら２つの部品は所定の類似関係があると言える。

【0022】

次に、図４の部品吸着姿勢判別プログラムと図５の部品別学習済みモデル作成プログラムの処理の流れを説明する。

【0023】

［部品吸着姿勢判別プログラム］
図４の部品吸着姿勢判別プログラムは、生産中に各部品実装機１２の吸着ノズル３１に吸着した部品を部品撮像用カメラ１８で撮像するタイミングになる毎に各部品実装機１２の制御装置１７によって実行される。

【0024】

各部品実装機１２の制御装置１７は、本プログラムを起動すると、まず、ステップ１０１で、吸着ノズル３１に吸着した部品を部品撮像用カメラ１８で撮像して、その撮像画像を取り込む。この後、ステップ１０２に進み、記憶装置（図示せず）に部品の種類毎に記憶されている学習済みモデルの中に、撮像した部品用の学習済みモデルが存在するか否かを判定し、撮像した部品用の学習済みモデルが存在する場合には、ステップ１０３に進み、撮像した部品用の学習済みモデルを今回の画像認識に用いる学習済みモデルとして選択する。

【0025】

一方、記憶装置に部品の種類毎に記憶されている学習済みモデルの中に、撮像した部品用の学習済みモデルが存在しない場合には、ステップ１０４に進み、記憶装置に部品の種類毎に記憶されている学習済みモデルの中から、撮像した部品と所定の類似関係がある部品用の学習済みモデルを今回の画像認識に用いる学習済みモデルとして選択する。

【0026】

以上のようにして、今回の画像認識に用いる学習済みモデルを選択した後、ステップ１０５に進み、今回の撮像画像を制御装置１７の画像処理機能によって処理して、選択した学習済みモデルを用いて、撮像した部品の吸着姿勢が正常吸着（図２参照）か異常吸着（図３参照）かを判別する。

【0027】

この後、ステップ１０６に進み、吸着姿勢の判別結果が正常吸着か否かを判定し、正常吸着であれば、ステップ１０７に進み、今回の撮像画像を正常吸着のサンプル部品画像として学習用コンピュータ２３へ転送して本プログラムを終了する。一方、吸着姿勢の判別結果が正常吸着ではなく、異常吸着であれば、ステップ１０８に進み、今回の撮像画像を異常吸着のサンプル部品画像として学習用コンピュータ２３へ転送して本プログラムを終了する。これにより、学習用コンピュータ２３が各部品実装機１２の制御装置１７から正常吸着／異常吸着のサンプル部品画像を収集する。

【0028】

尚、各部品実装機１２の制御装置１７が正常吸着／異常吸着のサンプル部品画像を一時的に収集するようにしても良い。この場合は、各部品実装機１２の制御装置１７がサンプル部品画像を所定数収集する毎（又は所定期間収集する毎）にそれまでに収集したサンプル部品画像を一括して学習用コンピュータ２３へ転送するようにしたり、或は、学習用コンピュータ２３からサンプル部品画像転送要求が出力される毎に各部品実装機１２の制御装置１７がそれまでに収集したサンプル部品画像を一括して学習用コンピュータ２３へ転送するようにしても良い。或は、生産管理用コンピュータ２１が各部品実装機１２の制御装置１７からサンプル部品画像を収集して、この生産管理用コンピュータ２１からサンプル部品画像を学習用コンピュータ２３へ転送するようにしても良い。いずれの方法であっても、学習用コンピュータ２３が最終的にサンプル部品画像を収集することができる。

【0029】

［部品別学習済みモデル作成プログラム］
図５の部品別学習済みモデル作成プログラムは、学習用コンピュータ２３が所定の周期で繰り返し実行する。学習用コンピュータ２３が本プログラムを起動すると、まず、ステップ２０１で、各部品実装機１２の制御装置１７又は生産管理用コンピュータ２１から部品の種類毎に正常吸着／異常吸着のサンプル部品画像を収集する。そして、次のステップ２０２で、検査機１４から検査結果の情報を取得する。

【0030】

この後、ステップ２０３に進み、収集した正常吸着のサンプル部品画像の中から、検査機１４で実装不良と判定された部品を撮像したサンプル部品画像を廃棄する。これは、正常吸着と判定されても、検査機１４で実装不良と判定された部品は、実際には異常吸着である可能性があるためである。尚、このステップ２０３の処理は、各部品実装機１２の制御装置１７又は生産管理用コンピュータ２１で行って、検査機１４で実装不良と判定されなかった部品を撮像した画像のみを正常吸着のサンプル部品画像として学習用コンピュータ２３で収集するようにしても良い。

【0031】

この後、ステップ２０４に進み、検査機１４から取得した検査結果の情報に基づいて部品の種類毎に実装不良発生率を算出する。この後、ステップ２０５に進み、算出した実装不良発生率が所定の判定しきい値を超える部品が存在するか否かを判定し、実装不良発生率が判定しきい値を超える部品が存在しない場合には、選択した学習済みモデルを用いた画像認識の精度が確保されている（部品別学習済みモデルを作成する必要はない）と判断して、本プログラムを終了する。

【0032】

これに対し、実装不良発生率が判定しきい値を超える部品が存在する場合には、当該部品については画像認識の精度が確保されていない（部品別学習済みモデルを作成する必要がある）と判断して、ステップ２０６に進み、当該部品について収集した正常吸着／異常吸着のサンプル部品画像を、当該部品の画像認識に使用した基準学習済みモデルの教師データとして追加して再学習することで、当該部品用の部品別学習済みモデルを作成する。この後、ステップ２０７に進み、作成した部品別学習済みモデルを各部品実装機１２の制御装置１７へ転送して本プログラムを終了する。これにより、各部品実装機１２の制御装置１７は、学習用コンピュータ２３から転送されてきた部品別学習済みモデルを用いて画像認識できる状態となる。

【0033】

以上説明した本実施例によれば、基準学習済みモデルが作成されている基準となる部品に対して所定の類似関係がある部品については、その部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成するようにしたので、基準となる部品に対して所定の類似関係がある部品の画像認識に用いる部品別学習済みモデルを基準学習済みモデルから比較的簡単に作成することができ、学習済みモデルを作成する作業の手間と時間を減らすことができる。

【0034】

しかも、本実施例では、部品の種類毎に作成した部品別学習済みモデルを当該部品の種類毎に用意された画像処理用部品形状データに含ませるようにしたので、この画像処理用部品形状データを使用可能な他の部品実装ラインの部品実装機でも、部品別学習済みモデルを用いた同様の画像認識が可能となり、生産品質の向上、安定につながる利点がある。

【0035】

但し、部品別学習済みモデルを画像処理用部品形状データと関連付けずに単独で管理するようにしても良い。

【0036】

更に、本実施例では、生産中に各部品実装機１２の吸着ノズル３１に吸着した部品を部品撮像用カメラ１８で撮像して、その画像を処理して当該部品の吸着姿勢が正常吸着か異常吸着かを判別して、正常吸着と判別した撮像画像を正常吸着のサンプル部品画像として収集すると共に、異常吸着と判別した撮像画像を異常吸着のサンプル部品画像として収集するようにしたので、生産中に部品撮像用カメラ１８で撮像した画像を正常吸着／異常吸着のサンプル部品画像として収集することができ、サンプル部品画像を収集する作業の手間を省くことができる。

【0037】

但し、サンプル部品画像の収集方法は生産中に収集する方法のみに限定されず、例えば、生産開始前に部品実装機１２の吸着ノズル３１に吸着した正常吸着の部品と異常吸着の部品をそれぞれ部品撮像用カメラ１８で撮像して、その撮像画像を正常吸着／異常吸着のサンプル部品画像として収集するようにしても良い。或は、サンプル部品画像を撮像する専用の撮像装置を用いて、その撮像装置で撮像した正常吸着／異常吸着のサンプル部品画像を収集するようにしても良い。専用の撮像装置を用いる場合は、生産開始前、生産中、生産終了後のいずれであっても正常吸着／異常吸着のサンプル部品画像を収集できる。

【0038】

また、本実施例では、生産中に実装不良発生率が所定の判定しきい値を超える部品が発生した場合に、当該部品について収集した正常吸着／異常吸着のサンプル部品画像を、当該部品の画像認識に使用した基準学習済みモデルの教師データとして追加して再学習することで、当該部品用の部品別学習済みモデルを作成して各部品実装機１２の制御装置１７へ転送するようにしたので、生産中に実装不良発生率が所定の判定しきい値を超える部品が発生する毎に、当該部品の画像認識に用いる部品別学習済みモデルを作成することが可能となり、生産中に当該部品の画像認識の精度を向上させて実装不良発生率を低減させることができる。

【0039】

但し、部品別学習済みモデルの作成は、生産開始前又は生産終了後に行っても良い。或は、正常吸着／異常吸着のサンプル部品画像の収集数が所定数を超えた時点で部品別学習済みモデルを作成するようにしても良い。

【0040】

また、本実施例の学習済みモデルは、吸着ノズル３１に吸着した部品の吸着姿勢が正常吸着か異常吸着かを判別する学習済みモデルであるが、吸着ノズル３１に吸着した部品の有無を判別する学習済みモデルであっても良い。この場合、吸着ノズル３１に吸着した部品有りの状態で部品撮像用カメラ１８で撮像した画像を部品有りのサンプル部品画像として収集すると共に、吸着ノズル３１に吸着した部品無しの状態で部品撮像用カメラ１８で撮像した画像を部品無しのサンプル部品画像として収集し、当該部品の種類毎に分類した部品有り／部品無しのサンプル部品画像を、当該部品の画像認識に用いた基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品用の部品別学習済みモデルを作成するようにすれば良い。この場合も、サンプル部品画像の収集は、専用の撮像装置を用いて行っても良い。

【0041】

また、検査機１４が回路基板１１に実装した部品の有無を判別する学習済みモデルを使用して回路基板１１上の部品の有無を検査する場合がある。この場合、検査機１４の制御装置２０は、搬入された回路基板１１上の各部品の実装状態を検査用カメラ２２で撮像して、その撮像画像を処理して、学習済みモデルを使用して回路基板１１上の各部品の有無を検査して、部品有りと判定した撮像画像を部品有りのサンプル部品画像として収集すると共に、部品無しと判定した撮像画像を部品無しのサンプル部品画像として収集し、当該部品の種類毎に分類した部品有り／部品無しのサンプル部品画像を、当該部品の画像認識に用いた基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品用の部品別学習済みモデルを作成するようにすれば良い。この場合も、サンプル部品画像の収集は、専用の撮像装置を用いて行っても良い。

【0042】

その他、本発明は、部品実装ライン１０の構成を変更したり、図４、図５の各プログラムの処理内容や処理順序を適宜変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。

【符号の説明】

【0043】

１０…部品実装ライン、１１…回路基板、１２…部品実装機、１４…検査機、１７…部品実装機の制御装置、１８…部品撮像用カメラ、１９…フィーダ、２０…検査機の制御装置、２１…生産管理用コンピュータ、２２…検査用カメラ、２３…学習用コンピュータ、３１…吸着ノズル

【図1】

【図2】

【図3】

【図4】

【図5】