特許 7596803 部品検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】部品検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241203BHJP

   G01N 21/956 20060101ALI20241203BHJP

   G06T 7/00 20170101ALI20241203BHJP

【ＦＩ】

G01N21/88 Z

G01N21/956 B

G06T7/00 610

G06T7/00 350B

【請求項の数】 14

(21)【出願番号】P 2021004036

(22)【出願日】2021-01-14

(65)【公開番号】P2022108855

(43)【公開日】2022-07-27

【審査請求日】2023-11-09

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】望月 葵

(72)【発明者】

【氏名】藤井 心平

(72)【発明者】

【氏名】杉田 信治

【審査官】井上 徹

(56)【参考文献】

【文献】特開２０１８－０７７１４７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８８０４０（ＷＯ，Ａ１）

【文献】特開２０１７－２１１２５９（ＪＰ，Ａ）

【文献】特開２０１１－２１４９０３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７３４７８（ＷＯ，Ａ１）

【文献】特開２０１９－１０６１１２（ＪＰ，Ａ）

【文献】特開２０１７－２２４０２４（ＪＰ，Ａ）

【文献】韓国公開特許第２０２１－００８１０７７（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｎ ２０／００－２０／２０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

実際に撮影された良品画像、および実際に撮影された不良品画像を記憶する記憶手段と、
機械学習モデルを用いて不良品画像を生成する生成手段と、
部品検査のためのパラメータをユーザが設定可能な設定手段と、
前記パラメータを用いて、前記記憶手段に記憶されている良品画像および不良品画像と前記生成手段によって生成された不良品画像に対する検査を行い、前記パラメータを調整するための支援情報として検査結果を出力する出力手段と、
を備え、
前記出力手段は、前記検査結果として、検査対象の画像と、当該検査対象の不良品画像が前記生成手段によって生成されたものか実際に撮影されたものかを示す情報と、前記パラメータを用いて良品と判定されるか不良品と判定されるかを示す情報と、を出力する、部品検査装置。

【請求項2】

前記生成手段は、前記記憶手段に記憶された良品画像の少なくともいずれかに対して、機械学習モデルを適用して、不良品画像を生成する、
請求項１に記載の部品検査装置。

【請求項3】

前記機械学習モデルは、深層生成モデルである、
請求項１または２に記載の部品検査装置。

【請求項4】

前記生成手段で生成する不良品画像の不良の種類をユーザが指定可能な指定手段をさらに備え、
前記生成手段は、前記指定手段で指定された種類の不良を有する不良品画像を生成する、
請求項１から３のいずれか１項に記載の部品検査装置。

【請求項5】

前記指定手段は、不良を表す複数の特徴量をユーザが指定可能な指定画面を表示する、
請求項４に記載の部品検査装置。

【請求項6】

前記指定画面は、複数の特徴量からなる特徴空間内の領域をユーザが指定可能に構成される、
請求項５に記載の部品検査装置。

【請求項7】

前記特徴空間内の領域の少なくともいずれかに、当該特徴空間に対応する不良を表す画像が表示される、
請求項６に記載の部品検査装置。

【請求項8】

前記指定画面は、複数の特徴量の値をそれぞれ個別にユーザが指定可能に構成される、
請求項５に記載の部品検査装置。

【請求項9】

生成すべき不良品画像の種類を提案する提案手段をさらに備える、
請求項１から８のいずれか１項に記載の部品検査装置。

【請求項10】

前記提案手段は、
前記生成手段によって複数の種類の不良のそれぞれについて、不良品画像を生成し、
生成された不良品画像を複数のクラスタに分類するクラスタリング処理を施し、
前記記憶手段に記憶されている不良品画像のそれぞれがどのクラスタに属するかを判断し、
存在する不良品画像が所定数以下のクラスタに対応する不良を、生成すべき不良品画像の種類として提案する、
請求項９に記載の部品検査装置。

【請求項11】

少なくとも良品画像を記憶する記憶手段と、
生成する不良品画像の不良の種類をユーザが指定可能な指定手段と、
前記指定手段で指定された種類の不良を有する不良品画像を、機械学習モデルを用いて生成する生成手段と、
部品検査のためのパラメータをユーザが設定可能な設定手段と、
前記パラメータを用いて、前記記憶手段に記憶されている良品画像と前記生成手段によって生成された不良品画像に対する検査を行い、検査結果を前記パラメータを調整するための支援情報として出力する出力手段と、
生成すべき不良品画像の種類を提案する提案手段と、
を備え
前記提案手段は、
前記指定手段によって指定可能な複数の種類の不良のそれぞれについての不良品画像を複数のクラスタに分類するクラスタリング処理を施し、
前記記憶手段に記憶されている不良品画像のそれぞれがどのクラスタに属するかを判断し、
存在する不良品画像が所定数以下のクラスタに対応する種類の不良を、生成すべき不良品画像の種類として提案する、
部品検査装置。

【請求項12】

部品検査装置において部品検査のパラメータ設定を支援する支援方法であって、
記憶されている良品画像に対して機械学習モデルを用いて不良品画像を生成する生成ステップと、
部品検査のためのパラメータの設定をユーザから受け付ける設定ステップと、
前記パラメータを用いて、記憶されている実際に撮影された良品画像および実際に撮影された不良品画像と生成された不良品画像に対する検査を行い、検査結果を前記パラメータを調整するための支援情報として出力する出力ステップと、
を含み、
前記出力ステップでは、前記検査結果として、検査対象の画像と、当該検査対象の不良品画像が前記生成ステップにおいて生成されたものか実際に撮影されたものかを示す情報と、前記パラメータを用いて良品と判定されるか不良品と判定されるかを示す情報と、を出力する、
支援方法。

【請求項13】

部品検査装置において部品検査のパラメータ設定を支援する支援方法であって、
生成する不良品画像の不良の種類の指定をユーザから受け付けるステップと、
指定された不良を有する不良品画像を、記憶されている良品画像に対して機械学習モデルを用いることで生成する生成ステップと、
部品検査のためのパラメータの設定をユーザから受け付ける設定ステップと、
前記パラメータを用いて、記憶されている良品画像と生成された不良品画像に対する検査を行い、検査結果を前記パラメータを調整するための支援情報として出力する出力ステップと、
生成すべき不良品画像の種類を提案する提案ステップと、
を含み、
前記提案ステップでは、
指定可能な複数の種類の不良のそれぞれについて生成された不良品画像を複数のクラスタに分類するクラスタリング処理を施し、
前記記憶されている不良品画像のそれぞれがどのクラスタに属するかを判断し、
存在する不良品画像が所定数以下のクラスタに対応する種類の不良を、生成すべき不良品画像の種類として提案する、
支援方法。

【請求項14】

コンピュータに、請求項１２または１３に記載の方法の各ステップを実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、部品検査装置に関する。

【背景技術】

【0002】

プリント基板にはんだ付けされた実装部品の実装状態の良否を検査するために部品検査装置が用いられる。このような部品検査装置において、誤検出（見過ぎや見逃し）を抑えるために、検査ロジックの閾値調整（チューニング）を実施することが一般的である（特許文献１等）。

【0003】

チューニング作業は、検査工程で実際に発生した良品画像および不良品画像をモデル画像として登録しておき、モデル画像に検査ロジックを仮想的に適用し（モデルテストという）、良品画像および不良品画像を正しく検出できるように閾値を手動で調整することにより行われる。チューニング作業において不良品画像は不可欠であり、不良品画像を蓄積しつつ細かな閾値調整作業を何度も繰り返して検査ロジックを成熟させるため、多くの時間と熟練した技術が必要である。

【0004】

しかしながら、昨今の技術革新に伴い、表面実装の製造装置の性能は飛躍的に向上しており、不良発生率も数ｐｐｍレベルに低減している。そのため、実際の不良品画像を集めるのは容易ではない。特に、製造ラインを新規に設置する場合には、不良品画像がほとんど存在しないため、適切な閾値調整は困難であり、誤検出のリスクが高くなってしまう。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－７７１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、部品検査装置における閾値調整作業を効果的に行えるように支援する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、機械学習モデルを用いて不良品画像を生成して、生成された不良品画像を用いてティーチング処理を行うことで、部品検査のための閾値調整を効果的に行えるようにする。より具体的には、本発明の一態様に係る部品検査装置は、少なくとも良品画像を記憶する記憶手段と、機械学習モデルを用いて不良品画像を生成する生成手段と、部品検査のためのパラメータをユーザが設定可能な設定手段と、前記パラメータを用いて、前記記憶手段に記憶されている良品画像と前記生成手段によって生成された不良品画像に対する検査を行い、検査結果を出力する出力手段と、を備える。

【0008】

このように、機械学習技術を用いて不良品画像を生成することにより、ティーチング処理に利用可能な不良品画像を増やすことができ、閾値を適切に調整可能となる。

【0009】

本発明において、前記生成手段は、前記記憶手段に記憶された良品画像の少なくともいずれかに対して、機械学習モデルを適用して、不良品画像を生成してもよい。機械学習モデルは、例えば、敵対的生成ネットワーク（ＧＡＮ）に基づく生成モデルを利用可能である。

【0010】

このように、良品画像に基づいて不良品画像を生成することで、良品画像に類似する不良品画像を生成可能である。すなわち、実際に生じうる不良と同様の不良を有する画像を生成可能であるので、ティーチング処理を適切に行うことができる。

【0011】

本発明において、前記生成手段で生成する不良品画像の不良の種類をユーザが指定可能な指定手段をさらに備え、前記生成手段は、前記指定手段で指定された種類の不良を有する不良品画像を生成してもよい。指定手段は、不良を表す複数の特徴量をユーザが指定可能な指定画面のようなグラフィカル・ユーザ・インタフェース（ＧＵＩ）を表示して、このＧＵＩを用いてユーザに生成する不良の種類を指定させるとよい。この指定画面は、複数の特徴量からなる特徴空間内の領域をユーザが指定可能に構成されるとよく、さらに、前記特徴空間内の領域の少なくともいずれかに、当該特徴空間に対応する不良を表す画像が表示されるとよい。あるいは、特徴量空間内の領域を指定させる代わりに、複数の特徴量の値をそれぞれ個別にユーザが指定可能に構成されてもよい。

【0012】

このような構成によれば、ユーザがティーチング処理に必要であると考える不良を有する不良品画像を生成することができる。これにより、より適切な検査が可能な閾値調整が可能となる。

【0013】

本発明において、生成すべき不良品画像の種類を提案する提案手段をさらに備えとよい。提案手段は、例えば、特定の種類の不良品画像の登録数が少ない場合に、当該種類の不良品画像を生成するように提案する。具体的な手法として、前記提案手段は、前記生成手段によって複数の種類の不良のそれぞれについて、不良品画像を生成し、生成された不良品画像を複数のクラスタに分類するクラスタリング処理を施し、前記記憶手段に記憶されている不良品画像のそれぞれがどのクラスタに属するかを判断し、存在する不良品画像が所定数以下のクラスタに対応する不良を、生成すべき不良品画像の種類として提案することができる。また、あるクラスタに対応する不良品画像を生成する場合に、ランダムなノイズを付加して、クラスタ内の不特定の不良を有する画像を生成するとよい。

【0014】

このような構成によれば、不足している不良品画像を生成するようにユーザに促すことができ、より適切な閾値調整を可能となる。

【0015】

本発明において、前記出力手段は、検査結果として、検査対象の画像と、当該検査対象の画像が前記生成手段によって生成されたものか否かを示す情報と、前記パラメータを用いて良品と判定されるか不良品と判定されるかを示す情報と、を出力してもよい。

【0016】

このような検査結果を表示することにより、ユーザは、適切な閾値調整をしたり、不足している不良品画像を生成したりすることができるようになる。

【0017】

本発明の他の態様は、部品検査装置において部品検査のパラメータ設定を支援する支援方法であって、記憶されている良品画像に対して機械学習モデルを用いて不良品画像を生成する生成ステップと、部品検査のためのパラメータの設定をユーザから受け付ける設定ステップと、前記パラメータを用いて、記憶されている良品画像と生成された不良品画像に対する検査を行い、検査結果を出力する出力ステップと、を含む、支援方法である。

【0018】

本発明は、上記処理の少なくとも一部を含む方法、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0019】

本発明によれば、部品検査装置における閾値調整作業を効果的に行えるように支援可能である。

【図面の簡単な説明】

【0020】

【図1】第１の実施形態に係る部品検査装置の機能ブロックを示す図

【図2】部品検査装置のハードウェア構成を示す図

【図3】部品検査装置が行うティーチング処理（閾値調整処理）の全体の流れを示す図

【図4】不良品画像の生成処理の流れを示す図

【図5】ティーチング処理において用いられる、モデルテストの結果出力および閾値調整のための画面の例

【図6】不良品画像生成処理において生成する不良品画像を指定するための指定画面の一例

【図7】不良品画像生成処理において生成する不良品画像を指定するための指定画面の一例

【図8】不良品画像生成処理において生成する不良品画像を指定するための指定画面の一例

【図9】（Ａ）第２の実施形態に係る部品検査装置の機能ブロックを示す図、および（Ｂ）生成する不良品画像を指定するための指定画面の一例

【図10】（Ａ）（Ｂ）第２の実施形態における、生成すべき不良を提案する処理を説明する図

【発明を実施するための形態】

【0021】

＜適用例＞
図１を参照して、本発明の適用例の一つについて説明する。図１は、本発明を適用した部品検査装置１を示し、部品検査のためのパラメータ調整（チューニング作業）を適切に行うための支援技術に特徴がある。記憶部４０には、撮像部１０によって撮影された、実際の製造ラインで生じた良品画像データおよび不良品画像データを記憶する。近年の製造技術の進歩に伴い不良発生率は低減しており、必要な不良品画像を収集することが容易ではない。そこで、本発明では、不良品画像生成部２０が、機械学習技術を用いて、良品画像データ４１に基づいて不良品画像を生成する。どのような種類の不良を含む画像を生成するかは、指定部２１を介してユーザから指定を受け付ける。こうすることにより、実際の良品画像と類似しつつ、ユーザが指定した種類の不良が生じている不良品画像を生成することができる。

【0022】

このようにして生成された不良品画像、および実際に撮影された良品画像および不良品画像を用いて、ティーチング部３０を用いて閾値調整を行うことで、ユーザは適切なチューニングが可能である。

【0023】

＜第１実施形態＞
図１～図５を参照して、本発明の実施形態に係る部品検査装置１について詳細に説明する。図１は、部品検査装置１の機能ブロックを示す図である。図２は、部品検査装置１のハードウェア構成を示す図である。図３は、部品検査装置１が行うティーチング処理（閾値調整処理）の全体の流れを示す図である。図４は、不良品画像の生成処理の流れを示す図である。図５～図８はティーチング処理において用いられる表示画面の例であり、図５は主にモデルテストの結果および閾値調整のための画面であり、図６～図８は、不良品画像生成処理において生成する不良品画像を指定するための指定画面である。

【0024】

部品検査装置１はティーチング結果に基づいて部品検査を実際に行う機能も有するが、以下では、部品検査装置１のティーチング処理に関する機能を主に説明する。

【0025】

（構成）
図１に示すように、部品検査装置１は、撮像部１０、不良品画像生成部２０、ティーチング部３０、記憶部４０を含む。

【0026】

撮像部１０は、製造ラインにおける部品（例えば、部品実装プリント基板）を撮影する。撮影された画像のうちユーザによって選択された画像は、良品画像であるか不良品画像であるかラベル付けされた上でモデル画像として記憶部４０に記憶される。

【0027】

不良品画像生成部２０は、機械学習技術を用いて不良品画像を生成する機能部である。不良品画像生成部２０は、生成する不良品画像の不良の種類をユーザから指定を受けるための指定部２１と、指定された不良品画像を生成するための生成部２２を有する。

【0028】

指定部２１は、生成する不良の種類をユーザが指定可能な画面（ＧＵＩ）を表示して、ユーザからの入力を受け付ける。

【0029】

生成部２２は、記憶部４０に記憶されている良品画像に対して機械学習モデルを適用して、指定部２１で指定された種類の不良を有する不良品画像を生成する。生成部２２が用いる機械学習モデルは、例えば、敵対的生成ネットワーク（ＧＡＮ）に基づく生成モデルである。ＧＡＮでは、正解画像に類似する画像を生成する生成器と、正解画像か生成画像かを識別する識別器を学習する。生成器はより正解に近い画像を生成できるように学習され、識別器は正解画像と生成画像とをより正確に識別できるように学習される。生成部２２は、生成器を用いて、実際の良品画像に対して、指定された種類の不良特徴量が転移された不良品画像を生成・出力する。このように不良品画像を、良品画像と同様の部品について指定された種類の不良を有する不良品画像、すなわち、現実に発生する可能性が高い不良品画像を生成できる。

【0030】

ティーチング部３０は、部品検査のためのパラメータ（閾値）をユーザが設定するために用いられる機能部である。ティーチング部３０は、検査部３１、結果出力部３２、閾値設定部３３を有する。検査部３１は、記憶部４０に記憶されているモデル画像に対して、現在設定されているロジックおよび閾値を用いて検査（テスト）を行う。以下では、モデル画像に対するテストのことをモデルテストとも称する。結果出力部３２は、検査部３１による検査結果をユーザに表示する。詳細は後述するが、検査結果は、検査対象の部品の画像、この検査対象の画像が不良品画像生成部２０によって生成されたものか否かを示す情報と、現在の閾値を用いて良品と判定されるか不良品と判定されるかを示す情報と、を含む。

【0031】

記憶部４０は、良品画像データ４１、不良品画像データ４２、検査閾値４３を記憶する。良品画像データ４１は、撮像部１０によって実際に撮影された画像データである。不良品画像データ４２は、撮像部１０によって実際に撮影された画像データと、不良品画像生成部２０によって生成された画像データとを含み、実際に撮影されたものか生成されたものかを示す情報も関連付けて記憶される。撮像部１０によって撮像された画像を良品画像と不良品画像のいずれのモデル画像として登録するかは、ユーザによって指定される。検査閾値４３は、部品検査ロジックに用いられる閾値であり、ティーチング部３０を介してユーザが変更可能である。

【0032】

図２は、部品検査装置１のハードウェア構成を示す図である。図２に示すように、部品検査装置１は、一般的なコンピュータ（情報処理装置）と同様の構成であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３、スト
レージ５４、キーボード５５、マウス５６、モニタ５７、及び通信インタフェース５８を有する。各構成は、バス５９を介して相互に通信可能に接続されている。

【0033】

本実施形態では、ＲＯＭ５２又はストレージ５４には、学習モデルの学習処理を実行するための学習プログラムが格納されている。ＣＰＵ５１は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ５１は、ＲＯＭ５２又はストレージ５４からプログラムを読み出し、ＲＡＭ５３を作業領域としてプログラムを実行する。ＣＰＵ５１は、ＲＯＭ５２又はストレージ５４に記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。ＲＯＭ５２は、各種プログラム及び各種データを格納する。ＲＡＭ５３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ５４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。キーボード５５及びマウス５６は入力装置の一例であり、各種の入力を行うために使用される。モニタ５７は、例えば、液晶ディスプレイであり、ユーザインタフェースを表示する。モニタ５７は、タッチパネル方式を採用して、入力部として機能してもよい。通信インタフェース５８は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0034】

（処理）
図３は、部品検査装置１が行うティーチング処理の全体の流れを示すフローチャートである。図４は、不良品画像生成処理の流れを示すフローチャートである。図５は、ティーチング処理において用いられる画面の一例である。

【0035】

まず、図５の画面について説明する。画面１００は、拡大画像表示領域１１０、結果出力領域１２０、品番指定領域１３０、ロジック・閾値設定領域１４０、テスト実行ボタン１５０、不良品画像生成ボタン１６０を含む。品番指定領域１３０は、閾値設定の対象とする部品（品番）を指定するためのＧＵＩであり、ユーザがチェックボックスにチェックを入れることで対象の部品が指定される。ロジック・閾値設定領域１４０は、検査項目の選択と、その検査項目において用いられる閾値の入力を、ユーザが行うためのＧＵＩである。結果出力領域１２０には、テストに用いられた画像と、現在の設定での検査結果、および画像が実際の良品画像・実際の不良品画像・生成された不良品画像のいずれであるかを示す情報が表示される。拡大画像表示領域１１０には、検査対象となった複数の画像のうち選択された画像を拡大して表示され、また、カーソル位置でのＸ軸およびＹ軸方向の高さプロファイルが表示される。テスト実行ボタン１５０を押下することにより、品番指定領域１３０、ロジック・閾値設定領域１４０での検査が実行される。不良品画像生成ボタン１６０を押下することで、不良品画像を生成することができる。

【0036】

次に、図３を参照してティーチング処理を説明する。ティーチング処理が開始されると、ティーチング部３０は、画面１００を表示する。なお、図３に示すフローチャートに処理順序は一例に過ぎず、この順序に従って処理を行う必要はなく、適宜処理順序を変更しても構わない。

【0037】

ステップＳ１において、ティーチング部３０は、品番指定領域１３０を介してモデルテストの対象とする部品品番の指定を受け付ける。図５の例では、品番指定領域１３０で品番「ＢＢＢ」が選択されている。

【0038】

ステップＳ２において、ティーチング部３０は、ロジック・閾値設定領域１４０を介してモデルテストの検査項目の指定を受け付ける。図５の例では、エンド中央についての電極濡れが検査項目として選択されている。検査項目が選択されると、選択された検査項目
に関する現在の閾値がロジック・閾値設定領域１４０に表示され、かつ、値が編集可能となる。

【0039】

品番と検査ロジックが指定された時点で、ティーチング部３０は、指定された品番のモデル画像と、各モデル画像が指定されている検査項目について良品であるか不良品であるかを表示してもよい。

【0040】

ステップＳ３において、ユーザは、モデルテストを行うに際して不良品画像の数が足りないと判断した場合には、不良品画像生成ボタン１６０を押下して、不良品画像を生成してモデル画像として登録する。

【0041】

図４を参照して、ステップＳ３の不良品画像生成処理の詳細について説明する。この処理は不良品画像生成部２０が実行する処理である。

【0042】

ステップＳ３１において、指定部２１生成する不良の種類を指定するための画面を表示する。図６～図８は生成する不良種類を指定するための画面の例である。ここでは、不良として、はんだ量の多寡、電極の浮き、電極の不濡れの３つを対象として説明する。これらの不良がティーチングにおいて適切な閾値設定が困難な不良の代表的な例であるため、このような不良を対象に不良品画像を生成することが好ましいが、その他の不良について不良品画像を生成しても構わない。

【0043】

図６および図７は、不良を示す３つの特徴量からなる特徴量空間内の領域を指定することにより、生成する不良種類を指定可能な画面である。これらの例では、はんだ量を３つのレベルに、電極の浮きの度合いを２つのレベルに、電極の濡れ・不濡れを２つのレベルに分けて定義される領域の中から、生成する不良種類をユーザが指定可能である。なお、はんだ量や電極の浮き度合いはより多くのあるいはより少ない数のレベルに分けても構わない。電極の濡れ・不濡れは基本的に２値の情報であるが、３レベル以上に分けても構わない。なお、いくつかの特徴量の組合せはあり得ないので、画面上では選択できないようにされている。

【0044】

図６の例では、電極の濡れと不濡れに分けて、横軸をはんだの量、縦軸を電極の浮き度合い表す空間内での領域として、それぞれの不良の種類が表される。ここではＩＤ１１～ＩＤ１５，ＩＤ２１～ＩＤ２５の合計１０個の領域が選択可能である。また、それぞれの領域に対して、この特徴空間に対応する不良の例を表す画像が示されている。これにより、どのような不良が生成されるかをユーザが容易に理解できる。ユーザは、この指定画面においてどの種類の不良を生成するかを選択する。ここで、枠６０１はユーザが選択している不良であることを示す。

【0045】

図７の例は、図６と同様に特徴量空間内の領域を指定することで不良の種類を指定する画面であるが、はんだ量、浮き度合い、濡れ・不濡れの３つを軸とする３次元の空間内での領域をユーザが指定する画面である。図７では、図６と異なり、各領域に対応して不良の例を示す画像を表示させていないが表示するようにしてもよい。

【0046】

図８は、指定画面の別の例を示す図である。この指定画面では、はんだの量、電極の浮き度合い、電極の濡れ・不濡れをユーザが個別に直接的に値として入力可能である。図８の例では、はんだ量と浮き度合いをスクロールバーを用いて入力するＧＵＩを用いているが、スピンアップダウンコントロールや、テキストボックスへの数値入力などその他のＧＵＩを用いても構わない。また、電極の濡れ・不濡れは二値の情報としているので、チェックボックスで指定するのが簡便である。

【0047】

ステップＳ３２において、指定部２１は、生成する不良の種類をユーザから受け付ける。具体的には、図６～図８においてＮＧ生成ボタン６０３を押下したときに入力されていた不良種類を、指定部２１は生成する不良種類として取得する。

【0048】

ステップＳ３３において、生成部２２は、対象品番の画像を記憶部４０から取得する。対象品番は、ステップＳ１において指定されている品番である。生成部２２は、記憶部４０に記憶されている良品画像データ４１の中から、対象品番のデータを１つまたは複数取得する。記憶部４０に該当する画像が多数存在する場合には、ランダムに選択したり所定のルールに従って選択すれば良い。

【0049】

ステップＳ３４において、生成部２２は、ステップＳ３３で取得した画像から不良品画像を生成する。上述したように、生成部２２は、敵対的生成ネットワーク（ＧＡＮ）の生成器を有しており、取得した良品画像を生成器に入力し、かつ、ユーザによって指定された不良の特徴量をノイズとして付加することで、実際に現場で生じるような不良品画像を生成することができる。付加するノイズは、指定された特徴量空間内の中から例えばランダムに決定される。したがって、指定された不良の種類が同じであっても、実際に生成される不良品画像には揺らぎが生じ、同じ種類の不良ではあるが詳細は異なる不良品画像を生成することができる。

【0050】

ステップＳ３５において、生成部２２は、生成した不良品画像をユーザに提示する。具体的には、図６～図８の画面において、不良品画像は、３次元ビューア部６０２ａ，６０２ｂに表示する。３次元ビューア部６０２ａ，６０２ｂでは、生成した画像の表示位置、拡大率、視点方向をユーザが任意に指定して、生成された不良を確認できる。

【0051】

ステップＳ３６において、生成された不良品画像をユーザがモデル画像として登録するか否かを判定する。ユーザは、３次元ビューア部６０２ａ，６０２ｂを用いて不良品画像を確認して、ティーチングに用いるために適切な不良品画像であると判断すれば「ライブラリに追加」ボタン６０４を押下する。ボタン６０４が押下された場合には、ステップＳ３７に進む。

【0052】

ステップＳ３７では、生成された不良品画像をモデル画像として記憶部４０に記憶する。この際、不良品画像は、不良品画像生成部２０によって生成された不良品画像であることが判別可能なように記憶部４０に記憶される。

【0053】

ステップＳ３８では、ユーザが次の不良品画像を生成するか否かを判定し、生成を継続する場合にはステップＳ３２に戻り、生成を終了する場合には処理を終了する。

【0054】

このようにして、ステップＳ３の不良品画像生成処理では、機械学習ベースの生成器
によって、ユーザによって指定された不良を有する擬似的な不良品画像が生成されて、モデル画像として登録される。なお、生成する画像は必ずしも不良品画像とする必要はなく、同様の処理によって良品画像を生成することも可能であり、所望の特徴を有する良品画像を生成してモデル画像として登録するようにしても構わない。

【0055】

図３に戻って説明を続ける。ステップＳ４において、ユーザは、テスト実行ボタン１５０を押下して、現在の検査内容および検査閾値を用いて、モデル画像に対する検査を実行する。具体的には、検査部３１が、記憶部４０に格納されているモデル画像のそれぞれに対して、ステップＳ２で指定された検査ロジックの検査を実行する。

【0056】

ステップＳ５において、結果出力部３２がステップＳ４の検査結果を画面１００の結果出力領域１２０に出力する。結果出力領域１２０には、モデルテストが行われたモデル画
像、モデルテストの結果、および、モデル画像に関する情報が表示される。モデル画像に関する情報は、モデル画像が良品画像であるか不良品画像であるか、そしてモデル画像が不良品画像である場合には実際に撮影された不良品画像であるか不良品画像生成部２０によって生成された不良品画像であるかを示す情報が含まれる。

【0057】

図５の例では、結果出力領域１２０には、５つのモデル画像１２１ａ～１２１ｅが表示されており、それぞれの検査結果１２２ａ～１２２ｅと、モデル画像に関する情報１２３ａ～１２３ｅが表示されている。ここでは、モデル画像１２１ａ、１２１ｃは実際の良品画像、モデル画像１２１ｂ，１２１ｄは実際の不良品画像、モデル画像１２１ｅは不良品画像生成部２０によって生成された不良品画像である。また、モデル画像１２１ａ，１２１ｂについては良品であるか不良品であるかを適切に判断できているのに対し、モデル画像１２１ｃは良品を不良品と判断する誤検出（見過ぎ）、モデル画像１２１ｄは不良品を良品と判断する誤検出（見逃し）が発生していることが分かる。

【0058】

ステップＳ６において、ユーザは検査が正しく行われているか否か、すなわち閾値を調整する必要があるか否かを判断する。閾値調整が必要であれば、ユーザは、ロジック・閾値設定領域１４０で閾値の値を変更する。閾値設定部３３は、ユーザによって変更された閾値を記憶部４０に記憶する。その後、ステップＳ４に戻って再びモデルテストを実行する。

【0059】

なお、図３のフローチャートでは、閾値調整が必要な場合に、閾値の値を変更することのみを行っているが、ステップＳ３の不良品画像生成処理を実行して不良品画像を追加するようにしても構わない。

【0060】

ユーザは上記の処理を繰り返して、部品検査が正しく行えるような閾値の調整を行う。上記の処理は種々の品番および検査ロジックに対して実行することができる。

【0061】

本実施形態によれば、擬似的な不良品画像を機械学習モデルを用いて生成することで、閾値調整処理（ティーチング作業）に利用できる。不良品画像を収集することは難しくなっており、特に製造ラインを新規に設置した場合はそれが顕著であるが、自動生成により良品画像の不足を補って適切な閾値調整が可能となる。また、閾値調整が適切に行われているかを確認するために特定の不良を有する画像が必要となることもあるが、このような不良品画像をユーザが指定して生成することができるので、このような観点からも適切な閾値調整が容易となる。

【0062】

また、不良品画像の生成を敵対的生成ネットワークの生成モデルを利用して行っているので、生成される不良品画像は実際の良品画像と近い画像であり、実際の現場で発生する不良に類似する不良品画像を生成することができる。

【0063】

＜第２の実施形態＞
第１の実施形態では、どのような不良品画像を生成するかをユーザが自ら指定する必要がある。本実施形態に係る部品検査装置は、どのような不良品画像を生成するべきかを提案する機能をさらに有する。

【0064】

図９（Ａ）は本実施形態に係る部品検査装置２の機能ブロックを示す図である。第１の実施形態（図１）と比較して、不良品画像生成部２０が提案部２３をさらに備える点が異なり、その他は同様である。したがって、以下では主に提案部２３について説明する。

【0065】

図９（Ｂ）は、生成する不良品画像の種類をユーザが指定する指定画面の例を示す。本実施形態において、指定画面は生成すべき不良の種類を提案する機能を実行するためのボ
タン９０１を備える。ボタン９０１が押下されると、提案部２３が図１０（Ａ）に示す生成画像提案処理を実行する。

【0066】

ステップＳ１０１では、提案部２３は複数の不良ＩＤのそれぞれについて、生成部２２を用いて不良品画像を生成する。ここではそれぞれの不良について、複数枚、例えば１０枚程度の不良品画像を生成するものとする。

【0067】

ステップＳ１０２において、提案部２３は、生成した不良品画像に対して主成分分析などを施して特徴量を抽出して、特徴量空間にマッピングする。ステップＳ１０３において、提案部２３は、特徴量空間上で不良品画像にクラスタリング処理を施して複数のクラスタに分類する。クラスタリングの手法が特に限定されず、たとえばｋ－ｍｅａｎｓなどを用いれば良い。

【0068】

ステップＳ１０４において、提案部２３は、記憶部４０に記憶されているモデル画像（ライブラリ画像）を特徴量と抽出してステップＳ１０２と同様に特徴量空間上にマッピングして、モデル画像がどのクラスタに属するかを判断する。ステップＳ１０５において、提案部２３は、領域内にライブラリ画像が存在しないようなクラスタを特定する。ステップＳ１０６において、提案部２３は、領域内にモデル画像が存在しないクラスタに対応する不良種類に対して、ＧＵＩ上でアラートを表示して、この不良種類の不良品画像を生成することをユーザに提案する。なお、提案部２３は、モデル画像が全く存在しないクラスタに対応する不良種類を提案する代わりに、存在するモデル画像の数が所定数以下の不良種類を提案するようにしてもよい。

【0069】

図１０（Ｂ）は、上記の処理を説明する図である。図１０（Ｂ）中の領域は、ステップＳ１０１で生成された不良品画像を２次元の空間にマッピングして、クラスタリング処理により得られるクラスタ（各不良の領域）を示している。１０個の不良種類に対応して、１０個のクラスタ（領域）が得られる。図１０（Ｂ）中の点は、モデル画像を２次元空間上にマッピングした点である。この結果から、ＩＤ１２のクラスタに含まれるモデル画像が存在しないことが分かる。

【0070】

そこで、提案部２３は、不良種類の指定画面（図９（Ｂ））において、ＩＤ１２の不良が不足しており、したがってこの不良の画像を生成するべきであることを示すためのアラート９０２をＩＤ１２に対して表示する。なお、複数の種類の不良が不足している場合には、それぞれの不良に対してアラートを表示すれば良い。

【0071】

本実施形態によれば、どの種類の不良品画像が不足しているかを自動的に判別して生成することを提案するので、ユーザの手間が軽減するとともに、経験の浅いユーザであっても閾値調整を適切に行うことができる。

【0072】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0073】

例えば、上記の説明では不良品画像を生成しているが、良品画像を同様に生成してもよい。良品画像は大量に入手可能であるが、閾値調整に必要な良品画像が入手できない場合もある。したがって、所望の特徴を有する良品画像を上記と同様の手法によって生成すれば閾値調整をより適切に行うことができる。

【0074】

上記の例では、検査の対象が部品実装プリント基板であるが、検査対象の部品はどのよ
うなものであっても構わない。また、不良の種類として、はんだの量、電極の浮き、電極の不濡れを例に挙げて説明したが、その他の種類の不良が検査項目であってもよい。

【0075】

また、上記の例では、敵対的生成ネットワーク（ＧＡＮ）に基づく機械学習モデルにより不良品画像を生成しているが、ＧＡＮ以外の任意の機械学習モデル、特に深層生成モデルを用いて不良品画像を生成してもよい。深層生成モデルは、例えば、敵対的生成ネットワーク（ＧＡＮ）、変分オートエンコーダ（ＶＡＥ）、Ｆｌｏｗベース生成モデルを含む。

【0076】

＜付記＞
１．少なくとも良品画像（４１）を記憶する記憶手段（４０）と、
機械学習モデルを用いて不良品画像を生成する生成手段（２２）と、
部品検査のためのパラメータをユーザが設定可能な設定手段（２１，１４０）と、
前記パラメータを用いて、前記記憶手段に記憶されている良品画像と前記生成手段によって生成された不良品画像に対する検査を行い、検査結果を出力する出力手段（３２，１２０）と、
を備える、部品検査装置（１）。

【0077】

２．部品検査装置において部品検査のパラメータ設定を支援する支援方法であって、
記憶されている良品画像に対して機械学習モデルを用いて不良品画像を生成する生成ステップ（Ｓ３）と、
部品検査のためのパラメータの設定をユーザから受け付ける設定ステップ（Ｓ７）と、
前記パラメータを用いて、記憶されている良品画像と生成された不良品画像に対する検査を行い（Ｓ４）、検査結果を出力する出力ステップ（Ｓ５）と、
を含む、支援方法。

【符号の説明】

【0078】

１，２：部品検査装置
１０：撮像部
２０：不良品画像生成部 ２１：指定部 ２２：生成部 ２３：提案部
３０：ティーチング部 ３１：検査部 ３２：結果出力部 ３３：閾値設定部
４０：記憶部 ４１：良品画像データ ４２：不良品画像データ ４３：検査閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】