特許 7410402 外観検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-26

(45)【発行日】2024-01-10

(54)【発明の名称】外観検査システム

(51)【国際特許分類】

   G01N 21/956 20060101AFI20231227BHJP

   G06T 7/00 20170101ALI20231227BHJP

【ＦＩ】

G01N21/956 B

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2020082753

(22)【出願日】2020-05-08

(65)【公開番号】P2021177154

(43)【公開日】2021-11-11

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】黒江 敏郎

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】国際公開第２０２０／０７１２３４（ＷＯ，Ａ１）

【文献】特許第６６５３９２９（ＪＰ，Ｂ１）

【文献】国際公開第２０２０／０３１９８４（ＷＯ，Ａ１）

【文献】特開平０８－１３６４６６（ＪＰ，Ａ）

【文献】特開２００４－２９４３６０（ＪＰ，Ａ）

【文献】特開２０２０－０３０１４５（ＪＰ，Ａ）

【文献】特開２０２０－１８７６５７（ＪＰ，Ａ）

【文献】特開２０１８－２０５１２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３１８４７１（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１０９９２３２９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０６Ｆ １８／００ － Ｇ０６Ｆ １８／４０

Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ９９／００

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

対象物を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部（10）と、
前記一次検査部（10）で不良と判定された対象物の画像に基づき、第１の機械学習モデル（21）を用いて、真の不良品と過判定品とを分別する二次検査部（20）とを備え、
前記第１の機械学習モデル（21）に対して、教師データとして良品画像を用いた機械学習が予め行われ、
前記二次検査部（20）は、前記不良と判定された対象物の画像から前記第１の機械学習モデル（21）により生成された良品画像と、前記不良と判定された対象物の画像との差分に基づいて、真の不良品と過判定品とを分別し、
前記二次検査部（20）は、前記不良と判定された対象物の画像の全体及び／又は特定部分のそれぞれについて、前記第１の機械学習モデル（21）により生成された良品画像との差分を評価し、
前記二次検査部（20）は、前記画像の前記全体に対する不良判定を行った後、当該全体に不良が無ければ、前記画像の前記特定部の位置認識を行い、その後、位置認識された当該特定部の不良判定を行う
ことを特徴とする外観検査システム。

【請求項2】

請求項１において、
少なくとも輪郭を含む線画情報に基づき、第２の機械学習モデル（31）を用いて、前記第１の機械学習モデル（21）の学習用の良品画像を多数生成する学習データ生成部（30）をさらに備える
ことを特徴とする外観検査システム。

【請求項3】

請求項１において、
少なくとも１つの実画像に基づき、第２の機械学習モデル（31）を用いて、前記第１の機械学習モデル（21）の学習用の良品画像を多数生成する学習データ生成部（30）をさらに備える
ことを特徴とする外観検査システム。

【請求項4】

請求項２において、
前記第２の機械学習モデル（31）に対して、前記線画情報の部位別に与えられたヒント情報からテクスチャーを生成するように予め機械学習が行われ、
前記学習データ生成部（30）は、前記第２の機械学習モデル（31）により生成されたテクスチャーにノイズを付加して学習用の良品画像を多数生成する
ことを特徴とする外観検査システム。

【請求項5】

請求項１～４のいずれか１項において、
前記第１の機械学習モデル（21）は、検査項目に応じて機械学習が行われた複数の学習モデルから構成され、
前記二次検査部（20）は、前記複数の学習モデルを階層的に組み合わせて用いる
ことを特徴とする外観検査システム。

【請求項6】

請求項１～５のいずれか１項において、
前記第１の機械学習モデル（21）は、対象物のカテゴリー毎に予め複数用意され、
前記一次検査部（10）は、対象物を撮像した画像から、当該対象物のカテゴリーを判定し、
前記二次検査部（20）は、前記一次検査部（10）で判定された対象物のカテゴリーに対応する前記第１の機械学習モデル（21）を用いる
ことを特徴とする外観検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像による外観検査システムに関するものである。

【背景技術】

【0002】

製造工程においては、様々な対象物に対して外観検査が行われている。外観検査は、過去には、人による目視検査で行われていたが、近年は、自動化が進められている。

【0003】

自動外観検査では、精緻な光学系で構成されるカメラで対象物を撮像し、コンピュータの画像処理により自動で不良判定を行うことが一般的である。このような自動外観検査システムでは、取得された画像の不良度合いを数値に置き換え、当該数値と、予め設定しておいた閾値とを比較することにより判定が行われる。また、自動外観検査システムでは、表面傷、汚れ、形状、姿勢など、特徴量を画像化できる項目であれば、検査の対象とすることが可能である。

【0004】

自動外観検査システムにおいては、不良品が出荷されないように、検出精度を高めることが求められる。検出精度は、検査パラメータ、例えば、検査時の照明方法などの撮像条件や、対象物の色や形状のバラツキなどの撮像画像の質に強い影響を受ける。また、検出精度は、不良判定のカットオフ点（閾値）をどこに設定するかに依存して変化する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－０９８３６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の自動外観検査システムにおいて検出精度を高めると、本来は良品であるものが不良品と判断されてしまう過判定（見すぎ判定）が生じやすくなり、過判定量も増えてしまう。

【0007】

このように、自動外観検査において検出精度と過判定量とはトレードオフの関係にあるが、過判定量を最小化しつつ検出精度を最大できる検査パラメータや閾値を設定することは、現実的には非常に困難である。

【0008】

このため量産時には、実際には真の不良数が極めて少ないにもかかわらず、一定量の過判定品の発生を許容することになり、検査の後段で過判定品かどうかを人による目視で再判定するなどしなければならないので、生産性が低下してしまうという問題があった。

【0009】

本開示の目的は、外観検査において過判定品の発生に起因する生産性の低下を抑制できるようにすることにある。

【課題を解決するための手段】

【0010】

本開示の第１の態様は、対象物を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部（10）と、前記一次検査部（10）で不良と判定された対象物の画像に基づき、第１の機械学習モデル（21）を用いて、真の不良品と過判定品とを分別する二次検査部（20）とを備えることを特徴とする外観検査システムである。

【0011】

第１の態様では、一次検査部（10）で不良と判定された対象物の画像に基づき、二次検査部（20）が、第１の機械学習モデル（21）を用いて過判定品かどうかを再判定する。このため、過判定品の発生を抑制できるので、検査の最終段で過判定品かどうかを人力で再検査する工数を削減できるので、生産性の低下を抑制することができる。

【0012】

本開示の第２の態様は、第１の態様において、前記第１の機械学習モデル（21）に対して、教師データとして良品画像を用いた機械学習が予め行われ、前記二次検査部（20）は、前記不良と判定された対象物の画像から前記第１の機械学習モデル（21）により生成された良品画像と、前記不良と判定された対象物の画像との差分に基づいて、真の不良品と過判定品とを分別することを特徴とする外観検査システムである。

【0013】

第２の態様では、不良と判定された対象物の画像と、第１の機械学習モデル（21）により生成された良品画像との差分が所定値を超えた場合、真の不良品であると判定することができる。このため、対象物の画像のわずかな変化（位置ずれ等）に過敏にならずに精度良く不良判定を行うことができる。

【0014】

本開示の第３の態様は、第２の態様において、前記二次検査部（20）は、前記不良と判定された対象物の画像の全体及び／又は特定部分のそれぞれについて、前記第１の機械学習モデル（21）により生成された良品画像との差分を評価することを特徴とする外観検査システムである。

【0015】

第３の態様では、例えば、部品実装されたプリント基板を対象として、様々な形状の部品を一括して検査する場合に、部品の取付け位置などは、画像の全体（巨視部）について良品画像との差分を評価し、リードのはんだ接合部などは、画像の特定部分（微視部）について良品画像との差分を評価することができる。これにより、巨視部に埋没しやすい微視部についても一括して検査できるので、検出力が向上する。

【0016】

本開示の第４の態様は、第２又は第３の態様において、少なくとも輪郭を含む線画情報に基づき、第２の機械学習モデル（31）を用いて、前記第１の機械学習モデル（21）の学習用の良品画像を多数生成する学習データ生成部（30）をさらに備えることを特徴とする外観検査システムである。

【0017】

第４の態様では、第１の機械学習モデル（21）の学習用に、対象物の実画像を多数準備する必要がなくなる。このため、例えば試作前で実物が存在しない状態でも第１の機械学習モデル（21）の学習が可能となるので、試作品の検査品質の向上と試作期間の短縮とが可能になる。

【0018】

本開示の第５の態様は、第２又は第３の態様において、少なくとも１つの実画像に基づき、第２の機械学習モデル（31）を用いて、前記第１の機械学習モデル（21）の学習用の良品画像を多数生成する学習データ生成部（30）をさらに備えることを特徴とする外観検査システムである。

【0019】

第５の態様では、第１の機械学習モデル（21）の学習用に、対象物の実画像を多数準備する必要がなくなる。言い換えると、少ない実画像を用いて第１の機械学習モデル（21）の学習が可能となる。

【0020】

本開示の第６の態様は、第４の態様において、前記第２の機械学習モデル（31）に対して、前記線画情報の部位別に与えられたヒント情報からテクスチャーを生成するように予め機械学習が行われ、前記学習データ生成部（30）は、前記第２の機械学習モデル（31）により生成されたテクスチャーにノイズを付加して学習用の良品画像を多数生成することを特徴とする外観検査システムである。

【0021】

第６の態様では、線画情報の部位つまり基本的な部品毎にテクスチャーを生成するように、予め第２の機械学習モデル（31）の学習を行っておくことにより、多数の新機種について第１の機械学習モデル（21）の学習用の良品画像を得ることができる。従って、システムの使用開始時点で第１の機械学習モデル（21）の学習を進めておくことができるので、システム利用者にとって利便性及び即応性を向上させることができる。

【0022】

本開示の第７の態様は、第１～６の態様のいずれか１つにおいて、前記第１の機械学習モデル（21）は、検査項目に応じて機械学習が行われた複数の学習モデルから構成され、前記二次検査部（20）は、前記複数の学習モデルを階層的に組み合わせて用いることを特徴とする外観検査システムである。

【0023】

第７の態様では、検査項目に応じて機械学習が行われた複数の学習モデルを階層的に組み合わせて用いることにより、真の不良品と過判定品との分別を精度良く効率的に行うことができる。

【0024】

本開示の第８の態様は、第１～７の態様のいずれか１つにおいて、前記第１の機械学習モデル（21）は、対象物のカテゴリー毎に予め複数用意され、前記一次検査部（10）は、対象物を撮像した画像から、当該対象物のカテゴリーを判定し、前記二次検査部（20）は、前記一次検査部（10）で判定された対象物のカテゴリーに対応する前記第１の機械学習モデル（21）を用いることを特徴とする外観検査システムである。

【0025】

第８の態様では、検査される対象物が様々な形状を有する場合に、類似形状を持つ対象物をグルーピングしたカテゴリー毎に第１の機械学習モデル（21）の学習を最適化することができる。従って、真の不良品と過判定品との分別を高精度で行うことができる。

【図面の簡単な説明】

【0026】

【図1】図１は、実施形態に係る外観検査システムの全体構成図である。

【図2】図２は、プリント基板に実装された電子部品リードのはんだ接合部の良品、不良品を示す図である。

【図3】図３は、実施形態に係る外観検査システムにより、対象物の画像の全体及び特定部分のそれぞれについて良品画像との差分を評価する様子を示す図である。

【図4】図４は、実施形態に係る外観検査システムによる外観検査のフロー図である。

【図5】図５は、変形例１に係る外観検査システムの全体構成図である。

【図6】図６は、変形例１に係る外観検査システムの学習データ生成部により、線画情報に基づき良品画像を複数生成する様子を示す図である。

【図7】図７は、変形例１に係る外観検査システムの学習データ生成部により、実画像に基づき良品画像を複数生成する様子を示す図である。

【図8】図８は、変形例１に係る外観検査システムの学習データ生成部による良品画像生成のフロー図である。

【図9】図９は、変形例２に係る外観検査システムの全体構成図である。

【図10】図１０は、変形例３に係る外観検査システムの全体構成図である。

【図11】図１１は、変形例３に係る外観検査システムにおいてカテゴリー毎に学習モデルの機械学習を行う様子を示す図である。

【発明を実施するための形態】

【0027】

（実施形態の概要）
以下に説明する実施形態に係る外観検査システムでは、ニューラルネットワーク等の学習モデルを判定そのものに用いない従前の自動外観検査装置（一次検査部）において不良と判定された対象物の画像に基づいて、学習モデルを用いた二次検査部が、真の不良品と過判定品とを分別する二次判定をリアルアイムに行う。

【0028】

これにより、従前の自動外観検査装置が得意とする検査項目の検出力（高い検出精度）を生かしつつ、過判定品の判定分離を効率良く行うことができる。

【0029】

例えば、検査対象部位の想定される良品画像を学習モデルにより生成し、当該良品画像と、一次検査部で取得された対象物の画像との差分を数値化することにより、過判定品の再判定を行ってもよい。

【0030】

また、検査項目や対象物のカテゴリーに応じて学習モデルの機械学習を最適化しておき、これらの学習モデルを階層的に組み合わせて又は選択的に用いてもよい。これにより、様々な形状の対象物を前提として、複数の検査項目について一括で検査する場合でも、過判定品の再判定を精度良く行うことが可能となる。

【0031】

さらに、対象物の不良モードが２種類以上あり、各不良モードの特徴量が、画像の全体（又は大部分）である巨視部と、画像の一部分である微視部とに分かれて出現する場合、巨視部と微視部とを分離して別々に判定を行ってもよい。これにより、微視部の特徴量が、巨視部の特徴量に埋もれて検出できなくなる事態を回避することができる。

【0032】

また、過判定品の再判定を行う学習モデルとは別の学習モデルを用いて、対象物の線画情報（例えば、設計図面情報）や少数の実画像から、必要量の学習用画像を生成してもよい。これにより、新機種導入などで検査対象が変更される場合にも、相当量の学習用データを事前に準備することが可能となるため、新たな対象物に対応可能な外観検査システムを早期に完成させることができる。また、材料が異なる部位毎に特有のテクスチャーが存在する場合、線画情報の部位別に与えられたヒント（ラベル）情報から別の学習モデルを用いてテクスチャーを生成してもよい。これにより、実画像に近い学習用画像を生成することができる。

【0033】

（実施形態）
実施形態について図面を参照しながら説明する。図１に示すように、本実施形態に係る外観検査システム（100）は、対象物（1）を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部（10）と、一次検査部（10）で不良と判定された対象物の画像に基づき、第１の機械学習モデル（21）を用いて、真の不良品と過判定品とを分別する二次検査部（20）とを備える。

【0034】

一次検査部（10）としては、例えば、不良判定自体には機械学習モデルを用いない一般的な光学的外観検査装置を利用できる。一次検査部（10）は、例えばカメラ等の撮像部（11）を有する。一次検査部（10）は、撮像した画像等のデータを記憶するために、例えばハードディスク等の記憶部を有していてもよい。尚、一次検査部（10）は、不良判定自体には学習モデルを用いないが、検査閾値や検査パラメータを決定する際には機械学習を利用していてもよい。

【0035】

一次検査部（10）及び二次検査部（20）はそれぞれ、不良判定を行うための処理部を有する。各処理部は、例えば、プロセッサと、プロセッサを動作させるためのプログラムや情報を記憶するメモリとから構成される。一次検査部（10）と二次検査部（20）とは、相互に画像等のデータの授受が可能に構成される。二次検査部（20）は、一次検査部（10）から送信された画像等のデータを記憶するために、例えばハードディスク等の記憶部を有していてもよい。また、外観検査システム（100）において一次検査部（10）及び二次検査部（20）の各記憶部を共通化してもよい。

【0036】

二次検査部（20）で用いる第１の機械学習モデル（21）は、例えば、多層パーセプトロンのようなニューラルネットワーク、サポートベクトルマシン又は判別関数若しくはベイジアンネットワーク等であってもよいが、特に限定されるものではない。

【0037】

第１の機械学習モデル（21）がニューラルネットワークとして構成される場合、第１の機械学習モデル（21）は、例えば、入力層と中間層と出力層との３層を有する。各層には、それぞれ１個以上のニューロンが含まれ、入力層の各ニューロンは、中間層の各ニューロンとそれぞれ接続され、中間層の各ニューロンは、出力層のニューロンとそれぞれ接続される。入力層の各ニューロンには、一次検査部（10）で不良と判定された対象物の画像が入力される。

【0038】

第１の機械学習モデル（21）を用いて二次検査部（20）が過判定品の再判定を実施する前に、二次検査部（20）又は別の情報処理装置は、第１の機械学習モデル（21）の機械学習、つまり、モデルデータの算出、例えばニューラルネットワークの設定を示すモデルデータの算出を行う。モデルデータは、例えば、ニューラルネットワークにおける層の数、各層に含まれるニューロン（ノード）の数、及び、ニューロン間の結合係数（結合荷重）を含む。二次検査部（20）は、モデルデータを用いて第１の機械学習モデル（21）を設定し、設定後の第１の機械学習モデル（21）（つまり学習済みモデル）を用いて過判定品の再判定を実施する。

【0039】

第１の機械学習モデル（21）がニューラルネットワークとして構成される場合、ニューラルネットワークの機械学習においては、まず、入力層に入力情報の教師データを入力し、入力層から出力層へデータを伝搬させ、出力層から出力情報を得る。次に、得られた出力情報と、出力情報の教師データとを用いて、入力層と出力層との間の結合係数、及び、中間層のニューロンに割り付けられるバイアスを算出する。例えば、出力情報と教師データとの差分が小さくなるように、結合係数及びバイアスを調整する。

【0040】

以上のような機械学習の結果として、調整後の結合係数及びバイアスを含むモデルデータが生成される。モデルデータは、例えば、ニューラルネットワークにおける層の数、各層に属するニューロンの数、結合係数及びバイアスを含む。生成されたモデルデータは、例えば、二次検査部（20）の記憶部に記憶される。二次検査部（20）は、過判定品の再判定を行う前に、記憶されたモデルデータに基づいて、ニューラルネットワークを設定する。すなわち、二次検査部（20）は、第１の機械学習モデル（21）を構成するニューラルネットワークにおける層の数、ニューロンの数、結合係数及びバイアスを、モデルデータに指定された値に設定する。このようにして、二次検査部（20）は、モデルデータを用いた第１の機械学習モデル（21）によって、過判定品の再判定を行う。

【0041】

本実施形態においては、第１の機械学習モデル（21）に対して、教師データとして良品画像を用いた機械学習を予め行っておき、一次検査部（10）で不良と判定された対象物の画像に基づいて、第１の機械学習モデル（21）が、当該画像に対応する良品画像を生成できるようにしてもよい。この場合、第１の機械学習モデル（21）として、例えば、敵対的生成ネットワーク（ＧＡＮ）を用いてもよい。真の不良品の場合、その実画像と、第１の機械学習モデル（21）により生成される良品画像との差分量を計測し、これを利用して、任意の閾値を設定することにより、二次検査部（20）は、真の不良品と過判定品とを分別することができる。

【0042】

以下、多数の電子部品がはんだ付け等で実装されたプリント基板を対象物（1）として、本実施形態の外観検査システム（100）による不良判定を行う場合を例として説明する。具体的には、大きさが数百～数千μｍで形状の異なる複数（基板１枚当たり数百個以上）の電子部品の実装状態を基板１枚当たり数十秒かけて検査する。ここで、検査精度と過判定量とは、トレードオフの関係にあるが、本実施形態のように学習モデルを用いて過判定品の再判定（二次検査）を行うことにより、検査精度を維持しつつ過判定量を効果的に減らすことが可能である。

【0043】

図２は、プリント基板に実装された電子部品におけるリードのはんだ接合部の良品、不良品を示す図である。図２に示すように、プリント基板（2）上の電極（3）と電子部品のリード（4）とをはんだ（5）により接合する場合、良品状態（ａ）、（ｂ）に対して、様々な不良品状態（ｃ）～（ｌ）が起こりうる。例えば、不良品状態（ｇ）では、はんだ（5）にピンホール（ブローホール）（6）が生じ、不良品状態（ｈ）では、はんだ（5）に異物（7）が混入し、不良品状態（ｋ）では、はんだ（5）に他のリード（8）が接合され、不良品状態（ｌ）では、はんだボール(9)が生じている。

【0044】

プリント基板を撮像した画像の全体又は大部分（以下、「巨視部」ということもある）に対して、図２に示すような、リードのはんだ接合部は、当該画像の中の特定部分（以下、「微視部」ということもある）を占める。ところが、部品の位置ずれのような「巨視部」に出現する特徴量と、リードのはんだ接合不良のような「微視部」に出現する特徴量とが同時に出現する場合、微視部の特徴量が、巨視部の特徴量に埋もれて検出できなくなるおそれがある。

【0045】

そこで、本実施形態では、図３に示すように、一次検査部（10）で不良と判定された対象物（1）の画像の巨視部及び微視部のそれぞれについて、第１の機械学習モデル（21）により生成された良品画像との差分（差分画像）を評価する。図３では、巨視部及び微視部のそれぞれについて、差分量（異常度）に基づいて多数の対象物（1）の不良（ＮＧ）判定を行った結果（頻度）も合わせて示している。このように、巨視部及び微視部に分けて不良判定を行うことにより、巨視部の異常度に埋もれてしまいがちな微視部の異常度を評価することが可能になる。

【0046】

尚、図３に示す例では、一次検査部（10）で不良と判定された対象物（1）の画像の巨視部及び微視部の両方について、良品画像との差分を評価したが、これに代えて、巨視部又は微視部の一方について、良品画像との差分を評価してもよい。

【0047】

また、対象物（1）の画像における各微視部の位置認識を、別途準備した機械学習モデルに行わせてもよい。これは、個々の電子部品の寸法精度が良くても、同一部品の基板上での配置が相違すれば、背景となる回路パターンや基板表面の印刷文字なども相違するため、検査範囲となる微視部を人為的に設定することは困難であるためである。同時に、別途準備した学習モデルで位置認識ができないということは、そのこと自体が部品の位置ずれなどの異常を検出していることになる。これらにより、第１の機械学習モデル（21）を用いて微視部の自動認識を行えば、検査精度を向上させることができる。

【0048】

図４は、本実施形態の外観検査システム（100）による外観検査のフロー図である。

【0049】

まず、ステップＳ１において、対象物（1）の全てのコンポーネント（検査対象となる部品、部位）について不良判定が終了しているかどうかを判断する。全てのコンポーネントについて不良判定が終了している場合は、処理を終了する。

【0050】

不良判定が終了していないコンポーネントが有る場合、ステップＳ２において、判定対象となるコンポーネントについて一次検査部（10）（例えば光学的外観検査装置）による不良判定を行う。当該コンポーネントに不良が無ければ、ステップＳ９において、良品判定を行い、ステップＳ１に戻る。当該コンポーネントに不良が有る場合、ステップＳ３において、二次検査部（20）は、一次検査部（10）から、当該コンポーネントを含む対象物（1）の画像を取得する。尚、一次検査部（10）が記憶部を有する場合、二次検査部（20）は、一次検査部（20）からコンポーネント毎に画像を取得するのではなく、一次検査部（20）から全てのコンポーネントについて一括して画像を取得してもよい。

【0051】

対象物（1）の画像を取得した二次検査部（20）は、ステップＳ４において、当該コンポーネントに対応する第１の機械学習モデル（21）の選択（切替え）を行ってもよい。この第１の機械学習モデル（21）の選択については、後記の変形例３で詳述する。

【0052】

次に、二次検査部（20）は、ステップＳ５において、第１の機械学習モデル（21）を用いて、対象物（1）の画像の巨視部に当該コンポーネントの不良（例えば、位置ずれ）が有るかどうか、前述の良品画像との差分に基づき評価し、不良が有れば、ステップＳ８において、不良品判定を行い、ステップＳ１に戻る。ステップＳ５で不良が無ければ、二次検査部（20）は、ステップＳ６において、第１の機械学習モデル（21）を用いて、対象物（1）の画像における当該コンポーネントに関連する微視部（例えば、はんだ接合部）の位置認識を行う。

【0053】

ステップＳ６で微視部の位置認識を行えなかった場合、ステップＳ８において、不良品判定を行い、ステップＳ１に戻る。ステップＳ６で微視部の位置認識を行えた場合、二次検査部（20）は、ステップＳ７において、第１の機械学習モデル（21）を用いて、当該微視部に当該コンポーネントの不良（例えば、はんだ接合不良）が有るかどうか、前述の良品画像との差分に基づき評価し、不良が有れば、ステップＳ８において、不良品判定を行い、ステップＳ１に戻る。ステップＳ７で不良が無ければ、二次検査部（20）は、ステップＳ９において、良品判定を行い、ステップＳ１に戻る。

【0054】

本実施形態では、以上に説明したステップＳ２～Ｓ９の処理が、ステップＳ１で全コンポーネントについて不良判定が終了していると判断されるまで、各コンポーネントに対して繰り返し行われる。

【0055】

－実施形態の効果－
本実施形態によると、一次検査部（10）で不良と判定された対象物（1）の画像に基づき、二次検査部（20）が、第１の機械学習モデル（21）を用いて過判定品かどうかを再判定する。このため、過判定品の発生を抑制できるので、検査の最終段で過判定品かどうかを再検査する工数を削減できるので、過判定品の発生に起因する生産性の低下を抑制することができ、過判定の量が多い場合は特に効果的である。

【0056】

また、再検査は、目視による作業となることが多いが、本実施形態では、これらの作業を担う外観検査要員が単純作業の繰り返しに起因して疲労したり、見過ごしたり、思い込みをしたりすることを抑制できるので、検出力の低下を不断に防ぐこともできる。

【0057】

また、本実施形態において、第１の機械学習モデル（21）に対して、教師データとして良品画像を用いた機械学習を予め行っておき、一次検査部（10）で不良と判定された対象物（1）の画像から、第１の機械学習モデル（21）によって良品画像を生成し、当該良品画像と、不良と判定された対象物（1）の画像との差分に基づいて、真の不良品と過判定品とを分別してもよい。このようにすると、不良と判定された対象物（1）の画像と、対応する良品画像との差分が所定値を超えた場合、真の不良品であると判定することができる。このため、対象物（1）の画像のわずかな変化（位置ずれ等）に過敏にならずに精度良く不良判定を行うことができる。

【0058】

また、本実施形態において、二次検査部（20）は、不良と判定された対象物（1）の画像の巨視部（全体又は大部分）及び／又は微視部（特定部分）のそれぞれについて、第１の機械学習モデル（21）により生成された良品画像との差分を評価してもよい。このようにすると、例えば、部品実装されたプリント基板を対象として、様々な形状の部品を一括して検査する場合に、部品の取付け位置などは、画像の巨視部について良品画像との差分を評価し、リードのはんだ接合部などは、画像の微視部について良品画像との差分を評価することができる。これにより、巨視部に埋没しやすい微視部についても一括して検査できるので、検出力が向上する。

【0059】

（変形例１）
変形例１について図面を参照しながら説明する。図５に示すように、本変形例に係る外観検査システム（100）が、図１に示す前記実施形態と異なっている点は、第２の機械学習モデル（31）を用いて、第１の機械学習モデル（21）の学習用の良品画像を多数生成する学習データ生成部（30）を備えていることである。尚、図５においては、図１に示す前記実施形態と同じ構成要素には同じ符号を付す。

【0060】

第２の機械学習モデル（31）は、例えば図６に示すように、少なくとも輪郭を含む線画情報（例えば、設計図面情報）に基づき、良品画像を生成してもよいし、或いは、例えば図７に示すように、少なくとも１つの実画像に基づき、良品画像を生成してもよい。

【0061】

ところで、電子部品は工業製品であるため、電子部品の寸法、形状、又は組付け先の基板表面は基本的に性状が部品種類ごとに一定であり、部位毎の材質によってテクスチャー（色相、明度、質感など）が定まりやすい。そこで、本変形例において第２の機械学習モデル（31）が線画情報に基づき良品画像を生成する場合、第２の機械学習モデル（31）に対して、線画情報の部位別に与えられたヒント（ラベル）情報からテクスチャーを生成するように予め機械学習を行ってもよい。このようにすると、第２の機械学習モデル（31）により生成されたテクスチャーに所定量に調整されたノイズを付加することにより、実画像に近い良品画像を多数生成することができる。

【0062】

図８は、本変形例の外観検査システム（100）の学習データ生成部（30）による良品画像生成のフロー図の一例である。尚、図８においては、フロー図の各ステップと対応するように、「線画」、「ラベル」、「テクスチャー」、「生成画像」を模式的に示している。

【0063】

まず、ステップＳ１１において、学習データ生成部（30）は、少なくとも輪郭を含む線画情報（元画像）を取得する。

【0064】

次に、ステップＳ１２において、学習データ生成部（30）に対して、線画情報の部位別にラベル情報を与え、第２の機械学習モデル（31）は、当該ラベル情報から部位別にテクスチャーを生成する。予めテクスチャー生成を行っておき、得られたテクスチャーをデータベースＤ１に記憶しておいてもよい。

【0065】

次に、ステップＳ１３において、学習データ生成部（30）は、データベースＤ１に記憶された部位別のテクスチャーを読み出し、読み出したテクスチャーにノイズを付加する。

【0066】

次に、ステップＳ１４において、学習データ生成部（30）は、ノイズを付加した部位別のテクスチャーを組み合わせて良品画像を多数生成し、ステップＳ１５において、生成した良品画像を出力する。出力された良品画像は、例えば、二次検査部（20）又は別の情報処理装置の記憶部に記憶され、これらの良品画像は、前記実施形態で説明した第１の機械学習モデル（21）の機械学習で教師データとして用いられる。

【0067】

－変形例１の効果－
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。

【0068】

本変形例によると、学習データ生成部（30）において、少なくとも輪郭を含む線画情報に基づき、第２の機械学習モデル（31）を用いて、第１の機械学習モデル（21）の学習用の良品画像を多数生成する。このため、第１の機械学習モデル（21）の学習用に、対象物（1）の実画像を多数準備する必要がなくなる。従って、例えば試作前で実物が存在しない状態でも第１の機械学習モデル（21）の学習が可能となるので、例えば実物数の少ない試作品若しくは量産初期の段階での検査品質の向上と、学習完了までの期間の短縮とが可能になる。

【0069】

また、本変形例によると、学習データ生成部（30）において、少なくとも１つの実画像に基づき、第２の機械学習モデル（31）を用いて、第１の機械学習モデル（21）の学習用の良品画像を多数生成する。このため、第１の機械学習モデル（21）の学習用に、対象物の実画像を多数準備する必要がなくなる。言い換えると、少ない実画像を用いて第１の機械学習モデル（21）の学習が可能となる。

【0070】

また、本変形例によると、線画情報の部位（つまり基本的な部品）別に与えられたヒント情報からテクスチャーを生成するように、予め第２の機械学習モデル（31）の学習を行っておくことにより、多数の新機種について第１の機械学習モデル（21）の学習用の良品画像を得ることができる。従って、システムの使用開始時点で第１の機械学習モデル（21）の学習を進めておくことができるので、最終のシステム利用者に対して利便性及び即応性を使用前から保証することができる。

【0071】

一方、学習データ生成部（30）を設けないと、検査対象物が新規である場合や、実物が存在しない場合、第１の機械学習モデル（21）の教師データとなる画像を準備できなかったり、或いは、限られた数量の学習用データしか準備できない。その結果、新機種などで新たに適用される部品に対応できる第１の機械学習モデル（21）の学習を事前に行うことができなかったり、当該学習が不十分になるので、過判定品の再判定精度が低下してしまう。

【0072】

それに対して、前述のように、本変形例では、寸法、形状、規格などが明確な電子部品の線画情報や少ない実画像から複数の教師用画像を生成することが可能であるため、相当量の実物を入手する以前から、第１の機械学習モデル（21）の学習作業を開始することができる。言い換えると、基本的な部品等について第１の機械学習モデル（21）に対して予め学習を行っておくことにより、準備リードタイムに対するユーザーの不安を解消することが可能である。

【0073】

また、工業製品である個々の電子部品の寸法精度は良くても、部品のわずかな位置ずれによって、例えば、溶融金属であるはんだの形状には様々な様態が出現するところ、このようなゆらぎ量に対しても、本変形例の良品画像を用いた学習が行われた第１の機械学習モデル（21）によって、柔軟に不良判定を行うことが可能である。

【0074】

（変形例２）
変形例２について図面を参照しながら説明する。図９に示すように、本変形例に係る外観検査システム（100）が、図１に示す前記実施形態と異なっている点は、第１の機械学習モデル（21）は、検査項目（例えば、巨視部、微視部）に応じて機械学習が行われた複数の学習モデルから構成され、二次検査部（20）は、複数の学習モデルを階層的に組み合わせて用いることである。尚、図９においては、図１に示す前記実施形態と同じ構成要素には同じ符号を付す。

【0075】

本変形例の外観検査システム（100）では、図９に示すように、二次検査部（20）は、一次検査部（10）で不良と判定された対象物（1）の画像（15）を受け取ると、検査項目１～Ｎまで順次、各項目について最適化された学習モデルを用いて不良判定を行う。全ての項目について不良が無かった場合のみ「良品」の判定結果（25）を出力する。

【0076】

－変形例２の効果－
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。すなわち、検査項目に応じて最適に機械学習が行われた複数の学習モデルを階層的に組み合わせて用いることにより、真の不良品と過判定品との分別を精度良く効率的に行うことができる。また、ある項目で不良があった場合は、次の項目の不良判定を行うことをせず、「不良（ＮＧ）」を確定して検査を効率よく完了させることもできる。逆に、対象に応じて１つ又は複数の検査項目を任意に選択できるようにプログラミングしておいて、希望の結果情報を集めるようにすることも可能である。

【0077】

（変形例３）
変形例３について図面を参照しながら説明する。図１０に示すように、本変形例に係る外観検査システム（100）が、図１に示す前記実施形態と異なっている点は、以下の通りである。すなわち、第１の機械学習モデル（21）は、類似形状を持つ対象物をグルーピングしたカテゴリー毎に予め複数用意され、一次検査部（10）は、対象物（1）を撮像した画像から、当該対象物（1）のカテゴリーを判定し、二次検査部（20）は、一次検査部（10）で判定された対象物（1）のカテゴリーに対応する第１の機械学習モデル（21）を用いる。尚、図１０においては、図１に示す前記実施形態と同じ構成要素には同じ符号を付す。

【0078】

本変形例の外観検査システム（100）では、図１０に示すように、二次検査部（20）は、一次検査部（10）で不良と判定された対象物（1）の画像（15）、及び、当該対象物（1）のカテゴリー情報（16）を受け取ると、選択部（22）により、カテゴリー情報（16）に対応する学習モデル（判定モデル）の選択を行い、選択された判定モデルを用いて不良判定を行い、判定結果（25）を出力する。

【0079】

本変形例では、図１０に示すように、コンポーネントグループ１～ＮまでのＮ個のカテゴリーのそれぞれについて、判定モデル１～Ｎが用意されている。また、図１１に示すように、判定モデル１～Ｎのそれぞれは、カテゴリー毎に準備された学習用データ（画像データセット）を用いて予め学習を行うことにより生成される。

【0080】

－変形例３の効果－
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。すなわち、検査される対象物（1）が様々な形状を有する場合に、類似形状を持つ対象物をグルーピングしたカテゴリー毎に第１の機械学習モデル（21）の学習を最適化することができる。従って、真の不良品と過判定品との分別を高精度で行うことができる。

【0081】

《その他の実施形態》
前記実施形態（変形例を含む。以下同じ。）では、多数の電子部品がはんだ付け等で実装されたプリント基板を対象物（1）とした場合を例示したが、対象物（1）が特に限定されないことは言うまでもない。例えば、生鮮野菜を対象物（1）とする出荷検査に、前記実施形態の外観検査システム（100）を用いてもよい。生鮮野菜の出荷検査では、鮮度を表す葉の色合い等の野菜全体に現れる特徴と、生育期間を示す切り株の径等の特定部位に現れる特徴の両方を検査したい場合があるが、前記実施形態の外観検査システム（100）を用いることにより、野菜全体に現れる特徴と特定部位に現れる特徴とをそれぞれ巨視部と微視部とに分けて、精度良く効率的に検査することができる。

【0082】

以上、実施形態及び変形例を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。また、以上の実施形態及び変形例は、本開示の対象の機能を損なわない限り、適宜組み合わせたり、置換したりしてもよい。

【産業上の利用可能性】

【0083】

以上説明したように、本開示は、外観検査システムについて有用である。

【符号の説明】

【0084】

１０ 一次検査部
２０ 二次検査部
２１ 第１の機械学習モデル
３０ 学習データ生成部
３１ 第２の機械学習モデル
１００ 外観検査システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】