特開 2023-77058 外観検査装置及び外観検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023077058

(43)【公開日】2023-06-05

(54)【発明の名称】外観検査装置及び外観検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230529BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021190178

(22)【出願日】2021-11-24

(71)【出願人】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】俵 京佑

(72)【発明者】

【氏名】趙 新亮

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AB02

2G051CA04

2G051EA14

2G051EB10

2G051ED04

(57)【要約】

【課題】実際にワークに想定される様々な欠陥状態を持つ学習用の不良品画像を自然に作り出せるようにして、不良品学習に要する時間を短縮する。
【解決手段】不良品画像の不良箇所を抽出する抽出処理と、抽出処理で抽出された不良箇所を参照画像に貼り付ける貼り付け処理と、貼り付け処理で貼り付けられた不良箇所と参照画像との境界を目立たなくする処理とを実行することにより、新たな不良品画像を生成する。記憶部に予め記憶された良品画像及び不良品画像と、新たな不良品画像とを機械学習ネットワークに学習させて推論モデルを生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査装置であって、
良品に対応する良品画像と、不良品に対応する不良品画像とを記憶する記憶部と、
前記記憶部に予め記憶された前記不良品画像の不良箇所を抽出する抽出処理と、抽出処理で抽出された不良箇所を、ワークを含む参照画像に貼り付ける貼り付け処理と、貼り付け処理で貼り付けられた前記不良箇所と前記参照画像との境界を目立たなくする処理とを実行することにより、新たな不良品画像を生成する画像処理部と、
前記記憶部に予め記憶された良品画像及び不良品画像と、前記画像処理部により生成された新たな不良品画像とを機械学習ネットワークに学習させて推論モデルを生成する学習部と、
前記学習部により生成された推論モデルに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う検査部と、を備える外観検査装置。

【請求項2】

請求項１に記載の外観検査装置において、
前記画像処理部は、前記抽出処理において、前記記憶部に記憶されている不良品画像の特徴量を取得し、周囲の特徴量とは異なる特徴量を有する部位を前記不良箇所として抽出する外観検査装置。

【請求項3】

請求項２に記載の外観検査装置において、
前記画像処理部は、前記抽出処理において、抽出した前記不良箇所の範囲の修正を受け付ける外観検査装置。

【請求項4】

請求項１から３のいずれか１つに記載の外観検査装置において、
前記画像処理部は、前記抽出処理において、前記記憶部に記憶されている不良品画像の中からユーザによる前記不良箇所の選択操作を受け付け、受け付けた選択操作に基づいて前記不良箇所を抽出する外観検査装置。

【請求項5】

請求項１から４のいずれか１つに記載の外観検査装置において、
前記画像処理部は、前記抽出処理で抽出された不良箇所に画像変換を施した状態で当該不良箇所を前記参照画像に貼り付ける外観検査装置。

【請求項6】

請求項１から５のいずれか１つに記載の外観検査装置において、
前記画像処理部は、前記参照画像に含まれるワーク部分を、前記不良箇所の貼り付け対象領域として特定し、特定した前記貼り付け対象領域に前記不良箇所を貼り付け、前記不良箇所の貼り付け処理後、前記不良箇所の前記貼り付け対象領域からはみ出た部分をトリミングするトリミング処理を実行する外観検査装置。

【請求項7】

請求項１から６のいずれか１つに記載の外観検査装置において、
前記画像処理部が生成した新たな不良品画像を表示部に表示させる表示制御部を更に備えている外観検査装置。

【請求項8】

請求項１から７のいずれか１つに記載の外観検査装置において、
前記画像処理部は、当該画像処理部が生成した新たな不良品画像に、不良品のワークを撮影した不良品画像と区別するための識別情報を付与する外観検査装置。

【請求項9】

請求項８に記載の外観検査装置において、
前記学習部は、前記識別情報が付与された前記不良品画像を学習対象から除外して不良品学習が可能に構成されている外観検査装置。

【請求項10】

請求項８または９に記載の外観検査装置において、
前記学習部は、前記識別情報が付与された前記不良品画像による学習の重みを、不良品のワークを撮影した不良品画像による学習の重みに比べて軽くすることが可能に構成されている外観検査装置。

【請求項11】

請求項１から５のいずれか１つに記載の外観検査装置において、
前記画像処理部は、所定の拘束条件にしたがって、前記参照画像に含まれるワーク部分に対し、不良箇所を貼り付ける外観検査装置。

【請求項12】

機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査方法であって、
良品に対応する良品画像と、不良品に対応する不良品画像とを記憶する記憶ステップと、
前記記憶ステップで予め記憶された前記不良品画像の不良箇所を抽出する抽出処理と、抽出処理で抽出された不良箇所を、ワークを含む参照画像に貼り付ける貼り付け処理と、貼り付け処理で貼り付けられた前記不良箇所と前記参照画像との境界を目立たなくするぼかし処理とを実行することにより、新たな不良品画像を生成する画像処理ステップと、
前記記憶ステップで予め記憶された良品画像及び不良品画像と、前記画像処理ステップで生成された新たな不良品画像とを機械学習ネットワークに学習させて推論モデルを生成する学習ステップと、
前記学習ステップで生成された推論モデルに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う検査ステップと、を備える外観検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワークの外観を検査する外観検査装置及び外観検査方法に関する。

【背景技術】

【0002】

例えば特許文献１には、コンピュータによる機械学習を用いて、ワークが良品であるか不良品であるかの判定を行う処理装置が開示されている。特許文献１の処理装置は、良品データを対象とした教師ありの機械学習を行って良品学習モデルを生成するとともに、不良品データを対象とした教師ありの機械学習を行って不良品学習モデルを生成した後、判定対象となるワークのデータを入力し、良品学習モデル及び不良品学習モデルによってワークが良品であるか不良品であるかの判定が行えるように構成されており、このような装置はワークの外観検査装置とも呼ばれている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２０４３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、不良品データを対象とした教師あり学習を行う場合、例えば数十枚、数百枚の不良品画像が必要になる。しかし、ワークの生産現場では不良品が殆ど発生しないのでこれほどの枚数の不良品画像を収集しようとすると、長い時間がかかる。そこで、良品データを対象とした良品学習が解決手段として想定されるが、良品データのみで学習した機械学習ネットワークの場合、不良品の検出能力が不足し、難易度の高い検査では不良品学習に比べて性能が劣るので、不良品学習を行いたい。

【0005】

このことに対して、学習用の不良品画像を外観検査装置の内部で作り出せるようにすれば、比較的短い時間で多数の不良品画像を取得することができる。ところが、外観検査装置の内部で不良品画像を作り出すといっても、例えば、画像のコントラスト変換、単純な回転、縦横比を変化させる単純な変形等に留まり、幅広い不良品画像を作り出すことは困難であった。具体的には、例えばワークの「割れ」の検出を行う推論モデルを生成する場合を想定すると、実際のワークでは「割れ」の形状や位置、大きさが様々に想定されるので、幅広い不良品画像が要求されるのであるが、単にコントラストを変換した画像、回転した画像、縦横比を変化させた画像等では、対応が困難であった。

【0006】

本開示は、かかる点に鑑みたものであり、その目的とするところは、実際にワークに想定される様々な欠陥状態を持つ学習用の不良品画像を自然に作り出せるようにして、不良品学習に要する時間を短縮することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の一態様では、機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査装置を前提することができる。外観検査装置は、良品に対応する良品画像と、不良品に対応する不良品画像とを記憶する記憶部と、前記記憶部に予め記憶された前記不良品画像の不良箇所を抽出する抽出処理と、抽出処理で抽出された不良箇所を、ワークを含む参照画像に貼り付ける貼り付け処理と、貼り付け処理で貼り付けられた前記不良箇所と前記参照画像との境界を目立たなくする処理とを実行することにより、新たな不良品画像を生成する画像処理部と、前記記憶部に予め記憶された良品画像及び不良品画像と、前記画像処理部により生成された新たな不良品画像とを機械学習ネットワークに学習させて推論モデルを生成する学習部とを備えている。さらに、外観検査装置は、前記学習部により生成された推論モデルに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う検査部も備えている。

【0008】

この構成によれば、不良品画像が有する不良箇所が抽出されると、抽出された不良箇所が参照画像に貼り付けられる。不良箇所を貼り付ける参照画像は、良品画像であってもよいし、不良品画像であってもい。これにより、不良箇所を有する不良品画像が新たに生成される。新たに生成された不良品画像では、貼り付けられた不良箇所と参照画像との境界が目立たなくなっているので、自然な不良品画像となる。これを繰り返すことで、実際にワークに想定される様々な欠陥状態を持つ学習用の不良品画像を複数取得できる。

【0009】

新たな不良品画像と、記憶部に予め記憶された良品画像及び不良品画像とを機械学習ネットワークに学習させることで、不良品の検出能力の高い推論モデルが生成される。よって、外観検査性能を高めることができる。

【0010】

他の態様に係る画像処理部は、前記抽出処理において、前記記憶部に記憶されている不良品画像の特徴量を取得し、周囲の特徴量とは異なる特徴量を有する部位を前記不良箇所として抽出することができる。

【0011】

この構成によれば、記憶部に記憶されている不良品画像の不良箇所が自動的に抽出されるので、ユーザの手間を省くことができる。

【0012】

他の態様に係る画像処理部は、前記抽出処理において、抽出した前記不良箇所の範囲の修正を受け付けることができる。

【0013】

すなわち、不良品画像の特徴量に基づいて自動的に抽出された不良箇所の範囲が誤っている場合が想定される。この場合には、ユーザが不良箇所の範囲の修正を行うと、その修正が受け付けられるので、不良箇所の範囲を適切に設定できる。

【0014】

他の態様に係る画像処理部は、前記抽出処理において、前記記憶部に記憶されている不良品画像の中からユーザによる前記不良箇所の選択操作を受け付け、受け付けた選択操作に基づいて前記不良箇所を抽出することができる。

【0015】

すなわち、不良品画像や不良箇所によっては、特徴量に基づく抽出が困難なケースも想定される。このような場合には、ユーザが不良品画像の中から不良箇所を選択すると、選択した不良箇所を抽出することができるので、不良箇所が誤って抽出され難くなる。

【0016】

他の態様に係る画像処理部は、前記抽出処理で抽出された不良箇所に画像変換を施した状態で当該不良箇所を前記参照画像に貼り付けることができる。

【0017】

この構成によれば、不良品画像全体のコントラストを変えたり、回転させたりするのではなく、不良箇所のみに対して画像変換を施すので、生成する新たな不良品画像のバリエーションを大幅に増やすことができる。

【0018】

他の態様に係る画像処理部は、前記参照画像に含まれるワーク部分を、前記不良箇所の貼り付け対象領域として特定し、特定した前記貼り付け対象領域に前記不良箇所を貼り付けることができるので、学習に適した不良品画像を生成できる。また、前記不良箇所の貼り付け処理後、前記不良箇所の前記貼り付け対象領域からはみ出た部分をトリミングするトリミング処理を実行することができる。

【0019】

この構成によれば、ワーク部分の外に不良箇所が位置するといった不自然な不良品画像が生成されなくなるので、学習の精度を高めることができる。

【0020】

他の態様に係る画像処理部が生成した新たな不良品画像を表示部に表示させる表示制御部を更に備えているので、不良箇所の貼り付け及びぼかし処理によってどのような不良品画像が生成されているかをユーザが見て確認できる。その結果、違和感のある画像であれば、学習に用いない等、ユーザが学習に使用するか否かを決定できる。

【0021】

他の態様に係る画像処理部は、当該画像処理部が生成した新たな不良品画像に、不良品のワークを撮影した不良品画像と区別するための識別情報を付与することができる。
この構成によれば、画像処理部が生成した不良品画像と、不良品のワークを撮影した不良品画像とを区別できるので、例えば、不良品のワークを撮影した不良品画像が多く蓄積された段階で、画像処理部が生成した不良品画像を学習対象から除外できる。また、画像処理部が生成した不良品画像を学習する際、不良品のワークを撮影した不良品画像に比べて学習の重みを軽くすることもできる。

【発明の効果】

【0022】

以上説明したように、不良品画像から抽出された不良箇所を参照画像に貼り付けた後、不良箇所と参照画像との境界を目立たなくすることにより、実際にワークに想定される様々な欠陥状態を持つ新たな不良品画像を自然に作り出すことができる。そして、新たな不良品画像と、記憶部に予め記憶された良品画像及び不良品画像とを機械学習ネットワークに学習させることで、不良品の検出能力の高い推論モデルを短時間で生成できる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る外観検査装置の構成を示す模式図である。

【図2】前記外観検査装置のハードウエア構成を示すブロック図である。

【図3】学習処理の手順の一例を示すフローチャートである。

【図4】不良品画像の内部生成処理の手順の一例を示すフローチャートである。

【図5】ＦＩＧ．５Ａは実際の不良品を撮影した不良品画像を示し、ＦＩＧ．５Ｂは不良品画像から不良箇所を抽出した画像を示す。

【図6】ＦＩＧ．６Ａは参照画像を示し、ＦＩＧ．６Ｂは貼り付け対象領域を特定した画像を示す。

【図7】ＦＩＧ．７Ａはドーナツ状の不良品画像の例を示し、ＦＩＧ．７Ｂ、７Ｃは不良箇所を貼り付けた様子を示す図である。

【図8】ＦＩＧ．８Ａは長い形状の不良品画像の例を示し、ＦＩＧ．８Ｂ、８Ｃは不良箇所を貼り付けた様子を示す図である。

【図9】ＦＩＧ．９Ａは複雑な形状の不良品画像の例を示し、ＦＩＧ．９Ｂ、９Ｃは不良箇所を貼り付けた様子を示す図である。

【図10】ＦＩＧ．１０Ａは不良箇所を貼り付け対象領域内に貼り付けた様子を示し、ＦＩＧ．１０Ｂは不良箇所を貼り付け対象領域からはみ出した状態で貼り付けた様子を示す。

【図11】外観検査装置の運用時の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0025】

図１は、本発明の実施形態に係る外観検査装置１の構成を示す模式図である。外観検査装置１は、例えば各種部品や製品等のような検査対象であるワークを撮像して取得されたワーク画像の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。具体的には、外観検査装置１の内部には機械学習ネットワークが構築されている。生成された機械学習ネットワークに、検査対象のワークを撮像したワーク画像を入力し、当該ワーク画像の良否判定を機械学習ネットワークによって行うことができるようになっている。

【0026】

ワークは、それ全体が検査対象であってもよいし、ワークの一部のみが検査対象であってもよい。また、１つのワークに複数の検査対象が含まれていてもよい。また、ワーク画像には、複数のワークが含まれていてもよい。

【0027】

外観検査装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示部）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ５を使用して各種情報や画像を表示させることもできるし、パーソナルコンピュータ５の機能を制御ユニット２に組み込むことや、表示装置４に組み込むことができる。

【0028】

図１では、外観検査装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。

【0029】

（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３を備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。

【0030】

照明モジュール１５は、ワークを含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５１と、ＬＥＤ１５１を制御するＬＥＤドライバ１５２とを備えている。ＬＥＤ１５１による発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５２によって任意に制御することができる。ＬＥＤ１５１は、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。

【0031】

（表示装置４の構成）
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有している。制御ユニット２から出力されたワーク画像やユーザーインターフェース画像等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。

【0032】

（操作機器）
外観検査装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。

【0033】

キーボード５１やマウス５２のユーザによる操作は制御ユニット２で検出可能になっている。また、タッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、ユーザのタッチ操作は制御ユニット２で検出可能になっている。他のポインティングデバイスを用いた場合も同様である。

【0034】

（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、プロセッサ１３ａが設けられている。プロセッサ１３ａは、接続されている各基板及びモジュールの動作を制御する。例えば、プロセッサ１３ａは、照明モジュール１５のＬＥＤドライバ１５２に対してＬＥＤ１５１の点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５２は、プロセッサ１３ａからの照明制御信号に応じて、ＬＥＤ１５１の点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５１の光量等を調整する。

【0035】

また、プロセッサ１３ａは、カメラモジュール１４の撮像基板１４２に、ＣＭＯＳセンサ１４３を制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４３は、プロセッサ１３ａからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、プロセッサ１３ａから出力される撮像制御信号に応じてＣＭＯＳセンサ１４３の視野範囲内を撮像し、視野範囲内にワークがあれば、ワークを撮像することになるが、ワーク以外の物が視野範囲内にあれば、それも撮像することができる。例えば、外観検査装置１は、機械学習ネットワークの学習用の画像として、撮像ユニット３により、良品に対応する良品画像と不良品に対応する不良品画像とを撮像することができる。学習用の画像は、撮像ユニット３で撮像された画像でなくてもよく、他のカメラ等で撮像された画像であってもよい。

【0036】

一方、外観検査装置の運用時には、撮像ユニット３により、ワークを撮像することができる。また、ＣＭＯＳセンサ１４３は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。

【0037】

ＣＭＯＳセンサ１４３による撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のプロセッサ１３ａに入力されて処理されるとともに、メイン基板１３のメモリ１３ｂに記憶されるようになっている。メイン基板１３のプロセッサ１３ａによる具体的な処理内容の詳細については後述する。尚、メイン基板１３には、ＦＰＧＡやＤＳＰ等の処理装置が設けられていてもよい。ＦＰＧＡやＤＳＰ等の処理装置が統合されたプロセッサ１３ａであってもよい。

【0038】

メイン基板１３には、表示制御部１３ｃが設けられている。表示制御部１３ｃは、表示画面を生成するとともに、表示装置４を制御し、表示画面を表示装置４に表示させる部分である。表示制御部１３ｃの具体的な動作については後述する。

【0039】

コネクタ基板１６は、電源インターフェース１６１に設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４１に駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３のプロセッサ１３ａからのＡＦ制御信号に応じて、ＡＦ用モータ１４１に供給する電力を調整する。

【0040】

通信基板１７は、メイン基板１３と表示装置４及びパーソナルコンピュータ５との通信、メイン基板１３と外部制御機器（図示せず）との通信等を実行する部分である。外部制御機器は、例えばプログラマブルロジックコントローラ等を挙げることができる。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。

【0041】

制御ユニット２には、例えばソリッドステートドライブ、ハードディスクドライブ等からなる記憶装置（記憶部）１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。プログラムファイル８０は、外部サーバから通信回線を利用してダウンロードされるものであってもよい。また、記憶装置１９には、例えば、上記画像データ等を記憶させておくこともできるし、後述する学習処理後に得られた推論モデルを構築するためのパラメータ等も記憶させておくことができる。

【0042】

図２では、記憶装置１９が制御ユニット２と一体化されたものとして表現しているが、記憶装置１９は制御ユニット２とは別体のものであってもよい。そのような記憶装置１９の例としては、ネットワーク対応ストレージ（ＮＡＳ：Network Attached Storage）等を挙げることができる。ＮＳＡと制御ユニット２とは有線ＬＡＮや無線ＬＡＮ等の通信回線によって接続される。

【0043】

すなわち、外観検査装置１では、学習用の画像を使用して機械学習ネットワークを学習させることで、機械学習ネットワークのパラメータが調整されて推論モデルが生成される。推論モデルに検査対象のワークを撮影したワーク画像を入力し、入力されたワーク画像に基づいてワークの良否判定を行うことができる。この外観検査装置１を使用することで、ワーク画像に基づいてワークの良否判定を行う外観検査方法を実行できる。

【0044】

（プロセッサの構成）
図２に示すように、プロセッサ１３ａには、画像処理部１３ｄ、学習部１３ｅ及び検査部１３ｆが設けられている。画像処理部１３ｄ、学習部１３ｅ及び検査部１３ｆは、ハードウエアで構成された部分であってもよいし、ソフトウエアを実行することによって構成される部分であってもよい。また、画像処理部１３ｄ、学習部１３ｅ及び検査部１３ｆは、必ずしもメイン基板１３に設けられていなくてもよく、これらの一部または全部がメイン基板１３以外の基板に設けられていてもよい。

【0045】

各部の詳細については後述するが、概略は以下のとおりである。画像処理部１３ｄは後述する不良品画像を内部生成する部分である。また、学習部１３ｅは、機械学習ネットワークに学習用データを入力して学習させ、入力画像の良否判定を行うための推論モデルを生成する部分である。学習部１３ｅは、例えば制御ユニット２とは別の学習用計算機で構成されていてもよい。学習用計算機は、機械学習を高速で行うことが可能に構成されている。学習用計算機と制御ユニット２とを通信可能に接続しておくことで、学習用計算機で生成された推論モデルを構築するパラメータを記憶装置１９に送信して記憶させることができる。これにより、制御ユニット２に推論モデルを構築できる。検査部１３ｆは、ワーク画像を推論モデルに入力してワークの良否判定を行う部分である。

【0046】

（学習処理）
次に、機械学習ネットワークの学習処理について具体的に説明する。学習の種類として、不良品画像を学習させる不良品学習と、良品画像を学習させる良品学習とがある。ワークの生産現場では良品が殆どを占めているので、良品学習用の良品画像を多くする収集するのは容易であるが、良品画像のみで学習した機械学習ネットワークの場合、不良品の検出能力が不足し、難易度の高い検査では不良品学習に比べて性能が劣るので、不良品学習を行いたいという要求がある。ところが、ワークの生産現場では不良品の発生数は極めて少ないので、学習用の不良品画像を短時間で収集するのは困難である。本実施形態では、外観検査装置１の内部でバリエーションの豊富な不良品画像を自然に、しかも多数作り出すことができるように構成されている。以下、詳述する。

【0047】

図３のフローチャートは、学習処理の手順の一例を示している。スタート後のステップＳＡ１では、学習部１３ｅが、未学習の機械学習ネットワークを用意する。未学習の機械学習ネットワークは、例えば、パラメータの初期値が無作為に決定されたものである。ステップＳＡ２では、機械学習ネットワークの学習に用いる学習用の良品画像と不良品画像とを記憶装置１９に記憶させる。このステップＳＡ２が記憶ステップである。記憶ステップは、ステップＳＡ１よりも前にユーザにより実行されてもよい。また、学習用の良品画像と不良品画像は、ユーザが事前にワークを撮影して蓄積していた画像であってもよいし、学習のために新たにワークを撮像して取得した画像であってもよいし、外観検査装置１の運用中に撮像ユニット３で取得された画像であってもよい。また、記憶装置１９以外の記憶装置（図示せず）に記憶されている良品画像及び不良品画像を、学習用の良品画像及び不良品画像として使用することもできる。

【0048】

不良品画像には、アノテーションを実行しておく。すなわち、不良品画像に、不良品画像であることを明示する処理、不良品画像の不良箇所を指定する処理等をユーザが事前に行っておく。アノテーションによって付与された情報は、該当する不良品画像と関連付けられた状態で記憶装置１９に記憶されている。

【0049】

その後、ステップＳＡ３に進む。ステップＳＡ３では、不良品画像の内部生成処理が必要であるか否かを判定する。不良品画像の内部生成処理とは、詳細は後述するが、既存の不良品画像を使用して別の不良品画像を外観検査装置１の内部で作り出す処理のことである。ステップＳＡ３の判定はユーザが行うことができる。例えば、不良品画像が１枚、または数枚程度しか収集できなかった場合には、不良品学習のための不良品画像の数が十分ではないので、ユーザは、不良品画像の内部生成処理が必要であると判定する。一方、不良品学習のための不良品画像の数が数十枚、数百枚程度収集されているのであれば、不良品学習のための不良品画像の数が十分であるので、ユーザは、不良品画像の内部生成処理が不要であると判定する。ユーザは、不良品画像の内部生成処理の要否をマウス５２等の操作機器を使用して入力できる。例えば、表示制御部１３ｃが、不良品画像の内部生成処理の要否選択が可能なユーザーインターフェース画面を生成して表示装置４に表示させることで、ユーザは不良品画像の内部生成処理の要否を容易に入力できる。ユーザによる入力は、学習部１３ｅで受け付けられるので、外観検査装置１の内部では学習部１３ｅがステップＳＡ３を判定しているとして扱うことができる。

【0050】

ステップＳＡ３でＹＥＳと判定されて不良品画像の内部生成処理が必要な場合には、ステップＳＡ４に進む一方、ステップＳＡ３でＮＯと判定されて不良品画像の内部生成処理が不要な場合には、ステップＳＡ５に進む。

【0051】

ステップＳＡ４では、学習用の不良品画像の数を増やすべく、不良品画像の内部生成処理を実行する。内部生成処理の手順の一例は、図４に示すフローチャートに示している。図４に示すフローチャートは、図３に示すフローチャートのステップＳＡ３でＹＥＳと判定されるとスタートする。図４のフローチャートのスタート後のステップＳＢ１では、学習部１３ｅが記憶装置１９に記憶されている良品画像及び不良品画像を読み出し、学習部１３ｅが読み出した良品画像及び不良品画像を表示制御部１３ｃが表示装置４に表示させる。表示装置４に表示させる画像の数は何枚であってもよいが、不良品画像については全てを表示させることが可能である。この場合、不良品画像を一覧形式で表示させることができる。これにより、様々な不良箇所をユーザに提示することができる。

【0052】

ステップＳＢ２では、ユーザによる不良品画像の選択を学習部１３ｅが受け付ける。例えば、前のステップＳＢ１において、表示制御部１３ｃが、不良品画像を一覧形式で表示可能なユーザーインターフェース画面を生成し、表示装置４に表示させる。そのユーザーインターフェース画面に選択ボタン等を組み込み、ユーザによるマウス５２等の操作により、所望の不良品画像を選択可能にしておく。学習部１３ｅはユーザの選択操作を検出すると、選択操作に対応する不良品画像が選択されたものとして一時的に記憶する。

【0053】

また、ステップＳＢ３では、ユーザによる参照画像の選択を学習部１３ｅが受け付ける。参照画像とは、内部生成の際に利用する元となる画像であり、多くの場合は良品画像が適しているが、不良品画像を利用してもよい。例えば、ステップＳＢ１で表示されているユーザーインターフェース画面に選択ボタン等を組み込み、ユーザによるマウス５２等の操作により、所望の画像を選択可能にしておく。学習部１３ｅはユーザの選択操作を検出すると、選択操作に対応する画像が選択されたものとして一時的に記憶する。ステップＳＢ２とステップＳＢ３の順番は入れ替わってもよい。

【0054】

ステップＳＢ４では、画像処理部１３ｄが、ステップＳＢ２で選択された不良品画像を読み込み、当該不良画像の不良箇所を抽出する抽出処理を実行する。不良箇所の抽出は、ルールベースのアルゴリズムを利用して行ってもよいし、ユーザが手動で行ってもよい。画像処理部１３ｄは、不良箇所の抽出処理において、不良品画像の特徴量を取得し、周囲の特徴量とは異なる特徴量を有する部位を不良箇所として抽出するアルゴリズムを実行する。

【0055】

以下、図５に基づいて不良箇所の抽出処理の具体例を説明する。図５のＦＩＧ．５Ａに、ステップＳＢ２で選択された不良品画像２００を示している。不良品画像２００は、不良箇所Ｗ１を有するワークＷを撮像することによって取得されたものである。図５のＦＩＧ．５Ｂは、不良品画像２００に対してルールベースのアルゴリズムを利用して不良箇所Ｗ１を抽出した抽出画像２０１である。不良箇所Ｗ１のみを抽出するアルゴリズムの例としては、例えば色抽出アルゴリズム、ＧｒａｂＣｕｔアルゴリズム等を挙げることができるが、これらに限られるものではなく、他のアルゴリズムも利用可能である。

【0056】

色抽出アルゴリズムの場合、ユーザが不良品画像２００上で不良箇所Ｗ１に対応する色を指定すると、その色を持った領域を不良箇所Ｗ１として自動抽出する。また、ＧｒａｂＣｕｔアルゴリズムの場合、ユーザが不良品画像２００上で不良箇所Ｗ１及びと当該不良箇所Ｗ１の周囲とを囲むと、その領域が指定され、指定された領域内で当該不良箇所Ｗ１を自動抽出する。つまり、画像処理部１３ｄは、抽出処理において、不良品画像２００の中からユーザによる不良箇所Ｗ１の選択操作を受け付け、受け付けた選択操作に基づいて不良箇所Ｗ１を抽出する。

【0057】

その後、ステップＳＢ５では、画像処理部１３ｄが、ステップＳＢ４抽出した不良箇所Ｗ１の範囲の修正を受け付ける。色抽出アルゴリズムで色抽出した領域が不良箇所Ｗ１よりも大幅に広い領域である場合や狭い領域である場合には、ユーザが色指定をし直したり、閾値変更等の修正を行う。この修正を画像処理部１３ｄが受け付けると、不良箇所Ｗ１が抽出し直される。ＧｒａｂＣｕｔアルゴリズムの場合、ストローク修正を行うか、クリック修正を行うことにより、前景背景をユーザが細かく指定していき、その都度、不良箇所Ｗ１が抽出し直される。

【0058】

また、ユーザが不良品画像２００上で不良箇所Ｗ１を手動で抽出する場合、例えばマウス５２によって不良箇所Ｗ１を囲む操作、不良箇所Ｗ１を塗りつぶす操作等を挙げることができる。例えば、フリーハンドツール等を使用して不良箇所Ｗ１を囲む枠を生成し、この枠によって不良箇所Ｗ１を抽出できる。この場合、画像処理部１３ｄは、囲まれた領域または塗りつぶされた領域が不良箇所Ｗ１であるとして抽出する。

【0059】

また、ＡＩ Ａｓｓｉｓｔｅｄ指定によって不良箇所Ｗ１を抽出してもよい。ＡＩ Ａｓｓｉｓｔｅｄ指定の場合、不良箇所Ｗ１の輪郭を大まかに指定して抽出した後、その抽出箇所の内部をＦｉｌｌツール等で指定する。これにより、不良箇所Ｗ１を自動抽出することができる。不良箇所Ｗ１を自動抽出した後、微修正することも可能である。

【0060】

不良箇所Ｗ１が狙い通りに抽出されたことをユーザが確認して次に進む操作を行うと、ステップＳＢ６に進む。ステップＳＢ６では、画像処理部１３ｄがステップＳＢ４及びＳＢ５で抽出された不良箇所Ｗ１に後述する画像変換処理を施すか否かを判定する。例えば、画像変換処理の適用／非適用を選択するためのユーザーインターフェース画面を画像処理部１３ｄが生成し、生成されたユーザーインターフェース画面を表示制御部１３ｃが表示装置４に表示させる。ユーザは、マウス５２等の操作により、ユーザーインターフェース画面上で画像変換処理の適用／非適用を選択する。画像処理部１３ｄは、「適用」が選択されたことを検出すると、ステップＳＢ７に進む一方、「非適用」が選択されたことを検出すると、ステップＳＢ８に進む。

【0061】

ステップＳＢ７では、画像処理部１３ｄが、ステップＳＢ４及びＳＢ５で抽出された不良箇所Ｗ１に画像変換処理を施す。画像変換処理としては、例えば不良箇所Ｗ１の縦横比（アスペクト比）を変更するアスペクト比変更処理、不良箇所Ｗ１を回転させる回転処理、不良箇所Ｗ１を横方向（Ｘ方向）や縦方向（Ｙ方向）に移動させる移動処理、不良箇所Ｗ１のコントラストを変換するコントラスト変換処理、不良箇所Ｗ１の色の変更する色変更処理等を挙げることができるが、これらに限られるものではなく、他の画像変換処理を適用してもよい。また、不良箇所Ｗ１に対し、任意の複数の画像変換処理を任意の順番で施してもよい。ステップＳＢ７を経ることで、画像変換を施した状態の不良箇所Ｗ１を参照画像に貼り付けることができる。

【0062】

どの画像変換処理を施すかについては、ユーザによる選択を可能にすることもできる。例えば、画像変換処理を選択するためのユーザーインターフェース画面を画像処理部１３ｄが生成し、生成されたユーザーインターフェース画面を表示制御部１３ｃが表示装置４に表示させる。ユーザは、マウス５２等の操作により、ユーザーインターフェース画面上で所望の画像変換処理を選択すると、画像処理部１３ｄはそのことを検出し、検出した画像変換処理を不良箇所Ｗ１に施す。また、どの画像変換処理を施すかについては、外観検査装置１が自動的に設定してもよい。尚、ステップＳＢ６及びＳＢ７を省略してもよい。

【0063】

ステップＳＢ７の後、またはステップＳＢ６でＮＯと判定された後にステップＳＢ８に進む。ステップＳＢ８では、抽出された不良箇所Ｗ１を貼り付けるための貼り付け対象領域を参照画像の中から特定する。例えば、図６のＦＩＧ．６Ａに示すような参照画像２０２が選択されたとする。この参照画像２０２は良品のワークＷを含む良品画像である。図６のＦＩＧ．６Ｂは、貼り付け対象領域２０３を特定した後の領域特定画像２０４である。貼り付け対象領域２０３は、ＦＩＧ．６Ａに示す参照画像２０２に含まれるワークＷ部分を抽出することによって特定されている。ワークＷ部分を抽出する手法は、従来から画像処理の技術分野で用いられている手法を適用可能である。ＦＩＧ．６Ｂでは、貼り付け対象領域２０３をその他の領域と区別するために、２値化マスク画像とし、白部分が貼り付け対象領域２０３、黒部分がその他の領域としている。

【0064】

その後、ステップＳＢ９に進み、不良箇所Ｗ１を貼り付け対象領域２０３に貼り付けるときに後述するルールを適用するか否かを判定する。例えば、ルールの適用／非適用を選択するためのユーザーインターフェース画面を画像処理部１３ｄが生成し、生成されたユーザーインターフェース画面を表示制御部１３ｃが表示装置４に表示させる。ユーザは、マウス５２等の操作により、ユーザーインターフェース画面上でルールの適用／非適用を選択する。画像処理部１３ｄは、「適用」が選択されたことを検出すると、ステップＳＢ１０に進む一方、「非適用」が選択されたことを検出すると、ステップＳＢ１１に進む。

【0065】

ステップＳＢ１０では、不良箇所Ｗ１を貼り付け対象領域２０３に貼り付けるときにルールを適用して貼り付ける貼り付け処理を実行する。ルールとは、例えば貼り付け対象領域２０３に不良箇所Ｗ１を貼り付けるといったルールを挙げることができ、例えば図７のＦＩＧ．７Ａに示すような不良品画像２００が選択され、ドーナツ状のワークＷが検査対象であったとする。この場合、不良箇所Ｗ１は、ワークＷの周方向のどこかに存在することは既知である。従って、図７のＦＩＧ．７Ｂ及び７Ｃに示すように、貼り付け対象領域２０３を特定した後の画像２０４上で、不良箇所Ｗ１をワークＷの周方向に対応する方向移動させて貼り付ける。つまり、不良箇所Ｗ１の貼り付け位置について周方向の拘束（所定の拘束条件の例）を加える。

【0066】

また、例えば図８のＦＩＧ．８Ａに示すような不良品画像２００が選択され、直線状のワークＷが検査対象であったとする。この場合、不良箇所Ｗ１は、ワークＷの長手方向のどこかに存在することは既知である。従って、図８のＦＩＧ．８Ｂ及び８Ｃに示すように、貼り付け対象領域２０３を特定した後の画像２０４上で、不良箇所Ｗ１をワークＷの長手方向に対応する方向移動させて貼り付ける。つまり、不良箇所Ｗ１の貼り付け位置について長手方向の拘束（所定の拘束条件の例）を加える。

【0067】

また、例えば図９のＦＩＧ．９Ａに示すような不良品画像２００が選択され、複雑な形状の環状ワークＷが検査対象であったとする。この場合、不良箇所Ｗ１は、ワークＷのどこかであるが、図７や図８に示す場合のように単純に特定するのは難しい。よって、例えば、ワークＷの外周部のエッジと内周部のエッジとを検出してワークＷを特定し、検出したエッジの法線方向を求めて不良箇所Ｗ１を法線方向に移動させて貼り付ける。

【0068】

例えば図１０のＦＩＧ．１０Ａに示すように、不良箇所Ｗ１を貼り付け対象領域２０３であるワークＷに対応する部分に対して無作為に貼り付けてもよい。不良箇所Ｗ１を無作為に貼り付けると、図１０のＦＩＧ．１０Ｂに示すように、不良箇所Ｗ１の一部が貼り付け対象領域２０３であるワークＷに対応する部分からはみ出ることが考えられるが、はみ出た部分は後述するトリミング処理でトリミングすればよい。

【0069】

上記ステップＳＢ９でルールを適用しないと判定されて進んだステップＳＢ１１では、ユーザが不良箇所Ｗ１を貼り付け対象領域２０３に貼り付ける。例えば、ユーザがマウス５２等を操作して不良箇所Ｗ１の貼り付け位置を選択した後、貼り付け確定操作を行うことで、ユーザが所望する位置に不良箇所Ｗ１を貼り付けることができる。ステップＳＢ１１において、不良箇所Ｗ１を貼り付け対象領域２０３に対して無作為に貼り付けてもよい。

【0070】

不良箇所の貼り付け処理後、ステップＳＢ１２では、不良箇所Ｗ１の貼り付け対象領域２０３からはみ出た部分（図１０のＦＩＧ．１０Ｂに示す）をトリミングするトリミング処理を実行する。具体的には、画像処理部１３ｄは、貼り付け対象領域２０３の大きさ、形状及び位置を示す情報を取得するとともに、貼り付けられた不良箇所Ｗ１の大きさ、形状及び位置を示す情報を取得する。取得した情報に基づいて、不良箇所Ｗ１の全体が貼り付け対象領域２０３の内方に位置するか否かを判定する。不良箇所Ｗ１の全体が貼り付け対象領域２０３の内方に位置する場合にはトリミング処理が不要と判定する。一方、不良箇所Ｗ１の一部が貼り付け対象領域２０３の外方に位置する場合には、その外方に位置する部分がはみ出た部分であるとし、当該部分をトリミングする。これにより、内部生成した不良品画像が実際のワークの不良状態を反映したものになるので、学習効率が向上する。

【0071】

ステップＳＢ１３では、ステップＳＢ１０及びＳＢ１１の貼り付け処理で貼り付けられた不良箇所Ｗ１と参照画像２０２との境界を目立たなくする処理を画像処理部１３ｄが実行する。すなわち、不良箇所Ｗ１を抽出した画像と、参照画像２０２とは異なる画像なので、不良箇所Ｗ１を参照画像２０２に貼り付けただけでは、不良箇所Ｗ１と参照画像２０２との境界が目立ってしまう場合がある。また、不良箇所Ｗ１が抽出された位置と、不良箇所Ｗ１を貼り付ける位置とは異なっているので、このことによっても不良箇所Ｗ１と参照画像２０２との境界が目立ってしまう場合がある。境界が目立ってしまうと、学習用の画像としては好ましくない。よって、ステップＳＢ１３のぼかし処理を実行する。目立たなくする処理としては、例えばぼかし処理等がある。

【0072】

ぼかし処理としては、例えばＧＡＮ（敵対的生成ネットワーク）、Deep Image Harmonization、あるいはその他のルールベース処理等を挙げることができ、どのようなぼかし処理であってもよい。ぼかし処理は、いわゆるディープラーニングのHarmonize処理ともいう。ぼかし処理を実行することで、不良箇所Ｗ１の縁の部分が参照画像２０２にきれいになじむ。以上のようにして、画像処理部１３ｄが新たな不良品画像を内部生成する。この内部生成処理が画像処理ステップである。内部生成された不良品画像は、例えば記憶装置１９に記憶させておくことができる。

【0073】

ステップＳＢ１０～ＳＢ１３は複数回実行される。このとき、不良箇所Ｗ１の貼り付け位置が画像ごとに異なるようにする。これにより、不良箇所Ｗ１の貼り付け位置が互いに異なる複数の不良品画像を内部生成できる。また、画像変換が異なる不良箇所Ｗ１を参照画像に貼り付けるようにしてもよい。これにより、異なる不良箇所Ｗ１を有する複数の不良品画像を内部生成できる。

【0074】

ステップＳＢ１４では、内部生成された不良品画像を表示制御部１３ｃが取得し、表示装置４に表示させる。具体的には、表示制御部１３ｃは、内部生成された不良品画像を表示するためのユーザーインターフェース画面を生成する。ユーザーインターフェース画面には、内部生成された不良品画像を１枚または複数枚一覧表示可能な表示領域が設けられている。これにより、ユーザは内部生成された不良品画像を見て確認することができる。その結果、学習に使用しない方がよいと判断される不良品画像については学習に使用しないように設定できる。この設定は、ユーザーインターフェース画面上で、不良品画像ごとに設定可能になっている。「学習に使用しない」という情報も記憶装置１９に記憶される。

【0075】

ステップＳＢ１５では、画像処理部１３ｄが生成した新たな不良品画像に、不良品のワークを撮影した不良品画像と区別するための識別情報を付与する。内部生成された不良品画像に識別用のフラグを付与し、その付与情報と共に不良品画像を記憶装置１９に記憶しておく。

【0076】

以上のようにして図３のフローチャートのステップＳＡ４が完了する。ステップＳＡ６では、内部生成された不良品画像を学習に使用しないことの設定（除外設定）と、学習に使用する場合の重み付けを行う。

【0077】

例えば、内部生成された不良品画像を学習に使用する／使用しないを選択するためのユーザーインターフェース画面を学習部１３ｅが生成し、生成されたユーザーインターフェース画面を表示制御部１３ｃが表示装置４に表示させる。ユーザは、マウス５２等の操作により、ユーザーインターフェース画面上で使用する／使用しないを選択する。この選択情報は例えばメモリ１３ｂ等に記憶される。

【0078】

また、このユーザーインターフェース画面では、内部生成された不良品画像を学習に使用する場合の重み付けの設定が行えるようになっている。内部生成された不良品画像は、実際に撮像された不良品画像とは異なっているので、学習に適しているとは言い難い場合も考えられる。このような場合には、図４に示すステップＳＢ１５で識別情報が付与された不良品画像による学習の重みを、不良品のワークを撮影した不良品画像による学習の重みに比べて軽くした方がよいことがある。重み付けは、ユーザが自由に設定することができ、内部生成された不良品画像による学習の重みと、不良品のワークを撮影した不良品画像による学習の重みとを同じにしてもよい。

【0079】

ステップＳＡ７では、学習部１３ｅが、記憶装置１９に予め記憶された良品画像及び不良品画像と、画像処理部１３ｄにより内部生成された不良品画像とを機械学習ネットワークに入力する。その後、ステップＳＡ８に進んで、入力した画像を機械学習ネットワークに学習させて推論モデルを生成する。ステップＳＡ７及びＳＡ８は学習ステップである。

【0080】

このとき、ステップＳＡ６で設定された情報に基づいて学習を行う。例えば、内部生成された不良品画像を学習に使用するという設定がなされている場合には、上述したように内部生成された不良品画像も機械学習ネットワークに学習させるが、内部生成された不良品画像を学習に使用しないという設定がなされている場合には、内部生成された不良品画像を学習対象から除外して機械学習ネットワークに学習させない。例えば、不良品のワークを撮影した不良品画像が多く蓄積された段階で、内部生成された不良品画像を学習対象から除外できる。

【0081】

また、ステップＳＡ６で設定された重み付けも機械学習ネットワークの学習に反映されるようになっており、内部生成された不良品画像による学習の重みを、不良品のワークを撮影した不良品画像による学習の重みに比べて軽くすることができる。

【0082】

また、ステップＳＡ３でＮＯと判定されて不良品画像を内部生成していない場合にはステップＳＡ５に進む。ステップＳＡ５では、記憶装置１９に予め記憶された良品画像及び不良品画像を機械学習ネットワークに入力する。その後、ステップＳＡ８に進んで、入力した画像を機械学習ネットワークに学習させて推論モデルを生成する。

【0083】

ステップＳＡ９は、学習が完了した推論モデルを構築するパラメータを記憶装置１９に記憶する。

【0084】

上記機械学習ネットワークの学習の手法は特に限定されないが、例えば次の方法を利用することができる。すなわち、Ｌｏｓｓ関数を最小化することで機械学習ネットワークの学習を行うことができる。Ｌｏｓｓの定義は様々であるが、Mean Square Error（ＭＳＥ）を例して挙げることができる。

【0085】

【数1】

【0086】

ここで、Ｔは目標異常度マップ、０は出力画像（異常度マップ）、ｎは画像Ｔが０の画素数、ｘ、ｙは画素位置である。尚、Binary Cross EntropyなどのＬｏｓｓ関数も使用可能である。以上はあくまでも例示である。

【0087】

（外観検査装置１の運用時）
次に、外観検査装置１の運用時について、図１１に示すフローチャートに基づいて説明する。スタート後のステップＳＣ１では、プロセッサ１３ａが、記憶装置１９に記憶されているパラメータ等を読み込んで学習済みの機械学習ネットワークを用意する。これが学習部１３ｅにより生成された推論モデルである。ステップＳＣ２では、検査対象のワークを撮像ユニット３で撮像してワーク画像を取得する。その後、ステップＳＣ３に進み、ステップＳＣ２で取得したワーク画像を推論モデルに入力する。

【0088】

次いで、ステップＳＣ４では、推論モデルがステップＳＣ３で入力されたワーク画像の推論処理を実行する。その後、ステップＳＣ５では、推論モデルが推論処理の結果としてマップ画像を出力する。

【0089】

しかる後、ステップＳＣ６では、ステップＳＣ５で出力されたマップ画像に基づいてワークの良否判定を行う。ステップＳＣ２～ＳＣ６は、ワークが変わる都度、実行することができる。このフローチャートに示す処理は、検査部１３ｆが実行する検査ステップに相当する。

【0090】

（実施形態の作用効果）
以上説明したように、この実施形態によれば、不良品のワークを撮影して取得された不良品画像から不良箇所を抽出することができる。抽出された不良箇所は参照画像に貼り付けられるので、不良箇所を有する不良品画像が新たに生成される。不良箇所の貼り付け位置を変えた複数の不良品画像や、不良箇所に対する画像変換を変えた複数の不良品画像を自動でかつ短時間で内部生成できる。新たに生成された不良品画像では、貼り付けられた不良箇所と参照画像との境界が目立たないようにぼかし処理を実行しているので、自然な不良品画像となる。

【0091】

新たな不良品画像と、記憶装置１９に予め記憶された良品画像及び不良品画像とを機械学習ネットワークに学習させることで、不良品の検出能力の高い推論モデルが生成される。よって、外観検査性能を高めることができる。
はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0092】

以上説明したように、本発明は、ワークの外観を検査する場合に利用できる。

【符号の説明】

【0093】

１ 外観検査装置
４ 表示装置（表示部）
１３ａ プロセッサ
１３ｂ メモリ
１３ｃ 表示制御部
１３ｄ 画像処理部
１３ｅ 学習部
１３ｆ 検査部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】