特開 2024-142026 外観検査システム、外観検査用管理装置、及び外観検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142026

(43)【公開日】2024-10-10

(54)【発明の名称】外観検査システム、外観検査用管理装置、及び外観検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

   G06V 10/72 20220101ALI20241003BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610Z

G06T7/00 350B

G06V10/72

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023053977

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000005083

【氏名又は名称】株式会社プロテリアル

(74)【代理人】

【識別番号】110002583

【氏名又は名称】弁理士法人平田国際特許事務所

(72)【発明者】

【氏名】吉田 慶太

(72)【発明者】

【氏名】馬場 敏之

(72)【発明者】

【氏名】広瀬 慎太郎

(72)【発明者】

【氏名】副島 隆弘

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB03

2G051AB04

2G051AB10

2G051EB05

5L096BA03

5L096CA02

5L096CA17

5L096KA04

(57)【要約】

【課題】複数の外観検査装置における検査精度の向上を図ることが可能な外観検査システム、外観検査用管理装置、及び外観検査方法を提供する。
【解決手段】外観検査システム１は、学習済モデル５１，５２を用いて、検査対象物の画像データから検査対象物の欠陥の有無を識別する複数の外観検査装置２と、外観検査用管理装置１０とを備え、外観検査用管理装置１０は、複数の外観検査装置２で検査対象物に欠陥が有ると識別された欠陥画像データ４１２，４２２を取得し記憶部１２に記憶し、複数の外観検査装置２のそれぞれは、外観検査用管理装置１０から、記憶部１２に記憶された他装置の欠陥画像データ４１２，４２２、または当該欠陥画像データ４１２，４２２を用いて生成された生成欠陥画像データ４１３，４２３、または生成欠陥画像データ４１３，４２３を用いて作成された学習済モデル５１，５２を取得可能に構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

予め作成された学習済モデルを用いて、撮像装置で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置と、
前記複数の外観検査装置のそれぞれと相互に通信可能に構成された外観検査用管理装置と、を備え、
前記外観検査用管理装置は、少なくとも、前記複数の外観検査装置で前記検査対象物に欠陥が有ると識別された前記画像データである欠陥画像データを取得し記憶部に記憶する画像データ取得処理部を有し、
前記複数の外観検査装置のそれぞれは、前記外観検査用管理装置から、前記記憶部に記憶された他の前記外観検査装置の前記欠陥画像データ、または当該欠陥画像データを用いて新たに生成された生成欠陥画像データ、または、前記生成欠陥画像データを用いて機械学習を行い作成された前記学習済モデルを取得可能に構成されている、
外観検査システム。

【請求項2】

前記外観検査用管理装置は、
所定の前記外観検査装置で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データと、前記所定の外観検査装置とは異なる前記外観検査装置での前記欠陥画像データとを用いて、前記生成欠陥画像データを生成する画像生成処理部と、
前記所定の外観検査装置で取得した前記欠陥画像データ、前記無欠画像データ、及び前記生成欠陥画像データを学習用データとして機械学習を行い、前記所定の外観検査装置で用いる前記学習済モデルを作成するモデル作成処理部と、を有する、
請求項１に記載の外観検査システム。

【請求項3】

前記外観検査装置のそれぞれは、
自装置で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データと、他の前記外観検査装置から取得した前記欠陥画像データとを用いて、前記生成欠陥画像データを生成する画像生成処理部と、
自装置で取得した前記欠陥画像データ及び前記無欠画像データと、前記生成欠陥画像データとを学習用データとして機械学習を行い、自装置の前記学習済モデルを作成するモデル作成処理部と、を有する、
請求項１に記載の外観検査システム。

【請求項4】

前記外観検査用管理装置は、所定の前記外観検査装置で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データと、前記所定の外観検査装置とは異なる前記外観検査装置での前記欠陥画像データとを用いて、前記所定の外観検査装置用の前記生成欠陥画像データを生成する画像生成処理部を有し、
前記外観検査装置のそれぞれは、自装置で取得した前記欠陥画像データ及び前記無欠画像データと、前記外観検査用管理装置から取得した自装置用の前記生成欠陥画像データとを学習用データとして機械学習を行い、自装置の前記学習済モデルを作成するモデル作成処理部を有する、
請求項１に記載の外観検査システム。

【請求項5】

前記画像データ取得処理部は、前記複数の外観検査装置から取得した前記欠陥画像データを、少なくとも、欠陥の種類と紐づけて前記記憶部に記憶する、
請求項１に記載の外観検査システム。

【請求項6】

前記画像データ取得処理部は、前記複数の外観検査装置から取得した前記欠陥画像データを、さらに、撮像時の照明状態と紐づけて前記記憶部に記憶する、
請求項５に記載の外観検査システム。

【請求項7】

前記画像データ取得処理部は、前記複数の外観検査装置から、欠陥が無いと判定された前記画像データである無欠画像データを取得し前記記憶部に記憶するように構成され、
前記画像生成処理部は、他の前記外観検査装置の前記無欠画像データから、新たに所定の前記外観検査装置用の前記生成無欠画像データを生成し、
前記モデル作成処理部は、前記生成無欠画像データを用いて前記学習済モデルを作成する、
請求項２乃至４の何れか１項に記載の外観検査システム。

【請求項8】

予め作成された学習済モデルを用いて、撮像装置で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置を管理する外観検査用管理装置であって、
前記複数の外観検査装置のそれぞれと相互に通信可能に構成されており、
少なくとも、前記複数の外観検査装置で前記検査対象物に欠陥が有ると識別された前記画像データである欠陥画像データを取得し記憶部に記憶する画像データ取得処理部を有し、
前記複数の外観検査装置のそれぞれに、前記記憶部に記憶された他の前記外観検査装置の前記欠陥画像データ、または当該欠陥画像データを用いて新たに生成された生成欠陥画像データ、または、前記生成欠陥画像データを用いて機械学習を行い作成された前記学習済モデルを出力可能に構成されている、
外観検査用管理装置。

【請求項9】

予め作成された学習済モデルを用いて、撮像装置で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置を用いた外観検査方法であって、
前記複数の外観検査装置のそれぞれと相互に通信可能に外観検査用管理装置を設け、前記外観検査用管理装置の記憶部に、少なくとも、前記複数の外観検査装置で前記検査対象物に欠陥が有ると識別された前記画像データである欠陥画像データを記憶しておき、
所定の前記外観検査装置で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データと、前記所定の外観検査装置とは異なる前記外観検査装置での前記欠陥画像データとを用いて、生成欠陥画像データを生成し、
前記所定の外観検査装置で取得した前記欠陥画像データ及び前記無欠画像データと、前記生成欠陥画像データとを学習用データとして機械学習を行い、前記所定の外観検査装置で用いる前記学習済モデルを作成する、
外観検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外観検査システム、外観検査用管理装置、及び外観検査方法に関する。

【背景技術】

【0002】

従来、撮像装置で撮像した検査対象物の画像データと欠陥の有無との関係を機械学習した学習済モデルを用いて、検査対象物を撮像した画像データから欠陥の有無を識別する外観検査装置が知られている。

【0003】

通常、欠陥を有する不良品の数は、良品の数に比べて遥かにすくないため、機械学習に用いる欠陥有りの画像データが不足することが多い。そこで、特許文献１では、異なる種類の検査対象物を撮像した画像データを組み合わせることによって、所望の検査対象物における欠陥有りの画像データを生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１０６４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、複数の外観検査装置を用いて外観検査を行う場合、外観検査装置毎に光源のバラつきや撮像装置の性能のバラつきがあるために、複数の外観検査装置で学習済モデルを共通化することは困難である。さらに、複数の外観検査装置は、それぞれ異なる製造ラインに配置されたり、それぞれ異なる製品の検査を行ったりする場合も多く、それぞれの外観検査装置で識別される欠陥の種類に偏りが生じやすい。そのため、ある外観検査装置において、例えば、特定の欠陥の検査精度が十分に得られない、といった不具合が生じるおそれがあった。

【0006】

そこで、本発明は、複数の外観検査装置における検査精度の向上を図ることが可能な外観検査システム、外観検査用管理装置、及び外観検査方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上記課題を解決することを目的として、予め作成された学習済モデルを用いて、撮像装置で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置と、前記複数の外観検査装置のそれぞれと相互に通信可能に構成された外観検査用管理装置と、を備え、前記外観検査用管理装置は、少なくとも、前記複数の外観検査装置で欠陥が有ると識別された前記画像データである欠陥画像データを取得し記憶部に記憶する画像データ取得処理部を有し、前記複数の外観検査装置それぞれは、前記外観検査用管理装置から、前記記憶部に記憶された他の前記外観検査装置の前記欠陥画像データ、または当該欠陥画像データを用いて新たに生成された生成欠陥画像データ、または、前記生成欠陥画像データを用いて機械学習を行い作成された前記学習済モデルを取得可能に構成されている、外観検査システムを提供する。

【0008】

また、本発明は、上記課題を解決することを目的として、予め作成された学習済モデルを用いて、撮像装置で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置を管理する外観検査用管理装置であって、前記複数の外観検査装置のそれぞれと相互に通信可能に構成されており、少なくとも、前記複数の外観検査装置で欠陥が有ると識別された前記画像データである欠陥画像データを取得し記憶部に記憶する画像データ取得処理部を有し、前記複数の外観検査装置それぞれに、前記記憶部に記憶された他の前記外観検査装置の前記欠陥画像データ、または当該欠陥画像データを用いて新たに生成された生成欠陥画像データ、または、前記生成欠陥画像データを用いて機械学習を行い作成された前記学習済モデルを出力可能に構成されている、外観検査用管理装置を提供する。

【0009】

また、本発明は、上記課題を解決することを目的として、予め作成された学習済モデルを用いて、撮像装置で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置を用いた外観検査方法であって、前記複数の外観検査装置のそれぞれと相互に通信可能に外観検査用管理装置を設け、前記外観検査用管理装置の記憶部に、少なくとも、前記複数の外観検査装置で欠陥が有ると識別された前記画像データである欠陥画像データを記憶しておき、所定の前記外観検査装置で欠陥が無いと判定された前記画像データである無欠画像データと、前記所定の外観検査装置とは異なる前記外観検査装置での前記欠陥画像データとを用いて、前記生成欠陥画像データを生成し、前記所定の外観検査装置で取得した前記欠陥画像データ、前記無欠画像データ、及び前記生成欠陥画像データを学習用データとして機械学習を行い、前記所定の外観検査装置で用いる前記学習済モデルを作成する、外観検査方法を提供する。

【発明の効果】

【0010】

本発明によれば、複数の外観検査装置における検査精度の向上を図ることが可能な外観検査システム、外観検査用管理装置、及び外観検査方法を提供できる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施の形態に係る外観検査システムの概略構成図である。

【図2】画像データ管理データベースの一例を示す図である。

【図3】（ａ），（ｂ）は、画像生成処理を説明する図である。

【図4】（ａ），（ｂ）は、モデル生成処理を説明する図である。

【図5】外観検査時の制御フローを示すフロー図である。

【図6】学習済モデルの作成、更新時の制御フローを示すフロー図である。

【図7】画像データ取得処理のフロー図である。

【図8】（ａ）は画像生成処理のフロー図であり、（ｂ）は学習用データ作成処理のフロー図である。

【図9】モデル作成処理のフロー図である。

【図10】本発明の一変形例に係る外観検査システムの概略構成図である。

【図11】本発明の一変形例に係る外観検査システムの概略構成図である。

【図12】本発明の一変形例に係る外観検査システムの概略構成図である。

【図13】外観検査装置の表示部に表示される外観検査結果表示画面の一例を示す図である。

【発明を実施するための形態】

【0012】

［実施の形態］
以下、本発明の実施の形態を添付図面にしたがって説明する。

【0013】

図１は、本実施の形態に係る外観検査システム１の概略構成図である。図１に示すように、外観検査システム１は、複数の外観検査装置２と、複数の外観検査装置２のそれぞれとネットワーク１００を介して相互に通信可能に構成された外観検査用管理装置１０（以下、単に管理装置１０という）と、を備えている。ネットワーク１００は、インターネットであってもよいし、ローカルエリアネットワークやワイドエリアネットワーク等の専用のイントラネットであってもよい。

【0014】

また、外観検査システム１は、ネットワーク１００を介して管理装置１０と相互に通信可能に構成された管理用端末１０１を備えている。管理用端末１０１は、ネットワーク１００を介して管理装置１０の設定等を行うための端末装置であり、例えばパーソナルコンピュータで構成される。ここでは、外観検査装置２での検査結果（欠陥の有無の識別結果）が管理用端末１０１でも確認できるように構成されている。

【0015】

（外観検査装置２）
外観検査装置２は、検査対象物の欠陥の有無を識別する装置である。ここでは、第１外観検査装置２ａと第２外観検査装置２ｂの２つの外観検査装置２を用いる場合を説明するが、外観検査装置２の数はこれに限らず、３つ以上であってもよい。検査対象物については、特に限定するものではないが、ここではセラミックス材料、特に磁性材料を検査対象物とする場合について説明する。この場合、外観検査で検査する欠陥としては、キレツ（クラック）、カケ、ピンホール、黒皮ハガレ、ウネリ等が挙げられる。

【0016】

第１外観検査装置２ａは、検査対象物を撮像する撮像装置２１ａと、制御部２２ａと、記憶部２３ａと、を有している。同様に、第２外観検査装置２ｂは、検査対象物を撮像する撮像装置２１ｂと、制御部２２ｂと、記憶部２３ｂと、を有している。

【0017】

制御部２２ａ，２２ｂは、ＣＰＵ等の演算素子、ＲＡＭやＲＯＭ等のメモリ、ハードディスク等の記憶装置、ＬＡＮカード等の通信デバイスである通信インターフェースを適宜組み合わせて実現されている。記憶部２３ａ，２３ｂは、メモリや記憶装置の所定の記憶領域により実現されている。制御部２２ａ，２２ｂ及び記憶部２３ａ，２３ｂは、パーソナルコンピュータ等の演算装置により実現されていてもよい。

【0018】

制御部２２ａ，２２ｂは、欠陥識別処理部２２１ａ，２２１ｂと、送受信処理部２２２ａ，２２２ｂと、を有している。欠陥識別処理部２２１ａ，２２１ｂは、予め作成された学習済モデル５１，５２を用いて、撮像装置２１ａ，２１ｂで撮像した検査対象物の画像データから、検査対象物の欠陥の有無を識別する。

【0019】

第１外観検査装置２ａの欠陥識別処理部２２１ａは、記憶部２３ａに記憶された第１学習済モデル５１を用いて、撮像装置２１ａで撮像された画像データから、検査対象物の欠陥の有無を識別する。そして、識別の結果、検査対象物に欠陥が無いと判定された場合には、識別に用いた画像データを第１無欠画像データ４１１として記憶部２３ａに記憶する。また、識別の結果、検査対象物に欠陥が有ると判定された場合には、識別に用いた画像データを第１欠陥画像データ４１２として記憶部２３ａに記憶する。以下、第１無欠画像データ４１１と第１欠陥画像データ４１２とをまとめて第１画像データ４１と呼称する。

【0020】

同様に、第２外観検査装置２ｂの欠陥識別処理部２２１ｂは、記憶部２３ｂに記憶された第２学習済モデル５２を用いて、撮像装置２１ｂで撮像された画像データから、検査対象物の欠陥の有無を識別する。そして、識別の結果、検査対象物に欠陥が無いと判定された場合には、識別に用いた画像データを第２無欠画像データ４２１として記憶部２３ｂに記憶する。また、識別の結果、検査対象物に欠陥が有ると判定された場合には、識別に用いた画像データを第２欠陥画像データ４２２として記憶部２３ｂに記憶する。以下、第２無欠画像データ４２１と第２欠陥画像データ４２２とをまとめて第２画像データ４２と呼称する。

【0021】

ところで、複数の外観検査装置２ａ，２ｂを用いる場合、装置間で撮像装置２１ａ，２１ｂの性能差、照明の明るさ等の差といった個体差（機差）が存在する。そのため、複数の外観検査装置２ａ，２ｂ間で共通の学習済モデル５１，５２を用いることは、検査精度の観点から望ましくない。本実施の形態では、各外観検査装置２ａ，２ｂのそれぞれにおいて、専用の学習済モデル５１，５２が用いられている。

【0022】

なお、図１では図示を簡略化して第１学習済モデル５１及び第２学習済モデル５２と示しているが、実際には、各外観検査装置２において、撮像する部位、撮像アングル、識別する欠陥の種類、及び照明の状態毎に、それぞれ学習済モデルが作成され記憶部２３ａ，２３ｂに記憶されている。制御部２２ａ，２２ｂは、外観検査を行う際には、予め設定された手順で照明の状態やアングルを変化させつつ順次検査対象物の撮像を行い、複数の画像データを取得する。そして、欠陥識別処理部２２１ａ，２２１ｂは、取得した複数の画像データのそれぞれについて、対応する学習済モデルを用いて欠陥の有無を識別する。このとき、１つの画像データで種類の異なる複数の欠陥の有無を識別すべく、１つの画像データに対して、複数の学習済みモデルを適用して欠陥の有無を識別するようにしてもよい。制御部２２ａ，２２ｂは、欠陥識別処理部２２１ａ，２２１ｂにより全ての画像データで検査対象物に欠陥が無いと判断されたときに、当該検査対象物が欠陥の無い良品であると判断し、検査対象物を良品出口から排出する。また、制御部２２ａ，２２ｂは、欠陥識別処理部２２１ａ，２２１ｂにより画像データの何れかで検査対象物に欠陥が有ると判断されたときに、当該検査対象物が欠陥の有る不良品であると判断し、検査対象物を不良品出口から排出する。

【0023】

上記のように、撮像装置２１ｂで撮像される画像データは、撮像する部位やアングル、照明の状態が異なる。そのため、各画像データは、撮像する部位やアングル、照明の状態と紐づけられた状態で記憶部２３ａ，２３ｂに記憶されるように構成されている。さらに、欠陥が有ると判断された画像データ（第１欠陥画像データ４１２及び第２欠陥画像データ４２２）については、どのような種類の欠陥が有ると判断されたかという情報、すなわち欠陥の種類も紐づけて記憶される。制御部２２ａ，２２ｂは、画像データのＩＤやファイル名と、製品種類、撮像部位、撮像アングル、照明の状態、欠陥の種類とを紐づけたデータベースを作成し、第１画像データ管理データベース４３１または第２画像データ管理データベース４３２として記憶部２３ａ，２３ｂに記憶する。

【0024】

送受信処理部２２２ａ，２２２ｂは、外観検査装置２ａ，２ｂと管理装置１０間でデータの送受信の処理を行う。より具体的には、送受信処理部２２２ａ，２２２ｂは、管理装置１０から画像データ要求信号を受信したとき、記憶部２３ａ，２３ｂに記憶されている画像データ４１，４２と、画像データ管理データベース４３１，４３２とを管理装置１０に送信する。なお、この際、前回の送信時から追加された画像データ４１，４２のみを送信するように送受信処理部２２２ａ，２２２ｂを構成してもよい。また、送受信処理部２２２ａ，２２２ｂは、管理装置１０から学習済モデル５１，５２を受信したときに、受信した学習済モデル５１，５２を記憶部２３ａ，２３ｂに記憶し、学習済モデル５１，５２を更新する。

【0025】

（管理装置１０）
管理装置１０は、例えばサーバ装置により構成されている。管理装置１０は、制御部１１と、記憶部１２と、を有している。管理装置１０は、例えば、サーバ装置等のコンピュータであり、ＣＰＵ等の演算素子、ＲＡＭやＲＯＭ等のメモリ、ハードディスク等の記憶装置、ＬＡＮカード等の通信デバイスである通信インターフェースを備えている。

【0026】

制御部１１は、設定処理部１１１、画像データ取得処理部１１２、画像生成処理部１１３、学習用データ作成処理部１１４、モデル作成処理部１１５、及び出力処理部１１６を有している。記憶部１２は、メモリや記憶装置の所定の記憶領域により実現されている。

【0027】

（設定処理部１１１）
設定処理部１１１は、管理装置１０の各種設定を行うための設定処理を行うものである。設定処理部１１１では、例えば、画像データ取得処理部１１２による画像データ取得の方法や取得日時の設定等、各種制御に係る情報の設定を行うことができる。また、設定処理部１１１では、記憶部１２に記憶する各種情報の登録・更新・削除等が可能である。本実施の形態では、各種情報の入力等は、ネットワーク１００を介して管理用端末１０１により行われる。

【0028】

（画像データ取得処理部１１２）
画像データ取得処理部１１２は、少なくとも、複数の外観検査装置２での欠陥画像データ４１２，４２２を取得し記憶部１２に記憶する画像データ取得処理を行う。本実施の形態では、画像データ取得処理部１１２は、無欠画像データ４１１，４２１を含む全ての画像データ（第１画像データ４１及び第２画像データ４２）と、画像データ管理データベース４３１，４３２とを外観検査装置２ａ，２ｂから取得する。

【0029】

また、画像データ取得処理部１１２は、取得した第１画像データ管理データベース４３１と第２画像データ管理データベース４３２とを統合して画像データ管理データベース４３として記憶部１２に記憶する。図２に示すように、画像データ管理データベース４３は、画像データを特定可能な画像ＩＤのそれぞれに対して、撮像した外観検査装置２のＩＤ、製品の種類、撮像した部位、アングル、欠陥の種類（欠陥画像データ４１２，４２２のみ）、照明状態等が紐づけられたデータベースである。図２の例では、製品の種類、撮像した部位、アングル、欠陥の種類、及び照明状態のそれぞれについては、予め設定された番号で表示している。なお、画像データ管理データベース４３は、図示以外の情報を含んでいてもよい。

【0030】

このように、画像データ取得処理部１１２は、複数の外観検査装置２から取得した欠陥画像データを、少なくとも、欠陥の種類と紐づけて記憶部１２に記憶する。また、画像データ取得処理部１１２は、複数の外観検査装置２から取得した無欠画像データ４１１，４２１及び欠陥画像データ４１２，４２２を、撮像した外観検査装置２のＩＤ、製品の種類、撮像した部位、アングル、及び撮像時の照明状態、と紐づけて記憶部１２に記憶する。これにより、後述する画像生成処理において、合成に適した無欠画像データ４１１，４２１と欠陥画像データ４１２，４２２のペアを選びやすくなる。

【0031】

（画像生成処理部１１３）
画像生成処理部１１３は、所定の外観検査装置２ａ（または２ｂ）での無欠画像データ４１１（または４２１）と、所定の外観検査装置２ａ（または２ｂ）とは異なる外観検査装置２ｂ（または２ａ）での欠陥画像データ４２２（または４１２）とを用いて、生成欠陥画像データ４１３（または４２３）を生成する画像生成処理を行う。

【0032】

より具体的には、図３（ａ）に示すように、画像生成処理部１１３は、第１無欠画像データ４１１と第２欠陥画像データ４２２とを基に、第１外観検査装置２ａ用の第１学習済モデル５１の学習に用いる第１生成欠陥画像データ４１３を生成する。画像生成処理にあたっては、学習を行う第１学習済モデル５１に対応する撮像部位、アングル、欠陥の種類、及び照明状態の第１無欠画像データ４１１と第２欠陥画像データ４２２のペアを、例えば無作為に選択するとよい。第１生成欠陥画像データ４１３を生成する手法については公知であるため、ここでは詳細を省略するが、例えば、第２欠陥画像データ４２２の欠陥部分を切り出した後、その切り出した欠陥部分を第１無欠画像データ４１１に合わせ込み、合わせ込んだ欠陥部分を周囲と馴染ませる処理を行うことで、第１生成欠陥画像データ４１３を生成するとよい。画像生成処理部１１３は、生成した第１生成欠陥画像データ４１３を記憶部１２に記憶すると共に、生成した第１生成欠陥画像データ４１３に関する情報を画像データ管理データベース４３に追加する。

【0033】

また、第２外観検査装置２ｂ用の第２学習済モデル５２の作成（更新）を行う場合には、図３（ｂ）に示すように、画像生成処理部１１３は、第２無欠画像データ４２１と第１欠陥画像データ４１２とを基に、第２学習済モデル５２の学習に用いる第２生成欠陥画像データ４２３を生成する。画像生成処理部１１３は、生成した第２生成欠陥画像データ４２３を記憶部１２に記憶すると共に、生成した第２生成欠陥画像データ４２３に関する情報を画像データ管理データベース４３に追加する。

【0034】

（学習用データ作成処理部１１４）
学習用データ作成処理部１１４は、作成する学習済モデル５１，５２に応じて、機械学習に用いる画像データを抽出する学習用データ作成処理を行う。より具体的には、学習用データ作成処理部１１４は、第１学習済モデル５１の機械学習を行う場合、当該第１学習済モデル５１に対応する撮像部位、アングル、欠陥の種類、及び照明状態の第１無欠画像データ４１１、第１欠陥画像データ４１２、及び第１生成欠陥画像データ４１３を抽出し、第１学習用データ６１として記憶部１２に記憶する。

【0035】

なお、この際、第１無欠画像データ４１１の数が多すぎる場合には、適宜数を減らす処理（例えば、所定数を無作為に選択する処理など）を行うようにしてもよい。また、第１欠陥画像データ４１２と第１生成欠陥画像データ４１３の合計数が予め設定した下限数よりも少ない場合には、画像生成処理部１１３に第１生成欠陥画像データ４１３の生成を行わせるようにしてもよい。

【0036】

同様に、学習用データ作成処理部１１４は、第２学習済モデル５２の機械学習を行う場合には、当該第２学習済モデル５２に対応する撮像部位、アングル、欠陥の種類、及び照明状態の第２無欠画像データ４２１、第２欠陥画像データ４２２、及び第２生成欠陥画像データ４２３を抽出し、第２学習用データ６２として記憶部１２に記憶する。なお、この際、第２無欠画像データ４２１の数が多すぎる場合には、適宜数を減らす処理を行うようにしてもよい。また、第２欠陥画像データ４２２と第２生成欠陥画像データ４２３の合計数が予め設定した下限数よりも少ない場合には、画像生成処理部１１３に第２生成欠陥画像データ４２３の生成を行わせるよう構成されていてもよい。

【0037】

（モデル作成処理部１１５）
モデル作成処理部１１５は、学習用データ６１，６２を用いて機械学習を行い、学習済モデル５１，５２を作成する。第１学習済モデル５１を作成する場合、図４（ａ）に示すように、モデル作成処理部１１５は、第１学習用データ６１に含まれる第１無欠画像データ４１１、第１欠陥画像データ４１２、及び第１生成欠陥画像データ４１３と、検査対象物の欠陥の有無との関係を機械学習し、機械学習の結果として第１学習済モデル５１を作成する。

【0038】

より具体的には、第１無欠画像データ４１１、第１欠陥画像データ４１２、及び第１生成欠陥画像データ４１３の各画像データを説明変数のパラメータとし、検査対象物の欠陥の有無を目的変数として、説明変数と目的変数との相関性を表すモデル構造としての第１学習済モデル５１を作成する。モデル作成処理部１１５は、入力された説明変数の各パラメータに対する目的変数のパラメータの相関性を、機械学習により自ら学習するための学習アルゴリズム等のソフトウェアを含んでいる。学習アルゴリズムは特に限定されず、公知の学習アルゴリズムを用いることができ、例えば、３層以上の層をなすニューラルネットワークを用いた所謂ディープラーニング等を用いることができる。

【0039】

モデル作成処理部１１５は、作成した第１学習済モデル５１を記憶部１２に記憶する。本実施の形態では、モデル作成処理部１１５による第１学習済モデル５１の更新は、管理者等により随時行われるようにしてもよいし、例えば毎月１回など、定期的に更新されるようにしてもよい。また、本実施の形態では、画像データそのものを説明変数として扱ったが、第１無欠画像データ４１１、第１欠陥画像データ４１２、及び第１生成欠陥画像データ４１３に含まれる予め設定された特徴量（例えば所定の色の領域の面積、彩度のばらつき、エッジの角度など）を説明変数のパラメータとして用いてもよい。

【0040】

同様に、第２学習済モデル５２を作成する場合、図４（ｂ）に示すように、モデル作成処理部１１５は、第２学習用データ６２に含まれる第２無欠画像データ４２１、第２欠陥画像データ４２２、及び第２生成欠陥画像データ４２３と、検査対象物の欠陥の有無との関係を機械学習し、機械学習の結果として第２学習済モデル５２を作成する。

【0041】

（出力処理部１１６）
出力処理部１１６は、モデル作成処理部１１５で作成した学習済モデル５１，５２を、対応する外観検査装置２ａ，２ｂに送信する出力処理を行う。このように、本実施の形態に係る外観検査システム１では、複数の外観検査装置２ａ，２ｂそれぞれは、管理装置１０にて生成欠陥画像データ４１３，４２３を用いて機械学習を行い作成された学習済モデル５１，５２を取得可能に構成されている。

【0042】

外観検査装置２ａ，２ｂでは、受信した学習済モデル５１，５２を自身の記憶部２３ａ，２３ｂに記憶し、学習済モデル５１，５２の更新を行う。なお、この際、なんらかの理由で不具合が生じた場合を考慮し、容易に復旧ができるように、更新前の学習済モデル５１，５２を保存しておくように外観検査装置２ａ，２ｂを構成してもよい。

【0043】

（無欠画像データ４１１，４２１の共有について）
本実施の形態では、複数の外観検査装置２間で、欠陥画像データ４１２、４２２を共有し、他装置の欠陥画像データ４１２、４２２を用いて自装置用の生成欠陥画像データ４１３，４２３を生成し、生成した生成欠陥画像データ４１３，４２３を機械学習に用いて学習済モデル５１，５２の作成、更新を行う場合ついて説明したが、欠陥画像データ４１２、４２２だけでなく、無欠画像データ４１１，４２１も共有するように構成してもよい。

【0044】

例えば、複数の外観検査装置２を異なる製造ラインに設けた場合など、同じ製品であっても検査対象物の外観の状態が異なるような場合がある。このような場合に、無欠画像データ４１１，４２１も共有するように構成しておけば、例えば、ある外観検査装置２を異なる製造ラインに移動させたような場合でも、高い検査精度で外観検査を行うことが可能になる。

【0045】

この場合、画像生成処理部１１３は、他の外観検査装置２の無欠画像データ４１１，４２１に適宜な画像処理（例えば、明度、彩度の調整など）を行い、新たに所定の外観検査装置２用の生成無欠画像データ（不図示）を生成する。そして、モデル作成処理部１１５は、生成した生成無欠画像データを用いて学習済モデル５１，５２を作成、更新するとよい。

【0046】

（過検出や見逃しへの対応について）
外観検査装置２による外観検査で欠陥が有ると判定されたにもかかわらず、人による検査で欠陥が無いと判定された「過検出」や、外観検査装置２による外観検査で欠陥が無いと識別されたにもかかわらず、人による検査で欠陥が発見された「見逃し」が生じた場合、同様の過検出や見逃しが生じるおそれがあるため、速やかに学習済モデル５１，５２の更新を行うことが望ましい。この場合、過検出となった画像データを無欠画像データ４１１，４２１に追加し、見逃しとなった画像データを欠陥画像データ４１２，４２２に追加すると共に、当該追加した画像データを含む学習用データ６１，６２を用いて機械学習を行うようにすればよい。

【0047】

また、他装置で同様の過検出や見逃しが生じることを抑制するために、他装置用に、過検出となった無欠画像データ４１１，４２１を用いた生成無欠画像データや、見逃しとなった欠陥画像データ４１２，４２２を用いた生成欠陥画像データ４１３，４２３を生成し、これらを機械学習に用いて学習済モデル５１，５２の更新を行うとよい。

【0048】

（外観検査時の制御フロー）
図５は、外観検査時の制御フローである。図５に示すように、まず、ステップＳ１にて、検査対象物を外観検査装置２に導入し撮像装置２１ａ，２１ｂにより撮像を行う。この際、予め設定されたアングル、照明状態で順次撮像を行い、複数の画像データを取得する。その後、ステップＳ２にて、欠陥識別処理を行う。欠陥識別処理では、欠陥識別処理部２２１ａ，２２１ｂが、ステップＳ１で取得した複数の画像データのそれぞれに対して、対応する学習済モデル５１，５２を用いて、欠陥の有無を識別する。

【0049】

その後、ステップＳ３にて、何れかの画像データで欠陥有りと識別されたかを判定する。ステップＳ３でＮＯ（Ｎ）と判定された場合、すなわち全ての画像データで欠陥が無いと判定された場合には、ステップＳ４にて、検査対象物を良品と判断し、良品出口から排出する。その後、ステップＳ５にて、ステップＳ１で撮像した各画像データを無欠画像データ４１１，４２１として記憶部２３ａ，２３ｂに記憶し、ステップＳ６にて、各画像データの情報を画像データ管理データベース４３１，４３２に登録し、リターンする。

【0050】

ステップＳ３でＹＥＳ（Ｙ）と判定された場合、ステップＳ７にて、検査対象物を不良品と判断し、不良品出口から排出する。その後、ステップＳ８にて、欠陥が有ると判断された画像データを欠陥画像データ４１２，４２２として記憶部２３ａ，２３ｂに記憶する。この際、部位が異なる等して欠陥が無いと判断された画像データは、無欠画像データ４１１，４２１として記憶部２３ａ，２３ｂに記憶するとよい。その後、ステップＳ９にて、各画像データの情報を画像データ管理データベース４３１，４３２に登録し、リターンする。

【0051】

（学習済モデルの作成、更新時の制御フロー）
図６は、学習済モデルの作成、更新時の制御フローを示すフロー図である。図６の制御フローは、定期的に実行されてもよいし、管理者等により随時実行されてもよい。図６に示すように、ステップＳ１０の画像データ取得処理、ステップＳ２０の画像生成処理、ステップＳ３０学習用データ作成処理、ステップＳ４０のモデル作成処理、ステップＳ５０の出力処理を順次行う。なお、ステップＳ１０の画像データ取得処理のみを定期的に実行するようにし、ステップＳ２０以降の各処理を、管理者等により随時実行するよう構成してもよい。また、図示していないが、図６の制御フローでは、更新または作成対象となる学習済モデル５１，５２が予め自動で、あるいは管理者による手動で指定される。管理者が手動で更新または作成対象となる学習済モデル５１，５２を指定する場合、例えば、管理用端末１０１からの入力により指定することができる。

【0052】

ステップＳ１０の画像データ取得処理では、図７に示すように、まず、ステップＳ１１にて、画像データ取得処理部１１２が、各外観検査装置２ａ，２ｂに画像データ要求信号を送信する。なお、ここでは、第１外観検査装置２ａと第２外観検査装置２ｂの両方に画像データ要求信号を送信する場合を示しているが、必要に応じて、いずれか一方のみに画像データ要求信号を送信してもよい。

【0053】

画像データ要求信号を受信した第１外観検査装置２ａの送受信処理部２２２ａは、第１画像データ４１と第１画像データ管理データベース４３１とを管理装置１０に送信する（ステップＳ１２）。この際、未送信の第１画像データ４１と第１画像データ管理データベース４３１の情報のみを送信するようにしてもよい。同様に、画像データ要求信号を受信した第２外観検査装置２ｂの送受信処理部２２２ｂは、第２画像データ４２と第２画像データ管理データベース４３２とを管理装置１０に送信する（ステップＳ１３）。

【0054】

その後、ステップＳ１４にて、画像データ取得処理部１１２が、受信した第１及び第２画像データ４１，４２と、第１及び第２画像データ管理データベース４３１，４３２を記憶部１２に記憶する。その後、ステップＳ１５にて、第１及び第２画像データ管理データベース４３１，４３２を用いて画像データ管理データベース４３を更新する。その後、リターンし、ステップＳ２０に進む。

【0055】

ステップＳ２０の画像生成処理では、図８（ａ）に示すように、まず、ステップＳ２１にて、画像生成処理部１１３が、合成する無欠画像データ４１１，４２１と欠陥画像データ４１２，４２２のペアを選択する。この際、画像データ管理データベース４３を参照し、機械学習を行う学習済モデル５１，５２に対応する撮像条件（アングル、照明状態等）及び対応する欠陥の種類の画像データを無作為に選択する。また、第１学習済モデル５１を学習する際には第１無欠画像データ４１１と第２欠陥画像データ４２２のペアを、第２学習済モデル５２を学習する際には第２無欠画像データ４２１と第１欠陥画像データ４１２のペアを選択する。なお、画像データの選択の際には、例えば、複数の候補画像データを管理用端末１０１の表示器に表示するなどして、管理者に合成する画像データのペアを選択させるよう構成することもできる。

【0056】

その後、ステップＳ２２にて、選択した無欠画像データ４１１，４２１と欠陥画像データ４１２，４２２のペアを用いて生成欠陥画像データ４１３，４２３を生成する。その後、ステップＳ２３にて、生成した生成欠陥画像データ４１３，４２３を記憶部１２に記憶すると共に、当該生成欠陥画像データ４１３，４２３の情報を画像データ管理データベース４３に登録する。その後、リターンしてステップＳ３０の学習用データ作成処理に進む。

【0057】

なお、更新または作成する学習済モデル５１，５２に対応する欠陥画像データ４１２，４２２と生成欠陥画像データ４１３，４２３の合計数が、既に十分な数確保できている場合（すなわち、機械学習により十分な検査精度が得られる程度の数を確保できている場合）には、ステップＳ２０は省略可能である。

【0058】

ステップＳ３０の学習用データ作成処理では、図８（ｂ）に示すように、まずステップＳ３１にて、学習用データ作成処理部１１４が、更新または作成する学習済モデル５１，５２に対応する撮影条件（撮影部位、アングル、照明状態）及び対応する欠陥の種類の画像データ（無欠画像データ４１１，４２１、欠陥画像データ４１２，４２２、及び生成欠陥画像データ４１３，４２３）を抽出する。この際、欠陥画像データ４１２，４２２と生成欠陥画像データ４１３，４２３の合計数が所定数より少ない場合には、ステップＳ２２に戻り、生成欠陥画像データ４１３，４２３の生成を行うようにしてもよい。また、無欠画像データ４１１，４２１の数が多い場合には、適宜な方法で学習用データ６１，６２に用いる無欠画像データ４１１，４２１の数を減らしてもよい。その後、ステップＳ３２にて、抽出した各画像データを学習用データとして記憶部１２に記憶する。その後、リターンし、ステップＳ４０に進む。

【0059】

ステップＳ４０のモデル作成処理では、図９に示すように、まず、ステップＳ４１にて、モデル作成処理部１１５が、ステップＳ３０で作成した学習用データ６１，６２を機械学習に用いて、学習済モデル５１，５２を作成（あるいは更新）する。その後、ステップＳ４２にて、作成（あるいは更新）した学習済モデル５１，５２を記憶部１２に記憶する。その後、リターンし、ステップＳ５０に進む。

【0060】

ステップＳ５０の出力処理では、ステップＳ４０で作成した学習済モデル５１，５２を、対応する外観検査装置２に送信する。学習済モデル５１，５２を受信した外観検査装置２の送受信処理部２２２ａ，２２２ｂは、受信した学習済モデル５１，５２を記憶部に記憶し、学習済モデル５１，５２を更新する。以上により、処理を終了する。

【0061】

（変形例）
本実施の形態では、管理装置１０を１つのサーバ装置で構成したが、これに限らず、管理装置１０を複数のサーバ装置で構成してもよい。例えば、図１０に示す外観検査システム１ａのように、一方の第１サーバ装置１０ａに画像生成処理部１１３を搭載し、他方の第２サーバ装置１０ｂにモデル作成処理部１１５を搭載することで、第１サーバ装置１０ａで画像生成に係る処理を担当させ、第２サーバ装置１０ｂで機械学習に係る処理を担当させるなど、各サーバ装置１０ａ，１０ｂに役割分担をさせて、処理負荷の分散を図ることができる。

【0062】

また、本実施の形態では、管理装置１０に画像生成処理部１１３やモデル作成処理部１１５を搭載したが、これに限らず、画像生成処理部１１３とモデル作成処理部１１５の両方または一方を外観検査装置２に搭載してもよい。

【0063】

例えば図１１に示す外観検査システム１ｂのように、画像生成処理部１１３、学習用データ作成処理部１１４、及びモデル作成処理部１１５を、外観検査装置２のそれぞれに搭載してもよい。この場合、管理装置１０には、少なくとも、各外観検査装置２から欠陥画像データ４１２，４２２を取得して記憶部１２に記憶しておき、任意の外観検査装置２に、その任意の外観検査装置２とは異なる外観検査装置２の欠陥画像データ４１２，４２２を出力する機能が搭載されていればよい。つまり、複数の外観検査装置２のそれぞれは、管理装置１０から、記憶部１２に記憶された他の外観検査装置２の欠陥画像データ４１２，４２２を取得可能に構成されていてもよい。

【0064】

図１１の外観検査システム１ｂでは、生成欠陥画像データ４１３，４２３の生成や、学習済モデル５１，５２の作成の各処理は、各外観検査装置２にて行われることになる。つまり、外観検査装置２のそれぞれは、自装置の無欠画像データ４１１，４２１と、他装置の欠陥画像データ４１２，４２２とを用いて、生成欠陥画像データ４１３，４２３を生成する画像生成処理部１１３と、自装置の無欠画像データ４１１，４２１及び欠陥画像データ４１２，４２２と、生成した生成欠陥画像データ４１３，４２３とを学習用データ６１，６２として機械学習を行い、自装置の学習済モデル５１，５２を作成するモデル作成処理部１１５と、を有してもよい。

【0065】

さらに、図１２に示す外観検査システム１ｃのように、画像生成処理部１１３を管理装置１０側に設け、学習用データ作成処理部１１４、及びモデル作成処理部１１５を、外観検査装置２のそれぞれに搭載してもよい。この場合、管理装置１０において生成欠陥画像データ４１３，４２３の生成が行われ、生成した生成欠陥画像データ４１３，４２３が管理装置１０から各外観検査装置２に出力されることになる。つまり、複数の外観検査装置２のそれぞれは、管理装置１０から、欠陥画像データ４１２，４１３を用いて新たに生成された生成欠陥画像データ４１３，４２３を取得可能に構成されていてもよい。

【0066】

図１２の外観検査システム１ｃでは、生成欠陥画像データ４１３，４２３の生成は管理装置１０で行われ、学習済モデル５１，５２の作成は各外観検査装置２にて行われることになる。つまり、管理装置１０は、所定の外観検査装置２での無欠画像データ４１１，４２１と、所定の外観検査装置２とは異なる外観検査装置２での欠陥画像データ４１２，４２２とを用いて、所定の外観検査装置２用の生成欠陥画像データ４１３，４２３を生成する画像生成処理部１１３を有し、かつ、外観検査装置２のそれぞれは、自装置の無欠画像データ４１１，４２１及び欠陥画像データ４１２，４２２と、管理装置１０から取得した自装置用の生成欠陥画像データ４１３，４２３とを学習用データ６１，６２として機械学習を行い、自装置の学習済モデル５１，５２を作成するモデル作成処理部１１５を有してもよい。

【0067】

また、図示していないが、図１２において学習用データ作成処理部１１４を管理装置１０に搭載し、複数の外観検査装置２のそれぞれが、管理装置１０から、学習用データ６１，６２を取得可能に構成されてもよい。

【0068】

さらにまた、本実施の形態では言及しなかったが、外観検査装置２は、検査対象物の欠陥の有無を識別した識別結果（外観検査の検査結果）が表示される表示部を有していてもよい。例えば、図１３に示すように、表示部２４に表示される外観検査結果表示画面２５は、撮像画像を表示する撮像画像表示エリア２５ａと、欠陥の有無の識別結果を表示する識別結果表示エリア２５ｂと、を有しているとよい。撮像画像表示エリア２５ａには、撮像した部位やアングル、照明状態等の撮像条件の情報が表示されることが望ましい。識別結果表示エリア２５ｂには、撮像画像に対応する学習済モデル毎に、欠陥の有無の識別結果が表示されるとよい。なお、図１３では図示を省略しているが、識別結果表示エリア２５ｂには、識別にかかった時間や、判定に係るスコア（例えば、欠陥らしさを疑似カラーなどで画像表示したヒートマップも含む）等を表示してもよい。

【0069】

（実施の形態の作用及び効果）
以上説明したように、本実施の形態に係る外観検査システム１では、複数の外観検査装置２と、複数の外観検査装置２のそれぞれと相互に通信可能に構成された管理装置１０と、を備え、管理装置１０は、少なくとも、複数の外観検査装置２で検査対象物に欠陥が有ると識別された画像データである欠陥画像データ４１２，４２２を取得し記憶部１２に記憶する画像データ取得処理部１１２を有し、複数の外観検査装置２のそれぞれは、管理装置１０から、記憶部１２に記憶された他の外観検査装置２の欠陥画像データ４１２，４２２、または当該欠陥画像データ４１２，４２２を用いて新たに生成された生成欠陥画像データ４１３，４２３、または、生成欠陥画像データ４１３，４２３を用いて機械学習を行い作成された学習済モデル５１，５２を取得可能に構成されている。

【0070】

このように構成することで、複数の外観検査装置２において、他装置で取得した欠陥画像データ４１２，４２２を利用して生成した自装置用の生成欠陥画像データ４１３，４２３を、自装置の機械学習に用いることが可能になり、複数の外観検査装置２における検査精度の向上を図ることが可能になる。

【0071】

複数の外観検査装置２は、それぞれ異なる製造ラインに配置されたり、それぞれ異なる製品の検査を行ったりする場合も多く、それぞれの外観検査装置２で識別される欠陥の種類に偏りが生じやすい。本実施の形態によれば、このような場合であっても、ある外観検査装置２において、例えば、特定の欠陥の検査精度が十分に得られない、といった不具合が生じることを抑制でき、外観検査の検査精度をより向上させることができる。

【0072】

（実施の形態のまとめ）
次に、以上説明した実施の形態から把握される技術思想について、実施の形態における符号等を援用して記載する。ただし、以下の記載における各符号等は、特許請求の範囲における構成要素を実施の形態に具体的に示した部材等に限定するものではない。

【0073】

［１］予め作成された学習済モデル（５１，５２）を用いて、撮像装置（２１ａ，２１ｂ）で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置（２）と、前記複数の外観検査装置（２）のそれぞれと相互に通信可能に構成された外観検査用管理装置（１０）と、を備え、前記外観検査用管理装置（１０）は、少なくとも、前記複数の外観検査装置（２）で前記検査対象物に欠陥が有ると識別された前記画像データである欠陥画像データ（４１２，４２２）を取得し記憶部（１２）に記憶する画像データ取得処理部（１１２）を有し、前記複数の外観検査装置（２）のそれぞれは、前記外観検査用管理装置（１０）から、前記記憶部（１２）に記憶された他の前記外観検査装置（２）の前記欠陥画像データ（４１２，４２２）、または当該欠陥画像データ（４１２，４２２）を用いて新たに生成された生成欠陥画像データ（４１３，４２３）、または、前記生成欠陥画像データ（４１３，４２３）を用いて機械学習を行い作成された前記学習済モデル（５１，５２）を取得可能に構成されている、外観検査システム（１）。

【0074】

［２］前記外観検査用管理装置（１０）は、所定の前記外観検査装置（２）で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データ（４１１，４２１）と、前記所定の外観検査装置（２）とは異なる前記外観検査装置（２）での前記欠陥画像データ（４１２，４２２）とを用いて、前記生成欠陥画像データ（４１３，４２３）を生成する画像生成処理部（１１３）と、前記所定の外観検査装置（２）で取得した前記欠陥画像データ（４１２，４２２）、前記無欠画像データ（４１１，４２１）、及び前記生成欠陥画像データ（４１３，４２３）を学習用データ（６１，６２）として機械学習を行い、前記所定の外観検査装置（２）で用いる前記学習済モデル（５１，５２）を作成するモデル作成処理部（１１５）と、を有する、［１］に記載の外観検査システム（１）。

【0075】

［３］前記外観検査装置（２）のそれぞれは、自装置で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データ（４１１，４２１）と、他の前記外観検査装置（２）から取得した前記欠陥画像データ（４１２，４２２）とを用いて、前記生成欠陥画像データ（４１３，４２３）を生成する画像生成処理部（１１３）と、自装置で取得した前記欠陥画像データ（４１２，４２２）及び前記無欠画像データ（４１１，４２１）と、前記生成欠陥画像データ（４１３，４２３）とを学習用データ（６１，６２）として機械学習を行い、自装置の前記学習済モデル（５１，５２）を作成するモデル作成処理部（１１５）と、を有する、［１］に記載の外観検査システム（１ｂ）。

【0076】

［４］前記外観検査用管理装置（１０）は、所定の前記外観検査装置（２）で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データ（４１１，４２１）と、前記所定の外観検査装置（２）とは異なる前記外観検査装置（２）での前記欠陥画像データ（４１２，４２２）とを用いて、前記所定の外観検査装置（２）用の前記生成欠陥画像データ（４１３，４２３）を生成する画像生成処理部（１１３）を有し、前記外観検査装置（２）のそれぞれは、自装置で取得した前記欠陥画像データ（４１２，４２２）及び前記無欠画像データ（４１１，４２１）と、前記外観検査用管理装置（１０）から取得した自装置用の前記生成欠陥画像データ（４１３，４２３）とを学習用データ（６１，６２）として機械学習を行い、自装置の前記学習済モデル（５１，５２）を作成するモデル作成処理部（１１５）を有する、［１］に記載の外観検査システム（１ｃ）。

【0077】

［５］前記画像データ取得処理部（１１２）は、前記複数の外観検査装置（２）から取得した前記欠陥画像データ（４１２，４２２）を、少なくとも、欠陥の種類と紐づけて前記記憶部（１２）に記憶する、［１］乃至［４］の何れか１項に記載の外観検査システム（１）。

【0078】

［６］前記画像データ取得処理部（１１２）は、前記複数の外観検査装置（２）から取得した前記欠陥画像データ（４１２，４２２）を、さらに、撮像時の照明状態と紐づけて前記記憶部（１２）に記憶する、［５］に記載の外観検査システム（１）。

【0079】

［７］前記画像データ取得処理部（１１２）は、前記複数の外観検査装置から、欠陥が無いと判定された前記画像データである無欠画像データ（４１１，４２１）を取得し前記記憶部（１２）に記憶するように構成され、前記画像生成処理部（１１３）は、他の前記外観検査装置の前記無欠画像データ（４１１，４２１）から、新たに所定の前記外観検査装置（２）用の前記生成無欠画像データを生成し、前記モデル作成処理部（１１５）は、前記生成無欠画像データを用いて前記学習済モデル（５１，５２）を作成する、［２］乃至［４］の何れか１項に記載の外観検査システム。

【0080】

［８］予め作成された学習済モデル（５１，５２）を用いて、撮像装置（２１ａ，２１ｂ）で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置（２）を管理する外観検査用管理装置（１０）であって、前記複数の外観検査装置（２）のそれぞれと相互に通信可能に構成されており、少なくとも、前記複数の外観検査装置（２）で前記検査対象物に欠陥が有ると識別された前記画像データである欠陥画像データ（４１２，４２２）を取得し記憶部（１２）に記憶する画像データ取得処理部（１１２）を有し、前記複数の外観検査装置（２）のそれぞれに、前記記憶部（１２）に記憶された他の前記外観検査装置（２）の前記欠陥画像データ（４１２，４２２）、または当該欠陥画像データ（４１２，４２２）を用いて新たに生成された生成欠陥画像データ（４１３，４２３）、または、前記生成欠陥画像データ（４１３，４２３）を用いて機械学習を行い作成された前記学習済モデル（５１，５２）を出力可能に構成されている、外観検査用管理装置（１０）。

【0081】

［９］予め作成された学習済モデル（５１，５２）を用いて、撮像装置（２１ａ，２１ｂ）で撮像した検査対象物の画像データから、前記検査対象物の欠陥の有無を識別する複数の外観検査装置（２）を用いた外観検査方法であって、前記複数の外観検査装置（２）のそれぞれと相互に通信可能に外観検査用管理装置（１０）を設け、前記外観検査用管理装置（１０）の記憶部（１２）に、少なくとも、前記複数の外観検査装置（２）で前記検査対象物に欠陥が有ると識別された前記画像データである欠陥画像データ（４１２，４２２）を記憶しておき、所定の前記外観検査装置（２）で前記検査対象物に欠陥が無いと判定された前記画像データである無欠画像データ（４１１，４２１）と、前記所定の外観検査装置（２）とは異なる前記外観検査装置（２）での前記欠陥画像データ（４１２，４２２）とを用いて、生成欠陥画像データ（４１３，４２３）を生成し、前記所定の外観検査装置（２）で取得した前記欠陥画像データ（４１２，４２２）及び前記無欠画像データ（４１１，４２１）と、前記生成欠陥画像データ（４１３，４２３）とを学習用データ（６１，６２）として機械学習を行い、前記所定の外観検査装置（２）で用いる前記学習済モデル（５１，５２）を作成する、外観検査方法。

【0082】

（付記）
以上、本発明の実施の形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。また、本発明は、その趣旨を逸脱しない範囲で適宜変形して実施することが可能である。

【符号の説明】

【0083】

１…外観検査システム
２…外観検査装置
２１ａ，２１ｂ…撮像装置
１０…外観検査用管理装置（管理装置）
１１…制御部
１１１…設定処理部
１１２…画像データ取得処理部
１１３…画像生成処理部
１１４…学習用データ作成処理部
１１５…モデル作成処理部
１１６…出力処理部
１２…記憶部
４１１…第１無欠画像データ
４１２…第１欠陥画像データ
４１３…第１生成欠陥画像データ
４２１…第２無欠画像データ
４２２…第２欠陥画像データ
４２３…第２生成欠陥画像データ
４３…画像データ管理データベース
５１…第１学習済モデル
５２…第２学習済モデル
６１…第１学習用データ
６２…第２学習用データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】