2023-3258 検査装置、学習装置、検査方法、生成モデルの生成方法、検査プログラム、および学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023003258

(43)【公開日】2023-01-11

(54)【発明の名称】検査装置、学習装置、検査方法、生成モデルの生成方法、検査プログラム、および学習プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221228BHJP

   G06T 7/00 20170101ALI20221228BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021104330

(22)【出願日】2021-06-23

(71)【出願人】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】森本 晃章

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA01

2G051AA90

2G051AB01

2G051AB02

2G051AC21

2G051EB01

2G051EB05

5L096AA02

5L096BA03

5L096DA01

5L096FA02

5L096GA08

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】外観が正常部分と類似した不良箇所の検出。
【解決手段】検査装置（２）は、不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように構築された生成モデル（１１３）を用いて、不良箇所の有無が不明の対象物を撮影した検査画像から生成画像を生成する画像生成部（２０１）と、該生成画像を用いて検査画像に写る対象物の不良箇所の有無を判定する良否判定部（２０２）を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデルを用いて、不良箇所の有無が不明の対象物を撮影した検査画像から前記生成画像を生成する画像生成部と、
前記画像生成部が生成した前記生成画像を用いて、前記検査画像に写る対象物の不良箇所の有無を判定する良否判定部と、を備える検査装置。

【請求項2】

前記生成モデルは、不良箇所を有さない対象物の画像を入力画像として用いることにより、当該入力画像と同様の特徴を有する前記生成画像を生成するように学習して構築されたものである、請求項１に記載の検査装置。

【請求項3】

前記生成モデルは、学習に用いられる前記入力画像の色成分のうち出現頻度が相対的に少ない色成分の色で不良箇所を強調した前記生成画像を生成するように学習して構築されたものである、請求項１または２に記載の検査装置。

【請求項4】

不良箇所を有する対象物の画像を、機械学習用の入力画像として取得する学習用データ取得部と、
前記入力画像が入力されたときに、前記不良箇所を強調した生成画像を生成するように学習することにより、生成モデルを構築する学習部と、を備える学習装置。

【請求項5】

不良箇所を有さない対象物の画像の一部分に、不良箇所と類似した外観の部分画像を合成して合成画像を生成する合成画像生成部と、
前記合成画像における前記一部分を強調した強調画像を生成する強調画像生成部と、を備え、
前記学習用データ取得部は、前記合成画像を前記入力画像として取得し、前記強調画像を教師データとして取得する、請求項４に記載の学習装置。

【請求項6】

検査装置が実行する検査方法であって、
不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデルを用いて、不良箇所の有無が不明の対象物を撮影した検査画像から前記生成画像を生成するステップと、
前記ステップで生成した前記生成画像を用いて、前記検査画像に写る対象物の不良箇所の有無を判定するステップと、を含む検査方法。

【請求項7】

学習装置が実行する生成モデルの生成方法であって、
不良箇所を有する対象物の画像を機械学習用の入力画像として取得するステップと、
前記入力画像が入力されたときに、前記不良箇所を強調した生成画像を生成するように学習することにより、生成モデルを構築するステップと、を含む生成モデルの生成方法。

【請求項8】

請求項１に記載の検査装置としてコンピュータを機能させるための検査プログラムであって、前記画像生成部および前記良否判定部としてコンピュータを機能させるための検査プログラム。

【請求項9】

請求項４に記載の学習装置としてコンピュータを機能させるための学習プログラムであって、前記学習用データ取得部および前記学習部としてコンピュータを機能させるための学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を撮像した画像を用いて当該対象物の良否判定を行う検査装置等に関する。

【背景技術】

【0002】

従来から、オートエンコーダ等のいわゆる生成モデルと呼ばれる機械学習済みモデルを用いた対象物の良否判定が行われている。例えば、下記の特許文献１には、良品と判断された検査対象物を撮像した画像を用いて機械学習したオートエンコーダに検査対象画像を入力して復元画像を生成し、検査対象画像と復元画像の差分から検査対象物の良否を判定することが記載されている。

【0003】

上記のような学習を行ったオートエンコーダに不良箇所のある対象物の検査対象画像を入力した場合、不良箇所は学習されていないため復元されにくいことに起因して、検査対象画像と復元画像の間に差分が生じる。これにより、対象物に不良箇所があると判定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－２０５１６３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述のような従来技術は、外観が正常部分と大きく異なる不良箇所の検出には有効であるものの、外観が正常部分と類似した不良箇所については検出に十分な差分が生じず、それゆえ検出が難しいという問題がある。

【0006】

本発明の一態様は、外観が正常部分と類似した不良箇所を検出することが可能な検査装置等を実現することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る検査装置は、不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデルを用いて、不良箇所の有無が不明の対象物を撮影した検査画像から前記生成画像を生成する画像生成部と、前記画像生成部が生成した前記生成画像を用いて、前記検査画像に写る対象物の不良箇所の有無を判定する良否判定部と、を備える。

【0008】

上記の課題を解決するために、本発明の一態様に係る学習装置は、不良箇所を有する対象物の画像を、機械学習用の入力画像として取得する学習用データ取得部と、前記入力画像が入力されたときに、前記不良箇所を強調した生成画像を生成するように学習することにより、生成モデルを構築する学習部と、を備える。
また、上記の課題を解決するために、本発明の一態様に係る検査方法は、検査装置が実行する検査方法であって、不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデルを用いて、不良箇所の有無が不明の対象物を撮影した検査画像から前記生成画像を生成するステップと、前記ステップで生成した前記生成画像を用いて、前記検査画像に写る対象物の不良箇所の有無を判定するステップと、を含む。

【0009】

上記の課題を解決するために、本発明の一態様に係る生成モデルの生成方法は、学習装置が実行する生成モデルの生成方法であって、不良箇所を有する対象物の画像を機械学習用の入力画像として取得するステップと、前記入力画像が入力されたときに、前記不良箇所を強調した生成画像を生成するように学習することにより、生成モデルを構築するステップと、を含む。

【発明の効果】

【0010】

本発明の一態様によれば、外観が正常部分と類似した不良箇所を検出することが可能な検査装置等を実現できる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る学習装置の要部構成の一例を示すブロック図である。

【図2】本発明の一実施形態に係る検査装置の要部構成の一例を示すブロック図である。

【図3】上記検査装置による検査の例を示す図である。

【図4】不良品画像と強調画像の例を示す図である。

【図5】合成画像と強調画像の生成例を示す図である。

【図6】上記学習装置が実行する生成モデルの生成方法の一例を示すフローチャートである。

【図7】上記検査装置が実行する検査方法の一例を示したフローチャートである。

【発明を実施するための形態】

【0012】

〔学習装置の構成〕
図１に基づいて本発明の一実施形態に係る学習装置１の構成を説明する。図１は、学習装置１の要部構成の一例を示すブロック図である。学習装置１は、所定の対象物を撮影した画像を用いて、その対象物が良品であるか不良品であるかを判定するための機械学習モデル（後述する生成モデル）を構築する装置である。

【0013】

上記対象物は、その外観に基づいて良品であるか不良品であるかを判定可能なものであればよい。上記対象物の具体例としては、各種工業製品（完成品であってもよいし、部品や中間生成品であってもよい）や食品などが挙げられる。また、不良品とは、求められる要件を満たしていない対象物であり、例えば、表面にキズ、汚れ、こげ、変色等がある、異物が付着している、良品と形状、印字、刻印などが異なるものなどが不良品とされる。

【0014】

図示のように、学習装置１は、学習装置１の各部を統括して制御する制御部１０、および学習装置１が使用する各種データを記憶する記憶部１１を備えている。また、学習装置１は、学習装置１がデータ等の入力を受け付ける入力部１２、学習装置１がデータ等を出力するための出力部１３、および学習装置１が外部の装置と通信するための通信部１４を備えている。

【0015】

制御部１０には、合成画像生成部１０１、強調画像生成部１０２、学習用データ取得部１０３、および学習部１０４が含まれている。また、記憶部１１には、良品画像１１１、不良品画像１１２、および生成モデル１１３が記憶されている。

【0016】

合成画像生成部１０１は、不良箇所を有さない対象物の画像の一部分に、不良箇所と類似した外観の部分画像を合成して合成画像を生成する。具体的には、合成画像生成部１０１は、不良箇所を有さない対象物の画像である良品画像１１１に部分画像を合成して合成画像を生成する。合成画像の生成方法の詳細は図５に基づいて後述する。

【0017】

強調画像生成部１０２は、合成画像生成部１０１が生成する合成画像における、部分画像が合成された部分を強調した強調画像を生成する。強調画像は、合成画像の元になった良品画像１１１から生成することもできるし、合成画像から生成することもできる。また、強調画像生成部１０２は、不良箇所を有する対象物の画像である不良品画像１１２における不良箇所を強調して強調画像を生成することもできる。

【0018】

学習用データ取得部１０３は、不良箇所を有する対象物の画像を、機械学習用の入力画像として取得する。より詳細には、学習用データ取得部１０３は、合成画像生成部１０１が生成する機械学習用の合成画像を入力画像として取得する。

【0019】

また、学習用データ取得部１０３は、上記入力画像とペアになる教師データ（正解データあるいは正解画像と呼ぶこともできる）として、強調画像生成部１０２が生成した強調画像を取得する。入力画像と教師データの組を学習用データと呼ぶ。合成画像とその合成画像から生成された強調画像の組は学習用データである。

【0020】

なお、学習用データ取得部１０３は、合成画像の代わりに不良品画像１１２を入力画像として取得してもよい。この場合、強調画像生成部１０２は、その不良品画像１１２の不良部分を強調した強調画像を生成し、学習用データ取得部１０３は、このようにして生成された強調画像を教師データとして取得する。つまり、不良品画像１１２とその不良部分を強調した強調画像の組も学習用データである。

【0021】

学習部１０４は、不良箇所を有する対象物の画像が入力画像として入力されたときに、その不良箇所を強調した生成画像を生成するように学習することにより、生成モデルを構築する。構築した生成モデルは、生成モデル１１３として記憶部１１に記憶される。

【0022】

具体的には、学習部１０４は、合成画像とその合成画像から生成された強調画像の組を学習用データとして用い、合成画像が入力されたときに、強調画像が生成されるように学習を行う。また、学習部１０４は、不良品画像１１２とその不良品画像１１２から生成された強調画像の組を学習用データとして用い、不良品画像１１２が入力されたときに、強調画像が生成されるように学習を行ってもよい。

【0023】

また、上記生成モデルの構築の際には、学習部１０４は、不良箇所を有さない対象物の画像である良品画像１１１を入力画像として用いることにより、当該入力画像と同様の特徴を有する生成画像を生成するように学習を行ってもよい。この学習に用いる学習用データは良品画像１１１のみである。詳細は後述するが、良品画像１１１を学習用データとした学習も行うことにより、汎用性と正確性を両立させた検査を行うことが可能な生成モデル１１３を構築することができる。

【0024】

良品画像１１１は、上述のように、不良箇所を有さない対象物の画像である。例えば、良否検査に用いた画像のうち、目視による検査により不良箇所を有さないことが確認されている対象物の画像を良品画像１１１とすればよい。なお、合成画像の代わりに不良品画像１１２を学習用データとして使用する場合で、かつ、良品画像１１１を学習用データとした学習を行わない場合には良品画像１１１は不要である。

【0025】

不良品画像１１２は、上述のように、不良箇所を有する対象物の画像である。例えば、良否検査に用いた画像のうち、目視による検査により不良箇所を有することが確認されている対象物の画像を不良品画像１１２とすればよい。また、不良品画像１１２については、その画像における不良箇所の位置および範囲を示すデータも合せて記録しておく。なお、不良品画像１１２を学習用データとして使用しない場合には、不良品画像１１２は不要である。

【0026】

生成モデル１１３は、学習部１０４が学習を行った結果構築された学習済みモデルである。生成モデル１１３は、機械学習により構築されたものであって、不良箇所を有する対象物の画像が入力されたときに、その不良箇所を強調した生成画像を生成するものであればよい。

【0027】

このような生成モデルとしては、例えば、オートエンコーダ、変分オートエンコーダ、およびＵ－Ｎｅｔ等を適用することができる。オートエンコーダは、エンコーダとデコーダを組み合わせたものであり、エンコーダで入力画像の特徴量の抽出を行い、抽出された特徴量をデコーダでデコードして生成画像を生成する。

【0028】

オートエンコーダで、良品画像１１１を学習用データとした学習を行う場合、良品画像１１１をエンコーダに入力して特徴量の抽出を行い、抽出された特徴量をデコーダでデコードして生成画像を生成する。学習は、この生成画像と良品画像１１１との誤差が小さくなるように、エンコーダとデコーダにおける各重みパラメータの値を調整することにより行われる。

【0029】

一方、オートエンコーダで、合成画像と強調画像の組を学習用データとした学習を行う場合、合成画像をエンコーダに入力して特徴量の抽出を行い、抽出された特徴量をデコーダでデコードして生成画像を生成する。学習は、この生成画像と強調画像との誤差が小さくなるように、エンコーダとデコーダにおける各重みパラメータの値を調整することにより行われる。不良品画像１１２と強調画像の組を学習用データとした学習を行う場合も同様である。

【0030】

また、変分オートエンコーダの学習も同様である。Ｕ－Ｎｅｔは、入力画像からセグメンテーションマップを出力するものであるから、Ｕ－Ｎｅｔを用いる場合、セグメンテーションマップではなく画像（生成画像）を生成するように学習すればよい。また、ＧＡＮ（Generative Adversarial Networks）により生成画像を生成することも可能である。

【0031】

以上のように、学習装置１は、不良箇所を有する対象物の画像を、機械学習用の入力画像として取得する学習用データ取得部１０３と、該入力画像が入力されたときに、不良箇所を強調した生成画像を生成するように学習することにより生成モデル１１３を構築する学習部１０４と、を備える。

【0032】

上記の構成によれば、不良箇所を有する対象物の画像を入力画像として取得し、これを用いて、不良箇所を強調した生成画像を生成するように学習して生成モデル１１３を構築する。この生成モデル１１３を用いて、不良箇所の有無が不明の対象物を撮影した検査画像から生成した生成画像では、不良箇所が元の検査画像よりも強調される。これにより、外観が正常部分と類似した不良箇所が検出しやすくなっている。よって、上記の構成によれば、外観が正常部分と類似した不良箇所の検出を可能にすることができるという効果を奏する。

【0033】

また、以上のように、学習装置１は、良品画像１１１の一部分に、不良箇所と類似した外観の部分画像を合成して合成画像を生成する合成画像生成部１０１と、合成画像における上記一部分を強調した強調画像を生成する強調画像生成部１０２と、を備える。そして、学習用データ取得部１０３は、合成画像を入力画像として取得し、強調画像を教師データとして取得する。

【0034】

上記の構成によれば、良品画像１１１から合成画像と強調画像を生成し、それらを取得する。これにより、学習に必要な、不良品画像１１２が十分に入手できない場合であっても、判定に十分な精度の生成画像を生成することが可能な生成モデル１１３を構築することが可能になる。

【0035】

〔検査装置の構成〕
図２に基づいて本発明の一実施形態に係る検査装置２の構成を説明する。図２は、検査装置２の要部構成の一例を示すブロック図である。検査装置２は、対象物を撮影した画像を用いて、その対象物が良品であるか不良品であるかを判定する装置である。

【0036】

図示のように、検査装置２は、制御部２０、記憶部２１、入力部２２、出力部２３、および通信部２４を備える。制御部２０には、画像生成部２０１および良否判定部２０２が含まれている。記憶部２１には、検査画像２１１、判定結果データ２１３、および生成モデル１１３が記憶されている。

【0037】

画像生成部２０１は、不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデル１１３を用いて、不良箇所の有無が不明の対象物を撮影した検査画像２１１から生成画像を生成する。生成モデル１１３は、学習装置１が生成したものであり、学習装置１から取得して記憶部２１に記憶させたものである。

【0038】

良否判定部２０２は、画像生成部２０１が生成した生成画像を用いて、検査画像に写る対象物の不良箇所の有無を判定する。そして、良否判定部２０２は、検査画像２１１に係る対象物が良品か不良品かという判定結果を示す判定結果データ２１３を記憶部２１に記憶させる。

【0039】

以上のように、検査装置２は、不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデル１１３を用いて、不良箇所の有無が不明の対象物を撮影した検査画像２１１から上記生成画像を生成する画像生成部２０１と、画像生成部２０１が生成した生成画像を用いて、検査画像２１１に写る対象物の不良箇所の有無を判定する良否判定部２０２と、を備える。

【0040】

上記の構成によれば、不良箇所を有する対象物の画像を入力画像として当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデル１１３を用いて生成した生成画像を用いて不良箇所の有無を判定する。なお、上述したように、生成モデル１１３の学習に用いる不良箇所を有する対象物の画像は、不良品画像１１２であってもよいし、合成画像生成部１０１が生成する合成画像であってもよい。

【0041】

この生成画像では、不良箇所が検査画像２１１よりも強調されているから、上記の構成によれば、外観が正常部分と類似した不良箇所を検出することが可能になるという効果を奏する。

【0042】

なお、上述のように、生成モデル１１３は、良品画像１１１を入力画像として用いることにより、当該入力画像と同様の特徴を有する生成画像を生成するように学習して構築されたものであってもよい。

【0043】

上記の構成によれば、良品画像１１１を入力画像として用いることにより、当該入力画像と同様の特徴を有する生成画像を生成するように学習して構築された生成モデル１１３を用いて検査画像２１１から生成画像を生成する。そして、その生成画像を用いて不良箇所の有無を判定する。

【0044】

これにより、学習されていないために強調されなかった不良箇所についても検出することが可能になる。そのような不良箇所は、生成モデルにより検査画像２１１から生成された生成画像では復元されず、これにより、検査画像２１１と生成画像との間に差分が生じるためである。

【0045】

〔検査の例〕
検査装置２による検査の例を図３に基づいて説明する。図３は、検査装置２による検査の例を示す図である。より詳細には、図３には、対象物Ａ１～Ａ３の良否検査を行う例を示している。

【0046】

（対象物Ａ１）
対象物Ａ１の良否検査は、対象物Ａ１をその上面側から撮影することにより得られた検査画像Ｂ１を用いて行われる。検査画像Ｂ１に写る対象物Ａ１の像ａ１には、変色部ａ１１が含まれており、変色部ａ１１が含まれているために対象物Ａ１は不良品である。

【0047】

なお、ここでは、画像生成部２０１が使用する生成モデル１１３の学習時には、変色部ａ１１と類似した変色部を含む不良品画像１１２が学習用データとして使用されていたことを想定している。つまり、ここで用いる生成モデル１１３は、変色部ａ１１と類似した変色部を含む不良品画像１１２を入力画像とし、当該変色部を強調した強調画像を教師データとした学習により構築されたモデルである。

【0048】

この対象物Ａ１の検査において、まず、検査装置２の画像生成部２０１は、生成モデル１１３に検査画像Ｂ１を入力して、生成画像Ｂ１’を生成する。上述のように、ここで使用する生成モデル１１３は、変色部ａ１１と類似した変色部を含む不良品画像１１２を用いた学習により生成されたものである。このため、生成画像Ｂ１’では、対象物Ａ１の像ａ１は概ね同様の像ａ１’となっている一方で、変色部ａ１１は強調されて変色部ａ１１’となっている。

【0049】

次に、良否判定部２０２が、画像生成部２０１が生成した生成画像Ｂ１’を用いて対象物Ａ１の不良箇所の有無を判定する。具体的には、良否判定部２０２は、検査画像Ｂ１と生成画像Ｂ１’の差分画像Ｂ１”を生成し、生成した差分画像Ｂ１”において、閾値以上の差分が生じている所定数以上の画素からなる連続領域があれば不良箇所あり、なければ不良箇所なしと判定する。

【0050】

なお、差分画像Ｂ１”は、検査画像Ｂ１の各画素の画素値と、生成画像Ｂ１’における対応する各画素の画素値との差を示すものである。図３に示す差分画像Ｂ１”は、上記の差が閾値以上の画素を白、閾値未満の画素を黒に二値化している。このように、不良箇所の有無の判定には二値化画像を用いてもよい。二値化画像を用いる場合、良否判定部２０２は、所定数以上の白色画素からなる連続領域を不良箇所として検出する。

【0051】

上述のように、生成画像Ｂ１’では、変色部ａ１１が強調されて変色部ａ１１’となっているため、当該部分における検査画像Ｂ１と生成画像Ｂ１’の差も強調される。このため、差分画像Ｂ１”では、当該部分が不良箇所ａ１１”として正しく検出される。よって、良否判定部２０２は、対象物Ａ１が不良品であると正しく判定することができる。

【0052】

（対象物Ａ２）
対象物Ａ２の良否検査も、対象物Ａ１の場合と同様に、対象物Ａ２をその上面側から撮影することにより得られた検査画像Ｂ２を用いて行われる。検査画像Ｂ２に写る対象物Ａ２の像ａ２には、変色部ａ２１が含まれており、変色部ａ２１が含まれているために対象物Ａ２は不良品である。ここで、変色部ａ２１は、生成モデル１１３の学習用データに含まれる入力画像の不良箇所の何れとも類似しないことを想定している。

【0053】

この対象物Ａ２の検査においても、まず、画像生成部２０１が、生成モデル１１３に検査画像Ｂ２を入力して、生成画像Ｂ２’を生成する。上述のように、ここで使用する生成モデル１１３の学習には、変色部ａ２１と類似した不良箇所を含む学習用データは用いられていない。このため、生成画像Ｂ２’では変色部ａ２１が強調されていない。

【0054】

また、ここでは、生成モデル１１３は、良品画像１１１を入力画像として用いることにより、当該入力画像と同様の特徴を有する生成画像を生成するように学習して構築されていることを想定している。このため、生成画像Ｂ２’では変色部ａ２１は復元もされていない。

【0055】

次に、良否判定部２０２が、画像生成部２０１が生成した生成画像Ｂ２’を用いて対象物Ａ２の不良箇所の有無を判定する。具体的には、良否判定部２０２は、検査画像Ｂ２と生成画像Ｂ２’の差分画像Ｂ２”を生成し、生成した差分画像Ｂ２”において、閾値以上の差分が生じている所定数以上の画素からなる連続領域があれば不良箇所あり、なければ不良箇所なしと判定する。対象物Ａ１の検査の場合と同様、不良箇所の有無の判定には二値化画像を用いてもよい。

【0056】

生成画像Ｂ２’では変色部ａ２１が復元されないことにより、差分画像Ｂ２”では変色部ａ２１の領域が検査画像Ｂ２と生成画像Ｂ２’の差分として表れる。よって、良否判定部２０２は、当該領域を不良箇所ａ２１”として正しく検出し、対象物Ａ２が不良品であると正しく判定することができる。

【0057】

（対象物Ａ３）
対象物Ａ３の良否検査も、対象物Ａ１、Ａ２と同様に、対象物Ａ３をその上面側から撮影することにより得られた検査画像Ｂ３を用いて行われる。検査画像Ｂ３に写る対象物Ａ３の像ａ３には、変色部が含まれていない。つまり、対象物Ａ３は良品である。

【0058】

この対象物Ａ３の検査においても、まず、画像生成部２０１は、生成モデル１１３に検査画像Ｂ３を入力して、生成画像Ｂ３’を生成する。検査画像Ｂ３には、学習済みの不良箇所と類似する箇所は含まれていないので、検査画像Ｂ３に写る像ａ３と同様の特徴を有する像ａ３’が写る生成画像Ｂ３’が生成される。

【0059】

次に、良否判定部２０２が、画像生成部２０１が生成した生成画像Ｂ３’を用いて対象物Ａ３の不良箇所の有無を判定する。具体的には、良否判定部２０２は、検査画像Ｂ３と生成画像Ｂ３’の差分画像Ｂ３”を生成し、生成した差分画像Ｂ３”において、閾値以上の差分が生じている所定数以上の画素からなる連続領域があれば不良箇所あり、なければ不良箇所なしと判定する。対象物Ａ１の検査の場合と同様、不良箇所の有無の判定には二値化画像を用いてもよい。

【0060】

検査画像Ｂ３に写る像ａ３と生成画像Ｂ３’に写る像ａ３’は同様の外観であるから、検査画像Ｂ３と生成画像Ｂ３’の間に有意な差分は生じていない。このため、良否判定部２０２は、差分画像Ｂ３”から対象物Ａ３が良品であると正しく判定することができる。

【0061】

〔学習用データとして使用される画像について〕
学習装置１の学習部１０４は、入力画像と教師データ（正解画像）からなる学習用データを用いて、入力画像が入力されたときに、教師データとした正解画像が生成されるように学習することにより、生成モデル１１３を生成する。

【0062】

このため、上記入力画像としては、図３の検査画像Ｂ１のような、不良部分が含まれることが予め分かっている画像、すなわち不良品画像１１２が用いられる。不良品画像１１２としては、図３に示したような実際の検査において使用した検査画像Ｂ１を用いることもできる。また、不良品画像１１２の代わりに、あるいは不良品画像に加えて、合成画像生成部１０１が生成する合成画像を入力画像として用いてもよい。

【0063】

また、教師データとしては、図３の生成画像Ｂ１’のような、入力画像の不良箇所を強調した画像である強調画像が用いられる。強調画像は、強調画像生成部１０２によって生成される。具体的には、強調画像生成部１０２は、不良品画像１１２の不良箇所の色を所定の強調色に変更することにより強調画像を生成する。また、強調画像生成部１０２は、合成における、不良箇所と類似した外観の部分画像が合成された部分の色を所定の強調色に変更することにより強調画像を生成してもよい。

【0064】

また、上述のように、学習部１０４は、上述した学習用データを用いた学習に加えて、不良箇所を有さない対象物の画像、すなわち良品画像１１１を入力画像として用いた学習についても行ってもよい。良品画像１１１としては、図３に示したような実際の検査において使用した検査画像Ｂ３を用いることもできる。

【0065】

良品画像１１１を入力画像とする学習では、入力画像とした良品画像１１１を教師データ（正解画像）とする。この学習においては、学習部１０４は、入力画像である良品画像１１１に対し、当該良品画像１１１と同様の特徴を有する生成画像が生成されるように学習する。良品画像１１１、不良品画像１１２、および合成画像の何れを入力画像とする場合においても、学習の枠組みは同じであるから、各画像を含む教師データをあらかじめ用意しておき、まとめて学習することも可能である。なお、良品画像１１１を入力画像とする学習は、入力画像と正解画像が同じであることから、教師なし学習に分類されることもある。

【0066】

〔強調色について〕
上述の強調色は、学習に用いられる入力画像の色成分のうち出現頻度が相対的に少ない色成分の色とすることが好ましい。これについて、図４に基づいて説明する。図４は、不良品画像と強調画像の例を示す図である。

【0067】

図４に示す不良品画像Ｃには、図３の検査画像Ｂ１と同様の不良箇所が含まれている。また、図４には、この不良品画像ＣにおけるＲ、Ｇ、Ｂの各色成分の平均画素値を棒グラフで示している。この棒グラフに示されるように、不良品画像Ｃでは、ＲおよびＧの色成分と比べて、Ｂすなわち青色成分の平均画素値が相対的に小さい。つまり、不良品画像Ｃでは、青色の出現頻度が相対的に少ない。

【0068】

このような場合、強調画像生成部１０２は、強調色を青色として、図４に示すような強調画像Ｄを生成することが好ましい。強調画像Ｄにおける不良箇所は、同図に棒グラフで示すように、平均画素値が２５５の青色である。これにより、不良品画像Ｃと、強調画像Ｄにおける、不良箇所の差分を際立たせることができる。なお、不良品画像Ｃの全体での各色成分の平均画素値の代わりに、不良品画像Ｃのうち対象物が写る領域の各色成分の平均画素値に基づいて強調色を決定してもよい。

【0069】

このように、生成モデル１１３は、学習に用いられる入力画像の色成分のうち出現頻度が相対的に少ない色成分の色で不良箇所を強調した生成画像を生成するように学習して構築されたものであってもよい。

【0070】

検査画像は、学習に用いられる入力画像と同じ対象物を撮影した画像であるから、検査画像における各色成分の出現頻度は学習に用いた入力画像の色成分と同様になる。そして、出現頻度が相対的に少ない色成分の色は、画像において際立つ色であり、そのような色の箇所は検出が容易である。よって、上記の構成によれば、生成画像を用いた不良箇所の検出を容易にすることができる。

【0071】

〔合成画像と強調画像の生成例〕
図５は、合成画像と強調画像の生成例を示す図である。図５には、２通りの生成例を示している。１つは、基準形状Ｅ１～Ｅ３を用いた合成画像と強調画像の生成例であり、もう１つは、不良部分画像Ｆ１とマスク画像Ｆ２を用いた合成画像と強調画像の生成例である。なお、何れの生成例においても、合成画像の元になる画像は、良品である対象物の像ｇが写る良品画像Ｇである。

【0072】

（基準形状を使用する例）
基準形状Ｅ１～Ｅ３を用いる場合、合成画像生成部１０１は、まず良品画像Ｇにおける基準形状Ｅ１～Ｅ３の合成位置を決定する。この際、合成画像生成部１０１は、良品画像Ｇにおける対象物の像ｇの範囲を特定し、その範囲内に合成位置を設定する。図５の例では、対象物の像ｇの左下隅付近が合成位置に設定されている。

【0073】

次に、合成画像生成部１０１は、基準形状Ｅ１～Ｅ３の中から使用する１つを選択する。合成画像生成部１０１は、例えば、使用するものをランダムに選択してもよい。また、不良箇所の形状のパターンが予め決まっている場合、合成画像生成部１０１は、そのパターンに近いものを選択してもよい。図５の例では、基準形状Ｅ１が選択されている。なお、基準形状は１つのみ用意しておいてもよく、この場合選択の必要はない。また、基準形状は任意の形状とすることができ、例えば、円、楕円、矩形、多角形、それらを変形したもの、その組み合わせ等を基準形状とすることができる。また、例えば、不良品画像１１２から抽出した不良箇所の形状を基準形状としてもよい。

【0074】

次に、合成画像生成部１０１は、選択した基準形状Ｅ１を変形させる。変形の方法は特に限定されない。例えば、基準形状Ｅ１の頂点の位置を所定の規則に従ってあるいはランダムにずらしてもよい。また、例えば、基準形状Ｅ１に回転変換を施してもよく、この場合の回転角は所定の規則に従って設定してもよいし、ランダムに設定してもよい。また、基準形状Ｅ１をアフィン変換等の任意の変形手法により変形させてもよい。

【0075】

最後に、合成画像生成部１０１は、変形後の基準形状Ｅ１内の各画素の値を、不良箇所の色に対応する値に変換する。不良箇所の色は、不良品画像１１２から抽出した色、またはそれを元に生成した色とすればよい。これにより、良品画像Ｇの一部分に、不良箇所と類似した外観の不良部分画像ｈが合成された合成画像Ｈが生成される。

【0076】

そして、強調画像生成部１０２は、合成画像Ｈにおける不良部分画像ｈが合成された部分を強調して不良部分画像ｈ’とした強調画像Ｈ’を生成する。例えば、強調画像生成部１０２は、不良部分画像ｈの部分に含まれる各画素を所定の強調色に変更することにより強調画像Ｈ’を生成してもよい。上述のように、強調画像Ｈ’は、合成画像Ｈから生成することもできるし、良品画像Ｇから生成することもできる。

【0077】

（不良部分画像とマスク画像を使用する例）
続いて、不良部分画像Ｆ１とマスク画像Ｆ２を用いる例について説明する。不良部分画像Ｆ１は、不良品画像１１２の不良部分を切り出したものである。また、マスク画像Ｆ２は、不良部分画像Ｆ１を良品画像Ｇに合成する際に、不良品部分画像Ｆ１における不良部分の背景領域をマスクするためのものである。マスク画像Ｆ２においては、不良部分画像Ｆ１における不良部分に対応する領域の画素値が白、他の領域の画素値が黒となっている。

【0078】

不良部分画像Ｆ１とマスク画像Ｆ２を用いる場合にも、まず、合成画像生成部１０１は、良品画像Ｇにおける不良部分画像Ｆ１とマスク画像Ｆ２の合成位置を決定する。そして、合成画像生成部１０１は、不良品部分画像Ｆ１とマスク画像Ｆ２に変換処理を施した上で、良品画像Ｇの上記合成位置に合成する。変換処理としては、回転変換、形状変換、色変換等様々なものが適用できる。これにより、不良部分画像ｊを含む合成画像Ｊが生成される。また、強調画像生成部１０２は、合成画像Ｊにおける不良部分画像ｊを強調して不良部分画像ｊ’とした強調画像Ｊ’を生成する。強調画像Ｊ’は、合成画像Ｊから生成することもできるし、良品画像Ｇから生成することもできる。

【0079】

（強調する範囲について）
図５の例のように、強調画像生成部１０２は、合成画像における不良箇所のみを強調して強調画像を生成すればよい。これは、不良品画像１１２から強調画像を生成する場合も同様であり、強調画像生成部１０２は、不良品画像１１２における不良箇所のみを強調して強調画像を生成すればよい。

【0080】

言い換えれば、強調画像生成部１０２は、合成画像の元になる画像を構成する画素のうち、不良箇所を構成する画素の画素値のみを元の画像から変更することにより強調画像を生成すればよい。変更の態様は、変更により当該不良部分の検出精度が向上するようなものであればよく、上述のように強調色への変更であってもよいし、画素値の変更等であってもよい。

【0081】

また、強調画像生成部１０２は、合成画像または不良品画像１１２における不良箇所の一部分を強調して強調画像を生成してもよい。例えば、強調画像生成部１０２は、合成画像または不良品画像１１２における不良箇所の外縁部を構成する画素の色を強調色に変更する、あるいは当該画素の画素値を変更する等して強調画像としてもよい。

【0082】

〔生成モデルの生成方法〕
図６は、学習装置１が実行する生成モデル１１３の生成方法の一例を示すフローチャートである。なお、以下では、記憶部１１に良品画像１１１が記憶されており、この良品画像１１１から合成画像と強調画像を生成して、生成した合成画像および強調画像を学習用データとする例を説明する。

【0083】

Ｓ１１では、合成画像生成部１０１が、記憶部１１から良品画像１１１を読み出す。そして、Ｓ１２では、合成画像生成部１０１は、Ｓ１１で読み出した良品画像１１１の一部分に、不良箇所と類似した外観の部分画像を合成して合成画像を生成する。合成画像の生成方法については図５に基づいて説明したとおりであるからここでは説明を繰り返さない。

【0084】

Ｓ１３では、強調画像生成部１０２が強調画像を生成する。具体的には、強調画像生成部１０２は、Ｓ１１で読み出された良品画像１１１の画像領域のうち、Ｓ１２で部分画像が合成された領域を強調して強調画像を生成する。領域の強調は、例えば当該領域の色を予め定めた強調色に変更することにより行われる。

【0085】

なお、Ｓ１１からＳ１３の処理は、学習に必要な数の合成画像および強調画像が得られるまで繰り返し行われる。そして、Ｓ１４以下の処理は、学習に必要な数の合成画像および強調画像が得られた後に行われる。

【0086】

Ｓ１４では、学習用データ取得部１０３が、学習用データを取得する。具体的には、学習用データ取得部１０３は、Ｓ１２で生成された合成画像、すなわち不良箇所を有する対象物の画像を機械学習用の入力画像として取得する。また、学習用データ取得部１０３は、Ｓ１３で生成された強調画像を教師データとして取得する。つまり、学習用データ取得部１０３は、Ｓ１２で生成された合成画像とＳ１３で生成された強調画像の組を学習用データとして取得する。

【0087】

なお、学習用データ取得部１０３が取得する学習用データは、合成画像と強調画像の組に限られない。記憶部１１に不良品画像１１２を記憶させておいた場合、Ｓ１３では、強調画像生成部１０２が、不良品画像１１２から強調画像を生成する。そして、Ｓ１４では、学習用データ取得部１０３が、不良品画像１１２と、その不良品画像１１２から生成された強調画像の組を学習用データとして取得する。無論、学習用データ取得部１０３は、合成画像と強調画像の組と、不良品画像１１２と強調画像の組の両方を学習用データとして取得してもよい。

【0088】

Ｓ１５では、学習部１０４が、Ｓ１４で取得された学習用データを用いて、合成画像が入力されたときに強調画像を生成するように学習することにより、生成モデルを構築する。構築された生成モデルは、生成モデル１１３として記憶部１１に記憶される。

【0089】

また、学習用データ取得部１０３は、Ｓ１４において、良品画像１１１についても学習用データとして取得してもよい。この場合、Ｓ１５において、学習部１０４は、上述の学習に加えて、良品画像１１１が入力されたときには、入力された良品画像１１１と同様の特徴を有する生成画像を生成するように学習を行う。

【0090】

以上のように、本実施形態に係る生成モデルの生成方法は、学習装置１が実行する生成モデルの生成方法であって、不良箇所を有する対象物の画像を機械学習用の入力画像として取得するステップ（Ｓ１４）と、上記入力画像が入力されたときに、上記不良箇所を強調した生成画像を生成するように学習することにより、生成モデル１１３を構築するステップ（Ｓ１５）と、を含む。この生成方法により生成された生成モデル１１３を用いることにより、外観が正常部分と類似した不良箇所の検出が可能になる。

【0091】

〔検査方法〕
図７は、検査装置２が実行する検査方法の一例を示すフローチャートである。なお、以下では、不良箇所の有無が不明の対象物が撮影され、撮影された画像が記憶部２１に検査画像２１１が記憶された後の処理を説明する。

【0092】

Ｓ２１では、画像生成部２０１が、記憶部２１から検査画像２１１を読み出す。続くＳ２２では、画像生成部２０１は、生成モデル１１３を用いて、検査画像２１１から生成画像を生成する。具体的には、画像生成部２０１は、生成モデル１１３に検査画像２１１を入力して生成画像を生成する。

【0093】

Ｓ２３では、良否判定部２０２が、Ｓ２１で読み出された検査画像２１１と、Ｓ２２で生成された生成画像の差分画像を生成する。具体的には、良否判定部２０２は、検査画像２１１の各画素における画素値と、生成画像において対応する各画素における画素値との差を算出する。

【0094】

Ｓ２４では、良否判定部２０２は、Ｓ２３で生成した差分画像を用いて不良箇所の有無を判定する。良否判定部２０２は、この判定結果を判定結果データ２１３として記憶部２１に記憶し、これにより図７の処理は終了する。

【0095】

以上のように、本実施形態に係る検査方法は、検査装置２が実行する検査方法であって、不良箇所を有する対象物の画像を入力画像として、当該不良箇所を強調した生成画像を生成するように学習することにより構築された生成モデル１１３を用いて、不良箇所の有無が不明の対象物を撮影した検査画像２１１から生成画像を生成するステップ（Ｓ２２）と、Ｓ２２で生成された生成画像を用いて、検査画像２１１に写る対象物の不良箇所の有無を判定するステップ（Ｓ２４）と、を含む。この構成によれば、外観が正常部分と類似した不良箇所を検出することが可能になるという効果を奏する。

【0096】

〔変形例〕
上述の各実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、上述の各実施形態で説明した各処理を実行可能であれば、装置構成は任意である。例えば、学習装置１が実行する処理のうち、学習用データを生成する処理と、生成された学習用データを用いて学習を行う処理とをそれぞれ別の情報処理装置に分担して実行させてもよい。検査装置２についても同様であり、検査装置２が実行する処理を複数の情報処理装置に分担して実行させてもよい。

【0097】

〔ソフトウェアによる実現例〕
学習装置１および検査装置２（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラム（学習プログラム／検査プログラム）であって、当該装置の各制御ブロック（特に制御部１０または制御部２０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0098】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0099】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0100】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0101】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0102】

１ 学習装置
１０１ 合成画像生成部
１０２ 強調画像生成部
１０３ 学習用データ取得部
１０４ 学習部
１１３ 生成モデル
２ 検査装置
２０１ 画像生成部
２０２ 良否判定部
２１１ 検査画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】