特許 7499337 検査システム、学習方法、検査方法、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-05

(45)【発行日】2024-06-13

(54)【発明の名称】検査システム、学習方法、検査方法、及び記憶媒体

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240606BHJP

   G06T 7/00 20170101ALI20240606BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610C

【請求項の数】 9

(21)【出願番号】P 2022539856

(86)(22)【出願日】2020-07-29

(86)【国際出願番号】 JP2020028998

(87)【国際公開番号】W WO2022024245

(87)【国際公開日】2022-02-03

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】古賀 隼一

【審査官】嶋田 行志

(56)【参考文献】

【文献】特表２０２１－５３４５２３（ＪＰ，Ａ）

【文献】特開２０２０－１８７７３５（ＪＰ，Ａ）

【文献】特開２０２０－０６７８６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２８７２３０（ＵＳ，Ａ１）

【文献】特開２０１８－１１６６７２（ＪＰ，Ａ）

【文献】特開２０１８－１２０３００（ＪＰ，Ａ）

【文献】特開２０１９－００９９１９（ＪＰ，Ａ）

【文献】国際公開第２０２０／０３１９８４（ＷＯ，Ａ１）

【文献】特開２０２０－０３５０９７（ＪＰ，Ａ）

【文献】特開２０２０－０７１８０８（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９４２６７（ＷＯ，Ａ１）

【文献】特開２０１８－１０１３１７（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２５７４５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００－Ｇ０６Ｔ ７／９０

Ｇ０６Ｎ ３／００－Ｇ０６Ｎ ９９／００

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

学習済みモデルを記憶するメモリと、
プロセッサと、
検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、
ユーザの入力操作に応じた信号を出力するユーザインタフェースと、
を備え、
前記学習済みモデルは、
多層ニューラルネットワークであって、
前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、
学習時に、
正常画像が入力された場合に前記正常画像を出力するように深層学習され、
第１の異常画像が入力された場合に第２の異常画像を出力するように深層学習された学習済みモデルであって、
前記正常画像は、正常な検査対象が撮像された画像であって、
前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
前記プロセッサは、
検査時に、
前記学習済みモデルに前記処理対象画像を入力し、
前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行い、
前記プロセッサは、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成する、
ことを特徴とする検査システム。

【請求項2】

前記プロセッサは、前記相違度が所定閾値以上の領域を異常として検出することを特徴とする請求項１に記載の検査システム。

【請求項3】

前記プロセッサは、前記処理対象画像と前記出力画像との差分画像を取得することにより、前記相違度を算出することを特徴とする請求項１に記載の検査システム。

【請求項4】

前記第２の異常画像は、前記第１の異常画像における前記異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更した画像であることを特徴とする請求項１に記載の検査システム。

【請求項5】

前記第２の異常画像は、前記第１の異常画像における前記異常領域の画素値を輝度反転した画像であることを特徴とする請求項１に記載の検査システム。

【請求項6】

前記異常箇所は、スクラッチ箇所であることを特徴とする請求項１に記載の検査システム。

【請求項7】

前記異常箇所は、低コントラスト箇所であることを特徴とする請求項１に記載の検査システム。

【請求項8】

撮像装置を有する顕微鏡装置を更に備え、
前記正常画像、前記異常箇所を有する検査対象が撮像された画像である前記第１の異常画像、及び前記処理対象画像は、前記顕微鏡装置が取得した画像であることを特徴とする請求項１に記載の検査システム。

【請求項9】

学習用モデルを深層学習させる学習方法が、
正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、
第１の異常画像が入力された場合に第２の異常画像を出力するように前記学習用モデルを深層学習させるステップと、
を含み、
前記正常画像は、正常な検査対象が撮像された画像であって、
前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
前記学習方法により前記学習用モデルを深層学習させた学習済みモデルが、
多層ニューラルネットワークであって、
検査対象が撮像された画像である処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、
を有し、
前記学習済みモデルに、前記処理対象画像を入力するステップと、
前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと、
前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成するステップと、
を含むことを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査システム、学習方法、検査方法、及び記憶媒体に関する。

【背景技術】

【0002】

近年、製造業等においては、深層学習（Deep Learning）を活用した外観検査が行われている。具体的には、深層学習させた学習済みモデルを用いて検査対象（製造部品等）の外観検査が行われている。

【0003】

この場合の深層学習では、正常な検査対象の画像のみを用いた教師なし学習が行われる。その理由は、製造現場等では、正常な検査対象の発生数に比べて、異常な検査対象（外観上にキズ等の異常を有する検査対象）の発生数が遥かに少ないために、異常な検査対象の画像を多く収集することができないからである。また、検査対象に生じ得る異常（外観上のキズ等）が未知であるからである。

【0004】

教師なし学習が行われた学習済みモデルの代表例として、オートエンコーダ（ＡＥ：AutoEncorder）が知られている。外観検査に用いられるオートエンコーダでは、学習時に正常な検査対象の画像のみを用いて学習が行われるために、正常な検査対象の画像の特徴のみが抽出される。そのため、正常な検査対象の画像が入力された場合には、その正常な検査対象の画像が出力され、異常な検査対象の画像が入力された場合には、異常箇所が復元されない画像（正常な検査対象の画像ともいえる）が出力される。そして、オートエンコーダを用いた外観検査では、例えば、オートエンコーダに入力した検査対象の画像と、オートエンコーダから出力された画像との差分をとり、その差分に基づいて、検査対象の異常の有無が判定される。例えば、その差分が大きい場合には、検査対象に異常有り（異常な検査対象である）と判定される。

【0005】

オートエンコーダを用いた外観検査に関する技術として、その他、例えば、特許文献１に記載の外観検査装置が知られている。この外観検査装置では、良品画像に欠陥を表す画像を合成した擬似欠陥画像を用いて学習が行われている。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０１８／２２５７４５号

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述の、正常な検査対象の画像のみを用いて学習が行われたオートエンコーダでは、異常な検査対象の画像が入力された場合に、本来ならば、異常箇所が復元されない画像が出力されるべきところ、その異常箇所も復元された画像が出力されてしまう場合がある。例えば、異常箇所が、スクラッチ箇所や低コントラスト箇所といった場合である。この場合は、オートエンコーダに入力された画像とオートエンコーダから出力された画像との差分がほぼ０になってしまうことから、本来は異常な検査対象（異常有り）と判定されるべきところ、正常な検査対象（異常なし）と誤判定されてしまい、検査対象の正確な異常判定を行うことができない。

【0008】

一方、上述の特許文献１に記載の外観検査装置では、良品画像に合成される欠陥が、現実に生じ得る欠陥と乖離する場合が多いことから、検査対象の正確な異常判定を行うことができるとは言い難い。

【0009】

本発明は、上記実状に鑑み、検査対象の正確な異常判定を行うことができる検査システム、学習方法、検査方法、及び記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様は、検査システムであって、学習済みモデルを記憶するメモリと、プロセッサと、検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、ユーザの入力操作に応じた信号を出力するユーザインタフェースと、を備え、前記学習済みモデルは、多層ニューラルネットワークであって、前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、学習時に、正常画像が入力された場合に前記正常画像を出力するように深層学習され、第１の異常画像が入力された場合に第２の異常画像を出力するように深層学習された学習済みモデルであって、前記正常画像は、正常な検査対象が撮像された画像であって、前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記プロセッサは、検査時に、前記学習済みモデルに前記処理対象画像を入力し、前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行い、前記プロセッサは、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成する、ことを特徴とする。

【0012】

本発明の他の一態様は、検査方法であって、学習用モデルを深層学習させる学習方法が、正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、第１の異常画像が入力された場合に第２の異常画像を出力するように前記学習用モデルを深層学習させるステップと、を含み、前記正常画像は、正常な検査対象が撮像された画像であって、前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記学習方法により前記学習用モデルを深層学習させた学習済みモデルが、多層ニューラルネットワークであって、検査対象が撮像された画像である処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、を有し、前記学習済みモデルに、前記処理対象画像を入力するステップと、前記エンコーダ構造により抽出された特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成するステップと、を含むことを特徴とする。

【発明の効果】

【0014】

本発明に依れば、検査対象の正確な異常判定を行うことができる。

【図面の簡単な説明】

【0015】

【図1】一実施の形態に係る検査システムの構成を例示する図である。

【図2】検査装置のハードウェア構成を例示する図である。

【図3】プロセッサが行う学習処理の流れを例示するフローチャートである。

【図4】プロセッサが行う第２の異常画像の生成例を模式的に示す図である。

【図5】プロセッサが行う検査処理の流れを例示するフローチャートである。

【図6】処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図（その１）である。

【図7】処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図（その２）である。

【図8】処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図（その３）である。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら、本発明の実施の形態について説明する。
図１は、一実施の形態に係る検査システムの構成を例示する図である。
図１に例示した検査システム１は、製造現場にて製造される製造部品等の外観検査に使用されるシステムであって、工業用の顕微鏡装置１０と、当該顕微鏡装置１０に接続された検査装置２０と、当該検査装置２０に接続されたキーボード３０、マウス４０、及び表示装置５０とを含む。

【0017】

顕微鏡装置１０は、検査対象（例えば製造部品Ｓ）が載置されるステージ１１と、検査対象からの光を集光する対物レンズ１２と、光路上に配置する対物レンズを切り替えるレボルバ１３と、撮像装置１４とを備える。撮像装置１４は、例えば、入射した観察光を電気信号に変換するイメージセンサを含むデジタルカメラである。撮像装置１４は、検査対象を撮像して、検査対象画像を生成する。検査対象画像は、例えば処理対象画像として、撮像装置１４から検査装置２０へ出力される。

【0018】

検査装置２０は、顕微鏡装置１０（撮像装置１４）から入力された処理対象画像に基づいて、検査対象の外観検査を行う検査処理を行う。この検査処理では、学習済みモデルを用いて、検査対象の異常有無判定や、検査対象の異常検出等が行われる。また、検査装置２０は、検査処理に用いられる学習済みモデルを生成するために、学習用モデル（学習前モデル）を深層学習させる学習処理等も行う。

【0019】

キーボード３０及びマウス４０は、ユーザの入力操作に応じた信号を検査装置２０に入力する。表示装置５０は、例えばＬＣＤ（Liquid Crystal Display）であり、検査装置２０の判定結果や検出結果等を表示する。

【0020】

なお、検査システム１は、更に、検査装置２０に接続されるタッチパネルを備えてもよい。この場合、タッチパネルは、表示装置５０の表示画面上に設けられてもよい。また、検査システム１は、更に、検査装置２０に接続されるスピーカを備えてもよい。この場合、スピーカは、検査装置２０の判定結果や検出結果等を音声により出力してもよい。

【0021】

図２は、検査装置のハードウェア構成を例示する図である。なお、図２に例示したハードウェア構成は、コンピュータのハードウェア構成を例示するものでもあり、このように、検査装置２０は、コンピュータにより実現されてもよい。

【0022】

図２に例示した検査装置２０は、プロセッサ２１、メモリ２２、記憶装置２３、入出力インタフェース２４、可搬型記憶媒体駆動装置２５、及び通信インタフェース２６を備え、その各々は、バス２７に接続されて互いに信号（データ）の送受信が可能である。

【0023】

プロセッサ２１は、ＣＰＵ（Central Processing Unit）を含んで構成され、ＯＳ（Operating System）のプログラムやアプリケーションプログラム（検査処理や学習処理を行うためのプログラムを含む）を実行することにより、検査装置２０が行う各種処理（検査処理や学習処理を含む）を制御する。なお、プロセッサ２１は、更に、ＧＰＵ（Graphics Processing Unit）等を含んで構成されてもよい。

【0024】

メモリ２２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含む。ＲＡＭは、プロセッサ２１が実行するプログラムの一部が一時的に格納されたり、プロセッサ２１の作業用記憶領域として使用されたりする。ＲＯＭは、プロセッサ２１が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶される。ＲＯＭは、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、又はフラッシュメモリ等である。

【0025】

記憶装置２３は、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等である。記憶装置２３には、プロセッサ２１が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。

【0026】

入出力インタフェース２４は、入力装置及び出力装置との間のインタフェースである。入力装置は、顕微鏡装置１０、キーボード３０、マウス４０、及びタッチパネル等である。キーボード３０、マウス４０、及びタッチパネル等は、ユーザの入力操作に応じた信号を出力するユーザインタフェースの一例である。入出力インタフェース２４は、例えば、顕微鏡装置１０（撮像装置１４）が出力した処理対象画像をプロセッサ２１に入力したり、ユーザインタフェースが出力した信号をプロセッサ２１に入力したりする。出力装置は、表示装置５０、及びスピーカ等である。

【0027】

可搬型記憶媒体駆動装置２５は、可搬型記憶媒体２５ａを駆動し、その記憶内容にアクセスする。可搬型記憶媒体２５ａには、プロセッサ２１が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。可搬型記憶媒体２５ａは、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等であり、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＵＳＢ（Universal Serial Bus）メモリ等も含まれる。

【0028】

なお、メモリ２２、記憶装置２３、及び可搬型記憶媒体２５ａは、非一時的なコンピュータ読取可能な記憶媒体の一例である。また、記憶装置２３及び可搬型記憶媒体２５ａは、メモリとも称し得る。

【0029】

通信インタフェース２６は、図示しないネットワークに接続され、当該ネットワークに接続された外部装置（サーバ装置等）との間で通信を行うためのインタフェースである。

【0030】

なお、検査装置２０は、図２に例示したハードウェア構成に限らず、図２に例示した各構成要素を１つ又は複数備えて構成されてもよいし、一部の構成要素を備えずに構成されてもよい。例えば、１つのプロセッサ２１に限らず、複数のプロセッサを備えてもよい。また、処理は、１つのプロセッサにより実行されてもよいし、処理が同時に、逐次的に、又は他の方式で、１以上のプロセッサにより実行されてもよい。

【0031】

また、検査装置２０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよい。例えば、プロセッサ２１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0032】

次に、検査装置２０が行う検査処理に用いられる学習済みモデルについて説明する。
検査処理に用いられる学習済みモデルは、多層ニューラルネットワークであって、エンコーダ構造とデコーダ構造とを有する。エンコーダ構造は、学習済みモデルに入力された処理対象画像をエンコードすることにより、その処理対象画像の特徴量を抽出する。デコーダ構造は、エンコーダ構造が抽出した特徴量を用いて、入力された処理対象画像と同じ画素数及び画素サイズの画像を生成する。すなわち、この学習済みモデルは、オートエンコーダと同様の構造を有する。

【0033】

また、検査処理に用いられる学習済みモデルは、例えば、検査装置２０のプロセッサ２１が行う学習処理により生成される。
図３は、プロセッサが行う学習処理の流れを例示するフローチャートである。なお、このフローチャートは、学習方法を例示するものでもある。

【0034】

図３に例示した学習処理では、プロセッサ２１は、まず、正常画像が入力された場合に、入力された正常画像を出力するように、学習用モデルを深層学習させる（ステップＳ１１）。ここで、正常画像は、正常な検査対象が撮像された画像、例えば、正常な検査対象が顕微鏡装置１０の撮像装置１４により撮像された画像である。ステップＳ１１では、このような正常画像を複数用いて深層学習が行われる。

【0035】

次に、プロセッサ２１は、第１の異常画像が入力された場合に、第２の異常画像を出力するように、学習用モデルを更に深層学習させる（ステップＳ１２）。ここで、第１の異常画像は、異常箇所を有する検査対象が撮像された画像、例えば、異常箇所を有する検査対象が顕微鏡装置１０の撮像装置１４により撮像された画像である。又は、第１の異常画像は、異常箇所を有する検査対象が撮像された画像に基づく画像、例えば、異常箇所を有する検査対象が撮像された画像を回転、縮小、拡大等の１つ以上をさせた画像である。異常箇所とは、例えば、スクラッチ箇所及び又は低コントラスト箇所のことであり、従来の、オートエンコーダを用いた外観検査では、検出することが困難な異常箇所のことである。低コントラスト箇所とは、周辺に対してコントラストが低い箇所、又は、正常な検査対象の対応箇所に対してコントラストが低い箇所のことである。第２の異常画像は、第１の異常画像における、検査対象の異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である。異常領域の画素値を異なる画素値に変更するとは、例えば、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更すること、又は、異常領域の画素値を輝度反転すること、のことである。ステップＳ１２では、このような第１の異常画像と第２の異常画像のペアを複数用いて深層学習が行われる。

【0036】

このような図３に例示した学習処理により、検査処理に用いられる学習済みモデルが生成される。そして、生成された学習済みモデルは、例えば、メモリ２２のＲＯＭに記憶される。

【0037】

なお、ステップＳ１２で用いられる第２の異常画像は、例えば、ユーザインタフェース（キーボード３０、マウス４０、タッチパネル等）を用いたユーザの入力操作に応じて、プロセッサ２１が生成してもよい。この場合、プロセッサ２１は、ユーザインタフェースを用いたユーザの入力操作に応じた信号が入力され、当該信号に応じてマスク処理を行うことにより、第１の異常画像における異常領域を特定し、当該異常領域の画素値を異なる画素値に変更することにより第２の異常画像を生成してもよい。

【0038】

図４は、プロセッサが行う第２の異常画像の生成例を模式的に示す図である。
図４に示した生成例は、スクラッチ箇所を有する検査対象が撮像された画像である第１の異常画像６１の異常領域（スクラッチ箇所に対応する領域６１ａを少なくとも含む領域）が、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理（ユーザによるアノテーション）により特定され、その異常領域の画素値が輝度反転されることにより、第２の異常画像６２が生成された例である。この輝度反転により、第２の異常画像６２は、第１の異常画像６１の異常領域が強調された画像となる。

【0039】

次に、検査装置２０のプロセッサ２１が行う検査処理について説明する。
図５は、プロセッサが行う検査処理の流れを例示するフローチャートである。なお、この検査処理は、検査方法を例示するものでもある。

【0040】

図５に例示した検査処理では、プロセッサ２１は、まず、顕微鏡装置１０から、撮像装置１４により検査対象が撮像された画像である検査対象画像を、処理対象画像として取得する（ステップＳ２１）。

【0041】

次に、プロセッサ２１は、例えばメモリ２２のＲＯＭに記憶されている学習済みモデルを読み出し、当該学習済みモデルに、ステップＳ２１で取得した処理対象画像を入力する（ステップＳ２２）。

【0042】

次に、プロセッサ２１は、異常有無判定処理及び又は異常検出処理を行う（ステップＳ２３）。異常有無判定処理では、プロセッサ２１は、学習済みモデルのエンコーダ構造が抽出した処理対象画像の特徴量を取得し、当該特徴量に基づいて、処理対象画像に異常が含まれているか否かを判定する。この判定では、例えば、取得した特徴量と基準特徴量との相違度を算出し、当該相違度が所定閾値以上であるか否かに応じて処理対象画像に異常が含まれているか否かを判定してもよい。基準特徴量は、正常な検査対象が撮像された画像が学習済みモデルに入力された場合にエンコーダ構造が抽出し得る特徴量であり、また、処理対象画像に異常が含まれていないと判定され得る特徴量でもある。

【0043】

また、ステップＳ２３において、異常検出処理では、ステップＳ２２での処理対象画像の入力に対して学習済みモデルから出力された出力画像を取得し、処理対象画像と出力画像との画素値の相違度を算出し、当該相違度に応じて処理対象画像の異常（異常領域）を検出する。この検出では、画素値の相違度が所定閾値以上の領域を異常として検出してもよい。また、画素値の相違度を、処理対象画像と出力画像との差分画像を取得することにより、算出してもよい。

【0044】

次に、プロセッサ２１は、ステップＳ２３での異常有無判定処理及び又は異常検出処理の処理結果を表示装置５０に表示する（ステップＳ２４）。具体的には、異常有無判定処理の処理結果の表示では、処理対象画像に異常が含まれているか否かの判定結果（即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象に異常箇所が含まれているか否かの判定結果）を表示する。異常検出処理の処理結果の表示では、処理対象画像における異常の検出結果（即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象における異常箇所の検出結果）を表示する。この表示では、処理対象画像において、異常領域が検出されなかった場合にはその旨の表示を行い、異常領域が検出された場合には、その異常領域を他の領域と区別可能に表示してもよい。

【0045】

図６、図７、及び図８は、処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図である。
図６は、正常な検査対象が撮像された検査対象画像である処理対象画像７１と、当該処理対象画像７１が入力された場合の学習済みモデル７２の出力画像７３とを例示する。この場合、出力画像７３は、処理対象画像７１と同一の画像となるので、処理対象画像７１に対して画素値の相違度が所定閾値以上の領域が存在せず、処理対象画像７１の異常は検出されない。

【0046】

一方、図７は、スクラッチ箇所を有する検査対象（異常な検査対象）が撮像された検査対象画像である処理対象画像７４と、当該処理対象画像７４が入力された場合の学習済みモデル７２の出力画像７５とを例示する。この場合、出力画像７５は、処理対象画像７４における、スクラッチ箇所に対応する領域７４ａを少なくとも含む領域（異常領域）が強調された画像となるので、処理対象画像７４に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像７４の異常が検出される。なお、この場合の画素値の相違度は、例えば、処理対象画像７４と出力画像７５との差分画像７６を取得することにより、算出される。

【0047】

図８は、低コントラスト箇所を有する検査対象（異常な検査対象）が撮像された検査対象画像である処理対象画像７７と、当該処理対象画像７７が入力された場合の学習済みモデル７２の出力画像７８とを例示する。この場合、出力画像７８は、処理対象画像７７における、低コントラスト箇所に対応する領域７７ａを少なくとも含む領域（異常領域）が強調された画像となるので、処理対象画像７７に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像７７の異常が検出される。

【0048】

以上のとおり、検査システム１によれば、例えば、図３に例示した学習処理により深層学習させた学習済みモデルを用いて図５に例示した検査処理により検査対象の外観検査を行うことにより、従来のオートエンコーダを用いた外観検査では検出することが困難な異常箇所（例えばスクラッチ箇所や低コントラスト箇所）の検出が可能となり、検査対象の正確な異常検出が可能になる。

【0049】

なお、検査システム１は、次のように構成されてもよい。
例えば、プロセッサ２１は、図５に例示した検査処理のステップＳ２３にて、異常検出処理を行った処理対象画像について、Ｓ２４にて表示された処理結果をユーザが確認し、未検出の異常箇所があった場合、未検出の異常箇所のある当該処理対象画像（第１の異常画像に相当）から、学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成してもよい。この場合、プロセッサ２１は、当該処理対象画像において未検出の異常箇所を少なくとも含む領域を、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理により異常領域として特定し、当該異常領域の画素値を異なる画素値に変更することにより、第２の異常画像を生成してもよい。この場合の画素値の変更も、図３のステップＳ１２で説明したものと同様に、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更することでもよいし、異常領域の画素値を輝度反転することでもよい。上記の追加学習又は再学習により検査性能が向上する。

【0050】

また、プロセッサ２１が行う検査処理に用いられる学習済みモデルは、外部装置（サーバ装置等）が生成したものであってもよい。この場合は、図３に例示した学習処理と同様の処理を実行する外部装置が生成した学習済みモデルが、図示しないネットワーク及び通信インタフェース２６を経由して、メモリ２２のＲＯＭに記憶されてもよい。また、この場合は、図４に例示したような第２の異常画像の生成も、外部装置が行ってもよい。

【0051】

また、検査システム１は、製造業の分野での使用に限らず、生物や医療等、製造業以外の分野で使用されてもよい。例えば、生物の分野にて使用される場合、検査システム１は、工業用の顕微鏡装置１０の代わりに、撮像装置を備えた生物用顕微鏡装置を含んでもよい。

【0052】

また、検査システム１は、図１に例示した構成に限らず、少なくとも検査装置２０を含んでいれば、一部の装置を備えずに構成されてもよいし、他の装置を更に含んで構成されてもよい。

【0053】

以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0054】

１ 検査システム
１０ 顕微鏡装置
１１ ステージ
１２ 対物レンズ
１３ レボルバ
１４ 撮像装置
２０ 検査装置
２１ プロセッサ
２２ メモリ
２３ 記憶装置
２４ 入出力インタフェース
２５ 可搬型記憶媒体駆動装置
２５ａ 可搬型記憶媒体
２６ 通信インタフェース
２７ バス
３０ キーボード
４０ マウス
５０ 表示装置
６１ 第１の異常画像
６１ａ 領域
６２ 第２の異常画像
７１ 処理対象画像
７２ 学習済みモデル
７３ 出力画像
７４ 処理対象画像
７４ａ 領域
７５ 出力画像
７６ 差分画像
７７ 処理対象画像
７７ａ 領域
７８ 出力画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】