特許 7437610 画像検査装置、画像検査方法及び学習済みモデル生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】画像検査装置、画像検査方法及び学習済みモデル生成装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240216BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610C

【請求項の数】 10

(21)【出願番号】P 2020085965

(22)【出願日】2020-05-15

(65)【公開番号】P2021179905

(43)【公開日】2021-11-18

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】池田 泰之

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１８－２０５１６３（ＪＰ，Ａ）

【文献】特開２０２０－３８３７（ＪＰ，Ａ）

【文献】特開２０１７－２１１２５９（ＪＰ，Ａ）

【文献】特開２０１９－８７０７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

良品の検査対象物の画像を分割した画像である良品分割画像と、前記良品分割画像の周囲の画像の少なくとも一部に基づく画像を含む画像とを入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像と前記検査分割画像の周囲の画像の少なくとも一部に基づく画像を含む周囲含有画像とを入力して、前記復元分割画像を生成する分割画像生成部と、
前記分割画像生成部により生成された復元分割画像に基づいて前記検査対象物の検査を行う検査部と、
を備える画像検査装置。

【請求項2】

前記分割画像生成部は、前記検査分割画像及び前記周囲含有画像からそれぞれ構成される複数の入力データセットを前記学習済みモデルにそれぞれ入力して、複数の前記復元分割画像を生成し、
前記検査部は、前記複数の復元分割画像に基づいて前記検査対象物の検査を行う、
請求項１に記載の画像検査装置。

【請求項3】

前記複数の復元分割画像を合成することにより復元画像を生成する復元画像生成部をさらに備え、
前記検査部は、前記検査対象物の画像と前記復元画像との差に基づいて、前記検査対象物の検査を行う、
請求項２に記載の画像検査装置。

【請求項4】

前記周囲含有画像は、前記検査分割画像の周囲の画像の少なくとも一部を縮小した画像を含む、
請求項１から３のいずれか１項に記載の画像検査装置。

【請求項5】

前記検査部は、前記検査対象物の良否判定を行う、
請求項１から４のいずれか１項に記載の画像検査装置。

【請求項6】

前記検査部は、前記検査対象物の欠陥を検出する、
請求項１から５のいずれか１項に記載の画像検査装置。

【請求項7】

前記検査対象物の画像を撮像する撮像部をさらに備える、
請求項１から６のいずれか１項に記載の画像検査装置。

【請求項8】

前記検査対象物の画像を複数の前記検査分割画像に分割する分割部をさらに備える、
請求項１から７のいずれか１項に記載の画像検査装置。

【請求項9】

プロセッサを備えるコンピュータによる画像検査方法であって、
前記プロセッサが、
良品の検査対象物の画像を分割した画像である良品分割画像と、前記良品分割画像の周囲の画像の少なくとも一部に基づく画像を含む画像とを入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像と前記検査分割画像の周囲の画像の少なくとも一部及び前記検査分割画像を含む周囲含有画像とを入力し、前記復元分割画像を生成することと、
前記生成された復元分割画像に基づいて前記検査対象物の検査を行うことと、
を含む画像検査方法。

【請求項10】

良品の検査対象物の画像を分割した画像である良品分割画像と、前記良品分割画像の周囲の画像の少なくとも一部に基づく画像を含む周囲含有画像と、の組み合わせによりそれぞれ構成される複数の学習データセットを用いて学習処理を実施し、前記良品分割画像及び前記周囲含有画像を入力として復元分割画像を出力する学習済みモデルを生成するモデル生成部と、
を備える、学習済みモデル生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査装置、画像検査方法及び学習済みモデル生成装置に関する。

【背景技術】

【0002】

従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。

【0003】

例えば、特許文献１には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。

【0004】

特許文献１の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－５７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、学習済みモデルである学習したオートエンコーダを用い、判定対象画像から再構成画像を生成している。ここで、例えば、良品の検査対象物の画像に局所的に特殊なパターンが存在する場合、学習済みモデルの表現能力が低いと、当該学習済みモデルの生成する画像において、特殊パターンを復元することができないことがあった。この場合、良品である検査対象物の画像を誤って不良であると判定してしまうおそれがあった。

【0007】

また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合、学習済みモデルが生成した画像において不良品のパターンが生成されてしまい、不良品の検査対象物を見逃してしまうことがあった。

【0008】

そこで、本発明は、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することを目的の１つとする。

【課題を解決するための手段】

【0009】

本発明の一態様に係る画像検査装置は、良品の検査対象物の画像を分割した画像である良品分割画像と、良品分割画像の周囲の画像の少なくとも一部に基づく画像を含む画像とを入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像と検査分割画像の周囲の画像の少なくとも一部に基づく画像を含む周囲含有画像とを入力して、復元分割画像を生成する分割画像生成部と、分割画像生成部により生成された復元分割画像に基づいて検査対象物の検査を行う検査部と、を備える。

【0010】

この態様によれば、検査分割画像とその周囲の画像を含む画像に基づき復元分割画像を生成することができる。このため、検査分割画像のみを用いる場合によりも適切な復元分割画像を生成することができる。この結果、その検査分割画像が特定の位置に特殊パターンを含む場合であっても、特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。

【0011】

上記態様において、分割画像生成部は、検査分割画像及び周囲含有画像からそれぞれ構成される複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成し、検査部は、複数の復元分割画像に基づいて検査対象物の検査を行ってもよい。

【0012】

この態様によれば、複数の復元分割画像に基づいた検査を行うことができるため、より正確に検査対象物の検査を行うことが可能になる。

【0013】

上記態様において、複数の復元分割画像を合成することにより復元画像を生成する復元画像生成部をさらに備え、検査部は、検査対象物の画像と復元画像との差分に基づいて、検査対象物の検査を行ってもよい。

【0014】

この態様によれば、検査対象物の画像と復元画像との差分が明確となり、より精度よく検査対象物の検査を行うことが可能になる。

【0015】

上記態様において、周囲含有画像は、検査分割画像の周囲の画像の少なくとも一部を縮小した画像を含んでよい。

【0016】

これにより、より精度よく復元分割画像を生成することが可能になるため、より精度よく検査対象物の検査を行うことが可能になる。

【0017】

上記態様において、検査部は、検査対象物の良否判定を行ってもよい。

【0018】

この態様によれば、検査対象物の検査をより詳細に行うことができる。

【0019】

上記態様において、検査部は、検査対象物の欠陥を検出してもよい。

【0020】

この態様によれば、検査対象物の検査をより詳細に行うことができる。

【0021】

上記態様において、検査対象物の画像を撮像する撮像部をさらに備えてもよい。

【0022】

この態様によれば、検査対象物の画像を簡便に取得することができる。

【0023】

上記態様において、検査対象物の画像を複数の検査分割画像に分割する分割部をさらに備えてもよい。

【0024】

この態様によれば、検査対象物の画像が予め分割されていなくとも、検査対象物の検査を行うことが可能になる。

【0025】

本発明の他の態様に係る画像検査方法は、プロセッサを備えるコンピュータによる画像検査方法であって、プロセッサが、良品の検査対象物の画像を分割した画像である良品分割画像と、良品分割画像の周囲の画像の少なくとも一部に基づく画像を含む画像とを入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像と検査分割画像の周囲の画像の少なくとも一部に基づく画像を含む周囲含有画像とを入力し、復元分割画像を生成することと、生成された復元分割画像に基づいて検査対象物の検査を行うことと、を含む。

【0026】

この態様によれば、検査分割画像とその周囲の画像を含む画像に基づき復元分割画像を生成することができる。このため、検査分割画像のみを用いる場合によりも適切な復元分割画像を生成することができる。この結果、その検査分割画像が特定の位置に特殊パターンを含む場合であっても、特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。

【0027】

本発明の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の画像を分割した画像である良品分割画像と、良品分割画像の周囲の画像の少なくとも一部及び良品分割画像を含む周囲含有画像と、の組み合わせによりそれぞれ構成される複数の学習データセットを用いて学習処理を実施し、良品分割画像及び周囲含有画像を入力として復元分割画像を出力する学習済みモデルを生成するモデル生成部と、を備える。

【0028】

この態様によれば、検査分割画像とその周囲の画像を含む画像に基づき復元分割画像を生成することができる。このため、検査分割画像のみを用いる場合によりも適切な復元分割画像を生成することができる。この結果、その検査分割画像が特定の位置に特殊パターンを含む場合であっても、特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。

【発明の効果】

【0029】

本発明によれば、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の一実施形態に係る画像検査システムの概略構成図である。

【図2】同実施形態に係る学習済みモデル生成装置の構成を示す機能ブロック図である。

【図3】学習データ生成部が生成する学習データセットについて説明する図である。

【図4】本発明の一実施形態に係るモデル生成部が学習させるモデルを説明するための図である。

【図5】モデル生成部が学習済みモデルを生成する方法の一例を説明するための図である。

【図6】モデル生成部が学習済みモデルを生成する方法の一例を説明するための図である。

【図7】同実施形態に係る画像検査装置の構成を示す機能ブロック図である。

【図8】同実施形態に係る処理部の構成を示す機能ブロック図である。

【図9】処理部が検査画像に基づいて復元画像を生成するまでの処理を説明するための図である。

【図10】検査画像の一例を示す図である。

【図11】検査画像に基づき生成された復元画像の一例を示す図である。

【図12】検査画像と復元画像の差である差分画像を示す図である。

【図13】本実施形態に係る画像検査装置及び学習済みモデル生成装置の物理的構成を示す図である。

【図14】学習済みモデル生成装置が学習済みモデルを生成する流れの一例を示すフローチャートである。

【図15】画像検査装置が、検査対象物の画像に基づき、学習済みモデルを用いて検査対象物の検査を実行する流れの一例を示すフローチャートである。

【図16】検査画像の一例を示す図である。

【発明を実施するための形態】

【0031】

添付図面を参照して、本発明の好適な実施形態について説明する。

【0032】

図１は、本発明の一実施形態に係る画像検査システム１の概略構成図である。画像検査システム１は、画像検査装置２０及び照明２５を含む。照明２５は、検査対象物３０に光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物３０の画像（以下、「検査画像」とも称する。）に基づいて、検査対象物３０の検査を行う。画像検査装置２０は、通信ネットワーク１５を介して、学習済みモデル生成装置１０に接続されている。学習済みモデル生成装置１０は、画像検査装置２０が検査対象物３０の検査を行うために用いる学習済みモデルを生成する。

【0033】

図２は、本実施形態に係る学習済みモデル生成装置１０の構成を示す機能ブロック図である。学習済みモデル生成装置１０は、記憶部１００、学習データ生成部１１０、モデル生成部１２０及び通信部１３０を備える。

【0034】

記憶部１００は、各種の情報を記憶する。本実施形態では、記憶部１００は、良品画像ＤＢ１０２、学習用データＤＢ１０４及び学習済みモデルＤＢ１０６を備える。良品画像ＤＢ１０２には、複数の良品画像が格納されている。良品画像は、良品の検査対象物の画像である。また、学習用データＤＢ１０４には、良品画像を分割した分割良品画像及び良品周囲含有画像の組み合わせによりそれぞれ構成される、複数の学習データセットが格納されている。良品周囲含有画像は、良品周囲画像に基づく画像を含む画像である。本実施形態では、良品周囲含有画像は、良品周囲画像及び良品分割画像を含む画像である。ここで、良品周囲画像は、良品分割画像の周囲の画像の少なくとも一部の画像である。さらに、学習済みモデルＤＢ１０６には、後述する学習済みモデル生成装置１０により生成された学習済みモデルが格納されている。

【0035】

学習データ生成部１１０は、モデル生成部１２０が学習処理を行うために用いられる学習データセットを生成することができる。図３を参照して、学習データ生成部１１０が生成する学習データセットについて説明する。

【0036】

学習データ生成部１１０は、良品画像ＤＢ１０２から良品画像を取得して、良品画像４０を分割することにより複数の良品分割画像を生成する。本実施形態では、学習データ生成部１１０は、良品画像４０を縦及び横にそれぞれ５分割することにより、計２５個の良品分割画像を生成する。なお、良品画像４０は、２～２４個の良品分割画像に分割されてもよいし、２６個以上の良品分割画像に分割されてもよい。また、良品分割画像の形状は矩形に限定されるものではなく、いかなる形状であって良い。

【0037】

また、学習データ生成部１１０は、複数の良品分割画像のそれぞれについて良品周囲含有画像を生成することにより、良品分割画像及び良品周囲分割画像によりそれぞれ構成される複数の学習データセットを生成する。本実施形態では、学習データ生成部１１０は、良品画像４０に含まれる２５個の良品分割画像のうち、縁に配置されている１６個の良品分割画像を除いた９個の良品分割画像のそれぞれについて、学習データセットを生成する。

【0038】

例えば、学習データ生成部１１０は、左から２番目、上から２番目に位置する第１良品分割画像４００について、その周囲の良品分割画像を含む第１良品周囲含有画像４０４を生成する。第１良品分割画像４００及び第１良品周囲含有画像４０４は、１つの学習データセットを構成している。同様にして、学習データ生成部１１０は、第２良品分割画像４０２及び第２良品周囲含有画像４０６の学習データセット等、９個の良品分割画像のそれぞれに基づく学習データセットを生成する。

【0039】

ここで、第１良品周囲含有画像４０４は、第１良品分割画像４００の周囲に位置する８個の良品分割画像を良品周囲画像として含んでいるが、良品周囲画像は、この８つの良品分割画像のうちの一部を含まなくてよい。また、本実施形態では、良品周囲画像は、良品分割画像の単位で構成されていなくてもよく、いかなる単位で構成されていてもよい。すなわち、良品周囲画像は、良品分割画像よりも小さい単位で構成されていてもよいし、良品分割画像よりも大きい単位で構成されていてもよい。

【0040】

本実施形態では、良品周囲画像は、直接的には検査対象物の検査には用いられない。また、良品分割画像の解像度と良品周囲画像の解像度とが同じである場合、良品周囲画像の画素数の方が良品分割画像の画素数よりも多くなると、良品周囲画像の方が良品分割画像よりも学習処理への寄与度が大きくなる。このため、モデルの表現能力が低いときには、良品分割画像の十分な復元精度が得られなくなる。

【0041】

このため、良品周囲画像の学習処理への寄与度は、良品分割画像の学習処理への寄与度よりも小さいことが好ましい。したがって、良品周囲含有画像に含まれる良品周囲画像は、縮小されていることが好ましい。より具体的には、縮小された良品周囲画像のサイズ（すなわち、画素数）が良品分割画像のサイズよりも小さくなるように、良品周囲画像が縮小されていることが好ましい。良品周囲含有画像の縮小は、例えば、学習データ生成部１１０により実施されてもよい。このとき、学習データ生成部１１０は、良品周囲画像のみを縮小してもよいし、良品周囲画像と併せて良品周囲含有画像に含まれる残りの画像（例えば、良品分割画像）も縮小してもよい。

【0042】

学習データ生成部１１０は、生成した学習データセットを学習用データＤＢ１０４に格納する。本実施形態では、学習データ生成部１１０は、複数の良品画像について生成した学習データセットを学習用データＤＢ１０４に格納するものとする。

【0043】

モデル生成部１２０は、複数の学習データセットを用いて学習処理を実施し、良品分割画像及び良品周囲含有画像を入力として復元分割画像を出力する学習済みモデルを生成する。ここで、復元分割画像は、良品分割画像を復元する画像である。

【0044】

図４は、本実施形態に係るモデル生成部１２０が学習させるモデルを説明するための図である。図４には、モデル生成部１２０による学習処理の対象となるモデル５０が示されている。本実施形態では、モデル５０は、入力層を含む複数の層を備えたニューラルネットワークを含む。より具体的には、モデル５０は、オートエンコーダであり、入力層５００、出力層５０８及び入力層５００と出力層５０８との間に配置されている複数の層から構成されている。入力層５００に入力データが入力されると、入力データは中間層５０４において特徴ベクトルに圧縮され、出力層５０８から出力データが出力される。なお、学習済みモデルを構築するために用いられるモデルは、オートエンコーダに限定されるものではない。また、ニューラルネットワークを構成する層の数は、３層に限定されるものではない。

【0045】

モデル生成部１２０は、モデル５０の入力層５００に良品分割画像及び良品周囲含有画像を入力する。具体的には、モデル生成部１２０は、良品分割画像及び良品周囲含有画像に含まれる複数の画素値のそれぞれを入力層５００に入力する。これにより、モデル５０の出力層５０８から画像が出力データとして出力される。このとき、モデル生成部１２０は、良品周囲含有画像の次元を、良品分割画像の次元に圧縮したうえで入力層５００に入力してもよい。

【0046】

モデル生成部１２０は、出力データが良品分割画像を復元するデータとなるように、モデル５０に含まれる各層の間の重みづけパラメータを更新することにより、モデル５０を学習させる。まとめると、モデル生成部１２０は、複数の学習データセットをモデル５０の入力層５００にそれぞれ入力して、重みづけパラメータを更新することにより、学習済みモデルを生成する。モデル生成部１２０は、生成した学習済みモデルを学習済みモデルＤＢ１０６に格納する。

【0047】

ここで、図５及び図６を参照して、本実施形態に係るモデル生成部１２０が学習済みモデルを生成する方法について、２つの具体例を説明する。図５及び図６のそれぞれは、モデル生成部１２０が学習済みモデルを生成する方法の一例を説明するための図である。

【0048】

まず、図５を参照して、モデル生成部１２０が学習済みモデルを生成する１つ目の具体例を説明する。図５に示すモデル５２は、入力層及び出力層のそれぞれに２つのチャネルを有している。具体的には、モデル５２は、入力層に第１入力チャネル５２０及び第２入力チャネル５２２を有しており、出力層に第１出力チャネル５２６及び第２出力チャネル５２８を有している。第１入力チャネル５２０及び第２入力チャネル５２２は、中間層５２４を介して、第１出力チャネル５２６及び第２出力チャネル５２８に接続されている。

【0049】

モデル生成部１２０は、良品分割画像４１１及び対応する良品周囲含有画像４１２のそれぞれを、対応する入力チャネルに入力する。具体的には、モデル生成部１２０は、良品分割画像４１１を第１入力チャネル５２０に入力し、対応する良品周囲含有画像４１２を第２入力チャネル５２２に入力する。モデル生成部１２０が入力層に良品分割画像４１１及び対応する良品周囲含有画像４１２を入力すると、第１出力チャネル５２６から第１出力画像４１３が出力され、第２出力チャネル５２８から第２出力画像４１４が出力される。

【0050】

モデル生成部１２０は、良品分割画像４１１と第１出力画像４１３との差分（以下、「第１差分」とも称する。）と、良品周囲含有画像４１２と第２出力画像４１４との差分（以下、「第２差分」とも称する。）との合計を評価値として、この評価値が最小となるように、モデル５２における各層の間の重みづけパラメータを決定する。このとき、モデル生成部１２０は、第１差分と第２差分とのそれぞれに重みづけを行い、重みづけした第１差分と第２差分との合計を評価値として、モデル５２における重みづけパラメータを決定してもよい。なお、第２差分の重みづけは、第１差分の重みづけよりも小さいことが好ましい。モデル５２における重みづけパラメータが決定されることにより、入力層に良品分割画像４１１及び第１出力画像４１３が入力されると、第１出力チャネル５２６から復元分割画像を第１出力画像４１３として出力し、第２出力チャネル５２８から良品周囲含有画像４１２を復元する画像を第２出力画像４１４として出力する学習済みモデルが生成される。

【0051】

次いで、図６を参照して、モデル生成部１２０が学習済みモデルを生成する２つ目の具体例を説明する。図６に示すモデル５４では、図５に示したモデル５２とは異なり、入力層５４０及び出力層５４４のそれぞれが１つのチャネルを有している。

【0052】

２つ目の例では、モデル生成部１２０は、良品分割画像４１５と良品周囲含有画像４１６とを結合させて結合画像４１７を生成する。ここでは、良品周囲含有画像４１６のサイズが、良品分割画像４１５のサイズと同一になるように、良品周囲含有画像４１６が縮小されている。なお、良品周囲含有画像４１６は、縮小されていなくてもよいし、良品周囲含有画像４１６のサイズが良品分割画像４１５と異なるサイズとなるように縮小されていてもよい。

【0053】

モデル生成部１２０が結合画像４１７を入力層５４０に入力すると、入力層５４０に中間層５４２を介して接続された出力層５４４から、出力画像４１８が出力される。モデル生成部１２０は、この出力画像４１８と結合画像４１７との差分を評価値とし、この評価値が最小となるように、モデル５４における各層の間の重みづけパラメータを決定する。これにより、入力層５４０に結合画像４１７が入力されると、出力層５４４から結合画像４１７を復元する復元結合画像を出力画像４１８として出力する学習済みモデルが生成される。ここで、復元結合画像は、復元分割画像に相当する画像４１９を含んでいる。検査対象物の検査のために学習済みモデルが用いられる際には、復元結合画像に含まれる画像４１９が切り出され、切り出された画像４１９に基づいて、良品画像を復元する復元画像が生成される。

【0054】

図２に戻って、学習済みモデル生成装置１０が備える通信部１３０について説明する。通信部１３０は、各種の情報を送受信することができる。例えば、通信部１３０は、通信ネットワーク１５を介して、学習済みモデルを画像検査装置２０に送信することができる。

【0055】

図７は、本実施形態に係る画像検査装置２０の構成を示す機能ブロック図である。画像検査装置２０は、通信部２００、記憶部２１０、撮像部２２０及び処理部２３０を備える。

【0056】

通信部２００は、各種の情報を送受信することができる。例えば、通信部２００は、通信ネットワーク１５を介して、学習済みモデル生成装置１０から学習済みモデルを受信することができる。また、通信部２００は、学習済みモデルなどを記憶部２１０に格納することができる。

【0057】

記憶部２１０は、各種の情報を記憶している。本実施形態では、記憶部２１０は、学習済みモデルＤＢ１０６を備える。学習済みモデルＤＢ１０６には、学習済みモデルが格納されている。記憶部２１０に記憶されている各種の情報は、必要に応じて処理部２３０により参照される。

【0058】

撮像部２２０は、各種の公知の撮像装置を含み、検査対象物３０の画像を撮像する。本実施形態では、撮像部２２０は、検査対象物３０からの反射光Ｒを受光し、検査対象物３０の画像を撮像する。撮像部２２０は、撮像した画像を処理部２３０に伝達する。

【0059】

処理部２３０は、各種の処理を検査対象物の画像に施し、検査対象物の検査を行うことができる。図８は、本実施形態に係る処理部２３０の構成を示す機能ブロック図である。処理部２３０は、前処理部２３１、分割部２３２、含有画像生成部２３３、分割画像生成部２３４、復元画像生成部２３５、後処理部２３６及び検査部２３７を備える。

【0060】

前処理部２３１は、検査対象物の画像に各種の前処理を施す。前処理部２３１は、例えば、検査対象物の画像に位置ずれを補正する処理を施すことができる。前処理部２３１は、前処理を施した画像を分割部２３２に伝達する。

【0061】

分割部２３２は、検査対象物の画像を分割して、複数の検査分割画像を生成することができる。本実施形態では、分割部２３２は、学習済みモデル生成装置１０における良品画像の分割と同様の方法により、検査対象物の画像を分割する。具体的には、分割部２３２は、検査対象物の画像を、縦及び横にそれぞれ５分割して、２５個の検査分割画像を生成する。分割部２３２は、生成した検査分割画像を含有画像生成部２３３に伝達する。

【0062】

含有画像生成部２３３は、検査周囲含有画像を生成する。検査周囲含有画像は、検査周囲画像に基づく画像を含む画像である。本実施形態では、検査周囲含有画像は、周囲含有画像及び検査分割画像を含む。ここで、検査周囲画像は、検査分割画像の周囲の画像の少なくとも一部の画像である。含有画像生成部２３３は、予め指定されたアルゴリズムに基づき検査周囲含有画像を生成してもよいし、ユーザの操作に基づき検査周囲含有画像を生成してもよい。検査分割画像及び生成された検査周囲含有画像の組みは、入力データセットとなる。

【0063】

含有画像生成部２３３は、複数の検査分割画像のそれぞれについて検査周囲含有画像を生成して複数の入力データセットを生成する。本実施形態では、含有画像生成部２３３は、分割部２３２により生成された２５個の検査分割画像のうちの縁の検査分割画像を除く９個の検査分割画像について、検査周囲含有画像を生成する。このとき、含有画像生成部２３３は、良品周囲画像が学習処理の際に縮小されている場合には、良品周囲画像の縮小に合わせて、検査周囲含有画像に含まれる検査周囲画像を縮小してもよい。含有画像生成部２３３は、生成した入力データセットを分割画像生成部２３４に伝達する。

【0064】

分割画像生成部２３４は、学習済みモデルに入力データセット（検査分割画像及び検査周囲含有画像の組み）を入力して、復元分割画像を生成することができる。学習済みモデルは、学習済みモデル生成装置１０により生成された、良品分割画像及び良品周囲含有画像を入力として復元分割画像を出力するように学習させた学習済みモデルである。

【0065】

本実施形態では、分割画像生成部２３４は、検査分割画像及び検査周囲含有画像からそれぞれ構成される複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成する。ここで、学習済みモデルが、入力層に図５を参照して説明した２つのチャネルを有する場合には、分割画像生成部２３４は、検査分割画像及び検査周囲含有画像のそれぞれを対応するチャネルに入力する。また、学習済みモデルが、図６を参照して説明した復元結合画像を出力する場合には、復元画像生成部２３５は、復元結合画像から復元分割画像を切り出す。生成される複数の復元分割画像のそれぞれは、複数の入力データセットのそれぞれに対応している。復元分割画像は、良品分割画像を復元した画像である。このため、検査分割画像に欠陥などが含まれている場合には、欠陥が除去された画像が復元分割画像として学習済みモデルから出力される。本実施形態では、分割画像生成部２３４は、検査画像に基づき生成された９個の入力データセットのそれぞれに基づき復元分割画像を生成し、生成した９個の復元分割画像を復元画像生成部２３５に伝達する。

【0066】

復元画像生成部２３５は、複数の復元分割画像を合成することにより復元画像を生成する。本実施形態では、復元画像生成部２３５は、分割画像生成部２３４により生成された９個の復元分割画像を合成することにより、復元画像を生成する。具体的には、復元画像生成部２３５は、生成した９個の復元分割画像のそれぞれを対応する検査分割画像の位置に配置して合成することにより、復元画像を生成する。復元画像は、良品画像を復元した画像である。このため、検査画像に欠陥が含まれている場合には欠陥が除去された画像が復元画像として生成される。

【0067】

図９を参照して、処理部２３０が検査画像４２に基づいて復元画像４４を生成するまでの処理の一例を説明する。

【0068】

分割部２３２は、検査画像４２を縦及び横にそれぞれ５分割し、２５個の検査分割画像を生成する。含有画像生成部２３３は、生成された２５個の検査分割画像のうち、内側の９個の検査分割画像のそれぞれについて検査周囲含有画像を生成する。例えば、第１検査分割画像４２０について第１検査周囲含有画像４２４が生成され、第２検査分割画像４２２について第２検査周囲含有画像４２６が生成される。検査分割画像と検査周囲含有画像の組みが入力データセットとなる。

【0069】

分割画像生成部２３４は、生成された９個の入力データセットを学習済みモデルにそれぞれ入力し、９個の復元分割画像を生成する。例えば、第１復元分割画像４４０は第１検査分割画像４２０に基づき生成され、第２復元分割画像４４２は第２検査分割画像４２２に基づき生成されている。復元画像生成部２３５は、生成された９個の復元分割画像を合成することにより復元画像４４を生成する。

【0070】

図８に戻って、後処理部２３６について説明する。後処理部２３６は、復元画像に後処理を施すことができる。例えば、後処理部２３６は、復元画像と検査画像との差分を算出して、差分画像を生成することができる。具体的には、後処理部２３６は、復元画像を構成する複数の画素値のそれぞれから、検査画像のそれぞれ対応する画素値の差分を算出することにより差分画像を生成することができる。

【0071】

図１０～図１２を参照して、後処理部２３６が生成する差分画像について説明する。図１０は、本実施形態に係る検査対象物３０の画像６０の一例を示す図である。また、図１１は、画像６０に基づき生成された復元画像６２の一例を示す図である。さらに、図１２は、検査対象物の画像６０と復元画像６２との差分である差分画像６４を示す図である。図１０に示すように、画像６０には、線状の欠陥画像６００が含まれている。欠陥画像は、検査対象物の欠陥の画像である。一方、図１１に示すように、復元画像６２では、欠陥画像が除去されている。このため、検査対象物の画像６０と復元画像６２との差分を示す差分画像６４には、主に欠陥画像６４０が含まれている。本実施形態では、この欠陥画像６４０を含む差分画像６４に基づき、検査対象物の検査が行われる。

【0072】

図８に戻って、検査部２３７について説明する。検査部２３７は、分割画像生成部２３４により生成された復元分割画像に基づいて、検査対象物３０の検査を行うことができる。本実施形態では、検査部２３７は、複数の復元分割画像に基づいて検査対象物３０の検査を行う。

【0073】

本実施形態では、検査部２３７は、検査画像と復元画像との差分に基づいて、検査対象物を検査する。具体的には、検査部２３７は、後処理部２３６により生成された差分画像に基づいて検査対象物の検査を行う。

【0074】

また、検査部２３７は、検査対象物３０の欠陥を検出することができる。例えば、検査部２３７は、図１２に示した差分画像６４に含まれる欠陥画像６４０を検出することにより、検査対象物３０の欠陥を検出することができる。あるいは、検査部２３７は、検査対象物３０の良否判定を行ってもよい。具体的には、検査部２３７は、差分画像６４に含まれる欠陥画像の大きさに基づいて、検査対象物３０の良否判定を行ってもよい。より具体的には、検査部２３７は、差分画像６４に含まれる欠陥画像の大きさが所定の閾値を超える場合には、検査対象物が不良品であることを判定することができる。

【0075】

図１３は、本実施形態に係る学習済みモデル生成装置１０及び画像検査装置２０の物理的構成を示す図である。学習済みモデル生成装置１０及び画像検査装置２０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

【0076】

なお、本例では、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれが、一台のコンピュータで構成されるものとして説明するが、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、複数のコンピュータが組み合わされて実現されてもよい。また、画像検査装置２０及び学習済みモデル生成装置１０が一台のコンピュータで構成されてもよい。また、図１３で示す構成は一例であり、学習済みモデル生成装置１０及び画像検査装置２０は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0077】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。学習済みモデル生成装置１０が備えるＣＰＵ１０ａは、学習データを用いて学習処理を実施して、学習済みモデルを生成するプログラム（学習プログラム）を実行する演算部である。また、画像検査装置２０が備えるＣＰＵ１０ａは、検査対象物の画像を用いて、検査対象物の検査を行うプログラム（画像検査プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0078】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、学習データ、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0079】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像検査プログラム、学習プログラム及び書き換えが行われないデータを記憶してよい。

【0080】

通信部１０ｄは、画像検査装置２０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

【0081】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0082】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、検査対象物の検査結果等を表示してよい。

【0083】

画像検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。学習済みモデル生成装置１０では、ＣＰＵ１０ａが学習プログラムを実行することにより、図２等を用いて説明した様々な動作が実現される。また、画像検査装置２０では、ＣＰＵ１０ａが画像検査プログラムを実行することにより、図７及び図８等を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0084】

図１４は、学習済みモデル生成装置１０が学習済みモデルを生成する流れの一例を示すフローチャートである。

【0085】

まず、学習データ生成部１１０が、良品画像ＤＢ１０２に格納されている良品画像を、複数の良品分割画像に分割する（ステップＳ１０１）。このとき、良品画像ＤＢ１０２に複数の良品画像が格納されている場合には、学習データ生成部１１０は、複数の良品画像のそれぞれを分割して、それぞれの良品画像に対応する良品分割画像を生成してもよい。

【0086】

次いで、学習データ生成部１１０は、ステップＳ１０３において生成した良品分割画像のそれぞれについて良品周囲含有画像を生成し、複数の学習データセットを生成する（ステップＳ１０３）。学習データ生成部１１０は、生成した学習データセットを学習用データＤＢ１０４に格納する。

【0087】

次いで、モデル生成部１２０は、学習用データＤＢ１０４に格納されている複数の学習データセットを用いて学習処理を実行し、良品分割画像及び良品周囲含有画像を入力として復元分割画像を出力する学習済みモデルを生成する（ステップＳ１０５）。モデル生成部１２０は、生成した学習済みモデルを学習済みモデルＤＢ１０６に格納する。

【0088】

次いで、通信部１３０は、ステップＳ１０５において生成された学習済みモデルを画像検査装置２０に送信する（ステップＳ１０７）。これにより、画像検査装置２０は、学習済みモデル生成装置１０により生成された学習済みモデルを使用できるようになる。

【0089】

図１５は、画像検査装置２０が、検査対象物の画像に基づき、学習済みモデルを用いて検査対象物の検査を行う流れの一例を示すフローチャートである。

【0090】

まず、画像検査装置２０が備える撮像部２２０が、検査対象物の画像を撮像する（ステップＳ２０１）。撮像部２２０は、撮像した画像を処理部２３０に伝達する。

【0091】

次いで、処理部２３０が備える前処理部２３１が、ステップＳ２０１において撮像された画像に前処理を施す（ステップＳ２０３）。次いで、分割部２３２が、ステップＳ２０３において前処理を施された検査画像を分割して、複数の検査分割画像を生成する（ステップＳ２０５）。次いで、含有画像生成部２３３は、ステップＳ２０５において生成された複数の検査分割画像のそれぞれについて検査周囲含有画像を生成し、複数の入力データセットを生成する（ステップＳ２０７）。

【0092】

次いで、分割画像生成部２３４は、ステップＳ２０７において生成された複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成する（ステップＳ２０９）。次いで、復元画像生成部２３５は、ステップＳ２０９において生成された複数の復元分割画像を合成することにより、復元画像を生成する（ステップＳ２１１）。次いで、後処理部２３６は、ステップＳ２０１において撮像された検査画像と、ステップＳ２１１において生成された復元画像との差分を算出して差分画像を生成する（ステップＳ２１３）。

【0093】

次いで、検査部２３７は、ステップＳ２１３において生成された差分画像に基づいて検査対象物の検査を行う（ステップＳ２１５）。

【0094】

本実施形態によれば、検査分割画像に加えて、その周囲の画像の少なくとも一部を含む周囲含有画像を用いて復元分割画像が生成される。このため、より正確に復元分割画像を生成できるようになる。この結果、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することができる。

【0095】

図１６を参照して、本実施形態の効果についてより具体的に説明する。図１６は、検査画像７０の一例を示す図である。検査画像７０は、６個の検査分割画像７００、７０２、７０４、７０６、７０８及び７１０に分割される。この６個の検査分割画像の中で、検査分割画像７０２、７０６及び７０８は互いに類似しているものとする。また、検査分割画像７０４は、他の検査分割画像と異なる特殊パターンを含んでいる。

【0096】

仮に良品周囲含有画像を用いずに、これら６個の検査分割画像を学習データとして学習済みモデルを生成したとする。この学習済みモデルに検査分割画像７０４を入力すると、学習済みモデルの表現能力が低い場合には、検査分割画像７０２、７０４又は７０８が出力され、特殊パターンが復元されない可能性がある。

【0097】

一方、本実施形態に係る画像検査装置２０は、検査分割画像に加えて検査周囲含有画像を用いる。このため、検査分割画像とその周囲の画像の少なくとも一部に応じた復元分割画像を生成することができる。このため、検査分割画像のみを用いる場合よりも正確に検査分割画像を復元することが可能になる。この結果、その検査分割画像が特定の位置に特殊パターンを含む場合であっても、特殊パターンを復元することが可能となる。例えば、検査分割画像７０４のように特殊なパターンを示す検査分割画像であっても、適切に復元することが可能になる。

【0098】

また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合がある。このような場合にも、本実施形態に係る画像検査装置２０によれば、不良品のパターンを含む検査分割画像を良品の復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。この結果、不良品の見逃しを抑制することができる。

【0099】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0100】

上記実施形態では、縁の良品分割画像が学習データセットに用いられないものとして説明した。これに限らず、縁の良品分割画像が学習データセットに用いられてもよい。この場合には、学習データ生成部１１０は、良品画像の外側の領域に画素値を生成することにより、縁の良品分割画像に対応する良品周囲含有画像を生成することができる。例えば、学習データ生成部１１０は、ユーザにより決められた特定の値を外側の領域の画素値としてもよい。あるいは、学習データ生成部１１０は、対象となる位置から最も近い位置における縁の良品分割画像の画素値を複製して、複製した画素値を対象の位置の画素値としてもよい。

【0101】

したがって、上記実施形態では、学習データ生成部１１０は、２５個の良品分割画像のうちの中央の９個の良品分割画像について良品周囲含有画像を生成するものとして説明したが、学習データ生成部１１０は、２５個の全ての良品分割画像について良品周囲含有画像を生成することもできる。

【0102】

同様に、上記実施形態では、縁の検査分割画像が入力データセットに用いられないものとして説明したが、縁の検査分割画像が入力データセットに用いられてもよい。この場合、例えば、前処理部２３１は、検査画像の外側の領域に画素値を生成することにより、縁の検査分割画像に対応する検査周囲含有画像を生成することができる。例えば、前処理部２３１は、ユーザにより決められた特定の値を外側の領域の画素値としてもよい。あるいは、前処理部２３１は、対象となる位置から最も近い位置における縁の検査分割画像の画素値を複製して、複製した画素値を対象の位置の画素値としてもよい。

【0103】

したがって、上記実施形態では、含有画像生成部２３３は、２５個の検査分割画像うちの中央の９個の検査分割画像について検査周囲含有画像を生成するものとして説明したが、含有画像生成部２３３は、２５個の全ての検査分割画像について、検査周囲含有画像を生成することもできる。

【0104】

上記実施形態では、良品周囲含有画像が良品分割画像を含むものとして説明した。これに限らず、良品周囲含有画像は、良品分割画像の全部又は一部を含まなくてもよい。すなわち、良品周囲含有画像は、良品周囲画像のみであってもよいし、良品周囲画像および良品分割画像の一部を含む画像であってもよい。また、検査周囲含有画像は、検査周囲画像のみであってもよいし、検査周囲画像および検査分割画像の一部を含む画像であってもよい。

【0105】

［附記］
良品の検査対象物の画像を分割した画像である良品分割画像と、良品分割画像の周囲の画像の少なくとも一部に基づく画像を含む画像とを入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物（３０）の画像を分割した画像である検査分割画像と検査分割画像の周囲の画像の少なくとも一部に基づく画像を含む周囲含有画像とを入力して、復元分割画像を生成する分割画像生成部（２３４）と、
分割画像生成部（２３４）により生成された復元分割画像に基づいて検査対象物の検査を行う検査部（２３７）と、
を備える画像検査装置（２０）。

【符号の説明】

【0106】

１…画像検査システム、１０…学習済みモデル生成装置、１１０…学習データ生成部、１２０…モデル生成部、２０…画像検査装置、２１０…記憶部、２２０…撮像部、２３０…処理部、２３１…前処理部、２３２…分割部、２３３…含有画像生成部、２３４…分割画像生成部、２３５…復元画像生成部、２３６…後処理部、２３７…検査部、２５…照明、３０…検査対象物、４０…良品画像、４２…検査画像、６２…復元画像、６４…差分画像、４００…第１良品分割画像、４０２…第２良品分割画像、４２０…第１検査分割画像、４２２…第２検査分割画像、４４０…第１復元分割画像、４４２…第２復元分割画像、５００…入力層、５０４…中間層、５０８…出力層、６００…欠陥画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】