(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-03
(45)【発行日】2024-04-11
(54)【発明の名称】画像検査装置、画像検査方法、及び学習済みモデル生成装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240404BHJP
【FI】
G06T7/00 350B
G06T7/00 610Z
(21)【出願番号】P 2020085988
(22)【出願日】2020-05-15
【審査請求日】2023-03-08
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】池田 泰之
【審査官】小太刀 慶明
(56)【参考文献】
【文献】特開2018-205163(JP,A)
【文献】特開2020-64364(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
良品の検査対象物の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルに、検査対象物の分割画像である検査分割画像をそれぞれ入力し、複数の前記復元分割画像を生成する画像生成部と、
前記複数の復元分割画像に基づいて前記検査対象物を検査する検査部と、を備
え、
前記良品分割画像は良品画像を複数に分割したものであり、前記複数の学習済みモデルは、前記良品画像における複数の位置の前記良品分割画像を入力として前記復元分割画像を出力するように学習させた学習済みモデルを含む、
画像検査装置。
【請求項2】
前記検査部は、前記複数の復元分割画像に基づいて復元画像を生成し、前記検査対象物の検査画像と該復元画像との比較に基づいて、前記検査対象物を検査する、
請求項1に記載の画像検査装置。
【請求項3】
前記検査部は、前記検査画像と前記復元画像との差に基づいて、前記検査対象物が良品であるか否かを判定する、
請求項2に記載の画像検査装置。
【請求項4】
1つ又は複数の前記良品分割画像ごとに学習モデルを学習させ、前記複数の学習済みモデルを生成する学習部をさらに備える、
請求項1から3のいずれか一項に記載の画像検査装置。
【請求項5】
前記学習部は、1つ又は複数の前記良品分割画像にデータオーギュメンテーションを施したものを入力として前記学習モデルを学習させ、前記複数の学習済みモデルを生成する、
請求項4に記載の画像検査装置。
【請求項6】
前記データオーギュメンテーションは、前記良品分割画像に対して、平行移動、回転、拡大、縮小、左右反転、上下反転、及びフィルタ処理のうちの少なくとも1つを適用することを含む、
請求項5に記載の画像検査装置。
【請求項7】
検査対象物の検査画像を複数の前記検査分割画像に分割する分割部をさらに備える、
請求項1から6のいずれか一項に記載の画像検査装置。
【請求項8】
検査対象物の検査画像を取得するための撮像部をさらに備える、
請求項1から7のいずれか一項に記載の画像検査装置。
【請求項9】
前記複数の学習済モデルを記憶する記憶部をさらに備える、
請求項1から8のいずれか一項に記載の画像検査装置。
【請求項10】
良品の検査対象物の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルに、検査対象物の分割画像である検査分割画像をそれぞれ入力し、複数の前記復元分割画像を生成するステップと、
前記複数の復元分割画像に基づいて前記検査対象物を検査するステップと、を含
み、
前記良品分割画像は良品画像を複数に分割したものであり、前記複数の学習済みモデルは、前記良品画像における複数の位置の前記良品分割画像を入力として前記復元分割画像を出力するように学習させた学習済みモデルを含む、
画像検査方法。
【請求項11】
良品の検査対象物の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルを生成するモデル生成部を備
え、
前記良品分割画像は良品画像を複数に分割したものであり、前記複数の学習済みモデルは、前記良品画像における複数の位置の前記良品分割画像を入力として前記復元分割画像を出力するように学習させた学習済みモデルを含む、
学習済みモデル生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検査装置、画像検査方法、及び学習済みモデル生成装置に関する。
【背景技術】
【0002】
従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。
【0003】
例えば、特許文献1には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。特許文献1の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、学習済みモデルである学習したオートエンコーダを用い、判定対象画像から再構成画像を生成している。ここで、例えば、良品の検査対象物の画像に局所的に特殊なパターンが存在する場合、学習済みモデルの表現能力が低いと、当該学習済みモデルの生成する画像において、特殊パターンを復元することができないことがあった。この場合、良品である検査対象物の画像を誤って不良であると判定してしまうおそれがあった。
【0006】
また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合、学習済みモデルが生成した画像において不良品のパターンが生成されてしまい、不良品の検査対象物を見逃してしまうことがあった。
【0007】
そこで、本発明は、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法、及び学習済みモデル生成装置を提供することを目的の1つとする。
【課題を解決するための手段】
【0008】
本開示の一態様に係る画像検査装置は、良品の検査対象物の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルに、検査対象物の分割画像である検査分割画像をそれぞれ入力し、複数の復元分割画像を生成する画像生成部と、複数の復元分割画像に基づいて検査対象物を検査する検査部と、を備える。
【0009】
この態様によれば、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルに、検査分割画像をそれぞれ入力し、複数の復元分割画像を生成する。これにより、各学習済みモデルは、各良品分割画像に特有のパターンを学習することができるので、生成された分割復元画像において、良品分割画像に含まれる局所的な特殊パターンを復元することができる。また、別の良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合にも、各学習済みモデルは、検査対象物の良品画像における位置によって異なる判断基準を学習することができるので、生成された分割復元画像において、不良パターンの生成を抑制することができる。従って、特殊パターンが復元され、不良品のパターンの生成が抑制された、複数の分割復元画像に基づいて検査対象物TAを検査することにより、検査対象物の検査精度を高めることができる。
【0010】
前述した態様において、検査部は、複数の復元分割画像に基づいて復元画像を生成し、検査対象物の検査画像と該復元画像との比較に基づいて、検査対象物を検査してもよい。
【0011】
この態様によれば、複数の復元分割画像に基づいて復元画像が生成され、当該復元画像と検査対象物の検査画像との比較に基づいて、検査対象物が検査される。これにより、検査精度の高い検査を容易に実現できる。
【0012】
前述した態様において、検査部は、復元画像と検査画像との差に基づいて、検査対象物を検査してもよい。
【0013】
この態様によれば、復元画像と検査画像との差に基づいて、検査対象物が検査される。これにより、検査精度の高い検査をさらに容易に実現できる。
【0014】
前述した態様において、1つ又は複数の良品分割画像ごとに学習モデルを学習させ、複数の学習済みモデルを生成する学習部をさらに備えてもよい。
【0015】
この態様によれば、1つ又は複数の良品分割画像ごとに学習モデルを学習させ、複数の学習済みモデルを生成する学習部をさらに備える。これにより、学習済みモデル生成装置がなくても、複数の学習済みモデルを得ることができる。
【0016】
前述した態様において、学習部は、1つ又は複数の良品分割画像にデータオーギュメンテーションを施したものを入力として学習モデルを学習させ、複数の学習済みモデルを生成してもよい。
【0017】
この態様によれば、1つ又は複数の良品分割画像にデータオーギュメンテーションを施したものを入力として学習モデルを学習させ、複数の学習済みモデルが生成される。これにより、限られた数の良品分割画像を増やすことができ、各学習済みモデルは、良品分割画像のばらつきに対するロバスト性を高めたロバスト設計にすることができる。
【0018】
前述した態様において、データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、平行移動、回転、拡大、縮小、左右反転、上下反転、及びフィルタ処理のうちの少なくとも1つを適用することを含んでもよい。
【0019】
この態様によれば、データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、平行移動、回転、拡大、縮小、左右反転、上下反転、及びフィルタ処理のうちの少なくとも1つを適用することを含む。これにより、良品分割画像のバリエーションを容易に得ることができる。
【0020】
前述した態様において、検査対象物の検査画像を複数の検査分割画像に分割する分割部をさらに備えてもよい。
【0021】
この態様によれば、検査対象物の検査画像を複数の検査分割画像に分割する分割部をさらに備える。これにより、検査分割画像を容易に得ることができる。
【0022】
前述した態様において、検査対象物の検査画像を取得するための撮像部をさらに備えてもよい。
【0023】
この態様によれば、検査対象物の検査画像を取得するための撮像部をさらに備える。これにより、検査画像を容易に得ることができる。
【0024】
前述した態様において、複数の学習済みモデルを記憶する記憶部をさらに備えてもよい。
【0025】
この態様によれば、複数の学習済みモデルを記憶する記憶部をさらに備える。これにより、各学習済みモデルを容易に読み出すことができる。
【0026】
本開示の他の態様に係る画像検査方法は、良品の検査対象物の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルに、検査対象物の分割画像である検査分割画像をそれぞれ入力し、複数の復元分割画像を生成するステップと、複数の復元分割画像に基づいて検査対象物を検査するステップと、を含む。
【0027】
この態様によれば、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルに、検査分割画像をそれぞれ入力し、複数の復元分割画像を生成する。これにより、各学習済みモデルは、各良品分割画像に特有のパターンを学習することができるので、生成された分割復元画像において、良品分割画像に含まれる局所的な特殊パターンを復元することができる。また、別の良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合にも、各学習済みモデルは、検査対象物の良品画像における位置によって異なる判断基準を学習することができるので、生成された分割復元画像において、不良パターンの生成を抑制することができる。従って、特殊パターンが復元され、不良品のパターンの生成が抑制された、複数の分割復元画像に基づいて検査対象物TAを検査することにより、検査対象物の検査精度を高めることができる。
【0028】
本開示の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルを生成するモデル生成部を備える。
【0029】
この態様によれば、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデルを生成する。これにより、各学習済みモデルは、各良品分割画像に特有のパターンを学習することができるので、出力となる分割復元画像において、良品分割画像に含まれる局所的な特殊パターンを復元することができる。また、良品画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合にも、各学習済みモデルは、良品画像における位置によって異なる判断基準を学習することができるので、出力となる分割復元画像において、不良パターンの生成を抑制することができる。従って、例えば、各学習済みモデルに検査分割画像を入力して分割復元画像を生成することで、当該分割復元画像において、局所的な特殊パターンを復元することができるとともに、不良パターンの生成を抑制することができる。
【発明の効果】
【0030】
本発明によれば、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することができる。
【図面の簡単な説明】
【0031】
【
図1】
図1は、一実施形態における画像検査システムの概略構成を例示する構成図である。
【
図2】
図2は、一実施形態における学習済みモデル生成装置及び画像検査装置の物理的構成を示す構成図である。
【
図3】
図3は、一実施形態における学習済みモデル生成装置の機能ブロックの構成を示す構成図である。
【
図4】
図4は、
図3に示す学習用画像生成部による良品分割画像の生成を説明するための概念図である。
【
図5】
図5は、
図3に示すモデル生成部が使用する学習モデルを説明するための概念図である。
【
図6】
図6は、
図3に示すモデル生成部による複数の学習済みモデルの生成の一例を説明するための概念図である。
【
図7】
図7は、
図3に示すモデル生成部による複数の学習済みモデルの生成の他の例を説明するための概念図である。
【
図8】
図8は、一実施形態における画像検査装置の機能ブロックの構成を示す構成図である。
【
図9】
図9は、
図8に示す、分割部、画像生成部、及び検査部による処理の一例を説明するための概念図である。
【
図10】
図9は、
図8に示す、分割部、画像生成部、及び検査部による処理の他の例を説明するための概念図である。
【
図12】
図12は、
図8に示す検査部による差分画像の生成を説明するための概念図である。
【
図16】
図16は、一実施形態における学習済みモデル生成装置が行う学習済みモデル生成処理の一例を説明するためのフローチャートである。
【
図17】
図17は、一実施形態における画像検査装置が行う画像検査処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0032】
以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。
【0033】
まず、
図1を参照しつつ、一実施形態に従う画像検査システムの構成について説明する。
図1は、一実施形態における画像検査システム1の概略構成を例示する構成図である。
【0034】
図1に示すように、画像検査システム1は、画像検査装置20及び照明ILを含む。画像検査装置20は、通信ネットワークNWを介して、学習済みモデル生成装置10に接続されている。照明ILは、検査対象物TAに光Lを照射する。画像検査装置20は、反射光Rを撮影し、検査対象物TAの画像(以下、「検査画像」ともいう)に基づいて、検査対象物TAの検査を行う。学習済みモデル生成装置10は、画像検査装置20が検査を行うために用いる学習済みモデルを生成する。
【0035】
次に、
図2を参照しつつ、一実施形態に従う学習済みモデル生成装置及び画像検査装置の物理的構成について説明する。
図2は、一実施形態における学習済みモデル生成装置10及び画像検査装置20の物理的構成を示す構成図である。
【0036】
図2に示すように、学習済みモデル生成装置10及び画像検査装置20は、それぞれ、プロセッサ31と、メモリ32と、記憶装置33と、通信装置34と、入力装置35と、出力装置36と、を備える。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。
【0037】
なお、
図2に示す例では、学習済みモデル生成装置10及び画像検査装置20が、それぞれ、一台のコンピュータで構成される場合について説明するが、これに限定されるものではない。学習済みモデル生成装置10及び画像検査装置20は、それぞれ、複数のコンピュータが組み合わされて実現されてもよい。また、
図2で示す構成は一例であり、学習済みモデル生成装置10及び画像検査装置20は、それぞれ、これら以外の構成を備えてもよいし、これらの構成のうち一部を備えなくてもよい。
【0038】
プロセッサ31は、学習済みモデル生成装置10及び画像検査装置20の各部の動作を制御するように構成されている。プロセッサ31は、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array))、SoC(Sysmtem-on-a-Chip)等の集積回路を含んで構成される。
【0039】
メモリ32及び記憶装置33は、それぞれ、プログラムやデータ等を記憶するように構成されている。メモリ32は、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及び/又はRAM(Random Access Memory)等から構成される。記憶装置33は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)及び/又はeMMC(embedded Multi Media Card)等のストレージから構成される。
【0040】
通信装置34は、有線及び無線の少なくとも一方のネットワークを介して通信を行うように構成されている。通信装置34は、例えば、ネットワークカード、通信モジュール、他の機器に接続するインターフェース等を含んで構成される。
【0041】
入力装置35は、ユーザの操作により情報を入力できるように構成されている。入力装置35は、例えば、キーボード、タッチパネル、マウス、ポインティングデバイス、及び/又はマイク等を含んで構成される。
【0042】
出力装置36は、情報を出力するように構成されている。出力装置36は、例えば液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ、LCD(Liquid Crystal Display)等の表示装置、及び/又はスピーカ等を含んで構成される。
【0043】
次に、
図3から
図7を参照しつつ、一実施形態に従う学習済みモデル生成装置の機能ブロックについて説明する。
図3は、一実施形態における学習済みモデル生成装置10の機能ブロックの構成を示す構成図である。
図4は、
図3に示す学習用画像生成部131による良品分割画像の生成を説明するための概念図である。
図5は、
図3に示すモデル生成部135が使用する学習モデル50を説明するための概念図である。
図6は、
図3に示すモデル生成部135による複数の学習済みモデル55の生成の一例を説明するための概念図である。
図7は、
図3に示すモデル生成部135による複数の学習済みモデル55の生成の他の例を説明するための概念図である。
【0044】
図3に示すように、学習済みモデル生成装置10は、通信部110と、記憶部120と、学習部130と、を備える。
【0045】
通信部110は、各種の情報を送信及び受信可能に構成されている。通信部110は、例えば、通信ネットワークNWを介して、後述する学習済みモデル55を画像検査装置20に送信する。また、通信部110は、例えば、通信ネットワークNWを介して、他の装置から良品画像を受信する。すなわち、通信部110は、良品の画像である良品画像を取得する。通信部110によって取得された複数の良品画像(以下、それぞれを区別しない場合にその1つを「良品画像40」ともいう)は、記憶部120に書き込まれて記憶される。
【0046】
記憶部120は、各種の情報を記憶するように構成されている。記憶部120は、例えば、良品画像40と、複数の学習用画像(以下、それぞれを区別しない場合にその1つを「学習用画像124」ともいう)と、複数の学習済みモデル(以下、それぞれを区別しない場合にその1つを「学習済みモデル55」ともいう)と、を記憶する。
【0047】
学習部130は、学習モデルを学習させて学習済みモデルを生成するためのものである。学習部130は、例えば、学習用画像生成部131及びモデル生成部135を含む。
【0048】
学習用画像生成部131は、学習用画像124を生成するように構成されている。学習用画像124は、学習済みモデル55を生成するために用いられる画像である。学習用画像124は、例えば、1つの良品画像を複数に分割した画像(以下「良品分割画像」という)である。
【0049】
より詳細には、学習用画像生成部131は、記憶部120に記憶された複数の良品画像40のうちの1つを読み出し、当該良品画像40を複数の良品分割画像に分割して学習用画像を生成する。
【0050】
図4に示すように、学習用画像生成部131は、良品画像40について、例えば、縦及び横にそれぞれ4分割することで、16個の良品分割画像を生成する。なお、良品画像40は、2個以上の良品分割画像に分割されれば足り、2から15個の良品分割画像に分割されてもよいし、17個以上の良品分割画像に分割されてもよい。
【0051】
また、学習用画像生成部131は、1つ又は複数の良品分割画像にデータオーギュメンテーションを施し、データオーギュメンテーションが施されたものを学習用画像124として生成してもよい。
【0052】
データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、平行移動、回転、拡大、縮小、左右反転、上下反転、及びフィルタ処理のうちの少なくとも1つを適用することを含む。フィルタ処理に用いるフィルタは、例えば、良品分割画像の明度を変換するフィルタであったり、ノイズを除去する平滑化フィルタであったり、エッジを抽出するフィルタであったりしてよく、任意のフィルタを用いることができる。
【0053】
なお、データオーギュメンテーションは、前述した手法に限定されるものではない。例えば、データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、射影変換を行ったり、ランダムノイズを付加したりしもてよい。
【0054】
モデル生成部135は、1つ又は複数の良品分割画像ごとに学習モデルを学習させ、複数の学習済みモデル55を生成するように構成されている。各学習済みモデル55は、例えば、1つ又は複数の良品分割画像を入力とし、復元分割画像を出力するモデルである。あるいは、各学習済みモデル55は、1つ又は複数の良品分割画像にデータオーギュメンテーションを施したものを入力とし、復元分割画像を出力するモデルであってもよい。以下において、特に明示する場合を除き、各学習済みモデル55は、1つ又は複数の良品分割画像を入力として生成されたものとして、説明する。この場合、復元分割画像は、良品分割画像を復元する画像である。
【0055】
図5に示すように、モデル生成部135が学習済みモデル55を生成するために用いる学習モデル50は、例えば、ニューラルネットワークの1つであって、教師なし機械学習の手法の1つでもあるオートエンコーダである。学習モデル50は、入力層501と、出力層505と、入力層501と出力層505との間に配置されている中間層503と、を含んでいる。
【0056】
なお、学習モデル50は、オートエンコーダに限定されるものではない。学習モデル50は、例えば、PCA(Principal Component Analysis)を用いたモデルであってもよい。また、学習モデル50の中間層503は、1層である場合に限定されず、2層以上であってもよい。
【0057】
入力層501に入力画像が入力されると、中間層503において入力画像の次元が削減されて特徴ベクトルを抽出する。そして、出力層505において次元を戻して出力画像が出力される。
【0058】
この学習モデル50は、入力画像と出力画像との間の差が最小となるように、重み(係数ともいう)を学習する。より詳細には、円形状で表される各ノードは、線で表される各エッジにおいて固有の重み付けを行い、重み付けされた値が次の層のノードに入力される。この重み付けにおける重みを学習することで、入力画像に含まれる各画素と、出力画像に含まる対応する各画素との差が最小になる。
【0059】
本実施形態では、入力画像は、例えば、良品分割画像であり、出力画像は、復元分割画像である。
図6に示すように、例えば、良品画像40において左上に位置する良品分割画像400のための学習済みモデル55を生成する場合、対応する学習モデル50Aには、複数の良品画像40におけるそれぞれの左上の良品分割画像400が入力画像として入力される。そして、この学習モデル50Aは、左上の良品分割画像400を復元する復元分割画像を出力画像として出力するように、各重みを学習する。これにより、良品分割画像400を復元する学習済みモデル55Aが生成される。このようにして、良品画像400における各良品分割画像400,402,404,・・・について、対応する学習モデル50A,50B,50C,・・・を学習させることで、モデル生成部135は、複数の学習済みモデル55A,55B,55C,・・・を生成する。
【0060】
なお、学習モデル50は、入力画像として1つの位置の良品分割画像を用いる場合に限定されるものではない。言い換えれば、良品画像40を分割する数、例えば分割数m(mは2以上の整数)と、学習に用いる学習モデル50の数及び生成される学習済みモデル55の数、例えば生成数n(nは2以上の整数)とは、同じ数である場合に限定されるものではない。学習モデル50は、複数の良品分割画像、例えば、良品分割画像400及び良品分割画像402を入力画像として学習されてもよい。この場合、良品分割画像400及び良品分割画像402の2つのエリアの分割画像を復元する学習済みモデル55が生成される。
【0061】
また、
図7に示すように、良品画像40を分割した複数の良品分割画像400’、402’、404’,・・・のうち、例えば、良品分割画像402’と良品分割画像404’とが類似する場合、それぞれに用いる学習モデル50を統合してもよい。すなわち、互いに類似する良品分割画像402’及び良品分割画像404’は、同じ学習モデル50Bに入力され、学習の結果、1つの学習済みモデル55B’が生成される。この場合、学習済みモデル50の生成数nは、良品画像40の分割数mより小さくなる(生成数n<分割数m)。なお、2つの良品分割画像が類似するか否かの判定は、例えば、一致度が所定のしきい値以上であるか否かに基づいて行ってもよい。
【0062】
このように、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル55を生成することにより、後述するように、各学習済みモデル55は、各良品分割画像に特有のパターンを学習することができるので、出力となる分割復元画像において、良品分割画像に含まれる局所的な特殊パターンを復元することができる。また、良品画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合にも、後述するように、各学習済みモデル55は、良品画像における位置によって異なる判断基準を学習することができるので、出力となる分割復元画像において、不良パターンの生成を抑制することができる。
【0063】
なお、学習用画像生成部131及びモデル生成部135の少なくとも一方は、プロセッサ31が、記憶装置33に記憶されたプログラムを実行することにより実現されてもよい。プログラムを実行する場合、当該プログラムは、記憶媒体に格納されていてもよい。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体(Non-Transitory computer readable medium)であってもよい。非一時的な記憶媒体は、特に限定されないが、例えば、USBメモリ、又はCD-ROM(Compact Disc ROM)等の記憶媒体であってもよい。
【0064】
次に、
図8から
図12を参照しつつ、一実施形態に従う画像検査装置の機能ブロックについて説明する。
図8は、一実施形態における画像検査装置20の機能ブロックの構成を示す構成図である。
図9は、
図8に示す、分割部250、画像生成部260、及び検査部270による処理の一例を説明するための概念図である。
図10は、
図8に示す、分割部250、画像生成部260、及び検査部270による処理の他の例を説明するための概念図である。
図11は、良品画像の一例を示す図である。
図12は、
図8に示す検査部270による差分画像の生成を説明するための概念図である。
図13は、検査画像の一例を示す図である。
図14は、復元画像の一例を示す図である。
図15は、差分画像の一例を示す図である。
【0065】
図8に示すように、画像検査装置20は、通信部210と、記憶部220と、学習部230と、撮像部240と、分割部250と、画像生成部260と、検査部270と、を備える。
【0066】
通信部210は、各種の情報を送信及び受信可能に構成されている。通信部210は、例えば、通信ネットワークNWを介して、学習済みモデル生成装置10から複数の学習済みモデル55を受信する。また、通信部210は、例えば、通信ネットワークNWを介して、学習済みモデル生成装置10又は他の装置から複数の学習用画像124を受信する。受信した複数の学習用画像124及び複数の学習済みモデル55は、記憶部220に書き込まれて記憶される。なお、通信部210は、複数の学習用画像124及び複数の学習済みモデル55のいずれか一方のみを受信してもよい。通信部210が複数の学習用画像124のみを受信する場合、後述する学習部230は、複数の学習用画像124を用い、複数の学習済みモデル55を生成する。
【0067】
記憶部220は、各種の情報を記憶するように構成されている。記憶部220は、例えば、複数の学習用画像124と、複数の学習済みモデル学習済みモデル55と、を記憶する。このように、複数の学習済みモデル55を記憶する記憶部220を備えることにより、各学習済みモデルを容易に読み出すことができる。
【0068】
学習部230は、1つ又は複数の良品分割画像ごとに学習モデルを学習させ、複数の学習済みモデル55を生成するように構成されている。各学習済みモデル55は、1つ又は複数の良品分割画像を入力とし、復元分割画像を出力するモデルである。生成した複数の学習済みモデル55は、記憶部220に書き込まれて記憶される。なお、学習モデルを学習させる方法は、学習済みモデル生成装置10におけるモデル生成部135についての説明と同様であるため、その説明を省略する。
【0069】
このように、1つ又は複数の良品分割画像ごとに学習モデルを学習させ、複数の学習済みモデル55を生成する学習部230を備えることにより、学習済みモデル生成装置10がなくても、複数の学習済みモデルを得ることができる。
【0070】
また、学習部230は、記憶部220に記憶された複数の学習用画像のそれぞれが良品分割画像である場合、1つ又は複数の良品分割画像にデータオーギュメンテーションを施し、データオーギュメンテーションが施されたものを入力として学習モデルを学習させ、複数の学習済みモデル55を生成してもよい。これにより、限られた数の良品分割画像を増やすことができ、各学習済みモデル55は、良品分割画像のばらつきに対するロバスト性を高めたロバスト設計にすることができる。
【0071】
前述したように、データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、平行移動、回転、拡大、縮小、左右反転、上下反転、及びフィルタ処理のうちの少なくとも1つを適用することを含む。フィルタ処理に用いるフィルタは、例えば、良品分割画像の明度を変換するフィルタであったり、ノイズを除去する平滑化フィルタであったり、エッジを抽出するフィルタであったりしてよく、任意のフィルタを用いることができる。このように、データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、平行移動、回転、拡大、縮小、左右反転、上下反転、及びフィルタ処理のうちの少なくとも1つを適用することを含むことにより、良品分割画像のバリエーションを容易に得ることができる。
【0072】
なお、データオーギュメンテーションは、前述した手法に限定されるものではない。例えば、データオーギュメンテーションは、1つ又は複数の良品分割画像に対して、射影変換を行ったり、ランダムノイズを付加したりしもてよい。
【0073】
撮像部240は、検査対象物TAの検査画像を取得するためのものである。撮像部240は、例えばカメラ等の撮像装置を含んで構成される。本実施形態の撮像部240は、検査対象物TAからの反射光Rを受光し、検査画像を取得する。そして、撮像部240は、取得した検査画像を分割部250及び検査部270に出力する。このように、検査対象物TAの検査画像を取得することにより、検査画像を容易に得ることができる。
【0074】
分割部250は、検査対象物TAの検査画像を複数の検査分割画像に分割するように構成されている。より詳細には、分割部250は、学習済みモデル生成装置10における良品画像の分割と同様の方法によって、検査画像を分割する。具体的には、分割部250は、検査対象物TAの検査画像を、縦及び横にそれぞれ4分割して、16個の検査分割画像を生成する。そして、分割部250は、生成した検査分割画像を画像生成部260に出力する。このように、検査対象物TAの検査画像を複数の検査分割画像に分割することにより、検査分割画像を容易に得ることができる。
【0075】
画像生成部260は、複数の学習済みモデル55に、検査分割画像をそれぞれ入力し、複数の復元分割画像を生成するように構成されている。
【0076】
図9に示すように、撮像部240が取得した検査対象物TAの検査画像は、分割部250によって複数の検査分割画像420,422,424,・・・に分割される。画像生成部260は、各検査分割画像420,422,424,・・・を、複数の学習済みモデル55のうちの対応する学習済みモデル55A、55B,55C,・・・に入力する。各学習済みモデル55A、55B,55C,・・・が、各検査分割画像420,422,424,・・・に対応する復元分割画像440,442,444,・・・を出力することで、画像生成部260は、複数の復元分割画像440,442,444,・・・を生成する。
【0077】
また、後述する検査部270は、生成された複数の復元分割画像440,442,444,・・・を統合することで、縦及び横のサイズ(画素数)が検査画像42と同じ復元画像44を生成する。
【0078】
前述したように、互いに類似する複数の良品分割画像を1つの学習モデル50に統合して学習済みモデル55を生成した場合、
図10に示すように、画像生成部260は、検査画像42において、互いに類似する複数の良品分割画像に対応する位置の検査分割画像、例えば、検査分割画像422及び検査分割画像424を、それぞれ、対応する学習済みモデル55B’に入力する。学習済みモデル55B’は、検査分割画像422に対応する復元分割画像442を出力し、検査分割画像424に対応する復元分割画像444を出力する。各学習済みモデル55A、55B’,・・・が、各復元分割画像440,442,444,・・・を出力することで、画像生成部260は、複数の復元分割画像440,442,444,・・・を生成する。なお、学習済みモデル55B’が出力する復元分割画像442は検査分割画像422に応じた画像であり、学習済みモデル55B’が出力する復元分割画像444は、検査分割画像424に応じた画像である。すなわち、検査分割画像422及び検査分割画像424が同一であれば、復元分割画像442及び復元分割画像444は同一画像になるが、検査分割画像422と検査分割画像424との間に差異があれば、復元分割画像442と復元分割画像444とは異なる画像になり得る。
【0079】
ここで、
図11に示すように、良品の検査対象物TAの良品画像60は、例えば、6個の良品分割画像600,602,604,606,608,及び610に分割される。これら6個の良品分割画像のうち、良品分割画像602,606,及び608は互いに類似するパターンを含んでいる。また、良品分割画像604は、他の良品分割画像と異なる特殊パターンを含んでいる。
【0080】
本実施形態の複数の学習済みモデル55A、55B,55C,・・・とは異なり、仮にこれら6個の良品分割画像を用いて、1つの学習済みモデルを生成する場合、当該学習済みモデルが出力する復元分割画像において、良品分割画像602,604又は608のパターンは再現され得るものの、学習済みモデルの表現能力が低いと、良品分割画像604に含まれる特殊パターンが復元されない可能性がある。
【0081】
これに対し、本実施形態の画像検査装置20は、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル55に、良品分割画像600,602,604,606,608,及び610をそれぞれ入力し、複数の復元分割画像を生成する。これにより、各学習済みモデル55は、各良品分割画像600,602,604,606,608,及び610に特有のパターンを学習することができるので、生成された分割復元画像において、良品分割画像604に含まれる局所的な特殊パターンを復元することができる。
【0082】
また、別の良品の検査対象物TAの良品画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合がある。このような場合にも、本実施形態の画像検査装置20では、各学習済みモデル55は、検査対象物TAの良品画像における位置によって異なる判断基準を学習することができるので、生成された分割復元画像において、不良パターンの生成を抑制することができる。
【0083】
図8の説明に戻り、検査部270は、画像生成部260によって生成された複数の復元分割画像に基づいて、検査対象物TAの検査するように構成されている。前述したように、画像生成部260によって生成された各復元分割画像は、特殊パターンが復元され、不良品のパターンの生成が抑制されている。従って、これら複数の分割復元画像に基づいて、検査対象物TAを検査することにより、検査対象物TAの検査精度を高めることができる。
【0084】
より詳細には、検査部270は、複数の復元分割画像に基づいて復元画像を生成し、当該復元画像と検査対象物TAの検査画像との比較に基づいて、検査対象物TAを検査するように構成されている。これにより、検査精度の高い検査を容易に実現できる。
【0085】
具体的には、検査部270は、復元画像と検査画像との差に基づいて、検査対象物TAを検査する。これにより、検査精度の高い検査をさらに容易に実現できる。
【0086】
図12に示すように、検査部270は、例えば、検査画像42と復元画像44との差分を求めて差分画像46を生成する。そして、検査部270は、当該差分画像46に基づいて検査対象物TAが良品であるか否かを判定する。
【0087】
図13に示すように、検査画像72は、例えば、線状の欠陥画像700を含んでいる。欠陥画像は、検査対象物の欠陥の画像である。
【0088】
一方、
図12に示すように、復元画像74では、良品画像が復元されるので、欠陥画像が除去されている。
【0089】
このため、
図15に示すように、検査対象物TAの検査画像72と復元画像74との差分を示す差分画像76は、主に欠陥画像760が含まれている。本実施形態では、検査部270は、この欠陥画像760を含む差分画像76に基づき、検査対象物TAが良品であるか否かを判定する。検査部270は、例えば、欠陥画像760の大きさが所定の閾値を超える場合に、検査対象物TAが良品ではない、つまり、不良品であると判定する。
【0090】
あるいは、検査部270は、差分画像76に含まれる欠陥画像760に有無に基づいて、検査対象物TAの欠陥を検出してもよい。
【0091】
なお、学習部230、分割部250、画像生成部260、及び検査部270のうちの少なくとも1つは、プロセッサ31が、記憶装置33に記憶されたプログラムを実行することにより実現されてもよい。プログラムを実行する場合、当該プログラムは、記憶媒体に格納されていてもよい。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、特に限定されないが、例えば、USBメモリ、又はCD-ROM等の記憶媒体であってもよい。
【0092】
次に、
図16を参照しつつ、一実施形態に従う学習済みモデル生成装置が行う処理手順について説明する。
図16は、一実施形態における学習済みモデル生成装置10が行う学習済みモデル生成処理S100の一例を説明するためのフローチャートである。
【0093】
図16に示すように、まず、通信部110は、通信ネットワークNWを介して、複数の良品画像40を取得する(ステップS101)。取得された複数の良品画像40は、記憶部120に記憶される。
【0094】
次に、学習用画像生成部131は、記憶部120から複数の良品画像40を読み出し、当該複数の良品画像40に基づいて、複数の学習用画像124を生成する(ステップS102)。学習用画像124は、前述したように、良品分割画像であってもよいし、1つ又は複数の良品分割画像にデータオーギュメンテーションを施したものであってもよい。
【0095】
次に、モデル生成部135は、ステップS102において生成された複数の学習用画像124を入力とし、復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル55を生成する。(ステップS103)。生成された複数の学習済みモデル55は、記憶部120に記憶される。
【0096】
次に、通信部110は、ステップS103において生成された複数の学習済みモデル55を、通信ネットワークNWを介して、画像検査装置20に送信する(ステップS104)。これにより、画像検査装置20は、学習済みモデル生成装置10によって生成された複数の学習済みモデルを使用可能になる。
【0097】
ステップS104の後、学習済みモデル生成装置10は、学習済みモデル生成処理S100を終了する。
【0098】
次に、
図17を参照しつつ、一実施形態に従う画像検査装置が行う処理手順について説明する。
図17は、一実施形態における画像検査装置20が行う画像検査処理S200の一例を説明するためのフローチャートである。
【0099】
なお、以下の例では、通信部210が学習済みモデル生成装置10から複数の学習済みモデル55を受信し、記憶部220に当該複数の学習済みモデル55が記憶されているものとして、説明する。
【0100】
図17に示すように、まず、撮像部240が、検査対象物TAの検査画像を取得する(ステップS201)。取得された検査画像は、分割部250及び検査部270に出力される。
【0101】
次に、分割部250は、ステップS201において取得された検査画像を分割し、複数の検査分割画像を生成する(ステップS202)。生成された複数の検査分割画像は、画像生成部260に出力される。
【0102】
次に、画像生成部260は、記憶部220にあらかじめ記憶された複数の学習済みモデル55を読み出し、ステップS207において生成された複数の検査分割画像を、複数の学習済みモデル55にそれぞれ入力し、複数の復元分割画像を生成する(ステップS203)。生成された複数の復元分割画像は、検査部270に出力される。
【0103】
次に、検査部270は、ステップS203において生成された複数の復元分割画像を統合し、復元画像を生成する(ステップS204)。そして、検査部270は、ステップS201において取得された検査画像と、ステップS204において生成された復元画像との差分を算出し、差分画像を生成する(ステップS205)。
【0104】
次に、検査部270は、ステップS205において生成された差分画像に基づいて、検査対象物TAを検査する(ステップS206)。
【0105】
ステップS206の後、画像検査装置20は、画像検査処理S200を終了する。
【0106】
なお、本実施形態で説明したシーケンス及びフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。
【0107】
以上、本発明の例示的な実施形態について説明した。本実施形態における画像検査装置20及び画像検査方法によれば、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル55に、良品分割画像600,602,604,606,608,及び610をそれぞれ入力し、複数の復元分割画像を生成する。これにより、各学習済みモデル55は、各良品分割画像600,602,604,606,608,及び610に特有のパターンを学習することができるので、生成された分割復元画像において、良品分割画像604に含まれる局所的な特殊パターンを復元することができる。また、別の良品の検査対象物TAの画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合にも、各学習済みモデル55は、検査対象物TAの検査画像における位置によって異なる判断基準を学習することができるので、生成された分割復元画像において、不良パターンの生成を抑制することができる。従って、特殊パターンが復元され、不良品のパターンの生成が抑制された、複数の分割復元画像に基づいて検査対象物TAを検査することにより、検査対象物TAの検査精度を高めることができる。
【0108】
また、本実施形態における学習済みモデル生成装置10によれば、1つ又は複数の良品分割画像を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル55を生成する。これにより、各学習済みモデル55は、各良品分割画像に特有のパターンを学習することができるので、出力となる分割復元画像において、良品分割画像に含まれる局所的な特殊パターンを復元することができる。また、良品画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合にも、各学習済みモデル55は、良品画像における位置によって異なる判断基準を学習することができるので、出力となる分割復元画像において、不良パターンの生成を抑制することができる。従って、例えば、各学習済みモデル55に検査分割画像を入力して分割復元画像を生成することで、当該分割復元画像において、局所的な特殊パターンを復元することができるとともに、不良パターンの生成を抑制することができる。
【0109】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【0110】
[付記1]
良品の検査対象物(TA)の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル(55)に、検査対象物(TA)の分割画像である検査分割画像をそれぞれ入力し、複数の復元分割画像を生成する画像生成部(260)と、
複数の復元分割画像に基づいて検査対象物(TA)を検査する検査部(270)と、を備える、
画像検査装置(20)。
[付記10]
良品の検査対象物(TA)の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル(55)に、検査対象物(TA)の分割画像である検査分割画像をそれぞれ入力し、複数の復元分割画像を生成するステップと、
複数の復元分割画像に基づいて検査対象物(TA)を検査するステップと、を含む、
画像検査方法。
[付記11]
良品の検査対象物(TA)の分割画像である良品分割画像の1つ又は複数を入力として復元分割画像を出力するようにそれぞれ学習させた複数の学習済みモデル(55)を生成するモデル生成部(135)を備える、
学習済みモデル生成装置(10)。
【符号の説明】
【0111】
1…画像検査システム、10…学習済みモデル生成装置、20…画像検査装置、31…プロセッサ、32…メモリ、33…記憶装置、34…通信装置、35…入力装置、36…出力装置、40…良品画像、42…検査画像、44…復元画像、46…差分画像、50…学習モデル、55,55A,55B,55C…学習済みモデル、60…良品画像、72…検査画像、74…復元画像、76…差分画像、110…通信部、120…記憶部、124…学習用画像、130…学習部、131…学習用画像生成部、135…モデル生成部、210…通信部、220…記憶部、230…学習部、240…撮像部、250…分割部、260…画像生成部、270…検査部、400,402,404…良品分割画像、420,422,424…検査分割画像、440,442,444…復元分割画像、501…入力層、503…中間層、505…出力層、600,602,604,606,608,610…良品分割画像、700…欠陥画像、760…欠陥画像、IL…照明、L…光、NW…通信ネットワーク、R…反射光、S100…学習済みモデル生成処理、S200…画像検査処理、TA…検査対象物。