特許 7533263 画像検査装置、画像検査方法、及び学習済みモデル生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】画像検査装置、画像検査方法、及び学習済みモデル生成装置

(51)【国際特許分類】

   G01N 21/956 20060101AFI20240806BHJP

   G06T 7/00 20170101ALI20240806BHJP

【ＦＩ】

G01N21/956

G06T7/00 350C

G06T7/00 610C

G06T7/00 250

【請求項の数】 10

(21)【出願番号】P 2021020384

(22)【出願日】2021-02-12

(65)【公開番号】P2022123218

(43)【公開日】2022-08-24

【審査請求日】2023-12-12

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】池田 泰之

【審査官】小野 健二

(56)【参考文献】

【文献】特開２０２０－５２５２０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１６００８３（ＵＳ，Ａ１）

【文献】特許第６６６４５７４（ＪＰ，Ｂ１）

【文献】特許第６８１８９６１（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－２１／９５８

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｎ ２０／００－２０／２０

Ｈ０１Ｌ ２１／６４－２１／６６

(57)【特許請求の範囲】

【請求項1】

良品の検査対象物の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と該検査分割画像の周囲の画像に基づく検査周囲含有画像とを入力し、該検査分割画像に対する前記特徴量を成分とする特徴ベクトルをそれぞれ抽出する抽出部と、
前記抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の前記良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、該特徴ベクトルに対応する前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、
前記欠陥度合いに基づいて、前記検査対象物を検査する検査部と、を備える、
画像検査装置。

【請求項2】

前記検査周囲含有画像は、前記検査分割画像の周囲の画像を縮小した画像を含む、
請求項１に記載の画像検査装置。

【請求項3】

前記取得部は、前記抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と前記集合との間の距離に基づいて、該特徴ベクトルに対応する前記検査分割画像の前記欠陥度合いを取得する、
請求項１又は２に記載の画像検査装置。

【請求項4】

前記取得部は、前記抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と前記複数の良品分割画像に対する前記複数の特徴ベクトルのうちの１つが示す点との間の距離に基づいて、該特徴ベクトルに対応する前記検査分割画像の前記欠陥度合いを取得する、
請求項１又は２に記載の画像検査装置。

【請求項5】

前記欠陥度合いは、前記検査分割画像の欠陥の程度を示す値である、
請求項１から４のいずれか一項に記載の画像検査装置。

【請求項6】

前記検査部は、複数の前記欠陥度合いに基づいて欠陥度合い画像を生成し、該欠陥度合い画像に基づいて前記検査対象物を検査する、
請求項５に記載の画像検査装置。

【請求項7】

検査対象物の検査画像を複数の前記検査分割画像に分割する分割部をさらに備える、
請求項１から６のいずれか一項に記載の画像検査装置。

【請求項8】

検査対象物の検査画像を取得するための撮像部をさらに備える、
請求項１から７のいずれか一項に記載の画像検査装置。

【請求項9】

良品の検査対象物の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と該検査分割画像の周囲の画像に基づく検査周囲含有画像とを入力し、該検査分割画像に対する前記特徴量を成分とする特徴ベクトルをそれぞれ抽出するステップと、
前記抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の前記良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、該特徴ベクトルに対応する前記検査分割画像の欠陥の程度を示す欠陥度合いを取得するステップと、
前記欠陥度合いに基づいて、前記検査対象物を検査するステップと、を含む、
画像検査方法。

【請求項10】

良品の検査対象物の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える、
学習済みモデル生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査装置、画像検査方法、及び学習済みモデル生成装置に関する。

【背景技術】

【0002】

従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。

【0003】

例えば、特許文献１には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。特許文献１の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－５７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、従来、良品の対象物の良品画像を小さいサイズに分割して入力し、当該良品画像の特徴量を出力するように学習させた学習済みモデルを用い、特徴空間において、検査画像から抽出した特徴ベクトルと良品画像の特徴ベクトルとに基づいて、検査画像の欠陥を検出する方法があった。

【0006】

しかしながら、良品画像に局所的に特殊パターンが存在する場合、この特殊パターンを含む良品画像の特徴ベクトルは、特徴空間において、他の良品画像の特徴ベクトルから離れた位置にプロットされてしまい、特殊パターンを含む対象物を不良品として検出してしまうことがあった。

【0007】

また、別の良品画像が、ある位置では良品である一方、別の位置では不良品であるパターンを含む場合、このようなパターンを当該別の位置に含む検査画像の特徴ベクトルは、特徴空間において、良品画像の特徴ベクトルの近くにプロットされることになり、不良品を見逃してしまうことがあった。

【0008】

本発明は、このような事情に鑑みてなされたものであり、良品画像の特徴ベクトルに対し、特殊パターンを含む良品画像の特徴ベクトルを近くにプロットするとともに、不良品の検査画像の特徴ベクトルを遠くにプロットすることのできる画像検査装置、画像検査方法、及び学習済みモデル生成装置を提供することを目的の１つとする。

【課題を解決するための手段】

【0009】

本開示の一態様に係る画像検査装置は、良品の検査対象物の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と該検査分割画像の周囲の画像に基づく検査周囲含有画像とを入力し、該検査分割画像に対する特徴量を成分とする特徴ベクトルをそれぞれ抽出する抽出部と、抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、該特徴ベクトルに対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、欠陥度合いに基づいて、検査対象物を検査する検査部と、を備える。

【0010】

この態様によれば、良品分割画像と良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査周囲含有画像とを入力し、当該検査分割画像に対する特徴ベクトルを抽出する。これにより、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデルは、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、検査分割画像に対する特徴ベクトルが示す点は、対応する良品分割画像に対する特徴ベクトルによって形成される集合の近くにプロットされる。よって、特徴空間において、特殊パターンを含む検査分割画像に対する特徴ベクトルが示す点を、当該検査分割画像に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することができる。また、学習済みモデルは、良品周囲含有画像によって、良品の検査対象物の良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品の見逃しを抑制することができる。従って、特徴空間における、検査分割画像に対する特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、検査分割画像の欠陥度合いを取得し、この欠陥度合いに基づいて、検査対象物を検査することにより、検査対象物の検査精度を高めることができる。

【0011】

前述した態様において、検査周囲含有画像は、検査分割画像の周囲の画像を縮小した画像を含んでもよい。

【0012】

この態様によれば、検査周囲含有画像は、検査分割画像の周囲の画像を縮小した画像を含む。これにより、学習済みモデルによる特徴量の出力において、検査周囲含有画像の影響が大きくなるのを抑制することができ、検査分割画像に対する特徴ベクトルを高精度に抽出することが可能となる。

【0013】

前述した態様において、取得部は、抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と集合との間の距離に基づいて、該特徴ベクトルに対応する検査分割画像の欠陥度合いを取得してもよい。

【0014】

この態様によれば、特徴ベクトルに対応する検査分割画像の欠陥度合いは、特徴空間における、特徴ベクトルが示す点と複数の良品分割画像の複数の特徴ベクトルによって形成される集合との間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことができる。

【0015】

前述した態様において、取得部は、抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の良品分割画像の複数の特徴ベクトルのうちの１つが示す点との間の距離に基づいて、該特徴ベクトルに対応する検査分割画像の欠陥度合いを取得してもよい。

【0016】

この態様によれば、特徴ベクトルに対応する検査分割画像の欠陥度合いは、特徴空間における、特徴ベクトルが示す点と複数の良品分割画像の複数の特徴ベクトルのうちの１つが示す点との間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことができる。

【0017】

前述した態様において、欠陥度合いは、検査分割画像の欠陥の程度を示す値であってもよい。

【0018】

この態様によれば、検査分割画像の欠陥の程度を定量的に示すことができる。

【0019】

前述した態様において、検査部は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、該欠陥度合い画像に基づいて検査対象物を検査してもよい。

【0020】

この態様によれば、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することができる。

【0021】

前述した態様において、検査対象物の検査画像を複数の検査分割画像に分割する分割部をさらに備えてもよい。

【0022】

この態様によれば、検査対象物の検査画像を複数の検査分割画像に分割する分割部をさらに備える。これにより、検査分割画像を容易に得ることができる。

【0023】

前述した態様において、検査対象物の検査画像を取得するための撮像部をさらに備えてもよい。

【0024】

この態様によれば、検査対象物の検査画像を取得するための撮像部をさらに備える。これにより、検査画像を容易に得ることができる。

【0025】

本開示の他の態様に係る画像検査方法は、良品の検査対象物の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と該検査分割画像の周囲の画像に基づく検査周囲含有画像とを入力し、該検査分割画像に対する特徴量を成分とする特徴ベクトルをそれぞれ抽出するステップと、抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、該特徴ベクトルに対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得するステップと、欠陥度合いに基づいて、検査対象物を検査するステップと、を含む。

【0026】

この態様によれば、良品分割画像と良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査周囲含有画像とを入力し、当該検査分割画像に対する特徴ベクトルを抽出する。これにより、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデルは、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、検査分割画像に対する特徴ベクトルが示す点は、対応する良品分割画像に対する特徴ベクトルによって形成される集合の近くにプロットされる。よって、特徴空間において、特殊パターンを含む検査分割画像に対する特徴ベクトルが示す点を、当該検査分割画像に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することができる。また、学習済みモデルは、良品周囲含有画像によって、良品の検査対象物の良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品の見逃しを抑制することができる。従って、特徴空間における、検査分割画像に対する特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、検査分割画像の欠陥度合いを取得し、この欠陥度合いに基づいて、検査対象物を検査することにより、検査対象物の検査精度を高めることができる。

【0027】

本開示の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える。

【0028】

この態様によれば、良品分割画像と良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデルを生成する。これにより、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデルは、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、特殊パターンを含む検査分割画像に対する特徴ベクトルが示す点を、当該検査分割画像に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができる。また、学習済みモデルは、良品周囲含有画像によって、良品の検査対象物の良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができる。

【発明の効果】

【0029】

本発明によれば、良品画像の特徴ベクトルに対し、特殊パターンを含む良品画像の特徴ベクトルを近くにプロットするとともに、不良品の検査画像の特徴ベクトルを遠くにプロットすることができる。

【図面の簡単な説明】

【0030】

【図1】図１は、一実施形態における画像検査システムの概略構成を例示する構成図である。

【図2】図２は、一実施形態における学習済みモデル生成装置及び画像検査装置の物理的構成を示す構成図である。

【図3】図３は、一実施形態における学習済みモデル生成装置の機能ブロックの構成を示す構成図である。

【図4】図４は、図３に示す学習用画像データセット生成部による良品分割画像及び良品周囲含有画像の生成を説明するための概念図である。

【図5】図５は、図３に示すモデル生成部が使用する第１例の学習モデルを説明するための概念図である。

【図6】図６は、図３に示すモデル生成部が使用する第２例の学習モデルを説明するための概念図である。

【図7】図７は、一実施形態における画像検査装置の機能ブロックの構成を示す構成図である。

【図8】図８は、欠陥度合いを取得する方法の一例を説明するための概念図である。

【図9】図９は、欠陥度合いを取得する方法の他の例を説明するための概念図である。

【図10】図１０は、図７に示す、分割部、学習用画像データセット生成部、抽出部、及び取得部による処理を説明するための概念図である。

【図11】図１１は、検査画像の一例を示す図である。

【図12】図１２は、図７に示す検査部による処理を説明するための概念図である。

【図13】図１３は、欠陥度合い画像の一例を示す図である。

【図14】図１４は、一実施形態における学習済みモデル生成装置が行う学習済みモデル生成処理の一例を説明するためのフローチャートである。

【図15】図１５は、一実施形態における画像検査装置が行う画像検査処理の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0031】

以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。

【0032】

まず、図１を参照しつつ、一実施形態に従う画像検査システムの構成について説明する。図１は、一実施形態における画像検査システム１の概略構成を例示する構成図である。

【0033】

図１に示すように、画像検査システム１は、画像検査装置２０及び照明ＩＬを含む。画像検査装置２０は、通信ネットワークＮＷを介して、学習済みモデル生成装置１０に接続されている。照明ＩＬは、検査対象物ＴＡに光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物ＴＡの画像（以下、「検査画像」ともいう）に基づいて、検査対象物ＴＡの検査を行う。学習済みモデル生成装置１０は、画像検査装置２０が検査を行うために用いる学習済みモデルを生成する。

【0034】

次に、図２を参照しつつ、一実施形態に従う学習済みモデル生成装置及び画像検査装置の物理的構成について説明する。図２は、一実施形態における学習済みモデル生成装置１０及び画像検査装置２０の物理的構成を示す構成図である。

【0035】

図２に示すように、学習済みモデル生成装置１０及び画像検査装置２０は、それぞれ、プロセッサ３１と、メモリ３２と、記憶装置３３と、通信装置３４と、入力装置３５と、出力装置３６と、を備える。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

【0036】

なお、図２に示す例では、学習済みモデル生成装置１０及び画像検査装置２０が、それぞれ、一台のコンピュータで構成される場合について説明するが、これに限定されるものではない。学習済みモデル生成装置１０及び画像検査装置２０は、それぞれ、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、学習済みモデル生成装置１０及び画像検査装置２０は、それぞれ、これら以外の構成を備えてもよいし、これらの構成のうち一部を備えなくてもよい。

【0037】

プロセッサ３１は、学習済みモデル生成装置１０及び画像検査装置２０の各部の動作を制御するように構成されている。プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））、ＳｏＣ（Ｓｙｓｍｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等の集積回路を含んで構成される。

【0038】

メモリ３２及び記憶装置３３は、それぞれ、プログラムやデータ等を記憶するように構成されている。メモリ３２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）及び／又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。記憶装置３３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及び／又はｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）等のストレージから構成される。

【0039】

通信装置３４は、有線及び無線の少なくとも一方のネットワークを介して通信を行うように構成されている。通信装置３４は、例えば、ネットワークカード、通信モジュール、他の機器に接続するインターフェース等を含んで構成される。

【0040】

入力装置３５は、ユーザの操作により情報を入力できるように構成されている。入力装置３５は、例えば、キーボード、タッチパネル、マウス、ポインティングデバイス、及び／又はマイク等を含んで構成される。

【0041】

出力装置３６は、情報を出力するように構成されている。出力装置３６は、例えば液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置、及び／又はスピーカ等を含んで構成される。

【0042】

次に、図３から図６を参照しつつ、一実施形態に従う学習済みモデル生成装置の機能ブロックについて説明する。図３は、一実施形態における学習済みモデル生成装置１０の機能ブロックの構成を示す構成図である。図４は、図３に示す学習用画像データセット生成部１３１による良品分割画像及び良品周囲含有画像の生成を説明するための概念図である。図５は、図３に示すモデル生成部１３５が使用する第１例の学習モデル５１を説明するための概念図である。図６は、図３に示すモデル生成部１３５が使用する第２例の学習モデル５２を説明するための概念図である。

【0043】

図３に示すように、学習済みモデル生成装置１０は、通信部１１０と、記憶部１２０と、学習部１３０と、を備える。

【0044】

通信部１１０は、各種の情報を送信及び受信可能に構成されている。通信部１１０は、例えば、通信ネットワークＮＷを介して、後述する学習済みモデル５５を画像検査装置２０に送信する。また、通信部１１０は、例えば、通信ネットワークＮＷを介して、他の装置から良品画像を受信する。すなわち、通信部１１０は、良品と判定された検査対象物ＴＡの画像である良品画像を取得する。通信部１１０によって取得された複数の良品画像（以下、それぞれを区別しない場合にその１つを「良品画像４０」ともいう）は、記憶部１２０に書き込まれて記憶される。

【0045】

記憶部１２０は、各種の情報を記憶するように構成されている。記憶部１２０は、例えば、良品画像４０と、複数の学習用画像データセット（以下、それぞれを区別しない場合にその１つを「学習用画像データセット１２４」ともいう）と、学習済みモデル５５と、複数の特徴ベクトル（以下、それぞれを区別しない場合にその１つを「特徴ベクトル１２９」ともいう）と、を記憶する。

【0046】

学習部１３０は、学習モデルを学習させて学習済みモデルを生成するためのものである。学習部１３０は、例えば、学習用画像データセット生成部１３１及びモデル生成部１３５を含む。

【0047】

学習用画像データセット生成部１３１は、学習用画像データセット１２４を生成するように構成されている。学習用画像データセット１２４は、学習済みモデル５５を生成するために用いられる画像データのセットである。

【0048】

より詳細には、学習用画像データセット生成部１３１は、記憶部１２０に記憶された複数の良品画像４０を読み出し、それぞれについて、当該良品画像４０を複数に分割した画像（以下「良品分割画像」という）を生成する。

【0049】

図４に示すように、学習用画像データセット生成部１３１は、１つの良品画像４０を、例えば縦方向及び横方向にそれぞれ５分割することで、合計２５個の良品分割画像を生成する。なお、良品画像４０は、２から２４個の良品分割画像に分割されてもよいし、２６個以上の良品分割画像に分割されてもよい。また、良品分割画像の形状は矩形に限定されるものではなく、いかなる形状であってよい。

【0050】

また、学習用画像データセット生成部１３１は、良品分割画像について、当該良品分割画像の周囲に配置された画像に基づいて、良品周囲含有画像を生成する。例えば、学習用画像データセット生成部１３１は、良品画像４０に含まれる２５個の良品分割画像のうち、縁に配置されている１６個の良品分割画像を除いた９個の良品分割画像のそれぞれについて、良品周囲含有画像を生成する。なお、縁に配置されている１６個の良品分割画像について、それぞれ、検査画像からはみ出した領域の画素値を生成することで、良品周囲含有画像を生成してもよい。この場合、はみ出した領域の画素値は、ユーザが決めた特定の値を用いて生成してもよいし、当該良品分割画像に最も近い画像端の画素値をコピーして生成してもよい。

【0051】

そして、学習用画像データセット生成部１３１は、良品分割画像と当該良品分割画像の良品周囲含有画像とを含んで構成される学習用画像データセット１２４を生成する。

【0052】

例えば、学習用画像データセット生成部１３１は、良品画像４０において、左から２番目、上から２番目に位置する第１良品分割画像４００について、その周囲の良品分割画像を含む第１良品周囲含有画像４０４を生成する。第１良品分割画像４００及び第１良品周囲含有画像４０４は、１つの学習用画像データセット１２４を構成する。同様に、学習用画像データセット生成部１３１は、良品画像４０において、左から３番目、上から２番目に位置する第２良品分割画像４０２について第２良品周囲含有画像４０６を生成し、第２良品分割画像４０２及び第２良品周囲含有画像４０６を含んで構成される学習用画像データセット１２４を生成する。このようにして、９個の良品分割画像のそれぞれについて、学習用画像データセット１２４を生成する。生成された複数の学習用画像データセット１２４は、記憶部１２０に書き込まれて記憶される。

【0053】

図４に示す例では、第１良品周囲含有画像４０４は、第１良品分割画像４００の周囲に位置する８個の良品分割画像を良品周囲画像として含んでいるが、良品周囲含有画像は、この例に限定されるものではない。良品周囲含有画像は、例えば第１良品分割画像４００の周囲の８個の良品分割画像のうちの一部を含まなくてよい。また、良品周囲含有画像は、良品分割画像の単位で構成されている場合に限定されず、いかなる単位で構成されていてもよい。すなわち、良品周囲含有画像は、良品分割画像よりも小さい単位で構成されていてもよいし、良品分割画像よりも大きい単位で構成されていてもよい。

【0054】

なお、良品分割画像の解像度と良品周囲含有画像の解像度とが同じである場合、良品周囲画像の画素数の方が良品分割画像の画素数よりも多くなると、良品周囲含有画像の方が良品分割画像よりも学習処理への寄与度が大きくなる。このため、使用する学習モデルの表現能力が低いと、後述する良品分割画像の特徴量を十分な精度で得ることができない場合がある。

【0055】

以上の理由により、良品周囲含有画像の学習処理への寄与度は、良品分割画像の学習処理への寄与度よりも小さいことが好ましい。よって、良品周囲含有画像に含まれる、良品分割画像の周囲の画像は、縮小されていることが好ましい。より具体的には、縮小された良品周囲画像のサイズ、つまり画素数が良品分割画像のサイズ、つまり画素数よりも小さくなるように、良品分割画像の周囲の画像が縮小されていることが好ましい。この縮小は、例えば、学習用画像データセット生成部１３１によって行われる。このとき、学習用画像データセット生成部１３１は、良品分割画像の周囲の画像のみを縮小してもよいし、良品分割画像の周囲の画像とともに、良品周囲含有画像に含まれる残りの画像、例えば良品分割画像を縮小してもよい。

【0056】

モデル生成部１３５は、学習モデルに複数の学習用画像データセット１２４を学習させる学習処理を実施し、学習済みモデル５５を生成するように構成されている。学習済みモデル５５は、良品分割画像及び良品周囲含有画像を入力とし、特徴量を出力するモデルである。

【0057】

図５に示すように、モデル生成部１３５が学習済みモデル５５を生成するために用いる学習モデル５１は、例えば、ニューラルネットワークの１つであって、教師なし機械学習の手法の１つでもあるオートエンコーダが用いられ、オートエンコーダは、入力層５１１と、出力層５１７と、入力層５１１と出力層５１７との間に配置されている中間層５１５と、を含んでいる。

【0058】

なお、学習モデル５１は、オートエンコーダを用いる場合に限定されるものではない。学習モデル５１は、例えば、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いてもよい。また、中間層５１５は、１層である場合に限定されず、２層以上であってもよい。

【0059】

入力層５１１及び出力層５１７は、それぞれ、２つのチャネルを有している。具体的には、入力層５１１は第１入力チャネル５１２及び第２入力チャネル５１３を有し、出力層５１７は、第１出力チャネル５１８及び第２出力チャネル５１９を有する。良品分割画像と対応する良品周囲含有画像とは、それぞれ、異なるチャネルに入力される。例えば、第１入力チャネル５１２に良品分割画像が入力され、第２入力チャネル５１３に良品周囲含有画像が入力される。入力層５１１に入力された良品分割画像及び良品周囲含有画像は、中間層５１５において画像の次元が削減され、出力層５１７において次元が戻されて出力される。具体的には、第１出力チャネル５１８から良品分割画像に対応する出力良品分割画像が出力され、第２出力チャネル５１９から良品周囲含有画像に対応する出力良品周囲含有画像が出力される。オートエンコーダは、良品分割画像と出力良品分割画像との間の差分（以下、「第１差分」ともいう）及び良品周囲含有画像と出力良品周囲含有画像との間の差分（以下、「第２差分」ともいう）の合計が最小となるように、重み（係数ともいう）を学習する。より詳細には、円形状で表される各ノードは、線で表される各エッジにおいて固有の重み付けを行い、重み付けされた値が次の層のノードに入力される。この重み付けにおける重みを学習することで、第１差分と第２差分との合計が最小になる。この学習によって、中間層５１５から特徴量を出力することが可能となる。

【0060】

ここで、特徴量は、求めたい事物の特徴を定量的に表した変数である。中間層５１５から出力される特徴量は、例えば良品分割画像であることを特徴づけるものであり、具体的には良品分割画像が有する濃淡の配列、良品分割画像における輝度、赤単体、緑単体、青単体、又は赤・緑・青（ＲＧＢ）のヒストグラム等が挙げられる。一般的に、良品分割画像は、１種類の特徴量だけで良品の分割画像であることを認識可能である場合は少なく、複数種類の特徴量を用いて良品の分割画像であることを認識できる場合が多い。前述したように、良品周囲含有画像の学習処理への寄与度を小さく、言い換えれば、良品分割画像の学習処理への寄与度を大きくすることで、学習済みモデル５５は、良品周囲含有画像を考慮した良品分割画像に対する特徴量を出力する。

【0061】

この１つ又は複数の特徴量を成分としてベクトル形式で表現したものが特徴ベクトルである。特徴量の数（個数）は、当該特徴ベクトルの次元（次元数）を表す。特徴ベクトルで表現される空間、別の言い方をすれば、特徴ベクトルによって張られる空間は、特徴空間と呼ばれ、特徴ベクトルは特徴空間上の１点として表される。例えば出力層５０５がｄ個（ｄは正の整数）の特徴量を出力するように学習された場合、学習済みモデル５５によって、入力された画像からｄ次元ベクトルの特徴ベクトル１２９を抽出することができ、抽出された特徴ベクトル１２９は、ｄ次元空間の特徴空間における１点で表すことができる。

【0062】

また、図６に示すように、モデル生成部１３５が学習済みモデル５５を生成するために用いる学習モデル５２は、例えば、図５に示す学習モデル５１と同様に、オートエンコーダが用いられ、オートエンコーダは、入力層５２１と、出力層５２７と、入力層５２１と出力層５２７との間に配置されている中間層５２５と、を含んでいる。なお、学習モデル５２は、例えばＰＣＡを用いてもよく、また、中間層５２５は、２層以上であってもよい。

【0063】

入力層５２１及び出力層５２７は、それぞれ、１つのチャネルを有している。良品分割画像と対応する良品周囲含有画像とは、結合されて結合画像が生成される。入力層５２１に結合画像が入力されると、中間層５２５において結合画像の次元が削減される。そして、出力層５２７において次元を戻して結合画像に対応する出力結合画像が出力される。オートエンコーダは、結合画像と出力結合画像との間の差分が最小となるように、重みを学習する。より詳細には、円形状で表される各ノードは、線で表される各エッジにおいて固有の重み付けを行い、重み付けされた値が次の層のノードに入力される。この重み付けにおける重みを学習することで、結合画像と出力結合画像との間の差分が最小になる。この学習によって、中間層５２５から特徴量を出力することが可能となる。

【0064】

また、モデル生成部１３５は、学習済みモデル５５を生成する過程で、各良品分割画像に対する特徴ベクトル１２９を抽出する。抽出された複数の特徴ベクトル１２９は、記憶部１２０に書き込まれて記憶される。例えば、ｊ個の良品画像のそれぞれについて２５個の良品分割画像に分割し、そのうちのｋ個の良品分割画像のそれぞれについて学習用画像データセット１２４を生成する場合、抽出され、記憶される特徴ベクトル１２９の数は、例えばｊ×ｋ個である。なお、複数の特徴ベクトル１２９のそれぞれの次元ｄは、同じであってもよいし、互いに異なっていてもよい。

【0065】

このように、良品分割画像と良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデル５５を生成することにより、詳細は後述するように、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデル５５は、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、特殊パターンを含む検査分割画像に対する特徴ベクトルが示す点を、当該検査分割画像に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができる。また、学習済みモデル５５は、良品周囲含有画像によって、良品の検査対象物ＴＡの良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができる。

【0066】

なお、学習用画像データセット生成部１３１及びモデル生成部１３５の少なくとも一方は、プロセッサ３１が、記憶装置３３に記憶されたプログラムを実行することにより実現されてもよい。プログラムを実行する場合、当該プログラムは、記憶媒体に格納されていてもよい。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。非一時的な記憶媒体は、特に限定されないが、例えば、ＵＳＢメモリ、又はＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）等の記憶媒体であってもよい。

【0067】

次に、図７から図１３を参照しつつ、一実施形態に従う画像検査装置の機能ブロックについて説明する。図７は、一実施形態における画像検査装置２０の機能ブロックの構成を示す構成図である。図８は、欠陥度合いを取得する方法の一例を説明するための概念図である。図９は、欠陥度合いを取得する方法の他の例を説明するための概念図である。図１０は、図７に示す、分割部２４０、検査用画像データセット生成部２５０、抽出部２６０、及び取得部２７０による処理を説明するための概念図である。図１１は、検査画像６０の一例を示す図である。図１２は、図７に示す検査部２８０による処理を説明するための概念図である。図１３は、欠陥度合い画像７０の一例を示す図である。

【0068】

図７に示すように、画像検査装置２０は、通信部２１０と、記憶部２２０と、撮像部２３０と、分割部２４０と、検査用画像データセット生成部２５０と、抽出部２６０と、取得部２７０と、検査部２８０と、を備える。

【0069】

通信部２１０は、各種の情報を送信及び受信可能に構成されている。通信部２１０は、例えば、通信ネットワークＮＷを介して、学習済みモデル生成装置１０から学習済みモデル５５及び複数の特徴ベクトル１２９を受信する。受信された学習済みモデル５５、及び複数の特徴ベクトル１２９は、記憶部２２０に書き込まれて記憶される。

【0070】

記憶部２２０は、各種の情報を記憶するように構成されている。記憶部２２０は、例えば、学習済みモデル５５と、複数の特徴ベクトル１２９とを記憶する。このように、複数の学習済みモデル５５を記憶する記憶部２２０を備えることにより、学習済みモデルを容易に読み出すことができる。

【0071】

撮像部２３０は、検査対象物ＴＡの検査画像を取得するためのものである。撮像部２３０は、例えばカメラ等の撮像装置を含んで構成される。本実施形態の撮像部２３０は、検査対象物ＴＡからの反射光Ｒを受光し、検査画像を取得する。そして、撮像部２３０は、取得した検査画像を分割部２４０に出力する。このように、検査対象物ＴＡの検査画像を取得することにより、検査画像を容易に得ることができる。

【0072】

分割部２４０は、検査対象物ＴＡの検査画像を複数の検査分割画像に分割するように構成されている。より詳細には、分割部２４０は、学習済みモデル生成装置１０における良品画像の分割と同様の方法によって、検査画像を分割する。具体的には、分割部２４０は、検査対象物ＴＡの検査画像を、縦方向及び横方向にそれぞれ５分割して、２５個の検査分割画像を生成する。そして、分割部２４０は、生成した検査分割画像を検査用画像データセット生成部２５０に出力する。このように、検査対象物ＴＡの検査画像を複数の検査分割画像に分割することにより、検査分割画像を容易に得ることができる。

【0073】

検査用画像データセット生成部２５０は、検査分割画像について、当該検査分割画像の周囲に配置された画像に基づいて、検査周囲含有画像を生成するように構成されている。検査周囲含有画像は、検査分割画像の周囲の画像のうちの少なくとも一部に基づく画像である。検査用画像データセット生成部２５０は、予め指定されたアルゴリズムに基づいて検査周囲含有画像を生成してもよいし、ユーザの操作に基づいて検査周囲含有画像を生成してもよい。

【0074】

また、検査用画像データセット生成部２５０は、検査分割画像と生成された検査周囲含有画像とを含んで構成される検査用画像データセットを生成するように構成されている。

【0075】

より詳細には、検査用画像データセット生成部２５０は、複数の検査分割画像のそれぞれについて、検査周囲含有画像を生成して複数の検査用画像データセットを生成する。本実施形態では、検査用画像データセット生成部２５０は、分割部２４０により生成された２５個の検査分割画像のうちの縁の検査分割画像を除く９個の検査分割画像について、検査周囲含有画像を生成する。ここで、前述したように、学習処理の際に良品周囲含有画像が縮小されている場合、検査用画像データセット生成部２５０は、良品周囲含有画像の縮小に合わせて、検査分割画像の周囲の画像を縮小し、検査周囲含有画像は、この縮小された画像を含むことが好ましい。検査用画像データセット生成部２５０は、生成した検査用画像データセットを抽出部２６０に出力する。

【0076】

抽出部２６０は、学習済みモデル５５に検査用画像データセットを入力し、当該検査用画像データセットに含まれる検査分割画像に対する特徴量を成分とする特徴ベクトルを抽出するように構成されている。具体的には、抽出部２６０は、記憶部２２０に記憶された学習済みモデル５５を読み出し、学習済みモデル５５に、複数の検査用画像データセットのそれぞれを順次入力する。前述したように、学習済みモデル５５は入力された画像の特徴量を出力するように学習されているので、抽出部２６０は、入力の検査分割画像に対する１つ又は複数の特徴量を、学習済みモデル５５から得ることができる。これにより、１つ又は複数の特徴量を成分とする特徴ベクトルが抽出される。そして、抽出部２６０は、抽出した複数の特徴ベクトルを取得部２７０に出力する。なお、抽出部２６０が抽出する検査分割画像の特徴ベクトルは、良品分割画像に対する特徴ベクトル１２９と同じｄ次元ベクトルである。

【0077】

取得部２７０は、抽出された複数の特徴ベクトルのそれぞれについて、当該特徴ベクトルで表現される特徴空間における、当該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、当該特徴ベクトルに対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得するように構成されている。欠陥度合いは、例えば、レベル、ステップ、クラス、級（等級）、層（階層）等のように離散的に程度を表すものを用いてもよいし、例えば数等のように連続的に程度を表すものを用いてもよい。

【0078】

具体的には、取得部２７０は、記憶部２２０に記憶された複数の特徴ベクトル１２９を読み出し、ｄ次元空間である特徴空間に、各特徴ベクトル１２９が示す点をプロットする。これにより、図８に示すように、例えば２次元の特徴空間において、各特徴ベクトル１２９が示す黒丸の点によって、破線で示す集合Ｓ１が形成される。この集合は、例えば良品画像４０における位置に応じて形成される。なお、取得部２７０は、複数の特徴ベクトル１２９に基づいて特徴空間における集合Ｓ１をあらかじめ形成しておき、当該集合Ｓ１に関する情報を記憶部２２０に書き込んで記憶していてもよい。

【0079】

次に、取得部２７０は、抽出部２６０から入力された複数の特徴ベクトルのうち、集合Ｓ１に対応する位置の検査分割画像に対する特徴ベクトルが示す点を、特徴空間にプロットする。図１０では、対応する位置の検査分割画像に対する特徴ベクトルは、白丸の点Ｐ１で示されている。そして、取得部２７０は、この検査分割画像に対する特徴ベクトルが示す点Ｐ１と集合Ｓ１とに基づいて、当該検査分割画像の欠陥度合いを取得する。

【0080】

より詳細には、取得部２７０は、抽出された複数の特徴ベクトルのそれぞれについて、特徴空間における、当該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合との間の距離に基づいて、当該特徴ベクトルに対応する検査分割画像の欠陥度合いを取得するように構成されている。

【0081】

図８に示す例では、第１特徴量及び第２特徴量を成分とする特徴ベクトルで表現される特徴空間において、取得部２７０は、ある検査分割画像に対する特徴ベクトルが示す点Ｐ１と、当該検査分割画像に対応する複数の良品分割画像に対する複数の特徴ベクトルの集合Ｓ１との間の距離に基づいて、当該検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。このように、特徴ベクトルに対応する検査分割画像の欠陥度合いが、特徴空間における、特徴ベクトルが示す点Ｐ１と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合Ｓ１との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。

【0082】

あるいは、取得部２７０は、抽出された複数の特徴ベクトルのそれぞれについて、特徴空間における、当該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルのうちの１つが示す点との間の距離に基づいて、当該特徴ベクトルに対応する検査分割画像の欠陥度合いを取得するように構成されていてもよい。

【0083】

例えば、図９に示すように、第１特徴量及び第２特徴量を成分とする特徴ベクトルで表現される特徴空間において、取得部２７０は、ある検査分割画像の特徴ベクトルが示す点Ｐ２と、当該検査分割画像に対応する複数の良品分割画像に対する複数の特徴ベクトルの集合Ｓ２に含まれる点との間の距離に基づいて、当該検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。また、集合Ｓ２に含まれる点は、集合Ｓ２に含まれる複数の点のうち、例えば点Ｐ２に最も近い点である。取得部２７０は、集合Ｓ２に含まれる複数の点のそれぞれについて点Ｐ２との間の距離を算出し、点Ｐ２に最も近い点を決定することができる。このように、特徴ベクトルに対応する検査分割画像の欠陥度合いが、特徴空間における、特徴ベクトルが示す点Ｐ２と複数の良品分割画像に対する複数の特徴ベクトルのうちの１つが示す点との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。

【0084】

取得部２７０は、抽出部２６０により抽出された複数の特徴ベクトルのそれぞれについて、以上の手順を繰り返し行い、複数の検査分割画像のそれぞれの欠陥度合いを取得する。そして、取得部２７０は、取得した複数の欠陥度合いを検査部２８０に出力する。

【0085】

図１０に示すように、撮像部２３０が取得した検査対象物ＴＡの検査画像４２は、分割部２４０によって縦方向及び横方向にそれぞれ５分割され、２５個の検査分割画像が生成される。生成された２５個の検査分割画像のうちの縁の検査分割画像を除く９個の検査分割画像のそれぞれについて、検査用画像データセット生成部２５０によって検査周囲含有画像が生成される。例えば、第１検査分割画像４２０について第１検査周囲含有画像４２４が生成され、第２検査分割画像４２２について第２検査周囲含有画像４２６が生成される。検査分割画像と検査周囲含有画像との組みが検査用画像データセットとなる。

【0086】

抽出部２６０は、生成された９個の検査用画像データセットのぞれぞれを、学習済みモデルに入力する。９個の検査分割画像に対するぞれぞれの特徴量が学習済みモデルから出力され、抽出部２６０は、９個の検査用画像データセットに対してそれぞれ出力された特徴量を成分とする９個の特徴ベクトルを抽出する。例えば、第１特徴ベクトル４４０は第１検査分割画像４２０及び第１検査周囲含有画像４２４に基づいて抽出され、第２特徴ベクトル４４２は第２検査分割画像４２２及び第２検査周囲含有画像４２６に基づいて抽出される。

【0087】

取得部２７０は、抽出された９個の特徴ベクトルのそれぞれについて、当該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルの集合とに基づいて、当該特徴ベクトルに対応する検査分割画像の欠陥度合いを取得する。これにより、９個の検査分割画像のそれぞれの欠陥度合いが取得される。例えば、第１欠陥度合い４６０は第１特徴ベクトル４４０に基づいて取得され、第２欠陥度合い４６２は第２特徴ベクトル４４２に基づき取得される。

【0088】

ここで、図１１に示すように、良品であることがあらかじめ分かっている検査対象物ＴＡの検査画像６０は、例えば、６個の検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０に分割される。これら６個の検査分割画像のうち、検査分割画像６０２，６０６，及び６０８は互いに類似するパターンを含んでいる。また、検査分割画像６０４は、他の検査分割画像と異なる特殊パターンを含んでいる。

【0089】

本実施形態の学習済みモデル５５とは異なり、仮に、良品周囲含有画像を用いずに、これら６個の検査分割画像を用いて学習済みモデルを生成する場合、当該学習済みモデルは、検査分割画像６０２，６０４又は６０８のパターンの特徴量を抽出して出力し得るものの、学習済みモデルの表現能力次第では、検査分割画像６０４に含まれる特殊パターンの特徴量が十分に抽出されない可能性がある。この場合、特徴空間において、特殊パターンを含む検査分割画像６０４の特徴ベクトルが示す点は、他の検査分割画像６００，６０２，６０６，６０８，及び６１０の特徴ベクトルが形成する集合から離れた位置にプロットされることがある。その結果、当該検査分割画像６０４の欠陥度合いは大きくなり、良品である検査対象物ＴＡが不良品と判定されてしまうことがあった。

【0090】

これに対し、本実施形態の画像検査装置２０は、良品分割画像に加え、良品周囲含有画像を入力として特徴量を出力するように学習させた学習済みモデル５５に、検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０と、検査周囲含有画像とを入力し、当該検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０に対する特徴ベクトルを抽出する。これにより、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデル５５は、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、各検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０に対する特徴ベクトルが示す点は、それぞれの対応する良品分割画像に対する特徴ベクトルによって形成される集合の近くにプロットされる。よって、特徴空間において、特殊パターンを含む検査分割画像６０４に対する特徴ベクトルが示す点を、当該検査分割画像６０４に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することができる。

【0091】

また、良品であることがあらかじめ分かっている別の検査対象物ＴＡの検査画像において、ある位置で良品であるが別の位置では不良品であるパターンを含む検査分割画像を用いて１つの学習済みモデルを生成する場合、特徴空間において、このようなパターンを含む検査分割画像の特徴ベクトルが示す点は、他の検査分割画像の特徴ベクトルが形成する集合の近くにプロットされることがある。そのため、当該別の位置にこのようなパターンを含む検査分割画像の欠陥度合いは小さくなり、本来は不良品である検査分割画像を含む検査画像の検査対象物ＴＡは良品として判定され、不良品を見逃してしまうことがあった。

【0092】

このような場合にも、本実施形態の画像検査装置２０では、学習済みモデル５５は、良品周囲含有画像によって、良品の検査対象物ＴＡの良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品の見逃しを抑制することができる。

【0093】

また、本実施形態の検査周囲含有画像は、検査分割画像の周囲の画像を縮小した画像を含む。これにより、学習済みモデル５５による特徴量の出力において、検査周囲含有画像の影響が大きくなるのを抑制することができ、検査分割画像に対する特徴ベクトルを高精度に抽出することが可能となる。

【0094】

図７の説明に戻り、検査部２８０は、欠陥度合いに基づいて検査対象物ＴＡの検査するように構成されている。このように、特徴空間における、検査分割画像に対する特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、検査分割画像の欠陥度合いを取得し、この欠陥度合いに基づいて、検査対象物ＴＡを検査することにより、検査対象物ＴＡの検査精度を高めることができる。

【0095】

また、前述した欠陥度合いは、検査分割画像の欠陥の程度を示す値であることが好ましい。これにより、検査分割画像の欠陥の程度を定量的に示すことができる。

【0096】

この場合、検査部２８０は、取得部２７０によって取得された複数の欠陥度合いに基づいて欠陥度合い画像を生成し、当該欠陥度合い画像に基づいて検査対象物ＴＡを検査するように構成されている。これにより、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することができる。

【0097】

具体的には、図１２に示すように、検査部２８０は、取得部２７０によって取得された複数の欠陥度合い４６０，４６２、４６４，・・・を、それぞれの値に基づいて画像化することで、複数の部分画像４８０，４８２，４８４，・・・を生成する。複数の部分画像４８０，４８２，４８４，・・・のそれぞれは、例えば、欠陥度合いの値を、白黒の階調に変換したグレースケール画像や、ＲＧＢの階調に変換したカラー画像等である。検査部２８０は、生成された複数の部分画像４８０，４８２，４８４，・・・を統合することで、欠陥度合い画像４８を生成する。なお、欠陥度合い画像４８の縦及び横のサイズ（画素数）は、検査画像４２と同じであってもよいし、異なっていてもよい。そして、検査部２８０は、当該欠陥度合い画像４８に基づいて検査対象物ＴＡが良品であるか否かを判定する。

【0098】

図１３に示すように、欠陥度合い画像７０は、例えば２つの欠陥部分画像７００，７０２を含んでいる。欠陥部分画像７００は欠陥度合いが相対的に低い部分画像であり、欠陥部分画像７０２は欠陥度合いが相対的に高い部分画像である。

【0099】

検査部２８０は、例えば、欠陥度合い画像７０における欠陥部分画像７００，７０２の占める割合が、所定の閾値以下である場合に検査対象物ＴＡが良品であると判定し、所定の閾値を超える場合に検査対象物ＴＡが良品ではない、つまり、不良品であると判定する。

【0100】

あるいは、検査部２８０は、欠陥度合い画像７０に含まれる欠陥部分画像７００，７０２の有無に基づいて、検査対象物ＴＡの欠陥を検出してもよい。

【0101】

なお、分割部２４０、検査用画像データセット生成部２５０、抽出部２６０、取得部２７０、及び検査部２８０のうちの少なくとも１つは、プロセッサ３１が、記憶装置３３に記憶されたプログラムを実行することにより実現されてもよい。プログラムを実行する場合、当該プログラムは、記憶媒体に格納されていてもよい。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、特に限定されないが、例えば、ＵＳＢメモリ、又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。

【0102】

次に、図１４を参照しつつ、一実施形態に従う学習済みモデル生成装置が行う処理手順について説明する。図１４は、一実施形態における学習済みモデル生成装置１０が行う学習済みモデル生成処理Ｓ１００の一例を説明するためのフローチャートである。

【0103】

図１４に示すように、まず、通信部１１０は、通信ネットワークＮＷを介して、複数の良品画像４０を取得する（ステップＳ１０１）。取得された複数の良品画像４０は、記憶部１２０に記憶される。

【0104】

次に、学習用画像データセット生成部１３１は、記憶部１２０から複数の良品画像４０を読み出し、当該複数の良品画像４０に基づいて、複数の学習用画像データセット１２４を生成する（ステップＳ１０２）。学習用画像データセット１２４は、前述したように、良品分割画像と良品周囲含油画像とを含んでいる。

【0105】

次に、モデル生成部１３５は、ステップＳ１０２において生成された複数の学習用画像データセット１２４を入力とし、特徴量を出力するように学習させた学習済みモデル５５を生成する。（ステップＳ１０３）。生成された学習済みモデル５５と、学習済みモデル５５の生成過程で抽出される複数の特徴ベクトル１２９とは、記憶部１２０に記憶される。

【0106】

次に、通信部１１０は、ステップＳ１０３において生成された学習済みモデル５５と、生成過程で抽出される複数の特徴ベクトル１２９とを、通信ネットワークＮＷを介して、画像検査装置２０に送信する（ステップＳ１０４）。これにより、画像検査装置２０は、学習済みモデル生成装置１０によって生成された学習済みモデルを使用可能になる。

【0107】

ステップＳ１０４の後、学習済みモデル生成装置１０は、学習済みモデル生成処理Ｓ１００を終了する。

【0108】

次に、図１５を参照しつつ、一実施形態に従う画像検査装置が行う処理手順について説明する。図１５は、一実施形態における画像検査装置２０が行う画像検査処理Ｓ２００の一例を説明するためのフローチャートである。

【0109】

なお、以下の例では、通信部２１０が学習済みモデル生成装置１０から学習済みモデル５５及び複数の特徴ベクトル１２９を受信し、記憶部２２０に当該学習済みモデル５５及び複数の特徴ベクトル１２９が記憶されているものとして、説明する。

【0110】

図１５に示すように、まず、撮像部２３０が、検査対象物ＴＡの検査画像を取得する（ステップＳ２０１）。取得された検査画像は、分割部２４０に出力される。

【0111】

次に、分割部２４０はステップＳ２０１において取得された検査画像を分割し、検査用画像データセット生成部２５０は、分割された複数の検査分割画像のそれぞれについて、検査周囲含有画像を生成して複数の検査用画像データセットを生成する（ステップＳ２０２）。検査用画像データセットは、前述したように、検査分割画像と検査周囲含有画像とを含んでいる。生成された複数の検査用画像データセットは、抽出部２６０に出力される。

【0112】

次に、抽出部２６０は、記憶部２２０にあらかじめ記憶された学習済みモデル５５を読み出し、ステップＳ２０７において生成された複数の検査用画像データセットのそれぞれを学習済みモデル５５にそれぞれ入力し、複数の特徴ベクトルを抽出する（ステップＳ２０３）。生成された複数の特徴ベクトルは、取得部２７０に出力される。

【0113】

次に、取得部２７０は、記憶部２２０にあらかじめ記憶された複数の複数の特徴ベクトル１２９を読み出し、ステップＳ２０７において抽出された複数の特徴ベクトルのそれぞれについて、特徴空間において、特徴ベクトルが示す点と対応する複数の良品分割画像に対する複数の特徴ベクトル１２９によって形成される集合とに基づいて、複数の検査分割画像の欠陥度合いを取得する（ステップＳ２０４）。得られた複数の欠陥度合いは、検査部２８０に出力される。

【0114】

次に、検査部２８０は、ステップＳ２０４において得られた複数の欠陥度合いのそれぞれの値をから複数の部分画像を生成し、生成された各部分画像を統合して欠陥度合い画像を生成する（ステップＳ２０５）。

【0115】

次に、検査部２８０は、ステップＳ２０５において生成された欠陥度合い画像に基づいて、検査対象物ＴＡを検査する（ステップＳ２０６）。

【0116】

ステップＳ２０６の後、画像検査装置２０は、画像検査処理Ｓ２００を終了する。

【0117】

なお、本実施形態で説明したシーケンス及びフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。

【0118】

以上、本発明の例示的な実施形態について説明した。本実施形態における画像検査装置２０及び画像検査方法によれば、良品分割画像と良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデル５５に、検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０と、検査周囲含有画像とを入力し、当該検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０に対する特徴ベクトルを抽出する。これにより、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデル５５は、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、各検査分割画像６００，６０２，６０４，６０６，６０８，及び６１０に対する特徴ベクトルが示す点は、それぞれの対応する良品分割画像に対する特徴ベクトルによって形成される集合の近くにプロットされる。よって、特徴空間において、特殊パターンを含む検査分割画像６０４に対する特徴ベクトルが示す点を、当該検査分割画像６０４に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することができる。また、学習済みモデル５５は、良品周囲含有画像によって、良品の検査対象物ＴＡの良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品の見逃しを抑制することができる。従って、特徴空間における、検査分割画像に対する特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトルによって形成される集合とに基づいて、検査分割画像の欠陥度合いを取得し、この欠陥度合いに基づいて、検査対象物ＴＡを検査することにより、検査対象物ＴＡの検査精度を高めることができる。

【0119】

また、本実施形態における学習済みモデル生成装置１０によれば、良品分割画像と良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデル５５を生成する。これにより、良品分割画像のみを用いて学習させ、特殊パターンを含む良品分割画像の特徴ベクトルが示す点が他のパターンを含む良品分割画像の特徴ベクトルが示す点から遠い位置にプロットされる場合と比較して、学習済みモデル５５は、位置により特徴量が大きく変化する良品周囲含有画像も用いて学習することで、同じ位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を近くに、異なる位置の良品分割画像に対する特徴ベクトルが示す点との間の距離を遠くにプロットすることが可能になるので、良品分割画像に特有のパターンを正確に学習することができ、特徴空間において、特殊パターンを含む検査分割画像に対する特徴ベクトルが示す点を、当該検査分割画像に対応する複数の良品分割画像に対する特徴ベクトルが形成する集合の近くにプロットすることができる。また、学習済みモデル５５は、良品周囲含有画像によって、良品の検査対象物ＴＡの良品画像における位置、部分に応じて異なる判断基準を学習することができ、特徴空間において、各検査分割画像に対する特徴ベクトルが示す点は、検査画像における当該検査分割画像の位置に応じて異なる範囲、領域に集められる。よって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像に対する特徴ベクトルが示す点を、当該別の位置における複数の良品分割画像に対する複数の特徴ベクトルが形成する集合に対して遠くにプロットすることができる。

【0120】

なお、以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。

【0121】

［付記１］
良品の検査対象物（ＴＡ）の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデル（５５）に、検査対象物（ＴＡ）の分割画像である検査分割画像と該検査分割画像の周囲の画像に基づく検査周囲含有画像とを入力し、該検査分割画像に対する特徴量を成分とする特徴ベクトルをそれぞれ抽出する抽出部（２６０）と、
抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトル（１２９）によって形成される集合とに基づいて、該特徴ベクトルに対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部（２７０）と、
欠陥度合いに基づいて、検査対象物（ＴＡ）を検査する検査部（２８０）と、を備える、
画像検査装置（２０）。
［付記９］
良品の検査対象物（ＴＡ）の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデル（５５）に、検査対象物（ＴＡ）の分割画像である検査分割画像と該検査分割画像の周囲の画像に基づく検査周囲含有画像とを入力し、該検査分割画像に対する特徴量を成分とする特徴ベクトルをそれぞれ抽出するステップと、
抽出された特徴ベクトルで表現される特徴空間において、該特徴ベクトルが示す点と複数の良品分割画像に対する複数の特徴ベクトル（１２９）によって形成される集合とに基づいて、該特徴ベクトルに対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得するステップと、
欠陥度合いに基づいて、検査対象物（ＴＡ）を検査するステップと、を含む、
画像検査方法。
［付記１０］
良品の検査対象物（ＴＡ）の分割画像である良品分割画像と該良品分割画像の周囲の画像に基づく良品周囲含有画像とを入力として特徴量を出力するように学習させた学習済みモデル（５５）を生成するモデル生成部（１３５）を備える、
学習済みモデル生成装置（１０）。

【符号の説明】

【0122】

１…画像検査システム、１０…モデル生成装置、２０…画像検査装置、３１…プロセッサ、３２…メモリ、３３…記憶装置、３４…通信装置、３５…入力装置、３６…出力装置、４０…良品画像、４２…検査画像、４８…欠陥度合い画像、５１…学習モデル、５２…学習モデル、５５…学習済みモデル、６０…検査画像、７０…欠陥度合い画像、１１０…通信部、１２０…記憶部、１２４…学習用画像データセット、１２９…特徴ベクトル、１３０…学習部、１３１…学習用画像データセット生成部、１３５…モデル生成部、２１０…通信部、２２０…記憶部、２３０…撮像部、２４０…分割部、２５０…検査用画像データセット生成部、２６０…抽出部、２７０…取得部、２８０…検査部、４００…第１良品分割画像、４０２…第２良品分割画像、４０４…第１良品周囲含有画像、４０６…第２良品周囲含有画像、４２０…第１検査分割画像、４２２…第２検査分割画像、４２４…第１検査周囲含有画像、４２６…第２検査周囲含有画像、４４０…第１特徴ベクトル、４４２…第２特徴ベクトル、４８０…部分画像、４８２…部分画像、４８４…部分画像、５１１…入力層、５１２…第１入力チャネル、５１３…第２入力チャネル、５１５…中間層、５１７…出力層、５１８…第１出力チャネル、５１９…第２出力チャネル、５２１…入力層、５２５…中間層、５２７…出力層、６００…検査分割画像、６０２…検査分割画像、６０４…検査分割画像、６０６…検査分割画像、６０８…検査分割画像、７００…欠陥部分画像、７０２…欠陥部分画像、ＩＬ…照明、Ｌ…光、ＮＷ…通信ネットワーク、Ｐ１…点、Ｐ２…点、Ｒ…反射光、Ｓ１…集合、Ｓ２…集合、Ｓ１００…モデル生成処理、Ｓ２００…画像検査処理、ＴＡ…検査対象物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】