特開 2022-140951 品質評価装置及び検査管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022140951

(43)【公開日】2022-09-29

(54)【発明の名称】品質評価装置及び検査管理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220921BHJP

   G01N 21/956 20060101ALI20220921BHJP

【ＦＩ】

G06T7/00 350B

G01N21/956 B

G06T7/00 610C

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021041048

(22)【出願日】2021-03-15

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】特許業務法人秀和特許事務所

(72)【発明者】

【氏名】望月 葵

(72)【発明者】

【氏名】藤井 心平

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA65

2G051AB02

2G051AC04

2G051CA04

2G051CB01

2G051EA12

2G051EA14

2G051EB05

2G051EB09

5L096BA03

5L096FA32

5L096FA33

5L096GA51

5L096KA04

5L096KA15

(57)【要約】

【課題】検査対象の品質の変化をとらえて、検査処理に用いられる教師あり機械学習による学習済み学習器の再学習を促すことで、信頼性の高い検査を実現する。
【解決手段】検査対象を撮像して生成した検査画像を学習データとし、検査結果を教師データとして機械学習させて生成した学習済み第１学習器を用いた検査処理において良品と判定された該検査画像である良品画像を取得する良品画像取得部と、前記検査対象の品質の変化を評価する品質変化評価部と、前記評価の結果を含む品質評価情報を生成する品質評価情報生成部と、を備えた品質評価装置。
【選択図】図３

【特許請求の範囲】

【請求項1】

検査対象を撮像して生成した検査画像を学習データとし、検査結果を教師データとして機械学習させて生成した学習済み第１学習器を用いた検査処理において良品と判定された該検査画像である良品画像を取得する良品画像取得部と、
前記検査対象の品質の変化を評価する品質変化評価部と、
前記評価の結果を含む品質評価情報を生成する品質評価情報生成部と、
を備えた品質評価装置。

【請求項2】

前記品質変化評価部は、
前記良品画像に基づいて、前記品質を評価する品質評価指標を出力する品質評価部と、
前記品質評価指標を蓄積する品質評価指標蓄積部と、
前記品質評価指標蓄積部に蓄積された前記品質評価指標の所定期間にわたる変化に基づいて、前記品質の変化を判定する変化判定部と、
を有することを特徴とする請求項１に記載の品質評価装置。

【請求項3】

前記品質評価指標は、前記良品画像を学習データとして教師なし学習によって機械学習させて生成した学習済み第２学習器により出力される異常度であり、
前記変化判定部は、所定期間にわたる前記異常度の平均値及び標準偏差を算出し、該平均値及び該標準偏差を、それぞれ第１閾値及び第２閾値と比較して前記品質の変化を判定することを特徴とする請求項２に記載の品質評価装置。

【請求項4】

前記第１閾値及び前記第２閾値の少なくともいずれかを自動で設定する設定部を備えたことを特徴とする請求項３に記載の品質評価装置。

【請求項5】

前記品質変化評価部は、
前記良品画像を学習データとして教師なし学習によって機械学習させて生成した学習済み第３学習器により、クラスタリングを行い、外れ値の個数と、第３閾値とを比較して前記品質の変化を評価することを特徴とする請求項１に記載の品質評価装置。

【請求項6】

前記第３閾値を自動で設定する閾値設定部を備えたことを特徴とする請求項５に記載の品質評価装置。

【請求項7】

前記品質評価情報は、前記第１学習器の再学習を勧める情報を含むことを特徴とする請求項１乃至６のいずれか１項に記載の品質評価装置。

【請求項8】

前記品質評価情報は、前記検査対象に関する前工程の改善を勧める情報を含むことを特徴とする請求項１乃至７のいずれか１項に記載の品質評価装置。

【請求項9】

前記品質評価情報を表示する表示部を備えたことを特徴とする請求項１乃至８のいずれか１項に記載の品質評価装置。

【請求項10】

請求項１乃至９のいずれか１項に記載の品質評価装置と、
前記検査対象に対して前記学習済み第１学習器を用いた検査処理を実施する検査処理部と、該検査処理に供される前記検査画像と該検査処理による結果である前記検査結果を記憶する記憶部とを、備えた検査装置と
を含む検査管理システム。

【請求項11】

前記第１学習器を再学習させる学習装置を含むことを特徴とする請求項１０に記載の検査管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プリント基板等の検査対象の品質を評価する品質評価装置及び検査管理システムに関する。

【背景技術】

【0002】

ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）分野ではワーク等の検査対象を撮像し、事前に学習させた教師ありＡＩモデルにその画像を入力することで、当該ワークについての良否を検査するような工程が実現される。生産現場で量産されるワークの品質は絶えず変化しており、その変化が大きくなると教師ありＡＩモデルが正しく判定することができなくなるため、見過ぎや見逃しのリスクが大きくなる。ゆえに新しく得られた学習データを用いて教師ありＡＩモデルを再学習させ、品質の変化に応じた最適な教師ありＡＩモデルを使用する必要がある。ワークの品質としては、例えば、ワークがプリント基板である場合には、はんだの外観や、部品位置等の外観検査における出来栄え等が挙げられる。

【0003】

例えば、特許文献１では画像判定用のモデルに新たな良品画像、不良品画像を学習させることでこれまでになかった新たな特徴を持つデータに対しても適切に判定するモデルを生成可能としている。

【0004】

しかしながら、ワークの特徴はその時の気温や材料のバラつき、さらに検査装置及び前工程で使用される装置の状態など様々な要因によって変化しうるため、どのタイミングでワークの特徴が変わり、教師ありＡＩモデルを再学習すべきかをユーザが判断することは困難である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１０７１０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記のような問題に鑑みてなされたものであり、本発明が解決しようとする課題は、検査対象の品質の変化をとらえて、検査処理に用いられる教師あり機械学習による学習済み学習器の再学習を促すことで、信頼性の高い検査を実現することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するための本発明は、
検査対象を撮像して生成した検査画像を学習データとし、検査結果を教師データとして機械学習させて生成した学習済み第１学習器を用いた検査処理において良品と判定された該検査画像である良品画像を取得する良品画像取得部と、
前記検査対象の品質の変化を評価する品質変化評価部と、
前記評価の結果を含む品質評価情報を生成する品質評価情報生成部と、
を備えた品質評価装置である。

【0008】

これによれば、ユーザは、検査対象の品質の変化を評価する品質変化評価部による評価の結果を含む品質評価情報によって、検査対象の品質の変化をユーザに認識させることができる。ユーザは、品質評価情報により、検査対象の品質の変化をとらえ、検査処理に用いられる第１学習器の再学習の必要性を判断することができるので、ユーザに第１学習器
の再学習を促し、信頼性の高い検査を実現することができる。
ここで、良品画像は、学習済み第１学習器により良品と判定された検査対象を撮像して生成した検査画像と、学習済み第１学習器により不良と判定されたものの、後の目視工程により良品と判定された検査対象を撮像して生成した検査画像とを含む。

【0009】

また、本発明において、
前記品質変化評価部は、
前記良品画像に基づいて、前記品質を評価する品質評価指標を出力する品質評価部と、
前記品質評価指標を蓄積する品質評価指標蓄積部と、
前記品質評価指標蓄積部に蓄積された前記品質評価指標の所定期間にわたる変化に基づいて、前記品質の変化を判定する変化判定部と、
を有するようにしてもよい。

【0010】

これによれば、経時的に変化する品質評価指標の所定期間にわたる変化に基づいて、検査対象の品質の変化をとらえて、検査処理に用いられる第１学習器の再学習の必要性を判断することができるので、ユーザに第１学習器の再学習を促し、信頼性の高い検査を実現することができる。

【0011】

また、本発明において、
前記品質評価指標は、前記良品画像を学習データとして教師なし学習によって機械学習させて生成した学習済み第２学習器により出力される異常度であり、
前記変化判定部は、所定期間にわたる前記異常度の平均値及び標準偏差を算出し、該平均値及び該標準偏差を、それぞれ第１閾値及び第２閾値と比較して前記品質の変化を判定するようにしてもよい。

【0012】

これによれば、良品画像に基づいて学習済み第２学習器により出力される異常度によって、検検査対象の品質の変化をとらえて、検査処理に用いられる第１学習器の再学習の必要性を判断することができるので、ユーザに第１学習器の再学習を促し、信頼性の高い検査を実現することができる。

【0013】

前記第１閾値及び前記第２閾値の少なくともいずれかを自動で設定する設定部を備えるようにしてもよい。

【0014】

これによれば、第１閾値及び第２閾値が設定部によって自動で設定されるので、ユーザにより設定が不要になるとともに、機械学習等を用いた適切な設定が可能となる。

【0015】

また、本発明において、
前記品質変化評価部は、
前記良品画像を学習データとして教師なし学習によって機械学習させて生成した学習済み第３学習器により、クラスタリングを行い、外れ値の個数と、第３閾値とを比較して前記品質の変化を評価するようにしてもよい。

【0016】

これによれば、良品画像に基づいて学習済み第３学習器により行われるクラスタリングを用いて、検査対象の品質の変化をとらえて、検査処理に用いられる第１学習器の再学習の必要性を判断することができるので、ユーザに第１学習器の再学習を促し、信頼性の高い検査を実現することができる。

【0017】

また、本発明において、
前記第３閾値を自動で設定する第３閾値設定部を備えるようにしてもよい。

【0018】

第３閾値が第３閾値設定部によって自動で設定されるので、ユーザにより設定が不要になるとともに、機械学習等を用いた適切な設定が可能となる。

【0019】

また、本発明において、
前記品質評価情報は、前記第１学習器の再学習を勧める情報を含むようにしてもよい。

【0020】

これによれば、ユーザは、検査対象の品質の評価の結果を認識できるとともに、第１学習器の再学習を勧める情報によって、端的に第１学習器の再学習を促されることになるので、より確実な第１学習器の再学習が期待でき、信頼性の高い検査を実現することができる。

【0021】

また、本発明において、
前記品質評価情報は、前記検査対象に関する前工程の改善を勧める情報を含むようにしてもよい。

【0022】

これによれば、ユーザは、検査対象の品質の評価の結果を認識できるとともに、検査対象に関する前工程の改善を勧められるので、前工程の改善により検査対象の品質の改善を実現することができる。

【0023】

また、本発明において、
前記品質評価情報を表示する表示部を備えるようにしてもよい。

【0024】

これによれば、ユーザは、表示部を介して、品質評価情報の内容を視覚的に認識できる。

【0025】

また、本発明は、
前記品質評価装置と、
前記検査対象に対して前記学習済み第１学習器を用いた検査処理を実施する検査処理部と、該検査処理に供される前記検査画像と該検査処理による結果である前記検査結果を記憶する記憶部とを、備えた検査装置と
を含む検査管理システムである。

【0026】

これによれば、
ユーザは、品質評価装置の品質評価情報により、検査対象の品質の変化をとらえ、検査処理に用いられる第１学習器の再学習の必要性を判断することができるので、ユーザに第１学習器の再学習を促し、信頼性の高い検査を実現できる検査管理システムを構成することができる。

【0027】

また、本発明において、
前記第１学習器を再学習させる学習装置を含むようにしてもよい。

【0028】

これによれば、品質評価情報によって促された適宜のタイミングで第１学習器を再学習させることにより、信頼性の高い検査を実現できる検査管理システムを構成することができる。

【発明の効果】

【0029】

本発明によれば、検査対象の品質の変化をとらえて、検査処理に用いられる教師あり機械学習による学習済み学習器の再学習を促すことで、信頼性の高い検査を実現することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施例１に係る製造設備の概略構成を示す図である。

【図2】本発明の実施例１に係る検査装置の機能ブロック図である。

【図3】本発明の実施例１に係る管理装置の機能ブロック図である。

【図4】本発明の実施例１に係る品質評価情報の例を示す図である。

【図5】本発明の実施例１に係る品質評価情報の他の例を示す図である。

【図6】本発明の実施例１に係る品質評価情報の他の例を示す図である。

【図7】本発明の実施例１に係る品質評価情報の他の例を示す図である。

【図8】本発明の実施例１に係る教師あり学習装置の機能ブロック図である。

【図9】本発明の実施例１に係る教師なし学習装置の機能ブロック図である。

【図10】本発明の実施例２に係る管理装置の機能ブロック図である。

【図11】本発明の実施例２に係る教師なし学習装置の機能ブロック図である。

【図12】本発明の実施例２に係る品質評価を説明する図である。

【図13】本発明の適用例２に係る品質評価情報の例を示す図である。

【発明を実施するための形態】

【0031】

〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。

【0032】

図１は、本発明が適用される管理装置１０を含む管理システム１の概略構成を示す。図１は、管理システム１は、プリント基板の表面実装ラインにおける製造設備を構成するはんだ印刷装置Ｘ１、マウンタＸ２、及びリフロー炉Ｘ３の製造装置と、はんだ印刷検査装置Ｙ１、部品検査装置Ｙ２、外観検査装置Ｙ３、Ｘ線検査装置Ｙ４の検査装置を含む。

【0033】

外観検査装置Ｙ３の検査処理に関する機能は、図２に示すようにカメラ３１、情報処理装置３２、表示装置３３によって実現される。ここでは、検査プログラム記憶部３２４から読み出された検査プログラムがＣＰＵによって実行されることによって、検査部３２３において検査画像に対する検査処理が実行される。検査プログラムとして、検査画像を学習データ、検査結果を教師データとして教師あり学習により機械学習された学習器２１５（図８参照）を用いる。検査対象である、量産されるプリント基板の品質は絶えず変化しているため、品質の変化が大きくなると教師あり学習による学習器によって正しく良否を判断することができなくなり、見過ぎや見逃しのリスクが大きくなる。このため、新しく得られた検査画像を用いて学習器を再学習させ、変化する品質に対応した検査プログラムにより検査を実施することが望ましい。検査部３２３は、本発明の検査処理部に対応する。

【0034】

図３に示す管理装置１０では、検査装置から取得した検査画像のうち良品と判定された検査対象に対する検査画像である良品画像について、品質評価部１０３において品質評価プログラムによって品質評価を行う。さらに、品質変化判定部１０５では、蓄積された品質評価結果に基づき、検査対象の品質の変化を評価する。そして、品質評価情報生成部１０６では、品質の変化に関する評価結果を含む品質評価情報を生成し、表示部１０７に表示させる。

【0035】

具体的には、品質評価プログラムは、図９に示すような学習装置２２により、教師なし学習により機械学習させた学習器であり、学習用の良品画像を学習データとするＶＡＥ等の教師なしＡＩモデルである。

【0036】

品質評価情報７１は、例えば、図４に示すような情報を含む。管理図７１１は、量産データである良品画像を品質評価プログラムに入力することにより出力された異常度について、所定期間の平均値をプロットして破線で示し、実線の縦棒により所定期間の異常度の
標準偏差を示すものである。品質評価情報７１の表示領域７１２に表示された閾値（異常度）と表示領域７１４に表示された閾値（バラつき）には、それぞれの値として「０．５」と「０．４」が設定されている。管理図７１１において、異常度の値が、横軸に平行な実線で示された閾値（異常度）が超えており、また、縦棒で示された標準偏差も閾値（バラつき）を超えている。

【0037】

品質評価情報７１では、設定された閾値（異常度）及び閾値（バラつき）と、管理図７１１に示された異常度の変化に基づいて、検査対象の品質を総合的に評価した総合評価を表示している。ここでは、「品質にばらつきがあり、変化もあります。工程の見直しとＡＩモデルの再学習をお勧めします。」とのメッセージが表示される。ユーザは、これにより量産されるプリント基板の品質の変化が大きく、工程の見直しと検査プログラムの学習器の再学習が必要であることを認識することができる。したがって、適時に検査プログラムの学習器を再学習させることにより、信頼性の高い検査が可能となる。ここでは、上述のメッセージが、本発明の検査対象に関する前工程の改善を勧める情報に対応する。

【0038】

〔実施例１〕
以下では、本発明の実施例１に係る管理システム１ついて、図面を用いて、より詳細に説明する。
（システム構成）
図１は、本実施例に係るプリント基板の表面実装ラインにおける製造設備の構成例を模式的に示している。表面実装（Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｔｅｃｈｎｏｌｏｇｙ：ＳＭＴ）とはプリント基板の表面に電子部品をはんだ付けする技術であり、表面実装ラインは、主として、はんだ印刷～部品のマウント～リフロー（はんだの溶着）の三つの工程から構成される。

【0039】

図１に示すように、表面実装ラインでは、製造装置として、上流側から順に、はんだ印刷装置Ｘ１、マウンタＸ２、リフロー炉Ｘ３が設けられる。はんだ印刷装置Ｘ１は、スクリーン印刷によってプリント基板上の電極部（ランドと呼ばれる）にペースト状のはんだを印刷する装置である。マウンタＸ２は、基板に実装すべき電子部品をピックアップし、該当箇所のはんだペーストの上に部品を載置するための装置であり、チップマウンタとも呼ばれる。リフロー炉Ｘ３は、はんだペーストを加熱溶融した後、冷却を行い、電子部品を基板上にはんだ接合するための加熱装置である。基板に実装する電子部品の数や種類が多い場合には、表面実装ラインに複数台のマウンタＸ２が設けられることもある。

【0040】

また、表面実装ラインには、はんだ印刷～部品のマウント～リフローの各工程の出口で基板の状態を検査し、不良あるいは不良のおそれを自動で検出するシステムが設置されている。当該システムは、良品と不良品の自動仕分けの他、検査結果やその分析結果に基づき各製造装置の動作にフィードバックする機能（例えば、実装プログラムの変更など）も有している。

【0041】

はんだ印刷検査装置Ｙ１は、はんだ印刷装置Ｘ１から搬出された基板に対し、はんだペーストの印刷状態を検査するための装置である。はんだ印刷検査装置Ｙ１では、基板上に印刷されたはんだペーストを２次元ないし３次元的に計測し、その計測結果から各種の検査項目について正常値（許容範囲）か否かの判定を行う。検査項目としては、例えば、はんだの体積・面積・高さ・位置ずれ・形状などがある。はんだペーストの２次元計測には、イメージセンサ（カメラ）などを用いることができ、３次元計測には、レーザ変位計や、位相シフト法、空間コード化法、光切断法などを利用することができる。

【0042】

部品検査装置Ｙ２は、マウンタＸ２から搬出された基板に対し、電子部品の配置状態を検査するための装置である。部品検査装置Ｙ２では、はんだペーストの上に載置された部
品（部品本体、電極など部品の一部でもよい）を２次元ないし３次元的に計測し、その計測結果から各種の検査項目について正常値（許容範囲）か否かの判定を行う。検査項目としては、例えば、部品の位置ずれ、角度（回転）ずれ、欠品（部品が配置されていないこと）、部品違い（異なる部品が配置されていること）、極性違い（部品側と基板側の電極の極性が異なること）、表裏反転（部品が裏向きに配置されていること）、部品高さなどがある。はんだ印刷検査と同様、電子部品の２次元計測には、イメージセンサ（カメラ）などを用いることができ、３次元計測には、レーザ変位計や、位相シフト法、空間コード化法、光切断法などを利用することができる。

【0043】

外観検査装置Ｙ３は、リフロー炉Ｘ３から搬出された基板に対し、はんだ付けの品質を検査するための装置である。外観検査装置Ｙ３では、リフロー後のはんだ部分を２次元ないし３次元的に計測し、その計測結果から各種の検査項目について正常値（許容範囲）か否かの判定を行う。検査項目としては、部品検査と同じ項目に加え、はんだフィレット形状の良否なども含まれる。はんだの形状計測には、上述したレーザ変位計、位相シフト法、空間コード化法、光切断法などの他、いわゆるカラーハイライト方式（Ｒ、Ｇ、Ｂの照明を異なる入射角ではんだ面に当て、各色の反射光を天頂カメラで撮影することで、はんだの３次元形状を２次元の色相情報として検出する方法）を用いることができる。

【0044】

図２は、外観検査装置Ｙ３の、検査処理に関する機能の概略構成を示すブロック図である。外観検査装置Ｙ３の検査処理機能は、主として、カメラ３１、情報処理装置３２、表示装置３３によって実現される。情報処理装置３２は、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）などを具備する汎用的なコンピュータシステムにより構成される。

【0045】

検査対象である基板をカメラ３１によって撮影した画像を、画像取得部３２１が取得する。画像取得部３２１によって取得された画像に対して検査画像生成部３２２が、所定の処理を行うことにより検査画像を生成する。検査部３２３は、検査プログラムを実行することにより、検査画像をもとに、所定の指標を計測（計算）し、これらの計測値を用いて検査対象の状態を検査し、良否を判定する。ここで、実行される検査プログラムは、教師あり学習によって学習された学習器を含むプログラムである。検査プログラム記憶部３２４は、検査部３２３において実行される検査プログラムを記憶している。結果出力部３２５は、検査部３２３による検査結果を画面出力し、表示装置３３に表示させる。検査結果記憶部３２６は、検査画像と検査結果を関連付けて記憶する。通信インタフェース３２７は、ネットワーク（ＬＡＮ）を介して接続された管理装置１０、プログラム管理サーバ２０等と通信を行うためのインタフェースである。ここで、検査結果記憶部３２６に記憶される検査画像及び検査結果には、検査プログラムによって不良と判定されたものの、後の目視工程で良品と判定された検査画像（過検出された検査画像）に対するものも含まれる。

【0046】

検査結果記憶部３２６に記憶された検査画像及び検査結果は、通信インタフェース３２７を介して、管理装置１０に送信される。また、検査プログラムは、プログラム管理サーバ２０によって再学習され、プログラム管理サーバ２０から通信インタフェース３２７を介して検査プログラム記憶部３２４に送信され、記憶される。ここでは、外観検査装置Ｙ３について、検査処理に関する機能の概略を説明したが、他の検査装置も同様の機能構成を有する。

【0047】

Ｘ線検査装置Ｙ４は、Ｘ線像を用いて基板のはんだ付けの状態を検査するための装置である。例えば、ＢＧＡ（Ｂａｌｌ Ｇｒｉｄ Ａｒｒａｙ）、ＣＳＰ（Ｃｈｉｐ Ｓｉｚｅ Ｐａｃｋａｇｅ）などのパッケージ部品や多層基板の場合には、はんだ接合部が部品
や基板の下に隠れているため、外観検査装置Ｙ３では（つまり外観画像では）はんだの状態を検査することができない。Ｘ線検査装置Ｙ４は、このような外観検査の弱点を補完するための装置である。Ｘ線検査装置Ｙ４の検査項目としては、例えば、部品の位置ずれ、はんだ高さ、はんだ体積、はんだボール径、バックフィレットの長さ、はんだ接合の良否などがある。なお、Ｘ線像としては、Ｘ線透過画像を用いてもよいし、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像を用いることも好ましい。

【0048】

（管理装置）
上述した製造装置Ｘ１～Ｘ３及び検査装置Ｙ１～Ｙ４は、ネットワーク（ＬＡＮ）を介して管理装置１０に接続されている。管理装置１０は、製造装置Ｘ１～Ｘ３および検査装置Ｙ１～Ｙ４の管理や制御を担うシステムであり、図示しないが、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、表示装置などを具備する汎用的なコンピュータシステムにより構成される。後述する管理装置１０の機能は、補助記憶装置に格納されたプログラムをＣＰＵが読み込み実行することにより実現される。

【0049】

なお、管理装置１０は、１台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、製造装置Ｘ１～Ｘ３や検査装置Ｙ１～Ｙ４のいずれかの装置が内蔵するコンピュータに、管理装置１０の機能の全部又は一部を実装することも可能である。あるいは、管理装置１０の機能の一部をネットワーク上のサーバ（クラウドサーバなど）により実現してもよい。

【0050】

管理装置１０には、ネットワーク（ＬＡＮ）を介して、プログラム管理サーバ２０が接続される。また、プログラム管理サーバ２０は、検査プログラム及び品質評価プログラムを管理するサーバである。プログラム管理サーバ２０は、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、表示装置などを具備する汎用的なコンピュータシステムにより構成される。検査プログラムは、検査装置Ｙ１～Ｙ４における検査処理を実現するプログラムであり、プログラム管理サーバ２０の所定の記憶領域に記憶される一方で、必要に応じて検査装置Ｙ１～Ｙ４のそれぞれにダウンロードされ、各装置の所定の記憶領域に記憶され、各装置において実行される。品質評価プログラムは、管理装置１０における品質評価処理を実現するプログラムであり、プログラム管理サーバ２０の所定の記憶領域に記憶される一方で、必要に応じて管理装置１０にダウンロードされ、品質評価プログラム記憶部１０９に記憶され、管理装置において実行される。プログラム管理サーバ２０は、検査プログラム、品質評価プログラムに限らず、製造装置Ｘ１～Ｘ３や検査装置Ｙ１～Ｙ４を制御する各種プログラムを管理してもよい。

【0051】

本実施形態の管理装置１０は、製造設備の管理者が設備のメンテナンス及び品質管理を効率的に行うための機能を実現するための機能部を有している。図２に、管理装置１０が有する品質評価に関する各機能部のブロック図を示す。ここでは、管理装置１０が本発明の品質評価装置に対応し、管理システム１が本発明の検査管理システムに対応する。

【0052】

図３に示すように、管理装置１０は、検査画像・検査結果取得部１０１、検査画像・検査結果データベース（ＤＢ）、品質評価部１０３、評価結果蓄積部１０４、品質変化判定部１０５、品質評価情報生成部１０６、表示部１０７、入力部１０８、品質評価プログラム記憶部１０９の各部を有している。ここでは、品質評価部１０３、評価結果蓄積部１０４及び品質変化判定部１０５が本発明の品質変化評価部に対応する。また、品質評価部１０３、評価結果蓄積部１０４、品質変化判定部１０５は、それぞれ本発明の品質評価部、品質評価蓄積部、変化判定部に対応する。また、品質評価情報生成部１０６が本発明の品質評価情報生成部に対応する。

【0053】

検査画像・検査結果取得部１０１は、検査装置Ｙ１～Ｙ４による検査画像と、これに関連付けられた検査結果とが検査装置Ｙ１～Ｙ４から取得する。検査画像・検査結果取得部１０１によって取得された検査画像及び検査結果は検査画像・検査結果ＤＢに記憶される。ここでは、検査画像には、検査日時や線対称の品番等の情報も関連付けられており、これらの情報も併せて取得され、記憶される。

【0054】

品質評価部１０３は、オートエンコーダ等の、教師なし学習によって学習された学習済みの学習器に、検査画像を入力することによって得られた出力によってプリント基板の品質を評価する機能を有する。ここで、品質評価部１０３に入力されるのは、検査画像・検査結果ＤＢ１０２に記録された検査画像のうち、良品と判定されたプリント基板の検査画像である。なお、良品と判定された検査画像には、検査装置における検査プログラムによって不良と判定されたものの、後の目視工程により良品と判定されたプリント基板に対する検査画像も含まれる。ここで用いられる学習済み学習器は、１次元の数値を出力し、これを異常度と呼ぶ。品質の評価に用いる検査画像は、適宜サンプリングすることができる。例えば、１時間に１回のサンプリング結果を所定期間蓄積し、異常度を算出する。ここで、異常度は、本発明の品質評価指標に対応する。

【0055】

品質評価部１０３において算出された異常度は、評価結果蓄積部１０４に蓄積される。ここでは、評価結果蓄積部１０４は、本発明の品質評価指標蓄積部に対応する。

【0056】

品質変化判定部１０５では、評価結果蓄積部１０４に蓄積された異常度の経時的な変化を分析し、プリント基板の品質の変化を評価する。具体的には、異常度の変化と設定された閾値と比較して判断する。異常度は、上述のように、所定期間にわたって蓄積された異常度の平均値を当該期間の異常度とし、標準偏差を異常度のバラつきとする。ここでは、異常度の値に関する閾値（異常度）と、異常度のバラつきに関する閾値（バラつき）の２つの閾値が設定される。この閾値（異常度）と、閾値（バラつき）は、入力部１０８を介してユーザがあらかじめ入力する。閾値（異常度）及び閾値（バラつき）は、それぞれ本発明の第１閾値及び第２閾値に対応する。

【0057】

品質評価情報生成部１０６では、品質変化判定部１０５による評価結果に基づいて、品質評価情報を生成し、表示部１０７に表示させる。
図４は、品質評価情報７１の表示例を示す。品質評価情報７１内の各情報を指示する枠線及び引き出し線は、品質評価情報７１の要素と区別するために点線で表示している。

【0058】

品質評価情報７１の中央には、管理図７１１が表示される。ここでは、品番Ａの管理図が表示されている。管理図７１１は、検査画像が取得された期間を横軸にとり、異常度を縦軸にとっている。異常度は、対象期間の平均値をプロットして破線で示し、実線の縦棒で標準偏差を示している。また、縦軸には、異常度の閾値が実線で表示されている。

【0059】

管理図７１１の下方には、閾値（異常度）の表示領域７１２が配置されており、現在設定されている「０．５」が表示されている。閾値（異常度）の表示領域７１２は入力フィールドになっており、数値を入力し、右横の設定ボタン７１３をクリック等により指定することにより、閾値（異常度）を変更することができる。閾値（異常度）の表示領域７１２の下方には、閾値（バラつき）の表示領域７１４が配置されており、現在設定されている「０．４」が表示されている。閾値（バラつき）の表示領域７１２は入力フィールドになっており、数値を入力し、右横の設定ボタン７１３をクリック等して押下することにより、閾値（バラつき）を変更することができる。

【0060】

上述のように、閾値（異常度）及び閾値（バラつき）をユーザが入力し設定できるよう
にしてもよいが、閾値（異常度）及び閾値（バラつき）の履歴を所定の記憶領域に記憶しておき、閾値（異常度）及び閾値（バラつき）の履歴と、評価結果蓄積部１０４に蓄積された評価結果の履歴等に基づき、機械学習等によって適切な閾値（異常度）及び閾値（バラつき）を品質変化判定部１０５によって設定したり、ユーザに推奨値を教示したりしてもよい。閾値（異常度）及び閾値（バラつき）のいずれか一方のみをユーザが入力し、他方を自動設定し、又は推奨値を教示するようにしてもよい。ここでは、品質変化判定部１０５が、本発明の設定部に対応する。

【0061】

管理図７１１の上方には、総合評価表示領域７１６が配置されている。総合評価表示領域７１６には品質に関するに関するメッセージが表示される。この総合評価は、管理図７１１に表示された異常度の変化に基づいたものである。管理図７１１では、異常度が閾値（異常度）を超えるとともに、バラつきも閾値（バラつき）を超ええている。このため、総合評価表示領域７１６には、品質の総合評価として、「品質にばらつきがあり、変化もあります。工程の見直しとＡＩモデルの再学習をお勧めします。」とのメッセージが表示され、検査に用いられている検査プログラムの学習器を再学習させるべきタイミングであることをユーザに報知している。

【0062】

このように、検査対象の品質の変化をとらえて、品質評価情報７１等が表示部１０７に表示され、ユーザに検査プログラムの学習器の再学習を勧めるメッセージが表示されて再学習が促されることで、信頼性の高い検査を実現することができる。

【0063】

品質評価情報７１の左側には、品番表示領域７１７が配置されている。検査プログラムは、部品種ごとにＡＩモデルを生成しており、１部品種の中には複数の品番が含まれる。ここでは、検査に用いられているＱＦＰ用ＡＩモデルには、品番Ａ、品番Ｂ、品番Ｃに対するものが含まれることが示されている。これらの品番の表示は、工程の見直しやＡＩモデルの再学習のアラームが出ている場合には、品番の表示が白色とは異なる赤色等の色で表示される。ここでは、品番Ａの表示７１７ａが異なる色で表示されている。このような表示により、ユーザは対応の必要な品番を明瞭に認識することができる。また、各品番表示７１７ａ等はボタンになっており、これらのボタンをクリック等して押下することにより、該当する品番の管理図に表示が切り替わる。また、ＱＦＰ用ＡＩモデルの表示７１７ｂをクリック等して押下することにより、全体の管理図を確認することができる。

【0064】

品質評価情報７１の右側には、代表データの表示領域７１８が配置されている。ここでは、品質変化判定部１０５でサンプリングした検査画像のうち各期間の代表データを時系列で表示している。これによって、総合評価の妥当性を目視でも確認することができる。代表データの表示領域７１８の下方に配置された再選択ボタン７１９をクリック等して押下することにより、代表データが当該期間の他の検査画像に切り替えることできる。

【0065】

図５は、他の品質評価情報７２の表示例を示す。品質評価情報７１と共通する情報については、説明を省略する。ここでは、管理図７２１と総合評価表示領域７１６が品質評価情報７１とは異なっている。管理図７２１では、異常度は、閾値（異常度）を超えてはいないが、閾値（バラつき）を超えている。このため、総合評価表示領域７２６には、品質の総合評価として、「品質にばらつきがあります。工程の見直しをお勧めします。」とのメッセージが表示され、工程の見直しをすべきことをユーザに報知している。

【0066】

図６は、他の品質評価情報７３の表示例を示す。品質評価情報７１と共通する情報については、説明を省略する。ここでは、品質評価情報７１と共通する情報については、説明を省略する。ここでは、管理図７３１と総合評価表示領域７３６が品質評価情報７１とは異なっている。管理図７３１では、異常度は、閾値（異常度）を超えているが、閾値（バラつき）を超えていない。このため、総合評価表示領域７３６には、品質の総合評価とし
て、「品質に変化があります。ＡＩモデルの再学習をお勧めします。」とのメッセージが表示され、検査プログラムの学習器を再学習させるべきタイミングであることをユーザに報知している。

【0067】

図７は、他の品質評価情報７４の表示例を示す。品質評価情報７１と共通する情報については、説明を省略する。ここでは、品質評価情報７１と共通する情報については、説明を省略する。ここでは、管理図７３１と総合評価表示領域７３６と品番表示領域７４７が品質評価情報７１とは異なっている。管理図７４１では、異常度は、閾値（異常度）も閾値（バラつき）を超えていない。このため、総合評価表示領域７４６には、品質の総合評価として、「品質は安定しています。」とのメッセージが表示される。また、品番表示領域７４７の品番Ａの表示７４７ａが白色で表示され、アラームが出ていないことを示している。

【0068】

このように、管理装置１０において、検査プログラムの学習器を再学習するタイミングをユーザに教示することができる。

【0069】

品質変化判定部１０５によって、検査プログラムの学習器の再学習が勧められ、ユーザが検査プログラムの学習器の再学習を指示すると、管理するプログラム管理サーバ２０が、検査プログラムの再学習を行う。このとき、プログラム管理サーバ２０は、品質評価プログラムの学習器も再学習させる。このように、検査プログラムの再学習と併せて品質評価プログラムも再学習させることにより、品質変化に即応した検査と品質評価が可能となる。

【0070】

図８に、検査プログラムを学習させる学習装置２１について説明する。この学習装置２１は、プログラム管理サーバ２０に構成される。学習装置２１は、学習用検査画像取得部２１１、学習用検査結果取得部２１２、学習データ記憶部２１３、学習処理部２１４、学習器２１５を含む。再学習の場合には、学習データの対象が、再学習された時期に至るまでの直近の期間の検査画像及び検査結果となる。ここでは、学習器２１５が、本発明の第１学習器に対応する。学習装置２１が、本発明の学習装置に対応する。

【0071】

学習用検査画像取得部２１１は、検査画像・検査結果ＤＢ１０２から、再学習させるための検査画像を取得する。学習用検査結果取得部２１２は、検査画像・検査結果ＤＢ１０２から、当該検査画像の検査結果を取得する。

【0072】

学習用検査画像取得部２１１及び学習用検査結果取得部２１２を介して取得された、学習用検査画像と学習用検査結果は、プログラム管理サーバ２０の補助記憶装置の所定領域である学習データ記憶部２１３に記憶される。

【0073】

学習処理部２１４は、学習データ記憶部に２１３に記憶された学習用検査画像を入力すると検査結果を出力するように、学習器の機械学習を行う。学習処理部２１４は、プログラム管理サーバ２０のＣＰＵが補助記憶装置の所定領域に記憶された学習モデル生成プログラムを読み出して実行することにより実現される。ここで、学習器は、学習用検査画像を学習データ、学習用検査結果を教師データとして、例えば、モデルをニューラルネットワークにより計算するプログラムであるが、これに限られない。

【0074】

学習処理部２１４における学習器の機械学習が、多数の学習データに対して繰り返されることにより、学習済みの学習器２１５が得られる。このようにして得られた学習器２１５は、補助記憶装置の所定領域である学習結果データ記憶部２１６に記憶される。学習結果データ記憶部２１６に記憶された学習済みの学習器２１５は、例えば、検査機Ｙ３の検査プログラム記憶部３２４に送信され、記憶される。

【0075】

図９に、品質評価プログラムを学習させる学習装置２２について説明する。この学習装置２２は、プログラム管理サーバ２０に構成される。学習装置２２は、学習用良品画像取得部２２１、学習データ記憶部２２２、学習処理部２１４、学習器２２４を含む。再学習の場合には、学習データの対象が、再学習される時期に至るまでの直近の期間の良品画像となる。ここでは、学習器２２４が、本発明の第２学習器に対応する。

【0076】

学習用良品画像取得部２２１は、検査画像・検査結果ＤＢ１０２から、良品と判断された検査画像を取得する。

【0077】

学習用良品画像取得部２２１を介して取得された、学習用の良品画像は、プログラム管理サーバ２０の補助記憶装置の所定領域である学習データ記憶部２２２に記憶される。

【0078】

学習処理部２２３は、学習データ記憶部２２２に記憶された学習用良品画像を入力すると異常度を出力するように、学習器の機械学習を行う。学習処理部２２３は、プログラム管理サーバ２０のＣＰＵが補助記憶装置の所定領域に記憶された学習モデル生成プログラムを読み出して実行することにより実現される。ここで、学習器は、学習用の良品画像を学習データとするＶＡＥ等の教師なしＡＩモデルである。

【0079】

学習処理部２２３における学習器の機械学習が、多数の学習データに対して繰り返されることにより、学習済みの学習器２２４が得られる。このようにして得られた学習器２２４は、補助記憶装置の所定領域である学習結果データ記憶部２２５に記憶される。学習結果データ記憶部２２５に記憶された学習済み学習器２２４は、品質評価プログラム記憶部１０９に送信され、記憶される。

【0080】

〔実施例２〕
以下では、本発明の実施例２に係る管理システム２について説明する。実施例１と共通の構成については同様の符号を用いて詳細な説明は省略する。

【0081】

実施例２に係る管理システム２の全体構成並びに検査装置Ｙ１～Ｙ４及び学習装置２１の機能構成は、実施例１と同様である。図１０に実施例２に係る管理装置１１が有する品質評価に関する各機能部のブロック図を示す。実施例２では、、品質評価プログラムが実施例１とは異なるのに伴い、管理装置１１の品質評価部２０３、評価結果蓄積部２０４、品質変化判定部２０５及び品質評価情報生成部２０６の機能、品質評価情報の構成、学習装置２３の構成が実施例１とは異なる。ここでは、管理装置１１が本発明の品質評価装置に対応し、管理システム２が本発明の検査管理システムに対応する。

【0082】

図１１に実施例２に係る品質評価プログラムを機械学習させる学習装置２３の概略機能構成を示す。学習装置２３は、プログラム管理サーバ２０に構成される。学習装置２３は、学習用良品画像取得部２３１、学習データ記憶部２３２、学習処理部２３３、学習器２３４を含む。再学習の場合には、学習データの対象が、再学習される時期に至るまでの直近の期間の良品画像となる。ここでは、学習器２３４が、本発明の第３学習器に対応する。

【0083】

学習用良品画像取得部２３１は、検査画像・検査結果ＤＢ１０２から、良品と判断された検査画像を取得する。

【0084】

学習用良品画像取得部２３１を介して取得された、学習用の良品画像は、プログラム管理サーバ２０の補助記憶装置の所定領域である学習データ記憶部２３２に記憶される。

【0085】

学習処理部２３３は、学習データ記憶部２３２に記憶された学習用良品画像を入力すると良品画像の特徴量を次元圧縮することにより、２次元平面上にマッピングし、マッピングされた各良品画像をクラスタリングするように、学習器の機械学習を行う。学習処理部２２３は、プログラム管理サーバ２０のＣＰＵが補助記憶装置の所定領域に記憶された学習モデル生成プログラムを読み出して実行することにより実現される。ここで、学習器は、学習用の良品画像を学習データとする主成分分析（ＰＣＡ）等の教師なしＡＩモデルである。

【0086】

学習処理部２３３における学習器の機械学習が、多数の学習データに対して繰り返されることにより、学習済みの学習器２３４が得られる。このようにして得られた学習器２３４は、補助記憶装置の所定領域である学習結果データ記憶部２３５に記憶される。学習結果データ記憶部２３５に記憶された学習済み学習器２３４は、品質評価プログラム記憶部１０９に送信され、記憶される。図１２（Ａ）に、学習済み学習器２３４の出力例を示す。２次元面Ｓ上に学習させた良品画像を表すポイントＬ１、ポイントＬ２等がマッピングされ、これらのポイントＬ１等を囲む円Ｃによってクラスタリングされている。

【0087】

実施例２の品質評価部２０３では、このようにして生成された品質評価プログラムによって、検査画像・検査結果から取得した量産データの良品画像をマッピングする。図１２（Ｂ）が、学習済み学習器２３４に量産データである良品画像を入力し、２次元面Ｓ上にマッピングされた２次元マップを示す。ここでは、学習データである良品画像を黒色のポイントで表示し、量産データである良品画像を灰色のポイントで表示している。図１２（Ｂ）に示す状態では、量産データである良品画像を示すポイントＰ１、ポイントＰ２等が、２次元面Ｓ上にマッピングされているが、量産データである良品画像を示すポイントＰ１等は、いずれも円Ｃ１で示されるクラスタに含まれている。

【0088】

実施例２の品質評価部２０３では、上述のように、検査画像・検査結果ＤＢから取得した量産データである良品画像をサンプリングしてマッピングし、２次元マップを出力する。２次元マップは評価結果蓄積部２０４に蓄積する。

【0089】

実施例２の品質変化判定部２０５では、品質評価部２０３によって生成された２次元マップにおいて、クラスタから外れる外れ値である良品画像を示すポイントの数をカウントする。図１１（Ｂ）に示すように、量産データである良品画像が逐次マッピングされていくと、品質が変化した場合に、外れ値として、クラスタＣから外れた位置にマッピングされるデータが現れる。図１２（Ｃ）では、学習用良品画像を示すポイントＬ１等、量産データである良品画像Ｌ１等を含むクラスタＣから外れた位置に、量産データである良品画像を示すポイントＯ１がマッピングされている。品質変化判定部２０５では、このような外れ値の個数をカウントし、外れ値の個数と閾値とを比較し、閾値を超えたか否かを判断する。

【0090】

実施例２においても、品質評価情報生成部２０６は、品質変化判定部２０５による評価結果に基づいて、品質評価情報を生成し、表示部１０７に表示させる。
図１３は、実施例２に係る品質評価情報７５の表示例を示す。品質評価情報７５内の各情報を指示する枠線及び引き出し線は、品質評価情報７５の要素と区別するために点線で表示している。

【0091】

品質評価情報７５の中央右側には、２Ｄマップ７５１が表示されている。２Ｄマップ７５１には、品質評価の対象となっている品番（ここでは「品番Ａ」）と、いつの時点での評価データであるのかを示す日付（評価日）も表示される。表示される品質評価情報７５の評価日はユーザが適宜指定することができる。２Ｄマップは上述のように、品質評価プログラムに量産データである良品画像を入力し、学習用の良品画像から生成された２Ｄマ
ップ上にマッピングしたものである。２Ｄマップ７５１のクラスタＣには学習用の良品画像を示すポイントＬ１等と、量産データである良品画像を示すポイントＰ１等が含まれている。２Ｄマップ７５１には、さらに、外れ値として、クラスタＣの外に、量産データである良品画像を示すポイントＯ１、Ｏ２、Ｏ３及びＯ４の４つのポイントが配置されている。外れ値である良品画像を示すポイントＯ４にカーソルを合わせると、当該ポイントに対応する良品画像データと、当該良品画像Ｉｍ４が検査された検査日とともにポップアップ表示される。

【0092】

品質評価情報７５の２Ｄマップ７５１の下方には、閾値（アラーム個数）の表示領域７５２が配置されており、現在設定されている「４」が表示されている。閾値（アラーム個数）の表示領域７５２は入力フィールドになっており、数値を入力し、右横の設定ボタン７５３をクリック等により指定することにより、閾値（アラーム個数）を変更することができる。この閾値（アラーム個数）は、２Ｄマップ上に配置される量産データの外れ値の個数が閾値（アラーム個数）以上となったときに、工程の見直し又は検査プログラムの学習器の再学習をユーザに勧めるアラームを出すためのものである。ここでは、閾値（アラーム個数）が、本発明の第３閾値に対応する。

【0093】

上述のように、閾値（アラーム個数）をユーザが入力し設定できるようにしてもよいが、閾値（異常度）及び閾値（アラーム個数）の履歴を所定の記憶領域に記憶しておき、閾値（アラーム個数）の履歴と、評価結果蓄積部２０４に蓄積された評価結果の履歴等に基づき、機械学習等によって適切な閾値（アラーム個数）を品質変化判定部２０５によって設定したり、ユーザに推奨値を教示したりしてもよい。ここでは、品質変化判定部２０５が、本発明の閾値設定部に対応する。

【0094】

品質評価情報７５の上方には、総合評価表示領域７５４が配置されている。総合評価表示領域７５４には品質に関するメッセージが表示される。この総合評価は、２Ｄマップ７５１における外れ値の個数に基づいたものである。閾値（アラーム個数）の表示領域７５２に表示されているように、現在の閾値（アラーム個数）は４である。これに対して２Ｄマップ７５１には、外れ値としてポイントＯ１、Ｏ２、Ｏ３及びＯ４の４つのポイントがマッピングされているので、外れ値の個数は、閾値（アラーム個数）と等しくなっている。そのため、品質変化判定部１０５は、品質が変化したと評価し、総合評価表示領域７５４に、「品質が変化しました。工程の見直しもしくはＡＩモデルの再学習をお勧めします。」とのメッセージが表示され、工程を見直すか、検査に用いられている検査プログラムの学習器を再学習させるべきであることをユーザに報知している。

【0095】

このように、検査対象の品質の変化をとらえて、品質評価情報７５が表示部１０７に表示され、ユーザに検査プログラムの学習器の再学習を勧めるメッセージが表示されて再学習が促されることで、信頼性の高い検査を実現することができる。

【0096】

品質評価情報７５の左側には、品番表示領域７５５が配置されている。検査プログラムは、部品種ごとにＡＩモデルを生成しており、１部品種の中には複数の品番が含まれる。ここでは、検査に用いられているＱＦＰ用ＡＩモデルには、品番Ａ、品番Ｂ、品番Ｃに対するものが含まれることが示されている。これらの品番の表示は、工程の見直しやＡＩモデルの再学習のアラームが出ている場合には、品番の表示が白色とは異なる赤色等の色で表示される。ここでは、品番Ａの表示７５５ａが異なる色で表示されている。このような表示により、ユーザは対応の必要な品番を明瞭に認識することができる。また、各品番表示７５５ａ等はボタンになっており、これらのボタンをクリック等して押下することにより、該当する品番の２Ｄマップに表示が切り替わる。また、ＱＦＰ用ＡＩモデルの表示７５５ｂをクリック等して押下することにより、全体の２Ｄマップを確認することができる。

【0097】

＜付記１＞
検査対象を撮像して生成した検査画像を学習データとし、検査結果を教師データとして機械学習させて生成した学習済み第１学習器（２１５）を用いた検査処理において良品と判定された該検査画像である良品画像を取得する良品画像取得部（１０１）と、
前記検査対象の品質の変化を評価する品質変化評価部（１０３、１０４、１０５と、
前記評価の結果を含む品質評価情報を生成する品質評価情報生成部（１０６）と、
を備えた品質評価装置（１０）。

【符号の説明】

【0098】

１０、１１ ：管理装置
１０３ ：品質評価部
１０４ ：評価結果蓄積部
１０５ ：品質変化評価部
１０６ ：品質評価情報生成部
２１５ ：学習器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】