ホーム > 特許ランキング > 日本電気硝子株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-06
(45)【発行日】2022-04-14
(54)【発明の名称】ワーク検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20220407BHJP
【ＦＩ】
G01N21/88 J
【請求項の数】
19
(21)【出願番号】P 2018168806
(22)【出願日】2018-09-10
(65)【公開番号】P2020041889
(43)【公開日】2020-03-19
【審査請求日】2021-04-13
(73)【特許権者】
【識別番号】000232243
【氏名又は名称】日本電気硝子株式会社
(74)【代理人】
【識別番号】100107423
【弁理士】
【氏名又は名称】城村 邦彦
(74)【代理人】
【識別番号】100120949
【弁理士】
【氏名又は名称】熊野 剛
(72)【発明者】
【氏名】高澤 悠介
【審査官】横尾 雅一
(56)【参考文献】
【文献】特開２０１０－１７５６６０（ＪＰ，Ａ）
【文献】特開２００１－２５５２８２（ＪＰ，Ａ）
【文献】国際公開第２０１８／１５０６０７（ＷＯ，Ａ１）
【文献】特開２０１７－１３３９５３（ＪＰ，Ａ）
【文献】特開２００５－１５６３３４（ＪＰ，Ａ）
【文献】特開２０１７－１０２７５５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００６０７０２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ３／１２
(57)【特許請求の範囲】
【請求項1】
脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、前記ワークを撮像して、ワーク画像を抽出し、
機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、
機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有し、
前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、一のワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、他のワーク画像を得ることを特徴とするワーク検査方法。
【請求項2】
前記第一判定工程を前記第二判定工程よりも先に行い、前記第一判定工程で前記ワークが不良と判定された場合に、前記第二判定工程を行わないことを特徴とする請求項１に記載のワーク検査方法。
【請求項3】
前記第一判定工程では、前記ワークが良である確率を演算すると共に、前記確率と、その確率に対して予め定められた閾値とに基づいて、前記ワークの良否判定の結果を得ることを特徴とする請求項１または２に記載のワーク検査方法。
【請求項4】
前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、前記良否判定学習モデルを構築するために用いる一の学習用ワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、前記良否判定学習モデルを構築するために用いる他の学習用ワーク画像を得ることを特徴とする請求項１～３の何れかに記載のワーク検査方法。
【請求項5】
前記良否判定学習モデルの構築に用いるために得られた前記一の学習用ワーク画像と前記他の学習用ワーク画像との少なくとも一方の学習用ワーク画像を所定角度だけ回転させる一の改変処理と、該一の学習用ワーク画像と該他の学習用ワーク画像との少なくとも一方の学習用ワーク画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用ワーク画像を作成し、該新たな学習用ワーク画像と改変処理前の学習用ワーク画像とを用いて前記良否判定学習モデルを構築することを特徴とする請求項４に記載のワーク検査方法。
【請求項6】
前記第一判定工程では、ワークの縁部の欠け、ワークの縁部の厚み方向にはみ出すバリ、ワークに散在して付着した黒点異物の少なくとも一つをワークの前記欠陥と認識することを特徴とする請求項１～５の何れかに記載のワーク検査方法。
【請求項7】
前記ワークに散在して付着した黒点異物については、該黒点異物の大きさ、個数、及び密集状態に応じて前記欠陥であるか否かを認識することを特徴とする請求項６に記載のワーク検査方法。
【請求項8】
前記第一判定工程と前記第二判定工程とから得られるワークの良否判定の結果が不良である場合に、機械学習により構築された欠陥分類学習モデルを用いて、該不良のワーク画像中の欠陥が、予め複数に区分された欠陥の種類のうちの何れの種類に属するかの分類をする欠陥分類工程を行うことを特徴とする請求項１～７の何れかに記載のワーク検査方法。
【請求項9】
前記良否判定学習モデルを構築する際に用いた複数個の学習用ワーク画像の中から、複数個の不良の学習用ワーク画像を選択し、それら不良の学習用ワーク画像から、欠陥とその周辺領域のみとからなる部分画像としての複数個の学習用欠陥画像を抽出し、それら学習用欠陥画像を用いて、前記欠陥分類学習モデルを構築することを特徴とする請求項８に記載のワーク検査方法。
【請求項10】
前記欠陥分類学習モデルの構築に用いるために得られた前記学習用欠陥画像を所定角度だけ回転させる一の改変処理と、該学習用欠陥画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用欠陥画像を作成し、該新たな学習用欠陥画像と改変処理前の学習用欠陥画像とを用いて前記欠陥分類学習モデルを構築することを特徴とする請求項９に記載のワーク検査方法。
【請求項11】
前記欠陥分類工程では、ワークの一部に発生した割れと、ワークの一部に付着した黒色異物とを、異なる種類の欠陥として分類することを特徴とする請求項８～１０の何れかに記載のワーク検査方法。
【請求項12】
前記欠陥分類工程では、ワークの一部に付着した白色系または黒色系の立体状異物と、前記立体状異物と同色系の平面状異物とを、異なる種類の欠陥として分類することを特徴とする請求項８～１１の何れかに記載のワーク検査方法。
【請求項13】
前記第一判定工程での良否判定の結果の正解率が低下した場合に、該正解率が低下し始める以前に行われた全ての前記欠陥分類工程において前記複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像を、学習用ワーク画像として用いて機械学習することで、前記良否判定学習モデルを更新することを特徴とする請求項８～１２の何れかに記載のワーク検査方法。
【請求項14】
前記ワークは、タブレット状のセラミック焼結品であって、前記ワーク画像は、前記ワークを厚み方向に視て撮像したものであることを特徴とする請求項１～１３の何れかに記載のワーク検査方法。
【請求項15】
前記機械学習のアルゴリズムは、ディープラーニングであることを特徴とする請求項１～１４の何れかに記載のワーク検査方法。
【請求項16】
脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、
前記ワークを撮像して、ワーク画像を抽出し、
機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、
機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有し、
前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、前記良否判定学習モデルを構築するために用いる一の学習用ワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、前記良否判定学習モデルを構築するために用いる他の学習用ワーク画像を得ることを特徴とするワーク検査方法。
【請求項17】
前記良否判定学習モデルの構築に用いるために得られた前記一の学習用ワーク画像と前記他の学習用ワーク画像との少なくとも一方の学習用ワーク画像を所定角度だけ回転させる一の改変処理と、該一の学習用ワーク画像と該他の学習用ワーク画像との少なくとも一方の学習用ワーク画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用ワーク画像を作成し、該新たな学習用ワーク画像と改変処理前の学習用ワーク画像とを用いて前記良否判定学習モデルを構築することを特徴とする請求項１６に記載のワーク検査方法。
【請求項18】
脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、
前記ワークを撮像して、ワーク画像を抽出し、
機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、
機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有し、
前記第一判定工程と前記第二判定工程とから得られるワークの良否判定の結果が不良である場合に、機械学習により構築された欠陥分類学習モデルを用いて、該不良のワーク画像中の欠陥が、予め複数に区分された欠陥の種類のうちの何れの種類に属するかの分類をする欠陥分類工程を行い、
前記良否判定学習モデルを構築する際に用いた複数個の学習用ワーク画像の中から、複数個の不良の学習用ワーク画像を選択し、それら不良の学習用ワーク画像から、欠陥とその周辺領域のみとからなる部分画像としての複数個の学習用欠陥画像を抽出し、それら学習用欠陥画像を用いて、前記欠陥分類学習モデルを構築し、
前記欠陥分類学習モデルの構築に用いるために得られた前記学習用欠陥画像を所定角度だけ回転させる一の改変処理と、該学習用欠陥画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用欠陥画像を作成し、該新たな学習用欠陥画像と改変処理前の学習用欠陥画像とを用いて前記欠陥分類学習モデルを構築することを特徴とするワーク検査方法。
【請求項19】
脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、
前記ワークを撮像して、ワーク画像を抽出し、
機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、
機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有し、
前記第一判定工程と前記第二判定工程とから得られるワークの良否判定の結果が不良である場合に、機械学習により構築された欠陥分類学習モデルを用いて、該不良のワーク画像中の欠陥が、予め複数に区分された欠陥の種類のうちの何れの種類に属するかの分類をする欠陥分類工程を行い
前記第一判定工程での良否判定の結果の正解率が低下した場合に、該正解率が低下し始める以前に行われた全ての前記欠陥分類工程において前記複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像を、学習用ワーク画像として用いて機械学習することで、前記良否判定学習モデルを更新することを特徴とするワーク検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ワーク検査方法及びワーク検査システムに係り、詳しくは、脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をする方法及びシステムに関する。
【背景技術】
【0002】
周知のように、ワーク製造工場等では、ワークを製造して出荷するまでの間に、ワークの欠陥の有無を検査してワークの良否判定を行い、良と判定されたワークのみを荷積み等することが行われる。このワークの良否判定をする手法としては、従来より種々の画像処理方法が利用されている。
【0003】
具体的には、撮像手段により撮像されたワークの画像に対して、コンピュータプログラムを使用して各種の処理を施すことで、必要な画像に加工し、その画像に基づいてワークの良否判定をすることが行われている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７‐１６７０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、ワークが脆性を有する場合には、その製造方法の特異性等に起因して、金属製ワーク等と比較して、多種多様な欠陥が存在するだけでなく、予測できない欠陥も存在し得る。
【0006】
そのため、脆性を有するワークに存在し得る欠陥については、上記例示した手法では、適切に検査をすることができず、ワークの良否判定の信頼性が損なわれる事態を招き得る。
【0007】
以上の観点から、本発明は、脆性を有するワークの欠陥の有無を適切に検査して、当該ワークの良否判定の信頼性を高めることを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために創案された本発明に係る方法は、脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、前記ワークを撮像して、ワーク画像を抽出し、機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有することに特徴づけられる。ここで、「機械学習により構築された良否判定学習モデル」とは、人工知能（ＡＩ）を用いた処理やニューラルネットワークを用いた処理によって構築されたワークの良否判定用の学習モデルを意味する（以下、同様）。また、「機械学習を含まないアルゴリズムプログラム」とは、人工知能（ＡＩ）を用いた処理やニューラルネットワークを用いた処理を含まないアルゴリズムプログラムを意味する（以下、同様）。
【0009】
このような方法によれば、機械学習を利用した第一判定工程と、機械学習を利用しない第二判定工程とのそれぞれの利点が有効活用され、脆性を有するワークの欠陥の有無が適切に検査され、ワークの良否判定の信頼性を高めることが可能となる。詳述すると、既述のように、脆性を有するワークは、多種多様な欠陥や予測できない欠陥が存在し得るため、単一の判定工程のみでは、信頼性の高い判定結果を得ることが困難である。しかし、本発明のように異なる利点を有する二つの判定工程を有していれば、脆性を有するワークの良否判定の信頼性を十分に高めることができる。
【0010】
この場合、前記第一判定工程を前記第二判定工程よりも先に行い、前記第一判定工程で前記ワークが不良と判定された場合に、前記第二判定工程を行わないようにしてもよい。従って、前記第一判定工程で前記ワークが良と判定された場合には、前記第二判定工程を行い、この第二判定工程での良否判定の結果が優先される。
【0011】
このようにすれば、二つの判定工程を有しているにも関わらず、ワークの良否判定に要する時間が有効に短縮され、生産性が高められる。加えて、仮に第一判定工程で良を不良とする判定ミスが生じた場合であっても、良品のみを回収して出荷等することを最優先する立場からすれば、信頼性や品質保証面で優れることになる。
【0012】
なお、前記第二判定工程を前記第一判定工程よりも先に行い、前記第二判定工程で前記ワークが良と判定された場合に、前記第一判定工程をさらに行うようにしてもよい。この場合、第二判定工程で前記ワークが不良と判定された場合には、前記第一判定工程をさらに行ってもよく或いは行わなくてもよい。また、第一判定工程と第二判定工程とを同時期に行うようにしてもよい。このようにする場合には、第一判定工程の良否判定の結果が不良である場合にその結果を優先し、第二判定工程の良否判定の結果が良である場合にその結果を優先するようにしてもよい。
【0013】
以上の方法において、前記第一判定工程では、前記ワークが良である確率を演算すると共に、前記確率と、その確率に対して予め定められた閾値とに基づいて、前記ワークの良否判定の結果を得るようにしてもよい。
【0014】
このようにすれば、単に「良」か「不良」かが判定結果として得られるだけでなく、入念に算出された判定結果が得られるため、第一判定工程での良否判定の信頼性がより一層高められる。
【0015】
以上の方法において、前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、一のワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、他のワーク画像を得るようにしてもよい。
【0016】
このようにすれば、ワークを裏返すことなく、ワークの表面と裏面とについてワーク画像を抽出することができるため、第一判定工程及び第二判定工程を迅速且つ効率よく行うことができる。
【0017】
以上の方法において、前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、前記良否判定学習モデルを構築するために用いる一の学習用ワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、前記良否判定学習モデルを構築するために用いる他の学習用ワーク画像を得るようにしてもよい。
【0018】
このようにすれば、良否判定学習モデルを構築するために用いる学習用ワーク画像の個数を２倍に増加させることができる。しかも、透明基板を介して撮像して抽出された学習用ワーク画像と、透明基板を介さずに撮像して抽出された学習用ワーク画像との異なる二種の学習用ワーク画像を得ることができる。そのため、多種多様な多数の学習用ワーク画像によって、前記ワークの良否判定を高精度で行い得る良否判定学習モデルを構築することができる。
【0019】
この場合、前記良否判定学習モデルの構築に用いるために得られた前記一の学習用ワーク画像と前記他の学習用ワーク画像との少なくとも一方の学習用ワーク画像を所定角度だけ回転させる一の改変処理と、該一の学習用ワーク画像と該他の学習用ワーク画像との少なくとも一方の学習用ワーク画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用ワーク画像を作成し、該新たな学習用ワーク画像と改変処理前の学習用ワーク画像とを用いて前記良否判定学習モデルを構築するようにしてもよい。
【0020】
このようにすれば、簡単な処理で良否判定学習モデルを構築するために用いる学習用ワーク画像の個数をさらに増加させることができる。そのため、ワークの良否判定処理をより一層高精度で行い得る良否判定学習モデルを構築することが可能となる。
【0021】
以上の方法において、前記第一判定工程では、ワークの縁部の欠け、ワークの縁部の厚み方向にはみ出すバリ、ワークに散在して付着した黒点異物の少なくとも一つをワークの前記欠陥と認識することが好ましい。
【0022】
このようにすれば、ワークが脆性を有することに起因して発生し得る特殊な異常部分が欠陥と認識されるため、第一判定工程での良否判定の信頼性向上につながる。
【0023】
この場合、前記ワークに散在して付着した黒点異物については、該黒点異物の大きさ、個数、及び密集状態に応じて前記欠陥であるか否かを認識することが好ましい。
【0024】
このようにすれば、上述のワークに散在して付着した黒点異物のうちの全てが欠陥として認識されるわけではないため、欠陥の認識が緻密に行われ、さらなる第一判定工程での良否判定の信頼性向上につながる。
【0025】
なお、前記第一判定工程では、前記ワークの一部に付着した埃、塵を、ワークの欠陥と認識しないようにすることができる。従って、本来、欠陥ではない埃、塵を、欠陥と認識してしまう判定ミスが生じ難くなり、第一判定工程での良否判定の信頼性向上につながる。
【0026】
以上の方法において、前記第一判定工程と前記第二判定工程とから得られるワークの良否判定の結果が不良である場合に、機械学習により構築された欠陥分類学習モデルを用いて、該不良のワーク画像中の欠陥が、予め複数に区分された欠陥の種類のうちの何れの種類に属するかの分類をする欠陥分類工程を行うようにしてもよい。ここで、「機械学習により構築された欠陥分類学習モデル」とは、人工知能（ＡＩ）を用いた処理やニューラルネットワークを用いた処理によって構築された欠陥分類用の学習モデルを意味する（以下、同様）。
【0027】
このようにすれば、欠陥分類工程が行われるごとに、複数に区分された種類ごとの欠陥の累積個数が判明するため、ワークの製造時の欠陥発生事由等を知得することができる。従って、その欠陥発生事由等に応じて製造条件等を変更すれば、欠陥の発生を低減することができる。しかも、欠陥分類工程が、機械学習により構築された欠陥分類学習モデルを用いて行われるため、欠陥を複数の種類に分類する処理の信頼性が高められる。
【0028】
この方法において、前記良否判定学習モデルを構築する際に用いた複数個の学習用ワーク画像の中から、複数個の不良の学習用ワーク画像を選択し、それら不良の学習用ワーク画像から、欠陥とその周辺領域のみとからなる部分画像としての複数個の学習用欠陥画像を抽出し、それら学習用欠陥画像を用いて、前記欠陥分類学習モデルを構築するようにしてもよい。
【0029】
このようにすれば、良否判定学習モデルを構築する際に用いた学習用ワーク画像が、欠陥分類学習モデルを構築するために有効利用され、画像処理の簡略化が図られる。
【0030】
この場合、前記欠陥分類学習モデルの構築に用いるために得られた前記学習用欠陥画像を所定角度だけ回転させる一の改変処理と、該学習用欠陥画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用欠陥画像を作成し、該新たな学習用欠陥画像と改変処理前の学習用欠陥画像とを用いて前記欠陥分類学習モデルを構築するようにしてもよい。
【0031】
このようにすれば、簡単な処理で欠陥分類学習モデルの構築に用いる学習用ワーク画像の個数を増加させることができる。そのため、欠陥の分類処理をより一層高精度で行い得る欠陥分類学習モデルを構築することが可能となる。
【0032】
以上の方法において、前記欠陥分類工程では、ワークの一部に発生した割れと、ワークの一部に付着した黒色異物とを、異なる種類の欠陥として分類することが好ましい。
【0033】
このようにすれば、欠陥を複数の種類に分類する際に、上記の二種の欠陥を、同種の欠陥に分類してしまう分類ミスが生じ難くなり、欠陥分類工程での処理の信頼性が高められる。
【0034】
また、前記欠陥分類工程では、ワークの一部に付着した白色系または黒色系の立体状異物と、前記立体状異物と同色系の平面状異物とを、異なる種類の欠陥として分類することが好ましい。
【0035】
このようにすれば、欠陥を複数の種類に分類する際に、上記の二種の欠陥を、同種の欠陥に分類してしまう分類ミスが生じ難くなり、欠陥分類工程での処理の信頼性が高められる。
【0036】
以上の方法において、前記第一判定工程での良否判定の結果の正解率が低下した場合に、該正解率が低下し始める以前に行われた全ての前記欠陥分類工程において前記複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像を、学習用ワーク画像として用いて機械学習することで、前記良否判定学習モデルを更新するようにしてもよい。
【0037】
ここで、本発明者等は、第一判定工程で良否判定の結果の正解率が低下していく理由が、その正解率が低下し始める以前に行われた全ての欠陥分類工程において複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像が出現していることによって生じたものであることを知見した。そこで、そのような不良のワーク画像を有効利用して、良否判定学習モデルを更新することを案出した。そして、この良否判定学習モデルの更新によって、判定ミスが生じ難くなり、上記の正解率が回復するため、良否判定の信頼性の低下を阻止することができる。
【0038】
以上の方法において、前記ワークは、タブレット状のセラミック焼結品であって、前記ワーク画像は、前記ワークを厚み方向に視て撮像したものであってもよい。
【0039】
このようにすれば、タブレット状のセラミック焼結品の表面や裏面に存在し得る特殊な欠陥や予測できない欠陥についての良否判定ミスや欠陥分類ミスが生じ難くなる。
【0040】
以上の方法において、前記機械学習のアルゴリズムは、ディープラーニングであることが好ましい。
【0041】
このようにすれば、既述の良否判定学習モデル及び欠陥分類学習モデルの構築が高精度で行われ、第一判定工程及び欠陥分類工程の信頼性向上が確実化される。
【0042】
なお、以上の方法においては、前記ワークにリング照明が当てられた状態で該ワークを撮像することで、ワーク画像を得るようにすることができる。ここで、リング照明は、ドーム照明等の他の照明と比較して、凹凸に対して反応し易いという特性を備えている。従って、リング照明を用いてワーク画像を抽出すれば、ワークに存在する凸状の欠陥と凹状の欠陥とを明確に認識することができる。従って、他の照明を用いた場合には認識することが困難或いは不可能であった凸状の欠陥や凹状の欠陥が認識できることになって、認識可能な欠陥の種類が増加し、ワークの良否判定にミスが生じ難くなる。しかも、凸状の欠陥と凹状の欠陥との種類の判別もミス無く行えるようになる。
【0043】
また、以上の方法においては、前記ワークにリング照明が当てられた状態で該ワークを撮像することで、前記学習モデル（良否判定学習モデル及び欠陥分類学習モデル）を構築するために用いる学習用ワーク画像を得るようにすることもできる。このようにした場合には、他の照明を用いた場合よりも多種類の欠陥を有するワーク画像を学習用ワーク画像とすることができる。これにより、前記ワークの良否判定や前記欠陥分類を高精度で行うことが可能な学習モデルを構築することができる。
【0044】
上記課題を解決するために創案された本発明に係るシステムは、脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査システムであって、前記ワークを撮像する撮像手段と、前記撮像手段によって撮像された画像からワーク画像を抽出するワーク画像抽出処理部と、機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定処理部と、機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定処理部とを有することに特徴づけられる。
【0045】
このシステムは、既述の対応する方法とカテゴリーが相違するものの実質的に構成が同一であるので、当該方法と実質的に同一の作用効果が得られる。
【0046】
以上の方法及びシステムにおいて、前記良否判定学習モデルは、入力層と出力層との間に、入力層側から順に、第一の畳み込み層と、プーリング層と、第二の畳み込み層と、結合層と、ドロップアウト層とを含む４層のニューラルネットワークによる学習モデルであることが好ましい。
【0047】
この場合、前述のニューラルネットワークは、前述の第一の畳み込み層の入力層側に、学習用ワーク画像をランダム加工する処理層を有することが好ましい。
【0048】
また、前述のニューラルネットワークは、最も入力層側に存する結合層のニューロン数が５１２以下であることが好ましい。
【0049】
さらに、前述のニューラルネットワークは、フィルタサイズが５以上であることが好ましい。
【0050】
以上のようなニューラルネットワークの構成であれば、ワークの良否判定処理を高精度で行うことが可能な良否判定学習モデルを得ることができる。
【0051】
以上の方法及びシステムにおいて、前記欠陥分類学習モデルは、入力層と出力層との間に、入力層側から順に、８層の畳み込み層と、結合層と、ソフトマックス層とを含む３層のニューラルネットワークによる学習モデルであることが好ましい。また、このニューラルネットワークは、フィルタサイズが３以上であることが好ましい。
【0052】
このようなニューラルネットワークの構成であれば、欠陥の分類処理を高精度で行うことが可能な欠陥分類学習モデルを得ることができる。
【0053】
なお、本発明に係る方法及びシステムは、第二判定工程（第二判定処理部）を廃止してもよく、そのようにした場合であっても、上記課題を解決して、脆性を有するワークの良否判定の信頼性を高めることができる。
【発明の効果】
【0054】
本発明によれば、脆性を有するワークの欠陥の有無を適切に検査して、当該ワークの良否判定の信頼性を高めることができる。
【図面の簡単な説明】
【0055】
【図1】本発明の実施形態に係るワーク検査方法の実施に用いられる脆性を有するワークを示す斜視図である。
【図2】本発明の実施形態に係るワーク検査システムを示す概略正面図である。
【図4】本発明の実施形態に係るワーク検査方法における良否判定についての各工程を示す概略図である。
【図5】本発明の実施形態に係るワーク検査方法における第一判定工程での良否判定を行う手順を示すフローチャートである。
【図6】本発明の実施形態に係るワーク検査方法における第一判定工程で用いられる良否判定学習モデルを構築する場合の手順を示すフローチャートである。
【図8】本発明の実施形態に係るワーク検査方法における第一判定工程で用いられる良否判定学習モデルを更新する場合の手順を示すフローチャートである。
【図9】本発明の実施形態に係るワーク検査方法における第二判定工程での良否判定を行う手順を示すフローチャートである。
【図10】本発明の実施形態に係るワーク検査方法における欠陥分類工程を行う手順を示すフローチャートである。
【図11】本発明の実施形態に係るワーク検査方法における欠陥分類工程で用いられる欠陥分類学習モデルを構築する場合の手順を示すフローチャートである。
【図15】本発明の実施形態に係るワーク検査システムをより詳細に示す概略構成図である。
【発明を実施するための形態】
【0056】
以下、本発明の実施形態に係るワーク検査方法及びワーク検査システムについて添付図面を参照しつつ説明する。
【0057】
図１は、この実施形態での検査対象物である脆性を有するワークＷを例示している。同図に示すように、ワークＷは、タブレット状をなす。詳しくは、このワークＷは、円板状体または円柱状体の中央部に円形の貫通孔Ｗｈが形成されたセラミック焼結品である。より詳細には、このワークＷは、例えば、ＰｂＯ－ＳｉＯ2－Ｂ2О3系ガラスや、ＳｉＯ2－Ａｌ2О3－Ｂ2О3－Ｒ2О系（Ｒ2Оはアルカリ金属酸化物）ガラスや、結晶性ビスマス系ガラス等から成るガラス粉末とフィラー粉末を混合焼成したものである。そして、このワークＷは、表面Ｗ１及び裏面Ｗ２を含む全面が、微小凹凸を有するざらついた面であって、表面Ｗ１及び裏面Ｗ２が、欠陥検査の対象面とされている。
【0058】
図２は、この実施形態に係るワーク検査システムを示す概略構成図である。同図に示すように、ワーク検査システム１は、撮像手段２を備えている。この撮像手段２は、透明基板（例えばガラス基板）３上に載置されたワークＷの表面Ｗ１と裏面Ｗ２とを、ワークＷの表側と裏側とからそれぞれ撮像する２機のカメラ４、５を有する。ワークＷの表面Ｗ１には、リング照明６が直接当てられ、ワークＷの裏面Ｗ２には、透明基板３を介してリング照明７が当てられている。上側のカメラ４によってワークＷの表面Ｗ１が撮像されると共に、下側のカメラ５によって透明基板３を介してワークＷの裏面Ｗ２が撮像される。
【0059】
さらに、ワーク検査システム１は、２機のカメラ４、５によって撮像された画像に基づいて各種の処理を行う処理部８と、処理部８に対して作業者が必要な情報やデータ等を入力する入力部９と、処理部８による各種の処理の結果等を表示する表示部１０とを備える。処理部８は、各種の情報やデータさらには各種の処理や手順を遂行するためのコンピュータプログラムを記憶する記憶手段が内蔵されたコンピュータ装置等の電子情報処理装置を有する。例えば、電子情報処理装置には、コンピュータプログラムを実行するためのＣＰＵ等の制御手段（画像処理手段等を含む）や、メモリやハードディスク等の記憶手段などが含まれる。入力部９は、作業者が操作するタッチパネルやキーボードあるいはマウス等で構成することができる。この入力部９は、上述の電子情報処理装置の構成要素であってもよく、独立した専用の入力機器等であってもよい。表示部１０は、ディスプレイデバイスやモニタスクリーン等で構成することができる。この表示部１０も、上述の電子情報処理装置の構成要素であってもよく、独立した専用の表示機器等であってよい。そして、後述する図５、図６、図８～図１１にそれぞれ示すフローチャートにおける各ステップでの処理や手順は、上述の処理部８、入力部９及び表示部１０によって遂行される。
【0060】
次に、この実施形態に係るワーク検査方法を詳細に説明する。図３は、２機のカメラ４、５によって撮像された画像からワーク画像をそれぞれ抽出する過程を示す正面図である。具体的には、図３（a）に示す画像Ｇ１は、カメラ４（５）によって撮像された画像であって、ワークＷの周辺領域Ｘが広くなっている。この画像Ｇ１からは、図３（ｂ）に示すように、ワークＷの周辺領域Ｘが狭くなった画像Ｇ２が切り取られる。その後、画像Ｇ２を全体的に縮小することで、図３（ｃ）に示す画像Ｇ３が得られる。以上の処理は、処理部８に備えられている画像処理手段によって行われる。そして、図３（ｃ）に示す画像Ｇ３が、ワーク画像（ワークの全体画像）である。このワーク画像Ｇ３は、デジタル画像であって、ピクセル数が例えば２００～３００と少ないため、後述する画像処理を簡易に行うことができる。
【0061】
図４は、ワーク検査方法における良否判定を行う場合の主たる工程を示す概略図である。同図に示すように、ワーク検査方法は、撮像手段２でワークＷの表面Ｗ１及び裏面Ｗ２を撮像する撮像工程１１と、ワーク画像Ｇ３を抽出するワーク画像抽出工程１２と、ワーク画像Ｇ３について第一判定及び第二判定をそれぞれ行う第一判定工程１３及び第二判定工程１４とを有する。なお、ワーク画像抽出工程１２は、既述の図３に示す手順で行われる。
【0062】
第一判定工程１３では、機械学習により構築された良否判定学習モデルを用いて、ワーク画像Ｇ３について欠陥の有無を検査してワークＷの良否判定が行われる。第二判定工程１４では、機械学習を含まないアルゴリズムプログラムを用いて、ワーク画像Ｇ３について欠陥の有無を検査してワークＷの良否判定が行われる。そして、一個のワークＷについては、基本的に、第一判定工程１３と第二判定工程１４とが行われる。後続のワークＷについても、上記の各工程１１～１４が繰り返して行われる。ワーク画像抽出工程１２が繰り返し行われることで複数回に亘って抽出されるワーク画像Ｇ３は、その都度、処理部８に備えられている記憶手段に記憶される。この場合、第一判定工程１３における機械学習のアルゴリズムは、ディープラーニングである。
【0063】
第一判定工程１３及び第二判定工程１４では、ワークＷに一つでも欠陥があると判断した場合に、そのワークＷは不良と判定され、ワークＷに一つも欠陥がないと判断した場合に、そのワークＷは良と判定される。この実施形態では、撮像手段２の構成に起因して、一個のワークＷについて二個のワーク画像Ｇ３が抽出されるため、一個のワーク画像Ｇ３に一つでも欠陥があれば、そのワークＷは不良と判定される。従って、二個のワーク画像Ｇ３の何れにも欠陥がない場合に、そのワークＷは良と判定される。
【0064】
図５は、上記の各工程を時系列で示すフローチャートである。同図に示すように、フローチャートのステップＳ１で撮像工程１１を行い、ステップＳ２でワーク画像抽出工程１２を行い、その後にステップＳ３で第一判定工程１３を先に行う。そして、ステップＳ４で第一判定工程１３による良否判定の結果が不良である場合には、そのワークＷは不良として処理され、第二判定工程１４を行わない。一方、ステップＳ４で第一判定工程１３による良否判定の結果が良である場合には、ステップＳ５でさらに第二判定工程１４を行う。そして、ステップＳ６で第二判定工程１４による良否判定の結果が不良である場合には、そのワークＷは不良として処理され、第二判定工程１４による判定結果が良である場合には、そのワークは良として処理される。
【0065】
なお、上記のフローチャートに示す動作は一例であって、第二判定工程１４を第一判定工程１３よりも先に行い、第二判定工程１４による良否判定の結果が良である場合には、第一判定工程１３をさらに行うようにしてもよい。この時の第一判定工程１３による良否判定の結果が良である場合には、そのワークＷは良として処理され、第一判定工程１３よる良否判定の結果が不良である場合には、そのワークＷは不良として処理される。なお、先に行う第二判定工程１４による良否判定の結果が不良である場合には、第一判定工程１３をさらに行ってもよく或いは行わなくてもよい。また、第一判定工程１３と第二判定工程１４とを同時期に行うようにして、第一判定工程１３の良否判定の結果が不良である場合にはその結果を優先し、第二判定工程１４の良否判定の結果が良である場合にはその結果を優先するなどのようにしてもよい。
【0066】
第一判定工程１３は、ワークＷが良である確率を演算する工程をさらに含んでいる。そして、第一判定工程１３では、上記演算により得られた確率と、その確率に対して予め定められた閾値とに基づいて、ワークＷが良であるか不良であるかの結果が得られる。具体的には、ワークＷが良である確率がパーセンテージで表わされると共に、閾値は例えば９０％に設定されている。従って、ワークＷを良であるとする確率が９０％以上である場合には、そのワークＷは良とされ、その確率が９０％未満である場合は、そのワークＷは不良とされる。
【0067】
図６は、第一判定工程１３で使用する良否判定学習モデルを構築する手順を示す概略のフローチャートである。同図に示すように、先ずステップＳ１１で、複数個（例えば１０００個以上）の学習用ワーク画像を収集する。これらの学習用ワーク画像は、複数個のワークＷの表面Ｗ１及び裏面Ｗ２（図１参照）をそれぞれ撮像手段２で撮像し、それらの撮像した画像から抽出したものである。この学習用ワーク画像を抽出する手順は図３に示す手順と同一であって、その処理は、処理部８の画像処理手段によって行われる。また、この抽出した学習用ワーク画像の態様は、図３（ｃ）に示すワーク画像Ｇ３の態様と同一である。そして、複数回に亘って抽出される複数個の学習用ワーク画像は、その都度、処理部８の記憶手段に記憶される。
【0068】
この場合、ステップＳ１２では、上記の抽出した学習用ワーク画像に基づいて、新たな学習用ワーク画像が作成される。具体的には、上記の抽出した複数個の学習用ワーク画像の全てまたは一部を、４５°、１３５°、２２５°、３１５°の角度ごとにそれぞれ画像面内で回転させる改変処理をすることで、新たな学習用ワーク画像を複数個作成する。この改変処理は、ワークＷの表面Ｗ１と裏面Ｗ２との少なくとも一方から抽出した学習用ワーク画像について行われる。また、これに代えてまたはこれと共に、上記の抽出した複数個の学習用ワーク画像の全てまたは一部を、その中央部を通る直線の両側で反転させる改変処理を、上記の直線の傾斜角度を複数に変更して行うことで、新たな学習用ワーク画像を複数個作成する。この改変処理も、ワークＷの表面Ｗ１と裏面Ｗ２との少なくとも一方から抽出した学習用ワーク画像について行われる。
【0069】
次に、ステップＳ１３で、収集した複数個の学習用ワーク画像と、新たに作成した学習用ワーク画像とを、良の学習用ワーク画像と、不良の学習用ワーク画像とに分類する。この分類は、作業者が、表示部１０に表示される学習用ワーク画像を見ながら入力部９を操作することによって行う。ここで、良の学習用ワーク画像とは、そのワーク画像中に欠陥の候補が全くないか、或いは、そのワーク画像中に欠陥の候補があっても、それが小さい等の理由によって欠陥に該当せず、ワークＷが不良にならないようなワーク画像である。また、不良の学習用ワーク画像とは、そのワーク画像中に少なくとも一個の欠陥の候補があり、そのうちの少なくとも一個が欠陥に該当して、ワークＷが不良になるようなワーク画像である。
【0070】
その後、ステップＳ１４で、良の学習用ワーク画像と、不良の学習用ワーク画像とを使用して、ディープラーニングによる学習で良否判定学習モデルを構築する。この良否判定学習モデルは、ニューラルネットワークによる学習モデルである。なお、この良否判定学習モデルの構築によって計算式が作成される。従って、厳密には、第一判定工程１３では、この計算式を用いてワークＷの良否判定が行われる。ここでのニューラルネットワークは、入力層と出力層との間に、入力層側から順に、第一の畳み込み層と、プーリング層と、第二の畳み込み層と、結合層と、ドロップアウト層とを含む４層を備えている。また、このニューラルネットワークは、上述の第一の畳み込み層の入力層側に、学習用ワーク画像をランダム加工する処理層を有している。さらに、このニューラルネットワークは、最も入力層側に存する結合層のニューロン数が５１２以下であって、且つ、フィルタサイズが５以上である。
【0071】
ここで、良の学習用ワーク画像を６０６７個、不良の学習用ワーク画像を４５００個として、ディープラーニングによる学習で良否判定学習モデルを構築した後、２０００個のワークＷについて、第一判定工程１３を行った。その結果、従来においては欠陥と認識できなかったために良と判定されていたワークＷを、正確に不良と判定したものが１７個存在していた。この正確な判定をしたワークＷの代表例を、図７（ａ）～図７（ｄ）に示す。
【0072】
図７（ａ）に示すワーク画像Ｇ３（１）では、ワークＷの貫通孔Ｗｈの内周縁部に欠けＺ１が発生している。図７（ｂ）に示すワーク画像Ｇ３（２）では、ワークＷの外周縁部に厚み方向にはみ出すバリＺ２が発生している。図７（ｃ）に示すワーク画像Ｇ３（３）では、ワークＷの貫通孔Ｗｈの内周縁部に厚み方向にはみ出すバリＺ３が発生している。上述の内周縁部の欠けＺ１、外周縁部の厚み方向にはみ出すバリＺ２、内周縁部の厚み方向にはみ出すバリＺ３は、何れも、欠陥と正確に認識されている。また、図７（ｄ）に示すワーク画像Ｇ３（４）では、ワークＷに黒点異物Ｚ４が散在して付着している。この図７（ｄ）に示す態様では、黒点異物Ｚ４の大きさ、個数、及び密集状態に応じて、欠陥であるか否かが認識されるが、図示の態様では、欠陥と正確に認識されている。これらの欠陥は、ワークＷが脆性を有し、特にセラミック焼結品であるため、予測できない欠陥である。そのため、これらを欠陥と認識することが、従来においては不可能であったが、本発明者等が、これらの欠陥に着目して、鋭意研究を重ねつつ上述の良否判定学習モデルを用いた結果、これらを欠陥と正確に認識できるようになった。
【0073】
また、従来においては、ワークＷの一部に付着した埃や塵を、欠陥と認識してしまう判定ミスが生じていた。しかしながら、本発明では、上記のように２０００個のワークについて、第一判定工程１３を行った結果、ワークＷに埃や塵が付着していても、そのワークＷのワーク画像Ｇ３からは、埃や塵が欠陥と認識されなくなった。これについても、本発明者等が、埃や塵に着目して、鋭意研究を重ねつつ上述の良否判定学習モデルを用いた結果、埃や塵を欠陥と認識してしまう判定ミスをなくすことができるようになった。
【0074】
第一判定工程１３を繰り返し行っている間には、第一判定工程１３での良否判定の正解率が低下していく場合がある。ここで、この実施形態では、良否判定が正解であるか否かは、作業者によって判断され、作業者は、その判断結果を入力部９を通じて処理部８に入力するようになっている。処理部８は、その判断結果を集計して正解率を算出し、表示部１０にその正解率を表示させることができる。この場合、正解率がどの程度まで低下したかの判断は、処理部８によって行うことができる。従って、処理部８が、その正解率が予め設定された所定値よりも低下したことを把握した場合には、第一判定工程１３を中断させることが好ましい。この第一判定工程１３の中断は、処理部８からの指令によって行わせることができる。なお、正解率が所定値よりも低下したことの判断や第一判定工程１３の中断は、作業者によって行うようにしてもよい。ここで、本発明者等は、この正解率の低下が、突発的に現われた不良のワーク画像Ｇ３によってもたされていることを知見した。ここでいう突発的に現われた不良のワーク画像Ｇ３とは、正解率が低下し始める以前に行われた全ての欠陥分類工程（後述する）において複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像Ｇ３を意味する。そこで、本発明者等は、この知見に基づいて、正解率が低下し始める以前には存在していなかった種類の欠陥を有する不良のワーク画像を用いて、良否判定学習モデルを更新するようにした。
【0075】
図８は、良否判定学習モデルを更新する手順の一例を示す概略のフローチャートである。同図に示すように、先ずステップＳ２１で、複数個の突発的に現れた不良のワーク画像を学習用ワーク画像として収集する。この学習用ワーク画像は、第一判定工程１３を行っている間に処理部８の記憶手段に記憶されていたものであって、表示部１０に表示された学習用ワーク画像を作業者が見ることで、突発的に現われた不良であるか否かを確認した上で収集される。この場合、ステップＳ２２で、上記の収集した学習用ワーク画像に基づいて、新たな学習用ワーク画像が作成される。具体的には、上記の収集した全て或いは一部の学習用ワーク画像を、４５°、１３５°、２２５°、３１５°の角度ごとにそれぞれ画像面内で回転させる改変処理を行うことで、新たな学習用ワーク画像を複数個作成する。また、これに代えてまたはこれと共に、上記の収集した学習用ワーク画像を、その中央部を通る直線の両側で反転させる改変処理を、上記の直線の傾斜角度を複数に変更して行うことで、新たな学習用ワーク画像を複数個作成する。この新たな学習用ワーク画像の作成は、処理部８の画像処理手段によって行われる。次に、ステップＳ２３で、上記の収集した学習用ワーク画像と、新たに作成した学習用ワーク画像とを使用して、ディープラーニングによる学習で良否判定学習モデルを更新する。そして、この更新された良否判定学習モデル（厳密には計算式）は、中断していた第一判定工程１３が再び行われる際に使用される。
【0076】
なお、上記の良否判定学習モデルの更新は、突発的に現れた不良のワーク画像Ｇ３だけでなく、それ以外の良否判定にミスがあったワーク画像Ｇ３も含めて、上記と同様の手順で行うようにしてもよい。また、このような良否判定学習モデルの更新は、定期的に行うようにしてもよい。
【0077】
図９は、第二判定工程１４で使用される機械学習を含まないアルゴリズムプログラムによる良否判定の概略の手順を示すフローチャートである。この良否判定は、ワークに存在する欠陥が何種類あるかが、予め行われたワークの欠陥検査によって知得された上で行われる。そして、複数種類の欠陥の態様は予め二値化画像として処理部８の記憶手段に記憶されている。同図は、９種類の欠陥がある場合を例示している。同図に示すステップＳ３１でのワークＷの撮像と、ステップＳ３２でのワーク画像Ｇ３の抽出とは、既に撮像工程１１とワーク画像抽出工程１２とで行われている（図４参照）。その後、ステップＳ３３～Ｓ４１で、ワーク画像Ｇ３に、第１～第９の欠陥の種類に該当する欠陥が存在しているか否かを順々に検査していく。ここで、第１～第９の欠陥の種類とは、例えば、欠け、割れ、バリ、黒色系異物、白色系異物、燃えカス、粉、繊維、窪みである。そして、ステップＳ３３～Ｓ４１の何れかで、該当する種類の欠陥が存在していることが判定された時点で、そのワークＷは不良として処理される。そして、何れのステップでも、該当する種類の欠陥が存在しないと判定された場合に限り、そのワークＷは良として処理される。ここでのワーク画像Ｇ３の欠陥検査は、ワーク画像Ｇ３を二値化して、処理部８の記憶手段に記憶されている二値化画像と対比しつつ、閾値を用いて判定することで行われる。この第二判定工程１４が複数回に亘って行われる場合には、全ての欠陥の種類について検査をしなくても済むのが大半であるため、処理の迅速化が図られ、作業効率が向上する。
【0078】
図１０は、第一判定工程１３と第二判定工程１４とから得られるワークＷの良否判定の結果が不良である場合の後処理の手順を示す概略のフローチャートである。同図に示すように、ワークＷが不良と判定された場合には、ステップＳ４１で、一個のワークＷについての二個のワーク画像Ｇ３の中から不良とされたワーク画像Ｇ３を取り込む。この不良とされたワーク画像Ｇ３は、図４のワーク画像抽出工程１２で既に抽出され且つ処理部８の記憶手段に記憶されていたワーク画像Ｇ３の中に存在していたものである。次に、ステップＳ４２で、取り込まれたワーク画像Ｇ３から欠陥画像を抽出する。この欠陥画像は、欠陥とその周辺領域のみとからなる部分画像である。具体的には、この欠陥画像は、後述する図１２～図１４に符号Ｇ４（１）～Ｇ４（６）で示すような画像であって、欠陥Ｚ５～Ｚ１０が、それぞれの欠陥画像Ｇ４（１）～Ｇ４（６）の中央に存在するように切り取られる。ここでのワークＷが不良であるか否かの判断は、処理部８の制御手段によって行われると共に、欠陥画像の抽出は、処理部８の画像処理手段によって行われる。
【0079】
その後、図１０のステップＳ４３で、ディープラーニングによる学習で構築された欠陥分類学習モデルを用いて、欠陥画像に存在する欠陥が、予め複数（例えば１０程度）に区分された欠陥の種類のうちの何れの種類に属するかを分類する欠陥分類工程を行う。ここでの欠陥の種類としては、欠け、割れ、バリ、黒色系の立体状異物、黒色系の平面状異物、白色系の立体状異物、白色系の平面状異物、燃えカス（黒色異物）、粉、繊維、窪みなどが挙げられる。そして、ステップＳ４４で、その欠陥が属する種類の欠陥個数を一個だけ加算する。この後は、複数の種類ごとの欠陥の累積個数を、その都度、表示部１０に棒グラフ等として表示させてもよく、ステップＳ４１～Ｓ４４を繰り返し実行した後に、表示部１０に棒グラフ等として表示させてもよい。そして、表示部１０を作業者が見ることで、どの種類の欠陥が多く、どの種類の欠陥が少ないかを知得することができる。このようにすることで、作業者は、ワークＷについての各種の製造条件のうち、どの製造条件が悪いか等を認識できるため、ワークＷに生じる欠陥を低減することができる。
【0080】
図１１は、欠陥分類工程で使用する欠陥分類学習モデルを構築する手順を示す概略のフローチャートである。同図に示すように、先ずステップＳ５１で、複数個（例えば１０００個以上）の不良のワーク画像を学習用ワーク画像として収集する。この不良のワーク画像は、上述の良否判定学習モデルを構築する際に処理部８の記憶手段に記憶されていた複数個のワーク画像Ｇ３から選択したものである。不良のワーク画像であることの識別は、作業者が表示部１０に表示されたワーク画像を見ることで行う。次に、ステップＳ５２で、複数個の学習用ワーク画像から学習用欠陥画像をそれぞれ抽出して収集する。この学習用欠陥画像は、欠陥とその周辺領域のみとからなる部分画像である。この学習用欠陥画像の態様は、後述する図１２～図１４に符号Ｇ４（１）～Ｇ４（６）で示す画像の態様と同一である。この学習用欠陥画像を抽出する処理は、処理部８の画像処理手段によって行われる。
【0081】
この場合、ステップＳ５３では、上記の抽出した学習用欠陥画像に基づいて、新たな学習用欠陥画像が作成される。具体的には、上記の抽出した複数個の学習用欠陥画像の全てまたは一部を、４５°、１３５°、２２５°、３１５°の角度ごとにそれぞれ画像面内で回転させる改変処理を行うことで、新たな学習用欠陥画像を複数個作成する。また、これに代えてまたはこれと共に、上記の抽出した複数個の学習用欠陥画像の全てまたは一部を、その中央を通る直線の両側で反転させる改変処理を、上記の直線の傾斜角度を複数に変更して行うことで、新たな学習用欠陥画像を複数個作成する。この新たな学習用欠陥画像の作成は、処理部８の画像処理手段によって行われる。
【0082】
その後、ステップＳ５４で、上記の抽出した複数個の学習用欠陥画像と、新たに作成した複数個の学習用欠陥画像とを、複数の種類に分類して、種類ごとに複数個の学習用欠陥画像を得る。ここでの分類は、作業者が表示部１０に表示された学習用欠陥画像を見ることによって行う。その後、ステップＳ５５で、種類ごとの複数個の学習用欠陥画像を使用して、ディープラーニングによる学習で欠陥分類学習モデルを構築する。この欠陥分類学習モデルは、ニューラルネットワークによる学習モデルである。なお、この欠陥分類学習モデルの構築によって計算式が作成される。ここでのニューラルネットワークは、入力層と出力層との間に、入力層側から順に、８層の畳み込み層と、結合層と、ソフトマックス層とを含む３層を備えている。また、このニューラルネットワークは、最も入力層側に存する結合層のニューロン数が５１２以下であり、且つ、フィルタサイズが３以上である。
【0083】
ここで、１５０００個以上の学習用欠陥画像を使用して、ディープラーニングによる学習で欠陥分類学習モデルを構築した後、その欠陥分類学習モデル（厳密には計算式）を使用して、欠陥分類工程を行った。その結果、従来においては正確な分類が困難或いは不可能であった欠陥画像であるにも関わらず、正確に分類できるようになったものが多数存在していた。そのような欠陥画像の代表例を、図１２～図１４に示す。
【0084】
図１２（ａ）に示す欠陥画像Ｇ４（１）では、欠陥の種類が割れＺ５であって、図１２（ｂ）に示す欠陥画像Ｇ４（２）では、欠陥の種類が黒色異物Ｚ６である。この両者Ｚ５、Ｚ６は、何れも黒色に見えるため、従来は判別ができなかった。しかし、本発明に係る欠陥分類工程では、割れＺ５の形状的特徴と、黒色異物Ｚ６の形状的特徴とから、この両者Ｚ５、Ｚ６を異なる種類に正確に分類することができるようになった。
【0085】
図１３（ａ）に示す欠陥画像Ｇ４（３）では、欠陥の種類が白色系の立体状異物Ｚ７であって、図１３（ｂ）に示す欠陥画像Ｇ４（４）では、欠陥の種類が白色系の平面状異物Ｚ８である。この両者Ｚ７、Ｚ８は、何れも白色に見えるため、従来は判別ができなかった。しかし、本発明に係る欠陥分類工程では、立体状異物Ｚ７については影があり、平面状異物Ｚ８については影がないため、この両者Ｚ７、Ｚ８を異なる種類に正確に分類することができるようになった。
【0086】
図１４（ａ）に示す欠陥画像Ｇ４（５）では、欠陥の種類が黒色系の立体状異物Ｚ９であって、図１４（ｂ）に示す欠陥画像Ｇ４（６）では、欠陥の種類が黒色系の平面状異物Ｚ１０である。この両者Ｚ９、Ｚ１０は、何れも黒色に見えるため、従来は判別ができなかった。しかし、本発明に係る欠陥分類工程では、立体状異物Ｚ９については一様に黒色ではなく、平面状異物Ｚ１０については一様に黒色であるため、この両者Ｚ９、Ｚ１０を異なる種類に正確に分類することができるようになった。
【0087】
なお、欠陥分類工程を繰り返し行っている間に、分類ミスが生じたり、突発的な欠陥が現れることによって、欠陥分類の正解率が低下した場合には、図８に示した良否判定学習モデルの更新と同様の要領で、欠陥分類学習モデルを更新するようにしてもよい。また、この欠陥分類学習モデルの更新は、定期的に行うようにしてもよい。ここで、突発的な欠陥とは、正解率が低下し始める以前に行われた全ての欠陥分類工程において複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を意味する。
【0088】
図１５は、この実施形態に係るワーク検査システム１をより詳細に示す概略構成図である。同図に示すように、ワーク検査システム１は、ワークＷを撮像する上述の撮像手段２と、撮像手段２からの信号を受けてワーク画像抽出工程１２を行うワーク画像抽出処理部１５と、ワーク画像抽出処理部１５で抽出されたワーク画像に基づいて第一判定工程１３を行う第一判定処理部１６と、ワーク画像抽出処理部１５で抽出されたワーク画像に基づいて第二判定工程１４を行う第二判定処理部１７とを備える。この場合、ワーク画像抽出処理部１５、第一判定処理部１６及び第二判定処理部１７は、何れも、図２に示す処理部８に備えられている。
【0089】
さらに、このワーク検査システム１は、第一判定処理部１６及び第二判定処理部１７での判定結果が不良である場合に、不良のワーク画像から欠陥画像を抽出する欠陥画像抽出処理部１８と、欠陥画像抽出処理部１８で抽出された欠陥画像に基づいて上述の欠陥分類工程を行う欠陥分類処理部１９とを備える。この欠陥画像抽出処理部１８及び欠陥分類処理部１９も、図２に示す処理部８に備えられている。
【0090】
従って、このワーク検査システム１におけるワーク画像抽出処理部１５、第一判定処理部１６、第二判定処理部１７、欠陥画像抽出処理部１８及び欠陥分類処理部１９での各動作やこれら相互間を接続する一連の動作は、例えば、コンピュータプログラムを実行するためのＣＰＵ等の制御手段（画像処理手段等を含む）や、メモリやハードディスク等の記憶手段などを有する電子情報処理装置によって実行される。
【0091】
以上の実施形態では、脆性を有するワークＷの形状が円板状または円柱状であるが、四角形或いは多角形の板状や柱状であってもよく、また貫通孔は二個以上であってもよく或いはなくてもよい。
【0092】
以上の実施形態では、機械学習のアルゴリズムが、ディープラーニングであるが、いわゆる教師あり学習であれば他の機械学習であってもよい。
【0093】
以上の実施形態における第二判定工程（第二判定処理部）での各処理は、上述したものに限定されるものではなく、機械学習を含まないアルゴリズムを用いるものであれば、他の各処理を行うものであってもよい。
【0094】
以上の実施形態では、第一判定工程１３（第一判定処理部１６）と、第二判定工程１４（第二判定処理部１７）との二つで、ワークＷの良否判定を行うようにしたが、第二判定工程１４（第二判定処理部１７）を廃止して、第一判定工程１３（第一判定処理部１６）のみでワークＷの良否判定を行うようにしてもよい。
【符号の説明】
【0095】
１ ワーク検査システム
２ 撮像手段
３ 透明基板
１１ 撮像工程
１２ ワーク画像抽出工程
１３ 第一判定工程
１４ 第二判定工程
１５ ワーク画像抽出処理部
１６ 第一判定処理部
１７ 第二判定処理部
１８ 欠陥画像抽出処理部
１９ 欠陥分類処理部
Ｗ ワーク
Ｗ１ ワークの表面
Ｗ２ ワークの裏面
Ｇ３ ワーク画像
Ｇ４ 欠陥画像
Ｚ１０ 平面状異物
Ｚ２ バリ
Ｚ３ バリ
Ｚ４ 黒点異物
Ｚ５ 割れ
Ｚ６ 黒色異物
Ｚ７ 白色系の立体状異物
Ｚ８ 白色系の平面状異物
Ｚ９ 黒色系の立体状異物
Ｚ１０ 黒色系の平面状異物
２ 撮像手段
３ 透明基板
１１ 撮像工程
１２ ワーク画像抽出工程
１３ 第一判定工程
１４ 第二判定工程
１５ ワーク画像抽出処理部
１６ 第一判定処理部
１７ 第二判定処理部
１８ 欠陥画像抽出処理部
１９ 欠陥分類処理部
Ｗ ワーク
Ｗ１ ワークの表面
Ｗ２ ワークの裏面
Ｇ３ ワーク画像
Ｇ４ 欠陥画像
Ｚ１０ 平面状異物
Ｚ２ バリ
Ｚ３ バリ
Ｚ４ 黒点異物
Ｚ５ 割れ
Ｚ６ 黒色異物
Ｚ７ 白色系の立体状異物
Ｚ８ 白色系の平面状異物
Ｚ９ 黒色系の立体状異物
Ｚ１０ 黒色系の平面状異物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】