特開 2022-170299 欠陥検査システムの自動学習方法及び学習モデル評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022170299

(43)【公開日】2022-11-10

(54)【発明の名称】欠陥検査システムの自動学習方法及び学習モデル評価方法

(51)【国際特許分類】

   G01N 21/954 20060101AFI20221102BHJP

【ＦＩ】

G01N21/954 A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021076344

(22)【出願日】2021-04-28

(71)【出願人】

【識別番号】591224744

【氏名又は名称】シグマ株式会社

(74)【代理人】

【識別番号】100132964

【弁理士】

【氏名又は名称】信末 孝之

(74)【代理人】

【識別番号】100074055

【弁理士】

【氏名又は名称】三原 靖雄

(72)【発明者】

【氏名】江崎 泰史

(72)【発明者】

【氏名】石倉 靖大

(72)【発明者】

【氏名】湯川 正洋

(72)【発明者】

【氏名】山川 博

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA07

2G051AB02

2G051AC15

2G051BA10

2G051BC07

2G051CB01

2G051CC01

2G051EB01

2G051EB05

2G051EC01

(57)【要約】

【課題】欠陥部位と誤判定部位との差を画像認識技術により判定するＡＩ学習モデルの精度を効率的に上げることが可能な、欠陥検査システムの自動学習方法を提供する。
【解決手段】被検査体からの取得画像により欠陥候補４を検出する検査装置１と、検査装置１の検出結果を再判定する第１の学習モデル１０と、第１の学習モデル１０の判定結果を再判定する第２の学習モデル２０とを備えた欠陥検査システムの自動学習方法であって、第１の学習モデル１０が、欠陥装置１が検出した欠陥候補４を再判定して、第１の適合判定データ１１と第１の欠陥判定データ１２とに分類する第１ステップと、第２の学習モデル２０が、第１の欠陥判定データ１２を再判定して、第２の適合判定データ２１と第２の欠陥判定データ２２とに分類する第２ステップと、第２の適合判定データ２１及び学習用欠陥データ５を第１の学習モデル１０に学習させる第３ステップと、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

被検査体からの取得画像により欠陥候補を検出する検査装置と、該検査装置の検出結果を再判定する第１の学習モデルと、該第１の学習モデルの判定結果を再判定する第２の学習モデルとを備えた欠陥検査システムの自動学習方法であって、
前記第１の学習モデルが、前記欠陥装置が検出した欠陥候補を再判定して、第１の適合判定データと第１の欠陥判定データとに分類する第１ステップと、
前記第２の学習モデルが、前記第１の欠陥判定データを再判定して、第２の適合判定データと第２の欠陥判定データとに分類する第２ステップと、
前記第２の適合判定データ及び学習用欠陥データを前記第１の学習モデルに学習させる第３ステップと、
を有することを特徴とする欠陥検査システムの自動学習方法。

【請求項2】

第３の分類手段が、前記第２の欠陥判定データを再判定して、第３の適合判定データと第３の欠陥判定データとに分類する第４ステップを有し、
前記第３の欠陥判定データを前記学習用欠陥データとすることを特徴とする請求項１に記載の欠陥検査システムの自動学習方法。

【請求項3】

第３の分類手段が、前記第２の欠陥判定データを再判定して、第３の適合判定データと第３の欠陥判定データとに分類する第４ステップと、
前記第３の適合判定データ及び前記学習用欠陥データを前記第２の学習モデルに学習させる第５ステップと、
を有することを特徴とする請求項１に記載の欠陥検査システムの自動学習方法。

【請求項4】

請求項１乃至請求項３のうちいずれか１つに記載の欠陥検査システムの自動学習方法において、学習後の第１の学習モデルに過去の判定済データを再判定させて評価することを特徴とする学習モデル評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検査体からの取得画像により欠陥検査を行う欠陥検査システムに関するものである。

【背景技術】

【0002】

従来、エンジン部品等の被検査体の円筒状内面に存在する鋳巣、傷、バリなどの欠陥部位の検査の多くは、検査員の目視検査に頼っている。目視検査は多くの人手がかかるためコスト増の要因となり、品質のバラツキにも問題がある。

【0003】

これに対して、欠陥部位の検査を自動化した装置として、被検査体の内面に当てたレーザ光の反射光量を測定しながら内面全体を走査して測定した反射光量によって画像を形成し、得られた画像から欠陥部位の有無を判定する内面検査装置が提案されている。例えば、特許文献１には、判定対象部位からまず欠陥部位候補を検出し、検出した欠陥部位候補の中から、形状、大きさ、位置関係といった絞り込み条件に基づいて、欠陥部位を絞り込むようにして、欠陥部位の判定精度を高めるようにした内面検査装置に関する発明が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１０１９３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の検査装置では、取得した画像から欠陥部位を検出する際に、正常部位を欠陥部位として判定する、いわゆる過検出の問題があった。例えば、欠陥判定条件を取得画像における暗部の縦横サイズ、面積等とした場合、欠陥である「鋳巣」と欠陥ではない「洗浄痕」とは判別が難しい。また、ドリル痕なども欠陥として誤判定してしまうこともある。

【0006】

これに対して、欠陥部位と誤判定部位との差を画像認識技術により判定するＡＩ学習モデルを作成することが考えらえる。ＡＩ学習モデルの作成には、機械学習をさせるための学習用データを大量に用意する必要がある。しかしながら、例えば数千～数万のデータを人が目視で欠陥部位と誤判定部位とに分類して学習用データを作成するためには、非常に時間がかかりコスト増の要因となる。また誤分類をしてしまうと、学習モデルの精度が上がらない。また、数千～数万のデータのうち欠陥部位の数は極端に少ないため、学習モデル作成に必要な欠陥部位のデータが足りず、学習モデルの精度が上がらない。

【0007】

また、検査装置の経年劣化やレーザ受光部の汚れ等により取得画像の質が低下していくと、質の低い画像が学習用データとして使われてしまうため、学習モデルの精度が上がらなくなってしまう。

【0008】

また、作成した学習モデルの適切な評価を行う仕組みがなければ、学習モデルの精度を上げるための機械学習が適切に行われているかどうか、実際の欠陥検査への適用が可能かどうかといった判断ができない。

【0009】

本発明は、上記従来の課題を解決するものであり、欠陥部位と誤判定部位との差を画像認識技術により判定するＡＩ学習モデルの精度を効率的に上げることが可能な、欠陥検査システムの自動学習方法を提供するものである。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明の欠陥検査システムの自動学習方法は、被検査体からの取得画像により欠陥候補を検出する検査装置と、該検査装置の検出結果を再判定する第１の学習モデルと、該第１の学習モデルの判定結果を再判定する第２の学習モデルとを備えた欠陥検査システムの自動学習方法であって、前記第１の学習モデルが、前記欠陥装置が検出した欠陥候補を再判定して、第１の適合判定データと第１の欠陥判定データとに分類する第１ステップと、前記第２の学習モデルが、前記第１の欠陥判定データを再判定して、第２の適合判定データと第２の欠陥判定データとに分類する第２ステップと、前記第２の適合判定データ及び学習用欠陥データを前記第１の学習モデルに学習させる第３ステップと、を有することを特徴とする。

【0011】

また好ましくは、第３の分類手段が、前記第２の欠陥判定データを再判定して、第３の適合判定データと第３の欠陥判定データとに分類する第４ステップを有し、前記第３の欠陥判定データを前記学習用欠陥データとすることを特徴とする。

【0012】

また好ましくは、第３の分類手段が、前記第２の欠陥判定データを再判定して、第３の適合判定データと第３の欠陥判定データとに分類する第４ステップと、前記第３の適合判定データ及び前記学習用欠陥データを前記第２の学習モデルに学習させる第５ステップと、を有することを特徴とする。

【0013】

本発明の学習モデル評価方法は、本発明の欠陥検査システムの自動学習方法において、学習後の第１の学習モデルに過去の判定済データを再判定させて評価することを特徴とする。

【発明の効果】

【0014】

本発明の欠陥検査システムの自動学習方法は、被検査体からの取得画像により欠陥候補を検出する検査装置と、検査装置の検出結果を再判定する第１の学習モデルと、第１の学習モデルの判定結果を再判定する第２の学習モデルとを備えた欠陥検査システムの自動学習方法である。そして、第１ステップで第１の学習モデルが、欠陥装置が検出した欠陥候補を再判定して、第１の適合判定データと第１の欠陥判定データとに分類し、第２ステップで第２の学習モデルが、第１の欠陥判定データを再判定して、第２の適合判定データと第２の欠陥判定データとに分類し、第３ステップで第２の適合判定データ及び学習用欠陥データを第１の学習モデルに学習させるようになっている。従って、第１ステップ、第２ステップ、第３ステップを繰り返すことにより、第１の学習モデルに良質で大量の学習用データを学習させることができ、第１の学習モデルの精度を効率的に上げることができる。

【0015】

また、第４ステップで第３の分類手段が、第２の欠陥判定データを再判定して、第３の適合判定データと第３の欠陥判定データとに分類し、第３の欠陥判定データを学習用欠陥データとする場合には、第１の学習モデルに良質で大量の学習用欠陥データを学習させることができる。

【0016】

また、第４ステップで第３の分類手段が、第２の欠陥判定データを再判定して、第３の適合判定データと第３の欠陥判定データとに分類し、第５ステップで第３の適合判定データ及び学習用欠陥データを第２の学習モデルに学習させる場合には、第２の学習モデルに良質で大量の学習用データを学習させて第２の学習モデルの精度を効率的に上げ、さらに第１の学習モデルの精度を効率的に上げることができる。

【0017】

本発明の学習モデル評価方法は、本発明の欠陥検査システムの自動学習方法において、学習後の第１の学習モデルに過去の判定済データを再判定させて評価するものであり、作成した学習モデルを適切に評価し、学習モデルの精度を上げるための機械学習が適切に行われているかどうか、実際の欠陥検査への適用が可能かどうかといった判断をすることができる。

【0018】

このように、本発明の欠陥検査システムの自動学習方法によれば、欠陥部位と誤判定部位との差を画像認識技術により判定するＡＩ学習モデルの精度を効率的に上げることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態に係る欠陥検査システムの検査の流れを示す図である。

【図2】本発明の実施形態に係る欠陥検査システムの自動学習方法の流れを示す図である。

【発明を実施するための形態】

【0020】

次に、図１及び図２を参照して、本発明の実施形態に係る欠陥検査システムの自動学習方法について説明する。本実施形態に係る欠陥検査システムは、被検査体の内面に当てたレーザ光の反射光量を測定しながら内面全体を走査して測定した反射光量によって画像を形成し、得られた画像から欠陥部位の有無を判定する内面検査装置である。

【0021】

図１は、本実施形態に係る欠陥検査システムの検査の流れを示す図である。まず、（Ａ）検査装置のプローブ１が検査開始位置に移動し、（Ｂ）プローブ１の先端がレーザ光を照射しながら回転して被検査体２の内面をスキャンし、（Ｃ）受光量の変化から欠陥候補を検出する。欠陥候補の検出においては、取得画像における暗部の縦横サイズ、面積等を判定条件とすることができる。検出された欠陥候補には、欠陥部位及び誤判定部位の両方が含まれている。

【0022】

そして、（Ｄ）欠陥部位と誤判定部位との差を画像認識技術により判定するＡＩ学習モデル３により検査装置が検出した欠陥候補を再判定し、（Ｅ）欠陥の有無で被検査体のＯＫ／ＮＧを判定する。

【0023】

なお、ＡＩ学習モデル３は、ニューラルネットワークの中でも中間層があり、検査装置からの取得画像の特徴量を自動で抽出することの可能なディープラーニングを行うものであり、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）等の公知技術を適用することができる。

【0024】

次に、ＡＩ学習モデル３の精度を上げるための自動学習方法について説明する。図２は、本実施形態に係る欠陥検査システムの自動学習方法の流れを示す図であり、検査装置１、第１の学習モデル１０、第２の学習モデル２０及び第３の分類手段３０を備えている。自動学習の最終的な目標は、第１の学習モデル１０の精度を上げて、図１に示すＡＩ学習モデル３として使用することである。

【0025】

検査装置１は、被検査体からの取得画像により欠陥候補を検出するものである。第１の学習モデル１０は、検査装置１の検出結果を再判定するものである。第２の学習モデル２０は、第１の学習モデルの判定結果を再判定するものである。第３の分類手段は、第２の学習モデル２０の判定結果を分類するものである。

【0026】

（第１ステップ）
第１ステップでは、検査装置１が検出した欠陥候補４を、第１の学習モデル１０が再判定して、第１の適合判定データ１１と第１の欠陥判定データ１２とに分類する。検査装置１が検出した欠陥候補４には、欠陥部位ではないデータ（誤判定データ）が含まれており、第１の学習モデル１０が再判定することにより、欠陥候補４の中から欠陥部位ではないデータが第１の適合判定データ１１として分離される。これにより、欠陥候補４に含まれる誤判定データよりも、第１の欠陥判定データ１２に含まれる誤判定データは少なくなる。

【0027】

（第２ステップ）
第２ステップでは、第１の学習モデル１０が分類した第１の欠陥判定データ１２を、第２の学習モデルが再判定して、第２の適合判定データ２１と第２の欠陥判定データ２２とに分類する。第１の学習モデル１０が分類した第１の欠陥判定データ１２には、欠陥部位ではないデータ（誤判定データ）が含まれており、第２の学習モデル２０が再判定することにより、第１の欠陥判定データ１２の中から欠陥部位ではないデータが第２の適合判定データ２１として分離される。これにより、第１の欠陥判定データ１２に含まれる誤判定データよりも、第２の欠陥判定データ２２に含まれる誤判定データは少なくなる。

【0028】

（第３ステップ）
第３ステップでは、第２の適合判定データ２１及び学習用欠陥データ５を第１の学習モデル１０に学習させる。第２の適合判定データ２１は、第１の学習モデル１０が欠陥と判定したもののうち、第２の学習モデル２０が適合と判定したものである。また、学習用欠陥データ５は、過去の欠陥データを蓄積したものを用いることができ、さらに後述する第４ステップで得られた第３の欠陥判定データ３２を用いることができる。また、検査装置を使用する側が、明らかに欠陥として判定させたい種類のデータを、学習用欠陥データとして指定しておくこともできる。

【0029】

検査装置１による欠陥候補の検出が行われる度に、第１ステップ、第２ステップ、第３ステップを繰り返すことにより、第１の学習モデル１０に良質で大量の学習用データを学習させることができ、第１の学習モデル１０の精度を効率的に上げることができる。

【0030】

（第４ステップ）
第４ステップでは、第２の学習モデル２０が分類した第２の欠陥判定データ２２を、第３の分類手段３０が再判定して、第３の適合判定データ３１と第３の欠陥判定データ３２とに分類する。第２の学習モデル２０が分類した第２の欠陥判定データ２２には、欠陥部位ではないデータ（誤判定データ）が含まれており、第３の分類手段３０が再判定することにより、第２の欠陥判定データ２２の中から欠陥部位ではないデータが第３の適合判定データ３１として分離される。これにより、第２の欠陥判定データ２２に含まれる誤判定データよりも、第３の欠陥判定データ３２に含まれる誤判定データは少なくなる。また、第３の欠陥判定データ３２は、第３ステップで第１の学習モデル１０に学習させる学習用欠陥データ５として用いられる。

【0031】

ここで、第３の分類手段３０は、クラスタリングによる分類とすることができる。クラスタリングは、教師なし学習に該当し、ＡＩが取得画像から特徴量を抽出し特徴量が類似している画像データごとにグルーピングして分類していくものである。学習用データを用意する必要がないため、比較的短時間でかつ労力をかけずにグルーピングすることが可能である。また、グルーピングに際し、人間が判断するのに比べて分類ミスが少ない ためバラツキを少なくすることができ、さらに人間が判断するのとは異なる特徴 量を見つけることも考えられる。

【0032】

一方、分類されたグループが適合判定データ及び欠陥判定データのいずれに該当するかについては、グルーピングのあとで別途人間が判断する必要がある。ただし、各々のグループの内容を比較して、適合と欠陥いずれのデータに該当するかを自動的に判断するような仕組みを別に構成してもよい。

【0033】

第３の分類手段３０を、第１の学習モデル１０及び第２の学習モデル２０とは異なる分類手段とすることにより、新たな視点で学習用データを得られるため、さらなる精度の向上につながるものと考えられる。

【0034】

（第５ステップ）
第５ステップでは、第３の適合判定データ３１及び学習用欠陥データ５を第２の学習モデル２０に学習させる。第３の適合判定データ３１は、第２の学習モデル２０が欠陥と判定したもののうち、第３の分類手段３０が適合と判定したものである。また、学習用欠陥データ５は、第３ステップにおいて第１の学習モデル１０に学習させるものと同一である。

【0035】

検査装置１による欠陥候補の検出が行われる度に、第２ステップ、第４ステップ、第５ステップを繰り返すことにより、第２の学習モデル２０に良質で大量の学習用データを学習させることができ、第２の学習モデル２０の精度を効率的に上げることができる。そして、第２の学習モデル２０の精度向上により、第１の学習モデル１０の精度がさらに向上していく。

【0036】

このように、第１の学習モデル１０及び第２の学習モデル２０という２種類の学習モデルを組み合わせることにより、第１の学習モデル１０に対して誤分類のない良質で大量の学習用データを提供し、精度を上げていくことができる。

【0037】

また、ＡＩ学習モデル（第１の学習モデル１０、第２の学習モデル２０）とクラスタリング（第３の分類手段３０）とを組み合わせることにより、効率よく学習用データを分類できるとともに、新たな視点で学習用データを得て、さらなる精度向上につながるものと考えられる。
ことができる。

【0038】

（劣化画像除外）
次に、劣化画像除外について説明する。検査装置１の経年劣化やレーザ受光部の汚れ等により取得画像の質が低下していくと、質の低い画像が学習用データとして使われてしまうため、学習モデルの精度が上がらなくなってしまう。そこで、被検査体２からの取得画像を正常画像と劣化画像とに分類し、劣化画像を学習用データから除外する構成とすることができる。

【0039】

正常画像と劣化画像との判定基準としては、取得画像が徐々に暗くなった場合や、取得画像が徐々にぼやけてきた場合等とすることができ、学習モデルの精度が低下すると考えられる閾値を予め設定しておく。そして、閾値を超えたら劣化画像であると判定し、学習用データから除外する。劣化画像だけを除外しながら自動学習を継続することもできるが、自動学習自体を停止してもよい。その際には、管理者にメンテナンス時期を通知するメールを送信するなどして知らせることに用いることもできる。

【0040】

正常画像と劣化画像との判定は、例えば第２の学習モデル２０にデータが送られてきた段階で行うことができるが、その他のステップにおいて行ってもよい。さらに、正常画像と劣化画像とを判定する劣化画像判定学習モデルを構成して用いることもできる。

【0041】

（学習モデル評価）
次に、学習モデル評価について説明する。作成した学習モデルの適切な評価を行う仕組みがなければ、学習モデルの精度を上げるための機械学習が適切に行われているかどうか、実際の欠陥検査への適用が可能かどうかといった判断ができない。そこで、学習後の第１の学習モデルに過去の判定済データを再判定させて評価する構成とすることができる。

【0042】

評価の指標としては、過剰判定率を用いることができる。学習前の第１の学習モデルと比べて学習後の第１の学習モデルによる過剰判定率が低ければ、過剰判定率が改善されていることになる。このとき、作成した学習モデルに再判定させる過去の判定済データは、出来るだけ直近のデータを使用することが好ましい。また、過剰判定率の比較評価にあたっては、欠陥の見逃しはない前提で行う。

【0043】

なお、学習モデルは、欠陥及び過検出の種類毎に複数作成することができる。また、同種の欠陥及び過検出を判定する学習モデルを複数用意して、ＯＲ条件で該当したデータを分類していくこともできる。

【0044】

本実施形態に係る欠陥検査システムの自動学習方法は、被検査体１からの取得画像により欠陥候補４を検出する検査装置１と、検査装置１の検出結果を再判定する第１の学習モデル１０と、第１の学習モデル１０の判定結果を再判定する第２の学習モデル２０とを備えた欠陥検査システムの自動学習方法である。そして、第１ステップで第１の学習モデル１０が、欠陥装置１が検出した欠陥候補４を再判定して、第１の適合判定データ１１と第１の欠陥判定データ１２とに分類し、第２ステップで第２の学習モデル２０が、第１の欠陥判定データ１２を再判定して、第２の適合判定データ２１と第２の欠陥判定データ２２とに分類し、第３ステップで第２の適合判定データ２１及び学習用欠陥データ５を第１の学習モデル１０に学習させるようになっている。従って、第１ステップ、第２ステップ、第３ステップを繰り返すことにより、第１の学習モデル１０に良質で大量の学習用データを学習させることができ、第１の学習モデル１０の精度を効率的に上げることができる。

【0045】

また、第４ステップで第３の分類手段３０が、第２の欠陥判定データ２２を再判定して、第３の適合判定データ３１と第３の欠陥判定データ３２とに分類し、第３の欠陥判定データ３２を学習用欠陥データ５とするので、第１の学習モデル１０に良質で大量の学習用欠陥データを学習させることができる。

【0046】

また、第４ステップで第３の分類手段３０が、第２の欠陥判定データ２２を再判定して、第３の適合判定データ３１と第３の欠陥判定データ３２とに分類し、第５ステップで第３の適合判定データ３１及び学習用欠陥データ５を第２の学習モデル２０に学習させるので、第２の学習モデル２０に良質で大量の学習用データを学習させて第２の学習モデル２０の精度を効率的に上げ、さらに第１の学習モデル１０の精度を効率的に上げることができる。

【0047】

また、被検査体１からの取得画像を正常画像と劣化画像とに分類し、劣化画像を学習用データから除外するので、低質の画像が学習用データとして使われないようにして、学習モデルの精度低下を防止することができる。

【0048】

また、学習後の第１の学習モデル１０に過去の判定済データを再判定させて評価するので、作成した学習モデルを適切に評価し、学習モデルの精度を上げるための機械学習が適切に行われているかどうか、実際の欠陥検査への適用が可能かどうかといった判断をすることができる。

【0049】

このように、本実施形態に係る発明の欠陥検査システムの自動学習方法によれば、欠陥部位と誤判定部位との差を画像認識技術により判定するＡＩ学習モデルの精度を効率的に上げることができる。

【0050】

以上、本発明の実施形態に係る欠陥検査システムの自動学習方法について説明したが、本発明は上述した実施の形態に限定されるわけではなく、その他種々の変更が可能である。

【0051】

例えば、上記実施形態では、欠陥検査システムを、被検査体の内面に当てたレーザ光の反射光量を測定しながら内面全体を走査して測定した反射光量によって画像を形成し、得られた画像から欠陥部位の有無を判定する内面検査装置としたが、被検査体からの取得画像により欠陥候補を検出する検査装置であれば、これに限定されるものではない。

【符号の説明】

【0052】

１ 検査装置（プローブ）
２ 被検査体
３ ＡＩ学習モデル
４ 欠陥候補
５ 学習用欠陥データ
１０ 第１の学習モデル
１１ 第１の適合判定データ
１２ 第１の欠陥判定データ
２０ 第２の学習モデル
２１ 第２の適合判定データ
２２ 第２の欠陥判定データ
３０ 第３の分類手段
３１ 第３の適合判定データ
３２ 第３の欠陥判定データ

【図1】

【図2】