(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-16
(45)【発行日】2023-02-27
(54)【発明の名称】検査装置及び検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20230217BHJP
G06T 7/00 20170101ALI20230217BHJP
【FI】
G01N21/88 J
G06T7/00 610Z
(21)【出願番号】P 2021511709
(86)(22)【出願日】2019-03-29
(86)【国際出願番号】 JP2019014229
(87)【国際公開番号】W WO2020202332
(87)【国際公開日】2020-10-08
【審査請求日】2021-10-22
(73)【特許権者】
【識別番号】519365067
【氏名又は名称】Musashi AI株式会社
(74)【代理人】
【識別番号】100091487
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100103263
【氏名又は名称】川崎 康
(72)【発明者】
【氏名】村田 宗太
(72)【発明者】
【氏名】藤田 圭佑
(72)【発明者】
【氏名】神谷 文久
【審査官】清水 靖記
(56)【参考文献】
【文献】特開平09-264856(JP,A)
【文献】特許第3140177(JP,B2)
【文献】特開2018-151843(JP,A)
【文献】特開2013-140040(JP,A)
【文献】特開2017-211259(JP,A)
【文献】特開2018-005639(JP,A)
【文献】特開2011-145179(JP,A)
【文献】特開昭63-215954(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G01B 11/00 - G01B 11/30
G06N 20/00 - G06N 20/20
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成するか、或いは前記学習モデルを取得する学習部と、
前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの
良品又は不良品の可能性の高さを数値化した数値データを出力する算出部と、
前記数値データを
、第1閾値と前記第1閾値よりも大きい第2閾値とを含む二種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定する決定部と、
前記数値データが前記第1閾値と前記第2閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成するか、或いは前記再学習モデルを取得する再学習部と、
前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力し直す再算出部と、を備え、
前記決定部は、前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第1閾値及び前記第2閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定する、検査装置。
【請求項2】
複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記
二種類以上の閾値を算出する閾値算出部を備える、請求項1に記載の検査装置。
【請求項3】
前記閾値算出部は、前記複数の数値データの統計処理により、前記
二種類以上の閾値を算出する、請求項2に記載の検査装置。
【請求項4】
前記決定部は、前記数値データが前記第1閾値よりも小さいか、又は前記数値データが前記第2閾値よりも大きい場合には、
前記決定部による決定を行わずに、前記検査対象物のタイプを自動判別することを決定する、請求項
1乃至3のいずれか一項に記載の検査装置。
【請求項5】
前記決定部は、前記検査対象物の固有情報の種類ごとに設定される前記第1閾値及び前記第2閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定する、請求項
1乃至4のいずれか一項に記載の検査装置。
【請求項6】
前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
前記固有情報は、良品及び不良品の欠陥サイズを含む、請求項
1乃至5のいずれか一項に記載の検査装置。
【請求項7】
前記第1閾値と前記第2閾値との間に含まれる前記数値データの割合が第3閾値未満になったか否かを判定し、前記割合が前記第3閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断する実用レベル判断部を備える、請求項
1乃至6のいずれか一項に記載の検査装置。
【請求項8】
前記決定部は、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第4閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定する、請求項1乃至
7のいずれか一項に記載の検査装置。
【請求項9】
前記検査対象物を複数の方向から撮影する撮影部を備え、
前記学習部は、前記撮影部で撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いる、請求項1乃至
8のいずれか一項に記載の検査装置。
【請求項10】
複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化する可視化部を備える、請求項1乃至
9のいずれか一項に記載の検査装置。
【請求項11】
コンピュータにて、検査対象物の検査を行う検査方法であって、
前記コンピュータに、
前記検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成させるか、或いは前記学習モデルを取得させ、
前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの
良品又は不良品の可能性の高さを数値化した数値データを出力させ、
前記数値データを
、第1閾値と前記第1閾値よりも大きい第2閾値とを含む二種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定させ、
前記数値データが前記第1閾値と前記第2閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成させるか、或いは前記再学習モデルを取得させ、
前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力させ、
前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第1閾値及び前記第2閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させる、検査方法。
【請求項12】
前記コンピュータは、ネットワークに接続されており、
前記ネットワークを介して、前記コンピュータに対して、前記教師データと、前記検査対象物のデータとを送信し、
前記コンピュータにより決定させた、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかの情報を、前記ネットワークを介して受信する、請求項
11に記載の検査方法。
【請求項13】
前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記
二種類以上の閾値を算出させる、請求項
11又は12に記載の検査方法。
【請求項14】
前記コンピュータに、前記複数の数値データの統計処理により、前記
二種類以上の閾値を算出させる、請求項13に記載の検査方法。
【請求項15】
前記コンピュータに、前記数値データが前記第1閾値よりも小さいか、又は前記数値データが前記第2閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定させる、請求項
11乃至14のいずれか一項に記載の検査方法。
【請求項16】
前記コンピュータに、前記検査対象物の固有情報の種類ごとに設定される前記第1閾値及び前記第2閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させる、請求項
11乃至15のいずれか一項に記載の検査方法。
【請求項17】
前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
前記固有情報は、良品及び不良品の欠陥サイズを含む、請求項
11乃至16のいずれか一項に記載の検査方法。
【請求項18】
前記コンピュータに、前記第1閾値と前記第2閾値との間に含まれる前記数値データの割合が第3閾値未満になったか否かを判定させ、前記割合が前記第3閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断させる、請求項
11乃至17のいずれか一項に記載の検査方法。
【請求項19】
前記コンピュータに、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第4閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定させる、請求項
11乃至18のいずれか一項に記載の検査方法。
【請求項20】
複数の方向から撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いる、
請求項
11乃至19のいずれか一項に記載の検査方法。
【請求項21】
前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化させる、請求項
11乃至20のいずれか一項に記載の検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデルを利用した検査装置及び検査方法に関する。
【背景技術】
【0002】
ディープラーニング等の機械学習を利用して、今まで人間が手動で行っていた処理を自動化する取組が盛んに行われている。機械学習を利用したAI(Artificial Intelligence)処理では、例えば複数の教師データを入力して学習モデルを生成し、生成された学習モデルに入力データを与えて演算を行い、機械学習の結果を反映させたAI処理データを出力する(特開2019-039874号公報)。
【0003】
従前から、ニューラルネットワークの各ノードに与える重みを学習過程で制御して機械学習を行う技術は種々の分野に適用されてきた。最近では、教師あり学習だけでなく、教師なし学習を行ってAI処理を行う技術も進んでおり、囲碁等の取り得る組合せが無数に存在する推論処理も、人間よりもはるかに高速かつ精度よく行えるようになりつつある。
【発明の開示】
【0004】
人手不足や人件費の抑制等を背景にして、製造現場に多種多様のロボットが導入されており、全自動又は半自動で種々の製品が製造されている。製品は、製造後に検査が行われるが、検査工程の自動化はそれほど進んでいないのが現状である。これは、不良の発生要因が多岐にわたること等が要因として挙げられ、未だに人手に頼って検査を行うことが多い。
【0005】
例えば、製品の外観検査については、傷のサイズや場所、種類などによって、不良と扱うべきかどうかを、熟練者が長年の経験に基づいて判断している。このため、十分な人数の熟練作業者の確保が必要となっている。
【0006】
本発明は、AI処理を活用して検査を行うことで、検査精度を落とすことなく、効率的に検査を行うことができる検査装置及び検査方法を提供するものである。
【0007】
上記の課題を解決するために、本発明の一態様では、検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成するか、或いは前記学習モデルを取得する学習部と、
前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの分類精度の高さを数値化した数値データを出力する算出部と、
前記数値データを一種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定する決定部と、を備える、検査装置が提供される。
【0008】
複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記一種類以上の閾値を算出する閾値算出部を備えてもよい。
【0009】
前記閾値算出部は、前記複数の数値データの統計処理により、前記一種類以上の閾値を算出してもよい。
【0010】
前記一種類以上の閾値は、第1閾値と、前記第1閾値よりも大きい第2閾値とを含んでおり、
前記決定部は、前記数値データが前記第1閾値と前記第2閾値との間に存在する場合には、人手により前記検査対象物のタイプを判別することを決定してもよい。
【0011】
前記決定部は、前記数値データが前記第1閾値よりも小さいか、又は前記数値データが前記第2閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定してもよい。
【0012】
前記数値データが前記第1閾値と前記第2閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成するか、或いは前記学習モデルを取得する再学習部と、
前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力し直す再算出部と、を備え、
前記決定部は、前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第1閾値及び前記第2閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定してもよい。
【0013】
前記決定部は、前記検査対象物の固有情報の種類ごとに設定される前記第1閾値及び前記第2閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定してもよい。
【0014】
前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
前記固有情報は、良品及び不良品の欠陥サイズを含んでもよい。
【0015】
前記第1閾値と前記第2閾値との間に含まれる前記数値データの割合が第3閾値未満になったか否かを判定し、前記割合が前記第3閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断する実用レベル判断部を備えてもよい。
【0016】
前記決定部は、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第4閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定してもよい。
【0017】
前記検査対象物を複数の方向から撮影する撮影部を備え、
前記学習部は、前記撮影部で撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いてもよい。
【0018】
複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化する可視化部を備えてもよい。
【0019】
本発明の他の一態様は、コンピュータにて、検査対象物の検査を行う検査方法であって、
前記コンピュータに、
前記検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成させるか、或いは前記学習モデルを取得させ、
前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの分類精度の高さを数値化した数値データを出力させ、
前記数値データを一種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定させる。
【0020】
前記コンピュータは、ネットワークに接続されており、
前記ネットワークを介して、前記コンピュータに対して、前記教師データと、前記検査対象物のデータとを送信し、
前記コンピュータにより決定させた、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかの情報を、前記ネットワークを介して受信してもよい。
【0021】
前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記一種類以上の閾値を算出させてもよい。
【0022】
前記コンピュータに、前記複数の数値データの統計処理により、前記一種類以上の閾値を算出させてもよい。
【0023】
前記一種類以上の閾値は、第1閾値と、前記第1閾値よりも大きい第2閾値とを含んでおり、
前記コンピュータに、前記数値データが前記第1閾値と前記第2閾値との間に存在する場合には、人手により前記検査対象物のタイプを判別することを決定させてもよい。
【0024】
前記コンピュータに、前記数値データが前記第1閾値よりも小さいか、又は前記数値データが前記第2閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定させてもよい。
【0025】
前記コンピュータに、
前記数値データが前記第1閾値と前記第2閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成させるか、或いは前記再学習モデルを取得させ、
前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力させ、
前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第1閾値及び前記第2閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させてもよい。
【0026】
前記コンピュータに、前記検査対象物の固有情報の種類ごとに設定される前記第1閾値及び前記第2閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させてもよい。
【0027】
前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
前記固有情報は、良品及び不良品の欠陥サイズを含んでもよい。
【0028】
前記コンピュータに、前記第1閾値と前記第2閾値との間に含まれる前記数値データの割合が第3閾値未満になったか否かを判定させ、前記割合が前記第3閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断させてもよい。
【0029】
前記コンピュータに、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第4閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定させてもよい。
【0030】
複数の方向から撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いてもよい。
【0031】
前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化させてもよい。
【0032】
本発明によれば、AI処理を活用して検査を行うことで、検査精度を落とすことなく、効率的に検査を行うことができる。
【図面の簡単な説明】
【0033】
【
図1】第1の実施形態による検査装置の概略構成を示すブロック図。
【
図3】複数の検査対象物の検査結果を示すプロット図。
【
図5】第1の実施形態による検査装置の処理動作を示すフローチャート。
【
図6】
図5のフローチャートに基づいて学習を繰り返すことで人による検査割合が減っていく様子を示すグラフ。
【
図7】第2の実施形態によるAI処理部の内部構成を示すブロック図。
【
図8】第2の実施形態による検査装置の処理動作を示すフローチャート。
【
図9】第3の実施形態によるAI処理部の内部構成を示すブロック図。
【
図10】複数の検査対象物の検査結果を示すプロット図。
【
図11】第3の実施形態による検査装置の処理動作を示すフローチャート。
【
図12】複数の検査済対象物について作業者が複数回にわたって良品/不良品の判別を行った結果を示すプロット図。
【発明を実施するための形態】
【0034】
以下、図面を参照して本発明の実施形態を説明する。以下の実施形態では、検査装置内の特徴的な構成および動作を中心に説明するが、検査装置には以下の説明で省略した構成および動作が存在しうる。ただし、これらの省略した構成および動作も本実施形態の範囲に含まれるものである。
【0035】
(第1の実施形態)
図1は第1の実施形態による検査装置1の概略構成を示すブロック図である。
図1の検査装置1は、検査対象物5の外観検査を行うものである。検査対象物5の種類は特に限定されない。典型的な一例としては、予め決められた仕様で製造された複数の製造物である。より具体的な一例としては、金型で金属材料等をプレスした鍛造物や金型に金属材料等を流し込んで成形した鋳造物などである。検査対象物5の形状やサイズ、材料なども任意であり、金属だけでなく、樹脂等で形成されたものでもよい。
【0036】
図1の検査装置1は、制御部2と、AI処理部3と、情報処理部4とを備えている。制御部2と、AI処理部3と、情報処理部4とは、互いに情報を送受する通信機能を有する。この通信機能は、無線LANや近接無線通信等の無線通信機能でもよいし、Ethernet(登録商標)やUSB(Universal Serial Bus)等の有線通信機能でもよい。また、制御部2と、AI処理部3と、情報処理部4の少なくとも2つは、一つの筐体又はSoC(Silicon on Chip)に統合してもよい。また、制御部2と、AI処理部3と、情報処理部4とが行う処理動作の少なくとも一部は、ハードウェアとソフトウェアのいずれで実行してもよい。
【0037】
制御部2は、撮影部6で撮影された撮影画像を用いて、AI処理部3に与える教師データを生成するとともに、検査対象物5の検査対象データを生成する制御を行う。本実施形態は、検査対象物5の外観検査を行うことを念頭に置いているため、検査対象物5の外観を撮影部6で撮影した撮影画像を検査対象データとして、制御部2からAI処理部3に送信する。また、良品又は不良品の判別が済んだ検査対象物5の外観を撮影部6で撮影した撮影画像を教師データとして、制御部2からAI処理部3に送信する。なお、教師データは、検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部のデータである。複数のタイプとは、検査済対象物及び検査対象物の形状、特性及びサイズ等の特徴を複数に分類した場合の各分類を指す。より具体的には、教師データは、良品又は不良品の判別が済んだ撮影画像を含む教師ありデータでもよいし、良品と不良品の一方のみの撮影画像を含む教師なしデータでもよい。
【0038】
図1の制御部2は、検査対象物5を収納する収納体7から検査対象物5を順に把持して回転ステージ8まで搬送するロボット9を制御する機能を有する。なお、回転ステージ8に検査対象物5を載置する作業は、必ずしもロボット9が行う必要はなく、作業者が手動で回転ステージ8に検査対象物5を載置してもよい。
【0039】
回転ステージ8の例えば斜め上方には撮影部6が設置されている。撮影部6の位置や数は任意である。回転ステージ8を回転させながら撮影部6で回転ステージ8上の検査対象物5を撮影することで、一つの検査対象物5の外観全体を複数の撮影画像にて撮影することができる。このように、本実施形態では、一つの検査対象物5の外観検査を行うために、複数の撮影画像を生成する。すでに良品又は不良品の判別が済んだ検査対象物5については、各撮影画像ごとに、良品又は不良品の判別結果を示す情報が付加された教師データを生成する。これから良品又は不良品の判別を行う検査対象物5については、撮影部6で撮影された各撮影画像が検査対象データとなる。
【0040】
なお、検査対象物5によっては、1枚の撮影画像だけで検査対象物5の外観全体を撮影できる場合もある。この場合、検査対象物5ごとに、1つの教師データと1つの検査対象データが生成される。
【0041】
AI処理部3は、検査対象物5の検査をAI処理で行うものである。ここで、AI処理とは、機械学習により生成した学習モデルに入力データを与えて演算を行って得られるAI処理データを出力することを指す。機械学習には、種々の学習手法が提案されているが、本実施形態のAI処理は、任意の学習手法を適用可能である。
【0042】
情報処理部4は、制御部2が実行するプログラムと、AI処理部3が実行するプログラムと、を自動生成する。情報処理部4は、作業者が入力する複数の入力欄を有するUI画面を表示させる表示部4aを有する。表示部4aに表示されたUI画面に従って、作業者が種々の情報を各入力欄に入力すると、制御部2が実行するプログラムと、AI処理部3が実行するプログラムとが自動生成される。自動生成されたプログラムは、情報処理部4の通信機能を介して、制御部2とAI処理部3にそれぞれ送信される。制御部2は、情報処理部4から送信されたプログラムを実行することで、上述したロボット9の制御と、検査対象物5の撮影制御と、検査対象データをAI処理部3に送信する制御等を行う。また、AI処理部3は、情報処理部4から送信されたプログラムを実行することで、制御部2から送信された検査対象データの受信制御と、検査対象データに対するAI処理とを行う。
【0043】
図2はAI処理部3の内部構成を示すブロック図である。AI処理部3は、学習部11と、算出部12と、決定部13とを有する。
【0044】
学習部11は、検査対象物5と同種の複数の良品及び不良品の少なくとも一方を教師データとして用いて、良品と不良品とを判別するための学習を行って学習モデルを生成する。学習モデルは、予め用意したモデル式の重み係数等を制御することにより生成できるが、学習モデルを生成するのに用いる具体的なモデル式については限定されず、任意のモデル式を適用可能である。
【0045】
算出部12は、検査対象物5を学習モデルに入力して演算された結果に基づいて、良品又は不良品の可能性の高さを数値化した数値データを出力する。数値データは、相対評価に用いられるものであり、物理的な単位を有するデータではない。
【0046】
決定部13は、数値データを一種類以上の閾値と比較した結果に基づいて、数値データによる良品又は不良品の自動判断(判別)を行うか、人手による良品又は不良品の検査(判別)を行うかを決定する。すなわち、決定部13は、AI処理部3によるAI処理にて良品又は不良品の信頼性の高い判断ができる場合に限って自動判断を行い、それ以外は人手による検査を行うことを決定する。これにより、本検査装置1による検査精度が人手による検査精度より劣らないようにする。
【0047】
決定部13による決定結果は、例えば、AI処理部3又は情報処理部4の表示部4aに表示される。作業者は、この表示部4aの表示により、自動判断を行うのか、それとも、作業者自身で検査を行うかを判別する。
【0048】
また、AI処理部3又は情報処理部4は、可視化部14を有していてもよい。可視化部14は、複数の検査対象物5を学習モデルに入力して演算された数値データを可視化する。後述するように、例えば、横軸を数値データ、縦軸を検査対象物5のワーク番号とした二次元座標平面上に、各数値データをプロットとして表示し、各プロットの分布が視覚的に把握できるようにしてもよい。また、可視化部14は、人間が良品と判断したプロットと、不良品と判断したプロットとを区別して表示することができるため、良品/不良品と数値データとの相関関係を把握しやすくなる。
【0049】
また、AI処理部3は、閾値算出部15を有していてもよい。閾値算出部15は、複数の検査対象物5を学習モデルに入力して演算された複数の数値データに基づいて、一種類以上の閾値を算出する。例えば、作業者が良品と判断した検査対象物5の数値データと、作業者が不良品と判断した検査対象物5の数値データとが近接している場合、閾値算出部15は、これらの数値データの間に閾値を設定してもよい。閾値算出部15は、複数の数値データの統計処理により、一種類以上の閾値を算出してもよい。ここで、統計処理とは、複数の数値データ同士の平均や分散処理でもよいし、MT(Mahalanobis Taguchi)法などでもよい。
【0050】
閾値算出部15が算出する閾値は、例えば、第1閾値と、第1閾値よりも大きい第2閾値とを含んでいてもよい。決定部13は、数値データが第1閾値と第2閾値との間に存在する場合には、人手による良品又は不良品の検査を行うことを決定してもよい。すなわち、決定部13は、数値データが第1閾値よりも小さいか、又は数値データが第2閾値よりも大きい場合には、人手による良品又は不良品の検査を行わずに、AI処理部3による良品又は不良品の自動判断を行い、数値データが第1閾値と第2閾値との間に存在する場合には、人手による良品又は不良品の検査を行うことを決定してもよい。
【0051】
次に、
図1の検査装置1の検査処理を説明する。以下では、金型で金属材料をプレスして製造された所定の検査対象物5の外観検査を行う例について説明する。より詳しくは、本検査例では、制御部2は、回転ステージ8上に載置した検査対象物5を回転させながら撮影部6で撮影を行い、一つの検査対象物5について例えば36枚の撮影画像を用意し、各撮影画像を例えば8分割して、計36×8=288個の検査対象データを生成する。
図1の検査装置1は、各検査対象データごとに良品又は不良品の検査を行う。よって、一つの検査対象物5について、288種類の検査対象データの検査を行うことになる。なお、一つの検査対象物5当たりの検査対象データの数は任意である。
【0052】
図3は複数の検査対象物5の検査結果を示すプロット図である。
図3では、各検査対象物5ごとの288個の検査対象データについてAI処理部3にて数値データを計算するとともに、作業者が各検査対象データを良品と判断したプロット○と、不良品と判断したプロット×とを区別して表示している。本検査では、検査対象データごとに、別々のワーク番号を付しており、
図3の縦軸がワーク番号を示している。
図3の横軸はAI処理部3で演算された数値データであり、右側ほど数値データの値が大きいことを示している。
【0053】
図3のプロットの分布を見ればわかるように、作業者が良品と判断した検査対象データの数値データは、
図3の横軸の右側方向に固まっているのに対し、作業者が不良品と判断した検査対象データの数値データは、
図3の横軸の左側の広い範囲に分散している。
【0054】
図3のプロットの分布を見ると、作業者が良品と判断したプロットと、不良品と判断したプロットとが混在している領域がある。AI処理部3は、数値データを閾値と比較して良品か不良品かを判別することから、良品と不良品が混在している領域では、AI処理部3の検査精度が低下するおそれがある。
【0055】
そこで、本実施形態のAI処理部3は、
図4に示すように、良品と不良品が混在している領域内に、閾値算出部15で算出された第1閾値と第2閾値を設定して、数値データを第1及び第2閾値と比較して、自動判断を行うか否かを決定してもよい。より具体的には、AI処理部3は、数値データが第1閾値未満であれば、不良品と自動判断し、数値データが第2閾値より大きければ、良品と自動判断する。また、AI処理部3は、数値データが第1閾値と第2閾値の間に存在する場合には、AI処理部3による自動判断は行わずに、人(作業者)による良品/不良品の検査を行うことを決定する。
【0056】
次に、検査装置1の処理動作をより詳細に説明する。以下では、良品と判断することを「OK」、不良品と判断することを「NG」と呼ぶ場合もある。
【0057】
図5は第1の実施形態による検査装置1の処理動作を示すフローチャートである。まず、人(作業者)がOK、NGの判断を行った複数の検査対象物5の学習を行って学習モデルを生成する(ステップS1)。このステップS1の処理は、学習部11により行われる。ステップS1は、教師あり学習を行うことを前提としているが、教師なし学習を行う場合は、ステップS1の代わりに、例えば複数の検査対象物5に対応する検査対象データのクラスタリング処理や主成分分析等による学習を行って学習モデルを生成する。
【0058】
ステップS1の処理が終了すると、次に、OK、NG未判断の検査対象物5についての撮影部6で撮影された検査対象データをステップS1で生成した学習モデルに入力して、OK、NG判断用の数値データを生成する(ステップS2)。次に、複数の検査対象物5に対応する数値データの分布を生成する(ステップS3)。この処理は、例えば決定部13により行われる。分布とは、
図3及び
図4に示すような二次元座標平面上のプロットの分布である。
【0059】
次に、生成した分布に基づいて、数値データを評価するための第1閾値と第2閾値を生成する(ステップS4)。このステップS4の処理は、閾値算出部15により行われる。
【0060】
次に、ステップS2で生成された数値データが第1閾値と第2閾値の間に存在する場合には、人による検査を行うことを決定し、数値データが第1閾値未満か、第2閾値より大きい場合には、AI処理部3による良品又は不良品の自動判断を行うことを決定する(ステップS5)。このステップS5の処理は、決定部13により行われる。より具体的には、決定部13は、数値データが第1閾値未満であれば、不良品と判断し、数値データが第2閾値より大きければ、良品と判断する。
【0061】
次に、ステップS5の決定に基づいて、AI処理又は人による良品/不良品の判断結果を数値データとともに学習部11に入力して、学習モデルを更新する(ステップS6)。
【0062】
図5のステップS1~S6の処理を繰り返すことで、学習モデルの更新が繰り返し行われ、
図4に示した第1閾値と第2閾値の間に存在するプロットの数を減らすことができ、人による検査割合を減らすことができる。
【0063】
図6は
図5のフローチャートに基づいて学習を繰り返すことで人による検査割合が減っていく様子を示すグラフである。
図6のグラフの横軸は
図5のフローチャートの処理回数、縦軸は人による検査割合[%]である。フローチャートの処理回数が増えるに従って、AI処理による良品/不良品の判断結果と、人による良品/不良品の検査結果とが近づいてくるため、良品と不良品が混在する数値データの範囲、すなわち第1閾値と第2閾値の間の距離を狭めることができ、人による検査割合を減らすことができる。
【0064】
このように、第1の実施形態では、検査対象物5を学習モデルに入力して演算された数値データを閾値と比較した結果に基づいて、数値データによる良品又は不良品の自動判断を行うか、人手による良品又は不良品の検査を行うかを決定する。すなわち、本実施形態では、AI処理では良品か不良品かを精度よく自動判断できない場合のみ、人手による検査を行うため、学習モデルが更新されるに従って、人手による検査割合を徐々に減らすことができる。このように、本実施形態では、検査処理を行う際に、すべてをAI処理で行うのではなく、学習モデルの更新度合いに応じて、人手による検査割合を変化させるため、検査精度を低下させることなく、徐々にAI処理の検査精度を向上させることができ、それに伴って人手による検査割合を徐々に減らすことができる。
【0065】
(第2の実施形態)
第2の実施形態は、学習モデルが実用レベルに達したか否かを判断するものである。第1の実施形態による学習部11で生成された学習モデルを実製品の検査に用いるには、学習モデルを繰り返し更新して、
図4の第1閾値と第2閾値との間に存在するプロットの数が実用上問題ない程度まで少なくなる必要がある。
【0066】
第2の実施形態による検査装置1は、
図1と同様のブロック構成を備えているが、AI処理部3の内部構成が
図2と一部異なっている。
【0067】
図7は第2の実施形態によるAI処理部3の内部構成を示すブロック図である。
図7のAI処理部3は、
図2の構成に加えて、実用レベル判断部16を有する。
【0068】
実用レベル判断部16は、
図4に示すようなプロットの分布における第1閾値と第2閾値の間に含まれる数値データの割合が第3閾値未満になったか否かを判定し、第3閾値未満になったと判定されると、学習モデルが実用レベルに達したと判断し、第3閾値以上と判定されると、学習モデルが実用レベルにまだ達していないと判断する。ここで、割合とは、数値データの総数に対して、第1閾値と第2閾値の間に存在する数値データの数の割合である。
【0069】
図8は第2の実施形態による検査装置1の処理動作を示すフローチャートである。ステップS11~S16は、
図5のステップS1~S6と同じである。ステップS16で学習モデルを更新した後、更新後の学習モデルを用いて検査対象物5の数値データの分布を再生成し、再生成した分布に基づいて第1閾値と第2閾値を再設定する(ステップS17)。このステップS17の処理は例えば決定部13と閾値算出部15により行われる。一般に、学習モデルを更新すると、第1閾値と第2閾値の距離が狭まるように再設定される。これにより、第1閾値と第2閾値の間に存在するプロットの数が減少する。
【0070】
次に、第1閾値と第2閾値の間に含まれる数値データの割合が第3閾値未満になったか否かを判定する(ステップS18)。まだ割合が第3閾値以上であれば、ステップS16に戻って、学習モデルの更新を継続して行う。一方、ステップS18で割合が第3閾値未満になったと判定されると、学習モデルが実用レベルに達したと判断する(ステップS19)。ステップS18とS19の処理は、実用レベル判断部16にて行われる。
【0071】
このように、第2の実施形態では、プロットの分布における第1閾値と第2閾値の間に存在する数値データの割合が第3閾値未満になれば、学習モデルが実用レベルに達したと判断するため、学習モデルを実製品の検査に使用するべきか否かを簡易かつ正確に判断できる。
【0072】
なお、
図7のステップS19で学習モデルが実用レベルに達したと判断された場合には、実製品を検査対象物5として、
図1のステップS4~S6の処理を行うことになる。すなわち、学習モデルが実用レベルに達したと判断された場合も、新たな検査対象物5の検査を行うたびに、学習モデルの更新を行うことで、さらに学習モデルの検査精度を向上でき、人手による検査割合をさらにいっそう減らすことができる。
【0073】
(第3の実施形態)
第3の実施形態は、第1閾値と第2閾値の間に存在する数値データについては、欠陥情報を加味して、良品か不良品かを判断するものである。検査対象物5の表面に傷等の欠陥がある場合、通常は欠陥サイズが所定の大きさを超える場合に不良品と判断することが多い。しかしながら、検査対象物5の動作や機能に全く支障のない欠陥であれば、良品として扱ってよい場合がある。
【0074】
そこで、本実施形態は、
図4に示すようなプロット図における第1閾値と第2閾値の間に存在する数値データについては、欠陥サイズ等の欠陥情報を考慮に入れて再学習を行って再学習モデルを生成し、生成された再学習モデルに検査対象データを入力して演算された結果に基づいて、数値データを出力し直す。すなわち、本実施形態の決定部13は、検査対象物の固有情報の種類ごとに設定される第1閾値及び第2閾値に基づいて、検査対象物の固有情報の種類ごとに、検査対象物のタイプの自動判別を行うか、人手による検査対象物のタイプの判別を行うかを決定する。ここで、固有情報とは、検査対象物を特徴づける任意の情報であり、上述した欠陥サイズ等の欠陥情報を含む概念である。
【0075】
第3の実施形態による検査装置1は、
図1と同様のブロック構成を備えているが、AI処理部3の内部構成が
図2と一部異なっている。
【0076】
図9は第3の実施形態によるAI処理部3の内部構成を示すブロック図である。
図9のAI処理部3は、
図7の構成に加えて、再学習部17と、再算出部18を有する。
【0077】
再学習部17は、数値データが第1閾値と第2閾値との間に存在する場合に、良品及び不良品の欠陥情報に基づいて再学習を行って再学習モデルを生成する。欠陥情報とは、例えば検査対象物5の欠陥サイズである。検査対象物5の欠陥サイズは、撮影部6で撮影された撮影画像から取得することができる。より具体的には、欠陥のない基準となる撮影画像と、検査対象物5の撮影画像との差分画像を欠陥と見なして、そのサイズを欠陥サイズとすることができる。あるいは、作業者が検査対象物5中の欠陥サイズを予め測定して、その測定された欠陥サイズを撮影画像とは別個に再学習部17に入力して、再学習モデルを生成してもよい。
【0078】
再算出部18は、検査対象データを再学習モデルに入力して演算された結果に基づいて、数値データを出力し直す。再算出部18は、検査対象物5の撮影画像に含まれる欠陥を上述した手法で特定し、その欠陥サイズを再学習モデルに入力して数値データを演算する。
【0079】
図10は複数の検査対象物5の検査結果を示すプロット図である。
図10の横軸は算出部12で算出された数値データ、縦軸は検査対象物5のワーク番号である。
図10には、作業者が良品と判断したプロット○と、大サイズの欠陥で不良品と判断したプロット×と、中サイズの欠陥で不良品と判断したプロット▲と、小サイズの欠陥で不良品と判断したプロット■との、4種類のプロットが図示されている。
【0080】
図10に示すように、欠陥サイズによって、良品又は不良品と判断される数値データが異なっており、また、良品と判断されたり不良品と判断されたりする数値データの範囲も異なっている。
図10は、大中小の3つの欠陥サイズのそれぞれごとに、第1閾値と第2閾値を個別に設定した例を示している。各欠陥サイズごとに、第1閾値未満の数値データは不良品であると自動判断し、第2閾値より大きい数値データは良品であると自動判断し、第1閾値から第2閾値までの数値データはAI処理による自動判断は行わずに人手による良品/不良品の検査を行うことを示している。
【0081】
なお、
図10からわかるように、大サイズ又は中サイズの欠陥を含む検査対象物5は、良品と判断されたり不良品と判断されたりする数値データの全体個数に対する割合がそれほど多くない。一方、小サイズの欠陥を含む検査対象物5は、良品と判断されたり不良品と判断されたりする数値データの全体個数に対する割合が非常に多い。このため、検査対象物5に含まれる欠陥が小サイズか否かにより、処理を分けてもよい。すなわち、欠陥サイズが小サイズでなければ、予め定めた第1閾値と第2閾値による比較結果に基づいてAI処理に基づく自動判別を行うか、人手による判別を行うかを決定し、欠陥サイズが小サイズであれば、改めて、第1閾値と第2閾値を設定し直してもよい。
【0082】
なお、小サイズの欠陥については、検査対象物5の本来の動作や機能に影響を及ぼさないことも多いことから、小サイズの欠陥は不良品として扱わないようにしてもよい。
【0083】
図11は第3の実施形態による検査装置1の処理動作を示すフローチャートである。ステップS21~S25は、
図5のステップS1~S5と同じである。ステップS25における決定がなされると、第1閾値と第2閾値の間に含まれる数値データに対応する検査対象物5の欠陥情報を取得する(ステップS26)。欠陥情報として欠陥サイズを取得する場合には、上述したように、欠陥なしの撮影画像と検査対象物5の撮影画像との差分画像により欠陥サイズを取得できる。あるいは、作業者が欠陥サイズを入力してもよい。
【0084】
次に、第1閾値と第2閾値の間に含まれる数値データに対応する検査対象物5について、作業者が欠陥情報を考慮に入れて良品又は不良品の判断を行う(ステップS27)。
【0085】
次に、ステップS27の判断結果と欠陥情報に基づいて、再学習部17にて再学習を行って再学習モデルを生成する(ステップS28)。
【0086】
次に、欠陥情報を考慮に入れて、更新後の学習モデルを用いて検査対象物5の数値データの分布を生成する(ステップS29)。このステップS29の処理は、決定部13にて行われ、例えば
図10のようなプロット図を生成する。
【0087】
次に、欠陥情報を考慮に入れて生成した分布に基づいて、第1閾値と第2閾値を再設定する(ステップS30)。このステップS30の処理は、決定部13と閾値算出部15にて行われ、例えば
図10のような破線で示す第1閾値と第2閾値が再設定される。
【0088】
次に、第1閾値と第2閾値の間に含まれる数値データの割合が第3閾値未満になったか否かを判定する(ステップS31)。第3閾値未満でなければ、ステップS28以降の処理が繰り返し行われ、第3閾値未満であれば、学習モデルが実用レベルに達したと判断する(ステップS32)。
【0089】
このように、第3の実施形態では、良品か不良品かが判別できない場合には、欠陥サイズ等の欠陥情報を考慮に入れて再学習を行うため、欠陥サイズがある程度以上大きな検査対象物5に基づいて、良品か不良品かを判別する第1閾値と第2閾値を設定できる。よって、第1閾値と第2閾値の間に含まれる数値データの割合を減らすことができ、検査精度を低下させることなく、人手による検査割合を低減できる。
【0090】
(第4の実施形態)
上述した第1~第3の実施形態では、数値データが第1閾値と第2閾値の間に存在する場合には、人手による良品又は不良品の検査を行う例を説明したが、数値データが良品又は不良品に分類される頻度に応じて、人手による良品又は不良品の検査を行うか否かを決定してもよい。
【0091】
第4の実施形態による検査装置1は
図1と同様のブロック構成を備え、また、AI処理部3は
図2又は
図7と同様のブロック構成を有する。
【0092】
第4の実施形態によるAI処理部3は、決定部13の処理動作が第1~第3の実施形態による決定部13の処理動作とは異なっている。本実施形態では、個々の検査対象物5について、複数回の撮影を行って得られた複数の検査対象データに基づいて、複数回の分類分けを行うことを前提としている。第4の実施形態による決定部13は、同一の検査対象物5の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第4閾値以上で、かつ第5閾値未満の場合には、人手により検査対象物のタイプを判別すると決定する。
【0093】
図12は、複数の検査済対象物のそれぞれについて、複数回(例えば15回)ずつ撮影を行って、各検査対象物5の複数の撮影画像データに基づいて、良品/不良品の判別を行った結果を示すプロット図である。
図12の横軸は不良品と判断された回数、縦軸は各検査済対象物の識別番号(ワーク番号)である。
図12の各プロットは、それぞれ異なる検査済対象物を表しており、複数回の良品/不良品判別を行った結果、不良品と判断された回数をプロットしている。
【0094】
本実施形態の決定部13は、各検査済対象物ごとに良品/不良品の判別を行った総回数に対して、所定の回数以上、不良品と判断される検査済対象物については、不良と判断して問題ないことから、所定の回数以上、不良品と判断された検査済対象物については、AI処理による自動判断を行うことを決定する。一方、所定回数未満の回数だけ不良品と判断される検査済対象物については、人手による検査を行うことを決定する。総回数に対する所定回数で人手による検査を行うか否かを決定するということは、不良品又は良品と判別される頻度で人手による検査を行うか否かを決定することを意味する。
【0095】
このように、第4の実施形態では、良品/不良品の判断がばらつく場合には、ばらつく頻度に応じて、人手による検査を行うか否かを決定するため、二つ以上の閾値を設定しなくても、人手による検査を行うか否かを決定できる。
【0096】
上述した実施形態で説明した検査装置1及び検査方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、検査装置1及び検査方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD-ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0097】
また、検査装置1及び検査方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0098】
さらに、上述した各実施形態によるAI処理部3を、インターネット等の公衆回線や専用回線等の所定のネットワークに接続して、ネットワークを介してAI処理部3に教師データや検査対象データを送信し、AI処理部3が実行したAI処理結果を、ネットワークを介して受信するようにしてもよい。このように、検査装置1内の少なくとも一部の構成部は、クラウド環境下に設けられてもよい。
【0099】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【0100】
例えば、上述した第3の実施形態では、欠陥情報として、検査対象物5の欠陥サイズを例示したが、これに限られるものではなく、欠陥位置(検査対象物5における欠陥の位置)等を欠陥情報としてもよい。
【0101】
また、上述した各実施形態では、教師データ及び検査対象データの生成を制御部2で行う例を説明したが、これに限られるものではなく、例えば、撮影部6で撮影された撮影画像をAI処理部3に送信し、AI処理部3で教師データ及び検査対象データの生成を行うようにしてもよい。この場合、制御部2を介さずに撮影部6で撮影された撮影画像をAI処理部3に送信するので、上述した各実施形態と比較して、教師データ及び検査対象データの生成を簡易かつ高速に行うことができる。
【0102】
また、上述した各実施形態では、学習モデル及び再学習モデルの生成をAI処理部3の学習部11又は再学習部17で行う場合を説明したが、これに限られるものではなく、例えば、AI処理部3以外で生成された学習モデル及び再学習モデルを学習部11又は再学習部17で取得するようにしてもよい。この場合、学習部11及び再学習部17で行う処理を簡易化できるので、上述した各実施形態と比較して、AI処理部3の処理負荷を軽減することができる。
さらに、上述した各実施形態では、検査装置1の処理動作において、数値データの分布の生成(ステップS3、S13、S17、S23、S29)、第1閾値と第2閾値の設定(ステップS4、S14、S17、S24、S30)及び学習モデルの更新(ステップS6、S16、S28)をそれぞれ実行する例を説明したが、これに限られるものではなく、例えば、これらのステップを省略し、予め設定された閾値に基づいて、自動判断するのか、人手により検査するのかを決定してもよい。
【符号の説明】
【0103】
1 検査装置、2 制御部、3 AI処理部、4 情報処理部、4a 表示部、5 検査対象物、6 撮影部、7 収納体、8 回転ステージ、9 ロボット、11 学習部、12 算出部、13 決定部、14 可視化部、15 閾値算出部、16 実用レベル判断部、17 再学習部、18 再算出部