(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】外観検査方法及び外観検査装置
(51)【国際特許分類】
G01N 21/952 20060101AFI20231017BHJP
G01N 21/88 20060101ALI20231017BHJP
【FI】
G01N21/952
G01N21/88 J
(21)【出願番号】P 2019163168
(22)【出願日】2019-09-06
【審査請求日】2022-07-15
(73)【特許権者】
【識別番号】000183233
【氏名又は名称】住友ゴム工業株式会社
(74)【代理人】
【識別番号】100104134
【氏名又は名称】住友 慎太郎
(74)【代理人】
【識別番号】100156225
【氏名又は名称】浦 重剛
(74)【代理人】
【識別番号】100168549
【氏名又は名称】苗村 潤
(74)【代理人】
【識別番号】100200403
【氏名又は名称】石原 幸信
(74)【代理人】
【識別番号】100206586
【氏名又は名称】市田 哲
(72)【発明者】
【氏名】藤原 和也
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】特開2018-105699(JP,A)
【文献】特開2019-067069(JP,A)
【文献】特開2018-005640(JP,A)
【文献】特開2007-327937(JP,A)
【文献】特開2015-087364(JP,A)
【文献】国際公開第2006/054775(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G06T 7/00 - G06T 7/90
G06N 10/00 - G06N 99/00
(57)【特許請求の範囲】
【請求項1】
被検査物の外観を検査する方法であって、
複数の前記被検査物を撮像して画像を取得する撮像工程と、
ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第1選別工程と、
前記不良品推定画像から欠陥の特徴を抽出する抽出工程と、
オブジェクト検出のアルゴリズムを用いて、前記撮像工程で取得された複数の前記被検査物の前記画像内で前記特徴を検索することにより、前記被検査物から不良品を検出する第2選別工程とを含む、
外観検査方法。
【請求項2】
前記第2選別工程では、前記特徴が前記欠陥の種別毎に分類して蓄積される、請求項1記載の外観検査方法。
【請求項3】
前記第1選別工程で前記良品推定画像として選別され、その後、前記第2選別工程で前記不良品として検出された前記被検査物の前記画像から抽出された前記特徴を蓄積する蓄積工程をさらに含む、請求項1又は2に記載の外観検査方法。
【請求項4】
前記被検査物は、タイヤである、請求項1ないし3のいずれかに記載の外観検査方法。
【請求項5】
前記撮像工程では、サイドウォール部での環状の撮像領域が撮像される、請求項4記載の外観検査方法。
【請求項6】
前記撮像工程では、前記撮像領域が帯状に変換される、請求項5記載の外観検査方法。
【請求項7】
被検査物の外観を検査する装置であって、
複数の前記被検査物を撮像して画像を取得する撮像部と、
前記画像を記憶する記憶部と、
ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第1選別部と、
前記不良品推定画像から抽出された欠陥の特徴を、オブジェクト検出のアルゴリズムを用いて、前記撮像
部によって取得された複数の前記被検査物の前記画像内で検索することにより、前記被検査物から不良品を検出する第2選別部とを含む、
外観検査装置。
【請求項8】
前記第2選別部は、前記特徴を前記欠陥の種別毎に分類し、
前記記憶部は、前記特徴を前記種別毎に蓄積する、請求項7記載の外観検査装置。
【請求項9】
前記撮像部は、2Dカメラを含む、請求項7又は8に記載の外観検査装置。
【請求項10】
前記撮像部は、3Dカメラを含む、請求項7ないし9のいずれかに記載の外観検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検査物の外観を自動的に検査する方法及び装置に関する。
【背景技術】
【0002】
従来から、タイヤ等の被検査物の外観を検査する技術が種々検討されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
そして、上記外観の検査においては、検査精度のさらなる向上が期待されている。
【0005】
本発明は、以上のような実状に鑑み案出されたもので、高精度に外観不良を検出できる外観検査方法及び外観検査装置を提供することを主たる目的としている。
【課題を解決するための手段】
【0006】
本発明の第1発明は、被検査物の外観を検査する方法であって、複数の前記被検査物を撮像して画像を取得する撮像工程と、ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第1選別工程と、オブジェクト検出のアルゴリズムを用いて、前記不良品推定画像から欠陥の特徴を抽出し、前記画像内で前記特徴を検索することにより、前記被検査物から不良品を検出する第2選別工程とを含む。
【0007】
本発明に係る前記外観検査方法において、前記第2選別工程では、前記特徴が前記欠陥の種別毎に分類して蓄積される、ことが望ましい。
【0008】
本発明に係る前記外観検査方法において、前記第2選別工程では、前記第1選別工程で前記良品推定画像として選別された後、前記第2選別工程で前記不良品として検出された前記被検査物の前記画像から抽出された前記特徴が蓄積される、ことが望ましい。
【0009】
本発明に係る前記外観検査方法において、前記被検査物は、タイヤである、ことが望ましい。
【0010】
本発明に係る前記外観検査方法において、前記撮像工程では、サイドウォール部での環状の撮像領域が撮像される、ことが望ましい。
【0011】
本発明に係る前記外観検査方法において、前記撮像工程では、前記撮像領域が帯状に変換される、ことが望ましい。
【0012】
本発明の第2発明は、被検査物の外観を検査する装置であって、複数の前記被検査物を撮像して画像を取得する撮像部と、前記画像を記憶する記憶部と、ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第1選別部と、オブジェクト検出のアルゴリズムを用いて、前記不良品推定画像から欠陥の特徴を抽出し、前記画像内で前記特徴を検索することにより、前記被検査物から不良品を検出する第2選別部とを含む。
【0013】
本発明に係る前記外観検査装置において、前記第2選別部は、前記特徴を前記欠陥の種別毎に分類し、前記記憶部は、前記特徴を前記種別毎に蓄積する、ことが望ましい。
【0014】
本発明に係る前記外観検査装置において、前記撮像部は、2Dカメラを含む、ことが望ましい。
【0015】
本発明に係る前記外観検査装置において、前記撮像部は、3Dカメラを含む、ことが望ましい。
【発明の効果】
【0016】
本第1発明の前記外観検査方法は、前記ワンクラス学習の前記アルゴリズムを用いる前記第1選別工程と、前記オブジェクト検出の前記アルゴリズムを用いる前記第2選別工程とを含んでいる。前記第1選別工程では、前記撮像工程で取得された前記画像が前記良品推定画像又は前記不良品推定画像に選別される。前記第2選別工程では、前記不良品推定画像から前記欠陥の前記特徴が抽出される。さらに、前記画像内で前記特徴が検索され、前記被検査物における前記欠陥の有無が判定される。これにより、前記被検査物から精度よく前記不良品が検出される。
【0017】
本第1発明では、検査の進展に伴い撮像された前記画像が蓄積されるに従い、前記第1選別工程で得られる前記不良品推定画像が増加し、前記第2選別工程で抽出される前記欠陥の前記特徴も自動的に増加する。従って、数多くの前記被検査物を検査することにより、前記不良品の検出精度が容易に向上する。
【0018】
本第2発明の前記外観検査装置は、前記ワンクラス学習の前記アルゴリズムを用いる前記第1選別部と、前記オブジェクト検出の前記アルゴリズムを用いる前記第2選別部とを含んでいる。前記第1選別部は、前記撮像部で取得された前記画像を前記良品推定画像又は前記不良品推定画像に選別する。前記第2選別部は、前記不良品推定画像から前記欠陥の前記特徴を抽出する。さらに、前記第2選別部は、前記画像内で前記特徴を検索し、前記被検査物における前記欠陥の有無を判定する。これにより、前記被検査物から精度よく前記不良品が検出される。
【0019】
本第2発明では、検査の進展に伴い撮像された前記画像が蓄積されるに従い、前記第1選別部で得られる前記不良品推定画像が増加し、前記第2選別部によって抽出される前記欠陥の前記特徴も自動的に増加する。従って、数多くの前記被検査物を検査することにより、前記不良品の検出精度が容易に向上する。
【図面の簡単な説明】
【0020】
【
図1】本第1発明の外観検査方法の一実施形態の処理手順の一例を示すフローチャートである。
【
図2】本第2発明の外観検査装置の概略構成を示すブロック図である。
【
図3】
図2の演算部の概略構成を示すブロック図である。
【
図4】ディープラーニングによって生成される学習モデルの一例を示す図である。
【
図5】
図1の第2選別工程で検出された欠陥の一例を示す図である。
【
図6】
図2のカメラによって撮像されるタイヤの撮像領域を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施の一形態が図面に基づき説明される。
図1は、本第1発明の外観検査方法の一実施形態の処理手順の一例を示している。外観検査方法は、被検査物の外観を検査する方法である。被検査物の外観を検査するとは、被検査物の外観に欠陥(異常)が生じているか否かを判定することである。外観検査方法は、例えば、作業者の目視による検査と併用して又は作業者の目視による検査に替えて、実施される。
【0022】
検査対象である被検査物は、特に限定されない。本実施形態では、被検査物としてタイヤ等の工業製品が適用されている。この場合、工業製品の生産ラインで本第1発明の外観検査方法が実施される。そして、外観に欠陥が生じていると判定された製品は、出荷されることなく廃棄、又は、欠陥が修理された後、出荷される。
【0023】
以下、タイヤの外観検査について説明するが、他の工業製品の外観検査にあっては、タイヤを当該工業製品に置き換えて適用可能である。
【0024】
外観検査方法は、撮像工程S1と、第1選別工程S2と、第2選別工程S3とを含んでいる。外観検査方法は、外観検査装置を用いて実行される。外観検査装置1は、被検査物の外観を検査する装置である。
【0025】
図2は、外観検査装置1の概略構成を示している。外観検査装置1は、被検査物の外観を検査する装置である。外観検査装置1は、撮像部2と、演算部3とを含んでいる。演算部3には、例えば、コンピューター装置4が適用される。
【0026】
撮像部2は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えたカメラ21を有している。カメラ21は、被検査物100としての複数のタイヤ101を撮像してその画像を取得する。より具体的には、カメラ21は、タイヤ101によって反射等された光を電気信号に変換し、画像の電子データーを取得する。カメラ21によって取得された画像データーは、コンピューター装置4に送信され、記憶される。
【0027】
撮像部2には、カメラ21の被写体であるタイヤ101を照らすための照明装置22が必要に応じて設けられる。また、撮像部2には、搬送されたタイヤ101を位置決めし、回転させる装置(図示せず)が設けられている。カメラ21、照明装置22及び上記装置等は、例えば、コンピューター装置4によって制御される。
【0028】
図3は、コンピューター装置4の概略構成を示している。コンピューター装置4は、各種の演算処理及び情報処理を実行する処理部41と、処理部41の動作を司るプログラム及び各種の情報が格納された記憶部42、処理部41に各種の指令や情報を入力するための入力部43及び処理部41による処理結果を出力するための出力部44等を備えている。なお、本実施形態の処理部41は、上述したカメラ21及び照明装置22等の制御も司っている。
【0029】
処理部41は、例えば、CPU(Central Processing Unit)及びメモリによって構成されている。なお、処理部41には、CPUに加えて又はCPUに替えて、特定のデーター処理に秀でたGPU(Graphics Processing Unit)が適用されていてもよい。記憶部42には、例えば、大容量のハードディスク駆動装置が適用される。
【0030】
入力部43には、キーボード及びマウス等のデバイス、及び、撮像部2と接続され撮像部2から画像データーの入力を受けるための装置が適用される。出力部44には、例えば、LCD(Liquid Crystal Display)等のディスプレイ装置が適用される。
【0031】
コンピューター装置4には、他のコンピューター装置(図示せず)との間で、各種の情報(例えば、タイヤ101の外観検査に用いられる情報)を交換するための通信部(図示せず)が設けられていてもよい。通信部は、例えば、LAN(Local Area Network)を介して他のコンピューター装置と接続されている。この場合、演算部3は、コンピューター装置4及び他のコンピューター装置を含むネットワークによって構成される。
【0032】
以下、
図1ないし3を参照して、外観検査方法の処理手順、すなわち、外観検査装置1の動作について説明する。
【0033】
図1に示される撮像工程S1では、カメラ21によって複数のタイヤ101が撮像され、その画像が電子データーとして取得される。撮像工程S1にて取得された画像データーは、コンピューター装置4に送信され、処理部41によって記憶部42に格納される。
【0034】
第1選別工程S2及び第2選別工程S3は、コンピューター装置4の処理部41によって実行される。
【0035】
第1選別工程S2では、ワンクラス学習(One Class Support Vector Machine)のアルゴリズムを用いて、撮像工程S1で取得された画像が良品推定画像50又は不良品推定画像51に選別される。良品推定画像50は、ワンクラス学習によって外観が良好であると推定されるタイヤ101の画像であり、例えば、記憶部42の良品画像フォルダー55に格納される。一方、不良品推定画像51は、ワンクラス学習によって外観が良好ではないと推定されるタイヤ101の画像であり、例えば、記憶部42の不良品画像フォルダー56に格納される。
【0036】
ワンクラス学習とは、教師なしで学習した良品の学習値からの離れ値(outliers)を検出するアルゴリズムであり、タイヤ101等の大多数が良品である工業製品の異常検査に好適な手法である。本実施形態では、例えば、良品タイヤの画像データーを学習することにより、上記学習値が取得される。画像データーの学習には、例えば、ディープラーニング(深層学習)の手法が用いられる。
【0037】
図4は、ディープラーニングによって生成される学習モデルの一例を示している。本実施形態では、学習モデル700は、処理部41の演算によって生成され、記憶部42に記憶されている。学習モデル700は、例えば、コンピューター装置4の外部の他のコンピューター装置の演算によって生成され、コンピューター装置4に入力され、記憶部42に記憶されるものであってもよい。
【0038】
学習モデル700は、例えば、複数の良品タイヤの画像データー701a、701b、701c、701d、701e…を入力層701として、良品の学習値703a、703b、703c、…を出力層703として、機械学習によって生成された中間層702によって定義される。
【0039】
本実施形態の中間層702は、多段階に階層化された複数のニューロン(ノード)704と最適化された重み付け係数705(パラメーター)との組み合わせを含んでいる。各ニューロン704は、重み付け係数705によって接続されている。このような中間層702は、畳み込みニューラルネットワーク(Convolutional Neural Network)と称される。すなわち、本実施形態の学習モデル700は、畳み込みニューラルネットワークを含んでいる。
【0040】
第1選別工程S2では、ワンクラス学習を用いることにより良品の学習値703a、703b、703c、…からの離れ値が検出されるため、想定が困難な新規な(未学習の)欠陥も検出されうる。従って、多様な形態の不良品推定画像51を容易に収集可能となる。
【0041】
第2選別工程S3では、オブジェクト検出のアルゴリズムを用いて、不良品のタイヤ101が検出される。オブジェクト検出とは、検査対象の画像内で物体(本実施形態では欠陥)を検出するアルゴリズムである。オブジェクト検出には、例えば、畳み込みニューラルネットワークを含む学習モデルが適用される。
【0042】
本実施形態の第2選別工程S3では、撮像工程S1にて取得された画像データー内で欠陥の特徴が検索される。欠陥の特徴は、第1選別工程S2で選別され、記憶部42に格納されている不良品推定画像51から抽出される。すなわち、処理部41は、不良品推定画像51から欠陥の特徴を抽出し、例えば、記憶部42の欠陥フォルダー57に格納する。なお、抽出される欠陥の特徴には、上記畳み込み処理によって人間が理解できない次元の特徴も含まれる。そして、処理部41は、撮像工程S1にて取得された画像データーと欠陥の特徴とを照合することにより、画像データー内で欠陥を検索し、撮像されたタイヤ101から不良品を検出する。すなわち、画像データー内に欠陥が存在する場合、その画像データーの撮影元となったタイヤ101が不良品と判定される。
【0043】
図5は、第2選別工程S3で検出された欠陥200の一例である。本例では、タイヤ101のサイドウォール部102(
図2参照)の一部に生じた欠陥200が示されている。同図では、サイドウォール部102の表面に形成されている文字「E」の箇所に、ゴム流れ不良等に起因する外観上の欠陥200が生じていることが確認される。また、タイヤサイズを示す表示「205/60R16」の近傍にも同様の欠陥200が生じていることが確認される。本実施形態によれば、
図5に示される欠陥200のみならず、例えば、サイドウォール部102への異物混入等の欠陥も検出可能である。
【0044】
タイヤ101等の工業製品では、通常、大多数が良品であって不良品の発生頻度は低い。このため、多様な欠陥200の特徴を収集し、記憶部42に格納することは一般に困難である。しかしながら、本実施形態では、検査の進展に伴い撮像工程S1でカメラ21にて撮像された画像が蓄積されるに従い、第1選別工程S2で得られる不良品推定画像51が増加し、第2選別工程S3で抽出され記憶部42に蓄積される欠陥200の特徴も増加する。従って、数多くのタイヤ101を検査することにより、不良品の検出精度が容易に向上する。
【0045】
本実施形態では、第1選別工程S2において、処理部41は、カメラ21にて取得された画像を、ワンクラス学習のアルゴリズムを用いて良品推定画像50と不良品推定画像51とに選別する第1選別部として機能する。また、第2選別工程S3において、処理部41は、オブジェクト検出のアルゴリズムを用いて、カメラ21にて撮像されたタイヤ101から不良品を検出する第2選別部として機能する。すなわち、第1選別部及び第2選別部は、処理部41及びその動作を司るソフトウェア等によって実現される。なお、ワンクラス学習のアルゴリズム及びオブジェクト検出のアルゴリズムは、既知のソフトウェアを適用することによっても、導入可能である。
【0046】
第2選別工程S3では、欠陥200の特徴がその種別(例えば、上述したゴム流れ不良、異物混入等)毎に分類して蓄積される、のが望ましい。本実施形態では、欠陥200の特徴は、処理部41(第2選別部)によって分類され、記憶部42の欠陥フォルダー57に種別毎に分かれて蓄積されている。種別毎に分類された欠陥200の特徴を用いて撮像工程S1にて取得された画像データーと照合することにより、不良品の検出精度がより一層向上する。
【0047】
第2選別工程S3では、不良品推定画像51のみならず良品推定画像50が欠陥200の特徴と照合されるのが望ましい。この場合、第1選別工程S2で良品と判定されたタイヤ101に関しても第2選別工程S3で欠陥200が検索され、不良品の検出精度が向上する。また、第1選別工程S2及び第2選別工程S3で不良品と判定されたタイヤ101が不良品として扱われてもよく、第1選別工程S2又は第2選別工程S3で不良品と判定されたタイヤ101が不良品として扱われてもよい。
【0048】
これらの場合、欠陥フォルダー57には、第1選別工程S2で良品推定画像として選別された後、第2選別工程S3で不良品として検出されたタイヤ101の画像から抽出された欠陥200の特徴が蓄積されてもよい。このような構成によれば、より一層多様な欠陥200の特徴が欠陥フォルダー57に蓄積されることとなり、不良品の検出精度がより一層向上する。
【0049】
一方、第2選別工程S3で良品として判定されたタイヤ101の画像は、第1選別工程S2のワンクラス学習における良品タイヤの画像に追加されてもよい。このような構成によれば、第1選別工程S2における画像の選別精度がより一層高められる。
【0050】
図6は、カメラ21によって撮像されるタイヤ101の撮像領域103を示している。同図では、撮像領域103はドットパターンのハッチングにて描かれている。本実施形態では、撮像工程S1において、タイヤ101のサイドウォール部102での環状の撮像領域103が撮像される。これにより、タイヤ101のサイドウォール部102の外観不良の有無が容易に検査される。この場合、撮像工程S1では、上記環状の撮像領域103が帯状に変換される、ことが望ましい。
【0051】
図7は、帯状に変換されたサイドウォール部102の画像が示されている。画像の変換は、処理部41によって実行され、記憶部42には、変換された画像が格納される。撮像工程S1において環状の画像が帯状に変換されることにより、ディスプレイ装置での画像のスクロール等が容易となり、作業者による外観不良の確認が容易となる。
【0052】
なお、撮像工程S1では、サイドウォール部102に印されるユニフォミティのピークマーク及び軽点マーク等がマスキング処理されるのが望ましい。本実施形態では、被検査物100がタイヤ101である場合、カメラ21によって撮像された画像内で上記ピークマーク及び軽点マーク等に相当する領域が、タイヤ101自身と同等の色彩、例えば、黒色にペイントされることによりマスキングされる。これらのマークは、色彩上の特異な箇所ではあるがタイヤ101の欠陥ではないため、異常として検出されることは望ましくない。そうしたところ、本実施形態では、上記マスキング処理を施すことによって、第1選別工程S2及び第1選別工程S2において、画像内で上記マークの存在が無視され、不良品の誤検出が抑制される。
【0053】
一方、本実施形態では、カメラ21の位置を変更してタイヤ101のトレッド部105(
図2参照)を撮像するように構成されていてもよい。このような構成により、トレッド部105の外観不良の有無を検査することも可能である。
【0054】
カメラ201には、2Dカメラ若しくは3Dカメラ又は2Dカメラ及び3Dカメラが適用される。2Dカメラによれば、第1選別工程S2及び第2選別工程S3において、主として色彩に関する異常の観点から欠陥200が検出される。一方、3Dカメラによれば、第1選別工程S2及び第2選別工程S3において、主として形状に関する異常の観点から欠陥200が検出される。両者を組み合わせることにより、色彩及び形状に関する異常の観点から欠陥200が検出される。
【0055】
以上、本発明の外観検査方法等が詳細に説明されたが、本発明は上記の具体的な実施形態に限定されることなく種々の態様に変更して実施される。
【符号の説明】
【0056】
1 外観検査装置
2 撮像部
21 カメラ
41 処理部(第1選別部、第2選別部)
42 記憶部
50 良品推定画像
51 不良品推定画像
100 被検査物
101 タイヤ
102 サイドウォール部
200 欠陥
S1 撮像工程
S2 第1選別工程
S3 第2選別工程