特許 7372687 自動検査装置、パイプ内面自動検査装置及び３次元構造製品の外観自動検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-24

(45)【発行日】2023-11-01

(54)【発明の名称】自動検査装置、パイプ内面自動検査装置及び３次元構造製品の外観自動検査装置

(51)【国際特許分類】

   G01N 21/954 20060101AFI20231025BHJP

【ＦＩ】

G01N21/954 A

【請求項の数】 4

(21)【出願番号】P 2021111905

(22)【出願日】2021-07-06

(65)【公開番号】P2023008379

(43)【公開日】2023-01-19

【審査請求日】2022-10-31

(73)【特許権者】

【識別番号】519223480

【氏名又は名称】株式会社オートインスペクト

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】南部 修太郎

(72)【発明者】

【氏名】曽根 賢朗

(72)【発明者】

【氏名】山田 真友

(72)【発明者】

【氏名】小丸山 裕子

(72)【発明者】

【氏名】畔田 蕗子

(72)【発明者】

【氏名】森田 義則

【審査官】井上 徹

(56)【参考文献】

【文献】特開２０２１－１７３４（ＪＰ，Ａ）

【文献】青木 公也ほか，Ｘ線フィルム中の溶接欠陥像の特徴抽出とニューラルネットワークによるその種類判別，日本機械学会論文集. C編，2000年03月，第66巻，第643号，PP.1043－1049

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｎ ２３／００－Ｇ０１Ｎ ２３／２２７６

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｈ０１Ｌ ２１／６４－Ｈ０１Ｌ ２１／６６

Ｂ２１Ｃ ５１／００

Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０

Ｇ０６Ｎ ２０／００－Ｇ０６Ｎ ２０／２０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像処理手法により被検査物を自動検査する自動検査装置において、前記被検査物の特定の品種に関して、事前に取得した検査対象画像から、不良種類毎に複数の不良画像及びノイズ画像を含む異常画像データ群を作成し、前記作成した不良画像及びノイズ画像を含む異常画像データ群から、学習用の不良画像データ及びノイズ画像データを作成し、前記学習用の不良画像データ及びノイズ画像データを用いて、深層学習により不良画像・ノイズ画像の識別ユニットを作成し、該識別ユニットを画像処理工程に実装した自動検査装置による自動検査により不良画像を識別して抽出し、前記不良画像を検査規格に従い良否判別することを特徴とする自動検査装置。

【請求項2】

請求項１の自動検査装置において、被検査物の特定の品種に関して、事前に取得した検査対象画像から、不良種類毎に複数の不良画像とノイズ画像の異常画像データ群を作成する際に、取得した前記検査対象画像から不良種類毎に背景ノイズを除去して、前記不良画像及びノイズ画像を含む異常画像データ群を作成し、該異常画像データ群から、前記学習用の不良画像データ及びノイズ画像データを作成し、該学習用の不良画像データ及びノイズ画像データを用いて、深層学習により前記不良画像・ノイズ画像の識別ユニットを作成することを特徴とする自動検査装置。

【請求項3】

請求項１または２に記載の自動検査装置の画像処理手法を搭載したことを特徴とするパイプ内面自動検査装置。

【請求項4】

請求項１または２に記載の自動検査装置の画像処理手法を搭載したことを特徴とする３次元構造製品の外観自動検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深層学習技術を使った目視検査を自動化する自動検査装置に関する。

【背景技術】

【0002】

目視検査の自動化は、多くの製造業において生産性向上における最重要課題になっている。目視検査の自動化は、簡単な二次元構造の製品では実用化が進んでいるが、複雑な三次元構造の製品では、一般に画像処理に必要とされる鮮明な二次元画像の取得が難しい。そのため、依然として多くの製品で目視検査が実施されている。

【0003】

しかしながら、目視検査は工数がかかる上に、人間の官能検査のため判断基準が曖昧である。また、品質向上のためのデータ蓄積が不可能なため、生産性向上の阻害要因となっている。そのため、検査工程の自動化が強く求められている。

【0004】

一方、最近のイメージセンサや情報処理技術の目覚ましい技術革新により、従来コスト的に不可能だった三次元製品の目視検査も、独自のアイデアで、鮮明な二次元画像の取得が可能になった製品では、その自動化が可能になってきた。

【0005】

例えば、様々な樹脂や金属のパイプの内面検査（出荷検査）は、従来自動化が不可能とされ、全て目視検査で行われてきたが、本発明者による独自技術「汎用高速可動焦点法」により、初めてその自動化が可能になった（特許文献１、２）。

【0006】

この「汎用高速可動焦点法」は、図１に示すように、パイプ１０５の一端に設置した外部制御式ズームレンズ１０１が付いたカメラ１０２で、複数枚のパイプ内面画像を取得し、それらの合焦点領域を切り出し並列処理して良否判別を行うものである。これにより、従来目視検査でしか出来なかったパイプ内面傷の自動検査を、初めて可能にすることができる。

【0007】

この「汎用高速可動焦点法」による自動化技術では、撮影した画像から不良画像部分を抽出するため、「背景差分法」と「ラベリング処理」という周知の画像処理手法を用いている。「背景差分法」は、取得画像から異常画像部分を抽出するために、背景画像を取り除く画像処理技術である。また「ラベリング処理」は、抽出した異常画像部分の一つ一つをピックアップし、あらかじめ設定された諸条件（ラベリングパラメータ）により、それが検査すべき不良の画像か、無視してよい雑音なのかを判別する画像処理技術である。通常、このラベリング・パラメータの設定には、多くのノウハウと熟練を必要とする。そのため、この「汎用高速可動焦点法」による自動検査を一段と普及させるには、画像処理工程の効率化が必須になる。

【0008】

その解決手段として、最近進歩の目覚ましい「深層学習」技術を、上記画像処理工程へ導入することが有力な手段と考えられる。しかしながら、通常の「深層学習」技術では、「深層学習」による「推論」プログラムの作成に莫大なサンプル数や学習時間が必要とされる。そのため、自動検査で必須の多数の検査対象品種の切り替えに柔軟に対応するのが困難である。また「深層学習」技術は、本質的にある程度の誤判定が避けられないため、そのままでは自動検査には使えない。このような課題のため、これまで「深層学習」技術を導入したという自動検査装置の実用化例は少ない。

【先行技術文献】

【特許文献】

【0009】

【文献】特許第６４２５９７２号公報

【文献】特許第６５１２５８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

現在製造されているパイプには、樹脂や金属など材質が異なるものや、口径や長さなどの寸法が異なるもの等、様々な品種が存在する。そのため、様々なパイプの製造現場に導入される自動検査装置では、そのような多数のパイプの品種切り替えに、柔軟かつ迅速に対応できることが必須である。

【0011】

しかしながら、上述のように、従来の「汎用高速可動焦点法」による自動検査の画像処理手法では、様々な品種のパイプの画像処理条件の設定に、多くの経験とノウハウが必要とされる。そのため、その普及には、この画像処理工程、特にラベリング・パラメータの設定（不良/ノイズの判別）工程の効率化が課題になっている。

【0012】

このような課題の解決には、人の判断機能を機械化する「深層学習」技術を、画像処理工程へ導入することが期待される。しかしながら、一般に３次元構造物体の自動検査では、画像が不鮮明であることに加え、数種以上ある不良項目（種類）の判別も必要である。そのため、通常の「深層学習」技術では、多数の様々な品種のパイプ毎に、かつ、そのパイプに固有の様々な不良種別に、大量の不良サンプルによる画像データや学習時間が必要となる。そのため、多数品種の検査の切り替えに柔軟に対応することが難しい。また「深層学習」技術では、本質的にある程度の誤判定が避けられないため、そのままでは自動検査装置には使えないという課題もある。

【0013】

本発明は、この課題解決のため、上記「汎用高速可動焦点法」による自動検査のラベリング・パラメータの設定（不良／ノイズの判別）工程の代わりに、少ないサンプル数でも不良／ノイズを判別する「推論」プログラムの作成が可能な「深層学習」技術（以下、「ラベリング・アシスト・ラーニング（ＬＡＬ）法」という）を提案し、その「推論」プログラムを画像処理工程に実装した自動検査装置を提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明に係る自動検査装置は、画像処理手法により被検査物を自動検査する自動検査装置であって、被検査物の特定の品種に関して、事前に取得した検査対象画像から、不良項目毎に複数の不良部とノイズ部の異常画像データを作成し、異常画像データを用いて、深層学習により不良部・ノイズ部の識別ユニットを作成し、識別ユニットを画像処理工程に実装した自動検査装置による自動検査により不良画像を識別して抽出し、不良画像を検査規格に従い良否判別することを特徴とする。

【発明の効果】

【0015】

本発明によれば、「深層学習」の前に「背景差分」法により不良項目（種類）毎に抽出した多数の異常部画像を作成するため、数個以上ある不良項目（種類）判別に必要な学習が不要になるばかりか、学習精度を高めるためそれらの画像を用いてさらに学習用画像データを作成することができる。そのため、従来の「深層学習」に比べ、学習に必要なサンプル／データ量や学習時間を大幅に削減できる。

【0016】

また、「深層学習」によりその精度を向上させることができるため、目視検査と自動検査の判定結果の一致度を高めることが可能であり、そのため高いコスト性能比を得ることが可能になる。

【0017】

その結果、自動検査装置の画像処理に、初めて「深層学習」技術を活用することが可能になり、目視検査との一致度が高くコスト性能比に優れ、多数の品種切り替えにも柔軟に対応できる自動検査装置が可能になる。

【図面の簡単な説明】

【0018】

【図1】従来の汎用高速可動焦点法よるパイプ内面自動検査技術を説明した図である。

【図2】従来の汎用高速可動焦点法によるパイプ内面自動検査フローを示した図である。

【図3】従来の画像処理における「背景差分法」と「ラベリング処理」のフローを示した図である。

【図4】従来の画像処理手法による画像処理の一例を示した図である。

【図5】本発明の「ラベル・アシスト・ラーニング（ＬＡＬ）」技術による画像処理のフローを示した図である。

【図6】本実施形態におけるパイプ内面自動検査装置のシステムブロック図である。

【図7】「内傷」不良における不良部とノイズ部を含む異常部抽出画像（二値化後）と、その画像から作成した複数の異常部画像、および不良/ノイズ「推論」ユニット（プログラム）により抽出された不良画像の一例を示した図である。

【図8】「内傷」不良における不良部とノイズ部を含む異常部抽出画像（二値化後）と、その画像から作成した複数の異常部画像、および不良/ノイズ「推論」ユニット（プログラム）により抽出された不良画像の一例を示した図である。

【発明を実施するための形態】

【0019】

図２は、図１に示した「汎用高速可動焦点法」により、パイプの両端からパイプ内面を自動検査する自動検査装置の検査フローを示し、図３は、この自動検査装置の画像処理手法のフローを示す。ここでは、画像処理手法として、周知の「背景差分法」と「ラベリング処理」とを採用している。

【0020】

図２に示すように、自動検査装置にパイプ１０５を投入した後（ステップ２０１）、照明１０４をＯＮにして、ズームレンズ１０１を作動させる（ステップ２０２）。これにより、複数枚の画像を取得した後（ステップ２０３）、各画像の合焦点範囲の切り出しを行う（ステップ２０４）。そして、「背景差分法」を用いて、検査規格の不良項目毎に各画像処理及び分析を行って、異常画像部を抽出する（ステップ２０５）。

【0021】

次に、ラベリング処理により、良品判別を行った後（ステップ２０６）、総合判定して分別し（ステップ２０７）、良品と判定した場合、良品を出荷する（ステップ２１０）。一方、不良品と判定した場合、目視検査で再検査を行い（ステップ２０８）、良品と判定した場合、良品を出荷し（ステップ２１０）、不良品と判定した場合、破棄する（ステップ２０９）。

【0022】

画像処理手法は、図３に示すように、取得した画像（ステップ３０１）に対して、一般に、数項目（種類）以上ある不良項目（種類）毎に、「背景差分」法により、撮影画像の背景ノイズを除去して、不良及びノイズを含む多数の異常部画像を抽出生成する（ステップ３０５）。具体的には、まず、取得した画像に弱フィルターをかけ、微小ノイズを除去した画像Ｂｗを作成する（ステップ３０２）。次に、取得した画像に強フィルターをかけて、背景画像Ｂsを作成する（ステップ３０３）。その後、取得した画像から背景画像を除去し、不良部とノイズ部だけの異常部を抽出するため、画像Ｂｗと画像Ｂsの差分画像Ｄを作成し（ステップ３０４）、次に、その差分画像を二値化して、二値化異常部画像を作成する（ステップ３０５）。

【0023】

次に、「ラベリング処理」（ステップ３０６）により、不良項目(種類)毎に抽出した不良とノイズを含む多数の異常部画像の中から、事前にその不良項目(種類)の特徴として設定された条件（画像処理パラメータ）に合う不良画像とノイズ画像を選別し、判定すべき不良画像を抽出する（ステップ３０７）。図４に、元の画像、画像処理した画像、及び抽出した不良（傷）の一例を示す、その後、選別した不良画像を、検査規格に従い良否判定を行い、良品、不良品に仕分ける（ステップ３０９、３１０）。

【0024】

上述のように、この「ラベリング処理」工程で必要な、不良の特徴に合致する異常部を選別するための画像処理パラメータの設定には、一般に、熟練した経験やノウハウが必要とされる。そのため、品種毎の画像処理パラメータの設定に時間がかかり、自動検査装置で必須の、多数品種のパイプの検査切り替えに、柔軟かつ効率的に対応するのが難しいという課題がある。

【0025】

本発明では、この課題の解決のため、周知の「汎用高速可動焦点法」による自動検査のラベリング・パラメータの設定（不良／ノイズの判別）工程の代わりに、少ないサンプル数でも不良／ノイズを判別する「推論」プログラムの作成が可能な「深層学習」技術「ラベリング・アシスト・ラーニング（ＬＡＬ）法」を提案し、その「推論」プログラムを画像処理工程に実装する。

【0026】

図５は、本発明の「ラベル・アシスト・ラーニング（ＬＡＬ）」技術による画像処理のフローを示した図である。

【0027】

本発明における「深層学習」技術（ＬＡＬ法）では、まず、各パイプの不良種別毎に、図３に示した「背景差分法」で、不良画像の前処理画像データを作成する（ステップ３０１～３０５）。その画像から、複数の学習用不良画像データと雑音データを作成する（ステップ５０１～５０３）。図６は、その一例を示した図で、異常部抽出画像は、「内傷」不良における不良部とノイズ部を含む異常部抽出画像を示し、差分画像は、異常部抽出画像から作成した複数の異常部画像（〇：不良部 △：ノイズ部）を示し、不良画像は、不良／ノイズ識別「推論」ユニット（プログラム）により抽出された不良画像を示す。

【0028】

一般に「背景差分法」による不良画像の前処理画像データには、数個から十数個の不良部及びノイズ部を含む異常部がある。そのため、この処理により、「深層学習」に必要とされるパイプサンプル数を、１／１０以下に削減することが可能になる。

【0029】

次に、上記の異常部画像データを用いて、「画像処理」における周知の「データ拡張」手法や、周知のＧＡＮ等の学習用データ作成手法により、更に必要な学習用データを増やして、不良判定精度を高めることも可能である。

【0030】

次に、これらの学習用データを用いて、「深層学習」により（ステップ５０３）、不良／雑音判別推論プログラムを作成し（ステップ５０４）、それを、「汎用高速可動焦点法」による自動検査装の画像処理工程におけるラベリング処理工程に実装して（ステップ５０５）、検査規格で検査する不良画像を抽出し自動検査する。

【0031】

このとき、不良／雑音判別基準、及び検査規格を厳しくして自動検査すれば、その不良品は、再度目視検査して良品選別するため、前述の「深層学習」に固有の課題である若干の誤判定を防ぐことも可能になる。

【0032】

本発明によれば、「深層学習」の前に、「背景差分」法により不良項目（種類）毎に抽出した多数の異常部画像を作成するため、数個以上ある不良項目（種類）判別に必要な学習が不要になるばかりか、学習精度を高めるため、それらの画像を用いてさらに学習用画像データを作成することができる。そのため、従来の「深層学習」に比べ、学習に必要なサンプル／データ量や学習時間を大幅に削減できる。

【0033】

また、目視検査の自動化における最大の課題は、そもそも目視検査の判断基準が曖昧なため、取得画像が不鮮明な場合には、目視検査と自動検査の判定結果を完全に一致させることが大変難しいことである。従来の「汎用高速可動焦点法」による自動検査での目視検査と自動検査の一致度の低下は、上記の自動検査の画像処理工程「ラベリング処理」での不良と、ノイズを判別する画像処理パラメータの特徴判定精度が、不鮮明な画像では落ちるためである。本発明では、「深層学習」によりその精度を向上させることができるため、目視検査と自動検査の判定結果の一致度を高めることが可能であり、そのため、高いコスト性能比を得ることが可能になる。

【0034】

本発明によれば、必要なサンプル／データ数や学習時間を、従来の「深層学習」に比べ、数十分の一に削減・短縮することが可能になる。そのため、自動検査装置の画像処理に、初めて「深層学習」技術を活用することが可能になり、目視検査との一致度が高く、コスト性能比に優れ、多数の品種切り替えにも柔軟に対応できる自動検査装置が可能になる。

【0035】

その結果、「汎用高速可動焦点法」よるパイプ内面自動検査技術を普及させるための最大の課題が解決され、ほぼ全てのパイプで内面検査の自動化が可能になり、その生産性の向上に大きく貢献することが期待される。

【0036】

また、本発明は、パイプ内面自動検査以外の様々な目視検査の自動化装置にも展開が可能であり、勿論、様々な分野で大きな社会貢献が期待される。

【0037】

以下、本発明を、周知の「汎用高速可動焦点法」によるパイプ内面自動検査装置に活用した実施形態を説明する。

【0038】

図６は、長尺パイプの両端（Ａ端、Ｂ端）からパイプ中央までを自動検査するパイプ内面面自動検査装置のシステムブロック図を示す。パイプは、パイプ搬送機構６０１により、Ａ端からＢ端に順次、自動搬送され、それぞれのブロックで、独自技術「汎用高速加増焦点法」により、ＬＥＤ照明６０２から光を投入し、カメラ６０３でパイプ内面の画像を取得し、組み込みコンピュータ６０４、６０５で、画像処理して自動検査される。組み込みコンピュータ６０６は、搬送機構等のシステム制御用であるが、その制御は、組み込みコンピュータ６０４、６０５のどちらかで兼用してもよい。また検査結果データや、検査規格や検査パラメータ等の情報は、タッチパネルモニター６０７に入出力され、バックアップ用ＨＤＤ６０８に保存される。

【0039】

本実施形態では、図１及び図２に示いたように、「汎用高速可動焦点法」により取得された６枚のパイプ内面画像のそれぞれから、焦点のあっている範囲を切り出し、その取得画像に周知の画像処理手法の「背景差分法」により、不良項目毎に元画像から背景ノイズを除去して、不良部とノイズ部を含む異常部を抽出した画像を作成する。そして、図３に示したように、「ラベル・アシスト・ラーニング（ＬＡＬ）」技術に従い、以下の画像処理を実施する。

【0040】

まず、不良項目毎に「背景差分法」により作成された不良部とノイズ部を含む異常部抽出画像から、各異常部を個別に取り出し、複数の異常部画像を作成する。図７は、不良項目「内傷」について、「背景差分法」より作成した不良部とノイズ部を含む異常部抽出画像と、その画像に存在する複数の異常部画像の一例を示す。この異常部画像から、各不良部画像、およびノイズ画像を分離して、複数の学習用画像データを作成する。

【0041】

ここで、図７において、（Ａ）は、「内傷」不良における不良部とノイズ部を含む異常部抽出画像、（Ｂ）は、その画像から作成した複数の異常部画像（〇：不良部 △：ノイズ部）、（Ｃ）は、不良／ノイズ識別「推論」ユニット（プログラム）により抽出された不良画像を、それぞれ示す。なお、異常部画像として、図７では、「背景差分」法により処理された画像を二値化した画像を用いたが、図８に示すように、二値化しない画像で学習用データを作成してもよい。

【0042】

次に、これらの画像データを用いて、その不良項目（種類）の不良を推論する不良／ノイズ識別「推論」ユニット（プログラム）を学習し作成する。その後、作成した不良／ノイズ識別「推論」ユニット（プログラム）を、自動検査装置の画像処理工程の「ラベリング処理」工程に実装し、「推論」ユニット（プログラム）により、その不良項目（種類）の不良の特徴に合致する不良画像を抽出する。その後、その不良画像を検査規格に基づき良否判定する。例えば、不良画像の面積が規格値以上のときを、不良と判定している。

【0043】

以上のように、本発明によれば、従来、高度な経験とノウハウが必要であった自動検査の画像処理における、各不良項目（種類）の不良の特徴判別のための画像処理パラメータの設定が、少ないデータと短時間の「深層学習」により自動化されるため、多数の品種に対して柔軟な対応が容易になる。また、従来、不鮮明な画像では低下しがちであった目視検査と自動検査との一致度も、少ないサンプル／データによる効率的な「深層学習」（ＬＡＬ技術）により大きく改善が可能になり、コスト性能比に優れた自動検査装置が可能になる。

【0044】

本発明は、本実施例に示した「汎用高速可動焦点法」よるパイプ内面自動検査装置に限らず、勿論、様々な３次元構造の様々な製品、例えば、金属ベローズ等における外観目視検査（出荷検査）の自動化にも、「深層学習」（ＬＡＬ技術）の導入が可能である。そのため、今後、様々な目視検査の自動化が大きく進展し、社会の生産性の向上に大きく貢献することが期待される。

【符号の説明】

【0045】

１０１ ズームレンズ
１０２ カメラ
１０４ 照明
１０５ パイプ
６０１ パイプ搬送機構
６０２ ＬＥＤ照明
６０３ カメラ
６０４～６０６ コンピュータ
６０７ タッチパネルモニター
６０８ バックアップ用ＨＤＤ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】