特許 7605483 外観検査装置、外観検査方法および外観検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】外観検査装置、外観検査方法および外観検査プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241217BHJP

   G01B 11/30 20060101ALI20241217BHJP

【ＦＩ】

G01N21/88 Z

G01B11/30 A

【請求項の数】 10

(21)【出願番号】P 2021554231

(86)(22)【出願日】2020-10-05

(86)【国際出願番号】 JP2020037746

(87)【国際公開番号】W WO2021079727

(87)【国際公開日】2021-04-29

【審査請求日】2022-04-12

【審判番号】

【審判請求日】2023-08-21

(31)【優先権主張番号】P 2019192625

(32)【優先日】2019-10-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】大島 優香

(72)【発明者】

【氏名】鹿嶋 卓郎

(72)【発明者】

【氏名】小板橋 勇介

(72)【発明者】

【氏名】松田 淳

【合議体】

【審判長】三崎 仁

【審判官】萩田 裕介

【審判官】伊藤 幸仙

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１６５５４１（ＵＳ，Ａ１）

【文献】特開平１１－０７８８０７（ＪＰ，Ａ）

【文献】特開２００２－２２２２８１（ＪＰ，Ａ）

【文献】特開平０６－２９４７５７（ＪＰ，Ａ）

【文献】登録実用新案第３１１８４５０（ＪＰ，Ｕ）

【文献】登録実用新案第３１４６８７５（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G01N21/84 - 21/958

G01B11/00 - 11/30

G06T 1/00

G06T 7/00

(57)【特許請求の範囲】

【請求項1】

被検査物体の欠陥と、当該被検査物体における当該欠陥に重ならない位置であって当該欠陥から予め定められた距離以内の位置に貼付された予め定められた大きさのマーカとが撮像されたマーカ付き欠陥画像をもとに、当該マーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出する変換式算出手段と、
画像から被検査物体の欠陥を検知して当該欠陥の種別を判定するモデルを用いて、前記マーカ付き欠陥画像に含まれる欠陥の種別を判定する欠陥種別判定手段と、
前記変換式を用いて、前記マーカ付き欠陥画像に含まれる欠陥の大きさを測定する欠陥測定手段と、
判定された欠陥の種別および測定された欠陥の大きさを出力する欠陥内容出力手段とを備え、
前記欠陥内容出力手段は、欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタに基づいて特定される、前記判定された欠陥の種別に対応する欠陥の発生工程であって、輸送工程および製造工程を含む発生工程を出力する
ことを特徴とする外観検査装置。

【請求項2】

マーカ付き欠陥画像から、マーカを含み当該マーカからあらかじめ定めた範囲内の画像を、欠陥部分を含む画像として抽出する欠陥エリア抽出手段を備え、
欠陥種別判定手段は、抽出された画像に含まれる欠陥の種別を判定する
請求項１記載の外観検査装置。

【請求項3】

欠陥の種別および欠陥の大きさに対する対応内容であって、欠陥に対するメーカの保証内容を表す対応内容を規定したルールマスタを記憶するルールマスタ記憶手段と、
前記ルールマスタに基づいて、出力された欠陥の種別および欠陥の大きさに応じた対応内容を決定する対応判定手段とを備えた
請求項１または請求項２記載の外観検査装置。

【請求項4】

マーカは、被検査物体の外観の色に依らず認識可能な、円の一部又は全部を含む図形として形成される
請求項１から請求項３のうちのいずれか１項に記載の外観検査装置。

【請求項5】

マーカは、２種類以上の色が用いられ、少なくとも２色のそれぞれで正方形または円の一部または全部を特定できるように形成される
請求項１から請求項４のうちのいずれか１項に記載の外観検査装置。

【請求項6】

ユーザの操作に応じてマーカと被検査物体とを含むマーカ付き欠陥画像を撮像する撮像装置から、当該マーカ付き欠陥画像の入力を受け付ける入力手段を備えた
請求項１から請求項５のうちのいずれか１項に記載の外観検査装置。

【請求項7】

被検査物体の欠陥と、当該被検査物体における当該欠陥に重ならない位置であって当該欠陥から予め定められた距離以内の位置に貼付された予め定められた大きさのマーカとが撮像されたマーカ付き欠陥画像をもとに、当該マーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出し、
画像から被検査物体の欠陥を検知して当該欠陥の種別を判定するモデルを用いて、前記マーカ付き欠陥画像に含まれる欠陥の種別を判定し、
前記変換式を用いて、前記マーカ付き欠陥画像に含まれる欠陥の大きさを測定し、
欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタに基づいて特定される、前記判定された欠陥の種別および測定された欠陥の大きさ、並びに、判定された欠陥の種別に対応する欠陥の発生工程であって、輸送工程および製造工程を含む発生工程を出力する
ことを特徴とする外観検査方法。

【請求項8】

マーカ付き欠陥画像から、マーカを含み当該マーカからあらかじめ定めた範囲内の画像を、欠陥部分を含む画像として抽出し、
抽出された画像に含まれる欠陥の種別を判定する
請求項７記載の外観検査方法。

【請求項9】

コンピュータに、
被検査物体の欠陥と、当該被検査物体における当該欠陥に重ならない位置であって当該欠陥から予め定められた距離以内の位置に貼付された予め定められた大きさのマーカとが撮像されたマーカ付き欠陥画像をもとに、当該マーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出する変換式算出処理、
画像から被検査物体の欠陥を検知して当該欠陥の種別を判定するモデルを用いて、前記マーカ付き欠陥画像に含まれる欠陥の種別を判定する欠陥種別判定処理、
前記変換式を用いて、前記マーカ付き欠陥画像に含まれる欠陥の大きさを測定する欠陥測定処理、および、
判定された欠陥の種別および測定された欠陥の大きさを出力する欠陥内容出力処理を実行させ、
前記欠陥内容出力処理で、欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタに基づいて特定される、前記判定された欠陥の種別に対応する欠陥の発生工程であって、輸送工程および製造工程を含む発生工程を出力させる
ための外観検査プログラム。

【請求項10】

コンピュータに、
マーカ付き欠陥画像から、マーカを含み当該マーカからあらかじめ定めた範囲内の画像を、欠陥部分を含む画像として抽出する欠陥エリア抽出処理を実行させ、
欠陥種別判定処理で、抽出された画像に含まれる欠陥の種別を判定させる
請求項９記載の外観検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製品の外観を検査する外観検査装置、外観検査方法および外観検査プログラムに関する。

【背景技術】

【0002】

自動車のボディなどの塗装製品には、その製品の製造過程や流通過程において、様々な欠陥が生じる可能性がある。例えば、塗装ラインにおけるゴミ噛みなどによる塗装の凹凸、塗料時の色ムラ、塗装作業時や搬送時などのキズなどが欠陥として挙げられる。このような欠陥の検査は、一般に、製造時や販売店による販売前に行われる。

【0003】

例えば、特許文献１には、自動車の表面の欠陥を検査する表面検査装置が記載されている。特許文献１に記載された表面検査装置は、被検査物体の被検査面に光を照射し、被検査面からの反射光に基づいて受光画像を形成し、受光画像に基づいて被検査面上に存在する欠陥を検出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１１－６３９５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された表面検査装置は、製造ラインで受光画像が形成されて欠陥の検出が行われる。すなわち、この表面検査装置を製造ラインの特定の位置に配置することで、欠陥個所やその欠陥の内容、欠陥の大きさなどを取得することが可能である。

【0006】

一方、製造ラインから離れた場所（例えば、販売店など）で外観を検査する場合、欠陥の検知は、通常人手で行われる。例えば、販売店などで欠陥が検知された場合、一般に、その販売店にて人手で欠陥個所の画像が撮影され、その画像を取得した製造元（メーカ）が、その画像から欠陥の種類や大きさを判定する。しかし、製造ラインと異なり、その欠陥が撮影される状況は定まっていないため、欠陥を撮影する位置や角度によって撮影される欠陥の画像は異なってしまう。そのため、このような画像から欠陥の内容を判定する場合、多くの時間を要してしまう。

【0007】

個々の販売店に特許文献１に記載されたような表面検査装置を導入することは困難である。そのため、簡易な方法で欠陥を含む画像を取得できるとともに、その画像を利用して欠陥の種類や大きさなど、欠陥の内容を検査する作業を自動化できることが好ましい。

【0008】

そこで、本発明では、簡易な方法で取得可能な欠陥を含む画像から被検査物体の外観に生じている欠陥の内容を検査する作業工数を低減できる外観検査装置、外観検査方法および外観検査プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明による外観検査装置は、被検査物体の欠陥と、その被検査物体における欠陥に重ならない位置であってその欠陥から予め定められた距離以内の位置に貼付された予め定められた大きさのマーカとが撮像されたマーカ付き欠陥画像をもとに、そのマーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出する変換式算出手段と、画像から被検査物体の欠陥を検知してその欠陥の種別を判定するモデルを用いて、マーカ付き欠陥画像に含まれる欠陥の種別を判定する欠陥種別判定手段と、変換式を用いて、マーカ付き欠陥画像に含まれる欠陥の大きさを測定する欠陥測定手段と、判定された欠陥の種別および測定された欠陥の大きさを出力する欠陥内容出力手段とを備え、欠陥内容出力手段が、欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタに基づいて特定される、判定された欠陥の種別に対応する欠陥の発生工程であって、輸送工程および製造工程を含む発生工程を出力することを特徴とする。

【0010】

本発明による外観検査方法は、被検査物体の欠陥と、その被検査物体における欠陥に重ならない位置であってその欠陥から予め定められた距離以内の位置に貼付された予め定められた大きさのマーカとが撮像されたマーカ付き欠陥画像をもとに、そのマーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出し、画像から被検査物体の欠陥を検知してその欠陥の種別を判定するモデルを用いて、マーカ付き欠陥画像に含まれる欠陥の種別を判定し、変換式を用いて、マーカ付き欠陥画像に含まれる欠陥の大きさを測定し、欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタに基づいて特定される、判定された欠陥の種別および測定された欠陥の大きさ、並びに、判定された欠陥の種別に対応する欠陥の発生工程であって、輸送工程および製造工程を含む発生工程を出力することを特徴とする。

【0011】

本発明による外観検査プログラムは、コンピュータに、被検査物体の欠陥と、その被検査物体における欠陥に重ならない位置であってその欠陥から予め定められた距離以内の位置に貼付された予め定められた大きさのマーカとが撮像されたマーカ付き欠陥画像をもとに、そのマーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出する変換式算出処理、画像から被検査物体の欠陥を検知してその欠陥の種別を判定するモデルを用いて、マーカ付き欠陥画像に含まれる欠陥の種別を判定する欠陥種別判定処理、変換式を用いて、マーカ付き欠陥画像に含まれる欠陥の大きさを測定する欠陥測定処理、および、判定された欠陥の種別および測定された欠陥の大きさを出力する欠陥内容出力処理を実行させ、欠陥内容出力処理で、欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタに基づいて特定される、判定された欠陥の種別に対応する欠陥の発生工程であって、輸送工程および製造工程を含む発生工程を出力させることを特徴とする。

【発明の効果】

【0012】

本発明によれば、簡易な方法で取得可能な欠陥を含む画像から被検査物体の外観に生じている欠陥の内容を検査する作業工数を低減できる。

【図面の簡単な説明】

【0013】

【図1】本発明による外観検査装置の第一の実施形態の構成例を示すブロック図である。

【図2】マーカの例を示す説明図である。

【図3】マーカ付き欠陥画像を撮像する処理の例を示す説明図である。

【図4】第一の実施形態の外観検査装置の動作例を示すフローチャートである。

【図5】本発明による外観検査装置の第二の実施形態の構成例を示すブロック図である。

【図6】第二の実施形態の外観検査装置の動作例を示すフローチャートである。

【図7】本発明による外観検査装置の概要を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態を図面を参照して説明する。

【0015】

実施形態１．
図１は、本発明による外観検査装置の第一の実施形態の構成例を示すブロック図である。本実施形態の外観検査装置２０は、撮像装置１０と通信ネットワークを介して接続される。

【0016】

撮像装置１０は、被検査物体の外観を撮像して画像を生成する装置である。撮像装置１０は、撮像部１１と、送信部１２とを含む。被検査物体の外観を撮像する前提として、ユーザによって、被検査物体に生じた欠陥の近傍に、マーカが貼付される。欠陥の近傍とは、欠陥に重ならない位置であって、欠陥から予め定められた距離以内の位置を示し、例えば、欠陥から１ｃｍ以内の位置である。

【0017】

また、貼付されるマーカは、被検査物体の外観の色に依らず認識可能な予め定められた大きさのマーカである。例えば、被検査物体が自動車の場合、添付されるマーカは、ボディカラー（塗装された色）に依らず認識可能なマーカであり、その大きさは予め定められる。このマーカと被検査物体の欠陥とを含む画像が撮像部１１によって撮像されるため、マーカは、発生し得る欠陥の大きさと同等程度が好ましく、例えば、縦横２ｃｍ程度の正方形、または、直径２ｃｍ程度の円で形成される。

【0018】

図２は、マーカの例を示す説明図である。図２に示すマーカは、被検査物体の外観の色に依らず認識可能なマーカの例である。マーカ４１は、２色を利用した円形のマーカであり、各半円をそれぞれ異なる色で表したマーカである。また、マーカ４２は、４色を利用した円形のマーカであり、円を４等分したそれぞれが異なる色で表されたマーカである。また、マーカ４３は、円に内接する正方形の領域と円内の正方形以外の領域とが、それぞれ異なる色で表されたマーカである。また、マーカ４４は、正方形の内部に、一回り小さい正方形が配置され、内側の正方形の領域と、外側の正方形の領域のうち内側の正方形の領域を除いた領域とが、それぞれ異なる色で表されたマーカである。

【0019】

なお、図２に示すマーカは例示であり、マーカの態様は図２に例示する内容に限定されない。具体的には、マーカは、２種類以上の色が用いられ、少なくとも２色のそれぞれで正方形または円の一部または全部を特定できるように形成される。なお、図面表示の関係上、図２に例示するマーカは、白と黒または白と黒の網掛けで表示されているが、白または黒、並びに、網掛けされた範囲が、それぞれ、白と黒以外の色で表されていてもよい。

【0020】

また、マーカとして、後述する変換式算出部２３による変換式の算出が容易な態様が用いられることが好ましい。例えば、図２に例示するマーカ４１またはマーカ４２を用いることで、変換式の導出に直径を使用することが可能になる。また、例えば、図２に例示するマーカ４３またはマーカ４４を用いることで、変換式の導出に中心の正方形の一辺の長さを使用することが可能になる。

【0021】

撮像部１１は、上記マーカと被検査物体の欠陥とが撮像された画像を撮像する。以下、上記マーカと被検査物体の欠陥とが撮像された画像を、マーカ付き欠陥画像と記す。すなわち、マーカ付き欠陥画像は、欠陥の近傍にマーカが貼付されて撮像された画像と言える。

【0022】

図３は、マーカ付き欠陥画像を撮像する処理の例を示す説明図である。図３に例示するように、ユーザ５４によって、被検査物体である自動車５０の欠陥５３の近傍にマーカ５２が貼付され、撮像部１１は、ユーザの操作に応じて、欠陥とマーカとが撮像されるように接写することで、マーカ付き欠陥画像５１を撮像する。

【0023】

送信部１２は、マーカ付き欠陥画像を外観検査装置２０に送信する。

【0024】

外観検査装置２０は、記憶部２１と、入力部２２と、変換式算出部２３と、欠陥エリア抽出部２４と、欠陥種別判定部２５と、欠陥測定部２６と、出力部２７とを備えている。

【0025】

記憶部２１は、外観検査装置２０が処理を行うために必要な各種情報を記憶する。具体的には、記憶部２１は、後述する欠陥種別判定部２５が処理に用いるモデルを記憶する。本実施形態で用いられるモデルは、画像から被検査物体の欠陥を検知してその欠陥の種別を判定するモデルであり、機械学習等により予め生成されたモデルが記憶部２１に記憶される。なお、モデルの生成に用いられる学習方法は任意であり、またモデルの態様も特に限定されない。また、記憶部２１は、貼付されるマーカの特徴を記憶してもよい。

【0026】

入力部２２は、撮像装置１０が撮像したマーカ付き欠陥画像の入力を受け付ける。入力部２２は、撮像装置１０の送信部１２からマーカ付き欠陥画像の入力を直接受け付けてもよく、ストレージ（図示せず）を介して、マーカ付き欠陥画像の入力を受け付けてもよい。

【0027】

変換式算出部２３は、マーカ付き欠陥画像をもとに、そのマーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出する。具体的には、変換式算出部２３は、マーカ付き欠陥画像をもとに、画像中の１画素に対する実際の大きさの比率を算出する。変換式算出部２３は、例えば、画像中のピクセルと、実際の大きさ（例えば、ｍｍ単位）との変換式を算出してもよい。

【0028】

本実施形態では、マーカ付き欠陥画像に含まれるマーカの大きさは予め定められている。そこで、変換式算出部２３は、予め定められたマーカの大きさが、画像において何ピクセルで表されているか抽出し、抽出されたピクセル数とマーカの大きさとの対応関係に基づいて変換式を算出すればよい。

【0029】

欠陥エリア抽出部２４は、マーカ付き欠陥画像から、マーカを含み、かつ、そのマーカからあらかじめ定めた範囲内の画像を、欠陥部分を含む画像として抽出する。欠陥エリア抽出部２４は、例えば、マーカの中心から縦横数百ピクセル以内の範囲を抽出範囲として予め定めておき、欠陥エリア抽出部２４は、マーカの中心からその範囲内の画像をマーカ付き欠陥画像から抽出して、欠陥部分を含む画像としてもよい。

【0030】

被検査物体の形状によっては、外乱光等が映り込むことにより、実際の被検査物体の状態とは異なる内容が撮像されてしまうことがある。例えば、自動車のボディは、Ｒ形状を含むため、欠陥を含む広い範囲が撮像された場合、外乱光が画像に移ってしまう場合がある。一方、本実施形態では、欠陥エリア抽出部２４が欠陥部分を含む画像を抽出するため、後述する欠陥種別判定部２５が欠陥を判定する精度を向上させることができる。

【0031】

なお、マーカ付き欠陥画像が、適切な範囲で撮像されている画像の場合、欠陥部分を含む画像を改めて抽出する必要はない。そのため、この場合、外観検査装置２０は、欠陥エリア抽出部２４を備えていなくてもよい。

【0032】

欠陥種別判定部２５は、記憶部２１に記憶されたモデル（すなわち、画像から被検査物体の欠陥を検知してその欠陥の種別を判定するモデル）を用いて、マーカ付き欠陥画像に含まれる欠陥の種別を判定する。なお、欠陥エリア抽出部２４により欠陥部分を含む画像が抽出されている場合、欠陥種別判定部２５は、抽出された画像に含まれる欠陥の種別を判定してもよい。

【0033】

欠陥測定部２６は、変換式算出部２３により算出された変換式を用いて、マーカ付き欠陥画像に含まれる欠陥の大きさを測定する。例えば、被検査物体に欠陥としてキズが付いていた場合、欠陥測定部２６は、変換式を用いて、マーカ付き欠陥画像に含まれるキズの長さを測長してもよい。

【0034】

出力部２７は、判定された欠陥の種別および測定された欠陥の大きさを出力する。出力部２７は、欠陥の種別および大きさを、表示装置（図示せず）に表示させてもよく、予め定めた通知先に、電子メール等で通知を行ってもよい。

【0035】

入力部２２と、変換式算出部２３と、欠陥エリア抽出部２４と、欠陥種別判定部２５と、欠陥測定部２６と、出力部２７は、プログラム（外観検査プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

【0036】

例えば、プログラムは、記憶部２１に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２２、変換式算出部２３、欠陥エリア抽出部２４、欠陥種別判定部２５、欠陥測定部２６、および、出力部２７として動作してもよい。また、外観検査装置２０の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0037】

また、入力部２２と、変換式算出部２３と、欠陥エリア抽出部２４と、欠陥種別判定部２５と、欠陥測定部２６と、出力部２７とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0038】

また、外観検査装置２０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0039】

また、記憶部２１は、例えば、磁気ディスク等により実現される。

【0040】

次に、本実施形態の動作例を説明する。図４は、本実施形態の外観検査装置の動作例を示すフローチャートである。

【0041】

入力部２２がマーカ付き欠陥画像の入力を受け付けると、変換式算出部２３は、そのマーカ付き欠陥画像をもとに、画像から実際の大きさへの変換式を算出する（ステップＳ１１）。欠陥種別判定部２５は、画像から欠陥の種別を判定するモデルを用いて、マーカ付き欠陥画像に含まれる欠陥の種別を判定する（ステップＳ１２）。なお、欠陥種別判定部２５は、欠陥エリア抽出部２４が抽出した欠陥部分を含む画像を対象として欠陥の種別を判定してもよい。

【0042】

欠陥測定部２６は、マーカ付き欠陥画像に含まれる欠陥の大きさを変換式を用いて測定する（ステップＳ１３）。そして、出力部２７は、判定された欠陥の種別および測定された欠陥の大きさを出力する（ステップＳ１４）。

【0043】

以上のように、本実施形態では、変換式算出部２３が、マーカ付き欠陥画像をもとに変換式を算出し、欠陥種別判定部２５が、画像から欠陥の種別を判定するモデルを用いてマーカ付き欠陥画像に含まれる欠陥の種別を判定する。欠陥測定部２６は、変換式を用いて、マーカ付き欠陥画像に含まれる欠陥の大きさを測定し、出力部２７が、判定された欠陥の種別および測定された欠陥の大きさを出力する。よって、簡易な方法で取得可能な欠陥を含む画像から被検査物体の外観に生じている欠陥の内容を検査する作業工数を低減できる。また、今までの人手による曖昧な確認と比べて判定基準が明確化されるため、外観に生じている欠陥についての不要な修理を削減することも可能になる。

【0044】

実施形態２．
次に、本発明の外観検査装置の第二の実施形態を説明する。第二の実施形態では、取得された欠陥の内容（欠陥の種別および大きさ）から、その後の対応を自動的に判定する。

【0045】

図５は、本発明による外観検査装置の第二の実施形態の構成例を示すブロック図である。本実施形態の外観検査装置３０は、第一の実施形態と同様、撮像装置１０と通信ネットワークを介して接続される。

【0046】

外観検査装置３０は、記憶部３１と、入力部２２と、変換式算出部２３と、欠陥エリア抽出部２４と、欠陥種別判定部２５と、欠陥測定部２６と、対応判定部３２と、出力部３３とを備えている。すなわち、本実施形態の外観検査装置３０は、第一の実施形態の外観検査装置２０と比較し、対応判定部３２をさらに備え、記憶部２１および出力部２７の代わりに記憶部３１および出力部３３を備えている点において異なる。

【0047】

記憶部３１は、第一の実施形態の記憶部２１が記憶する内容に加え、欠陥の種別および欠陥の大きさに対する対応内容を規定したルールマスタを記憶する。例えば、被検査物体が自動車の場合、対応内容は、欠陥に対するメーカの保証内容（例えば、メーカが保証し、販売店に修理対応を払うか否か、など）であってもよい。保証内容は、欠陥の種別と欠陥の大きさに応じて予め定められる。また、このルールマスタは、被検査物体ごと、対応者ごとに定められていてもよい。

【0048】

さらに、記憶部３１は、欠陥の種別ごとに発生工程を対応付けた欠陥発生マスタを記憶していてもよい。例えば、自動車の場合、欠陥の内容が線キズであれば、輸送工程（工場から販売店までの車両輸送中）に生じたものであると判定でき、ゴミ噛み（ブツ）や塗装ムラであれば、製造工程で生じたものと判定できる。これらの対応付けが欠陥マスタに保持されていてもよい。

【0049】

対応判定部３２は、記憶部３１に記憶されたルールマスタに基づいて、出力された欠陥の種別および欠陥の大きさに応じた対応内容を決定する。

【0050】

出力部３３は、第一の実施形態の出力部２７による出力内容に加え、決定された対応内容を出力する。また、出力部３３は、欠陥発生マスタに基づいて、欠陥の種別に基づく欠陥の発生工程を出力してもよい。これにより、発生工程の改善を行うことが可能になる。

【0051】

入力部２２と、変換式算出部２３と、欠陥エリア抽出部２４と、欠陥種別判定部２５と、欠陥測定部２６と、対応判定部３２と、出力部３３は、プログラム（外観検査プログラム）に従って動作するコンピュータのプロセッサによって実現される。また、記憶部３１は、例えば、磁気ディスク等により実現される。

【0052】

次に、本実施形態の動作例を説明する。図６は、本実施形態の外観検査装置の動作例を示すフローチャートである。なお、入力部２２がマーカ付き欠陥画像の入力を受け付けて欠陥の種別を判定し、欠陥の大きさを測定するまでのステップＳ１１からステップＳ１３までの処理は、図４に例示する動作と同様である。

【0053】

対応判定部３２は、記憶部３１に記憶されたルールマスタに基づいて、出力された欠陥の種別および欠陥の大きさに応じた対応内容を決定する（ステップＳ２１）。そして、出力部２７は、判定された欠陥の種別および測定された欠陥の大きさ、並びに、対応内容を出力する（ステップＳ２２）。

【0054】

以上のように、本実施形態では、対応判定部３２は、ルールマスタに基づいて、出力された欠陥の種別および欠陥の大きさに応じた対応内容を決定する。よって、第一の実施形態の効果に加え、欠陥に対する意思決定を自動化することが可能になる。

【0055】

次に、本発明の概要を説明する。図７は、本発明による外観検査装置の概要を示すブロック図である。本発明による外観検査装置８０（例えば、外観検査装置２０）は、被検査物体（例えば、自動車）の外観の色（例えば、自動車のボディカラー、塗装された色）に依らず認識可能な予め定められた大きさのマーカ（例えば、図２に例示するマーカ４１～４４）と被検査物体の欠陥（例えば、キズ、ゴミ噛み、色ムラなど）とが撮像されたマーカ付き欠陥画像をもとに、そのマーカ付き欠陥画像の大きさから実際の大きさへの変換式を算出する変換式算出部８１（例えば、変換式算出部２３）と、画像から被検査物体の欠陥を検知してその欠陥の種別を判定するモデルを用いて、マーカ付き欠陥画像に含まれる欠陥の種別を判定する欠陥種別判定部８２（例えば、欠陥種別判定部２５）と、変換式を用いて、マーカ付き欠陥画像に含まれる欠陥の大きさを測定する欠陥測定部８３（例えば、欠陥測定部２６）と、判定された欠陥の種別および測定された欠陥の大きさを出力する欠陥内容出力部８４（例えば、出力部２７）とを備えている。

【0056】

そのような構成により、簡易な方法で取得可能な欠陥を含む画像から被検査物体の外観に生じている欠陥の内容を検査する作業工数を低減できる。また、今までの人手による曖昧な確認と比べて判定基準が明確化されるため、外観に生じている欠陥についての不要な修理を削減することも可能になる。

【0057】

また、マーカ付き欠陥画像は、欠陥の近傍にマーカが貼付されて撮像された画像であり、外観検査装置８０は、マーカ付き欠陥画像から、マーカを含み、そのマーカからあらかじめ定めた範囲内の画像を、欠陥部分を含む画像として抽出する欠陥エリア抽出部（例えば、欠陥エリア抽出部２４）を備えていてもよい。そして、欠陥種別判定部２５は、抽出された画像に含まれる欠陥の種別を判定してもよい。そのような構成により、欠陥の種別を判定する精度を向上させることができる。

【0058】

また、外観検査装置８０（例えば、外観検査装置３０）は、欠陥の種別および欠陥の大きさに対する対応内容を規定したルールマスタを記憶するルールマスタ記憶部（例えば、記憶部３１）と、ルールマスタに基づいて、出力された欠陥の種別および欠陥の大きさに応じた対応内容を決定する対応判定部（例えば、対応判定部３２）とを備えていてもよい。そのような構成によれば、欠陥に対する意思決定を自動化することが可能になる。

【0059】

また、欠陥内容出力部８４（例えば、出力部３３）は、欠陥の種別に基づく欠陥の発生工程を出力してもよい。

【0060】

また、具体的には、マーカは、２種類以上の色が用いられ、少なくとも２色のそれぞれで正方形または円の一部または全部を特定できるように形成されていてもよい。

【0061】

また、外観検査装置８０は、ユーザの操作に応じてマーカと非検査物体をと含むマーカ付き欠陥画像を撮像する撮像装置（例えば、撮像装置１０）から、そのマーカ付き欠陥画像の入力を受け付ける入力部（例えば、入力部２２）を備えていてもよい。

【0062】

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0063】

この出願は、２０１９年１０月２３日に出願された日本特許出願２０１９－１９２６２５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0064】

１０ 撮像装置
１１ 撮像部
１２ 送信部
２０，３０ 外観検査装置
２１，３１ 記憶部
２２ 入力部
２３ 変換式算出部
２４ 欠陥エリア抽出部
２５ 欠陥種別判定部
２６ 欠陥測定部
２７，３３ 出力部
３２ 対応判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】