特開 2024-155236 フォーカス設定選択装置、表面欠陥検査装置、フォーカス設定選択方法、及び、表面欠陥検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155236

(43)【公開日】2024-10-31

(54)【発明の名称】フォーカス設定選択装置、表面欠陥検査装置、フォーカス設定選択方法、及び、表面欠陥検査方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241024BHJP

【ＦＩ】

G06T7/00 610Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023069813

(22)【出願日】2023-04-21

(71)【出願人】

【識別番号】000157083

【氏名又は名称】トヨタ自動車東日本株式会社

(71)【出願人】

【識別番号】504165591

【氏名又は名称】国立大学法人岩手大学

(74)【代理人】

【識別番号】100131026

【弁理士】

【氏名又は名称】藤木 博

(74)【代理人】

【識別番号】100194124

【弁理士】

【氏名又は名称】吉川 まゆみ

(72)【発明者】

【氏名】菊田 真基

(72)【発明者】

【氏名】明石 卓也

(72)【発明者】

【氏名】張 精

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096BA18

5L096CA04

5L096CA17

5L096DA02

5L096EA05

5L096EA35

5L096EA43

5L096FA06

5L096FA17

5L096FA32

5L096FA33

5L096FA37

5L096FA52

5L096FA60

5L096FA69

5L096GA07

5L096GA19

5L096GA51

5L096HA01

5L096JA11

5L096JA13

(57)【要約】      （修正有）

【課題】焦点を定量的に評価するフォーカス設定選択装置、表面欠陥検査装置、フォーカス設定選択方法及び表面欠陥検査方法を提供する。
【解決手段】表面欠陥検査装置は、撮影手段により検査動画撮影する際のフォーカス設定をフレームに応じて選択するフォーカス設定選択手段５０を備えている。フォーカス設定選択手段５０は、検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行って得た試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像を作成するエッジ抽出画像作成手段５１と、エッジ抽出画像について、輝度値の分散を算出する輝度値分散算出手段５２と、フレームの順番毎に、フォーカス設定が異なるフレームについて輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を選択する選択手段５３と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物について撮影手段により所定の動画撮影する際のフォーカス設定をフレームに応じて選択するフォーカス設定選択装置であって、
前記動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行うことにより得られた複数の試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手段と、
前記各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手段と、
フレームの順番毎に、フォーカス設定が異なる各フレームについて、前記輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を前記動画撮影時の設定として選択する選択手段と
を備えたことを特徴とするフォーカス設定選択装置。

【請求項2】

被検査面を撮影して検査動画を得る撮影手段と、
前記撮影手段と前記被検査面とを相対的に移動させる移動手段と、
前記移動手段により前記撮影手段と前記被検査面とを相対的に移動させながら前記撮影手段により所定の検査動画撮影を行うことにより得られた検査動画から欠陥を検出する欠陥検出手段と、
前記撮影手段により前記検査動画撮影する際のフォーカス設定をフレームに応じて選択するフォーカス設定選択手段とを備え、
前記フォーカス設定選択手段は、
前記検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行うことにより得られた複数の試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手段と、
前記各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手段と、
フレームの順番毎に、フォーカス設定が異なる各フレームについて、前記輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を前記検査動画撮影時の設定として選択する選択手段と
を備えたことを特徴とする表面欠陥検査装置。

【請求項3】

前記試験動画は、前記被検査面に試験用の模様を付けて前記試験動画撮影を行うことにより得られたものであることを特徴とする請求項２記載の表面欠陥検査装置。

【請求項4】

対象物について撮影手段により所定の動画撮影する際のフォーカス設定をフレームに応じて選択するフォーカス設定選択方法であって、
前記動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行い、フォーカス設定の異なる複数の試験動画を得る試験動画撮影手順と、
前記各試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手順と、
前記各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手順と、
フレームの順番毎に、フォーカス設定が異なる各フレームについて、前記輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を前記動画撮影時の設定として選択する選択手順と
を含むことを特徴とするフォーカス設定選択方法。

【請求項5】

被検査面と撮影手段とを相対的に移動させながら前記撮影手段により所定の検査動画撮影を行い検査動画を得る検査動画撮影手順と、
前記検査動画撮影手順により得られた検査動画から欠陥を検出する欠陥検出手順と、
前記検査動画撮影手順の前に、前記検査動画撮影手順における前記撮影手段のフォーカス設定をフレームに応じて選択するフォーカス設定選択手順とを含み、
前記フォーカス設定選択手順は、
前記検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行い、フォーカス設定の異なる複数の試験動画を得る試験動画撮影手順と、
前記各試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手順と、
前記各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手順と、
フレームの順番毎に、フォーカス設定が異なる各フレームについて、前記輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を前記検査動画撮影時の設定として選択する選択手順と
を含むことを特徴とする表面欠陥検査方法。

【請求項6】

前記試験動画撮影手順では、前記被検査面に試験用の模様を付けて前記試験動画撮影を行うことを特徴とする請求項５記載の表面欠陥検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、自動車のボディ表面の塗装などの状態を検査する際に用いることができるフォーカス設定選択装置、表面欠陥検査装置、フォーカス設定選択方法、及び、表面欠陥検査方法に関する。

【背景技術】

【0002】

従来より、自動車のボディを塗装する工程においては、検査員の目視により塗装表面の検査作業を行っている。しかし、検査員による外観検査は労力を要する仕事であり、個人によってばらつきがあるため、検査ミスや検査漏れが生じる恐れがある。また、検査員による外観検査では、検査に要する時間も多くなり、人件費が製品の生産コストをあげてしまう要因のひとつになっている。そのため、外観検査の自動化が望まれており、近年では、光学的に自動的に検査することが可能な表面欠陥検査装置の開発が進められている。

【0003】

例えば、特許文献１には、撮影手段と被検査面とを相対的に移動させながら撮影手段により被検査面を撮影し、撮影した複数の画像から欠陥候補を抽出して、撮影時刻の異なる少なくとも２枚以上の画像間における欠陥候補の移動距離及び移動角度が、被検査面に欠陥が存在した時に移動すると想定される基準移動距離及び基準移動角度の範囲内にある場合に欠陥であると判定する表面欠陥検査装置が記載されている。この表面欠陥検査装置によれば、被検査面を撮影することにより、自動的に検査をすることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１１８５７２号公報

【非特許文献】

【0005】

【非特許文献1】新川ら、表面化学，Ｖｏｌ．２６，Ｎｏ．１０，ｐｐ．６２３－６２８，２００５

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、このような表面欠陥検査装置では、自動車の塗装面と撮影手段とを相対的に移動させながら自動車の塗装面を撮影する際に、撮影手段と塗装面との位置関係や状況が変化するので、フレームにより撮影手段のフォーカス設定を調整しないと焦点が合わず、微小な欠陥対象箇所を正確に検出することができない。そのため、従来は、撮像手段のフォーカス設定を変えて撮影した複数の動画を目視で確認し、フレーム毎に、フォーカス設定をその都度調整していた。そのため、撮影動画の全フレームで焦点を高速かつ定量的に評価してフォーカス設定することができず、手間がかかり、煩雑であるという問題があった。なお、従来から合焦判定法としては多数のアルゴリズムが知られている（例えば、非特許文献１参照）。

【0007】

本発明は、このような問題に基づきなされたものであり、焦点を定量的に評価することができるフォーカス設定選択装置、及び、フォーカス設定選択方法、並びに、これらを用いた表面欠陥検査装置、及び、表面欠陥検査方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明のフォーカス設定選択装置は、対象物について撮影手段により所定の動画撮影する際のフォーカス設定をフレームに応じて選択するものであって、動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行うことにより得られた複数の試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手段と、各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手段と、フレームの順番毎に、フォーカス設定が異なる各フレームについて、輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を動画撮影時の設定として選択する選択手段とを備えたものである。

【0009】

本発明の表面欠陥検査装置は、被検査面を撮影して検査動画を得る撮影手段と、撮影手段と被検査面とを相対的に移動させる移動手段と、移動手段により撮影手段と被検査面とを相対的に移動させながら撮影手段により所定の検査動画撮影を行うことにより得られた検査動画から欠陥を検出する欠陥検出手段と、撮影手段により検査動画撮影する際のフォーカス設定をフレームに応じて選択するフォーカス設定選択手段とを備え、フォーカス設定選択手段は、検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行うことにより得られた複数の試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手段と、各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手段と、フレームの順番毎に、フォーカス設定が異なる各フレームについて、輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を検査動画撮影時の設定として選択する選択手段とを備えたものである。

【0010】

本発明のフォーカス設定選択方法は、対象物について撮影手段により所定の動画撮影する際のフォーカス設定をフレームに応じて選択するものであって、動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行い、フォーカス設定の異なる複数の試験動画を得る試験動画撮影手順と、各試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手順と、各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手順と、フレームの順番毎に、フォーカス設定が異なる各フレームについて、輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を前記動画撮影時の設定として選択する選択手順とを含むものである。

【0011】

本発明の表面欠陥検査方法は、被検査面と撮影手段とを相対的に移動させながら撮影手段により所定の検査動画撮影を行い検査動画を得る検査動画撮影手順と、検査動画撮影手順により得られた検査動画から欠陥を検出する欠陥検出手順と、検査動画撮影手順の前に、検査動画撮影手順における撮影手段のフォーカス設定をフレームに応じて選択するフォーカス設定選択手順とを含み、フォーカス設定選択手順は、検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行い、フォーカス設定の異なる複数の試験動画を得る試験動画撮影手順と、各試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するエッジ抽出画像作成手順と、各エッジ抽出画像について、輝度値の分散をそれぞれ算出する輝度値分散算出手順と、フレームの順番毎に、フォーカス設定が異なる各フレームについて、輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を検査動画撮影時の設定として選択する選択手順とを含むものである。

【発明の効果】

【0012】

本発明によれば、試験動画についてフレーム毎にエッジ抽出画像を作成して輝度値の分散を算出し、フレームの順番毎に、フォーカス設定が異なる各フレームのうち最も分散が大きいフレームのフォーカス設定を動画撮影時の設定として選択するようにしたので、焦点を定量的に評価することができる。さらに、本発明によれば、輝度の分散法を用いることで、合焦画像の輝度の分散は大きくなり、逆に非合焦画像は輝度の変動が小さく輝度の分散は小さくなることから、本発明のような被検査表面の微小な欠陥箇所を検出するためにはフレーム毎のエッジ抽出を瞬時かつ高精度に行うことができる。よって、簡単に適切なフォーカス設定を自動的にすることができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施の形態に係る表面欠陥検査装置の全体構成を表す図である。

【図2】図１に示したフォーカス設定選択手段の構成を表すブロック図である。

【図3】エッジ抽出画像の一例を表す図である。

【図4】焦点が合っている場合のエッジ抽出画像の輝度値の分布を表す特性図である。

【図5】焦点が合っていない場合のエッジ抽出画像の輝度値の分布を表す特性図である。

【図6】図１に示した欠陥検出手段の構成を表すブロック図である。

【図7】２次抽出手段により抽出した欠陥候補の一例を表す図である。

【図8】本発明の一実施の形態に係る表面欠陥検査方法の手順を表す図である。

【図9】図８に示したフォーカス設定選択手順における各手順を表す図である。

【図10】図８に示した欠陥検出手順における各手順を表す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

【0015】

〔表面欠陥検査装置〕
図１は、本発明の一実施の形態に係る表面欠陥検査装置１の全体構成を表すものである。この表面欠陥検査装置１は、例えば、自動車のボディの塗装面を被検査面Ｍとし、被検査面Ｍの表面に存在する欠陥を検出するものである。

【0016】

表面欠陥検査装置１は、例えば、被検査面Ｍに光を照射する光源１０と、被検査面Ｍを撮影して検査動画を得る撮影手段２０と、撮影手段２０と被検査面Ｍとを相対的に移動させる移動手段３０と、移動手段３０により撮影手段２０と被検査面Ｍとを相対的に移動させながら撮影手段２０により所定の検査動画撮影を行うことにより得られた検査動画から欠陥を検出する欠陥検出手段４０と、撮影手段２０により検査動画撮影する際のフォーカス設定をフレームに応じて選択するフォーカス設定選択手段５０と、欠陥検出手段４０による検出結果を表示する表示手段６０とを必要に応じて備えている。

【0017】

光源１０には、直管型の照明器具、例えば、直管型の蛍光灯又はＬＥＤ照明若しくはレーザー光を用いることが好ましいが、これら照明の種類に限定されることはなく、また、自動車のボディの色は多種多様であるので白色光源を用いることが好ましい。光源１０は、例えば、被検査面Ｍを多方向から観察できるように、被検査面Ｍに対して複数配置することが好ましい。

【0018】

撮影手段２０は、例えば、ＣＣＤカメラ等のカメラ２１を有しており、デジタル画像を得ることができるものである。カメラ２１は、例えば、光源１０により照射された被検査面Ｍを撮影するように配置されている。具体的には、カメラ２１は、例えば、光源１０に対向するように配置され、光源１０の反射鏡像及びその周辺領域を撮影するように構成される。また、カメラ２１の角度（アングル）は、カメラ２１に対する被検査面Ｍの相対的な位置の移動に応じて、変化させることができるように構成されていることが好ましい。カメラ２１の角度を固定すると、被検査面Ｍの部位によっては、欠陥候補の輝度値が低くなり欠陥候補の抽出が難しい場合があるからである。

【0019】

移動手段３０は、撮影手段２０及び被検査面Ｍの少なくとも一方を移動させることにより、撮影手段２０と被検査面Ｍとを相対的に移動させるものである。例えば、コンベヤー等の搬送手段により被検査面Ｍを一方向に一定の速度で搬送するように構成してもよく、また、撮影手段２０のカメラ２１を一方向に一定の速度で移動させるように構成してもよい。なお、図１では、コンベヤー等により被検査面Ｍを移動させる場合を示している。

【0020】

欠陥検出手段４０及びフォーカス設定選択手段５０は、例えば、コンピュータにより構成されており、画像処理により欠陥を検出するように構成されている。欠陥検出手段４０及びフォーカス設定選択手段５０の具体的な構成については、後段において説明する。表示手段６０は、例えば、ディスプレイ等により構成されている。

【0021】

（フォーカス設定選択手段）
図２は、フォーカス設定選択手段５０の構成を表すものである。このフォーカス設定選択手段５０は、本発明の一実施の形態に係るフォーカス設定選択装置に該当するものである。フォーカス設定選択手段５０は、例えば、エッジ抽出画像作成手段５１と、輝度値分散算出手段５２と、最も焦点が合っているフォーカス設定を選択する選択手段５３と、選択手段５３により選択したフォーカス設定を保存するフォーカス設定記憶手段５４とを必要に応じて有している。

【0022】

エッジ抽出画像作成手段５１は、例えば、検査動画を得るための所定の検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行うことにより得られた複数の試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成するものである。試験動画は、例えば、フォーカス設定以外の撮影条件を検査動画撮影に対応させて試験動画撮影したものである。例えば、試験動画撮影では、撮影手段２０、撮影手段２０と被検査面Ｍとの時間による位置関係や、フレームレート等の撮影条件を検査動画撮影と同一とすることが好ましい。

【0023】

また、試験動画は、検査動画の正確な撮影に必要な条件と同様に撮影され、最適なフォーカス設定を特定するために使用されている。また、試験動画は、被検査面Ｍに試験用の模様を付けて試験動画撮影を行うことにより得られたものであることが好ましい。焦点が最も合っているフォーカス設定を容易に選択できるようにするためである。試験用の模様は特に限定されないが、例えば、白黒の市松模様が挙げられる。エッジを容易に抽出することができるからである。エッジの抽出は、例えば、各フレームにおいて、輝度差の微分を行い、隣接する画素の輝度差が規定値以上となる画素を抽出するようにすることが好ましい。図３にエッジ抽出画像の一例を示す。図３は、被検査面Ｍに試験用の模様として白黒の市松模様を付けて試験動画撮影を行った試験動画の１つのフレームについてエッジを抽出したものである。図３に示したように、エッジ抽出画像では、例えば、市松模様の色の境界線が抽出される。

【0024】

輝度値分散算出手段５２は、例えば、エッジ抽出画像作成手段５１により作成された各エッジ抽出画像について、輝度値の分散をそれぞれ算出するものである。具体的には、例えば、式１及び式２により、エッジ抽出画像の平均輝度値から各画素の輝度差がどれだけ大きいのかを算出する。式１及び式２において、μはエッジ抽出画像の平均輝度値、Ｎはエッジ抽出画像の画素数、Ｐ_ｋはエッジ抽出画像の各画素の輝度値、σはエッジ抽出画像の輝度値の分散である。輝度値の分布は、焦点が合っていると、例えば図４に示したように抽出されるエッジが多くなるので分散が大きくなり、焦点が合っていないと、例えば図５に示したように抽出されるエッジが少なくなるので分散が小さくなる。

【0025】

【数1】

【数2】

【0026】

選択手段５３は、例えば、フレームの順番毎に、フォーカス設定が異なる各フレームについて、輝度値分散算出手段５２により算出した輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を検査動画撮影時の設定として選択するものである。例えば、選択手段５３は、フォーカス設定が異なる各試験動画において、画像情報と時刻情報を同期させて符号化した電気信号（以下、「タイムコード」という）が同一の各フレームの輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を、そのタイムコードにおける検査動画撮影時の設定として選択するように構成することが好ましい。

【0027】

（欠陥検出手段）
図６は、欠陥検出手段４０の構成を表すものである。欠陥検出手段４０は、例えば、移動手段３０により撮影手段２０と被検査面Ｍとを相対的に移動させながら撮影手段２０により所定の検査動画撮影を行うことにより得られた検査動画から欠陥候補を抽出する欠陥候補抽出手段４１と、欠陥候補抽出手段４１により抽出した欠陥候補が欠陥であるか否かを判定する欠陥判定手段４２とを有している。

【0028】

（欠陥候補抽出手段）
欠陥候補抽出手段４１は、例えば、撮影手段２０と被検査面Ｍとを相対的に移動させながら撮影手段２０により所定の検査動画撮影を行うことにより得られた検査動画を記憶するメモリ等の検査動画記憶手段４１１と、撮影手段２０により撮影された検査動画を前処理する検査動画前処理手段４１２と、検査動画前処理手段４１Ｂにより前処理した検査動画について、フレーム毎に、光源１０の反射鏡像を含む領域を長さ方向において複数に分割する分割手段４１３と、検査動画前処理手段４１２により前処理した検査動画について２値化処理を行い、欠陥候補を抽出するための１次欠陥候補を抽出する１次抽出手段４１４と、１次欠陥候補を記憶する１次欠陥候補記憶手段４１５と、１次欠陥候補から欠陥候補を抽出する２次抽出手段４１６と、欠陥候補を記憶する欠陥候補記憶手段４１７とを有していることが好ましい。

【0029】

検査動画前処理手段４１２は、例えば、撮影手段２０により得らえた検査動画の各フレームをグレースケール画像等の濃淡画像に変換して、被検査面Ｍの領域を切り出すと共に、ノイズの低減を行うものである。ノイズの低減としては、例えば、ガウシアンフィルタや、メディアンフィルタがある。

【0030】

分割手段４１３は、例えば、検査動画前処理手段４１２により前処理した検査動画について、フレーム毎に、光源１０の１つの反射鏡像及びその周辺領域を含む領域を切り取り、反射鏡像の長さ方向において複数に分割するように構成されていることが好ましい。反射鏡像の長さ方向における中央部と端部とで輝度が異なるので、画像を分けることにより、１次抽出手段４１４において２値化処理を高い精度で行うことができるからである。

【0031】

１次抽出手段４１４は、例えば、分割手段４１３により分割で得た各画像について、それぞれ、２値化閾値を２値化基準値から一方向に順に変化させながら２値化処理を順に行い、処理の順に得られた複数の２値化画像を比較し、欠陥候補点の出現数が所定の基準出現数よりも少ない状態から所定の基準出現数以上となった時の２値化画像、又は、欠陥候補点の出現数が所定の基準出現数よりも多い状態から所定の基準出現数以下となった時の２値化画像を閾値画像とし、この閾値画像から、１次欠陥候補を抽出するように構成されている。すなわち、１次抽出手段４１４は、２値化閾値の変化に伴う欠陥候補点の出現数の変化に基づき２値化閾値を自動的に決定し、２値化するものである。１次抽出手段４１４は、分割手段４１３により分割した画像ごとに２値化処理を行い、１次欠陥候補を抽出することが好ましい。

【0032】

１次欠陥候補記憶手段４１５は、例えば、メモリ等により構成され、１次抽出手段４１４により抽出された１次欠陥候補の重心座標を記憶するように構成されている。

【0033】

２次抽出手段４１６は、例えば、検査動画前処理手段４１２により前処理した検査動画の各フレームについて、１次抽出手段４１４により抽出された１次欠陥候補のうち、１次欠陥候補の輝度値と、その１次欠陥候補の周辺の平均輝度値との輝度差が所定の輝度差基準値以上であるものを欠陥候補として抽出するように構成されている。具体的には、例えば、１次欠陥候補記憶手段４１５に記憶された１次欠陥候補の座標の輝度値と、その１次欠陥候補の周辺の座標の平均輝度値との輝度差を算出し、その輝度差が所定の輝度差基準値以上である場合に、欠陥候補として抽出するように構成されている。図７に、２次抽出手段４１６により抽出した欠陥候補の一例を示す。図７において、○で囲んだ中の白色の点が欠陥候補である。

【0034】

２次抽出手段４１６は、また、例えば、光源１０の反射鏡像の周囲の領域を光源１０の反射鏡像からの距離に応じて複数に分割し、分割した複数の距離領域ごとに輝度差基準値を設定するように構成されていることが好ましい。光源１０の反射鏡像からの距離により、１次欠陥候補の輝度値と、その１次欠陥候補の周辺の平均輝度値との輝度差が変化するので、距離領域ごとに輝度差基準値を設定することにより、より高い精度で欠陥候補を抽出することができるからである。

【0035】

欠陥候補記憶手段４１７は、例えば、メモリ等により構成され、２次抽出手段４１６により抽出された欠陥候補について、検査動画のタイムコードと重心座標を記憶するように構成されている。

【0036】

（欠陥判定手段）
欠陥判定手段４２は、例えば、被検査面Ｍを格子状に複数の区画に区切り、少なくとも１つの区画内に基準となる基準点を付けた区画面について、撮影手段２０と区画面とを移動手段３０により相対的に移動させながら撮影手段２０により撮影した区画撮影動画を記憶するメモリ等の区画撮影動画記憶手段４２１と、被検査面Ｍを格子状に複数の区画に区切り、１つの区画内に基準となる基準点を付けた区画面について撮影した区画撮影動画から区画情報を作成する区画情報作成手段４２２と、区画情報作成手段４２２により作成した区画情報を記憶する区画情報記憶手段４２３と、区画情報作成手段４２２により作成した区画情報を用いて欠陥候補抽出手段４１により抽出した欠陥候補が欠陥であるか否かを判定する判定手段４２４とを有している。

【0037】

区画情報作成手段４２２は、例えば、区画撮影動画記憶手段４２１に記憶された区画撮影動画について、フレーム毎に、区画面の各区画に対応する区画領域を検出して区画情報を作成するように構成されている。区画情報作成手段４２２で用いる区画撮影動画は、例えば、検査動画を得るための所定の検査動画撮影と同様にして、検査動画に対応させて、検査動画の各フレームと区画撮影動画の各フレームが対応するように撮影したものである。また、区画情報作成手段４２２で用いる区画撮影動画は、例えば、被検査面Ｍを白黒の市松模様により格子状に区切り、少なくとも１つの区画内に基準点として白黒以外の色で丸印等を付けた区画面について撮影したものが好ましい。

【0038】

区画情報作成手段４２２は、具体的には、例えば、区画撮影動画の各フレームについて、区画面の基準点に対応する画像基準点を検出し、この画像基準点に基づいて画像基準点が含まれる基準区画領域を検出する手順と、この基準区画領域に基づき、基準区画領域に隣接する隣接区画領域に位置する隣接区画領域内点を求め、この隣接区画領域内点に基づいて隣接区画領域を検出する手順と、この隣接区画領域に隣接する他の隣接区画領域に位置する他の隣接区画領域内点を求め、この他の隣接区画領域内点に基づいて他の隣接区画領域を検出する手順とを実行するように構成されていることが好ましい。

【0039】

区画情報記憶手段４２３は、例えば、区画情報として、区画撮影動画のタイムコードと、区画領域の座標と、区画面の区画番号に対応する区画領域の番号とを関連付けて記憶するように構成されることが好ましい。

【0040】

判定手段４２４は、例えば、区画情報作成手段４２２により作成した区画情報を用いて、欠陥候補抽出手段４１により抽出した欠陥候補が存在する区画領域を検出し、検査動画の各フレームのうち、基準判定数以上のフレームにおいて、区画面の同一の区画に対応する区画領域に欠陥候補が存在する場合に、欠陥であると判定するように構成されていることが好ましい。欠陥であると判定する基準判定数は、２以上において任意に設定することができ、例えば、３以上であればより好ましい。

【0041】

〔表面欠陥検査方法〕
この表面欠陥検査装置１は、例えば、次のようにして用いられる。図８は、表面欠陥検査装置１を用いた表面欠陥検査方法の手順を表すものである。図９は、表面欠陥検査方法のフォーカス設定選択手順における各手順を表すものである。図１０は、表面欠陥検査方法の欠陥検出手順における各手順を表すものである。

【0042】

この表面欠陥検査方法は、例えば、被検査面Ｍと撮影手段２０とを相対的に移動させながら撮影手段２０により所定の検査動画撮影を行い検査動画を得る検査動画撮影手順（ステップＳ１１０）と、検査動画撮影手順により得られた検査動画から欠陥を検出する欠陥検出手順（ステップＳ１２０）と、検出結果を表示する表示手順（ステップＳ１３０）と、検査動画撮影手順の前に、検査動画撮影手順における撮影手段２０のフォーカス設定をフレームに応じて選択するフォーカス設定選択手順（ステップＳ１００）とを必要に応じて含んでいる。なお、フォーカス設定選択手順は、本発明の一実施の形態に係るフォーカス設定選択方法に該当する。

【0043】

フォーカス設定選択手順（ステップＳ１００）では、まず、例えば、検査動画撮影に対応する所定の試験動画撮影をフォーカス設定を変えて繰り返し行い、フォーカス設定の異なる複数の試験動画を取得する（ステップＳ１０１；試験動画撮影手順）。試験動画撮影は、例えば、フォーカス設定以外の撮影条件を検査動画撮影に対応させて行う。例えば、撮影手段２０と被検査面Ｍとの時間による位置関係や、フレームレート等の撮影条件を検査動画撮影と同一とすることが好ましい。また、試験動画撮影では、被検査面Ｍに試験用の模様を付けて行うことが好ましい。例えば、被検査面Ｍに試験用の模様を描いた紙又は布を貼り付けることにより対応することができる。試験用の模様としては、例えば、白黒の市松模様が挙げられる。

【0044】

次いで、例えば、エッジ抽出画像作成手段５１により、図９の試験動画撮影手順（ステップＳ１０１）において得られた各試験動画について、フレーム毎に、エッジを抽出したエッジ抽出画像をそれぞれ作成する（ステップＳ１０２；エッジ抽出画像作成手順）。例えば、各フレームにおいて、輝度差の微分を行い、隣接する画素の輝度差が規定値以上となる画素を抽出する（図３参照）。続いて、例えば、輝度値分布算出手段５２により、エッジ抽出画像作成手段（ステップＳ１０２）において得られた各エッジ抽出画像について、上述した式１及び式２により、輝度値の分散をそれぞれ算出する（ステップＳ１０３；輝度値分散算出手順）。

【0045】

次に、例えば、選択手段５３により、フレームの順番毎に、フォーカス設定が異なる各フレームについて、輝度値分散算出手順において算出した輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を検査動画撮影時の設定として選択する（ステップＳ１０４；選択手段）。例えば、フォーカス設定が異なる各試験動画において、タイムコードが同一の各フレームの輝度値の分散を比較し、最も分散が大きいフレームのフォーカス設定を、そのタイムコードにおける検査動画撮影時の設定として選択する。選択したフォーカス設定は、例えば、フォーカス設定記憶手段５４に保存する。

【0046】

図８の検査動画撮影手順（ステップＳ１１０）では、例えば、フォーカス設定選択手順（ステップＳ１００）において選択されたフォーカス設定に撮影手段２０を設定して所定の検査動画撮影を行う。フォーカス設定は、例えば、フレーム毎に設定する。検査動画撮影では、例えば、光源１０から光を照射し、光源１０により照射された被検査面Ｍを撮影することが好ましい。また、被検査面Ｍの部位により、カメラ２１に対する被検査面Ｍの相対的な位置の移動に応じて、欠陥候補の輝度が高くなるようにカメラ２１の角度を変化させるようにしてもよい。撮影手段２０により撮影した動画は、検査動画像記憶手段４１１に保存する。

【0047】

欠陥検出手順（ステップＳ１２０）では、まず、例えば、検査動画前処理手段４１２により、検査動画撮影手順（ステップＳ１１０）で得られた検査動画について前処理を行う（ステップＳ１２１；検査動画前処理手順）。続いて、例えば、分割手段４１３により、前処理した検査動画について、フレーム毎に、光源１０の１つの反射鏡像及びその周辺領域を含む領域を切り取り、反射鏡像の長さ方向において複数に分割する（ステップＳ１２２；画像分割手順）。

【0048】

次に、例えば、１次抽出手段４１４により、画像分割手順（ステップＳ１２２）により分割した画像毎に、２値化処理を行い、１次欠陥候補を抽出する（ステップＳ１２３；１次抽出手順）。具体的には、例えば、前処理した検査動画について、画像分割手順（ステップＳ１２２）により分割した画像毎に、それぞれ、２値化閾値を２値化基準値から一方向に順に変化させながら２値化処理を順に行い、処理の順に得られた複数の２値化画像を比較して、欠陥候補点の出現数が所定の基準出現数よりも少ない状態から所定の基準出現数以上となった時の２値化画像、又は、欠陥候補点の出現数が所定の基準出現数よりも多い状態から所定の基準出現数以下となった時の２値化画像を閾値画像とし、この閾値画像から、１次欠陥候補を抽出する。１次抽出手順（ステップＳ１２３）により抽出した１次欠陥候補は１次欠陥候補記憶手段４１５に保存する。

【0049】

その後、例えば、２次抽出手段４１６により、１次抽出手順（ステップＳ１２３）により抽出された１次欠陥候補から欠陥候補を抽出する（ステップＳ１２４；２次抽出手順）。具体的には、例えば、前処理した検査動画について、画像分割手順（ステップＳ１２２）により分割した画像毎に、１次欠陥候補の輝度値と、その１次欠陥候補の周辺の平均輝度値との輝度差を算出し、その輝度差が所定の輝度差基準値以上である場合に欠陥候補として抽出する。２次抽出手順（ステップＳ１２４）により抽出した欠陥候補は欠陥候補記憶手段４１７に保存する。

【0050】

２次抽出手順（ステップＳ１２４）により欠陥候補を抽出した後、判定手段４２４により、区画情報作成手段４２２により作成した区画情報を用いて、欠陥候補抽出手段４１により抽出した欠陥候補が存在する区画領域を検出し、検査動画の各フレームのうち、基準判定数以上のフレームにおいて、区画面の同一の区画に対応する区画領域に欠陥候補が存在する場合に、欠陥であると判定する（ステップＳ１２５；判定手順）。

【0051】

なお、区画情報作成手段４２２では、例えば、被検査面Ｍを複数の区画に区切り基準点を付けた区画面について、検査動画を得るための所定の検査動画撮影と同様にして、検査動画に対応させて撮影した区画撮影画像から、各区画に対応する区画領域を検出して区画情報を作成する。区画情報としては、区画動画のタイムコート、区画領域の座標、区画面の区画番号に対応する区画領域の番号を関連付けて区画情報記憶手段４２３に保存する。判定手段４２４では、例えば、２次抽出手段４１６により抽出した欠陥候補のタイムコード及び重心座標と、区画情報作成手段４２２により作成した区画情報（タイムコード、区画領域の座標、区画面の区画番号に対応する区画領域の番号等）とを対応させて、同一の区画領域の番号について、基準判定数以上のフレームに欠陥候補が存在する場合に、欠陥であると判定することがこのましい。

【0052】

このように本実施の形態によれば、試験動画についてフレーム毎にエッジ抽出画像を作成して輝度値の分散を算出し、フレームの順番毎に、フォーカス設定が異なる各フレームのうち最も分散が大きいフレームのフォーカス設定を動画撮影時の設定として選択するようにしたので、焦点を定量的に評価することができる。よって、簡単に適切なフォーカス設定を自動的にすることができる。

【0053】

以上、実施の形態を挙げて本願発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形可能である。例えば、上記実施の形態では、各構成要素について具体的に説明したが、全ての構成要素を備えていなくてもよく、また、他の構成要素を備えていてもよい。

【0054】

また、上記実施の形態では、欠陥検出手段４０及び欠陥検出手順（ステップＳ１２０）について具体的に説明したが、他の構成及び手順により欠陥候補を抽出するようにしてもよい。

【0055】

更に、上記実施の形態では、表面欠陥検査装置又は表面欠陥検査方法においてフォーカス設定選択装置又はフォーカス設定選択方法を用いる場合について説明したが、本発明のフォーカス設定選択装置及びフォーカス設定選択方法は、対象物について撮影手段により所定の動画撮影する際のフォーカス設定をフレームに応じて選択する場合に広く適用することができる。

【0056】

加えて、上記実施の形態では、自動車のボディの塗装面を検査する場合について具体的に説明したが、本願発明は、自動車のボディに限らず、他の塗装製品の表面検査をする場合についても適用することができる。更に、塗装面に限らず、反射性質を有する表面の検査をする場合にも適用することもできる。

【符号の説明】

【0057】

１…表面欠陥検査装置、１０…光源、２０…撮影手段、２１…カメラ、３０…移動手段、４０…欠陥検出手段、４１…欠陥候補抽出手段、４１１…検査動画記憶手段、４１２…検査動画前処理手段、４１３…分割手段、４１４…１次抽出手段、４１５…１次欠陥候補記憶手段、４１６…２次抽出手段、４１７…欠陥候補記憶手段、４２…欠陥判定手段、４２１…区画撮影画像記憶手段、４２２…区画情報作成手段、４２３…区画情報記憶手段、４２４…判定手段、５０…フォーカス設定選択手段、５１…エッジ抽出画像作成手段、５２…輝度値分散算出手段、５３…選択手段、５４…フォーカス設定記憶手段、６０…表示手段、Ｍ…被検査面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】