特開 2022-126620 表面欠陥検出装置、表面欠陥検出方法、および表面欠陥検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022126620

(43)【公開日】2022-08-30

(54)【発明の名称】表面欠陥検出装置、表面欠陥検出方法、および表面欠陥検出プログラム

(51)【国際特許分類】

   G01N 21/952 20060101AFI20220823BHJP

   G01N 21/88 20060101ALI20220823BHJP

   G06T 7/00 20170101ALI20220823BHJP

【ＦＩ】

G01N21/952

G01N21/88 J

G06T7/00 610

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022023677

(22)【出願日】2022-02-18

(31)【優先権主張番号】P 2021024592

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000110251

【氏名又は名称】トピー工業株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】海部屋 道雄

(72)【発明者】

【氏名】岩城 秀和

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AB02

2G051BB01

2G051CA03

2G051DA08

2G051EA08

2G051EA11

2G051EB05

2G051ED01

2G051ED21

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA07

5L096EA12

5L096EA43

5L096FA03

5L096FA06

5L096FA51

5L096GA19

5L096GA55

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】加工痕を含む金属製品の表面における欠陥の検出精度を向上可能にした表面欠陥検出装置、表面欠陥検出方法、および表面欠陥検出プログラムを提供する。
【解決手段】金属製品の表面画像２０ＬＰの画像解析を通じて金属製品の加工痕を検出する第１検出部１２と、撮影領域の延在方向に沿って表面画像２０ＬＰを複数に分割する画像処理部１１と、画像処理部１１が生成した第１分割画像２０ＤＰから当該第１分割画像２０ＤＰに含まれる欠陥候補を検出するように学習した欠陥候補検出モデル１３Ａを用い、画像処理部１１が生成した各第１分割画像２０ＤＰを欠陥候補検出モデル１３Ａに適用して、当該第１分割画像２０ＤＰに含まれる欠陥候補を検出する第２検出部１３と、を備え、第１検出部１２が検出した加工痕を第２検出部１３が検出する欠陥候補のなかから除外して除外後の欠陥候補を金属製品の欠陥とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

線状の撮影領域に対して金属製品の表面を相対的に回転させながら前記表面を撮影した前記金属製品の表面画像を用い、当該表面画像の画像解析を通じて前記金属製品の加工痕を検出する第１検出部と、
前記表面画像を前記撮影領域の延在方向で複数に分割する画像処理部と、
前記画像処理部が生成した分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルを用い、前記画像処理部が生成した各分割画像を前記欠陥候補検出モデルに適用して、当該分割画像に含まれる前記欠陥候補を検出する第２検出部と、を備え、
前記第１検出部が検出した前記加工痕を前記第２検出部が検出する前記欠陥候補のなかから除外して除外後の前記欠陥候補を前記金属製品の欠陥とする
表面欠陥検出装置。

【請求項2】

前記金属製品は、前記表面の回転中心を中心とした円筒部を備え、
前記表面画像は、前記撮影領域の撮影画像を時間軸に沿って並べた画像であり、
前記画像処理部は、前記撮影領域の延在方向での分割と、前記時間軸に沿った方向での分割とを前記表面画像に施して、前記分割画像を生成する
請求項１に記載の表面欠陥検出装置。

【請求項3】

前記画像処理部は、前記撮影領域の各部位での前記表面の回転速度が等しくなるように前記表面画像を変換した変換画像を生成し、
前記除外後の前記欠陥候補の位置を前記変換画像のなかで特定して前記除外後の前記欠陥候補の属性を前記変換画像を用いて分類する判定部をさらに備える
請求項１または２に記載の表面欠陥検出装置。

【請求項4】

前記表面画像は、前記撮影領域の撮影画像を時間軸に沿って並べた画像であり、
前記分割画像は、第１分割画像であり、
前記画像処理部は、前記撮影領域の各部位での前記表面の回転速度が等しくなるように前記表面画像を変換した変換画像を生成すると共に、前記撮影領域の延在方向に沿って前記変換画像を複数に分割した第２分割画像を生成し、
前記時間軸に沿って並ぶ複数の評価領域を前記第２分割画像のなかに定め、各評価領域における輝度を算出し、前記第２分割画像のなかの表面塗装に異常が存在するか否かを、当該第２分割画像のなかの前記輝度の分布に基づいて判定する判定部をさらに備える
請求項１に記載の表面欠陥検出装置。

【請求項5】

線状の撮影領域に対して金属製品の表面を相対的に回転させながら前記表面を撮影した前記金属製品の表面画像を用い、当該表面画像の画像解析を通じて前記表面における加工痕を検出すること、
前記表面画像を前記撮影領域の延在方向で複数に分割すること、および、
前記表面画像から生成した分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルを用い、前記表面画像から生成した各分割画像を前記欠陥候補検出モデルに適用して、当該分割画像に含まれる前記欠陥候補を検出すること、を含み、
前記画像解析で検出した前記加工痕を前記欠陥候補検出モデルで検出する前記欠陥候補のなかから除外して除外後の前記欠陥候補を前記金属製品の欠陥とする
表面欠陥検出方法。

【請求項6】

表面欠陥検出装置を、
線状の撮影領域に対して金属製品の表面を相対的に回転させながら前記表面を撮影した前記金属製品の表面画像を用い、当該表面画像の画像解析を通じて前記表面における加工痕を検出し、
前記表面画像を前記撮影領域の延在方向で複数に分割し、
前記表面画像から生成した分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルを用い、前記表面画像から生成した各分割画像を前記欠陥候補検出モデルに適用して、当該分割画像に含まれる前記欠陥候補を検出し、
前記画像解析で検出した前記加工痕を前記欠陥候補検出モデルで検出する前記欠陥候補のなかから除外して除外後の前記欠陥候補を前記金属製品の欠陥とする手段として機能させる
表面欠陥検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、金属製品の表面に含まれる欠陥を検出する表面欠陥検出装置、表面欠陥検出方法、および表面欠陥検出プログラムに関する。

【背景技術】

【0002】

表面欠陥検出装置は、金属製品の表面画像を用いて欠陥の存否を検出する。表面欠陥検出装置の第１例は、ＴＤＩカメラの撮影画像に二値化処理や膨張および収縮処理を施して刻印の領域を特定すると共に、刻印の領域以外の撮影画像から欠陥を検出する（例えば、特許文献１参照）。表面欠陥検出装置の第２例は、単一の表面を複数の方向から撮影した各画像のそれぞれの輝度異常部に教師無し学習モデルを適用して欠陥候補を抽出すると共に、各欠陥候補に教師有り学習モデルを適用して欠陥判定を行う（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１８７３４８号公報

【特許文献2】特開２０１９－３２２６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＴＤＩカメラの撮影画像を一つの方向に並べた画像から刻印の領域を特定する第１例の装置では、刻印の領域以外から欠陥検出が可能である一方、欠陥検出用の画像サイズが大きいことに起因して微小欠陥の検出精度が得られがたい。他方、輝度異常部を含む複数の局所領域に撮影画像を分割する第２例の装置では、微小欠陥の検出精度を学習モデルの適用によって向上可能である一方、相互に隣り合う複数の局所領域に跨がる加工痕を欠陥として誤検出してしまう。

【課題を解決するための手段】

【0005】

上記課題を解決するための表面欠陥検出装置は、線状の撮影領域に対して金属製品の表面を相対的に回転させながら前記表面を撮影した前記金属製品の表面画像を用い、当該表面画像の画像解析を通じて前記表面における加工痕を検出する第１検出部と、前記表面画像を前記撮影領域の延在方向で複数に分割する画像処理部と、前記画像処理部が生成した分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルを用い、前記画像処理部が生成した各分割画像を前記欠陥候補検出モデルに適用して、当該分割画像に含まれる前記欠陥候補を検出する第２検出部と、を備え、前記第１検出部が検出した前記加工痕を前記第２検出部が検出する前記欠陥候補のなかから除外して除外後の前記欠陥候補を前記金属製品の欠陥とする。

【0006】

上記課題を解決するための表面欠陥検出方法は、線状の撮影領域に対して金属製品の表面を相対的に回転させながら前記表面を撮影した前記金属製品の表面画像を用い、当該表面画像の画像解析を通じて前記表面における加工痕を検出すること、前記表面画像を前記撮影領域の延在方向で複数に分割すること、および、前記表面画像から生成した分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルを用い、前記表面画像から生成した各分割画像を前記欠陥候補検出モデルに適用して、当該分割画像に含まれる前記欠陥候補を検出すること、を含み、前記画像解析で検出した前記加工痕を前記欠陥候補検出モデルで検出する前記欠陥候補のなかから除外して除外後の前記欠陥候補を前記金属製品の欠陥とする。

【0007】

上記課題を解決するための表面欠陥検出プログラムは、表面欠陥検出装置を、線状の撮影領域に対して金属製品の表面を相対的に回転させながら撮影した前記金属製品の表面画像を用い、当該表面画像の画像解析を通じて前記表面における加工痕を検出し、前記表面画像を前記撮影領域の延在方向で複数に分割し、前記表面画像から生成した分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルを用い、前記表面画像から生成した各分割画像を前記欠陥候補検出モデルに適用して、当該分割画像に含まれる前記欠陥候補を検出し、前記画像解析で検出した前記加工痕を前記欠陥候補検出モデルで検出する前記欠陥候補のなかから除外して除外後の前記欠陥候補を前記金属製品の欠陥とする手段として機能させる。

【0008】

金属製品の表面に形成される刻印や締結孔などの加工痕は、微小な欠陥と比べて広い範囲に形成される。上記各構成によれば、金属製品の表面を広い範囲にわたり撮影した表面画像の画像解析によって加工痕が検出される。これにより、（ａ）加工痕の検出に適した広範囲にわたる画像を用いて的確に加工痕を検出することができる。一方、微小な欠陥候補の検出は、表面画像よりも小さい分割画像を用い、各分割画像をモデルに適用することによって検出される。これにより、（ｂ）欠陥候補の検出に適した狭範囲での画像を用いて的確に欠陥候補を検出することができる。そして、モデルによって検出する欠陥候補のなかから画像解析によって検出した加工痕を除外し、除外後の欠陥候補を金属製品の欠陥とするため、（ｃ）欠陥の誤検出を抑制可能ともなる。

【0009】

なお、金属製品の表面を撮影領域に対して相対的に回転させながら撮影した表面画像は、回転中心に近い部分と、回転中心から遠い部分との間で、解像度に差異を生じる。この点、撮影領域の延在方向で表面画像を複数に分割することは、単一の表面画像から、（ｄ）回転中心に近い部分である分割画像と、（ｅ）回転中心から遠い部分である分割画像とを生成することでもある。そして、各分割画像から当該分割画像に含まれる欠陥候補をそれぞれ検出するように学習することは、（ｄ）回転中心に近い位置での解像度に特化したモデルを生成するように、また（ｅ）回転中心から遠い位置での解像度に特化したモデルを生成するように、学習器から欠陥候補検出モデルを生成することである。

【0010】

この際、表面画像において、回転方向に同種の構造が繰り返される範囲や、回転方向に同程度の濃度が繰り返される範囲を、回転中心から近いひとまとまりとしてモデルが扱うことによって、回転中心から近い範囲での欠陥の検出精度を高められる。同じく、表面画像において、回転方向に同種の構造が繰り返される範囲や、回転方向に同程度の濃度が繰り返される範囲を、回転中心から遠いひとまとまりとしてモデルが扱うことによって、回転中心から遠い範囲での欠陥の検出精度も高められる。

【0011】

結果として、分割画像から当該分割画像に含まれる欠陥候補を検出するように学習した欠陥候補検出モデルであれば、専ら、解像度の差異を加味したうえで、欠陥候補を検出することができる。これにより、モデルによる欠陥候補の検出精度そのものを高めることが可能ともなる。

【0012】

上記表面欠陥検出装置において、前記金属製品は、前記表面の回転中心を中心とした円筒部を備え、前記表面画像は、前記撮影領域の撮影画像を時間軸に沿って並べた画像であり、前記画像処理部は、前記撮影領域の延在方向での分割と、前記時間軸に沿った方向での分割とを前記表面画像に施して、前記分割画像を生成してもよい。

【0013】

なお、時間軸に沿った方向は、金属製品の表面に対して撮影範囲が回転する方向でもある。撮影領域の撮影画像を時間軸に沿って並べることは、撮影領域の撮影画像を回転方向に沿って並べることでもある。一方、金属製品の表面に対して撮影範囲が回転するとき、回転の開始や回転の終了などの過渡状態では、金属製品の表面に対する撮影範囲の回転速度が回転の定常状態と比べて遅く、結果として、単位回転角あたりに得られる撮影画像が多くなる。そのため、回転の定常状態と過渡状態との間における解像度の乖離を抑えることを要求される場合、撮影領域の撮影画像を時間軸に沿って並べる構成であれ、回転方向に沿って並べる構成であれ、単位回転角に１つずつ撮影画像を並べることが好ましい。

【0014】

上記表面欠陥検出装置によれば、撮影領域の延在方向、および時間軸に沿った方向の２つの方向で表面画像が分割される。表面画像を２つの方向で細分化した画像が欠陥候補の検出に用いられるため、微小な欠陥候補の検出にさらに適した狭範囲での画像から欠陥候補を検出することができる。

【0015】

また、重機、建設機械、車両などのホイールのように、円筒部を備える金属製品は、締結孔や刻印などの加工痕を円筒部の周方向に沿って備える。表面画像における円筒部の周方向は、撮影領域における時間軸に沿った方向である。時間軸に沿った方向で分割された分割画像は、円筒部の周方向に沿って細分化された加工痕の一部分を含み得る。細分化された加工痕は、微細な欠陥候補に似た形状を有しやすく、欠陥候補検出モデルによっても微細な欠陥候補として検出されやすい。この点、上述したように、細分化された加工痕であれ、ひとつながりの加工痕であれ、表面画像の画像解析によって検出された加工痕は、金属製品の欠陥から除外される。結果として、欠陥候補検出モデルによる欠陥候補の検出精度を表面画像の細分化によって高めながらも、表面画像の細分化によって生じ得る誤検出を抑制可能ともなる。

【0016】

上記表面欠陥検出装置において、前記画像処理部は、前記撮影領域の各部位での前記表面の回転速度が等しくなるように前記表面画像を変換した変換画像を生成し、前記除外後の前記欠陥候補の位置を前記変換画像のなかで特定して前記除外後の前記欠陥候補の属性を前記変換画像を用いて分類する判定部をさらに備えてもよい。

【0017】

上述したように、金属製品の表面を撮影領域に対して相対的に回転させながら撮影した表面画像では、回転中心に近い部分と、回転中心から遠い部分との間で、解像度に差異を生じる。一方、撮影領域の一部での表面の回転速度が他部での回転速度と等しくなるように表面画像を変換した変換画像は、回転中心に近い部分と、回転中心から遠い部分との間での解像度の差異を抑えた、実際の寸法比率に即した画像である。

【0018】

この点、上記表面欠陥検出装置によれば、欠陥の要因解析に有益な情報といえる欠陥候補の属性が、表面画像ではなく、変換画像を用いて分類される。変換画像を用いて分類された属性であれば、表面画像を用いて分類された属性と比べて、欠陥の大きさや形状などの分類の精度、ひいては欠陥の要因解析の精度を高めることが可能ともなる。

【0019】

上記表面欠陥検出装置において、前記表面画像は、前記撮影領域の撮影画像を時間軸に沿って並べた画像であり、前記分割画像は、第１分割画像であり、前記画像処理部は、前記撮影領域の各部位での前記表面の回転速度が等しくなるように前記表面画像を変換した変換画像を生成すると共に、前記撮影領域の延在方向に沿って前記変換画像を複数に分割した第２分割画像を生成し、前記時間軸に沿って並ぶ複数の評価領域を前記第２分割画像のなかに定め、各評価領域における輝度を算出し、前記第２分割画像のなかの表面塗装に異常が存在するか否かを、当該第２分割画像のなかの前記輝度の分布に基づいて判定する判定部をさらに備えてもよい。

【0020】

金属製品の表面塗装における波紋状の模様や艶斑やなどの異常は、塗膜の厚さにおけるなだらかな変化である。こうした塗装異常は、エッジや線の検出などによる画像解析では存否を判定し難く、照射される光の方向に応じて判定の精度も区々となり得る。

【0021】

この点、上記表面欠陥検出装置であれば、塗装異常の判定に用いる第２分割画像を、線状の撮影領域に対して金属製品の表面を相対的に回転させながら撮影した表面画像から生成し、かつ撮影領域の延在方向に沿って当該表面画像を複数に分割して生成する。これにより、塗装の異常判定において、（ｆ）表面の各部位に照射させる光の方向の均一化が図られる。また、実際の寸法比率に即した画像に表面画像を変換し、塗装異常の判定に用いる第２分割画像を変換画像から生成するため、（ｇ）表面における輝度の分布を実際の寸法比率で取得することができる。結果として、第２分割画像のなかの輝度の分布に基づいて塗装異常を判定する構成であれば、異常の存否に関わる判定精度を高めることが可能ともなる。

【発明の効果】

【0022】

本発明によれば、加工痕を含む金属製品の表面における欠陥の検出精度を向上可能にした表面欠陥検出装置、表面欠陥検出方法、および表面欠陥検出プログラムを提供できる。

【図面の簡単な説明】

【0023】

【図1】表面欠陥検出装置の一実施形態の装置構成を機能的に示すブロック図。

【図2】表面欠陥検出装置の一実施形態が用いる撮影装置の概要を示す構成図。

【図3】撮影装置が生成した表面画像の一例を示す画像。

【図4】第１検出部によって特定されたマスク領域の一例を示す画像。

【図5】画像処理部によって生成された第１分割画像の一例を示す画像。

【図6】第２検出部によって検出された欠陥候補の一例を示す画像。

【図7】欠陥候補の第１属性の一例を示す画像。

【図8】欠陥候補の第２属性の一例を示す画像。

【図9】欠陥候補の第３属性の一例を示す画像。

【図10】欠陥候補の第４属性の一例を示す画像。

【図11】判定部が輝度の分布を判定する第２分割画像の一例を示す画像。

【図12】判定部による塗装判定結果の一例を示すグラフ。

【図13】表面欠陥検出装置の出力例を示す画像。

【図14】表面欠陥検出装置の出力例を示す画像。

【図15】変更例における第２検出部の欠陥候補の再構成例を示す作用図。

【図16】変更例における第２検出部の欠陥候補の再構成例を示す作用図。

【図17】変更例における第２検出部の欠陥候補の再構成例を示す作用図。

【図18】他の変更例における第２検出部の欠陥候補の再構成例を示す作用図。

【図19】他の変更例における第２検出部の欠陥候補の再構成例を示す作用図。

【図20】他の変更例における第２検出部の欠陥候補の再構成例を示す作用図。

【図21】変更例の分割部が定める第１分割線の一例を示す画像。

【図22】変更例の分割部が定める第１分割線の一例を示す画像。

【図23】変更例の分割部が定める第１分割線の一例を示す画像。

【図24】変更例の第２検出部が実行する欠陥候補領域の補正例を示す図。

【発明を実施するための形態】

【0024】

表面欠陥検出装置、表面欠陥検出方法、および表面欠陥検出プログラムの一実施形態を説明する。
［表面欠陥検出装置の構成］
図１が示すように、表面欠陥検出装置１０は、撮影装置２０および表示装置３０に接続される。表面欠陥検出装置１０は、撮影装置２０によって撮影された表面画像２０ＬＰを用いて、金属製品の表面に存在し得る欠陥を検出する。表面欠陥検出装置１０は、検出された欠陥の画像や属性を表示装置３０に表示させる。

【0025】

表面欠陥検出装置１０は、画像処理部１１、第１検出部１２、第２検出部１３、および判定部１４を備える。表面欠陥検出装置１０は、表面欠陥検出プログラムを記憶し、表面欠陥検出プログラムを実行することによって第１検出部１２、第２検出部１３、および判定部１４として機能する。

【0026】

表面欠陥検出装置１０は、中央演算処理装置（ＣＰＵ）および各種のメモリを備えて、後述する各種の処理を全てソフトウェアで処理するものに限らない。例えば、表面欠陥検出装置１０は、各種の処理のうち少なくとも一部の処理を実行するハードウェア（特定用途向け集積回路：ＡＳＩＣ）を備えたものであってもよい。つまり、表面欠陥検出装置１０は、ＡＳＩＣなどの１つ以上の専用のハードウェア回路、コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ（マイクロコンピュータ）、あるいは、これらの組合せ、を含む回路として構成し得る。

【0027】

画像処理部１１は、撮影装置２０によって撮影された表面画像２０ＬＰに画像処理を行う。画像処理部１１は、加工痕を検出するための前処理を表面画像２０ＬＰに行い、前処理後の画像である検出対象画像２０ＣＰを第１検出部１２に出力する。加工痕を検出するための前処理は、例えば、濃度補正処理、鮮鋭化処理、フィルター処理、２値化処理である。

【0028】

画像処理部１１は、分割部１１Ａ、および変換部１１Ｂを備える。分割部１１Ａは、欠陥候補を検出するための分割処理を表面画像２０ＬＰに行い、分割処理後の画像である第１分割画像２０ＤＰを第２検出部１３に出力する。変換部１１Ｂは、塗装判定処理を行うための変換処理を表面画像２０ＬＰに行い、変換処理後の画像である変換画像２０ＸＰを判定部１４に出力する。

【0029】

図２が示すように、撮影装置２０は、ラインスキャンカメラ２１、回転ステージ２２、および照明装置２３を備える。ラインスキャンカメラ２１は、金属製品２０Ｍの表面に線状の撮影領域を形成する。金属製品２０Ｍは、鋼板の曲げ、絞り加工品、鍛造品や鋳造品であり、重機、建設機械、車両などのホイールのように、円筒部を備える。回転ステージ２２は、金属製品２０Ｍの円筒部における中心軸を回転中心として、金属製品２０Ｍを回転させる。照明装置２３は、ラインスキャンカメラ２１の画角外からラインスキャンカメラ２１の撮影領域の全体にわたり光を照射する。

【0030】

撮影装置２０は、金属製品２０Ｍの表面をラインスキャンカメラ２１の撮影領域に対して回転させながら、金属製品２０Ｍの表面を撮影する。撮影装置２０は、ラインスキャンカメラ２１が生成する撮影領域の撮影画像を撮影時間の時間軸に沿って並べ、撮影画像の集合である表面画像２０ＬＰを生成する。

【0031】

時間軸に沿った方向は、金属製品２０Ｍの表面に対して撮影範囲が回転する方向でもある。撮影領域の撮影画像を時間軸に沿って並べることは、撮影領域の撮影画像を回転方向に沿って並べることでもある。なお、金属製品２０Ｍの表面に対して撮影範囲が回転するとき、回転の開始や回転の終了などの過渡状態では、金属製品２０Ｍの表面に対する撮影範囲の回転速度が回転の定常状態と比べて遅く、結果として、単位回転角あたりに得られる撮影画像が多くなる。そのため、回転の定常状態と過渡状態との間における解像度の乖離を表面画像２０ＬＰで抑えることを要求される場合、撮影領域の撮影画像を時間軸に沿って並べる構成であれ、回転方向に沿って並べる構成であれ、単位回転角に１つずつ撮影画像を並べることが好ましい。

【0032】

図３が示すように、金属製品２０Ｍの表面を撮影領域に対して相対的に回転させながら撮影された表面画像２０ＬＰは、回転中心に近い部分と、回転中心から遠い部分との間で、解像度に差異を有する。解像度は、単位面積の表面を表現するための画素の密度である。例えば、図３が示す画像は、実際の寸法比率において円形状を有するボルト孔を備えたホイールの表面画像である。ボルト孔は、図３の左右方向に沿って４つ並ぶ孔である。すなわち、回転中心に近い部分に位置するボルト孔は、時間軸に沿って解像度が高まり、表面画像２０ＬＰでは、時間軸に沿って偏平した楕円形状を有する。

【0033】

図１に戻り、分割部１１Ａは、表面画像２０ＬＰを、ラインスキャンカメラ２１における撮影領域の延在方向、および時間軸に沿った方向の２つの方向で、表面画像２０ＬＰを分割する。分割部１１Ａは、撮影領域の延在方向に分割する間隔、および時間軸の方向に分割する間隔を予め記憶する。撮影領域の延在方向に分割する間隔は、例えば、金属製品２０Ｍの表面において周方向に連続するひとまとまりの構造によって定められてもよい。例えば、金属製品２０Ｍがホイールである場合、表面画像２０ＬＰは、インナーリムを表す画像のまとまり、センターディスクを表す画像のまとまり、ハブ取り付け部を表す画像のまとまりなどに分割される。こうした分割は、欠陥の検出精度を高めることを目的として行われる。

【0034】

分割部１１Ａは、表面画像２０ＬＰに分割処理を行い、全ての第１分割画像２０ＤＰを第２検出部１３に出力する。例えば、図３が示すように、分割部１１Ａは、第１分割線２０ＤＬで区切られる１７行×４列の矩形領域画像に、表面画像２０ＬＰを分割する。

【0035】

変換部１１Ｂは、撮影領域の各部位での表面の回転速度が等しくなるように表面画像２０ＬＰを変換する。変換部１１Ｂが生成する変換画像２０ＸＰは、回転中心に近い部分と、回転中心から遠い部分との間での解像度の差異を抑えた画像である。変換画像２０ＸＰは、時間軸に沿った方向で寸法に差異が生じることを抑え、撮影領域の延在方向と時間軸に沿った方向との寸法比率が撮影領域の延在方向で等しくなるように、実際の寸法比率に即した画像である。例えば、実際の寸法比率において円形状を有するボルト孔は、回転中心の近くに位置する場合であれ、回転中心から遠くに位置する場合であれ、変換画像２０ＸＰでは、ほぼ円形状を示す。

【0036】

第１検出部１２は、前処理後の表面画像２０ＬＰである検出対象画像２０ＣＰを用い、画像解析を通じて、検出対象画像２０ＣＰに含まれる加工痕を検出する。
第１検出部１２は、加工痕検出モデル１２Ａを備える。加工痕検出モデル１２Ａは、例えば、加工痕の特徴を記憶した、ルールベース型のアルゴリズムによって構成される。加工痕検出モデル１２Ａは、例えば、対象が加工痕であると判定するための大きさ、形状、濃度などに関わる複数の条件を備える。加工痕検出モデル１２Ａは、検出対象画像２０ＣＰから抽出した構造の測定結果が条件を満たす対象を加工痕として判定する。加工痕の特徴の一例は、金属製品２０Ｍにおける加工痕の大きさ、形状、検出対象画像２０ＣＰにおける濃度である。第１検出部１２が行う画像解析は、例えば、エッジ検出、線検出、濃度特徴の計測、形状特徴の計測である。第１検出部１２は、加工痕検出モデル１２Ａを用い、画像解析を通じて濃度特徴や形状特徴を計測する。第１検出部１２は、計測した特徴が加工痕の特徴に該当するとき、当該計測した特徴を有する部分が加工痕であると判断する。

【0037】

金属製品２０Ｍの表面に形成される刻印や締結孔などの加工痕は、微小な欠陥と比べて広い範囲にわたる。第１検出部１２は、金属製品２０Ｍの表面を広い範囲にわたり撮影した表面画像２０ＬＰの画像解析によって加工痕を検出する。

【0038】

第１検出部１２は、検出した加工痕を囲う領域を検出対象画像２０ＣＰのなかで特定する。第１検出部１２は、表面画像２０ＬＰから検出対象画像２０ＣＰを生成した変換過程を考慮し、検出した加工痕を囲う領域を表面画像２０ＬＰのなかで特定する。第１検出部１２は、表面画像２０ＬＰのなかで特定した領域をマスク領域２０ＭＺに設定する。第１検出部１２は、マスク領域２０ＭＺの位置や構造に関わるデータを第１検出結果１２Ｄとして判定部１４に出力する。

【0039】

図４が示すように、文字の刻印が加工痕である場合、マスク領域２０ＭＺは、例えば１つの文字の全体を囲う矩形領域である。マスク領域２０ＭＺの形状や大きさは、予め設定されてもよいし、第１検出部１２が記憶する加工痕の特徴に基づいて第１検出部１２が設定してもよい。

【0040】

図１に戻り、第２検出部１３は、欠陥候補検出モデル１３Ａを備える。欠陥候補検出モデル１３Ａは、複数層のニューラルネットワークを備え、第１分割画像２０ＤＰを入力とした機械学習型のアルゴリズムによって構築される。欠陥候補検出モデル１３Ａを構築するための学習は、分割部１１Ａが生成した第１分割画像２０ＤＰから当該第１分割画像２０ＤＰに含まれる欠陥候補を出力するように実施される。欠陥候補検出モデル１３Ａを構築するための学習は、深層学習を含む機械学習であり、教師有り学習でもよいし、教師無し学習でもよい。

【0041】

欠陥候補検出モデル１３Ａが検出する欠陥候補は、刻印や締結孔などの広範囲にわたる加工痕の少なくとも一部の他に、異物、塗装剥がれ、線状疵、打痕、押込み、鋳巣、材料欠陥、加工ズレなどの微小な欠陥を含む。第２検出部１３は、表面画像２０ＬＰよりも十分に小さい第１分割画像２０ＤＰを用い、各第１分割画像２０ＤＰを欠陥候補検出モデル１３Ａに適用して欠陥候補を検出する。各第１分割画像２０ＤＰは、微小な欠陥の検出に適した狭範囲の画像であるから、微小な欠陥を含む欠陥候補を的確に検出することができる。また、欠陥候補検出モデル１３Ａを用いる構成であれば、第１分割画像２０ＤＰごとの解像度の差異を加味したうえで、欠陥候補を検出することができるため、欠陥候補の検出精度そのものを高めることが可能ともなる。

【0042】

欠陥候補検出モデル１３Ａは、全ての第１分割画像２０ＤＰのなかで、時間軸に沿って一列に並ぶ複数の第１分割画像２０ＤＰを、一群の第１分割画像２０ＤＰとして扱ってもよい。例えば、金属製品２０Ｍがホイールである場合、欠陥候補検出モデル１３Ａは、インナーリムを表す第１分割画像２０ＤＰを１つの分割画像群２０Ｇとして扱ってもよく、センターディスクを表す第１分割画像２０ＤＰを１つの分割画像群２０Ｇとして扱ってもよい。言い換えれば、回転方向に同種の構造が繰り返される範囲や、回転方向に同程度の濃度が繰り返される範囲をひとまとまりとして、欠陥候補検出モデル１３Ａは、第１分割画像２０ＤＰを扱ってもよい。これにより、欠陥候補検出モデル１３Ａの構築に際しては、学習の精度が高まり、ひいては欠陥候補の検出精度が高まる。

【0043】

欠陥候補検出モデル１３Ａを構築するための学習は、例えば、一群の第１分割画像２０ＤＰから当該一群の第１分割画像２０ＤＰに含まれる欠陥候補を出力するように実施されてもよい。欠陥候補検出モデル１３Ａは、一群の第１分割画像２０ＤＰごとのモデル、すなわち撮影領域の延在方向で分割された領域ごとに別々のモデルを備えてもよい。

【0044】

上述したように、表面画像２０ＬＰでは、回転中心に近い部分と、回転中心から遠い部分との間で、解像度に差異を生じる。例えば、図５が示すように、一群の第１分割画像２０ＤＰにおいて、回転中心に近い表面を表す分割画像群２０Ｇと、回転中心から遠い表面を表す分割画像群２０Ｇとの間では、解像度に差異を生じる。

【0045】

この点、撮影領域の延在方向で表面画像２０ＬＰを複数に分割することは、単一の表面画像２０ＬＰから、回転中心に近い表面を表す分割画像群２０Ｇと、回転中心から遠い表面を表す分割画像群２０Ｇとを生成することでもある。分割画像群２０Ｇから当該分割画像群２０Ｇに含まれる欠陥候補を検出するように学習することは、低い解像度に特化したモデルを構築するように、また高い解像度に特化したモデルを構築するように、学習器から欠陥候補検出モデル１３Ａを生成することである。

【0046】

こうした学習を経て構築された欠陥候補検出モデル１３Ａであれば、専ら、解像度の差異を加味したうえで、欠陥候補を検出することができる。これにより、モデルによる欠陥候補の検出精度そのものを高めることが可能ともなる。

【0047】

第２検出部１３は、全ての第１分割画像２０ＤＰのなかで検出した欠陥候補のなかから、相互に隣り合う第１分割画像２０ＤＰにおいてひとまとまりとなる欠陥候補の存否を判定する。第２検出部１３は、例えば、相互に隣り合う欠陥候補の間隔などに基づいてひとまとまりか否かを判定する。第２検出部１３は、ひとまとまりとなる欠陥候補が存在すると判定したとき、当該ひとまとまりの欠陥候補を一群の欠陥候補として取り扱う。

【0048】

第２検出部１３は、検出した欠陥候補を囲う領域、および一群の欠陥候補を囲う領域を第１分割画像２０ＤＰのなかで特定する。第２検出部１３は、表面画像２０ＬＰから第１分割画像２０ＤＰを生成した変換過程を考慮し、検出した欠陥候補を囲う領域、および一群の欠陥候補を囲う領域を表面画像２０ＬＰのなかで特定する。第２検出部１３は、表面画像２０ＬＰのなかで特定した領域を欠陥候補領域に設定する。第２検出部１３は、欠陥候補領域に関わる位置や構造などのデータを第２検出結果１３Ｄとして判定部１４に出力する。

【0049】

図６が示すように、例えば、文字の刻印が欠陥候補として検出される場合、第２検出部１３は、例えば１つの文字のなかの端部や屈曲部などの複数箇所を欠陥候補２０ＤＣとして検出する。欠陥候補２０ＤＣの形状は、区々であり、欠陥候補領域は、欠陥候補２０ＤＣに追従した形状となる。欠陥候補２０ＤＣの大きさもまた、区々ではあるが、第２検出部１３は、検出できる欠陥候補２０ＤＣの大きさの下限値や上限値を設定してもよい。

【0050】

図１に戻り、判定部１４は、第１検出結果１２Ｄ、および第２検出結果１３Ｄを用い、金属製品２０Ｍの表面に欠陥が存在するか否かを判定する。判定部１４は、加工痕検出モデル１２Ａを用いて検出した加工痕を、欠陥候補検出モデル１３Ａで検出した一群を含む全ての欠陥候補のなかから除外し、除外後の欠陥候補を金属製品２０Ｍの欠陥とする。すなわち、判定部１４は、マスク領域２０ＭＺに含まれる欠陥候補領域を判定対象から除外し、除外後の表面画像２０ＬＰを判定対象とする。

【0051】

ホイールなどの円筒部を備える金属製品２０Ｍは、孔や刻印などの加工痕を円筒部の周方向に沿って備える。表面画像２０ＬＰにおける円筒部の周方向は、撮影領域における時間軸に沿った方向である。時間軸に沿った方向で分割された第１分割画像２０ＤＰは、円筒部の周方向に沿って細分化された加工痕の一部を含み得る。細分化された加工痕は、微細な欠陥候補に似た形状を有しやすく、欠陥候補検出モデル１３Ａによっても微細な欠陥候補として検出されやすい。

【0052】

この点、判定部１４は、細分化された加工痕であれ、ひとつながりの加工痕であれ、表面画像２０ＬＰの画像解析によって検出された加工痕を、金属製品２０Ｍの欠陥から除外することができる。結果として、欠陥候補検出モデル１３Ａによる欠陥候補の検出精度を表面画像２０ＬＰの細分化によって高めながらも、表面画像２０ＬＰの細分化によって生じ得る誤検出を抑制を可能とする。

【0053】

判定部１４は、欠陥分類部１４Ａ、および塗装判定部１４Ｂを備える。欠陥分類部１４Ａは、判定部１４が欠陥であると判定した部分、すなわち加工痕が除外された後の欠陥候補を、欠陥の属性に分類する。塗装判定部１４Ｂは、金属製品２０Ｍの表面塗装に異常が存在するか否かを判定する。欠陥分類部１４Ａは、画像処理部１１が出力する変換画像２０ＸＰを用いて分類を行い、塗装判定部１４Ｂは、これもまた変換画像２０ＸＰを用いて判定を行う。

【0054】

欠陥分類部１４Ａは、欠陥２０Ｄの各属性に関わる特徴を記憶する。属性は、塗装剥がれや異物などの黒点、線状疵、打痕や押込みによる粒欠陥、膨れ欠陥などである。欠陥分類部１４Ａは、図７、８が示すように、黒点や線状疵について、大きさ、形状、濃度に関わる特徴を記憶する。欠陥分類部１４Ａは、図９、１０が示すように、粒欠陥や膨れ欠陥についても、大きさ、形状、濃度に関わる特徴を記憶する。

【0055】

欠陥分類部１４Ａは、欠陥を分類するためのルールベース型のアルゴリズムを備える。欠陥分類部１４Ａが備えるモデルは、例えば、属性を判定するための大きさ、形状、濃度などに関わる複数の条件を備える。欠陥分類部１４Ａは、除外後の欠陥候補領域から抽出した構造の測定結果が条件を満たす属性を当該欠陥候補領域に含まれる欠陥の属性とする。

【0056】

欠陥分類部１４Ａは、例えば、第１検出結果１２Ｄと第２検出結果１３Ｄとを用い、表面画像２０ＬＰから検出対象画像２０ＣＰおよび第１分割画像２０ＤＰを生成した変換過程、さらに表面画像２０ＬＰから変換画像２０ＸＰを生成した変換過程を考慮し、変換画像２０ＸＰにおける欠陥２０Ｄの位置を特定する。欠陥分類部１４Ａは、変換画像２０ＸＰにおける欠陥２０Ｄについて、変換画像２０ＸＰにおける濃度特徴や形状特徴を計測し、計測した特徴に該当する属性に当該欠陥２０Ｄを分類する。

【0057】

欠陥２０Ｄの要因解析に有益な情報といえる欠陥の属性は、表面画像２０ＬＰではなく、変換画像２０ＸＰを用いて分類される。実際の寸法比率に即した変換画像２０ＸＰを用いる分類であれば、表面画像２０ＬＰを用いて分類される属性と比べて、欠陥２０Ｄの大きさや形状などの分類の精度、ひいては欠陥２０Ｄの要因解析の精度を高めることが可能ともなる。

【0058】

塗装判定部１４Ｂは、撮影領域の延在方向に沿って変換画像２０ＸＰを複数に分割した第２分割画像を生成する。例えば、図１１が示すように、変換画像２０ＸＰは、ホイールの表面を示す円形画像であり、第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３は、変換画像２０ＸＰをホイールの径方向に３分割した領域を示す。

【0059】

塗装判定部１４Ｂは、各第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３の位置を、金属製品２０Ｍの表面においてほぼ等しい高さ位置を有した範囲としてもよい。例えば、第２分割画像２０Ｍ１は、ホイールの表面において最も高い位置となる外周領域である。第２分割画像２０Ｍ２は、ホイールの表面において中間の高さとなる中間領域である。第２分割画像２０Ｍ３は、ホイールの表面において最も低い位置となる内周領域である。

【0060】

塗装判定部１４Ｂは、各第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３のなかに、それぞれ時間軸に沿って並ぶ複数の評価領域を定める。例えば、塗装判定部１４Ｂは、各第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３のなかに、それぞれホイールの周方向に沿って等間隔に並ぶ１１個の評価領域を定める。

【0061】

塗装判定部１４Ｂは、変換画像２０ＸＰを用い、各評価領域における輝度を算出し、各第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３のなかの表面塗装に異常が存在するか否かを、当該第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３のなかの輝度の分布に基づいて判定する。すなわち、塗装判定部１４Ｂは、第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３ごとの評価領域における輝度のバラツキや偏りに基づいて塗装異常の存否を判定する。

【0062】

例えば、図１２が示すように、塗装判定部１４Ｂは、変換画像２０ＸＰを用い、第２分割画像２０Ｍ１のなかの１１個の評価領域における輝度を算出する。塗装判定部１４Ｂは、算出した１１個の評価領域における輝度の平均値を算出し、１１個の評価領域における輝度が平均値から所定値以内であるか否かを判定する。塗装判定部１４Ｂは、１１個の評価領域における輝度が平均値から所定値以内である場合、表面塗装が正常であると判定する。塗装判定部１４Ｂは、１１個の評価領域における輝度のなかに平均値から所定値外の水準が含まれる場合、表面塗装が異常であると判定する。図１２では、第２分割画像２０Ｍ１が示す外周領域において、平均値から所定値以内（破線で挟まれた領域）に９個の評価領域が存在し、２個の評価領域が平均値から所定値以内に含まれないことを示す。

【0063】

［作用］
上述した表面欠陥検出装置１０の作用を表面欠陥検出装置１０が実行する表面欠陥方法と共に説明する。まず、表面欠陥方法の実行に先駆けて、撮影装置２０は、ラインスキャンカメラ２１が形成する線状の撮影領域に対して金属製品２０Ｍの表面を相対的に回転させながら金属製品２０Ｍの表面を撮影し、金属製品２０Ｍの表面画像２０ＬＰを生成する。次いで、表面欠陥検出装置１０の画像処理部１１は、表面画像２０ＬＰから検出対象画像２０ＣＰ、第１分割画像２０ＤＰ、および変換画像２０ＸＰを生成する。

【0064】

表面欠陥検出装置１０の第１検出部１２は、ルールベース型のアルゴリズムである加工痕検出モデル１２Ａを用い、検出対象画像２０ＣＰの画像解析を通じて、表面における加工痕を検出する。表面欠陥検出装置１０の第２検出部１３は、機械学習によって得られた欠陥候補検出モデル１３Ａを用い、第１分割画像２０ＤＰから当該第１分割画像２０ＤＰに含まれる欠陥候補を検出する。そして、表面欠陥検出装置１０は、欠陥候補検出モデル１３Ａで検出した欠陥候補のなかから画像解析で検出した加工痕を除外し、除外後の欠陥候補を金属製品２０Ｍの欠陥２０Ｄとして出力する。

【0065】

例えば、図１３が示すように、表面欠陥検出装置１０は、加工痕検出モデル１２Ａを用いて検出した加工痕を含むマスク領域２０ＭＺを、変換画像２０ＸＰに重ねて、表示装置３０に表示させる。また、図１４が示すように、表面欠陥検出装置１０は、除外後の欠陥候補である欠陥２０Ｄの領域を、変換画像２０ＸＰに重ねて、表示装置３０に表示させる。

【0066】

表面欠陥検出装置１０の判定部１４は、変換画像２０ＸＰを用いて第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３を生成し、それぞれの輝度の分布に基づいて塗装異常の存否を判定する。判定部１４が実行する塗装異常の存否判定は、欠陥２０Ｄの検出に先駆けて実行されてもよく、欠陥２０Ｄの検出と並行に実行されてもよい。表面欠陥検出装置１０は、塗装異常の存否判定に関わる結果を、表示装置３０に表示させる。例えば、表面欠陥検出装置１０は、塗装異常が存在しないと判定したとき、塗装異常が存在しない旨のメッセージを表示装置３０に表示させる。また、表面欠陥検出装置１０は、塗装異常が存在すると判定したとき、塗装異常が存在すると判定した第２分割画像２０Ｍ１，２０Ｍ２，２０Ｍ３が表す領域、および当該領域のなかの評価領域をメッセージとして表示装置３０に表示させる。

【0067】

以上、上記実施形態によれば、以下に列挙する効果が得られる。
（１）加工痕の検出に適した広範囲にわたる検出対象画像２０ＣＰを用いて的確に加工痕を検出することができる。また、微小な欠陥候補の検出に適した狭範囲での第１分割画像２０ＤＰを用いて的確に欠陥候補を検出することができる。そして、欠陥候補検出モデル１３Ａによって検出する欠陥候補のなかから、画像解析によって検出した加工痕を除外し、除外後の欠陥候補を欠陥２０Ｄとするため、欠陥２０Ｄの誤検出を抑制可能ともなる。

【0068】

（２）撮影領域の延在方向、および時間軸に沿った方向の２つの方向で表面画像２０ＬＰが分割される。細分化された加工痕であれ、ひとつながりの加工痕であれ、表面画像２０ＬＰの画像解析によって検出された加工痕は、金属製品２０Ｍの欠陥から除外される。そして、第１分割画像２０ＤＰから当該第１分割画像２０ＤＰに含まれる欠陥候補を検出するように学習した欠陥候補検出モデル１３Ａであれば、専ら、解像度の差異を加味したうえで、欠陥候補を検出することができる。結果として、欠陥候補検出モデル１３Ａによる欠陥候補の検出精度を表面画像２０ＬＰの細分化によって高めながらも、表面画像２０ＬＰの細分化によって生じ得る誤検出を抑制可能ともなる。

【0069】

（３）欠陥２０Ｄの要因解析に有益な情報といえる欠陥候補の属性が、表面画像２０ＬＰではなく、変換画像２０ＸＰを用いて分類される。変換画像２０ＸＰを用いて分類された属性であれば、表面画像２０ＬＰを用いて分類された属性と比べて、欠陥２０Ｄの大きさや形状などの分類の精度、ひいては欠陥の要因解析の精度を高めることが可能ともなる。

【0070】

（４）撮影領域に対して金属製品２０Ｍの表面を相対的に回転させながら撮影した表面画像２０ＬＰを用いて塗装異常の判定を行うため、表面の各部位に照射させる光の方向の均一化が図られる。

【0071】

（５）実際の寸法比率に即した変換画像２０ＸＰから評価領域の輝度を算出するため、輝度の分布に基づいて塗装異常の判定を行ううえで、判定精度を高めることが可能ともなる。

【0072】

なお、上記実施形態は、以下のように変更して実施することもできる。
・第１検出部１２は、マスク領域２０ＭＺに関わるデータを画像処理部１１に出力してもよい。また、画像処理部１１は、表面画像２０ＬＰのなかのマスク領域２０ＭＺを同マスク領域２０ＭＺの周辺濃度などで補完し、マスク領域２０ＭＺが除外された表面画像２０ＬＰから第１分割画像２０ＤＰを生成してもよい。この構成であっても、画像解析で検出した加工痕を欠陥候補検出モデルで検出する欠陥候補のなかから除外することは可能である。

【0073】

・撮影装置２０は、線状の撮影領域を金属製品２０Ｍの表面に対して回転させながら当該表面を撮影し、これによって、金属製品２０Ｍの表面画像２０ＬＰを生成してもよい。
・撮影装置２０は、線状の撮影領域を金属製品２０Ｍの表面に設定するラインスキャンカメラ２１に代えて、面状の撮影領域を金属製品２０Ｍの表面に設定するエリアスキャンカメラを備えてもよい。画像処理部１１は、ラインスキャンカメラ２１によって撮影された表面画像２０ＬＰに代えて、エリアスキャンカメラによって撮影された表面画像２０ＬＰに画像処理を行ってもよい。この際、分割部１１Ａは、エリアスキャンカメラにおける撮像素子の並ぶ方向を、分割するための撮影領域の延在方向として、表面画像２０ＬＰを分割してもよい。

【0074】

［第２検出部１３による欠陥候補の再構成］
・上述したように、第２検出部１３は、全ての第１分割画像２０ＤＰのなかで検出した欠陥候補のなかから、相互に隣り合う第１分割画像２０ＤＰにおいてひとまとまりとなる欠陥候補の存否を判定する。第２検出部１３は、例えば、相互に隣り合う欠陥候補の間隔などに基づいてひとまとまりか否かを判定する。第２検出部１３は、ひとまとまりとなる欠陥候補が存在すると判定したとき、当該ひとまとまりの欠陥候補を一群の欠陥候補として取り扱う。

【0075】

この際、第２検出部１３は、全ての第１分割画像２０ＤＰのなかで検出した欠陥候補２０ＤＣのなかから、欠陥候補２０ＤＣに関わる位置や構造に基づいて、１つの線状疵であると推定される複数の欠陥候補２０ＤＣの存否をさらに判断してもよい。これによれば、欠陥分類部１４Ａによる線状疵の分類精度が高まる。

【0076】

例えば、図１５が示すように、第２検出部１３は、線状疵と推定される欠陥候補２０ＤＣの長さの範囲、および線状疵と推定される欠陥候補２０ＤＣの幅の範囲の設定値を予め記憶する。第２検出部１３は、長さと幅との設定値を参照し、欠陥候補２０ＤＣの構造と設定値とを比較することによって、線状疵と推定される欠陥候補２０ＤＣの存否を判断してもよい。あるいは、第２検出部１３は、線状疵と推定される欠陥候補２０ＤＣの幅に対する長さの比の範囲の設定値を予め記憶する。第２検出部１３は、幅に対する長さの比の設定値を参照し、欠陥候補２０ＤＣの構造と設定値とを比較することによって、線状疵と推定される欠陥候補２０ＤＣの存否を判断してもよい。

【0077】

また、第２検出部１３は、線状疵と推定された各欠陥候補２０ＤＣについて、当該欠陥候補２０ＤＣとひとまとまりとなる他の欠陥候補２０ＤＣの存否をさらに判断してもよい。
例えば、図１６が示すように、第２検出部１３は、線状疵と推定された１つの欠陥候補２０ＤＣに外接する長方形を定め、当該長方形の重心を当該欠陥候補２０ＤＣの重心Ｓ１とする。第２検出部１３は、ひとまとまりと推定される長方形の寸法、当該長方形が延びる方向の裕度、および、ひとまとまりと推定される重なりの大きさについて、予め設定値を記憶する。第２検出部１３は、寸法の設定値を参照し、１つの欠陥候補２０ＤＣの重心Ｓ１を中心とする１つの矩形判定領域Ｓ２を定める。次に、第２検出部１３は、矩形判定領域Ｓ２の延びる方向の裕度の設定値を参照し、当該裕度のなかで、線状疵と推定された他の欠陥候補２０ＤＣと矩形判定領域Ｓ２との重なりの大きさを検出する。次いで、第２検出部１３は、重なりの大きさの設定値を参照し、他の欠陥候補２０ＤＣと矩形判定領域Ｓ２との重なりが設定値を超える当該他の欠陥候補２０ＤＣを、１つの欠陥候補２０ＤＣとひとまとまりとなると判断する。そして、第２検出部１３は、線状疵と推定された各欠陥候補２０ＤＣと他の欠陥候補２０ＤＣとの全ての組みについて、ひとまとまりとなる他の欠陥候補２０ＤＣの存否を判断する。

【0078】

また、第２検出部１３は、ひとまとまりと判断された複数の欠陥候補２０ＤＣを１つの欠陥候補２０ＤＣに再構成してもよい。
例えば、図１７が示すように、第２検出部１３は、ひとまとまりと判断された２つの欠陥候補２０ＤＣを、１つの欠陥候補２０ＤＣに再構成してもよい。すなわち、第２検出部１３は、ひとまとまりであると判断した際の矩形判定領域Ｓ２の一部である補間領域Ｓ３によって２つの欠陥候補２０ＤＣを接続するように、２つの欠陥候補２０ＤＣを１つの欠陥候補２０ＤＣに再構成してもよい。そして、第２検出部１３は、再構成した１つの欠陥候補２０ＤＣを囲う領域を、一群の欠陥候補２０ＤＣを囲う欠陥候補領域として、表面画像２０ＬＰのなかで特定してもよい。

【0079】

なお、第２検出部１３は、上述した線状疵と推定されたひとまとまりの欠陥候補２０ＤＣの判断を、一群の欠陥候補を囲う領域を表面画像２０ＬＰのなかで特定する処理のなかで実行してもよい。

【0080】

・上述したように、第２検出部１３は、全ての第１分割画像２０ＤＰのなかで検出した欠陥候補のなかから、相互に隣り合う第１分割画像２０ＤＰにおいてひとまとまりとなる欠陥候補の存否を判定する。第２検出部１３は、表面画像２０ＬＰから第１分割画像２０ＤＰを生成した変換過程を考慮し、一群の欠陥候補２０ＤＣを囲う領域を、欠陥候補領域として、表面画像２０ＬＰのなかで特定する。これによれば、別々の第１分割画像２０ＤＰに分断された１つの欠陥２０Ｄが欠陥分類部１４Ａによって１つの欠陥２０Ｄとして分類されやすい。

【0081】

例えば、図１８が示すように、相互に隣り合う２つの第１分割画像２０ＤＰに跨がる１つの欠陥２０Ｄが存在し得る。こうした場合、図１９が示すように、第１分割画像２０ＤＰごとに欠陥候補２０ＤＣを検出する第２検出部１３は、以下のように欠陥候補２０ＤＣを特定し得る。すなわち、第２検出部１３は、一方の第１分割画像２０ＤＰに存在する１つの欠陥候補２０ＤＣと、他方の第１分割画像２０ＤＰに存在する１つの欠陥候補２０ＤＣとが、恰も隙間Ｓ４を空けるように、１つの欠陥２０Ｄを２つの欠陥候補２０ＤＣとして特定し得る。

【0082】

そこで、第２検出部１３は、相互に隣り合う２つの欠陥候補２０ＤＣを１つの欠陥候補２０ＤＣに再構成するための、欠陥候補２０ＤＣ間の距離の設定値を記憶してもよい。欠陥候補２０ＤＣ間の距離の設定値は、相互に隣り合う２つの第１分割画像２０ＤＰにおいて、別々の第１分割画像２０ＤＰに特定された欠陥候補２０ＤＣがひとまとまりであると推定される距離である。欠陥候補２０ＤＣ間の距離の設定値は、１つの欠陥２０Ｄを２つの第１分割画像２０ＤＰに分断するように実施された試験等に基づいて定められてもよい。第２検出部１３は、欠陥候補２０ＤＣ間の距離の設定値を参照し、相互に隣り合う２つの欠陥候補２０ＤＣ間の距離が設定値よりも短く、かつ各欠陥候補２０ＤＣが別々の第１分割画像２０ＤＰに検出されたとき、当該２つの欠陥候補２０ＤＣを一群の欠陥候補として取り扱ってもよい。

【0083】

また、図２０が示すように、第２検出部１３は、相互に隣り合う２つの欠陥候補２０ＤＣの隙間Ｓ４が外形線によって囲まれるように、１つの欠陥候補２０ＤＣを再構成してもよい。そして、第２検出部１３は、再構成した１つの欠陥候補２０ＤＣを囲う領域を、一群の欠陥候補２０ＤＣを囲う欠陥候補領域として、表面画像２０ＬＰのなかで特定してもよい。

【0084】

［欠陥分類部１４Ａによる欠陥候補領域の再構成］
・上述したように、欠陥分類部１４Ａは、欠陥を分類するためのルールベース型のアルゴリズムを備える。欠陥分類部１４Ａが備えるモデルは、例えば、属性を判定するための大きさ、形状、濃度などに関わる複数の条件を備える。欠陥分類部１４Ａは、除外後の欠陥候補領域から抽出した構造の測定結果が条件を満たす属性を、当該欠陥候補領域に含まれる欠陥の属性とする。

【0085】

この際、欠陥分類部１４Ａは、除外後の欠陥候補領域から抽出した構造の測定結果に基づいて、１つの線状疵であると推定される複数の欠陥候補領域の存否をさらに判断してもよい。例えば、欠陥分類部１４Ａは、上述した欠陥候補２０ＤＣの再構成のように、除外後の欠陥候補領域を対象とした矩形判定領域Ｓ２を定めた後、当該矩形判定領域Ｓ２と重なる他の欠陥候補領域を、当該欠陥候補領域とひとまとまりであると定めてもよい。次に、欠陥分類部１４Ａは、上述した欠陥候補２０ＤＣの再構成のように、ひとまとまりであると定められた複数の欠陥候補領域を、矩形判定領域Ｓ２の一部で接続した１つの欠陥候補領域に再構成してもよい。そして、欠陥分類部１４Ａは、再構成された欠陥候補領域から抽出した構造の測定結果を用いて、欠陥の属性を特定してもよい。

【0086】

［分割部１１による画像分割］
上述したように、分割部１１Ａは、表面画像２０ＬＰを、ラインスキャンカメラ２１における撮影領域の延在方向、および時間軸に沿った方向の２つの方向で、表面画像２０ＬＰを分割する。分割部１１Ａは、撮影領域の延在方向に分割する間隔、および時間軸の方向に分割する間隔を予め記憶する。

【0087】

この際、金属製品２０Ｍを基準として、ラインスキャンカメラ２１の撮影が開始される位置は、金属製品２０Ｍの周方向において、金属製品２０Ｍごとに区々となる場合がある。また、ラインスキャンカメラ２１の撮影が開始される位置を、金属製品２０Ｍの周方向において、金属製品２０Ｍごとに整合させることは、表面画像２０ＬＰの撮影に要する負荷を高める。結果として、金属製品２０Ｍの周方向に等間隔を空けて形成されている加工痕などの背景の位置が、金属製品２０Ｍの周方向に等間隔を空けて形成されている各矩形領域画像のなかで、区々となる。

【0088】

例えば、図２１が示すように、前回の金属製品２０Ｍを対象とした表面欠陥検出において、金属製品２０Ｍの周方向に等間隔を空けて形成された小孔は、第１分割線２０ＤＬによって区切られる各矩形領域の画像のなかで、１つずつ隅に位置するとする。一方、図２２が示すように、今回の金属製品２０Ｍを対象とした表面欠陥検出において、金属製品２０Ｍの周方向に等間隔を空けて形成された小孔は、第１分割線２０ＤＬによって区切られる各矩形領域の画像のなかで、１つずつほぼ中央に位置するとする。このように、欠陥の背景となる画像が各矩形領域のなかで区々となることは、第２検出部１３における学習精度の向上を妨げると共に、第２検出部１３による欠陥候補の検出精度の向上も妨げる。

【0089】

そこで、分割部１１Ａは、金属製品２０Ｍの表面画像２０ＬＰのなかから、複数の金属製品２０Ｍに共通する周期構造や特徴構造を予め検出する画像検出機能を備えてもよい。そして、分割部１１Ａは、撮影領域の延在方向に分割する間隔、および時間軸の方向に分割する間隔を予め記憶すると共に、表面画像２０ＬＰのなかの分割の基準となる位置を、画像検出機能による検出結果に基づいて表面画像２０ＬＰごとに変更してもよい。

【0090】

これによれば、ラインスキャンカメラ２１の撮影が開始される位置が、金属製品２０Ｍごとに区々となる場合であっても、第１分割線２０ＤＬによって区切られる各矩形領域の画像のなかの背景画像にばらつきが生じることが抑えられる。

【0091】

例えば、分割部１１Ａは、金属製品２０Ｍの表面画像２０ＬＰのなかから、小孔を検出する画像検出機能を備えてもよい。そして、分割部１１Ａは、表面画像２０ＬＰのなかの分割の基準となる位置を、矩形領域の隅に小孔が位置するように、表面画像２０ＬＰごとに変更してもよい。これによって、図２２が示す表面画像２０ＬＰが得られるとしても、図２３が示すように、図２１が示す表面画像２０ＬＰが得られる場合と同じように、各小孔に対し矩形領域を割り振ることが可能となる。

【0092】

［欠陥候補領域の補正］
図２４が示すように、第２検出部１３が備える欠陥候補検出モデル１３Ａは、学習結果として、欠陥候補２０ＤＣの大きさを、実際の欠陥２０Ｄの大きさよりも大きく検出する傾向を有する場合がある。判定部１４の判定に用いられる欠陥２０Ｄの大きさが、欠陥候補２０ＤＣの大きさに基づいて定められるため、第２検出部１３による上述した傾向は、欠陥検出の精度向上を妨げる。

【0093】

そこで、第２検出部１３は、欠陥候補２０ＤＣの大きさを補正する補正機能を備えてもよい。例えば、欠陥候補検出モデル１３Ａが、欠陥候補２０ＤＣの大きさを、実際の欠陥２０Ｄの大きさよりも大きく検出する傾向を有する場合、第２検出部１３は、欠陥候補２０ＤＣの大きさを所定の割合で縮小する補正機能を備えてもよい。この際、第２検出部１３は、欠陥候補２０ＤＣにおける長軸方向と短軸方向とを特定し、長軸方向と短軸方向とを別々の割合で縮小してもよい。これによって、第２検出部１３による欠陥検出の精度を欠陥２０Ｄの大きさの観点において高めることが可能ともなる。

【符号の説明】

【0094】

１０…表面欠陥検出装置
１１…画像処理部
１１Ａ…分割部
１１Ｂ…変換部
１２…第１検出部
１２Ａ…加工痕検出モデル
１３…第２検出部
１３Ａ…欠陥候補検出モデル
１４…判定部
１４Ａ…欠陥分類部
１４Ｂ…塗装判定部
２０…撮影装置
２０ＬＰ…表面画像
２０ＣＰ…検出対象画像
２０Ｄ…欠陥
２０ＤＣ…欠陥候補
２０ＤＬ…第１分割線
２０ＤＰ…第１分割画像
２０Ｇ…第１分割画像群
２０ＸＰ…変換画像
２０Ｍ…金属製品
２０Ｍ１，２０Ｍ２，２０Ｍ３…第２分割画像
２０ＭＺ…マスク領域
２１…ラインスキャンカメラ
２２…回転ステージ
２３…照明装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】