特開 2022-55348 ラインスキャン用非ランバート性表面検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022055348

(43)【公開日】2022-04-07

(54)【発明の名称】ラインスキャン用非ランバート性表面検査システム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20220331BHJP

【ＦＩ】

G01N21/88 Z

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021156561

(22)【出願日】2021-09-27

(31)【優先権主張番号】10-2020-0126330

(32)【優先日】2020-09-28

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】521421193

【氏名又は名称】ハイブ ビジョン カンパニー，リミテッド

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】クォン，イン ス

(72)【発明者】

【氏名】ユン，ヨ ハク

(72)【発明者】

【氏名】チョン，ウン ジュン

(72)【発明者】

【氏名】パク，ス ヨル

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA84

2G051AB02

2G051BB02

2G051BB11

2G051BC01

2G051CA03

2G051CB01

2G051CB05

2G051CD01

(57)【要約】      （修正有）

【課題】従来の表面検査システムが持つ問題、すなわち、曲面状のモデルの表面を検査するときのグレア現象が発生しないようにする。
【解決手段】本発明は、一面と他面のうちの少なくとも一つに曲線状の据置ホールが設けられ、上端に撮影ホールが設けられたフレームモジュール、及び据置ホールに複数設置され、床面に置かれた検査体に向かって斜線状に光を出力する第１照明モジュールと第２照明モジュールを含む表面検査部１０と、撮影ホールの上に位置し、撮影ホールを貫通して、床面に位置した検査体を撮影して、第１照明画像と第２照明画像を含む全体合成画像を生成するカメラ部２０と、カメラ部の作動を制御し、第１照明モジュールと第２照明モジュールを選択的に作動させ、カメラ部で撮影された、全体受信された画像から第１照明画像と第２照明画像を抽出して、既に設定された算式で加工した後、合成して合成画像を生成するコントローラ部３０と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

一面と他面のうちの少なくとも一つに曲線状の据置ホールが設けられ、上端に撮影ホールが設けられたフレームモジュール、及び、前記据置ホールに複数設置され、床面に置かれた検査体に向かって斜線状に光を出力する第１照明モジュール及び第２照明モジュールを含む表面検査部と、
前記撮影ホールの上に位置し、前記撮影ホールを貫通して、床面に位置した検査体を撮影し、第１照明画像及び第２照明画像を含む全体合成画像を生成するカメラ部と、
前記カメラ部の作動を制御し、前記第１照明モジュール及び前記第２照明モジュールを選択的に作動させ、前記カメラ部で撮影された全体受信画像から前記第１照明画像及び前記第２照明画像を抽出して、既に設定された算式で加工した後、合成して合成画像を生成するコントローラ部と、を含み、
前記コントローラ部は、
前記第１照明モジュールを設定時間の間ターンオンさせた後、ターンオフさせ、
前記第１照明モジュールをターンオフさせたときに前記第２照明モジュールをターンオンさせ、
前記第１照明モジュールがターンオンしたとき、前記カメラ部を介して撮影された前記第１照明画像を受信し、
前記第２照明モジュールがターンオンしたとき、前記カメラ部を介して撮影された前記第２照明画像を受信し、
前記コントローラ部は、
前記カメラ部で撮影された前記第１照明画像及び前記第２照明画像を設定された行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の領域に受信する照明画像受信モジュールと、
前記第１照明画像の複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像、及び、前記第２照明画像の複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像を整列させるアラインモジュールと、
前記第１照明画像及び前記第２照明画像を複数のブロックに分け、各ブロックに位置番号を付与し、ブロックの反射度値を抽出するヒストグラムモジュールと、
既に設定された基準反射度値とブロックで測定された反射度値とを比較して、基準反射度値よりも大きい値の反射度値を有するブロックを取り除く除去モジュールと、
前記第１照明画像から基準反射度値よりも大きい値の反射度値を有するブロックが取り除かれると、前記第２照明画像における、前記第１照明画像の取り除かれたブロックと同じ位置のブロックを受信して、前記第１照明画像にマッピングして第１ブロック補正画像を生成し、
前記第２照明画像から基準反射度値よりも大きい値の反射度値を有するブロックが取り除かれると、前記第１照明画像における、前記第２照明画像の取り除かれたブロックと同じ位置のブロックを受信し、前記第２照明画像にマッピングして第２ブロック補正画像を生成するブロック補正画像モジュールと、を含み、
前記コントローラ部は、
前記第１ブロック補正画像及び前記第２ブロック補正画像を既に設定された算式で演算した後、合成して合成画像を生成する合成画像生成モジュールをさらに含み、
前記合成画像生成モジュールは、
合成画像の設定領域でアルベド画像に加工するか、
合成画像からＸ軸方向に検査体の表面高さの変化量を算出してＸ軸偏微分画像に加工するか、
合成画像からＹ軸方向に検査体の表面高さの変化量を算出してＹ軸偏微分画像に加工するか、或いは
Ｘ軸偏微分画像とＹ軸偏微分画像からＸ軸方向及びＹ軸方向に検査体の表面高さの変化量を算出して２次偏微分画像に加工する、ラインスキャン用非ランバート性表面検査システム。

【請求項2】

前記フレームモジュールは、半球形に含まれる形状に形成される、請求項１に記載のラインスキャン用非ランバート性表面検査システム。

【請求項3】

前記フレームモジュールは、
上側面に設置された反射板をさらに含む、請求項１に記載のラインスキャン用非ランバート性表面検査システム。

【請求項4】

前記フレームモジュールは、
前記撮影ホールに設置され、上面には光を下部方向に反射させるドットパターンが形成された透光板、及び
前記透光板の側面に複数設置され、前記透光板の内部に光を照射する補助照明モジュールをさらに含むことを特徴とし、
前記補助照明モジュールは、
前記コントローラ部によって明るさが調節されることを特徴とする、請求項１に記載のラインスキャン用非ランバート性表面検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ラインスキャン用カメラを用いて製品の表面を検査する技術分野に属する。

【背景技術】

【0002】

スマートフォン、タブレットＰＣ、ノートパソコンなどの携帯用ＩＴ機器の産業を始めとして、電気自動車、ハイブリッド車などの産業は急速に発展している。このような産業は、いろいろの付加的な産業を牽引している。一例として、スマートフォンの種類が多くなり、スマートフォンの使用周期が短くなるにつれて、多様で多くの種類のスマートフォンを迅速かつ正確に検査するシステムに対する産業が成長している。

【0003】

これにより、スマートフォンカバーガラスの外形欠陥の検出システムに対する市場も次第に大きくなっている。

【0004】

現在までにエリアスキャンカメラ（Ａｒｅａ Ｓｃａｎ Ｃａｍｅｒａ）とラインスキャンカメラ（Ｌｉｎｅ Ｓｃａｎ Ｃａｍｅｒａ）を用いて単純な照明方式で被写体の外形と表面を検査することによりスマートフォンカバーガラスの欠陥を検査している。

【0005】

このような外形及び表面検査システムは、単純な構造と低コストで、限られた種類の不良と限られた形態のモデルに対してのみ検査することができるが、適切な代案がないため、現在は広く用いられている。

【0006】

従来の表面検査システムは、様々な曲面状のモデルに合う照明方向及び光量を調節することができないため、グレア（ｇｌａｒｅ）現象、すなわち、白く反射されて表面が検査できないようにする現象により検査を行うことができないか、或いは特定の方向の光にのみ見える不良に対して検出を行うことができない。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】韓国登録特許第１０－０８２４８０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、被写体の曲面を検査するとき、グレア現象の発生により検査体の表面状態を正確に検査することができないという問題を解決しようとする。

【0009】

本発明の技術的課題は、上述した課題に限定されず、上述していない別の技術的課題は、以降の記載から該当業者に明確に理解できるだろう。

【課題を解決するための手段】

【0010】

上記の技術的課題を達成するための本発明のラインスキャン用非ランバート性表面検査システムは、一面と他面のうちの少なくとも一つに曲線状の据置ホールが設けられ、上端に撮影ホールが設けられたフレームモジュール、及び前記据置ホールに複数設置され、床面に置かれた検査体に向かって斜線状に光を出力する第１照明モジュールと第２照明モジュールを含む表面検査部と、
前記撮影ホールの上に位置し、前記撮影ホールを貫通して、床面に位置した検査体を撮影して、第１照明画像と第２照明画像を含む全体合成画像を生成するカメラ部と、
前記カメラ部の作動を制御し、前記第１照明モジュールと前記第２照明モジュールを選択的に作動させ、前記カメラ部で撮影された前記第１照明画像と前記第２照明画像を受信するコントローラ部と、を含み、
コントローラ部は、
第１照明モジュールを設定時間の間ターンオンさせた後、ターンオフさせ、
第１照明モジュールをターンオフさせたときに第２照明モジュールをターンオンさせ、
第１照明モジュールがターンオンしたとき、カメラ部を介して撮影された第１照明画像を受信し、
第２照明モジュールがターンオンしたとき、カメラ部を介して撮影された第２照明画像を受信し、
コントローラ部は、
カメラ部で撮影された第１照明画像と第２照明画像を設定された行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の領域に受信する照明画像受信モジュールと、
第１照明画像の複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像、及び第２照明画像の複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像を整列させるアラインモジュールと、
第１照明画像及び第２照明画像を複数のブロックに分け、各ブロックに位置番号を付与し、ブロックの反射度値を抽出するヒストグラムモジュールと、
既に設定された基準反射度値とブロックで測定された反射度値とを比較して、基準反射度値よりも大きい値の反射度値を有するブロックを取り除く除去モジュールと、
第１照明画像から基準反射度値よりも大きい値の反射度値を有するブロックが取り除かれると、第２照明画像における、第１照明画像の取り除かれたブロックと同じ位置のブロックを受信して、第１照明画像にマッピングして第１ブロック補正画像を生成し、
第２照明画像から基準反射度値よりも大きい値の反射度値を有するブロックが取り除かれると、第１照明画像における、第２照明画像の取り除かれたブロックと同じ位置のブロックを受信して、第２照明画像にマッピングして第２ブロック補正画像を生成するブロック補正画像モジュールと、を含み、

第１ブロック補正画像と第２ブロック補正画像とを既に設定された算式で演算した後、合成して合成画像を生成する合成画像生成モジュールをさらに含み、
合成画像生成モジュールは、
合成画像の設定領域でアルベド画像に加工するか、
合成画像からＸ軸方向に検査体の表面高さの変化量を算出してＸ軸偏微分画像に加工するか、
合成画像からＹ軸方向に検査体の表面高さの変化量を算出してＹ軸偏微分画像に加工するか、或いは
Ｘ軸偏微分画像とＹ軸偏微分画像からＸ軸方向及びＹ軸方向に検査体の表面高さの変化量を算出して２次偏微分画像に加工する。

【0011】

前記フレームモジュールは、
半球形に含まれる形状に形成されることができる。

【0012】

前記フレームモジュールは、
上側面に設置された反射板をさらに含むことができる。

【0013】

前記フレームモジュールは、前記撮影ホールに設置され、上面には光を下部方向に反射させるドットパターンが形成された透光板、及び前記透光板の側面に複数設置され、前記透光板の内部に光を照射する補助照明モジュールをさらに含むことを特徴とし、前記補助照明モジュールは、前記コントローラ部によって明るさが調節されることを特徴とする。

【発明の効果】

【0014】

本発明は、ラインスキャンカメラ（Ｌｉｎｅ Ｓｃａｎ Ｃａｍｅｒａ）と様々な角度で偏向される複数の照明を用いて、照射方向による反射度、影を介して、従来の表面検査システムが持つ問題、すなわち、曲面状のモデルの表面を検査するときのグレア現象が発生しないようにする。

【0015】

さらに、本発明は、被写体の曲面に対応して、特定の角度で光を照射する照明が作動し、被写体から異なる特性の様々な画像、例えばｘ－微分画像、ｙ－微分画像、ｎｏｒｍ－画像、アルベド画像（ａｌｂｅｄｏ Ｉｍａｇｅ）、２次微分画像などを取得することができるようにする。そして、測定及び検査対象に応じて、これらの画像を取捨選択及び合成して検査の効率性を高めることができるようにする。

【0016】

また、本発明は、産業現場、特に溶接のように煤と炭化した対象から例えば黒色の汚染や黒色のスクラッチ、刻み傷など、被写体に生じたスクラッチを正確に検出することができる。特に、本発明は、照明の照射方向に影響されるスクラッチと刻み傷に対して従来の表面検査システムよりも一層高い検出力を示すことができる。

【0017】

また、本発明は、従来のドーム（ｄｏｍｅ）状の構造物を介して反射散乱光を間接的且つ受動的に利用する方法に比べてサイズを効果的に減らす一方、散乱光の強度（強さ）制御を別に直接行うことができるため、より効率よく表面検査画像のノイズを制御することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの使用状態図である。

【図2】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムを介して実際取得した複数のブロック補正画像を示す図である。

【図3】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムのブロック図である。

【図4】図１の表面検査部の斜視図である。

【図5】図４のフレームモジュールに設置された照明モジュールが回転する状態と、第１照明モジュール及び第２照明モジュールから斜線状に光が出力される状態を示す図である。

【図6】図４のフレームモジュールに反射板が設置された状態の表面検査部を示す図である。

【図7】図４のフレームモジュールに設置された複数の照明モジュールを簡略に示す図である。

【図8】本発明の一実施形態によるラインスキャン用非ランバート性表面検査システムの作動に対するフローチャートである。

【図9】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動過程及び作動過程で現れる画像を示す図である。

【図10】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動過程及び作動過程で現れる画像を示す図である。

【図11】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動過程及び作動過程で現れる画像を示す図である。

【図12】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動過程及び作動過程で現れる画像を示す図である。

【図13】本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動過程及び作動過程で現れる画像を示す図である。

【図14】撮影画像と複数のブロック補正画像を示す図である。

【図15】フレームモジュールに透光板が設置された様子を示す斜視図である。

【図16】フレームモジュールに透光板と反射板が設置された状態を示す斜視図である。

【図17】透光板を介して散乱光が放出される様子を示す正面図及び側面図である。

【図18】透光板を示す平面図である。

【図19】散乱光照明の使用有無による画像の差（左：散乱光照明なし、右：散乱光照明あり）を示す例示図である。

【図20】スクラッチと刻み傷を検出する過程を示す例示図である。

【図21】散乱光か否かによる表面プロファイル（左：ノイズが激しい、右：ノイズが除去される）である。

【図22】散乱光か否かによる表面ヒストグラム分布図（左：平滑化されて偏差が大きい、右：平滑化が少なくて偏差が小さい）である。

【発明を実施するための形態】

【0019】

本明細書上に示された図面及び図面に基づいた説明は、本発明の技術分野における通常の知識を有する者が本発明を容易に理解することができるようにする一つの例示である。したがって、本発明の図面及び発明を実施するための具体的な説明が本発明の請求の範囲を限定するものではない。本発明の請求の範囲は、請求項によってのみ定義できる。

【0020】

以下、本発明の下記実施形態の図面を参照して、本発明のラインスキャン用非ランバート性表面検査システムについて説明する。ただし、本発明についての説明が明確且つ簡潔になることができるように、まず、図１及び２を参照して、ラインスキャン用非ランバート性表面検査システムについて概括的に説明する。そして、図３～図７を参照して、ラインスキャン用非ランバート性表面検査システムを構成する構成要素について説明する。

【0021】

図１は本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの使用状態図であり、図２は本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムを介して、最終検査に使用される複数の合成画像を示す図である。

【0022】

本発明のラインスキャン用非ランバート性表面検査システム１は、表面検査部１０、カメラ部２０及びコントローラ部３０を構成要素として含むことにより、コントローラ部３０によって表面検査部１０とカメラ部２０が作動するようにする。このとき、表面検査部１０に含まれる複数の照明モジュールは、コントローラ部３０の作動に合わせて、光が予め定められた組み合わせによる指定順序で出力し、反射板１１３は、照明モジュール１２１～１２ｎから出力されて散乱する光が再び検査体Ａに照射されるようにする。

【0023】

また、ラインスキャン用非ランバート性表面検査システム１のコントローラ部３０は、照明モジュールの作動に合わせてカメラ部２０を作動させて検査体Ａを撮影し、複数の方向の照明による表面情報を含むカメラ部２０から受信された全体受信画像Ｃを取得する。

【0024】

このとき、全体受信画像Ｃは、内部に含まれた各照明特性に合うライン別画像Ｄ１～Ｄ４を介して複数の照明画像Ｅ１～Ｅ４（図１１参照）に変形することができる。

【0025】

この際、ラインスキャン用非ランバート性表面検査システム１のコントローラ部３０は、生成された複数の照明画像Ｅ１～Ｅ４を行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の領域に分割して複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の領域を整列させて個別画像Ｆ１～Ｆ４を生成した後、各画像Ｆ１～Ｆ４（図１３参照）を複数のブロックに分割し、各ブロックの反射度値を算出した後、既に設定された基準反射度値と比較して、基準反射度値よりも高いブロックを取り除く。そして、取り除かれた部分に対応するブロックをその他の有効な画像から補間してブロック補正画像を生成する。

【0026】

ここで、ブロック補正画像Ｇ１～Ｇ４は、照明モジュール１２１～１２ｎの数に対応して形成できる。一例として、照明モジュールが４つである場合には、第１ブロック補正画像Ｇ１乃至第４ブロック補正画像Ｇ４が生成できる。

【0027】

以後、ラインスキャン用非ランバート性表面検査システム１は、生成された複数のブロック補正画像Ｇ１～Ｇ４のうちの少なくとも２つを合成して合成画像Ｈを生成することができる。より具体的には、第１ブロック補正画像Ｇ１乃至第４ブロック補正画像Ｇ４のうちの少なくとも２つを合成して、図２に示すように、アルベド画像Ｈ１、Ｘ方向偏微分画像Ｈ２、Ｙ方向偏微分画像Ｈ３、２次偏微分画像Ｈ４、及び垂直ベクトル画像Ｈ５に加工することができる。

【0028】

これにより、本発明のラインスキャン用非ランバート性表面検査システム１は、カメラ部２０と様々な角度で偏向される複数の照明モジュール１２１～１２４を用いて、照射方向による反射度、影を介して、従来の表面検査システムが持つ問題、すなわち、曲面状のモデルの表面を検査するときのグレア現象が発生しないようにする。

【0029】

さらに、本発明のラインスキャン用非ランバート性表面検査システム１は、測定及び検査対象に応じてこれらの画像を取捨選択及び合成して検査体の検査に対する信頼性を向上させることができるようにする。

【0030】

これにより、ラインスキャン用非ランバート性表面検査システム１は、産業現場、特に溶接のように煤と炭化した対象から例えば黒色の汚染や黒色のスクラッチ、刻み傷など、検査体Ａに生じたスクラッチを正確に検出することができるようにする。

【0031】

以下、図３～図７を参照して、ラインスキャン用非ランバート性表面検査システムを構成する構成要素について説明する。

【0032】

図３は本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムのブロック図であり、図４は図１の表面検査部の斜視図である。図５は図４のフレームモジュールに設置された照明モジュールが回転する状態と、第１照明モジュール及び第２照明モジュールから斜線状に光が出力される状態を示す図であり、図６は図４のフレームモジュールに反射板が設置された状態の表面検査部を示す図である。そして、図７は図４のフレームモジュールに設置された複数の照明モジュールを簡略に示す図である。

【0033】

表面検査部１０は、カメラ部２０が検査体Ａを撮影することができるように検査体Ａに様々な角度で光を照射することができる装置となる。このような表面検査部１０は、半球形に含まれる形状に形成され、上端に撮影ホール１１２が設けられたフレームモジュール１１０と、フレームモジュール１１０に設置されて回動及び移動する照明モジュールと、を含む。

【0034】

ここで、フレームモジュール１１０には、図４に示すように、一面と他面のうちの少なくとも一つに曲線状の据置ホール１１１が設けられ、据置ホール１１１には、床面に置かれた検査体Ａに向かって斜線状に光を出力する複数の照明モジュールが設置される。

【0035】

このとき、複数の照明モジュールは、ラインスキャン（Ｌｉｎｅ Ｓｃａｎ）に最適化されたＳＭＳ（Ｓｈａｄｏｗ－ｍｅｔｒｉｃ Ｓｙｓｔｅｍ）用の照明である。本明細書上において、表面検査部１０に設置される複数の照明モジュールは、本発明の説明が簡潔且つ明確になるよう、第１照明モジュール１２１、第２照明モジュール１２２、第３照明モジュール１２３及び第４照明モジュール１２４から構成されるようにする。このとき、第１照明モジュール１２１、第２照明モジュール１２２、第３照明モジュール１２３及び第４照明モジュール１２４は、ラインスキャン（Ｌｉｎｅ Ｓｃａｎ）に最適化されたＳＭＳ（Ｓｈａｄｏｗ－ｍｅｔｒｉｃ Ｓｙｓｔｅｍ）用の照明であり得る。このような第１照明モジュール１２１乃至第４照明モジュール１２４は、図５の（ａ）に示すように据置ホール１１１で選択的に回転することができ、図５の（ｂ）及び（ｃ）に示すように４５度傾いた状態で光を出力することができる。

【0036】

さらに、表面検査部１０は、図６に示すように、フレームモジュール１１０の上側面に設置された反射板１１３を含むことにより、複数の照明モジュールから出力されて散乱する光を反射して再び検査体Ａに照射されるようにすることができる。このとき、第１照明モジュール１２１は、左側にある据置ホール１１１の下端に設置され、第２照明モジュール１２２は、第１照明モジュール１２１から離隔して左側にある据置ホール１１１の上端に設置される。そして、第３照明モジュール１２３は、右側にある据置ホール１１１の上端に設置され、第４照明モジュール１２４は、第３照明モジュール１２３から離隔して右側にある据置ホール１１１の下端に設置される。

【0037】

このように、据置ホール１１１に離隔して設置された第１照明モジュール１２１乃至第４照明モジュール１２４は、設置された位置で回転し、検査体Ａに様々な方向に光を照射することができる。さらに、据置ホール１１１に沿って移動し、様々な位置で検査体Ａに光を照射することができる。

【0038】

カメラ部２０は、撮影ホール１１２の上に位置し、撮影ホール１１２を貫通して、床面Ｂに位置した検査体Ａを撮影し、第１照明画像Ｅ１と第２照明画像Ｅ２を含む全体画像Ｃを受信する。

【0039】

より具体的には、カメラ部２０は、撮影ホール１１２の上に、撮影ホール１１２と重畳する位置にレンズが位置するように設置されることができる。このようなカメラ部２０は、撮影ホール１１２を貫通して、床面に位置した検査体Ａを撮影して照明画像を生成する。

【0040】

このようなカメラ部２０は、コントローラ部３０から出力される制御信号によって作動する。特に、カメラ部２０は、照明モジュール１２１～１２ｎの作動と同期化して作動し、照明モジュール１２１～１２ｎがターンオンするときにのみ作動して検査体Ａを撮影することができる。

【0041】

このようなカメラ部２０は、第１照明モジュール１２１、第２照明モジュール１２２、第３照明モジュール１２３、第４照明モジュール１２４が検査対象に合わせて組み合わせ及び指定順序でターンオンしたときに第１照明画像Ｅ１乃至第４照明画像Ｅ４を生成することができる。一例として、カメラ部２０は、第１照明モジュール１２１がターンオンしたときには第１照明画像Ｅ１を撮影し、第２照明モジュール１２２がターンオンしたときには第２照明画像Ｅ２を撮影し、第３照明モジュール１２３がターンオンしたときには第３照明画像Ｅ３を撮影し、第４照明モジュール１２４がターンオンしたときには第４照明画像Ｅ４を撮影する。

【0042】

コントローラ部３０は、制御信号を発生させ、データを受信して処理するコンピュータになる。このようなコントローラ部３０は、ラインスキャン（Ｌｉｎｅ Ｓｃａｎ）を用いた交差照明制御時の照明時間、遅延時間をナノ秒（ｎａｎｏ ｓｅｃｏｎｄ）単位で制御することができる。このようなコントローラ部３０は、従来のマイクロコントローラ（Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）ＣＰＵを用いた制御によって制御ボードの限界でＦＰＧＡチップを搭載した別途の制御ボードを含む。

【0043】

したがって、コントローラ部３０は、検査対象に応じて照明順序、周波数分周、ノイズ除去など、現場で問題となる状況をプログラム反映して直ちに反映することができる。また、コントローラ部３０は、図３に示すように、照明画像受信モジュール３１０、アラインモジュール３２０、ヒストグラムモジュール３３０、除去モジュール３４０、ブロック補正画像モジュール３５０、合成画像生成モジュール３６０及び制御信号発生モジュール３７０などを含んで作動することができる。

【0044】

このようなコントローラ部３０は、制御信号発生モジュール３７０から制御信号を発生させ、複数の照明モジュール１２とカメラ部２０を作動させることができる。一例として、コントローラ部３０は、第１照明モジュール１２１を設定時間の間ターンオンさせた後にターンオフさせ、第１照明モジュール１２１をターンオフさせたときに第２照明モジュール１２２をターンオンさせる。そして、第２照明モジュール１２２をターンオフさせたときに第３照明モジュール１２３をターンオンさせ、第３照明モジュール１２３をターンオフさせたときに第４照明モジュール１２４をターンオンさせることができる。

【0045】

コントローラ部３０は、第１照明モジュール１２１乃至第４照明モジュール１２４をターンオン及びターンオフさせ、第１照明モジュール１２１乃至第４照明モジュール１２４をターンオンさせることができる。コントローラ部３０は、毎ラインスキャンの際に検査速度効率に応じて、照明を既に設定された基準に合わせて、特定の各照明は除いて明るさ調整して周期的に点灯させることができる。一例として、Ａ検査体に対して第１照明モジュール１２１、第２照明モジュール１２２、第４照明モジュール１２４を順次ターンオンさせ、第１照明画像、第２照明画像及び第４照明画像を生成することができ、Ｂ検査体に対して第１照明モジュール１２１、第２照明モジュール１２２、第３照明モジュール１２３を順次ターンオンさせ、第１照明画像、第２照明画像及び第３照明画像を生成することができる。

【0046】

そして、コントローラ部３０は、カメラ部２０を作動させて第１照明画像乃至第４照明画像を生成し、生成されたそれぞれの照明画像を受信する。コントローラ部３０は、照明画像を加工して加工画像、すなわち、アルベド画像Ｈ１、Ｘ方向偏微分画像Ｈ２、Ｙ方向偏微分画像Ｈ３、２次偏微分画像Ｈ４、及び垂直ベクトル画像Ｈ５を生成することができる。

【0047】

より具体的には、コントローラ部３０は、照明画像受信モジュール３１０を介してカメラ部２０から複数の画像情報を含む全体画像Ｃを取得する。そして、全体画像Ｃから照明グループ別の画像区分Ｄ１～Ｄ４を選択的に抽出して第１照明画像Ｅ１乃至第４照明画像Ｅ４を作り、画像ごとに設定された行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の領域に分割する。

【0048】

そして、アラインモジュール３２０を介して、第１照明画像Ｅ１の複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像Ｄ１～Ｄ４と、第２照明画像Ｅ２の複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像Ｄ１～Ｄ４を整列させる。その後、ヒストグラムモジュール３３０を同じサイズのブロックに分け、ブロックに位置番号を付与してブロックの反射度値を抽出する。次いで、除去モジュール３４０を介して、設定された基準反射度値とブロックで測定された反射度値とを比較して、基準反射度値よりも大きい値の反射度値を有するブロックを取り除く。そして、ブロック補正画像モジュール３５０と除去モジュール３４０を介して、ブロックが取り除かれた部分に対応するブロックをその他の有効な画像から補間してそれぞれの第１ブロック補正画像Ｇ１、第２ブロック補正画像Ｇ２を生成する。

【0049】

一例として、第２照明画像の第１ブロックＨＵ２の反射度値が基準反射度値以上になると、第１ブロックＨＵ２の反射度値を０に変更する。そして、第１照明画像の第１ブロックＨＵ１の反射度値と第３照明画像の第１ブロックＨＵ３の反射度値と第４照明画像の第１ブロックＨＵ４の反射度値との平均値を第２照明画像の第１ブロックＨＵ２に反映する。

【0050】

また、第３照明画像の第２ブロックＨＤ３の反射度値が基準反射度値以上になると、第２ブロックＨＤ２の反射度値を０に変更する。そして、第１照明画像の第２ブロックＨＤ１の反射度値と第２照明画像の第２ブロックＨＤ２の反射度値と第４照明画像の第２ブロックＨＤ４の反射度値との平均値を第３照明画像の第２ブロックＨＤ３に反映する。

【0051】

また、合成画像生成モジュール３６０を介して第１ブロック補正画像Ｇ１と第２ブロック補正画像Ｇ２を合成して合成画像Ｈを生成する。

【0052】

さらに、コントローラ部３０は、前述した特徴の他にも、コンピュータで形成されて複数の照明モジュールに対する点灯順序を自由に調整することができ、第１照明モジュール乃至第４照明モジュールをＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）方式で各照明モジュールの明るさを調整することができる。また、検査体の特徴に応じて、照明の角度によって照明の明るさが異なることがあるため、検査体Ａに照射された照明値を管理して、標準化された検査結果を得ることができるようにする。

【0053】

以下、図８～図１４を参照して、ラインスキャン用非ランバート性表面検査システムの作動について具体的に説明する。

【0054】

図８は本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動に対するフローチャートであり、図９～図１３は本発明の一実施形態に係るラインスキャン用非ランバート性表面検査システムの作動過程、及び作動過程で現れる画像を示す図である。そして、図１４は複数のブロック補正画像を示す図である。

【0055】

コントローラ部３０は、図８に示すように、一連の順序で作動し、加工画像、すなわち、アルベド画像Ｈ１、Ｘ方向偏微分画像Ｈ２、Ｙ方向偏微分画像Ｈ３、２次偏微分画像Ｈ４、垂直ベクトル画像（Ｎｏｒｍ ｉｍａｇｅ）が生成されるようにする。

【0056】

より具体的には、コントローラ部３０は、図９に示すように、検査体Ａが表面検査部１０に進入すると、複数の照明モジュールが順次作動するようにし、カメラ部２０を介して複数の照明画像が生成されるようにする。このとき、第１照明モジュール１２１乃至第４照明モジュール１２４は、図１０に示すように、互いに異なる方向に検査体Ａに光を照射する。コントローラ部３０は、第１照明モジュール１２１乃至第４照明モジュール１２４の作動に対応して全体画像Ｃを受信することができる。そして、受信された全体合成画像Ｃから複数の行（Ｒｏｗ）又は列（Ｃｏｌｕｍｎ）の部分画像Ｄ１～Ｄ４を抽出し、抽出された各部分画像を整列して第１照明画像Ｅ１乃至第４照明画像Ｅ４を生成する。

【0057】

コントローラ部３０は、図１３に示すように、複数のブロックに分け、分けられたブロックから反射度値を抽出し、抽出されたブロックの反射度値と既に設定された基準反射度値とを比較する。ここで、コントローラ部３０のヒストグラムモジュール３３０は、第１照明画像Ｅ１乃至第４照明画像Ｅ４をブロックＦに分けてブロックＦに位置番号を付与し、各ブロックから反射度値を抽出する。そして、反射度値に対応する曲線グラフを形成することができる。

【0058】

さらに、ヒストグラムモジュール３３０で生成されたブロックＦは、ピクセルになることができ、各ブロックに内包された反射度値を０～２５５に抽出することができる。

【0059】

このとき、ヒストグラムモジュール３３０は、図示された記号に基づいて、次の式で反射度値を抽出することができる。このとき、各照明モジュール１２に向けた単位ベクトルは、数１の式であり、検査体Ａの表面の点ｘ、ｙの法線単位ベクトルは、数２の式である。そして、検査体の表面の点（ｘ、ｙ）で軸と軸に沿って表面をそれぞれ偏微分すると、数３の式になる。

【0060】

【数1】

【0061】

【数2】

【0062】

【数3】

【0063】

ここで、σは照明のスラント（ｓｌａｎｔ）角であり、τは照明のチルト（ｔｉｌｔ）角である。ρは表面の定数である。また、λは照明の強さである。画像の座標における画像の強度（Ｉｎｔｅｎｓｉｔｙ）は、数４の式になることができる。

【0064】

【数4】

【0065】

この時、コントローラ部３０の除去モジュール３４０は、基準反射度値を含んで各ブロックＦで測定された反射度値と基準反射度値とを比較する。そして、除去モジュール３４０は、基準反射度値よりも大きい値の反射度値を有するブロックＦを取り除く。一例として、除去モジュール３４０は、２５４に該当する反射度値を基準反射度値として含み、基準反射度値よりも大きい反射度値を有するブロックＦを取り除く。

【0066】

このように、コントローラ部３０は、ブロックの反射度値が基準反射度値未満である場合には、ブロックを残し、ブロックの反射度値が基準反射度値以上である場合には、ブロックを取り除き、基準反射度値を超えるブロックを取り除き、取り除かれたブロックの位置に対応するブロックを他の照明画像から抽出されたブロックと補間法で併合する。又は、ブロックの反射度値が基準反射度値以上である場合には、ブロックを取り除き、基準反射度値を超えるブロックを取り除き、取り除かれたブロックの位置に対応するブロックを他の照明画像から抽出したブロックにマッピングする。

【0067】

また、コントローラ部３０は、一部分のブロックを補間法で補正して、さらに第１ブロック補正画像Ｇ１、第２ブロック補正画像Ｇ２、第３ブロック補正画像Ｇ３及び第４ブロック補正画像Ｇ４として生成する。

【0068】

ここで、第１ブロック補正画像Ｇ１は、図１４の（ａ）に示すように、第１照明モジュール１２１から照射される光によって撮影された画像、又は撮影された後に一部のブロックが補正された画像になることができる。第２ブロック補正画像Ｇ２は、図１４の（ｂ）に示すように、第２照明モジュール１２２から照射される光によって撮影された画像、又は撮影された後に一部のブロックが補正された画像になることができる。第３ブロック補正画像Ｇ３は、図１４の（ｃ）に示すように、第３照明モジュール１２３から照射される光によって撮影された画像、又は撮影された後に一部のブロックが補正された画像になることができる。そして、第４ブロック補正画像Ｇ４は、図１４の（ｄ）に示すように、第４照明モジュール１２４から照射される光によって撮影された画像、又は撮影された後に一部のブロックが補正された画像になることができる。

【0069】

また、合成画像生成モジュール３６０は、アルベド画像Ｈ１に加工するか、或いは合成画像ＨからＸ軸方向に前記検査体の表面高さの変化量を算出してＸ軸偏微分画像Ｈ２に加工するか、或いはＹ軸方向に検査体の表面高さの変化量を算出してＹ軸偏微分画像Ｈ３に加工するか、或いはＸ軸偏微分画像とＹ軸偏微分画像からＸ軸方向とＹ軸方向に検査体の表面高さの変化量を算出して２次微分画像Ｈ４に加工することができる。

【0070】

より具体的には、合成画像生成モジュール３６０は、合成画像から次の数式（数５）によってアルベド画像Ｈ１を求めることができる。

【0071】

【数5】

【0072】

このとき、対象体の表面の照明による正反射された明るさを除いた散乱光による明るさになることができる。

【0073】

そして、合成画像生成モジュール３６０は、Ｘ軸方向に対象体の表面高さの変化量を算出する数式、すなわち式（数６）によって、図２に示すように、Ｘ軸方向に対する対象体の表面高さの変化特徴が著しく現れるＸ軸方向偏微分画像Ｈ２を求めることができる。

【0074】

【数6】

【0075】

また、合成画像からＹ軸方向に対象体の表面高さの変化量を算出する数式、すなわち、数式（数７）によって、図２に示すように、Ｙ軸方向に対象体の表面高さの変化の特徴が顕著に現れるＹ軸方向偏微分画像Ｈ３を求めることができる。一方、合成画像生成モジュール３６０は、取得した画像から対象体の表面高さの変化量を算出する数式、すなわち、数式（数８）によって、図２に示すように、対象体の表面高さの曲率の特性に対する表現が著しく現れる曲率画像を求めることができる。

【0076】

【数7】

【0077】

【数8】

【0078】

そして、合成画像生成モジュール３６０は、合成画像Ｈから表面に対して垂直方向の値を算出する数式、すなわち、数式（数９，数１０）によって、図２に示すように、表面に対して垂直に受信された光を画像に転換したＮｏｒｍ画像を求めることができる。

【0079】

【数9】

【0080】

【数10】

【0081】

さらに、コントローラ部３０は、図７に示された光源方向（１）～（ｎ）番のうち、全反射によりカメラ部２０に直接入ってくる照明を３つ又はそれ以上の組み合わせでリアルタイムにて測定し、画像合成の際に排除して全体画像の品質を向上させることができる。

【0082】

ラインスキャン用非ランバート性表面検査システム１は、アルベド画像Ｈ１、Ｘ軸方向偏微分画像Ｈ２、Ｙ軸方向偏微分画像Ｈ３、Ｎｏｒｍ画像及び曲率画像を２次的に微分した２次偏微分画像Ｈ４、検査画像を生成して検査体の不規則な表面及び非ランバート性の表面を正確に検査することができるようにする。

【0083】

図１５はフレームモジュールに透光板が設置された様子を示す斜視図であり、図１６はフレームモジュールに透光板と反射板が設置された状態を示す斜視図であり、図１７は透光板を介して散乱光が放出される様子を示す正面図及び側面図であり、図１８は透光板を示す平面図である。

【0084】

図１５乃至図１８を参照すると、ラインスキャン用非ランバート性表面検査システム１のフレームモジュール１１０は、透光板１１４及び補助照明モジュール１２５をさらに含む。

【0085】

透光板１１４は、撮影ホール１１２に設置され、上面には光を下部方向に反射させるドットパターン（Ｄｏｔ ｐａｔｔｅｒｎ）が形成される。

【0086】

補助照明モジュール１２５は、透光板１１４の側面に複数設置され、前記透光板１１４の内部に光を照射する。

【0087】

ここで、補助照明モジュール１２５は、コントローラ部２０を介して明るさが調節される。

【0088】

このような構造は、従来のドーム（ｄｏｍｅ）状のフレームモジュール１１０を介して反射散乱光を間接的且つ受動的に用いる方法に比べてサイズを効果的に減らす一方、散乱光の強度（強さ）の制御を別に直接行うことができるため、より効率よく表面検査画像のノイズを制御することができる。

【0089】

表面検査画像におけるノイズは、カメラセンサが低照度の状況で発生させる暗電流ノイズ（Ｄａｒｋ Ｃｕｒｒｅｎｔ Ｎｏｉｓｅ）と、製品表面の微細な不均一特性に起因するショットノイズ（Ｓｈｏｔ Ｎｏｉｓｅ）がある。

【0090】

製品の表面に反射光があまり低い場合、画像が全体的に暗くなり、センサの低照度感度が弱くなって発生する暗電流ノイズは、一定の明るさ以上の垂直方向成分の光を必要とする。

【0091】

平衡散乱光を通すと、垂直方向の光を補充して暗電流ノイズを減らすことができる。

【0092】

また、製品の表面に微細な研磨状態或いは微細欠陥（１～２μｍ以内）で散乱光があまり差異を示して現れる場合、これは、実際検査しようとする表面不良（１０μｍ以上の刻み傷、スクラッチ）の検出を難しくするショットノイズのように作用するが、このようなノイズ要素が平衡散乱光照明を介して相殺され、ノイズの除去された画像を表現することが可能である。

【0093】

したがって、本発明の場合、表面のアルベド（反射率）の画像を得る上で能動型散乱光を用いてノイズ除去が可能であり、別途分離された能動型散乱光を調整することができるため、曲率（ｃｕｒｖａｔｕｒｅ）（曲率半径／微分）画像への影響が少ない。

【0094】

これにより、表面検査に良い画像を得ることができる。

【0095】

ミー散乱（Ｍｉｅ Ｓｃａｔｔｅｒｉｎｇ）によれば、光の散乱は、光が一定サイズ以下の不規則な表面に照射されるときに光が散乱し、粒子が光の波長と同様か一定サイズ以下であるときにミー散乱する。

【0096】

散乱した光の強さは、光の入射角度に依存する。

【0097】

検査対象の表面粗さに対する正確な計算は、マックスウェルの方程式を用いて計算できる。

【0098】

入射光が検査対象の表面から散乱するとき、粒子の密度Ｍと散乱光の明るさは、次の式（数１１）を満足する。

【0099】

【数11】

【0100】

表面粒子の集中度は、散乱光の明るさと線形的な関係にある。

【0101】

本発明は、上記の式から検査対象の固有の表面粗さから散乱して入ってくる光の明るさと表面不良から入ってくる明るさとの差を最大にするカメラとの距離、及び補助照明モジュールの明るさを適当に調整するように設計されている。

【0102】

検査対象体の表面が溶接によって汚染しているものの、不良ではない場合、又は表面が屈曲して表面に斑が見えるものの、不良として分離されない場合、表面に発生したスクラッチや刻み傷などの不良との区分が難しい場合がある。

【0103】

本発明では、補助照明モジュールの明るさを変えながら画像を取得し、これらの画像を用いてこのような溶接による汚染又は表面屈曲と不良を区分して検出する。

【0104】

図１９は散乱光照明の使用有無による画像の差（ａ：散乱光照明なし、Ｂ：散乱光照明あり）を示す例示図である。

【0105】

図１９の（ａ）画像は散乱光システムなしに撮った画像であり、（ｂ）画像は散乱光を用いて合成した結果である。

【0106】

図１９の画像における、明るい部分はスクラッチ又は刻み傷不良であり、暗い部分は検査対象体の表面である。

【0107】

（ａ）画像と（ｂ）画像の明るさの変化は殆どないが、補助照明モジュールの照明が明るくなるにつれて対象体の表面の明るさが明るくなる。

【0108】

したがって、照明の明るさに変化が少ない部分を不良（スクラッチ又は刻み傷）として抽出する。

【0109】

原理的には、検査対象体の表面粒子のサイズＤがミー散乱（Ｍｉｅ Ｓｃａｔｔｅｒｉｎｇ）範囲以内である場合、検査対象体の表面の明るさは、補助照明モジュールの明るさと線形的な関係にあるが、粒子のサイズＤがミー散乱（Ｍｉｅ Ｓｃａｔｔｅｒｉｎｇ）範囲よりも大きい場合（例えば、スクラッチや刻み傷などの不良）は、補助照明モジュールの明るさとは殆ど関係がない。

【0110】

図２０はスクラッチと刻み傷を検出する過程を示す例示図である。

【0111】

図２０を参照すると、拡散モジュール（Ｄｉｆｆｕｓｅ Ｍｏｄｕｌｅ）の明るさとして強度０（Ｉｎｔｅｎｓｉｔｙ ０）で画像０（Ｉｍａｇｅ ０）を取得し、強度ｎ（Ｉｎｔｅｎｓｉｔｙ ｎ）で画像ｎ（Ｉｍａｇｅ ｎ）を取得して、画像０（Ｉｍａｇｅ ０）と画像ｎ（Ｉｍａｇｅ ｎ）との差を求め、この画像からスクラッチ（Ｓｃｒａｔｃｈ）と刻み傷を検出する。

【0112】

図２１は散乱光か否かによる表面プロファイル（ａ：ノイズが激しい、ｂ：ノイズが除去される）である。

【0113】

図２１の緑色ラインは、当該画像のプロファイルである。

【0114】

図２１の（ｂ）画像のプロファイルにおいて、標準偏差値が既存の２０から１５に減少したことが分かる。

【0115】

図２２は散乱光か否かによる表面ヒストグラム分布図（ａ：平滑化されて偏差が大きい、ｂ：平滑化が少なくて偏差が小さい）である。

【0116】

緑色領域のヒストグラムを見ると、散乱光を用いて床ノイズ情報を画期的に減らすことにより、標準偏差値が既存の２３から１５に減少したことが分かる。

【0117】

以上、添付図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は、本発明が技術又は必須的な特徴を変更しなくても他の具体的な形態で実施できることを理解することができるだろう。したがって、上述した実施形態は、あらゆる面で例示的なもので、限定的なものではないと理解すべきである。

【符号の説明】

【0118】

１ ラインスキャン用非ランバート性表面検査システム
１０ 表面検査部
１１０ フレームモジュール
１１１ 据置ホール
１１２ 撮影ホール
１１３ 反射板
１１４ 透光板
１２１ 第１照明モジュール
１２２ 第２照明モジュール
１２５ 補助照明モジュール
２０ カメラ部
３０ コントローラ部
３１０ 照明画像受信モジュール
３２０ アラインモジュール
３３０ ヒストグラムモジュール
３４０ 除去モジュール
３５０ ブロック補正画像モジュール
３６０ 合成画像生成モジュール
Ａ 検査体
Ｂ 床面
Ｃ 全体受信画像
Ｄ１ 第１部分画像
Ｄ２ 第２部分画像
Ｄ３ 第３部分画像
Ｄ４ 第４部分画像
Ｅ１ 第１照明画像
Ｅ２ 第２照明画像
Ｅ３ 第３照明画像
Ｅ４ 第４照明画像
Ｆ１、Ｆ２、Ｆ３、Ｆ４ 画像別ブロック区分、グレア部分除去画像
Ｇ１ 第１ブロック補正画像
Ｇ２ 第２ブロック補正画像
Ｇ３ 第３ブロック補正画像
Ｇ４ 第４ブロック補正画像
Ｈ 合成画像
Ｈ１ アルベド画像
Ｈ２ Ｘ軸偏微分画像
Ｈ３ Ｙ軸偏微分画像
Ｈ４ ２次偏微分画像
Ｈ５ 表面垂直ベクトル画像
Ｉ 光

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】