(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126474
(43)【公開日】2024-09-20
(54)【発明の名称】表面検査システム及びプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20240912BHJP
【FI】
G01N21/88 J
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023034863
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】相川 清史
(72)【発明者】
【氏名】田崎 海渡
(72)【発明者】
【氏名】桑田 良隆
(72)【発明者】
【氏名】福永 和哉
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AB02
2G051AB07
2G051AC22
2G051CA04
2G051CB01
2G051EA12
2G051EA14
2G051EA21
2G051EC02
(57)【要約】
【課題】正反射又は正反射に近い1つの角度条件だけで検査の対象とする物体を検査する場合に比して、官能評価との相関を高められるようにする。
【解決手段】検査の対象とする物体の表面を照明する光源と、光源により照明された表面を撮像する撮像デバイスと、概略正反射条件を満たす範囲で、表面に対する照明光又は反射光の角度を可変しながら撮像された複数の画像を処理する1又は複数のプロセッサとを有する表面検査システムであり、1又は複数のプロセッサは、画像毎に輝度分布の変動量を算出し、複数の画像を対象として輝度分布の変動量のピーク値を検出し、検出されたピーク値を用いて表面の品質を表す数値を算出する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
検査の対象とする物体の表面を照明する光源と、
前記光源により照明された前記表面を撮像する撮像デバイスと、
概略正反射条件を満たす範囲で、前記表面に対する照明光又は反射光の角度を可変しながら撮像された複数の画像を処理する1又は複数のプロセッサと、
を有し、
前記1又は複数のプロセッサは、
前記画像毎に輝度分布の変動量を算出し、
前記複数の画像を対象として前記輝度分布の変動量のピーク値を検出し、
検出された前記ピーク値を用いて前記表面の品質を表す数値を算出する、
表面検査システム。
【請求項2】
前記光源と前記撮像デバイスを収容する筐体のうち前記表面に押し当てられる部分が曲面であり、当該曲面の曲率は、前記複数の画像を撮像する際に前記概略正反射条件が満たされるように定める、
請求項1に記載の表面検査システム。
【請求項3】
前記画像を撮像する際における前記表面に対する前記筐体の角度を測定するセンサを更に有する、
請求項2に記載の表面検査システム。
【請求項4】
前記光源は、平行光源であり、
前記撮像デバイスは、平行光を結像する光学系を通じて前記表面を撮像する、
請求項1に記載の表面検査システム。
【請求項5】
前記画像の撮像範囲を規定する窓の中心位置を中心に、筐体内の前記光源を回転可能に案内する溝を有する、
請求項4に記載の表面検査システム。
【請求項6】
前記画像の撮像範囲を規定する窓の中心位置を中心に、筐体内の前記撮像デバイスを回転可能に案内する溝を有する、
請求項4に記載の表面検査システム。
【請求項7】
前記表面に入射する照明光の入射角度を可変する反射鏡を有する、
請求項4に記載の表面検査システム。
【請求項8】
前記表面で反射した反射光の前記撮像デバイスに対する入射角を可変する反射鏡を有する、
請求項4に記載の表面検査システム。
【請求項9】
前記1又は複数のプロセッサは、前記角度の可変方向について、前記輝度分布の変動量を算出する、
請求項1に記載の表面検査システム。
【請求項10】
前記1又は複数のプロセッサは、前記画像の高周波成分を除去した後の前記輝度分布を対象に前記変動量を算出する、
請求項9に記載の表面検査システム。
【請求項11】
前記1又は複数のプロセッサは、前記表面に対する照明光又は反射光の前記角度が可変する期間をセンサの出力信号より検知して、前記複数の画像を対象とする処理を実行する、
請求項1に記載の表面検査システム。
【請求項12】
前記1又は複数のプロセッサは、画面上の第1の表示欄に、新たに撮像された前記画像をリアルタイムで表示し、当該画面上の第2の表示欄に、前記複数の画像のうち前記ピーク値との関連が高い画像を表示する、
請求項1に記載の表面検査システム。
【請求項13】
検査の対象とする物体の表面に対する照明光又は反射光の角度を、概略正反射条件を満たす範囲で可変しながら撮像された複数の画像を処理する1又は複数のコンピュータに、
前記画像毎に輝度分布の変動量を算出する機能と、
前記複数の画像を対象として前記輝度分布の変動量のピーク値を検出する機能と、
検出された前記ピーク値を用いて前記表面の品質を表す数値を算出する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表面検査システム及びプログラムに関する。
【背景技術】
【0002】
今日、様々な製品において、合成樹脂を成型した部品(以下「成型品」という)が用いられている。特にユーザが観察可能な成型品(以下「外装部品」ともいう)は、製品のイメージを大きく左右する。このため、成型品に生じた欠陥やシボの検査は重要である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
成型品の検査では、欠陥等の定量化が望まれている。ところが、欠陥等の見え方は、観察時における角度のわずかな違いが影響することがある。例えばわずか数度の違いで、ウェルドが暗く撮像されることもあれば、明るく撮像されることもある。また、わずか数度の違いで、ヒケが見えることもあれば、見えないこともある。この見え方の違いは、検査対象によっても異なるため、一般化が難しい。
【0005】
本発明は、1つの角度条件だけで検査の対象とする物体を検査する場合に比して、官能評価との相関を高めることを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、検査の対象とする物体の表面を照明する光源と、前記光源により照明された前記表面を撮像する撮像デバイスと、概略正反射条件を満たす範囲で、前記表面に対する照明光又は反射光の角度を可変しながら撮像された複数の画像を処理する1又は複数のプロセッサと、を有し、前記1又は複数のプロセッサは、前記画像毎に輝度分布の変動量を算出し、前記複数の画像を対象として前記輝度分布の変動量のピーク値を検出し、検出された前記ピーク値を用いて前記表面の品質を表す数値を算出する、表面検査システムである。
請求項2に記載の発明は、前記光源と前記撮像デバイスを収容する筐体のうち前記表面に押し当てられる部分が曲面であり、当該曲面の曲率は、前記複数の画像を撮像する際に前記概略正反射条件が満たされるように定める、請求項1に記載の表面検査システムである。
請求項3に記載の発明は、前記画像を撮像する際における前記表面に対する前記筐体の角度を測定するセンサを更に有する、請求項2に記載の表面検査システムである。
請求項4に記載の発明は、前記光源は、平行光源であり、前記撮像デバイスは、平行光を結像する光学系を通じて前記表面を撮像する、請求項1に記載の表面検査システムである。
請求項5に記載の発明は、前記画像の撮像範囲を規定する窓の中心位置を中心に、筐体内の前記光源を回転可能に案内する溝を有する、請求項4に記載の表面検査システムである。
請求項6に記載の発明は、前記画像の撮像範囲を規定する窓の中心位置を中心に、筐体内の前記撮像デバイスを回転可能に案内する溝を有する、請求項4に記載の表面検査システムである。
請求項7に記載の発明は、前記表面に入射する照明光の入射角度を可変する反射鏡を有する、請求項4に記載の表面検査システムである。
請求項8に記載の発明は、前記表面で反射した反射光の前記撮像デバイスに対する入射角を可変する反射鏡を有する、請求項4に記載の表面検査システムである。
請求項9に記載の発明は、前記1又は複数のプロセッサは、前記角度の可変方向について、前記輝度分布の変動量を算出する、請求項1に記載の表面検査システムである。
請求項10に記載の発明は、前記1又は複数のプロセッサは、前記画像の高周波成分を除去した後の前記輝度分布を対象に前記変動量を算出する、請求項9に記載の表面検査システムである。
請求項11に記載の発明は、前記1又は複数のプロセッサは、前記表面に対する照明光又は反射光の前記角度が可変する期間をセンサの出力信号より検知して、前記複数の画像を対象とする処理を実行する、請求項1に記載の表面検査システムである。
請求項12に記載の発明は、前記1又は複数のプロセッサは、画面上の第1の表示欄に、新たに撮像された前記画像をリアルタイムで表示し、当該画面上の第2の表示欄に、前記複数の画像のうち前記ピーク値との関連が高い画像を表示する、請求項1に記載の表面検査システムである。
請求項13に記載の発明は、検査の対象とする物体の表面に対する照明光又は反射光の角度を、概略正反射条件を満たす範囲で可変しながら撮像された複数の画像を処理する1又は複数のコンピュータに、前記画像毎に輝度分布の変動量を算出する機能と、前記複数の画像を対象として前記輝度分布の変動量のピーク値を検出する機能と、検出された前記ピーク値を用いて前記表面の品質を表す数値を算出する機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項1記載の発明によれば、1つの角度条件だけで検査の対象とする物体を検査する場合に比して、官能評価との相関を高めることができる。
請求項2記載の発明によれば、物体の表面に曲面を押し当てたまま筐体を表面に沿って回転させても概略正反射条件を満たす複数の画像を取得できる。
請求項3記載の発明によれば、ピーク値と対応する角度の関係から欠陥の種類を識別できる。
請求項4記載の発明によれば、検査結果と官能評価との相関を高めることができる。
請求項5記載の発明によれば、概略正反射条件を満たす複数の画像を取得できる。
請求項6記載の発明によれば、概略正反射条件を満たす複数の画像を取得できる。
請求項7記載の発明によれば、概略正反射条件を満たす複数の画像を取得できる。
請求項8記載の発明によれば、概略正反射条件を満たす複数の画像を取得できる。
請求項9記載の発明によれば、複数の角度による変動量の変化を検出可能にできる。
請求項10記載の発明によれば、官能評価との相関を高めることができる。
請求項11記載の発明によれば、作業者は検査に注力できる。
請求項12記載の発明によれば、品質を表す数値の根拠を画面上で確認できる。
請求項13記載の発明によれば、1つの角度条件だけで検査の対象とする物体を検査する場合に比して、官能評価との相関を高めることができる。
【図面の簡単な説明】
【0008】
【
図1】検査対象の表面に現れる欠陥の例を説明する図である。(A)はヒケの例を示し、(B)はウェルドの例を示す。
【
図2】実施の形態1で想定する表面検査装置の概略構成を説明する図である。(A)は筐体の内部構成を簡略的に示す図であり、(B)は検査対象の表面に押し当てられる当付面の拡大図である。
【
図3】実施の形態1で使用する表面検査装置の内部構成の一例を説明する図である。
【
図4】輝度分布と変動量の算出方法を説明する図である。(A)は検査対象の表面を撮像した画像の一例を示し、(B)はY軸方向に伸びるヒケをX-Z面で切断した断面図を示し、(C)は算出される輝度プロファイルを示す。
【
図5】高周波成分を含む輝度プロファイルを説明する図である。
【
図6】実施の形態1で想定する表面検査装置によるスキャン撮像を説明する図である。
【
図7】スキャン撮像中の光学系の位置関係を説明する図である。(A)は表面検査装置を0°軸に対して-5°傾けた姿勢を示し、(B)は表面検査装置の傾きが0°の姿勢を示し、(C)は表面検査装置を0°軸に対して+5°傾けた姿勢を示す。
【
図8】実施の形態1で使用する表面検査装置による検査動作の一例を説明するフローチャートである。
【
図9】撮像条件の違いによるウェルドの見え方の違いを説明する図である。(A)は
図7(B)の撮像条件で撮像した場合に撮像されるフレーム画像であり、(B)は
図7(A)の撮像条件で撮像した場合に撮像されるフレーム画像である。
【
図10】撮像条件の違いによるヒケの見え方の違いを説明する図である。(A)は
図7(B)の撮像条件で撮像した場合に撮像されるフレーム画像であり、(B)は
図7(A)の撮像条件で撮像した場合に撮像されるフレーム画像である。
【
図11】スキャン撮像中のユーザインタフェース画面の遷移例を説明する図である。(A)は初期画面であり、(B)はスキャン撮像中の画面であり、(C)はスキャン撮像の終了時の画面である。
【
図12】実施の形態2で使用する表面検査装置による検査動作の一例を説明するフローチャートである。
【
図13】算出された変動量を通る近似関数とピーク値の関係を説明する図である。(A)はスキャン撮像で算出された変動量をマッピングした分布図であり、(B)は算出された変動量のマッピング点を通る近似関数とピーク値を説明する図である。
【
図14】推定されたピーク値の信頼性が低い場合のユーザインタフェース画面の表示例を説明する図である。
【
図15】近似関数の形状を用いた欠陥の種類の推定例を説明する図である。(A)はヒケに特有の波形例を示し、(B)はウェルドに特有の波形例を示す。
【
図16】実施の形態3で想定する表面検査装置の概略構成を説明する図である。
【
図17】実施の形態4で想定する表面検査システムの概略構成を説明する図である。
【
図18】当付板の概略構成を説明する図である。(A)は当付板の上面図であり、(B)は当付板の側面図であり、(C)は当付板の正面図である。
【
図19】実施の形態5で想定する表面検査装置の概略構成を説明する図である。(A)は筐体の内部構成を簡略的に示す図であり、(B)は検査対象の表面に押し当てられる当付面の拡大図である。
【
図20】スキャン撮像中の光学系の位置関係を説明する図である。(A)は光源をスキャン撮像の基準軸に対してマイナス方向に傾けた姿勢を示し、(B)は光源の傾きがスキャン撮像の基準軸に一致する姿勢を示し、(C)は光源をスキャン撮像の基準軸に対してプラス方向に傾けた姿勢を示す。
【
図21】実施の形態6で想定する表面検査装置の概略構成を説明する図である。(A)は筐体の内部構成を簡略的に示す図であり、(B)は検査対象の表面に押し当てられる当付面の拡大図である。
【
図22】スキャン撮像中の光学系の位置関係を説明する図である。(A)は撮像ユニットをスキャン撮像の基準軸に対してマイナス方向に傾けた姿勢を示し、(B)は撮像ユニットの傾きがスキャン撮像の基準軸に一致する姿勢を示し、(C)は撮像ユニットをスキャン撮像の基準軸に対してプラス方向に傾けた姿勢を示す。
【
図23】実施の形態7で想定する表面検査装置の概略構成を説明する図である。(A)は筐体の内部構成を簡略的に示す図であり、(B)は反射ミラー付近の拡大図である。
【
図24】実施の形態7で想定する表面検査装置によるスキャン撮像を説明する図である。
【
図25】スキャン撮像中の光学系の等価的な位置関係を説明する図である。(A)はスキャン撮像を開始した直後の光源とカメラの等価的な位置関係を示し、(B)はスキャン撮像の開始後の光源とカメラの等価的な位置関係を示し、(C)はスキャン撮像が終了した時点における光源とカメラの等価的な位置関係を示す。
【
図26】実施の形態8で想定する表面検査装置の概略構成を説明する図である。
【
図27】スキャン撮像中の光学系の等価的な位置関係を説明する図である。(A)はスキャン撮像を開始した直後の光源とカメラの等価的な位置関係を示し、(B)はスキャン撮像の開始後の光源とカメラの等価的な位置関係を示し、(C)はスキャン撮像が終了した時点における光源とカメラの等価的な位置関係を示す。
【
図28】実施の形態9で想定する表面検査システムの概略構成を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
本実施の形態では、成形品の表面に出現する欠陥を検査する表面検査装置の一形態について説明する。
【0010】
<欠陥の種類>
欠陥には、例えばヒケ、ウェルドがある。ヒケは、肉厚部分やリブ部に発生する表面の凹みであり、ウェルドは、溶融した樹脂の先端が金型内で合流する部分に発生する筋をいう。なお、欠陥には、物がぶつかることで生じる傷や打痕も含まれる。ヒケやウェルドは、一次元的なパターンの一例である。
【0011】
図1は、検査対象の表面に現れる欠陥の例を説明する図である。(A)はヒケの例を示し、(B)はウェルドの例を示す。
図1(A)及び
図1(B)では、欠陥の箇所を破線で囲んで示している。
図1(A)には4つのヒケがある。
本実施の形態で説明する表面検査装置は、欠陥の検査に限らず、質感の検査や表面の汚れの検査にも使用される。
因みに、質感とは、視覚や触覚の印象であり、物体の表面の色、光沢、凹凸が影響する。表面の凹凸には、金型を切削する際に生じた筋も含まれる。この種の筋は、欠陥と区別される。
【0012】
<検査の対象>
本実施の形態では、検査の対象とする物体(以下「検査対象」ともいう)として成形品を想定する。
検査対象の形状は、基本的に任意である。例えば検査対象は、板状でもよいし、立体形状でもよい。立体形状には、多面体、球体、円柱の他、任意の形状が含まれる。
検査対象の表面は、平面に限らず、曲面でもよい。また、検査対象の表面は、平坦である必要はなく、例えば構造上の又はデザイン上の凹凸、穴、切り欠き、突起、曲面、段差、部材と部材のつなぎ目、成形の過程等で形成された微細な凹凸を有してもよい。
【0013】
<表面検査装置の概略構造>
図2は、実施の形態1で想定する表面検査装置10の概略構成を説明する図である。(A)は筐体11の内部構成を簡略的に示す図であり、(B)は検査対象の表面に押し当てられる当付面11Aの拡大図である。
図2においては、紙面内の上方向をZ軸とし、紙面内の右方向をX軸とし、紙面に対して奥の方向をY軸とする。
【0014】
なお、本実施の形態における表面検査装置10は、表面検査システムの一例である。本実施の形態における表面検査装置10は、作業者による携帯が可能である。
この種の表面検査装置10では、作業者が表面検査装置10の当付面11Aを検査対象の表面に押し付けることで、検査対象の表面に形成されている欠陥の検査が実行される。
【0015】
本実施の形態の場合、当付面11Aの表面は、紙面内の下方向について凸形状の曲面を有している。当付面11Aは、例えば回転軸がY軸と平行である円筒を、回転軸と平行な平面で破断した形状を有している。換言すると、当付面11Aは、Y軸方向のどの位置でも同じ断面形状を有している。すなわち、当付面11AのX-Z平面の形状が全て同じになる。なお、当付面11Aの表面を規定する形状としての円筒は一例であり、楕円でもよい。いずれにしても、当付面11Aは、検査対象の表面に押し当てた状態のまま、検査対象の表面に入射する照明光の入射角を変更可能な曲率を有している。
【0016】
当付面11Aの中央には、検査対象の表面を照明する照明光と検査対象の表面で反射した反射光が入出力される開口11Bが形成されている。開口11Bは、検査範囲又は撮像視野を規定する窓である。本実施の形態では、開口11Bの中心(すなわち視野中心)を通るZ軸を0°軸という。換言すると、0°軸は、表面に凹凸がない平面の法線方向と一致する。
図2(B)の場合、開口11Bは、概略正方形である。もっとも、開口11Bの形状は正方形その他の矩形に限らず、円形でもよい。
【0017】
筐体11の内部には、開口11Bの方向に平行光を出力する光源12と、開口11Bから入射する外光を取り込む結像レンズ13と、結像レンズ13を透過した外光の強度を画素毎に電気信号に変換するカメラ14が設けられている。なお、筐体11の内部には、プロセッサその他の不図示の電子部品も設けられている。
本実施の形態では、検査対象に対する筐体11の傾きを連続的に可変しながら検査対象の表面の画像を撮像することを「スキャン撮像」という。
【0018】
本実施の形態の場合、光源12は、概略平行である照明光を出力する白色光源である。もっとも、光源12を平行光源や平行光照明ともいう。照明光が照明する範囲は、例えば開口11Bを含む。
本実施の形態の場合、結像レンズ13は、テレセントリックレンズである。なお、結像レンズ13は、検査対象が合焦位置となるように位置決めしてもよいし、わずかに合焦位置を外れるように位置決めしてもよい。
検査対象が結像レンズ13の合焦位置に位置する場合、結像レンズ13と検査対象までの距離sは、作動距離(Working Distance)と一致する。
本実施の形態の場合、当付面11Aの曲率は、略1/sとなるように設計される。また、曲率中心は0°軸上に設ける。
【0019】
結像レンズ13と検査対象との距離sが合焦位置をずれる場合、撮像される画像のギラギラ感の抑制が可能になる。
光源12と結像レンズ13は、0°軸を通る平面上に位置する。従って、光源12から出力された後、検査対象の表面で反射された照明光は、反射光として結像レンズ13に入射する。換言すると、光源12と結像レンズ13は、検査対象の表面を照明する照明光が検査対象の表面で概略正反射された反射光が入射される条件(以下「概略正反射条件」という。)を満たす位置に設けられる。
「概略正反射条件を満たす」とは、正反射条件との角度差が略5°以下である関係をいう。換言すると、概略正反射条件を満たすとは、正反射又は正反射に近い角度条件である。
【0020】
カメラ14は、例えばCCD(=Charge Coupled Device)イメージングセンサ素子やCMOS(=Complementary Metal Oxide Semiconductor)イメージング素子である。本実施の形態では、カメラ14としてカラー画像の撮像が可能なカラーカメラを使用する。
カメラ14は、照明光により照明された検査対象の表面の画像を撮像する撮像デバイスの一例である。カメラ14の撮像面は、結像レンズ13の焦点範囲内に位置する。
カメラ14の視野内のMTF(=Modulation Transfer Function)は概ね均一である。このため、視野内の位置の違いによるコントラストのばらつきは小さく、検査対象の表面の忠実な撮像が可能である。
【0021】
筐体11の上部には、ディスプレイ105と、電源ボタン106Aと、スキャンボタン106Bが設けられている。
ディスプレイ105は、欠陥の検査の結果や撮像された画像を表示する表示デバイスである。
電源ボタン106Aは、表面検査装置の各部に対する電力の供給を開始する又は停止するボタンである。電源ボタン106Aの押下によりオン状態になると、光源12やカメラ14に対する電力の供給が開始する。これにより、ディスプレイ105には、カメラ14が撮像している画像が表示される。ここでの画像は、例えば検査対象の表面に形成された欠陥を視野内に位置決めするために使用される。なお、電源ボタン106Aの押下によりオフ状態になると、電力の供給が停止する。
【0022】
スキャンボタン106Bは、検査対象の表面の画像の撮像を指示するボタンである。本実施の形態の場合、スキャンボタン106Bが押下されている間、検査対象の表面の画像が一定間隔で撮像される。換言すると、撮像のタイミングは離散的である。ここでの一定間隔は、例えば1秒である。もっとも、一定間隔は0.5秒でもよい。一定間隔は、作業者が任意の時間を設定してもよい。
【0023】
本実施の形態の場合、スキャンボタン106Bの操作により、複数枚の画像が撮像される。本実施の形態では、当付面11Aが曲面であることを利用して、作業者が検査対象に対する筐体11の傾きを連続的に可変しながら検査対象の表面の画像を撮像する。換言すると、撮像条件を可変しながら検査対象の表面の画像を撮像する。因みに、筐体11の傾きが変化すると、検査対象に入射する照明光の入射角と、カメラ14で撮像される反射光の検査対象に対する反射角も変化する。
以下では、この撮像条件を連続的に変化させながら検査対象の表面の画像を撮像する方式を「スキャン撮像」又は「スキャン検知」という。
以下では、一定間隔でスキャン撮像される各画像を「フレーム画像」ともいう。
【0024】
<表面検査装置の内部構成>
図3は、実施の形態1で使用する表面検査装置10の内部構成の一例を説明する図である。
図3に示す表面検査装置10は、装置全体の動作を制御するプロセッサ101と、BIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)102と、プロセッサ101のワークエリアとして用いられるRAM(=Random Access Memory)103と、プログラムや画像データを記憶する補助記憶装置104と、検査対象の表面を撮像した画像や操作に関する情報が表示されるディスプレイ105と、作業者の操作を受け付ける操作受付装置106と、検査対象の表面の画像を撮像するカメラ14と、検査対象の表面を照明する光源12と、外部との通信に用いられる通信IF(=Interface)107と、を有している。なお、プロセッサ101と各部は、バス等の信号線108を通じて接続されている。
【0025】
プロセッサ101と、ROM102と、RAM103は、いわゆるコンピュータとして機能する。
図3の場合、プロセッサ101は1つであるが複数でもよい。
プロセッサ101は、プログラムの実行を通じて各種の機能を実現する。例えばプロセッサ101は、プログラムの実行を通じ、撮像された検査対象の表面の欠陥を定量的に評価したスコアの算出等を実行する。ここでのスコアは、検査対象の表面の品質を表す数値の一例である。因みに、スコアは、官能評価の結果と一致するように算出される。
【0026】
スコアの算出には、例えば多変量解析を使用する。多変量解析では、例えば輝度分布に現れる特徴が解析される。特徴の例には、例えばヒケに沿って延びる筋状のパターンがある。
この他、スコアの算出には、人工知能を用いる方法もある。例えば欠陥を撮像した画像とスコアの関係を深層機械学習等した学習モデルにカメラ14で撮像された画像を与えることで、欠陥のスコアが算出される。
【0027】
検査対象の表面を撮像した画像データは、補助記憶装置104に記憶される。補助記憶装置104には、例えば半導体メモリ、ハードディスク装置を使用する。補助記憶装置104には、ファームウェアやアプリケーションプログラムも記憶される。以下では、ファームウェアやアプリケーションプログラムを総称して「プログラム」という。
【0028】
ディスプレイ105は、例えば液晶ディスプレイや有機ELディスプレイである。ディスプレイ105には、例えば検査対象の任意の部位を撮像した画像が表示される。ディスプレイ105は、検査対象に対する当付面11Aの位置決めにも使用される。
本実施の形態の場合、ディスプレイ105は、装置本体に一体的に設けられているが、通信IF107を通じて接続される外部の装置でもよいし、通信IF107を通じて接続される他の装置の一部でもよい。例えばディスプレイ105は、通信IF107を通じて接続された他のコンピュータのディスプレイでもよい。
【0029】
操作受付装置106は、ディスプレイ105にソフトウェア的に表示されたキー(以下「ソフトキー」とも呼ぶ)や筐体11(
図2参照)に配置される物理的なスイッチ、ボタン等で構成される。
本実施の形態の場合、物理的なボタンの一例として電源ボタン106Aやスキャンボタン106Bが設けられている。電源ボタン106Aが操作されると、例えば光源12が点灯する。また、スキャンボタン106Bが押下されている間、複数枚のフレーム画像の撮像が実行される。
ディスプレイ105と操作受付装置106を一体化したデバイスは、タッチパネルと呼ばれる。タッチパネルは、ソフトキーに対するユーザの操作の受け付けに使用される。
【0030】
本実施の形態の場合、カメラ14としてカラーカメラを使用する。このため、検査対象の表面の輝度分布だけでなく色調の観察も原理的には可能である。
本実施の形態の場合、光源12として白色光源を使用する。白色光源は、可視光帯域の光が均等に混在された光を発生する。
通信IF107は、有線や無線による通信規格に準拠したモジュールで構成される。通信IF107には、例えばイーサネット(登録商標)モジュール、USB(=Universal Serial Bus)、無線LANその他を使用する。
【0031】
<輝度分布と変動量の算出方法>
本実施の形態で使用する表面検査装置10(
図2参照)は、ヒケ等の欠陥を含むフレーム画像毎に輝度分布の変動量を算出し、算出された変動量のピーク値に基づいてスコアを算出する。
図4は、輝度分布と変動量の算出方法を説明する図である。(A)は検査対象の表面を撮像した画像の一例を示し、(B)はY軸方向に伸びるヒケをX-Z面で切断した断面図を示し、(C)は算出される輝度プロファイルSを示す。ここでの輝度プロファイルSは「輝度分布」の一例である。
【0032】
図4(B)の場合、説明の都合により、検査対象の表面に形成されたヒケの断面を二等辺三角形で表している。勿論、実際の断面形状は二等辺三角形になるとは限らない。
本実施の形態におけるプロセッサ101(
図3参照)は、同じX座標値を有する画素値の平均値(以下「平均輝度」という。)を算出する。
図4では、同じX座標を有する画素列を1ラインと表現している。ヒケを形成する2つの斜面のうち照明光の入射角が小さい方の平均輝度は大きく、入射角が大きい方の平均輝度は小さくなる。このため、
図4(C)に示す輝度プロファイルSには、山型の波形と谷型の波形が現れている。なお、
図4(C)の縦軸は平均輝度であり、横軸はX座標値である。
【0033】
図4(C)の場合、輝度プロファイルSの最大値とヒケ以外の部分の輝度値との差分を「輝度プロファイル」の変動量として規定する。なお、
図4(C)では、欠陥であるヒケの傾斜面の輝度値が大きいために輝度プロファイルSの最大値との差分を変動量として規定するが、欠陥部分の輝度値が周囲に比して暗くなる場合には、輝度プロファイルSの最小値との差分を変動量とする。
なお、いずれの場合も、官能評価との相関が低い高周波成分は除去して変動量を規定する。
図5は、高周波成分を含む輝度プロファイルSを説明する図である。
図5の場合も、縦軸は平均輝度であり、横軸はX座標値である。
【0034】
図5に示す輝度プロファイルSは、
図4とは異なり、画像の右端に近づくにつれて平均輝度が増加する特徴を有している。ただし、欠陥の種類が異なるため、欠陥部分で平均輝度が下がっている。すなわち、輝度プロファイルSには谷型の波形が現れている。
図5の場合、谷波形の底部付近にスパイク状の波形が現れている。破線の円で囲んで示すスパイク状の波形は、高周波成分を表している。このような、局所的な平均輝度の変化は官能評価との相関が低い。
【0035】
このため、
図5に示すように、平均輝度に現れる谷波形の底部(すなわち平均輝度の最小値)と谷波形以外の平均輝度との差分を変動量として規定する。
なお、
図5に示すように、画像内の左端から右端に向けて平均輝度が直線的に増加する場合には、平均輝度の増加を示す傾きを考慮して変動量を規定する。
図5に示すように変動量を規定することにより、欠陥の影響による平均輝度の差分(すなわち変動量)が正確に算出される。
以下では、ここでの変動量を「輝度分布の変動量」という。
【0036】
図4及び
図5の場合、あるタイミングで撮像された1枚のフレーム画像を対象として輝度プロファイルSと変動量を算出しているが、本実施の形態の場合、検査対象に対する筐体11(
図2参照)の姿勢を変化させながら複数枚のフレーム画像を撮像するので(すなわちスキャン撮像するので)、複数枚のフレーム画像のそれぞれについて輝度プロファイルSと変動量が算出される。
なお、欠陥を定量的に評価したスコアは、複数枚の画像について算出された変動量の最大値(以下「ピーク値」ともいう。)に基づいて算出される。
【0037】
因みに、スコアは、表面に形成された凹凸の幅、高さ、深さ、数等に依存する。例えば凸部の高さや凹部の深さが同じでも、より長い幅を有する凸部や凹部が形成されている部分領域のスコアが高くなる。
また、凸部や凹部の幅が同じでも、より高い凸部やより深い凹部が形成されている部分領域のスコアが高くなる。本実施の形態の場合、スコアが高いことは、品質が悪いことを意味する。
【0038】
<スキャン撮像>
図6は、実施の形態1で想定する表面検査装置10によるスキャン撮像を説明する図である。
図6には、
図2との対応部分に対応する符号を付して示している。なお、
図6には、光源12が出力する照明光の光路をL1、検査対象で反射された照明光L1(すなわち反射光)の光路をL2で表している。
図6の場合、検査対象である物体の表面には欠陥が存在する。欠陥は作業者による目視が可能である。
準備作業として、作業者は、ディスプレイ105に表示される画像に欠陥が写り込むように、表面検査装置10を位置決めする。この際、作業者は、直線的に延びる欠陥が表面検査装置10の回転軸と概略一致するように、表面検査装置10の当付面11Aを検査対象の表面に押し当てる。
【0039】
このため、検査対象に対する表面検査装置10の角度を変更しても撮像されるフレーム画像のレイアウトは基本的に同じになる。
図6では、表面検査装置10を欠陥の位置を回転中心とする筐体11のロールを円弧状の矢印で表現している。本実施の形態では、この矢印の方向をスキャン方向と呼ぶ。このように表面検査装置10を一方向にスキャンさせながら欠陥を撮像する手法がスキャン撮像である。
スキャン撮像では、検査対象の表面が平面の場合、当付面11Aと検査対象との接線角度が最大でも略±5°の範囲を満たすように注意する。接線角度を0°軸に対して略±5°の範囲に保つことにより、概略正反射条件を満たす検査対象の表面の画像の撮像が可能になる。
【0040】
図7は、スキャン撮像中の光学系の位置関係を説明する図である。(A)は表面検査装置10(
図2参照)を0°軸に対して-5°傾けた姿勢を示し、(B)は表面検査装置10の傾きが0°の姿勢を示し、(C)は表面検査装置10を0°軸に対して+5°傾けた姿勢を示す。
図7(A)~(C)に示すように、スキャン撮像中における光源12とカメラ14の相対位置は不変である。
図7(A)~(C)のいずれの場合も、光源12とカメラ14は概略正反射条件を満たしている。
【0041】
<検査動作>
図8は、実施の形態1で使用する表面検査装置10による検査動作の一例を説明するフローチャートである。図中に示す記号のSは、ステップを意味する。
図8に示す処理は、プロセッサ101(
図3参照)によるプログラムの実行を通じて実現される。
なお、電源ボタン106Aの操作が検出された時点で、光源12(
図6参照)が点灯し、カメラ14(
図6参照)による撮像が開始される。ただし、ここでの撮像は、視野内における欠陥の位置の確認のための予備的な撮像である。撮像された画像はディスプレイ105(
図6参照)に表示される。
【0042】
次に、プロセッサ101は、スキャンボタン106B(
図6参照)の押下を検出したか否かを判定する(ステップ1)。
スキャンボタン106Bの押下が検出されない場合、ステップ1で否定結果が得られる。この場合、プロセッサ101は、ステップ1の判定を繰り返す。
スキャンボタン106Bの押下が検出された場合、ステップ1で肯定結果が得られる。この場合、プロセッサ101は、検査対象の表面の画像を一定間隔で撮像し、撮像されたフレーム画像をディスプレイ105に表示する(ステップ2)。ここでのフレーム画像は、例えばリアルタイム画像として表示される。
【0043】
次に、プロセッサ101は、撮像されたフレーム画像について輝度分布の変動量を算出する(ステップ3)。本実施の形態の場合、新しいフレーム画像が撮像されるたびに、輝度分布の変動量がリアルタイムで算出される。
続いて、プロセッサ101は、最新の変動量が変動量の最大値よりも大きいか否かを判定する(ステップ4)。1枚目のフレーム画像について算出された変動量は、初期値として与えられた「変動量の最大値」と比較される。例えば初期値はゼロである。一方、2枚目以降のフレーム画像について算出された変動量は、撮像済みの1又は複数枚のフレーム画像について算出された変動量の最大値と比較される。
【0044】
最新の変動量が変動量の最大値よりも大きい場合、ステップ4で肯定結果が得られる。この場合、プロセッサ101は、変動量の最大値を更新する(ステップ5)。
一方、最新の変動量が変動量の最大値よりも小さい場合、ステップ4で否定結果が得られる。
ステップ4で否定結果が得られた場合、又は、ステップ5が実行された場合、プロセッサ101は、スキャンボタン106Bの押下の停止を検出したか否かを判定する(ステップ6)。
【0045】
スキャンボタン106Bが押下されたままの場合、ステップ6で否定結果が得られる。この場合、プロセッサ101は、ステップ2に戻り、前回のフレーム画像の撮像から一定間隔が経過するのを待って次のフレーム画像を撮像する。
一方、スキャンボタン106Bの押下の停止が検出された場合、ステップ6で肯定結果が得られる。この場合、プロセッサ101は、変動量の最大値を用いて検査対象の表面の品質を表すスコアを算出する(ステップ7)。以下では、変動量の最大値を「ピーク値」ともいう。また、ピーク値に対応するフレーム画像を「ピーク画像」ともいう。
【0046】
この後、プロセッサ101は、変動量の最大値が検出されたフレーム画像とスコアをディスプレイ105に表示する(ステップ8)。
これにより、スキャン撮像の処理を終了する。
もっとも、電源ボタン106Aがオフ状態に操作されるまでは、ディスプレイ105の表示が継続する。このため、作業者は、スキャン撮像の終了後も、ピーク画像と対応するスコアを確認することができる。
ピーク画像とスコアが対で表示されるので、作業者によるピーク画像の適否の判断が可能になる。例えばピーク画像が作業者のイメージと異なる場合、作業者は、誤ったスコアを使用せずに済む。また、作業者による再度のスキャン撮像が可能である。
【0047】
<撮像条件の違いと欠陥の見え方の違い>
ここでは、撮像条件の違いと欠陥の見え方の違いの具体例について説明する。
図9は、撮像条件の違いによるウェルドの見え方の違いを説明する図である。(A)は
図7(B)の撮像条件で撮像した場合に撮像されるフレーム画像であり、(B)は
図7(A)の撮像条件で撮像した場合に撮像されるフレーム画像である。
図9(A)に示すフレーム画像の場合、ウェルドの周辺が黒っぽく撮像されており、ウェルドの観察が難しい。
一方、
図9(B)に示すフレーム画像の場合、ウェルドの周辺が白っぽく撮像されており、黒い筋として撮像されるウェルドのコントラストが大きく、ウェルドの観察が容易である。
【0048】
図10は、撮像条件の違いによるヒケの見え方の違いを説明する図である。(A)は
図7(B)の撮像条件で撮像した場合に撮像されるフレーム画像であり、(B)は
図7(A)の撮像条件で撮像した場合に撮像されるフレーム画像である。
図10(A)に示すフレーム画像の場合、ヒケと周囲の区別が難しい。一方、
図10(B)に示すフレーム画像の場合、ヒケと周囲の区別が可能となっている。
このように、欠陥の種類や表面の微妙な凹凸により欠陥の見え方は異なっている。
【0049】
ところで、従前の表面検査装置では、基本的に
図7(B)に示す撮像条件でのみで撮像する。このため、
図9(A)や
図10(A)の場合には、欠陥を含む表面の品質を表すスコアが官能評価と一致しないことがあった。
一方、本実施の形態で説明するスキャン撮像の場合には、撮像条件が異なる複数枚のフレーム画像に基づいて輝度分布の変動量の最大値が特定される。このため、従前の表面検査装置に比して、算出されるスコアと官能評価との相関を高めることが可能になる。
【0050】
<ユーザインタフェース画面の例>
図11は、スキャン撮像中のユーザインタフェース画面の遷移例を説明する図である。(A)は初期画面であり、(B)はスキャン撮像中の画面であり、(C)はスキャン撮像の終了時の画面である。
図11に示すユーザインタフェース画面は、例えばディスプレイ105に表示される。
図11に示すユーザインタフェース画面には、一定間隔で撮像される最新のフレーム画像が表示されるリアルタイム画像欄105Aと、変動量の最大値が検出されたピーク画像が表示されるピーク画像欄105Bと、輝度分布の変動量が逐次マッピングされる分布
図105Cと、ピーク画像の変動量から算出されたスコアが表示されるスコア欄105Dが表示されている。
【0051】
なお、リアルタイム画像欄105Aには、「リアルタイム画像」との名前が付されている。また、ピーク画像欄105Bには、「ピーク画像」との名前が付されている。また、スコア欄105Dには、「スコア」との名前が付されている。
また、分布
図105Cの縦軸は変動量であり、横軸はフレーム番号である。フレーム番号は、撮像された順番に付される。
図11(A)に示す初期画面の場合、表示するデータが存在しないので、リアルタイム画像欄105A、ピーク画像欄105B、スコア欄105Dはいずれも空欄である。また、分布
図105Cも軸だけの表示である。
【0052】
図11(B)に示すスキャン撮像中の画面では、リアルタイム画像欄105Aに最新のフレーム画像が表示される。
図11(B)の場合、分布
図105Cに示すように2つの変動量がマッピングされているので、リアルタイム画像欄105Aには2番目に撮像されたフレーム画像が表示される。
ところで、前述した検査動作の場合、変動量の最大値の検出や対応するスコアの算出はスキャンボタン106Bの押下が停止された後に実行される。このため、ピーク画像欄105Bには「スキャン中」との文字が表示され、ピーク画像に対応するフレーム画像は表示さていない。また、スコアの算出の実行まであるので、スコア欄105Dも空欄のままである。
【0053】
図11(C)に示すスキャン撮像の終了時の画面の場合、分布
図105Cには4つの変動量がマッピングされている。このため、リアルタイム画像欄105Aには4番目に撮像されたフレーム画像が表示される。また、ピーク画像欄105Bには変動量のピーク値が検出された3番目のフレーム画像が表示されている。なお、3番目のフレーム画像から算出されたスコアは「3.1」であることがスコア欄105Dに表示されている。
作業者は、この
図11(C)に示す画面を確認し、フレーム画像毎の変動量の遷移やスコア等を確認する。また、必要に応じ、作業者は、スキャン撮像をやり直す。
【0054】
<実施の形態2>
本実施の形態では、実施の形態1とは異なる検査動作について説明する。
具体的には、変動量のピーク値を複数の算出結果から推定する場合について説明する。
なお、表面検査装置10(
図1参照)の構造や内部構成は実施の形態1と同じである。
図12は、実施の形態2で使用する表面検査装置10による検査動作の一例を説明するフローチャートである。
図12には、
図8との対応部分に対応する符号を付して示している。
【0055】
本実施の形態の場合も、スキャン撮像の準備段階は同じである。すなわち、電源ボタン106Aの操作が検出された時点で、光源12(
図6参照)が点灯し、カメラ14(
図6参照)による撮像が開始される。
次に、プロセッサ101は、スキャンボタン106B(
図6参照)の押下を検出したか否かを判定する(ステップ1)。
スキャンボタン106Bの押下が検出されない場合、ステップ1で否定結果が得られる。この場合、プロセッサ101は、ステップ1の判定を繰り返す。
【0056】
スキャンボタン106Bの押下が検出された場合、ステップ1で肯定結果が得られる。この場合、プロセッサ101は、検査対象の表面の画像を一定間隔で撮像し、撮像されたフレーム画像をディスプレイ105に表示する(ステップ2)。ここでのフレーム画像は、例えばリアルタイム画像として表示される。
続いて、プロセッサ101は、スキャンボタン106Bの押下の停止を検出したか否かを判定する(ステップ6)。
【0057】
スキャンボタン106Bが押下されたままの場合、ステップ6で否定結果が得られる。この場合、プロセッサ101は、ステップ2に戻り、前回のフレーム画像の撮像から一定間隔が経過するのを待って次のフレーム画像を撮像する。
一方、スキャンボタン106Bの押下の停止が検出された場合、ステップ6で肯定結果が得られる。この場合、プロセッサ101は、撮像されたフレーム画像毎に輝度分布の変動量を算出する(ステップ11)。
【0058】
次に、プロセッサ101は、算出された変動量に基づいてピーク値を推定する(ステップ12)。本実施の形態の場合、算出された変動量の最大値を検出するのではなく、ピークを推定する点で実施の形態1と相違する。
というのは、フレーム画像の撮像は一定間隔で実行されるため、検出された変動量の最大値が真のピーク値と一致しない可能性があることによる。
そこで、ステップ12におけるプロセッサ101は、例えば以下に説明する手法により真のピーク値を推定する。
【0059】
図13は、算出された変動量を通る近似関数とピーク値の関係を説明する図である。(A)はスキャン撮像で算出された変動量をマッピングした分布
図105Cであり、(B)は算出された変動量のマッピング点を通る近似関数とピーク値を説明する図である。
なお、算出された変動量の数が多いほど近似関数の精度は高くなる。従って、
図13(B)の例であれば、4つよりも5つ、5つよりも6つの変動量のマッピング点が存在することで近似関数の精度が高くなる。
図13(B)の場合、近似関数は、2番目のフレーム画像と3番目のフレーム画像の間で最大値をとる。この最大値をピーク値と呼ぶ。
【0060】
なお、プロセッサ101は、推定されたピーク値の使用が可能か否かを判定する追加の処理を実行してもよい。
例えばピーク値の使用が可能な条件として、発見されたピーク値の両側に予め定めた個数以上の変動量のデータが存在することを要求してもよい。例えばピーク値の両側に2つずつ計4個の変動量のデータが存在することを条件としてもよい。
図13(B)のピーク値は、この条件を満たしている。なお、発見されたピーク値の左側に変動量のデータが1つしか存在しない場合、発見されたピーク値は使用不可と判定される。
この他、ピーク値の使用が可能な条件として、発見されたピーク値が閾値以上であることを要求してもよい。
【0061】
ピーク値が推定された場合、又は、推定されたピーク値が追加の条件も満たす場合、プロセッサ101は、ピーク値の推定に成功したとみなす。ピーク値が推定されない場合、又は、ピーク値が推定されても追加の条件を満たさない場合、プロセッサ101は、ピーク値の推定に失敗したとみなす。
図12の説明に戻る。
ピーク値の推定処理を実行したプロセッサ101は、ピーク値の推定に成功したか否かを判定する(ステップ13)。
【0062】
ピーク値の推定に失敗した場合、ステップ13で否定結果が得られる。この場合、プロセッサ101は、スキャン撮像のやり直しを要求する(ステップ14)。この後、プロセッサ101は、ステップ1に戻る。
図14は、推定されたピーク値の信頼性が低い場合のユーザインタフェース画面の表示例を説明する図である。
図14には
図11との対応部分に対応する符号を付して示している。
図14に示すユーザインタフェース画面には、ポップアップウインドウ105Eが表示されている。この点が
図11(C)に示すユーザインタフェース画面との違いである。
【0063】
図14の場合、ポップアップウインドウ105Eには「スキャン撮像のやり直しを推奨します。」、「もう少しゆっくりスキャンしましょう。」と記載されている。
このポップアップウインドウ105Eは、例えば作業者がスキャンボタン106Bを押下すると画面上から消える。また、同時に、新たなスキャン撮像が開始される。
【0064】
図12の説明に戻る。
ピーク値の推定に成功した場合、ステップ13で肯定結果が得られる。この場合、プロセッサ101は、ピーク値を用いて検査対象の表面の品質を表すスコアを算出する(ステップ15)。
続いて、プロセッサ101は、算出されたスコアをディスプレイ105に表示する。
【0065】
<欠陥の種類の推定>
図12に示す検査動作の説明では、変動量のマッピング点を通る近似関数をピーク値の推定に用いているが、近似関数を欠陥の種類の推定に用いてもよい。
図15は、近似関数の形状を用いた欠陥の種類の推定例を説明する図である。(A)はヒケに特有の波形例を示し、(B)はウェルドに特有の波形例を示す。
【0066】
図15(A)の場合、近似関数には、山型の波形が1つ、又は、極大値が1つ現れている。この場合、プロセッサ101は、欠陥の種類は「ヒケ」であると判定する。なお、判定の結果をディスプレイ105に表示してもよい。
図15(B)の場合、近似関数には、山型の波形が2つ、又は、極大値が2つ現れている。この場合、プロセッサ101は、欠陥の種類は「ウェルド」であると判定する。この判定の結果もディスプレイ105に表示してもよい。
【0067】
<実施の形態3>
図16は、実施の形態3で想定する表面検査装置10Aの概略構成を説明する図である。
図16には、
図2との対応部分に対応する符号を付して示している。
本実施の形態で想定する表面検査装置10Aは、検査対象の表面に対する筐体11の角度を測定するセンサ111を有する点で、実施の形態1で説明した表面検査装置10と相違する。本実施の形態におけるセンサ111は、センサ出力により、スキャン撮像中における筐体11と検査対象の表面との角度の検出が可能であればよい。本実施の形態の場合、センサ111には、3軸加速度センサ、3軸角速度センサ、デジタル水準器等を使用する。
【0068】
図16の場合、センサ111は、視野中心を通る0°軸上に配置しているが、角度を正確に測定可能であれば0°軸上に配置しなくてもよい。
なお、センサ111によるスキャン撮像中の検査対象に対する角度の測定により、欠陥の種類の判定が可能となる。
例えば2つの角度(例えば0°付近と2°付近)で変動量の極大値が検出される場合には、欠陥の種類をウェルドと判定することが可能となる。
【0069】
また、変動量の極大値が1つでも0°付近における輝度分布の全体的な低下が認められる場合には、ウェルドとの判定が可能である。
また、変動量の極大値が2°付近で出現する場合、輝度分布の全体的な上昇がヒケに起因するか否かの判定は難しいが、輝度分布に高周波成分が現れるか否かによりヒケとその他の原因との区別が可能になる。
なお、本実施の形態のようにセンサ111を設ける場合には、プロセッサ101で近似関数を計算しなくても欠陥の種類の判定が可能になる。従って、センサ111を実施の形態1で説明した表面検査装置10にセンサ111を設ける場合には、フレーム画像から算出される変動値の最大値を用いてスコアを計算する場合にも欠陥の種類の判定が可能になる。
【0070】
<実施の形態4>
図17は、実施の形態4で想定する表面検査システム10Bの概略構成を説明する図である。
図17には、
図2との対応部分に対応する符号を付して示している。
本実施の形態で想定する表面検査システム10Bは、表面検査装置10(
図2参照)と当付板121とで構成されている。ただし、表面検査装置10のプロセッサ101(
図3参照)には、実施の形態3と同様、測定された角度の情報を用いて欠陥の種類を判定する機能が設けられている。
【0071】
本実施の形態における表面検査装置10と当付板121は、回転軸122を介して回転可能に取り付けられている。回転軸122は、例えば筐体11の一部でもよいし、当付板121の一部でもよいし、独立の部品でもよい。
検査対象の表面に対する筐体11の角度は、エンコーダ123により検出される。エンコーダ123は、例えば光学式のエンコーダや磁気式のエンコーダであり、例えば回転軸122に対して同軸に取り付けられる。
【0072】
図18は、当付板121の概略構成を説明する図である。(A)は当付板121の上面図であり、(B)は当付板121の側面図であり、(C)は当付板121の正面図である。
当付板121の本体121Aの中央には開口121Bが設けられている。開口121Bの内寸法は、当付板121に取り付けられる表面検査装置10の寸法に応じて設計される。
【0073】
本実施の形態における表面検査装置10の当付面11Aは、開口121Bにはめ込まれた状態で検査対象の表面に押し当てが可能である。
本実施の形態の場合、当付板121の表面には筒状部品121Cが取り付けられており、筒状部品121Cの内壁面で規定される孔121Dに回転軸122が回転可能に取り付けられている。なお、本実施の形態における回転軸122は、筐体11の両側面(すなわちX-Y面)からY軸方向に突き出た円柱状の突起を想定している。
【0074】
本実施の形態の場合、エンコーダ123は、スキャン撮像中における回転軸122の回転量を検出し、検出された回転量に関する情報をプロセッサ101に通知する。回転量に関する情報は、回転角を表す情報でもよいし、パルス数でもよい。いずれにしても、プロセッサ101は、回転量に関する情報に基づいて検査対象の表面に対する筐体11の角度を検出し、フレーム画像として撮像された表面に形成されている欠陥の種類を判定する。
もちろん、本実施の形態の場合にも、プロセッサ101は、欠陥を含む表面の品質を表すスコアを算出してディスプレイ105に表示する。
【0075】
<実施の形態5>
図19は、実施の形態5で想定する表面検査装置10Cの概略構成を説明する図である。(A)は筐体11の内部構成を簡略的に示す図であり、(B)は検査対象の表面に押し当てられる当付面11Aの拡大図である。
図19には、
図2との対応部分に対応する符号を付して示している。
本実施の形態で想定する表面検査装置10Cは、2つの点で、表面検査装置10(
図2参照)と異なっている。
【0076】
相違点の1つ目は、当付面11Aが曲面ではなく平面であることである。
相違点の2つ目は、検査対象の表面を照明する照明光L1の入射角を可変可能であることである。
図19(A)の場合、光源12は、視野中心(すなわち開口11Bの中心)を回転中心とする回転移動が可能である。この光源12の回転移動は、例えばモーターにより実行してもよいし、筐体11の表面から外に突き出ているつまみを作業者が動かすことにより実行してもよい。なお、つまみは、光源12と一体である。
【0077】
また、光源12は、不図示のガイド溝に対して移動可能に取り付けられている。ガイド溝は、略円弧形状であり、例えば
図19(A)に示す矢印の位置に配置される。このため、光源12は、機械的に移動される場合も手動で移動される場合も、ガイド溝に沿って回転移動される。
本実施の形態の場合、検査対象の表面に入射する照明光L1の入射角が可変される一方で、反射光L2を取り込む結像レンズ13とカメラ14の視野中心に対する角度は一定である。
【0078】
図20は、スキャン撮像中の光学系の位置関係を説明する図である。(A)は光源12をスキャン撮像の基準軸に対してマイナス方向に傾けた姿勢を示し、(B)は光源12の傾きがスキャン撮像の基準軸に一致する姿勢を示し、(C)は光源12をスキャン撮像の基準軸に対してプラス方向に傾けた姿勢を示す。
ここでのスキャン撮像の基準軸とは、検査対象の表面に入射する照明光L1の入射角と検査対象の表面で反射された反射光L2の反射角とが一致する角度である。
図20(A)~(C)に示すように、スキャン撮像中におけるカメラ14の位置は不変である。
従って、光源12の回転移動により、カメラ14は、概略正反射条件を満たす複数の撮像条件に対応する複数枚のフレーム画像を撮像することが可能である。
【0079】
<実施の形態6>
図21は、実施の形態6で想定する表面検査装置10Dの概略構成を説明する図である。(A)は筐体11の内部構成を簡略的に示す図であり、(B)は検査対象の表面に押し当てられる当付面11Aの拡大図である。
図21には、
図2との対応部分に対応する符号を付して示している。
本実施の形態で想定する表面検査装置10Dでは、回転移動の対象が実施の形態5と逆である。すなわち、表面検査装置10Dでは、検査対象の表面を照明する照明光L1の入射角が不変であるのに対し、結像レンズ13とカメラ14が視野中心(すなわち開口11Bの中心)を回転中心として一体的に回転移動される。
【0080】
ここでの結像レンズ13とカメラ14の回転移動は、例えばモーターにより実行してもよいし、筐体11の表面から外に突き出ているつまみを作業者が動かすことにより実行してもよい。なお、つまみは、結像レンズ13とカメラ14が一体化された撮像ユニットと一体である。
撮像ユニットは、不図示のガイド溝に対して移動可能に取り付けられている。ガイド溝は、概略円弧状であり、例えば
図21(A)に示す矢印の位置に配置される。このため、撮像ユニットは、機械的に移動される場合も手動で移動される場合も、ガイド溝に沿って回転移動される。
本実施の形態の場合、検査対象の表面に入射する照明光L1の入射角が一体である一方で、反射光L2を取り込む撮像ユニットの視野中心に対する角度が可変される。
【0081】
図22は、スキャン撮像中の光学系の位置関係を説明する図である。(A)は撮像ユニットをスキャン撮像の基準軸に対してマイナス方向に傾けた姿勢を示し、(B)は撮像ユニットの傾きがスキャン撮像の基準軸に一致する姿勢を示し、(C)は撮像ユニットをスキャン撮像の基準軸に対してプラス方向に傾けた姿勢を示す。
ここでのスキャン撮像の基準軸とは、検査対象の表面に入射する照明光L1の入射角と検査対象の表面で反射された反射光L2の反射角とが一致する角度である。
【0082】
図22(A)~(C)に示すように、スキャン撮像中における光源12の位置は不変である。
従って、撮像ユニットの回転移動により、カメラ14は、概略正反射条件を満たす複数の撮像条件に対応する複数枚のフレーム画像を撮像することが可能である。
【0083】
<実施の形態7>
図23は、実施の形態7で想定する表面検査装置10Eの概略構成を説明する図である。(A)は筐体11の内部構成を簡略的に示す図であり、(B)は反射ミラー131付近の拡大図である。
図23には、
図2との対応部分に対応する符号を付して示している。
本実施の形態で想定する表面検査装置10Eは、幾つかの点で、表面検査装置10(
図2参照)と異なっている。
相違点の1つ目は、当付面11Aが曲面ではなく平面であることである。
相違点の2つ目は、光源12から出力された照明光を当付面11Aの方向に反射する反射ミラー131が設けられる点である。
相違点の3つ目は、反射ミラー131による反射を前提とした位置に光源12が配置される点である。
なお、平面形状の当付面11Aは、実施の形態5で想定する表面検査装置10Cと同じである。
【0084】
反射ミラー131の一端は、筐体11の内壁面にヒンジ131Aに取り付けられており、ヒンジ131Aを回転中心とした回転移動が可能である。なお、回転中心の位置は、反射ミラー131の回転により検査対象の表面に対する照明光L1の入射角が変化しても、照明光L1が照明する位置の変化が可能な限り小さくなるように決定する。
反射ミラー131の他端には、つまみ132が取り付けられている。つまみ132は、筐体11に設けられている開口を通じて筐体11の外に突き出ている。なお、反射ミラー131のうち照明光を反射しない裏面には、バネ134が取り付けられている。
【0085】
本実施の形態の場合、バネ134として圧縮バネを使用する。
バネ134の他端は筐体11の内壁面に取り付けられている。
図23の場合、バネ134は、つまみ132の近くに配置されている。
バネ134は、作業者がつまみ132を操作することで圧縮変形し、作業者がつまみ132から手を離すと伸長する。このバネ134の伸長により、つまみ132は、スイッチ133に押し付けるように作用する。
【0086】
図23(B)の場合、作業者はつまみ132に触れていないので、つまみ132はスイッチ133に押し付けられている。
本実施の形態の場合、スイッチ133がつまみ132の接触を検知している間、スキャン撮像は実行されない。
一方、スイッチ133がつまみ132の接触を検知しなくなると、スキャン撮像が開始される。すなわち、本実施の形態におけるスイッチ133は、スキャンボタン106Bと同様に機能する。
【0087】
図24は、実施の形態7で想定する表面検査装置10Eによるスキャン撮像を説明する図である。
図24には、
図23との対応部分に対応する符号を付して示している。
図24の場合、表面検査装置10Eの当付面11Aが検査対象の表面に押し当てられている。
図24では、つまみ132の操作の前後に対応する照明光L1の2つの経路を表している。
図24では、矢印により、つまみ132の操作の方向を表している。
【0088】
図25は、スキャン撮像中の光学系の等価的な位置関係を説明する図である。(A)はスキャン撮像を開始した直後の光源12とカメラ14の等価的な位置関係を示し、(B)はスキャン撮像の開始後の光源12とカメラ14の等価的な位置関係を示し、(C)はスキャン撮像が終了した時点における光源12とカメラ14の等価的な位置関係を示す。
本実施の形態の場合、光源12とカメラ14の取り付け位置は固定であるが、概略正反射条件を満たす撮像条件が異なる複数枚のフレーム画像を撮像することが可能である。
【0089】
<実施の形態8>
図26は、実施の形態8で想定する表面検査装置10Fの概略構成を説明する図である。
図26には、
図23との対応部分に対応する符号を付して示している。
本実施の形態で想定する表面検査装置10Fの場合、検査対象の表面で反射された反射光L2を反射ミラー131で反射することにより、概略正反射条件を満たしながらも撮像条件が異なる複数枚のフレーム画像を撮像する点で実施の形態7と相違する。その他の構成は、実施の形態7と同様である。
【0090】
図27は、スキャン撮像中の光学系の等価的な位置関係を説明する図である。(A)はスキャン撮像を開始した直後の光源12とカメラ14の等価的な位置関係を示し、(B)はスキャン撮像の開始後の光源12とカメラ14の等価的な位置関係を示し、(C)はスキャン撮像が終了した時点における光源12とカメラ14の等価的な位置関係を示す。
本実施の形態の場合、光源12とカメラ14の取り付け位置は固定であるが、概略正反射条件を満たす複数枚のフレーム画像を撮像することが可能である。
【0091】
<実施の形態9>
図28は、実施の形態9で想定する表面検査システム10Gの概略構成を説明する図である。
図28には、
図2との対応部分に対応する符号を付して示している。
図28に示す表面検査システム10Gは、表面検査装置10と、情報処理装置200と、通信路300とで構成されている。
情報処理装置200は、例えばスマートフォン、ノート型のコンピュータ、タブレット型のコンピュータ、デスクトップ型のコンピュータ、サーバ型のコンピュータである。なお、情報処理装置200は、ウェアラブルコンピュータでもよい。ウェアラブルコンピュータには、例えばスマートグラスやAR(=Augmented Reality)グラス、ヘッドセットがある。
【0092】
図28に示す情報処理装置200は、プロセッサ201と、ROM202と、RAM203と、補助記憶装置204と、ディスプレイ205を有している。なお、サーバ型のコンピュータの場合、ディスプレイ205を除いた構成、又は、ディスプレイ205を外付けした構成が採用される。
通信路300は、例えばUSBケーブル、LANケーブル、LAN、インターネット、移動通信システムでもよい。なお、通信路300は、有線路でもよいし、無線路でもよい。
【0093】
図28に示す表面検査システム10Gでは、表面検査装置10側のプロセッサ101(
図3参照)と情報処理装置200側のプロセッサ201とが連携して実施の形態1その他で説明したスキャン撮像や輝度分布の変動量のピーク値を検出する処理を実行してもよいし、情報処理装置200側のプロセッサ201が単独で実施の形態1その他で説明したスキャン撮像や輝度分布の変動量のピーク値を検出する処理を実行してもよい。
本実施の形態で想定する表面検査システム10Gの場合にも、実施の形態1その他の実施の形態と同様、官能評価と相関の高いスコアを算出することが可能になる。
【0094】
<他の実施の形態>
(1)以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0095】
(2)前述の実施の形態においては、カメラ14(
図2参照)としてカラーカメラを用いたが、モノクロカメラを用いてもよい。また、カラーカメラのうち緑(G)成分だけを使用して、検査対象の表面を検査してもよい。
【0096】
(3)前述の実施の形態においては、光源12(
図2参照)として白色光源を使用したが、照明光の色は任意でよい。照明光は、可視光に限らず、赤外光や紫外光等でもよい。
【0097】
(4)前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ(例えばCPU等)の他、専用的なプロセッサ(例えばGPU(=Graphical Processing Unit)、ASIC(=Application Specific Integrated Circuit)、FPGA(=Field Programmable Gate Array)、プログラム論理デバイス等)を含む。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。
【0098】
<付記>
(((1)))
検査の対象とする物体の表面を照明する光源と、前記光源により照明された前記表面を撮像する撮像デバイスと、概略正反射条件を満たす範囲で、前記表面に対する照明光又は反射光の角度を可変しながら撮像された複数の画像を処理する1又は複数のプロセッサと、を有し、前記1又は複数のプロセッサは、前記画像毎に輝度分布の変動量を算出し、前記複数の画像を対象として前記輝度分布の変動量のピーク値を検出し、検出された前記ピーク値を用いて前記表面の品質を表す数値を算出する、表面検査システム。
(((2)))
前記光源と前記撮像デバイスを収容する筐体のうち前記表面に押し当てられる部分が曲面であり、当該曲面の曲率は、前記複数の画像を撮像する際に前記概略正反射条件が満たされるように定める、(((1)))に記載の表面検査システム。
(((3)))
前記画像を撮像する際における前記表面に対する前記筐体の角度を測定するセンサを更に有する、(((2)))に記載の表面検査システム。
(((4)))
前記光源は、平行光源であり、前記撮像デバイスは、平行光を結像する光学系を通じて前記表面を撮像する、(((1)))~(((3)))のいずれか1つに記載の表面検査システム。
(((5)))
前記画像の撮像範囲を規定する窓の中心位置を中心に、筐体内の前記光源を回転可能に案内する溝を有する、(((4)))に記載の表面検査システム。
(((6)))
前記画像の撮像範囲を規定する窓の中心位置を中心に、筐体内の前記撮像デバイスを回転可能に案内する溝を有する、(((4)))に記載の表面検査システム。
(((7)))
前記表面に入射する照明光の入射角度を可変する反射鏡を有する、(((4)))に記載の表面検査システム。
(((8)))
前記表面で反射した反射光の前記撮像デバイスに対する入射角を可変する反射鏡を有する、(((4)))に記載の表面検査システム。
(((9)))
前記1又は複数のプロセッサは、前記角度の可変方向について、前記輝度分布の変動量を算出する、(((1)))~(((8)))のいずれか1つに記載の表面検査システム。
(((10)))
前記1又は複数のプロセッサは、前記画像の高周波成分を除去した後の前記輝度分布を対象に前記変動量を算出する、(((9)))に記載の表面検査システム。
(((11)))
前記1又は複数のプロセッサは、前記表面に対する照明光又は反射光の前記角度が可変する期間をセンサの出力信号より検知して、前記複数の画像を対象とする処理を実行する、(((1)))~(((10)))のいずれか1つに記載の表面検査システム。
(((12)))
前記1又は複数のプロセッサは、画面上の第1の表示欄に、新たに撮像された前記画像をリアルタイムで表示し、当該画面上の第2の表示欄に、前記複数の画像のうち前記ピーク値との関連が高い画像を表示する、(((1)))~(((11)))のいずれか1つに記載の表面検査システム。
(((13)))
検査の対象とする物体の表面に対する照明光又は反射光の角度を、概略正反射条件を満たす範囲で可変しながら撮像された複数の画像を処理する1又は複数のコンピュータに、前記画像毎に輝度分布の変動量を算出する機能と、前記複数の画像を対象として前記輝度分布の変動量のピーク値を検出する機能と、検出された前記ピーク値を用いて前記表面の品質を表す数値を算出する機能と、を実現させるためのプログラム。
【0099】
(((1)))に係る表面検査システムによれば、1つの角度条件だけで検査の対象とする物体を検査する場合に比して、官能評価との相関を高めることができる。
(((2)))に係る表面検査システムによれば、物体の表面に曲面を押し当てたまま筐体を表面に沿って回転させても概略正反射条件を満たす複数の画像を取得できる。
(((3)))に係る表面検査システムによれば、ピーク値と対応する角度の関係から欠陥の種類を識別できる。
(((4)))に係る表面検査システムによれば、検査結果と官能評価との相関を高めることができる。
(((5)))に係る表面検査システムによれば、概略正反射条件を満たす複数の画像を取得できる。
(((6)))に係る表面検査システムによれば、概略正反射条件を満たす複数の画像を取得できる。
(((7)))に係る表面検査システムによれば、概略正反射条件を満たす複数の画像を取得できる。
(((8)))に係る表面検査システムによれば、概略正反射条件を満たす複数の画像を取得できる。
(((9)))に係る表面検査システムによれば、複数の角度による変動量の変化を検出可能にできる。
(((10)))に係る表面検査システムによれば、官能評価との相関を高めることができる。
(((11)))に係る表面検査システムによれば、作業者は検査に注力できる。
(((12)))に係る表面検査システムによれば、品質を表す数値の根拠を画面上で確認できる。
(((13)))に係るプログラムによれば、1つの角度条件だけで検査の対象とする物体を検査する場合に比して、官能評価との相関を高めることができる。
【符号の説明】
【0100】
10、10A、10C、10D、10E、10F…表面検査装置、10B、10G…表面検査システム、11…筐体、11A…当付面、11B、121B…開口、12…光源、13…結像レンズ、14…カメラ、101、201…プロセッサ、102、202…ROM、103、203…RAM、104、204…補助記憶装置、105、205…ディスプレイ、105A…リアルタイム画像欄、105B…ピーク画像欄、105C…分布図、105D…スコア欄、105E…ポップアップウインドウ、106…操作受付装置、106A…電源ボタン、106B…スキャンボタン、108…信号線、121…当付板、121A…本体、121C…筒状部品、121D…孔、122…回転軸、123…エンコーダ、131…反射ミラー、131A…ヒンジ、132…つまみ、133…スイッチ、134…バネ、200…情報処理装置、300…通信路