(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187661
(43)【公開日】2022-12-20
(54)【発明の名称】表面検査装置及びプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20221213BHJP
【FI】
G01N21/88 J
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021095766
(22)【出願日】2021-06-08
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】平松 崇
(72)【発明者】
【氏名】田崎 海渡
(72)【発明者】
【氏名】相川 清史
(72)【発明者】
【氏名】宇野 美穂
(72)【発明者】
【氏名】市川 裕一
(72)【発明者】
【氏名】大貫 宏子
(72)【発明者】
【氏名】桑田 良隆
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA90
2G051AB07
2G051AC04
2G051BA08
2G051CA03
2G051CA04
2G051CB01
2G051ED21
2G051FA02
(57)【要約】
【課題】表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にする。
【解決手段】表面検査装置は、検査の対象とする物体の表面を撮像する撮像デバイスと、撮像デバイスにより撮像された画像を処理して表面の品質を表す数値を算出するプロセッサと、を有し、プロセッサは、数値の算出に寄与した部分の位置を特定する指標を含む画像と、数値とを、表示デバイス上に表示させる。
【選択図】
図8
【特許請求の範囲】
【請求項1】
検査の対象とする物体の表面を撮像する撮像デバイスと、
前記撮像デバイスにより撮像された画像を処理して前記表面の品質を表す数値を算出するプロセッサと、を有し、
前記プロセッサは、前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値を、表示デバイス上に表示させる、
表面検査装置。
【請求項2】
前記位置を特定する指標は、前記部分とその他の部分との境界を与える、
請求項1に記載の表面検査装置。
【請求項3】
前記位置を特定する指標は、前記部分の周囲を囲む枠線である、
請求項2に記載の表面検査装置。
【請求項4】
前記プロセッサは、前記数値の候補が複数存在する場合、最も大きい数値に対応する前記部分の位置を特定する前記指標を表示させる、
請求項1に記載の表面検査装置。
【請求項5】
前記プロセッサは、前記数値の候補が複数存在する場合、各候補に対応する前記部分の位置を特定する前記指標を表示させる、
請求項1に記載の表面検査装置。
【請求項6】
前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさの順番と当該指標の表示の形式とを対応付ける、
請求項5に記載の表面検査装置。
【請求項7】
前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさ順に、前記数値と当該指標の表示を切り替える、
請求項5に記載の表面検査装置。
【請求項8】
前記プロセッサは、前記数値を、対応する前記指標と並べて表示する、
請求項1~7のいずれか1項に記載の表面検査装置。
【請求項9】
前記プロセッサは、前記画像に対する領域の指定を受け付けた場合、当該領域について算出された前記数値を、対応する当該領域と並べて表示する、
請求項1~8のいずれか1項に記載の表面検査装置。
【請求項10】
前記プロセッサは、前記部分に対応する前記画像内における輝度差が予め定めた閾値より大きい場合、ユーザに報知する、
請求項1~9のいずれか1項に記載の表面検査装置。
【請求項11】
前記プロセッサは、検査が開始すると、前記数値と前記指標を前記画像上に表示する、
請求項1~9のいずれか1項に記載の表面検査装置。
【請求項12】
前記プロセッサは、検査の開始を指示する操作を受け付けると、前記数値と前記指標を前記画像上に表示する、
請求項1~9のいずれか1項に記載の表面検査装置。
【請求項13】
装置本体の携帯が可能であることを特徴とする、請求項1~12のいずれか1項に記載の表面検査装置。
【請求項14】
検査の対象とする物体の表面を撮像デバイスで撮像した画像を処理するコンピュータに、
前記表面の品質を表す数値を算出する機能と、
前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値とを、表示デバイス上に表示させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表面検査装置及びプログラムに関する。
【背景技術】
【0002】
今日、様々な製品において、合成樹脂を成形した部品(以下「成形品」という)が用いられている。一方で、成形品の表面には、視覚的に観察が可能な不良が現れることがある。この種の不良には、意図せず形成される凹みである「ヒケ」、溶融した樹脂が合流する部分に形成される「ウェルド」等がある。また、表面に意図的に凹凸を形成するシボ加工の場合にも、想定する質感との違いが現れることがある。質感は、色、光沢、凹凸の複合的な要因により変化する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
物体の表面の品質を検査する装置には、検査した部分の品質を1つの数値で表示するものがある。定量化された数値は、官能検査の場合とは異なり、客観性が高い。一方で、数値が表示されるだけでは、数値の算出に寄与した主要な部分が分からない。このため、作業者は、自身が着目する部分が数値の算出に用いられているか、自身が想定していない部分が数値の算出に用いられているかを確認することができない。
【0005】
本発明は、表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、検査の対象とする物体の表面を撮像する撮像デバイスと、前記撮像デバイスにより撮像された画像を処理して前記表面の品質を表す数値を算出するプロセッサと、を有し、前記プロセッサは、前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値を、表示デバイス上に表示させる、表面検査装置である。
請求項2に記載の発明は、前記位置を特定する指標は、前記部分とその他の部分との境界を与える、請求項1に記載の表面検査装置である。
請求項3に記載の発明は、前記位置を特定する指標は、前記部分の周囲を囲む枠線である、請求項2に記載の表面検査装置である。
請求項4に記載の発明は、前記プロセッサは、前記数値の候補が複数存在する場合、最も大きい数値に対応する前記部分の位置を特定する前記指標を表示させる、請求項1に記載の表面検査装置である。
請求項5に記載の発明は、前記プロセッサは、前記数値の候補が複数存在する場合、各候補に対応する前記部分の位置を特定する前記指標を表示させる、請求項1に記載の表面検査装置である。
請求項6に記載の発明は、前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさの順番と当該指標の表示の形式とを対応付ける、請求項5に記載の表面検査装置である。
請求項7に記載の発明は、前記プロセッサは、前記指標を複数表示する場合、対応する前記数値の大きさ順に、前記数値と当該指標の表示を切り替える、請求項5に記載の表面検査装置である。
請求項8に記載の発明は、前記プロセッサは、前記数値を、対応する前記指標と並べて表示する、請求項1~7のいずれか1項に記載の表面検査装置である。
請求項9に記載の発明は、前記プロセッサは、前記画像に対する領域の指定を受け付けた場合、当該領域について算出された前記数値を、対応する当該領域と並べて表示する、請求項1~8のいずれか1項に記載の表面検査装置である。
請求項10に記載の発明は、前記プロセッサは、前記部分に対応する前記画像内における輝度差が予め定めた閾値より大きい場合、ユーザに報知する、請求項1~9のいずれか1項に記載の表面検査装置である。
請求項11に記載の発明は、前記プロセッサは、検査が開始すると、前記数値と前記指標を前記画像上に表示する、請求項1~9のいずれか1項に記載の表面検査装置である。
請求項12に記載の発明は、前記プロセッサは、検査の開始を指示する操作を受け付けると、前記数値と前記指標を前記画像上に表示する、請求項1~9のいずれか1項に記載の表面検査装置である。
請求項13に記載の発明は、装置本体の携帯が可能であることを特徴とする、請求項1~12のいずれか1項に記載の表面検査装置である。
請求項14に記載の発明は、検査の対象とする物体の表面を撮像デバイスで撮像した画像を処理するコンピュータに、前記表面の品質を表す数値を算出する機能と、前記数値の算出に寄与した部分の位置を特定する指標を含む前記画像と、当該数値とを、表示デバイス上に表示させる機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項1記載の発明によれば、表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にできる。
請求項2記載の発明によれば、数値の算出に寄与した部分を容易に確認できる。
請求項3記載の発明によれば、数値の算出に寄与した部分の画像の内容と位置を同時に確認できる。
請求項4記載の発明によれば、表面の品質を表す数値の候補が複数存在する場合でも、画面上に表示された数値に対応する部分の位置を確認できる。
請求項5記載の発明によれば、表面の品質を表す数値の候補が複数存在する場合には、品質に関連する部分の位置を確認できる。
請求項6記載の発明によれば、表面の品質を表す数値の大きさの関係と対応する部分の位置を確認できる。
請求項7記載の発明によれば、表面の品質を表す数値と対応する部分の位置を確認できる。
請求項8記載の発明によれば、表面の品質を表す数値と対応する部分の関係を容易に確認できる。
請求項9記載の発明によれば、ユーザが注目する領域についても品質を表す数値を画面上で確認できる。
請求項10記載の発明によれば、算出された数値と算出に寄与した部分の位置の確認をユーザに求めることができる。
請求項11記載の発明によれば、検査の際の操作性を向上できる。
請求項12記載の発明によれば、検査の際の操作性を向上できる。
請求項13記載の発明によれば、検査の対象とする物体の表面と表面検査装置が撮像する範囲が不定でも、表面の品質の検査の精度を高めることができる。
請求項14記載の発明によれば、表面の品質を表す数値と算出に寄与した部分との関係が不明な場合とは異なり、表面の品質を表す数値の算出に寄与した部分が作業者の着目する部分と一致するかの確認を可能にできる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1で想定する表面検査装置の使用例を説明する図である。
【
図2】検査対象の表面に現れる欠陥の例を説明する図である。(A)はヒケの例を示し、(B)はウェルドの例を示す。
【
図3】実施の形態1で使用する表面検査装置のハードウェア構成の一例を説明する図である。
【
図4】実施の形態1における表面検査装置の光学系の構造例を説明する図である。(A)は表面検査装置の筐体の内部構造を概略的に示し、(B)は検査の際に検査対象の表面に押し当てられる開口部の構造を示す。
【
図5】実施の形態1で使用する表面検査装置による検査動作の一例を説明するフローチャートである。
【
図6】ディスプレイに表示される操作画面の一例を説明する図である。
【
図7】スコアの算出の原理を説明する図である。(A)は検査の対象として取得された画像例を示し、(B)はY軸方向に形成された凹みのx方向の断面例を示し、(C)は画像の輝度プロファイルを示す。
【
図8】スコアの主要因箇所が表示された操作画面の一例を説明する図である。
【
図9】スコアの主要因箇所が表示された操作画面の他の例を説明する図である。
【
図10】カメラにより撮像された画像内に複数の筋状のパターンが含まれる場合における枠線の表示例を説明する図である。
【
図11】カメラにより撮像された画像内に複数の筋状のパターンが含まれる場合における枠線の他の表示例を説明する図である。
【
図12】カメラにより撮像された画像内に複数の筋状のパターンが含まれる場合における枠線の他の表示例を説明する図である。
【
図13】複数の筋状のパターンが含まれる場合における枠線の他の表示例を説明する図である。(A)は最大値のスコアの主要因箇所を示す枠線を表示する画面であり、(B)は2番目に大きいスコアの主要因箇所を示す枠線を表示する画面である。
【
図14】表面の品質を表すスコアの表示例を説明する図である。
【
図15】表面の品質を表すスコアの他の表示例を説明する図である。
【
図16】作業者が指定した部分領域のスコアを追加的に表示する例を説明する図である。(A)は作業者による部分領域の指定を説明する図であり、(B)は指定後の操作画面の表示例を示す。
【
図17】スコアの算出に使用された主要因箇所を表す指標の他の例を説明する図である。(A)は対象とする部分領域の外縁の目安となる位置に記号を表示する場合を示し、(B)は対象とする部分領域を矢印で表す場合を示す。
【
図18】スコアの算出に寄与した部分領域を示す枠線の他の表示例を示す図である。
【
図19】実施の形態2で使用する表面検査装置による検査動作の一例を説明するフローチャートである。
【
図20】実施の形態3で想定する表面検査装置の使用例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
<表面検査装置の使用例>
図1は、実施の形態1で想定する表面検査装置1の使用例を説明する図である。
実施の形態1で使用する表面検査装置1の撮像部は、いわゆるエリアカメラであり、撮像する範囲(以下「撮像範囲」という)が面で規定される。不図示の照明は、撮像範囲全体に対して、正反射条件となる成分を含むように構成する。
【0010】
図1の場合、撮像範囲は、検査の対象とする物体(以下「検査対象」ともいう)10の全体を含んでいる。もっとも、撮像範囲は、検査対象10のうち注目する一部分のみを含んでもよい。本実施の形態における検査対象10には、成形品を想定する。
エリアカメラによる検査の場合、表面検査装置1と検査対象10による検査は、静止した状態で実行される。換言すると、表面検査装置1と検査対象10が相対的に移動しない状態で、検査対象10の表面の検査が実行される。
【0011】
図1の場合、検査対象10は板状であるが、検査対象10の形状は任意である。例えば検査対象10は、例えば多面体の他、球体や円柱等の曲面を有する形状でもよい。
実際の検査対象10には、穴、切り欠き、突起、段差等が存在することがある。
また、検査対象10の表面の仕上げの種類には、無処理、鏡面仕上げ、準鏡面仕上げ、シボ加工等がある。
【0012】
表面検査装置1は、検査対象10の表面の欠陥や質感を検査する。
欠陥には、例えばヒケ、ウェルドがある。ヒケは、肉厚部分やリブ部に発生する表面の凹みであり、ウェルドは、溶融した樹脂の先端が金型内で合流する部分に発生する筋をいう。なお、欠陥には、物がぶつかることで生じる傷や打痕も含まれる。
質感は、視覚や触覚の印象であり、物体の表面の色、光沢、凹凸が影響する。表面の凹凸には、金型を切削する際に生じた筋も含まれる。この種の筋は、欠陥とは異なる。
【0013】
図2は、検査対象10の表面に現れる欠陥の例を説明する図である。(A)はヒケの例を示し、(B)はウェルドの例を示す。
図2(A)及び
図2(B)では、欠陥の箇所を破線で囲んで示している。
図2(A)には4つのヒケがある。
本実施の形態における表面検査装置1は、欠陥と質感の検査に限らず、表面の汚れの検査にも使用される。
【0014】
表面検査装置1は、検査対象10の表面の欠陥を強調した画像を生成すると共に、質感を評価した結果を定量化して出力する。
ここでの欠陥は、本来は平坦であるべきに部分に出現している凹凸や筋、すなわちヒケやウェルドである。質感は、数値(以下「スコア」ともいう)により評価される。スコアは、検査対象10の表面の品質を表す数値の一例である。
【0015】
スコアの算出には、例えば多変量解析を使用する。多変量解析では、例えば輝度分布に現れる特徴が解析される。特徴の例には、例えばヒケの方向に沿って延びる筋状のパターンがある。
この他、スコアの算出には、人工知能を用いる方法もある。例えば欠陥を撮像した画像とスコアの関係を深層機械学習等した学習モデルにカメラで撮像された画像を与えることで、検査範囲内の部分領域のスコアが算出される。
【0016】
図1に示す検査対象10は、X軸とY軸で規定される面に対して平行に設置されている。この場合、検査対象10の表面の法線はZ軸と平行になる。
一方、表面検査装置1は、検査対象10の鉛直上方に配置される。換言すると、表面検査装置1が検査対象10の撮像に使用する光学系の光軸は、検査対象10の表面の法線に対して概略平行に設定される。以下、この光軸について要求される条件を「撮像条件」ともいう。
【0017】
このとき、表面検査装置1は、撮像条件を満たす位置に設置される。表面検査装置1の設置は、特定の部材への固定により行ってもよいし、特定の部材に対して取り外し可能に行われてもよい。
もっとも、表面検査装置1は、携帯型の装置でもよい。携帯が可能である場合、作業者は、例えば手に表面検査装置1を持ち、受光面を検査対象10に向けることで、任意の表面を検査する。
図1では、表面検査装置1と検査対象10の位置関係の説明を目的とするため、表面検査装置1の外観を簡略化して略直方体として表している。
【0018】
<表面検査装置の構成>
図3は、実施の形態1で使用する表面検査装置1のハードウェア構成の一例を説明する図である。
図3に示す表面検査装置1は、装置全体の動作を制御するプロセッサ101と、BIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)102と、プロセッサ101のワークエリアとして用いられるRAM(=Random Access Memory)103と、プログラムや画像データを記憶する補助記憶装置104と、検査対象10の表面を撮像した画像や操作に関する情報が表示されるディスプレイ105と、作業者の操作を受け付ける操作受付装置106と、検査対象10の表面を撮像するカメラ107と、検査対象10の表面を照明する光源108と、外部との通信に用いられる通信IF(=InterFace)109と、を有している。なお、プロセッサ101と各部は、バス等の信号線110を通じて接続されている。
【0019】
プロセッサ101と、ROM102と、RAM103は、いわゆるコンピュータとして機能する。
プロセッサ101は、プログラムの実行を通じて各種の機能を実現する。例えばプロセッサ101は、プログラムの実行を通じ、撮像された検査対象10の表面の質感を評価したスコアの算出等を実行する。
検査対象10の表面を撮像した画像データは、補助記憶装置104に記憶される。補助記憶装置104には、例えば半導体メモリ、ハードディスク装置を使用する。補助記憶装置104には、ファームウェアやアプリケーションプログラムも記憶される。以下では、ファームウェアやアプリケーションプログラムを総称して「プログラム」という。
なお、本実施の形態及び後述する他の実施の形態等で説明する機能を実現するプログラムは、通信手段により提供することはもちろん、CDROM等の記録媒体に格納して提供することも可能である。
【0020】
ディスプレイ105は、例えば液晶ディスプレイや有機ELディスプレイであり、検査対象10の全体や検査対象10の特定の部位の画像等を表示する。ディスプレイ105は、検査対象10に対する撮像範囲の位置決めにも使用される。
本実施の形態の場合、ディスプレイ105は、装置本体に一体的に設けられているが、通信IF109を通じて接続される外部の装置でもよいし、通信IF109を通じて接続される他の装置の一部でもよい。例えばディスプレイ105は、通信IF109を通じて接続された他のコンピュータのディスプレイでもよい。
【0021】
操作受付装置106は、ディスプレイ105に配置されるタッチセンサや筐体に配置される物理的なスイッチ、ボタン等で構成される。
本実施の形態の場合、物理的なボタンの一例として電源ボタンや撮像ボタンが設けられている。電源ボタンが操作されると、例えば光源108が点灯し、カメラ107による撮像が開始される。また、撮像ボタンが操作されると、操作時にカメラ107が撮像していた特定の画像が、検査用の画像として取得される。
【0022】
ディスプレイ105と操作受付装置106を一体化したデバイスは、タッチパネルと呼ばれる。タッチパネルは、ソフトウェア的に表示されたキー(以下「ソフトキー」とも呼ぶ)に対するユーザの操作の受け付けに使用される。
【0023】
本実施の形態の場合、カメラ107には、カラーカメラを使用する。カメラ107の撮像素子には、例えばCCD(=Charge Coupled Device)イメージングセンサ素子やCMOS(=Complementary Metal Oxide Semiconductor)イメージング素子を使用する。
カメラ107としてカラーカメラを使用するので、検査対象10の表面の輝度だけでなく色調の観察も原理的には可能である。カメラ107は、撮像デバイスの一例である。
【0024】
本実施の形態の場合、光源108には白色光源を使用する。白色光源は、可視光帯域の光が均等に混在された光を発生する。
本実施の形態の場合、光源108には平行光源を使用する。また、カメラ107の光軸上にテレセントリックレンズを配置する。
【0025】
本実施の形態における光源108は、検査対象10の表面で鏡面反射された光成分が主にカメラ107に入射する角度に配置される。
通信IF109は、有線や無線による通信規格に準拠したモジュールで構成される。通信IF109には、例えばイーサネット(登録商標)モジュール、USB(=Universal Serial Bus)、無線LANその他を使用する。
【0026】
<光学系の構造>
図4は、実施の形態1における表面検査装置1の光学系の構造例を説明する図である。(A)は表面検査装置1の筐体100の内部構造を概略的に示し、(B)は検査の際に検査対象10の表面に押し当てられる開口部111の構造を示す。
開口部111には、検査対象10の表面を照明する照明光と検査対象10の表面で反射した反射光が入出力される開口111Aと、その外縁を取り囲む鍔部111Bとが設けられている。
【0027】
図4の場合、開口111Aと鍔部111Bは、いずれも円形状である。もっとも、開口111Aと鍔部111Bは、他の形状でもよい。例えば矩形でもよい。
なお、開口111Aと鍔部111Bは相似形状である必要はなく、開口111Aは円形状で、鍔部111Bは矩形でもよい。
【0028】
鍔部111Bは、検査対象10の表面に対する表面検査装置1の撮像方向の位置決めに使用される。換言すると、鍔部111Bは、検査の対象である表面に対するカメラ107と光源108の位置決めに用いられる。鍔部111Bには、開口111Aへの外光又は環境光の入射を防止する又は低減する役割もある。
【0029】
図4(A)に示す筐体100は、概略筒状の2つの部材を結合した構造を有し、一方の部材側に光源108が取り付けられ、他方の部材側にカメラ107やプロセッサ101が取り付けられている。
また、カメラ107が取り付けられている側の筐体100の側面には、ディスプレイ105と操作受付装置106が取り付けられている。
【0030】
カメラ107の視野内のMTF(=Modulation Transfer Function)は概ね均一である。このため、視野内の位置の違いによるコントラストのばらつきは小さく、検査対象10の表面の忠実な撮像が可能である。
【0031】
図4(A)の場合、平板状の検査対象10のうち検査対象10の表面の法線をN0で示す。また、
図4(A)では、光源108から出力される照明光の光軸をL1で示し、検査対象10の表面で鏡面反射された反射光の光軸をL2で示す。ここでの光軸L2は、カメラ107の光軸と一致する。
【0032】
なお、現実の検査対象10の表面は、構造上又はデザイン上の凹凸、曲面、段差、つなぎ目、成形の過程等で形成された微細な凹凸等を有している。
従って、検査対象10の法線N0として、検査対象10のうち注目する領域ARの法線N0の平均値や注目する特定の位置Pの法線N0を使用してもよい。
【0033】
また、検査対象10の法線N0として、検査対象10の平均的な仮想の表面や代表的な部分の法線N0を使用してもよい。
図4の場合、光源108から出力される照明光の光軸L1とカメラ107の光軸L2は、いずれも法線N0に対して角度θで取り付けられる。角度θには、例えば概略30°や概略45°を使用する。
【0034】
<検査動作>
図5は、実施の形態1で使用する表面検査装置1による検査動作の一例を説明するフローチャートである。図中に示す記号のSは、ステップを意味する。
図5に示す処理は、プロセッサ101(
図4参照)によるプログラムの実行を通じて実現される。
本実施の形態における表面検査装置1は、電源ボタンの操作により光源108(
図4参照)が点灯し、カメラ107(
図4参照)による撮像が開始される。撮像された画像はディスプレイ105(
図4参照)に表示される。
【0035】
図6は、ディスプレイ105に表示される操作画面120の一例を説明する図である。
図6に示す操作画面120には、カメラ107で撮像された画像の表示欄(以下「撮像画像欄」という)121と、スコア欄122と、スコアの算出に寄与した部分領域の特徴を強調した画像の表示欄(以下「強調画像欄」という)123と、凡例124が配置されている。
撮像画像欄121には、輝度値の分布、すなわちグレースケール画像が表示される。
図6の場合、スコアの計算に使用する検査範囲の外縁を与える線121Aが表示されている。
【0036】
図6の例では4本の線121Aで囲まれた範囲が検査範囲である。検査範囲内の画像について、表面の品質を表すスコアが算出される。
なお、撮像画像欄121の右隣には、凡例124が示されている。
図6の場合、撮像画像欄121の濃淡は、階調値の「192」から「255」に対応する。
図6に示す操作画面120の場合、スコアの算出前であるので、スコア欄122は空白であり、強調画像欄123にも画像が表示されていない。
【0037】
図5の説明に戻る。
本実施の形態では、ディスプレイ105に表示されている画像を確認している作業者が撮像ボタンを操作すると、表面の品質の評価に使用する画像が確定される。
そこで、電源ボタンの操作により検査動作を開始したプロセッサ101は、撮像ボタンの操作を受け付けたか否かを判定する(ステップ1)。操作ボタンの操作は、検査の開始を指示する操作の一例である。
ステップ1で否定結果が得られている間、プロセッサ101は、ステップ1の判定を繰り返す。
【0038】
ステップ1で肯定結果が得られると、プロセッサ101は、検査に使用する画像を取得する(ステップ2)。具体的には、撮像ボタンが操作された時点にディスプレイ105に表示されていた画像が取得される。
本実施の形態の場合、撮像ボタンが操作されると、カメラ107による撮像が継続していても、撮像画像欄121(
図6参照)に表示される画像の更新は停止される。
次に、プロセッサ101は、検査範囲内の輝度プロファイルを用いてスコアを算出する(ステップ3)。
【0039】
図7は、スコアの算出の原理を説明する図である。(A)は検査の対象として取得された画像例を示し、(B)はY軸方向に形成された凹みのx方向の断面例を示し、(C)は画像の輝度プロファイルSを示す。
図7(B)に示す凹みは、例えばヒケを表している。
図7(B)では、説明上の都合により、断面の形状が二等辺三角形の場合を表しているが、勿論、この形状は一例である。
【0040】
この場合、
図7(C)に示す輝度プロファイルSは、X軸方向の各座標を代表する輝度値(以下「代表輝度値」という)の変化として与えられる。
ここでの代表輝度値は、x座標が同じ各画素の輝度値の積分値で与えられる。輝度プロファイルSの凸波形は周囲に比べて明るい領域を示し、凹波形は周囲に比べて暗い領域を示す。
【0041】
スコアは、例えば輝度プロファイルSの最大値と最小値の差として算出される。
スコアは、表面に形成された凹凸の幅、高さ、深さ、数等に依存する。例えば凸部の高さや凹部の深さが同じでも、より長い幅を有する凸部や凹部が形成されている部分領域のスコアが高くなる。
【0042】
また、凸部や凹部の幅が同じでも、より高い凸部やより深い凹部が形成されている部分領域のスコアが高くなる。本実施の形態の場合、スコアが高いことは、品質が悪いことを意味する。
本実施の形態では、スコアの算出に寄与する部分領域を、
図7(C)に示す輝度プロファイルSの凸波形の開始点と凹波形の終了点の間と規定する。
【0043】
図5の説明に戻る。
スコアが算出されると、プロセッサ101は、スコアの最大値に対応する部分領域を抽出する(ステップ4)。ここでの部分領域は、検査領域内でスコアの算出に寄与した画像部分である。スコアの最大値が複数見つかる場合には、複数の部分領域が抽出される。基本的には、1つの部分領域が抽出される。
続いて、プロセッサ101は、抽出された部分領域を示す枠線を画像内に表示する(ステップ5)。また、プロセッサ101は、抽出された部分領域の特徴を強調した画像(以下「強調画像」という)を生成して別表示する(ステップ6)。
【0044】
本実施の形態では、プロセッサ101は、抽出された部分領域から特定の方向に現れる特定の周期成分を抽出し、抽出された周期成分の逆変換により特徴画像を元画像に重ねることで強調画像を生成する。
周期成分の抽出には、例えば2次元DCT(=Discrete Cosine Transform)、DST(=Discrete Sine Transform)、FFT(=Fast Fourier Transform)等を使用する。
なお、特徴画像への逆変換の際には、各画素の強度成分(すなわち輝度値)を最大値で正規化し、特徴画像の階調の範囲を拡張する。また、特徴画像の強度成分には色成分をマッピングすることで、グレースケールで表現される元画像部分との区別を可能にする。
【0045】
強調画像を表示することで、スコアが算出された部分領域の表面を撮像したグレースケール画像では微小な構造の目視が困難な場合でも、表面状態の確認が可能になる。
本実施の形態の場合、生成された強調画像は、カメラ107で撮像したグレースケール画像と同じ操作画面内に並べて表示される。
この他、プロセッサ101は、対応するスコアを操作画面120(
図6参照)に表示して処理を終了する(ステップ7)。
【0046】
<操作画面例>
以下では、表面検査装置1による検査対象10の検査時に表示される画面例について説明する。
【0047】
<画面例1>
図8は、スコアの主要因箇所が表示された操作画面120の一例を説明する図である。
図8には、
図6との対応部分に対応する符号を付して示している。
図8の場合、撮像画像欄121には、高輝度と低輝度が隣り合う筋状のパターンが画像の中央付近に現れている。
操作画面120のスコア欄122には、この部分領域について算出されたスコアとして「3.1」の数値が表示されている。
また、撮像画像欄121には、スコアの算出に寄与した箇所(以下「主要因箇所」という)を示す枠線125が元画像に重ねて表示されている。
図8の場合、枠線125は、四隅に丸みを有する概略矩形である。
【0048】
この枠線125の表示により、スコア欄122に表示された数値の算出に使用された部分領域と、作業者の着目する部分領域とが一致するか否かの判断が可能になる。
ここでの枠線125は、「スコアの算出に寄与した部分の位置を特定する指標」の一例である。
図8に示す枠線125は、スコアの算出に寄与した部分領域の周囲を囲むことで、スコアの算出に寄与した部分領域とその他の部分領域との境界を与えている。
【0049】
図8に示す操作画面120には、撮像画像欄121の下側に、枠線125に関する凡例126が追加される。
図8の場合、操作画面120の強調画像欄123には、枠線125で囲まれた領域部分の強調画像が表示される。このため、仮にカメラ107で撮像された画像だけでは検査対象10の表面の状態の確認が困難な場合でも、表面の状態の確認が可能になる。
【0050】
<画面例2>
図9は、スコアの主要因箇所が表示された操作画面120の他の例を説明する図である。
図9には、
図8との対応部分に対応する符号を付して示している。
図9の場合、スコアの算出に寄与した主要因箇所を示す枠線125は、撮像画像欄121の上部付近に表示されている。
図9に示す撮像画像欄121には、高輝度と低輝度が隣り合う筋状のパターンが含まれているが、枠線125で囲まれた部分領域内の輝度差の方が大きい。このため、枠線125は、撮像画像欄121の上部付近に表示されている。なお、スコアは「5」である。
【0051】
ただし、枠線125で囲まれた部分は、検査対象10(
図1参照)の構造上の外縁とその背景に対応する。
従って、作業者は、操作画面に表示されたスコアが自身の注目する箇所のスコアではないと気づくことが可能になる。この場合、作業者は、検査の対象とする画像の撮り直し等を行う。
【0052】
なお、プロセッサ101は、閾値を超える輝度差のパターンが画像内に検出された場合、撮像された画像が表面の品質の検査には不向きであることを報知するエラー信号を出力してもよい。
また、プロセッサ101は、算出されたスコアが閾値を超える場合にもエラー信号を出力してもよい。例えば閾値が「4」の場合、スコアとして「5」が算出されると、プロセッサ101は、エラー信号を出力する。
【0053】
エラー信号が出力された場合、プロセッサ101は、スコアの算出に使用した画像を破棄し、別の画像を自律的に再取得してもよい。また、プロセッサ101は、再撮像の必要性を作業者に報知してもよい。報知は、表示を使用してもよいし、音を使用してもよい。その際、プロセッサ101は、再撮像が必要と考えられる理由を表示してもよい。
【0054】
<画面例3>
図10は、カメラ107(
図3参照)により撮像された画像内に複数の筋状のパターンが含まれる場合における枠線125の表示例を説明する図である。
図10には、
図8との対応部分に対応する符号を付して示している。
図10の場合、検査の対象とする画像の撮像画像欄121には、水平方向に2本の筋状のパターンが含まれている。換言すると、
図10には、スコア欄122に表示されるスコアの候補が2つ存在している。
【0055】
この場合でも、プロセッサ101(
図3参照)は、2つのスコアのうち最も大きいスコアを、スコア欄122に表示する。また、プロセッサ101は、スコア欄122に表示したスコアの算出に寄与した筋状のパターンを示す枠線125を撮像画像欄121の画像に重ねて表示する。具体的には、プロセッサ101は、2本の筋状のパターンのうち下側のパターンを囲む枠線125を表示する。
この表示により、作業者は、スコア欄122のスコアは、下側のパターンから算出されたことを知る。
【0056】
<画面例4>
図11は、カメラ107(
図3参照)により撮像された画像内に複数の筋状のパターンが含まれる場合における枠線125の他の表示例を説明する図である。
図11には、
図8との対応部分に対応する符号を付して示している。
図11の場合も、検査の対象とする画像の撮像画像欄121には、水平方向に2本の筋状のパターンが含まれている。
【0057】
ここで、2本の筋状のパターンのそれぞれに対応する2つの部分領域について算出される2つのスコアがいずれも同じ値である場合、2つの枠線125が撮像画像欄121に表示される。
もっとも、スコアの最大値と2番目以降のスコアとの差が閾値より小さいスコアに対応する部分領域も枠線125で表示する場合にも、
図11に示す操作画面120が出現する。
【0058】
なお、スコアの最大値と2番目以降のスコアとの差が閾値より小さいスコアの数が3つ以上ある場合でも、撮像画像欄121に表示する枠線125の数は、予め定めた個数に限定してもよい。例えば最大値のスコアに対応する部分領域を示す枠線125と2番目に大きいスコアに対応する部分領域を示す枠線125の2つだけを撮像画像欄121に表示してもよい。
【0059】
図11の例では、2つの枠線125は同じ形式で表示される。このため、
図11に示す操作画面120を見た作業者は、スコアが同じ部分領域が2つあるかスコアがほぼ同じ部分領域が2つ存在することの確認が可能である。
ただし、
図11に示す表示の形式では、2つの部分領域に対応する2つのスコアが同じ値であるのか、異なる値であるのかを知り得ない。また、スコアに違いがある場合に、スコア欄122に表示されているスコアに対応する部分領域がいずれの部分領域であるかも知り得ない。
なお、
図11の場合も、強調画像欄123には、スコアの最大値に対応する部分領域の強調画像が表示される。
【0060】
<画面例5>
図12は、カメラ107(
図4参照)により撮像された画像内に複数の筋状のパターンが含まれる場合における枠線125の他の表示例を説明する図である。
図12には、
図11との対応部分に対応する符号を付して示している。
図12に示す画面例では、スコアの大きさの違いを枠線125の色の違いにより表現する。例えばスコアの最大値に対応する部分領域を囲む枠線125Aを赤色で表示し、2番目に大きいスコアに対応する部分領域を囲む枠線125Bを緑色で表示する。
図12の例では、表示色の違いを線種の違いで表現している。
【0061】
なお、スコアの大きさの違いの識別が可能であれば、枠線125Aの輝度と枠線125Bの輝度を変更してもよいし、枠線125Aと枠線125Bのうちのいずれか一方だけを点滅により表示してもよい。
また、スコアの大きさの違いを二重線や破線等の線種の違いで表現してもよい。すなわち、スコアの大きさの違いは、表示の形式の違いにより表現してもよい。
図12の場合、凡例126として、枠線125Bの説明が追加されている。この説明の追加により、作業者は、枠線125Aで示される部分領域と枠線125Bで示される部分領域のうち、いずれの部分領域がスコアの最大値に対応するかを知ることが可能になる。
【0062】
<画面例6>
図13は、複数の筋状のパターンが含まれる場合における枠線125の他の表示例を説明する図である。(A)は最大値のスコアの主要因箇所を示す枠線125を表示する画面であり、(B)は2番目に大きいスコアの主要因箇所を示す枠線125を表示する画面である。
図13には、
図11との対応部分に対応する符号を付して示している。
図13に示す画面例は、予め定めた閾値より大きいスコアが複数見つかった場合やスコアの最大値との差分が閾値未満となるスコアが複数見つかった場合に用いる。
【0063】
図13の場合、カメラ107で撮像された画像に合成される枠線125の位置とスコア欄122に表示される数値は順次切り替わる。
例えば作業者が撮像画像欄121をタップすると、
図13(A)の画面が
図13(B)の画面に切り替わり、更に作業者が撮像画像欄121をタップすると、
図13(B)の画面から
図13(A)の画面に切り替わる。
【0064】
図13(A)に示す操作画面120のスコア欄122には「3.1」が表示され、凡例126には「最大値のスコアの主要因箇所」なる文言が表示される。この表示を確認した作業者は、撮像画像欄121に表示されている枠線125に対応する部分領域のスコアが「3.1」であること、その値が検査範囲内のスコアの最大値であることを知る。
一方、
図13(B)に示す操作画面120のスコア欄122には「3」が表示され、凡例126には「2番目に大きいスコアの主要因箇所」なる文言が表示される。この表示を確認した作業者は、撮像画像欄121に表示されている枠線125に対応する部分領域のスコアが「3」であること、その値が検査範囲内のスコアの2番目に大きい値であることを知る。
【0065】
なお、
図13(A)及び
図13(B)に示す操作画面120は、表示の対象とするスコアが2つの場合を想定しているが、表示の対象とするスコアが3つ以上存在する場合には、操作画面120が3画面以上切り替わることになる。
もっとも、切り替わる画面の数が予め定めた閾値より多い場合には、特定の操作により、切り替えの前の画面に戻る機能を用意することで、順送りにしか画面を切り替えられない場合に比して、作業者の確認作業の効率化が実現される。
また、画面の切り替えは、プロセッサ101が数秒単位で実行してもよい。
【0066】
<画面例7>
図14は、表面の品質を表すスコアの表示例を説明する図である。
図14には、
図8との対応部分に対応する符号を付して示している。
図14に示す操作画面120の場合、強調画像欄123の下にスコア欄122が配置されていない。
ただし、
図14に示す操作画面120の場合には、枠線125と並んでスコア欄122Aが表示される。この表示により、作業者は、スコアと対応する部分領域の関係の把握が容易になる。
なお、
図14の例では、スコア欄122Aを枠線125の下に配置しているが、他の位置、例えば右側、左側、上側に配置してもよい。
【0067】
図15は、表面の品質を表すスコアの他の表示例を説明する図である。
図15には、
図14との対応部分に対応する符号を付して示している。
図15の場合、撮像画像欄121には、2つの枠線125が表示されている。
図15の場合、画面例4(
図11参照)と同じく、2つの枠線125の表示の形式は同じである。
ただし、
図15に示す操作画面120の場合、枠線125と並んで、対応するスコア欄122Aが表示されるので、2つの枠線125の表示の形式が同じでも、対応する部分領域から算出されるスコアを知ることが可能である。
図15の場合、上側のパターンのスコアは「3」であり、下側のパターンのスコアは「3.1」である。
【0068】
<画面例8>
図16は、作業者が指定した部分領域のスコアを追加的に表示する例を説明する図である。(A)は作業者による部分領域の指定を説明する図であり、(B)は指定後の操作画面120の表示例を示す。
図16には、
図15との対応部分に対応する符号を付して示している。
図16(A)では、ディスプレイ105がタッチパネルの場合を想定している。作業者は、表示欄121のスコアを確認したい部分領域を囲むように指先130を動かすことで、プロセッサ101にスコアの算出を求める部分領域を指示する。
【0069】
図16(B)の凡例126には、枠線125Cが作業者により指定された箇所であることが示されている。また、
図16(B)の場合、プロセッサ101が表示する枠線125とは異なる色で表示される。
図16(A)及び16(B)では色の違いを線種の違いで表現している。
図16(B)の場合、作業者に指定された箇所のスコアは「3」である。この機能により、作業者は、気になった箇所のスコアを自由に確認することが可能になる。
なお、スコアを算出する箇所の指定は、該当する部分領域の外縁を指定する場合に限らず、着目する地点のタップにより指定することも可能である。この場合、タップされた地点を含む部分領域をプロセッサ101が決定し、スコアを算出してもよい。
【0070】
<画面例9>
図17は、スコアの算出に使用された主要因箇所を表す指標の他の例を説明する図である。(A)は対象とする部分領域の外縁の目安となる位置に記号を表示する場合を示し、(B)は対象とする部分領域を矢印で表す場合を示す。
図17には、
図6との対応部分に対応する符号を付して示している。
図17(A)に示す操作画面120では、スコアの算出に使用された主要因箇所の四隅の位置に三角形状の記号125Dが表示されている。この表示の態様によっても、作業者は、算出されたスコアの算出に使用された部分領域を知ることが可能である。なお、記号125Dの形状は一例であり、円や星等の他の形状を用いてもよい。
【0071】
一方、
図17(B)に示す操作画面120では、スコアの算出に使用された主要因箇所のおおよその位置が矢印125Eにより示される。
矢印125Eによる表示では、主要因箇所の範囲までは分からない。しかし、画面例2(
図9参照)の場合のように、構造上の外縁等が示されていれば、スコアの算出に使用された部分領域が、作業者の注目する領域とは異なることが分かる。
【0072】
<画面例10>
図18は、スコアの算出に寄与した部分領域を示す枠線125の他の表示例を示す図である。
図18には、
図8との対応部分に対応する符号を付して示している。
図18に示す操作画面120の場合、カメラ107(
図4参照)で撮像画像欄121には、湾曲した形状を有するヒケが表示されている。
他の画面例における枠線125は概略矩形であったが、
図18に示す枠線125は曲線である。すなわち、枠線125の形状は、概略矩形に限らず、欠陥の形状に応じて様々な形状を採り得る。
【0073】
<実施の形態2>
本実施の形態の場合、スコアの算出に際し、撮像ボタンの操作が不要な表面検査装置1(
図1参照)について説明する。
なお、本実施の形態における表面検査装置1の外観構成等は、実施の形態1で説明した表面検査装置1と同じである。
【0074】
図19は、実施の形態2で使用する表面検査装置1による検査動作の一例を説明するフローチャートである。
図19には、
図5との対応部分に対応する符号を付して示している。
図19の場合、プロセッサ101(
図4参照)は、電源ボタンの操作により光源108(
図4参照)が点灯し、カメラ107(
図4参照)による撮像を開始すると同時にスコアの算出等が実行される。
【0075】
このため、プロセッサ101は、カメラ107による撮像中の画像を取得する(ステップ11)と、検査範囲内の輝度プロファイルを用いてスコアを算出する(ステップ3)。
以下、プロセッサ101は、スコアの最大値に対応する部分領域を抽出し(ステップ4)、抽出された部分領域を示す枠線125(
図8参照)の表示、対応する部分領域の画像の表示、対応するスコアの表示等を実行する(ステップ5~7)。
【0076】
なお、ステップ7の終了後、プロセッサ101は、ステップ11に戻り、一連の処理を繰り返し実行する。この一連の処理の繰り返しにより、操作画面120(
図8参照)に表示されるスコアは、カメラ107が撮像する画像の変化に応じて更新され続けることになる。
すなわち、カメラ107が撮像している位置が変化すると、スコアや枠線125の位置も変化する。
【0077】
<実施の形態3>
図20は、実施の形態3で想定する表面検査装置1Aの使用例を説明する図である。
図20には、
図1との対応部分に対応する符号を付して示している。
本実施の形態で使用する表面検査装置1Aの撮像部には、いわゆるラインカメラを使用する。このため、撮像範囲は線状である。
【0078】
本実施の形態の場合、検査の際、検査対象10は、1軸ステージ20の上に設置された状態で矢印の方向に移動される。1軸ステージ20が一方向に移動することにより、検査対象10の全体が撮像される。
なお、カメラ107(
図4参照)としてラインカメラを用いる以外、カメラ107(
図4参照)と光源108(
図4参照)の位置関係等は、実施の形態1と同じである。
【0079】
<他の実施の形態>
(1)以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0080】
(2)前述の実施の形態においては、カメラ107(
図4参照)としてカラーカメラを用いたが、モノクロカメラを用いてもよい。また、カラーカメラのうち緑(G)成分だけを使用して、検査対象10(
図1参照)の表面を検査してもよい。
【0081】
(3)前述の実施の形態においては、光源108(
図4参照)として白色光源を使用したが、照明光の色は任意でよい。
また、照明光は、可視光に限らず、赤外光や紫外光等でもよい。
【0082】
(4)前述の実施の形態では、光源108(
図4参照)を1つ使用する表面検査装置1(
図1参照)について説明したが、複数の光源を用いて検査対象10の表面を照明してもよい。
例えば2つの光源を使用してもよい。その場合、一方の光源は鏡面反射された光成分が主にカメラ107(
図4参照)に入射する角度に配置し、他方の光源は拡散反射された光成分が主にカメラ107に入射する角度に配置してもよい。この場合、2つの光源は、カメラ107の光軸を挟んで両側に配置してもよいし、カメラ107の光軸に対して一方の側に並べて配置してもよい。
【0083】
(5)前述の実施の形態では、光源108(
図4参照)として平行光源を使用したが、非平行光源である点光源や面光源を使用してもよい。また、カメラ107(
図4参照)の光軸上に非テレセントリックレンズを使用してもよい。テレセントリックレンズや平行光を使用しない場合、実施の形態で説明した表面検査装置1(
図1参照)に比して装置の小型化が可能になり、コストも安価に済む。
【0084】
(6)前述の実施の形態では、検査対象10(
図1参照)を撮像する表面検査装置1(
図1参照)のプロセッサ101(
図3参照)がスコアの算出と、スコアの算出に寄与した主要な部分領域を示す枠線125(
図8参照)を操作画面120(
図8参照)に表示する機能を実現しているが、表面検査装置1から画像データを取得する外部のコンピュータやサーバのプロセッサにより同等の機能を実現してもよい。
【0085】
(7)前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ(例えばCPU等)の他、専用的なプロセッサ(例えばGPU(=Graphical Processing Unit)、ASIC(=Application Specific Integrated Circuit)、FPGA(=Field Programmable Gate Array)、プログラム論理デバイス等)を含む。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。
【符号の説明】
【0086】
1、1A…表面検査装置、10…検査対象、20…1軸ステージ、101…プロセッサ、102…ROM、103…RAM、104…補助記憶装置、105…ディスプレイ、106…操作受付装置、107…カメラ、108…光源、109…信号線、111…開口部、111A…開口、111B…鍔部、120…操作画面、122、122A…スコア欄、125、125A、125B、125C…枠線、125D…記号、125E…矢印