特許 6864722 検査装置、検査方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6864722

(24)【登録日】2021年4月6日

(45)【発行日】2021年4月28日

(54)【発明の名称】検査装置、検査方法およびプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20210419BHJP

   G01B 11/24 20060101ALI20210419BHJP

【ＦＩ】

   G01N21/88 Z

   G01B11/24 K

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2019-156937(P2019-156937)

(22)【出願日】2019年8月29日

(62)【分割の表示】特願2018-174173(P2018-174173)の分割

【原出願日】2014年6月9日

(65)【公開番号】特開2019-200215(P2019-200215A)

(43)【公開日】2019年11月21日

【審査請求日】2019年9月6日

(73)【特許権者】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(72)【発明者】

【氏名】眞弓 典正

【審査官】 越柴 洋哉

(56)【参考文献】

【文献】 特開２００７−１７２３９３（ＪＰ，Ａ）

【文献】 特開２００７−２０６７９７（ＪＰ，Ａ）

【文献】 特開２０１４−０３８０４９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／０１８４０３１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４−２１／９５８

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のｘ成分の傾き画像とｙ成分の傾き画像を求め、当該ｘ成分とｙ成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成手段と、
前記画像生成手段により生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させるＵＩ管理手段と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける入力手段と
を備え、
前記画像生成手段は、前記入力手段を介して調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみを抽出することにより、検査対象物の輪郭画像を生成し、
前記ＵＩ管理手段は、前記輪郭画像を前記表示部に表示させることを特徴とする検査装置。

【請求項2】

検査対象物に少なくとも異なる４方向から個別に光を照射する照明手段と、
前記検査対象物からの反射光を受光し、照明方向の異なる４以上の輝度画像を生成する撮像手段を更に備えることを特徴とする請求項１に記載の検査装置。

【請求項3】

前記ＵＩ管理手段は、撮像工程を含む複数の検査工程を設定するためのユーザインタフェースを前記表示部に表示させ、前記撮像工程にて複数の異なる条件で生成された検査画像の中から出力すべき画像を選択するユーザインタフェースを前記表示部に表示させることを特徴とする請求項１または２に記載の検査装置。

【請求項4】

前記ＵＩ管理手段は、前記検査画像に加えて、全方向からの照明により取得された全方向照明画像の選択が可能なユーザインタフェースを前記表示部に表示させることを特徴とする請求項３に記載の検査装置。

【請求項5】

前記ＵＩ管理手段は、前記複数の検査工程に前記撮像工程に加えて、パターンサーチ工程を設定可能なユーザインタフェースを前記表示部に表示させ、前記パターンサーチ工程で使用される画像の選択を、前記輪郭画像又は前記全方向照明画像の中から前記入力手段を通じて受け付けることを特徴とする請求項４に記載の検査装置。

【請求項6】

前記ＵＩ管理手段は、前記複数の検査工程に前記撮像工程、パターンサーチ工程に加えて、傷検査工程を設定可能なユーザインタフェースを前記表示部に表示させ、前記傷検査工程で使用される画像の選択を、前記入力手段を通じて受け付けることを特徴とする請求項５に記載の検査装置。

【請求項7】

前記画像生成手段は、前記複数の輝度画像から法線ベクトルを求め、当該法線ベクトルから前記検査対象物の表面の傾きによる輝度値の変動分を除去し、当該表面の反射率を画像にした反射率画像を生成するように構成されており、
前記ＵＩ管理手段は、前反射率画像を前記表示部に表示させることを特徴とする請求項１ないし６のいずれか一項に記載の検査装置。

【請求項8】

前記ＵＩ管理手段は、前記ｘ成分の傾き画像と前記ｙ成分の傾き画像のうちの少なくとも一方を前記表示部に表示させることを特徴とする請求項１ないし７のいずれか一項に記載の検査装置。

【請求項9】

異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のｘ成分の傾き画像とｙ成分の傾き画像を求め、当該ｘ成分とｙ成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成工程と、
前記画像生成工程で生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させる表示工程と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける受け付け工程と、を有し、
前記画像生成工程は、前記受け付け工程で受け付けられた調整操作に基づき調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみ抽出することにより、検査対象物の輪郭画像を生成する工程を含み、
前記表示工程は、前記輪郭画像を前記表示部に表示させる工程を含む、ことを特徴とする検査装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は検査装置、検査方法およびプログラムに関する。

【背景技術】

【0002】

検査対象物の輪郭を精度良く抽出した輪郭画像を生成できれば、検査対象物の寸法検査や輪郭の欠け検査、計測領域の動的設定に役立つであろう。

【0003】

特許文献１には、フォトメトリックステレオの原理を用いずに、検査対象物を撮像し、物体の輪郭を抽出する技術として深さエッジ検出法が記載されている。深さエッジ検出法は、検査対象物に異なる方向から照明を当て複数の画像を取得し、各画像ごとに最大輝度の画素値で正規化を実行し、各画像において明るさが明から暗へ変化する部分をエッジとして検出し、各画像において検出されたエッジの情報を融合して深さエッジ画像を形成することが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０１１／０１２３１２２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された深さエッジ検出法では、検査対象物の表面に反射率の違う部分があるとエッジの誤検出が発生しやすい。また、深さエッジ検出法では検査対象物の表面に鏡面反射を起こすような部分があると、その部分に２重に線が生じてしまうこともある。また、深さエッジ検出法ではエッジの検出処理が各画像において必要となるため、画像の枚数に比例して演算負荷が増大してしまう。さらに、深さエッジ検出法では、アフィン変換が必要となることもある。

【0006】

ところで、フォトメトリックステレオの原理によれば、それぞれ照明方向が異なる複数の輝度画像から表面の法線ベクトルを求め、この法線ベクトルに基づきワークの表面形状を示す形状画像を生成することができる。フォトメトリックステレオ法は、物体の形状を画像化する方法であるが、発明者の研究によれば、これを応用して輪郭画像を生成できることがわかってきた。また、フォトメトリックステレオ法は、深さエッジ検出法と比較して、上記の課題に対して有利である。

【0007】

このように従来は検査対象物の表面形状を示す形状画像における平坦レベル（基準レベル）が調整可能ではなかったため、形状画像から輪郭画像を効率よく生成できなかった。そこで、本発明は、検査対象物の表面形状を示す形状画像における平坦レベル（基準レベル）を調整可能とすることを目的とする。

【課題を解決するための手段】

【0008】

本発明によれば、たとえば、
異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のｘ成分の傾き画像とｙ成分の傾き画像を求め、当該ｘ成分とｙ成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成手段と、
前記画像生成手段により生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させるＵＩ管理手段と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける入力手段と
を備え、
前記画像生成手段は、前記入力手段を介して調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみを抽出することにより、検査対象物の輪郭画像を生成し、
前記ＵＩ管理手段は、前記輪郭画像を前記表示部に表示させることを特徴とする検査装置が提供される。

【0009】

また、本発明によれば、
異なる方向から光を照射して得られた複数の輝度画像をフォトメトリックステレオ法により合成し、検査対象物の表面のｘ成分の傾き画像とｙ成分の傾き画像を求め、当該ｘ成分とｙ成分の傾きに基づいて、前記検査対象物の表面形状が平坦である部分に対応する画素に基準レベルを割り当てるとともに、検査対象物表面の凹凸形状に応じた濃淡値を有する形状画像を検査画像として生成する画像生成工程と、
前記画像生成工程で生成された検査画像を表示部に表示させるとともに、前記基準レベルを調整するためのユーザインタフェースを前記表示部に表示させる表示工程と、
前記ユーザインタフェースに対する前記基準レベルの調整操作を受け付ける受け付け工程と、を有し、
前記画像生成工程は、前記受け付け工程で受け付けられた調整操作に基づき調整された基準レベルにしたがって前記形状画像を構成する各画素値を調整し、凸形状又は凹形状のいずれかのみ抽出することにより、検査対象物の輪郭画像を生成する工程を含み、
前記表示工程は、前記輪郭画像を前記表示部に表示させる工程を含む、ことを特徴とする検査装置の制御方法が提供される。

【発明の効果】

【0010】

本発明によれば、検査対象物の表面形状を示す形状画像における平坦レベル（基準レベル）を調整可能となる。その結果、フォトメトリックステレオ法を応用して輪郭画像を効率よく生成できるようになる。すなわち、検査対象物の表面における反射率の変化や鏡面反射の影響を受けにくく、かつ、演算負荷についても軽い、輪郭画像の生成方法を実現できる。また、本発明によれば精度の良い輪郭画像が得られるため、輪郭画像を用いた製品検査の精度も向上するであろう。

【図面の簡単な説明】

【0011】

【図1】検査装置の概要を示す図

【図2】フォトメトリックステレオの原理を説明するための図

【図3】積み上げ演算を説明するための図

【図4】特徴サイズに基づく重みの決定方法を示す図

【図5】特徴サイズの異なる検査画像の一例を示す図

【図6】表面形状画像の生成に関与する画像を説明する図

【図7】テクスチャ画像の生成方法を説明する図

【図8】検査装置の機能ブロック図

【図9】設定モードを示すフローチャート

【図10】ユーザインタフェースの一例を示す図

【図11】ユーザインタフェースの一例を示す図

【図12】ユーザインタフェースの一例を示す図

【図13】ユーザインタフェースの一例を示す図

【図14】ユーザインタフェースの一例を示す図

【図15】ユーザインタフェースの一例を示す図

【図16】ユーザインタフェースの一例を示す図

【図17】ユーザインタフェースの一例を示す図

【図18】ユーザインタフェースの一例を示す図

【図19】ユーザインタフェースの一例を示す図

【図20】検査モードを示すフローチャート

【図21】ユーザインタフェースの一例を示す図

【図22】ユーザインタフェースの一例を示す図

【図23】ユーザインタフェースの一例を示す図

【図24】ユーザインタフェースの一例を示す図

【図25】ユーザインタフェースの一例を示す図

【図26】ユーザインタフェースの一例を示す図

【図27】基準レベルの調整を説明する図

【図28】照明光による影の発生と輪郭との関係を説明する図

【図29】基準レベルの調整により生成された輪郭画像の一例を示す図

【図30】基準レベルの調整により生成された輪郭画像の一例を示す図

【図31】フォトメトリック処理部の機能を示す図

【発明を実施するための形態】

【0012】

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

【0013】

図１は外観検査システムの一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。照明装置３はフォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例である。カメラ４はフォトメトリックステレオ法にしたがって前記照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例である。画像処理装置５は、カメラ４により取得された複数の輝度画像からワーク２の表面の法線ベクトルを算出し、複数の輝度画像から算出された法線ベクトルに基づく画素値により構成された傾き画像と、当該傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルを用いて注目画素の画素値を積み上げ演算し、画素値を有する検査画像を生成し、検査画像を用いて検査対象物の良否を判定する外観検査装置である。傾き画像は法線ベクトル画像と呼ばれることもある。画像処理装置５は輝度画像から反射率画像（アルベド画像）を作成してもよい。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや傾き画像、反射率画像、検査画像などを表示する。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。画像処理装置５と照明装置３は信号線８によって接続されている。画像処理装置５とカメラ４は信号線９によって接続されている。

【0014】

とりわけ、図１によればカメラ４と照明装置３とが独立して移動可能なようにそれぞれ異なるフレームによって支持されている。このように照明装置３は、カメラ４から独立して移動可能となっているため、ワーク２から照明装置３までの距離を自在に調整できるようになっている。つまり、ワーク２の種類や置き方に応じて照明装置３をワーク２から遠ざけて配置させることで、カメラ４は正反射光を強く受光できるようになる。また、照明装置３をワーク２に近づけて配置することでカメラ４は拡散反射光を強く受光できるようになる。なお、同一のフレームによってカメラ４と照明装置３とが指示されていてもよい。この場合には、照明装置３の取り付け位置を調整するためのクランプ機構などで照明装置３をフレームに固定すればよい。

【0015】

＜フォトメトリクスステレオの原理＞
一般的なフォトメトリックステレオ法では、図２に示すように、ワーク２に対して４方向から照明光Ｌ１〜Ｌ４を順番に切り替えながら照射し、４枚の輝度画像を生成する。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、４枚の輝度画像において座標が一致する４つの画素は同一のワーク表面に対応している。４つの画素の画素値（輝度値）Ｉ１、Ｉ２、Ｉ３、Ｉ４と、法線ベクトルｎとの間には図２示した式１が成り立つ。ここでρは反射率である。Ｌは各方向からの照明光の光量であり、既知である。ここでは４方向とも光量は同一である。Ｓは照明方向行列であり、既知である。この数式を解くことで各座標（ワーク表面）ごとの反射率ρと法線ベクトルｎが求められる。その結果、反射率画像と傾き画像とが得られる。

【0016】

本実施形態では、さらに、傾き画像から高さ成分を抽出しワークの形状を示す形状画像を検査画像として作成する。検査画像は、図２に示し式２である積み上げ演算式により求められる。ここで、ｚｎはｎ回目の積み上げ結果であり、ワーク表面の形状を示している。ｘ、ｙは画素の座標を示している。ｎは何回目の繰り返し計算であるかを示している。ｐは水平方向の傾き成分を示し、ｑは垂直方向の傾き成分を示している。ｐ、ｑは法線ベクトルｎから求められる。ｗは重みである。また、１回目の積み上げ演算では１／１の傾き画像を用い、２回目の積み上げには１／２の縮小傾き画像を用い、３回目の積み上げには１／４の縮小傾き画像を用いる。縮小画像を作成する際にはガウシアン処理を施してから縮小処理が施されてもよい。

【0017】

本実施形態では積み上げ演算において特徴サイズというパラメータを採用する。特徴サイズは積み上げ演算において使用される縮小画像の成分に対する重みを与えるパラメータである。特徴サイズはワーク２の表面形状の大きさを示すパラメータである。たとえば、特徴サイズが１であればｘｙ方向で注目画素に隣接した４つの画素についての重みが最も大きくされて積み上げ演算される。特徴サイズが２であればｘｙ方向で注目画素に隣接した８つの画素についての重みが最も大きく設定されて積み上げ演算が実行される。ただし、８つの画素を用いて演算することは演算量の増大を招くため、上述した縮小画像を作成して演算に使用する。つまり、８つの隣接画素を用いる代わりに、傾き画像を１／２に縮小して演算を実行する。これにより、ある注目画素について縮小画像における４つの画素を演算に考慮すればよいことになる。これは特徴サイズが４、８、１６、３２と増加したときもそれに応じた縮小画像を作成し、特徴サイズに対応した縮小画像について重みを最大に設定することで、同様の演算負荷の軽減効果が得られる。

【0018】

図３は積み上げ演算の一例を示している。この例では法線ベクトルｎから求められた２枚の傾き画像（水平方向の傾き成分ｐの画像と垂直方向の傾き成分ｑの画像）を入力としている。まず、縮小度の大きい傾き画像で全体の形状を積み上げ、それよりも縮小度の小さい画像で細部形状を積み上げる。これにより短時間で全体の形状を復元できるようになる。図３によれば、たとえば、１／３２の縮小画像について式２により注目画素についてワーク表面の形状ｚを算出する。重みｗは特徴サイズに応じて決定される。縮小画像を構成する１つ１つの画素を注目画素として積み上げ演算をイタレーション（繰り返し処理）する。ｚの初期値はゼロである。次に式２にしたがって１／１６の縮小画像についてｚを算出する。ここでは、１／３２の演算結果に対して１／１６の縮小画像の傾き成分が積み上げられる。同様にして、１／８縮小画像から１／１画像まで積み上げ演算が実行される。

【0019】

図４は各特徴サイズごと重みの一例を示している。横軸は解像度レベル（縮小度）を示し、縦軸は重みを示している。図４からわかるように、特徴サイズ１では縮小度が最も小さいレベル０（１／１画像）の重みが最大となる。これにより微細な形状を積み上げることが可能となる。特徴サイズ２ではレベル１（１／２画像）の重みが最大となる。これによりさらに大きなサイズの形状を積み上げることが可能となる。このように各重みは、特徴サイズに対応したレベルでピークが生じるように決定される。

【0020】

形状画像の復元方法としては、上記の積み上げ演算の他に公知のフーリエ変換積分法を採用することもできる（A Method for Enforcing Integrability in Shape from Shading Algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.10, No.4 July 1988）。当該方法においても計算プロセスにおいて縮小画像を生成し、重み付け成分を調整することにより抽出する特徴サイズを変更することが可能である。

【0021】

図５は特徴サイズの違いに応じた検査画像の一例を示している。特徴サイズ４では細部の形状が抽出されており、特徴サイズ６４では全体の形状が抽出されており、特徴サイズ１６ではこれらの中間的なサイズの形状が抽出されていることがわかる。このように小さな特徴サイズは細かい傷を検査するのに役立ち、大きな特徴サイズは物体の有無の判別に適しており、中間の特徴サイズは凹凸文字のＯＣＲなどに適している。つまり検査ツールに応じて適切な特徴サイズを選択することで検査精度を向上させることが可能となる。

【0022】

図６はフォトメトリックステレオ法による検査画像の作成工程を示す図である。輝度画像６０１〜６０４はそれぞれ照明方向の異なる照明光によりワーク２を照明して取得された輝度画像である。なお、輝度画像６００は４方向から同時に照明して得られた輝度画像である。それぞれ照明方向の異なる照明光によりワーク２を照明して取得された複数の輝度画像から演算によりワーク表面の法線ベクトルが求められる。傾き画像６１１は、輝度画像６０１〜６０４から求められた法線ベクトルのＸ方向の傾き成分を画素値とした傾き画像である。傾き画像６１２は、輝度画像６０１〜６０４から求められた法線ベクトルのＹ方向の傾き成分を画素値とした傾き画像である。反射率画像６１０は、輝度画像６０１〜６０４から求められた法線ベクトルから、ワーク表面の傾きによる輝度値の変動分を除去し、ワーク表面の反射率を画像にした反射率画像である。検査画像６２１〜６２３は傾き画像６１１、６１２から求められたそれぞれ特徴サイズの異なる画像（表面形状画像）である。なお、検査画像６２１〜６２３も傾き成分に基づく画素により構成されているため、傾き画像の一種である。このような手順でワーク２の検査画像が生成される。なお、検査ツールに依存して全方向照明画像である輝度画像６００や反射率画像６１０が検査画像として採用されてもよい。全方向照明画像とは、照明装置３が備える複数の光源をすべて点灯させて取得された輝度画像のことである。

【0023】

＜テクスチャ情報＞
テクスチャ情報とはワーク２の表面の反射率ρに基づく情報である。式１によって反射率ρが求められる、つまり４枚の輝度画像から１枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図７に示すように、４枚の輝度画像７０１〜７０４から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像７１１、７１２が求められる。この合成方法としては４枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、４枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像７１１は画像平均によって求められたものであり、テクスチャ画像７１２はハレーション除去によって求められたものの一例である。４枚の輝度画像において座標が一致する画素が４つ存在する。４つの画素のうち画素値が１番大きい画素を除外したり、画素値の大きい順に１番目からＮ番目（Ｎは３以下の自然数）までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に表れるからである。テクスチャ画像７１１、７１２はともに反射率に基づく画素により構成されているため、反射率画像の一種である。

【0024】

＜機能ブロック＞
図８は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、フォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例であり、光源群８０１とこれを制御する照明コントローラ８０２を備えている。複数の発光素子で１つのセグメントが構成され、さらに複数のセグメントによって光源群８０１が構成されていてもよい。セグメントの数は一般的には４つであるが、３つ以上であればよい。これは３方向以上の照明方向からワーク２を照明できれば、フォトメトリックステレオ法により検査画像を生成できるからである。図１に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。たとえば、市場にはワーク２を撮影するために使用される照明ユニットが存在しているが、これらはフォトメトリックステレオ用に開発されたものではない。ただし、このような照明ユニットを複数個用意するとともに、これらを制御する照明コントローラを接続することで、照明装置３を構成してもよい。照明コントローラ８０２は、画像処理装置５からの制御コマンドに応じて光源群８０１の点灯タイミングや照明パターン（点灯パターン）を制御する。照明コントローラ８０２は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。

【0025】

カメラ４はフォトメトリックステレオ法にしたがって照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。

【0026】

画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ８１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置８２０と、ＡＳＩＣなどの画像処理部８３０と、ネットワークインタフェースなどの通信部８５０とを有している。プロセッサ８１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成・再生成・更新を担当する。フォトメトリック処理部８１１は、カメラ４により取得された複数の輝度画像からワーク２の表面の法線ベクトルｎを算出し、複数の輝度画像から算出された法線ベクトルｎに基づく画素値を有する傾き画像と、傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルｎを用いて当該注目画素の画素値を積み上げ演算し、当該画素値を有する検査画像を生成する演算手段（検査画像生成手段）として機能する。なお、具体的には上述した数式などを使用して検査画像が生成される。照明制御部８１２は、照明コントローラ８０２に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミングなどを制御する。撮像制御部８１３は、カメラ４を制御する。ＵＩ管理部８１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報したがって検査ツールやパラメータを設定する。とりわけ、特徴サイズ設定部８１５は積み上げ演算において使用される縮小画像の成分に対する重みｗを与えるパラメータである特徴サイズを設定する設定手段として機能する。画像選択部８１６は複数の輝度画像や複数の検査画像、複数の傾き画像、複数の反射率画像のうち表示すべき画像などを選択したりする。画像選択部８１６はカメラ４により取得された複数の輝度画像および検査画像のうち保存対象もしくは出力対象となる画像を選択してもよい。検査ツール設定部８１７は画像選択部８１６により選択された検査画像に対して検査ツールを設定する。検査ツール設定部８１７は、たとえば、基準画像に対して傷検査領域を設定したり、文字認識領域を設定したりする。基準画像設定部８１８は良品から取得された検査画像である基準画像を設定する。表示制御部８５１は輝度画像と検査画像を切り替えて表示部７に表示させたり、または、輝度画像と検査画像とを同時に表示させたりする。また表示制御部８５１は制御パラメータが調整されると表示部７に表示されている画像を当該制御パラメータが反映された画像に更新する。検査ツール設定部８１７は、表示制御部８５１、特徴サイズ設定部８１５、画像選択部８１６、基準画像設定部８１８および条件設定部８１９を内包していてもよい。画像処理部８３０は基準画像を用いて検査画像にパターンサーチを実行し、検査画像に検査領域（例：傷検査領域や文字認識領域など）を設定する検査領域設定手段として機能する。検査領域は、たとえば、文字認識領域である。条件設定部８１９は画像を表示部７や通信部８５０に接続された外部機器に出力する条件や、可搬記憶媒体などに保存する条件を設定する。判定部８４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部８４０は画像処理部８３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。

【0027】

記憶装置８２０は、カメラ４によって取得された輝度画像のデータである輝度画像データ８２１、フォトメトリック処理部８１１により生成された傾き画像データ８２２や反射率画像データ８２３を記憶する。また、記憶装置８２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置８２０は特徴サイズがそれぞれ異なる検査画像を記憶して保持していてもよい。また、記憶装置８２０は検査画像に加え、検査画像の元になった傾き画像データや反射率画像データを記憶してもよい。これらはワーク２の誤判定が見つかったときに、検査画像、傾き画像または反射率画像のいずれに問題があったのかを特定して、その制御パラメータを修正するのに役立つであろう。

【0028】

画像処理部８３０は、フォトメトリック処理部８１１によって生成された検査画像（傾き画像データ８２２や反射率画像データ８２３）を用いて外観検査を実行する。傷検査部８３１は、それぞれ異なる特徴サイズ用いて生成された複数の検査画像の傷検査領域において傷検査を実行する。ＯＣＲ部８３２はそれぞれ異なる特徴サイズ用いて生成された複数の検査画像に対して文字認識処理を実行する文字認識処理手段として機能する。傷検査部８３１やＯＣＲ部８３２は記憶装置８２０に記憶されている検査画像（傾き画像データ８２２や反射率画像データ８２３）を読み出し、文字認識領域において検査を実行し、検査結果を記憶装置８２０に書き込んだり、判定部８４０に渡したりしてもよい。判定部８４０はこの検査結果に基づきワーク２の良否を判定する。

【0029】

＜設定モード＞
検査システムには検査ツールを設定する設定モードと、設定された検査ツールにしたがってワーク２の外観検査を実行する検査モード（運転モード）とを有しいている。ここでは設定モードの一例について説明する。

【0030】

図９は設定モードに関するフローチャートである。入力部６を通じて設定モードの開始が指示されると、プロセッサ８１０のＵＩ管理部８１４は検査ツールを設定するためのＵＩを表示部７に表示する。

【0031】

図１０はＵＩの一例を示している。ＵＩ管理部８１４が表示部７に表示するＵＩ１０００には、検査結果の保存先を指定するプルダウンメニュー１００１や検査ツールの名称を入力するテキストボックス１００２が設けられている。ＵＩ管理部８１４は実行ボタンの押し下げを検出すると次のＵＩを表示する。

【0032】

図１１に示すＵＩ１１００には、検査ツールを設定するためのガイダンス１１０１と、カメラ４に撮像を指示する計測実行ボタン１１０２と、カメラ４により撮像された画像を表示する表示領域１１０３と、カメラ設定の開始を指示するカメラ設定ボタン１１０４を有している。なお、画像選択部１１０５は、表示領域１１０３に表示する画像や検査に使用する画像を選択するためのボタンである。この例では画像選択部１１０５によって、形状１、形状２、テクスチャおよびノーマルのうちいずれか１つの画像が択一的に選択される。計測実行ボタン１１０２が操作されると、撮像制御部がカメラ４に撮像を指示する。ＵＩ管理部８１４はカメラ４により取得された輝度画像を表示領域１１０３にレンダリングする。なお、画像選択部１１０５によって別の画像が選択されると、ＵＩ管理部８１４は画像選択部１１０５によって選択された画像を表示領域１１０３にレンダリングする。このようにユーザは画像選択部１１０５を操作するか、入力部６を通じて画像の切り替えを指示することで表示領域１１０３に表示される画像を切り替えることができる。カメラ設定ボタン１１０４が操作されると、ＵＩ管理部８１４は次のＵＩに切り替える。

【0033】

Ｓ９０１でＵＩ管理部８１４はカメラ４を設定するためＵＩを表示部７に表示し、カメラ設定を実行する。図１２はカメラ設定ＵＩ１２００の一例を示している。カメラ設定タブ１２０１には、カメラの機種を設定するプルダウンメニュー１２０２、画像サイズを設定するプルダウンメニュー１２０３、シャッタースピードを設定するプルダウンメニュー１２０４、カメラの感度を設定するスライダー１２０５などを有している。なお、計測実行ボタン１１０２が操作されると、ＵＩ管理部８１４は、その時点で設定されている撮像パラメータにしたがってカメラ４によって取得された輝度画像を表示領域１１０３に表示する。これによりユーザは設定したパラメータが適切かどうかを判定できる。

【0034】

Ｓ９０２でＵＩ管理部８１４はフォトメトリック処理を設定するためＵＩを表示部７に表示し、設定を実行する。たとえば、カメラ設定ＵＩ１２００に設けられているフォトメトリックステレオ設定タブ１２１０が操作されたこと検知すると、ＵＩ管理部８１４は、図１３に示すように、フォトメトリックステレオ設定タブ１２１０を有効に切り替える。有効に切り替えるとは、ユーザ操作可能な状態にフォトメトリックステレオ設定タブ１２１０の表示状態を切り替えることをいう。フォトメトリックステレオ設定タブ１２１０には、画像を選択するためのプルダウンメニュー１３０１と、特徴サイズ設定部１３０２とが含まれている。この例では、それぞれ特徴サイズが異なる３つの検査画像（形状１、形状２、形状３）のいずれかを選択できるものとする。プルダウンメニュー１３０１によって選択された画像ごとに特徴サイズ設定部１３０２により特徴サイズが設定される。

【0035】

フォトメトリックステレオ設定タブ１２１０に点灯パターンを選択するための選択部が配置されてもよい。また、一回の照明あたりの発光量を指定する指定部が設けられてもよい。

【0036】

Ｓ９０３でＵＩ管理部８１４は検査ツールを設定するためのＵＩを表示部７に表示し、設定を実行する。図１４は検査ツールを設定するＵＩ１４００の一例である。画像選択ボタン１４０１は、複数ある検査画像のうち検査に使用する検査画像を選択するためのボタンである。検査カテゴリー選択ボタン１４０２は、複数ある検査カテゴリーのうち検査ツールとして追加すべきツールのカテゴリーを選択するためのボタンである。認識対象設定ボタン１４０３は複数ある認識対象のうち１つを選択するためのボタンである。この例では、検査画像として「形状１」が選択され、カテゴリーとして「認識」が選択され、認識処理として「文字認識」が選択されている。追加ボタン１４０４が操作されると、ＵＩ管理部８１４は次のＵＩに切り替える。図１５は基準画像登録ＵＩ１５００を示している。基準画像登録ＵＩ１５００には、上述した計測実行ボタン１１０２、表示領域１１０３に加え、登録ボタン１５０１が配置されている。登録ボタン１５０１が操作されると、ＵＩ管理部８１４は計測実行ボタン１１０２によって取得され、表示領域１１０３に表示されている画像を基準画像として登録する。登録が完了すると、ＵＩ管理部８１４は次のＵＩに切り替える。

【0037】

図１６は計測領域設定ＵＩ１６００を示している。計測領域設定ＵＩ１６００の表示領域１１０３には基準画像１６０１と、計測領域を示すフレーム１６０２が配置される。ＵＩ管理部８１４は入力部６からの指示に応じてフレーム１６０２の位置とサイズを変更する。ユーザは基準画像１６０１のうち計測対象としたい部分の位置とサイズに合わせてフレーム１６０２の位置とサイズを調整する。なお、さらに、ＵＩ管理部８１４は、文字の切り出し設定や、認識すべき文字の具体例（文字画像）と文字画像に対応する文字キャラクタを登録するための辞書設定などを実行してもよい。

【0038】

次に傷検査ツールについて説明する。図１７に示すように、検査カテゴリー選択ボタン１４０２によって傷検査が選択されると、ＵＩ管理部８１４は、検査内容選択ボタン１７０１を表示する。この例では、検査内容選択ボタン１７０１によって傷の総面積を計測するツールが選択されている。追加ボタン１４０４が操作されると、ＵＩ管理部８１４はＵＩを切り替える。

【0039】

図１８は計測領域設定ＵＩ１８００を示している。計測領域設定ＵＩ１８００には、計測領域（傷検査領域）を示すフレーム１８０２が配置される。フレーム１８０２の形状は変更可能であり、たとえば、形状を選択するためのプルダウンメニュー１８０１によって複数の形状のうちいずれかの形状が選択される。ＵＩ管理部８１４はプルダウンメニュー１８０１によって選択された形状のフレーム１８０２を表示領域１１０３にレンダリングする。ＵＩ管理部８１４は入力部６からの指示に応じてフレーム１８０２の位置とサイズを変更する。

【0040】

図１９は傷の検出条件を設定するための設定ＵＩ１９００を示している。設定ＵＩ１９００には、傷の検出方向を選択するためのプルダウンメニュー１９０１と、傷のセグメントサイズを指定するためのボックス１９０２と、傷のレベルを指定するためのスライダー１９０３が配置されている。設定ＵＩ１９００により設定された傷検出条件に基づいて傷検査領域内（フレーム１８０２内）で傷検査部８３１が傷を検出したときは、ＵＩ管理部８１４が傷の位置に傷検出マーク１９１０を表示してもよい。これにより、ユーザは、傷検出条件が適切かどうかを判断できよう。

【0041】

＜検査モード＞
図２０は検査モードを示すフローチャートである。入力部６を通じて検査モードの開始が指示されると、プロセッサ８１０が動作モードを検査モードに移行させる。

【0042】

Ｓ２００１でプロセッサ８１０は設定された点灯パターンにしたがって照明方向を切り替えながらワーク２の画像を撮像して取得する。具体的には、照明制御部８１２が、記憶装置８２０に保持されている設定データを参照して点灯パターンを特定し、点灯パターンを指定するためのコマンドを照明コントローラ８０２に送出する。撮像制御部８１３は記憶装置８２０に保持されている設定データを参照してカメラ４に関する制御パラメータ（シャッタースピードや感度など）を特定し、これを指定するコマンドをカメラ４に送信する。フォトメトリック処理部８１１は照明の開始を指示するためのトリガー信号を照明コントローラ８０２に送信するとともに、これと連動して撮像の開始を指示するためのトリガー信号をカメラ４に送信する。照明コントローラ８０２はトリガー信号に同期して照明方向を切り替える。たとえば、照明コントローラ８０２はコマンドにより指定された点灯パターンにしたがって４つの照明方向について１つずつ順番に対応する発光素子を点灯させる。照明コントローラ８０２はコマンドと点灯パターンとの対応関係をメモリなどに保持していてもよい。トリガー信号は照明開始時に１つだけ発行されてもよいし、切り替えタイミングにおいても発行されてもよい。カメラ４は制御パラメータにしたがってワーク２を撮像し、輝度画像を画像処理装置５に転送する。このようにして、たとえば、１つの照明方向につき１枚の輝度画像が生成される。

【0043】

Ｓ２００２でプロセッサ８１０は複数の輝度画像から法線ベクトルｎと反射率ρとを求める。上述したようにフォトメトリック処理部８１１は複数の輝度画像の画素値について式１を適用し、法線ベクトルｎと反射率ρとを求める。

【0044】

Ｓ２００３でプロセッサ８１０は設定された特徴サイズにしたがって検査画像を生成する。上述したようにフォトメトリック処理部８１１は特徴サイズに対応する重みＷを重みテーブルなどから決定し、式２を用いて積み上げ演算を実行して検査画像（傾き画像）を生成する。このように、フォトメトリック処理部８１１は複数の輝度画像からワーク２の表面の法線ベクトルｎに基づく画素値を有する傾き画像を生成してもよい。なお、それぞれ値の異なる複数の特徴サイズを設定されている場合、フォトメトリック処理部８１１は設定された複数の特徴サイズのそれぞれについて検査画像を生成してもよい。また、フォトメトリック処理部８１１は上述した手法により反射率画像やテクスチャ画像を生成してもよい。たとえば、フォトメトリック処理部８１１は複数の輝度画像からワーク２の表面の法線ベクトルｎとともにワーク２の表面の反射率ρを算出し、当該反射率ρに基づく画素値を有する反射率画像を生成してもよい。ここでは検査の対象とされる画像が生成され、検査の対象とさていない画像については生成が省略されてもよい。

【0045】

Ｓ２００４でプロセッサ８１０は検査画像を表示部７に表示する。ＵＩ管理部８１４は検査画像とともに、輝度画像、傾き画像、反射率画像を表示部７に同時または選択的に表示してもよい。選択的に表示する場合、ＵＩ管理部８１４は入力部６からの切り替え指示にしたがって、たとえば、４つの輝度画像を順番に切り替え表示してもよい。たとえば、入力部６のうちコンソールに設けられた特定のキーが画像の切替ボタンとして割り当てられていてもよい。

【0046】

Ｓ２００５でプロセッサ８１０は画像処理部８３０に検査の実行を指示する。画像処理部８３０は検査を指示されると、予め設定された検査ツールを起動して検査画像に対して検査を実行する。たとえば、傷検査部８３１は設定された計測領域や検出条件にしたがって傷のレベルを判別し、検査結果（傷のレベル）を判定部８４０に転送する。なお、傷検査部８３１は、上述した基準画像を用いてパターンサーチを実行して検査領域を設定し、検査領域において検査を実行してもよい。また、ＯＣＲ部８３２は、予め設定された文字認識設定にしたがって検査画像に対して文字認識処理を実行し、文字認識結果を判定部８４０に転送する。ＯＣＲ部８３２も上述した基準画像を用いてパターンサーチを実行して検査領域（文字認識領域）を設定し、検査領域において検査を実行してもよい。

【0047】

Ｓ２００６でプロセッサ８１０の判定部８４０は検査結果と判定閾値とを比較して、ワーク２が良品であるかどうかを判定する。たとえば、傷検査とＯＣＲの両方を実行するように設定されている場合、判定部８４０は傷検査部８３１の検査結果とＯＣＲ部８３２の文字認識結果との両方が合格レベルにあるときに、ワーク２を良品と判定する。

【0048】

＜画像保存設定＞
図２１は検査フローを設定するＵＩ２１００の一例を示している。ＵＩ管理部８１４はＵＩ２１００を表示部７に表示させ、検査フローのスタートからエンドまでの間に実行される複数の工程を入力部６から入力される指示にしたがって設定して行く。この例では、撮像工程、パターンサーチ工程、位置補正工程および傷検査工程が検査フローに追加されている。たとえば、入力部６を通じて検査フローのエンドが指定されると、ＵＩ管理部８１４はエンドにおいて検査履歴を蓄積するように設定してもよい。検査履歴とは、検査結果や検査に使用された画像などである。

【0049】

なお、各工程を追加するときにＵＩ管理部８１４は各工程で使用される画像の選択を、入力部６を通じて受け付けてもよい。たとえば、ユーザは入力部６を通じて撮像工程に対しては照明方向と異なる４つの輝度画像や傾き画像、反射率画像などを取得対象として指定し、パターンサーチ工程に対してはいずれかの輝度画像（全方向照明画像など）をサーチ対象として指定し、傷検査工程に対しては傾き画像から生成された検査画像などを検査対象として指定してもよい。

【0050】

図２２は履歴を蓄積する条件を設定するＵＩ２２００の一例を示している。蓄積条件を識別するための識別情報を設定する設定部２２０１は複数ある識別情報から設定対象となる識別情報を選択するためのプルダウンメニューによって構成されている。この例では設定部２２０１において「０：」という識別情報の蓄積条件が選択されている。蓄積条件としては、たとえば、検査結果が良品ではないときにのみ画像を蓄積するといった条件や、検査結果に依存せずに各ワークごとに常に画像を蓄積するといった条件などがある。ここでは、プロセッサ８１０は詳細設定ボタンなどが押されたことを検知すると条件設定部８１９を起動する。条件設定部８１９は、たとえば、常に画像を保存または出力するモードと、判定部８４０により検査対象物が良品ではないと判定されたときに画像を保存または出力するモードとのうちいずれかを設定してもよい。画像選択部２２０２は蓄積条件が満たされたときに保存する画像を選択する。ここでは画像選択部２２０２によって「すべて」と「指定」とを選択することができる。保存先選択部２２０３は、画像の保存先（例：内蔵メモリ、メモリカードなどの可搬メディアやＦＴＰサーバなどのネットワークストレージ）を選択するためのプルダウンメニューによって構成されている。

【0051】

図２３は画像選択部２２０２で「指定」が選択されたときにＵＩ管理部８１４が表示部７に表示させるＵＩ２３００の一例を示している。この例では、検査フローにおいて扱われるすべての種類の画像のうち実際に保存すべき画像を選択するためのチェックボックス２３０１が設けられている。形状１、２は特徴サイズが異なる検査画像（傾き画像）である。テクスチャは反射率画像である。ノーマルは全方向照明により取得された画像である。４つの矢印は照明方向を示すアイコンである。つまり矢印マークによって照明方向が異なる４つの輝度画像が区別されている。チェックボックスにチェックされた画像が保存対象として設定される。

【0052】

ところで、プロセッサ８１０は判定部８４０が判定を終了した後で画像を保存または出力する条件が満たされているかどうかを判断する判断手段を備えていてもよい。すなわち、検査フローのエンド部において、プロセッサ８１０は、条件設定部８１９により設定された蓄積条件や出力条件が満たされているかどうかを判断してもよい。

【0053】

図２４は画像出力工程２４０１を検査フローに追加する例を示している。上述した実施例では検査フローの最後に画像を出力するように設定したが、この例では入力部６から入力されるユーザ指示にしたがってＵＩ管理部８１４が検査フローの任意の位置に画像出力工程２４０１を設定する。このように、プロセッサ８１０は、判定部８４０が判定を終了する前に位置する画像出力工程２４０１で画像を保存または出力する条件が満たされているかどうかを判断してもよい。画像出力工程２４０１に関連する蓄積設定等は図２１ないし図２３を用いて説明したのと同様であってもよいし、異なってもよい。

【0054】

図２５は蓄積設定（出力設定）に関するＵＩの別の例を示している。画像出力工程２４０１が入力部６により選択された状態で、さらに入力部６により設定を開始する指示が入力されると、ＵＩ管理部８１４はＵＩ２５０１を表示する。画像変数２５０２は出力すべき画像を選択する画像選択部として機能し、この例では検査フローにおける各工程に付与されている画像変数によって出力すべき画像が指定される。つまり、各工程ごとに出力すべき画像を選択できる。ＵＩ２５０１において画像の出力枚数や画像形式なども設定されてもよい。出力先選択部２５０３は画像の出力先（例：内蔵メモリ、メモリカードなどの可搬記憶メディアやＦＴＰサーバなどのネットワークストレージ）を選択するためのプルダウンメニューである。

【0055】

図２６は画像を選択するＵＩ２６００の一例である。ＵＩ２５０１において詳細設定ボタンが押し下げられると、ＵＩ管理部８１４はＵＩ２６００を表示する。ＵＩ２６００ではすべての画像を保存するか、個別指定するかを選択するためのラジオボタンや、画像を個別に選択するためのチェックボックスなどが配置されている。この例では、ラジオボタンにより個別指定が選択されているため、チェックボックスが有効となり、チェックボックスを通じていくつかの画像が選択されている。このように、複数の輝度画像、検査画像、全方向照明画像および複数の輝度画像を合成して得られた合成輝度画像から保存対象もしくは出力対象となる画像が選択されてもよい。また、それぞれ特徴サイズが異なる複数の検査画像から保存対象もしくは出力対象となる画像を選択できるようにＵＩ２６００が構成されてもよい。また、複数の輝度画像、検査画像および検査対象物の表面の反射率を画素値とした反射率画像から保存対象もしくは出力対象となる画像を選択できるようにＵＩ２６００が構成されてもよい。

【0056】

＜輪郭強調画像の生成＞
検査対象物の輪郭を精度良く抽出した輪郭画像を生成できれば、検査対象物の寸法検査や欠け検査、計測領域の動的設定に役立つであろう。

【0057】

図２７（Ａ）〜図２７（Ｄ）は形状画像における基準レベルを説明する図である。基準レベルとは、検査対象物の表面形状が平坦であることを示す画素値のことであり、平坦レベルと呼ばれてもよい。図２７（Ａ）は一般的な基準レベルを説明する図である。ここでは一例として計上画像を８ビット画像とするが、１６ビット画像など、ビット数は自由である。８ビット画像では各画素値が０ないし２５５の値をとり得る。そのため、基準レベルを１２８に設定することで、凸形状や凹形状をバランスよく表現できるようになる。つまり、０〜１２７の濃淡値によって凹形状が表現され、１２９〜２５５の濃淡値によって凸形状が表現される。このように、明るい画素は表面形状が凸となっていることを示し、暗い画素は表面形状が凹となっていることを示す。このように形状画像では濃淡によって表面の形状を示すことができる。

【0058】

図２７（Ｂ）が示すように、本実施形態では基準レベルを自由にユーザが調整することで、効率よく輪郭画像を形成できるようにする。図２７（Ｃ）は濃淡表現範囲の最小値である０に基準レベルを設定した例である。基準レベルを０に設定することで凹形状を無視できるようになり（算出された形状値のうち平坦に対応した形状値や凹部の形状値が画素値（濃淡値）として０に割り当てられる）、凸形状のみを抽出できるようになる（凸部形状値が１〜２５５の濃淡値に割り当てられる）。図２７（Ｄ）は濃淡表現範囲の最大値である２５５に基準レベルを設定した例である。基準レベルを２５５に設定することで凸形状を無視できるようになり、凹形状のみを抽出できるようになる。

【0059】

フォトメトリックステレオ法では、それぞれ照明方向が異なる複数の輝度画像間での明るさの違いからワークの表面の法線ベクトルを求め、表面の傾き（Ｘ成分、Ｙ成分）を推定し、Ｘ成分の傾きとＹ成分の傾きを重みづけ合成して形状値を算出するが、照明方向に依存してワークの影が輝度画像に映り込んでしまうことがある。このような影は傾きの推定誤差をもたらすため好ましくないと考えられてきたが、この影がワークの輪郭付近に生じることを輪郭の抽出に役立てられることが分かってきた。

【0060】

図２８（Ａ）はワークの右側から照明光を当てることで発生する影を示す側面図である。図２８（Ｂ）はワークの右側から照明光を当てることで発生する影を示す平面図である。図２８（Ｃ）はワークの左側から照明光を当てることで発生する影を示す側面図である。図２８（Ｄ）はワークの左側から照明光を当てることで発生する影を示す平面図である。図２８（Ｅ）は右側照明光により取得された輝度画像と左側照明光により取得された輝度画像に基づいて求められたＸ方向の傾きの推定結果を示している。図２８（Ｅ）によれば、影の部分で傾きが誤って推定されていることがわかる。図２８（Ｆ）は基準レベルを中間値である１２８に設定したときの形状画像を示している。なお、形状画像は、４つの照明方向に対応した４つの輝度画像から形成されている。ワークの表面のうちで表面形状が平坦となっている部分は濃淡値が１２８であるためグレーとなる。ワークの輪郭は凸形状であるため、その濃淡値は１２８よりも大きくなり、白色となっている。影の部分は凹形状であるため濃淡値が１２８よりも小さくなり、黒となっている。この形状画像をそのまま輪郭画像として用いてワークの寸法を計測すると、影の影響によって寸法誤差が発生してしまう。図２８（Ｇ）は本実施形態の基準レベル調整手段によって基準レベルを０に設定することで得られる輪郭画像としての形状画像である。基準レベルを０に設定することで凹形状を排除することができ、凸形状のみ、すなわち正しい輪郭のみを精度よく抽出できることがわかる。このように凸形状の輪郭が必要なときは基準レベルを中間値よりも低下させることで輪郭強調画像が得られる。一方で、凹形状の輪郭が必要なときは基準レベルを中間値よりも増加させることで輪郭強調画像が得られる。

【0061】

図２９（Ａ）はクレジットカードなどの表面に形成される凸形状の文字について基準レベルを１２８に設定することで得られる形状画像の一例である。この例が示すように文字の周囲には黒い影が映り込んでおり、これが文字認識の精度を低下させる。図２９（Ｂ）はクレジットカードなどの表面に形成される凸形状の文字について基準レベルを０に設定することで得られる形状画像の一例である。この例が示すように影の影響が緩和され、文字を明確に認識できるようになる。

【0062】

図２９（Ｃ）はワークの表面に形成される凹形状の文字について基準レベルを１２８に設定することで得られる形状画像の一例である。この例が示すように文字は認識しにくい状態であることがわかる。図２９（Ｄ）はワークの表面に形成される凹形状の文字について基準レベルを２５５に設定することで得られる形状画像の一例である。この例が示すように基準レベルを調整すれば、凹形状の文字であっても明確に文字認識できるようになる。

【0063】

図３０（Ａ）は冷却ファンについての形状画像であって基準レベルを１２８に設定することで得られる画像の一例である。図３０（Ｂ）は冷却ファンについての形状画像であって基準レベルを０に設定することで得られる画像の一例である。基準レベルを低下させることで、ワークの輪郭だけを浮かび上がらせることが可能となり、輪郭画像を用いて寸法検査や欠け検査、パターンサーチによる計測領域の動的な設定などを効率よくかつ精度よく実行できるようになる。

【0064】

図３１はフォトメトリック処理部８１１の機能を示すブロック図である。基準レベル調整部３１０１は、表面形状が平坦であることを示す画素値である基準レベルを調整する。ＵＩ管理部８１４は、基準レベルを調整するためのユーザインタフェースを表示部７に表示させ、ユーザインタフェースに対する操作を入力部６により受け付け、ユーザインタフェースを通じて入力または指定された数値もしくはレベルを基準レベル調整部３１０１に渡してもよい。ユーザインタフェースとしては、たとえば、基準レベルを最小値と最大値との間で調整可能なスライダーバーや数値入力部などである。基準レベル調整部３１０１は、ユーザインタフェースを通じて入力または指定された数値もしくはレベルに応じて基準レベルを調整する。調整された基準レベルは画像生成部３１００に渡される。

【0065】

画像生成部３１００は、カメラ４によりワーク２をフォトメトリックステレオ法により撮像し、ワーク２の表面の法線ベクトルを求め、法線ベクトルに基づき傾きを求め、傾きに応じて表面形状を示す形状値を求め、調整された基準レベルに応じて形状値を画素値に割り当てることで形状値を濃淡値に変換し、ワーク２の輪郭が強調された輪郭画像を生成する。画像生成部３１００は、上述したように最小値から基準レベルまでの濃淡値によって凹形状を表現し、基準レベルの濃淡値によって平坦を表し、基準レベルから最大値までの濃淡値によって凸形状を表現する。画像生成部３１００は、傾き画像生成部３１１０と輪郭画像生成部３１２０を備えていてもよい。傾き画像生成部３１１０は、ワーク２をフォトメトリックステレオ法により撮像して得られた複数の輝度画像からワーク２の表面の法線ベクトルを求め、さらに法線ベクトルから傾きを求める。つまり、傾き画像生成部３１１０は、各照明方向ごとの輝度画像において座標が一致している複数の画素の各画素値に基づきその画素についての法線ベクトルを求め、法線ベクトルから傾きを求めてもよい。これにより、各画素値が傾きを表す傾き画像を生成してもよい。ただし、ここでは傾きがわかればよいため、傾き画像を画像データとして生成することは必須ではない。つまり、傾き算出部３１１１が傾きを算出し、算出した傾きを輪郭画像生成部３１２０に渡せばよい。

【0066】

輪郭画像生成部３１２０は形状画像生成手段および輪郭画像生成手段として機能する。輪郭画像生成部３１２０の形状値算出部３１２１は、ｘ成分の傾き画像とｙ成分の傾き画像とを用いて各表面の形状値を算出し、形状画像を生成してもよい。形状値の求め方は図２や図３などを用いて説明したとおりである。輪郭画像生成部３１２０の修正部３１２２は、基準レベルに応じて形状値を画素値（濃淡値）に変換することで、形状画像に含まれているワーク２の輪郭を強調してワーク２の輪郭画像を生成する。たとえば、修正部３１２２は、形状値算出部３１２１により求められた形状値のうち凸部を示す形状値ついては、平坦であることを示す基準レベルよりも大きな画素値を割り当てる。さらに、修正部部３１２２は、凹部を示す形状値ついては基準レベルよりも小さな画素値を割り当てる。このように輪郭画像生成部３１２０は傾きに基づき形状値を求め、基準レベルに応じて形状値を濃淡値に変換して輪郭画像データ３１５０を生成してもよいが、すでに完成している形状画像データを受け取って、調整された基準レベルを事後的に用いて、形状画像データを輪郭画像データ３１５０に変換してもよい。いずれにしても修正部３１２２は表面形状を示す形状値（画素値）を基準レベルにしたがって修正して濃淡値に変換する。

【0067】

コントラスト調整部３１０２は、オプションであり、基準レベル調整部３１０１が基準レベルを低下させたときに輪郭画像のコントラストを上昇させる。基準レベルを低下させると、画像のコントラストが低下することがある。そこで、画像処理によってコントラストを回復してもよい。

【0068】

輪郭画像データ３１５０は、記憶装置８２０に記憶され、画像処理部８３０がワークの寸法検査を実行したり、傷検査部８３１が傷検査（欠け検査）を実行したり、ＯＣＲ部８３２が文字認識を実行したりするときに読み出されて使用される。画像処理部８３０は、良品の輪郭画像に対して検査領域を設定し、良品の輪郭画像を用いてサーチ処理を実行してワークの位置を判別し、ワークの位置に応じてワークの輪郭画像に対する検査領域（計測領域）の位置を補正してもよい。このように輪郭画像データ３１５０は計測領域を動的に設定する際にも役立つ。ワーク２はライン１によって搬送されるが、カメラ４から見て常に同じ位置を搬送されるわけではない。よって、外観検査の精度を向上するために、ワーク２の輝度画像や輝度画像から生成された画像については位置判別結果に用いた位置補正が必要になる。このような位置補正を行う際にも輪郭画像は有効である。判定部８４０は、画像処理部８３０において輪郭画像を用いて得られた各種の検査結果（例：寸法計測結果、傷検査結果、文字認識結果など）を参照し、検査結果と公差などを比較してワークの良否を判定してもよい。

【0069】

修正部３１２２は、ワーク２の輪郭のうち凸部の輪郭について強調して輪郭画像を生成してもよい。図２７（Ｃ）を用いて説明したように、修正部３１２２は、輪郭画像における画素値（濃淡値）のとり得る範囲において最小値（例：０）を基準レベルに設定することで凸部の輪郭について強調してもよい。修正部３１２２は、ワーク２の輪郭のうち凹部の輪郭について強調して輪郭画像を生成してもよい。たとえば、修正部３１２２は、輪郭画像における画素値のとり得る範囲において最大値（例：８ビット画像なら２５５、１６ビット画像なら６５，５３５）を基準レベルに設定することで凹部の輪郭について強調してもよい。

【0070】

＜まとめ＞
本実施形態によれば、基準レベル調整部３１０１を設けているため、検査対象物の表面形状を示す形状画像における平坦レベル（基準レベル）が調整可能となった。また、本実施形態によれば、フォトメトリックステレオ法を応用して輪郭画像を生成できるようになる。すなわち、ワークの表面における反射率の変化や鏡面反射の影響を受けにくく、かつ、演算負荷についても軽い、輪郭画像の生成方法を実現できる。また、本実施形態によれば効率よく精度の良い輪郭画像が得られるため、輪郭画像を用いた製品検査の精度も向上するであろう。このように、フォトメトリックステレオ法にしたがって求められたワーク表面の形状値を濃淡値に変換するための基準レベルをユーザによって調整可能とすることで、ダイナミックレンジを有効に活用することが可能となる。たとえば、基準レベルを中間値（例：１２８）に設定してしまうと、濃淡値の範囲のうち一部が使用されず、ダイナミックレンジが有効に活用されないことがある。たとえば、０〜８７までの濃淡値が存在しないような形状画像ではその範囲が無駄となってしまう。このよう場合には、形状画像における最小値である８８に基準レベルを設定することで、０〜８７までの形状値は削除され（０〜８７までの傾きはいずれも最小の濃淡値で表現される）、０〜２５５までの範囲を実際に存在する形状値に対応付けることが可能となる。よって、ダイナミックレンジが有効に活用される。

【0071】

基準レベルを調整するためのユーザインタフェースを表示部７に表示させてもよい。これによりユーザは容易に基準レベルを表示できるようになろう。なお、画像生成部３１００は、基準レベルの調整に連動してリアルタイムで輪郭画像を生成し、表示部７にプレビュー表示させてもよい。これにより、ユーザは、基準レベルの調整量がどのように輪郭画像に反映されるかを視覚的に容易に把握できるようになる。よって、より正確に適切な基準レベルを発見しやすくなろう。

【0072】

図２９（Ａ）や図２９（Ｂ）を用いて説明したように、凸形状の文字については凸部の輪郭が強調されるように基準レベルを調整することで、凸形状の文字の文字認識率が向上するであろう。たとえば、輪郭画像における画素値のとり得る範囲において最小値を基準レベルに設定することで凸部の輪郭を容易に強調できる。図２９（Ｃ）や図２９（Ｄ）を用いて説明したように、凹形状の文字については凹部の輪郭が強調されるように基準レベルを調整することで、凹形状の文字の文字認識率が向上するであろう。たとえば、輪郭画像における画素値のとり得る範囲において最大値を基準レベルに設定することで凹部の輪郭を容易に強調できる。

【0073】

なお、修正部３１２２はすでに完成している形状画像データを入力し、その基準レベルを調整して出力してもよい。これにより、過去に保存したデータを有効に活用できるであろう。

【0074】

輪郭画像は、上述した文字認識検査だけでなく、検査領域の動的な設定や傷検査、寸法計測など様々な外観検査において利用可能である。とりわけ、本実施形態によれば効率よくかつ精度よく輪郭画像を生成できるため、検査の効率や精度も向上しよう。

【0075】

本実施形態ではワークの外観を検査する外観検査装置を一例として説明したが、カメラ４に接続された画像処理装置において本実施形態の基準レベル調整機能や輪郭画像生成機能を搭載してもよい。

【0076】

本実施形態ではフォトメトリックステレオ法を用いることを前提としたが、画像生成部３１００は、非フォトメトリックステレオ法によって生成された画像データに対して事後的に基準レベルを調整して、輪郭画像を生成してもよい。フォトメトリックステレオ法による効果は得られなくなるものの、容易に基準レベルを調整して、輪郭画像を形成できるようになるであろう。

【符号の説明】

【0077】

１…ライン、２…ワーク、３…照明装置、４…カメラ、５…画像処理装置、６…入力部、７…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】