特許 6982018 立体形状検出装置、立体形状検出方法、及び立体形状検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982018

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月17日

(54)【発明の名称】立体形状検出装置、立体形状検出方法、及び立体形状検出プログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20211206BHJP

【ＦＩ】

   G01B11/24 K

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2019-34498(P2019-34498)

(22)【出願日】2019年2月27日

(65)【公開番号】特開2020-139798(P2020-139798A)

(43)【公開日】2020年9月3日

【審査請求日】2021年6月11日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000110859

【氏名又は名称】キヤノンマシナリー株式会社

(74)【代理人】

【識別番号】100107423

【弁理士】

【氏名又は名称】城村 邦彦

(74)【代理人】

【識別番号】100120949

【弁理士】

【氏名又は名称】熊野 剛

(74)【代理人】

【識別番号】100148987

【弁理士】

【氏名又は名称】前田 礼子

(72)【発明者】

【氏名】小野 裕行

(72)【発明者】

【氏名】中村 剛

【審査官】 仲野 一秀

(56)【参考文献】

【文献】 国際公開第２０１１／１３８８７４（ＷＯ，Ａ１）

【文献】 特開２０１４−１６３５８（ＪＰ，Ａ）

【文献】 特開２０１４−９２４９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

照明条件を可変として、ワークと相対的に接近及び離間して焦点の異なるワークの画像を複数の照明条件で撮影する撮影部を備えた撮影手段と、前記撮影手段を制御するとともに、ワークの立体形状を検出する制御手段とを備えた立体形状検出装置において、
前記制御手段は、
予め設定された条件に基づいて、ワークを撮影するための条件である撮影シナリオを生成する撮影シナリオ生成部と、
前記撮影手段の照明条件を可変とし、複数の照明条件に切替える照明調整部と、
同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで合成処理した全焦点画像を、夫々の照明条件で作成する全焦点画像作成部とを備え、
前記撮影部とワークとの、１回の相対的な接近又は離間中に、前記照明調整部が複数の照明条件に切替えて、前記撮影部が夫々の照明条件で、前記撮影シナリオ生成部に設定された撮影シナリオに基づいて焦点の異なる複数の画像データを取得し、前記全焦点画像作成部が夫々の照明条件の全焦点画像を形成することを特徴とする立体形状検出装置。

【請求項2】

前記撮影シナリオは、前記撮影部とワークとの相対的な接近又は離間速度、前記撮影手段の照明条件、撮影タイミング、及び撮影枚数が設定されたものであることを特徴とする請求項１に記載の立体形状検出装置。

【請求項3】

前記撮影手段は、明視野照明及び暗視野照明を備えたことを特徴とする請求項１又は請求項２に記載の立体形状検出装置。

【請求項4】

前記制御手段の撮影シナリオ生成部は、撮影部の移動速度の上限及び撮影手段のフレームレートの上限に基づいて、前記撮影シナリオを生成することを特徴とする請求項１〜請求項３のいずれか１項に記載の立体形状検出装置。

【請求項5】

予め設定する条件は、前記撮影部の移動範囲、前記撮影部の撮影ピッチ、及び複数の照明条件のいずれかであることを特徴とする請求項１〜請求項４のいずれか１項に記載の立体形状検出装置。

【請求項6】

前記ワークは、ボンディングワイヤを含む電子部品であることを特徴とする請求項１〜請求項５のいずれか１項に記載の立体形状検出装置。

【請求項7】

照明条件を可変としてワークを撮影する撮影部が、ワークと相対的に接近及び離間して焦点の異なるワークの画像を複数の照明条件で撮影し、画像に基づいてワークの立体形状を検出する立体形状検出方法において、
予め設定された条件に基づいて、ワークを撮影するための条件である撮影シナリオを生成し、
前記撮影部とワークとの、１回の相対的な接近又は離間中に複数の照明条件に切替えて、設定された前記撮影シナリオに基づいてワークを複数回撮影して、夫々の照明条件で焦点の異なる複数の画像データを取得し、
同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで合成処理した全焦点画像を、夫々の照明条件で形成することを特徴とする立体形状検出方法。

【請求項8】

前記撮影部とワークとの相対的な接近又は離間中でワークを複数回撮影し、その方向と逆の方向に前記撮影部とワークとが相対的に移動している間に、次の検出対象となるワークを検出位置に移動させつつ、全焦点画像を作成することを特徴とする請求項７に記載の立体形状検出方法。

【請求項9】

照明条件を可変としてワークを撮影する撮影部が、ワークと相対的に接近及び離間して焦点の異なるワークの画像を複数の照明条件で撮影し、画像に基づいてワークの立体形状の検出を実行させる立体形状検出プログラムにおいて、
予め設定された条件に基づいて、ワークを撮影するための条件である撮影シナリオを生成するステップと、
前記撮影部とワークとの、１回の相対的な接近又は離間中に複数の照明条件に切替えて、設定された前記撮影シナリオに基づいてワークを複数回撮影して、夫々の照明条件で焦点の異なる複数の画像データを取得するステップと、
同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで合成処理した全焦点画像を、夫々の照明条件で形成するステップとを備えたことを特徴とする立体形状検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体形状検出装置、立体形状検出方法、及び立体形状検出プログラムに関する。

【背景技術】

【0002】

ワーク（例えば、ワイヤボンディングを有する電子部品）の検査を行う方法として、まずワークの画像を取得し、画像からワークの立体形状を検出して、その立体形状に基づいて検査を実施することがある。物体の立体形状を検出する方法として、特許文献１のものがある。特許文献１のものは、図５に示すように、カメラ等からなる撮影手段１０１がＺ移動機構１０２により上下動することにより、撮影手段１０１の焦点とワークＷとの相対的な位置を変化させてワークＷの表面を撮影することにより、焦点位置の異なる複数の画像を得る。そして、複数の画像のそれぞれの画像においてワークＷの表面の合焦点位置を検出し、この検出したワークＷの表面の合焦点位置の情報から補間により異なる焦点位置の間のワークＷの表面の合焦点位置を算出し、合焦点位置の情報に基づいてワークＷの立体形状を求める。

【0003】

特許文献１に記載されたような方法でワークＷを撮影する際は、明視野照明１０３使用されることが一般的であるが、検査部位の立体的特徴や、検査内容によっては、暗視野照明を用いた方が好ましいケースも考えられる。特許文献２のものは、明視野照明と暗視野照明とを備え、検査部位や検査内容に応じ、明視野照明と暗視野照明とを切り替えて撮影することにより、被検査体の検査画像を良好に得る。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第２９６０６８４号公報

【特許文献2】特許第４７４５４８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

明視野照明と暗視野照明とを備え、複数の照明条件で撮影を行う場合は、図６に示すような撮影シナリオで撮影される。すなわち、第１の照明条件（例えば明視野照明）で焦点移動（撮影手段を下降）させながら複数画像を取得後、第２の照明条件（例えば暗視野照明）に切替えて、逆方向で再度焦点移動（撮影手段を上昇）させながら、複数の画像を取得する必要がある。このように、撮影手段が上昇及び下降している間は撮影を実施しているため、ワークを移動させることはできない。すなわち、図６に示すように、撮影手段の下降及び上昇のサイクルが終了した後に、ワークの移動を行っている。この間、撮影手段は静止した状態となっている。このため、複数の照明条件によりワークの立体形状を検出する場合、検出サイクルが長くなるという問題がある。

【0006】

また、撮影シナリオは、カメラの移動速度やカメラのフレームレートを考慮して生成する必要がある。このため、ユーザが撮影シナリオを設定しようとすると、専門的知識が必要であったり、演算に手間がかかる等で撮影シナリオの生成のために時間を要したりするという問題もある。

【0007】

そこで、本発明は斯かる実情に鑑み、複数の照明条件で合焦点法に基づいてワークの立体形状を検出する際に、検出サイクルを短くすることができる立体形状検出装置、立体形状検出方法、及び立体形状検出プログラムを提供しようとするものである。

【課題を解決するための手段】

【0008】

本発明の立体形状検出装置は、照明条件を可変として、ワークと相対的に接近及び離間して焦点の異なるワークの画像を複数の照明条件で撮影する撮影部を備えた撮影手段と、前記撮影手段を制御するとともに、ワークの立体形状を検出する制御手段とを備えた立体形状検出装置において、前記制御手段は、予め設定された条件に基づいて、ワークを撮影するための条件である撮影シナリオを生成する撮影シナリオ生成部と、前記撮影手段の照明条件を可変とし、複数の照明条件に切替える照明調整部と、同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで合成処理した全焦点画像を、夫々の照明条件で作成する全焦点画像作成部とを備え、前記撮影部とワークとの、１回の相対的な接近又は離間中に、前記照明調整部が複数の照明条件に切替えて、前記撮影部が夫々の照明条件で、前記撮影シナリオ生成部に設定された撮影シナリオに基づいて焦点の異なる複数の画像データを取得し、前記全焦点画像作成部が夫々の照明条件の全焦点画像を形成するものである。

【0009】

本発明の立体形状検出装置によれば、撮影部の１回のワークへの相対的な接近又は離間中に、複数の照明条件でワークを撮影するものであるため、１回のワークへの接近又は離間で複数種の照明条件の全焦点画像を形成することができる。これにより、１回のワークへの接近又は離間によりワークの立体形状を検出するために必要な情報を得ることができ、撮影部が、ワークに対して撮影時とは反対方向に移動する間に、次の検出対象となるワークを検出位置に移動させることができる。

【0010】

前記撮影シナリオは、前記撮影部とワークとの相対的な接近又は離間速度、前記撮影手段の照明条件、撮影タイミング、及び撮影枚数が設定されたものとすることができる。

【0011】

前記構成において、前記撮影シナリオは、前記撮影部とワークとの相対的な接近又は離間速度、前記撮影手段の照明条件、撮影タイミング、及び撮影枚数が設定されたものとすることができる。

【0012】

前記構成において、前記撮影手段は、明視野照明及び暗視野照明を備えたものであってもよい。これにより、平面部では明視野照明により立体形状の検出を行いやすく、傾斜部では暗視野照明により立体形状の検出を行いやすいため、ワークが平面部と傾斜部を有している場合であっても、平面部及び傾斜部の立体形状の検出を正確に行うことができ、検出精度が高いものとなる。

【0013】

前記構成において、前記制御手段の撮影シナリオ生成部は、撮影手段の移動速度の上限及び撮影手段のフレームレートの上限に基づいて、前記撮影シナリオを生成するものであってもよい。

【0014】

前記構成において、予め設定する条件は、前記撮影部の移動範囲、前記撮影部の撮影ピッチ、及び複数の照明条件のいずれかとすることができる。

【0015】

前記構成において、前記ワークは、ボンディングワイヤを含む電子部品である場合に特に有効なものとなる。

【0016】

本発明の立体形状検出方法は、照明条件を可変としてワークを撮影する撮影部が、ワークと相対的に接近及び離間して焦点の異なるワークの画像を複数の照明条件で撮影し、画像に基づいてワークの立体形状を検出する立体形状検出方法において、予め設定された条件に基づいて、ワークを撮影するための条件である撮影シナリオを生成し、前記撮影部とワークとの、１回の相対的な接近又は離間中に複数の照明条件に切替えて、設定された前記撮影シナリオに基づいてワークを複数回撮影して、夫々の照明条件で焦点の異なる複数の画像データを取得し、同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで合成処理した全焦点画像を、夫々の照明条件で形成するものである。

【0017】

前記構成において、 前記撮影部とワークとの相対的な接近又は離間中でワークを複数回撮影し、その方向と逆の方向に前記撮影部とワークとが相対的に移動している間に、次の検出対象となるワークを検出位置に移動させつつ、全焦点画像を作成するものであってもよい。

【0018】

本発明の立体形状検出プログラムは、照明条件を可変としてワークを撮影する撮影部が、ワークと相対的に接近及び離間して焦点の異なるワークの画像を複数の照明条件で撮影し、画像に基づいてワークの立体形状の検出を実行させる立体形状検出プログラムにおいて、予め設定された条件に基づいて、ワークを撮影するための条件である撮影シナリオを生成するステップと、前記撮影部とワークとの、１回の相対的な接近又は離間中に複数の照明条件に切替えて、設定された前記撮影シナリオに基づいてワークを複数回撮影して、夫々の照明条件で焦点の異なる複数の画像データを取得するステップと、同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで合成処理した全焦点画像を、夫々の照明条件で形成するステップとを備えたものである。

【発明の効果】

【0019】

本発明の立体形状検出装置、立体形状検出方法、及び立体形状検出プログラムは、撮影部の１回のワークへの接近又は離間によりワークの立体形状を検出するために必要な情報を得ることができ、撮影部が、ワークに対して撮影時とは反対方向に移動する間に、次の検出対象となるワークを検出位置へ移動させることができるため、複数の照明条件で合焦点法に基づいてワークの立体形状を検出する際に、検出サイクルを短くすることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の立体形状検出装置を示すブロック図である。

【図2】本発明の立体形状検出装置を構成する制御手段のブロック図である。

【図3】本発明の立体形状検出装置の制御手段により作成される撮影シナリオの一例を示す図である。

【図4】本発明の立体形状検出方法の手順を示すフローチャート図である。

【図5】従来の立体形状検出装置を示すブロック図である。

【図6】従来の立体形状検出方法において使用される撮影シナリオの一例を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態を図１〜図４に基づいて説明する。

【0022】

本発明の立体形状検出装置は、ワークの形状を立体的に検出するものである。本実施形態では、ワークは、ボンディングワイヤを含む電子部品であり、具体的には、ワークは、基板本体に設けられたチップ上にボンディングパッドが設けられ、ワイヤの一端部がボンディングパッドに接合されており、ワイヤの他端部が基板本体上のランド部に接合されたものである。そして、このようなワークが基板本体に多数並んでいる。

【0023】

本発明の立体形状検出装置は、図１に示すように、撮影手段１と制御手段２（コントローラ）とから構成されている。

【0024】

撮影手段１は、カメラ３と、レンズ４と、明視野照明５と、暗視野照明６と、照明電源７とを備えている。カメラ３は、例えばＣＣＤカメラにて構成され、レンズ４は下方に向けられて、撮影物体であるワークＷの画像データを取得する。カメラ３及びレンズ４が、ワークＷの画像を取得する撮影部１ａとなる。カメラ３は制御手段２に電気的に接続されており、カメラ３により取得されたワークＷの画像データは、制御手段２内に取り込まれて画像処理される。

【0025】

カメラ３は図示省略のフレームに支持されており、Ｚ移動機構８によりカメラ３、レンズ４、及び明視野照明５からなる移動ユニットＵ（図１において点線で囲まれた部分）を、図１の矢印に示すように、ワークＷと相対的に接近及び離間する方向（本実施形態では、Ｚ（上下）方向）に往復動させることができる。すなわち、本実施形態では、撮影部１ａ及び明視野照明５が上下に移動することになる。Ｚ移動機構８は、シリンダ機構、ボールねじ機構、リニアモータ機構等の種々の機構にて構成することができる。Ｚ移動機構８は、制御手段２に電気的に接続されており、制御手段２の制御によりＺ移動機構８が駆動される。これにより、撮影部１ａを上下動させつつワークＷの撮影を行えば、焦点の異なるワークＷの画像を複数取得することができる。

【0026】

本実施形態において、照明手段は図１に示すように、明視野照明５と暗視野照明６とを備える。明視野照明とは、測定対象物を照らす光線を光軸中心に沿って垂直に照明することをいう。暗視野照明とは、測定対象物を照らす光線を光軸中心ではなく、斜めから照射することをいう。すなわち、一般的に明視野は、直接光を観察するもので、その場合の照明方法は直接光照明法といい、例えばチップ表面等の平面部では正常部分が明るく観察される。また、暗視野は、散乱光を観察するもので、その場合の照明方法は散乱光照明法といい、例えばボンディングワイヤ等の傾斜部が明るく観察される。

【0027】

本実施形態の明視野照明５は、レンズ４の光路内に組み込まれた、いわゆる同軸照明の構成となっている。すなわち、明視野照明５（光源）から照射された照射光は、レンズ４に内蔵されたハーフミラー９を反射してワークＷに到達し、ワークＷからの反射光がカメラ３に到達する。明視野照明５は、照明電源７を介して制御手段２と電気的に接続されており、制御手段２の制御により照明電源７が切替られて、明視野照明５をオンオフ制御したり、明視野照明５からの照射光の強さを変化させたりすることができる。

【0028】

暗視野照明６は、ワークＷに対して斜めから照射できるものであり、例えば発光部が周方向に所定ピッチ（等ピッチであっても、不定ピッチであってもよい。）で複数個配設した、いわゆるリング照明等にて構成したり、撮影軸とワークＷとが直交するように配置されているときに、ワークＷと照明軸とのなす角（仰角）が所定角度となるように単一の発光部を配設したもの等で構成することができる。暗視野照明６は、照明電源７を介して制御手段２と電気的に接続されており、制御手段２の制御により照明電源７が切替られて、暗視野照明６をオンオフ制御したり、暗視野照明６からの照射光の強さを変化させたりすることができる。

【0029】

照明電源７は複数のチャンネルを有しており、後述する制御手段２の照明調整部１１（図２参照）の制御にて明視野照明５又は暗視野照明６のいずれか一方をオンオフ制御したり、明視野照明５の明るさ（照明光の強さ）及び暗視野照明６の明るさ（照明光の強さ）を個別に変更することができる。

【0030】

ワークＷは、暗視野照明６の下方に配置されたテーブル２０に載置される。テーブル２０は、図示省略の駆動手段により水平方向の移動が可能である。これにより、ワークＷを移動させて、撮影位置を調整することができる。また、テーブル２０が上下方向に移動可能である場合は、テーブル２０を上下動させることによって、撮影部１ａの位置を動かすことなく（上下動させることなく）焦点位置を変化させることができる。

【0031】

制御手段２は、例えば、ＣＰＵ（Central Processing Unit）を中心としてＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等がバスを介して相互に接続されたマイクロコンピュータで構成できる。マイクロコンピュータには記憶装置が接続される。記憶装置は、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）ドライブ、ＣＤ−Ｒ（Compact Disc-Recordable）ドライブ、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等から構成できる。なお、ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。

【0032】

制御手段２は、図２に示すように、撮影シナリオ生成部１０と、照明調整部１１と、Ｚ移動機構制御部１２と、メモリ１３と、全焦点画像作成部１４とを備えている。撮影シナリオ生成部１０は、予め設定された条件に基づいて撮影シナリオを生成するものである。「撮影シナリオ」とは、ワークＷを撮影するための条件であって、具体的には、撮影部１ａのワークＷに対する接近又は離間速度、撮影手段１の照明条件、撮影タイミング、及び撮影枚数が設定された条件である。「予め設定された条件」とは、撮影部１ａの移動範囲、撮影部１ａの撮影ピッチ（どのような距離間隔で撮影するか）、及び複数の照明条件のいずれか又は全部であり、ユーザにより設定される。また、「複数の照明条件」とは、本実施形態では、第１の照明条件と第２の照明条件との２つの照明条件からなり、第１の照明条件が明視野照明、第２の照明条件が暗視野照明であるとする。

【0033】

すなわち、ユーザがＧＵＩ１５（Graphical User Interface：コンピュータとユーザとを結びつけるインターフェースであり、情報の表示や操作を行うものである。画面上にはウィンドウ、アイコン、ボタンなどが表示される。）を介して撮影部１ａの移動範囲、撮影部１ａの撮影ピッチ、及び複数の照明条件を設定する。これらは、ワークＷの種類、ワークＷの検査を行うために必要な検査精度、カメラ３やレンズ４の性能等を考慮して、ユーザが任意に設定する。ユーザに設定されたこれらの条件から、撮影シナリオ生成部１０は、ワークＷを撮影するための撮影シナリオを生成する。具体的には、撮影シナリオ生成部１０は、撮影部１ａの移動速度の上限及びカメラ３のフレームレート（カメラ３が１秒間に出力できる画像枚数）の上限の情報を有しており、これらの情報と、ユーザに与えられた条件から、撮影部１ａのワークＷに対する接近又は離間速度、撮影手段１の照明条件、及び撮影枚数を演算により決定する。なお、撮影シナリオ生成部１０は、カメラ３の撮影視野の設定から、フレームレートを演算することができる。すなわち、撮影視野が狭いと、転送するデータ量が少なくなるためフレームレートが上がり、撮影視野が広いと、転送するデータ量が多くなるためフレームレートが下がるため、撮影シナリオ生成部１０はカメラ３の撮影視野に基づきこれらの演算も行うことができる。

【0034】

前記したように、撮影シナリオは、ユーザから与えられた条件と、撮影部１ａの移動速度上限及びカメラ３のフレームレートの上限とから計算することにより決定される。すなわち、撮影する際に、撮影部１ａの移動速度とカメラ３のフレームレートとで、どちらの能力が低く、撮影の能力や速度を制約するかは、ユーザから与えられた設定に依存する。例えば、細かい撮影ピッチで頻繁に画像を取得する場合は、撮影部１ａの移動速度（つまり、Ｚ移動機構８の能力）は上限に達していない（それ以上の速さにできる余力がある）一方、カメラ３のフレームレートの上限（カメラ３が撮影できる最大速さ）で撮影することになる。すなわち、この場合はフレームレートの上限が撮影の能力や速度に対して支配的なものとなる。一方、粗い撮影ピッチで少ない画像を取得する場合は、カメラ３のフレームレートは上限に達していない（それ以上の速さで撮影できる余力がある）一方、撮影部１ａの移動速度は上限（Ｚ移動機構８が出力できる最大能力）に達する。すなわち、この場合は撮影部１ａの移動速度上限が撮影の能力や速度に対して支配的なものとなる。

【0035】

撮影シナリオの一例として、本実施形態では図３のようなものとしている。図３の撮影シナリオは、撮影部１ａのＺ方向の移動速度が、下降の際は、（撮影部１ａの移動範囲）／ｔ１であり、上昇の際は、（撮影部１ａの移動範囲）／（ｔ２−ｔ１）である。なお、撮影部１ａの移動範囲はユーザにより与えられたものである。照明条件は、明視野照明である第１の照明条件と、暗視野照明である第２の照明条件の２種類から構成され、ユーザに与えられた設定である。撮影タイミングは、撮影部１ａが下降するタイミングでワークＷを撮影するものであり、ユーザに与えられた撮影の距離間隔（撮影ピッチ）から、カメラ３は、撮影部１ａの下降中に時間（ｔ１／１０）毎のタイミングで画像データを取得する。撮影枚数は、第１の照明条件と第２の照明条件とで夫々５枚ずつ、合計１０枚である。

【0036】

照明調整部１１は、照明電源７を制御するものであって、撮影手段１の照明条件を可変とし、１回のワークＷへの接近又は離間中に、複数の照明条件に切替えるものである。すなわち、照明調整部１１は、撮影シナリオ生成部１０にて生成された撮影シナリオに基づき、照明電源７を、第１の照明条件と第２の照明条件とに交互に切替えるように照明電源７を制御する。この場合、明視野照明５及び暗視野照明６をオンオフ制御してもよいが、本実施形態では、明視野照明５及び暗視野照明６の強さを夫々コントロールする。これにより、高速に第１の照明条件と第２の照明条件とを切替えることができる。

【0037】

Ｚ移動機構制御部１２は、Ｚ移動機構８を制御するものである。すなわち、Ｚ移動機構制御部１２は、撮影シナリオ生成部１０にて生成された撮影シナリオに基づき、Ｚ移動機構８を、撮影シナリオの速度で撮影部１ａを移動させるように制御する。具体的には、図３に示す撮影シナリオを生成した場合、Ｚ移動機構制御部１２は、撮影部１ａが下降する際は、（撮影部１ａの移動範囲）／ｔ１の速度で撮影部１ａが移動するようにＺ移動機構８を制御し、撮影部１ａが上昇する際は、（撮影部１ａの移動範囲）／（ｔ２−ｔ１）の速度で撮影部１ａが移動するようにＺ移動機構８を制御する。

【0038】

メモリ１３は、カメラ３により取得した画像データを格納するものである。メモリ１３は、複数の格納部（第１部１３ａ、第２部１３ｂ・・・）を有しており、同じ照明条件で取得した画像データ毎に格納される。例えば、本実施形態では、第１部１３ａには第１の照明条件により撮影した画像データのみが格納され、第２部１３ｂには第２の照明条件により撮影した画像データのみが格納される。このように、照明条件毎にグループ分けされた状態で画像データが格納される。

【0039】

全焦点画像作成部１４は、いわゆる合焦点法による処理を行うものであって、焦点の異なる複数の画像データに基づいて全焦点画像を作成するものである。この場合、全焦点画像作成部１４は、照明条件毎で夫々の全焦点画像を作成する。全焦点画像とは、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し（合焦位置を検出し）、フォーカスの合っている局所画像の組み合わせで再構成したものであり、全てのピクセルにおいてフォーカスが合っている。全焦点画像は、同一の照明条件毎に作成される。すなわち、本実施形態では、第１の照明条件により撮影し、焦点の異なる複数の画像データから作成された第１の全焦点画像と、第２の照明条件により撮影し、焦点の異なる複数の画像データから作成された第２の全焦点画像とが作成される。これらの全焦点画像は表示手段１６に表示される。

【0040】

また、制御手段２には図示省略の検査部が設けられていてもよく、夫々の全焦点画像に基づいてワークＷの良否の判定を行えるようにしてもよい。

【0041】

本実施形態の立体形状検出装置は、立体形状検出プログラムをコンピュータにインストールすることで実現することができる。その立体形状検出プログラムは、ワークＷを撮影する撮影部１ａが、複数の照明条件で、ワークＷと相対的に接近及び離間して焦点の異なるワークＷの画像を撮影し、画像に基づいてワークＷの立体形状の検出を実行させる立体形状検出プログラムにおいて、予め設定された条件に基づいて、ワークＷを撮影するための条件である撮影シナリオを生成するステップと、前記撮影部１ａとワークＷとの、１回の相対的な接近又は離間中に複数の照明条件に切替えてワークＷを複数回撮影するステップと、同一の照明条件で撮影され、焦点の異なる複数の画像データに基づいて、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで再構成した全焦点画像を、夫々の照明条件毎で作成するステップとを備えている。

【0042】

前記立体形状検出プログラムがインストールされた本実施形態の立体形状検出装置を使用して、ワークＷ（本実施形態では、ボンディングワイヤを有する電子部品）の立体形状を検出する方法を図４を用いて説明する。

【0043】

ユーザは、ワークＷの種類、ワークＷの検査を行うために必要な検査精度、カメラ３やレンズ４の性能等から、ＧＵＩ１５より、撮影シナリオを生成するための条件を与える（ステップＳ１）。本実施形態において、ユーザが設定する条件は、撮影部１ａの移動範囲、撮影部１ａの撮影ピッチ（どのような距離間隔で撮影するか）、及び複数の照明条件である。照明条件は、本実施形態では、第１の照明条件である明視野照明と、第２の照明条件である暗視野照明の２つとする。

【0044】

撮影シナリオ生成部１０は、ユーザに設定されたこれらの条件から、図３に示すような、ワークＷを撮影するための撮影シナリオを生成する（ステップＳ２）。すなわち、撮影シナリオ生成部１０は、撮影部１ａの移動速度の上限及びカメラ３のフレームレートの上限の情報と、ユーザに与えられた条件とから、撮影部１ａのワークＷに対する接近又は離間速度、撮影手段１の照明条件、及び撮影枚数を演算により決定する。

【0045】

生成された撮影シナリオに基づいて、Ｚ移動機構制御部１２は、撮影部１ａが下降する際は、（撮影部１ａの移動範囲）／ｔ１の速度で撮影部１ａが移動するようにＺ移動機構８を制御し、撮影部１ａが上昇する際は、（撮影部１ａの移動範囲）／（ｔ２−ｔ１）の速度で撮影部１ａが移動するようにＺ移動機構８を制御する。

【0046】

この場合、カメラ３は、１回のワークへの接近（下降）中に、時間（ｔ１／１０）毎に画像データを取得する。その際、照明電源７は、照明調整部１１の制御にて照明の強さをコントロールすることにより、撮影毎に、第１の照明条件（明視野照明）と第２の照明条件（暗視野照明）とに交互に切替える。これにより、第１の照明条件で焦点の異なる複数（本実施形態では５枚）の画像データを取得するとともに、第２の照明条件で焦点の異なる複数（本実施形態では５枚）の画像データを取得する（ステップＳ３）。第１の照明条件により撮影された画像データは、メモリ１３の第１部１３ａに格納され、第２の照明条件により撮影された画像データは、メモリ１３の第２部１３ｂに格納される。

【0047】

次に、ワークＷからの離間（上昇）中に、全焦点画像作成部１４は、第１の照明条件により撮影し、焦点の異なる複数の画像データから作成された第１の全焦点画像と、第２の照明条件により撮影し、焦点の異なる複数の画像データから作成された第２の全焦点画像とを作成する３Ｄ合成処理が行われる（ステップＳ４）。これらの全焦点画像は表示手段１６に表示される。このとき、制御手段２は、夫々の全焦点画像に基づいて、ワークの良否の判断を行ってもよい。

【0048】

立体形状の検出対象となるワークＷがさらに存在する場合には（ステップＳ５）、撮影部１ａの上昇中、すなわち、制御手段２が前記３Ｄ合成等を行っている間に、次の検出対象となるワークＷを検出位置（レンズ４の下方位置）に移動させ（ステップＳ６）、次のワークＷでもステップＳ３及びＳ４を実行する。

【0049】

本発明の立体形状検出装置、立体形状検出方法、及び立体形状検出プログラムは、撮影部１ａの１回のワークＷへの接近中に、複数の照明条件でワークＷを撮影するものであるため、１回のワークＷへの接近で複数種（本実施形態では２種）の照明条件の全焦点画像を形成することができる。すなわち、１回のワークＷへの接近によりワークＷの立体形状を検出するために必要な情報を得ることができ、撮影部１ａが上昇する間に、画像処理を行ったり、次の検出対象となるワークＷを検出位置に移動させることができるため、複数の照明条件で合焦点法に基づいてワークＷの立体形状を検出する際に、検出サイクルを短くすることができる。

【0050】

前記実施形態では、照明条件は、第１の照明条件と第２の照明条件との２つの条件であったが、第２実施形態として、３つ以上の照明条件としてもよい。この場合、明視野照明５を複数の強さとしたり、暗視野照明６を複数の強さとしたりすれば、夫々の照明の異なる強さの数だけ照明条件ができる。すなわち、照明強さＬ１での明視野照明を第１の照明条件、・・・照明強さＬｎ（ｎは１以上の任意の数）での明視野照明を第ｎの照明条件（Ｌ１＞・・・＞Ｌｎ）、強さｌ１での暗視野照明を第（ｎ＋１）の照明条件、・・・照明強さｌｍ（ｍは１以上の任意の数）での暗視野照明を第（ｎ＋ｍ）の照明条件（ｌ１＞・・・＞ｌｍ）として、ｎ又はｍが２以上（すなわち、明視野照明と暗視野照明とのいずれかが複数の強さで照射する）であれば、３つ以上の照明条件とすることができる。この場合、照明条件の数に応じた全焦点画像が形成される。

【0051】

第３の実施形態として、撮影手段１として明視野照明５のみを備え、暗視野照明６を備えないものであってもよい。この場合、照明強さＬ１での明視野照明を第１の照明条件、照明強さＬ２での明視野照明を第２の照明条件・・・とすることにより、明視野照明５のみで複数の照明条件を構成することができる。

【0052】

第４の実施形態として、撮影手段１として暗視野照明６のみを備え、明視野照明５を備えないものであってもよい。この場合、照明強さｌ１での暗視野照明を第１の照明条件、照明強さｌ２での暗視野照明を第２の照明条件・・・とすることにより、暗視野照明６のみで複数の照明条件を構成することができる。

【0053】

第５の実施形態として、撮影部１ａの上昇中にワークＷの撮影を行い、撮影部１ａの下降中に画像処理及び次のワークＷの移動を行ってもよい。さらに、立体形状の検出対象であるワークＷと、次の検出対象であるワークＷとの距離が近い場合等は、ワークＷの移動距離が短いため、次のワークＷへの移動時間が短い場合がある。この場合は、撮影部１ａの下降中（上昇中）にワークＷの撮影を行い、次のワークＷへ移動して、次に撮影部１ａが上昇（下降）する際に次のワークＷの撮影を行ってもよい。

【0054】

第６の実施形態として、Ｚ移動機構制御部１２は、ワークＷを載置するテーブル２０と電気的に接続されていてもよく、テーブル２０の上下動を制御することにより焦点を移動させるものであってもよい。また、Ｚ移動機構制御部１２は、Ｚ移動機構８及びテーブル２０の両方を制御するものであってもよい。

【0055】

以上、本発明の実施形態につき説明したが、本発明は前記実施形態に限定されることなく種々の変形が可能であって、例えば、立体形状の検出対象となるワークとしては、電子部品に限らず、立体的形状を有するものであれば種々のものであってよい。電子部品である場合、ボンディングワイヤを有さないものであってもよく、例えばチップが階段状に積層されているもの等の立体形状を検出するものであってもよい。

【0056】

撮影シナリオを構成する要素としては、撮影部とワークとの相対的な接近又は離間速度、撮影手段の照明条件、撮影タイミング、及び撮影枚数のうち、いずれか１つから構成されても、いずれか２つ、いずれか３つから構成されてもよいし、これら以外の要素にて構成されてもよい。すなわち、撮影シナリオは、ワークが撮影される環境、カメラやレンズの性能、ワークの種類等に応じて種々の要素にて構成することができる。撮影シナリオを生成するためにユーザが予め設定する条件としては、撮影部の移動範囲、撮影部の撮影ピッチ、及び複数の照明条件のうち、いずれか１つであっても、いずれか２つであっても、３つ全てであってもよいし、これら以外の条件を設定するものであってもよい。

【0057】

夫々の照明条件での撮影は、Ｚ方向に等間隔で撮影するのが好ましいが、必ずしも等間隔でなくてもよい。例えば、照明条件が２つの場合に、照明条件１と照明条件２とで交互に切替えるのが立体形状の合成においては好ましいが、交互ではなく、照明条件１、照明条件１、照明条件２の順に撮影する等であってもよい。また、１回の下降中（又は上昇中）で、ある高さ範囲では照明条件１のみで撮影し、それ以外の高さ範囲では照明条件２のみで撮影する等の設定を行ってもよい。

【0058】

明視野照明を備える場合、明視野照明はレンズの外に設けられていてもよい。この場合、Ｚ方向へ移動する移動ユニットは、カメラ及びレンズからなる撮影部のみであって、明視野照明はＺ方向へ移動しない構成とすることができる。

【符号の説明】

【0059】

１ 撮影手段
１ａ 撮影部
２ 制御手段
５ 明視野照明
６ 暗視野照明
１０ 撮影シナリオ生成部
１１ 照明調整部
１４ 全焦点画像作成部
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】