特許 7459525 三次元形状計測装置、三次元形状計測方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】三次元形状計測装置、三次元形状計測方法及びプログラム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240326BHJP

【ＦＩ】

G01B11/25 H

【請求項の数】 11

(21)【出願番号】P 2020011895

(22)【出願日】2020-01-28

(65)【公開番号】P2021117157

(43)【公開日】2021-08-10

【審査請求日】2022-11-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】藤井 心平

(72)【発明者】

【氏名】田中 貴茂

【審査官】櫻井 仁

(56)【参考文献】

【文献】特開２０１８－０８１０４８（ＪＰ，Ａ）

【文献】特開２０１６－０１１８５７（ＪＰ，Ａ）

【文献】特開２０１９－１２０６４３（ＪＰ，Ａ）

【文献】特開２００３－１７２７０９（ＪＰ，Ａ）

【文献】特開２００８－２１６１８０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０２３８２３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／２５

(57)【特許請求の範囲】

【請求項1】

計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影手段と、
前記計測対象を撮影する撮影手段と、
前記撮影手段によって撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測手段と、を有する三次元形状計測装置であって、
前記撮影手段は、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、
前記計測手段は、前記複数のパターン投影画像を構成する各画素における輝度の各画像間の相違に基づき、各パターン投影画像間の前記計測対象における同一の箇所を示す画素の輝度が最も大きい前記パターン投影画像に投影された前記パターン光が照射された方向と対向するように前記傾斜の斜面が向いているものとして、前記三次元形状を計測する、
ことを特徴とする、三次元形状計測装置。

【請求項2】

前記投影手段は、前記計測対象を中心とする一の円周上において、少なくとも前記計測対象を中心として対向する複数の異なる位置から、前記計測対象に対して前記パターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項１に記載の三次元形状計測装置。

【請求項3】

前記投影手段は、前記計測対象を中心とする円周方向に回動可能に配置されて、前記計測対象を中心とする一の円周上の複数の異なる位置から前記計測対象に対してパターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項１又は２に記載の三次元形状計測装置。

【請求項4】

前記投影手段は、前記計測対象を中心として一の円周上の複数の異なる位置に、複数配置され、それぞれが前記計測対象にパターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項１又は２に記載の三次元形状計測装置。

【請求項5】

前記計測対象に対して、鉛直方向から水平方向の間における複数の異なる角度から、それぞれ異なる波長の照明光を照射する照明手段をさらに有しており、
前記撮影手段は、前記照明光が照射された前記計測対象の照明光照射画像をさらに取得し、
前記計測手段は、前記照明光照射画像における前記照明光の強度又は波長のいずれかを含む反射の態様から前記傾斜の程度をさらに計測する、
ことを特徴とする、請求項１から４のいずれか一項に記載の三次元形状計測装置。

【請求項6】

前記撮影手段が取得した前記照明光照射画像、及び、前記複数のパターン投影画像から作成される特殊画像を表示する画像表示手段をさらに有しており、
前記特殊画像は、前記照明光照射画像から得られる前記傾斜の有無及び程度と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び／又は模様により識別可能に表示分けされた画像である、
ことを特徴とする、請求項５に記載の三次元形状計測装置。

【請求項7】

計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影ステップと、
前記計測対象を撮影する撮影ステップと、
前記撮影ステップで撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測ステップと、を有する三次元形状計測方法であって、
前記撮影ステップでは、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、
前記計測ステップでは、前記複数のパターン投影画像を構成する各画素における輝度の各画像間の相違に基づき、各パターン投影画像間の前記計測対象における同一の箇所を示す画素の輝度が最も大きい前記パターン投影画像に投影された前記パターン光が照射された方向と対向するように前記傾斜の斜面が向いているものとして、前記三次元形状を計測する、
ことを特徴とする、三次元形状計測方法。

【請求項8】

前記投影ステップでは、少なくとも前記計測対象を中心として対向する複数の異なる位置から、前記計測対象に対して前記パターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項７に記載の三次元形状計測方法。

【請求項9】

前記計測対象に対して、鉛直方向から水平方向の間における複数の異なる角度から、それぞれ異なる波長の照明光を照射する照明ステップをさらに有しており、
前記撮影ステップでは、前記照明光が照射された前記計測対象の照明光照射画像をさらに取得し、
前記計測ステップでは、前記照明光照射画像における前記照明光の強度又は波長のいずれかを含む反射の態様から前記傾斜の程度をさらに計測する、
ことを特徴とする、請求項７又は８に記載の三次元形状計測方法。

【請求項10】

前記撮影ステップで取得した前記照明光照射画像、及び、前記複数のパターン投影画像から作成される特殊画像を表示する画像表示ステップをさらに有しており、
前記特殊画像は、前記照明光照射画像から得られる前記傾斜の有無及び程度と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び／又は模様により識別可能に表示分けされた画像である、
ことを特徴とする、請求項９に記載の三次元形状計測方法。

【請求項11】

請求項７から１０のいずれか一項に記載の各ステップを、三次元形状計測装置に実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元形状の測定装置、三次元形状計測方法及びプログラムに関する。

【背景技術】

【0002】

従来から、プリント基板に実装された部品のはんだ接合状態を検査する技術分野等において、いわゆる位相シフト法による三次元形状の計測方法が知られている。位相シフト法とは、パターン光を物体表面に投影した状態の画像を、位相を変えて複数取得（撮影）し、当該複数の画像におけるパターンの歪みを解析することにより物体表面の三次元形状を復元する手法の一つである。このような位相シフト法を用いてプリント基板を計測する場合、はんだのような鏡面性の高い部材に照射された光が正反射してしまい、計測精度に悪影響を及ぼすといった問題があった。

【0003】

これに対して、例えば特許文献１には、上記位相シフト法に、いわゆるカラーハイライト方式による鏡面物体の三次元形状計測を組み合わせた基板検査装置が開示されている。なお、カラーハイライト方式とは、複数の色（波長）の光を互いに異なる入射角で基板に照射し、はんだ表面にその法線方向に応じた色特徴（カメラから見て正反射方向にある光源の色）が現れるようにした状態で撮像を行うことにより、はんだ表面の三次元形状を二次元の色相情報として捉える方法である。これにより、プリント基板の鏡面部分にはカラーハイライトによる計測を行い、樹脂などの拡散物体には位相シフト法による計測を行うことにより、三次元形状計測の精度を高くすることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１１８５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上記特許文献１に記載の検査装置によっても、計測対象の表面の傾斜傾斜の「方向」については、判別が困難であるという問題がある。即ち、プリント基板の検査でいうと、はんだ表面の傾斜が、電極に対して積み上がっている（いわゆる濡れ上がっている）のか、或いは、電極に対して低くなっている（いわゆる不濡れの状態）のかが、精度良く判定することが困難となる。

【0006】

本発明は、上記のような実情に鑑みてなされたものであり、三次元形状計測において、計測対象に含まれる傾斜の方向を精度良く判別する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記の目的を達成するために、本発明は以下の構成を採用する。

【0008】

本発明に係る三次元形状計測装置は、計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影手段と、前記計測対象を撮影する撮影手段と、前記撮影手段によって撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測手段と、を有する三次元形状計測装置であって、前記撮影手段は、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、前記計測手段は、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する、ことを
特徴とする。

【0009】

なお、ここでいう「計測」には、計算により測定することも含む（以下同じ）。また、「パターン」とは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。また、ここでいう「傾斜」は、水平面に対して直線で定義される傾きだけでなく、曲線によって定義される広義の意味合いの傾きを含む意味である。また、当該傾斜を含んでなる斜面も、平面だけでなく曲面を含む広義の意味合いの斜面を含む意味に解する。以下、本明細書中においては同様の意味に解する。

【0010】

なお、「パターン光の強度を含む反射の態様が異なる複数のパターン投影画像」とは、同一のパターンが同一の方向から照射されたパターンの位相が異なるだけの複数の画像を指すのでは無く、複数の異なる方向からパターン光が照射されたために、パターン光の反射の態様が異なっている複数の画像のことを示している。

【0011】

このような構成であると、計測対象に含まれる傾斜の方向を計測することが可能になるため、当該傾斜部分の三次元形状を精度良く計測することができる。なお、所定の特徴量としては、例えば各画素の輝度とすることができる。

【0012】

また、前記投影手段は、前記計測対象を中心とする一の円周上において、少なくとも前記計測対象を中心として対向する複数の異なる位置から、前記計測対象に対して前記パターン光を投影することによって、前記複数の方向からパターン光を投影するものであってもよい。このような構成であると、計測対象においてパターン光が照射されない影の部分が生じることを抑制することができる。

【0013】

また、前記投影手段は、前記計測対象を中心とする円周方向に回動可能に配置されて、前記計測対象を中心とする一の円周上の複数の異なる位置から前記計測対象に対してパターン光を投影することによって、前記複数の方向からパターン光を投影するものであってもよい。

【0014】

このような構成によると、円周上の所望の位置から前記計測対象にパターン光を照射させることができ、計測対象の所定の部位の向き及び形状に関わらず、最適な方向からパターン光を照射することができる。また、前記投影手段は、前記計測対象を中心として一の円周上の複数の異なる位置に、複数配置され、それぞれが前記計測対象にパターン光を投影することによって、前記複数の方向からパターン光を投影するものであってもよい。

【0015】

また、前記三次元形状計測装置は、前記計測対象に対して、鉛直方向から水平方向の間における複数の異なる角度から、それぞれ異なる波長の照明光を照射する照明手段をさらに有しており、前記撮影手段は、前記照明光が照射された前記計測対象の照明光照射画像をさらに取得し、前記計測手段は、前記照明光照射画像における前記照明光の強度又は波長のいずれかを含む反射の態様から、前記傾斜の程度をさらに計測するものであってもよい。

【0016】

このような構成であると、カラーハイライト方式による三次元形状計測を行うことが可能になり、計測対象に含まれる傾斜の程度を精度良く計測することができる。また、カラーハイライト方式による三次元形状計測と、位相シフト法と組み合わせることにより、計測の精度を向上させることができる。

【0017】

また、前記三次元形状計測装置は、前記撮影手段が取得した前記照明光照射画像、及び、前記複数のパターン投影画像から作成される特殊画像を表示する画像表示手段をさらに有しており、前記特殊画像は、前記照明光照射画像から得られる前記傾斜の有無及び程度
と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び／又は模様により識別可能に表示分けされた画像であってもよい。

【0018】

このような構成によると、ユーザーは二次元の画像を確認することによって、前記三次元計測装置が計測した前記計測対象の三次元形状を認識することが可能になる。また、前記画像を実際の計測対象と比較することにより、三次元計測装置の設定を調整することも可能になる。

【0019】

また、本発明に係る三次元形状の計測方法は、計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影ステップと、前記計測対象を撮影する撮影ステップと、前記撮影ステップで撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測ステップと、を有する三次元形状計測方法であって、前記撮影ステップでは、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、前記計測ステップでは、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する。

【0020】

また、前記投影ステップでは、少なくとも前記計測対象を中心として対向する複数の異なる位置から、前記計測対象に対して前記パターン光を投影することによって、前記複数の方向からパターン光を投影するものであってもよい。

【0021】

また、前記三次元形状計測方法は、前記計測対象に対して、鉛直方向から水平方向の間における複数の異なる角度から、それぞれ異なる波長の照明光を照射する照明ステップをさらに有しており、前記撮影ステップでは、前記照明光が照射された前記計測対象の照明光照射画像をさらに取得し、前記計測ステップでは、前記照明光照射画像における前記照明光の強度又は波長のいずれかを含む反射の態様から前記傾斜の程度をさらに計測するものであってもよい。

【0022】

また、前記三次元形状計測方法は、前記撮影ステップで取得した前記照明光照射画像、及び、前記複数のパターン投影画像から作成される特殊画像を表示する画像表示ステップをさらに有しており、前記特殊画像は、前記照明光照射画像から得られる前記傾斜の有無及び程度と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び／又は模様により識別可能に表示分けされた画像であってもよい。

【0023】

また、本発明は、上記の方法を三次元形状計測装置に実行させるためのプログラム、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。

【0024】

また、上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0025】

本発明によれば、三次元形状計測において、計測対象に含まれる傾斜の方向を精度良く判別する技術を提供することができる。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の適用例に係る三次元形状計測装置の構成を示す模式図である。

【図2】図２は、本発明の適用例に係る三次元形状計測装置の三次元形状計測処理の流れを示すフローチャートである。

【図3】図３は、実施形態１に係る基板検査装置のハードウェア構成を示す模式図である。

【図4】図４は、実施形態１に係る情報処理装置の機能を説明するブロック図である。

【図5】図５は、実施形態１に係る照明装置の構成を説明する平面図である。

【図6】図６Ａは、計測対象となる基板のはんだ付け部を説明する側面図である。図６Ｂは、基板のはんだ付け部のカラーハイライト画像を説明する図である。図６Ｃは、基板のはんだ付け部のカラーハイライト補正画像を説明する図である。

【図7】図７は、実施形態１に係る基板検査装置の基板検査処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0027】

以下、図面を参照して、本発明の実施例について説明する。

【0028】

＜適用例＞
（適用例の構成）
本発明は例えば、図１に示すような三次元形状測定装置に適用することができる。図１は本適用例に係る三次元形状測定装置９の構成を示す模式図である。三次元形状測定装置９は、計測対象Ｏの三次元形状を測定する装置であり、図１に示すように主な構成として投影手段としてのプロジェクタ９１ａおよび９１ｂ、撮影手段としてのカメラ９２、測定手段としての情報処理装置９３（例えばコンピュータ）、を有している。計測対象Ｏには、傾斜を有する立体的な部位ＯＰが含まれる。

【0029】

プロジェクタ９１ａおよび９１ｂは、計測対象に対してパターンを投影する手段である。ここで、パターンとは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。本適用例では、プロジェクタ９１ａから投影されるパターンをパターンａ、プロジェクタ９１ｂから投影されるパターンをパターンｂとする。プロジェクタ９１ａ、９１ｂはそれぞれ計測対象Ｏに対して一定の傾斜角を有するように配置される。

【0030】

カメラ９２は、パターンが投影された状態の計測対象Ｏを撮影し、デジタル画像を出力する手段である。なお、以下では、撮影手段によって撮影された画像を観測画像とも表記する。カメラ９２は例えば、光学系とイメージセンサを有して構成される。図１に示すように、カメラ９２は計測対象Ｏの真上から計測対象Ｏを撮影するように配置される。なお、プロジェクタ９１ａとプロジェクタ９１ｂは、カメラ９２を中心に円周方向に沿って互いに対向する位置に配置される。

【0031】

情報処理装置９３は、プロジェクタ９１ａ、９１ｂ、カメラ９２及び搬送機構の制御、カメラ９２から取り込まれた画像に対する処理、三次元形状計測などの機能を有しており、本発明における計測手段に該当する。情報処理装置９３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、不揮発性の記憶装置（例えば、ハードデ
ィスクドライブ、フラッシュメモリなど）、入力装置（例えば、キーボード、マウス、タッチパネルなど）、表示装置（例えば、液晶ディスプレイなど）を備えるコンピュータにより構成することができる。

【0032】

以上の構成を有する三次元形状計測装置９において計測対象物Ｏの三次元形状の計測を行う際には、各プロジェクタから計測対象Ｏに投影するパターンの位相を変えながら、複
数枚の画像をカメラ９２によって撮影し、撮影された画像を情報処理装置９３が、例えば位相シフト法などによって処理することで、計測対象Ｏの三次元形状を計測する。

【0033】

（情報処理装置の機能）
続いて、情報処理装置９３の三次元形状計測に関わる機能を説明する。情報処理装置９３は、三次元形状計測に関わる機能モジュールとして、画像取得部９３１、高さデータ算出部９３２、特徴量抽出部９３３、特徴量比較部９３４、合成データ作成部９３５、三次元形状計測部９３６、を有している。

【0034】

画像取得部９３１はカメラ９２から三次元形状測定に用いる複数の観測画像を取り込む機能であり、例えば、測定対象物Ｏに投影されるパターンの位相が４分の１πずつ異なる画像４枚を、プロジェクタ９１ａの投影パターン、プロジェクタ９１ｂの投影パターンのそれぞれで取得する。本適用例では、プロジェクタ９１ａの投影パターンを、パターンａといい、これを撮影した観測画像を観測画像ａという。また、プロジェクタ９１ｂの投影パターンを、パターンｂといい、これを撮影した観測画像を観測画像ｂという。

【0035】

高さデータ算出部９３２は取得された複数の観測画像に基づいて、測定対象物Ｏの高さデータを算出する機能である。例えば、取得した４枚の観測画像間における測定対象物Ｏの表面上の一点の位置を表す画素の二次元の位相差に基づいて、当該点の高さを、観測画像ａ、観測画像ｂのそれぞれで求める。本適用例では、観測画像ａから算出される高さデータを高さデータａ、観測画像ｂから算出される高さデータを高さデータｂとして説明する。

【0036】

特徴量抽出部９３３は取得された各観測画像から、当該観測画像の各画素が有する特徴量（例えば輝度値）を抽出する。本適用例では、観測画像ａから抽出される特徴量データを特徴量データａ、観測画像ｂから抽出される特徴量データを特徴量データｂとして説明する。

【0037】

特徴量比較部９３４は、特徴量抽出部９３３によって抽出された特徴量データａと特徴量データｂとを比較する。より具体的には、各観測画像において計測対象Ｏの同一の箇所を表す画素同士の特徴量の値を比較し、その値が大きい方の画素は観測画像ａと観測画像ｂのいずれの画像の画素かを特定する。ここで、特徴量が輝度であった場合、より明るい、即ちより多くの光がカメラ９２に入光した方の画像が特定されることになる。そして、計測対象Ｏにおいて傾斜を有する箇所がある場合には、当該傾斜に対向する方向からパターン光が照射されている側の画像の画素の方がより明るくなるため、ここから当該傾斜の向きを特定することが可能になる。特徴量比較部９３４はこのようにして傾斜の向きの特定に係るデータ（以下、傾斜方向データ）を生成する。

【0038】

合成データ作成部９３５は、高さデータａ，ｂ及び傾斜方向データから、三次元形状計測用の合成データを作成する。具体的には、高さデータａ，ｂのプロファイルを所定の方法でつなげる、平均を取る、などの方法により合成して合成高さデータを生成し、これに対して傾斜方向データによる補正を行って、三次元形状のプロファイルデータを作成する。これにより、計測対象Ｏにおいて傾斜を有する箇所の向きが特定された三次元形状計測用のプロファイルデータを得る事ができる。

【0039】

三次元形状計測部９３６は、合成データ作成部９３５によって作成されたプロファイルデータに基づいて計測対象Ｏの三次元形状を計測する。

【0040】

（三次元形状計測処理の流れ）
次に、図２を参照して、本適用例における三次元形状計測の手順について説明する。ま
ず、情報処理装置９３はプロジェクタ９１ａを制御し、計測対象Ｏを中心とする円周上の第一の方向から、計測対象Ｏに対してパターンａを投影する（ステップＳ９０１）。次に、情報処理装置９３は、カメラ９２を制御して、第一の方向からパターンａ光が照射されている状態の計測対象Ｏを撮影し、観測画像ａを取得する（ステップＳ９０２）。

【0041】

次に、情報処理装置９３はプロジェクタ９１ｂを制御し、前記第一の方向と計測対象Ｏを挟んで対向する第二の方向から、計測対象Ｏに対してパターンｂを投影する（ステップＳ９０３）。次に、情報処理装置９３は、カメラ９２を制御して、第二の方向からパターンｂが投影されている状態の計測対象Ｏを撮影し、観測画像ｂを取得する（ステップＳ９０４）。

【0042】

次に、情報処理装置９３は、取得した観測画像ａ，ｂから、高さデータａ，ｂをそれぞれ算出し（ステップＳ９０５）、さらに各画像の画素が有する特徴量を抽出する（ステップＳ９０６）。情報処理装置９３は、続けて、抽出した特徴量を比較してより大きな特徴量を有する画素を用いて傾斜方向データを作成する（ステップＳ９０７）。そして、得られた、高さデータａ，ｂ及び傾斜方向から、計測対象Ｏの三次元形状計測用の合成データを生成し（ステップＳ９０８）、当該合成データに基づいて傾斜部位ＯＰを含む計測対象Ｏの三次元形状計測を行い（ステップＳ９０９）、一連の処理を終了する。なお、計測結果を図示しない表示装置に表示するようにしてもよい。また、特徴量の抽出は、必ずしも高さデータａ，ｂを算出するための観測画像ａ，ｂから行う必要はなく、別途、特徴量抽出のための画像データを取得するようにしてもよい。

【0043】

以上のような、本適用例に係る三次元形状計測装置９の構成により、計測対象Ｏにおいて傾斜を有する部位ＯＰがあった場合、傾斜の方向を特定した三次元形状プロファイルデータに基づいて、高精度な三次元形状の計測を行うことが可能になる。

【0044】

＜実施形態１＞
次に、本発明を実施するための形態の他の例である基板検査装置１について説明する。ただし、この実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

【0045】

（基板検査装置のハードウェア構成）
図３を参照して、本発明の実施形態に係る基板検査装置の全体構成について説明する。図３は基板検査装置のハードウェア構成を示す模式図である。この基板検査装置１は、表面実装ラインにおける基板外観検査（例えば、リフロー後のはんだ接合状態の検査など）に利用される。

【0046】

基板検査装置１は、主な構成として、ステージ１０、計測ユニット１１、制御装置１２、情報処理装置１３、表示装置１４を備える。計測ユニット１１は、カメラ１１０、照明装置１１１、パターン投影装置（プロジェクタ）１１２を有している。

【0047】

ステージ１０は、基板Ｋを保持し、検査対象となる部品ＫＢやはんだＫＨをカメラ１１０の計測位置に位置合わせするための機構である。図３に示すようにステージ１０に平行にＸ軸とＹ軸をとり、ステージ１０と垂直にＺ軸をとった場合、ステージ１０は少なくともＸ方向とＹ方向の２軸の並進が可能である。カメラ１１０は、光軸がＺ軸と平行になるように配置されており、ステージ１０上の基板Ｋを鉛直上方から撮像する。カメラ１１０で撮像された画像データは情報処理装置１３に取り込まれる。

【0048】

照明装置１１１（１１１Ｒ，１１１Ｇ，１１１Ｂ）は、基板Ｋに対し異なる色（波長）
の照明光を照射する照明手段である。図３は照明装置１１１のＸＺ断面を模式的に示したものであり、実際には、同じ色の光を全方位（Ｚ軸回りの全方向）から照明可能なように照明装置１１１は円環状又はドーム形状を呈している。プロジェクタ１１２ａ，ｂは、基板Ｋに対し所定のパターンをもつパターン光を投影するパターン投影手段である。プロジェクタ１１２は、照明装置１１１の中腹に設けられた開口を通してパターン光を投射する。本実施形態では、基板Ｋを挟んで対角の位置に２つのプロジェクタ１１２を配置しているが、これ以上のプロジェクタを設けてもよい。照明装置１１１とプロジェクタ１１２はいずれもカメラ１１０で基板Ｋを撮影するときに用いられる照明系であるが、照明装置１１１ははんだなどの鏡面物体の表面形状を計測する目的で用いられ、プロジェクタ１１２は部品などの拡散物体の表面形状を計測する目的で用いられる。

【0049】

制御装置１２は、基板検査装置１の動作を制御する制御手段であり、ステージ１０の移動制御、照明装置１１１の点灯及び調光制御、プロジェクタ１１２ａ，ｂの点灯制御やパターン変更、カメラ１１０の撮像制御などを担っている。

【0050】

情報処理装置１３は、カメラ１１０から取り込まれた画像データを用いて、部品ＫＢやはんだＫＨに関する各種の計測値を取得したり、部品ＫＢのはんだ接合の状態を検査する機能を有する装置である。表示装置１４は、情報処理装置１３で得られた計測値や検査結果を表示する装置である。情報処理装置１３は、例えば、ＣＰＵ、ＲＡＭ、不揮発性の記憶装置、入力装置を有する汎用のコンピュータにより構成することができる。なお、図３では、制御装置１２と情報処理装置１３と表示装置１４を別のブロックで示したが、これらは別体の装置で構成してもよいし、単一の装置で構成してもよい。

【0051】

（機能構成）
図４は、情報処理装置１３が提供する検査処理に関わる機能モジュールの構成を示すブロック図である。これらの機能モジュールは、情報処理装置１３のＣＰＵが補助記憶装置に格納されたプログラムを読み込み実行することにより実現されるものである。ただし、全部又は一部の機能をＡＳＩＣやＦＰＧＡなどの回路で構成してもよい。

【0052】

画像取得部１３１は、カメラ１１０から画像データを取り込む機能モジュールである。はんだ形状計測部１３２は、二次元の画像データからはんだなどの鏡面物体部分の三次元形状を復元する機能モジュールであり、部品形状計測部１３３は、二次元の画像データから部品などの拡散物体部分の三次元形状を復元する機能モジュールである。各々の復元処理で用いる画像データ及び復元アルゴリズムについては後述する。

【0053】

検査部１３４は、はんだ形状計測部１３２と部品形状計測部１３３で得られた三次元形状データを基に、はんだＫＨや部品ＫＢの形状に関わる各種指標を計測し、これらの計測値を用いてはんだ接合の状態を検査する機能モジュールである。検査プログラム記憶部１３５は、検査部１３４における検査の項目や条件などを定義した検査プログラムを格納する機能モジュールである。検査プログラムには、例えば、検査対象のランドの位置及びサイズ、部品のサイズ、計測する指標の種類、指標ごとの判定基準値（良品と不良品を判定するための閾値や値域）などが定義されている。出力処理部１３６は、検査部１３４で得られた計測値や検査結果、部品ＫＢやはんだＫＨの三次元形状などを表示装置１４などへ外部出力する機能モジュールである。

【0054】

以下、はんだＫＨ（鏡面物体）の三次元形状の復元方法と、部品ＫＢ（拡散物体）の三次元形状の復元方法をそれぞれ説明した後、情報処理装置１３の検査処理の流れについて説明する。

【0055】

（はんだの三次元形状計測）
はんだＫＨの三次元形状の計測には、いわゆるカラーハイライト方式で得られる画像を利用する。カラーハイライト方式とは、複数の色（即ち、波長）の光を互いに異なる入射角で基板に照射し、はんだ表面にその法線方向に応じた色特徴（即ち、カメラから見て正反射方向にある光源の色）が現れるようにした状態で撮影を行うことにより、はんだ表面の三次元形状を二次元の色相情報として捉える方法である。画像の中から、Ｒ、Ｇ、Ｂの光源色が現れている領域のみを抽出して、Ｒ、Ｇ、Ｂの各領域の形状、幅、順番に基づいて、はんだ三次元形状を復元することができる。なお、三次元形状の復元には公知の手法を用いることができるため、ここでは詳しい説明を省略する。

【0056】

まず、図５を参照して、カラーハイライト方式に用いる照明装置１１１の構成を説明する。図５は、照明装置１１１の各光源１１１Ｒ、１１１Ｇ、１１１Ｂの配置関係を模式的に示す平面概略図である。照明装置１１１は、赤色光源１１１Ｒ、緑色光源１１１Ｇ、青色光源１１１Ｂの３つの円環状の光源を、カメラ１１０の光軸を中心として同心円状に配置した構造を有している。各光源１１１Ｒ、１１１Ｇ、１１１Ｂは、赤色光、緑色光、青色光の順に基板Ｋに対する入射角が大きくなるよう、仰角及び向きが調整されている。このような照明装置１１１は、例えば、ドーム形状の拡散板の外側にＲ、Ｇ、Ｂ各色のＬＥＤを円環状に配列することで形成できる。

【0057】

照明装置１１１を点灯した状態で、基板Ｋをカメラ１１０で撮影をすると、鏡面物体であるはんだＫＨの部分に、その法線方向（傾斜角）に応じた色特徴が現れる。例えば、部品電極から離れるにつれてはんだＫＨの傾斜が緩やかになっていくような場合には、はんだＫＨの領域にＢ→Ｇ→Ｒという色相の変化が現れる。Ｒ、Ｇ、Ｂ各色の領域の形状、幅、現れる順番などは、はんだＫＨの表面形状に依存して変化する。

【0058】

図６を参照して、本実施形態に係る照明装置１１１を点灯した状態で、カメラ１１０で基板を撮影した際に取得できるはんだ部分の画像について説明する。図６Ａは、基板Ｋ上の部品ＫＢの電極部分とこれに接合されるはんだ部分（以下、はんだ付け部という）を側面から見た図である。図６Ａに示すように、当該事例のはんだＫＨは部品ＫＢから延びる電極に対して充分に馴染んでおらず、接触面積が少なくなっている（即ち、不濡れの状態になっている）。

【0059】

図６Ｂは、照明装置１１１を点灯してカメラ１１０で撮影した場合のはんだ付け部の画像（以下、カラーハイライト画像という）である。図６Ｂには、Ｒ、Ｇ、Ｂの各色の領域が示されている。図６Ｂに示す画像からは、はんだと電極の接合部に傾斜（によって定義される斜面）が存在することが推測できるが、この斜面がどちらを向いているのか（即ち、濡れあがっているのか、不濡れの状態なのか）までは判別することができない。なお、部品ＫＢ本体や電極の表面では拡散反射が支配的となるため、Ｒ、Ｇ、Ｂのような光源色ではなく、白色光で照明したときと同じ物体自体の色が現れる。

【0060】

（部品の三次元形状計測）
一方、拡散物体である部品ＫＢの三次元形状の計測には、位相シフト法を利用する。位相シフト法とは、パターン光を物体表面に投影したときのパターンの歪みを解析することにより物体表面の三次元形状を復元する手法の一つである。具体的には、プロジェクタ１１２ａ，ｂを用いて、所定のパターン（例えば、輝度が正弦波状に変化する縞状パターン）を基板に投影した状態でカメラ１１０で撮影を行う。そうすると基板Ｋの表面には、その凹凸に応じたパターンの歪みが現れる。この処理を、パターン光の輝度変化の位相を変化させながら複数回繰り返すことで、輝度特徴の異なる複数枚の画像（以下、パターン解析画像という）が得られる。各画像の同一画素の輝度は縞状パターンの変化と同一の周期で変化するはずであるから、各画素の輝度の変化に対して正弦波を当てはめることで、各画素の位相が分かる。そして、所定の基準位置（テーブル表面、基板表面など）の位相に
対する位相差を求めることで、その基準位置からの距離（即ち、高さ）を算出することができる。なお、プロジェクタ１１２ａで投影したパターンをパターンａ、プロジェクタ１１２ｂで投影したパターンをパターンｂといい、それぞれのパターンを撮影した画像を観測画像ａ，観測画像ｂという。

【0061】

ここで、本実施形態においては、情報処理装置１３は、観測画像ａと観測画像ｂとを取得しており、プロジェクタ１１２ａ，ｂは、基板Ｋを挟んで対角の位置に設けられているため、観測画像ａと観測画像ｂとは、正反対の方向からパターンが投影されたものとなる。このことから、適用例の場合と同様に、観測画像ａと観測画像ｂから特徴量データを抽出して、比較を行うことで、はんだ付け部などの傾斜を有する部位の傾斜の方向を特定する、傾斜方向特定データを求めることができる。なお、傾斜方向特定データは適用例と同様の方法で生成可能であるため、詳細な説明は省略する。

【0062】

そして、傾斜方向特定データによって、上述のカラーハイライト画像から得られるプロファイルデータを補正することにより、はんだＫＨと電極の接合部の斜面の方向を判別することが可能になる。

【0063】

図６Ｃは、このようにして作成された合成データに基づいて作成された特殊画像（以下、カラーハイライト補正画像という）の例を示している。カラーハイライト補正画像では、基本となる方向（より多くの面が向いている方向）の傾斜を、元のカラーハイライト画像と同じ赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）で表示し、基本となる方向とは反対向きの傾斜については、マゼンダ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）で表現されている。なお、ここでの色の選択は全くの任意であり、これら６色に限られるわけではないが、異なる色系統でありながらも類似する色を使用することによって、傾斜の程度が同一であることと、傾斜の向きが違うことを直感的に把握することができる。

【0064】

このようなカラーハイライト補正画像は、例えば表示装置１４で表示可能にしておけば、ユーザーはカラーハイライト補正画像を見て、はんだ付け部の状態を容易に把握することが可能になる。

【0065】

（検査処理の流れ）
次に、図７を用いて、基板検査装置１で行われる検査処理の流れを説明する。図７は、検査処理の流れを示すフローチャートである。

【0066】

まず、制御装置１２が検査プログラムに従ってステージ１０を制御し、検査対象の部品ＫＢおよびはんだＫＨを計測位置（カメラ１１０の視野）に移動させる（ステップＳ１０１）。そして、制御装置１２が照明装置１１１を点灯し（ステップＳ１０２）、赤色光、緑色光、青色光を照射した状態でカメラ１１０による撮影処理を実行する（ステップＳ１０３）。得られた画像データ（カラーハイライト画像）は、画像取得部１３１により情報処理装置１３に取り込まれる。

【0067】

次に、制御装置１２がプロジェクタ１１２ａからパターン光を投影し（ステップＳ１０４）、カメラ１１０で撮像を行う（ステップＳ１０５）。さらに、プロジェクタ１１２ｂからパターン光を投影し（ステップＳ１０６）、カメラ１１０で撮像を行う（ステップＳ１０７）。位相シフト法を利用する場合、パターン光の位相を変えながらステップＳ１０４からＳ１０７の処理が複数回実行される。得られた複数枚の画像データは、画像取得部１３１により情報処理装置１３に取り込まれる。なお、本実施形態では、照明装置１１１での撮影を先に実行したが、プロジェクタ１１２での撮影を先に実行しても構わない。また、カメラ１１０の視野外に他の検査対象が存在する場合には、ステップＳ１０１～Ｓ１０７の処理を繰り返し実行してもよい。

【0068】

以降は、情報処理装置１３で行われる処理となる。部品形状計測部１３３は、ステップＳ１０５、ステップＳ１０７で得られた観測画像ａ，ｂから、位相シフト法により、部品ＫＢの三次元形状を復元する（ステップＳ１０８）。復元された三次元形状のデータは、例えば、各画素の高さ（Ｚ位置）を画素値で表現した画像データ（高さマップと呼ぶ）の形式で保存される。

【0069】

はんだ形状計測部１３２は、ステップＳ１０３で得られたカラーハイライト画像から、はんだＫＨ（及び部品ＫＢの電極）の三次元形状を復元する（ステップＳ１０９）。さらに、はんだ形状計測部１３２は、パターン光を撮影した観測画像ａ，ｂから輝度値を抽出して、傾斜方向特定データを生成する（ステップＳ１１０）。復元された三次元形状のデータは、例えば、はんだＫＨ領域内の各画素の高さ（Ｚ位置）を画素値で表現した高さマップの形式で保存される。

【0070】

そして、これらの高さマップ及び傾斜方向特定データを合成することで、鏡面物体であるはんだＫＨと拡散物体である部品ＫＢの両方の高さ情報を表す全体の高さマップを得ることができる。ここで、全体の高さマップには斜面の方向を特定されたことによる補正がかかっている。

【0071】

そして、検査部１３４が、全体の高さマップと検査プログラムの閾値とによって、基板Ｋの検査を実施する（ステップＳ１１１）。検査が終了すると、表示装置１４は、検査の結果、及びステップＳ１０８で作成した合成データを視覚的に表現したカラーハイライト合成画像を表示し（ステップＳ１１２）、一連の処理を終了する。

【0072】

以上述べた本実施形態の基板検査装置によれば、鏡面物体であるはんだの三次元形状と、拡散物体である部品電極とを、それぞれに適した方法で復元するので、はんだと部品電極の両方について精度の高い三次元形状データを得ることができる。また、はんだの三次元形状の復元にあたっては、複数方向からパターンを投影したことによって得られた傾斜方向特定データによる補正を行うことで、傾斜を有する場所の当該傾斜面の向きを特定して三次元形状を復元するため、はんだの斜面の形状を精度よく復元できる。

【0073】

＜その他＞
上記実施形態は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形が可能である。例えば、上記の実施形態１においてはカラーハイライト画像に基づいて鏡面物体の三次元形状を、パターン投影画像に基づいて拡散物体の三次元形状をそれぞれ計測するようにしていたが、必ずしもこのようにする必要はなく、各画像に基づいて計測対象全体の形状を計測するためのプロファイルデータ２つを作成したうえで、これらのデータを合成するようにしてもよい。また、実施形態１においては、プロジェクタは固定されていたが、プロジェクタを鉛直軸回りに回転可能に構成するようにしてもよい。また、このような場合には、プロジェクタの数を一つとすることができる。

【0074】

また、上記実施形態では、カラーハイライト補正画像は傾斜の程度と方向を、色分けによって識別可能にするものであったが、色に限らず例えばハッチング等の模様の違いにより、これらを識別可能に表示する画像としてもよく、さらに色の違いと模様の違いとを組み合わせた画像としてもよい。

【0075】

＜付記＞
本発明の一の態様は、計測対象（Ｏ）に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影手段（９１ａ，９１ｂ）と、前記計
測対象を撮影する撮影手段（９２）と、前記撮影手段によって撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測手段（９３）と、を有する三次元形状計測装置であって、
前記撮影手段は、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、
前記計測手段は、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する、ことを特徴とする、三次元形状計測装置である。

【0076】

また、本発明の他の一の態様は、計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影ステップ（Ｓ９０１，Ｓ９０３）と、前記計測対象を撮影する撮影ステップ（Ｓ９０２，Ｓ９０４）と、前記撮影手段によって撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測ステップ（Ｓ９０９）と、を有する三次元形状計測方法であって、前記撮影ステップでは、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、前記計測ステップでは、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する、ことを特徴とする三次元形状の計測方法である。

【符号の説明】

【0077】

１・・・基板検査装置
９・・・三次元形状計測装置
１０・・・ステージ
１１・・・検査ユニット
１１０、９２・・・カメラ
１１１、９１・・・照明装置
１２・・・制御装置
１３、９３・・・情報処理装置
１４・・・表示装置
Ｋ・・・基板
Ｏ・・・計測対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】