(58)【調査した分野】(Int.Cl.,DB名)
前記投影装置は、投影パターンごとに幅が異なる光投影領域及び非投影領域から構成される縞が同一方向に配列された前記複数の投影パターンを前記測定対象物に順次投影する、
請求項1に記載の形状測定システム。
前記選択部は、前記複数の画素に対応する複数の前記差分値のそれぞれを、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した全黒撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で撮像装置が撮像した全白撮像画像の輝度値との差である白黒差分値で除算して生成される複数の評価値に基づく信頼度が所定の閾値より大きい画素を、前記測定対象物の形状の特定に用いる画素として選択する、
請求項4に記載の形状測定システム。
前記量子化部は、前記複数の撮像画像の各画素の輝度値を、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した第1撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で前記撮像装置が撮像した第2撮像画像の輝度値との中間の輝度値に対応する前記基準値と比較することにより、前記量子化値を生成する、
請求項1から9のいずれか1項に記載の形状測定システム。
【発明を実施するための形態】
【0017】
<第1の実施形態>
[形状測定システムSの概要]
図1は、第1の実施形態に係る形状測定システムSの概要について説明するための図である。
図1(a)は、形状測定システムSの構成を示している。形状測定システムSは、投影装置1と、撮像装置2と、形状測定装置3とを有する。
【0018】
投影装置1は、発光ダイオード又はレーザ等の光源を有しており、それぞれ異なる複数の投影パターンを測定対象物の測定面に投影する。
撮像装置2は、レンズ21及び撮像素子22を有しており、投影装置1が複数の投影パターンのそれぞれを投影中に、順次、測定対象物を撮像することにより複数の撮像画像を生成する。
形状測定装置3は、撮像装置2が生成した複数の撮像画像に基づいて測定対象物の形状を測定する。形状測定装置3は、例えばコンピュータにより実現できる。
【0019】
図1(b)は、投影装置1が、光が投影される光投影領域及び光が投影されない非投影領域から構成される縞模様の投影パターンを凹凸がない測定面に向けて投影した場合に撮像装置2が生成する撮像画像を示している。白色の領域は光投影領域を示しており、黒色の領域は非投影領域を示している。測定面に凹凸がない場合、撮像装置2が生成する撮像画像は、投影パターンの形状と一致する。
【0020】
図1(c)は、投影装置1が、凸部がある測定面に投影パターンを投影した場合に撮像装置2が生成する撮像画像である。
図1(c)の撮像画像においては、縞模様の一部の画像が変形した状態になっている。撮像画像においては、凸部の高さに応じた量だけ投影パターンの画像が変形する。そこで、形状測定装置3は、撮像画像における投影パターンの画像の変形量に基づいて凸部の各位置の高さを特定することにより、測定対象物の形状を測定することができる。
【0021】
形状測定装置3は、撮像画像における投影パターンの画像の変形量を特定するために、撮像画像における投影パターンの画像に含まれる各画素の輝度値が、光が当たっている場合の輝度値であるか、光が当たっていない場合の輝度値であるかを判定する。形状測定装置3は、輝度値を基準値と比較した結果に基づいて、輝度値の階調数よりも少ない数のグループに分類された量子化値を生成することにより、各画素の輝度値が、光が当たっている場合の輝度値であるか、光が当たっていない場合の輝度値であるかを判定する。
【0022】
形状測定装置3は、輝度値が基準値以上であるか基準値未満であるかに基づいて、量子化値を生成する。例えば、形状測定装置3は、光が測定対象物に投影されていない状態で撮像装置2が撮像した全黒撮像画像の輝度値と、光が測定対象物の全体に投影されている状態で撮像装置2が撮像した全白撮像画像の輝度値との中間の輝度値を基準値として、輝度値が基準値以上の画素の量子化値を1、輝度値が基準値未満の画素の量子化値を0とする。形状測定装置3は、このようにして生成した量子化値を用いて、測定対象物の形状を特定することができる。
なお、本明細書において、光が測定対象物に投影されていない状態を、全黒パターンが投影されている状態と定義し、光が測定対象物の全体に投影されている状態を、全白パターンが投影されている状態と定義する。
【0023】
[多重反射について]
上記の方法により、形状測定装置3は、測定対象物の形状を測定することができるが、多重反射が発生する場合、測定精度が低下する。そこで、多重反射の影響を抑制する処理が必要になる。
図2は、多重反射について説明するための図である。測定対象物に光沢がありかつ複雑な形状をしている場合、投影装置1が発する光が測定対象表面で複数回反射を繰り返してから撮像装置2に入射することがある。この場合、
図2(a)に示すように、投影装置1が発する光が2つ以上の経路を介して撮像素子22の一つの画素に入射する。
【0024】
具体的には、撮像素子22に入射する光には、投影装置1から発せられた光が測定対象面で拡散反射して直接撮像装置2に入射する直接光と、多重反射してから撮像装置2に入射する多重反射光とが存在する。その結果、撮像装置2が撮像する撮像画像において、多重反射光がない場合に量子化値0(黒色)に対応する輝度値であった画素が、量子化値1(白色)に対応する輝度値になってしまう場合がある。
図2(b)は、多重反射の影響を受けた撮像画像の例を示す図である。
図2(b)は、
図1(c)に対応しているが、斜線で示す部分は、多重反射光の影響により、
図1(c)における輝度と異なる輝度になっている。
【0025】
直接光及び多重反射光の両方が入射しない画素の輝度値、及び直接光のみが入射する画素の輝度値には、多重反射光が影響していないので、輝度値の信頼性が高いと考えられる。これに対して、多重反射光が入射すると、輝度値の信頼性が低下する。
【0026】
図3は、多重反射光が入射したことによる輝度値への影響について説明するための図である。
図3(a)は、直接光が入射しないにもかかわらず多重反射光が入射してしまうケースを示している。この場合、本来の輝度値は0であり量子化値が0であるにもかかわらず、多重反射光の影響により輝度値が120になっており、量子化値が1であると誤判定されてしまう。
【0027】
図3(b)は、多重反射光の影響により、基準値を決定するために全面に光を投影した場合の輝度値が、多重反射が存在しない場合よりも大きくなってしまうケースを示している。本来は、基準値が100であるにもかかわらず、
図3(b)においては、基準値を決定する際に多重反射光が存在していたために、基準値が150になっている。その結果、撮像画像における輝度値が125の場合、本来は量子化値が1であるにもかかわらず、量子化値が0であると判定されてしまうことになる。
【0028】
形状測定システムSが、このように多重反射光の影響を受けた画素の輝度値を用いて測定対象物の形状を特定すると、精度が低下してしまう。そこで、本実施形態の形状測定システムSにおいては、多重反射光の影響を受けた可能性が高く信頼性が低い画素を特定し、特定した画素の輝度値を用いることなく、測定対象物の形状を特定することを特徴としている。以下、形状測定システムSが、多重反射光の影響を受けた可能性が高い画素を特定する方法、及び測定対象物の形状を特定する方法について説明する。
【0029】
[投影パターンの種類]
図4は、投影装置1が投影する投影パターンの種類の例を示す図である。
図4における黒色の領域は、投影装置1が光を投影しない領域(以下、「非投影領域」という)を示しており、白色の領域は、投影装置1が光を投影する領域(以下、「光投影領域」という)を示している。
【0030】
図4(a)は、測定対象物の全体に光を投影しない投影パターン(全黒パターン)である。
図4(b)は、測定対象物の全体に光を投影する投影パターン(全白パターン)である。
図4(c)から
図4(f)は、光投影領域及び非投影領域から構成され、投影パターンごとに幅が異なる縞が同一方向に配列された縞模様の投影パターンを示している。
図4(c)はパターン番号1の投影パターンであり、
図4(d)はパターン番号2の投影パターンであり、
図4(e)はパターン番号3の投影パターンであり、
図4(f)はパターン番号4の投影パターンである。
【0031】
図4(c)から
図4(f)に示す投影パターンにおける縞のパターンはグレイコードに対応している。
図5は、パターン番号1からパターン番号4までの投影パターンに対応するグレイコードの例を示す図である。グレイコードにおける0を非投影領域に対応させ、1を光投影領域に対応させることで、
図4(c)から
図4(f)に示す投影パターンが生成される。
【0032】
図4及び
図5におけるx方向の各位置は、パターン番号1からパターン番号4までの各グレイコードの対応する位置の0又は1の数字を組み合わせたコード値によって表される。
図5における位置0はコード値「0000」に対応し、位置1は「コード値0001」に対応し、位置15はコード値「1000」に対応する。
【0033】
形状測定装置3は、投影装置1が、パターン番号1からパターン番号4までの投影パターンを順次投影し、撮像装置2が、それぞれの投影パターンが投影された状態で撮影して得られた4枚の撮像画像における各画素の輝度値に基づいて各画素のコード値を特定することにより、各画素の位置に、どの位置に向けて投影された投影パターンが写っているかを特定することができる。そして、形状測定装置3は、三角測量の原理を用いて測定対象物の各位置の高さを特定することにより、測定対象物の形状を測定することができる。
【0034】
例えば、座標(x1,y1)の画素のコード値が「0001」である場合、形状測定装置3は、測定対象物における座標(x1,y1)に対応する位置は、
図5における位置1に対応することを特定できる。そして、形状測定装置3は、投影装置1と撮像装置2との距離、及び投影装置1が位置1に対応する光を投影する向きに基づいて、測定対象物における座標(x1,y1)に対応する位置の高さを算出することができる。
本実施形態においては、4種類のグレイコードパターンを用いる例で説明しているが、より多くのグレイコードを用いることで、白色領域及び黒色領域の幅が狭くなり、高さの測定分解能を高めることができる。
【0035】
[形状測定装置3の構成]
続いて、形状測定装置3の構成及び動作を詳細に説明する。
図6は、形状測定装置3の構成を示す図である。形状測定装置3は、記憶部31及び制御部32を有する。記憶部31は、ROM(Read Only Memory)及びRAM(Random Access Memory)等から構成される記憶媒体である。記憶部31は、制御部32が実行するプログラム、及び制御部32が使用する各種のデータを記憶している。記憶部31は、例えば、投影装置1が投影する投影パターンにおける位置と、撮像装置2が生成する撮像画像における各画素の座標と、高さを示す高さ情報とが関連付けられた高さ特定用情報を記憶している。
【0036】
制御部32は、例えばCPU(Central Processing Unit)である。制御部32は、記憶部31に記憶されたプログラムを実行することにより、画像取得部321、量子化部322、選択部323及び形状特定部324として機能する。制御部32は、撮像画像を解析して、撮像画像における各画素が、投影パターンにおけるどの位置に対応するかを特定し、記憶部31に記憶された高さ特定用情報を参照することにより、各画素に対応する測定対象面の高さを特定する。
【0037】
画像取得部321は、それぞれ異なる複数のパターン光が投影装置1により順次投影された測定対象物を撮像装置2が撮像することにより生成された複数の撮像画像を取得する。本実施形態において、画像取得部321は、パターン番号1からパターン番号4までの投影パターンに対応する4枚の撮像画像1〜4を取得するものとする。画像取得部321は、取得した撮像画像1〜4を量子化部322に入力する。
【0038】
量子化部322は、画像取得部321から入力された複数の撮像画像1〜4の各画素の輝度値を所定の基準値と比較することにより、輝度値の量子化値を生成する。本実施形態においては、量子化部322が輝度値を0又は1に2値化するものとする。量子化部322における処理の詳細については、後述する。
【0039】
選択部323は、複数の撮像画像1〜4における同一の座標の複数の画素の輝度値と基準値との関係に基づいて、複数の画素から、量子化値を測定対象物の形状の特定に使用する画素を選択する。選択部323が画素を選択する処理の詳細については、後述する。
【0040】
形状特定部324は、選択部323が選択した画素の量子化値に基づいて、測定対象物の形状を特定する。選択部323が、多重反射光の影響が比較的少ない画素を選択するので、形状特定部324は、多重反射光の影響を大きく受けることなく測定対象物の形状を特定できる。したがって、形状特定部324は、高い精度で測定対象物の形状を特定することができる。
【0041】
なお、形状特定部324が測定対象物の形状を特定するために用いる投影パターンは任意である。形状特定部324は、例えば、多重反射光の影響が比較的少ない画素を選択部323が選択するために用いる不良点検出用の投影パターンを投影した時の撮像画像の画素の輝度値に基づく量子化値を用いて測定対象物の形状を特定する。不良点検出用の投影パターンは、多重反射光の影響を受けた画素を検出するための投影パターンである。形状特定部324は、不良点検出用の投影パターンと異なる形状特定用の投影パターンを用いて測定対象物の形状を特定してもよい。また、形状測定システムSは、不良点検出用のパターンとして、任意のパターンを使用することができる。例えば、投影パターン自体は縞パターンには限定されず、形状測定システムSは、白と黒の輝度がランダムに配置されたパターンを使用してもよい。また、形状測定システムSは、パターンが同一で、位置だけをシフトさせたようなパターンを用いてもよい。
【0042】
[形状特定処理の流れ]
図7は、形状測定システムSが測定対象物の形状を特定する手順を示すフローチャートである。
まず、投影装置1は、複数の投影パターンを測定対象物に順次照射する(S11)。撮像装置2は、複数の投影パターンが順次照射されるタイミングに同期して、測定対象物を撮像する(S12)。続いて、投影装置1及び撮像装置2は、全ての投影パターンの投影及び撮像が終了したかを判定する(S13)。投影装置1及び撮像装置2は、全ての投影パターンの投影及び撮像が終了していないと判定した場合は、ステップS11に戻り、全ての投影パターンの投影及び撮像が終了していると判定した場合は、ステップS14に進む。このようにして、投影装置1は、全黒パターン、全白パターン、投影パターン1〜4を順次投影し、撮像装置2は、各投影パターンが照射された状態に対応する複数の撮像画像を生成する。
【0043】
続いて、画像取得部321は、撮像装置2から複数の撮像画像を取得する(S14)。量子化部322は、ステップS15からS19までで、画像取得部321が取得した複数の撮像画像の各画素の輝度値の量子化値を生成し、選択部323は、形状特定に使用する画素を選択する。
【0044】
まず、量子化部322は、全黒パターンに対応する全黒撮像画像及び全白パターンに対応する全白撮像画像のそれぞれに含まれる全画素の輝度値の平均値を算出する。量子化部322は、算出した平均値を、輝度値を量子化(本例においては2値化)する際に用いる基準値とする(S15)。
【0045】
続いて、量子化部322及び選択部323は、以下のステップS16〜S18の処理を画素ごとに実行する。
量子化部322は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差を算出する(S16)。続いて、量子化部322は、撮像画像1〜4それぞれに含まれる複数の画素を、以下の3グループに分類する。
(グループ1)形状の特定に使用できない画素
(グループ2)光が投影されていない位置に対応する量子化値0の画素
(グループ3)光が投影されている位置に対応する量子化値1の画素
【0046】
量子化部322は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差が所定の閾値以下である画素をグループ1の画素であるとする。グループ1に含まれる画素は、測定対象面の反射率や向きの影響により、投影パターンを十分な輝度で撮像できなかった画素、又は投影装置1からの光が当たらない影になっている領域の画素であると考えられ、信頼性が低いと考えられる。そこで、量子化部322は、グループ1に含まれる画素に対する量子化値を生成しない。
【0047】
量子化部322は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差が所定の閾値よりも大きく、かつ分類する対象の画素の輝度値が基準値よりも小さい場合に、その画素がグループ2の画素であるとする。また、量子化部322は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差が所定の閾値よりも大きく、かつ分類する対象の画素の輝度値が基準値以上である場合に、その画素がグループ3の画素であるとする。量子化部322は、撮像画像1〜4の全ての画像に含まれる全ての画素を上記の3グループに分類することにより、撮像画像1〜4のそれぞれの各画素の量子化値を決定することができる(S17)。
【0048】
投影装置1が投影パターン1〜4を投影する場合、投影パターンiに対応する撮像画像i(ただし、iは1〜4の整数)の画素(x、y)の量子化値をciとすると、画素(x、y)に対応する量子化値として、c1,c2,c3,c4を得られる。形状測定装置3の記憶部には、投影装置1が投影パターン1〜4を投影する向きが記憶されており、形状測定装置3は、パターン番号1の投影パターンにおける量子化値がc1であり、パターン番号2の投影パターンにおける量子化値がc2であり、パターン番号3の投影パターンにおける量子化値がc3であり、パターン番号4の投影パターンにおける量子化値がc4である位置には、投影装置1からどの向きに光が投影されたかを特定できる。したがって、c1,c2,c3,c4を組み合わせた情報は、画素(x、y)において、投影パターンにおけるどの領域が投影されたかを示す位置情報として用いることができる。そこで、量子化部322は、画素(x、y)の位置を示す情報として、コード値C=(c1,c2,c3,c4)を生成し、記憶部31に、画素(x、y)の座標に関連付けてコード値を記憶させる。
【0049】
続いて、選択部323は、複数の撮像画像1〜4に含まれる複数の画素の輝度値と基準値との差分値に基づいて、多重反射の影響を受けた可能性が低く信頼性が高く、測定対象物の形状の特定に用いることができる画素を選択する。多重反射光の影響を受けていない画素の輝度値は、最大輝度値又は最小輝度値に近い値であると考えられるのに対して、多重反射光の影響を受けた画素の輝度値は、最大輝度値又は最小輝度値との差が大きく、基準値に近い値を有している可能性が高いと考えられる。
【0050】
そこで、選択部323は、撮像画像1〜4の各画素の輝度値と基準値との差分値に基づいて、各画素の輝度値の信頼性を評価するための評価値を算出する(S18)。選択部323は、例えば、差分値を、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した全黒撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で撮像装置が撮像した全白撮像画像の輝度値との差である白黒差分値で除算することにより評価値を算出する。選択部323は、量子化部322が量子化値を1とした画素に対しては、輝度値から基準値を減算した値の絶対値又は2乗値を白黒差分値で除算することにより、評価値を算出する。また、選択部323は、量子化部322が量子化値を0とした画素に対しては、基準値から輝度値を減算した値を白黒差分値で除算することにより、評価値を算出する。多重反射光の影響がある場合、白黒差分値が大きくなる傾向にあるので、選択部323は、差分値を白黒差分値で除算することにより、白黒差分値が大きくなった場合の評価値を低くすることができる。
【0051】
続いて、選択部323は、複数の画素に対応する複数の差分値のそれぞれを白黒差分値で除算して生成される複数の評価値の平均値が所定の閾値より大きい画素を、測定対象物の形状の特定に用いる画素として選択する(S19)。平均値は、画素の信頼度を表す数値である。選択部323は、このようにして選択した画素を特定するための情報を、コード値と関連付けて形状特定部324に通知する。
【0052】
続いて、形状特定部324は、選択部323から通知された各画素のコード値に基づいて、各画素に投影された投影パターンにおける位置を特定する。そして、形状特定部324は、各画素の座標(x、y)、投影パターンにおける位置、及び記憶部31に記憶された高さ特定用情報に基づいて各画素の高さを算出することにより、測定対象物の形状を特定する(S20)。
【0053】
なお、制御部32は、図におけるステップS18及びS19の処理を、ステップS16及びS17の処理と並行して実行してもよい。また、制御部32は、ステップS18及びS19の処理を、ステップS16及びS17の処理よりも前に実行してもよい。
【0054】
また、選択部323は、複数の撮像画像1〜4に含まれる画素のうち、輝度値が基準値に最も近い画素の輝度値を、平均値の算出に用いる輝度値から除外した上で、平均値を算出してもよい。選択部323は、複数の撮像画像1〜4に含まれる画素のうち、輝度値が基準値に最も近い画素の輝度値として、投影パターンに含まれる光が投影される領域と光が投影されない領域との境界位置に対応する画素の輝度値を、平均値の算出に用いる輝度値から除外してもよい。選択部323は、複数の撮像画像1〜4に含まれる画素のうち、縞状の投影パターンにおける縞の境界位置に最も近い画素の輝度値を、平均値の算出に用いる輝度値から除外してもよい。縞の境界位置に対応する画素は、多重反射光の影響を受けていない場合であっても、輝度値が基準値に近い値になっている可能性があり、このような輝度値を平均値の算出に用いると、画素の信頼度の判定精度が低下するからである。
【0055】
以上の説明をまとめると、形状測定システムSは、以下の式により画素の信頼度を算出することができる。
【数1】
ただし、(i,j)は画素位置、I(i,j)は白黒差分値、α
kは重み係数(例えば0〜1)、kはパターン番号、p
r(i,j)は基準値、p
m(i,j,k)は測定値、Kは投影パターンの枚数、K’は信頼度の算出に使用するパターン枚数である。なお、p
r(i,j)−p
m(i,j,k)の絶対値が最小となるkについては,加算をしない。例えば、投影パターンが4ビットのグレイコードである場合には、4枚(K =4)が投影されるが、境界部の影響を低減するために1枚が取り除かれるので、K’=3となる。
【0056】
図8は、投影パターンにおける縞の境界位置における輝度値を模式的に示した図である。
図8においては、画素5及び画素10において輝度値が変化している。グレイコードを投影パターンに用いる場合、各画素が縞の境界位置と一致する投影パターンが1つに限られるので、選択部323が、境界位置に対応する画素を除去しても十分な数の画素の情報を使用できる。
【0057】
また、選択部323は、評価値の平均値が所定の閾値より大きい画素を選択する代わりに、複数の撮像画像1〜4のそれぞれに対して算出した各画素のうち、評価値の最小値が所定の閾値よりも大きい画素を、測定対象物の形状の特定に用いる画素として選択してもよい。このようにすることで、選択部323は、平均値は所定の閾値より大きいながらも、特定の投影パターンにおいて多重反射の影響を強く受けた可能性が高い画素を選択しないようにすることができる。選択部323は、選択の精度を高めるために、評価値の平均値と評価値の最小値の両方を用いて画素を選択してもよい。また、選択部323は、標準偏差等を用いて画素を選択してもよい。
【0058】
また、選択部323は、投影パターンの周波数に基づいて複数の画素の輝度値と基準値との差分値に重み付けすることにより、平均値を算出してもよい。投影パターンの縞の幅が狭く、投影パターンに高い周波数成分が含まれる場合、投影光学系や撮像光学系の透過特性の影響等によって、撮像素子に入力される画像信号の振幅が小さくなることや、境界部の発生頻度が高くなることから、誤差が生じやすい。したがって、信頼度の判定精度が低下してしまう。
【0059】
そこで、選択部323は、投影パターンの周波数が低いパターンに対応する撮像画像(例えば、撮像画像1)の差分値の重み付け係数を、投影パターンの周波数が高いパターンに対応する撮像画像(例えば、撮像画像4)の差分値の重み付け係数よりも大きくして平均値を算出することで、画素の信頼度の判定精度を向上させることができる。なお、重み付け係数は、例えば0から1の間の値を取ることができ、一部の投影パターンに対する重みを0として、信頼度の判定に含めないようにしてもよい。
【0060】
[実施例]
図9は、撮像画像におけるある画素(x、y)の輝度値と量子化値との関係を示す図である。横軸は、投影パターンの種類を示し、縦軸は、撮像画像における輝度値を示している。実線の矢印は、直接光による輝度値を示しており、破線の矢印は、多重反射光による輝度値を示している。実線の矢印が存在する投影パターンにおいては、画素(x、y)に光が投影されており、破線の矢印が存在する投影パターンにおいては、画素(x、y)に光が投影されていない。したがって、投影パターン1,2,4においてのみ画素(x、y)に光が投影されており、多重反射光の影響を受けない場合、この画素(x、y)のコード値は、C=(c1,c2,c3,c4)=(1,1,0,1)である。
【0061】
図9(a)においては、多重反射光が加わった後の量子化値も(1,1,0,1)である。しかし、
図9(b)においては、投影パターン3において、画素(x、y)に光が投影されていないにもかかわらず、多重反射光の影響で輝度値が基準値を越えており、量子化値が1と判定される。このような場合であっても、本実施形態の形状測定装置3における選択部323は、投影パターン3における輝度値と基準値との差が小さく、全ての投影パターンの評価値の平均値が閾値よりも小さい場合、この画素(x、y)を選択しない。したがって、形状特定部324が、多重反射光の影響を受けた画素(x、y)を形状の特定に使用することを防止できる。
【0062】
図9(c)においては、全白パターンを投影した際の多重反射光の影響が大きく、投影パターン1〜4において光を投影した際の輝度値に対して基準値が大きく設定されている。その結果、投影パターン1において、画素(x、y)に光が投影されているにもかかわらず、多重反射光を加えた後の輝度値が基準値を下回っており、量子化値が0と判定される。この場合にも、選択部323は、全ての投影パターンの評価値の平均値が閾値よりも小さい場合、この画素(x、y)を選択しないので、形状特定部324が、多重反射光の影響を受けた画素(x、y)を形状の特定に使用することを防止できる。
【0063】
[変形例1]
上記の説明において、量子化部322は、光が測定対象物に投影されていない状態で撮像装置2が撮像した全黒撮像画像(第1撮像画像)の輝度値と、光が測定対象物の全体に投影されている状態で撮像装置2が撮像した全白撮像画像(第2撮像画像)の輝度値との中間の輝度値を基準値としたが、基準値は他の値であってもよい。光が測定対象物の全体に投影されている状態で撮像装置2が撮像した撮像画像の輝度値は、投影パターン1〜4が測定対象物に投影されている状態で撮像された撮像画像の輝度値よりも大きい傾向にある。したがって、量子化部322は、投影パターン1〜4が測定対象物に投影されている状態で撮像された撮像画像の輝度値を量子化する際に、全黒撮像画像の輝度値と全白撮像画像の輝度値との中間の輝度値よりも小さな値に基準値を設定してもよい。例えば、量子化部322は、中間の輝度値の80%〜90%の値を基準値としてもよい。
【0064】
[変形例2]
形状測定システムSは、投影装置1が複数の投影パターンを投影する条件を変えて、複数回にわたって測定し、複数回の測定結果に基づいて、測定対象物の形状を特定してもよい。この場合、投影装置1は、例えば、複数の投影パターンから構成される投影パターン群の「向き」、「位置」又は「投影パターンの強度分布形状」のいずれかを変えて、複数の投影パターン群に含まれる複数の投影パターンを順次投影する。ここで、「投影パターンの強度分布形状」を変えるとは、例えば、パターン形状、パターン周期、振幅分布等の強度分布に関わる任意のパラメータを変えることを意味する。撮像装置2は、複数の投影パターン群に対応する複数の撮像画像群を生成する。撮像画像群には、複数の撮像画像が含まれている。ここで、一つの投影パターン群には、上記の説明における投影パターン1〜4のように、同一の条件下で投影される複数の異なる投影パターンが含まれる。一つの撮像画像群には、上記の説明における撮像画像1〜4のように、同一の条件下で撮像された複数の異なる撮像画像が含まれる。
【0065】
投影装置1が投影パターンを投影する条件が変わると、多重反射の影響も変化する。そこで、形状測定システムSは、画素ごとに、第1の投影パターン群を用いて特定された量子化値の信頼度、並びに第2の投影パターン群を用いて特定された量子化値の信頼度を求めて、より大きな信頼度に対応する量子化値を用いて測定対象物の形状を特定してもよい。
【0066】
この場合、画像取得部321は、それぞれ異なる条件で複数の投影パターン群が投影された測定対象物が撮像された複数の撮像画像群を取得する。量子化部322は、複数の撮像画像群のそれぞれに含まれる複数の撮像画像の各画素の輝度値の量子化値を生成する。そして、選択部323は、複数の画素の輝度値に基づいて、複数の撮像画像群に関連付けて、選択した画素の信頼度を決定する。形状特定部324は、選択部323が決定した信頼度に基づいて複数の撮像画像群から選択した撮像画像群に含まれる画素に対応する量子化値に基づいて、測定対象物の形状を特定する。例えば、形状特定部324は、信頼度を示す値が所定の閾値を超えている量子化値を用いたり、複数の量子化値のうち信頼度を示す値が高い量子化値を用いたりして、測定対象物の形状を特定する。この際、形状特定部324は、信頼度を示す値が所定の閾値を超えている複数の量子化値に対応する形状の平均値を算出して合成した結果を用いてもよく、最も信頼度が高い量子化値に対応する形状を用いてもよい。また、信頼度が大きく変わる場合には、その画素を形状測定結果として使用しないようにしてもよい。また、形状特定部324は、全ての条件で信頼値が所定の閾値を超えていない場合には、その画素を形状測定結果として使用しないようにしてもよい。
【0067】
このようにすることで、形状測定システムSは、複数の投影パターンのセットのそれぞれが投影された状態で生成された撮像画像に基づく量子化値のうち、画素ごとに、より信頼性が高い量子化値を使用して測定対象物の形状を特定できるので、測定結果の信頼性を高めることができる。さらに、形状測定システムSは、測定対象物の一部の領域が、一つの投影パターンのセットを用いると測定できない場合でも、他の投影パターンのセットを用いることで測定できる場合があるので、測定可能領域を広げることができる。
【0068】
[変形例3]
形状測定システムSは、互いに異なる位置及び角度に設置された複数の撮像装置2を用いて、投影パターンが投影された測定対象物を撮像してもよい。この時、投影装置1から投影された光は、測定対象面で反射し、個々の撮像装置2に入射される。撮像装置2ごとに異なった反射経路の光線が入射されることから、測定対象面の同じ位置の画素であっても、各撮像装置2が生成した撮像画像ごとに多重反射の影響が異なる。
【0069】
そこで、形状測定システムSは、それぞれの撮像装置2が生成した複数の撮像画像群に基づく輝度値に基づいて、測定対象物の形状を特定してもよい。形状測定システムSは、それぞれの撮像装置2が生成した複数の撮像画像群に基づいて、
図7のフローチャートを用いて説明した手順により信頼性が高い画素を選択する。そして、選択部323は、複数の撮像画像群から、測定対象物の同一の位置に対応すると判断される複数の画素を選択した場合、複数の撮像画像群から選択された複数の画素のうち、信頼度がより大きい画素を選択し、形状特定部324は、選択された画素の量子化値を用いて、測定対象物の形状を特定する。
【0070】
この際、形状特定部324は、信頼度が所定の閾値を超えている複数の量子化値に対応する形状の平均値を算出して合成した結果を用いてもよく、最も信頼度が高い量子化値に対応する形状を用いてもよい。また、形状特定部324は、対応する同一の画素の信頼度が、複数の異なる方向から撮像された複数の撮像画像のそれぞれを用いて測定した場合に大きく変わる場合には、その画素を形状の特定に使用しないようにしてもよい。また、形状特定部324は、全ての測定方向での信頼値が所定の閾値を超えていない場合には、その画素を形状測定結果として使用しないようにしてもよい。
【0071】
なお、形状測定システムSは、複数の撮像装置2を用いる代わりに、互いに異なる位置や角度に設置された複数の投影装置1を使用して、同様の処理を行ってもよい。
また、形状測定システムSが、例えば、測定対象物を載置するターンテーブルを有しており、ターンテーブルを回転させて、投影装置1が、測定対象物に対して複数の異なる向きから投影パターンを投影し、撮像装置2が、それぞれの向きから投影パターンが投影された状態に対応する複数の撮像画像群を生成してもよい。
このように、形状測定システムSは、複数の撮像画像群を用いることで、一つの撮像画像群に含まれる撮像画像に輝度値の信頼性が低い画素があっても、他の撮像画像群に含まれる撮像画像の輝度値で補うことができるので、測定精度が向上する。
【0072】
[変形例4]
形状測定システムSは、以上の説明で用いた投影パターンを、正弦波の輝度分布からなる位相シフト法と組み合わせて、投影パターンの輝度を多値化することにより、さらに高さ方向の解像度を高めてもよい。この場合、位相シフト法による正弦波のオフセット値を基準値に、正弦波の振幅を、除算用の白黒差分値の代わりに用いてもよい。
【0073】
[本実施形態における効果]
以上説明したように、本実施形態に係る形状測定システムSにおいては、投影装置1から、それぞれ異なる複数の投影パターンの光を測定対象物に投影して得られる複数の撮像画像における同一の座標の複数の画素の輝度値と基準値との関係に基づいて、選択部323が、複数の画素から、量子化値を測定対象物の形状の特定に使用する画素を選択する。そして、形状特定部324は、選択部323が選択した画素を用いて、測定対象物の形状を特定する。このようにすることで、多重反射光の影響を抑制することができるので、形状測定の精度を向上させることができる。
【0074】
また、投影装置1は、投影パターンごとに幅が異なる縞が同一方向に配列された複数の縞のパターンを測定対象物に順次投影するので、縞の幅の大きさに基づいて高さ方向の解像度を調整することができる。また、複数の縞のパターンがグレイコードに対応しているので、複数の縞パターンのうち、一つの画素が縞の境界位置と一致する縞パターンが一つに限られ、境界位置の影響を受けづらい。
【0075】
選択部323は、複数の画素の輝度値と基準値との差分値に基づいて、測定対象物の形状の特定に用いる画素を選択する。このようにすることで、多重反射光の影響を受けて、輝度値が基準値付近になっている画素を、測定対象物の形状の測定に用いないようにすることができるので、形状測定の精度が向上する。
【0076】
さらに、選択部323は、複数の画素に対応する複数の差分値のそれぞれを白黒差分値で除算して生成される複数の評価値の平均値が所定の閾値より大きい画素を、測定対象物の形状の特定に用いる画素として選択する。このようにすることで、基準値が多重反射光の影響を受けて大きくなり過ぎている場合に評価値の平均値が小さくなるので、多重反射光の影響を受けている画素を、測定対象物の形状の測定に用いないようにすることができるので、形状測定の精度が向上する。
【0077】
また、選択部323は、複数の撮像画像に含まれる画素のうち、輝度値が基準値に最も近い画素の輝度値を、平均値の算出に用いる輝度値から除外する。このようにすることで、投影パターンにおける縞の境界位置に対応する画素の輝度値が影響しないので、形状測定の精度が向上する。
【0078】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
例えば、上記の説明においては、量子化部322が、輝度値を0又は1に2値化したが、量子化部322は、輝度値を3つ以上の値を用いて量子化してもよい。