特開 2024-51800 立体形状データ生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051800

(43)【公開日】2024-04-11

(54)【発明の名称】立体形状データ生成装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240404BHJP

【ＦＩ】

G01B11/25 H

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022158133

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】伊藤 良輔

(72)【発明者】

【氏名】今井 良輔

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065DD03

2F065FF04

2F065GG23

2F065HH07

2F065JJ19

2F065JJ26

2F065LL21

2F065NN01

2F065QQ24

2F065QQ31

2F065SS02

(57)【要約】

【課題】外乱光による測定精度の悪化を抑制しつつ、カラーカメラ等の別カメラを用いることなく測定対象物のテクスチャ情報を取得できるようにする。
【解決手段】立体形状データ生成装置１は、構造化光のピーク波長を含む所定幅の波長帯域と、第１の照明光のピーク波長を含む所定幅の波長帯域と、第２の照明光のピーク波長を含む所定幅の波長帯域と、第３の照明光のピーク波長を含む所定幅の波長帯域とを透過帯域として持つバンドパスフィルタ１２２を備えている。撮像部１２０は、バンドパスフィルタ１２２を透過した構造化光を受光することによりパターン画像データを生成するとともに、観察用の照明光を受光することによりテクスチャ画像データを生成する。パターン画像データに基づいて生成された立体形状データと、テクスチャ画像データに基づいて生成されたテクスチャデータを合成して合成データを生成する。合成データを表示部４００に表示させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

測定用の構造化光を測定対象物に照射する構造化照明部と、
互いに波長が異なる第１の照明光、第２の照明光及び第３の照明光を観察用の照明光として測定対象物にそれぞれ照射する観察用照明部と、
前記構造化光のピーク波長を含む所定幅の波長帯域と、前記第１の照明光のピーク波長を含む所定幅の波長帯域と、前記第２の照明光のピーク波長を含む所定幅の波長帯域と、前記第３の照明光のピーク波長を含む所定幅の波長帯域とを透過帯域として持つバンドパスフィルタと、
前記構造化照明部から照射されて測定対象物により反射され、前記バンドパスフィルタを透過した構造化光を受光することにより測定対象物の画像を示すパターン画像データを生成するとともに、前記観察用照明部から照射されて測定対象物により反射され、前記バンドパスフィルタを透過した観察用の照明光を受光することにより測定対象物のテクスチャ画像データを生成する撮像部と、
前記撮像部により生成されたパターン画像データに基づいて測定対象物の立体形状データを生成する立体形状データ生成部と、
前記撮像部により生成されたテクスチャ画像データに基づいて測定対象物の表面状態を示すテクスチャデータを生成するテクスチャデータ生成部と、
前記立体形状データ生成部により生成された立体形状データと、前記テクスチャデータ生成部により生成されたテクスチャデータとが合成された合成データを生成する合成部と、
前記合成部で生成された合成データを表示部に表示させる表示制御部と、を備える立体形状データ生成装置。

【請求項2】

請求項１に記載の立体形状データ生成装置において、
前記撮像部は、前記構造化光及び前記観察用の照明光を受光するためのモノクロカメラを有し、
前記観察用照明部は、前記第１の照明光、前記第２の照明光及び前記第３の照明光を測定対象物に時分割で照射し、
前記テクスチャデータ生成部は、前記観察用照明部から照射された前記第１の照明光、前記第２の照明光及び前記第３の照明光を時分割に前記撮像部で撮像することにより得られた複数のテクスチャ画像データに基づいて、カラーの二次元テクスチャ画像を生成することを特徴とする立体形状データ生成装置。

【請求項3】

請求項１に記載の立体形状データ生成装置であって、
前記バンドパスフィルタは、前記照明光の透過帯域の幅よりも、前記構造化光の透過帯域の幅が広くなるように構成されていることを特徴とする立体形状データ生成装置。

【請求項4】

請求項１に記載の立体形状データ生成装置であって、
前記構造化光の波長は、青色帯域の波長であることを特徴とする立体形状データ生成装置。

【請求項5】

請求項１に記載の立体形状データ生成装置であって、
前記第１の照明光の波長帯域と、前記構造化光の波長帯域とが重複しており、
前記バンドパスフィルタは、前記第１の照明光の透過帯域の幅が、前記第２の照明光及び前記第３の波長帯域の幅よりも広くなるように構成されていることを特徴とする立体形状データ生成装置。

【請求項6】

請求項５に記載の立体形状データ生成装置であって、
前記第１の照明光の波長帯域は青色帯域であり、
前記第２の照明光の波長帯域は緑色帯域であり、
前記第３の照明光の波長帯域は赤色帯域であり、
前記バンドパスフィルタは、青色帯域の波長の透過帯域の幅が、緑色帯域及び赤色帯域の波長の透過帯域の幅よりも広くなるように構成されていることを特徴とする立体形状データ生成装置。

【請求項7】

請求項１に記載の立体形状データ生成装置であって、
前記撮像部は、前記構造化光及び前記照明光が入射する光学系と、前記光学系から出射した光を受光し、受光量に対応する電気信号を出力する受光素子とを備え、
前記バンドパスフィルタは、前記光学系と前記受光素子との間に配置されることを特徴とする立体形状データ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測定対象物の立体形状データを生成する立体形状データ生成装置に関する。

【背景技術】

【0002】

従来より、測定対象物の立体形状データを生成する立体形状データ生成装置が知られている。特許文献１に開示されている立体形状データ生成装置は、測定対象物に対して一定照度のパターン光を照射する投影部と、パターン光の照射された測定対象物を照明する補助照明部とを備えている。特許文献１では、パターン光の成分と補助照明部による照明の成分とを含む測定対象物の表面の明るさを検出し、検出される明るさが一定となるように、補助照明部による照明強度を制御するようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２４１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１の立体形状データ生成装置では、測定対象物の表面の明るさが一定となるように補助照明部を制御しているが、検出される明るさが一定であっても、外乱光等に起因して、測定に使用される波長の光（測定光）の強度が変動することがある。測定光の強度が変動すると、測定精度の低下を招く虞がある。特に広視野にしようとすると外乱光による測定精度の低下がより一層顕著な問題となる。

【0005】

また、測定光の波長帯域を選択的に透過させるようなバンドパスフィルタを撮像素子の前に入れることも考えられるが、この場合、測定光の波長帯域以外の波長の光は透過しないため、測定対象物のテクスチャ情報の取得が難しい。テクスチャ情報を取得するためには別にカラーカメラを設置する必要があるが、カラーカメラの解像度はモノクロカメラに比べて低いという問題がある。

【0006】

また、外乱光そのものを遮断するために測定対象物を暗室に設定する方法やカーテン等の遮光部材を設けてＲＧＢの各照明を用いる方法がある。この場合、形状測定とテクスチャ情報の取得とでカメラを共通化できるが、暗室の準備が手間であり、測定対象物の形状によっては遮光部材では対応できないことが想定される。

【0007】

本開示は、かかる点に鑑みたものであり、その目的とするところは、外乱光による測定精度の悪化を抑制しつつ、カラーカメラ等の別カメラを用いることなく測定対象物のテクスチャ情報を取得できるようにすることにある。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本態様に係る立体形状データ生成装置は、測定用の構造化光を測定対象物に照射する構造化照明部と、互いに波長が異なる第１の照明光、第２の照明光及び第３の照明光を観察用の照明光として測定対象物にそれぞれ照射する観察用照明部と、バンドパスフィルタとを備えている。バンドパスフィルタは、前記構造化光のピーク波長を含む所定幅の波長帯域と、前記第１の照明光のピーク波長を含む所定幅の波長帯域と、前記第２の照明光のピーク波長を含む所定幅の波長帯域と、前記第３の照明光のピーク波長を含む所定幅の波長帯域とを透過帯域として持っている。撮像部は、前記構造化照明部から照射されて測定対象物により反射され、前記バンドパスフィルタを透過した構造化光を受光することにより測定対象物の画像を示すパターン画像データを生成するとともに、前記観察用照明部から照射されて測定対象物により反射され、前記バンドパスフィルタを透過した観察用の照明光を受光することにより測定対象物のテクスチャ画像データを生成する。前記撮像部により生成されたパターン画像データに基づいて、立体形状データ生成部が測定対象物の立体形状データを生成し、また、前記撮像部により生成されたテクスチャ画像データに基づいて、テクスチャデータ生成部が測定対象物の表面状態を示すテクスチャデータを生成する。前記立体形状データ生成部により生成された立体形状データと、前記テクスチャデータ生成部により生成されたテクスチャデータとを合成部が合成して合成データを生成し、生成された合成データを表示制御部が表示部に表示させることができる。

【0009】

この構成によれば、測定対象物から反射された構造化光は、バンドパスフィルタを透過して撮像部で受光されるので、外乱光の影響が抑制されたパターン画像データを生成することができ、立体形状データの測定精度の悪化が回避される。一方、観察用の照明光として、第１の照明光、第２の照明光及び第３の照明光の各々を異なるタイミングで測定対象物に照射すると、各照明光はバンドパスフィルタを透過して撮像部でそれぞれ受光される。第１の照明光、第２の照明光及び第３の照明光を、それぞれ例えばＲＧＢに対応する照明光とすることで、例えばモノクロの高解像度カメラを撮像部として用いて立体形状データの測定精度を高めながら、当該撮像部を利用して測定対象物のテクスチャ画像データを生成できる。また、測定用の構造化光及び観察用の照明光をバンドパスフィルタに透過させることで、Ｓ／Ｎも向上し、より一層測定精度が向上する。

【0010】

また、別の態様に係る撮像部は、前記構造化光及び前記観察用の照明光を受光するためのモノクロカメラであってもよい。この場合、前記観察用照明部は、前記第１の照明光、前記第２の照明光及び前記第３の照明光を測定対象物に時分割で照射し、前記テクスチャデータ生成部は、前記観察用照明部から照射された前記第１の照明光、前記第２の照明光及び前記第３の照明光を時分割に前記撮像部で撮像することにより得られた複数のテクスチャ画像データに基づいて、カラーの二次元テクスチャ画像を生成することができる。

【0011】

この構成によれば、同一のモノクロカメラを用いてパターン画像データとテクスチャ画像データを生成できるので、パターン画像データとテクスチャ画像データとのマッピングが不要になり、その分、処理をシンプルにすることができる。

【0012】

また、他の態様に係るバンドパスフィルタは、前記照明光の透過帯域の幅よりも、前記構造化光の透過帯域の幅が広くなるように構成されていてもよい。すなわち、構造化照明部から照射される構造化光（測定光）の波長には、温度変化などでばらつきが生じる可能性がある。測定光用の構造化光の透過帯域を他の波長よりも広く設定することにより、バンドパスフィルタが構造化光を確実に透過させるので、測定精度の低下を招くことなく立体形状データの生成ができる。

【0013】

また、構造化光の波長を、分解能が高い投影パターンの照射が可能な青色帯域の波長としてもよい。これにより、測定精度をより向上させることができる。

【0014】

また、別の態様では、前記第１の照明光の波長帯域と、前記構造化光の波長帯域とが重複していてもよい。前記バンドパスフィルタは、前記第１の照明光の透過帯域の幅が、前記第２の照明光の波長帯域の幅及び前記第３の波長帯域の幅よりも広くなるように構成することができる。また、構造化光は、例えば赤外線や紫外線等の可視光以外の光であってもよく、この場合、照明光の波長帯域と、構造化光の波長帯域とが重複しない。

【0015】

また、バンドパスフィルタは、撮像部の光学系と受光素子との間に配置することができる。すなわち、仮に、光学系の前面（構造化光及び照明光が入射する面）にバンドパスフィルタを設置すると、特に広角な光学系を用いた場合に、角度特性によってシェーディングが悪化する可能性があるが、撮像部の光学系と受光素子との間にバンドパスフィルタを設置することで、そのようなシェーディングの悪化を回避できる。

【発明の効果】

【0016】

以上説明したように、構造化光のピーク波長を含む透過帯域と、観察用の照明の第１～第３の照明光のピーク波長をそれぞれ含む透過帯域とを持つバンドパスフィルタを設けたので、外乱光による測定精度の悪化を抑制しつつ、カラーカメラ等の別カメラを用いることなく測定対象物のテクスチャ情報を取得できる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態１に係る立体形状データ生成装置の全体構成を示す図である。

【図2】立体形状データ生成装置のブロック図である。

【図3】撮像部を構成しているカメラモジュールの斜視図である。

【図4】カメラモジュールの分解斜視図である。

【図5】バンドパスフィルタの透過率を示すグラフである。

【図6】立体形状データ生成装置の処理手順の一例を示すフローチャートである。

【図7】本発明の実施形態２に係る立体形状データ生成装置の全体構成を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0019】

（実施形態１）
図１は、本発明の実施形態１に係る立体形状データ生成装置１の全体構成を示す図である。立体形状データ生成装置１は、ワーク（測定対象物）Ｗの立体形状データを生成するシステムであり、例えば、ワークＷの形状を測定することによって取得したワークＷのメッシュデータをＣＡＤデータに変換して出力することが可能になっている。

【0020】

特に限定されるものではないが、立体形状データ生成装置１は、例えば既存製品のＣＡＤデータを取得して次機種展開や形状解析をＣＡＤ・ＣＡＥ上で実施したり、製品デザインにおけるモデルやモックの形状を製品設計に反映したり、嵌合する相手部品の形状に基づいて嵌合元となる製品を設計したり、試作品の形状に基づいて改良設計を行う場合等に利用される。したがって、ワークＷとしては、例えば既存製品、モデル、モック、試作品等を挙げることができる。

【0021】

また、立体形状データ生成装置１は、ワークＷのメッシュデータをサーフェスデータに変換して出力することも可能である。ワークＷのメッシュデータをサーフェスデータに変換して出力することで、ユーザのリバースエンジニアリング工程、リバースエンジニアリング作業を支援することができるので、立体形状データ生成装置１は、リバースエンジニアリング支援装置と呼ぶこともできる。

【0022】

以下の説明では、ワークＷの形状を測定する際に、ワークＷ表面の座標情報を取得するにあたり、測定用の構造化光をワークＷに対して照射して、ワークＷの表面で反射された構造化光に基づいて座標情報を取得している。例えば、ワークＷの表面で反射された構造化光から得られる縞投影画像を用いた三角測距による計測方法を適用することができる。ただ、本発明では、ワークＷの座標情報を取得するための原理や構成は、これに限らず、他の方法も適用することができる。

【0023】

立体形状データ生成装置１は、測定部１００と、台座部２００と、コントローラ３００と、表示部４００と、操作部５００とを備えている。図２に示すように、測定部１００は、構造化照明部１１０と観察用照明部１１５と撮像部１２０とを備えるとともに、構造化照明部１１０、観察用照明部１１５及び撮像部１２０が取り付けられる筐体１００Ａを備えている。さらに、測定部１００は、構造化照明部１１０、観察用照明部１１５及び撮像部１２０を制御する測定制御部１３０も備えている。測定制御部１３０は、筐体１００Ａに設けられていてもよいし、コントローラ３００側に設けられていてもよい。

【0024】

筐体１００Ａは、コントローラ３００とは別体とされて支持部６００によって支持されている。支持部６００は、ベース部６０１と、ベース部６０１に固定された伸縮部６０２と、伸縮部６０２の上部に設けられた角度調整部６０３とを備えた可搬性のものであり、ユーザによって設置位置を自由に設定できる。角度調整部６０３に測定部１００が着脱可能に取り付けられている。伸縮部６０２を上下方向に伸縮させることで測定部１００の高さ調整が可能である。また、角度調整部６０３は、例えば水平軸周りの回動、鉛直軸周りの回動、傾斜軸周りの回動等が調整可能に構成されている。これにより、測定部１００の水平面に対する設置角、鉛直面に対する設置角を任意に調整することができる。

【0025】

支持部６００は、上述した構成に限られるものではなく、例えば三脚、自由に屈曲させて屈曲させた形状を維持することが可能なフレキシブルアーム、ブラケット等、またはこれらを組み合わせて構成されていてもよい。また、測定部１００は、例えば産業用ロボットの６自由度アームに取り付けて使用することもできる。さらに、測定部１００は、ユーザが手で持って使用することもでき、この場合、支持部６００は不要になる。つまり、支持部６００は、立体形状データ生成装置１の一部に含まれる部材であってもよいし、立体形状データ生成装置１に含まれない部材であってもよい。

【0026】

ユーザが筐体１００Ａを持ってワークＷを測定する場合には、測定部１００をワークＷの製造現場等に持ち込んで測定することができる。この場合、ユーザが測定部１００を任意の位置に移動させて任意のタイミングで撮像することでワークＷの形状を測定できる。これを手動測定と呼ぶことができる。

【0027】

また、測定部１００を支持部６００で支持するとともに、ワークＷを、後述する自動回転式の台座部２００に載置することで、ワークＷを台座部２００によって回転させながら、所定のタイミングで撮像することでワークＷの広範囲の形状を測定できる。これを半自動測定と呼ぶことができる。尚、ワークＷを台座部２００に載置することなく、例えば定盤等に載置して測定することもできる。

【0028】

また、測定部１００を産業用ロボットのアームに取り付けて移動させることで、ユーザの手を介することなく、ワークＷの広範囲の形状を測定できる。これを全自動測定と呼ぶことができる。本発明は、手動測定、半自動測定及び全自動測定の全てに適用可能である。

【0029】

操作部５００は、例えばキーボード５０１やマウス５０２等のポインティングデバイスを含むことができる。ポインティングデバイスとしては、例えばジョイスティック等を用いてもよい。また、操作部５００は、ユーザによるタッチ操作を感知するタッチパネル等が含まれていてもよい。操作部５００と、コントローラ３００内の演算装置３０１とが接続されており、操作部５００によってどのような操作がなされたかは、演算装置３０１で検出可能になっている。

【0030】

台座部２００は、ベースプレート２０１と、ワークＷが載置される載置面を形成するステージ２０２と、回転機構２０３とを備えている。台座部２００は、ワークＷをステージ２０２上でクランプするクランプ機構を含んでいてもよい。回転機構２０３は、ベースプレート２０１とステージ２０２との間に設けられており、ステージ２０２をベースプレート２０１に対して鉛直軸（図１に示すＺ軸）周りに回転させる機構である。従って、ステージ２０２は回転ステージであり、ワークＷを載置した状態で回転させることにより、撮像部１２０に対するワークＷの相対的な位置関係を切り替えることが可能になる。Ｚ軸を中心に回転する方向をθ方向と定義し、矢印θで示す。また、台座部２００は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージを含んでもよい。

【0031】

回転機構２０３は、後述する測定制御部１３０によって制御されるモータ等を有しており、ステージ２０２を所望の回転角度だけ回転させた後、停止状態で保持可能になっている。台座部２００は、本発明に必須な構成要素ではなく、必要に応じて設けられるものである。また、台座部２００は、コントローラ３００によって制御されてもよい。

【0032】

図示しないが、台座部２００は、ステージ２０２を、水平かつ互いに直交するＸ方向及びＹ方向に移動させる並進機構を備えていてもよい。並進機構も、測定制御部１３０やコントローラ３００によって制御されるモータ等を有しており、ステージ２０２をＸ方向及びＹ方向に所望の移動量だけ移動させた後、停止状態で保持可能になっている。尚、本発明は、ステージ２０２が固定式のステージであっても適用可能である。

【0033】

図２に示すように、構造化照明部１１０は、測定用の構造化光をワークＷに照射する部分である。測定部１００は、複数の構造化照明部１１０を含んでいてもよく、例えば、第一の方向からワークＷに対して第一構造化光を照射可能な第一構造化照明部と、第一の方向とは異なる第二の方向からワークＷに対して第二構造化光を照射可能な第二構造化照明部がそれぞれ設けられていてもよい。

【0034】

なお、図示しないが、構造化照明部１１０を３以上備えたり、あるいは構造化照明部１１０と台座部２００を相対移動させて、共通の構造化照明部１１０を用いつつも、構造化光の照射方向を異ならせてワークＷに投光させることも可能である。また、構造化照明部１１０を複数用意し、共通の撮像部１２０で受光する構成とする以外に、共通の構造化照明部１１０に対して、複数の撮像部１２０を用意して受光するように構成してもよい。さらに構造化照明部１１０が投光する構造化光のＺ方向に対する照射角度を固定としてもよいし、可変としてもよい。

【0035】

構造化照明部１１０は、測定光源１１１、パターン生成部１１２及び複数のレンズ１１３を含んでいる。測定光源１１１は、単色光を発光する光源、例えば白色光を出射するハロゲンランプ、青色光を出射する青色ＬＥＤ（発光ダイオード）、有機ＥＬ等の光源を用いることができる。本例では、青色光を出射する青色ＬＥＤで測定光源１１１が構成されているが、可視光以外の波長帯域の光を測定用の構造化光としてもよく、例えば赤外線や紫外線を発する発光素子で測定光源１１１が構成されていてもよい。測定光源１１１から出射された光は、集光された後、パターン生成部１１２に入射される。

【0036】

パターン生成部１１２は、構造化光をワークＷに対して照射するよう、測定光源１１１から出射された光を反射させる。パターン生成部１１２に入射した測定光は、予め設定されたパターン及び予め設定された強度（明るさ）に変換されて出射される。パターン生成部１１２により出射された構造化光は、複数のレンズ１１３により撮像部１２０の観察・測定可能な視野よりも大きい径を有する光に変換された後、ワークＷに照射される。

【0037】

パターン生成部１１２は、構造化光をワークＷに照射する照射状態と、構造化光をワークＷに照射しない非照射状態とに切り替え可能な部材である。このようなパターン生成部１１２には、例えばＤＭＤ（デジタルマイクロミラーデバイス）等を利用できる。ＤＭＤを用いたパターン生成部１１２は、照射状態として構造化光を光路上に向けて反射させる反射状態と、非照射状態として構造化光を遮光させる遮光状態とを切り替え可能に、測定制御部１３０により制御できる。

【0038】

パターン生成部１１２は、多数のマイクロミラー（微小鏡面）を平面上（Ｘ方向及びＹ方向）に配列した素子である。各マイクロミラーは、測定制御部１３０により個別にＯＮ状態、ＯＦＦ状態を切り替えることができるので、多数のマイクロミラーのＯＮ状態、ＯＦＦ状態を組み合わせて、測定用の構造化光として所望の投影パターンを持った光を生成できる。これによって、三角測距に必要なパターンを生成して、ワークＷの形状の測定が可能となる。このようにパターン生成部１１２は、測定時には測定用の周期的な投影パターンをワークＷに照射する光学系の一部として機能する。またＤＭＤは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。

【0039】

パターン生成部１１２を制御することで、明暗周期を有する複数種の構造化光を生成できる。具体的には、パターン生成部１１２は、例えばグレイコードパターン光やマルチスリットパターン光等を構造化光として生成できる。パターン生成部１１２を制御することで複数のグレイコードパターン光を生成することができるとともに、マルチスリットパターン光の位相を変えて互いに位相の異なる複数のマルチスリットパターン光を生成することができる。マルチスリットパターン光の位相を変えることを位相シフトという。

【0040】

構造化照明部１１０は、ワークＷの形状を測定する際に、パターン生成部１１２を制御することで明暗周期が異なるグレイコードパターン光をワークＷに複数回照射することができるとともに、マルチスリットパターン光を位相シフトさせつつワークＷに複数回照射することができる。また、構造化照明部１１０は、例えばランダムドット等のパターンを生成してワークＷに照射可能に構成されていてもよい。この場合、ランダムドット方式で形状測定を行うことができ、撮像回数は１回で済む。

【0041】

なお以上の例では、パターン生成部１１２にＤＭＤを用いた例を説明したが、本発明はパターン生成部１１２をＤＭＤに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部１１２として、ＬＣＯＳ（Liquid Crystal on Silicon：反射型液晶素子）を用いてもよい。あるいは反射型の部材に代えて透過型の部材を用いて、構造化光の透過量を調整してもよい。この場合は、パターン生成部１１２を光路上に配置して、光を透過させる照射状態と、光を遮光させる遮光状態とを切り替える。このようなパターン生成部１１２には、例えばＬＣＤ（液晶ディスプレイ）が利用できる。あるいは、複数ラインＬＥＤを用いた投影方法、複数光路を用いた投影方法、レーザとガルバノミラー等で構成される光スキャナ方式、ビームスプリッタで分割したビームを重ね合わせることによって発生された干渉縞を用いるＡＦＩ（Accordion fringe interferometry）方式、ピエゾステージと高分解能エンコーダ等で構成される実体格子と移動機構を用いた投影方法等でパターン生成部１１２を構成してもよい。尚、パターン生成部１１２は、パターンを生成することなく、均一光を照射することもできる。

【0042】

観察用照明部１１５は、互いに波長が異なる赤色光、緑色光及び青色光を観察用の照明光としてワークＷにそれぞれ照射する部分である。すなわち、観察用照明部１１５は、赤色光源１１６、緑色光源１１７及び青色光源１１８を備えている。赤色光源１１６、緑色光源１１７及び青色光源１１８は、例えばＬＥＤ等で構成されており、測定制御部１３０により点灯、消灯、点灯時の明るさ等が個別に制御される。観察用照明部１１５の光源には、ＬＥＤの他、半導体レーザ（ＬＤ）やハロゲンライト、ＨＩＤなど、他の光源を適宜利用することもできる。本例では、構造化照明部１１０の測定光源１１１が青色光を出射する青色ＬＥＤで構成されているので、構造化光の波長帯域と、観察用照明部１１５の青色光源１１８から出射される青色光の波長帯域とが重複している。構造化光の波長帯域と、観察用の青色光の波長帯域とは、完全に重複していてもよいし、一部のみ重複していてもよいが、少なくとも構造化光のピーク波長が観察用の青色光の波長帯域と重複しているのがよい。尚、構造化照明部１１０の測定光源１１１が赤外線や紫外線を照射するものである場合には、構造化光の波長帯域と、観察用照明部１１５の各色の波長帯域とは重複しない関係となる。

【0043】

測定制御部１３０が観察用照明部１１５を制御することにより、赤色光源１１６のみ点灯させて緑色光源１１７及び青色光源１１８を消灯させ、赤色の照明光を生成することができ、また、緑色光源１１７のみ点灯させて赤色光源１１６及び青色光源１１８を消灯させ、緑色の照明光を生成することができ、また、青色光源１１８のみ点灯させて緑色光源１１７及び赤色光源１１６を消灯させ青色の照明光を生成することができる。このように、観察用照明部１１５は、赤色光、緑色光及び青色光をワークＷに時分割で照射することが可能になっている。尚、赤色光源１１６、緑色光源１１７及び青色光源１１８の全てを点灯させることで、白色の照明光等を生成することもできる。

【0044】

また、観察用照明部１１５の構成は上述した構成に限られるものではなく、例えば、赤色光源１１６を有する照明部、緑色光源１１７を有する照明部及び青色光源１１８を有する照明部が別体とされた個別照明であってもよい。

【0045】

撮像部１２０は、受光素子１２１とバンドパスフィルタ１２２と複数のレンズ１２３とを含んでおり、図３に示すようにカメラモジュールＣＭで構成されている。レンズ１２３は、構造化光及び照明光が入射する光学系を構成する部材である。受光素子１２１は、レンズ１２３から出射した光を受光し、受光量に対応する電気信号を出力する部材である。受光素子１２１は、例えばＣＣＤ（電荷結合素子）や、ＣＭＯＳ（相補性金属酸化膜半導体）等のイメージセンサで構成されている。受光素子１２１の各画素からは、受光量に対応するアナログの電気信号（以下、「受光信号」と呼ぶ。）が後述するＡ／Ｄ変換器に出力される。本実施形態では、受光素子１２１としてカラーカメラに比べて高解像度なモノクロカメラを採用している。

【0046】

図４にも示すように、カメラモジュールＣＭは、受光素子１２１が固定されるホルダ１２５を備えている。ホルダ１２５には、レンズ１２３が固定されるレンズ固定孔１２５ａが形成されている。レンズ固定孔１２５ａの奥に、受光素子１２１がその受光面をレンズ固定孔１２５ａ側に向けて配置されている。

【0047】

レンズ固定孔１２５ａの奥側の周縁部には、バンドパスフィルタ１２２を所定位置に固定するための取付座１２５ｂが当該レンズ固定孔１２５ａの径方向内方へ向けて突出するように設けられている。バンドパスフィルタ１２２は円板状をなしており、その奥側の面（受光素子１２１側の面）が取付座１２５ｂに当接するようになっている。バンドパスフィルタ１２２の手前側の面とレンズ１２３との間には円環状のリテーナ１２６が介在している。レンズ１２３をレンズ固定孔１２５ａに固定すると、レンズ１２３によってリテーナ１２６がバンドパスフィルタ１２２に押圧され、リテーナ１２６によって押圧されたバンドパスフィルタ１２２は取付座１２５ｂに押圧されて所定位置に固定される。

【0048】

このようにして、バンドパスフィルタ１２２は、レンズ１２３の光出射面と受光素子１２１の受光面との間に配置される。バンドパスフィルタ１２２をレンズ１２３の前面（構造化光及び照明光が入射する面）に設置すると、特に広角なレンズ１２３を用いた場合に、角度特性によってシェーディングが悪化する可能性があるが、レンズ１２３と受光素子１２１との間にバンドパスフィルタ１２２を設置することで、そのようなシェーディングの悪化を回避できる。尚、シェーディングが問題とならない画角を持ったレンズ１２３を使用する場合には、バンドパスフィルタ１２２をレンズ１２３の前面に設置してもよい。

【0049】

また、バンドパスフィルタ１２２がレンズ１２３の光出射面に近づきすぎると面精度の影響を受けやすくなる。一方、バンドパスフィルタ１２２が受光素子１２１に近づきすぎるとゴミや傷の影響を受けやすくなる。両方の影響を最小化すべく、本例では、バンドパスフィルタ１２２が、レンズ１２３の光出射面と受光素子１２１の受光面との中央に配置されている。尚、バンドパスフィルタ１２２がレンズ１２３の光出射面寄りに配置されていてもよいし、受光素子１２１の受光面寄りに配置されていてもよい。

【0050】

構造化照明部１１０から照射されてワークＷで反射された測定用の構造化光は、レンズ１２３に入射して集光、結像された後、バンドパスフィルタ１２２を透過してから受光素子１２１により順次受光されてワークＷの画像を示す複数のパターン画像データが順次生成される。また、観察用照明部１１４から照射されてワークＷにより反射された観察用の各照明光は、レンズ１２３に入射して集光、結像された後、バンドパスフィルタ１２２を透過してから受光素子１２１により受光されてワークＷのテクスチャ画像データが生成される。

【0051】

撮像部１２０には、高倍のレンズ１２３を備えた高倍撮像部と、低倍のレンズ１２３を備えた低倍撮像部とが含まれていてもよい。また、レンズ１２３は倍率の変更が可能なズームレンズ等であってもよく、倍率の変更が可能な撮像部１２０であってもよい。撮像時の倍率と画像データとが対応付けられるようになっており、どの倍率で撮像された画像データであるかの識別が可能になっている。

【0052】

撮像部１２０には、図示しないＡ／Ｄ変換器（アナログ／デジタル変換器）及びＦＩＦＯ（First In First Out）メモリ、ＣＰＵ等が実装されている。受光素子１２１から出力される受光信号は、Ａ／Ｄ変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。Ａ／Ｄ変換器から出力されるデジタル信号は、ＦＩＦＯメモリに順次蓄積される。ＦＩＦＯメモリに蓄積されたデジタル信号は画素データとしてＣＰＵへ順次出力されて、ＣＰＵでパターン画像データが生成される。

【0053】

受光素子１２１から出力される受光信号に基づいて、特定の位置において受光素子１２１の視野内に含まれるワークＷの立体形状を表すパターン画像データを生成する。パターン画像データは、受光素子１２１で取得された画像そのものである。例えば位相シフト方式でワークＷの形状を測定する場合、複数枚の画像がパターン画像データを構成することになる。

【0054】

構造化照明部１１０がマルチスリットパターン光を位相シフトさせつつワークＷに照射すると、撮像部１２０は、マルチスリットパターン光がワークＷに照射される都度、当該ワークＷから反射されたマルチスリットパターン光を順次受光する。これにより、撮像部１２０は、マルチスリットパターン光が照射されたときのワークＷの画像を示す複数のパターン画像データを順次生成する。

【0055】

また、構造化照明部１１０がグレイコードパターン光をワークＷに照射すると、撮像部１２０は、グレイコードパターン光がワークＷに照射される都度、当該ワークＷから反射されたグレイコードパターン光を順次受光する。これにより、撮像部１２０は、グレイコードパターン光が照射されたときのワークＷの画像を示す複数のパターン画像データを順次生成する。

【0056】

なお、パターン画像データは、三次元位置情報を有する点の集合である点群データであってもよく、この点群データにより、ワークＷのパターン画像データを取得できる。点群データは、三次元座標を有する複数の点の集合体で表現されるデータである。生成されたパターン画像データはコントローラ３００に転送される。

【0057】

バンドパスフィルタ１２２は、構造化光のピーク波長を含む所定幅の波長帯域と、照明光である赤色光のピーク波長を含む所定幅の波長帯域と、照明光である緑色光のピーク波長を含む所定幅の波長帯域と、照明光である青色光のピーク波長を含む所定幅の波長帯域とを透過帯域として持っている。青色光のピーク波長を含む所定幅の波長帯域を青色波長帯域といい、赤色光のピーク波長を含む所定幅の波長帯域を赤色波長帯域といい、緑色光のピーク波長を含む所定幅の波長帯域を緑色波長帯域という。本例では、構造化光が青色光であるため、赤色波長帯域と、緑色波長帯域と、青色波長帯域とがバンドパスフィルタ１２２の透過帯域となっている。構造化光が赤外線や紫外線の場合には、赤外線のピーク波長を含む所定幅の波長帯域、紫外線のピーク波長を含む所定幅の波長帯域を透過帯域としてバンドパスフィルタ１２２が持つことになる。

【0058】

図５に示すグラフは、横軸が光の波長（ｎｍ）、縦軸が透過率を示している。構造化光及び照明光の青色光の波長を「青色光」として示し、照明光の緑色光の波長を「緑色光」として示し、照明光の赤色光の波長を「赤色光」として示している。また、蛍光灯から照射される光の波長と、太陽光の波長についても同図に示している。また、バンドパスフィルタ１２２の透過特性については破線で示すとおりであり、青色波長帯域と、緑色波長帯域と、赤色波長帯域とが透過帯域となっており、各波長間には、相対的に光の透過率が低い領域を有している。すなわち、バンドパスフィルタ１２２は、青色波長帯域と、緑色波長帯域と、赤色波長帯域を選択的に透過するような構成となっている。

【0059】

透過率の一例を挙げると、青色波長帯域による青色光の透過率は、例えば９０％以上に設定することができ、また、緑色波長帯域による緑色光の透過率は、例えば４５％以上に設定することができ、また、赤色波長帯域による赤色光の透過率は、例えば８０％以上に設定することができる。このように設定した場合、例えば蛍光灯から照射された光の透過率は５０％以下となり、また、太陽光の透過率は４０％以下となる。これにより、外乱光の影響が抑制される。

【0060】

青色波長帯域よりも短波長側の透過率はほぼ０となっている。また、青色波長帯域と緑色波長帯域の間の波長帯域の透過率もほぼ０、緑色波長帯域と赤色波長帯域の間の波長帯域の透過率もほぼ０、赤色波長帯域よりも長波長側の透過率もほぼ０となっている。尚、照明光の青色帯域は、本発明の第１の照明光の波長帯域であり、照明光の緑色帯域は、本発明の第２の照明光の波長帯域であり、照明光の赤色帯域は、本発明の第３の照明光の波長帯域である。

【0061】

バンドパスフィルタ１２２は、照明光の透過帯域の幅よりも、構造化光の透過帯域の幅が広くなるように構成されている。具体的には、青色光の透過帯域の幅が、緑色帯域及び赤色帯域の波長の透過帯域の幅よりも広くなっている。構造化光の透過帯域を広くしていることで、ワークＷの材質等によってより大きな光量が必要な場合であってもバンドパスフィルタ１２２による光量の損失を最小限に留めて測定精度を高めることができる。また、構造化照明部１１０から照射される構造化光の波長には、温度変化などでばらつきが生じる可能性がある。測定光用の構造化光の透過帯域を他の波長よりも広く設定することにより、バンドパスフィルタ１２２が構造化光を確実に透過させるので、測定精度の低下を招くことなく立体形状データの生成ができる。

【0062】

バンドパスフィルタ１２２の製造時には、例えば無色透明なガラス板等の素材に多数の成膜を行う。これにより、上述したような複数の透過帯域を持つバンドパスフィルタ１２２が得られるが、多数の成膜を素材の一方の面にのみ行うと、その応力の影響で成膜後の面精度が悪化する場合がある。その影響を小さくするために、他方の面に応力緩和膜を形成している。応力緩和膜は光量のロスを防ぐ目的で一般的に成膜されるＡＲコートと兼用させることもできる。応力緩和膜を形成することで、バンドパスフィルタ１２２の面精度の悪化が抑制され、ひいては測定精度を高めることができる。応力緩和膜は必要に応じて設ければよく、必須なものではない。

【0063】

コントローラ３００は、演算装置３０１、作業用メモリ３０２、ＲＯＭ（リードオンリメモリ）３０３、記憶部３０４、及び、表示部４００を制御する表示制御部３０５等を含んでいる。コントローラ３００には、ＰＣ（パーソナルコンピュータ）等が利用できるが、専用のコンピュータのみ、あるいは、ＰＣと専用のコンピュータとの組み合わせで構成されていてもよい。

【0064】

コントローラ３００のＲＯＭ３０３には、例えばシステムプログラム等が記憶される。コントローラ３００の作業用メモリ３０２は、例えばＲＡＭ（ランダムアクセスメモリ）からなり、種々のデータの処理のために用いられる。記憶部３０４は、例えばソリッドステートドライブや、ハードディスクドライブ等からなる。記憶部３０４には、立体形状データ生成プログラムが記憶される。また、記憶部３０４は、測定制御部１３０から与えられる画素データ（パターン画像データ、テクスチャ画像データ）、ワークＷの測定条件等の種々のデータを保存するために用いられる。測定条件としては、例えば構造化照明部１１０の設定（パターン周波数、パターン種類）、撮像部１２０の倍率、測定視野（単一視野か広視野か）、測定位置、回転姿勢、露光条件（露光時間、ゲイン、照明の明るさ）、解像度設定（低解像度測定、標準測定、高解像度測定）等が含まれる。

【0065】

演算装置３０１は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子で構成されている。本明細書において演算装置３０１とは、演算を行う素子や回路を意味し、その名称によらず、汎用ＰＣ向けのＣＰＵやＭＰＵ、ＧＰＵ、ＴＰＵ等のプロセッサに限定するものでなく、ＦＰＧＡ、ＡＳＩＣ、ＬＳＩ等のプロセッサやマイコン、あるいはＳｏＣ等のチップセットを含む意味で使用する。

【0066】

演算装置３０１は、撮像部１２０が生成したパターン画像データに対し、作業用メモリ３０２を用いて各種処理を行う。演算装置３０１により、立体形状データ生成部３０１ａ、テクスチャデータ生成部３０１ｂ及び合成部３０１ｃ等が構成されている。立体形状データ生成部３０１ａ、テクスチャデータ生成部３０１ｂ及び合成部３０１ｃは、演算装置３０１のハードウェアのみで構成されていてもよいし、ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。例えば、演算装置３０１が立体形状データ生成プログラムを実行することで、立体形状データ生成部３０１ａ、テクスチャデータ生成部３０１ｂ及び合成部３０１ｃの各機能の実現が可能になる。立体形状データ生成プログラムは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭのような各種記憶媒体に記憶されていてもよいし、サーバ等に記憶されていてユーザによってダウンロード可能な形態で提供されてもよい。

【0067】

立体形状データ生成部３０１ａは、撮像部１２０により生成された複数のパターン画像データに基づいてワークＷの立体形状データを生成する部分である。例えば、立体形状データ生成部３０１ａは、マルチスリットパターン光のパターン画像データに基づいてワークＷの相対位相を算出するとともに、グレイコードパターン光のパターン画像データに基づいてワークＷの絶対位相を算出する。その後、立体形状データ生成部３０１ａは、ワークＷの相対位相と絶対位相とに基づいて位相画像、点群データ、メッシュデータ等の生成、即ち３次元画像処理及び描画処理を実行する。

【0068】

テクスチャデータ生成部３０１ｂは、撮像部１２０により生成された複数のテクスチャ画像データに基づいてワークＷの表面状態を示すテクスチャデータを生成する部分である。具体的には、観察用照明部１１５は、赤色光、緑色光及び青色光を時分割で切り替えてワークＷに照射する。撮像部１２０は、赤色光がワークＷに照射された時のワークＷからの反射光を受光して赤色照射時のテクスチャ画像データを生成する。また、撮像部１２０は、緑色光がワークＷに照射された時のワークＷからの反射光を受光して緑色照射時のテクスチャ画像データを生成する。さらに、撮像部１２０は、青色光がワークＷに照射された時のワークＷからの反射光を受光して緑色照射時のテクスチャ画像データを生成する。このように撮像部１２０は、赤色光、緑色光、青色光がそれぞれ照射されたワークＷを時分割に撮像することにより、少なくとも３つのテクスチャ画像データを生成する。テクスチャデータ生成部３０１ｂは、時分割で生成された複数のテクスチャ画像データに基づいて、カラーの二次元テクスチャ画像を生成する。

【0069】

合成部３０１ｃは、立体形状データ生成部３０１ａにより生成された立体形状データと、テクスチャデータ生成部３０１ｂにより生成されたテクスチャデータとが合成された合成データを生成する。これにより、テクスチャの把握が可能な立体形状画像を取得できる。本例では、同一のモノクロカメラを用いてパターン画像データとテクスチャ画像データを生成できるので、パターン画像データとテクスチャ画像データとのマッピングが不要になり、その分、処理をシンプルにすることができる。

【0070】

図６は、立体形状データ生成装置の処理手順の一例を示すフローチャートである。テクスチャ画像が必要な場合には、ユーザが操作部５００を操作することで、本フローチャートに示す処理が実行される。例えば、図示しない測定開始ボタンをユーザが操作部５００によって操作すると、ステップＳＡ１が実行され、測定制御部１３０が構造化照明部１１０を制御して構造化光を照射する。ステップＳＡ２では、測定制御部１３０が撮像部１２０を制御し、ワークＷで反射した構造化光を撮像部１２０で受光する。このとき、バンドパスフィルタ１２２を透過した光のみが受光素子１２１で受光されるので、外乱光の影響が抑制されたパターン画像データが生成される。ステップＳＡ１、ＳＡ２は、構造化光の種類等に応じて複数回繰り返される。

【0071】

その後、ステップＳＡ３に進み、測定制御部１３０が観察用照明部１１５を制御して赤色光を照射する。ステップＳＡ４では、測定制御部１３０が撮像部１２０を制御し、ワークＷで反射した光を撮像部１２０で受光する。このとき、赤色光はバンドパスフィルタ１２２が持つ透過帯域の一つであるため、受光素子１２１で受光されて赤色光照射時のテクスチャ画像データが生成される。

【0072】

ステップＳＡ５では、測定制御部１３０が観察用照明部１１５を制御して緑色光を照射する。ステップＳＡ６では、測定制御部１３０が撮像部１２０を制御し、ワークＷで反射した光を撮像部１２０で受光する。このとき、緑色光はバンドパスフィルタ１２２が持つ透過帯域の一つであるため、受光素子１２１で受光されて緑色光照射時のテクスチャ画像データが生成される。

【0073】

ステップＳＡ７では、測定制御部１３０が観察用照明部１１５を制御して青色光を照射する。ステップＳＡ８では、測定制御部１３０が撮像部１２０を制御し、ワークＷで反射した光を撮像部１２０で受光する。このとき、青色光はバンドパスフィルタ１２２が持つ透過帯域の一つであるため、受光素子１２１で受光されて青色光照射時のテクスチャ画像データが生成される。尚、ステップＳＡ３、ＳＡ４と、ステップＳＡ５、ＳＡ６と、ステップＳＡ７、ＳＡ８とは、順番を入れ換えてもよい。

【0074】

ステップＳＡ９では、立体形状データ生成部３０１ａにより生成された立体形状データと、テクスチャデータ生成部３０１ｂにより生成されたテクスチャデータとが合成された合成データを合成部３０１ｃが生成する。

【0075】

ステップＳＡ１０では、ステップＳＡ９で生成した合成データを表示制御部３０５が表示部４００に表示させる。これにより、ユーザは立体形状データとテクスチャデータが合成された合成データを画像で確認できる。

【0076】

（実施形態２）
図７は、本発明の実施形態２に係る立体形状データ生成装置１の全体構成を示す図である。実施形態２に係る立体形状データ生成装置１は、測定部１００と台座部２００とが一体化されている点で実施形態１のものとは異なっている。以下、実施形態１と同じ部分には同じ符号を付して説明を省略し、異なる部分について詳細に説明する。

【0077】

すなわち、台座部２００の奥側には、測定部１００を支持する支持部２５０が上方へ延びるように設けられている。この支持部２５０の上部には、測定部１００が固定されている。測定部１００には、光軸がステージ２０２に向かうように、構造化照明部１１０及び撮像部１２０が設けられている。

【0078】

実施形態２のような立体形状データ生成装置１であっても、実施形態１と同様に立体形状データを生成することができる。

【0079】

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0080】

以上説明したように、本開示に係る立体形状データ生成装置は、ワークの立体形状データを生成する場合に利用することができる。

【符号の説明】

【0081】

１ 立体形状データ生成装置
１１０ 構造化照明部
１１５ 観察用照明部
１２０ 撮像部
１２２ バンドパスフィルタ
１３０ 撮像制御部
３０１ａ 立体形状データ生成部
３０１ｂ テクスチャデータ生成部
３０１ｃ 合成部
３０５ 表示制御部
４００ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】