(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024051797
(43)【公開日】2024-04-11
(54)【発明の名称】立体形状データ生成装置
(51)【国際特許分類】
G01B 11/25 20060101AFI20240404BHJP
【FI】
G01B11/25 H
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022158130
(22)【出願日】2022-09-30
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】末永 剛
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA51
2F065BB27
2F065DD06
2F065FF04
2F065FF61
2F065HH07
2F065JJ19
2F065JJ26
2F065PP11
2F065QQ23
2F065QQ24
2F065QQ31
2F065SS02
(57)【要約】
【課題】同一形状のワークを複数測定する場合に測定間の誤差を抑制する。
【解決手段】立体形状データ生成装置1は、ワークの測定条件と、位置合わせ画像とを対応付けた複数の測定ファイルを記憶する記憶部304と、記憶部304に記憶された複数の測定ファイルの中から、一の測定ファイルに対応付けられた位置合わせ画像と、ワークのライブ画像とを表示部に表示させる表示制御部305と、ワークの測定開始指示を受け付ける受付部301bと、測定開始指示に応じて、一の測定ファイルに対応付けられた測定条件に基づいて構造化照明部110と撮像部120とを制御する測定制御部130と、を備えている。
【選択図】
図2
【特許請求の範囲】
【請求項1】
測定用の構造化光をワークに対して照射する構造化照明部と、
前記構造化照明部により照射され、ワークで反射された構造化光を受光し、ワークのパターン画像データを生成する画角を持った撮像部と、
前記撮像部で生成されたパターン画像データに基づいて、ワークの立体形状データを生成する立体形状データ生成部と、を備えた立体形状データ生成装置であって、
ワークの測定条件と、前記撮像部により撮像される前のワークを所定位置に合わせるための位置合わせ画像とを対応付けた複数の測定ファイルを記憶する記憶部と、
前記記憶部に記憶された複数の測定ファイルの中から、一の測定ファイルに対応付けられた前記位置合わせ画像と、ワークのライブ画像とを表示部に表示させる表示制御部と、
ワークの測定開始指示を受け付ける受付部と、
前記受付部で受け付けた前記測定開始指示に応じて、前記一の測定ファイルに対応付けられた測定条件に基づいて前記構造化照明部と前記撮像部とを制御する測定制御部と、を備えている立体形状データ生成装置。
【請求項2】
請求項1に記載の立体形状データ生成装置において、
前記受付部は、マスターワークの測定条件の設定と前記測定開始指示とを受け付け、
前記撮像部は、前記受付部により受け付けた前記測定開始指示に応じて前記位置合わせ画像を生成し、
前記記憶部は、前記受付部により受け付けた測定条件と、前記撮像部により生成された前記位置合わせ画像とを対応付けた測定ファイルを記憶する、立体形状データ生成装置。
【請求項3】
請求項2に記載の立体形状データ生成装置において、
前記受付部は、第1の測定条件の設定と、第1の測定開始指示を受け付け、
前記測定制御部は、前記第1の測定条件に基づいて、前記構造化照明部と前記撮像部とを制御し、
前記撮像部は、前記受付部により受け付けた前記第1の測定開始指示に応じて、第1の位置合わせ画像を生成するとともに、マスターワークで反射された構造化光を受光することで、パターン画像データを生成し、
前記立体形状データ生成部は、前記撮像部により生成された前記パターン画像データに基づいて、マスターワークの第1の立体形状データを生成し、
前記受付部は、さらに、第2の測定条件の設定と、第2の測定開始指示を受け付け、
前記測定制御部は、前記第2の測定条件に基づいて、前記構造化照明部と前記撮像部とを制御し、
前記撮像部は、前記受付部により受け付けた前記第2の測定開始指示に応じて、第2の位置合わせ画像を生成するとともに、マスターワークで反射された構造化光を受光することで、パターン画像データを生成し、
前記立体形状データ生成部は、前記撮像部により生成されたパターン画像データに基づいて、マスターワークの第2の立体形状データを生成し、
前記記憶部は、
前記マスターワークの第1の立体形状データと、前記第1の測定条件と、前記第1の位置合わせ画像と、を対応付けた第1の測定ファイルと、
前記マスターワークの第2の立体形状データと、前記第2の測定条件と、前記第2の位置合わせ画像と、を対応付けた第2の測定ファイルと、を記憶する立体形状データ生成装置。
【請求項4】
請求項3に記載の立体形状データ生成装置であって、
前記マスターワークの前記第1の立体形状データと前記マスターワークの前記第2の立体形状データとを位置合わせするための位置合わせ情報を特定し、当該特定した位置合わせ情報に基づいて前記マスターワークの前記第1の立体形状データと前記マスターワークの前記第2の立体形状データとを合成することでマスターワークの合成立体形状データを生成する合成部をさらに備え、
前記記憶部は、前記第1の測定ファイルと、前記第2の測定ファイルと、前記位置合わせ情報と、前記マスターワークの合成立体形状データと、を対応付けた合成データファイルを記憶する立体形状データ生成装置。
【請求項5】
請求項4に記載の立体形状データ生成装置であって、
前記受付部は、前記記憶部に記憶された複数の合成データファイルの中から一の合成データファイルの選択を受け付け、
前記表示制御部は、前記受付部により受け付けられた一の合成データファイルに含まれ、前記第1の測定ファイルに対応付けられた位置合わせ画像とワークのライブ画像を表示部に表示させ、
前記受付部は、ワークの第1の測定開始指示を受け付け、
前記測定制御部は、ワークの第1の測定開始指示に応じて、前記第1の測定ファイルに対応付けられた測定条件を特定し、当該特定した測定条件に基づいて、前記構造化照明部と前記撮像部を制御し、
前記立体形状データ生成部は、前記測定制御部により前記特定された測定条件に基づいて前記構造化照明部と前記撮像部が制御され、前記撮像部により生成されたパターン画像データに基づいて、ワークの第1の立体形状データを生成し、
前記表示制御部は、前記受付部により受け付けられた一の合成データファイルに含まれ、前記第2の測定ファイルに対応付けられた位置合わせ画像とワークのライブ画像を表示部に表示させ、
前記受付部は、ワークの第2の測定開始指示を受け付け、
前記測定制御部は、ワークの第2の測定開始指示に応じて、前記第2の測定ファイルに対応付けられた測定条件を特定し、当該特定した測定条件に基づいて、前記構造化照明部と前記撮像部を制御し、
前記立体形状データ生成部は、前記測定制御部により前記特定された測定条件に基づいて前記構造化照明部と前記撮像部が制御され、前記撮像部により生成されたパターン画像データに基づいて、ワークの第2の立体形状データを生成し、
前記合成部は、前記一の合成データファイルに含まれる位置合わせ情報に基づいて、ワークの第1の立体形状データと、ワークの第2の立体形状データを合成することで、ワークの合成立体形状データを生成する、立体形状データ生成装置。
【請求項6】
請求項5に記載の立体形状データ生成装置であって、
前記位置合わせ情報は、前記受付部により前記マスターワークの第1の立体形状データと前記マスターワークの第2の立体形状データとで対応する面の指定を受け付けることにより生成される、立体形状データ生成装置。
【請求項7】
請求項6に記載の立体形状データ生成装置であって、
前記合成部は、前記受付部により受け付けた前記マスターワークの第1の立体形状データと前記マスターワークの第2の立体形状データとで対応する面の指定に基づいて、前記マスターワークの第1の立体形状データの位置姿勢と前記マスターワークの第2の立体形状データの位置姿勢とを位置合わせするための変換行列を算出し、当該算出した変換行列を前記位置合わせ情報として特定する、立体形状データ生成装置。
【請求項8】
請求項5に記載の立体形状データ生成装置であって、
前記表示制御部は、前記受付部により前記一の合成データファイルの選択を受け付けると、当該一の合成データファイルに含まれる前記第1の測定ファイルを示す情報と前記第2の測定ファイルを示す情報とを表示部に表示させ、
前記受付部は、前記表示部に表示された第1の測定ファイルを示す情報と前記第2の測定ファイルを示す情報との内、一の測定ファイルの選択を受け付ける、立体形状データ生成装置。
【請求項9】
請求項8に記載の立体形状データ生成装置であって、
前記第1の測定ファイルを示す情報は、前記第1の測定ファイルに対応付けられた位置合わせ画像であり、
前記第2の測定ファイルを示す情報は、前記第2の測定ファイルに対応付けられた位置合わせ画像である、立体形状データ生成装置。
【請求項10】
請求項2に記載の立体形状データ生成装置であって、
前記受付部は、前記測定条件として前記構造化照明部から出射される構造化光の投影パターンの設定と、前記撮像部の露光時間の設定の少なくとも一方を受け付ける、立体形状データ生成装置。
【請求項11】
請求項10に記載の立体形状データ生成装置であって、
マスターワークを載置するとともに、前記撮像部に対するマスターワークの相対的な位置関係を切り替える回転ステージをさらに備え、
前記受付部は、前記一の測定ファイルに対応付けられた測定条件として前記撮像部に対するマスターワークの相対的な撮像アングルの指定を受け付け、
前記測定制御部は、前記受付部で受け付けた撮像アングルに基づいて、前記回転ステージを駆動し、
前記記憶部は、前記測定条件として前記撮像アングルが含まれる測定ファイルを記憶する、立体形状データ生成装置。
【請求項12】
請求項11に記載の立体形状データ生成装置であって、
前記測定制御部は、前記受付部で受け付けた測定開始指示に応じて、前記一の測定ファイルに対応付けられた測定条件として指定された前記撮像アングルに基づいて前記回転ステージを制御する立体形状データ生成装置。
【請求項13】
請求項1に記載の立体形状データ生成装置であって、
前記表示制御部は、前記一の測定ファイルに対応付けられた測定条件を表示する測定条件表示ユーザインタフェース画面を表示部に表示させる、立体形状データ生成装置。
【請求項14】
請求項5に記載の立体形状データ生成装置であって、
前記マスターワークの合成立体形状データの解析を行う解析部をさらに備え、
前記合成データファイルには、さらにマスターワーク解析条件が対応付けられ、
前記解析部は、前記合成データファイルに対応付けられたマスターワーク解析条件に基づいて、前記ワークの合成立体形状データの解析を行う立体形状データ生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ワークの立体形状データを生成する立体形状データ生成装置に関する。
【背景技術】
【0002】
従来より、ステージに載置されたワークの立体形状データを生成する立体形状データ生成装置が知られている。特許文献1に開示されている立体形状データ生成装置は、ステージに載置されたワークに所定のパターンを有する構造化光を照射し、ワークで反射された構造化光を撮像部で受光してワークのパターン画像データを生成し、生成されたパターン画像データに基づいて、ワークの立体形状データを生成可能に構成されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、立体形状データ生成装置の運用時、例えば、ワークの全周の形状データを測定する場合、死角がなくなるようにワークを異なる姿勢に置き直して複数回撮像する必要がある。その後、同一形状の複数のワークを測定したい場合、個々のワークに対して同様な測定手順を実行する必要がある。
【0005】
ここで、ワークの測定にあたり、位置合わせ用マーカーをワークに付与する方法がある。ところが、同一形状の複数のワークの測定を異なる担当者で分担する場合や、同じ担当者による測定であっても前回の測定から期間が空いている場合には、位置合わせ用マーカーの個数やワークに対する付与位置のバラツキが発生して測定結果が安定して得られないことや、ワークのステージ上での姿勢が異なってしまうことから測定原理に由来する測定誤差が発生しやすくなることがある。
【0006】
ワークの測定にあたり、位置合わせ用マーカーを使用しない場合もあるが、この場合、ワークの測定時の姿勢間違いによる手戻りが発生し易くなるとともに、位置合わせ用マーカーを使用する場合と同様に、ステージ上での姿勢が異なってしまうことから測定原理に由来する測定誤差が発生しやすくなることがある。
【0007】
また、ワークの姿勢を変えて複数回測定して得られた複数の画像データを合成して1つの立体形状データを作成する場合に、異なる姿勢の画像データ同士の位置合わせが必要になるが、複数個のワークのそれぞれについて同様の位置合わせを行うのは困難である。さらに、ワークに対して斜め方向から撮像する場合、ワークと撮像部の相対的な位置関係を合わせるには6自由度全てを決定する必要があり、これを複数のワークに対して逐一実行していくのは非常に困難である。
【0008】
本開示は、かかる点に鑑みたものであり、その目的とするところは、同一形状のワークを複数測定する場合に測定間の誤差を抑制することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本態様では、構造化照明部により照射され、ワークで反射された構造化光を受光し、ワークのパターン画像データを生成する画角を持った撮像部を備えており、この撮像部で生成されたパターン画像データに基づいて、ワークの立体形状データを生成する立体形状データ生成装置を前提とすることができる。立体形状データ生成装置は、ワークの測定条件と、撮像部により撮像される前のワークを所定位置に合わせるための位置合わせ画像とを対応付けた複数の測定ファイルを記憶部に記憶できる。この記憶部に記憶された複数の測定ファイルの中から、一の測定ファイルに対応付けられた位置合わせ画像と、ワークのライブ画像とを表示部に表示させること、及び、ワークの測定開始指示を受け付けることが可能であり、受け付けた測定開始指示に応じて、一の測定ファイルに対応付けられた測定条件に基づいて構造化照明部と撮像部とを制御することができる。
【0010】
この構成によれば、例えば過去に測定した際に適用されたワークの測定条件と、過去に測定した際に取得したワークの位置合わせ画像とを対応付けた測定ファイルを記憶部に記憶しておくことができるので、過去に測定したワークと同一形状のワークを測定する場合に、測定ファイルを読み出すことで、位置合わせ画像と、これから測定しようとしているワークのライブ画像とを表示部に表示させることができる。これにより、ユーザは、表示部を見ながら、これから測定しようとしているワークを所定位置に正確に置くことができるので、測定誤差が発生しにくくなる。また、これから測定しようとしているワークの姿勢間違いが起こりにくくなるので、手戻りの発生も抑制できる。尚、同一形状とは、厳密に同一である必要はなく、例えば製造上の誤差で生じる形状の僅かな相違や、公差範囲内で異なる形状も、同一形状に含まれる。
【0011】
また、受付部は、マスターワークの測定条件の設定と測定開始指示とを受け付け可能であってもよい。この場合、撮像部は、前記受付部により受け付けた前記測定開始指示に応じて前記位置合わせ画像を生成し、前記記憶部は、前記受付部により受け付けた測定条件と、前記撮像部により生成された前記位置合わせ画像とを対応付けた測定ファイルを記憶することができる。これにより、マスターワークの測定と、マスターワークとは別のワークの測定とが同じ立体形状データ生成装置で実行されるので、同一の測定状態を再現でき、測定間の誤差をさらに抑制できる。
【0012】
また、表示制御部は、第1の測定ファイルに対応付けられた位置合わせ画像とワークのライブ画像を表示部に表示させることもできる。この場合、前記受付部は、ワークの第1の測定開始指示を受け付け、前記測定制御部は、ワークの第1の測定開始指示に応じて、前記第1の測定ファイルに対応付けられた測定条件を特定し、当該特定した測定条件に基づいて、前記構造化照明部と前記撮像部を制御する。前記立体形状データ生成部は、前記測定制御部により前記特定された測定条件に基づいて前記構造化照明部と前記撮像部が制御され、前記撮像部により生成されたパターン画像データに基づいて、ワークの第1の立体形状データを生成する。
【0013】
また、前記表示制御部は、第2の測定ファイルに対応付けられた位置合わせ画像とワークのライブ画像を表示部に表示させることもできる。この場合、前記受付部は、ワークの第2の測定開始指示を受け付け、前記測定制御部は、ワークの第2の測定開始指示に応じて、前記第2の測定ファイルに対応付けられた測定条件を特定し、当該特定した測定条件に基づいて、前記構造化照明部と前記撮像部を制御する。前記立体形状データ生成部は、前記測定制御部により前記特定された測定条件に基づいて前記構造化照明部と前記撮像部が制御され、前記撮像部により生成されたパターン画像データに基づいて、ワークの第2の立体形状データを生成する。位置合わせ情報に基づいて、ワークの第1の立体形状データと、ワークの第2の立体形状データを合成することで、ワークの合成立体形状データを生成することができる。
【0014】
すなわち、位置合わせ画像に基づいて、マスターワークに対するワークの位置ずれを抑制できるとともに、マスターワークの位置合わせ情報を用いて、ワークの第1の立体形状データとワークの第2の立体形状データとを位置合わせできるため、測定ごとに位置合わせの設定を行う必要がなくなり、より同一性の高い測定結果を再現できる。
【発明の効果】
【0015】
以上説明したように、本開示に係る立体形状データ生成装置によれば、過去に測定した際に取得した位置合わせ画像と、これから測定しようとしているワークのライブ画像とを表示部に表示させることにより、ユーザがワークを所定位置に正確に置くことができるので、同一形状のワークを複数測定する場合に測定間の誤差を抑制することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施形態1に係る立体形状データ生成装置の全体構成を示す図である。
【
図2】立体形状データ生成装置のブロック図である。
【
図3】ワークを異なる姿勢に置き直して撮像する様子を示す図である。
【
図4】ワークの初回測定処理の手順の一例を示すフローチャートである。
【
図5】測定設定用ユーザインタフェース画面の一例を示す図である。
【
図6】データ合成処理の手順の一例を示すフローチャートである。
【
図7】データ合成用ユーザインタフェース画面の一例を示す図である。
【
図9】測定再現時の処理の手順の一例を示すフローチャートである。
【
図10】データ選択用ユーザインタフェース画面の一例を示す図である。
【
図11】測定用ユーザインタフェース画面の一例を示す図である。
【
図12】位置合わせ画像をオーバーレイ表示した
図11相当図である。
【
図13】測定再現時のデータ合成処理の手順の一例を示すフローチャートである。
【
図15】位置合わせ用マーカーを付与した場合の
図10相当図である。
【
図16】本発明の実施形態2に係る立体形状データ生成装置の全体構成を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0018】
(実施形態1)
図1は、本発明の実施形態1に係る立体形状データ生成装置1の全体構成を示す図である。立体形状データ生成装置1は、ワーク(測定対象物)Wの立体形状データを生成するシステムであり、例えば、ワークWの形状を測定することによって取得したワークWのメッシュデータをCADデータに変換して出力することが可能になっている。
【0019】
特に限定されるものではないが、立体形状データ生成装置1は、例えば既存製品のCADデータを取得して次機種展開や形状解析をCAD・CAE上で実施したり、製品デザインにおけるモデルやモックの形状を製品設計に反映したり、嵌合する相手部品の形状に基づいて嵌合元となる製品を設計したり、試作品の形状に基づいて改良設計を行う場合等に利用される。したがって、ワークWとしては、例えば既存製品、モデル、モック、試作品等を挙げることができる。
【0020】
また、立体形状データ生成装置1は、ワークWのメッシュデータをサーフェスデータに変換して出力することも可能である。ワークWのメッシュデータをサーフェスデータに変換して出力することで、ユーザのリバースエンジニアリング工程、リバースエンジニアリング作業を支援することができるので、立体形状データ生成装置1は、リバースエンジニアリング支援装置と呼ぶこともできる。
【0021】
以下の説明では、ワークWの形状を測定する際に、ワークW表面の座標情報を取得するにあたり、測定用の構造化光をワークWに対して照射して、ワークWの表面で反射された構造化光に基づいて座標情報を取得している。例えば、ワークWの表面で反射された構造化光から得られる縞投影画像を用いた三角測距による計測方法を適用することができる。ただ、本発明では、ワークWの座標情報を取得するための原理や構成は、これに限らず、他の方法も適用することができる。
【0022】
立体形状データ生成装置1は、測定部100と、台座部200と、コントローラ300と、表示部400と、操作部500とを備えている。測定部100とコントローラ300とは、通信ケーブル等によって接続されていてもよいし、無線接続によって接続されていてもよい。
【0023】
図2に示すように、測定部100は、構造化照明部110と撮像部120とを備えるとともに、構造化照明部110及び撮像部120が取り付けられる筐体100Aを備えている。さらに、測定部100は、構造化照明部110及び撮像部120を制御する測定制御部130も備えている。測定制御部130は、筐体100Aに設けられていてもよいし、コントローラ300側に設けられていてもよい。
【0024】
筐体100Aは、コントローラ300とは別体とされて支持部600によって支持されている。支持部600は、ベース部601と、ベース部601に固定された伸縮部602と、伸縮部602の上部に設けられた角度調整部603とを備えた可搬性のものであり、ユーザによって設置位置を自由に設定できる。角度調整部603に測定部100が着脱可能に取り付けられている。伸縮部602を上下方向に伸縮させることで測定部100の高さ調整が可能である。また、角度調整部603は、例えば水平軸周りの回動、鉛直軸周りの回動、傾斜軸周りの回動等が調整可能に構成されている。これにより、測定部100の水平面に対する設置角、鉛直面に対する設置角を任意に調整することができる。
【0025】
支持部600は、上述した構成に限られるものではなく、例えば三脚、自由に屈曲させて屈曲させた形状を維持することが可能なフレキシブルアーム、ブラケット等、またはこれらを組み合わせて構成されていてもよい。また、測定部100は、例えば産業用ロボットの6自由度アームに取り付けて使用することもできる。さらに、測定部100は、ユーザが手で持って使用することもでき、この場合、支持部600は不要になる。つまり、支持部600は、立体形状データ生成装置1の一部に含まれる部材であってもよいし、立体形状データ生成装置1に含まれない部材であってもよい。
【0026】
ユーザが筐体100Aを持ってワークWを測定する場合には、測定部100をワークWの製造現場等に持ち込んで測定することができる。この場合、ユーザが測定部100を任意の位置に移動させて任意のタイミングで撮像することでワークWの形状を測定できる。これを手動測定と呼ぶことができる。
【0027】
また、測定部100を支持部600で支持するとともに、ワークWを、後述する自動回転式の台座部200に載置することで、ワークWを台座部200によって回転させながら、所定のタイミングで撮像することでワークWの広範囲の形状を測定できる。これを半自動測定と呼ぶことができる。尚、ワークWを台座部200に載置することなく、例えば定盤等に載置して測定することもできる。
【0028】
また、測定部100を産業用ロボットのアームに取り付けて移動させることで、ユーザの手を介することなく、ワークWの広範囲の形状を測定できる。これを全自動測定と呼ぶことができる。本発明は、手動測定、半自動測定及び全自動測定の全てに適用可能である。
【0029】
図2に示すように、測定部100は、測定用の構造化光をワークWに対して照射する構造化照明部110と、構造化照明部110により照射され、ワークWで反射された構造化光を受光し、ワークWのパターン画像データを生成する画角を持った撮像部120とを備えている。測定部100は、複数の構造化照明部110を含んでいてもよく、例えば、第一の方向からワークWに対して第一構造化光を照射可能な第一構造化照明部と、第一の方向とは異なる第二の方向からワークWに対して第二構造化光を照射可能な第二構造化照明部がそれぞれ設けられていてもよい。また、測定部100は、複数の撮像部120を含んでいてもよい。
【0030】
なお、図示しないが、構造化照明部110を3以上備えたり、あるいは構造化照明部110と台座部200を相対移動させて、共通の構造化照明部110を用いつつも、構造化光の照射方向を異ならせてワークWに投光させることも可能である。また、構造化照明部110を複数用意し、共通の撮像部120で受光する構成とする以外に、共通の構造化照明部110に対して、複数の撮像部120を用意して受光するように構成してもよい。さらに構造化照明部110が投光する構造化光のZ方向に対する照射角度を固定としてもよいし、可変としてもよい。
【0031】
構造化照明部110は、測定光源111、パターン生成部112及び複数のレンズ113を含んでいる。測定光源111は、単色光を発光する光源、例えば白色光を出射するハロゲンランプ、青色光を出射する青色LED(発光ダイオード)、有機EL等の光源を用いることができる。測定光源111から出射された光は、集光された後、パターン生成部112に入射される。
【0032】
パターン生成部112は、構造化光をワークWに対して照射するよう、測定光源111から出射された光を反射させる。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された構造化光は、複数のレンズ113により撮像部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、ワークWに照射される。
【0033】
パターン生成部112は、構造化光をワークWに照射する照射状態と、構造化光をワークWに照射しない非照射状態とに切り替え可能な部材である。このようなパターン生成部112には、例えばDMD(デジタルマイクロミラーデバイス)等を利用できる。DMDを用いたパターン生成部112は、照射状態として構造化光を光路上に向けて反射させる反射状態と、非照射状態として構造化光を遮光させる遮光状態とを切り替え可能に、測定制御部130により制御できる。
【0034】
DMDは多数のマイクロミラー(微小鏡面)を平面上に配列した素子である。各マイクロミラーは、測定制御部130により個別にON状態、OFF状態を切り替えることができるので、多数のマイクロミラーのON状態、OFF状態を組み合わせて、測定用の構造化光として所望の投影パターンを持った光を生成できる。これによって、三角測距に必要なパターンを生成して、ワークWの形状の測定が可能となる。このようにDMDは、測定時には測定用の周期的な投影パターンをワークWに照射する光学系の一部として機能する。またDMDは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
【0035】
なお以上の例では、パターン生成部112にDMDを用いた例を説明したが、本発明はパターン生成部112をDMDに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部112として、LCOS(Liquid Crystal on Silicon:反射型液晶素子)を用いてもよい。あるいは反射型の部材に代えて透過型の部材を用いて、構造化光の透過量を調整してもよい。この場合は、パターン生成部112を光路上に配置して、光を透過させる照射状態と、光を遮光させる遮光状態とを切り替える。このようなパターン生成部112には、例えばLCD(液晶ディスプレイ)が利用できる。あるいは、複数ラインLEDを用いた投影方法、複数光路を用いた投影方法、レーザとガルバノミラー等で構成される光スキャナ方式、ビームスプリッタで分割したビームを重ね合わせることによって発生された干渉縞を用いるAFI(Accordion fringe interferometry)方式、ピエゾステージと高分解能エンコーダ等で構成される実体格子と移動機構を用いた投影方法等でパターン生成部112を構成してもよい。尚、パターン生成部112は、パターンを生成することなく、均一光を照射することもできる。
【0036】
撮像部120は、撮像素子121と複数のレンズ122とを含んでいる。ワークWで反射された構造化光は、レンズ122に入射して集光、結像された後、撮像素子121により受光される。撮像部120には、高倍のレンズ122を備えた高倍撮像部と、低倍のレンズ122を備えた低倍撮像部とが含まれていてもよい。また、レンズ122は倍率の変更が可能なズームレンズ等であってもよく、倍率の変更が可能な撮像部120であってもよい。撮像時の倍率と画像データとが対応付けられるようになっており、どの倍率で撮像された画像データであるかの識別が可能になっている。
【0037】
撮像素子121は、例えばCCD(電荷結合素子)や、CMOS(相補性金属酸化膜半導体)等のイメージセンサで構成されている。撮像素子121の各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が後述するA/D変換器に出力される。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施形態では、撮像素子121としてモノクロのCCDを採用している。なお、撮像素子121として、カラーの撮像素子を用いてもよい。
【0038】
撮像部120には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリ、CPU等が実装されている。撮像素子121から出力される受光信号は、A/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとしてCPUへ順次出力されて、CPUでパターン画像データが生成される。
【0039】
例えば、撮像素子121から出力される受光信号に基づいて、特定の位置において撮像素子121の視野内に含まれるワークWの立体形状を表すパターン画像データを生成する。パターン画像データは、撮像素子121で取得された画像そのものであり、例えば位相シフト方式でワークWの形状を測定する場合、複数枚の画像がパターン画像データを構成することになる。なお、パターン画像データは、三次元位置情報を有する点の集合である点群データであってもよく、この点群データにより、ワークWのパターン画像データを取得できる。点群データは、三次元座標を有する複数の点の集合体で表現されるデータである。生成されたパターン画像データはコントローラ300に転送される。
【0040】
また、構造化照明部110が構造化照明を照射せずに均一光を照射している場合には、撮像部120では均一光が照射されたワークWを撮像する。このとき、撮像部120は、ライブ画像を撮像することができる。ライブ画像は、所定の短いフレームレート(fps)で随時更新される画像であり、ユーザには動画として視認される。
【0041】
操作部500は、例えばキーボード501やマウス502等のポインティングデバイスを含むことができる。ポインティングデバイスとしては、例えばジョイスティック等を用いてもよい。また、操作部500は、ユーザによるタッチ操作を感知するタッチパネル等が含まれていてもよい。操作部500と、コントローラ300内の演算装置301とが接続されており、操作部500によってどのような操作がなされたかは、演算装置301で検出可能になっている。
【0042】
台座部200は、ベースプレート201と、ワークWが載置される載置面を形成するステージ202と、回転機構203とを備えている。台座部200は、ワークWをステージ202上でクランプするクランプ機構を含んでいてもよい。回転機構203は、ベースプレート201とステージ202との間に設けられており、ステージ202をベースプレート201に対して鉛直軸(
図1に示すZ軸)周りに回転させる機構である。従って、ステージ202は回転ステージであり、ワークWを載置した状態で回転させることにより、撮像部120に対するワークWの相対的な位置関係を切り替えることが可能になる。Z軸を中心に回転する方向をθ方向と定義し、矢印θで示す。また、台座部200は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージを含んでもよい。
【0043】
回転機構203は、後述する測定制御部130によって制御されるモータ等を有しており、ステージ202を所望の回転角度だけ回転させた後、停止状態で保持可能になっている。台座部200は、本発明に必須な構成要素ではなく、必要に応じて設けられるものである。また、台座部200は、コントローラ300によって制御されてもよい。
【0044】
図示しないが、台座部200は、ステージ202を、水平かつ互いに直交するX方向及びY方向に移動させる並進機構を備えていてもよい。並進機構も、測定制御部130やコントローラ300によって制御されるモータ等を有しており、ステージ202をX方向及びY方向に所望の移動量だけ移動させた後、停止状態で保持可能になっている。尚、本発明は、ステージ202が固定式のステージであっても適用可能である。
【0045】
コントローラ300は、演算装置301、作業用メモリ302、ROM(リードオンリメモリ)303、記憶部304及び表示制御部305等を含んでいる。コントローラ300には、PC(パーソナルコンピュータ)等が利用できるが、専用のコンピュータのみ、あるいは、PCと専用のコンピュータとの組み合わせで構成されていてもよい。
【0046】
コントローラ300のROM303には、例えばシステムプログラム等が記憶される。コントローラ300の作業用メモリ302は、例えばRAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶部304は、例えばソリッドステートドライブや、ハードディスクドライブ等からなる。記憶部304には、立体形状データ生成プログラムが記憶される。また、記憶部304は、測定制御部130から与えられる画素データ(パターン画像データ)、設定情報、ワークWの測定条件、位置合わせ画像等の種々のデータを保存するために用いられる。測定条件としては、例えば構造化照明部110の設定(パターン周波数、パターン種類)、撮像部120の倍率、測定視野(単一視野か広視野か)、測定位置、回転姿勢、露光条件(露光時間、ゲイン、照明の明るさ)、解像度設定(低解像度測定、標準測定、高解像度測定)等が含まれる。
【0047】
位置合わせ画像は、撮像部120により撮像される前のワークWを所定位置に合わせるための画像である。ワークWの測定条件と位置合わせ画像とを対応付けたファイルは測定ファイルである。記憶部304は、この測定ファイルを複数記憶することもできる。
【0048】
表示制御部305は、表示部400を制御する部分であり、記憶部304に記憶された複数の測定ファイルの中から、一の測定ファイルに対応付けられた位置合わせ画像と、ワークWのライブ画像とを表示部400に表示させる。ワークWのライブ画像は、台座部200のステージ202に現在載置されているワークWに均一光を照射し、均一光が照射されたワークWを撮像部120で撮像したライブ画像である。
【0049】
演算装置301は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子で構成されている。本明細書において演算装置301とは、演算を行う素子や回路を意味し、その名称によらず、汎用PC向けのCPUやMPU、GPU、TPU等のプロセッサに限定するものでなく、FPGA、ASIC、LSI等のプロセッサやマイコン、あるいはSoC等のチップセットを含む意味で使用する。
【0050】
演算装置301は、撮像部120が生成したパターン画像データに対し、作業用メモリ302を用いて各種処理を行う。演算装置301により、立体形状データ生成部301a、受付部301b及び合成部301c等が構成されている。立体形状データ生成部301a、受付部301b及び合成部301cは、演算装置301のハードウェアのみで構成されていてもよいし、ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。例えば、演算装置301が立体形状データ生成プログラムを実行することで、立体形状データ生成部301a、受付部301b及び合成部301cの各機能の実現が可能になる。
【0051】
立体形状データ生成部301a、受付部301b及び合成部301cの詳細については後述するが、ここで概略について説明しておく。立体形状データ生成部301aは、撮像部120で生成されたパターン画像データに基づいて、ワークWの立体形状データを生成する部分である。
【0052】
受付部301bは、ワークWの測定開始指示を受け付ける部分である。例えば測定開始ボタンが設けられたユーザインタフェースを表示部400に表示させ、ユーザによる測定開始ボタンの操作を検出した場合に、受付部301bはワークWの測定開始指示を受け付ける。受付部301bは、複数の測定開始指示を受け付けることも可能である。
【0053】
合成部301cは、複数の立体形状データを位置合わせ情報に基づいて合成することでワークWの合成立体形状データを生成する部分である。
【0054】
測定制御部130は、コントローラ300と接続されており、コントローラ300の演算装置301によって制御される。測定制御部130には、受付部301bで受け付けた測定開始指示が出力される。測定制御部130は、受付部301bで受け付けた測定開始指示が入力されると、当該測定開始指示に応じて、一の測定ファイルに対応付けられた測定条件に基づいて構造化照明部110と撮像部120とを制御する。
【0055】
表示部400は、例えば液晶ディスプレイ装置や有機FLディスプレイ装置等で構成されている。表示部400は、コントローラ300の表示制御部305に接続されており、表示制御部305によって制御される。表示部400には、例えば撮像部120で撮像された画像、各種ユーザインタフェース画面、設定画面、入力画面、ワークWの立体形状データに基づく画像等が表示される。
【0056】
以下、立体形状データ生成装置1の詳細についてフローチャートやユーザインタフェース画面等を参照しながら説明する。立体形状データ生成装置1の運用時、例えば、ワークWの全周の形状データを測定したい場合がある。その場合には、まず、初回測定時に、
図3に示すように死角がなくなるようにワークWを異なる姿勢に置き直して撮像部120により複数回撮像する必要がある。その後、同一形状の複数のワークWを測定したい場合、個々のワークWに対して同様な測定手順を実行する必要があるが、立体形状データ生成装置1を用いることで、これから測定しようとしているワークを、表示部400上の位置合わせ画像を参照しながら、所定の位置に位置合わせすることが可能になっている。
【0057】
(初回測定時)
はじめに、
図4に基づいて初回測定処理の手順の一例について説明する。
図4に示すフローチャートのステップSA1では、初回に測定するワークの立体形状データを取得する。ここでは立体形状データとしてメッシュデータを取得する。初回に測定するワークWをマスターワークとも呼び、その後の運用時に測定するワークとは区別している。
【0058】
具体的には、構造化照明部110によりマスターワークWを照射した状態で撮像部120によりマスターワークWを撮像してマスターワークWのパターン画像データを生成した後、立体形状データ生成部301aが撮像部120で生成されたパターン画像データに基づいて、マスターワークWの立体形状データを生成する。ここで生成される立体形状データとしてのメッシュデータは、複数のポリゴンを含んでおり、ポリゴンデータとも呼ぶことができる。ポリゴンは、複数の点を特定する情報と、それらの点を結んで形成される多角形面を示す情報とで構成されるデータであり、例えば3つの点を特定する情報と、それら3つの点を結んで形成される三角形の面を示す情報とで構成することができる。メッシュデータおよびポリゴンデータは、複数のポリゴンの集合体で表現されるデータと定義することも可能である。
【0059】
図5は、マスターワークWを測定する際に表示制御部305が表示部400に表示させる測定設定用ユーザインタフェース画面700を示している。測定設定用ユーザインタフェース画面700には、測定方法選択領域701と、フルオート選択領域702と、測定モード選択領域703と、明るさ設定領域704と、測定視野選択領域705と、回転連結設定領域706と、模式図表示領域707とが設けられている。
【0060】
測定方法選択領域701では、撮像回数が1回のみの「ワンショット」と、マスターワークWを異なる姿勢で複数回撮像し、撮像した画像を連結する「連結」とのうち、一方の選択が可能になっている。フルオート選択領域702では、測定実行中にユーザの操作が不要な「オート」と、ユーザの操作が必要な「マニュアル」とのうち、一方の選択が可能になっている。測定モード選択領域703では、高速な測定が可能な「高速」と、標準速度での測定が可能な「標準」と、高精細な測定が可能な「高精細」との中から、1つの選択が可能になっている。明るさ設定領域704では、撮像部120で取得する画像の明るさを設定することができ、立体形状データ生成装置1が自動で明るさを設定する「オート」の他、ユーザが明るさを手動で設定することもできるようになっている。撮像部120で取得する画像の明るさは、撮像部120の露光時間に関係しているので、測定条件として、撮像部120の露光時間の設定を受付部301bで受け付けることができるようになっている。また、測定視野選択領域705では、比較的狭い「単視野」と、比較的広い「広視野」とのうち、一方の選択が可能になっている。また、本実施形態では、構造化照明部110から出射される構造化光の投影パターンを複数種備えており、ユーザは、複数種の投影パターンの中から、一の投影パターンを選択できる。つまり、受付部301bは、測定条件として、構造化照明部110から出射される構造化光の投影パターンの設定を受け付けることもできる。
【0061】
回転連結設定領域706では、台座部200の回転機構203の動作設定を行うことができ、回転機構203によるステージ202の回転角度、刻み角度、回転方向(時計回り、反時計周り)の設定が可能になっている。例えば、回転角度を360度、刻み角度を60度に設定すると、ステージ202は、60度回転して停止する動作を6回繰り返して1周することになる。このように所定の刻み角度でステージ202を回転させることにより、撮像部120に対するワークWの相対的な位置関係を切り替えることができるとともに、撮像部120に対するワークWの相対的な撮像アングルを切り替えることもできる。撮像アングルは、ユーザが操作部500を操作してステージ202の回転角度を指定することによって決定される。つまり、受付部301bは、撮像部120に対するワークWの相対的な撮像アングルの指定を受け付けることができる。
【0062】
ステージ202が停止した間に、構造化照明部110による照明と、撮像部120による撮像とが実行されるようになっている。模式図表示領域707には、ステージ202の載置面の模式図が表示され、例えば刻み角度に応じた停止位置の目印等の表示も可能である。
【0063】
初回測定時に測定設定用ユーザインタフェース画面700の各領域701~707で設定された測定条件は、マスターワークの測定条件である。測定設定用ユーザインタフェース画面700の各領域701~707で設定された測定条件は受付部301bで受け付けられる。また、測定設定用ユーザインタフェース画面700には、測定実行ボタン708が設けられている。ユーザが測定実行ボタン708を操作すると、その操作がマスターワークの測定開始指示として受付部301bで受け付けられる。
【0064】
ステップSA1では、複数のシーケンスの実行が可能である。シーケンスとは、ユーザの操作が介在することなく、立体形状データ生成装置1のみで実行し得る一連の測定処理である。
図3を例にして説明すると、ユーザがマスターワークWを第1姿勢でステージ202に載置した後、測定設定用ユーザインタフェース画面700の各領域701~707で測定条件を設定してから、測定実行ボタン708を操作する。すると、立体形状データ生成装置1は第1シーケンスを実行する。第1シーケンス実行前の測定条件の設定は、第1の測定条件の設定である。第1シーケンス実行前に受付部301bにより受け付けた測定開始指示は、第1の測定開始指示である。
【0065】
第1シーケンスでは、測定制御部130が、第1の測定条件に基づいて、構造化照明部110と撮像部120とを制御する。撮像部120は、受付部301bにより受け付けた第1の測定開始指示に応じて、第1の位置合わせ画像を生成するとともに、マスターワークWで反射された構造化光を受光することで、パターン画像データを生成する。その後、立体形状データ生成部301aは、撮像部120により生成されたパターン画像データに基づいて、マスターワークWの第1の立体形状データ(点群データやメッシュデータ)を生成する。
【0066】
このとき、測定方法選択領域701で「連結」が選択されていれば、回転連結設定領域706の設定に基づいて測定制御部130が台座部200の回転機構203を制御し、ステージ202が停止するごとに、測定制御部130が構造化照明部110による照明と、撮像部120による撮像とを実行させる。
【0067】
測定条件には、構造化光の投影パターンの設定、撮像部120の露光時間の設定、撮像部120に対するマスターワークWの相対的な撮像アングルの設定等が含まれている。撮像アングルの設定が受付部301bで受け付けられている場合、測定制御部130は、受付部301bで受け付けた撮像アングルに基づいて、ステージ202を駆動し、当該撮像アングルとなるようにマスターワークWを配置する。
【0068】
第1シーケンスが終了すると、ユーザがマスターワークWを
図3に示す第2姿勢としてステージ202に載置した後、測定設定用ユーザインタフェース画面700の各領域701~707で測定条件を設定してから、測定実行ボタン708を操作する。すると、立体形状データ生成装置1は第2シーケンスを実行する。第2シーケンス実行前の測定条件の設定は、第2の測定条件の設定である。第2シーケンス実行前に受付部301bにより受け付けた測定開始指示は、第2の測定開始指示である。
【0069】
第2シーケンスでは、測定制御部130が、第2の測定条件に基づいて、構造化照明部110と撮像部120とを制御する。撮像部120は、受付部301bにより受け付けた第2の測定開始指示に応じて、第2の位置合わせ画像を生成するとともに、マスターワークWで反射された構造化光を受光することで、パターン画像データを生成する。その後、立体形状データ生成部301aは、撮像部120により生成されたパターン画像データに基づいて、マスターワークWの第2の立体形状データを生成する。測定方法選択領域701で「連結」が選択されていれば、第1シーケンスと同様に、台座部200の回転機構203を制御し、構造化照明部110による照明と、撮像部120による撮像とを実行する。
【0070】
第2シーケンスが終了すると、ユーザがマスターワークWを
図3に示す第3姿勢としてステージ202に載置した後、測定設定用ユーザインタフェース画面700の各領域701~707で測定条件を設定してから、測定実行ボタン708を操作する。すると、立体形状データ生成装置1は第3シーケンスを実行する。第3シーケンスでは、撮像部120が受付部301bにより受け付けた測定開始指示に応じて第3の位置合わせ画像を生成する。その後、第1シーケンスと同様に、パターン画像データを生成し、立体形状データを生成する。同様にして、第4シーケンス、第5シーケンス、…も実行可能である。尚、第1シーケンスのみで測定を完了させてもよい。
【0071】
演算装置301は、各シーケンスが終わると、ユーザが設定した測定条件と、撮像部120により生成された位置合わせ画像と、立体形状データとを記憶部304に記憶させる。すなわち、記憶部304は、受付部301bにより受け付けた測定条件と、位置合わせ画像と、立体形状データとを対応付けた測定ファイルを記憶する。より具体的には、
図8のマスターワークの第1シーケンスのデータ構造として示すように、第1シーケンスでは第1の立体形状データAが取得され、この第1の立体形状データAを取得するための第1の測定条件Aが設定されており、また、第1姿勢にあるマスターワークWを撮像することで第1の位置合わせ画像Aが取得されている。マスターワークWの第1の立体形状データAと、第1の測定条件Aと、第1の位置合わせ画像Aと、を対応付けた測定ファイルを第1の測定ファイルAとして、記憶部304に記憶する。第1の測定条件Aと第1の位置合わせ画像Aとは、第1シーケンスの測定再現データAである。また、記憶部304は、測定条件として撮像アングルが含まれている場合、撮像アングルが含まれる測定ファイルを記憶する。
【0072】
第2シーケンスでは第2の立体形状データが取得され、この第2の立体形状データを取得するための第2の測定条件で設定されており、また、第2姿勢にあるマスターワークWを撮像することで第2の位置合わせ画像が取得されている。マスターワークWの第2の立体形状データと、第2の測定条件と、第2の位置合わせ画像と、を対応付けた測定ファイルを第2の測定ファイルとして、記憶部304に記憶する。より具体的には、
図8のマスターワークの第2シーケンスのデータ構造として示すように、第2シーケンスでは第2の立体形状データBが取得され、この第2の立体形状データBを取得するための第2の測定条件Bが設定されており、また、第2姿勢にあるマスターワークWを撮像することで第2の位置合わせ画像Bが取得されている。マスターワークWの第2の立体形状データBと、第2の測定条件Bと、第2の位置合わせ画像Bと、を対応付けた測定ファイルを第2の測定ファイルBとして、記憶部304に記憶する。第2の測定条件Bと第2の位置合わせ画像Bとは、第2シーケンスの測定再現データBである。尚、第3シーケンスについても同様であるが、説明を省略する。
【0073】
図4に示すステップSA1で立体形状データを取得した後、取得した立体形状データは、表示制御部305が表示部400に表示させる。これにより、ユーザは立体形状データの確認が可能になる。ステップSA2では、ステップSA1で取得した立体形状データに死角があるか否かのユーザの判定を受け付ける。死角があればステップSA1に戻り、マスターワークWの姿勢を前回の撮像時とは異なる姿勢にしてステージ202に置き直し、ステップSA1を再度実行する。これを例えば複数回繰り返して死角がなくなれば、ステップSA3に進み、データ合成処理を実行する。
【0074】
データ合成処理の手順は
図6に示している。ステップSB1では、ユーザの選択操作に基づいて位置合わせ要素を作成する。具体的には、表示制御部305が
図7に示すデータ合成用ユーザインタフェース画面710を表示部400に表示させる。データ合成用ユーザインタフェース画面710には、元の立体形状データ(例えば第1の立体形状データ)に基づく形状が表示される第1表示領域711と、追加される立体形状データ(例えば第2の立体形状データ)に基づく形状が表示される第2表示領域712と、合成後の立体形状データに基づく形状が表示される第3表示領域713とが設けられている。尚、第1~第3表示領域711~713には、
図1や
図3に示すマスターワークWとは異なる形状のマスターワークWが表示されているが、いずれのマスターワークWも例であり、その形状はどのような形状であってもよい。
【0075】
さらに、データ合成用ユーザインタフェース画面710には、位置合わせ手順が示される手順表示領域714と、位置合わせ要素を設定する要素設定領域715とが設けられている。要素設定領域715では、第1表示領域711及び第2表示領域712に示しているように、「平面A」、「平面B」の平面、「領域C」の円筒などの幾何要素の指定をユーザによる操作部500の操作に基づいて受付部301bが受け付ける。設定された幾何要素は、位置合わせ情報を特定する際に用いられるものであり、受付部301bによりマスターワークWの第1の立体形状データと、マスターワークWの第2の立体形状データとで対応する面の指定を受け付けることにより生成された情報である。第1表示領域711の「平面A」、「平面B」、「領域C」がそれぞれ第2表示領域712の「平面A」、「平面B」、「領域C」に対応する面である。尚、幾何要素の種類は、平面、円筒に限定されるものではない。また、位置合わせ情報としては少なくとも1つの幾何要素の情報があればよく、第1表示領域711および第2表示領域712でそれぞれ少なくとも1つの幾何要素が指定できればよい。なお、幾何要素の情報を用いずに、ワークWの形状同士で位置合わせを行った際の立体形状データ同士の相対的な位置関係を位置合わせ情報としてもよい。これがステップSB1の処理内容である。
【0076】
ステップSB2では、ステップSB1で作成した幾何要素の位置合わせを合成部301cが実行する。すなわち、合成部301cは、第1シーケンスで取得したマスターワークWの第1の立体形状データと、第2シーケンスで取得したマスターワークWの第2の立体形状データとを位置合わせするための位置合わせ情報を特定する。例えば、第1の立体形状データがマスターワークWの表側のデータであり、第2の立体形状データがマスターワークWの裏側のデータである場合、表側と裏側の位置合わせを行うことができる。
【0077】
位置合わせ情報の特定について一例を挙げると、合成部301cは、受付部301bにより受け付けたマスターワークWの第1の立体形状データと、マスターワークWの第2の立体形状データとで対応する面の指定に基づいて、マスターワークWの第1の立体形状データの位置姿勢と、マスターワークWの第2の立体形状データの位置姿勢とを合わせるための変換行列を算出する。そして、合成部301cは、当該算出した変換行列を位置合わせ情報として特定することができる。
【0078】
合成部301cは、位置合わせ情報を特定した後、当該特定した位置合わせ情報に基づいてマスターワークWの第1の立体形状データと、マスターワークWの第2の立体形状データとを合成することでマスターワークWの合成立体形状データを生成する。
【0079】
その後、ステップSB3に進み、追加の要素で位置合わせを実行するか否かのユーザ入力を受け付ける。追加の要素で位置合わせを実行する場合には、ステップSB1に戻り、幾何要素を追加してステップSB2に進む。ステップSB4に進むと、元の立体形状データと追加される立体形状データとの精密位置合わせを実行する。その後、ステップSB5では、元の立体形状データと追加される立体形状データの合成処理を実行し、再メッシュデータ化する。
【0080】
ステップSB5が終了すると、
図4に示すステップSA4に進み、全ての立体形状データの合成が完了したか否かを判定する。全ての立体形状データの合成が完了していなければステップSA3に戻ってデータ合成処理を実行する一方、全ての立体形状データの合成が完了していれば終了する。
【0081】
演算装置301は、位置合わせ情報と合成立体形状データも記憶部304に記憶させる。これらを記憶する際、記憶部304は、第1の測定ファイルと、第2の測定ファイルと、位置合わせ情報と、マスターワークWの合成立体形状データと、を対応付けた合成データファイルを記憶する。
【0082】
より具体的には、
図8のマスターワークの合成データ構造として示すように、合成データファイルABは、合成再現用データファイルABと、合成立体形状データABとが対応付けられている。合成再現用データファイルABは、第1シーケンスの測定再現データAと、第2シーケンスの測定再現データBと、第2の立体形状データBを第1の立体形状データAに位置合わせするための位置合わせ情報とが対応付けられている。記憶部304には、複数の合成データファイルを記憶しておくことができる。
【0083】
合成データファイルには、解析条件がさらに対応付けられていてもよい。解析条件とは、生成した合成立体形状データから複数の幾何要素を抽出し、抽出された複数の幾何要素間の寸法測定をする際の条件、公差測定をする際の条件である。この解析条件も、合成データファイルに含むことができるとともに、記憶部304に記憶しておくことができる。
【0084】
(測定再現時)
次に、マスターワークWの測定後、同一形状のワークWを測定して当該ワークWの立体形状データを生成する手順について説明する。
図9に示すステップSC1では、記憶部304に記憶されている複数の合成データファイルの中から一の合成データファイルの選択を受け付け、当該受け付けた合成データファイルを読み込む。ステップSC2では、ステップSC1で読み込んだ合成データファイルに含まれる位置合わせ画像を表示部400に表示させる。具体的には、表示制御部305が
図10に示すようなデータ選択用ユーザインタフェース画面720を表示部400に表示させる。データ選択用ユーザインタフェース画面720には、合成データファイルに含まれる位置合わせ画像が表示される位置合わせ画像表示領域721が設けられている。本例では、ステップSC1で読み込まれた一の合成データファイルに含まれる測定ファイルを示す情報を表示部400に表示させる。測定ファイルを示す情報は、例えば位置合わせ画像であり、第1の測定ファイルに対応付けられた位置合わせ画像を第1の測定ファイルを示す情報として、第2の測定ファイルに対応付けられた位置合わせ画像を第2の測定ファイルを示す情報として、表示部400に表示させることができる。
図10に示す例では、一の合成データファイルに対応付けられた3つの測定ファイルのそれぞれ示す情報として、それぞれの測定ファイル含まれている3つの位置合わせ画像が位置合わせ画像表示領域721に表示されている。なお、位置合わせ画像表示領域721に表示される位置合わせ画像の数は、特に限定されるものではない。位置合わせ画像表示領域721に表示される位置合わせ画像は、実際に撮像部120で撮像した画像よりも小さなサムネイル画像とすることができる。
【0085】
ステップSC1およびステップSC2の説明において、一の合成データファイルを選択し、当該一の合成データファイルに含まれる位置合わせ画像を表示する場合を説明したが、合成データファイルを有さない場合は、ステップSC1を省略し、ステップSC2において、記憶部304に記憶された複数の位置合わせ画像を位置合わせ画像表示領域721に表示させてもよい。ステップSC3では、位置合わせ画像表示領域721に表示された位置合わせ画像の中から、一の位置合わせ画像が選択されたか否かを判定する。この選択操作は、ユーザが操作部500を操作して行うことができ、
図10に示す例では左上の位置合わせ画像が選択された場合を示しており、どの画像が選択されたかを示す選択枠721aが表示されている。OKボタン722がユーザによって操作されると、選択枠721aで囲まれた位置合わせ画像が含まれる合成データファイルが選択されることになる。したがって、位置合わせ画像の選択操作は、記憶部304に記憶され、ステップSC1で読み込まれた一の合成データファイルに対応付けられた複数の測定ファイルの中から一の測定ファイルの選択操作であり、この選択操作は受付部301bで受け付けられる。
【0086】
ステップSC4では、ステップSC3で選択された測定ファイルに含まれる第1の測定条件を記憶部304から読み出し、読み出した第1の測定条件を復元、即ち適用する。適用した測定条件をユーザが変更してもよい。ステップSC5では、ステップSC3で選択された合成データファイルに含まれ、第1の測定ファイルに対応付けられた位置合わせ画像と、ステージ202上のワークWのライブ画像とを表示制御部305が表示部400に表示させる。
図11は、表示制御部305が表示部400に表示させる測定用ユーザインタフェース画面730を示している。測定用ユーザインタフェース画面730には、撮像部120で現在撮像されているライブ画像が表示されるライブ画像表示領域731が設けられている。この段階ではステージ202にワークWが載置されていないので、
図11のライブ画像表示領域731には、ステージ202のみが表示されている。
【0087】
図12は、測定用ユーザインタフェース画面730のライブ画像表示領域731に位置合わせ画像733をオーバーレイ表示(重畳表示)させた例を示している。位置合わせ画像733は、撮像部120により撮像される前のワークWを、マスターワークWを撮像した位置(所定位置)に合わせるための案内用の画像である。位置合わせ画像733を透過してライブ画像が表示されるように、位置合わせ画像733には所定の透過度が設定されている。透過度は、位置合わせ画像733を透過してステージ202やワークWを視認可能な程度であればよい。
【0088】
測定用ユーザインタフェース画面730には、位置合わせ画像733が表示された状態で、測定再現ウインドウ732も表示される。測定再現ウインドウ732には、重畳表示されたワーク画像、即ち位置合わせ画像733に実際のワークWを重ねるように、ユーザへの指示が表示される。
【0089】
ユーザは、位置合わせ画像733を見ながら、当該位置合わせ画像733と重なるようにワークWの位置及び姿勢を調整する。また、ユーザは、位置合わせ画像733を見ながら、当該位置合わせ画像733と重なるように、測定部100の位置及び姿勢を調整する。このとき、ユーザによるワークWのステージ202上での移動方向と、表示部400に表示されているライブ画像上でのワークWの移動方向とは同一方向となるように、移動方向を変換してもよい。移動方向の変換を行うか否かは、ユーザによる設定が可能になっている。
【0090】
測定用ユーザインタフェース画面730には、
図5と同様に測定実行ボタン708が設けられている。ユーザは、ワークWの位置合わせが終わったら、測定実行ボタン708を操作する。ユーザが測定実行ボタン708を操作すると、その操作がステージ202に現在載置されているワークWに対する第1の測定開始指示として受付部301bで受け付けられる。
【0091】
第1の測定開始指示を受け付けると、ステップSC6に進む。ステップSC6では、測定制御部130が、ワークWの第1の測定開始指示に応じて、
図8に示す第1の測定ファイルAに対応付けられた第1の測定条件Aを特定し、当該特定した第1の測定条件Aに基づいて、構造化照明部110と撮像部120を制御して第1のパターン画像データを生成する。立体形状データ生成部301aは、測定制御部130により特定された第1の測定条件Aに基づいて構造化照明部110と撮像部120が制御され、撮像部120により生成されたパターン画像データに基づいて、ワークWの第1の立体形状データA’を生成する。また、このとき、ステージ202上のワークWを撮像部120が撮像して第1の位置合わせ画像A’を生成する。第1の測定条件Aと、第1の立体形状データA’と、第1の位置合わせ画像A’とは対応付けられて記憶部304に記憶される。
【0092】
ステップSC6の次にステップSC7に進み、全ての立体形状データが取得されたか否かを判定する。なお、ここで、「すべての立体形状データが取得された」状態は、測定条件に回転連結の設定が含まれている場合に、設定されたすべての角度位置で立体形状データの取得が完了した状態であり、測定条件に回転連結の設定が含まれていない場合は、このステップは省略してもよい。全ての立体形状データが取得されていない場合にはステップSC6に戻る一方、全ての立体形状データが取得された場合にはステップSC8に進む。ステップSC8では、全てのシーケンスが終了したか否かを判定する。第2のシーケンスがある場合に、第1のシーケンスのみ終了していると、ステップSC4に戻り、ステップSC3で選択された合成データファイルに含まれる第1の測定条件を記憶部304から読み出し、読み出した第2の測定条件を復元、即ち適用する。
【0093】
ステップSC5では、第2の測定ファイルに対応付けられた位置合わせ画像と、ステージ202上のワークWのライブ画像とを、
図12に示す測定用ユーザインタフェース画面730のライブ画像表示領域731に表示させる。
【0094】
ユーザが、測定用ユーザインタフェース画面730の測定実行ボタン708を操作すると、その操作が現在ステージ202に載置されているワークWの第2の測定開始指示として受付部301bで受け付けられる。第2の測定開始指示を受け付けると、ステップSC6に進む。ステップSC6では、測定制御部130が、ワークWの第2の測定開始指示に応じて、
図8に示す第2の測定ファイルBに対応付けられた第2の測定条件Bを特定し、当該特定した第2の測定条件Bに基づいて、構造化照明部110と撮像部120を制御して第2のパターン画像データを生成する。立体形状データ生成部301aは、測定制御部130により特定された第2の測定条件Bに基づいて構造化照明部110と撮像部120が制御され、撮像部120により生成されたパターン画像データに基づいて、ワークWの第2の立体形状データB’を生成する。また、このとき、ステージ202上のワークWを撮像部120が撮像して第2の位置合わせ画像B’を生成する。第2の測定条件Bと、第2の立体形状データB’と、第2の位置合わせ画像B’とは対応付けられて記憶部304に記憶される。
【0095】
以上のようにして全てのシーケンスが終了すると、ステップSC9に進み、データ合成処理を実行する。尚、全てのシーケンスについて測定再現を実行しなくてもよく、例えば第1のシーケンスと第2のシーケンスのうち、一方でのみ位置合わせ画像を用いた測定再現を実行し、他方は位置合わせ画像を用いない通常の測定を実行してもよい。例えば、ワークWの表側については、位置合わせ画像を用いない通常の測定を実行し、ワークWの裏側については、位置合わせ画像を用いた測定再現を実行することもできる。
【0096】
データ合成処理の手順は
図13に示している。ステップSD1では、初期姿勢を再現する。すなわち、合成部301cがマスターワークWの測定時に算出した位置合わせ情報としての変換行列を合成データファイルから読み出して復元する。
図14は、測定再現時のデータ合成用ユーザインタフェース画面710を示している。第1表示領域711には、測定再現で測定した第1の立体形状データが表示され、第2表示領域712には、測定再現で測定した第2の立体形状データが表示される。合成部301cは、一の合成データファイルに含まれる変換行列を読み出し、当該読み出した変換行列に基づいて、ワークWの第1の立体形状データと、ワークWの第2の立体形状データとを自動で位置合わせし、合成立体形状データを生成する。すなわち、合成部301cは、ワークWの第1の立体形状データと、ワークWの第2の立体形状データの少なくとも一方を、変換行列に基づいて座標変換し、合成立体形状データを生成する。位置合わせ後の立体形状データである合成立体形状データは、第3表示領域713に表示される。
【0097】
ステップSD2では、追加の幾何要素で位置合わせを行うか否かのユーザ入力を受け付ける。追加の幾何要素で位置合わせを行わない場合には、ステップSD3に進んで合成部301cは精密位置合わせを実行し、その後、ステップSD4に進んで合成部301cは第1の立体形状データと第2の立体形状データの合成処理を実行し、再メッシュデータ化し、ステップSD1で生成された合成立体形状データを更新する。
【0098】
一方、ステップSD5に進んだ場合には、
図7に示すデータ合成用ユーザインタフェース画面710等を用いて、ユーザが位置合わせ要素を追加で作成する。ステップSD6では、ステップSD5で追加した幾何要素の位置合わせを合成部301cが実行し、ステップSD1で生成された合成立体形状データを更新する。位置合わせ要素の追加が必要無くなれば、上記ステップSD3に進む。
【0099】
図8に示すように、ワークWの合成データ構造は、第1の立体形状データA’、第2の立体形状データB’、位置合わせ情報(第2の立体形状データB’を第1の立体形状データA’に位置合わせする情報)、最終合成立体形状データA’ B’が含まれており、これらは記憶部304に記憶される。
【0100】
本例では、マスターワークが初回測定時のワークである場合について説明したが、マスターワークは初回測定時のワークでなくてもよい。例えば、3回目のワークWを測定する際には、2回目に測定したワークWをマスターワークとすることができる。
【0101】
(測定条件の表示)
図10に示すようなデータ選択用ユーザインタフェース画面720を用いて、測定データに含まれる測定条件を表示させる一の測定データを選択することもできる。データ選択用ユーザインタフェース画面720には、測定条件表示ボタン723が表示されている。位置合わせ画像表示領域721に表示されている複数の位置合わせ画像の中から一の位置合わせ画像の選択を受け付けるとともに、測定条件表示ボタン723の操作入力を操作部500が受け付けると、表示制御部305は
図5に示す測定設定用ユーザインタフェース画面700と同様の測定条件表示ユーザインタフェース画面を表示部400に表示させることができる。この測定条件表示ユーザインタフェース画面は、
図5に示す測定設定用ユーザインタフェース画面700から測定実行ボタン708が省略されていてもよい。このように測定条件を表示部400に表示させることで、実際の測定を行うことなく、ユーザがワークWを測定した際の測定条件を確認できる。
【0102】
(解析条件を用いた解析再現)
図8で説明したように、マスターワークの合成データファイルには解析条件データを対応付けておくことができる。ステップSD4で生成されたワークWの合成立体形状データに対して、マスターワークの合成データファイルに対応付けられた解析条件を適用することで、マスターワークの解析を2回目以降に測定したワークWでも再現できる。具体的には、演算装置301に含まれる解析部301dは、マスターワークの合成データファイルに含まれる解析条件データを特定する。そして、解析部301dは特定した解析条件データから、ワークWの合成立体形状データの解析対象の特定と解析とを実行する。解析条件が平面Aと平面Bとの距離であった場合、解析部301dは、ワークWの合成立体形状データから平面Aと平面Bとにそれぞれ対応する平面を特定し、特定した平面同士の距離を算出する。
【0103】
(位置合わせ用マーカー)
図15は、マスターワークWの表面に位置合わせ用マーカーMが付与されている場合を示している。位置合わせ用マーカーMはユーザがマスターワークWの表面に付与し、その後、マスターワークWについては、上述したように、第1シーケンス、第2シーケンスを実行して第1の立体形状データ、第2の立体形状データを生成する。合成部301cは、位置合わせ用マーカーMを用いて第1の立体形状データの位置姿勢と第2の立体形状データの位置姿勢とを合わせ、マスターワークWの合成立体形状データを生成する。
【0104】
位置合わせ用マーカーMが付与されているマスターワークWで第1の立体形状データと第2の立体形状データの位置合わせを行う場合には、測定再現時のワークWでは、マスターワークWに基づいて、シーケンスごとの位置姿勢を再現できるため、測定再現時のワークWには位置合わせ用マーカーMが不要である。
【0105】
(位置合わせ画像の表示形態、位置合わせの方法)
上記実施形態では、位置合わせ画像を透過画像として表示部400に表示しているが、位置合わせ画像の表示形態は、これに限られるものではない。例えば、位置合わせ画像は、透過画像でなくてもよく、表示部400に俯瞰画像として表示してもよい。また、位置合わせ画像をスクリーン(表示部)に投影してもよい。また、表示部400はヘッドマウントディスプレイであってもよく、この場合、ユーザがヘッドマウントディスプレイを装着した状態でワークWの位置合わせ画像とライブ画像とを当該ヘッドマウントディスプレイに表示させ、その画像を見ながらワークWの位置合わせを行うことができる。
【0106】
また、上記実施形態では、ユーザは、位置合わせ画像にワークWが重なるように位置合わせしているが、これに限らず、位置合わせ画像と、ライブ画像とは表示部400の別の領域に表示させておき、位置合わせ画像を見ながら、ステージ202上で位置合わせ画像と同じ位置にワークWが載置されるように当該ワークWの位置姿勢を調整してもよい。また、6自由度アームを用いてワークWを保持し、位置姿勢を調整してもよい。
【0107】
シーケンスごとに撮像部120の倍率が異なっていてもよい。例えば第1シーケンスが高倍、第2シーケンスが低倍である場合であっても、合成部301cはデータ合成を行うことができるとともに、ユーザは位置合わせ画像に基づいてワークWの位置合わせを行うことができる。
【0108】
(自動位置合わせ機能)
立体形状データ生成装置1は、自動位置合わせ機能を有していてもよい。ユーザが位置合わせ画像を見ながらワークWを位置合わせする際、位置合わせ画像と完全に一致する位置にワークWを載置するのは難しい場合があり、特に、位置合わせ画像を透過させてワークWの位置合わせを行う際には、ワークWが位置合わせ画像から少しでもずれていると、画像がぶれた状態になる。この場合、演算装置301は、位置合わせ画像とライブ画像上のワーク画像とのズレを算出し、このズレが無くなるように、可動式ステージ202を制御して、ワークWの位置調整を自動で行うことができる。
【0109】
(実施形態2)
図16は、本発明の実施形態2に係る立体形状データ生成装置1の全体構成を示す図である。実施形態2に係る立体形状データ生成装置1は、測定部100と台座部200とが一体化されている点で実施形態1のものとは異なっている。以下、実施形態1と同じ部分には同じ符号を付して説明を省略し、異なる部分について詳細に説明する。
【0110】
すなわち、台座部200の奥側には、測定部100を支持する支持部250が上方へ延びるように設けられている。この支持部250の上部には、測定部100が固定されている。測定部100には、光軸がステージ202に向かうように、構造化照明部110及び撮像部120が設けられている。
【0111】
実施形態2のような立体形状データ生成装置1であっても、実施形態1と同様に立体形状データを生成することができる。
【0112】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0113】
以上説明したように、本開示に係る立体形状データ生成装置は、ワークの立体形状データを生成する場合に利用することができる。
【符号の説明】
【0114】
1 立体形状データ生成装置
110 構造化照明部
120 撮像部
130 測定制御部
202 ステージ
301a 立体形状データ生成部
301b 受付部
301c 合成部
304 記憶部
305 表示制御部
400 表示部
W ワーク