特開 2024-51799 立体形状データ生成装置、立体形状データ生成方法及び立体形状データ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051799

(43)【公開日】2024-04-11

(54)【発明の名称】立体形状データ生成装置、立体形状データ生成方法及び立体形状データ生成プログラム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240404BHJP

   G06T 7/521 20170101ALI20240404BHJP

【ＦＩ】

G01B11/25 H

G06T7/521

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022158132

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】藤田 修平

(72)【発明者】

【氏名】名取 和毅

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA53

2F065DD03

2F065DD06

2F065FF04

2F065FF44

2F065HH07

2F065JJ26

2F065NN05

2F065NN12

2F065PP11

2F065QQ23

2F065QQ24

2F065QQ31

2F065QQ42

5L096CA04

5L096CA17

5L096EA05

5L096FA66

5L096FA69

5L096GA55

(57)【要約】

【課題】高精度な立体形状データの生成に要する時間を短縮する。
【解決手段】立体形状データ生成装置１は、構造化照明部１１０と、第１の明暗周期の構造化光を順次受光して複数のパターン画像データを順次生成するとともに、第１の明暗周期よりも長い第２の明暗周期の構造化光を順次受光して複数のパターン画像データを順次生成する撮像部１２０と、第１の明暗周期の構造化光を撮像部１２０が受光して生成された複数のパターン画像データに基づいて測定対象物の相対位相を算出する相対位相算出部３０１ａと、第２の明暗周期の構造化光を撮像部１２０が受光して生成された複数のパターン画像データに平均化処理を実行し、測定対象物の絶対位相を算出する絶対位相算出部と、相対位相及び絶対位相に基づいて測定対象物の立体形状データを生成する立体形状データ生成部３０１ｃと、を備えている。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１の明暗周期を有する構造化光を位相シフトさせつつ測定対象物に複数回照射するとともに、前記第１の明暗周期よりも長い第２の明暗周期を有する構造化光を測定対象物に複数回照射する構造化照明部と、
測定対象物で反射された前記第１の明暗周期を有する構造化光を、第１の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成するとともに、測定対象物で反射された前記第２の明暗周期を有する構造化光を、第１の露光時間よりも短い第２の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する撮像部と、
測定対象物で反射された前記第１の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに基づいて測定対象物の相対位相を算出する第１の算出部と、
測定対象物で反射された前記第２の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに対して平均化処理とダウンサンプリング処理とが実行された複数のパターン画像データを生成し、当該複数のパターン画像データに基づいて測定対象物の絶対位相を算出する第２の算出部と、
前記第１の算出部により算出された測定対象物の相対位相と、前記第２の算出部により算出された測定対象物の絶対位相とに基づいて、測定対象物の立体形状データを生成する立体形状データ生成部と、を備える立体形状データ生成装置。

【請求項2】

請求項１に記載の立体形状データ生成装置であって、
前記撮像部の露光時間を決定するための目標輝度値と、前記第１の露光時間と前記第２の露光時間との比率と、が保持された設定テーブルを記憶する記憶部と、
前記撮像部の露光時間を設定する露光時間設定部とをさらに備え、
前記露光時間設定部は、
複数の異なる露光時間において前記撮像部により生成されたパターン画像データの輝度値と、前記設定テーブルに保持された目標輝度値とに基づいて前記第１の露光時間を設定し、
前記設定された第１の露光時間と、前記設定テーブルに保持された前記第１の露光時間と前記第２の露光時間との比率と、に基づいて、前記第２の露光時間を設定する立体形状データ生成装置。

【請求項3】

請求項１に記載の立体形状データ生成装置であって、
前記構造化照明部には、前記構造化光を生成するための光学素子が含まれ、
前記撮像部には、測定対象物で反射された構造化光を受光し、前記パターン画像データを生成するための受光素子が含まれ、
前記光学素子の分解能は、前記受光素子の分解能よりも大きく設定されている立体形状データ生成装置。

【請求項4】

請求項３に記載の立体形状データ生成装置であって、
前記第２の算出部は、前記受光素子の分解能に対する前記光学素子の分解能の比率に基づいて、前記複数のパターン画像データに平均化処理を実行する立体形状データ生成装置。

【請求項5】

請求項１に記載の立体形状データ生成装置であって、さらに、
前記第１の算出部が、測定対象物で反射された前記第１の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいて測定対象物の相対位相を算出するとともに、前記第２の算出部が、測定対象物で反射された前記第２の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいて測定対象物の絶対位相を算出する第１の動作モードと、
前記第１の算出部が、測定対象物で反射された前記第１の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに対する平均化処理を実行することなく測定対象物の相対位相を算出するとともに、前記第２の算出部が、測定対象物で反射された前記第２の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいて測定対象物の絶対位相を算出する第２の動作モードと、のいずれの動作モードで立体形状データの生成を行うかの選択を受け付ける受付部を備える立体形状データ生成装置。

【請求項6】

請求項５に記載の立体形状データ生成装置であって、
前記撮像部を有する測定部と、
前記測定部とは別体とされるとともに、前記第１の算出部、前記第２の算出部及び前記立体形状データ生成部を有するコントローラとをさらに備え、
測定対象物で反射された前記第２の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに対する平均化処理は、前記測定部に組み込まれた組み込みソフトウェアで実行され、
前記組み込みソフトウェアで平均化処理が実行された画像データが前記コントローラに転送される立体形状データ生成装置。

【請求項7】

請求項６に記載の立体形状データ生成装置であって、
測定対象物で反射された前記第１の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに対する平均化処理は、前記コントローラの画像処理ソフトウェアで実行される立体形状データ生成装置。

【請求項8】

請求項５に記載の立体形状データ生成装置であって、
前記立体形状データ生成部は、前記第２の動作モードが選択された場合、前記第１の算出部により算出された測定対象物の相対位相と、前記第２の算出部により算出された測定対象物の絶対位相とに基づいて位相画像を生成し、生成した前記位相画像をアップサンプリングする立体形状データ生成装置。

【請求項9】

請求項５に記載の立体形状データ生成装置であって、
前記第１の動作モードが選択された場合の前記撮像部の露光時間を決定するための第１の目標輝度値と、前記第２の動作モードが選択された場合の前記撮像部の露光時間を決定するための第２の目標輝度値と、を記憶する記憶部をさらに備え、
前記第２の目標輝度値は、前記第１の目標輝度値よりも高く設定されている立体形状データ生成装置。

【請求項10】

第１の明暗周期を有する構造化光を位相シフトさせつつ測定対象物に複数回照射し、測定対象物で反射された前記第１の明暗周期を有する構造化光を、第１の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する第１の画像データ生成ステップと、
前記第１の明暗周期よりも長い第２の明暗周期を有する構造化光を測定対象物に複数回照射し、測定対象物で反射された前記第２の明暗周期を有する構造化光を、第１の露光時間よりも短い第２の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する第２の画像データ生成ステップと、
前記第１の画像データ生成ステップで生成された複数のパターン画像データに基づいて測定対象物の相対位相を算出する第１の算出ステップと、
前記第２の画像データ生成ステップで生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいて測定対象物の絶対位相を算出する第２の算出ステップと、
前記第１の算出ステップにより算出された測定対象物の相対位相と、前記第２の算出ステップにより算出された測定対象物の絶対位相とに基づいて、測定対象物の立体形状データを生成する立体形状データ生成ステップと、を備える立体形状データ生成方法。

【請求項11】

第１の明暗周期を有する構造化光を位相シフトさせつつ測定対象物に複数回照射し、測定対象物で反射された前記第１の明暗周期を有する構造化光を、第１の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する第１の画像データ生成ステップと、
前記第１の明暗周期よりも長い第２の明暗周期を有する構造化光を測定対象物に複数回照射し、測定対象物で反射された前記第２の明暗周期を有する構造化光を、第１の露光時間よりも短い第２の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する第２の画像データ生成ステップと、
前記第１の画像データ生成ステップで生成された複数のパターン画像データに基づいて測定対象物の相対位相を算出する第１の算出ステップと、
前記第２の画像データ生成ステップで生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいて測定対象物の絶対位相を算出する第２の算出ステップと、
前記第１の算出ステップにより算出された測定対象物の相対位相と、前記第２の算出ステップにより算出された測定対象物の絶対位相とに基づいて、測定対象物の立体形状データを生成する立体形状データ生成ステップと、をコンピュータに実行させる立体形状データ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測定対象物の立体形状データを生成する立体形状データ生成装置、立体形状データ生成方法及び立体形状データ生成プログラムに関する。

【背景技術】

【0002】

従来より、ステージに載置された測定対象物の立体形状データを生成する立体形状データ生成装置が知られている。特許文献１に開示されている立体形状データ生成装置は、ステージに載置された測定対象物に所定のパターンを有する構造化光を照射し、測定対象物で反射された構造化光を撮像部で受光して測定対象物のパターン画像データを生成し、生成されたパターン画像データに基づいて、測定対象物の立体形状データを生成可能に構成されている。

【0003】

この特許文献１の構造化光の照射範囲は、ステージの上面によって構成される載置面よりも大きな範囲となるように設定されている。これにより、撮像部の撮像視野を広げて測定範囲を拡大している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－４２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、特許文献１のように測定範囲を拡大すると、当該測定範囲に照射される構造化光が暗くなるため、精度よく測定するためには、より長い露光時間が必要になる。その結果、測定の長時間化を招き、ユーザの利便性が低下する。特に、明暗周期を有する構造化光を位相シフトさせつつ測定対象物に複数回照射し、複数のパターン画像データを順次生成する場合には、この問題が顕著なものになる。

【0006】

本開示は、かかる点に鑑みたものであり、その目的とするところは、高精度な立体形状データの生成に要する時間を短縮することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本態様では、構造化照明部と撮像部とを備えた立体形状データ生成装置を前提とすることができる。構造化照明部は、第１の明暗周期を有する構造化光を位相シフトさせつつ測定対象物に複数回照射するとともに、前記第１の明暗周期よりも長い第２の明暗周期を有する構造化光を測定対象物に複数回照射可能に構成されている。撮像部は、測定対象物で反射された前記第１の明暗周期を有する構造化光を、第１の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成するとともに、測定対象物で反射された前記第２の明暗周期を有する構造化光を、第１の露光時間よりも短い第２の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成可能に構成されている。測定対象物で反射された前記第１の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに基づいて、第１の算出部が測定対象物の相対位相を算出し、また、第２の算出部は、測定対象物で反射された前記第２の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに対して平均化処理とダウンサンプリング処理とが実行された複数のパターン画像データを生成し、当該複数のパターン画像データに基づいて測定対象物の絶対位相を算出する。立体形状データ生成部は、前記第１の算出部により算出された測定対象物の相対位相と、前記第２の算出部により算出された測定対象物の絶対位相とに基づいて、測定対象物の立体形状データを生成する。

【0008】

この構成によれば、明暗周期が第１の明暗周期に比べて長い第２の明暗周期を有する構造化光の照射によって生成されたパターン画像データは、第２の算出部が平均化処理を実行して解像度が低下したとしても、大まかな絶対位相を把握することができる。精度よく測定するためには、精度よく相対位相を算出することが望ましく、絶対位相は相対位相の周期ずれを取り除けるような精度であればよいので、大まかな絶対位相が把握できれば測定精度の低下は回避できる。第２の明暗周期を有する構造化光の照射によって生成されたパターン画像データに対して平均化処理を実行することで、平均化処理を実行しない場合に比べて、同じ明るさを得るための露光時間は短くて済むため、測定時間が短縮する。

【0009】

前記構造化照明部には、前記構造化光を生成するための光学素子が含まれていてもよく、また、前記撮像部には、測定対象物で反射された構造化光を受光し、前記パターン画像データを生成するための受光素子が含まれていてもよい。この場合、前記光学素子の分解能は、前記受光素子の分解能よりも大きく設定することができる。

【0010】

この構成によれば、構造化照明部の光学素子の分解能の方が大きいため、撮像部の受光素子で得られるパターン画像データを平均化しても測定精度の低下を招くことなく、立体形状データの生成ができる。

【0011】

前記第２の算出部は、前記受光素子の分解能に対する前記光学素子の分解能の比率に基づいて、前記複数のパターン画像データに平均化処理を実行してもよい。この構成によれば、受光素子と光学素子の分解能の関係性に基づいて平均化量を決定することで、測定精度の低下を招くことなく立体形状データの生成ができる。

【0012】

測定対象物で反射された前記第２の明暗周期を有する構造化光を前記撮像部が順次受光することにより生成された複数のパターン画像データに対する平均化処理は、前記測定部に組み込まれた組み込みソフトウェアで実行できる。前記組み込みソフトウェアで平均化処理が実行された画像データは前記コントローラに転送して位相の算出や立体形状データの生成を実行できる。これにより、測定部からコントローラへ転送されるデータ量を少なくすることができる。

【0013】

また、第１の明暗周期を有する構造化光を位相シフトさせつつ測定対象物に複数回照射し、測定対象物で反射された前記第１の明暗周期を有する構造化光を、第１の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する第１の画像データ生成ステップと、前記第１の明暗周期よりも長い第２の明暗周期を有する構造化光を測定対象物に複数回照射し、測定対象物で反射された前記第２の明暗周期を有する構造化光を、第１の露光時間よりも短い第２の露光時間で順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成する第２の画像データ生成ステップと、前記第１の画像データ生成ステップで生成された複数のパターン画像データに基づいて測定対象物の相対位相を算出する第１の算出ステップと、前記第２の画像データ生成ステップで生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいて測定対象物の絶対位相を算出する第２の算出ステップと、前記第１の算出ステップにより算出された測定対象物の相対位相と、前記第２の算出ステップにより算出された測定対象物の絶対位相とに基づいて、測定対象物の立体形状データを生成する立体形状データ生成ステップと、を備える立体形状データ生成方法も本開示の範囲に含まれる。さらに、立体形状データ生成方法をコンピュータに実行させるための立体形状データ生成プログラムも本開示の範囲に含まれる。

【発明の効果】

【0014】

以上説明したように、明暗周期が相対的に短い構造化光の照射によって生成されたパターン画像データに基づいて相対位相を算出する一方、明暗周期が相対的に長い構造化光の照射によって生成されたパターン画像データに対して平均化処理を実行することによって露光時間が短くても精度よく絶対位相を算出し、算出された相対位相及び絶対位相に基づいて立体形状データを生成することができる。これにより、高精度な立体形状データの生成に要する時間を短縮できる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態１に係る立体形状データ生成装置の全体構成を示す図である。

【図2】立体形状データ生成装置のブロック図である。

【図3】構造化照明部が有する光学素子を模式的に示す平面図である。

【図4A】構造化照明部から照射されるグレイコードパターン光を示す図である。

【図4B】構造化照明部から照射されるマルチスリットパターン光を示す図である。

【図5】撮像部が有する受光素子を模式的に示す平面図である。

【図6】例１～４に係る画像データの処理について説明する図である。

【図7】例２に係る図２相当図である。

【図8】例３に係る図２相当図である。

【図9】例４に係る図２相当図である。

【図10】動作モードごとの処理の相違を説明する図である。

【図11】動作モード設定用ユーザインターフェースの一例を示す図である。

【図12】露光時間の設定テーブルの一例を示す図である。

【図13】立体形状データ生成手順の一例を示すフローチャートである。

【図14】本発明の実施形態２に係る立体形状データ生成装置の全体構成を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0017】

（実施形態１）
図１は、本発明の実施形態１に係る立体形状データ生成装置１の全体構成を示す図である。立体形状データ生成装置１は、ワーク（測定対象物）Ｗの立体形状データを生成するシステムであり、例えば、ワークＷの形状を測定することによって取得したワークＷのメッシュデータをＣＡＤデータに変換して出力することが可能になっている。この立体形状データ生成装置１を用いることで、立体形状データ生成方法を実行することができる。

【0018】

特に限定されるものではないが、立体形状データ生成装置１及び立体形状データ生成方法は、例えば既存製品のＣＡＤデータを取得して次機種展開や形状解析をＣＡＤ・ＣＡＥ上で実施したり、製品デザインにおけるモデルやモックの形状を製品設計に反映したり、嵌合する相手部品の形状に基づいて嵌合元となる製品を設計したり、試作品の形状に基づいて改良設計を行う場合等に利用される。したがって、ワークＷとしては、例えば既存製品、モデル、モック、試作品等を挙げることができる。

【0019】

また、立体形状データ生成装置１は、ワークＷのメッシュデータをサーフェスデータに変換して出力することも可能である。ワークＷのメッシュデータをサーフェスデータに変換して出力することで、ユーザのリバースエンジニアリング工程、リバースエンジニアリング作業を支援することができるので、立体形状データ生成装置１は、リバースエンジニアリング支援装置と呼ぶこともできる。

【0020】

以下の説明では、ワークＷの形状を測定する際に、ワークＷ表面の座標情報を取得するにあたり、測定用の構造化光をワークＷに対して照射して、ワークＷの表面で反射された構造化光に基づいて座標情報を取得している。例えば、ワークＷの表面で反射された構造化光から得られる縞投影画像を用いた三角測距による計測方法を適用することができる。ただ、本発明では、ワークＷの座標情報を取得するための原理や構成は、これに限らず、他の方法も適用することができる。

【0021】

立体形状データ生成装置１は、測定部１００と、台座部２００と、コントローラ３００と、表示部４００と、操作部５００とを備えている。図２に示すように、測定部１００は、構造化照明部１１０と撮像部１２０とを備えるとともに、構造化照明部１１０及び撮像部１２０が取り付けられる筐体１００Ａを備えている。さらに、測定部１００は、構造化照明部１１０及び撮像部１２０を制御する測定制御部１３０も備えている。測定制御部１３０は、筐体１００Ａに設けられていてもよいし、コントローラ３００側に設けられていてもよい。

【0022】

筐体１００Ａは、コントローラ３００とは別体とされて支持部６００によって支持されている。支持部６００は、ベース部６０１と、ベース部６０１に固定された伸縮部６０２と、伸縮部６０２の上部に設けられた角度調整部６０３とを備えた可搬性のものであり、ユーザによって設置位置を自由に設定できる。角度調整部６０３に測定部１００が着脱可能に取り付けられている。伸縮部６０２を上下方向に伸縮させることで測定部１００の高さ調整が可能である。また、角度調整部６０３は、例えば水平軸周りの回動、鉛直軸周りの回動、傾斜軸周りの回動等が調整可能に構成されている。これにより、測定部１００の水平面に対する設置角、鉛直面に対する設置角を任意に調整することができる。

【0023】

支持部６００は、上述した構成に限られるものではなく、例えば三脚、自由に屈曲させて屈曲させた形状を維持することが可能なフレキシブルアーム、ブラケット等、またはこれらを組み合わせて構成されていてもよい。また、測定部１００は、例えば産業用ロボットの６自由度アームに取り付けて使用することもできる。さらに、測定部１００は、ユーザが手で持って使用することもでき、この場合、支持部６００は不要になる。つまり、支持部６００は、立体形状データ生成装置１の一部に含まれる部材であってもよいし、立体形状データ生成装置１に含まれない部材であってもよい。

【0024】

ユーザが筐体１００Ａを持ってワークＷを測定する場合には、測定部１００をワークＷの製造現場等に持ち込んで測定することができる。この場合、ユーザが測定部１００を任意の位置に移動させて任意のタイミングで撮像することでワークＷの形状を測定できる。これを手動測定と呼ぶことができる。

【0025】

また、測定部１００を支持部６００で支持するとともに、ワークＷを、後述する自動回転式の台座部２００に載置することで、ワークＷを台座部２００によって回転させながら、所定のタイミングで撮像することでワークＷの広範囲の形状を測定できる。これを半自動測定と呼ぶことができる。尚、ワークＷを台座部２００に載置することなく、例えば定盤等に載置して測定することもできる。

【0026】

また、測定部１００を産業用ロボットのアームに取り付けて移動させることで、ユーザの手を介することなく、ワークＷの広範囲の形状を測定できる。これを全自動測定と呼ぶことができる。本発明は、手動測定、半自動測定及び全自動測定の全てに適用可能である。

【0027】

図２に示すように、測定部１００は、測定用の構造化光をワークＷに対して照射する構造化照明部１１０と、構造化照明部１１０により照射され、ワークＷで反射された構造化光を受光し、ワークＷのパターン画像データを生成する撮像部１２０とを備えている。測定部１００は、複数の構造化照明部１１０を含んでいてもよく、例えば、第一の方向からワークＷに対して第一構造化光を照射可能な第一構造化照明部と、第一の方向とは異なる第二の方向からワークＷに対して第二構造化光を照射可能な第二構造化照明部がそれぞれ設けられていてもよい。また、測定部１００は、複数の撮像部１２０を含んでいてもよい。

【0028】

なお、図示しないが、構造化照明部１１０を３以上備えたり、あるいは構造化照明部１１０と台座部２００を相対移動させて、共通の構造化照明部１１０を用いつつも、構造化光の照射方向を異ならせてワークＷに投光させることも可能である。また、構造化照明部１１０を複数用意し、共通の撮像部１２０で受光する構成とする以外に、共通の構造化照明部１１０に対して、複数の撮像部１２０を用意して受光するように構成してもよい。さらに構造化照明部１１０が投光する構造化光のＺ方向に対する照射角度を固定としてもよいし、可変としてもよい。

【0029】

構造化照明部１１０は、測定光源１１１、光学素子１１２及び複数のレンズ１１３を含んでいる。測定光源１１１は、単色光を発光する光源、例えば白色光を出射するハロゲンランプ、青色光を出射する青色ＬＥＤ（発光ダイオード）、有機ＥＬ等の光源を用いることができる。測定光源１１１から出射された光は、集光された後、光学素子１１２に入射される。

【0030】

光学素子１１２は、構造化光をワークＷに対して照射するよう、測定光源１１１から出射された光を反射させる。光学素子１１２に入射した測定光は、予め設定されたパターン及び予め設定された強度（明るさ）に変換されて出射される。光学素子１１２により出射された構造化光は、複数のレンズ１１３により撮像部１２０の観察・測定可能な視野よりも大きい径を有する光に変換された後、ワークＷに照射される。

【0031】

光学素子１１２は、構造化光をワークＷに照射する照射状態と、構造化光をワークＷに照射しない非照射状態とに切り替え可能な部材である。このような光学素子１１２には、例えばＤＭＤ（デジタルマイクロミラーデバイス）等を利用できる。ＤＭＤを用いた光学素子１１２は、照射状態として構造化光を光路上に向けて反射させる反射状態と、非照射状態として構造化光を遮光させる遮光状態とを切り替え可能に、測定制御部１３０により制御できる。

【0032】

図３は、ＤＭＤからなる光学素子１１２を模式的に示す平面図であり、ワークＷに対応する形状も一緒に記載している。光学素子１１２は、多数のマイクロミラー（微小鏡面）１１２ａを平面上（Ｘ方向及びＹ方向）に配列した素子である。各マイクロミラー１１２ａは、測定制御部１３０により個別にＯＮ状態、ＯＦＦ状態を切り替えることができるので、多数のマイクロミラー１１２ａのＯＮ状態、ＯＦＦ状態を組み合わせて、測定用の構造化光として所望の投影パターンを持った光を生成できる。これによって、三角測距に必要なパターンを生成して、ワークＷの形状の測定が可能となる。このように光学素子１１２は、測定時には測定用の周期的な投影パターンをワークＷに照射する光学系の一部として機能する。またＤＭＤは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。

【0033】

光学素子１１２を制御することで、明暗周期を有する複数種の構造化光を生成できる。具体的には、光学素子１１２は、例えば図４Ａに示すグレイコードパターン光や、図４Ｂに示すマルチスリットパターン光等を構造化光として生成できる。グレイコードパターン光の明暗周期は、マルチスリットパターン光の明暗周期よりも長くなっており、従って、グレイコードパターン光を低周波の構造化光と呼ぶことができるとともに、マルチスリットパターン光を高周波の構造化光と呼ぶことができる。マルチスリットパターン光は、第１の明暗周期を有する構造化光であり、グレイコードパターン光は、第１の明暗周期よりも長い第２の明暗周期を有する構造化光である。第１の明暗周期よりも長い第２の明暗周期を有する構造化光としては、グレイコードパターン光に限られるものではなく、マルチスリット光であってよく、この場合、マルチスリットの位相違いで相対位相と絶対位相を算出することができる。

【0034】

光学素子１１２を制御することで明暗周期が異なる複数のグレイコードパターン光を生成することができるとともに、マルチスリットパターン光の位相を変えて互いに位相の異なる複数のマルチスリットパターン光を生成することができる。位相の異なる周期パターンを投影し、複数の取得画像から位相値を推定する手法を位相シフト法という。このような位相シフト法による測定は、正弦波ないしは白黒幅均等のバイナリパターンを用いて行うことができる。

【0035】

構造化照明部１１０は、ワークＷの形状を測定する際に、光学素子１１２を制御することでグレイコードパターン光をワークＷに複数回照射することができるとともに、マルチスリットパターン光を位相シフトさせつつワークＷに複数回照射することができる。

【0036】

なお以上の例では、光学素子１１２にＤＭＤを用いた例を説明したが、本発明は光学素子１１２をＤＭＤに限定するものでなく、他の部材を用いることもできる。例えば、光学素子１１２として、ＬＣＯＳ（Liquid Crystal on Silicon：反射型液晶素子）を用いてもよい。あるいは反射型の部材に代えて透過型の部材を用いて、構造化光の透過量を調整してもよい。この場合は、光学素子１１２を光路上に配置して、光を透過させる照射状態と、光を遮光させる遮光状態とを切り替える。このような光学素子１１２には、例えばＬＣＤ（液晶ディスプレイ）が利用できる。あるいは、複数ラインＬＥＤを用いた投影方法、複数光路を用いた投影方法、レーザとガルバノミラー等で構成される光スキャナ方式、ビームスプリッタで分割したビームを重ね合わせることによって発生された干渉縞を用いるＡＦＩ（Accordion fringe interferometry）方式、ピエゾステージと高分解能エンコーダ等で構成される実体格子と移動機構を用いた投影方法等で光学素子１１２を構成してもよい。尚、光学素子１１２は、パターンを生成することなく、均一光を照射することもできる。

【0037】

撮像部１２０は、受光素子１２１と複数のレンズ１２２とを含んでいる。ワークＷで反射された構造化光は、レンズ１２２に入射して集光、結像された後、受光素子１２１により受光されてパターン画像データが生成される。撮像部１２０には、高倍のレンズ１２２を備えた高倍撮像部と、低倍のレンズ１２２を備えた低倍撮像部とが含まれていてもよい。また、レンズ１２２は倍率の変更が可能なズームレンズ等であってもよく、倍率の変更が可能な撮像部１２０であってもよい。撮像時の倍率と画像データとが対応付けられるようになっており、どの倍率で撮像された画像データであるかの識別が可能になっている。

【0038】

受光素子１２１は、例えばＣＣＤ（電荷結合素子）や、ＣＭＯＳ（相補性金属酸化膜半導体）等のイメージセンサで構成されている。図５は、受光素子１２１を模式的に示す平面図である。受光素子１２１は、多数の光電変換器１２１ａを平面上（Ｘ方向及びＹ方向）に配列した素子であり、各光電変換器１２１ａが各画素を構成している。図３に示す光学素子１１２と、図５に示す受光素子１２１とは、Ｘ方向とＹ方向が対応している。光学素子１１２のＸ方向に並ぶマイクロミラー１１２ａの数は、受光素子１２１のＸ方向に並ぶ光電変換器１２１ａの数よりも少なく設定され、また、光学素子１１２のＹ方向に並ぶマイクロミラー１１２ａの数は、受光素子１２１のＹ方向に並ぶ光電変換器１２１ａの数よりも少なく設定されている。つまり、光学素子１１２の分解能は、受光素子１２１の分解能よりも大きく設定されている。特に限定されるものではないが、本例では、光学素子１１２のＸ方向に並ぶマイクロミラー１１２ａの数が受光素子１２１のＸ方向に並ぶ光電変換器１２１ａの１／２とされ、また光学素子１１２のＹ方向に並ぶマイクロミラー１１２ａの数が受光素子１２１のＹ方向に並ぶ光電変換器１２１ａの１／２とされている。

【0039】

受光素子１２１の各画素からは、受光量に対応するアナログの電気信号（以下、「受光信号」と呼ぶ。）が後述するＡ／Ｄ変換器に出力される。カラーの受光素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの受光素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施形態では、受光素子１２１としてモノクロのＣＣＤを採用している。なお、受光素子１２１として、カラーの受光素子を用いてもよい。

【0040】

撮像部１２０には、図示しないＡ／Ｄ変換器（アナログ／デジタル変換器）及びＦＩＦＯ（First In First Out）メモリ、ＣＰＵ等が実装されている。受光素子１２１から出力される受光信号は、Ａ／Ｄ変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。Ａ／Ｄ変換器から出力されるデジタル信号は、ＦＩＦＯメモリに順次蓄積される。ＦＩＦＯメモリに蓄積されたデジタル信号は画素データとしてＣＰＵへ順次出力されて、ＣＰＵでパターン画像データが生成される。

【0041】

受光素子１２１から出力される受光信号に基づいて、特定の位置において受光素子１２１の視野内に含まれるワークＷの立体形状を表すパターン画像データを生成する。パターン画像データは、受光素子１２１で取得された画像そのものである。例えば位相シフト方式でワークＷの形状を測定する場合、複数枚の画像がパターン画像データを構成することになる。

【0042】

構造化照明部１１０がマルチスリットパターン光を位相シフトさせつつワークＷに照射すると、撮像部１２０は、マルチスリットパターン光がワークＷに照射される都度、当該ワークＷから反射されたマルチスリットパターン光を第１の露光時間で順次受光する。これにより、撮像部１２０は、マルチスリットパターン光が照射されたときのワークＷの画像を示す複数のパターン画像データを順次生成する。

【0043】

また、構造光照明部１１０が、明暗周期の異なる複数のグレイコードパターン光をワークＷに照射すると、撮像部１２０は、グレイコードパターン光がワークＷに照射される都度、当該ワークＷから反射されたグレイコードパターン光を、第１の露光時間よりも短い第２の露光時間で順次受光する。これにより、撮像部１２０は、グレイコードパターン光が照射されたときのワークＷの画像を示す複数のパターン画像データを順次生成する。グレイコードパターン光の露光時間が、マルチスリットパターン光の露光時間よりも短い理由については後述する。グレイコードパターン光のパターン画像データの数は、マルチスリットパターン光のパターン画像データの数よりも多い。

【0044】

なお、パターン画像データは、三次元位置情報を有する点の集合である点群データであってもよく、この点群データにより、ワークＷのパターン画像データを取得できる。点群データは、三次元座標を有する複数の点の集合体で表現されるデータである。生成されたパターン画像データはコントローラ３００に転送される。

【0045】

操作部５００は、例えばキーボード５０１やマウス５０２等のポインティングデバイスを含むことができる。ポインティングデバイスとしては、例えばジョイスティック等を用いてもよい。また、操作部５００は、ユーザによるタッチ操作を感知するタッチパネル等が含まれていてもよい。操作部５００と、コントローラ３００内の演算装置３０１とが接続されており、操作部５００によってどのような操作がなされたかは、演算装置３０１で検出可能になっている。

【0046】

台座部２００は、ベースプレート２０１と、ワークＷが載置される載置面を形成するステージ２０２と、回転機構２０３とを備えている。台座部２００は、ワークＷをステージ２０２上でクランプするクランプ機構を含んでいてもよい。回転機構２０３は、ベースプレート２０１とステージ２０２との間に設けられており、ステージ２０２をベースプレート２０１に対して鉛直軸（図１に示すＺ軸）周りに回転させる機構である。従って、ステージ２０２は回転ステージであり、ワークＷを載置した状態で回転させることにより、撮像部１２０に対するワークＷの相対的な位置関係を切り替えることが可能になる。Ｚ軸を中心に回転する方向をθ方向と定義し、矢印θで示す。また、台座部２００は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージを含んでもよい。

【0047】

回転機構２０３は、後述する測定制御部１３０によって制御されるモータ等を有しており、ステージ２０２を所望の回転角度だけ回転させた後、停止状態で保持可能になっている。台座部２００は、本発明に必須な構成要素ではなく、必要に応じて設けられるものである。また、台座部２００は、コントローラ３００によって制御されてもよい。

【0048】

図示しないが、台座部２００は、ステージ２０２を、水平かつ互いに直交するＸ方向及びＹ方向に移動させる並進機構を備えていてもよい。並進機構も、測定制御部１３０やコントローラ３００によって制御されるモータ等を有しており、ステージ２０２をＸ方向及びＹ方向に所望の移動量だけ移動させた後、停止状態で保持可能になっている。尚、本発明は、ステージ２０２が固定式のステージであっても適用可能である。

【0049】

コントローラ３００は、演算装置３０１、作業用メモリ３０２、ＲＯＭ（リードオンリメモリ）３０３、記憶部３０４、及び、表示部４００を制御する表示制御部３０５等を含んでいる。コントローラ３００には、ＰＣ（パーソナルコンピュータ）等が利用できるが、専用のコンピュータのみ、あるいは、ＰＣと専用のコンピュータとの組み合わせで構成されていてもよい。

【0050】

コントローラ３００のＲＯＭ３０３には、例えばシステムプログラム等が記憶される。コントローラ３００の作業用メモリ３０２は、例えばＲＡＭ（ランダムアクセスメモリ）からなり、種々のデータの処理のために用いられる。記憶部３０４は、例えばソリッドステートドライブや、ハードディスクドライブ等からなる。記憶部３０４には、立体形状データ生成プログラムが記憶される。また、記憶部３０４は、測定制御部１３０から与えられる画素データ（パターン画像データ）、ワークＷの測定条件（設定テーブル）等の種々のデータを保存するために用いられる。測定条件としては、例えば構造化照明部１１０の設定（パターン周波数、パターン種類）、撮像部１２０の倍率、測定視野（単一視野か広視野か）、測定位置、回転姿勢、露光条件（露光時間、ゲイン、照明の明るさ）、解像度設定（低解像度測定、標準測定、高解像度測定）等が含まれる。

【0051】

演算装置３０１は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子で構成されている。本明細書において演算装置３０１とは、演算を行う素子や回路を意味し、その名称によらず、汎用ＰＣ向けのＣＰＵやＭＰＵ、ＧＰＵ、ＴＰＵ等のプロセッサに限定するものでなく、ＦＰＧＡ、ＡＳＩＣ、ＬＳＩ等のプロセッサやマイコン、あるいはＳｏＣ等のチップセットを含む意味で使用する。

【0052】

演算装置３０１は、撮像部１２０が生成したパターン画像データに対し、作業用メモリ３０２を用いて各種処理を行う。演算装置３０１により、相対位相算出部３０１ａ、絶対位相算出部３０１ｂ、立体形状データ生成部３０１ｃ、露光時間設定部３０１ｄ及び受付部３０１ｅ等が構成されている。相対位相算出部３０１ａ、絶対位相算出部３０１ｂ、立体形状データ生成部３０１ｃ、露光時間設定部３０１ｄ及び受付部３０１ｅは、演算装置３０１のハードウェアのみで構成されていてもよいし、ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。例えば、演算装置３０１が立体形状データ生成プログラムを実行することで、相対位相算出部３０１ａ、絶対位相算出部３０１ｂ、立体形状データ生成部３０１ｃ、露光時間設定部３０１ｄ及び受付部３０１ｅの各機能の実現が可能になる。立体形状データ生成プログラムは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭのような各種記憶媒体に記憶されていてもよいし、サーバ等に記憶されていてユーザによってダウンロード可能な形態で提供されてもよい。

【0053】

相対位相算出部３０１ａは、ワークＷで反射されたマルチスリットパターン光を撮像部１２０が順次受光することにより生成された複数のパターン画像データに基づいてワークＷの相対位相を算出する部分である。

【0054】

絶対位相算出部３０１ｂは、ワークＷで反射されたグレイコードパターン光を撮像部１２０が順次受光することにより生成された複数のパターン画像データに平均化処理を実行し、平均化処理後の複数のパターン画像データに基づいてワークＷの絶対位相を算出する部分である。

【0055】

立体形状データ生成部３０１ｃは、相対位相算出部３０１ａにより算出されたワークＷの相対位相と、絶対位相算出部３０１ｂにより算出されたワークＷの絶対位相とに基づいて、ワークＷの立体形状データを生成する部分である。

【0056】

図６は、パターン画像データの処理に関する例１～４を示す図である。この図６では、撮像部１２０の受光素子１２１が実行する処理と、測定部１００の測定制御部１３０が実行する処理と、コントローラ３００が実行する処理とを分けて示している。受光素子１２１は、測定部１００に内蔵されている部材であることから、受光素子１２１が実行する処理は、測定部１００が実行する処理と呼ぶこともできる。また、測定部１００はコントローラ３００に対して通信ケーブル１００Ｂを介して接続されている。この通信ケーブル１００Ｂは、汎用ＵＳＢ（Universal Serial Bus）通信規格に準拠したものである。尚、測定部１００とコントローラ３００とは無線接続されていてもよい。

【0057】

例１では、グレイコードパターン光が照射されたときの複数のパターン画像データ８００と、マルチスリットパターン光が照射されたときの複数のパターン画像データ８００とを受光素子１２１が生成する。測定部１００の測定制御部１３０は、受光素子１２１が生成した各パターン画像データ８００に処理を実行することなく、当該パターン画像データ８００をコントローラ３００に転送する。コントローラ３００の相対位相算出部３０１ａは、マルチスリットパターン光が照射されたときの複数のパターン画像データ８０１に基づいてワークＷの相対位相を算出し、また、絶対位相算出部３０１ｂは、グレイコードパターン光が照射されたときの複数のパターン画像データ８０１に基づいてワークＷの絶対位相を算出する。コントローラ３００の立体形状データ生成部３０１ｃは、相対位相算出部３０１ａにより算出されたワークＷの相対位相と、絶対位相算出部３０１ｂにより算出されたワークＷの絶対位相とに基づいて、位相画像８０２、点群データ８０３、メッシュデータ８０４等の生成、即ち３次元画像処理及び描画処理を実行してワークＷの立体形状データを生成する。

【0058】

ここで生成される立体形状データとしてのメッシュデータは、複数のポリゴンを含んでおり、ポリゴンデータとも呼ぶことができる。ポリゴンは、複数の点を特定する情報と、それらの点を結んで形成される多角形面を示す情報とで構成されるデータであり、例えば３つの点を特定する情報と、それら３つの点を結んで形成される三角形の面を示す情報とで構成することができる。メッシュデータおよびポリゴンデータは、複数のポリゴンの集合体で表現されるデータと定義することも可能である。生成されたワークＷのメッシュデータはサーフェスデータに変換して出力される。

【0059】

例２では、グレイコードパターン光が照射されたときの複数のパターン画像データ８１０と、マルチスリットパターン光が照射されたときの複数のパターン画像データ８１０とを受光素子１２１が生成する。測定部１００の測定制御部１３０は、グレイコードパターン光が照射されたときの複数のパターン画像データ８１０に平均化処理を実行する。図７に示すように、平均化処理は、測定制御部１３０に組み込まれた組み込みソフトウェア等で構成された平均化処理部１３０ａが実行する。組み込みソフトウェアは、例えばＦＰＧＡ、マイクロコンピュータなどである。

【0060】

平均化処理の一例としては、例えばビニングを挙げることができる。ビニングは、平均化とダウンサンプリングとを実行し、複数の画素の輝度値を加算することで、画素数を減らし輝度値を上げる処理である。

【0061】

平均化処理は、重み無しカーネルを用いて行うことも、ガウシアンカーネルを用いて行うこともできる。ガウシアンカーネルで平均化した後、ダウンサンプリングした場合は、重み無しカーネルで平均化した後、ダウンサンプリングした場合と比較してダウンサンプリング後の画素値を高くすることができる。

【0062】

ガウシアンフィルタをかけた後にダウンサンプリングすることはビニングの一例であり、、この処理を実行することで、ノイズの影響を減らすことができる。また、撮像部１２０から出力された直後のパターン画像データに平均化処理を実行するということは、前段で当該画像の容量を小さくすることができるということであり、後述する後段の処理、即ち、位相算出や立体形状データの生成を高速化できる。また、マルチスリットパターン光に比べて相対的に長い明暗周期を有するグレイコードパターン光の照射によって生成されたパターン画像データは、平均化処理を実行して解像度が低下したとしても、大まかな絶対位相を把握することができるので、測定精度の低下は回避できる。

【0063】

図３に示す光学素子１１２と、図５に示す受光素子１２１との分解能を比較すると、２倍の差がある。このため、グレイコードパターン光のパターン画像データをＸ方向、Ｙ方向のそれぞれ１／２にダウンサンプリングし、１／４の解像度とても、光学素子１１２の空間解像度が損なわれない。すなわち、光学素子１１２の分解能をＲａ、受光素子１２１の分解能をＲｂとした場合、ダウンサンプリングの比率はＲｂ／Ｒａ以下とすることで光学素子１１２の空間解像度を損なうことなく位相算出できる。このように、受光素子１２１の分解能に対する光学素子１１２の分解能の比率に基づいて、グレイコードパターン光のパターン画像データに平均化処理を実行している。上記分解能の比率は一例であり、上記比率以外の比率であってもよい。

【0064】

一方、マルチスリットパターン光が照射されたときの複数のパターン画像データには平均化処理は実行しない。これにより、グレイコードパターン光に比べて相対的に短い明暗周期を有するマルチスリットパターン光の照射によって生成されたパターン画像データの解像度を低下させることなく、高精度な相対位相の計算が可能になる。

【0065】

測定制御部１３０は、平均化処理が実行されたグレイコードパターン光のパターン画像データ８１１をコントローラ３００に転送する。このとき、当該画像の容量が平均化処理によって小さくなっているので転送時間が短縮される。また、測定制御部１３０は、平均化処理が実行されていないマルチスリットパターン光のパターン画像データもコントローラ３００に転送する。

【0066】

コントローラ３００の相対位相算出部３０１ａは、測定制御部１３０から転送されたマルチスリットパターン光のパターン画像データに基づいてワークＷの相対位相を算出する。また、コントローラ３００の絶対位相算出部３０１ｂは、測定制御部１３０から転送された平均化処理後のグレイコードパターン光のパターン画像データに基づいてワークＷの絶対位相を算出する。例２では、本発明の第１の算出部が相対位相算出部３０１ａで構成され、本発明の第２の算出部が測定制御部１３０の平均化処理部１３０ａと絶対位相算出部３０１ｂとで構成されている。

【0067】

コントローラ３００の立体形状データ生成部３０１ｃは、測定制御部１３０から転送されたパターン画像データ８１２に基づいてワークＷの相対位相と絶対位相とを算出し、算出したワークＷの相対位相と絶対位相とに基づいて位相画像８１３、点群データ８１４、メッシュデータ８１５等の生成、即ち３次元画像処理及び描画処理を実行する。

【0068】

尚、例２において、測定制御部１３０の平均化処理部１３０ａが、マルチスリットパターン光のパターン画像データに対して平均化処理を実行してもよい。この場合、マルチスリットパターン光のパターン画像データをコントローラ３００に転送する時間も短縮できるとともに、後段の処理を高速化できる。

【0069】

図６に示す例３は、受光素子１２１で上記平均化処理を実行する例である。この例では、図８に示すように、受光素子１２１に設けられている平均化処理部１２１ｂが、グレイコードパターン光のパターン画像データ８２０に対して上記平均化処理を実行した後、平均化処理が実行されたパターン画像データ８２１をコントローラ３００に転送する。コントローラ３００では、例２と同様に、パターン画像データ８２２に基づいてワークＷの相対位相と絶対位相とを算出し、算出したワークＷの相対位相と絶対位相とに基づいて位相画像８２３、点群データ８２４、メッシュデータ８２５等の生成、即ち３次元画像処理及び描画処理を実行する。例３において、マルチスリットパターン光のパターン画像データを平均化処理部１２１ｂが平均化処理してもよい。

【0070】

図６に示す例４は、測定部１００の測定制御部１３０で相対位相及び絶対位相を算出し、立体形状データを生成する例である。図９に示すように、測定制御部１３０には、相対位相算出部１３０ｂと絶対位相算出部１３０ｃと立体形状データ生成部１３０ｄとが設けられている。受光素子１２１がマルチスリットパターン光のパターン画像データ８３０を取得し、相対位相算出部１３０ｂは、受光素子１２１から出力されたマルチスリットパターン光のパターン画像データ８３１に基づいてワークＷの相対位相を算出する。また、絶対位相算出部１３０ｃは、受光素子１２１から転送されたグレイコードパターン光のパターン画像データ８３１に基づいてワークＷの絶対位相を算出する。立体形状データ生成部１３０ｄは、例２の立体形状データ生成部３０１ｃと同様に、位相画像８３２、点群データ８３３、メッシュデータ８３４等の生成、即ち３次元画像処理及び描画処理を実行する。尚、例４において、測定制御部１３０で、グレイコードパターン光のパターン画像データないしマルチスリットパターン光のパターン画像データに平均化処理を実行してもよい。

【0071】

（動作モード）
立体形状データ生成装置１は、複数の動作モードを有しており、ユーザによって動作モードの切替が可能に構成されている。図１０に示すように、動作モードは、高速な処理が可能な高速モードと、高速モードよりも低速な標準モードと、標準モードよりも低速であるが高解像度な立体形状データを得ることが可能な高精細モードとがある。図１０では、図６に示す例２の場合について説明するが、例１、３、４も同様に、動作モードの切替が可能である。尚、動作モードの数は３つに限られるものではなく、例えば高速モードと標準モードの２つであってもよいし、４つ以上の動作モードを備えていてもよい。

【0072】

高速モードでは、受光素子１２１で生成されたグレイコードパターン光のパターン画像データ（３０００×３０００画素）に対して、測定制御部１３０が平均化処理（ビニング）を実行する。平均化処理後の画像は１５００×１５００画素になる。この時点では、マルチスリットパターン光のパターン画像データには、平均化処理を実行しない。測定制御部１３０は、平均化処理を実行したグレイコードパターン光のパターン画像データと、平均化処理を実行しないマルチスリットパターン光のパターン画像データとをコントローラ３００に転送する。

【0073】

コントローラ３００の演算装置３０１では、マルチスリットパターン光のパターン画像データに平均化処理を実行する。マルチスリットパターン光のパターン画像データに対する平均化処理は、コントローラ３００にインストールされている画像処理ソフトウェアで実行される。平均化処理後の画像は１５００×１５００画素になる。相対位相算出部３０１ａは、平均化処理を実行したマルチスリットパターン光のパターン画像データに基づいてワークＷの相対位相を算出し、また、絶対位相算出部３０１ｂは、平均化処理を実行したグレイコードパターン光のパターン画像データに基づいてワークＷの絶対位相を算出する。コントローラ３００の立体形状データ生成部３０１ｃは、ワークＷの相対位相と絶対位相とに基づいて３次元画像処理及び描画処理を実行する。このように、高速モードでは、マルチスリットパターン光のパターン画像データと、グレイコードパターン光のパターン画像データの両方に平均化処理を実行しているので、後段の処理速度が高まり、高速な処理が可能になる一方、両パターン画像データの解像度を低下させていることで他の動作モードに比べて低解像度のメッシュデータになる。この高速モードが本発明の第１の動作モードに相当する。

【0074】

次に、標準モードについて説明する。標準モードでは、マルチスリットパターン光のパターン画像データに平均化処理を実行しない点で高速モードとは異なっている。つまり、１５００×１５００画素のグレイコードパターン光のパターン画像データと、３０００×３０００画素のマルチスリットパターン光のパターン画像データとに基づいてメッシュデータを生成できるので、高速モードに比べて高解像度のメッシュデータを得ることができる一方、マルチスリットパターン光のパターン画像データのデータ容量が高速モードに比べて大きいので、処理速度が低下する。標準モードは、本発明の第２の動作モードに相当する。

【0075】

次に、高精細モードについて説明する。高精細モードでは、立体形状データ生成部３０１ｃが、相対位相と絶対位相に基づいて位相画像を生成し、位相画像に対してアップサンプリングを実行する点で標準モードとは異なっている。アップサンプリングを実行することで、６０００×６０００画素の位相画像が生成される。よって、立体形状データ生成部３０１ｃでは、６０００×６０００個の点群データが取得されるので、メッシュデータが標準モードに比べて高解像度なものになる。アップサンプリングを実行することで、処理速度は標準モードに比べて低速になる。アップサンプリングは前段で実行してもよいが、後段で実行した方が高速な処理を実現できる。高速モードは、本発明の第２の動作モードに相当する。

【0076】

図２に示す受付部３０１ｅは、高速モード、標準モード及び高精細モードのいずれの動作モードで立体形状データの生成を行うかの選択を受け付ける部分である。例えば図１１に一例を示すように、動作モード設定用ユーザインターフェース７００を表示制御部３０５が生成し、表示部４００に表示させる。動作モード設定用ユーザインターフェース７００には、高速モードを選択する際に操作する高速ボタン７０１と、標準モードを選択する際に操作する標準ボタン７０２と、高精細モードを選択する際に操作する高精細ボタン７０３とが設けられている。ユーザが操作部５００を使用してボタン７０１～７０３のうち、１つのボタンを押すと、押されたボタンがどのボタンであるかを受付部３０１ｅが特定する。高速ボタン７０１が押された場合には、「高速モードで立体形状データの生成を行う」として受付部３０１ｅが受け付け、また、標準ボタン７０２が押された場合には、「標準モードで立体形状データの生成を行う」として受付部３０１ｅが受け付け、また、高精細ボタン７０３が押された場合には、「高精細モードで立体形状データの生成を行う」として受付部３０１ｅが受け付ける。受付部３０１ｅで受け付けられた動作モードとなるように、演算装置３０１及び測定制御部１３０等が制御される。

【0077】

（露光時間の設定）
図２に示す露光時間設定部３０１ｄは、撮像部１２０の露光時間を設定する部分である。露光時間設定部３０１ｄが露光時間を設定する際には、図１２に示す露光時間の設定テーブルを用いる。設定テーブルは記憶部３０４に記憶されている。

【0078】

設定テーブルには、撮像部１２０の露光時間を決定するための目標輝度値が保持されている。目標輝度値には、高速モードが選択された場合の撮像部１２０の露光時間を決定するための高速モード用の目標輝度値（本発明の第１の目標輝度値に相当）と、標準モードが選択された場合の撮像部１２０の露光時間を決定するための標準モード用の目標輝度値（本発明の第２の目標輝度値に相当）と、高精細モードが選択された場合の撮像部１２０の露光時間を決定するための高精細モード用の目標輝度値（本発明の第３の目標輝度値に相当）とが含まれている。高速モード用の目標輝度値が最も低く設定され、高精細用の目標輝度値が最も高く設定され、標準モード用の目標輝度値は、高速モード用の目標輝度値と高精細用の目標輝度値との間の輝度値に設定されている。各目標輝度値は例である。

【0079】

目標輝度値が高い方が、撮像部１２０による露光時間が長くなって画像が明るくなり、形状のノイズを減らすことができる。ただし、より高速なモードだと、後段の処理後、最終的に点群数が減るため、目標輝度値を低くしてノイズが増えたとしても、間引かれて目立たなくなる。そのため、より高速なモードほど、目標輝度値を低くしている。

【0080】

さらに、設定テーブルには、マルチスリットパターン光が照射されている時の撮像部１２０の露光時間と、グレイコードパターン光が照射されている時の撮像部１２０の露光時間との比率が保持されている。各比率は例であり、図１２では「グレイコード／マルチスリット露光時間比」として示している。マルチスリットパターン光が照射されている時の撮像部１２０の露光時間は、第１の露光時間であり、グレイコードパターン光が照射されている時の撮像部１２０の露光時間は、第２の露光時間である。

【0081】

露光時間設定部３０１ｄは、複数の異なる露光時間において撮像部１２０により生成された複数のパターン画像データの輝度値と、設定テーブルに保持された目標輝度値とに基づいて、マルチスリットパターン光が照射されている時の撮像部１２０の露光時間を設定する。具体的には、露光時間を変化させつつ撮像部１２０で撮像し、露光時間が異なる複数の露光画像を取得する。取得された複数の露光画像から、露光時間と平均輝度の関係性を求め、平均輝度が目標輝度値になるような露光時間を自動で設定する。尚、自動で設定された露光時間をユーザが調整して変更することも可能である。

【0082】

露光時間設定部３０１ｄは、上述のようにして設定されたマルチスリットパターン光が照射されている時の撮像部１２０の露光時間と、設定テーブルに保持された露光時間の比率（グレイコード／マルチスリット露光時間比）とに基づいて、グレイコードパターン光が照射されている時の撮像部１２０の露光時間を設定する。

【0083】

図１０に示すように、高速モードでは、受光素子１２１が画像データ９００を生成し、測定制御部１３０は、受光素子１２１が生成した画像データ９００のうち、グレイコードパターン光が照射されたときの複数のパターン画像データに平均化処理を実行して画像９０１を生成し、マルチスリットパターン光が照射されたときの複数のパターン画像データはそのままの画像データ９０２とする。コントローラ３００は、測定制御部１３０から転送されたグレイコードパターン光が照射されたときの画像データ９０１と、マルチスリットパターン光が照射されたときの複数のパターン画像データに平均化処理を実行した画像データ９０２’とに基づいて、位相画像９０３、点群データ９０４、メッシュデータ９０５を生成する。

【0084】

標準モードでは、受光素子１２１が画像データ９１０を生成し、測定制御部１３０は、受光素子１２１が生成した画像データ９１０のうち、グレイコードパターン光が照射されたときの複数のパターン画像データに平均化処理を実行して画像９１１を生成し、マルチスリットパターン光が照射されたときの複数のパターン画像データはそのままの画像データ９１２とする。コントローラ３００は、測定制御部１３０から転送されたグレイコードパターン光が照射されたときの画像データ９１１と、マルチスリットパターン光が照射されたときの複数のパターン画像データ９１２とに基づいて、位相画像９１３、点群データ９１４、メッシュデータ９１５を生成する。

【0085】

高精細モードでは、受光素子１２１が画像データ９２０を生成し、測定制御部１３０は、受光素子１２１が生成した画像データ９２０のうち、グレイコードパターン光が照射されたときの複数のパターン画像データに平均化処理を実行して画像９２１を生成し、マルチスリットパターン光が照射されたときの複数のパターン画像データはそのままの画像データ９２２とする。コントローラ３００は、測定制御部１３０から転送されたグレイコードパターン光が照射されたときの画像データ９２１と、マルチスリットパターン光が照射されたときの複数のパターン画像データ９２２とに基づいて、アップサンプリングした位相画像９２３を生成し、この位相画像９２３に基づいて点群データ９２４、メッシュデータ９２５を生成する。

【0086】

すなわち、標準モード及び高精細モードでは、グレイコードパターン光のパターン画像データをビニングすることにより、４画素を加算して１画素として扱うことになるので、画素数が１／４になる。その分、ビニングしていないマルチスリットパターン光のパターン画像データと比べて、１画素あたりのＳ／Ｎが高くなる。そのため、マルチスリットパターン光のパターン画像データと、グレイコードパターン光のパターン画像データのＳ／Ｎを合わせる場合、図１２に示すように、マルチスリットパターン光が照射されている時の露光時間を１／４（＝０．２５）まで下げることができる。標準モードと高精細モードでは、ビニングのモードが同じため、比率も同じとなる。

【0087】

グレイコードパターン光はマルチスリットパターン光に比べると外乱に強いため、グレイコードパターン光のパターン画像データのＳ／Ｎは、マルチスリットパターン光のパターン画像データのＳ／Ｎより多少低くても、解像度上は問題がない。よって、高速モードでは、露光時間を１／８に下げている。

【0088】

また、マルチスリットパターン光のパターン画像データにはカーネルのガウシアンフィルタをかけた後にダウンサンプリングを行うことができる。カーネルのガウシアンフィルタによる画素の平均化効果により、当該フィルタをかけない場合に比べて、１画素当たりのＳ／Ｎが向上する。よって、露光時間を下げることができる。

【0089】

（立体形状データ生成方法）
次に、図１３に示すフローチャートを参照しながら、立体形状データ生成方法について具体的に説明する。スタート後のステップＳＡ１では、ユーザの操作によって受付部３０１ｅが動作モード（高速モード、標準モード、高精細モードのいずれか）の選択を受け付ける。ステップＳＡ２では、露光時間を設定するための複数の露光画像を取得する。ステップＳＡ３では、露光時間設定部３０１ｄが記憶部３０４に記憶されている設定テーブルから、ステップＳＡ１で受け付けた動作モードに対応した目標輝度値を取得する。

【0090】

ステップＳＡ４では、露光時間設定部３０１ｄが、ステップＳＡ２で取得された複数の露光画像から露光時間と平均輝度の関係性を求め、マルチスリットパターン光が照射されている時に撮像されたパターン画像データの平均輝度が、ステップＳＡ３で取得した目標輝度値になるような露光時間を設定する。

【0091】

ステップＳＡ５では、露光時間設定部３０１ｄが記憶部３０４に記憶されている設定テーブルから、ステップＳＡ１で受け付けた動作モードに対応したグレイコード／マルチスリット露光時間比を取得する。取得した時間比となるように、グレイコードパターン光が照射されているときの露光時間を設定する。

【0092】

ステップＳＡ６では、構造化照明部１１０がマルチスリットパターン光を位相シフトさせつつワークＷに複数回照射し、ワークＷで反射されたマルチスリットパターン光を、撮像部１２０が、ステップＳＡ４で設定されている露光時間で順次受光することにより複数のパターン画像データを順次生成する。これが第１の画像データ生成ステップである。

【0093】

ステップＳＡ７では、構造化照明部１１０がグレイコードパターン光を位相シフトさせつつワークＷに複数回照射し、ワークＷで反射されたグレイコードパターン光を、撮像部１２０が、ステップＳＡ５で設定されている露光時間で順次受光することにより複数のパターン画像データを順次生成する。これが第２の画像データ生成ステップである。

【0094】

ステップＳＡ８では、グレイコードパターン光のパターン画像データに対して平均化処理部１３０ａが平均化処理を実行する。ステップＳＡ９では、相対位相算出部３０１ａがマルチスリットパターン光のパターン画像データに基づいてワークＷの相対位相を算出する。このとき、高速モードであれば、マルチスリットパターン光のパターン画像データに平均化処理を実行してから、相対位相を算出する。

【0095】

ステップＳＡ１０では、絶対位相算出部３０１ｂが平均化処理後のグレイコードパターン光のパターン画像データに基づいてワークＷの絶対位相を算出する。ステップＳＡ９は、本発明の第１の算出ステップを構成している。ステップＳＡ８とステップＳＡ１０は、本発明の第２の算出ステップを構成している。

【0096】

ステップＳＡ１１は、ステップＳＡ９で算出した相対位相と、ステップＳＡ１０で算出した絶対位相とに基づいて位相画像を生成する。このとき、高精細モードであれば、位相画像に対してアップサンプリングを実行する。ステップＳＡ１２では、ステップＳＡ１１で生成した位相画像を利用して点群データを生成する。ステップＳＡ１３では、点群データを利用してメッシュデータを生成する。ステップＳＡ１１～ＳＡ１３は、本発明の立体形状データ生成ステップである。

【0097】

上記第１の画像データ生成ステップ、第２の画像データ生成ステップ、第１の算出ステップ、第２の算出ステップ及び立体形状データ生成ステップは、立体形状データ生成プログラムがインストールされたコンピュータ（コントローラ３００及び測定部１００を含む）によって実行されるステップである。

【0098】

（実施形態２）
図１４は、本発明の実施形態２に係る立体形状データ生成装置１の全体構成を示す図である。実施形態２に係る立体形状データ生成装置１は、測定部１００と台座部２００とが一体化されている点で実施形態１のものとは異なっている。以下、実施形態１と同じ部分には同じ符号を付して説明を省略し、異なる部分について詳細に説明する。

【0099】

すなわち、台座部２００の奥側には、測定部１００を支持する支持部２５０が上方へ延びるように設けられている。この支持部２５０の上部には、測定部１００が固定されている。測定部１００には、光軸がステージ２０２に向かうように、構造化照明部１１０及び撮像部１２０が設けられている。

【0100】

実施形態２のような立体形状データ生成装置１であっても、実施形態１と同様に立体形状データを生成することができる。

【0101】

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0102】

以上説明したように、本開示に係る立体形状データ生成装置は、ワークの立体形状データを生成する場合に利用することができる。

【符号の説明】

【0103】

１ 立体形状データ生成装置
１１０ 構造化照明部
１１２ 光学素子
１２０ 撮像部
１２１ 受光素子
３０１ａ 相対位相算出部
３０１ｂ 絶対位相算出部
３０１ｃ 立体形状データ生成部
３０１ｅ 受付部
３０４ 記憶部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】