特開 2024-101649 三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101649

(43)【公開日】2024-07-30

(54)【発明の名称】三次元計測装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240723BHJP

【ＦＩ】

G01B11/25 H

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023005669

(22)【出願日】2023-01-18

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】辻本 将隆

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065FF06

2F065FF09

2F065HH06

2F065JJ03

2F065JJ26

2F065LL13

2F065LL62

2F065MM16

2F065PP22

2F065PP25

2F065QQ21

2F065QQ28

2F065QQ31

(57)【要約】

【課題】イベントデータを利用することで計測対象物の三次元形状をより高速に計測可能な構成を提供する。
【解決手段】投影部２０から所定の縞パターンが投影された計測対象物Ｒを撮像する撮像部３０は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。この撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成される。そして、制御部１１は、所定の縞パターンの投影開始タイミングにあわせて投影開始信号Ｓ１を計測部４０に対して出力し、計測部４０は、撮像画像における画素単位で、制御部１１からの投影開始信号Ｓ１の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて輝度情報を求める。
【選択図】図７

【特許請求の範囲】

【請求項1】

計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
前記投影部を制御する制御部と、
を備える三次元計測装置であって、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成され、
前記制御部は、前記所定の縞パターンの投影開始タイミングにあわせて投影開始信号を前記計測部に対して出力し、
前記計測部は、前記撮像画像における画素単位で、前記制御部からの前記投影開始信号の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて前記輝度情報を求めることを特徴とする三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。

【背景技術】

【0002】

従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターン画像を投影することでこの縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。このように位相シフト法を利用して三次元計測を行う技術として、下記特許文献１に開示されている三次元計測装置が知られている。この三次元計測装置は、各位相の縞を異なる波長の光に割り当て、これを合成した縞パターン画像を計測対象物に投影し、この縞パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から各色成分を抽出して１回の撮影で位相算出を行うことで、三次元形状の計測に要する時間の短縮を図っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３７２３０５７号公報

【特許文献2】米国特許出願公開第２０１６／０２２７１３５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、より高速に計測対象物の画像を生成する技術として、上記特許文献２に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ（イベントデータ）は出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。

【0005】

しかしながら、イベントカメラから出力されるイベントデータを用いて生成された計測対象物の撮像画像では、その撮像画像から画素単位での輝度変化の有無を把握できても輝度値を直接計測することができない。このため、輝度値を利用する位相シフト法などの三次元計測方法では、計測対象物の三次元形状の計測を実施できないという問題がある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用することで計測対象物の三次元形状をより高速に計測可能な構成を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターンを投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
前記投影部を制御する制御部（１１）と、
を備える三次元計測装置（１０）であって、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成され、
前記制御部は、前記所定の縞パターンの投影開始タイミングにあわせて投影開始信号（Ｓ１）を前記計測部に対して出力し、
前記計測部は、前記撮像画像における画素単位で、前記制御部からの前記投影開始信号の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて前記輝度情報を求めることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0008】

請求項１の発明では、投影部から所定の縞パターンが投影された計測対象物を撮像する撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。この撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成される。そして、制御部は、所定の縞パターンの投影開始タイミングにあわせて投影開始信号を計測部に対して出力し、計測部は、撮像画像における画素単位で、制御部からの投影開始信号の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて輝度情報を求める。

【0009】

撮像画像の各画素では、輝度値が高くなるほど、正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差が長くなる。このため、撮像画像における画素単位での正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差に基づいて輝度情報を求めることができる。そして、正極性のイベントデータの発生時間は、投影開始信号の入力時間に一致し、投影開始信号の入力時間後に負極性のイベントデータが出力される。このため、上記所定の縞パターンを投影した際の投影開始信号の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて、画素単位で輝度情報を求めることができ、このように求めた輝度情報を利用して位相シフト法により計測対象物の三次元形状を計測することができる。特に、全ての画素について正極性のイベントデータと負極性のイベントデータとの双方の発生時間を取得することなく、投影開始信号の入力後に出力されたイベントデータの発生時間のみを取得すればよいので、処理時間が短縮されてさらなる計測対象物の画像生成の高速化を図ることができる。すなわち、イベントデータを利用することで計測対象物の三次元形状をより高速に計測することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。

【図2】一般的な位相シフト法用の縞パターンが計測対象物に投影された状態を説明する説明図である。

【図3】位相シフト法による三次元測定を説明する図である。

【図4】正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差（ＯＮ時間）と輝度値（輝度情報）との関係を説明する説明図である。

【図5】図５（Ａ）は、縞パターンを投影する際のある画素レベルでのＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図であり、図５（Ｂ）は、図５（Ａ）と異なる画素レベルでのＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図である。

【図6】投影開始タイミング及び投影終了タイミングと投影開始信号の入力タイミング及び投影終了信号の入力タイミングと撮像開始タイミング及び撮像終了タイミングとの関係を説明する説明図である。

【図7】図７（Ａ）は、画素を横軸、ＯＮ時間を縦軸として示す縞パターンの作成例を説明する説明図であり、図７（Ｂ）は、図７（Ａ）に示す縞パターンを撮像した際に画素ごとに得られる負極性のイベントデータの発生時間と投影開始信号Ｓ１の入力時間との時間差を説明する説明図である。

【発明を実施するための形態】

【0011】

［第１実施形態］
以下、本発明の三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置１０は、計測対象物Ｒの三次元形状を計測する装置であって、図１及び図２に示すように、全体制御を司る制御部１１と、計測対象物Ｒに対して位相シフト法用の所定の縞パターンを投影する投影部２０と、所定の縞パターンが投影された計測対象物Ｒを撮像する撮像部３０と、この撮像画像から計測対象物Ｒの三次元形状を計測する計測部４０と、を備えるように構成されている。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒの三次元形状を計測する。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と計測対象物Ｒの高速移動との間での相対的な移動を指している。三次元計測装置１０の位置が固定されている場合には相対移動は計測対象物Ｒの移動となる。

【0012】

なお、図２では、便宜上、１３縞目まである所定の縞パターンを簡略化して図示している。より具体的には、一般的な縞パターンはサイン波パターンで表わされるので、縞パターンの明色部分と暗色部分は同様の幅となるが、図２では、便宜上、暗色部分の幅を小さくして線で表わしている。かつ、縞の数も実施形態では１３以上であるが、１３に省略している。

【0013】

制御部１１は、マイコンを主体として構成されるものであり、ＣＰＵ、システムバス、入出力インタフェース等を有し、ＲＯＭ，ＲＡＭ、不揮発性メモリなどからなる記憶部とともに情報処理装置を構成している。記憶部には、ロボット制御に関するプログラムに加えて、投影部２０の制御に関するプログラムや計測部４０による三次元計測結果を利用した制御処理を実行するためのプログラム等が制御部１１により実行可能に予め格納されている。

【0014】

投影部２０は、いわゆるＤＬＰプロジェクタであって、制御部１１により制御されて、光源からの光をＤＭＤ素子にて反射することで後述する所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でＯＮ／ＯＦＦするように構成されている。すなわち、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、所定の縞パターンを投影するように機能する。このため、各ミラーをＯＮにしている時間とＯＦＦにしている時間の比率によって、反射される光の階調（明るさ）を変化させることにより、投影する画像の画像データに基づいた階調表示が可能になる。

【0015】

このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間が長くなるほどその発光状態が明るくなるため、発光時間に応じて発光状態を特定することができる。図２での画素について左上を（１、１）、右下を（ｋ、ｌ）とした場合、投影部２０は、ｋ×ｌ画素（例えば、１１４０×９１２）に対応するミラーを備えている。また、例えば、ＤＭＤ素子に入射する光として、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意される場合には、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返されて、それぞれの発光時間が個別に調整されることで、カラー画像が投影可能となる。このため、制御部１１は、単位時間中での反射のＯＮ／ＯＦＦタイミングを、上記所定の縞パターンに応じてミラーごとに設定するように機能する。

【0016】

撮像部３０は、いわゆるイベントカメラであって、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このため、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じると正極性（プラス輝度変化）のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じて負極性（マイナス輝度変化）のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物Ｒを撮像した画像データが生成可能となり、撮像部３０は、このように生成された画像データ又はイベントデータ（二次元点データ，時間，輝度変化の極性）を計測部４０に出力するように構成されている。

【0017】

計測部４０は、制御部１１により制御されて、投影部２０から予め決められた所定の縞パターンが投影されている状態の計測対象物Ｒを撮像部３０により撮像した撮像画像に基づいて、位相シフト法によりその計測対象物Ｒの三次元形状を計測するものである。

【0018】

一般的に、位相シフト法では、所定の縞パターン（第１の方向にて輝度が周期的に変化してこの第１の方向に直交する第２の方向にて輝度が変化しないパターン）を計測対象物Ｒに対して投影して撮像した格子画像（縞画像）に基づいて、その計測対象物Ｒの表面形状に応じてゆがんだ値に相当する位相値θを求めるため、下記の式（１）の輝度値Ｉ（ｘ，ｙ，ｎ）から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をＮとしたとき、Ｎ枚の位相シフトされた格子画像（縞画像）の輝度値Ｉ（ｘ，ｙ，ｎ）が式（１）によって表される。
Ｉ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝＋ｂ（ｘ，ｙ）
・・・（１）
ここで、点（ｘ，ｙ）は、格子画像内の１点で、ａ（ｘ，ｙ）は、輝度振幅、ｂ（ｘ，ｙ）は、背景輝度を示し、θ（ｘ，ｙ）は、ｎ＝０の格子の位相値を示し、Ｎ個の格子画像の輝度値Ｉ（ｘ，ｙ，ｎ）から求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。

【0019】

具体的には、例えば、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態による１周期分で３つの格子画像が得られる場合には、Ｎ＝３として、Ｒ色発光状態での輝度値Ｉ（ｘ，ｙ，０）とＧ色発光状態での輝度値Ｉ（ｘ，ｙ，１）とＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）とを、撮像画像から求める。この場合には、位相シフト法用の所定の縞パターンは、Ｒ色のみで構成されるサイン波パターンとＧ色のみで構成されるサイン波パターンとＢ色のみで構成されるサイン波パターンとを位相が２π／３ずれるようにして構成される。

【0020】

計測部４０は、上記撮像画像における点（ｘ，ｙ）での輝度値Ｉ（ｘ，ｙ，０）、輝度値Ｉ（ｘ，ｙ，１）、輝度値Ｉ（ｘ，ｙ，２）が得られている場合には、上記式（１）を利用して位相値θ（ｘ，ｙ）を求め、このように求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。このようにして撮像した計測対象物Ｒの各点（ｘ，ｙ）の距離ｚがそれぞれ測定されることで、その計測対象物Ｒの三次元形状を計測することができる。

【0021】

例えば、図３の点Ｐ１の距離ｚを求める場合、投影部２０より所定の縞パターンをＮ回シフトして投影した状態での撮像部３０のＮ枚の撮影画像から、点Ｐ１の位相値θとその点Ｐ１が何縞目かという情報（縞番号）とを求める。このように求めた位相値θ及び縞番号から投影部２０での角度θｐ１と撮像部３０での角度θｃ１とが求められると、投影部２０と撮像部３０との距離（視差Ｌ）は既知であるため、三角測量により点Ｐ１の距離ｚを求めることができる。同様に、図３の点Ｐ２の距離ｚは、Ｎ枚の撮影画像から求めた点Ｐ２の位相値θ及び縞番号から求められる投影部２０での角度θｐ２と撮像部３０での角度θｃ２とに基づいて、三角測量により求めることができる。この計算を計測エリア全体で行うことにより、三次元計測を行うことができる。

【0022】

ここで、位相シフト法を利用して計測対象物Ｒの三次元形状を計測する際に、計測部４０にて実施される三次元計測処理について、図４及び図５を参照して詳述する。
本実施形態では、高速に相対移動する計測対象物Ｒを精度良く撮像するための撮像部として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値（Ｉ（ｘ，ｙ，０）、Ｉ（ｘ，ｙ，１）、Ｉ（ｘ，ｙ，２））を直接取得できない。

【0023】

その一方で、発光開始のタイミングで正極性のイベントデータが出力された後に、発光終了のタイミングで負極性のイベントデータが出力されるため、正極性のイベントデータの出力と負極性のイベントデータの出力との時間差が長くなるほど明るくなる。すなわち、撮像画像の各画素では、輝度値が高くなるほど、正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差が長くなる。このため、図４に示すように、撮像画像における画素単位での正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差（図４のＯＮ時間参照）に基づいて、輝度値（輝度情報）を求めることができる。なお、図４及び後述する図５では、正極性のイベントデータの出力を上向きの矢印にて図示し、負極性のイベントデータの出力を下向きの矢印にて図示している。

【0024】

例えば、ある画素レベルにおいて、図５（Ａ）に例示するように、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態が所定の周期３Ｔ（単位時間Ｔ）で繰り返されている場合を想定する。このような発光状態では、Ｒ色発光開始のタイミングで正極性のイベントデータが発生して出力され（図５（Ａ）のｔ１１参照）、Ｒ色発光終了のタイミングで負極性のイベントデータが発生して出力される（図５（Ａ）のｔ１２参照）。その後、Ｇ色発光開始のタイミングで正極性のイベントデータが発生して出力され（図５（Ａ）のｔ１３参照）、Ｇ色発光終了のタイミングで負極性のイベントデータが発生して出力される（図５（Ａ）のｔ１４参照）。その後、Ｂ色発光開始のタイミングで正極性のイベントデータが発生して出力され（図５（Ａ）のｔ１５参照）、Ｂ色発光終了のタイミングで負極性のイベントデータが発生して出力される（図５（Ａ）のｔ１６参照）。

【0025】

また、例えば、図５（Ａ）での画素と異なる画素レベルでは、図５（Ｂ）に例示するように、Ｒ色発光開始のタイミングで正極性のイベントデータが発生して出力され（図５（Ｂ）のｔ２１参照）、Ｒ色発光終了のタイミングで負極性のイベントデータが発生して出力される（図５（Ｂ）のｔ２２参照）。その後、Ｇ色発光開始のタイミングで正極性のイベントデータが発生して出力され（図５（Ｂ）のｔ２３参照）、Ｇ色発光終了のタイミングで負極性のイベントデータが発生して出力される（図５（Ｂ）のｔ２４参照）。その後、Ｂ色発光開始のタイミングで正極性のイベントデータが発生して出力され（図５（Ｂ）のｔ２５参照）、Ｂ色発光終了のタイミングで負極性のイベントデータが発生して出力される（図５（Ｂ）のｔ２６参照）。

【0026】

ここで、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間が長くなるほどＲ色が明るくなるため、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間に応じてＲ色の輝度値を求めることができる。同様に、Ｇ色発光開始のタイミングからＧ色発光終了のタイミングまでの時間に応じてＧ色の輝度値を求めることができ、Ｂ色発光開始のタイミングからＢ色発光終了のタイミングまでの時間に応じてＢ色の輝度値を求めることができる。

【0027】

このため、撮像画像における画素単位での正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差に基づいて輝度値（輝度情報）を求めることができる。図５（Ａ）の例では、Ｒ色発光状態に関して正極性のイベントデータの発生時間と負極性のイベントデータの発生時間との時間差であるｔ１２－ｔ１１に基づいてＲ色発光状態での輝度値Ｉ（ｘ，ｙ，０）を求めることができる。同様にして、時間差ｔ１４－ｔ１３及び時間差ｔ１６－ｔ１５に基づいて、Ｇ色発光状態での輝度値Ｉ（ｘ，ｙ，１）及びＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）を求めることができる。このようにして求めた各輝度値を利用して位相シフト法により計測対象物Ｒの三次元形状を計測することができる。すなわち、イベントデータを利用して計測対象物Ｒの三次元形状を計測することができる。

【0028】

次に、本実施形態の特徴的構成である所定の縞パターンの投影開始タイミングにあわせて制御部１１から計測部４０に出力される投影開始信号を利用することで三次元計測の更なる高速化を図る構成について、単位時間での投影を例に説明する。なお、本実施形態では、所定の縞パターンの投影開始時には、投影部２０の各ＤＭＤ素子は全てＯＮ状態になり、暗く投影するＤＭＤ素子ほどＯＮ状態からＯＦＦ状態までの時間が短くなる。

【0029】

本実施形態では、制御部１１は、所定の縞パターンの投影を開始するための発光開始指示信号を投影部２０に対して出力し、この発光開始指示信号が入力された投影部２０は、所定の縞パターンの投影を開始する。その際、制御部１１は、図６に示すように、上記発光開始指示信号に同期させた同期信号として投影開始信号Ｓ１を計測部４０及び撮像部３０に出力する。また、制御部１１は、所定の縞パターンの投影を終了するための発光終了指示信号を投影部２０に対して出力し、この発光終了指示信号が入力された投影部２０は、所定の縞パターンの投影を終了する。その際、制御部１１は、上記発光終了指示信号に同期させた同期信号として投影終了信号Ｓ２を計測部４０及び撮像部３０に出力する。

【0030】

撮像部３０は、制御部１１から投影開始信号Ｓ１が入力されたタイミングで、撮像を開始し、その後の投影終了信号Ｓ２が入力されたことで、撮像を終了する。このため、撮像部３０では、投影開始信号Ｓ１が入力されたタイミングで、全ての画素で正極性のイベントデータが発生して出力される。その後、撮像部３０では、投影終了信号Ｓ２が入力されるまでに、明るい画素ほど遅くなるように負極性のイベントデータが発生して出力される。なお、撮像部３０では、投影終了信号Ｓ２を使用せずに、投影開始信号Ｓ１の入力時間から指定時間が経過した後に撮像を終了してもよい。

【0031】

このため、計測部４０では、制御部１１から投影開始信号Ｓ１が入力されたタイミングで、全ての画素で正極性のイベントデータが撮像部３０から入力され、その後、画素ごとに異なるタイミングで、負極性のイベントデータが撮像部３０から入力される。

【0032】

すなわち、正極性のイベントデータの発生時間は、投影開始信号Ｓ１の入力時間に一致し、投影開始信号Ｓ１の入力時間後に負極性のイベントデータが出力される。このため、上記所定の縞パターンを投影した際の投影開始信号Ｓ１の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて、画素単位で輝度情報を求めることができる。

【0033】

例えば、図７（Ａ）に示すように作成された縞パターンが投影部２０から投影された場合、投影開始信号Ｓ１が入力された計測部４０では、図７（Ｂ）からわかるように、撮像部３０からの正極性のイベントデータの入力時間を取得することなく、投影開始信号Ｓ１の入力時間と当該入力時間後に出力された負極性のイベントデータの発生時間との時間差（図７（Ｂ）でのＯＮ時間）に基づいて、画素単位で輝度情報を求めることができる。

【0034】

また、図５（Ａ）の例であれば、単位時間Ｔが既知であるため、Ｒ色発光開始のタイミングでの正極性のイベントデータの入力時間ｔ１１，Ｇ色発光開始のタイミングでの正極性のイベントデータの入力時間ｔ１３，Ｂ色発光開始のタイミングでの正極性のイベントデータの入力時間ｔ１５の取得を不要とすることができる。そして、投影開始信号Ｓ１の入力時間とＲ色発光開始のタイミングでの負極性のイベントデータの入力時間ｔ１２，Ｇ色発光開始のタイミングでの負極性のイベントデータの入力時間ｔ１４，Ｂ色発光開始のタイミングでの負極性のイベントデータの入力時間ｔ１６との時間差に基づいて、画素単位で輝度情報を求めることができる。

【0035】

以上説明したように、本実施形態に係る三次元計測装置１０では、投影部２０から所定の縞パターンが投影された計測対象物Ｒを撮像する撮像部３０は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。この撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成される。そして、制御部１１は、所定の縞パターンの投影開始タイミングにあわせて投影開始信号Ｓ１を計測部４０に対して出力し、計測部４０は、撮像画像における画素単位で、制御部１１からの投影開始信号Ｓ１の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて輝度情報を求める。

【0036】

このように、所定の縞パターンを投影した際の投影開始信号Ｓ１の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて、画素単位で輝度情報を求めることができ、このように求めた輝度情報を利用して位相シフト法により計測対象物Ｒの三次元形状を計測することができる。特に、全ての画素について正極性のイベントデータと負極性のイベントデータとの双方の発生時間を取得することなく、投影開始信号Ｓ１の入力後に出力されたイベントデータの発生時間のみを取得すればよいので、処理時間が短縮されてさらなる計測対象物Ｒの画像生成の高速化を図ることができる。すなわち、イベントデータを利用することで計測対象物Ｒの三次元形状をより高速に計測することができる。

【0037】

なお、本発明は上記実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）輝度情報（輝度値）は、投影開始信号Ｓ１の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差（ＯＮ時間）に基づいて画素単位で求められることに限らず、ＯＦＦ時間に基づいて画素単位で求められてもよい。すなわち、所定の縞パターンの投影開始時に、投影部２０の各ＤＭＤ素子が同じタイミングで全てＯＮ状態からＯＦＦ状態になることを前提に、投影開始信号Ｓ１の入力時間と当該入力時間後に出力された正極性のイベントデータの発生時間との時間差（ＯＦＦ時間）に基づいて、画素単位で輝度情報（輝度値）を求めてもよい。

【0038】

（２）三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。

【0039】

（３）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体となって、計測部４０が投影部２０及び撮像部３０と無線通信又は有線通信可能な情報処理端末として構成されてもよい。

【0040】

（４）投影部２０からＮ回シフトして投影される所定の縞パターンは、Ｎ＝３を前提にＲ色発光状態とＧ色発光状態とＢ色発光状態とによって構成されることに限らず、例えば、周期的に変化する明色部分及び暗色部分によって構成されてもよよい。

【符号の説明】

【0041】

１０…三次元計測装置
１１…制御部
２０…投影部
３０…撮像部
４０…計測部
Ｒ…計測対象物
Ｓ１…投影開始信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】