特開 2024-105049 三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024105049

(43)【公開日】2024-08-06

(54)【発明の名称】三次元計測装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240730BHJP

【ＦＩ】

G01B11/25 H

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2023009577

(22)【出願日】2023-01-25

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】辻本 将隆

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065BB05

2F065DD04

2F065FF01

2F065FF02

2F065FF07

2F065FF09

2F065GG23

2F065HH06

2F065HH12

2F065JJ03

2F065JJ26

2F065LL18

2F065MM16

2F065MM28

2F065NN01

2F065PP22

2F065QQ03

2F065QQ31

(57)【要約】

【課題】イベントデータを利用した三次元計測においてノイズの発生を抑制し得る構成を提供する。
【解決手段】制御部１１は、単位時間Ｔ中に計測対象となる第１計測タイミングｔ１及び第２計測タイミングｔ２と他の複数のタイミング（再投光タイミングｔ３及び再消灯タイミングｔ４）とで上記反射のＯＮ／ＯＦＦを切り替えるように投影部２０を制御する。計測部４０は、撮像部３０の撮像画像から求められる縞パターン情報Ｉｓを利用して位相シフト法により計測対象物Ｒの三次元形状を計測する際、縞パターン情報Ｉｓを、撮像素子から上記単位時間Ｔ中にて第１計測タイミングｔ１に応じて出力されるイベントデータと第２計測タイミングｔ２に応じて出力されるイベントデータとの出力タイミングの時間差として求める。
【選択図】図４

【特許請求の範囲】

【請求項1】

計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
前記投影部を制御する制御部と、
を備える三次元計測装置であって、
前記投影部は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦが前記ミラーごとに前記制御部によって制御されることで、前記所定の縞パターンを投影し、
前記制御部は、単位時間中に計測対象となる第１計測タイミング及び第２計測タイミングと他の複数のタイミングとで前記反射のＯＮ／ＯＦＦを切り替えるように前記投影部を制御し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成され、
前記計測部は、前記縞パターン情報を、前記撮像素子から前記単位時間中にて前記第１計測タイミングに応じて出力されるイベントデータと前記第２計測タイミングに応じて出力されるイベントデータとの出力タイミングの時間差として求めることを特徴とする三次元計測装置。

【請求項2】

前記制御部は、前記所定の縞パターンの投影開始タイミングにあわせて投影開始信号を前記計測部に対して出力し、
前記第１計測タイミングは、前記投影開始タイミングであり、
前記計測部は、前記制御部からの前記投影開始信号の入力タイミングを前記第１計測タイミングとして前記縞パターン情報を求めることを特徴とする請求項１に記載の三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。

【背景技術】

【0002】

従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターン画像を投影することでこの縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。

【0003】

このように位相シフト法を利用して三次元計測を行う技術に関して、より高速に計測対象物の画像を生成するため、下記特許文献１に開示される三次元計測装置が知られている。この三次元計測装置では、位相シフト法用の所定の縞パターンとしてサイン波パターンが採用されるとともに、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力するイベントカメラが採用されて、イベントデータから縞パターンが投影された計測対象物の撮像画像を生成するように構成されている。イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ（イベントデータ）は出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の形状に関する情報を取得することができる。その一方で、イベントデータには位相シフト法に利用する輝度情報が含まれないため、画素単位で投光時に出力されるプラス輝度変化のイベントデータ（正極性のイベントデータ）の発生時間と消灯時に出力されるマイナス輝度変化のイベントデータ（負極性のイベントデータ）の発生時間との時間差に基づいて輝度情報（縞パターン情報）を求めることで、イベントデータを利用した計測対象物の三次元形状の計測を実施可能としている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０６７６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述のようなサイン波パターンの縞パターンが投影される場合、その撮像画像において消灯タイミングが遅い画素と消灯タイミングが早い画素とが存在し、消灯状態の画素が増えるほど、暗い状態での撮像となる。イベントカメラの特性上、暗い状態では少しの輝度変化でも電位差が生じてイベントデータが出力されやすくなるため、暗くなるほど本来出力すべきでないイベントデータがノイズとして発生しやすくなる。そのため、大量に発生したノイズがイベントカメラで許容されるイベント量を超えて飽和してしまうと、輝度変化を正しく検出できなくなるような問題が発生してしまう。

【0006】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用した三次元計測においてノイズの発生を抑制し得る構成を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターンを投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像画像から求められる縞パターン情報（Ｉｓ）を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
前記投影部を制御する制御部（１１）と、
を備える三次元計測装置（１０）であって、
前記投影部は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦが前記ミラーごとに前記制御部によって制御されることで、前記所定の縞パターンを投影し、
前記制御部は、単位時間（Ｔ）中に計測対象となる第１計測タイミング（ｔ１）及び第２計測タイミング（ｔ２）と他の複数のタイミング（ｔ３，ｔ４）とで前記反射のＯＮ／ＯＦＦを切り替えるように前記投影部を制御し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成され、
前記計測部は、前記縞パターン情報を、前記撮像素子から前記単位時間中にて前記第１計測タイミングに応じて出力されるイベントデータと前記第２計測タイミングに応じて出力されるイベントデータとの出力タイミングの時間差として求めることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0008】

請求項１の発明では、投影部は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部によって制御されることで、所定の縞パターンを計測対象物に対して投影する。制御部は、単位時間中に計測対象となる第１計測タイミング及び第２計測タイミングと他の複数のタイミングとで上記反射のＯＮ／ＯＦＦを切り替えるように投影部を制御する。計測部は、撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により計測対象物の三次元形状を計測する際、上記縞パターン情報を、撮像素子から上記単位時間中にて上記第１計測タイミングに応じて出力されるイベントデータと上記第２計測タイミングに応じて出力されるイベントデータとの出力タイミングの時間差として求める。

【0009】

これにより、縞パターン情報を、単位時間中にて第１計測タイミングに応じて出力されるイベントデータと第２計測タイミングに応じて出力されるイベントデータとの出力タイミングの時間差（例えば、単位時間中にて最初に出力される正極性のイベントデータと次に出力される負極性のイベントデータとの出力タイミングの時間差）として求めることで、イベントデータを利用した計測対象物の三次元形状の計測を実施することができる。特に、単位時間中では、第１計測タイミング及び第２計測タイミングと異なるタイミングで上記反射のＯＮ／ＯＦＦが再び切り替えられるので、第１計測タイミング及び第２計測タイミングのみで上記反射のＯＮ／ＯＦＦがなされる場合と比較して、より明るい状態での撮像となるために、ノイズの発生が抑制される。したがって、イベントデータを利用した三次元計測においてノイズの発生を抑制可能な三次元計測装置を実現することができる。

【0010】

請求項２の発明では、制御部は、所定の縞パターンの投影開始タイミングにあわせて投影開始信号を計測部に対して出力し、第１計測タイミングは、投影開始タイミングであり、計測部は、制御部からの投影開始信号の入力タイミングを第１計測タイミングとして縞パターン情報を求める。

【0011】

これにより、全ての画素について第１計測タイミングに応じて出力されるイベントデータと第２計測タイミングに応じて出力されるイベントデータとの双方の出力タイミングを取得することなく、第２計測タイミングに応じて出力されるイベントデータの出力タイミングのみを取得すればよいので、処理時間が短縮されてさらなる計測対象物の画像生成の高速化を図ることができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。

【図2】一般的な位相シフト法用の縞パターンが計測対象物に投影された状態を説明する説明図である。

【図3】位相シフト法による三次元測定を説明する図である。

【図4】第１実施形態において単位時間中での第１計測タイミング及び第２計測タイミングと再投光タイミング及び再消灯タイミングとの関係を説明する説明図である。

【図5】イベントカメラにおける輝度値と検出電圧値との関係を説明する説明図である。

【図6】図６（Ａ）は、段階的に暗くなる範囲が広がる検証用パターンを説明する説明図であり、図６（Ｂ）は、図６（Ａ）の検証用パターンが投影された面をイベントカメラで撮像した際に出力されるイベント量を説明する説明図である。

【図7】図７（Ａ）は、図６（Ａ）に対して再び反射ＯＮ／ＯＦＦを切り替えた検証用パターンを説明する説明図であり、図７（Ｂ）は、図７（Ａ）の検証用パターンが投影された面をイベントカメラで撮像した際に出力されるイベント量を説明する説明図である。

【図8】第２実施形態において投影開始タイミング及び投影終了タイミングと投影開始信号の入力タイミング及び投影終了信号の入力タイミングと撮像開始タイミング及び撮像終了タイミングとの関係を説明する説明図である。

【図9】縞パターン情報を２つの正極性のイベントデータの時間差として求める例を説明する説明図である。

【発明を実施するための形態】

【0013】

［第１実施形態］
以下、本発明の三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置１０は、計測対象物Ｒの三次元形状を計測する装置であって、図１及び図２に示すように、全体制御を司る制御部１１と、計測対象物Ｒに対して位相シフト法用の所定の縞パターンを投影する投影部２０と、所定の縞パターンが投影された計測対象物Ｒを撮像する撮像部３０と、この撮像画像から計測対象物Ｒの三次元形状を計測する計測部４０と、を備えるように構成されている。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒの三次元形状を計測する。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と計測対象物Ｒの高速移動との間での相対的な移動を指している。三次元計測装置１０の位置が固定されている場合には相対移動は計測対象物Ｒの移動となる。

【0014】

なお、図２では、便宜上、１３縞目まである一般的な縞パターンを簡略化して図示している。より具体的には、一般的な縞パターンはサイン波パターンで表わされるので、縞パターンの明色部分と暗色部分は同様の幅となるが、図２では、便宜上、暗色部分の幅を小さくして線で表わしている。かつ、縞の数も実施形態では１３以上であるが、１３に省略している。

【0015】

制御部１１は、マイコンを主体として構成されるものであり、ＣＰＵ、システムバス、入出力インタフェース等を有し、ＲＯＭ，ＲＡＭ、不揮発性メモリなどからなる記憶部とともに情報処理装置を構成している。記憶部には、ロボット制御に関するプログラムに加えて、投影部２０の制御に関するプログラムや計測部４０による三次元計測結果を利用した制御処理を実行するためのプログラム等が制御部１１により実行可能に予め格納されている。

【0016】

投影部２０は、いわゆるＤＬＰプロジェクタであって、制御部１１により制御されて、光源からの光をＤＭＤ素子にて反射することで後述する所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でＯＮ／ＯＦＦするように構成されている。このため、ミラー単位で、反射ＯＦＦから反射ＯＮになることで投光状態に切り替えられ、反射ＯＮから反射ＯＦＦになることで消灯状態に切り替えられる。すなわち、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、所定の縞パターンを投影するように機能する。このため、各ミラーをＯＮにしている時間とＯＦＦにしている時間の比率によって、反射される光の階調（明るさ）を変化させることにより、投影する画像の画像データに基づいた階調表示が可能になる。

【0017】

このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間（反射ＯＮから反射ＯＦＦまでの時間）が長くなるほどその発光状態が明るくなるため、発光時間に応じて発光状態を特定することができる。図２での画素について左上を（１、１）、右下を（ｋ、ｌ）とした場合、投影部２０は、ｋ×ｌ画素（例えば、１１４０×９１２）に対応するミラーを備えている。また、例えば、ＤＭＤ素子に入射する光として、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意される場合には、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返されて、それぞれの発光時間が個別に調整されることで、カラー画像が投影可能となる。このため、制御部１１は、単位時間中での反射のＯＮ／ＯＦＦタイミングを、後述する所定の縞パターンに応じてミラーごとに設定するように機能する。

【0018】

撮像部３０は、いわゆるイベントカメラであって、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このため、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じると正極性（プラス輝度変化）のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じて負極性（マイナス輝度変化）のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物Ｒを撮像した画像データが生成可能となり、撮像部３０は、このように生成された画像データ又はイベントデータ（二次元点データ，時間，輝度変化の極性）を計測部４０に出力するように構成されている。

【0019】

計測部４０は、制御部１１により制御されて、投影部２０から予め決められた所定の縞パターンが投影されている状態の計測対象物Ｒを撮像部３０により撮像した撮像画像に基づいて、位相シフト法によりその計測対象物Ｒの三次元形状を計測するものである。

【0020】

一般的に、位相シフト法では、所定の縞パターン（第１の方向にて輝度が周期的に変化してこの第１の方向に直交する第２の方向にて輝度が変化しないパターン）を計測対象物Ｒに対して投影して撮像した格子画像（縞画像）に基づいて、その計測対象物Ｒの表面形状に応じてゆがんだ値に相当する位相値θを求めるため、下記の式（１）の輝度値Ｉ（ｘ，ｙ，ｎ）から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をＮとしたとき、Ｎ枚の位相シフトされた格子画像（縞画像）の輝度値Ｉ（ｘ，ｙ，ｎ）が式（１）によって表される。
Ｉ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝＋ｂ（ｘ，ｙ）
・・・（１）
ここで、点（ｘ，ｙ）は、格子画像内の１点で、ａ（ｘ，ｙ）は、輝度振幅、ｂ（ｘ，ｙ）は、背景輝度を示し、θ（ｘ，ｙ）は、ｎ＝０の格子の位相値を示し、Ｎ個の格子画像の輝度値Ｉ（ｘ，ｙ，ｎ）から求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。

【0021】

具体的には、例えば、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態による１周期分で３つの格子画像が得られる場合には、Ｎ＝３として、Ｒ色発光状態での輝度値Ｉ（ｘ，ｙ，０）とＧ色発光状態での輝度値Ｉ（ｘ，ｙ，１）とＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）とを、撮像画像から求める。この場合には、位相シフト法用の所定の縞パターンは、Ｒ色のみで構成されるサイン波パターンとＧ色のみで構成されるサイン波パターンとＢ色のみで構成されるサイン波パターンとを位相が２π／３ずれるようにして構成される。

【0022】

計測部４０は、上記撮像画像における点（ｘ，ｙ）での輝度値Ｉ（ｘ，ｙ，０）、輝度値Ｉ（ｘ，ｙ，１）、輝度値Ｉ（ｘ，ｙ，２）が得られている場合には、上記式（１）を利用して位相値θ（ｘ，ｙ）を求め、このように求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。このようにして撮像した計測対象物Ｒの各点（ｘ，ｙ）の距離ｚがそれぞれ測定されることで、その計測対象物Ｒの三次元形状を計測することができる。

【0023】

例えば、図３の点Ｐ１の距離ｚを求める場合、投影部２０より所定の縞パターンをＮ回シフトして投影した状態での撮像部３０のＮ枚の撮影画像から、点Ｐ１の位相値θとその点Ｐ１が何縞目かという情報（縞番号）とを求める。このように求めた位相値θ及び縞番号から投影部２０での角度θｐ１と撮像部３０での角度θｃ１とが求められると、投影部２０と撮像部３０との距離（視差Ｌ）は既知であるため、三角測量により点Ｐ１の距離ｚを求めることができる。同様に、図３の点Ｐ２の距離ｚは、Ｎ枚の撮影画像から求めた点Ｐ２の位相値θ及び縞番号から求められる投影部２０での角度θｐ２と撮像部３０での角度θｃ２とに基づいて、三角測量により求めることができる。この計算を計測エリア全体で行うことにより、三次元計測を行うことができる。

【0024】

ここで、位相シフト法を利用して計測対象物Ｒの三次元形状を計測する際に、計測部４０にて実施される三次元計測処理について、図面を参照して詳述する。
本実施形態では、高速に相対移動する計測対象物Ｒを精度良く撮像するための撮像部として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値（例えば、上述したＩ（ｘ，ｙ，０）、Ｉ（ｘ，ｙ，１）、Ｉ（ｘ，ｙ，２））を直接取得できない。

【0025】

このため、本実施形態では、輝度値Ｉ（ｘ，ｙ，ｎ）に相当する縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）を、図４に示すように、単位時間Ｔ中にて最初に出力される正極性のイベントデータ（図４の上向き矢印参照）と次に出力される負極性のイベントデータ（図４の下向き矢印参照）との出力タイミングの時間差として求める。すなわち、本実施形態では、投影部２０から所定の縞パターンが投影されている状態での計測対象物Ｒの撮像画像において、各画素単位で実際の輝度値を求めることなく、サイン波パターンの縞パターンが投影されているとして計測対象となる第１計測タイミングｔ１での反射ＯＮ（投光状態）と第２計測タイミングｔ２での反射ＯＦＦ（消灯状態）とによって生じた２つのイベントデータの出力タイミングの時間差を、各画素単位で縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）として求める。

【0026】

このように求めた縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）は、計測対象物Ｒの三次元形状の影響を受けるため、下記の式（２）を利用して位相値θ（ｘ，ｙ）を求めることができる。
Ｉｓ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝
＋ｂ（ｘ，ｙ） ・・・（２）

【0027】

本実施形態では、図４に示すように、第１計測タイミングｔ１は、所定の縞パターンの投影開始タイミングであって、反射ＯＮ（投光状態）への切り替えタイミングに設定されている。また、第２計測タイミングｔ２は、第１計測タイミングｔ１で切り替えた反射ＯＮを反射ＯＦＦ（消灯状態）に切り替えるタイミングに設定されている。

【0028】

特に、本実施形態では、制御部１１は、単位時間Ｔ中に上述した第１計測タイミングｔ１及び第２計測タイミングｔ２での反射ＯＮ／ＯＦＦの切り替え後に再び反射ＯＮ／ＯＦＦを切り替えるように投影部２０を制御する。より具体的には、制御部１１は、図４に示すように、第２計測タイミングｔ２での反射ＯＦＦ（消灯状態）への切り替え直後となる再投光タイミングｔ３にて反射ＯＮ（投光状態）に切り替えて単位時間Ｔ終了直前となる再消灯タイミングｔ４にて反射ＯＦＦ（消灯状態）に切り替えるように投影部２０を制御する。

【0029】

ここで、単位時間Ｔ中に再び反射ＯＮ／ＯＦＦを切り替えるように投影部２０を制御する理由について、図５～図７を参照して説明する。
図５は、イベントカメラにおける輝度値と検出電圧値との関係示しており、この図５からわかるように、イベントカメラの特性上、明るい状態では、輝度変化によって生じる電位差が小さいため（図５での符号ΔＩ１，ΔＶ１参照）、大きな輝度変化でなければイベントデータが出力されない。その一方で、暗い状態では、少しの輝度変化でも電位差が生じるために（図５での符号ΔＩ２，ΔＶ２参照）、感度値が下がってイベントデータが出力されやすくなる。そうすると、暗くなるほど本来出力すべきでないイベントデータがノイズとして発生しやすくなる。

【0030】

例えば、図６（Ａ）に示すような段階的に暗くなる範囲が広がる検証用パターンを投影した面を撮像した際に出力されるイベントデータは、図６（Ｂ）からわかるように、反射ＯＦＦ（消灯状態）後に大量のノイズが発生している（図６（Ｂ）の範囲Ｄ１参照）。また、投光時間が長い（反射ＯＦＦのタイミングが遅い）ｘ画素では、反射ＯＦＦ（消灯状態）となる前にもノイズが発生している（図６（Ｂ）の範囲Ｄ２参照）。なお、上記検証用パターンは、縦方向（ｙ座標）が同じ輝度で横方向（ｘ座標）が右側ほど（ｘが大きくなるほど）段階的に投光時間が長くなることで明るくなる（反射ＯＦＦのタイミングが遅くなる）投影パターンである。図６（Ａ）及び後述する図７（Ａ）では、投光状態の範囲に対してハッチングを付している。また、図６（Ｂ）では、横軸にｘ画素（ｘ座標を基準とする画素）、縦軸にイベントデータが発生したイベント発生時間を採用しており、奥行き方向にｙ画素を採用するために同じ１つのｘ画素に対してｙ画素が異なる複数のイベント発生時間がプロットされる。

【0031】

このように大量に発生したノイズがイベントカメラで許容されるイベント量を超えて飽和してしまうと、輝度変化を正しく検出できなくなるような問題が発生してしまう。

【0032】

このため、本実施形態では、図４に示すように、第２計測タイミングｔ２での反射ＯＦＦ（消灯状態）への切り替え直後となる再投光タイミングｔ３にて反射ＯＮ（投光状態）に切り替え、単位時間Ｔ終了直前となる再消灯タイミングｔ４にて反射ＯＦＦ（消灯状態）に切り替えるようにして、単位時間Ｔ中に再び反射ＯＮ／ＯＦＦを切り替える。すなわち、イベントカメラの感度値を下げないために、単位時間Ｔ中に再投光するように所定の縞パターンを投影する。

【0033】

図７（Ｂ）は、図６（Ａ）の検証用パターンに対して上述のように再び反射ＯＮ／ＯＦＦを切り替えた検証用パターン（図７（Ａ）参照）を投影した面を撮像した際に出力されるイベントデータを示している。この図７（Ｂ）から、反射ＯＦＦ（消灯状態）後でのノイズ発生が抑制されていることがわかる。また、投光時間が長いｘ画素でも、反射ＯＦＦとなる前でのノイズ発生が抑制されていることがわかる。

【0034】

このように、単位時間Ｔ中に再び反射ＯＮ／ＯＦＦを切り替えることで、ノイズ発生を抑制することができる。その一方で、上述のような再切り替えによって生じる再投光タイミングｔ３に応じたイベントデータや再消灯タイミングｔ４に応じたイベントデータは、縞パターン情報Ｉｓの算出に利用せずに無視することができる。

【0035】

以上説明したように、本実施形態に係る三次元計測装置１０では、制御部１１は、単位時間Ｔ中に計測対象となる第１計測タイミングｔ１及び第２計測タイミングｔ２と他の複数のタイミング（再投光タイミングｔ３及び再消灯タイミングｔ４）とで上記反射のＯＮ／ＯＦＦを切り替えるように投影部２０を制御する。計測部４０は、撮像部３０の撮像画像から求められる縞パターン情報Ｉｓを利用して位相シフト法により計測対象物Ｒの三次元形状を計測する際、縞パターン情報Ｉｓを、撮像素子から上記単位時間Ｔ中にて第１計測タイミングｔ１に応じて出力されるイベントデータと第２計測タイミングｔ２に応じて出力されるイベントデータとの出力タイミングの時間差として求める。

【0036】

これにより、縞パターン情報Ｉｓを、単位時間Ｔ中にて第１計測タイミングｔ１に応じて出力されるイベントデータと第２計測タイミングｔ２に応じて出力されるイベントデータとの出力タイミングの時間差として求めることで、イベントデータを利用した計測対象物Ｒの三次元形状の計測を実施することができる。特に、単位時間Ｔ中では、第１計測タイミングｔ１及び第２計測タイミングｔ２と異なるタイミング（再投光タイミングｔ３及び再消灯タイミングｔ４）で上記反射のＯＮ／ＯＦＦが再び切り替えられるので、第１計測タイミングｔ１及び第２計測タイミングｔ２のみで上記反射のＯＮ／ＯＦＦがなされる場合と比較して、より明るい状態での撮像となるために、ノイズの発生が抑制される。したがって、イベントデータを利用した三次元計測においてノイズの発生を抑制可能な三次元計測装置を実現することができる。

【0037】

なお、単位時間Ｔ中では、第１計測タイミングｔ１及び第２計測タイミングｔ２での反射ＯＮ／ＯＦＦの切り替え後に再投光タイミングｔ３及び再消灯タイミングｔ４での反射ＯＮ／ＯＦＦの切り替えを行うだけでなく、さらに、１又は２以上反射ＯＮ／ＯＦＦを切り替えることでも、より明るい状態での撮像となることで上記効果を奏する。

【0038】

［第２実施形態］
次に、本発明の第２実施形態に係る三次元計測装置について、図面を参照して説明する。
本第２実施形態では、制御部からの投影開始信号の入力タイミングを第１計測タイミングとして利用する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0039】

本実施形態では、制御部１１は、所定の縞パターンの投影を開始するための発光開始指示信号を投影部２０に対して出力し、この発光開始指示信号が入力された投影部２０は、所定の縞パターンの投影を開始する。その際、制御部１１は、図８に示すように、上記発光開始指示信号に同期させた同期信号として投影開始信号Ｓ１を計測部４０及び撮像部３０に出力する。また、制御部１１は、所定の縞パターンの投影を終了するための発光終了指示信号を投影部２０に対して出力し、この発光終了指示信号が入力された投影部２０は、所定の縞パターンの投影を終了する。その際、制御部１１は、上記発光終了指示信号に同期させた同期信号として投影終了信号Ｓ２を計測部４０及び撮像部３０に出力する。

【0040】

撮像部３０は、制御部１１から投影開始信号Ｓ１が入力されたタイミングで、撮像を開始し、その後の投影終了信号Ｓ２が入力されたことで、撮像を終了する。このため、撮像部３０では、投影開始信号Ｓ１が入力されたタイミングで、全ての画素で正極性のイベントデータが発生して出力される。その後、撮像部３０では、投影終了信号Ｓ２が入力されるまでに、明るい画素ほど遅くなるように負極性のイベントデータが発生して出力される。なお、撮像部３０では、投影終了信号Ｓ２を使用せずに、投影開始信号Ｓ１の入力時間から指定時間が経過した後に撮像を終了してもよい。

【0041】

このため、計測部４０では、制御部１１から投影開始信号Ｓ１が入力されたタイミングで、全ての画素で正極性のイベントデータが撮像部３０から入力され、その後、画素ごとに異なるタイミングで、負極性のイベントデータが撮像部３０から入力される。

【0042】

すなわち、正極性のイベントデータの発生時間は、投影開始信号Ｓ１の入力時間に一致し、投影開始信号Ｓ１の入力時間後に負極性のイベントデータが出力される。このため、上記所定の縞パターンを投影した際の投影開始信号Ｓ１の入力時間と当該入力時間後に出力されたイベントデータの発生時間との時間差に基づいて、画素単位で縞パターン情報Ｉｓを求めることができる。

【0043】

以上説明したように、本実施形態に係る三次元計測装置１０では、制御部１１は、所定の縞パターンの投影開始タイミングにあわせて投影開始信号Ｓ１を計測部４０に対して出力し、第１計測タイミングは、投影開始タイミングであり、計測部は、制御部１１からの投影開始信号Ｓ１の入力タイミングを第１計測タイミングｔ１として縞パターン情報Ｉｓを求める。

【0044】

これにより、全ての画素について第１計測タイミングｔ１に応じて出力されるイベントデータと第２計測タイミングｔ２に応じて出力されるイベントデータとの双方の出力タイミングを取得することなく、第２計測タイミングｔ２に応じて出力されるイベントデータの出力タイミングのみを取得すればよいので、処理時間が短縮されてさらなる計測対象物Ｒの画像生成の高速化を図ることができる。

【0045】

なお、本発明は上記実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）縞パターン情報Ｉｓは、単位時間Ｔ中にて最初に出力される正極性のイベントデータと次に出力される負極性のイベントデータとの出力タイミングの時間差として求めることに限らず、例えば、図９に例示するように、単位時間Ｔ中にて最初の投光時に出力される正極性のイベントデータと次の投光時に出力される正極性のイベントデータとの出力タイミングの時間差として求めてもよい。この場合、計測対象となる第１計測タイミングｔ１と第２計測タイミングｔ２とは、図９に示すように、単位時間Ｔ中での最初の反射ＯＮのタイミングと次の反射ＯＮのタイミングとになる。すなわち、第１計測タイミング及び第２計測タイミングがどのようなタイミングであるか予め決められていることを前提に、縞パターン情報Ｉｓを、撮像素子から単位時間Ｔ中にて第１計測タイミングに応じて出力されるイベントデータと第２計測タイミングに応じて出力されるイベントデータとの出力タイミングの時間差として求めることができる。

【0046】

（２）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体となって、計測部４０が投影部２０及び撮像部３０と無線通信又は有線通信可能な情報処理端末として構成されてもよい。

【符号の説明】

【0047】

１０…三次元計測装置
１１…制御部
２０…投影部
３０…撮像部
４０…計測部
Ｒ…計測対象物
Ｔ…単位時間
ｔ１…第１計測タイミング
ｔ２…第２計測タイミング
Ｓ１…投影開始信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】