特開 2024-120305 三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120305

(43)【公開日】2024-09-05

(54)【発明の名称】三次元計測装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240829BHJP

【ＦＩ】

G01B11/25 H

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023027011

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】井上 槙人

(72)【発明者】

【氏名】三谷 勇介

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065DD06

2F065FF01

2F065FF02

2F065FF08

2F065FF09

2F065GG23

2F065HH06

2F065HH07

2F065HH12

2F065JJ03

2F065JJ08

2F065JJ26

2F065LL18

2F065PP22

2F065QQ04

2F065QQ08

2F065QQ31

(57)【要約】

【課題】イベントデータを利用することでより高速に計測対象物の三次元計測を実施可能な構成を提供する。
【解決手段】投影部２０が計測対象物Ｒに対して投影する縞パターンＰは、左右方向（第１の方向）において輝度が所定の割合で変化し上下方向（第１の方向に直交する第２の方向）において輝度が変化しない縞領域Ｐａ～Ｐｄが左右方向に沿って複数配置されるように生成される。撮像部３０は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、計測部４０は、単位時間内にて計測対象物Ｒを撮像した際に同時間帯に出力される負極性のイベントデータから特定される画素の位置に基づいて計測対象物Ｒの三次元形状を光切断法により計測する。
【選択図】図４

【特許請求の範囲】

【請求項1】

計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部と、
前記投影部を制御する制御部と、
を備える三次元計測装置であって、
前記所定の縞パターンは、第１の方向において輝度が所定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化しない縞領域が前記第１の方向に沿って複数配置されるように生成され、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、
前記計測部は、単位時間内にて前記計測対象物を撮像した際に同時間帯に出力される前記イベントデータから特定される画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測することを特徴とする三次元計測装置。

【請求項2】

前記計測部は、撮像時に出力される前記イベントデータの前記出力タイミングを縦軸として前記第１の方向の画素の位置を横軸とするように生成されるイベント波形を利用して、同時間帯に出力される前記イベントデータから特定される画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測することを特徴とする請求項１に記載の三次元計測装置。

【請求項3】

前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成され、
前記計測部は、撮像時に出力される前記負極性のイベントデータの前記出力タイミングを縦軸として前記第１の方向の画素の位置を横軸とするように生成されるイベント波形を利用して、同時間帯に出力される前記イベントデータから特定される画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測することを特徴とする請求項１に記載の三次元計測装置。

【請求項4】

前記投影部は、最初に前記所定の縞パターンを第１縞パターンとして投影した後に前記第１縞パターンでの前記所定の割合を明暗について逆にした第２縞パターンを投影し、
前記計測部は、前記第１縞パターンの撮像時に最も早く出力される前記イベントデータの前記出力タイミングを縦軸として前記第１の方向の画素の位置を横軸とするように生成される第１イベント波形と、前記第２縞パターンの撮像時に最も早く出力される前記イベントデータの出力タイミングを縦軸として前記第１の方向の画素の位置を横軸とするように生成される第２イベント波形とを求めて、前記第１イベント波形と反転した前記第２イベント波形とを合成した合成波形を利用して、同時間帯に出力される前記イベントデータから特定される画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測することを特徴とする請求項１に記載の三次元計測装置。

【請求項5】

前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力するように構成され、
前記投影部は、最初に前記所定の縞パターンを第１縞パターンとして投影した後に前記第１縞パターンでの前記所定の割合を明暗について逆にした第２縞パターンを投影し、
前記計測部は、前記第１縞パターンの撮像時に最も早く出力される前記負極性のイベントデータの前記出力タイミングを縦軸として前記第１の方向の画素の位置を横軸とするように生成される第１イベント波形と、前記第２縞パターンの撮像時に最も早く出力される前記負極性のイベントデータの出力タイミングを縦軸として前記第１の方向の画素の位置を横軸とするように生成される第２イベント波形とを求めて、前記第１イベント波形と反転した前記第２イベント波形とを合成した合成波形を利用して、同時間帯に出力される前記イベントデータから特定される画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測することを特徴とする請求項１に記載の三次元計測装置。

【請求項6】

前記投影部は、さらに、前記縞領域を他の縞領域と区別する縞番号を特定するための縞番号特定用パターンを投影し、
前記計測部は、前記縞番号特定用パターンを投影した前記計測対象物の撮像時に出力される前記イベントデータの出力タイミングに基づいて前記縞番号を特定する縞番号特定手段を備え、
前記縞番号特定手段は、非透明体及び透明体を撮像しているために２つの縞番号が特定される画素について、予め想定される前記計測対象物の三次元形状に基づいて、前記非透明体の縞番号と前記透明体の縞番号とをそれぞれ特定することを特徴とする請求項２～５のいずれか一項に記載の三次元計測装置。

【請求項7】

前記投影部は、さらに、前記縞領域を他の縞領域と区別する縞番号を特定するための第１縞番号特定用パターンと第２縞番号特定用パターンとを投影し、
前記第１縞番号特定用パターンは、前記第１の方向において輝度が前記縞領域単位で異なるように所定の段階にて変化し前記第２の方向において輝度が変化しないように生成されて投影され、
前記第２縞番号特定用パターンは、前記第１縞パターンでの前記所定の段階を明暗について逆にしたように生成されて投影され、
前記計測部は、前記第１縞番号特定用パターンを投影した前記計測対象物の撮像時に最も早く出力される前記イベントデータの出力タイミングと前記第２縞番号特定用パターンを投影した前記計測対象物の撮像時に最も早く出力される前記イベントデータの出力タイミングとに基づいて前記縞番号を特定する縞番号特定手段を備え、
前記縞番号特定手段は、非透明体及び透明体を撮像しているために２つの縞番号が特定される画素について、予め想定される三次元形状に基づいて、前記非透明体の縞番号と前記透明体の縞番号とをそれぞれ特定することを特徴とする請求項２～５のいずれか一項に記載の三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。

【背景技術】

【0002】

従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターン画像を投影することでこの縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。

【0003】

このように位相シフト法を利用して三次元計測を行う技術に関して、より高速に計測対象物の画像を生成するため、下記特許文献１に開示される三次元計測装置が知られている。この三次元計測装置では、位相シフト法用の所定の縞パターンとしてサイン波パターンが採用されるとともに、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力するイベントカメラが採用されて、イベントデータから縞パターンが投影された計測対象物の撮像画像を生成するように構成されている。イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ（イベントデータ）は出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の形状に関する情報を取得することができる。その一方で、イベントデータには位相シフト法に利用する輝度情報が含まれないため、画素単位で投光時に出力されるプラス輝度変化のイベントデータ（正極性のイベントデータ）の発生時間と消灯時に出力されるマイナス輝度変化のイベントデータ（負極性のイベントデータ）の発生時間との時間差に基づいて輝度情報（縞パターン情報）を求めることで、イベントデータを利用した計測対象物の三次元形状の計測を実施可能としている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０６７６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

また、上記特許文献１に開示される三次元計測装置では、計測対象物に対して輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向において輝度が変化しないように生成される光切断法用のパターンを投影して、その撮像時に出力されるイベントデータを利用した光切断法により計測対象物の三次元形状を計測している。具体的には、同時間帯に出力されるイベントデータから特定される画素の位置を光切断法でのライン状の光が照射された画素の位置として取り扱うことで、光切断法による三次元計測を可能としている。

【0006】

しかしながら、上述のように生成される光切断法用のパターンを投影する計測手法では、投影領域の左端から右端にかけて輝度を変化させる必要があり、左右方向の画素が多くなるほど、撮像時間、すなわち、三次元計測処理に要する処理時間が長くなるという問題がある。

【0007】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用することでより高速に計測対象物の三次元計測を実施可能な構成を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターン（Ｐ）を投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部（４０）と、
前記投影部を制御する制御部（１１）と、
を備える三次元計測装置（４０）であって、
前記所定の縞パターンは、第１の方向において輝度が所定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化しない縞領域（Ｐａ～Ｐｄ）が前記第１の方向に沿って複数配置されるように生成され、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、
前記計測部は、単位時間内にて前記計測対象物を撮像した際に同時間帯に出力される前記イベントデータから特定される画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0009】

請求項１の発明では、投影部が計測対象物に対して投影する所定の縞パターンは、第１の方向において輝度が所定の割合で変化し第１の方向に直交する第２の方向において輝度が変化しない縞領域が第１の方向に沿って複数配置されるように生成される。撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、計測部は、単位時間内にて計測対象物を撮像した際に同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物の三次元形状を光切断法により計測する。

【0010】

これにより、同時間帯に出力されるイベントデータから特定される画素の位置を繋げた輝線が縞領域ごとに得られるため、所定の縞パターンでの縞領域の数が多くなるほど、撮像時間、すなわち、三次元計測処理に要する処理時間を短縮することができる。したがって、イベントデータを利用することでより高速に計測対象物の三次元計測を実施することができる。

【0011】

請求項２の発明では、計測部は、撮像時に出力されるイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成されるイベント波形を利用して、同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物の三次元形状を光切断法により計測する。

【0012】

撮像部では、１つの画素に対して非透明体からの光と透明体からの光とが受光されることで、その１つの画素について２つのイベントデータが出力される場合がある。このような場合、各画素において最も早く出力される最初のイベントデータが非透明体によるものと透明体によるものとで混在するために、正確な三次元計測の妨げになる場合がある。

【0013】

このため、撮像時に出力されるイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするようにイベント波形を生成する。このイベント波形は、非透明体及び透明体を撮像している画素では、その画素について２つのイベントデータが出力されるため、非透明体の形状に起因する一方のイベント波形と透明体の形状に起因する他方のイベント波形とが含まれるように生成される。このため、上述のように生成されたイベント波形から分離される一方のイベント波形と他方のイベント波形とを利用することで、非透明体と透明体とを区別して三次元計測を実施することができる。

【0014】

請求項３の発明では、計測部は、撮像時に出力される負極性のイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成されるイベント波形を利用して、同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物の三次元形状を光切断法により計測する。イベント波形は、非透明体及び透明体を撮像している画素では、その画素について２つの負極性のイベントデータが出力される場合に、非透明体の形状に起因する一方のイベント波形と透明体の形状に起因する他方のイベント波形とが含まれるように生成される。このため、上述のように生成されたイベント波形から分離される一方のイベント波形と他方のイベント波形とを利用することで、非透明体と透明体とを区別して三次元計測を実施することができる。特に、撮像素子は、負極性のイベントデータが出力される直前の明るい状態では、電圧が高い状態で受光しているために、感度が比較的低くなることでノイズの影響が抑制される。このため、負極性のイベントデータの出力タイミングを利用することで、正極性のイベントデータの出力タイミングを利用する場合と比較して、三次元計測に関する計測精度を向上させることができる。

【0015】

請求項４の発明では、投影部は、最初に所定の縞パターンを第１縞パターンとして投影した後に第１縞パターンでの所定の割合を明暗について逆にした第２縞パターンを投影する。計測部は、第１縞パターンの撮像時に最も早く出力されるイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成される第１イベント波形と、第２縞パターンの撮像時に最も早く出力されるイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成される第２イベント波形とを求めて、第１イベント波形と反転した第２イベント波形とを合成した合成波形を利用して、同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物の三次元形状を光切断法により計測する。

【0016】

請求項２の発明のように、１度の撮像で画素ごとに出力される２つのイベントデータを利用する場合、最初のイベントデータが出力された後に同じ画素で同じ極性のイベントデータが連続して出力される場合等の理由で、本来出力すべきでないイベントデータがノイズとして生じて、正確な三次元計測の妨げになる場合がある。

【0017】

これに対して、上記第１イベント波形及び第２イベント波形は、それぞれ最も早いイベントデータの出力タイミングに基づいて生成されるため、上述したノイズの影響がない。そして、第２縞パターンは、第１縞パターンでの所定の割合を明暗について逆にしていることから、同じ画素位置での非透明体と透明体との明暗の大小関係が反転するため、第１縞パターンの投影時に２番目に出力されるべきイベントデータが最も早く出力されることになる。このため、第１縞パターンの投影時に生成された第１イベント波形と第２縞パターンの投影時に生成された第２イベント波形を反転した波形とを合成した合成波形は、非透明体の形状に起因する一方のイベント波形と透明体の形状に起因する他方のイベント波形とが含まれるように生成される。これにより、ノイズの影響を抑制しつつ非透明体と透明体とを区別して三次元計測を実施することができる。

【0018】

請求項５の発明では、投影部は、最初に所定の縞パターンを第１縞パターンとして投影した後に第１縞パターンでの所定の割合を明暗について逆にした第２縞パターンを投影する。計測部は、第１縞パターンの撮像時に最も早く出力される負極性のイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成される第１イベント波形と、第２縞パターンの撮像時に最も早く出力される負極性のイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成される第２イベント波形とを求めて、第１イベント波形と反転した第２イベント波形とを合成した合成波形を利用して、同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物の三次元形状を光切断法により計測する。

【0019】

上記第１イベント波形及び第２イベント波形は、それぞれ最も早い負極性のイベントデータの出力タイミングに基づいて生成されるため、上述したノイズの影響がない。そして、第２縞パターンは、第１縞パターンでの所定の割合を明暗について逆にしていることから、同じ画素位置での非透明体と透明体との明暗の大小関係が反転するため、第１縞パターンの投影時に２番目に出力されるべき負極性のイベントデータが最も早く出力されることになる。このため、第１縞パターンの投影時に生成された第１イベント波形と第２縞パターンの投影時に生成された第２イベント波形を反転した波形とを合成した合成波形は、非透明体の形状に起因する一方のイベント波形と透明体の形状に起因する他方のイベント波形とが含まれるように生成される。これにより、ノイズの影響を抑制しつつ非透明体と透明体とを区別して三次元計測を実施することができる。特に、撮像素子は、負極性のイベントデータが出力される直前の明るい状態では、電圧が高い状態で受光しているために、感度が比較的低くなることでノイズの影響が抑制される。このため、負極性のイベントデータの出力タイミングを利用することで、正極性のイベントデータの出力タイミングを利用する場合と比較して、三次元計測に関する計測精度を向上させることができる。

【0020】

請求項６の発明では、投影部は、さらに、縞領域を他の縞領域と区別する縞番号を特定するための縞番号特定用パターンを投影する。縞番号特定手段は、縞番号特定用パターンを投影した計測対象物の撮像時に出力されるイベントデータの出力タイミングに基づいて縞番号を特定するもので、非透明体及び透明体を撮像しているために２つの縞番号が特定される画素について、予め想定される計測対象物の三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定する。

【0021】

投影された縞番号特定用パターンの撮像時に、各画素において最も早く出力されるイベントデータの出力タイミングに基づいて縞番号を特定する構成では、非透明体及び透明体のために２つのイベントデータが異なるタイミングで出力されることで、誤った縞番号が特定される可能性がある。

【0022】

このため、縞番号特定手段は、縞番号特定用パターンの撮像時に画素単位で２つのイベントデータが異なるタイミングで出力される場合があることを前提に縞番号を特定することで、最も早く出力されるイベントデータの出力タイミングのみに基づいたために誤って縞番号が特定されることを抑制することができる。そして、非透明体及び透明体を撮像しているために２つの縞番号が特定される画素については、予め想定される計測対象物の三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定することで、非透明体と透明体との縞番号を取り違えることを抑制することができる。

【0023】

請求項７の発明では、投影部は、さらに、縞領域を他の縞領域と区別する縞番号を特定するための第１縞番号特定用パターンと第２縞番号特定用パターンとを投影する。第１縞番号特定用パターンは、第１の方向において輝度が縞領域単位で異なるように所定の段階にて変化し第２の方向において輝度が変化しないように生成されて投影され、第２縞番号特定用パターンは、第１縞パターンでの所定の段階を明暗について逆にしたように生成されて投影される。縞番号特定手段は、第１縞番号特定用パターンを投影した計測対象物の撮像時に最も早く出力されるイベントデータの出力タイミングと第２縞番号特定用パターンを投影した計測対象物の撮像時に最も早く出力されるイベントデータの出力タイミングとに基づいて縞番号を特定するもので、非透明体及び透明体を撮像しているために２つの縞番号が特定される画素について、予め想定される三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定する。

【0024】

請求項６の発明のように、１度の撮像で画素ごとに出力される２つのイベントデータを利用する場合、最初のイベントデータが出力された後に同じ画素で同じ極性のイベントデータが連続して出力される場合等の理由で、本来出力すべきでないイベントデータがノイズとして生じて、正確な縞番号の特定の妨げになる場合がある。

【0025】

これに対して、縞番号特定手段は、上記第１縞番号特定用パターンの撮像時に最も早く出力されるイベントデータの出力タイミングと上記第２縞番号特定用パターンの撮像時に最も早く出力されるイベントデータの出力タイミングとに基づいて縞番号を特定するため、縞番号の特定に関して上述したノイズの影響がない。そして、第２縞番号特定用パターンは、第１縞番号特定用パターンでの所定の段階を明暗について逆にしていることから、第１縞番号特定用パターンの投影時に２番目に出力されるべきイベントデータが最も早く出力されることになる。このため、ノイズの影響を抑制しつつ非透明体と透明体との縞番号を取り違えることを抑制することができる。

【図面の簡単な説明】

【0026】

【図1】第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。

【図2】図２（Ａ）は、第１実施形態に係る光切断法用の縞パターンを例示する説明図であり、図２（Ｂ）は、図２（Ａ）の縞パターンを投影するための発光時間と左右方向の画素の位置との関係を説明する説明図である。

【図3】平面に対して図２の縞パターンが投影された状態で出力されるイベントデータを利用して生成される撮像画像を説明する説明図であり、図３（Ａ）は、図２の縞パターンの投影を開始してから１０μｓ後の状態を示し、図３（Ｂ）は、２０μｓ後の状態を示し、図３（Ｃ）は、３０μｓ後の状態を示す。

【図4】球面を有する計測対象物に対して図２の縞パターンが投影された状態で出力されるイベントデータを利用して生成される撮像画像を説明する説明図であり、図４（Ａ）は、図２の縞パターンの投影を開始してから１０μｓ後の状態を示し、図４（Ｂ）は、２０μｓ後の状態を示し、図４（Ｃ）は、３０μｓ後の状態を示す。

【図5】左右方向の画素の位置を基準に、４つの縞領域からなる縞パターンを撮像した際の負極性のイベントデータの出力タイミングと１つの縞領域からなる縞パターンを撮像した際の負極性のイベントデータの出力タイミングとの比較結果を示す説明図である。

【図6】図６（Ａ）は、第１実施形態の変形例に係る光切断法用の縞パターンを例示する説明図であり、図６（Ｂ）は、図６（Ａ）の縞パターンを投影するための発光時間と左右方向の画素の位置との関係を説明する説明図である。

【図7】第２実施形態において黒板の手前に透明板がある計測対象物を計測する状態を説明する説明図である。

【図8】図８（Ａ）は、三角波の縞パターンを説明する説明図であり、図８（Ｂ）は、黒板のみを撮像した際に生成されるイベント波形を説明する説明図であり、図８（Ｃ）は、透明板のみを撮像した際に生成されるイベント波形を説明する説明図であり、図８（Ｄ）は、黒板の手前に透明板がある計測対象物を撮像した際に生成されるイベント波形を説明する説明図である。

【図9】図９（Ａ）は、透明板の存在を考慮しない場合に三次元計測に利用されるイベント波形部分を説明する説明図であり、図９（Ｂ）は、図９（Ａ）のイベント波形部分を利用した計測結果を説明する説明図である。

【図10】第３実施形態における２種類の縞パターンを説明する説明図であり、図１０（Ａ）は、第１縞パターンを示し、図１０（Ｂ）は、第２縞パターンを示す。

【図11】図１１（Ａ）は、図１０（Ａ）に示す第１縞パターンの撮像時に生成される第１イベント波形を説明する説明図であり、図１１（Ｂ）は、図１１（Ａ）の第１イベント波形を利用した計測結果を説明する説明図であり、図１１（Ｃ）は、図１０（Ｂ）に示す第２縞パターンの撮像時に生成される第２イベント波形を説明する説明図であり、図１１（Ｄ）は、図１１（Ｃ）の第２イベント波形を利用した計測結果を説明する説明図である。

【図12】第１イベント波形と反転した第２イベント波形とを合成した合成波形を説明する説明図である。

【図13】第４実施形態における縞番号特定用パターンを説明する説明図であり、図１３（Ａ）は、縞番号「１」の縞領域での発光時間を示し、図１３（Ｂ）は、縞番号「２」の縞領域での発光時間を示し、図１３（Ｃ）は、縞番号「３」の縞領域での発光時間を示し、図１３（Ｄ）は、縞番号「４」の縞領域での発光時間を示す。

【図14】黒板の手前に透明板がある計測対象物を計測した際に生成されるイベント波形と黒板の形状に起因する一方のイベント波形で特定される縞番号と透明板の形状に起因する他方のイベント波形で特定される縞番号との関係を説明する説明図である。

【図15】図１５（Ａ）は、黒板と透明板とで縞番号が同じになる場合に１つの負極性のイベントデータが出力される場合を説明する説明図であり、図１５（Ｂ）は、黒板と透明板とで縞番号が異なる場合に２つの負極性のイベントデータが出力される場合を説明する説明図である。

【図16】第５実施形態における縞番号特定用パターンを説明する説明図であり、図１６（Ａ）は、第１縞番号特定用パターンを示し、図１６（Ｂ）は、第２縞番号特定用パターンを示す。

【図17】縞パターンの生成に利用する所定の割合を説明する説明図である。

【発明を実施するための形態】

【0027】

［第１実施形態］
以下、本発明の三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置１０は、計測対象物Ｒの三次元形状を計測する装置であって、図１に示すように、全体制御を司る制御部１１と、計測対象物Ｒに対して所定の縞パターンを投影する投影部２０と、所定の縞パターンが投影された計測対象物Ｒを撮像する撮像部３０と、この撮像画像から計測対象物Ｒの三次元形状を計測する計測部４０と、を備えるように構成されている。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒの三次元形状を計測する。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と計測対象物Ｒの高速移動との間での相対的な移動を指している。三次元計測装置１０の位置が固定されている場合には相対移動は計測対象物Ｒの移動となる。

【0028】

制御部１１は、マイコンを主体として構成されるものであり、ＣＰＵ、システムバス、入出力インタフェース等を有し、ＲＯＭ，ＲＡＭ、不揮発性メモリなどからなる記憶部とともに情報処理装置を構成している。記憶部には、ロボット制御に関するプログラムに加えて、投影部２０の制御に関するプログラムや計測部４０による三次元計測結果を利用した制御処理を実行するためのプログラム等が制御部１１により実行可能に予め格納されている。

【0029】

投影部２０は、いわゆるＤＬＰプロジェクタであって、制御部１１により制御されて、光源からの光をＤＭＤ素子にて反射することで後述するように所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でＯＮ／ＯＦＦするように構成されている。このため、ミラー単位で、反射ＯＦＦから反射ＯＮになることで投光状態に切り替えられ、反射ＯＮから反射ＯＦＦになることで消灯状態に切り替えられる。すなわち、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、所定の縞パターンを投影するように機能する。このため、各ミラーをＯＮにしている時間とＯＦＦにしている時間の比率によって、反射される光の階調（明るさ）を変化させることにより、投影する画像の画像データに基づいた階調表示が可能になる。本実施形態では、投影部２０は、左上を（１、１）、右下を（ｋ、ｌ）とするｋ×ｌ画素（例えば、１１４０×９１２）に対応するミラーを備えている。

【0030】

このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間（反射ＯＮから反射ＯＦＦまでの時間）が長くなるほどその発光状態が明るくなるため、発光時間に応じて発光状態を特定することができる。例えば、ＤＭＤ素子に入射する光として、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意される場合には、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返されて、それぞれの発光時間が個別に調整されることで、カラー画像が投影可能となる。このため、制御部１１は、単位時間中での反射のＯＮ／ＯＦＦタイミングを、後述する所定の縞パターンに応じてミラーごとに設定するように機能する。

【0031】

撮像部３０は、いわゆるイベントカメラであって、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このため、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じると正極性（プラス輝度変化）のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じて負極性（マイナス輝度変化）のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物Ｒを撮像した画像データが生成可能となり、撮像部３０は、このように生成された画像データ又はイベントデータ（二次元点データ，時間，輝度変化の極性）を計測部４０に出力するように構成されている。

【0032】

計測部４０は、制御部１１により制御されて、投影部２０から予め決められた所定の縞パターンが投影されている状態の計測対象物Ｒを撮像部３０により撮像した撮像画像に基づいて、光切断法によりその計測対象物Ｒの三次元形状を計測するものである。

【0033】

このため、投影部２０は、光切断法用の所定の縞パターン（以下、縞パターンＰともいう）を投影する。本実施形態における縞パターンＰは、第１の方向において輝度が所定の割合で変化しこの第１の方向に直交する第２の方向において輝度が変化しない縞領域が第１の方向に沿って複数配置されるように生成される。具体的には、縞パターンＰは、図２（Ａ）（Ｂ）に例示するノコギリ波のように、４つの縞領域Ｐａ～Ｐｄが左右方向（第１の方向）に沿って配置され、各縞領域Ｐａ～Ｐｄは、それぞれ、左右方向（第１の方向）において輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向（第２の方向）において輝度が変化しないように生成される。図２（Ｂ）からわかるように、縞領域ごとに右側の画素ほど発光時間を長くすることで、図２（Ａ）に示す縞パターンＰが生成されて投影される。

【0034】

このように生成された縞パターンＰが投影された面を撮像した撮像部３０では、同時間帯に出力される負極性のイベントデータから特定される画素の位置を繋げた輝線が縞領域Ｐａ～Ｐｄごとに上下方向にライン状となって、単位時間内で左側から右側にそれぞれ移動するように動画的に撮像される。縞領域の左端に近づくほど暗くなるために発光終了のタイミングが左端に近づくほど早くなり、縞領域の右端に近づくほど明るくなるために発光終了のタイミングが右端に近づくほど遅くなり、上下方向では発光終了のタイミングがほぼ同じになるからである。

【0035】

具体的には、例えば、投影部２０により平面に対して縞パターンＰの投影を開始してから１０μｓ後に撮像部３０にて撮像された状態では、図３（Ａ）に示すように、各縞領域Ｐａ～Ｐｄの左端近傍にて輝線Ｓａ～Ｓｄがそれぞれ上下方向にライン状となるように撮像される。その後、例えば、２０μｓ後では、図３（Ｂ）に示すように、輝線Ｓａ～Ｓｄが右側に移動するように撮像され、３０μｓ後では、図３（Ｃ）に示すように、輝線Ｓａ～Ｓｄがさらに右側に移動するように撮像される。

【0036】

このようにライン状で移動するように撮像される輝線（負極性のイベントデータから特定される画素の位置を繋げた線）は、光切断法にて用いられるライン状のレーザ光として利用することができる。

【0037】

以下、球面を有する計測対象物Ｒに対して上述した縞パターンＰを投影した際に撮像部３０にて撮像される各輝線Ｓａ～Ｓｄを例に、その計測対象物Ｒの光切断法による三次元形状計測について、図４（Ａ）～（Ｃ）を参照して説明する。なお、図４（Ａ）～（Ｃ）では、便宜上、計測対象物Ｒを二点鎖線にて図示している。

【0038】

計測対象物Ｒに対する縞パターンＰの撮像直後の縞領域Ｐｂ，Ｐｃでは、輝線Ｓｂ，Ｓｃが、計測対象物Ｒの形状に応じて変形するように撮像される。そして、撮像開始から１０μｓ後のＰｂ，Ｐｃでは、図４（Ａ）に示すように、輝線Ｓｂ，Ｓｃが、計測対象物Ｒに対してそれぞれ右側に移動しつつその輝線Ｓｂ，Ｓｃの位置と計測対象物Ｒの形状との関係に応じて変形するように撮像される。その後も、撮像開始から２０μｓ後及び３０μｓ後のＰｂ，Ｐｃでは、図４（Ｂ）（Ｃ）に示すように、輝線Ｓｂ，Ｓｃが、計測対象物Ｒに対してさらに右側に移動しつつその輝線Ｓｂ，Ｓｃの位置と計測対象物Ｒの形状との関係に応じて変形するように撮像される。その一方で、縞領域Ｐａ，Ｐｄでは、図４（Ａ）～（Ｃ）からわかるように、輝線Ｓａ，Ｓｄは、計測対象物Ｒに重ならないために、それぞれ上下方向にライン状で右側に移動するように撮像される。

【0039】

このため、計測部４０では、上記単位時間内にて計測対象物Ｒを撮像した際に撮像される各輝線Ｓａ～Ｓｄ、すなわち、同時間帯に出力される負極性のイベントデータから特定される画素の位置に基づいて、その計測対象物Ｒの三次元形状を光切断法により計測することができる。

【0040】

以上説明したように、本実施形態に係る三次元計測装置１０では、投影部２０が計測対象物Ｒに対して投影する縞パターンＰは、左右方向（第１の方向）において輝度が所定の割合で変化し上下方向（第１の方向に直交する第２の方向）において輝度が変化しない縞領域Ｐａ～Ｐｄが左右方向に沿って複数配置されるように生成される。撮像部３０は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、計測部４０は、単位時間内にて計測対象物Ｒを撮像した際に同時間帯に出力される負極性のイベントデータから特定される画素の位置に基づいて計測対象物Ｒの三次元形状を光切断法により計測する。

【0041】

これにより、同時間帯に出力される負極性のイベントデータから特定される画素の位置を繋げた輝線（Ｓａ～Ｓｄ）が縞領域（Ｐａ～Ｐｄ）ごとに得られるため、投影部２０から投影される所定の縞パターンでの縞領域の数が多くなるほど、その縞パターンＰを撮像するための撮像時間を短縮することができる。

【0042】

例えば、左右方向に輝度が一定の割合で変化する１つの縞領域のみからなる縞パターンは、右端まで徐々に発光時間を長くするように投影される。このため、その縞パターンを平面に投影して撮像した際の負極性のイベントデータの出力タイミングは、右端ほど遅くなることから（図５の破線Ｌｂ参照）、その縞パターンを撮像するための撮像時間（図５の符号Ｔｂに相当）が長くなる。その一方で、本実施形態のように４つの縞領域Ｐａ～Ｐｄからなる縞パターンＰを撮像した際の負極性のイベントデータの出力タイミングは、４つの縞領域で同時に発生することから（図５の実線Ｌａ参照）、上記撮像時間（図５の符号Ｔａに相当）を１／４に短縮することができる。

【0043】

このように、縞パターンを撮像するための撮像時間、すなわち、三次元計測処理に要する処理時間を短縮することができる結果、イベントデータを利用することでより高速に計測対象物Ｒの三次元計測を実施することができる。

【0044】

なお、投影部２０から投影される光切断法用の所定の縞パターンは、図２（Ａ）（Ｂ）に例示するようなノコギリ波として生成されることに限らず、例えば、図６（Ａ）（Ｂ）に例示するような三角波など、第１の方向において輝度が所定の割合で変化しこの第１の方向に直交する第２の方向において輝度が変化しない縞領域が第１の方向に沿って複数配置されるように生成されてもよい。

【0045】

［第２実施形態］
次に、本発明の第２実施形態に係る三次元計測装置について、図面を参照して説明する。
本第２実施形態では、非透明体及び透明体を区別して光切断法により三次元計測する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0046】

撮像部３０では、１つの画素に対して非透明体からの光と透明体からの光とが受光されることで、その１つの画素について２つの負極性のイベントデータが出力される場合がある。このような場合、各画素において最も早く出力される最初の負極性のイベントデータが非透明体によるものと透明体によるものとで混在するために、正確な三次元計測の妨げになる場合がある。

【0047】

例えば、図７に示すように、黒板Ｒ１の手前に透明板Ｒ２がある計測対象物Ｒに対して、図８（Ａ）に示すような三角波の縞パターン（隣り合う縞の輝度変化の割合が明暗について逆にした縞パターン）Ｐを投影した状態で、上述したように計測対象物Ｒの三次元形状を光切断法により計測する場合を想定する。なお、黒板Ｒ１は、「非透明体」の一例に相当し、透明板Ｒ２は、「透明体」の一例に相当し得る。

【0048】

この場合、黒板Ｒ１のみを撮像していると、その撮像時に出力される負極性のイベントデータの出力タイミングを縦軸として左右方向（第１の方向）の画素の位置を横軸とする波形（以下、イベント波形ともいう）は、図８（Ｂ）に例示するように生成される。また、透明板Ｒ２のみを撮像していると、イベント波形は、図８（Ｃ）に例示するように生成される。そうすると、黒板Ｒ１の手前に透明板Ｒ２がある計測対象物Ｒを撮像した際に生成されるイベント波形は、図８（Ｄ）のようになる。なお、図８及び後述する図９では、黒板Ｒ１の形状に起因して生成されるイベント波形を実線にて示し、透明板Ｒ２の形状に起因して生成されるイベント波形を破線にて示している。

【0049】

透明板Ｒ２の存在を考慮しない場合、各画素において最も早く出力される最初の負極性のイベントデータを利用して三次元計測を行うことになる。そうすると、図９（Ａ）に示す太線部分の黒板Ｒ１に関するイベント波形部分と透明板Ｒ２に関するイベント波形部分とを利用して三次元計測を行うことになるため、図７のように計測されるべき黒板Ｒ１及び透明板Ｒ２が、図９（Ｂ）に示すように、黒板Ｒ１の一部と透明板Ｒ２の一部とが欠損するように計測されてしまう。

【0050】

このため、本実施形態における計測部４０は、透明体が非透明体の手前にある計測対象物Ｒを計測している場合を想定して、上述のように生成されるイベント波形を利用して、同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物Ｒの三次元形状を光切断法により計測する。

【0051】

具体的には、計測部４０は、撮像時に出力される負極性のイベントデータの出力タイミングを縦軸として左右方向（第１の方向）の画素の位置を横軸とするようにイベント波形を生成する。このイベント波形は、非透明体及び透明体を撮像している画素では、その画素について２つの負極性のイベントデータが出力されるため、図８（Ｄ）に例示するように、非透明体の形状に起因する一方のイベント波形（図８（Ｄ）の実線波形参照）と透明体の形状に起因する他方のイベント波形（図８（Ｄ）の破線波形参照）とが含まれるように生成される。非透明体と透明体とは離れているため、一方のイベント波形と他方のイベント波形とを容易に分離することができる。このため、上述のように生成されたイベント波形から分離される一方のイベント波形と他方のイベント波形とを利用することで、非透明体と透明体とを区別して三次元計測を実施することができる。特に、一般的に、撮像素子は、負極性のイベントデータが出力される直前の明るい状態では、電圧が高い状態で受光しているために、感度が比較的低くなることでノイズの影響が抑制される。このため、負極性のイベントデータの出力タイミングを利用することで、正極性のイベントデータの出力タイミングを利用する場合と比較して、三次元計測に関する計測精度を向上させることができる。

【0052】

［第３実施形態］
次に、本発明の第３実施形態に係る三次元計測装置について、図面を参照して説明する。
本第３実施形態では、２種類の縞パターンを投影することを前提に非透明体及び透明体を区別して光切断法により三次元計測する点が、上記第２実施形態と主に異なる。したがって、第２実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0053】

上記第２実施形態のように、１度の撮像で画素ごとに出力される２つの負極性のイベントデータを利用する場合、最初の負極性のイベントデータが出力された後に同じ画素で同じ極性のイベントデータが連続して出力される場合等の理由で、本来出力すべきでないイベントデータがノイズとして生じて、正確な三次元計測の妨げになる場合がある。

【0054】

このため、本実施形態では、投影部２０は、最初に所定の縞パターンを第１縞パターンＰ１として投影した後に第１縞パターンＰ１での所定の割合を明暗について逆にした第２縞パターンＰ２を投影する。具体的には、例えば、図１０（Ａ）に示すように生成される第１縞パターンＰ１を投影した後に、図１０（Ｂ）に示すように生成される第２縞パターンＰ２を投影する。図１０（Ａ）（Ｂ）に示すように、第２縞パターンＰ２の縞Ｐ２ａ～Ｐ２ｈは、第１縞パターンＰ１の縞Ｐ１ａ～Ｐ１ｈをそれぞれ左右反転することで、その左右方向（第１の方向）での輝度の変化割合を明暗について逆にするように生成される。

【0055】

そして、計測部４０は、第１縞パターンＰ１の撮像時に最も早く出力される負極性のイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成される第１イベント波形Ｗ１を求める。続いて、計測部４０は、第２縞パターンＰ２の撮像時に最も早く出力される負極性のイベントデータの出力タイミングを縦軸として第１の方向の画素の位置を横軸とするように生成される第２イベント波形Ｗ２とを求める。そして、計測部４０は、上述のように求めた第１イベント波形Ｗ１と反転した第２イベント波形Ｗ２とを合成した合成波形Ｗを利用して、同時間帯に出力されるイベントデータから特定される画素の位置に基づいて計測対象物Ｒの三次元形状を光切断法により計測する。

【0056】

具体的には、例えば、図７に示すような黒板Ｒ１の手前に透明板Ｒ２がある計測対象物Ｒを撮像する場合、図１０（Ａ）に示す第１縞パターンＰ１の撮像時での第１イベント波形Ｗ１は、図１１（Ａ）に示すように生成される。この第１イベント波形Ｗ１は、図１１（Ｂ）に示すように、黒板Ｒ１の一部の形状と透明板Ｒ２の一部の形状とに応じて生成される。

【0057】

その後、図１０（Ｂ）に示す第２縞パターンＰ２の撮像時での第２イベント波形Ｗ２は、図１１（Ｃ）に示すように生成される。この第２イベント波形Ｗ２は、図１１（Ｄ）に示すように、黒板Ｒ１の残部の形状と透明板Ｒ２の残部の形状とに応じて生成される。

【0058】

第１イベント波形Ｗ１及び第２イベント波形Ｗ２は、それぞれ最も早い負極性のイベントデータの出力タイミングに基づいて生成されるため、上述したノイズの影響がない。そして、第２縞パターンＰ２は、第１縞パターンＰ１での所定の割合を明暗について逆にしていることから、同じ画素位置での黒板Ｒ１と透明板Ｒ２との明暗（時間）の大小関係が反転するため、第１縞パターンＰ１の投影時に２番目に出力されるべき負極性のイベントデータが最も早く出力されることになる。

【0059】

このため、図１２に示すように、第１縞パターンＰ１の投影時に生成された第１イベント波形Ｗ１と第２縞パターンＰ２の投影時に生成された第２イベント波形Ｗ２を反転した波形とを合成した合成波形Ｗは、非透明体の形状に起因する一方のイベント波形と透明体の形状に起因する他方のイベント波形とが含まれるように生成される。これにより、上述のように生成されたイベント波形から分離される一方のイベント波形と他方のイベント波形とを利用することで、ノイズの影響を抑制しつつ非透明体と透明体とを区別して三次元計測を実施することができる。なお、ノイズが発生しない場合には、図１２にて示す合成波形Ｗと図８（Ｄ）にて示すイベント波形とは実質的に同じ波形となる。

【0060】

［第４実施形態］
次に、本発明の第４実施形態に係る三次元計測装置について、図面を参照して説明する。
本第４実施形態では、非透明体の縞番号と透明体の縞番号とをそれぞれ正確に特定しつつ非透明体及び透明体を区別して光切断法により三次元計測する点が、上記第２実施形態と主に異なる。したがって、第２実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0061】

複数の縞領域からなる縞パターンを撮像する場合、どの縞領域を撮像しているか画素ごとに特定する必要があることから、縞領域を他の縞領域と区別する縞番号を特定するため、投影部２０は、上記縞パターンを投影して撮像した計測対象物Ｒに対して、さらに、縞番号特定用パターンを投影する。計測部４０は、縞番号特定用パターンを投影した計測対象物Ｒの撮像時に負極性のイベントデータが出力される出力タイミングに基づいて、縞番号を特定するための縞番号特定処理を行う。なお、縞番号特定処理を行う計測部４０は、「縞番号特定手段」の一例に相当し得る。

【0062】

具体的には、例えば、左から縞番号「１」～「４」の４つの縞領域がある縞パターン用の縞番号特定用パターンは、縞番号「１」の縞領域では、図１３（Ａ）に例示するように、投影開始から１ｍｓで発光時間を終了し、縞番号「２」の縞領域では、図１３（Ｂ）に例示するように、投影開始から２ｍｓで発光時間を終了し、縞番号「３」の縞領域では、図１３（Ｃ）に例示するように、投影開始から３ｍｓで発光時間を終了し、縞番号「４」の縞領域では、図１３（Ｄ）に例示するように、投影終了まで発光時間を継続するように投影される。これにより、計測部４０にてなされる縞番号特定処理では、例えば、縞番号特定用パターンの投影開始から１ｍｓ後に最初の負極性のイベントデータが出力される画素の縞番号は、「１」であると特定でき、投影開始から２ｍｓ後に最初に負極性のイベントデータが出力される画素の縞番号は、「２」であると特定することができる。なお、各縞領域に対応する発光時間は、計測対象物Ｒ等や計測環境等にあわせて、適宜変更することができる。

【0063】

しかしながら、投影された縞番号特定用パターンの撮像時に、上述のように各画素において最も早く出力される負極性のイベントデータの出力タイミングに基づいて縞番号を特定する構成では、非透明体及び透明体のために２つの負極性のイベントデータが異なるタイミングで出力されることで、誤った縞番号が特定される可能性がある。

【0064】

このため、本実施形態における縞番号特定処理では、縞番号特定用パターンの撮像時に画素単位で２つの負極性のイベントデータが異なるタイミングで出力される場合があることを前提に縞番号を特定する。

【0065】

具体的には、例えば、黒板Ｒ１の手前に透明板Ｒ２がある計測対象物Ｒの計測時に、４縞の三角波の縞パターンが投影されることで、黒板Ｒ１の形状に起因する一方のイベント波形（図１４の実線波形参照）と透明板Ｒ２の形状に起因する他方のイベント波形（図１４の破線波形参照）とが含まれるようにイベント波形が生成された際に、上述した縞番号特定用パターン（図１３（Ａ）～（Ｄ）参照）が投影される場合を想定する。

【0066】

この場合、図１４からわかるように、画素Ｇ１では、黒板Ｒ１と透明板Ｒ２とで縞番号が同じ「１」となるため、図１５（Ａ）に示すように、縞番号特定用パターンの投影開始から１ｍｓ後に輝度変化が生じたことで、正極性のイベントデータが発生してから１ｍｓ後に最初の負極性のイベントデータが出力される。このように、縞番号特定用パターンの撮像時に負極性のイベントデータが１つ出力される場合には、その画素について１つの縞番号が特定されるため、黒板Ｒ１と透明板Ｒ２とで誤った縞番号が特定されることもない。

【0067】

その一方で、画素Ｇ２では、黒板Ｒ１の縞番号が「１」であり、透明板Ｒ２の縞番号が「２」であるため、図１５（Ｂ）に示すように、投影開始から１ｍｓ後に１回目の輝度変化が生じたことで１回目の負極性のイベントデータが出力された後、投影開始から２ｍｓ後に２回目の輝度変化が生じたことで２回目の負極性のイベントデータが出力される。このように、縞番号特定用パターンの撮像時に１つの画素について２つの負極性のイベントデータが異なるタイミングで出力される場合には、２つの縞番号「１」「２」が候補として特定される。このように、２つの縞番号が候補として特定される場合には、予め想定される計測対象物Ｒの三次元形状に基づいて、黒板Ｒ１の縞番号と透明板Ｒ２の縞番号とをそれぞれ特定する。なお、計測対象物Ｒの三次元形状に関する情報は、予め、制御部１１の記憶部等に記憶することができる。

【0068】

すなわち、黒板Ｒ１の縞番号が「１」であり透明板Ｒ２の縞番号が「２」である場合の計測結果と黒板Ｒ１の縞番号が「２」であり透明板Ｒ２の縞番号が「１」である場合の計測結果とで、どちらの計測結果が予め想定される計測対象物Ｒの三次元形状に近いか判定する。上述した例であれば、黒板Ｒ１の縞番号が「１」であり透明板Ｒ２の縞番号が「２」である場合の計測結果が計測対象物Ｒの三次元形状により近くなると判定されて、黒板Ｒ１の縞番号が「１」、透明板Ｒ２の縞番号が「２」と特定される。

【0069】

このように、縞番号特定処理では、縞番号特定用パターンの撮像時に画素単位で２つの負極性のイベントデータが異なるタイミングで出力される場合があることを前提に縞番号を特定することで、最も早く出力される負極性のイベントデータの出力タイミングのみに基づいたために誤って縞番号が特定されることを抑制することができる。そして、非透明体及び透明体を撮像しているために２つの縞番号が特定される画素については、予め想定される計測対象物の三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定することで、非透明体と透明体との縞番号を取り違えることを抑制することができる。

【0070】

［第５実施形態］
次に、本発明の第５実施形態に係る三次元計測装置について、図面を参照して説明する。
本第５実施形態では、２種類の縞番号特定用パターンを投影することを前提に非透明体の縞番号と透明体の縞番号とをそれぞれ正確に特定しつつ非透明体及び透明体を区別して光切断法により三次元計測する点が、上記第４実施形態と主に異なる。したがって、第４実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0071】

上記第４実施形態のように、１度の撮像で画素ごとに出力される２つの負極性のイベントデータを利用する場合、最初の負極性のイベントデータが出力された後に同じ画素で同じ極性のイベントデータが連続して出力される場合等の理由で、本来出力すべきでないイベントデータがノイズとして生じて、正確な縞番号の特定の妨げになる場合がある。

【0072】

このため、本実施形態では、投影部２０は、さらに、縞領域を他の縞領域と区別する縞番号を特定するための第１縞番号特定用パターンＰＰ１と第２縞番号特定用パターンＰＰ２とを投影する。第１縞番号特定用パターンＰＰ１は、左右方向（第１の方向）において輝度が縞領域単位で異なるように所定の段階にて変化し上下方向（第２の方向）において輝度が変化しないように生成されて投影される。そして、第２縞番号特定用パターンＰＰ２は、第１縞番号特定用パターンＰＰ１での所定の段階を明暗について逆にしたように生成されて投影される。

【0073】

具体的には、例えば、第１縞番号特定用パターンＰＰ１が、図１３（Ａ）～（Ｄ）のように発光時間が制御されることから、図１６（Ａ）のように生成されて投影される場合には、第２縞番号特定用パターンＰＰ２は、図１６（Ｂ）のように生成されて投影される。すなわち、第１縞番号特定用パターンＰＰ１が、縞領域ＰＰ１ａ、縞領域ＰＰ１ｂ、縞領域ＰＰ１ｃの順で暗くなるように生成されて投影される場合には、第２縞番号特定用パターンＰＰ２が、縞領域ＰＰ１ｄに相当する縞領域ＰＰ２ｄ、縞領域ＰＰ１ｃに相当する縞領域ＰＰ２ｃ、縞領域ＰＰ１ｂに相当する縞領域ＰＰ２ｂの順で暗くなるように生成されて投影される。

【0074】

そして、計測部４０にてなされる縞番号特定処理では、第１縞番号特定用パターンＰＰ１を投影した計測対象物Ｒの撮像時に最も早く出力される負極性のイベントデータの出力タイミングと第２縞番号特定用パターンＰＰ２を投影した計測対象物の撮像時に最も早く出力される負極性のイベントデータの出力タイミングとに基づいて縞番号を特定する。

【0075】

具体的には、画素ごとに、第１縞番号特定用パターンＰＰ１の投影時での負極性のイベントデータの出力タイミングから特定される縞番号と、第２縞番号特定用パターンＰＰ２の投影時での負極性のイベントデータの出力タイミングから特定される縞番号とを、それぞれ特定する。その際、第１縞番号特定用パターンＰＰ１の投影時では、左側から縞番号「１」「２」「３」「４」の順で縞番号が特定され、第２縞番号特定用パターンＰＰ２の投影時では、右側から縞番号「４」「３」「２」「１」の順で縞番号が特定される。そして、それぞれ特定される縞番号が一致する場合には、その縞番号が当該画素の縞番号として特定される。

【0076】

その一方で、それぞれ特定される縞番号が異なる画素がある場合には、透明体が非透明体の手前にある計測対象物Ｒを計測しているとして、上記第４実施形態と同様に、それら２つの縞番号を候補として特定する。例えば、上述した画素Ｇ２では、第１縞番号特定用パターンＰＰ１の投影時に縞番号「１」が特定されて、第２縞番号特定用パターンＰＰ２の投影時に縞番号「２」が特定される。第１縞番号特定用パターンＰＰ１の投影時と第２縞番号特定用パターンＰＰ２の投影時とで、特定される縞番号の順が左側からと右側からとで逆になるからである。

【0077】

このように、２つの縞番号が候補として特定される場合には、上述したように、予め想定される計測対象物Ｒの三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定する。

【0078】

第１縞番号特定用パターンＰＰ１の撮像時に最も早く出力される負極性のイベントデータの出力タイミングと第２縞番号特定用パターンＰＰ２の撮像時に最も早く出力される負極性のイベントデータの出力タイミングとに基づいて縞番号を特定するため、縞番号の特定に関して上述したノイズの影響がない。そして、第２縞番号特定用パターンＰＰ２は、第１縞番号特定用パターンＰＰ１での所定の段階を明暗について逆にしていることから、第１縞番号特定用パターンＰＰ１の投影時に２番目に出力されるべき負極性のイベントデータが最も早く出力されることになる。このため、ノイズの影響を抑制しつつ非透明体と透明体との縞番号を取り違えることを抑制することができる。

【0079】

なお、本発明は上記各実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）上述した縞パターンＰを構成する縞領域は、４つ設けられることに限らず、２つ又は３つ設けられてもよいし、５つ以上設けられてもよい。同様に、上述した第１縞パターンＰ１及び第２縞パターンＰ２を構成する縞領域は、８つ設けられることに限らず、２つ～７つ設けられてもよいし、９つ以上設けられてもよい。この場合、第１縞番号特定用パターンＰＰ１及び第２縞番号特定用パターンＰＰ２などの縞番号特定用パターンは、同数の縞領域を有するように生成することができる。

【0080】

（２）三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。

【0081】

（３）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体となって、計測部４０が投影部２０及び撮像部３０と無線通信又は有線通信可能な情報処理端末として構成されてもよい。

【0082】

（４）上記各実施形態では、負極性のイベントデータの出力タイミングを利用して計測対象物Ｒの三次元計測を実施しているが、これに限らず、投影部２０から投影される所定の縞パターンの輝度変化を適切に調整することを前提に、正極性のイベントデータの出力タイミングを利用して計測対象物Ｒの三次元計測を実施してもよい。

【0083】

（５）上記各実施形態において投影部２０から投影される縞パターンは、図２及び図６等に例示するように生成されることに限らず、第１の方向において輝度が所定の割合で変化しこの第１の方向に直交する第２の方向において輝度が変化しない縞領域が第１の方向に沿って複数配置されるように生成されればよい。また、上記所定の割合は、予め設定されていることを前提に、縞領域ごとにことなってもよい。具体的には、上記所定の割合は、全ての画素で発光時間が設定されて、かつ、２以上の画素で同じ発光時間とならないことを前提に、例えば、図１７に例示するように、縞番号「１」（１周期目）で、最初の期間で直線的に増加して次の期間で対数的に増加して最後の期間で直線的に減少し、縞番号「２」（２周期目）で直線的に減少するように設定されてもよい。

【符号の説明】

【0084】

１０…三次元計測装置
１１…制御部
２０…投影部
３０…撮像部
４０…計測部（縞番号特定手段）
Ｐ…縞パターン
Ｐ１…第１縞パターン
Ｐ２…第２縞パターン
Ｐａ～Ｐｄ，Ｐ１ａ～Ｐ１ｈ，Ｐ２ａ～Ｐ２ｈ…縞領域
ＰＰ１…第１縞番号特定用パターン
ＰＰ２…第２縞番号特定用パターン
Ｒ…計測対象物
Ｒ１…黒板（非透明体）
Ｒ２…透明板（透明体）
Ｓａ～Ｓｄ…輝線
Ｗ…合成イベント波形
Ｗ１…第１イベント波形
Ｗ２…第２イベント波形

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】