特許 7401024 三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】三次元計測装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20231212BHJP

【ＦＩ】

G01B11/25 H

【請求項の数】 7

(21)【出願番号】P 2023510498

(86)(22)【出願日】2022-01-17

(86)【国際出願番号】 JP2022001389

(87)【国際公開番号】W WO2022209151

(87)【国際公開日】2022-10-06

【審査請求日】2023-02-22

(31)【優先権主張番号】P 2021056528

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】三谷 勇介

【審査官】櫻井 仁

(56)【参考文献】

【文献】国際公開第２０２１／０８５４１９（ＷＯ，Ａ１）

【文献】特開２０２０－０２０６４０（ＪＰ，Ａ）

【文献】特開２０１４－２０２５４０（ＪＰ，Ａ）

【文献】国際公開第２０１４／０１０２９３（ＷＯ，Ａ１）

【文献】欧州特許出願公開第２８８７００９（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記投影部は、発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を異ならせるように前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力と他方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする三次元計測装置。

【請求項2】

計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記投影部は、計測開始のタイミングである発光開始及び消灯開始のいずれ
かから計測終了のタイミングである発光開始及び消灯開始のいずれまでの時間を異ならせるように前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合のプラス輝度変化のイベントデータと、暗くなる輝度変化の場合のマイナス輝度変化のイベントデータとの少なくともいずれかを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での計測開始のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力と計測終了のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする三次元計測装置。

【請求項3】

計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記投影部は、発光及び消灯の少なくともいずれかの短パルスを利用して前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの出力回数に基づいて、前記縞パターン情報を求めることを特徴とする三次元計測装置。

【請求項4】

前記投影部は、前記短パルスの回数を利用して前記所定の縞パターンを投影する状態と単パルスの発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を利用して前記所定の縞パターンを投影する状態とを切り替え可能に構成され、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
前記投影部は、前記短パルスを利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの出力回数に基づいて、前記縞パターン情報を求め、
前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
前記投影部は、前記単パルスの発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力及び前記マイナス輝度変化のイベントデータの出力のいずれか一方と他方との時間差に基づいて、前記縞パターン情報を求めることを特徴とする請求項３に記載の三次元計測装置。

【請求項5】

前記投影部は、前記短パルスの回数を利用して前記所定の縞パターンを投影する状態と計測開始のタイミングである発光開始及び消灯開始のいずれかから計測終了のタイミングである発光開始及び消灯開始のいずれかまでの時間を異ならせるようにして前記所定の縞パターンを投影する状態とを切り替え可能に構成され、
前記撮像素子は、明るくなる輝度変化の場合のプラス輝度変化イベントデータと暗くなる輝度変化の場合のマイナス輝度変化イベントデータとの少なくともいずれかを出力するように構成され、
前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
前記投影部は、前記短パルスを利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの出力回数に基づいて、前記縞パターン情報を求め、
前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
前記投影部は、前記計測開始のタイミングから前記計測終了のタイミングまでの時間を異ならせるようにして前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化イベントデータの出力及び前記マイナス輝度変化イベントデータの出力のいずれかによる前記計測開始のタイミングと前記プラス輝度変化イベントデータの出力及び前記マイナス輝度変化イベントデータの出力のいずれかによる前記計測終了のタイミングとの時間差に基づいて、前記縞パターン情報を求めることを特徴とする請求項３に記載の三次元計測装置。

【請求項6】

前記縞パターンは縞番号の異なる複数の縞パターンであり、
前記投影部の、発光開始タイミング及び消灯開始タイミングのいずれかは、複数の縞パターンで互いに異なることを特徴とする請求項１乃至請求項５のいずれかに記載の三次元計測装置。

【請求項7】

前記縞パターンは縞番号の異なる複数の縞パターンであり、
前記投影部の、発光終了タイミング及び消灯終了タイミングのいずれかは、複数の縞パターンで互いに異なることを特徴とする請求項１乃至請求項５のいずれかに記載の三次元計測装置。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

この出願は、２０２１年３月３０日に日本に出願された特許出願第２０２１－５６５２８号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。

【技術分野】

【0002】

本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。

【背景技術】

【0003】

従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターン画像を投影することでこの縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。このように位相シフト法を利用して三次元計測を行う技術として、下記特許文献１に開示されている三次元計測装置が知られている。この三次元計測装置は、各位相の縞を異なる波長の光に割り当て、これを合成した縞パターン画像を計測対象物に投影し、この縞パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から各色成分を抽出して１回の撮影で位相算出を行うことで、三次元形状の計測に要する時間の短縮を図っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第３７２３０５７号公報

【文献】米国特許出願公開第２０１６／０２２７１３５号明細書

【発明の概要】

【0005】

ところで、より高速に計測対象物の画像を生成する技術として、上記特許文献２に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ（イベントデータ）は出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。

【0006】

しかしながら、イベントカメラから出力されるイベントデータを用いて生成された計測対象物の撮像画像では、その撮像画像から画素単位での輝度変化の有無を把握できても輝度値を直接計測することができない。このため、輝度値を利用する位相シフト法などの三次元計測方法では、計測対象物の三次元形状の計測を実施できないという問題がある。

【0007】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用して計測対象物の三次元形状の計測を実施可能な構成を提供することにある。

【0008】

上記目的を達成するため、請求の範囲の請求項１に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターンを投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
を備える三次元計測装置（１０）であって、
前記投影部は、発光開始タイミング及び消灯開始タイミングのいずれかから発光終了及び消灯終了のいずれかまでの時間を異ならせるようにして前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化と前記マイナス輝度変化とのいずれか一方のイベントデータの出力と他方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする。

【0009】

請求項２に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターンを投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
を備える三次元計測装置（１０）であって、
前記投影部は、計測開始のタイミングである発光開始及び消灯開始のいずれ
かから計測終了のタイミングである発光開始及び消灯開始のいずれまでの時間を異ならせるように前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合のプラス輝度変化のイベントデータと、暗くなる輝度変化の場合のマイナス輝度変化のイベントデータとの少なくともいずれかを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での計測開始のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力と計測終了のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする。

【0010】

請求項３に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターンを投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
を備える三次元計測装置（１０）であって、
前記投影部は、短パルス発光を利用して前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて、前記縞パターン情報を求めることを特徴とする。

【0011】

なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0012】

請求項１の発明では、投影部は、計測対象物に対して、発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を異ならせるようにして所定の縞パターンを投影する。撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。この撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成される。そして、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて、縞パターン情報を求める。

【0013】

投影部では、位相シフト法用の所定の縞パターンを投影するために、画素単位で発光若しくは消灯の時間が個別に調整されることになる。その一方で、撮像部では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。すなわち、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に応じてその画素での縞パターンを求めることができる。
ここで、縞パターンが複数ある場合、縞番号ごとに発光開始タイミング若しくは消灯開始タイミングを異ならせるように所定の縞パターンを投影するようにしてもよい。この場合には、縞パターンの値を求めた画素が属する縞パターンの縞番号を、上記時間差を構成する最初のイベントデータの出力タイミングから特定することができる。このため、縞パターンの値を求めた画素が属する縞番号を特定するために複数種類のグレイコードパターンを別途投影する必要もないので、高速化の阻害要因となるグレイコードパターンの投影時間を削減することができる。したがって、縞番号を特定するためのグレイコードパターンを投影することなく、イベントデータを利用して計測対象物の三次元形状を計測することができる。縞番号毎にタイミングを揃えるのに、発光（もしくは消灯）の開始タイミングではなく、終了タイミングを揃えるようにしても、縞番号を特定することができる。

【0014】

請求項１の発明では、計測部は撮像画像における画素単位でのプラス若しくはマイナス輝度変化のイベントデータの出力とマイナス若しくはプラス輝度変化のイベントデータの出力との時間差に基づいて、縞パターン情報を求めていた。それに対し、請求項２の発明では、計測部は撮像画像における画素単位での計測開始のタイミングであるプラス輝度変化及びマイナス輝度変化のいずれかのイベントデータの出力と計測終了のタイミングであるプラス輝度変化及びマイナス輝度変化のいずれかのイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めている。いずれも、時間差で縞パターンを求めることでは共通しているが、請求項１の発明では計測開始のタイミングから計測終了のタイミングまで点灯若しくは消灯が連続している。それに対し、請求項２の発明は、計測開始のタイミングと計測終了のタイミングのみで点灯若しくは消灯を行うようにしている。
請求項３の発明では、投影部は、計測対象物に対して、発光若しくは消灯の少なくともいずれかの短パルスを利用して所定の縞パターンを投影する。撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。そして、計測部は、撮像画像における画素単位でのイベントデータの出力回数に基づいて、縞パターンの情報を求める。

【0015】

投影部では、消費電力軽減等を目的として、画素単位での発光や消灯の状態をそれぞれ短パルスによって実現することができる。このような場合には、撮像素子の画素単位において、１回の短パルスに応じてプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力されることから、短パルス発光の発光や消灯の回数、すなわち、イベントデータの出力回数に基づいて、その発光状態の縞パターンの値を求めることができる。これにより、縞パターンを特定することができる。
そして、縞パターンが複数ある場合には、縞番号ごとに発光開始タイミング若しくは消灯開始タイミングを異ならせるように所定の縞パターンを投影してもよい。その場合には、縞パターンを求めた画素が属する縞番号を、最初のイベントデータの出力タイミングから特定することができる。このため、縞パターンを求めた画素が属する縞番号を特定するために複数種類のグレイコードパターンを別途投影する必要もないので、高速化の阻害要因となるグレイコードパターンの投影時間を削減することができる。したがって、縞番号を特定するためのグレイコードパターンを投影することなく、イベントデータを利用して計測対象物の三次元形状を計測することができる。なお、縞番号の特定は、発光（もしくは消灯）の開始タイミングに代えて終了タイミングを揃えるようにしても可能である。

【0016】

請求項４の発明では、判定部により、前回の計測結果とより過去の計測結果との差に基づいて撮像部に対する計測対象物の相対距離変化が所定距離以上であるか否かについて判定される。そして、判定部により上記相対距離変化が上記所定距離未満であると判定されると、投影部は、短パルスを利用して所定の縞パターンを投影し、計測部は、撮像画像における画素単位でのイベントデータの出力回数に基づいて、縞パターンの情報を求める。その一方で、判定部により上記相対距離変化が上記所定距離以上であると判定されると、投影部は、単パルスを利用して所定の縞パターンを投影し、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との一方から他方までの時間差に基づいて、縞パターン情報を求める。

【0017】

これにより、撮像部に対する計測対象物の相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成とを切り替えることができる。

【図面の簡単な説明】

【0018】

【図1】第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。

【図2】所定の縞パターンが計測対象物に投影された状態を説明する説明図である。

【図3】第１実施形態において、イベントデータの出力開始タイミングと縞番号との関係を説明する説明図であり、（Ａ）及び（Ｂ）は、１縞目のイベントデータの出力状態を示し、（Ｃ）は、２縞目のイベントデータの出力状態を示し、（Ｄ）は、５縞目のイベントデータの出力状態を示す。

【図4】本実施形態によるイベントデータの出力タイミングの分散効果を説明する説明図である。

【図5】第３実施形態において、イベントデータの出力回数と縞番号との関係を説明する説明図であり、（Ａ）及び（Ｂ）は、１縞目のイベントデータの出力状態を示し、（Ｃ）は、２縞目のイベントデータの出力状態を示し、（Ｄ）は、５縞目のイベントデータの出力状態を示す。

【図6】位相シフト法による三次元測定を説明する図である。

【図7】位相シフト法によるサイン波パターンを説明する図である。

【図8】第１実施形態におけるサイン波パターン作成を説明する図である。

【図9】第１実施形態での縞パターンを示すブロック図である。

【図10】第２実施形態での縞パターンを示すブロック図である。

【図11】第３実施形態での縞パターンを示すブロック図である。

【図12】縞パターンの他の例を示す図である。

【図13】縞パターンの更に他の例を示す図である。

【図14】第１実施形態において、縞番号の特定を出力開始タイミングに代えて出力終了タイミングを揃えることで行うことを説明する説明図である。

【図15】第３実施形態において、縞番号の特定を出力開始タイミングに代えて出力終了タイミングを揃えることで行うことを説明する説明図である。

【発明を実施するための形態】

【0019】

［第１実施形態］
以下、本発明の三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。

【0020】

本実施形態に係る三次元計測装置１０は、計測対象物Ｒの三次元形状を計測する装置であって、図１及び図２に示すように、計測対象物Ｒに対して位相シフト法用の所定の縞パターンを投影する投影部２０と、所定の縞パターンが投影された計測対象物を撮像する撮像部３０と、この撮像画像から計測対象物の三次元形状を計測する計測部４０と、を備えるように構成されている。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒの三次元形状を計測する。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と、対象物Ｒの高速移動との間での相対的な移動を指している。三次元計測装置１０が固定されている場合には相対移動は対象物の移動となる。

【0021】

なお、図２では、便宜上、１３縞目まである所定の縞パターンを簡略化して図示している。より具体的には、縞パターンは後述のようにサイン波パターンで表わされるので、縞パターンの白色と黒色は同様の幅となるが、図２では黒色部分の幅を小さくして線で表わしている。かつ、縞パターンの数も実施形態では１３以上であるが、１３に省略している。

【0022】

投影部２０は、いわゆるＤＬＰプロジェクタであって、光源からの光をＤＭＤ素子にて反射することで後述する所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でオン／オフするように構成されている。このため、各ミラーをオンにしている時間とオフにしている時間の比率によって、反射される光を変化させることにより、投影する画像の画像データに基づいた表示が可能になる。このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間に応じて発光状態を特定できる。

【0023】

画素を、図１において左上を（１、１）、右下を（ｋ、ｌ）とした場合、ｋ×ｌ画素に対応するミラーを備えている。例えば、ｋが１１４０、ｌが９１２である。

【0024】

一般的に、位相シフト法用の縞パターン（第１の方向にて輝度が周期的に変化してこの第１の方向に直交する第２の方向にて輝度が変化しないパターン）として、下記の式（１）の輝度値Ｉ（ｘ，ｙ，ｎ）から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をＮとしたとき、Ｎ枚の位相シフトされた格子画像（縞画像）の輝度値Ｉ（ｘ，ｙ，ｎ）が式（１）によって表される。

【0025】

Ｉ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝＋ｂ（ｘ，ｙ） ・・・（１）
ここで、点（ｘ，ｙ）は、格子画像内の１点で、ａ（ｘ，ｙ）は、輝度振幅、ｂ（ｘ，ｙ）は、背景輝度を示し、θ（ｘ，ｙ）は、ｎ＝０の格子の位相を示し、Ｎ個の格子画像の輝度値Ｉ（ｘ，ｙ，ｎ）から求めたθ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定することができる。

【0026】

撮像部３０は、いわゆるイベントカメラであって、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このため、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物を撮像した画像データが生成可能となり、撮像部３０は、このように生成された画像データ又はイベントデータ（二次元点データ，時間，輝度変化の極性）を計測部４０に出力するように構成されている。撮像部３０の二次元点の数と投影部２０の画素数とは、同数としてもよく、いずれかを他方より多くしてもよい。本例では投影部２０の画素数の方が撮像部３０の二次元点数より多くしている。いずれにせよ、撮像部３０の二次元点データより、投影部２０で投影された縞パターンに対応する画素が特定できるようにしている。

【0027】

計測部４０は、投影部２０から後述する所定の縞パターンが投影されている状態の計測対象物Ｒを撮像部３０により撮像した撮像画像から求められる縞パターンの情報を利用して、位相シフト法により計測対象物Ｒの三次元形状を計測するものである。上述したように、計測部４０は、上記撮像画像における点（ｘ，ｙ）での輝度値Ｉ（ｘ，ｙ，ｎ）を得ることで θ（ｘ，ｙ）を求め、このθ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。このようにして撮像した計測対象物Ｒの各点（ｘ，ｙ）の距離ｚがそれぞれ測定されることで、その計測対象物Ｒの三次元形状を計測することができる。

【0028】

例えば、図６のＰ１、Ｐ２の距離を求める場合、投影部２０よりサイン波パターンを投影し、それを撮像部３０で撮影する。撮影画像から、Ｐ１、Ｐ２が何縞目かという情報と、その点の位相値から、投影部２０と撮像部３０それぞれの角度θｐ、θｃが分かる。そして、視差Ｌは既知なので、三角測量によりＰ１、Ｐ２点の距離値が求められる。この計算を計測エリア全体で行うことにより、３Ｄ計測を行うことができる。なお、サイン波パターンは、図７に示すように１２０度づつ位相をずらして照射している。

【0029】

ここで、位相シフト法を利用して計測対象物Ｒの三次元形状を計測する際に、計測部４０にて実施される三次元計測処理について以下詳述する。

【0030】

本実施形態では、高速に相対移動する計測対象物Ｒを精度良く撮像するための撮像部３０として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値Ｉ（ｘ，ｙ，ｎ）を直接取得できない。

【0031】

その一方で、発光開始のタイミングでプラス輝度変化のイベントデータが出力された後に、発光終了のタイミングでマイナス輝度変化のイベントデータが出力されるため、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差は測定できる。そこで、本実施形態では、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいてサイン波パターンに対応する縞パターンを求める。

【0032】

サイン波パターンを特定するためには、特定ポイントにある程度の数が必要で、図８の例では、投影部２０が３０ポイントでサイン波パターンを投影し、撮像部３０は１５ポイントで投影されたサイン波パターンを撮影している。図８の例では、投影部２０は３０のポイント全てで、時間０で照射を開始している。そのため、撮像部３０も１５のポイント全てで撮影を開始している。一方、投影部２０の照射終了、即ち、撮像部３０での撮影終了の時間は、サイン波パターンに対応するように、各ポイント毎に時間を異ならしている。

【0033】

撮像部３０の１番目のポイントは約１５０マイクロ秒、２番目のポイントは約２００マイクロ秒で投影部２０の照射が終了している。そして、撮像部３０の１１番目と１２番目のポイントでは約５０マイクロ秒で、１５番目のポイントでは約１２０マイクロ秒で投影部２０の照射が終了している。

【0034】

図８の例では、撮像部３０の１番目から１５番目の各ポイントは投影部２０の２つの画素と対応しているが、１つのポイントに１つの画素が対応してもよい。逆に、撮像部３０の二次元点の数が投影部２０の画素より多ければ、複数のポイントで１つの画素を撮影することとなる。いずれにせよ、サイン波パターンが特定できる数の撮像部３０の二次元点と投影部２０の画素があればよい。

【0035】

また、一つのサイン波パターンを特定するのに、図８の例では３００マイクロ秒用いているが、より長い時間を掛けてもよく、逆により短い時間でサイン波パターンを特定してもよい。計測対象物Ｒの移動速度に比して、十分短い時間でサイン波パターンの特定ができればよい。

【0036】

図９は、投影部２０の投影時間と撮像部３０の撮影時間との関係を示している。投影機の特定の画素からは投影開始（時間０）から所定時間投影し、所定時間後に照射は終了する。そして、その特定の画素が照射される部位を撮影する撮像部３０は照射開始（時間０）と同時に輝度変化のイベント情報を得、かつ、照射終了（所定時間後）時にも輝度変化のイベント情報を得る。そして、照射開始と照射終了とのイベント情報の時間差を用いて、計測部４０はサイン波パターンを作成し、サイン波パターンの情報から計測対象物Ｒまでの距離を測定する。

【0037】

特に、本実施形態では、より高速に計測対象物Ｒの画像を生成するため、投影部２０は、計測対象物Ｒに対して、複数存在する縞パターンの縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンを投影する。以下、縞番号ごとに発光開始タイミングを異ならせることで計測対象物Ｒの画像生成を高速化できる理由について説明する。

【0038】

一般的に、複数の縞パターンが投影された計測対象物の三次元形状を位相シフト法によって計測する場合、撮像画像での縞番号のずれを防止するために、縞番号特定用のグレイコードパターンを投影した画像もあわせて撮像する。例えば、凸凹形状の計測対象物や不透明部位を有する計測対象物に縞パターンが投影される場合、投影部と撮像部との位置がずれているために、ｋ縞目とすべき画像部分をｋ－１縞目と誤認してしまう場合があり、画素単位で縞番号を特定するための仕組みがないと、誤った距離計算を行ってしまうからである。この問題は、イベントカメラからのイベントデータ出力の時間差を利用して計測対象物の三次元形状を計測する場合でも同様に生じるものである。

【0039】

しかしながら、縞番号特定用のグレイコードパターンは、縞パターンでの縞の数が多くなるほど投影される枚数が増えることになる。例えば、５０縞程度の縞パターンだと、８種類のグレイコードパターンを投影して撮像する必要があり、このような複数種類のグレイコードパターンの投影時間等が、計測処理の高速化の阻害要因となってしまう。

【0040】

そこで、本実施形態では、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンを投影する。これにより、輝度値を求めた画素が属する縞番号を、縞番号特定用のグレイコードパターンを投影することなく、上記時間差を構成する最初のイベントデータの出力タイミングから特定することができる。

【0041】

具体的には、例えば、単位時間内において、１００μｓ時点で１縞目に対して発光が開始され、２００μｓ時点で２縞目に対して発光が開始され、ｋ×１００μｓ時点でｋ縞目に対して発光が開始されるように、所定の縞パターンを投影することができる。このように所定の縞パターンが投影されることで、１００μｓ時点では、１縞目に属する画素からイベントデータが出力される一方で、２縞目以降に属する画素からはイベントデータが出力されない。

【0042】

このような所定の縞パターンでは、時間差２５，５００μｓで輝度値２５５（時間差１００μで輝度値１）に設定すると、例えば、１縞目の輝度値１００となる画素では、図３（Ａ）に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。また、１縞目の輝度値２０１となる画素では、図３（Ｂ）に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。なお、図８の例で示したように、サイン波パターンを特定するには、ある程度のポイント数が必要であり、図３（Ａ）と図３（Ｂ）の２ポイントのみで１縞目の縞パターンが特定できるものではない。サイン波パターンを１５ポイントで特定する場合、図３（Ａ）と図３（Ｂ）は１５ポイントのうち、開始から１００００マイクロ秒後のポイントと開始から２０１００マイクロ秒後のポイントの２ポイントを例示しているのみである。

【0043】

また、２縞目の輝度値１００となる画素では、図３（Ｃ）に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。また、５縞目の輝度値２０１となる画素では、図３（Ｄ）に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。図３（Ａ）と図３（Ｂ）の場合と同様、図３（Ｃ）のみで２縞目の縞パターンが特定できるものではなく、図３（Ｄ）のみで５縞目の縞パターンが特定できるものでもない。実際には１５以上のポイントで縞パターンを特定している。図３（Ｃ）は２縞目の１５以上のポイントのうち開始から１００００マイクロ秒後のポイントを例示したのみで、図３（Ｄ）は５縞目の１５ポイント以上のポイントのうち開始から２０１００マイクロ秒後のポイントを例示したのみである。

【0044】

なお、図３では、プラス輝度変化のイベントデータの出力を上向きの矢印にて図示し、マイナス輝度変化のイベントデータの出力を下向きの矢印にて図示している。

【0045】

このため、計測部４０にてなされる三次元計測処理では、図３（Ａ）に示すようなイベントデータが出力される画素について、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差からサイン波パターンが求められ、サイン波パターンに基づき計測対象物Ｒまでの距離を測定する。併せて、各サイン波パターンを構成する最初のイベントデータの出力タイミングから１縞目か２縞目かｎ縞目かのいずれに属することが特定される。すなわち、２つ以上のサイン波パターンの最初の出力タイミングの差だけで、縞番号を求めることができる。

【0046】

以上説明したように、本実施形態に係る三次元計測装置１０では、投影部２０において、位相シフト法用の所定の縞パターンを投影するために、画素単位で発光時間が個別に調整される。その一方で、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。すなわち、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に応じてその画素に対応するサイン波パターンを特定することができる。

【0047】

特に、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンが投影されるため、縞パターンを求めた画素が属する縞番号を、上記時間差を構成する最初のイベントデータの出力タイミングから特定することができる。このため、縞パターンを求めた画素が属する縞番号を特定するために複数種類のグレイコードパターンを別途投影する必要もないので、高速化の阻害要因となるグレイコードパターンの投影時間を削減することができる。したがって、縞番号を特定するためのグレイコードパターンを投影することなく、イベントデータを利用して計測対象物Ｒの三次元形状を計測することができる。なお、後述するように単位時間内に複数回発光される短パルス発光を利用して上記所定の縞パターンが投影される場合には、当該単位時間内において繰り返し生じるプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差の総和に基づいて輝度値を求めてもよい。

【0048】

特に、本実施形態では、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンが投影されるため、イベントデータの出力タイミングを分散させることができる。すなわち、図４に示すように、本実施形態において出力されるイベントデータのイベント数Ｓ１は、縞番号にかかわらず発光開始タイミングを同じにするように出力されるイベントデータのイベント数Ｓ２と比較して、単位時間開始直後で大きく減るため、時間当たりに出力されるイベント数を平均化することができる。このため、イベントデータの出力タイミングが集中するために生じるイベントデータの出力の遅延やイベントデータの取りこぼしなどを抑制することができる。

【0049】

また、三次元計測に利用するサイン波パターンを特定するイベントデータは、投影部２０の照射開始と照射終了との輝度変化に応じて出力されるものなので、イベントデータを利用しない通常の位相シフト法で苦手とする背景との輝度差が大きくなる計測対象物（例えば、白色机面上の黒色物体）の計測であっても、正確に計測することができる。

【0050】

また、先にマイナス輝度変化のイベントデータが出力されてからプラス輝度変化のイベントデータが出力されるような所定の縞パターンを投影する場合には、両イベントデータの時間差から輝度値を求めて、マイナス輝度変化のイベントデータの出力タイミングから縞番号を特定することができる。即ち、図８の例では時間０で照射を開始し、所定時間で照射を終了することでサイン波パターンを特定したが、逆に、時間０で照射を終了（消灯開始）し、所定時間で照射を開始（消灯終了）してサイン波パターンを特定してもよい。

【0051】

また、一つのサイン波パターンを特定するのに必要な時間と、縞番号毎の時間差とは、別々に設定できる。即ち、一つのサイン波パターンを特定するのに必要な時間を、縞番号毎の時間差より長くしてもよく、逆に短くしてもよい。
なお、図３の例では各縞毎に出力開始のタイミングをずらして何縞目のサイン波パターンであるかを特定しているが、出力終了のタイミングで何縞目のサイン波パターンであるかを特定するようにしてもよい。図１４に示すように、例えば１縞目のサイン波パターンは複数ポイントの全てが３００００マイクロ秒後に終了し、２縞目のサイン波パターンは複数ポイントの全てが３０１００マイクロ秒後に終了するように、１００マイクロ秒ずつ終了タイミングをずらしてもよい。この場合、５縞目のサイン波パターンは、複数のポイントが全て３０４００マイクロ秒後に終了することとなる。図１４では複数のポイントのうちの２ポイント（１縞目）か1ポイント（２縞目及び５縞目）のみ例示しているのは図３の例と同じである。

【0052】

［第２実施形態］
次に、本第２実施形態に係る三次元計測装置について、図面を参照して説明する。

【0053】

本第２実施形態では、撮像部３０はプラス輝度変化のイベントデータかマイナス輝度変化のイメージデータのいずれかのみを用いてサイン波パターンを特定する時間差を測定することができる。

【0054】

上述の第１実施形態では、図９に示すように、投影部２０は照射開始（時間０）から照射終了（所定時間後）まで、照射（もしくは消灯）が継続し、照射終了時に消灯（もしくは照射）していた。そして、撮像部３０は、照射開始のプラス輝度変化のイベントデータと照射終了のマイナス輝度変化のイベントデータを用いていた。

【0055】

それに対し、第２実施形態では、図１０に示すように、投影部２０は照射開始（時間０）後ただちに投影を終了し、そして、所定時間後に投影部２０は再度照射開始する。撮像部３０は、時間０でプラス輝度変化のイベントデータを出力した後で。所定時間後に再度照射開始のプラス輝度変化のイベントデータを出力することとなる。この２つのプラス輝度変化のイベントデータの時間差を用いて、計測部ではサイン波パターンを特定する。時間差を用いてサイン波パターンを特定する点では第１実施形態と同様である。

【0056】

このように第２実施形態では、撮像部３０が、プラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとの双方を感知できる場合、プラス輝度変化のイベントデータのみを用いて時間を測定している。ただ、逆にマイナス輝度変化のイベントデータのみを用いて時間を測定してもよい。

【0057】

更に、撮像部３０が、プラス輝度変化のイベントデータとマイナス輝度変化のイメージデータとのいずれか一方しか感知できない場合には、その感知できる輝度変化のイベントデータを用いて時間を測定し、時間差よりサイン波パターンを特定するようにする。
〔第３実施形態〕
第３実施形態では、投影部２０が単位時間内に複数回発光される短パルス発光の回数を利用して上記所定の縞パターンを投影する点が、上記第１実施形態や第２実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0058】

本実施形態では、投影部２０での消費電力軽減等を目的として、上記単位時間内に複数回発光される短パルス発光の回数を利用して上記所定の縞パターンを投影する。このような構成では、図１１に示すように、短パルス発光の発光回数に応じてサイン波パターンを特定する。

【0059】

そうすると、撮像素子の画素単位において、１回の短パルス発光に応じてプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータ（以下、一対のイベントデータともいう）とが短時間で出力されることから、短パルス発光の発光回数、すなわち、一対のイベントデータの出力回数に基づいて、サイン波パターンを求めることができる。

【0060】

図８の例では、時間０からの照射時間でサイン波パターンを特定していたが、例えば、１０マイクロ秒に一回発光させて１マイクロ秒後に消灯すると、発光回数が図８の発光時間と対応する。図８の例に対応させると、１番目のポイントは１５回、２番目のポイントは２０回照射している。そして、１１番目と１２番目のポイントでは５回で、１５番目のポイントでは１２回の照射を行う。この回数からサイン波パターンを特定することができる。

【0061】

図１１の例では、撮像部３０が、プラス輝度変化のイベントデータとマイナス輝度変化のイメージデータとの双方を感知できる場合、プラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとの双方で各ポイントでの回数を測定している。ただ、プラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとのいずれか一方のみで各ポイントでの回数を測定してもよい。

【0062】

更に、撮像部３０が、プラス輝度変化のイベントデータとマイナス輝度変化のイメージデータとのいずれか一方しか感知できない場合には、その感知できる輝度変化のイベントデータを用いて回数を測定し、測定した回数に応じてサイン波パターンを特定するようにしてもよい。

【0063】

なお、複数の縞番号に合わせて、投影部２０の照射開始時間を変えることができるのは、第１実施例と同様である。具体的には、例えば、１００μｓ時点で１縞目に対して発光が開始され、２００μｓ時点で２縞目に対して発光が開始され、ｋ×１００μｓ時点でｋ縞目に対して発光が開始されるように、所定の縞パターンを投影する際に、１００回の短パルス発光でサイン波パターンの所定値に設定される場合を想定する。このような場合、例えば、１縞目の輝度値１００となる画素では、図５（Ａ）からわかるように、一対のイベントデータが１００回出力される。また、１縞目の輝度値２０１となる画素では、図５（Ｂ）からわかるように、一対のイベントデータが２０１回出力される。

【0064】

また、２縞目の輝度値１００となる画素では、図５（Ｃ）からわかるように、投影部２０の照射開始が２００マイクロ秒からとなり、一対のイベントデータが１００回出力される。また、５縞目の輝度値２０１となる画素では、図５（Ｄ）からわかるように、投影部２０の照射開始が５００マイクロ秒からとなり、一対のイベントデータが２０１回出力される。

【0065】

なお、図５では、便宜上、一対のイベントデータのうちプラス輝度変化のイベントデータのみ図示し、マイナス輝度変化のイベントデータの図示を省略している。図１１の例では一対のイベントデータを用いて発光回数を計測している。ただ、プラス輝度変化のイベントデータのみで発光回数が計測できるのは、上述の通りである。

【0066】

また、一つのサイン波パターンを特定するのに、ある程度の数のポイントが必要となるのは、第１実施例と同様である。したがって、サイン波パターンを１５ポイントとした場合、図５では、１縞目では、１５ポイントの中の２ポイントのみ、２縞目と５縞目では１５ポイントのうちの1ポイントのみを記載し、他を省略している。

【0067】

このため、計測部４０にてなされる三次元計測処理では、図５（Ａ）に示すようなイベントデータが出力される画素について、一対のイベントデータの出力回数から対応するサイン波パターンが求められ、その最初のイベントデータの出力タイミングから１縞目に属することが特定される。すなわち、イベントデータの出力回数及び出力タイミングだけで、縞パターンの情報としてサイン波パターンの値及び縞番号を求めることができる。

【0068】

なお、一対のイベントデータの出力回数から輝度値を求めることに限らず、プラス輝度変化のイベントデータの出力回数からサイン波パターンを特定してもよいし、マイナス輝度変化のイベントデータの出力回数からサイン波パターンを求めてもよいのは、上述の通りである。

【0069】

また、出力開始のタイミングをずらして何縞目のサイン波パターンであるかを特定するのに代えて、出力終了のタイミングで何縞目のサイン波パターンであるかを特定するようにしてもよいことも、第１実施形態と同様である。図１５に示すように、例えば１縞目のサイン波パターンは複数ポイントの全てが３００００マイクロ秒後に終了し、２縞目のサイン波パターンは複数ポイントの全てが３０１００マイクロ秒後に終了し、５縞目のサイン波パターンは複数のポイントが全て３０４００マイクロ秒後に終了する。図１５で複数のポイントのうちの２ポイント（１縞目）か1ポイント（２縞目及び５縞目）のみ例示しているのは図５の例と同じである。


また、撮像部３０に対する計測対象物Ｒの相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成（本第３実施形態の特徴的構成）と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成（上記第１実施形態の特徴的構成）とを切り替えてもよい。

【0070】

具体的には、投影部２０は、複数回発光される短パルス発光の回数を利用して所定の縞パターンを投影する状態と、１回発光される単パルス発光の時間を利用して所定の縞パターンを投影する状態とを切り替え可能に構成される。また、計測部４０は、前回の計測結果とより過去の計測結果（例えば、前々回の計測結果）との差に基づいて撮像部３０に対する計測対象物Ｒの相対距離変化が第１の所定距離以上であるか否かについて判定する判定部を備える。

【0071】

そして、計測部４０の判定部により上記相対距離変化が上記第１の所定距離未満であると判定されると、投影部２０は、短パルス発光を利用して所定の縞パターンを投影し、計測部４０は、撮像画像における画素単位でのイベントデータの出力回数と単位時間内での最初のイベントデータの出力タイミングから特定される縞番号とに基づいて、縞パターンの情報を求める。

【0072】

その一方で、計測部４０の判定部により上記相対距離変化が上記第１の所定距離以上であると判定されると、投影部２０は、単パルス発光を利用して所定の縞パターンを投影し、計測部４０は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差とこの時間差を構成する最初のイベントデータの出力タイミングから特定される縞番号とに基づいて、縞パターンの情報を求める。

【0073】

これにより、相対距離変化が比較的小さな計測対象物Ｒ、すなわち、動きが比較的小さな計測対象物Ｒの三次元形状を計測する場合には、イベントデータの単位時間当たりの出力回数に基づいて縞パターンの情報を求めることで、計測対象物Ｒの色や周辺光の影響等に対するロバスト性を高めることができる。

【0074】

これに対して、相対距離変化が比較的大きな計測対象物Ｒ、すなわち、動きが比較的大きな計測対象物Ｒの三次元形状を計測する場合には、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求めることで、上述のようにイベントデータの出力回数に基づいて輝度情報を求める場合と比較して、より迅速に輝度情報を求めることができる。

【0075】

更に、撮像部３０に対する計測対象物Ｒの相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成（本第３実施形態の特徴的構成）と、撮像画像における画素単位での計測開始のタイミングである輝度変化のイベントデータの出力と計測終了のタイミングである輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成（上記第２実施形態の特徴的構成）とを切り替えてもよい。

【0076】

なお、本発明は上記各実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。

【0077】

(１)所定の縞パターンは、上述したように１縞目から順に発光開始（消灯開始）タイミングを異ならせるように投影されることに限らず、予め決められた縞番号順で発光開始（消灯開始）タイミングを異ならせるように投影されてもよい。このような場合でも、その予め決められた縞番号順に基づいて、縞番号をイベントデータの出力タイミングから特定することができる。また、縞番号に応じて、発光開始（消灯開始）のタイミングに代えて発光終了（消灯終了）のタイミングを揃えるようにしてもよい。

【0078】

(２)三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物Ｒの三次元形状を計測してもよい。上述のように、この場合相対距離変化は計測対象物Ｒの速度となる。

【0079】

(３)三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体となって、計測部４０が投影部２０及び撮像部３０と無線通信又は有線通信可能な情報処理端末として構成されてもよい。

【0080】

（４）所定の縞パターン（例えば５０の縞パターン）の全てを時間差で照射開始するのではなく、複数の組（例えば１番目の縞パターン、２５番目の縞パターンの２組）で同時に投影部２０の照射を開始してもよい。

【0081】

（５）上述の実施形態では、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンを投影していたが、全ての縞パターン（例えば、５０の縞パターン）を同時に照射開始してもよい。図４に示すように、イベント数Ｓ２は多くなるが、縞パターンの数が限定されている場合には、対応可能である。

【0082】

（６）上述の例では、縞パターンとしてサイン波パターンを用いていたが、他の形状の縞パターンも利用可能である。図１２に示すようなのこぎり波を用いてもよく、図１３のような三角波を用いてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】