ホーム > 特許ランキング > 株式会社デンソーウェーブ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023124517
(43)【公開日】2023-09-06
(54)【発明の名称】三次元計測システム
(51)【国際特許分類】
G01B 11/25 20060101AFI20230830BHJP
【ＦＩ】
G01B11/25 H
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022028317
(22)【出願日】2022-02-25
(71)【出願人】
【識別番号】501428545
【氏名又は名称】株式会社デンソーウェーブ
(74)【代理人】
【識別番号】100106149
【弁理士】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】辻本 将隆
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065BB05
2F065DD06
2F065FF09
2F065HH06
2F065JJ03
2F065JJ26
2F065NN05
2F065QQ31
2F065UU05
(57)【要約】
【課題】三次元形状を計測する時間を短くできる三次元計測システムを提供する。
【解決手段】プロジェクタ２０と、オン時間比率が一方向に正弦波状に変化する第１投影パターンを計測対象物５に投影する投影制御部１１と、イベントカメラ３０と、第１投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて決定できる第１オン時間比率を画素別に決定する第１オン時間比率決定部１２と、第１オン時間比率波形とは１８０度ではない位相差だけ位相が異なっている第２オン時間比率波形を構成する第２オン時間比率を画素別に決定する第２オン時間比率決定部１３と、オフセット成分が除去されている第１オン時間比率と第２オン時間比率に基づいて、イベントカメラの複数の画素について位相を算出する位相算出部１５と、その位相に基づいて画素別の三次元座標を算出する座標決定部１６とを備える。
【選択図】図２
【解決手段】プロジェクタ２０と、オン時間比率が一方向に正弦波状に変化する第１投影パターンを計測対象物５に投影する投影制御部１１と、イベントカメラ３０と、第１投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて決定できる第１オン時間比率を画素別に決定する第１オン時間比率決定部１２と、第１オン時間比率波形とは１８０度ではない位相差だけ位相が異なっている第２オン時間比率波形を構成する第２オン時間比率を画素別に決定する第２オン時間比率決定部１３と、オフセット成分が除去されている第１オン時間比率と第２オン時間比率に基づいて、イベントカメラの複数の画素について位相を算出する位相算出部１５と、その位相に基づいて画素別の三次元座標を算出する座標決定部１６とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
プロジェクタ（２０）と、
前記プロジェクタを制御して、単位時間あたりのオン時間比率が一方向に正弦波状に変化する投影パターンである第１投影パターンを計測対象物（５）に投影する投影制御部（１１）と、
複数の画素を備え、前記計測対象物を含む範囲を撮影範囲とし、前記撮影範囲において輝度変化を検出した前記画素が、輝度変化が生じたことを示すイベントデータを出力するイベントカメラ（３０）と、
前記第１投影パターンを前記プロジェクタが投影しているときに前記イベントカメラが出力した前記イベントデータに基づいて決定できる前記オン時間比率である第１オン時間比率を、前記画素別に決定する第１オン時間比率決定部（１２）と、
前記一方向の位置の変化に対する前記第１オン時間比率の変化を示す第１オン時間比率波形とは、１８０度ではない所定の位相差だけ位相が異なっている第２オン時間比率波形を構成する第２オン時間比率を、前記画素別に決定する第２オン時間比率決定部（１３）と、
オフセット成分が除去されている前記第１オン時間比率と前記第２オン時間比率に基づいて、前記イベントカメラの複数の前記画素について位相を算出する位相算出部（１５）と、
前記位相算出部が算出した前記位相に基づいて、前記画素別の三次元座標を算出する座標決定部（１６）とを備える、三次元計測システム。
前記プロジェクタを制御して、単位時間あたりのオン時間比率が一方向に正弦波状に変化する投影パターンである第１投影パターンを計測対象物（５）に投影する投影制御部（１１）と、
複数の画素を備え、前記計測対象物を含む範囲を撮影範囲とし、前記撮影範囲において輝度変化を検出した前記画素が、輝度変化が生じたことを示すイベントデータを出力するイベントカメラ（３０）と、
前記第１投影パターンを前記プロジェクタが投影しているときに前記イベントカメラが出力した前記イベントデータに基づいて決定できる前記オン時間比率である第１オン時間比率を、前記画素別に決定する第１オン時間比率決定部（１２）と、
前記一方向の位置の変化に対する前記第１オン時間比率の変化を示す第１オン時間比率波形とは、１８０度ではない所定の位相差だけ位相が異なっている第２オン時間比率波形を構成する第２オン時間比率を、前記画素別に決定する第２オン時間比率決定部（１３）と、
オフセット成分が除去されている前記第１オン時間比率と前記第２オン時間比率に基づいて、前記イベントカメラの複数の前記画素について位相を算出する位相算出部（１５）と、
前記位相算出部が算出した前記位相に基づいて、前記画素別の三次元座標を算出する座標決定部（１６）とを備える、三次元計測システム。
【請求項2】
請求項１に記載の三次元計測システムであって、
前記投影制御部は、前記第１投影パターン、および、前記第１投影パターンとは前記位相差だけ位相が異なっている第２投影パターンを、順次、前記計測対象物に投影し、
前記第２オン時間比率決定部は、前記第２投影パターンを前記プロジェクタが投影しているときに前記イベントカメラが出力した前記イベントデータに基づいて、前記第２オン時間比率を前記画素別に決定し、
前記第１オン時間比率と前記第２オン時間比率から、互いに同じオフセットを除去するオフセット除去部（１４）を備える、三次元計測システム。
前記投影制御部は、前記第１投影パターン、および、前記第１投影パターンとは前記位相差だけ位相が異なっている第２投影パターンを、順次、前記計測対象物に投影し、
前記第２オン時間比率決定部は、前記第２投影パターンを前記プロジェクタが投影しているときに前記イベントカメラが出力した前記イベントデータに基づいて、前記第２オン時間比率を前記画素別に決定し、
前記第１オン時間比率と前記第２オン時間比率から、互いに同じオフセットを除去するオフセット除去部（１４）を備える、三次元計測システム。
【請求項3】
請求項２に記載の三次元計測システムであって、
前記オフセット除去部は、前記第１オン時間比率波形または前記第２オン時間比率波形からオフセットを算出し、算出した前記オフセットを前記第１オン時間比率波形および前記第２オン時間比率波形から除去する、三次元計測システム。
前記オフセット除去部は、前記第１オン時間比率波形または前記第２オン時間比率波形からオフセットを算出し、算出した前記オフセットを前記第１オン時間比率波形および前記第２オン時間比率波形から除去する、三次元計測システム。
【請求項4】
請求項１に記載の三次元計測システムであって、
前記第２オン時間比率決定部は、前記第１オン時間比率波形を１階微分して前記第２オン時間比率を算出する、三次元計測システム。
前記第２オン時間比率決定部は、前記第１オン時間比率波形を１階微分して前記第２オン時間比率を算出する、三次元計測システム。
【請求項5】
請求項４に記載の三次元計測システムであって、
前記第１オン時間比率波形からオフセットを算し、算出した前記オフセットを前記第１オン時間比率波形から除去するオフセット除去部（１４）を備える、三次元計測システム。
前記第１オン時間比率波形からオフセットを算し、算出した前記オフセットを前記第１オン時間比率波形から除去するオフセット除去部（１４）を備える、三次元計測システム。
【発明の詳細な説明】
【技術分野】
【0001】
位相シフト法により物体の三次元形状を計測する三次元計測システムに関する。
【背景技術】
【0002】
特許文献１に開示されているように、計測対象物の三次元形状を計測する三次元計測システムとして、位相シフト法を用いるシステムが知られている。位相シフト法は位相をずらした複数枚の縞パターン画像を投影し三角測量を行う手法である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－６７６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１にも開示されているように、位相シフト法を用いた三次元計測手法では、位相と、輝度振幅と、背景輝度の３つの未知数が含まれる等式を用いることが一般的である。３つの未知数があるため、三次元形状を計測するためには、最低でも、初期位相を互いに異ならせた３つ以上の縞パターンを投影し、それぞれの縞パターン画像を投影した状態で画像を撮影する時間が必要になる。そこで、三次元形状を計測する時間をより短くすることが望まれる。
【0005】
本開示は、この事情に基づいて成されたものであり、その目的とするところは、三次元形状を計測する時間を短くできる三次元計測システムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的態様との対応関係を示すものであって、開示した技術的範囲を限定するものではない。
【0007】
上記目的を達成するための三次元計測システムに係る１つの開示は、
プロジェクタ（２０）と、
プロジェクタを制御して、単位時間あたりのオン時間比率が一方向に正弦波状に変化する投影パターンである第１投影パターンを計測対象物（５）に投影する投影制御部（１１）と、
複数の画素を備え、計測対象物を含む範囲を撮影範囲とし、撮影範囲において輝度変化を検出した画素が、輝度変化が生じたことを示すイベントデータを出力するイベントカメラ（３０）と、
第１投影パターンをプロジェクタが投影しているときにイベントカメラが出力したイベントデータに基づいて決定できるオン時間比率である第１オン時間比率を、画素別に決定する第１オン時間比率決定部（１２）と、
一方向の位置の変化に対する第１オン時間比率の変化を示す第１オン時間比率波形とは、１８０度ではない所定の位相差だけ位相が異なっている第２オン時間比率波形を構成する第２オン時間比率を、画素別に決定する第２オン時間比率決定部（１３）と、
オフセット成分が除去されている第１オン時間比率と第２オン時間比率に基づいて、イベントカメラの複数の画素について位相を算出する位相算出部（１５）と、
位相算出部が算出した位相に基づいて、画素別の三次元座標を算出する座標決定部（１６）とを備える、三次元計測システムである。
プロジェクタ（２０）と、
プロジェクタを制御して、単位時間あたりのオン時間比率が一方向に正弦波状に変化する投影パターンである第１投影パターンを計測対象物（５）に投影する投影制御部（１１）と、
複数の画素を備え、計測対象物を含む範囲を撮影範囲とし、撮影範囲において輝度変化を検出した画素が、輝度変化が生じたことを示すイベントデータを出力するイベントカメラ（３０）と、
第１投影パターンをプロジェクタが投影しているときにイベントカメラが出力したイベントデータに基づいて決定できるオン時間比率である第１オン時間比率を、画素別に決定する第１オン時間比率決定部（１２）と、
一方向の位置の変化に対する第１オン時間比率の変化を示す第１オン時間比率波形とは、１８０度ではない所定の位相差だけ位相が異なっている第２オン時間比率波形を構成する第２オン時間比率を、画素別に決定する第２オン時間比率決定部（１３）と、
オフセット成分が除去されている第１オン時間比率と第２オン時間比率に基づいて、イベントカメラの複数の画素について位相を算出する位相算出部（１５）と、
位相算出部が算出した位相に基づいて、画素別の三次元座標を算出する座標決定部（１６）とを備える、三次元計測システムである。
【0008】
この三次元計測システムとは異なり、輝度を一方向に正弦波状に変化させた縞パターン画像を計測対象物に投影する場合、投影された縞パターンの輝度を検出する必要があるので、カメラとして、フレームベースカメラを用いる。輝度を一方向に正弦波状に変化させた縞パターン画像をフレームベースカメラで撮影する場合には、縞パターン画像が投影される物体の色により、フレームベースカメラで検出できる輝度値の振幅が変化する。したがって、フレームベースカメラが撮影する画像の振幅は一定にならない。
【0009】
これに対して、この三次元計測システムでは、プロジェクタは、単位時間あたりのオン時間比率が一方向に正弦波状に変化する第１投影パターンを計測対象物に投影し、投影パターンを撮影するカメラとしてイベントカメラを備えている。
【0010】
イベントカメラは、輝度変化を検出するカメラであり、輝度の大きさは検出しない。よって、イベントカメラが出力するイベントデータは、投影パターンが投影される物体の反射率が異なることによる影響を受けない。したがって、第１投影パターンをプロジェクタが投影しているときにイベントカメラが出力するイベントデータに基づいて決定できる第１オン時間比率のオフセットは、画素によらず一定になる。
【0011】
オフセットが一定であると、第１オン時間比率および第２オン時間比率からオフセットを容易に除去できる。そのため、第１オン時間比率および第２オン時間比率をもとに位相を算出する式においてもオフセットを除去できる。位相を算出する式からオフセットを除去できると、未知数が１つ減ることになるので、未知数を求めるために投影する投影パターンの数を少なくできる。投影する投影パターンの数を少なくできるので、三次元形状を計測する時間を短くできる。
【図面の簡単な説明】
【0012】
【図1】実施形態の三次元計測システム１の構成を示す図。
【図2】制御装置が実行する作動を示すブロック図。
【図3】プロジェクタが投影する投影パターンを説明する図。
【図4】制御装置が実行する三次元計測処理を示す図。
【図5】第１オン時間比率波形を周波数解析した結果を概念的に示す図。
【図6】オフセットを除去した第１オン時間比率波形を概念的に示す図。
【図7】位相θを算出する式１を示す図。
【図8】式１の導出過程の式を示す図。
【図9】位相θと高さ座標ｚｍとの関係を示すグラフ。
【図10】水平座標（ｘｍ、ｙｍ）の算出方法を説明する図。
【図11】第２実施形態で制御装置１０が実行する三次元計測処理を示す図。
【図12】第３実施形態で制御装置１０が実行する三次元計測処理を示す図。
【図13】中心差分を算出する式を示す図。
【図14】オンオフ回数の変化により作成する投影パターンを説明する図。
【発明を実施するための形態】
【0013】
＜第１実施形態＞
以下、実施形態を図面に基づいて説明する。図１は、第１実施形態の三次元計測システム１の構成を示す図である。三次元計測システム１は、制御装置１０と、プロジェクタ２０と、イベントカメラ３０とを備えている。三次元計測システム１は、作業台２の上に置かれた計測対象物５の三次元形状を位相シフト法により計測する。作業台２の上面は平面であり、作業台２の任意の位置に計測対象物５が位置する。三次元計測システム１は、たとえば、ロボットにピッキング、組付け作業、製品検査等を行わせる際のロボットの目として利用する。
以下、実施形態を図面に基づいて説明する。図１は、第１実施形態の三次元計測システム１の構成を示す図である。三次元計測システム１は、制御装置１０と、プロジェクタ２０と、イベントカメラ３０とを備えている。三次元計測システム１は、作業台２の上に置かれた計測対象物５の三次元形状を位相シフト法により計測する。作業台２の上面は平面であり、作業台２の任意の位置に計測対象物５が位置する。三次元計測システム１は、たとえば、ロボットにピッキング、組付け作業、製品検査等を行わせる際のロボットの目として利用する。
【0014】
制御装置１０は、少なくとも１つのプロセッサを備えた構成により実現できる。たとえば、制御装置１０は、プロセッサ、不揮発性メモリ、ＲＡＭ、Ｉ／Ｏ、およびこれらの構成を接続するバスラインなどを備えたコンピュータにより実現できる。不揮発性メモリには、汎用的なコンピュータを、本実施形態の制御装置１０として作動させるためのプログラムが格納されている。
【0015】
プロセッサは、ＲＡＭの一時記憶機能を利用しつつ、不揮発性メモリに記憶された三次元計測プログラムを実行する。これにより、制御装置１０は、図２に示す投影制御部１１、第１オン時間比率決定部１２、第２オン時間比率決定部１３、オフセット除去部１４、位相算出部１５、座標決定部１６として作動する。制御装置１０が図２に示す作動を実行することは、上記三次元計測プログラムに対応する三次元計測方法が実行されることを意味する。図２に示す各部の作動は、図４に示すフローチャートにおいて説明する。
【0016】
プロジェクタ２０には、ＤＬＰ（登録商標）プロジェクタを使うことができる。ＤＬＰプロジェクタはＤＭＤ（Digital Mirror Device）素子を備えている。ＤＭＤ素子は、投影される画像の各画素に相当する微細なミラーをアレイ状に配列した素子である。ＤＭＤ素子は、各ミラーの角度を、光を外部に投射するオン角度と、光を外部に投射しないオフ角度に変化させることができる。したがって、ＤＬＰプロジェクタは、オンオフ時間を画素ごとに調整できる。
【0017】
プロジェクタ２０は、制御装置１０に制御されることで、単位時間あたりのオン時間比率が一方向に正弦波状に変化する投影パターンを計測対象物５に投影する。一方向は、本実施形態では、ｘ方向とする。
【0018】
図３は、プロジェクタ２０が投影する投影パターンを説明する図である。図３は、プロジェクタ２０のｙ座標を任意の座標に固定し、一方向の一例であるｘ方向の画素の位置の変化に対するオン時間の変化を示している。図３に示すように、投影パターンは、ｘ画素の位置の変化に対してオン時間が正弦波状に変化するパターンである。ここでの正弦波は、位相θが０度の位置を特定するものではない。したがって、正弦波状は余弦波状と言い換えることもできる。
【0019】
投影パターンは、どのｙ座標についても、ｘ画素の位置の変化に対してオン時間が同様に変化する。縦軸のオン時間は、単位時間内において継続的にオンしている時間である。単位時間は、たとえば２５５ｍｓである。オン時間の間にプロジェクタ２０の各画素から投射される光の色は単色である。投影パターンに使う単色は、赤、緑、青など任意の色でよい。投影パターンにおいてオンになっている部分の光強度は、イベントカメラ３０がオンオフを検出できるレベルの強度であればよい。
【0020】
イベントカメラ３０は、複数の画素を二次元状に備える。イベントカメラ３０では、輝度変化を検出した画素が、その画素の位置が特定できる二次元データを含むイベントデータを非同期で出力する。イベントデータは、二次元データと、輝度変化が発生した時刻、輝度変化の符号とを含んでいる。
【0021】
イベントカメラ３０は、計測対象物５を含む範囲が撮影範囲となるように、位置が固定されている。また、プロジェクタ２０とイベントカメラ３０との間の距離は事前に計測されている。
【0022】
〔三次元計測処理〕
次に、図４を用いて、制御装置１０が実行する三次元計測処理を説明する。制御装置１０は、この三次元計測処理を実行して計測対象物５の三次元形状を計測する。三次元計測処理は、たとえば、ユーザが所定の開始操作をすることにより開始する。
次に、図４を用いて、制御装置１０が実行する三次元計測処理を説明する。制御装置１０は、この三次元計測処理を実行して計測対象物５の三次元形状を計測する。三次元計測処理は、たとえば、ユーザが所定の開始操作をすることにより開始する。
【0023】
Ｓ１１とＳ１２は投影制御部１１が実行する。Ｓ１１では、プロジェクタ２０を制御して、第１投影パターンを投影させる。また、その状態で、イベントカメラ３０により計測対象物５を撮影させる。第１投影パターンは、一方向であるｘ方向の画素の位置の変化に対してオン時間が正弦波状に変化するパターンである。
【0024】
Ｓ１２では、プロジェクタ２０を制御して、第２投影パターンを投影させる。また、その状態で、イベントカメラ３０により計測対象物５を撮影させる。第２投影パターンは、第１投影パターンと位相θが異なる投影パターンである。位相θは、図３に示した投影パターンが示す正弦波の位相である。第１投影パターンの位相θ１と第２投影パターンの位相θ２との位相差δは、０度、１８０度ではない値に設定する。たとえば、位相差δは９０度である。０度、１８０度ではない値に設定する理由は、位相θを後述する式１を用いて算出するためである。
【0025】
Ｓ１３は第１オン時間比率決定部１２が実行する。なお、Ｓ１２よりも前にＳ１３を実行してもよい。Ｓ１３では、第１投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて、オン時間比率をイベントカメラ３０が備える画素別に決定する。ここで決定するオン時間比率を第１オン時間比率とする。オン時間比率は、単位時間に対して、投影パターンにおいてイベントカメラ３０の各画素に対応する部分がオンになっている時間の比率である。イベントデータには、輝度変化が発生した時刻と、輝度変化の符号が含まれている。したがって、イベントデータから、投影パターンにおいてイベントカメラ３０の各画素に対応する部分がオンになっている時間を算出することができる。この時間を単位時間で割ると単位時間比率が算出できる。
【0026】
イベントカメラ３０の各画素について第１オン時間比率を算出すると、ｘ画素の変化に対する第１オン時間比率の変化も決定できる。ｘ画素の変化に対する第１オン時間比率の変化を示す波形を第１オン時間比率波形とする。
【0027】
Ｓ１４は第２オン時間比率決定部１３が実行する。Ｓ１４では、第２投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて、オン時間比率をイベントカメラ３０が備える画素別に決定する。ここで決定するオン時間比率を第２オン時間比率とする。イベントカメラ３０の各画素について第２オン時間比率を算出すると、ｘ画素の変化に対する第２オン時間比率の変化も決定できる。ｘ画素の変化に対する第２オン時間比率の変化を示す波形を第２オン時間比率波形とする。
【0028】
次のＳ１５およびＳ１６は、オフセット除去部１４が実行する。第１オン時間比率波形および第２オン時間比率波形は、いずれも、オフセットを持つ。Ｓ１５では、第１オン時間比率波形および第２オン時間比率波形のオフセットを算出する。オフセットは、第１オン時間比率波形または第２オン時間比率波形を周波数解析することで算出できる。第１オン時間比率波形および第２オン時間比率波形は、位相θは異なるがオフセットは同じである。したがって、周波数解析は、第１オン時間比率波形または第２オン時間比率波形のいずれかのみ行えばよい。
【0029】
図５には、第１オン時間比率波形を周波数解析した結果を概念的に示している。図５に示すように、第１オン時間比率波形を周波数解析すると、第１オン時間比率波形の周波数よりも低い周波数に０次のスペクトルが見られる。この周波数がオフセット成分である。なお、図５は概念図であり、立体形状を示す周波数成分、ノイズに起因する周波数成分は省略している。
【0030】
Ｓ１６では、Ｓ１５で算出したオフセットを、第１オン時間比率波形および第２オン時間比率波形からそれぞれ除去する。図６には、オフセットを除去した第１オン時間比率波形を概念的に示す。オフセット除去後の第１オン時間比率波形は、Ｉ１＝Ａｃｏｓθと表すことができる。Ｉ１はオフセット除去後の第１オン時間比率であり、Ａは波形の振幅、θは波形の位相である。
【0031】
Ｓ１７は位相算出部１５が実行する。Ｓ１７では、イベントカメラ３０の画素（ｘ、ｙ）ごとに位相θを算出する。イベントカメラ３０の画素（ｘ、ｙ）ごとの位相θは、図７に示す式１を用いて算出する。式１において、Ｉ１は、画素（ｘ、ｙ）におけるオフセット除去後の第１オン時間比率である。Ｉ２は、画素（ｘ、ｙ）におけるオフセット除去後の第２オン時間比率である。δは、第１オン時間比率波形と第２オン時間比率波形の位相差である。したがって、式１の右辺の変数は、画素（ｘ、ｙ）ごとに値が決定できる。よって、式１から、イベントカメラ３０の画素（ｘ、ｙ）ごとに位相θを算出できる。一般的な位相シフト法では輝度を用いるのに対して、本実施形態では第１オン時間比率Ｉ１、Ｉ２を用いる。第１、第２オン時間比率は輝度代用値であると言える。
【0032】
図８に、式１の導出過程を示す。式２は、オフセット除去後の第１オン時間比率波形を示す式である。式３は、オフセット除去後の第２オン時間比率波形を示す式である。式３の両辺を式２で割ることで、式４のように変形できる。式４を変形すると式５が得られる。さらに、式５を変形すると、式６が得られる。そして、式６を変形すると式１が得られる。
【0033】
Ｓ１８、Ｓ１９は座標決定部１６が実行する。Ｓ１８では、Ｓ１７で算出した各画素（ｘ、ｙ）の位相θから、座標計測点Ｐの高さ座標ｚｍを決定する。座標計測点Ｐは、計測対象物５あるいは作業台２の表面上の点である。
【0034】
高さ座標ｚｍは、プロジェクタ２０とイベントカメラ３０とを含む平面から物体までの距離である。高さ座標ｚｍは、図９に示す位相θと高さ座標ｚｍとの関係を示すグラフと、Ｓ１７で算出した位相θとを用いて決定する。図９に示すグラフは、プロジェクタ２０の座標、イベントカメラ３０の座標、高さ座標ｚｍ、基準面における投影パターンの１周期分の長さが分かれば作成することができるグラフである。なお、基準面は、作業台２の表面である投影面に平行であって、プロジェクタ２０およびイベントカメラ３０までの距離がｚｍとなっている面である。
【0035】
プロジェクタ２０とイベントカメラ３０を固定すれば、プロジェクタ２０の座標、イベントカメラ３０の座標は既知になる。また、基準面までの高さ座標ｚｍは与える値である。さらに、基準面までの高さ座標ｚｍが決まれば、その基準面における投影パターンの１周期分の長さも決まる。よって、図９に示すグラフは事前に求めることができる。
【0036】
図９に示すグラフを事前に求めておき、Ｓ１８では、事前に求めた図９に示すグラフに、Ｓ１７で算出した位相θを当てはめて、各座標計測点Ｐの高さ座標ｚｍを決定する。なお、位相θが何周期目であるかが不明だと、高さ座標ｚｍも決定することができない。しかし、ある座標計測点Ｐにおける高さ座標ｚｍは、その座標計測点Ｐに隣接する座標計測点Ｐの高さ座標ｚｍに対して連続的な変化をする。したがって、位相θが何周期目であるかが不明でも計測対象物５の三次元形状を計測することはできる。また、作業台２の高さ座標ｚｍは既知であるので、作業台２の高さ座標ｚｍと比較をすることで、座標計測点Ｐの高さ座標ｚｍを決定してもよい。
【0037】
Ｓ１９では、Ｓ１８で高さ座標ｚｍを決定した座標計測点Ｐについて、水平座標（ｘｍ、ｙｍ）を決定する。Ｓ１８において決定した高さ座標ｚｍは、画素（ｘ、ｙ）には対応付けられている。画素（ｘ、ｙ）が決まると、イベントカメラ３０に対する方向（αｘ、αｙ）は定まる。なお、αｘは、図１０に示すように、イベントカメラ３０から座標計測点Ｐに向かう方向のうち、ｘｍｚｍ平面におけるｚｍ軸との間の角度である。αｙは図１０には図示していないが、αｙはイベントカメラ３０から座標計測点Ｐに向かう方向のうち、ｙｍｚｍ平面におけるｚｍ軸との間の角度である。図１０から分かるように、水平座標（ｘｍ、ｙｍ）は、高さ座標ｚｍとαｍ、αｙから幾何学計算により算出することができる。
【0038】
Ｓ１７からＳ１９までの処理を各画素（ｘ、ｙ）に対して実行することで、計測対象物５の三次元座標を決定することができる。
【0039】
〔第１実施形態のまとめ〕
以上、説明した本実施形態の三次元計測システム１は、プロジェクタ２０は、単位時間あたりのオン時間比率がｘ方向に正弦波状に変化する第１投影パターンと第２投影パターンとを計測対象物５に投影する。また、三次元計測システム１は、投影パターンを撮影するカメラとしてイベントカメラ３０を備えている。
以上、説明した本実施形態の三次元計測システム１は、プロジェクタ２０は、単位時間あたりのオン時間比率がｘ方向に正弦波状に変化する第１投影パターンと第２投影パターンとを計測対象物５に投影する。また、三次元計測システム１は、投影パターンを撮影するカメラとしてイベントカメラ３０を備えている。
【0040】
イベントカメラ３０が出力するイベントデータは、投影パターンが投影される物体の反射率が異なることによる影響を受けない。したがって、第１投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力するイベントデータに基づいて決定できる第１オン時間比率のオフセットは、画素によらず一定になる。
【0041】
オフセットが一定であると、第１オン時間比率および第２オン時間比率からオフセットを容易に除去できる。そのため、第１オン時間比率および第２オン時間比率をもとに位相θを算出する式１においてもオフセットを除去できる。位相θを算出する式１からオフセットを除去できると、未知数が１つ減ることになるので、未知数を求めるために投影する投影パターンの数を少なくできる。投影する投影パターンの数を少なくできるので、三次元形状を計測する時間を短くできる。
【0042】
この三次元計測システム１は、プロジェクタ２０は第１投影パターンを投影するだけでなく、第２投影パターンも投影する。第２投影パターンは、第１投影パターンとは、位相差δだけ位相θが異なっているパターンである。第２オン時間比率決定部１３は、第２投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて第２オン時間比率波形を生成する（Ｓ１４）。
【0043】
このようにして生成した第２オン時間比率波形は、第１オン時間比率波形と同じオフセット成分を持つ。そこで、オフセット除去部１４は、同じオフセット成分を、第１オン時間比率波形と第２オン時間比率波形から除去する（Ｓ１６）。２つの波形から同じオフセット成分を除去すればよいので、２つの波形から除去するオフセット成分が別々である場合に比較して処理が簡単になる。
【0044】
オフセット除去部１４は、生成した第１オン時間比率波形または記第２オン時間比率波形からオフセットを算出する（Ｓ１５）。オフセットを、実際に生成した波形から算出するので、プロジェクタ２０の個体差などでオフセットが三次元計測システム１ごとに異なっていたとしても、第１オン時間比率波形および第２オン時間比率波形から精度よくオフセットを除去できる。
【0045】
＜第２実施形態＞
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
【0046】
図１１に、第２実施形態で制御装置１０が実行する三次元計測処理を示す。図１１は、図４に代えて実行する処理である。図１１は、図４のＳ１３、Ｓ１４、Ｓ１６に代えて、Ｓ１３－１、Ｓ１４－１、Ｓ１６－１を実行する。また、オフセットを算出するＳ１５は実行しない。代わりに、オフセットが事前に測定等に基づいて決定されて、制御装置１０の所定の記憶部に記憶されている。
【0047】
Ｓ１３－１では、第１オン時間比率決定部１２が、Ｓ１３と同様、第１投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて、イベントカメラ３０が備える画素別に第１オン時間比率を決定する。Ｓ１３では、さらに、第１オン時間比率波形を決定していたが、Ｓ１３－１では、第１オン時間比率波形は決定しない。
【0048】
Ｓ１４－１では、第２オン時間比率決定部１３が、Ｓ１４と同様、第２投影パターンをプロジェクタ２０が投影しているときにイベントカメラ３０が出力したイベントデータに基づいて、イベントカメラ３０が備える画素別に第２オン時間比率を決定する。ただし、Ｓ１４とは異なり、第２オン時間波形は決定しない。
【0049】
Ｓ１４－１を実行後は、Ｓ１６－１を実行する。Ｓ１６－１では、オフセット除去部１４が、Ｓ１３－１、Ｓ１４－１で決定した各画素の第１オン時間比率および第２オン時間比率から、事前に記憶されているオフセットを引くことでオフセットを除去する。その後は、第１実施形態と同様、Ｓ１７以下を実行する。
【0050】
この第２実施形態では、オフセットが事前に記憶されているので、オフセットを算出する処理が不要となる。よって、第１実施形態よりも、さらに三次元形状を計測する時間を短くできる。
【0051】
＜第３実施形態＞
図１２に、第３実施形態で制御装置１０が実行する三次元計測処理を示す。図１２は、図４に代えて実行する処理である。図１２は、図４のＳ１４、Ｓ１５、Ｓ１６に代えて、Ｓ１４－２、Ｓ１５－２、Ｓ１６－２を実行する。
図１２に、第３実施形態で制御装置１０が実行する三次元計測処理を示す。図１２は、図４に代えて実行する処理である。図１２は、図４のＳ１４、Ｓ１５、Ｓ１６に代えて、Ｓ１４－２、Ｓ１５－２、Ｓ１６－２を実行する。
【0052】
図１２に示す三次元計測処理では、第２投影パターンを投影および撮影するＳ１２は実行しない。Ｓ１２を実行しなくても、Ｓ１４－２により第２オン時間比率波形を生成できる。Ｓ１４－２は第２オン時間比率決定部１３が実行する。Ｓ１４－２では、Ｓ１３で生成された第１オン時間比率波形を１階微分して第２オン時間比率波形を算出する。１階微分すると、位相θが９０度ずれた波形が得られる。よって、第１オン時間比率波形を１階微分した波形を第２オン時間比率波形とすることができる。
【0053】
１階微分は、中心差分により算出することができる。中心差分の式は図１３に示している。中心差分では、１つの微分値を算出するのに３画素分のデータが必要になる。ただし、３画素分のデータの中心は計算には使わない。
【0054】
Ｓ１５－２では、第１オン時間比率波形のオフセットを算出する。Ｓ１５－２とは異なり、第２オン時間比率波形は用いず、第１オン時間比率波形を周波数解析することでオフセットを算出する。第２オン時間比率波形を用いない理由は、第２オン時間比率波形は第１オン時間比率波形を微分することにより生成しており、微分によりオフセットは除去されているからである。
【0055】
Ｓ１６－２では、Ｓ１５－２で算出したオフセットを第１オン時間比率波形から除去する。その後は、第１実施形態と同様、Ｓ１７以下を実行する。
【0056】
この第３実施形態では、第１オン時間比率波形を１階微分して第２オン時間比率波形を生成している。したがって、第２投影パターンを投影する必要がない。加えて、このようにして第２オン時間比率波形を生成すると、第２オン時間比率波形はオフセットが除去された波形になるので、別途、オフセットを除去する処理が不要になる。
【0057】
また、第１オン時間比率波形については、生成した第１オン時間比率波形からオフセットを算出し（Ｓ１５－２）、そのオフセットを、第１オン時間比率波形から除去する。よって、第１オン時間比率波形から精度よくオフセットを除去できる。
【0058】
以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
【0059】
＜変形例１＞
実施形態では、投影パターンは、単位時間内において継続的にオンしているオン時間を、ｘ方向において正弦波状に変化させたパターンであった。しかし、継続的にオンすることに代えて、図１４に示すように、単位時間よりも十分に短い時間にオン時間を設定し、単位時間内においてオンオフする回数をｘ方向において正弦波状に変化させたパターンを投影パターンとしてもよい。
実施形態では、投影パターンは、単位時間内において継続的にオンしているオン時間を、ｘ方向において正弦波状に変化させたパターンであった。しかし、継続的にオンすることに代えて、図１４に示すように、単位時間よりも十分に短い時間にオン時間を設定し、単位時間内においてオンオフする回数をｘ方向において正弦波状に変化させたパターンを投影パターンとしてもよい。
【0060】
＜変形例２＞
実施形態では、１階微分を中心差分により算出していた。しかし、前進差分または後退差分により１階微分を算出してもよい。
実施形態では、１階微分を中心差分により算出していた。しかし、前進差分または後退差分により１階微分を算出してもよい。
【符号の説明】
【0061】
１：三次元計測システム ２：作業台 ５：計測対象物 １０：制御装置 １１：投影制御部 １２：第１オン時間比率決定部 １３：第２オン時間比率決定部 １４：オフセット除去部 １５：位相算出部 １６：座標決定部 ２０：プロジェクタ ３０：イベントカメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】