特開 2023-105510 三次元計測装置、三次元計測方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023105510

(43)【公開日】2023-07-31

(54)【発明の名称】三次元計測装置、三次元計測方法及びプログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20230724BHJP

   G01S 17/89 20200101ALI20230724BHJP

【ＦＩ】

G01B11/24

G01S17/89

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022006379

(22)【出願日】2022-01-19

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】000125369

【氏名又は名称】学校法人東海大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】杉本 志織

(72)【発明者】

【氏名】曽我部 陽光

(72)【発明者】

【氏名】北原 正樹

(72)【発明者】

【氏名】久保 尋之

(72)【発明者】

【氏名】木渕 寛太

【テーマコード（参考）】

2F065

5J084

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065DD03

2F065FF04

2F065FF09

2F065FF41

2F065GG04

2F065HH04

2F065HH18

2F065JJ03

2F065JJ19

2F065JJ26

2F065LL62

2F065MM16

2F065QQ21

2F065QQ29

2F065QQ31

2F065UU05

5J084AA13

5J084AD07

5J084BA03

5J084BA11

5J084BA36

5J084BA40

5J084BA50

5J084BB28

5J084CA23

5J084CA31

5J084CA67

5J084EA04

(57)【要約】

【課題】イベントビジョンベースカメラを用いた三次元計測における計測の精度を向上させる。
【解決手段】計測対象に対して電磁波を照射する照射装置であって電磁波を所定の周期で走査する照射装置、が照射した電磁波の計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列をイベントビジョンベースカメラが備える画素ごとに取得し、イベント時系列と前記周期の所定の関数であるテンプレート関数との相互相関の強さの時間変化を示す相関強度時系列を画素ごとに取得し、前記相関強度時系列に基づき、各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定し、推定の結果に基づき、計測対象の三次元形状を推定する三次元計測装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得部と、
前記イベント時系列と前記周期の所定の関数であるテンプレート関数との相互相関の強さの時間変化を示す相関強度時系列を前記画素ごとに取得するイベント相関強度取得部と、
前記相関強度時系列に基づき、各前記画素の検出する光が前記照射装置から照射された角度又は位置を推定する照射状況推定部と、
前記照射状況推定部の推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定部と、
を備える三次元計測装置。

【請求項2】

前記テンプレート関数は、前記周期で繰り返されるガウス関数を表現する関数である、
請求項１に記載の三次元計測装置。

【請求項3】

前記ガウス関数の半値幅とピークの時間との各値は、イベント検出信号に生じるノイズの量と、前記イベントビジョンベースカメラに入射された前記電磁波の輝度変化が生じた実際の時刻と前記イベント検出信号に記録される時刻と違いであって確率的に変動する違いであるレイテンシとに応じて予め定められた値である、
請求項２に記載の三次元計測装置。

【請求項4】

前記半値幅は、前記ノイズの量が多いほど広い、
請求項３に記載の三次元計測装置。

【請求項5】

計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得部と、
前記イベント時系列が示す各発火に対するクラスタリングと、前記クラスタリングの結果に基づきクラスタ間の距離が前記周期であるクラスタを推定する処理と、クラスタ間の距離が前記周期であると推定された前記クラスタについて、前記クラスタの各要素の値に基づいて各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定する処理と、を実行するクラスタ推定部と、
前記クラスタ推定部の推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定部と、
を備える三次元計測装置。

【請求項6】

計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得ステップと、
前記イベント時系列と前記周期の所定の関数であるテンプレート関数との相互相関の強さの時間変化を示す相関強度時系列を前記画素ごとに取得するイベント相関強度取得ステップと、
前記相関強度時系列に基づき、各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定する照射状況推定ステップと、
前記照射状況推定ステップの推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定ステップと、
を有する三次元計測方法。

【請求項7】

計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得ステップと、
前記イベント時系列が示す各発火に対するクラスタリングと、前記クラスタリングの結果に基づきクラスタ間の距離が前記周期であるクラスタを推定する処理と、クラスタ間の距離が前記周期であると推定された前記クラスタについて、前記クラスタの各要素の値に基づいて各前記画素の検出するレーザが前記照射装置から照射された角度又は位置を推定する処理と、を実行するクラスタ推定ステップと、
前記クラスタ推定ステップの推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定部と、
を備える三次元計測方法。

【請求項8】

請求項１から５のいずれか一項に記載の三次元計測装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元計測装置、三次元計測方法及びプログラムに関する。

【背景技術】

【0002】

カメラとプロジェクターを使用した三次元計測の方法として、アクティブステレオ方式がある。カメラとプロジェクターを同方向に設置し、パターン照明を投影し、カメラで観測された輝度値からプロジェクター上の対応する画素を特定することで、カメラとプロジェクターの間の視差を求め三次元位置を計算する。

【0003】

アクティブステレオ方式では、被写体が半透明で光を一部透過する場合、カメラで観測される輝度値は複数の層からの反射が混ざり合うため、プロジェクター上の対応画素を特定できない。そこで、一度に１フレームずつ撮影するフレームベース方式のカメラが用いられることがある。フレームベース方式のカメラは、輝度の絶対量をフレームごとに出力する。しかしながらフレームベース方式のカメラを用いる場合、プロジェクター上の画素を一度に一つずつ点灯させ、一度に１フレームずつ撮影することで、複数の層からの反射を特定することができるが、画素の数だけ撮影が必要となる。

【0004】

フレームベース方式のカメラとは異なる方式のカメラとしてイベントベースビジョンセンサを搭載したカメラであるイベントベースビジョンカメラが存在する。イベントベースビジョンカメラは各画素が非同期で動作し、各画素の輝度変化をマイクロ秒の時間解像度で出力する。フレームベース方式と比較しイベントベースビジョンカメラには、時間解像度が高い、ダイナミックレンジが広い、変化のみを取得できるという特徴がある。

【0005】

イベントベースビジョンカメラを用いる三次元計測では、プロジェクターによる照明を被写体に照射し、反射光をイベントベースビジョンカメラで観測する。被写体が光を透過せず、周りの環境による散乱がないと仮定するとき、プロジェクターのある１画素のみ光を照射すると、対応する被写体表面上の微小領域における散乱光がイベントベースビジョンカメラで観測され、対応する画素でイベントが発生する。なお、周りの環境による散乱とは、照明が壁や床などの観測対象に関係ないものに当たって生じる散乱光が観測対象に影響を与えない散乱である。

【0006】

イベントベースビジョンカメラを用いる三次元計測では、一定周期で点灯画素を変更して被写体を走査することが行われる。このような走査を行う場合、走査速度がイベントベースビジョンカメラの時間分解能に対して十分低ければ、各時間における照射範囲からの散乱光によるイベントを個別に観測することができる。プロジェクターとしてＭＥＭＳ（Micro Electro Mechanical Systems）を使用したレーザ照射式プロジェクターを使用する場合、全画素を常時点灯していてもＭＥＭＳの駆動に伴ってレーザ照射位置が時間変化するため、同様の観測を行うことができる。

【0007】

そして、プロジェクターとイベントベースビジョンカメラの幾何学的関係が既知である場合、各時間において、プロジェクターにおいて点灯している画素の位置である点灯画素位置とイベントベースビジョンカメラにおいてイベントが発火している画素の位置である発火画素位置との関係から、対応する被写体の三次元位置を算出することができる。なお、イベントベースビジョンカメラにおいて、或る画素でイベントが発火するとは、イベントベースビジョンカメラの有する、或る画素で輝度値の変化量が閾値を超え、イベント検出信号が生成されたという意味である。

【0008】

透過や内部散乱を考えない場合、被写体の或る一点で反射散乱した光がイベントビジョンセンサ上の一つの画素でイベントを発火させる場合、この画素ではプロジェクターの走査周期Ｔあたり１回のイベントが発生する。この場合、プロジェクターの点灯画素位置に対してイベント発火画素位置が一対一で対応し、各イベント発火画素位置においてイベントの発火時間から対応するプロジェクターの点灯画素位置を特定可能であり、この関係から散乱地点におけるカメラとプロジェクターの視差を求めることで、三次元位置を求めることができる。

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、被写体が光を透過し、被写体表面及び内部の各点で散乱が生じる場合、プロジェクター上のある一画素の点灯に対して、イベントベースビジョンカメラの複数の画素でイベントが発火する場合がある。その結果、イベントベースビジョンカメラの一つの画素については、1周期の照射期間の間に、別々の反射位置からその画素に到達する光によって、複数回のイベントが観測されることもある。

【0010】

図１３は、イベントベースビジョンカメラの複数の画素におけるイベントの発火と、イベントベースビジョンカメラの一つの画素において複数回のイベントが観測されることと、を説明する説明図である。図１３は、照射のタイミング、すなわち照射の角度、が異なる２種類のレーザと、各レーザが照射されてからカメラに到達するまでの経路とを示す。これらのイベント発生位置と発生タイミング、同タイミングにおけるプロジェクターの点灯画素位置から視差を計算し、前面と背面それぞれでの反射位置の三次元位置を計算することができる。

【0011】

ところで、イベントベースビジョンカメラでは帯域不足や光量不足によってイベントの取りこぼしやノイズ、イベント発火の遅れが多く発生する。イベントの取りこぼしがある場合は三次元位置の計算が不可能であり、ノイズイベントがある場合は復元された三次元情報にもノイズが生じてしまう。また、イベント発火時間の遅れがある場合、イベントビジョンセンサとプロジェクターの間で画素の対応関係のズレが生じ、正しい視差を求めることができない。

【0012】

特に被写体の背面で反射する光は前面を透過するために光量が不足することが多いため、こうした問題の影響を受けやすい。このように、イベントベースビジョンカメラを用いた三次元計測では、計測の精度が悪い場合があった。なお、イベント発火時間の遅れがあるとは、イベント検出信号に記録されているイベント発火時間が、実際に輝度変化が生じた時間に対してずれている状態のことを意味する。実際に輝度変化が生じた時間とは、プロジェクターから観測点に照明が照射された時間又は照射が終わった時間である。

【0013】

上記事情に鑑み、本発明は、イベントビジョンベースカメラを用いた三次元計測における計測の精度を向上させる技術の提供を目的としている。

【課題を解決するための手段】

【0014】

本発明の一態様は、計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得部と、前記イベント時系列と前記周期の所定の関数であるテンプレート関数との相互相関の強さの時間変化を示す相関強度時系列を前記画素ごとに取得するイベント相関強度取得部と、前記相関強度時系列に基づき、各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定する照射状況推定部と、前記照射状況推定部の推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定部と、を備える三次元計測装置である。

【0015】

本発明の一態様は、計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得部と、前記イベント時系列が示す各発火に対するクラスタリングと、前記クラスタリングの結果に基づきクラスタ間の距離が前記周期であるクラスタを推定する処理と、クラスタ間の距離が前記周期であると推定された前記クラスタについて、前記クラスタの各要素の値に基づいて各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定する処理と、を実行するクラスタ推定部と、前記クラスタ推定部の推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定部と、を備える三次元計測装置である。

【0016】

本発明の一態様は、計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得ステップと、前記イベント時系列と前記周期の所定の関数であるテンプレート関数との相互相関の強さの時間変化を示す相関強度時系列を前記画素ごとに取得するイベント相関強度取得ステップと、前記相関強度時系列に基づき、各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定する照射状況推定ステップと、前記照射推定ステップの推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定ステップと、を有する三次元計測方法である。

【0017】

本発明の一態様は、計測対象に対して電磁波を照射する照射装置であって前記電磁波を所定の周期で走査する照射装置、が照射した前記電磁波の前記計測対象による散乱を検出するイベントビジョンベースカメラ、の出力に基づいて生成された時系列であって、前記イベントビジョンベースカメラが備える画素の輝度変化を検出したこと示すイベント検出信号が発生する現象である発火の有無を示す時系列であるイベント時系列を前記イベントビジョンベースカメラが備える画素ごとに取得するイベント時系列取得ステップと、前記イベント時系列が示す各発火に対するクラスタリングと、前記クラスタリングの結果に基づきクラスタ間の距離が前記周期であるクラスタを推定する処理と、クラスタ間の距離が前記周期であると推定された前記クラスタについて、前記クラスタの各要素の値に基づいて各前記画素の検出する電磁波が前記照射装置から照射された角度又は位置を推定する処理と、を実行するクラスタ推定ステップと、前記クラスタ推定ステップの推定の結果に基づき、前記計測対象の三次元形状を推定する形状推定部と、を備える三次元計測方法である。

【0018】

本発明の一態様は、上記の三次元計測装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0019】

本発明により、イベントビジョンベースカメラを用いた三次元計測における計測の精度を向上させることが可能となる。

【図面の簡単な説明】

【0020】

【図1】実施形態の三次元計測システムの概要を説明する説明図。

【図2】実施形態における照射装置の照射するレーザの１回の走査の様子の一例を示す図。

【図3】実施形態におけるイベントビジョンベースカメラの受光面の一例を示す図である。

【図4】実施形態におけるイベント時系列のグラフの一例を示す図。

【図5】実施形態におけるテンプレート関数の一例を示す図。

【図6】実施形態における相関強度時系列を示すグラフの一例を示す図。

【図7】実施形態の三次元計測装置のハードウェア構成の一例を示す図。

【図8】実施形態の三次元計測装置が備える制御部の機能構成の一例を示す図。

【図9】実施形態の三次元計測システムにおいて照射装置及びイベントビジョンベースカメラが実行する処理の流れの一例を示すフローチャート。

【図10】実施形態の三次元計測システムにおいて三次元計測装置が実行する処理の流れの一例を示すフローチャート。

【図11】変形例における制御部の構成の一例を示す図。

【図12】変形例におけるクラスタ推定処理を実行する三次元計測装置が実行する処理の流れの一例を示すフローチャート。

【図13】イベントベースビジョンカメラの一つの画素において複数回のイベントが観測されることを説明する説明図。

【発明を実施するための形態】

【0021】

（実施形態）
図１～図６を用いて、実施形態の三次元計測システム１００の概要を説明する。三次元計測システム１００は電磁波を照射対象９に照射し、その散乱に基づいて照射対象９の三次元形状を推定するシステムである。なお、三次元計測システム１００の説明における散乱は、電磁波の伝搬方向が変化する現象を示す言葉として用いられる。したがって反射は散乱の１種として三次元計測システム１００は説明される。まずは、三次元計測システム１００が実行する処理の概要を、電磁波がレーザである場合を例に説明する。

【0022】

＜概要＞
図１は、実施形態の三次元計測システム１００の概要を説明する説明図である。三次元計測システム１００は、照射装置１、イベントビジョンベースカメラ２及び三次元計測装置３を備える。照射装置１、イベントビジョンベースカメラ２及び三次元計測装置３の詳細は後述するが、照射装置１はレーザを照射する装置である。イベントビジョンベースカメラ２は照射対象９によって散乱されたレーザを検出し、検出したことを示す信号（以下「イベント検出信号」という。）を出力する。三次元計測装置３は、イベント検出信号に基づいて、照射対象９の三次元形状を推定する。

【0023】

図２は、実施形態における照射装置１の照射するレーザの１回の走査の様子の一例を示す図である。図２に示すように、照射装置１はレーザを走査するようにして照射する。すなわち、照射装置１は例えば照射の角度を変えながらレーザを照射する。

【0024】

図３は、イベントビジョンベースカメラ２の受光面の一例を示す図である。イベントビジョンベースカメラ２は、受光部２１を備える。受光部２１は、イベントビジョンベースカメラ２の受光面に存在する。受光部２１は、アレイ状に配置された複数のイベント素子２１０を備える。イベント素子２１０は、光電変換によって光を電気信号に変換する素子である。変換によって生成された電気信号は、具体的にはイベント検出信号である。

【0025】

イベント検出信号は三次元計測装置３に入力される。図４は、実施形態における三次元計測装置３がイベント検出信号を取得するタイミングの一例を示す図である。より具体的には、１つのイベント素子２１０に関して、そのイベント素子２１０が出力したイベント検出信号を、三次元計測装置３が取得するタイミングの一例を示す図である。図４の横軸は時間を示し、縦軸は強度を示す。図４のピークはイベント検出信号を示す。三次元計測装置３は、図４に示すような、イベント素子２１０ごとにイベント検出信号の発生のタイミングを示す情報を得る。

【0026】

図４の例では、イベント検出信号は、時間間隔Ｔの間に２つのピークを有する。時間間隔Ｔは、レーザが１回走査される時間である。したがって、レーザは周期Ｔで走査される。以下、図４における時間間隔Ｔの間に存在する２つのピークの一方を左ピークといい、他方を右ピークということにする。

【0027】

左ピークと右ピークとは、例えば、互いに照射されたタイミングが異なるレーザによって生成されたものである。照射されたタイミングが異なるとは具体的には、照射の位相が異なることを意味する。位相とは、各単位期間が開始してからの経過時間である。すなわち、ｍ回目（ｍは１以上の整数）の走査の開始時間をＴ０＿ｍと定義して、開始時間をＴ０＿ｍとする１回の走査における開始時間Ｔ０＿ｍからの経過時間が、照射の位相である。単位期間とは、長さが周期Ｔの期間である。レーザの操作が周期Ｔで繰り返されるので、図４において左ピークは時間間隔Ｔに略同一なタイミングで繰り返し出現する。また、レーザの操作が周期Ｔで繰り返されるので、図４において右ピークは時間間隔Ｔに略同一なタイミングで繰り返し出現する。

【0028】

図４の例においてピークの種類は左ピークと右ピークとの２種類だが、時間間隔Ｔ内に出現するピークであって周期Ｔの略同一の周期で繰り返し現れるピークは必ずしも２種類である必要は無い。時間間隔Ｔ内に出現するピークであって周期Ｔの略同一の周期で繰り返し現れるピークはＮ種類であってもよい（Ｎは１以上の整数）。

【0029】

三次元計測装置３は、例えば図４が示すような、Ｎ種類のピークが周期Ｔに略同一の周期で繰り返し出現することを示すデータについて、例えば図５にグラフを示すような、予め定められた周期Ｔの所定の関数（以下「テンプレート関数」という。）との相互相関の強さを得る。相互相関の強さを示すグラフの一例が図６である。相互相関の強さを得るとは、具体的には畳み込み積分を行うことを意味する。

【0030】

図５は、実施形態におけるテンプレート関数の一例を示す図である。図５の横軸は時間を示し、図５の縦軸は強度を示す。図５のグラフを表現する関数は、具体的には、ガウス関数が周期Ｔで繰り返し現れることを示す関数である。以下、説明の簡単のためテンプレート関数が、ガウス関数が周期Ｔで繰り返し現れることを示す関数である場合、を例に三次元計測システム１００を説明する。

【0031】

図６は、実施形態における相互相関の強さを示すグラフの一例を示す図である。図６の縦軸は相互相関の強さを示し、横軸は単位期間におけるガウス分布のピークとそのガウス分布を含む単位期間において三次元計測装置３に入力されたイベント検出信号のピークとの時間差を表す。したがって横軸は、位相を示す軸でもある。

【0032】

実はイベント検出信号は、イベントビジョンベースカメラ２にレーザが入射してからイベントビジョンベースカメラ２からイベント検出信号が出力されるまでの時間であるレイテンシに、ばらつきがある。ばらつきが生じる原因の１つは、例えばイベントビジョンベースカメラ２が電磁波を電子に変換する光電変換の確率がフェルミの黄金律等の量子力学に従うことである。また、ばらつきが生じる原因の１つは、例えばイベントビジョンベースカメラ２が単位時間に出力できるイベント検出信号の量には制限があることである。制限があるために、例えば多くの電子が励起されたとしても、少しずつしかイベント検出信号が出力されず、結果として、レイテンシにばらつきが生じる。

【0033】

こうしたレイテンシのばらつきを示す分布は例えばガウス分布で表現される。以下説明の簡単のためレイテンシのばらつきを示す分布がガウス分布である場合を例に説明する。イベントビジョンベースカメラ２から出力されるイベント検出信号のレイテンシがガウス分布でばらつく場合、イベント検出信号が三次元計測装置３に入射するタイミングもガウス分布でばらつく。

【0034】

したがって、三次元計測装置３がイベント検出信号を取得する確率は、例えば図５に示すような、ガウス分布が周期Ｔで繰り返される確率である、可能性が高い。なお、ここまでの説明で明らかではあるが、各単位期間におけるガウス分布のピークの位置は、レイテンシのばらつきの中央値である。なお、ガウス分布のピークの位置は例えば、単位期間の開始の時刻との時間差が、三次元計測装置３にイベント検出信号が入力する確率が最も高い時刻に位置する。なお詳細は後述するが、ガウス分布の形状は、レイテンシだけに依存するわけではなく、ノイズの量にも依存してもよい。

【0035】

ところで上述したように相互相関の強さを得る処理は、具体的には畳み込み積分である。したがって、相互相関の強さを得る処理は、出現頻度の高い現象を出現頻度の低い現象よりも顕著に表現することができる。例えば図４のグラフに周期Ｔを有さず１回しか出現しないピークがテンプレート関数の示すガウス分布の範囲外に混じっていた場合を考える。

【0036】

たとえこのような事態が生じたとしても、テンプレート関数との相互相関の強さを得ることで、そのような１回しか出現しないピークよりも、周期Ｔで出現するピークを強調する結果を得ることができる。周期Ｔはレーザの走査の周期なので、周期Ｔで出現するピークは、具体的には、Ｎ種類のイベント検出信号である。なお、強調するとは具体的には、より相関の強度が強い結果を得る、ということである。なお、周期Ｔを有さず１回しか出現しないピークはノイズの一例である。

【0037】

したがって、相互相関の強さを得る処理は、レーザの走査に起因して生じたイベント検出信号を抽出する処理である。

【0038】

三次元計測装置３は、こうして得られた相互相関の強さを示す結果に基づき、単位期間内に出現するピークのうち、相互相関の強さに関する所定の条件である強度条件を満たすピークの位相を得る。強度条件の例の詳細は後述するが、例えば、相互相関の強さが閾値以上のピーク、という条件である。

【0039】

上述したように、相互相関の強さを得ることにより、周期Ｔで出現するピークであるＮ種類のイベント検出信号が抽出される。そして、図６が示すように、相互相関の強さを示す情報は、具体的には、単位期間におけるＮ種類のイベント検出信号のタイミングを示す情報である。したがって、相互相関の強さを得ることにより、Ｎ種類のイベント検出信号それぞれについて、起因となったレーザの照射の位相を示す情報を得ることができる。

【0040】

なお、照射対象９が例えばＮ層の半透明の物質で構成されるものである場合、Ｎ種類のイベント検出信号は、それぞれＮ層のいずれかの層に１対１に対応する。いずれかの層に対応するとは、Ｎ種類のイベント検出信号のうちの第ｎ番目（ｎは１以上Ｎ以下の整数）のイベント検出信号はＮ層のうちの第ｎの層で散乱されたレーザに起因して生じたイベント検出信号である、ということを意味する。

【0041】

このようなことが言える理由を説明する。１つのイベント素子２１０には、照射の位相の異なる複数のレーザが入射し得る。しかしながら、もしもレーザの反射される層が照射の位相に依らず同一であれば、反射角は入射角に比例するという原則からして、異なる位相で照射されたレーザは同一のイベント素子２１０には入射しない。したがって、１つのイベント素子２１０の出力するＮ種類のイベント検出信号のそれぞれは、異なる層で反射されたレーザに起因して生じた信号である。

【0042】

なお照射対象９は必ずしもＮ層の半透明の物質で構成されるものである必要は無い。照射対象９はＮ層に代えて、レーザを散乱する部位（以下「電磁波散乱部位」という。）をＮ箇所有する物質であればよい。このような場合、Ｎ種類のイベント検出信号のそれぞれは、互いに異なる電磁波散乱部位で散乱されたレーザに起因して生じたイベント検出信号である。すなわち、Ｎ箇所の電磁波散乱部位とＮ種類のイベント検出信号とは１対１に対応する。

【0043】

三次元計測システム１００ではこのようにして、イベント素子２１０ごとに各種類のイベント検出信号を生じさせたレーザの照射の位相を推定し、推定した結果に基づいて、照射対象９の三次元形状を推定する。ここまでで三次元計測システム１００の概要の説明を終了する。

【0044】

＜より詳細な説明＞
図１～図６を含む図１～図１０を用いて改めて三次元計測システム１００を説明する。上述したように三次元計測システム１００は、照射装置１、イベントビジョンベースカメラ２及び三次元計測装置３を備える。三次元計測システム１００は、照射対象９について三次元計測を行う。照射対象９について三次元計測を行うとは、照射対象９の三次元形状を推定することを意味する。後述するように三次元形状の推定は三次元計測装置３が行う。したがって、照射対象９は三次元計測システム１００又は三次元計測装置３の計測対象である。

【0045】

照射装置１は、照射対象９に対してレーザを照射するものであってレーザを所定の周期Ｔで走査するものである。すなわち照射装置１は、周期Ｔが経過すると照射対象９に対する１回の走査を終える、ということを繰り返す。

【0046】

照射対象９は、複数の位置で入射する照射装置１の照射するレーザを散乱可能なものであればどのようなものであってもよい。すなわち、照射対象９は、照射装置１の照射するレーザの周波数に対して０より大きく１より小さい所定の反射率を有する部位を複数の位置に有するものであればどのようなものであってもよい。照射対象９は、例えばＮ層の散乱体（Ｎは１以上の整数）である。Ｎ層の各層は、０より大きく１より小さい所定の反射率を有するものであればどのようなものであってもよい。なお、物質では一般にクラーマス・クロニッヒの関係が成り立つため、完全吸収体で無ければ必ず散乱が生じる。

【0047】

図２についてより詳細に説明する。図２はより具体的には、照射装置１の照射するレーザを、照射装置１との間に散乱体の無い状況で配置されたカメラで直接受光する場面において、レーザが到達するカメラ上の位置の時間変化を示す図である。図２の縦軸の向きと横軸の向きとは、実空間における互いに直交する２つの向きである。点Ｄ１は、１つの周期の開始の時間に照射されたレーザがカメラに到達した際のカメラ上の位置を示す。図２の矢印の向きは、時間経過にしたがって移動する、レーザのカメラ上の到達の位置を示す。このような変化が生じるのは、照射装置１がレーザを照射する角度が時間に応じて変化するためである。

【0048】

このように、照射装置１がレーザを照射する角度と、照射の位相とは１対１の関係にある。なお、走査の開始時間は単位期間の開始時間であり、走査の終了時間は単位期間の終了時間である。

【0049】

図１には、照射装置１の照射するレーザの照射のタイミング、すなわち照射の角度、が異なる２種類のレーザと、各レーザが照射されてからイベントビジョンベースカメラ２に到達するまでの経路とが示されている。すなわち図１には、第１の位相に照射されたレーザと、第１の位相と異なる第２の位相に照射されたレーザとの経路が示されている。

【0050】

図１にはレーザの光路として３つの光路が示されている。第１の光路は、照射装置１から照射対象９の部位Ｒ１に到達した後に部位Ｒ１で散乱されてイベントビジョンベースカメラ２に到達する光路である。第２の光路は、照射装置１から照射対象９の部位Ｒ１に到達した後に部位Ｒ１を透過して照射対象９の部位Ｒ２に到達し、部位Ｒ２で散乱されて照射対象９の部位Ｒ３を通過してイベントビジョンベースカメラ２に到達する光路である。第３の光路は、照射装置１から照射対象９の部位Ｒ３に到達した後に部位Ｒ３で散乱されてイベントビジョンベースカメラ２に到達する光路である。

【0051】

第１の光路と第２の光路とは、例えば第１の位相に照射されたレーザの光路の一例である。この場合、第３の光路は、第２の位相に照射されたレーザの光路の一例である。

【0052】

照射装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。照射装置１は、プログラムの実行によって制御部１１、ユーザインタフェース１２、光源１３及び記憶部１４を備える装置として機能する。

【0053】

より具体的には、照射装置１は、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、照射装置１は、制御部１１、ユーザインタフェース１２、光源１３及び記憶部１４を備える装置として機能する。

【0054】

制御部１１は、照射装置１が備える各種機能部の動作を制御する。制御部１１は、例えば光源１３の動作を制御する。制御部１１による制御により光源１３は、レーザの照射を開始する。また制御部１１による制御により光源１３は、レーザの照射を終了する。制御部１１による制御により光源１３は、レーザの照射の角度を変更する。レーザの照射の角度が時間に応じて変更されることで、例えば図２に示すような走査が行われる。

【0055】

ユーザインタフェース１２は、例えばマウスやキーボード、タッチパネル等の入力装置を含んで構成される。ユーザインタフェース１２は、これらの入力装置を照射装置１に接続するインタフェースを含んで構成されてもよい。また、ユーザインタフェース１２は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。ユーザインタフェース１２は、これらの表示装置を三次元計測装置３に接続するインタフェースを含んで構成されてもよい。

【0056】

光源１３は、レーザ光を発する光源である。すなわち光源１３はレーザ装置である。

【0057】

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は、照射装置１に関する各種情報を記憶する。

【0058】

イベントビジョンベースカメラ２は、各画素の輝度変化を非同期で検出し、画素の輝度変化を検出したことを示す信号を検出した画素の位置を示す情報と検出した時間を示す情報とに組み合わせて出力するカメラである。すなわちイベントビジョンベースカメラ２は、いわゆるイベントビジョンベースカメラである。

【0059】

以下、輝度変化を検出したことを示す信号をイベント検出信号という。輝度の変化には、輝度が増大する変化と輝度が減少する変化とがある。そのため、輝度の変化には方向がある。輝度の変化の方向は、例えば輝度が増大する場合には正の方向であり、輝度が減少する場合には負の方向である。したがって、イベント検出信号は、輝度の変化の方向を示す情報も含む。三次元計測装置３は、入力されたイベント検出信号の全てを照射対象９の三次元形状の推定に用いる必要は無く、例えば輝度の変化の２方向のうちの一方のイベント検出信号を用い、他方のイベント検出信号を用いなくてもよい。

【0060】

このように、イベントビジョンベースカメラ２は、イベント検出信号と、画素の輝度変化を検出した画素を示す情報（以下「検出画素情報」という。）と、画素の輝度変化を検出した時間を示す情報（以下「検出時間情報」という。）とを出力する。検出画素情報は、画素の輝度変化を検出した画素を示す情報であるので、イベント検出信号を出力した画素を示す情報である。検出時間情報は、画素の輝度変化を検出した時間を示す情報であるので、イベント検出信号が出力された時間を示す情報である。

【0061】

イベントビジョンベースカメラ２において画素はアレイ状に配置され受光部２１を形成する。イベントビジョンベースカメラ２に入射する電磁波は例えば照射装置１の照射したレーザであって照射対象９によって伝搬方向が変化したレーザである。

【0062】

図３についてより詳細に説明する。上述したようにイベント素子２１０は光電変換により電気信号を生成し、生成された電気信号が具体的にはイベント検出信号である。光電変換は、フェルミの黄金則等の量子力学に支配される現象であるので、イベント検出信号は受光した電磁波の強度に応じた確率で確率的に出力される信号である。イベント素子２１０の１つ１つが、イベントビジョンベースカメラ２の１つ１つの画素である。

【0063】

イベント検出信号は受光した電磁波の強度に応じた確率で確率的に出力される信号であるので、イベント検出信号は、たとえイベント素子２１０が受光したとしても単位期間内に発生しない場合がある。イベント検出信号が発生する現象を発火ともいう。以下、イベント検出信号を発生させたイベント素子２１０を、発火したイベント素子２１０ともいう。

【0064】

レーザの光路と発火するイベント素子２１０との関係について説明する。照射対象９の三次元形状を推定する場合には、発火するイベント素子２１０に対して照射の角度が一意に定まること望ましい。理由は以下の通りである。あるイベント素子２１０がどの照射の角度において発火したかという情報が得られれば、照射装置１と各イベント素子２１０との位置の関係も用いて、ある位置で散乱されたレーザがどの角度から照射されたか推測可能である。そしてその結果、照射対象９の各層における三次元形状の推定が可能である。この理由により、発火するイベント素子２１０に対して照射の角度が一意に定まることが望ましい。すなわち、１つのイベント素子２１０についての時系列であって発火の有無を示すデータの時系列は、単位期間に１つのみの発火を示す時系列であることが望ましい。以下、発火の有無示すデータの時系列をイベント時系列という。

【0065】

しかしながら上述したように照射対象９で散乱される部位が異なるために、異なる照射の角度であっても同じイベント素子２１０に入射するレーザが存在し得る。その結果、１つのイベント素子２１０のイベント時系列は、起因となるレーザの照射の位相が異なる複数種類の発火が１又は複数の単位期間に生じることを示す、場合がある。また、発火は上述したような光電変換によって生成されるが、よく知られているように、熱雑音（すなわちフォトン）も電子に変換される。その結果、受光していないにも関わらず発火が生じないこともある。その結果、イベント時系列を解析しなければ、発火がレーザの受光によって生じたのかノイズによって生じたのかということや、レーザの受光によって生じた場合にはどの照射の位相に属するのか、ということなどの発火の起因がわからない。

【0066】

そこで後述する三次元計測装置３は、各イベント素子２１０のイベント時系列に含まれる発火の起因の推定を行う。ただし推定では全ての発火について起因を推定する必要は無い。例えば１つの照射の位相が推測されるだけでもよい。起因の異なる複数の発火をについて位相を推定することで、例えば照射対象９が複数の層を有する場合には、複数の層について三次元計測を行うことができる。また、起因の異なる複数の発火をについて位相を推定することで、例えば照射対象９が複数の電磁波散乱部位を有する場合には、複数の電磁波散乱部位について３次元空間内における位置を推定することができる。

【0067】

三次元計測装置３は、イベント検出信号と検出画素情報と検出時間情報とに基づき、照射対象９の三次元形状を推定する。より具体的には、三次元計測装置３は、照射装置１の照射の位相及び角度に関する情報（以下「照射設定情報」という。）と、照射装置１と照射対象９とイベントビジョンベースカメラ２の各画素との位置関係を示す情報（以下「系位置関係情報」という。）と、にも、基づき、照射対象９の三次元形状を推定する。

【0068】

次に図４～図６を用いて三次元計測装置３が実行する処理であって照射対象９の三次元形状の推定の処理を説明する。三次元計測装置３は、イベント検出信号と検出画素情報と検出時間情報とに基づき、画素ごとに、発火の有無を示すデータ（以下「発火有無データ」という。）の時系列（以下「イベント時系列」という。）を生成する。すなわち、イベント時系列のサンプルは、発火有無データである。以下、イベント検出信号と検出画素情報と検出時間情報とに基づき、画素ごとにイベント時系列を生成する処理を、イベント時系列生成処理という。

【0069】

図４についてより詳細に説明する。図４に示すグラフは、イベント時系列のグラフの一例である。イベント時系列のグラフは、イベント検出信号がイベントビジョンベースカメラ２出力されたタイミング（すなわち発火のタイミング）を示す。したがって図４は、より具体的には、周期Ｔの単位期間が６回生じた場合における発火のタイミングを示す。

【0070】

図４は、１つの単位期間に複数回、発火が生じることを示す。複数回の発火が生じる理由は、例えば上述の図１で説明したような、照射対象９において散乱される部位の違いがあるために第１の位相に照射されたレーザの散乱と、第２の位相に照射されたレーザの散乱とが、１つのイベント素子２１０に入射するためである。

【0071】

三次元計測装置３は、イベント時系列と、テンプレート関数との相互相関の強さ（以下「イベント相関強度」という。）の時間変化を示す情報を取得する。以下、イベント時系列と、テンプレート関数とに基づき、イベント相関強度の時間変化を示す情報（以下「相関強度時系列」という。）を取得する処理を、イベント相関強度取得処理という。テンプレート関数は、例えば、周期Ｔで繰り返されるガウス関数を表現する関数である。

【0072】

図５についてより詳細に説明する。図５に示すテンプレート関数は、５回より大きく６回以下の単位期間が存在することを示す。図５は、各単位期間に１つのガウス関数が生じていることを示す。各単位期間のガウス関数は単位期間によらず同じ半値幅を有する。また、各単位期間のガウス関数のピークの時間の各単位期間の開始の時間との差は、単位期間によらず同じである。すなわち、ガウス関数のピークの位相は、単位期間によらず同じである。

【0073】

図６についてより詳細に説明する。図６は、実施形態における相関強度時系列を示すグラフの一例を示す図である。相互相関強度時系列のグラフを表現する関数は、例えばテンプレート関数とイベント時系列との畳み込みにより得られる相互相関関数である。相互相関関数は、二つの信号の類似性と位相差とを示す。二つの信号が類似していてその位相差がτであるとき、相互相関関数は時刻τの位置に類似性に応じた強度のピークを持つ。テンプレート信号の位相を０とする場合、位相差はすなわちイベント時系列の位相を表す。したがって、テンプレート関数との相互相関の強さを得る処理は、出力された各イベント検出信号の位相を求める処理に相当する。

【0074】

ガウス関数の半値幅とピークの時間との各値は、ノイズの量と、レイテンシとに応じて予め定められた値である。ノイズの量とは、イベント検出信号に生じるノイズの量である。レイテンシとは、イベントビジョンベースカメラ２に入射された電磁波の輝度変化が生じた実際の時刻とイベント検出信号に記録される時刻と違いであって確率的に変動する違いである。

【0075】

上述したようにイベント検出信号は、さまざまな要因により確率的にイベントビジョンベースカメラ２から出力されるので、レイテンシはイベント検出信号が出力される確率に依存する。また、上述したように、イベント検出信号は、フェルミの黄金則等の量子力学やイベントビジョンベースカメラ２が単位時間に出力できるイベント検出信号の量に依存する。そのため、イベント検出信号は受光した電磁波の強度に応じた確率で確率的に出力される信号である。このようにイベント検出信号の出力は受光した電磁波の強度に応じた確率的な現象であるので、レイテンシという指標を定義可能である。

【0076】

レイテンシが低いほど、すなわち、イベント検出信号が出力されるまでの時間が長いほど、ガウス関数の各単位期間内におけるピークの位置をより遅い時間にすることが望ましい。理由は以下の通りである。上述したように、周期Ｔで繰り返されるガウス関数との相互相関の強さを得る処理は、各発火有無データの属する単位期間を判定する処理に相当する。したがって、ガウス関数のピークの時間はレイテンシの時間に略一致することが望ましい。

【0077】

また、フーリエ変換の理論で示されるように、スペクトルの時間幅が狭いほど周波数幅は広い。したがって、図５のガウス関数の半値幅を広げるほど、周波数幅を狭めることができる。周波数幅が狭まるということは、目的の周波数成分以外の信号をより一層除去する処理に相当する。したがって、ガウス関数の半値幅を広げるほどノイズの影響を軽減することができる。そのため、ガウス関数の半値幅は、ノイズの量が多いほど広いことが望ましい。このように、テンプレート関数はバンドパスの効果を奏する。

【0078】

ここまでテンプレート関数を、ガウス関数の繰り返しを表現する関数として説明してきた。しかしながら、テンプレート関数は、周期Ｔで繰り返される関数を表現する関数であればどのようなものであってもよく、ガウス関数以外の関数の繰り返しを表現する関数であってもよい。

【0079】

三次元計測装置３は、画素ごとに、得られた相関強度時系列に基づき発火を生じさせた照射の位相を推定する。より具体的には、相関強度時系列の時間軸上における単位期間の開始時間の位置を示す情報（以下「開始時間位置情報」という。）に基づき、相関強度時系列が示すピークであって任意の１つの単位期間に属するピークのうちのイベント相関強度の強さに関する所定の条件である上述の強度条件を満たすピーク、の位相を取得する。

【0080】

強度条件は、相関強度時系列が示す複数のピークのうち、照射装置１が照射したレーザの受光に起因した発火を示すピークのみを選別可能な条件であればどのような条件であってもよい。強度条件は、例えばイベント相関強度の強さが強い順番に上からＮ番目（Ｎは１以上の予め定められた整数）という条件である。強度条件は、例えば、イベント相関強度の強さが予め定められた強さ以上という条件であってもよい。強度条件は、例えば相互相関関数の単位期間内の極大値のうち、閾値以上であるもの、という条件（以下「極値条件」という。）であってもよい。例えば強度条件が極値条件である場合には、予め定められた数に限らずピークの位相を取得することができる。その結果、三次元計測装置３は、照射対象９の三次元形状を、位相を取得するピークの数を予め定めた場合よりも、より精度よく推定することができる。

【0081】

イベント相関強度は、相互相関であるので、発火有無データのグラフの縦軸の値の絶対値が大きいほど大きな値である。そして、ノイズについては、上述したように予めノイズの影響を考慮して設定された半値幅を有するテンプレート関数によってバンドパスに相当する処理がなされているために相関強度の強さが低い。したがって、強度条件を満たす相互強度時系列のピークの位置は、照射装置１が照射したレーザの受光に起因した発火のタイミングである。そのため、強度条件を満たす相互強度時系列のピークの位相は、照射装置１が照射したレーザの受光に起因した発火の生じた位相である。例えば強度条件が、イベント相関強度の強さが１番目強いという条件である場合、強度条件を満たすピークの位置は照射装置１が照射したレーザの受光に起因した発火のタイミングを示す。

【0082】

ここで、レーザを受光したにも関わらず発火が生じない事象である欠損事象の影響について説明する。欠損事象は出現頻度の低い事象である。そのため、テンプレート関数の作用の結果、テンプレート関数の有するバンドパスの機能によって欠損事象のイベント相関強度の強さは低くなる。したがって、三次元計測装置３は、欠損事象が存在したとしても、照射装置１が照射したレーザの受光に起因した発火のタイミングを推定することができる。なお、イベントビジョンベースカメラ２が単位時間に出力できるイベント検出信号の量には制限があるためにイベント検出信号が少しずつしか出力されず、その結果、単位期間を超えるレイテンシでイベント検出信号が出力されてしまう事象は欠損事象の一例である。

【0083】

このように三次元計測装置３は、相関強度時系列が示すピークであって任意の１つの単位期間に属するピークのうちの強度条件を満たすピークの位相を、発火の生じた位相として取得する。以下、相関強度時系列に基づいて発火の生じた位相を推定する処理を発火位相推定処理という。前述したように照射の位相と照射の角度とは１対１の関係にあるので、発火の生じた位相を推定することは、発火を引き起こしたレーザの照射の角度を推定することである。

【0084】

三次元計測装置３は、発火位相推定処理の結果に基づき、照射対象９の三次元形状を推定する。具体的には例えば、三次元計測装置３は、画素ごとに取得した１又は複数の発火の生じた位相を示す情報と、照射設定情報と、系位置関係情報とに基づき、照射対象９の三次元形状を推定する。例えば、照射設定情報に基づいて各画素の各ピークがそれぞれどの角度に照射されたレーザによって生じたものかを推定し、その推定の結果と系位置関係情報とに基づき、幾何光学等の光学理論にしたがって、照射対象９の三次元形状を推定する。以下、このように、発火位相推定処理の結果と、照射設定情報と、系位置関係情報とに基づき、照射対象９の三次元形状を推定する処理を、形状推定処理、という。

【0085】

図７は、実施形態の三次元計測装置３のハードウェア構成の一例を示す図である。三次元計測装置３は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部３１を備え、プログラムを実行する。三次元計測装置３は、プログラムの実行によって制御部３１、入力部３２、通信部３３、記憶部３４及び出力部３５を備える装置として機能する。

【0086】

より具体的には、三次元計測装置３は、プロセッサ９３が記憶部３４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、三次元計測装置３は、制御部３１、入力部３２、通信部３３、記憶部３４及び出力部３５を備える装置として機能する。

【0087】

制御部３１は、三次元計測装置３が備える各種機能部の動作を制御する。制御部３１は、例えばイベント時系列生成処理を実行する。制御部３１は、例えばイベント相関強度取得処理を実行する。制御部３１は、例えば発火位相推定処理を実行する。制御部３１は、例えば形状推定処理を実行する。

【0088】

入力部３２は、例えばマウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部３２は、これらの入力装置を三次元計測装置３に接続するインタフェースを含んで構成されてもよい。入力部３２には、例えばテンプレート関数が含むガウス関数の半値幅とピークの位相とのいずれか一方又は両方の値を示す情報が入力されてもよい。ユーザは入力部３２を介して、テンプレート関数が含むガウス関数の半値幅とピークの位相とのいずれか一方又は両方の値を変更してもよい。

【0089】

通信部３３は、三次元計測装置３を外部装置に接続するためのインタフェースを含んで構成される。通信部３３は、有線又は無線を介して外部装置と通信する。外部装置は例えば開始時間位置情報の送信元の装置である。開始時間位置情報の送信元の装置は例えば照射装置１である。通信部３３は、開始時間位置情報の送信元の装置との通信により、開始時間位置情報を取得する。

【0090】

外部装置は、例えばイベントビジョンベースカメラ２である。通信部３３は、イベントビジョンベースカメラ２との通信によって、イベント検出信号と、検出画素情報と、検出時間情報とを取得する。

【0091】

外部装置は、例えば、照射設定情報の送信元の装置である。通信部３３は、照射設定情報の送信元の装置との通信によって照射設定情報を取得する。外部装置は、例えば、系位置関係情報の送信元の装置である。通信部３３は、系位置関係情報の送信元の装置との通信によって系位置関係情報を取得する。外部装置は、例えばテンプレート関数を示す情報（以下「テンプレート情報」という。）の送信元の装置である。通信部３３は、テンプレート情報の送信元の装置との通信によって、テンプレート情報を取得する。

【0092】

なお、照射設定情報、系位置関係情報又はテンプレート情報は、予め記憶部３４に記憶済みであってもよいし、入力部３２を介して入力されてもよい。

【0093】

記憶部３４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部３４は、三次元計測装置３に関する各種情報を記憶する。記憶部３４は、例えば制御部３１が実行する処理の結果生じた各種情報を記憶する。記憶部３４は、例えば上述したように、予め照射設定情報、系位置関係情報又はテンプレート情報を記憶済みであってもよい。

【0094】

出力部３５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部３５は、これらの表示装置を三次元計測装置３に接続するインタフェースを含んで構成されてもよい。

【0095】

図８は、実施形態の三次元計測装置３が備える制御部３１の機能構成の一例を示す図である。制御部３１は、イベント情報取得部３１１、イベント時系列取得部３１２、イベント相関強度取得部３１３、発火位相推定部３１４、形状推定部３１５、通信制御部３１６、記憶制御部３１７及び出力制御部３１８を備える。

【0096】

イベント情報取得部３１１は、イベント情報を取得する。イベント情報は、イベント検出信号と、そのイベント検出信号を出力した画素を示す検出画素情報と、そのイベント検出信号が出力された時間を示す検出時間情報と、を含む。

【0097】

イベント時系列取得部３１２は、画素ごとのイベント時系列を取得する。イベント時系列取得部３１２は、例えば画素ごとにイベント時系列生成処理を実行することでイベント時系列を取得する。イベント相関強度取得部３１３は、イベント相関強度取得処理を実行する。発火位相推定部３１４は、発火位相推定処理を実行する。形状推定部３１５は、形状推定処理を実行する。

【0098】

通信制御部３１６は通信部３３の動作を制御する。記憶制御部３１７は記憶部３４の動作を制御する。出力制御部３１８は出力部３５の動作を制御する。

【0099】

図９は、実施形態の三次元計測システム１００において照射装置１及びイベントビジョンベースカメラ２が実行する処理の流れの一例を示すフローチャートである。

【0100】

照射装置１がレーザの照射を開始する（ステップＳ１０１）。すなわち、照射装置１が照射対象９に対するレーザの照射を開始する。次に、照射対象９で散乱されたレーザをイベントビジョンベースカメラ２が受光する（ステップＳ１０２）。イベントビジョンベースカメラ２が、受光強度に応じた確率でイベント検出信号を出力する（ステップＳ１０３）。照射装置１の備える制御部１１が、照射に関する予め定められた所定の終了条件（以下「照射終了条件」という。）を満たすか否か判定する（ステップＳ１０４）。照射終了条件が満たされる場合（ステップＳ１０４：ＹＥＳ）、照射が終了する。一方、照射終了条件が満たされない場合（ステップＳ１０４：ＮＯ）、照射装置１が照射の角度を変更する（ステップＳ１０５）。ステップＳ１０１以降、レーザは連続して照射され続けているので照射の角度の変更により変更後の角度で照射されたレーザが照射対象９に照射される。照射終了条件は、例えば、所定の回数の走査が完了した、という条件である。照射終了条件は、例えば所定の期間が経過した、という条件であってもよい。

【0101】

図１０は、実施形態の三次元計測システム１００において三次元計測装置３が実行する処理の流れの一例を示すフローチャートである。

【0102】

イベント情報取得部３１１が、イベント情報を、所定の期間、取得する（ステップＳ２０１）。所定の期間は予め定められた期間であってもよいし、照射装置１がレーザの照射を開始してから終了するまでの期間であってもよい。

【0103】

ステップＳ２０１の次に、イベント時系列取得部３１２が、イベント時系列を取得する（ステップＳ２０２）。ステップＳ２０２においてイベント時系列取得部３１２は、例えば画素ごとのイベント時系列生成処理の実行により、イベント情報に基づき、イベントビジョンベースカメラ２の画素ごとのイベント時系列を生成する。次に、イベント相関強度取得部３１３が、画素ごとにイベント相関強度取得処理を実行する（ステップＳ２０３）。すなわち、イベント相関強度取得部３１３が、イベント時系列と、テンプレート関数とに基づき、画素ごとの相関強度時系列を取得する。ステップＳ２０３においてテンプレート関数は、例えば記憶部３４から読み出される。

【0104】

次に発火位相推定部３１４が、画素ごとに発火位相推定処理を実行する（ステップＳ２０４）。すなわち、発火位相推定部３１４が、相関強度時系列に基づいて画素ごとの発火の生じた位相を推定する。次に形状推定部３１５が、形状推定処理を実行する（ステップＳ２０５）。すなわち、形状推定部３１５が、発火位相推定処理の結果と、照射設定情報と、系位置関係情報とに基づき、照射対象９の三次元形状を推定する。

【0105】

なお、ステップＳ２０２～ステップＳ２０５の処理は、ステップＳ１０１～ステップＳ１０５と並行して実行されてもよいし、ステップＳ１０１～ステップＳ１０５の処理の終了後に実行されてもよい。ステップＳ２０１は、ステップＳ１０１の開始前に実行されていてもよい。ただし、この場合、ステップＳ１０１の開始までに取得されたイベント検出信号は、ノイズによって発生したイベント検出信号であるため、照射対象９の形状との相関が無い信号である。

【0106】

このように構成された実施形態の三次元計測装置３は、周期Ｔの所定の関数であるテンプレート関数を用い、テンプレート関数と発火の有無示すデータの時系列であるイベント時系列との相互相関の強さに基づいて、照射対象９の三次元形状を推定する。上述したようにテンプレート関数を用いることで、ノイズの影響や欠損事象の影響が抑制され、レーザの受光に起因する発火についてレーザの照射の位相の推定が可能である。レーザの受光に起因する発火についてレーザの照射の位相が推定されれば、上述したように三次元計測の精度が高まる。そのため、三次元計測装置３は、イベントビジョンベースカメラを用いた三次元計測における計測の精度を向上させることができる。

【0107】

このように構成された実施形態の三次元計測システム１００は、三次元計測装置３を備える。そのため、三次元計測システム１００は、イベントビジョンベースカメラを用いた三次元計測における計測の精度を向上させることができる。

【0108】

（変形例）
三次元計測装置３は、イベント相関強度取得処理と発火位相推定処理との実行に代えて、クラスタ推定処理を実行してもよい。クラスタ推定処理では、イベント時系列が示す各発火をk-means等のクラスタリングの方法でクラスタし、クラスタリングの結果に基づきクラスタ間の距離が周期Ｔであるクラスタを推定する処理が実行される。クラスタ推定処理では次に、推定されたクラスタについて、各クラスタの要素の値と開始時間位置情報とに基づき各要素の位相を推定することで、レーザの受光に起因する発火についてレーザの照射の位相を推定する処理が実行される。前述したように照射の位相と照射の角度とは１対１の関係にあるので、レーザの照射の位相を推定することは、レーザの照射の角度を推定することである。このようにして、クラスタ推定処理では、レーザの受光に起因する発火についてレーザの照射の位相を推定する。

【0109】

なお、クラスタ推定処理におけるクラスタ間の距離の定義は、クラスタに属する任意の２つの要素の時間軸方向の値の差の集合において最も出現頻度の高い時間差、という定義である。レーザの受光に起因する発火であれば、周期Ｔで生じる頻度が高いので、クラスタ推定処理の実行によってもイベント相関強度取得処理と発火位相推定処理との実行と同様に、レーザの受光に起因する発火についてレーザの照射の位相の推定行われる。

【0110】

なお、イベント時系列が示す各発火とは、イベント時系列の各サンプルのうち発火が有ることを示すサンプルを意味する。以下、イベント相関強度取得処理と発火位相推定処理との実行に代えて、クラスタ推定処理を実行する制御部３１を制御部３１ａという。

【0111】

図１１は、変形例における制御部３１ａの構成の一例を示す図である。制御部３１ａは、イベント相関強度取得部３１３及び発火位相推定部３１４に代えて、クラスタ推定部３１９を備える点で制御部３１と異なる。

【0112】

図１２は、変形例におけるクラスタ推定処理を実行する三次元計測装置３が実行する処理の流れの一例を示すフローチャートである。図１０と同様の処理については、図１０と同じ符号を付すことで説明を省略する。

【0113】

ステップＳ２０１の処理が実行された次に、ステップＳ２０２の処理が実行される。ステップＳ２０２の実行の次に、クラスタ推定処理が実行される（ステップＳ２０３ａ）。ステップＳ２０３ａの次に、形状推定部３１５は、クラスタ推定処理の結果に基づき、照射対象９の三次元形状が推定する（ステップＳ２０５ａ）。具体的には例えば、三次元計測装置３は、クラスタ推定処理によって得られた画素ごとに取得した１又は複数の発火の生じた位相を示す情報と、照射設定情報と、系位置関係情報とに基づき、照射対象９の三次元形状を推定する。

【0114】

なお、三次元計測装置３は、走査の周期Ｔを予め記憶部３４に記憶済みであってもよいし、例えば、イベント時系列を周波数変換することでピークの位置を得てもよい。イベント時系列を周波数変換することでピークの位置を得る処理は、例えば制御部３１又は制御部３１ａが実行する。イベント時系列を周波数変換することでピークの位置を得る処理は、より具体的には、例えばクラスタ推定部３１９が実行する。イベント時系列を周波数変換することでピークの位置を得る処理は、より具体的には、例えば発火位相推定部３１４が実行する。

【0115】

なお、イベント検出信号は、イベントビジョンベースカメラ２が出力してから三次元計測装置３に入力するまでに、ノイズ除去フィルタ等を通過してもよい。このような場合、ノイズがより一層軽減されたイベント検出信号を三次元計測装置３は取得するので、照射対象９の形状の推定の精度がより一層向上する。

【0116】

三次元計測システム１００は複数のイベントビジョンベースカメラ２を備えてもよい。このような場合、三次元計測装置３によるレーザの受光に起因する発火についてレーザの照射の位相を推定の結果に基づき、照射対象９の電磁波に対する角度依存の応答関数を推定することも可能である。なぜなら、イベントビジョンベースカメラ２が複数存在するので、同一の部位で反射された反射光で反射方向の異なる反射光の情報を得ることができるからである。応答関数の推定の処理は、制御部３１又は制御部３１ａが実行する。より具体的には、応答関数の推定の処理は、例えば形状推定部３１５が実行してもよい。

【0117】

また、三次元計測システム１００が複数のイベントビジョンベースカメラ２を備える場合、三次元計測システム１００が１つのイベントビジョンベースカメラ２を備える場合よりも照射対象９の形状の推定についてロバストな推定が可能である。

【0118】

なお、三次元計測システム１００が複数のイベントビジョンベースカメラ２を備える場合、必ずしもテンプレート関数を用いる必要は無い。三次元計測システム１００が複数のイベントビジョンベースカメラ２を備える場合には、テンプレート関数とイベント時系列との相互相関の強さを得る処理に代えて、各イベントビジョンベースカメラ２が生成したイベント時系列同士の相互相関の強さを得る処理を実行してもよい。

【0119】

なお、照射装置１、イベントビジョンベースカメラ２及び照射対象９の配置は必ずしも図１に示す配置でなくてもよい。照射装置１、イベントビジョンベースカメラ２及び照射対象９は、照射装置１、イベントビジョンベースカメラ２の視線とのなす角が９０度以上であってもよい。このような場合、イベントビジョンベースカメラ２は後方散乱を受光する。

【0120】

なお、照射対象９の内部で屈折率が非均一である場合には、形状推定部３１５は、照射対象９の内部の屈折率の分布を示す情報（以下「屈折率分布情報」という。）を用いて、マクスウェル方程式等を用いた数値解析により、照射対象９の形状を推定してもよい。なお、屈折率分布情報は、予め記憶部３４に記憶済みであってもよいし、ユーザが入力部３２を介して入力してもよい。

【0121】

なお、照射装置１及び三次元計測装置３は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。

【0122】

なお、ここまで三次元計測システム１００を、レーザの照射による三次元計測が実行される場合を例に説明を行ってきたが、三次元計測は電磁波の照射によって行われればよく、必ずしもレーザの照射によって行われる必要は無い。

【0123】

また、ここまで、照射装置１について電磁波を照射する角度を変えて、電磁波を照射する装置として説明を行った。しかしながら、照射装置１は、電磁波を照射する角度ではなく位置を変えて照射してもよい。例えば照射装置１は液晶又はＤＬＰ（Digital Lighting Projection）方式のプロジェクタであってもよく、このような場合、１画素ごと又は１ラインごとに画素又はラインが順番に、異なる位相では異なる画素又はラインが点灯するという条件が満たされるように点灯してもよい。こうした照射の位置の変化であっても、図２に例示した走査を行うことが可能である。また、照射装置１は、位置だけでなく角度と位置とを変えて電磁波を、異なる位相では角度と位置との組が異なるという条件が満たされるように照射してもよい。その場合であっても、図２に例示した走査を行うことが可能である。

【0124】

このように、照射装置１が所定の周期で走査の対象を走査するように、電磁波を照射する角度又は位置を変えて電磁波を照射する装置であればどのようなものであってもよい。

【0125】

照射装置１が必ずしも角度に限らず、角度又は位置を変えて電磁波を照射する場合、位相の推定とは電磁波の照射の角度又は位置を推定することである。したがって、位相を推定する発火位相推定部３１４は、照射装置１の電磁波の照射の状況に応じて、その電磁波の照射の状況を推定する。例えば、照射装置１が角度のみを変えて電磁波を放射する装置であるならば発火位相推定部３１４は、照射の角度を推定する装置である。照射装置１が位置を変えて電磁波を放射する装置であるならば発火位相推定部３１４は、照射の位置を推定する。照射装置１が角度及び位置を変えて電磁波を放射する装置であるならば発火位相推定部３１４は、照射の角度及び位置を推定する。このように、発火位相推定部３１４は、相関強度時系列に基づき、各画素の検出する光が照射装置１から照射された角度又は位置を推定する。

【0126】

なお、イベント時系列取得部３１２は、イベント時系列生成処理を実行することでイベント時系列を得ることに代えて、外部装置によるイベント時系列生成処理の実行により得られた各画素のイベント時系列、を取得してもよい。なお、発火位相推定部３１４は、照射状況推定部の一例である。

【0127】

なお、照射装置１及び三次元計測装置３の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0128】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0129】

１００…三次元計測システム、 １…照射装置、 ２…イベントビジョンベースカメラ、 ３…三次元計測装置、 １１…制御部、 １２…ユーザインタフェース、 １３…光源、 １４…記憶部、 ２１…受光部、 ２１０…イベント素子、 ３１…制御部、 ３２…入力部、 ３３…通信部、 ３４…記憶部、 ３５…出力部、 ３１１…イベント情報取得部、 ３１２…イベント時系列取得部、 ３１３…イベント相関強度取得部、 ３１４…発火位相推定部、 ３１５…形状推定部、 ３１６…通信制御部、 ３１７…記憶制御部、 ３１８…出力制御部、 ３１９…クラスタ推定部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ、 ９…照射対象

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】