特開 2024-117960 光源識別装置、計測装置、光源識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024117960

(43)【公開日】2024-08-30

(54)【発明の名称】光源識別装置、計測装置、光源識別方法及びプログラム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240823BHJP

【ＦＩ】

G01B11/25 H

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023024077

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】杉本 志織

(72)【発明者】

【氏名】曽我部 陽光

(72)【発明者】

【氏名】北原 正樹

(72)【発明者】

【氏名】久保 尋之

(72)【発明者】

【氏名】戸田 泰我

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065BB05

2F065FF01

2F065FF09

2F065FF42

2F065HH06

2F065HH07

2F065JJ03

2F065JJ26

2F065NN01

2F065NN08

2F065QQ03

2F065QQ24

(57)【要約】

【課題】各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である光源識別装置、計測装置、光源識別方法及びプログラムを提供する。
【解決手段】光源識別装置は、被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化するパターン像の撮像データを取得する取得部と、光源ごとに異なる輝度波形に基づいて、撮像データに基づく画素ごとに、パターン像を投影した光源を識別する光源識別部とを備える。光源識別部は、輝度波形に生じたイベントの頻度に基づいて、光源を識別する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化する前記パターン像の撮像データを取得する取得部と、
前記光源ごとに異なる前記輝度波形に基づいて、前記撮像データに基づく画素ごとに、前記パターン像を投影した前記光源を識別する光源識別部と
を備える光源識別装置。

【請求項2】

前記光源識別部は、前記輝度波形に生じたイベントの頻度に基づいて、前記光源を識別する、請求項１に記載の光源識別装置。

【請求項3】

前記輝度波形の立ち上がりにおける単位時間当たりの輝度増加量の絶対値は、前記輝度波形の立ち下がりにおける単位時間当たりの輝度減少量の絶対値と異なる、請求項１に記載の光源識別装置。

【請求項4】

前記輝度波形は、時間対称である、請求項１に記載の光源識別装置。

【請求項5】

請求項１に記載の光源識別装置と、
第１の前記パターン像及び第２の前記パターン像の前記撮像データと、光源識別結果とに基づいて、第１の前記光源の第１の前記パターン像における第１の特徴点群と、第２の前記光源の第２の前記パターン像における第２の特徴点群とを生成する特徴点群生成部と、
第１の前記特徴点群と第２の前記特徴点群とに基づいて、校正されるパラメータを推定するパラメータ推定部と
を備える計測装置。

【請求項6】

校正された前記パラメータと、第１の前記特徴点群と、第２の前記特徴点群とに基づいて、前記被写体の３次元形状を計測する３次元計測部を備える、請求項５に記載の計測装置。

【請求項7】

光源識別装置が実行する光源識別方法であって、
被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化する前記パターン像の撮像データを取得するステップと、
前記光源ごとに異なる前記輝度波形に基づいて、前記撮像データに基づく画素ごとに、前記パターン像を投影した前記光源を識別するステップと
を含む光源識別方法。

【請求項8】

コンピュータに、
被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化する前記パターン像の撮像データを取得する手順と、
前記光源ごとに異なる前記輝度波形に基づいて、前記撮像データに基づく画素ごとに、前記パターン像を投影した前記光源を識別する手順と
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光源識別装置、計測装置、光源識別方法及びプログラムに関する。

【背景技術】

【0002】

被写体の表面に光源（プロジェクタ等の照明装置）の画素から光が投影され、その被写体の表面からの散乱光を撮像したイベントベースビジョンカメラによって生成された撮像結果のデータを用いて、計測装置が被写体の３次元形状を計測することがある。以下、撮像結果のデータを「撮像データ」という。撮像データは、輝度の変化点データ（イベントデータ）を含む。例えば、被写体の表面の微小領域からの散乱光が、イベントベースビジョンカメラに備えられたイベントベースビジョンセンサによって撮像される。これによって、イベントベースビジョンセンサに散乱光が入射した位置に対応する撮像データに基づく画素の輝度が増加する、というイベントが観測される。

【0003】

光源（プロジェクタ等の照明装置）において点灯した画素の位置が一定周期で変更された場合、点灯した画素の位置の変更速度（走査速度）がイベントベースビジョンセンサの時間分解能に対して十分に遅ければ、被写体の表面の微小領域からの散乱光によるイベントを、イベントベースビジョンセンサは時系列で観測することができる。

【0004】

レーザ光を反射するＭＥＭＳ（Micro Electro Mechanical Systems）を備えたレーザ照射式プロジェクタが、光源として使用されてもよい。この場合、光源の全画素が常時点灯していても、ＭＥＭＳの駆動に伴って被写体の表面におけるレーザ光の照射位置が時間変化するので、イベントベースビジョンセンサはイベントを観測することができる。また、光源とイベントベースビジョンセンサとの位置関係が既知である場合、光源において点灯している画素の位置と、イベントベースビジョンセンサにおいて散乱光が入射した位置との幾何学的な対応関係に基づいて、散乱光が入射した位置（イベントが観測された位置）に対応する被写体の３次元位置（対応点）を時系列で求めることができる（非特許文献１参照）。

【0005】

また、構造化照明におけるパターン像（構造化光）が投影された被写体の表面からの散乱光の撮像結果（観測結果）に基づいて、計測装置が被写体の３次元形状を計測することがある。計測装置は、パターン像の特徴に基づいて、光源（照明装置）の位置とイベントベースビジョンセンサの位置との幾何学的な対応関係を求める。計測装置は、この幾何学的な対応関係に基づいて、散乱光が入射した位置（イベントが観測された位置）に対応する被写体の３次元位置（対応点）を時系列で求めることができる。

【0006】

パターン像は、３次元計測の用途以外にも、ひずみ計測又は反射特性計測等の様々な用途に用いられる。また、１台の光源のみが３次元計測に用いられた場合には、被写体の裏側又は影になる部分に計測不能な領域が生じる。そこで、計測不能な領域が生じないように、複数の光源が用いられてもよい。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Nathan Matsuda, Oliver Cossairt, Mohit Gupta, "MC3D: Motion Contrast 3D Scanning," Published 24 April 2015, 2015 IEEE International Conference on Computational Photography (ICCP).

【発明の概要】

【発明が解決しようとする課題】

【0008】

光源を用いて被写体の３次元形状が計測されるためには、１台以上の光源のパラメータと、カメラのパラメータとが、予め校正される必要がある。

【0009】

第１カメラと第２カメラとについてパラメータが校正される場合、カメラがキャリブレーションマーカ（例えば、チェッカーボード等）を撮像可能であれば、実空間におけるカメラの画角内の任意の位置にキャリブレーションマーカを配置することが可能である。

【0010】

各カメラは、キャリブレーションマーカを同時に撮像する。計測装置は、第１カメラによって撮像された画像と、第２カメラによって撮像された画像との間の対応点を特定する。計測装置は、対応点に基づいて、各カメラの内部パラメータと、カメラ同士の相対的な外部パラメータとを推定する。

【0011】

これに対して、光源のパラメータとカメラのパラメータとが校正される場合、カメラがキャリブレーションマーカを撮像することによって、カメラの内部パラメータを計測装置が推定することが可能である。しかしながらこの方法では、計測装置は光源のパラメータを推定することができない。

【0012】

この場合、キャリブレーションマーカが用いられる代わりに、光源がパターン像を被写体に投影し、投影されたパターン像をカメラが撮像する。計測装置は、光源とカメラとの間について、対応点を特定する。計測装置は、対応点に基づいて、光源（照明装置）の内部パラメータと、光源とカメラとの間の相対的な外部パラメータとを推定する。

【0013】

この方法において、１回の撮像機会で全パラメータが推定される場合、投影されたパターン像とキャリブレーションマーカとが重ならないように、キャリブレーションマーカが配置される必要がある。このため、光源のパラメータとカメラのパラメータとが校正される場合には、計測誤差が大きくなる可能性がある。

【0014】

カメラがイベントベースビジョンカメラである場合、キャリブレーションマーカが用いられる代わりに、第１パターン像を被写体に投影する照明装置と、第２パターン像を表示可能な表示装置とが、各光源として用いられてもよい。表示装置に表示されたパターン像の輝度と、被写体に照明装置から投影されたパターン像の輝度とが、時間経過に応じて変化する場合、計測装置は、各パターン像の輝度波形の変化点を、時系列のイベント（イベント列）として検出する。

【0015】

計測装置は、イベントベースビジョンカメラに備えられたイベントベースビジョンセンサの全画素について同時刻の変化点を検出することによって、変化点データを画像化する。これによって、変化点データ（イベントデータ）の画像が、撮像データに基づく画像（以下「撮像画像」という。）として、計測装置によって生成される。計測装置は、時系列の変化点データの画像に基づいて、パラメータを校正する。

【0016】

この場合、イベントベースビジョンカメラにおいて観測されたイベントが表示装置又は照明装置のいずれに由来するイベントであるかを、例えば撮像データに基づく画素ごとに、計測装置（光源識別装置）が識別する必要がある。計測装置は、イベントベースビジョンカメラによって撮像されたパターン像を、識別結果に基づいて、撮像画像において光源ごとに分離する。

【0017】

例えば、第１パターン像の投影と第２パターン像の表示とが交互に実行された場合、イベントベースビジョンカメラと照明装置と表示装置との同期が取れていれば、計測装置は、撮像されたパターン像が表示装置又は照明装置のいずれに由来するのかを、イベントの発生時刻に基づいて識別することができる。

【0018】

また例えば、イベントベースビジョンカメラと照明装置と表示装置との同期が取れていない場合でも、パターン像の表示時刻の間隔と、パターン像の投影時刻の間隔とが十分に長ければ、計測装置は、撮像されたパターン像が表示装置又は照明装置のいずれに由来するのかを、イベントの発生時刻に基づいて識別することができる。

【0019】

ただしこの場合、校正に必要とされる時間が長くなってしまう。また、撮像中にキャリブレーションボードの位置は固定されている必要がある。さらに、複数の照明装置が使用される場合、各照明装置から投影されたパターン像の部分又は全体が重なってしまうことがある。パターン像の部分又は全体が重なった場合、撮像されたパターン像が表示装置又は照明装置のいずれに由来するのかを、イベントの発生時刻に基づいて識別することができない。このような理由から、３次元計測のパラメータの校正に用いられる光源の識別が必要である。光源が識別できれば、識別結果に基づいてパターン像（構造化光）を光源ごとに分離することができる。

【0020】

このように、各光源が同期していない場合には、校正に必要とされる時間を長くしなければ、３次元計測のパラメータの校正に用いられる光源を識別することができないという問題がある。

【0021】

上記事情に鑑み、本発明は、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である光源識別装置、計測装置、光源識別方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0022】

本発明の一態様は、被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化する前記パターン像の撮像データを取得する取得部と、前記光源ごとに異なる前記輝度波形に基づいて、前記撮像データに基づく画素ごとに、前記パターン像を投影した前記光源を識別する光源識別部とを備える光源識別装置である。

【0023】

本発明の一態様は、上記の光源識別装置と、第１の前記パターン像及び第２の前記パターン像の前記撮像データと、光源識別結果とに基づいて、第１の前記光源の第１の前記パターン像における第１の特徴点群と、第２の前記光源の第２の前記パターン像における第２の特徴点群とを生成する特徴点群生成部と、第１の前記特徴点群と第２の前記特徴点群とに基づいて、校正されるパラメータを推定するパラメータ推定部とを備える計測装置である。

【0024】

本発明の一態様は、光源識別装置が実行する光源識別方法であって、被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化する前記パターン像の撮像データを取得するステップと、前記光源ごとに異なる前記輝度波形に基づいて、前記撮像データに基づく画素ごとに、前記パターン像を投影した前記光源を識別するステップとを含む光源識別方法である。

【0025】

本発明の一態様は、コンピュータに、被写体に各光源から投影されたパターン像を撮像するカメラから、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化する前記パターン像の撮像データを取得する手順と、前記光源ごとに異なる前記輝度波形に基づいて、前記撮像データに基づく画素ごとに、前記パターン像を投影した前記光源を識別する手順とを実行させるためのプログラムである。

【発明の効果】

【0026】

本発明により、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【図面の簡単な説明】

【0027】

【図1】第１実施形態における、計測システムの構成例を示す図である。

【図2】第１実施形態における、第１光源の光に関するイベントの頻度の第１例を示す図である。

【図3】第１実施形態における、第２光源の光に関するイベントの頻度の第１例を示す図である。

【図4】第１実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の第１例を示す図である。

【図5】第１実施形態における、第１光源の光に関するイベントの頻度の第２例を示す図である。

【図6】第１実施形態における、第２光源の光に関するイベントの頻度の第２例を示す図である。

【図7】第１実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の第２例を示す図である。

【図8】第１実施形態における、計測システムの動作例を示すフローチャートである。

【図9】第２実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。

【図10】第３実施形態における、第１光源の光に関するイベントの頻度の例を示す図である。

【図11】第３実施形態における、第２光源の光に関するイベントの頻度の例を示す図である。

【図12】第３実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。

【図13】第４実施形態における、第１光源の光に関するイベントの頻度の例を示す図である。

【図14】第４実施形態における、第２光源の光に関するイベントの頻度の例を示す図である。

【図15】第４実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。

【図16】第５実施形態における、第１光源の光に関するイベントの頻度の例を示す図である。

【図17】第５実施形態における、第２光源の光に関するイベントの頻度の例を示す図である。

【図18】第５実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。

【図19】第６実施形態における、第１光源の光に関するイベントの頻度の例を示す図である。

【図20】第６実施形態における、第２光源の光に関するイベントの頻度の例を示す図である。

【図21】第６実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。

【図22】第７実施形態における、線形関数に基づいて変調された光に関するイベントの頻度の例を示す図である。

【図23】第７実施形態における、指数関数に基づいて変調された光に関するイベントの頻度の例を示す図である。

【図24】第７実施形態における、第１光源の光に関するイベントの頻度の例を示す図である。

【図25】第７実施形態における、第２光源の光に関するイベントの頻度の例を示す図である。

【図26】第７実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。

【図27】各実施形態における、計測装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0028】

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、第１実施形態における、計測システム１の構成例を示す図である。計測システム１は、構造化照明を用いて被写体１００（対象物）の３次元形状を計測するシステムである。計測システム１は、例えば、各光源の内部パラメータと、イベントベースビジョンカメラの内部パラメータと、各光源とイベントベースビジョンカメラとの外部パラメータとを、照明を用いて予め校正する。計測システム１は、予め校正された各パラメータと、構造化照明とを用いて、被写体１００の３次元形状を計測する。

【0029】

計測システム１は、第１光源２と、第２光源３と、イベントベースビジョンカメラ４と、通信回線５と、計測装置６とを備える。計測システム１は、３台以上の光源を備えてもよい。イベントベースビジョンカメラ４は、イベントベースビジョンセンサ（不図示）を備える。計測装置６は、通信部６１と、メモリ６２と、光源識別装置６３と、特徴点群生成部６４と、パラメータ推定部６５と、３次元計測部６６とを備える。光源識別装置６３は、パターン像の光源を識別する装置である。パターン像は、例えば、縞模様画像である。光源識別装置６３は、取得部６３１と、光源識別部６３２とを備える。

【0030】

第１光源２は、例えば、照明装置である。第１光源２は、第１パターン像（第１構造化光）を、被写体１００に投影する。第１パターン像の輝度波形は、予め定められた第１変調関数に基づいて時間変調される。これによって、第１パターン像の輝度は、時間経過に応じて変化する。第１パターン像の一部は、第２光源３の画面に投影されてもよい。

【0031】

第２光源３は、例えば、表示装置である。第２光源３（表示装置）の画面には、その画面に投影された第１パターン像を反射するためのフィルムが予め貼られてもよい。第２光源３は、第２パターン像（第２構造化光）を表示する。第２パターン像の輝度波形は、予め定められた第２変調関数に基づいて時間変調される。これによって、第２パターン像の輝度は、時間経過に応じて変化する。

【0032】

ここで、第１変調関数に基づいて時間変調された輝度波形について観測された単位時間当たりのイベント頻度と、第２変調関数に基づいて時間変調された輝度波形について観測された単位時間当たりのイベント頻度とが異なるように、第１変調関数及び第２変調関数が予め定められる。光源識別装置６３は、これらのイベント頻度の違いに基づいて、３次元計測のパラメータの校正に用いられる光源を識別する。

【0033】

第１変調関数に基づいて時間変調された輝度波形の振幅と、第２変調関数に基づいて時間変調された輝度波形の振幅とはいずれも、一例として、変数「Ｌ」と表記されてもよい。第１変調関数に基づいて時間変調された輝度波形の周期と、第２変調関数に基づいて時間変調された輝度波形の周期とはいずれも、一例として、変数「ａ」と表記されてもよい。

【0034】

例えば、輝度波形の立ち上がりにおける単位時間当たりの輝度増加量の絶対値と、その輝度波形の立ち下がりにおける単位時間当たりの輝度減少量の絶対値とが異なることによって（差があることによって）、単位時間当たりの増加イベント頻度と、単位時間当たりの減少イベント頻度とが異なるようにすることができる。

【0035】

イベントベースビジョンカメラ４のイベントベースビジョンセンサの光電変換特性は、例えば、対数型である。イベントベースビジョンカメラ４は、被写体１００の表面に第１光源２から投影された第１パターン像と、第２光源３に表示された第２パターン像と、被写体１００とを含む実空間を、時系列で撮像する。イベントベースビジョンセンサの撮像面において、第１パターン像の部分又は全体は、第２パターン像の部分又は全体と重なっていてもよい。

【0036】

イベントベースビジョンカメラ４は、イベントの発生（輝度変化）の撮像結果（観測結果）に基づいて、輝度の変化点データ（イベントデータ）を、画素ごとに生成する。イベントデータは、イベントの発生時刻と、イベント符号とを含む。イベント符号は、観測された所定量の輝度変化が輝度増加（ポジティブイベント）又は輝度減少（ネガティブイベント）のいずれであるかを表す符号である。

【0037】

通信部６１は、第１パターン像と第２パターン像との撮像データに基づく画素ごとのイベントデータ（イベントの発生時刻、イベント符号）を、イベントベースビジョンカメラ４から取得する。

【0038】

メモリ６２（イベントメモリ）は、第１パターン像と第２パターン像との撮像データに基づく画素ごとのイベントデータを、時系列で記憶する。

【0039】

取得部６３１は、第１パターン像と第２パターン像との撮像データに基づく画素ごとのイベントデータを、メモリ６２を介して、イベントベースビジョンカメラ４から取得する。光源識別部６３２は、光源ごとに異なる輝度波形に基づいて、撮像データに基づく画素ごとに、パターン像を投影した光源を識別する。撮像データに基づく画素において、第１光源２の輝度波形と、第２光源３の輝度波形とが、重なっていてもよい。

【0040】

特徴点群生成部６４は、第１パターン像と第２パターン像との撮像データと、光源識別結果とに基づいて、第１光源２の第１パターン像における第１特徴点群と、第２光源３の第２パターン像における第２特徴点群とを生成する。特徴点群の生成方法は、特定の生成方法に限定されない。例えばパターン像（構造化光）としてチェッカーパターンが使用された場合、第１パターン像及び第２パターン像の撮像画像が撮像データに基づいて生成され、生成された撮像画像において格子の交点群がパターン像から抽出されることによって、そのパターン像における特徴点群が生成されてもよい。また、第１パターン像及び第２パターン像の撮像画像の生成は省略されてもよく、撮像データに基づく画素ごとのイベントデータに基づいて特徴点群が直接生成されてもよい。なお、特徴点群の生成方法は、公知の生成方法でもよい。

【0041】

パラメータ推定部６５（校正パラメータ推定部）は、光源（パターン像）ごとの特徴点群に基づいて、イベントベースビジョンカメラ４の内部パラメータと、イベントベースビジョンカメラ４と第１光源２との相対的な外部パラメータと、イベントベースビジョンカメラ４と第２光源３との相対的な外部パラメータとを推定する。パラメータ推定部６５は、第１光源２と第２光源３との相対的な外部パラメータとを推定してもよい。

【0042】

パラメータの推定方法（校正方法）は、特定の推定方法に限定されない。例えば、第２光源３（表示装置）の変換行列が単位行列である場合、パラメータ推定部６５は、第２パターン像から抽出された第２特徴点に基づいて、イベントベースビジョンカメラ４と第２光源３との間の変換行列が推定されてもよい。パラメータ推定部６５は、イベントベースビジョンカメラ４の内部パラメータ（パラメータ行列）と、第２光源３に対するイベントベースビジョンカメラ４の外部パラメータ（射影行列）とに、変換行列を分解する。パラメータ推定部６５は、第１パターン像から抽出された第１特徴点と、イベントベースビジョンカメラ４の内部パラメータ（パラメータ行列）と、第２光源３に対するイベントベースビジョンカメラ４の外部パラメータ（射影行列）とに基づいて、第２光源３に対する第１光源２の外部パラメータを推定してもよい。なお、パラメータの推定方法は、公知の推定方法でもよい。

【0043】

３次元計測部６６は、校正されたパラメータと、第１特徴点群と、第２特徴点群とに基づいて、被写体１００の３次元形状を計測する。３次元形状を計測する方法は、特定の計測方法に限定されない。例えば、第１パターン像がドットパターンである場合、被写体１００の表面に投影された各ドットが特徴点群として抽出されてもよい。３次元計測部６６は、ドットの半径（特徴点の特徴量）に基づいて、そのドットと第１光源２との間の距離を推定する。３次元計測部６６は、全てのドットについて、ドットの半径に基づいて、ドットと第１光源２との間の距離を推定する。３次元計測部６６は、予め求められた投影行列と、距離の推定結果とに基づいて、被写体１００の表面における特徴点ごとに、３次元位置（３次元形状）を推定する。なお、３次元形状の計測方法は、公知の計測方法でもよい。

【0044】

次に、計測システム１の詳細を説明する。
図２は、第１実施形態における、第１光源２の光（輝度波形）に関するイベントの頻度の第１例を示す図である。図２では、第１光源２の第１パターン像の微小領域が、イベントベースビジョンセンサの撮像面の所定の画素に撮像されている。図２には、輝度波形「輝度」と、「輝度（対数）」と、「増加イベント」（ポジティブイベント）と、「減少イベント」（ネガティブイベント）と、「増加イベント頻度」（ポジティブイベントの頻度）と、「減少イベント頻度」（ネガティブイベントの頻度）とが、その所定の画素について表されている。図２では、「増加イベント」及び「減少イベント」は、第１パターン像が撮像された画素における、撮像データに含まれたイベントデータを表す。

【0045】

増加イベント頻度は、輝度の増加イベントの頻度（単位時間あたりで、一定量の輝度が増加した回数）である。図２では、時刻「ｔ_１」を含む単位時間における減少イベント頻度は、一例として、「１」である。減少イベント頻度は、輝度の減少イベントの頻度（単位時間あたりで、一定量の輝度が減少した回数）である。図２では、時刻「ｔ_２」を含む単位時間における増加イベント頻度は、一例として、「６」である。また、図２に例示された輝度波形は、式（１）のように表される。

【0046】

【数1】

【0047】

図３は、第１実施形態における、第２光源３の光（輝度波形）に関するイベントの頻度の第１例を示す図である。図３では、第２光源３の第２パターン像の微小領域が、イベントベースビジョンセンサの撮像面の所定の画素に撮像されている。図３には、輝度波形「輝度」と、「輝度（対数）」と、「増加イベント」と、「減少イベント」と、「増加イベント頻度」と、「減少イベント頻度」とが、その所定の画素について表されている。図３では、「増加イベント」及び「減少イベント」は、第２パターン像が撮像された画素における、撮像データに含まれたイベントデータを表す。また、図３に例示された輝度波形は、式（２）のように表される。

【0048】

【数2】

【0049】

図４は、第１実施形態における、第１光源２の光と第２光源３の光との重ね合わせに関するイベントの頻度の第１例を示す図である。図４では、第１光源２の第１パターン像の微小領域と、第２光源３の第２パターン像の微小領域とが、イベントベースビジョンセンサの撮像面の所定の画素において重なっている。図４には、重ね合わされた輝度波形について、輝度波形「輝度」と、「輝度（対数）」と、「増加イベント」と、「減少イベント」と、「増加イベント頻度」と、「減少イベント頻度」とが、その所定の画素について表されている。図４では、「増加イベント」及び「減少イベント」は、第１パターン像及び第２パターン像が撮像された画素における、撮像データに含まれたイベントデータを表す。

【0050】

図２に例示されているように第１光源２の輝度波形が予め定められ、かつ、図３に例示されているように第２光源３の輝度波形が予め定められている場合、光源識別部６３２は、増加イベント頻度の最大頻度と、減少イベント頻度の最大頻度との比較結果に基づいて、観測されたイベントの要因となった光源を、画素ごとに識別する。ここで、光源識別部６３２は、イベント頻度の閾値を用いて、光源を識別してもよい。

【0051】

図２に例示されているように、増加イベント頻度の最大頻度が減少イベント頻度の最大頻度よりも高い場合、光源識別部６３２は、イベントベースビジョンセンサの撮像面の所定の画素において観測されたイベントの要因となった光源を、第１光源２と識別する。

【0052】

図３に例示されているように、増加イベント頻度の最大頻度が減少イベント頻度の最大頻度よりも低い場合、光源識別部６３２は、イベントベースビジョンセンサの撮像面の所定の画素において観測されたイベントの要因となった光源を、第２光源３と識別する。

【0053】

図４に例示されているように、増加イベント頻度の最大頻度と減少イベント頻度の最大頻度とが同等である場合、光源識別部６３２は、イベントベースビジョンセンサの撮像面の所定の画素において観測されたイベントの要因となった光源を、第１光源２及び第２光源３と識別する。

【0054】

図５は、第１実施形態における、第１光源２の光に関するイベントの頻度の第２例を示す図である。図５に例示された輝度波形は、式（３）のように表される。

【0055】

【数3】

【0056】

図６は、第１実施形態における、第２光源３の光に関するイベントの頻度の第２例を示す図である。図６に例示された輝度波形は、式（４）のように表される。

【0057】

【数4】

【0058】

図７は、第１実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の第２例を示す図である。

【0059】

図５に例示されているように第１光源２の輝度波形が予め定められ、かつ、図６に例示されているように第２光源３の輝度波形が予め定められている場合、光源識別部６３２は、単位時間当たりの増加イベント頻度の最大頻度と、単位時間当たりの減少イベント頻度の最大頻度との比較結果に基づいて、観測されたイベントの要因となった光源を、画素ごとに識別する。

【0060】

図５に例示されているように、増加イベント頻度の最大頻度が減少イベント頻度の最大頻度よりも高い場合、光源識別部６３２は、イベントベースビジョンセンサの撮像面の所定の画素において観測されたイベントの要因となった光源を、第１光源２と識別する。

【0061】

図６に例示されているように、増加イベント頻度の最大頻度が減少イベント頻度の最大頻度よりも低い場合、光源識別部６３２は、イベントベースビジョンセンサの撮像面の所定の画素において観測されたイベントの要因となった光源を、第２光源３と識別する。

【0062】

図７に例示されているように、増加イベント頻度の最大頻度と減少イベント頻度の最大頻度とが同等である場合、光源識別部６３２は、イベントベースビジョンセンサの撮像面の所定の画素において観測されたイベントの要因となった光源を、第１光源２及び第２光源３と識別する。

【0063】

次に、計測システム１の動作例を説明する。
図８は、第１実施形態における、計測システム１の動作例を示すフローチャートである。取得部６３１は、パターン像の撮像データを、メモリ６２を介してイベントベースビジョンカメラ４から取得する（ステップＳ１０１）。光源識別部６３２は、光源ごとに異なる輝度波形に基づいて、撮像データに基づく画素ごとに光源を識別する（ステップＳ１０２）。

【0064】

以上のように、計測装置６は、被写体１００に各光源から投影されたパターン像に基づいて、被写体１００の３次元形状を計測する。ここで、光源ごとに輝度波形が異なるように時間経過に応じて輝度が変化するパターン像が、被写体１００を含む実空間に、光源ごとに同時に提示される。取得部６３１は、パターン像の撮像データを取得する。光源ごとに輝度波形が異なるようにパターン像の輝度が変調されているので、パターン像が投影された撮像面の画素では、時間経過に応じて輝度が変化し、この輝度の変化量に応じてイベントデータが生成される。光源識別部６３２は、光源ごとに異なる輝度波形に基づいて、撮像データに基づく画素ごとに、パターン像を投影した光源を識別する。光源識別部６３２は、輝度波形に応じて生じたイベントの頻度に基づいて光源を識別する。

【0065】

これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、時間経過に応じて輝度が変化するパターン像に基づいて、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【0066】

同期していない照明装置のパラメータと、イベントベースビジョンカメラのパラメータとを、イベントベースビジョンカメラ及び照明装置の画角全域を使用して、高精度かつ高速に校正することが可能である。また、複数の光源を用いた高精度な３次元計測を高速に実行することが可能である。

【0067】

同じ空間領域に同時に投影又は表示される複数のパターン像（校正パターン）を１台のカメラが撮像して、計測装置がパターン像を光源ごとに分離することが可能である。また、キャリブレーションマーカー（例えば、チェッカーボード等）の位置を固定することなく、パラメータを校正することが可能である。

【0068】

（第２実施形態）
第２実施形態では、各光源の輝度波形の振幅が異なるという点が、第１実施形態との主な差分である。第２実施形態では、第１実施形態との差分を中心に説明する。

【0069】

図９は、第２実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。各光源の輝度波形の振幅が異なる場合、光源識別部６３２は、イベント頻度の最大頻度に基づいて光源を識別してもよいし、イベント頻度の平均値又は中央値に基づいて光源を識別してもよい。

【0070】

以上のように、各光源の輝度波形の振幅が異なる場合、光源識別部６３２は、イベント頻度の最大頻度に基づいて光源を識別してもよいし、イベント頻度の平均値又は中央値に基づいて光源を識別してもよい。

【0071】

これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。また、イベントベースビジョンセンサの撮像面の所定の画素において観測される第１光源２（照明装置）のパターン像（構造化光）の最大輝度と、イベントベースビジョンセンサの同じ画素において観測される第２光源３（表示装置）のパターン像の最大輝度とが異なっている場合、重ね合わされた輝度波形が時間対称にならず、増加イベント頻度と減少イベント頻度とが同等にならない場合でも、各イベント頻度の特徴に基づいて、光源識別部６３２は光源を識別することが可能である。

【0072】

（第３実施形態）
第３実施形態では、第１変調関数の位相と第２変調関数の位相が異なるという点が、第１実施形態及び第２実施形態との主な差分である。第３実施形態では、第１実施形態及び第２実施形態との差分を中心に説明する。

【0073】

各パターン像（各構造化光）の輝度波形に生じたイベントの頻度が各光源で同程度になるように、第１光源２（照明装置）又は第２光源３（表示装置）の最大輝度を制御することで、重ね合わされた輝度波形が時間対称になるようにしてもよい。第３実施形態では、重ね合わされた輝度波形が時間対称になるように、第１変調関数の位相と第２変調関数の位相が異なる。

【0074】

図１０は、第３実施形態における、第１光源２の光に関するイベントの頻度の例を示す図である。図１０に例示された輝度波形は、式（５）のように表される。

【0075】

【数5】

【0076】

図１１は、第３実施形態における、第２光源３の光に関するイベントの頻度の例を示す図である。図１１に例示された輝度波形は、式（６）のように表される。

【0077】

【数6】

【0078】

図１２は、第３実施形態における、第１光源２の光と第２光源３の光との重ね合わせに関するイベントの頻度の例を示す図である。重ね合わされた輝度波形に基づくイベント頻度の特徴が、図１０の最下段と、図１１の最下段と、図１２の最下段とで異なる。

【0079】

光源識別部６３２は、重ね合わされた輝度波形に基づくイベント頻度の特徴に基づいて光源を識別する。例えば、増加イベント頻度と減少イベント頻度との比（第１頻度比）が一定値以下である場合、光源識別部６３２は、第１光源の輝度波形と第２光源の輝度波形とが重ね合わされている判定する。光源識別部６３２は、画素において観測されたイベントの要因となった光源を、第１光源２及び第２光源３と識別する。

【0080】

この場合、第１光源２の最大輝度と第２光源３の最大輝度との差に起因して、又は、イベントベースビジョンカメラ４におけるイベント検出の閾値に起因して、増加イベント頻度の平均値と減少イベント頻度の平均値とが異なる場合、光源識別部６３２は、増加イベント頻度と減少イベント頻度との比（第１頻度比）に対する閾値を撮像データに基づく各画素に対して使用することによって、光源を識別してもよい。

【0081】

例えば、光源識別部６３２は、所定時間における増加イベント頻度の総数と、その所定時間における減少イベント頻度の総数との比（第２頻度比）に基づいて、スケール係数を特徴量として算出してもよい。光源識別部６３２は、スケール係数と閾値に基づいて、イベントベースビジョンセンサにおいて観測されたイベントの要因となった光源を、画素ごとに識別する。

【0082】

以上のように、輝度波形の立ち上がりにおける単位時間当たりの輝度変化量の絶対値と、輝度波形の下がりにおける単位時間当たりの輝度変化量の絶対値とに差がある変調関数が使用されてもよい。これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。また、各画素の輝度波形の光源が第１光源２若しくは第２光源３のいずれであるかを、又は、各画素の輝度波形の光源が第１光源２及び第２光源３の両方であるかを、輝度波形の１周期におけるイベント列（時系列の増加イベント、及び、時系列の減少イベント）に基づいて光源識別部６３２が識別することができる。

【0083】

（第４実施形態）
第４実施形態では、輝度波形の複数周期分のイベント列が観測可能である場合、第１変調関数（第１光源２の輝度波形）の周期と第２変調関数（第２光源３の輝度波形）の周期とが異なるという点が、第１実施形態から第３実施形態までとの主な差分である。第４実施形態では、第１実施形態から第３実施形態までとの差分を中心に説明する。

【0084】

図１３は、第４実施形態における、第１光源の光に関するイベントの頻度の例を示す図である。図１４は、第４実施形態における、第２光源の光に関するイベントの頻度の例を示す図である。図１３に例示された第１変調関数（第１光源２の輝度波形）の周期は、図１４に例示された第２変調関数（第２光源３の輝度波形）の周期よりも短い。

【0085】

図１５は、第４実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。輝度波形の複数周期分のイベント列が観測可能であって、かつ、第１変調関数の周期と第２変調関数の周期とが異なる場合、光源識別部６３２は、複数周期分のイベント頻度の特徴に基づいて光源を識別する。光源識別部６３２は、例えばパターンマッチングの手法を用いて、光源を識別してもよい。

【0086】

以上のように、光源識別部６３２は、複数周期分のイベント頻度の特徴に基づいて光源を識別する。これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【0087】

（第５実施形態）
第５実施形態では、輝度波形の立ち上がりの時間長と、輝度波形の立ち下がりの時間長とが同じであるという点が、第１実施形態から第４実施形態までとの主な差分である。第５実施形態では、第１実施形態から第４実施形態までとの差分を中心に説明する。

【0088】

図１６は、第５実施形態における、第１光源２の光に関するイベントの頻度の例を示す図である。図１７は、第５実施形態における、第２光源３の光に関するイベントの頻度の例を示す図である。第５実施形態では、輝度波形の立ち上がりの時間長と、輝度波形の立ち下がりの時間長とが同じである。図１６に例示された第１光源２の輝度波形と、図１７に例示された第２光源３の輝度波形とにおいて、周期が互いに異なる正弦関数が、変調関数として使用される。

【0089】

図１８は、第５実施形態における、第１光源の光と第２光源の光との重ね合わせに関するイベントの頻度の例を示す図である。第１光源２の輝度波形と第２光源３の輝度波形とにおいて、周期が互いに異なる正弦関数が、変調関数として使用される場合、光源識別部６３２は複数周期分のイベント頻度の特徴に基づいて光源を識別する。

【0090】

以上のように、光源識別部６３２は、複数周期分のイベント頻度の特徴に基づいて光源を識別する。これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【0091】

（第６実施形態）
第６実施形態では、第１変調関数の種類と第２変調関数の種類とが異なるという点が、第１実施形態から第５実施形態までとの主な差分である。第６実施形態では、第１実施形態から第５実施形態までとの差分を中心に説明する。

【0092】

図１９は、第６実施形態における、第１光源２の光に関するイベントの頻度の例を示す図である。図２０は、第６実施形態における、第２光源３の光に関するイベントの頻度の例を示す図である。第６実施形態では、図１９に例示された第１光源２の第１変調関数の種類（例えば、正弦関数）と、図２０に例示された第２光源３の第２変調関数の種類とが異なる。

【0093】

図２１は、第６実施形態における、第１光源２の光と第２光源３の光との重ね合わせに関するイベントの頻度の例を示す図である。重ね合わされた輝度波形に基づくイベント頻度の特徴が、図１９の最下段と、図２０の最下段と、図２１の最下段とで異なる。

【0094】

以上のように、第１変調関数の種類と第２変調関数の種類とは、異なっていてもよい。これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【0095】

（第７実施形態）
第７実施形態では、イベント頻度が更に細かく制御されるという点が、第１実施形態から第６実施形態までとの主な差分である。第７実施形態では、第１実施形態から第６実施形態までとの差分を中心に説明する。

【0096】

図２２は、第７実施形態における、線形関数に基づいて変調された光に関するイベントの頻度の例を示す図である。イベントベースビジョンセンサの特性に応じて変調関数が予め定められることによって、イベント頻度が更に細かく制御されてもよい。ここで、光電変換特性が対数型であるイベントベースビジョンセンサがパターン像を撮像する場合、かつ、パターン像の輝度波形の変調関数が線形関数である場合、増加イベント頻度及び減少イベント頻度は、一定とならない。

【0097】

図２３は、第７実施形態における、指数関数に基づいて変調された光に関するイベントの頻度の例を示す図である。光電変換特性が対数型であるイベントベースビジョンセンサがパターン像を撮像する場合、パターン像の輝度波形の変調関数が線形である場合、パターン像の輝度波形の変調関数が指数関数である場合、増加イベント頻度及び減少イベント頻度は、ほぼ一定となる。

【0098】

図２４は、第７実施形態における、第１光源２の光に関するイベントの頻度の例を示す図である。第１光源２の変調関数は、例えば、式（７）のように表される。

【0099】

【数7】

【0100】

図２５は、第７実施形態における、第２光源３の光に関するイベントの頻度の例を示す図である。第２光源３の変調関数は、例えば、式（８）のように表される。

【0101】

【数8】

【0102】

図２６は、第７実施形態における、第１光源２の光と第２光源３の光との重ね合わせに関するイベントの頻度の例を示す図である。増加イベントと減少イベントとがそれぞれ一定である場合、増加イベント頻度と減少イベント頻度とがそれぞれ一定になる。増加イベント頻度の検出結果は、増加イベントの検出結果と類似する。減少イベント頻度の検出結果は、減少イベントの検出結果と類似する。

【0103】

増加イベント頻度と減少イベント頻度とがそれぞれ一定である場合、増加イベント頻度と減少イベント頻度との比を、増加イベント及び減少イベントの検出を判定するための閾値「Ｔ」を用いて表すことが可能となるので、識別アルゴリズムを単純化することが可能である。

【0104】

以上のように、イベント頻度は、輝度波形の周期と比較して細かく制御されてもよい。これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【0105】

（第７実施形態の変形例）
低照度時において線形変換するイベントベースビジョンセンサ、又は、高照度時において対数変換するイベントベースビジョンセンサでは、増加イベント頻度と減少イベント頻度とがそれぞれ一定となるように、イベントベースビジョンセンサにおける照度（イベントベースビジョンセンサの画素に入射した散乱光の量）に応じて、変調関数が制御されてもよい。

【0106】

（第８実施形態）
第８実施形態では、第１光源と第２光源とがいずれも照明装置である点が、第１実施形態から第７実施形態までとの主な差分である。第８実施形態では、第１実施形態から第７実施形態までとの差分を中心に説明する。

【0107】

第８実施形態では、第２光源３は、表示装置ではなく照明装置である。計測システム１は、更に、投影ボード（不図示）を備える。第１光源２は、被写体１００及び投影ボードに、第１パターン像を投影する。第１パターン像は予め定められた第１変調関数に基づいて変調される。第２光源３は、被写体１００及び投影ボードに、第２パターン像を投影する。第２パターン像は予め定められた第２変調関数に基づいて変調される。

【0108】

パターン像（構造化光）は、特定のパターンの光学像に限定されない。パターン像は、例えば、チェッカーパターン又はドットパターン等の光学像である。また、第１変調関数と第２変調関数は、第１実施形態と同様に設計される。

【0109】

第１光源２のパラメータと、第２光源３のパラメータと、イベントベースビジョンカメラ４のパラメータとは、予め校正される。パラメータに対応する投影行列は、既知である。イベントベースビジョンカメラ４及びメモリ６２は、第１実施形態と同様に動作する。

【0110】

取得部６３１は、パターン像の撮像データをメモリ６２から取得する。取得部６３１は、パターン像の撮像データを、メモリ６２（イベントメモリ）に記録する。光源識別部６３２は、光源ごとに異なる輝度波形に基づいて、撮像データに基づく画素ごとに、パターン像を投影した光源を識別する。

【0111】

特徴点群生成部６４は、第１実施形態と同様に動作する。特徴点群の生成方法は、公知の生成方法でもよい。パラメータ推定部６５（校正パラメータ推定部）は、特徴点群に基づいて、被写体１００の３次元形状を推定する。パラメータの推定方法は、公知の推定方法でもよい。

【0112】

以上のように、第１光源２が照明装置である場合に、第２光源３は、表示装置ではなく照明装置でもよい。これによって、各光源が同期していない場合でも、校正に必要とされる時間を長くすることなく、３次元計測のパラメータの校正に用いられる光源を識別することが可能である。

【0113】

（変形例）
単独の照明装置の内部パラメータ（内部座標）ごとに、異なる変調関数が使用されてもよい。これによって、イベントベースビジョンカメラ４の各画素で観測されたイベントが照明装置の内部座標系のどの座標に対応するのかを、光源識別部６３２は他の画素を参照することなく特定することができる。

【0114】

上記の各実施形態では、増加イベント頻度と減少イベント頻度とが、画素ごとに比較されている。これに対して変形例では、第１画素の増加イベント頻度と、第１画素の減少イベント頻度とに基づいて、第２画素の光源の識別のための閾値等が定められてもよい。例えば、光源識別部６３２は、全画素について、イベント頻度のヒストグラムを算出してもよい。光源識別部６３２は、イベント頻度のヒストグラムに基づいて、イベント頻度の閾値を定めてもよい。光源識別部６３２は、このような閾値を用いて、光源を識別してもよい。例えば、増加イベント頻度と減少イベント頻度との比のヒストグラムが撮像面の全画素について画素ごとに生成された場合、第１光源２の光に起因するピークと、第２光源３の光に起因するピークと、重ね合わせの光に起因するピークとが、ヒストグラムにおいて出現する。光源識別部６３２は、第１光源２の光に対応するイベント頻度の閾値と、第２光源３の光に対応するイベント頻度の閾値と、重ね合わせの光に対応するイベント頻度の閾値とを、各ピークの位置に基づいて決定する。

【0115】

また、増加イベント頻度及び減少イベント頻度のうちの少なくとも一方を光源識別部６３２が画素ごとに算出し、光源識別部６３２は、イベント頻度の急激な変化があるか否かに基づいて、光源を識別してもよい。

【0116】

上記の各実施形態では、増加イベント頻度と減少イベント頻度との両方に基づいて光源が識別されているが、増加イベント頻度と減少イベント頻度と一方に基づいて光源が識別されてもよい。

【0117】

（ハードウェア構成例）
図１２は、各実施形態における、計測装置のハードウェア構成例を示す図である。計測装置の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１０１が、不揮発性の記録媒体（非一時的な記録媒体）を有するメモリ６２に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置１０３などの非一時的な記録媒体である。通信部６１は、他の装置（例えば、イベントベースビジョンカメラ）との間の通信を実行する。

【0118】

計測装置の各機能部のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0119】

なお、上述した実施形態において、上記のような形態で実施されるプログラムは、単一の装置に依存するものでもよいし、プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することによって所定の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0120】

また、上記プログラムは、このプログラムを記憶装置等に記憶したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0121】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0122】

本発明は、構造化照明を用いて対象物の３次元計測を実行する計測システムに適用可能である。

【符号の説明】

【0123】

１…計測システム、２…第１光源、３…第２光源、４…イベントベースビジョンカメラ、５…通信回線、６…計測装置、６１…通信部、６２…メモリ、６３…光源識別装置、６４…特徴点群生成部、６５…パラメータ推定部、６６…３次元計測部、１００…被写体、１０１…プロセッサ、１０３…記憶装置、６３１…取得部、６３２…光源識別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】