特許7561769オブジェクトのモーションをキャプチャするための方法、およびモーションキャプチャシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-26
(45)【発行日】2024-10-04
(54)【発明の名称】オブジェクトのモーションをキャプチャするための方法、およびモーションキャプチャシステム
(51)【国際特許分類】
G01B 11/00 20060101AFI20240927BHJP
【ＦＩ】
G01B11/00 H
【請求項の数】
13
(21)【出願番号】P 2021568354
(86)(22)【出願日】2020-05-14
(65)【公表番号】
(43)【公表日】2022-07-14
(86)【国際出願番号】 EP2020063489
(87)【国際公開番号】W WO2020229612
(87)【国際公開日】2020-11-19
【審査請求日】2023-04-19
(31)【優先権主張番号】19305624.9
(32)【優先日】2019-05-16
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】516077769
【氏名又は名称】プロフジー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ニコラ・ブルディス
(72)【発明者】
【氏名】ダヴィデ・ミリオーレ
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開２０１１－０９２６５７（ＪＰ，Ａ）
【文献】特表２０１５－５０８５８４（ＪＰ，Ａ）
【文献】特開２００３－３４４０１２（ＪＰ，Ａ）
【文献】特開２００４－００１１２２（ＪＰ，Ａ）
【文献】特開２０１１－０８０８４３（ＪＰ，Ａ）
【文献】特開２００４－０４５３２１（ＪＰ，Ａ）
【文献】欧州特許出願公開第０２３０９４５１（ＥＰ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
オブジェクトのモーションをキャプチャするための方法であって、前記オブジェクトに少なくとも1つのマーカを取り付けるステップと、
前記少なくとも1つのマーカが取り付けられている前記オブジェクトを獲得ボリュームに持ち込むステップと、
少なくとも2つのイベントベースの光センサのそれぞれの視野が前記獲得ボリュームをカバーするように、前記少なくとも2つのイベントベースの光センサを配置するステップであって、各イベントベースの光センサがピクセルのアレイを有する、ステップと、
前記ピクセルによって検知された前記少なくとも1つのマーカからの入射光の変化に応じて、前記少なくとも2つのイベントベースの光センサの前記ピクセルから非同期的にイベントを受信するステップと、
前記獲得ボリューム内に前記少なくとも1つのマーカを配置し、前記オブジェクトのモーションをキャプチャするために、前記イベントを処理するステップと
を備え、前記イベントを処理するステップが、
前記少なくとも2つのイベントベースの光センサのそれぞれのピクセルから受信したイベントが、前記イベント間のタイミングの一致の検出に基づいて共通のマーカに関連することを決定するステップと、
前記検出された相互のタイミングの一致を有する前記イベントが受信される、前記それぞれのピクセルの2Dピクセル座標に基づいて前記共通のマーカの位置を決定するステップと
を備え、
前記タイミングの一致が、それらの間の時間差が1ミリ秒未満のイベント間で検出される、方法。
【請求項2】
前記獲得ボリューム内の3D座標を、前記イベントベースの光センサの各々における2Dピクセル座標にマッピングするステップをさらに備え、前記共通のマーカの位置を決定するステップが、前記検出された相互のタイミングの一致を有する前記イベントが受信される前記それぞれのピクセルの前記2Dピクセル座標にマッピングされる前記共通のマーカの3D座標を取得するステップを備える、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのマーカが、発光するように適合されたアクティブマーカ、または赤外光を発光するように適合されたアクティブマーカを備える、請求項1または2に記載の方法。
【請求項4】
前記少なくとも1つのマーカが、点滅頻度または疑似ランダム点滅パターンで点滅光を放出するように構成される、請求項3に記載の方法。
【請求項5】
前記少なくとも1つのマーカが受動反射器を備え、前記方法が、前記獲得ボリュームを外光で照らすステップをさらに備える、請求項1に記載の方法。
【請求項6】
前記外光が赤外光である、請求項5に記載の方法。
【請求項7】
前記少なくとも1つのマーカが、波長特性を有する光を放出または反射するように構成され得、前記少なくとも2つのイベントベースの光センサ(51、52)が、前記波長特性を有さない光をフィルタで除去するための光学フィルタを備える、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記少なくとも2つのイベントベースの光センサが共通の剛性構造に固定され、前記共通の剛性構造が前記オブジェクトの移動経路に従って移動可能である、請求項1から7のいずれか一項に記載の方法。
【請求項9】
獲得ボリューム(1)内のオブジェクトによって運ばれる少なくとも1つのマーカ(4)と、前記獲得ボリューム(1)をカバーするそれぞれの視野(61、62)を有する少なくとも2つのイベントベースの光センサ(51、52)であって、各イベントベースの光センサが、ピクセルによって検知された前記少なくとも1つのマーカからの入射光の変化に応じてイベントを非同期的に生成するように構成されたピクセルのアレイを有する、光センサと、
前記獲得ボリューム内に前記少なくとも1つのマーカを配置し、前記オブジェクトのモーションをキャプチャするために、前記イベントを処理するために、前記少なくとも2つのイベントベースの光センサに結合されたコンピューティングデバイスと
を備え、前記イベントが、
前記少なくとも2つのイベントベースの光センサのそれぞれのピクセルから受信したイベントが、前記イベント間のタイミングの一致の検出に基づいて共通のマーカに関連することを決定するステップと、
前記検出された相互のタイミングの一致を有する前記イベントが受信される、前記それぞれのピクセルの2Dピクセル座標に基づいて前記共通のマーカの位置を決定するステップと
を備え、
前記タイミングの一致が、それらの間の時間差が1ミリ秒未満のイベント間で検出される、モーションキャプチャシステム。
【請求項10】
前記少なくとも1つのマーカが、発光するように適合されたアクティブマーカ、好ましくは赤外光を備える、請求項9に記載のモーションキャプチャシステム。
【請求項11】
前記少なくとも1つのマーカが、点滅頻度または疑似ランダム点滅パターンで点滅光を放出するように構成される、請求項10に記載のモーションキャプチャシステム。
【請求項12】
前記少なくとも1つのマーカが受動反射器を備え、前記モーションキャプチャシステムが、前記獲得ボリュームを外光で照らすための少なくとも1つの光源をさらに備える、請求項9に記載のモーションキャプチャシステム。
【請求項13】
前記外光が赤外光である、請求項12に記載のモーションキャプチャシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オブジェクトのモーションをキャプチャするための方法、およびモーションキャプチャシステムに関する。
【背景技術】
【0002】
マシンビジョンは、たとえばセキュリティアプリケーション(たとえば、監視、侵入検出、オブジェクト検出、顔認識など)、環境使用アプリケーション(たとえば、照明制御)、オブジェクト検出および追跡アプリケーション、自動検査、プロセス制御、ならびにロボットガイダンスなどの幅広いタイプのアプリケーションで使用するための画像を取得、処理、分析、および理解するための方法を含む分野である。したがって、マシンビジョンは多くの異なるシステムと統合することができる。
【0003】
これらの上記のアプリケーションの中で、モーション検出および追跡は、特に、ビデオゲーム、映画、スポーツ、テレビ番組、仮想現実および拡張現実、運動科学ツールおよびシミュレータなどのコンピュータ生成画像(CGI)ソリューションにとって、シーン内の動いているオブジェクトの正確な位置を検出する際に役立つ。
【0004】
したがって、この目的のためにローカリゼーションシステムが一般的に使用され、これは、マーカを備えたオブジェクトの位置を検出および推定するための、モーションキャプチャ(mo-cap)としても知られている。
【0005】
当技術分野では、ViconやOptiTrackなどのいくつかの商用モーションキャプチャシステムは、パッシブ再帰反射マーカを検出するために、IR照明を備えた複数のフレームベースのカメラを使用する。これらのカメラの露出設定は、マーカをビデオストリームにおいて目立たせるように構成されているため、簡単に追跡され得る。
【0006】
これらのカメラのフレームレートは固定されており、通常は約120～420fpsであり、これは2つの重要な制限をもたらす。第1に、獲得プロセスは、マーカを検出するために処理される必要のある多くの不要なデータを生成するため、計算能力が不要に使用され、したがってシステムによって到達可能な待ち時間が制限される。第2に、オブジェクトの位置のサンプリング周波数と見なすことができる固定フレームレートは、システムによって忠実にキャプチャすることができるダイナミクスに制限をもたらす。
【0007】
さらに、当技術分野では、Keskin, M.Fらが記事「Localization via Visible Light Systems」IEEEの議事録、106(6)、1063-1088において、可視光システムからのローカリゼーション技法に関する調査を提示している。彼らは、校正された参照LEDから受信した信号から光受信機の位置を推定する問題のソリューション(たとえば、信号強度、到着時間、到着角度などに基づく)を説明する科学文献からの多くの記事に言及しており、それらは強度変調パターンを介して識別することができる。特に、彼らは光受信機としての光検出器または従来の画像センサの使用について論じている。従来の画像センサの限界は上で述べられている。光検出器には、固定されているがはるかに高いデータレートもある。
【先行技術文献】
【特許文献】
【0008】
【文献】米国特許出願第2008/0135731 A1号
【非特許文献】
【0009】
【文献】Keskin, M.Fらの記事「Localization via Visible Light Systems」IEEEの議事録、106(6)、1063-1088
【文献】P. Lichtsteinerらの「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、pp. 566-576
【文献】C. Poschらの記事「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、pp. 259-275
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の目的は、高い忠実度で高速の運動をキャプチャするために、オブジェクトのポーズおよび向きを非常に正確に、および/または高い時間分解能で検出および追跡するように適合された、オブジェクトのモーションをキャプチャするための新しい方法を提供することである。
【課題を解決するための手段】
【0011】
オブジェクトのモーションをキャプチャするための方法が提案される。本方法は、
オブジェクトに少なくとも1つのマーカを取り付けるステップと、
少なくとも1つのマーカが取り付けられているオブジェクトを獲得ボリュームに持ち込むステップと、
少なくとも2つのイベントベースの光センサのそれぞれの視野が獲得ボリュームをカバーするように、少なくとも2つのイベントベースの光センサを配置するステップであって、各イベントベースの光センサがピクセルのアレイを有する、ステップと、
ピクセルによって検知された少なくとも1つのマーカからの入射光の変化に応じて、少なくとも2つのイベントベースの光センサのピクセルから非同期的にイベントを受信するステップと、
獲得ボリューム内に少なくとも1つのマーカを配置し、オブジェクトのモーションをキャプチャするために、イベントを処理するステップと
を備える。
オブジェクトに少なくとも1つのマーカを取り付けるステップと、
少なくとも1つのマーカが取り付けられているオブジェクトを獲得ボリュームに持ち込むステップと、
少なくとも2つのイベントベースの光センサのそれぞれの視野が獲得ボリュームをカバーするように、少なくとも2つのイベントベースの光センサを配置するステップであって、各イベントベースの光センサがピクセルのアレイを有する、ステップと、
ピクセルによって検知された少なくとも1つのマーカからの入射光の変化に応じて、少なくとも2つのイベントベースの光センサのピクセルから非同期的にイベントを受信するステップと、
獲得ボリューム内に少なくとも1つのマーカを配置し、オブジェクトのモーションをキャプチャするために、イベントを処理するステップと
を備える。
【0012】
一実施形態では、イベントを処理するステップは、
少なくとも2つのイベントベースの光センサのそれぞれのピクセルから受信したイベントが、前記イベント間のタイミングの一致の検出に基づいて共通のマーカに関連することを決定するステップと、
検出された相互のタイミングの一致を有するイベントが受信される、それぞれのピクセルの2Dピクセル座標に基づいて共通のマーカの位置を決定するステップと
を備え得る。
少なくとも2つのイベントベースの光センサのそれぞれのピクセルから受信したイベントが、前記イベント間のタイミングの一致の検出に基づいて共通のマーカに関連することを決定するステップと、
検出された相互のタイミングの一致を有するイベントが受信される、それぞれのピクセルの2Dピクセル座標に基づいて共通のマーカの位置を決定するステップと
を備え得る。
【0013】
特に、時間差が1ミリ秒未満のイベント間でタイミングの一致を検出することができる。
【0014】
さらに、本方法は、獲得ボリューム内の3D座標を、イベントベースの光センサの各々における2Dピクセル座標にマッピングするステップをさらに備え得、共通のマーカの位置を決定するステップは、検出された相互のタイミングの一致を有するイベントが受信されるそれぞれのピクセルの2Dピクセル座標にマッピングされる共通のマーカの3D座標を取得するステップを備える。
【0015】
別の実施形態では、少なくとも1つのマーカは、発光するように適合されたアクティブマーカを備える。一例として、アクティブマーカは、あらかじめ設定された点滅頻度または疑似ランダム点滅パターンで点滅光を放出し得る。
【0016】
あるいは、少なくとも1つのマーカは受動反射器を備え、本方法は、獲得ボリュームを外光で照らすステップをさらに備え、その結果、受動反射器は、赤外光などの外光からの光を反射するように適合される。
【0017】
さらに、少なくとも1つのマーカは、波長特性を有する光を放出または反射するように構成され得、少なくとも2つのイベントベースの光センサは、波長特性を有さない光を除去するための光学フィルタを備えている。
【0018】
一実施形態では、少なくとも2つのイベントベースの光センサは、オブジェクトがカメラの視野から逃げるのを防ぐために、動いているオブジェクトの運動経路に従って移動可能であってよい剛性フレームなどの共通の剛性構造に固定される。
【0019】
獲得ボリューム内のオブジェクトによって運ばれる少なくとも1つのマーカと、
獲得ボリュームをカバーするそれぞれの視野を有する少なくとも2つのイベントベースの光センサであって、各イベントベースの光センサが、ピクセルによって検知された少なくとも1つのマーカからの入射光の変化に応じてイベントを非同期的に生成するように構成されたピクセルのアレイを有する、光センサと、
獲得ボリューム内に少なくとも1つのマーカを配置し、オブジェクトのモーションをキャプチャするために、イベントを処理するために、前記少なくとも2つのイベントベースの光センサに結合されたコンピューティングデバイスと
を備える、モーションキャプチャシステムも提供される。
獲得ボリュームをカバーするそれぞれの視野を有する少なくとも2つのイベントベースの光センサであって、各イベントベースの光センサが、ピクセルによって検知された少なくとも1つのマーカからの入射光の変化に応じてイベントを非同期的に生成するように構成されたピクセルのアレイを有する、光センサと、
獲得ボリューム内に少なくとも1つのマーカを配置し、オブジェクトのモーションをキャプチャするために、イベントを処理するために、前記少なくとも2つのイベントベースの光センサに結合されたコンピューティングデバイスと
を備える、モーションキャプチャシステムも提供される。
【0020】
上記の方法およびシステムは、ローカリゼーション測定の待ち時間と時間分解能を大幅に改善し、マイクロ秒およびミリメートルのオーダの精度でより忠実な運動のキャプチャを可能にすると同時に、必要な計算能力を大幅に削減する。これにより、本発明によるモーションキャプチャシステムはより柔軟になり、スポーツ分析、映画、およびビデオゲームのためのモーションキャプチャ、ならびに拡張現実(AR)または仮想現実(VR)などのより多くのアプリケーションに適している。
【0021】
本発明の他の特徴および利点は、添付の図面を参照して、以下の説明において明らかになるであろう。
【図面の簡単な説明】
【0022】
【図1】本発明によるシステムの全体的な構成を示す図である。
【図2】本発明の実装形態に適合されたイベントベースの光センサのブロック図である。
【図3】本発明による例示的な方法のフローチャートである。
【図4a】2D座標においてマーカを検出および追跡する例を示す図である。
【図4b】2D座標においてマーカを検出および追跡する例を示す図である。
【図4c】2D座標においてマーカを検出および追跡する例を示す図である。
【図4d】2D座標においてマーカを検出および追跡する例を示す図である。
【図4e】2D座標においてマーカを検出および追跡する例を示す図である。
【図4f】2D座標においてマーカを検出および追跡する例を示す図である。
【図5a】3D座標においてマーカを検出および追跡する別の例を示す図である。
【図5b】3D座標においてマーカを検出および追跡する別の例を示す図である。
【図5c】3D座標においてマーカを検出および追跡する別の例を示す図である。
【図5d】3D座標においてマーカを検出および追跡する別の例を示す図である。
【図5e】3D座標においてマーカを検出および追跡する別の例を示す図である。
【発明を実施するための形態】
【0023】
図1は、本発明のモーションキャプチャシステムの全体的な構成を示している。
【0024】
本システムは、少なくとも2つのイベントベースの光センサ51、52を備え、これらは、イベントベースの光センサが観察するシーン内の光の変化に応じてそれぞれイベントを生成し得る。
【0025】
図示される実施形態において、イベントベースの光センサ51、52は、地上からhの高さの剛性フレーム8などの共通の剛性構造に取り付けられ、それらは視野61、62が獲得ボリューム1において部分的に重なっているシーンを観察し、イベントベースの光センサ51、52によって観察および検知することができるオブジェクト3を含むように適合される。特に、視野61、62は重なっており、その結果、オブジェクトは、両方のイベントベースの光センサにおいて同時に観察することができる。言い換えれば、イベントベースの光センサ51、52は、それらが設定されると、獲得ボリュームの周囲に配置され、それらの視野61、62は、オブジェクト3が配置される獲得ボリューム1をカバーする。
【0026】
オブジェクト3は、人、他の動いているオブジェクト、または複数の前者であり得、その位置、姿勢、および向きが検出および追跡されるべきである。オブジェクト3は、少なくとも1つのマーカ4を運ぶ。通常、複数のマーカは、オブジェクト3の表面に固定されている。オブジェクト3は、獲得ボリューム1に配置され、その結果、マーカは、イベントベースの光センサ51、52によって観察および検知され得る。
【0027】
マーカ4は、イベントベースの光センサ51、52によって容易に検出可能であるように設計されている。マーカ4は、イベントベースの光センサによって検出され得、次いでそれに応じてイベントを生成し得る連続的または変化する光を放出または反射し得る。
【0028】
そのような配置により、獲得ボリューム1内のマーカ4は、マーカ4からの入射光の変化に対応するイベントを生成するイベントベースの光センサ51、52によって観察することができる。
【0029】
さらに、本システムは、デスクトップ、ラップトップコンピュータ、またはモバイルデバイスなどの、図1に示されていないコンピューティングデバイスを含み、イベントを受信し、マーカを検出して追跡するためにコンピュータビジョンアルゴリズムでこれらのイベントを処理するために、イベントベースの光センサと結合される。したがって、獲得ボリューム1内のマーカ4の位置およびオブジェクト3のモーションを獲得することができる。
【0030】
図2は、シーンに面して配置され、1つまたは複数のレンズを備える獲得15のために光学系を通じてシーンの光流を受信するイベントベースの非同期ビジョンセンサ10を備えるイベントベースの光センサを示し、これは、レンズの光学特性に応じて視野を提供する。センサ10は、獲得15のために光学系の画像平面に配置される。それは、ピクセルのマトリックスに編成された、感光性要素などの検知要素のアレイを備える。ピクセルに対応する各検知要素は、シーン内の光の変化に応じて連続したイベント信号を生成する。
【0031】
イベントベースの光センサは、センサ10から発生するイベント信号、すなわち、様々なピクセルから非同期的に受信されたイベントのシーケンスを処理し、次いで、イベントベースのデータを形成および出力するプロセッサ12を備える。専用論理回路(ASIC、FPGA、…)またはセンサ10と結合されたチップを使用するプロセッサ12のハードウェア実装形態も可能である。
【0032】
特に、非同期センサ10は、ピクセルごとに、活性化しきい値Qに到達する瞬間tk(k=0、1、2、…)の連続の形態であり得る信号を出力するために、獲得を実行する。この輝度が、時間tkの時点から開始して、活性化しきい値Qに等しい量だけ増加するたびに、新しい瞬間tk+1が識別され、この瞬間tk+1においてスパイクが放出される。対称的に、ピクセルによって観測された輝度が、時間tkの時点から開始して、量Qだけ減少するたびに、新しい瞬間tk+1が識別され、この瞬間tk+1においてスパイクが放出される。ピクセルの信号シーケンスは、ピクセルの光プロファイルに応じて、時間の経過とともに瞬間tkに配置された一連のスパイクを含む。限定することなく、センサ10の出力は、アドレスイベント表現(AER)の形式である。さらに、信号シーケンスは、通常、入射光の変化に対応する輝度属性を含む。
【0033】
活性化しきい値Qは、固定することができるか、または輝度の関数として適合させることができる。たとえば、しきい値を超えると、イベントを生成するための輝度の対数における変動と比較することができる。あるいは、輝度の活性化を増加させるため、および輝度の活性化を減少させるために、それぞれ異なるしきい値を設定することができる。
【0034】
例として、センサ10は、P. Lichtsteinerらの「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、pp. 566-576、または米国特許出願第2008/0135731 A1号において説明されているタイプのダイナミックビジョンセンサ(DVS)とすることができる。網膜のダイナミクス(活動電位間の最小持続時間)は、このタイプのDVSでアプローチすることができる。動的な挙動は、現実的なサンプリング周波数を有する従来のビデオカメラの挙動を上回る。DVSがイベントベースのセンサ10として使用される場合、ピクセルから発生するイベントに関連するデータは、ピクセルのアドレス、イベントの発生時間、およびイベントの極性に対応する輝度属性、たとえば、輝度が上がる場合は+1、輝度が下がる場合は-1を含む。
【0035】
本発明の文脈において有利に使用することができる非同期センサ10の別の例は、非同期時間ベースの画像センサ(ATIS)であり、その説明は、C. Poschらの記事「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、pp. 259-275において与えられる。イベントベースのセンサ10としてATISが使用される場合、ピクセルから発生するイベントに関連するデータは、ピクセルのアドレス、イベントの発生時刻、および絶対輝度の推定値に対応する輝度属性を含む。
【0036】
マーカ4は受動的であり得、すなわち、それ自体では光を放出しない。
【0037】
たとえば、再帰反射反射器は、たとえば外部赤外線光源から外部照明光を反射する。反射光により、イベントベースの光センサが上記のようにイベントを生成する。
【0038】
あるいは、マーカ4はまたアクティブであり得、すなわち、電源を使用して、たとえば可視光または近赤外光などの光を放出し、これにより、イベントベースの光センサにイベントを生成させることができる。
【0039】
イベントベースの光センサは時間分解能が高いため、従来のフレームベースのカメラと比較して、はるかに多様な光信号を使用することができる。特に、マーカから反射または放出された光は、特定の時間的挙動を示す可能性があり、次いで、様々な目的のためにデコードすることができる。たとえば、特定の点滅頻度で点滅するLEDを使用すると、マーカを確実に識別できるため、似たようなオブジェクトを区別したり、対称パターンの方向を明確にしたりすることが容易になる。
【0040】
さらに、イベントベースの光センサは、センサの視野に現れるマーカから検知要素によって受信された光の変化に応じてイベントを生成するため、事前に設計されたマーカによって排他的に生成されたイベントを検出するように、イベントベースの光センサを構成することができる。これは、たとえば特定のあらかじめ設定された波長範囲において波長特性を有する光を放出または反射するようにマーカを構成し、マーカからのあらかじめ設定された波長範囲がない光を除去するように光センサに光学フィルタを追加することによって達成することができる。あるいは、これは、高速の反応時間を維持しながら、マーカによって誘発される強い光の変化のみを検知するようにイベントベースの光センサを構成することによっても達成することもできる。
【0041】
図3を参照して、次に、上記のモーションキャプチャシステムを使用してオブジェクトのモーションをキャプチャするための方法について説明する。
【0042】
初めに(S1)、上記の少なくとも1つのマーカが、パフォーマまたはスポーツマンの体などのオブジェクトの表面に取り付けられている。マーカのあるオブジェクトは、獲得ボリュームに配置されている。上記のように、マーカはアクティブまたはパッシブであり、イベントベースの光センサによる検出を容易にするように設計されている。各マーカはオブジェクトの任意の部分に固定することができ、人間の場合、通常は頭/顔、指、腕、および脚に取り付けられる。
【0043】
一方(S2)、少なくとも2つのイベントベースの光センサが獲得ボリュームの周囲に別々に配置されている。イベントベースの光センサは、共通の剛性構造に固定され得、その結果、イベントベースの光センサ間の相対位置が固定される。
【0044】
光センサは正確に配置されており、それらの視野は様々な角度からの獲得ボリュームをカバーする。獲得ボリュームは、パフォーマまたはスポーツマンなどのオブジェクト、あるいは獲得ボリューム内を移動する他のオブジェクトを含み得るスペースである。獲得ボリュームのサイズおよび形状はアプリケーションに応じて定義され、特定の配置は、オブジェクトが自由に移動できる部屋または球などの立方体であり、そのモーションがキャプチャされる。獲得ボリュームは、たとえば、イベントベースの光センサが固定されている共通の剛性構造が可動構造である場合に移動し得る。
【0045】
そのような配置により、獲得ボリューム内のオブジェクトを観察することができ、したがって、視野からの入射光の変化に応答して、イベントベースのセンサ上のピクセルによってイベントを非同期的に生成することができる。例において、2つのイベントベースの光センサがオブジェクトの高さより上に設定され、視野がオブジェクトに向かって下向きになっている。
【0046】
さらに、任意で、高い時間分解能を達成し、特定の波長特性を持たない光を除去するように、光センサを適切に構成することができ、これにより、関連するオブジェクトによってイベントが排他的に生成されることを保証するため、必要な計算能力と待ち時間が最小限に抑えられる。
【0047】
イベントベースの光センサの設定中に、獲得ボリューム内の3D座標をイベントベースの光センサにおける任意の2Dピクセル座標、つまり浮動小数点ピクセルアドレスにマッピングできるパラメータを推定するようにそれらを較正することも可能である。
【0048】
この目的のために、例として、点滅するLEDの非対称グリッドなどの知られているパターンのマーカが、獲得ボリューム全体で徹底的に移動され、各イベントベースの光センサによって検出される。イベントベースの光センサは、LEDを感知し、点滅周波数を認識し、各2D測定値を3D構造の各要素に関連付ける。次いで、獲得ボリュームの座標フレームにおいて表現された3Dポイントを、イベントベースの光センサのいずれかのピクセル座標における2D投影にマッピングすることができ、各センサにおけるピクセルによって観察されるイベントによって形成される2D軌道のセットになる。次いで、パターンの3D寸法の知識と組み合わされたこれらの2D軌道は、従来のバンドル調整技法を介して、各光センサの姿勢および方向を推定することができる。
【0049】
3D座標をピクセル座標にマッピングするパラメータを知っていると、たとえば従来の三角測量手法を介して、対応する2D観測のセットから3D座標を推測するために、モデルを反転することができる。この点で、より多くのイベントベースの光センサを使用することが好ましく、したがって、後続の測位のためにより高い三角測量精度が可能になる。
【0050】
その後(S3)、イベントベースの光センサは、マーカからの入射光の変化に応じてイベントを生成する。ステップS3においてプロセッサ12によって受信されたイベントは、3D獲得ボリューム内にマーカを配置するために、ステレオ3D再構築によって処理される(S4)。
【0051】
イベントベースの光センサによって生成されたデータは、フレームベースのカメラによって生成されたデータとは実質的に異なるため、マーカを検出および追跡するための異なる方法が、本発明における特定のアルゴリズムに適合される。これらのアルゴリズムは、計算の複雑さを最小限に抑えるために、イベントベースのパラダイムおよび高い時間分解能を活用する。
【0052】
次に、イベントベースのデータにおいてマーカを検出および追跡するための例示的なアルゴリズムについて説明する。イベントベースの光センサの前を移動すると、マーカは、イベントベースの光センサのピクセルからイベントを継続的にトリガする。したがって、移動するマーカに応答するイベントは、各イベントベースの光センサにおけるマーカの2D位置を検出および追跡するために、各イベントベースの光センサにおいて生成され、たとえば、グローバル処理プラットフォームによって、またはローカルの専用組込みシステムによって別々に処理される。
【0053】
その後、各イベントベースの光センサによって生成された同じマーカからの同時イベントを含むこれらのイベントが、時間的および/または幾何学的特性に基づいてそれらの対応を見つけるためにペアリングまたは関連付けられているため、マーカの3D位置を検出および追跡することができる。
【0054】
たとえば、アクティブマーカの場合、各イベントベースの光センサのそれぞれのピクセルから受信したイベントは、異なるイベントベースの光センサからのこれらのイベント間のタイミングの一致の検出に基づいて、共通のマーカに関連するかどうかが決定される。タイミングの一致は、イベント間の時間差が1ミリ秒未満のイベント間で検出され得る。パッシブマーカの場合、各イベントベースの光センサのイベントを共通のマーカに関連付けるために、古典的な幾何学的エピポーラ制約を使用することができる。イベントがペアリングされた後、マーカを配置するためにそれらの対応が処理される。
【0055】
例示的な例において、いくつかのイベントベースの光センサC1、C2…Cnが、マーカの運動に応答してマーカを検出および追跡するように配置されている。
【0056】
マーカが光センサの視野にある場合、光センサC1は、時間t1において光センサC1のピクセル配列における座標(xic1、yic1)にインデックスic1として表現されるアドレスを有するピクセルのためにイベントev(ic1、t1)を生成し、光センサC2は、時間t2において光センサC2のピクセル配列における座標(xic2、yic2)にインデックスic2として表現されるアドレスを有するピクセルのためにイベントev(ic2、t2)を生成し、光センサCnは、時間tnにおいて光センサCnのピクセル配列における座標(xicn、yicn)にインデックスicnとして表現されるアドレスを有するピクセルのためにイベントev(icn、tn)を生成する。特に、それはマーカに応答して、光センサにおいて互いに隣接する1つのピクセルまたはグループまたはピクセルのスポットであり得、イベントev(ic1、t1)、ev(ic2、t2)…ev(icn、tn)は、それぞれ、各光センサによって生成されたイベントのセットを含み得る。これらのイベントは、各イベントベースのセンサにマーカが存在することに応じて継続的に生成することができる。
【0057】
通常、隣接するピクセルのグループがマーカを検出し、次いで、各光センサにおけるピクセルのグループからのそれぞれのイベントev(ic1、t1)、ev(ic2、t2)…ev(icn、tn)は、クラスタCL1、CL2…CLnとして別々にクラスタ化することができる。クラスタリングに基づいて、マーカおよびその2Dの見かけの軌道を各センサにおいて検出および追跡することができる。次いで、対応する軌道が2Dの位置およびタイムスタンプを有する各光センサによって検出されたマーカトラックのセットが、それらの光センサC1、C2…Cn間の対応を見つけるためにグローバルに処理される。
【0058】
これらの対応は、時間的および幾何学的制約に基づくデータ関連付けステップを使用して行われ、システムが偽の候補トラックを検出および破棄し、一貫性のあるトラックを検証し、確認されたマーカに一意のIDを割り当てることを可能にする。たとえば、C1、C2…Cnのイベント間にタイミングの一致がある場合、すなわちt1、t2…およびtnの時間差が1ミリ秒μs未満の場合、タイミングの一致が検出されるため、これらのイベント間に対応が見つかる。これは、イベントev(ic1、t1)、ev(ic2、t2)…ev(icn、tn)およびそれらの対応するクラスタCL1、CL2…CLnが共通のマーカに関連していることを意味する。次いで、その3D位置を三角測量するために、この共通のマーカの各センサにおける2D位置のセットを処理することができる。
【0059】
新しいマーカも簡単な方法で処理できる。たとえば、ピクセルの小さい近傍で生成されたイベントをクラスタ化することによって処理することができる。クラスタがあらかじめ定義されたサイズに達するか、および/またはバックグラウンドノイズと区別できるモーションを表示すると、新しいトラックを作成することができる。あるいは、アクティブなマーカの場合、各マーカまたはマーカの一部の特定の点滅頻度または疑似ランダム点滅パターンを使用して、一意のIDをエンコードすることもできる。イベントベースの光センサのマイクロ秒の精度により、各マーカの周波数をデコードすることができ、検出の信頼性をさらに向上させる、および/またはセンサ間で検出を一致させるたえに、これを使用することができる。
【0060】
次に、図4aから図4fを参照して、マーカを検出および追跡するより詳細な例示的な実装形態について説明する。これらの図は、3つのイベントベースの光センサC1、C2、およびC3によって2D座標において観察および追跡され、その3D位置が2Dトラックの更新ごとに三角測量されるマーカ41を示している。
【0061】
最初に、図4aに示されるように、マーカ41が獲得ボリュームに表示されると、マーカ41を表示するセンサC1、C2、およびC3が別々にイベントクラスタを生成し得る。図4aにおいて、センサC1およびC2はマーカ41を見ることができ、センサC3は閉塞障害物Oのためにマーカ41を見ることができない。したがって、最初は、センサC1およびC2のみが、マーカ41に対応するイベントクラスタCL1およびCL2を生成する。
【0062】
各センサにおけるイベントのクラスタがあらかじめ設定されたサイズに到達すると、1つにおけるセンサのクラスタが1つまたは複数の他のセンサにおける別のクラスタに対応するかどうかを確認するために、システムはエピポーラジオメトリなどの幾何学的制約を使用する。さらに、それらが1つの共通のマーカに由来するかどうかを決定するために、上記のように各センサにおけるイベント間のタイミングの一致をさらに確認することもできる。図4bに示されるように、センサC1およびC2によって生成されたクラスタCL1、CL2は、互いに対応するように決定され、すなわち、同じマーカに由来する。センサC3においてクラスタが生成されないため、センサC1およびC2において生成されたクラスタCL1、CL2に対応するクラスタはない。したがって、マーカ41は、それが見えるセンサC1およびC2から三角測量される。
【0063】
図4cに示されるように、センサC1におけるクラスタCL1がセンサC2のクラスタCL2に対応する場合、センサC1およびC2におけるマーカ41の2Dトラックが作成される。
【0064】
その後、マーカ41が方向Aに移動しているときに、各センサにおけるこのマーカ41の最後の知られている2D位置の所与の空間的近傍によって受信された新しいイベントを監視することによって、2Dトラックを維持することができる。たとえば、センサC1におけるクラスタCL1'、センサC2におけるクラスタCL2'、センサC3におけるクラスタCL3(閉塞障害物のためにマーカ41がセンサC3において見えなくなった場合)を含む各センサにおける新しいイベントクラスタが受信される。それらは、マーカ41の実際の運動またはノイズに属することができる、したがって、このマーカ41の候補の2Dモーションは、各センサにおいて別々に作成される。
【0065】
次いで、図4dに示されるように、マーカ41が見えなかったセンサC3におけるクラスタCL3によって表されるこの候補2Dモーションが、幾何学的および時間的制約に関して、マーカが見えたセンサC1およびC2において観察されたクラスタCL1'およびCL2'によって表される候補2Dモーションと対応する場合、図4eに示されるように、検討対象のマーカ41のセンサC3において新しい2Dトラックが作成される。これは、たとえば、センサのうちの1つにおいて考慮されるマーカの閉塞解除を処理するために使用することができる。
【0066】
2Dトラックが更新され、相互に対応することが確認されると、図4fに示されるように、3D座標で表されるマーカ41の新しい3D位置が三角測量される。
【0067】
あるいは、図5aから図5fに示されるように、3D座標においてマーカを追跡し、同様のハードウェア設定においてセンサ間で2Dトラックのマッチングを簡素化するために3D座標を使用することもでき、初めに、マーカ41は、センサC1およびC2において見ることができ、閉塞障害物のためにセンサC3においては見えない。
【0068】
3Dトラックは、図4a～図4bの2D追跡の上記の例と同様に初期化することができ、すなわち、図5a～図5bに示されるように、各センサにおいてイベントクラスタリングを個別に使用し、クラスタが十分なサイズであるか、および/またはタイミングが一致している場合にそれらの対応を確認する。クラスタCL1およびCL2は、センサC1およびC2においてそれぞれ生成され、それらの対応が確認される。2D追跡とは異なり、対応確認の後、センサC1およびC2におけるクラスタCL1およびCL2に三角測量のさらなるステップが適用される。したがって、マーカ追跡は、2D座標ではなく3D座標において維持される。
【0069】
図5cに示されるように、過去の3D座標または位置に基づいて、マーカ41の予想される将来の3D位置を予測するために、マーカ41の3D速度および加速度を推定することができる。
【0070】
これに関して、考慮されたマーカ41および予測されたマーカ41の最後の知られている3D位置を、マーカが見えたセンサC1およびC2だけでなく、障害物Oのためにマーカが見えなかったセンサC3においても、すべてのセンサにおいて投影することができる。図5cに示されるように、マーカ41がセンサC3によって見られることができるとき、新しいイベントクラスタCL3が生成され、これは、センサC3における予測された投影に近いか、または重なる。次いで、図5dに示されるように、各センサにおける候補2Dモーションを識別するために、投影の周囲の空間的近傍において受信された新しいイベントクラスタCL1'、CL2'、CL3を監視することができる。
【0071】
次いで、図5eに示されるように、観測された2Dモーションを最もよく説明し、同時にスプリアス2Dモーション候補を検出する新しい3D位置を推定するために、堅牢な最適化アルゴリズムを使用することができる。
【0072】
有利なことに、フレームベースのカメラの代わりにイベントベースの光センサを使用すると、システムの時間分解能に直接影響する。上記の配置により、ステレオ3D再構築は約1kHzで実行されることが示されおり、これは、既存の商用モーションキャプチャシステムと比較してすでに10倍の改善である。これにより、本発明は、1つまたは複数のマーカを有するスイングゴルフクラブヘッドの運動などの高速な運動をキャプチャすることができる。
【0073】
イベントベースの光センサは、時空における最近傍手法に基づくマーカ追跡を可能にする。移動するマーカによって生成されるイベントは、時間と画像平面空間において近接している必要がある(イベントは通常、マイクロ秒の精度で測定される)。この種のモーションキャプチャを実装する方法は比較的単純であり、不要な計算の量が最小限に抑えられる。実行周波数の増加と相まって、これは、当技術分野における商用システムと比較して、測定待ち時間の大幅な改善につながる。
【0074】
さらに、イベントベースの光センサは、従来のフレームベースのカメラと比較して、消費電力を大幅に削減する。システムが静止しているとき、検出および追跡方法は、イベントベースのデータの希薄さを非常に効率的な方法で活用することができ、システムによって必要とされる全体的な計算能力の削減につながる。
【0075】
上記の方法は、コンピュータによって実行され得る様々な動作を実装するために、非一時的なコンピュータ可読媒体に記録されたプログラム命令を使用して実装され得る。媒体はまた、単独で、またはプログラム命令、データファイル、データ構造などと組み合わせて含み得る。媒体に記録されたプログラム命令は、例示的な実施形態の目的のために特別に設計および構築されたものであってもよく、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々が利用できるよく知られた種類のものであってもよい。非一時的なコンピュータ可読媒体の例に、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD ROMディスクおよびDVDなどの光媒体、光ディスクなどの磁気光学媒体、ならびに読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリなどのプログラム命令を記憶および実行するように特別に構成されたハードウェアデバイスを含み得る。プログラム命令の例は、コンパイラによって生成されたコードなどのマシンコードと、インタープリタを使用してコンピュータによって実行され得る高レベルのコードを含むファイルの両方を含む。説明したハードウェアデバイスは、1つとして機能するように構成され得る。
【0076】
本発明の実装形態は、コンピュータと人間の相互作用(たとえば、ジェスチャ、姿勢、顔、および/または他のアプリケーションの認識)、プロセスの制御(たとえば、産業用ロボット、自律型および他の車両)、視覚的シーンにおける、および画像平面に関する、関心点のセットまたはオブジェクトの動きの追跡(たとえば、車両または人間)、拡張現実アプリケーション、仮想現実アプリケーション、アクセス制御(たとえば、ジェスチャに基づいてドアを開ける、許可された人の検出に基づいてアクセス方法を開く)、イベントの検出(たとえば、人または動物の視覚的監視)、カウント、追跡などを含む多くのアプリケーションにおいて使用され得る。本開示を前提として、当技術分野の通常の当業者によって認識される他の無数のアプリケーションが存在する。
【0077】
上記の実施形態は、本発明の例示である。添付の特許請求の範囲に由来する本発明の範囲を離れることなしに、それらに様々な修正を加えることができる。
【符号の説明】
【0078】
1 獲得ボリューム
3 オブジェクト
4 マーカ
8 剛性フレーム
10 イベントベースの非同期ビジョンセンサ
12 プロセッサ
15 獲得
41 マーカ
51 イベントベースの光センサ
52 イベントベースの光センサ
61 視野
62 視野
3 オブジェクト
4 マーカ
8 剛性フレーム
10 イベントベースの非同期ビジョンセンサ
12 プロセッサ
15 獲得
41 マーカ
51 イベントベースの光センサ
52 イベントベースの光センサ
61 視野
62 視野
【図1】
【図2】
【図3】
【図4(a)】
【図4(b)】
【図4(c)】
【図4(d)】
【図4(e)】
【図4(f)】
【図5(a)】
【図5(b)】
【図5(c)】
【図5(d)】
【図5(e)】