特表 2018-534576 ＬＩＤＡＲを使用した６自由度（６ＤＯＦ）の運動の推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2018-534576(P2018-534576A)

(43)【公表日】2018年11月22日

(54)【発明の名称】ＬＩＤＡＲを使用した６自由度（６ＤＯＦ）の運動の推定

(51)【国際特許分類】

   G01S 17/66 20060101AFI20181026BHJP

   G01S 17/87 20060101ALI20181026BHJP

   G01C 3/06 20060101ALI20181026BHJP

【ＦＩ】

   G01S17/66

   G01S17/87

   G01C3/06 120Z

   G01C3/06 140

【審査請求】未請求

【予備審査請求】未請求

【全頁数】26

(21)【出願番号】特願2018-526172(P2018-526172)

(86)(22)【出願日】2016年11月18日

(85)【翻訳文提出日】2018年7月12日

(86)【国際出願番号】US2016062732

(87)【国際公開番号】WO2017087779

(87)【国際公開日】20170526

(31)【優先権主張番号】62/257,523

(32)【優先日】2015年11月19日

(33)【優先権主張国】US

(31)【優先権主張番号】15/354,327

(32)【優先日】2016年11月17日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA

(71)【出願人】

【識別番号】516181066

【氏名又は名称】ディーエスシージー ソルーションズ，インコーポレイテッド

(74)【代理人】

【識別番号】100097456

【弁理士】

【氏名又は名称】石川 徹

(72)【発明者】

【氏名】ケンドール ベルスレー

(72)【発明者】

【氏名】リチャード セバスティアン

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112BA07

2F112BA09

2F112CA01

2F112CA12

2F112CA20

2F112DA02

2F112DA15

2F112DA21

2F112DA25

2F112EA20

2F112FA19

2F112FA35

2F112GA01

5J084AA05

5J084AA07

5J084AA08

5J084AA10

5J084AB07

5J084AC07

5J084BA03

5J084BA41

5J084BA48

5J084CA31

5J084DA01

5J084DA09

5J084EA23

(57)【要約】

物体を追跡する技法は、光検出と測距(LIDAR)システムを伴う。LIDARシステムは、物体が動いている期間にわたって物体を追跡するように構成されたものとすることができる。LIDARシステムを使用すれば、照明ハードウェア(例えばビデオカメラハードウェア)を除去しながら、物体の追跡を実施することができる。従って、LIDARシステムは、完全な闇の中での動作や、太陽に向けての動作などを行うように構成されることが可能である。LIDARシステムは、従来のシステムよりも物体の運動の影響を受けにくいものとすることができる。従って、物体の完全な剛体運動は、いくつかの実施形態においては、例えばビデオなしで、LIDAR測定値のみから決定することができる。
【選択図】図1

【特許請求の範囲】

【請求項1】

レーザーを備える第1のスキャニングメカニズムを使用した、物体の第1のエリアの第1のスキャンに基づいて、第1のデータセットを定義すること;
第2のスキャニングメカニズムを使用した、該物体の第2のエリアの第2のスキャンに基づいて、第2のデータセットを定義することであって、該物体の該第1のエリアが該物体の該第2のエリアと交差し、該第2のスキャンが、該第1のスキャンが実施される期間と重複する期間中に実施される、該定義すること;
該第1のデータセットに基づいて、該レーザーの方向に沿った該物体の速度、該レーザーの該方向と直交する第1の軸を中心とした該物体の第1の回転速度、及び該レーザーの該方向と直交する第2の軸を中心とした該物体の第2の回転速度を計算することであって、該第1の軸が該第2の軸とは異なる、該計算すること;
該第2のデータセットのサブセットを定義すること;
該第2のデータセットの該サブセットを、再サンプリング済みサブセットデータセットとして再サンプリングすること;
該第1のデータセット及び該再サンプリング済みサブセットデータセットに基づいて運動補正を推定すること;並びに、
該運動補正に基づいて該第1のデータセットと該第2のデータセットとのうちの少なくとも一方を修正すること
を含む方法。

【請求項2】

前記第1のデータセットの少なくとも一部を、再サンプリング済み第1のデータセットとして再サンプリングすることをさらに含み、前記運動補正を推定することが、該再サンプリング済み第1のデータセット及び前記再サンプリング済みサブセットデータセットに基づく、請求項1記載の方法。

【請求項3】

前記計算することが、前記第1のデータセット及び前記第2のデータセットからの速度情報に基づく、請求項1記載の方法。

【請求項4】

前記第1のスキャンが第1のパターンに基づき、前記第2のスキャンが、該第1のパターンとは異なる第2のパターンに基づく、請求項1記載の方法。

【請求項5】

前記第1のパターンが、前記第2のパターンが整合される方向と直交する方向に沿って整合される、請求項4記載の方法。

【請求項6】

前記第1のデータセットの前記少なくとも一部を再サンプリングすること、及び前記第2のデータセットの前記サブセットを再サンプリングすることが、共通の座標系に基づく、請求項1記載の方法。

【請求項7】

前記推定することが、前記第1のデータセットの前記少なくとも一部を再サンプリングすること及び前記第2のデータセットの前記サブセットを再サンプリングすることが実施される平面と実質的に直交する方向に沿ったデータポイントの比較に基づいて実施される、請求項1記載の方法。

【請求項8】

前記サブセットが第1のサブセットであり、前記第2のデータセットの該第1のサブセットを定義することが第1の反復中に実施され、該第2のデータセットが、運動補正を使用して修正されたデータポイントを含み、
第2の反復中に、該修正されたデータポイントを含む該第2のデータセットの第2のサブセットを定義することをさらに含む、請求項1記載の方法。

【請求項9】

前記運動補正が、前記レーザーの前記方向と直交する方向に沿った前記物体の速度に関連する、請求項1記載の方法。

【請求項10】

前記運動補正が、前記レーザーの前記方向とそれぞれ直交する複数の方向に沿った前記物体の速度に関連する、請求項1記載の方法。

【請求項11】

前記運動補正が、前記レーザーの前記方向に沿った前記物体の回転に関連する、請求項1記載の方法。

【請求項12】

第1のパターンに基づいて物体の第1のスキャンを実施するように構成されたレーザーを備える第1のスキャニングメカニズムと;
該第1のパターンとは異なる第2のパターンに基づいて該物体の第2のスキャンを実施するように構成された第2のスキャニングメカニズムと;
該第1のスキャンに基づく第1のデータセット、及び該第2のスキャンに基づく第2のデータセットのサブセットを定義するように構成されたデータセットモジュールと;
該第1のデータセットの少なくとも一部、及び該第2のデータセットの該サブセットを再サンプリングするように構成された再サンプリングモジュールと;
該第1のデータセットの該少なくとも一部、及び該第2のデータセットの該サブセットの該再サンプリングに基づいて、運動補正を推定するように構成された補正モジュールと
を備える装置。

【請求項13】

前記第1のスキャンが、前記第2のスキャンに関連する前記物体の第2のエリアと交差する該物体の第1のエリアに関連する、請求項13記載の装置。

【請求項14】

前記第1のスキャンが、前記第2のスキャンが実施される期間と重複する期間中に実施される、請求項13記載の装置。

【請求項15】

前記第1のデータセットの前記少なくとも一部、及び前記第2のデータセットの前記サブセットの前記再サンプリングが、共通の座標系に基づく、請求項13記載の装置。

【請求項16】

前記第1のデータセットの前記少なくとも一部の前記再サンプリングの前に、該第1のデータセットが、z方向の速度と、x軸を中心とした回転速度と、y軸を中心とした回転速度とを含む初期運動推定値を使用して補正される、請求項13記載の装置。

【請求項17】

レーザーを備える第1のスキャニングメカニズムを使用した、かつ第1のパターンに基づく、物体の第1のエリアの第1のスキャンに基づいて、第1のデータセットを定義すること;
第2のスキャニングメカニズムを使用した、かつ該第1のパターンとは異なる第2のパターンに基づく、該物体の第2のエリアの第2のスキャンに基づいて、第2のデータセットを定義することであって、該物体の該第1のエリアが該物体の該第2のエリアと交差する、該定義すること;並びに、
該第1のデータセットと該第2のデータセットのサブセットとの比較に基づいて、該レーザーの方向と直交する第1の方向に沿った該物体の速度、該レーザーの該方向と直交する第2の方向に沿った該物体の速度、及び該レーザーの該方向に沿った該物体の回転を推定すること
を含む方法。

【請求項18】

前記推定することが、相互に排他的な時間ウィンドウ内で反復的に実施される、請求項19記載の方法。

【請求項19】

前記推定することが、前記第2のデータセットの異なるサブセットを使用して反復的に実施される、請求項19記載の方法。

【請求項20】

前記推定することが、前記第1のデータセットと前記第2のデータセットの前記サブセットとの間の位置合わせに基づく、請求項19記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

(関連出願)
本出願は、「LIDARを使用した6自由度(6DOF)の運動の推定(Estimation of Motion in Six Degrees of Freedom (6DOF) Using LIDAR)」と題された2016年11月17日出願の米国非仮特許出願第15/354,327号に基づく優先権を主張し、かつその継続出願であり、この米国非仮特許出願は、「LIDARを使用した6自由度(6DOF)の運動の推定(Estimation of Motion in Six Degrees of Freedom (6DOF) Using LIDAR)」と題された2015年11月19日出願の米国仮特許出願第62/257,523号に基づく優先権を主張する。

【0002】

本出願はまた、2015年11月19日出願の米国仮特許出願第62/257,523号に基づく優先権も主張する。

【0003】

(技術分野)
本記述は、光検出と測距(LIDAR)を使用して運動を推定するためのシステム及び方法に関する。

【背景技術】

【0004】

(背景)
いくつかの公知のシステムでは、物体は、ビデオシステムと組み合わせたレーザー光検出と測距(LIDAR)システムを用いて追跡することができる。そのような公知のシステムのいくつかは、複雑かつ使用が難しい場合がある。さらに、そのような公知のシステムのいくつかにおいて、ビデオシステムは、追跡すべき物体を検出するために光を必要とする場合がある。このため、現状の技術の不足に対応し、他の新規及び革新的な特徴を提供するシステム、方法、及び装置の必要性が存在する。

【図面の簡単な説明】

【0005】

(図面の簡単な説明)

【図1】態様による光検出と測距(LIDAR)システムを示す図である。

【0006】

【図2】物体に向けてz方向に沿って射出されるレーザービームを示す図である。

【0007】

【図3】実施形態による6自由度(DOF)パラメータを計算する方法を示すフローチャートである。

【0008】

【図4】図4は、実施形態によるLIDARシステムを示す概略図である。

【0009】

【図5】図5は、実施形態によるプロセッサーの一例を示す概略図である。

【0010】

【図6-7】図6及び7は、実施形態によって追跡され得る物体を示す。

【0011】

【図8-10】図8乃至10は、実施形態によって追跡され得る別の物体を示す。

【0012】

【図11】図11は、実施形態による物体を追跡するための方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

(詳細な説明)
図1は、態様による光検出と測距(LIDAR)システム100を示す図である。LIDARシステム100は、物体10が動いている期間にわたって物体10を追跡するように構成されたものとすることができる。LIDARシステム100を使用すれば、照明ハードウェア(例えばビデオカメラハードウェア)を除去しながら、物体10の追跡を実施することができる。従って、LIDARシステム100は、完全な闇の中での動作や、太陽に向けての動作などを行うように構成されることが可能である。LIDARシステム100は、従来のシステムよりも物体10の運動の影響を受けにくいものとすることができる。従って、物体10の完全な剛体運動は、いくつかの実施形態においては、例えばビデオなしで、LIDAR測定値のみから決定することができる。

【0014】

図1に示すように、LIDARシステム100は、分析モジュール130、メモリー150、及びレーザーシステム110を備える。レーザーシステム110は、2つのスキャニングメカニズム、すなわちスキャニングメカニズム110A及びスキャニングメカニズム110Bを備える。スキャニングメカニズム110A、110Bは、共に使用されて(例えば連携して使用されて)物体10を追跡するように構成されている。2つのスキャニングメカニズムによるスキャン(例えば、スキャンを表すデータポイントを含むデータセット)を使用して、物体10の追跡の精度を比較的高速かつ正確な方式で達成することができる。スキャニングメカニズム110A、110Bのうちの1つ以上は、水平方向に沿って(例えば、蛇行パターンで水平方向に沿って、単一の線に沿った水平方向に沿って)、垂直方向に沿って(例えば、垂直方向に沿って、単一の線に沿った垂直方向に沿って)、及び/又は別の方向に沿って(例えば対角方向に沿って)、スキャンするように構成されてよい。いくつかの実施形態において、スキャニングメカニズム110A、110Bによって実施されるスキャン方向及び/又はパターンは、同じであるか又は異なる可能性がある。

【0015】

スキャニングメカニズム110A(例えばレーザー)から物体10に向けて射出されたレーザービーム(例えば電磁放射)が、12Aとして示され、スキャニングメカニズム110Bから物体10に向けて射出されたレーザービームが、14Aとして示される。反射されたレーザービームを分析モジュール130によって分析することができるが、この反射されたレーザービームは、12B及び14Bとして示される。

【0016】

一般に、LIDARシステム100は、物体10が動いている期間にわたって目標をスキャンするように構成されている。LIDARシステム100は、6自由度(DOF)軌跡パラメータv_x(t)、v_y(t)、v_z(t)、ω_x(t)、ω_y(t)、ω_z(t)(vx、vy、vz、ωx、ωy、及びωzと呼ぶこともできる)を決定するように構成されてよい。いくつかの実施形態において、収集されたx、y、z測定ポイントを全て単一の時点にマッピングして、その時の対象の三次元(3D)画像を定義することができる(ここで、v_x(t)、v_y(t)、及びv_z(t)は、時間に応じた、x、y、及びzデカルト方向における物体10のそれぞれの速度であり、ω_x(t)、ω_y(t)、及びω_z(t)は、時間に応じた、x、y、及びz方向を中心とした物体10のそれぞれの回転である)。この画像は、初期軌跡パラメータ推定値に誤差がある場合、歪む可能性がある。いくつかの実施形態において、初期軌跡パラメータは、ビデオスキャンに基づくものとすることができる。

【0017】

z方向は、レーザービームに沿った方向とすることができ、x方向は、z方向と直交するものとすることができ、y方向は、z方向及びx方向と直交するものとすることができる。このデカルト配向が図2に示される。図2は、物体20に向けてz方向に沿って射出されたレーザービーム24を示す。x方向及びy方向は、相互に直交しており同じ平面内にあるが、これらの方向は両方とも、z方向と直交する。x、y、及びz軸の各々を中心とした回転方向が、湾曲した矢印で示される。

【0018】

再び図1を参照すると、LIDARシステム100は、1次(リアルタイム)推定値を使用して初期物体10画像が形成された後、6DOFの物体10の運動及び画像形成を定義又は精緻化するように構成されている。例えば、LIDARシステム100は、6DOFパラメータのうちのいくつかの直接的な推定値に基づいて、6DOFパラメータのうちのいくつかの間接的な推定を得るように構成されてよい。いくつかの実施形態において、直接に推定される6DOFパラメータなど、6DOFパラメータの少なくとも一部は、正しい又は正確である(例えば、実質的に正しい又は正確である)と推定されると仮定することができる。従って、6DOFパラメータの第1のサブセットを、正しい又は正確であると仮定される6DOFパラメータの第2のサブセットに基づいて、決定及び/又は調整することができる。具体例として、6DOFパラメータのうちの3つのパラメータのセット、すなわちvx、vy、及びωzを、6DOFパラメータのうちの3つのパラメータの別個のセット(例えば相互に排他的なセット)、すなわちvz、ωx、及びωyの直接的な推定値に基づいて、間接的に決定及び/又は補正することができる。

【0019】

上述のように、LIDARシステム100は、独立したスキャニングメカニズム、すなわちスキャニングメカニズム110A及び110Bを備え、これらのスキャニングメカニズムを使用して、物体10の重複するスキャニングエリア(例えば、時間が重複する、同じ期間にわたる)を生成することができ、これらの重複するスキャニングエリアを使用して、6DOFパラメータを正確に決定することができる。いくつかの実施形態においては、LIDARシステム100は、冗長スキャニングメカニズム(例えば、エリアを複数回スキャンする単一のスキャニングメカニズム)を備えることができ、このスキャニングメカニズムを使用して、物体10の重複するスキャニングエリアを生成することができ、これらの重複するスキャニングエリアを使用して、6DOFパラメータを正確に決定することができる。いくつかの実施形態において、例えば、スキャニングメカニズム110Aは、物体10を水平方向に沿ってスキャンするように構成されてよく、スキャニングメカニズム110Bは、物体10を垂直方向に沿ってスキャンするように構成されてよい。LIDARシステム100は、少なくとも2つのビーム又はビームセットを射出するように構成され、各ビーム又はビームセットは別個のスキャンパターンでスキャンされ、各パターンは1つ以上の重複領域を有する。

【0020】

いくつかの実施形態において、2つ以上のレーザービーム(又はスキャニングメカニズム110A、110B)は、別々の独立したスキャンパターンで展開されてよい。これらのスキャンパターンは、パターンの一部が重複し、2つ(又はそれ以上)のビームが同時に又は近接した時間(例えば同じスキャンサイクル内の)に同じ位置(又は複数の同じ位置)の測定を行うように、構成されてよい。2つ(又はそれ以上)のビームからの測定値を共に使用して、2つの異なる方向(例えば、水平方向及び垂直方向)における物体10の運動を推定することができる。例えば、物体10の特徴及び運動が、水平スキャニングビームが物体の水平運動を正確に決定するのを可能にする場合は、この水平運動は、回転及びz運動と共に、除去するか又は取り消すことができる。この運動除去を実施した後は、水平スキャンパターンと重複するスキャンパターンを有する垂直スキャンビームを使用して、水平スキャニングビームと2つのビーム測定値を結びつける重複測定値とがない場合に通常なら可能となるよりも正確に、垂直運動を決定することができる。

【0021】

LIDARシステム100を使用して実装できる方法について以下に述べる。いくつかの実施形態において、追跡する(かつ、6DOFパラメータを正確に計算する)ための様々な方法を、1つ以上のスキャニングメカニズムを使用して実施することができ、本明細書に記載の方法は、そのような方法の例である。

【0022】

LIDARシステム100に備わるスキャニングメカニズム110A、110Bのうちの1つ以上を使用して、物体10の初期画像(例えば、大域的画像、初期三次元(3D)画像)を定義することができる。場所及び運動(例えば、方向における速度(例えばx方向に沿った)、方向を中心とした回転(例えば、y軸を中心とした回転)の初期推定値を使用して、データセットによって表され得る初期画像を定義することができる。いくつかの実施形態において、初期推定値は、スキャニングメカニズムのうちの一方110Aを使用して定義することができ、また初期推定値は、初期データセットによって表される大域的画像又はスキャンとすることができる。いくつかの実施形態において、初期推定値は、初期軌跡推定値、1次推定値(又は1次画像)と呼ばれてもよく、6DOFパラメータの全て又はサブセットを含むことができる。これらの初期推定値の形成に関係するより多くの詳細については、少なくとも図4〜11に関して後述する。

【0023】

初期データセット(例えば、図1に示す、メモリー150に記憶された初期データセット)は、後続の又は同時の、ただし補助的なスキャン、及び関連する補助データセット(例えば、図1に示す、メモリー150に記憶された補助データセット)と比較されて、6DOFパラメータが定義されること、及び/又はさらに精緻化されることが可能である。いくつかの実施形態において、初期データセットは、第1の方向に沿って実施されたスキャンを表すことができ、補助データセットは、第1の方向とは異なる(例えばそれと直交する)第2の方向に沿って実施されたスキャンを表すことができる。いくつかの実施形態において、補助スキャン(及び補助スキャンを表す補助データセット)は、初期データセットを定義するのに使用された時間(又は時間間隔)の一部に基づくサブセット(及びサブセットデータセット)に分割されることが可能である。言い換えれば、補助スキャン又はデータセットは、時間において局所的な(若しくは初期データセットの時間ウィンドウよりも小さい時間ウィンドウにわたる)サブセットデータセットに分割されてよく、又は、初期スキャン若しくはデータセットの時間のサブセットにそれぞれ基づくことができる。いくつかの実施形態において、サブセットデータセットに含まれるデータポイントは、ある期間にわたる継続時間(例えば複数の時間)に関連する可能性があるが、サブセットデータセットは、この期間からの単一の時間(例えば、平均時間、中間時間、中間点時間)に関連する可能性がある。

【0024】

別の言い方をすれば、補助スキャンスキャニングメカニズムからのポイントは、スキャン期間全体のうちの、一連のより短い時間間隔P_n(x, y, z, t)(これらは時間において相互と重複し得る)に分類される。ここで、nは間隔インデックスであり、Pは、空間及び時間における場所(x, y, z, t)を有するこの間隔中のポイントのセットである。初期データセット及び/又はサブセットデータセットは、データセットモジュール120によって定義されるものとすることができる。サブセットデータセットを定義するのに使用される時間間隔は、間隔定義モジュール125によって定義されるものとすることができる。

【0025】

初期データセットとサブセットデータセット(時間において局所的であり得る)との比較は、2つの間の位置合わせを含むか、又は2つの間の位置合わせであるものとすることができる。いくつかの実施形態において、比較は、初期データセット(又はその一部)及びサブセットデータセット(又はその一部)を、例えばデカルト座標中の(例えばx及びyにおける)グリッドに対して再サンプリングすることを含むことができる。いくつかの実施形態において、再サンプリングは、デカルト座標(z値が有効な場合はz値など)に基づくことができる。再サンプリングは、図1に示す再サンプリングモジュール135を使用して実施することができる。

【0026】

別の言い方をすれば、より短い各時間間隔P_nのポイントを、初期データセット(又は3D画像)に適合させ、オフセット(位置誤差)Δx(t)、Δy(t)、Δz(t)、θx(t)、θy(t)、θz(t)を計算することができる。ポイントは、中間点が時間tである間隔について収集することができ、オフセットはこの中間点時間に適用されると仮定することができる。いくつかの実施形態において、P_nポイントのセットを大域的画像に適合させるための方法は、大域的ポイントとP_nポイントとの両方を、x及びy座標における同じ正規グリッドに対して補間(再サンプリング)することである。

【0027】

いくつかの実施形態においては、再サンプリング済み初期データセット及び再サンプリング済みサブセットデータセットを、適合(例えば、しきい値への適合、二乗平均平方根(RMS)誤差への適合)が見つかるまで、x方向、y方向、及びz回転で相互に対して相対的に移動させることができる。いくつかの実施形態においては、再サンプリング済み初期データセット及び再サンプリング済みサブセットデータセットを、z方向に沿った適合が見つかるまで、x方向、y方向、及びz回転で相互に対して相対的に移動させることができる。別の言い方をすれば、2つの再サンプリング済みセット間の位置合わせとしての、2つの再サンプリング済みセット間のRMSz偏差が、x、y、及びθ_z(t)において変えられる。後述するように、RMSz偏差を最小化するΔx(t)、Δy(t)、及びΔθ_z(t)の値を使用して、速度推定値を更新することができる。

【0028】

オフセット測定値の時間変動に基づいて、目標軌跡補正を推定することができる。図1に示す補正モジュール140は、補正を定義するように構成されてよい。例えば、時刻t1と時刻t2との間では以下のとおりである。
V_xerror(t2-t1) = (Δx(t2) - Δx(t1))/(t2-t1)
他の6DOFパラメータについても同様の計算を実施することができる。

【0029】

6DOF変換は、時間に応じて補正されてよく、補正された変換を使用して、初期データセット(及び初期データセットによって表されるスキャン)と、時間tにマッピングされるより短い時間間隔の3D画像ポイント(例えばサブセットデータセット)との両方を補正することができる。前述のプロセス(又はその一部)は、複数回又は反復的に繰り返されてよい。いくつかの実施形態において、プロセスは、改善された3D画像ポイントを使用して反復されてよい。

【0030】

前述の方法の反復は、補助スキャンからのサブセットデータセットにわたって実施することができる。例えば、第1の処理反復は、補助データセットからの第1のサブセットデータセット(第1の中間点時間に関連する)に関連するものとすることができ、第2の処理反復は、第2のサブセットデータセット(第1の中間点時間とは異なる第2の中間点時間に関連する)に関連するものとすることができる。第1のサブセットデータセットによってカバーされる物体10のエリアは、第2のサブセットデータセットによってカバーされる物体10のエリアとは異なるものとすることができる。

【0031】

いくつかの実施形態において、LIDARシステム100のスキャンによる結果は、頑強な方式で収束することができる。LIDARシステム100のいくつかの実施形態において、オフセットΔx、Δyなどは、測定値誤差の限度内、及び異なる複数のスキャニングメカニズムからの位置測定の実際の系統的オフセットの限度内で、一定になることができる。上述のように、スキャンが冗長方式で実施される場合、プロセスは、単一のスキャニングメカニズムを備えるLIDARシステム100に適用されてよい。前述のように、LIDARシステム100は、1次(リアルタイム)推定値を使用して物体10の初期画像が形成された後で、物体10の6自由度(6DOF)の運動及び初期画像をさらに精緻化するように構成されてよい。

【0032】

図3は、実施形態による6DOFパラメータを計算する方法を示すフローチャートである。このフローチャートは、前述のLIDARシステム100を使用して実施することができる。

【0033】

図3に示すように、第1のスキャニングメカニズムを使用した、かつ第1のパターンに基づく、物体の第1のスキャンに基づいて、第1のデータセット(例えば、図1に示すメモリー150に記憶された初期データセット)が定義される(ブロック210)。第1のデータセットは、初期軌跡推定値を含むことができる。第1のスキャンは、例えば、図1に示すレーザーシステム110のスキャニングメカニズム110Aを使用して実施することができる。第1のデータセットは、図1に示すデータセットモジュール120によって定義されるものとすることができる。

【0034】

第2のスキャニングメカニズムを使用した、物体の第2のエリアの第2のスキャンに基づく第2のデータセット(例えば、図1に示すメモリー150に記憶された補助データセット)が定義されるが、ここで、物体の第1のエリアは、物体の第2のエリアと交差する(ブロック220)。第2のスキャンは、例えば、図1に示すレーザーシステム110のスキャニングメカニズム110A(又はスキャニングメカニズム110B)を使用して実施することができる。第2のデータセットは、図1に示すデータセットモジュール120によって定義されるものとすることができる。いくつかの実施形態において、第2のスキャンは、第1のスキャンが実施される期間と重複する期間中に実施される可能性がある。

【0035】

レーザーの方向に沿った物体の速度、レーザーの方向と直交する第1の軸を中心とした物体の第1の回転速度、及び、レーザーの方向と直交する第2の軸を中心とした物体の第2の回転速度が、第1のデータセットに基づいて計算され、ここで、第1の軸は第2の軸とは異なる(ブロック230)。上述の速度は、図1に示す分析モジュール130を使用して定義されるものとすることができる。

【0036】

第2のデータセットのサブセットが定義される(ブロック240)。第2のデータセットのサブセットは、間隔定義モジュール125を使用して定義されるものとすることができ、サブセットは、特定の時間(第1のスキャンが実施される期間に含まれ得る)に関連するものとすることができる。

【0037】

第2のデータセットのサブセットが、再サンプリング済みサブセットデータセットとして再サンプリングされる(ブロック250)。再サンプリング済みサブセットデータセットは、図1に示す再サンプリングモジュール135を使用して定義されるものとすることができる。

【0038】

第1のデータセット及び再サンプリング済みサブセットデータセットに基づいて、運動補正を推定することができる(ブロック260)。運動補正は、図1に示す補正モジュール140を使用して計算されるものとすることができる。

【0039】

運動補正に基づいて、第1のデータセットと第2のデータセットとのうちの少なくとも一方を修正することができる(ブロック270)。修正は、データセットモジュール120によって実施されるものとすることができる。

【0040】

前述のプロセスの少なくともいくつかの部分は、反復的に実施することができる。例えば、ブロック240〜270は、収束まで、第2のデータセットの異なるサブセットに対して反復的に実施することができる。従って、第1のデータセット及び/又は第2のデータセットを精緻化することができる。

【0041】

図4は、態様によるLIDARシステム400を概略的に示す図である。LIDARシステム400は、レーザーシステム405と、分析モジュール430とを含む。レーザーシステム405は、レーザーセット410と、受信機セット420とを含む。

【0042】

LIDARシステム400は、物体40を追跡するように構成されている。例えば、いくつかの実施形態において、LIDARシステム400は、時刻T1から時刻T2まで物体40を追跡するように構成されている。いくつかの実施形態において、LIDARシステム400は、時刻T1と時刻T2の間の軸を中心とした物体40の回転を決定するように構成されている。いくつかの実施形態において、LIDARシステム400は、少なくとも2つの異なる軸を中心にした物体40の回転を決定するように構成されている。例えば、いくつかの実施形態において、LIDARシステム400は、時刻T1と時刻T2の間に互いに垂直又は直交する少なくとも2つの異なる軸を中心にした物体の回転を決定するように構成されている。いくつかの実施形態において、LIDARシステム400は、暗がりで(又は、物体が人間の目に見えるように物体を光源内に配置せずに)物体の回転を決定するように構成されている。例えば、いくつかの実施形態において、LIDARシステム400は、物体の回転を決定するように構成されているが、物体は、40ルーメン未満の光照射野内である。

【0043】

いくつかの実施形態において、LIDARシステム400は、時刻T1と時刻T2の間の物体40の移動を決定するようにも構成されている。例えば、いくつかの実施形態において、LIDARシステム400は、xy平面などの平面内で、時刻T1と時刻T2の間の物体40の移動を決定するように構成されている。いくつかの実施形態において、LIDARシステム400は、暗がりで(又は、物体が人間の目又はカメラに見えるように物体を光源内に配置せずに)物体の回転を決定するように構成されている。

【0044】

物体40は、任意の形状又は形態であってもよい。例えば、いくつかの実施形態において、物体40は、剛性の固体物体である。いくつかの実施形態において、物体40は、ヒト対象又は個人、又は、ヒト対象又は個人の頭部又は顔などのヒト対象又は個人の身体の一部である。いくつかの実施形態において、物体40は、目標又は目標物体と呼ぶことができる。

【0045】

LIDARシステム400は、LIDARシステム400に対して静止又は動くことができる物体40の距離(又は距離推定値)及び/又は速度(又は速度推定値)を生成又は測定するために、レーザーシステム405及び分析モジュール430を使用するように構成されている。例えば、いくつかの実施形態において、生成又は測定する速度は、放射ビーム(以下により詳細に説明する)の方向における速度である。言い換えると、測定する速度は、LIDARシステム400に向かうか又はそれから離れる物体の速度である。いくつかの実施形態において、距離は、距離推定値であってもよく、速度は、速度推定値であってもよい。いくつかの実施形態において、距離は、正確な距離推定値であってもよく、速度は、正確な速度推定値であってもよい。いくつかの実施形態において、LIDARシステム400は、例えば、レーザー410からの電磁放射及び/又は測定中に生じ得る他の干渉に関連付けられたマルチパス効果にもかかわらず、正確な距離推定値及び/又は正確な速度推定値を生成するように構成されている。

【0046】

いくつかの実施形態において、LIDARシステム400は、レーザーシステム405及び分析モジュール430を使用して、物体40上の種々の異なるポイントの距離及び/又は速度を生成又は測定するように構成されている。例えば、図示の実施形態において、LIDARシステム400は、物体40上の5個のポイント(又は位置)41、42、43、44、及び45の距離及び/又は速度を生成又は測定するように構成されている。他の実施形態において、LIDARシステム400は、物体上の6個以上のポイントの距離及び/又は速度を任意の所与の時間で生成又は測定するように構成されている。例えば、LIDARシステム400は、物体上の16個のポイント又は17個以上のポイントの距離及び/又は速度を生成又は測定するように構成されていてもよい。

【0047】

LIDARシステム400のレーザーシステム405は、レーザーセット410を含む。図示の実施形態において、レーザーセット410は、レーザービーム411A、412A、413A、414A、及び415Aを出射するか又は方向付けるように構成されている。他の実施形態において、レーザーセット410は、5本未満のレーザービームを出射するか又は方向付けるように構成されている。例えば、一実施形態において、レーザーセット410は、4本のレーザービームを出射するか又は方向付けるように構成されている。さらに他の実施形態において、レーザーセット410は、4〜16本のレーザービームを出射するように構成されている。さらなる実施形態において、レーザーセットは、17本以上のレーザービームを出射するか又は方向付けるように構成されている。

【0048】

図示の実施形態において、レーザーセット410は、レーザービームを出射するか又は方向付けるためのレーザー411、412、413、414、及び415を含む。他の実施形態において、単一レーザーを使用して、レーザービーム411A、412A、413A、414A、及び415Aを出射するか又は方向付けてもよい。他の実施形態において、レーザーセット410は、ほぼ5本のレーザーを含む。例えば、いくつかの実施形態において、レーザーセット410は、少なくとも5本のレーザーを含む。他の実施形態において、レーザーセット410は、少なくとも4本のレーザーを含む。他の実施形態において、レーザーセット410は、5〜16本のレーザーを含む。他の実施形態において、レーザーセット410は、4〜16本のレーザーを含む。さらに他の実施形態において、セット410は、17本以上のレーザーを含む。

【0049】

レーザー411、412、413、414、及び415の各々は、例えば、コヒーレント光出射(例えば、単色光出射)又はビームであってもよい1つ又は複数の周波数での電磁放射を出射する(例えば、生成する、伝播する)ように構成されている。いくつかの実施形態において、レーザーは、複数のコヒーレント光出射(例えば、単色光出射)又はビームを出射する(例えば、生成する、伝播する)ように構成されている。レーザーからの出射は、電磁放射出射、出射電磁放射、又は透過電磁放射と呼んでもよい。

【0050】

具体的に、レーザーシステム405のレーザーの各々は、LIDARシステム400から物体40上のポイントに向かってコヒーレント光出射(例えば、単色光出射)又はビームを出射する(例えば、生成する、伝播する)ように構成されている。いくつかの実施形態において、レーザーシステム405のレーザーの各々は、物体40上の異なるポイントに向かって光ビームを出射するように構成されている。いくつかの実施形態において、レーザーシステム405のレーザーシステム405のレーザーは、2本以上の光ビームを物体40に向かって出射するか又は方向付けるように構成されている。例えば、単一レーザーを使用して、複数(例えば、4本、5本、又は6本以上)の光ビームを物体40上の異なるポイントに向かって出射するか又は方向付けてもよい。

【0051】

図示の実施形態において、レーザー411は、物体40上のポイント41に向かって光又は電磁放射ビーム411Aを出射するように構成されている。レーザー412は、物体40上のポイント42に向かって光又は電磁放射ビーム412Aを出射するように構成されている。レーザー413は、物体40上のポイント43に向かって光又は電磁放射ビーム413Aを出射するように構成されている。レーザー414は、物体40上のポイント44に向かって光又は電磁放射ビーム414Aを出射するように構成されている。レーザー415は、物体40上のポイント45に向かって光又は電磁放射ビーム415Aを出射するように構成されている。

【0052】

LIDARシステム400は、物体の距離及び速度を検出するように構成されている任意の種類のシステムであってもよい。

【0053】

LIDARシステム400のレーザーシステム405は、受信機セット420を含む。図示の実施形態において、受信機セット420は、受信機421、422、423、424、及び425を含む。他の実施形態において、受信機セット420は、5台程度の受信機を含む。例えば、いくつかの実施形態において、受信機セット420は、少なくとも5台の受信機を含む。他の実施形態において、受信機セット420は、5〜16台の受信機を含む。さらに他の実施形態において、受信機セット420は、17台以上の受信機を含む。いくつかの実施形態において、受信機セット420は、レーザーセット410においてレーザーごとに受信機を含む。いくつかの実施形態において、受信機セット420は、レーザーセット410によって出射されるレーザービームごとに受信機を含む。いくつかの実施形態において、受信機セット420は、レーザーセット410の各レーザーによって出射されるレーザービームごとに受信機を含む。いくつかの実施形態において、受信機セット420は、観察されている物体40上のポイント又は測定位置ごとに受信機を含む。

【0054】

受信機421、422、423、424、及び425の各々は、物体40に向かってレーザーから出射された電磁放射に応答して、物体40から反射した電磁放射(反射電磁放射とも呼んでもよい)を受信するように構成されている。例えば、図示の実施形態において、受信機421は、物体40のポイント41から反射する電磁放射411Bを受信するように構成されている。受信機422は、物体40のポイント42から反射する電磁放射ビーム412Bを受信するように構成されている。受信機423は、物体40のポイント43から反射する電磁放射ビーム413Bを受信するように構成されている。受信機424は、物体40のポイント44から反射する電磁放射ビーム414Bを受信するように構成されている。受信機425は、物体40のポイント45から反射する電磁放射ビーム415Bを受信するように構成されている。

【0055】

LIDARシステム400の分析モジュール430は、レーザーの各々からの出射電磁放射(例えば、出射電磁放射ビーム411A〜415A)と、受信機の各々で受信された反射電磁放射(例えば、反射電磁放射411B〜415B)との組み合わせを分析するように構成されている。出射電磁放射は、アップチャープ、次いで、ダウンチャープ(又はダウンチャープ、次いで、アップチャープ)を含むパターンに従って出射することができる。レーザーの各々からの出射電磁放射の周波数と受信機で受信された反射電磁放射の周波数との組み合わせを分析モジュール430によって分析し、物体40の各観察ポイントの距離(LIDARシステムからの距離)及び速度を決定することができる。具体的に、図示の実施形態において、LIDARシステム400は、第1の時刻T1から第2の時刻T2までの物体40のポイント41、42、43、44、及び45の各々の距離及び/又は速度を決定するように構成されている。

【0056】

いくつかの実施形態において、LIDARシステム400は、毎秒約100回で、物体40上のポイント41、42、43、44、及び45の各々を追跡、観察、或いは監視するように構成されている。そのような実施形態において、T1とT2の時間差は、約0.01秒である。他の実施形態において、LIDARシステム400は、毎秒100回よりも頻繁に、例えば、毎秒1000回又はそれ以上で、各ポイントを追跡又は観察するように構成されている。いくつかの実施形態において、LIDARシステム400は、毎秒100回未満で、各ポイントを追跡又は観察するように構成されている。

【0057】

以下に詳述されるように、分析モジュール430は、物体の回転と、時刻T1と時刻T2の間に物体が移動した距離及び方向とを決定するようにも構成されている。

【0058】

図5は、分析モジュール430の概略図である。分析モジュール430は、画像モジュール432、比較モジュール434、回転モジュール436、及び距離モジュール438を含む。画像モジュール432は、物体40の三次元画像を取得するように構成されている。場合によっては、物体40は、既知の人物など既知の物体又は対象である。そのような場合、物体40は、既知の三次元構造を有し、画像モジュール432は、データベース、メモリー、又は任意の他の格納デバイス若しくはメモリーデバイス439から構造を取得することができる。いくつかの実施形態において、物体の三次元構造は、データベース、メモリー、又は他の格納若しくはメモリーデバイス439から画像モジュール432に提供してもよい。いくつかの実施形態において、データベース、メモリー、又は他の格納デバイスは、分析モジュール430にローカルである。他の実施形態において、三次元構造は、例えば、インターネット又はイントラネットを介して、遠隔格納デバイスから分析モジュール430によって受信してもよい。

【0059】

場合によっては、物体40は、既知の三次元構造を持たない。そのような場合、画像モジュール432は、レーザーシステム410から受信したデータを用いて、物体の三次元構造を作成するように構成されている。例えば、画像モジュール432は、例えば、レーザーシステム405によって生成された距離データを用いて、物体40の三次元構造(又は物体40の一部の三次元構造)を作成してもよい。

【0060】

比較モジュール434は、物体40の距離及び/又は速度を決定するように構成されている。より具体的には、比較モジュール434は、物体40の種々のポイント(例えば、41、42、43、44、及び45)の距離及び/又は速度を決定するように構成されている。上述したように、一実施形態において、比較モジュール434は、レーザーの各々からの出射電磁放射と受信機の各々で受信した反射電磁放射との組み合わせを分析し、第1の時刻T1から第2の時刻T2までの物体40のポイント41、42、43、44、及び45の距離及び/又は速度を決定するように構成されている。

【0061】

回転モジュール436は、物体40の回転を決定するように構成されている。いくつかの実施形態において、回転モジュール436は、2つ以上の軸を中心とした物体40の回転を決定するように構成されている。例えば、いくつかの実施形態において、回転モジュール436は、互いに非平行(例えば、直交)している2つの軸を中心とした物体40の回転を決定するように構成されている。例えば、一実施形態において、レーザーシステムは、軸(Z軸)に沿って物体40に向かって放射を出射するように構成されており、回転モジュール436は、Z軸(X軸)に直交する第1の軸とZ軸(Y軸)に直交する第2の軸とを中心とした物体の回転を決定するように構成されている。いくつかの実施形態において、回転モジュール436は、第1の時刻T1と第2の時刻T2の間の物体の回転量を決定するように構成されている。

【0062】

いくつかの実施形態において、剛性の固体物体において、1つのデカルト方向の速度場成分は、その方向に直交する空間座標において線形に変化する。また、成分の空間方向において、その成分の変動は生じない。例えば、z方向における速度成分、Vzを考えてみる。任意の所与の時間では、z方向におけるVzの変動は起こり得ないか又は、物体は、伸長し、剛性の固形物の定義を破るであろう。回転成分Wx、Wy、及びWzに起因するz運動の三角法/ベクトル解析を調べる場合、回転成分ごとに、運動Vzは、一次方程式で記述され得ることが分かる:
Vz=Vz(x、y)=A×x+B×y+C、ここで、A、B、及びCは、所与の時間での定数であり、
ここで、
A=-Wy、
B=Wx、及び
Cは、座標システムの原点の位置による。
Wzは、速度のz成分を伝えない。

【0063】

従って、所与の時間で、多くの(x、y)位置(例えば、物体40上の多くのポイント)での速度Vzを測定した場合、値Wx、Wy、及び並進一定速度C=Vz0は、一連の一次方程式で解くことができる。いくつかの実施形態において、一次方程式が実質的に過剰決定する十分な空間(x、y)ポイントがある。

【0064】

距離モジュール438は、物体40がxy平面でどのくらい移動しているかを決定するように構成されている。例えば、いくつかの実施形態において、距離モジュール438は、物体40が、z軸(レーザーシステム405の放射ビームの軸)に直交するxy平面内で時刻T1と時刻T2の間にどのくらい移動しているかを決定するように構成されている。

【0065】

いくつかの実施形態において、物体の配向が既知で、傾きdz/dx及びdz/dyは、物体上の(x、y)位置の関数として知られる。LIDAR距離値(レーザーシステム405で決定した)の配列を使用して、多くのポイント(x、y)での傾きペア(dz/dx、dz/dy)を決定することができる。例えば、いくつかの実施形態において、物体の表面の傾き及び/又は曲率は、x方向及びy方向の各々において決定し、傾き及び/又は曲率勾配を取得することができる。いくつかの表面では、物体の配向情報さらに傾きペアにより、物体の表面上の位置を一意的に決定する。例えば、人物又は個人の顔などの複雑な表面では、同じ傾きペアが顔全体で2回以上見ることができても、傾きペアは、ローカル領域で位置を一意的に決定しがちである。いくつかの実施形態において、複数の傾きペアは、位置を重複して推定し、ノイズの多い距離データからの位置推定の誤差を減らすのに使用することができる。

【0066】

物体上のLIDARビームの絶対位置を傾きペアと利用可能な現在の回転物体モデルとから推定した状態で、距離モジュール438は、物体40の位置変化を決定することができる。例えば、物体の回転(決定又は算出した)は、(物体がその元の配向に戻るように)反転させ、除去し、又は取り消す(backed out)ことができる。ビームをそれらの所望の位置に回復させるのに必要なビーム位置変化についても決定することができる。その後、並進速度(dx/dt、dy/dt)は、物体の位置ロケーションデータを用いて決定することができる。いくつかの実施形態において、目標の回転及び並進速度が既知の状態で、ビームの再配置は、ビームの運動が滑らか、かつ、ビーム位置が将来の時点で所望の位置に近くなるように行うことができる。

【0067】

いくつかの実施形態において、スキャニングせずに位置を維持するためには、比較的少数のビームポイントが必要な場合がある。いくつかの実施形態において、スキャニングせずに位置を維持することができ、LIDARシステムを使用して、振動を監視することができる。

【0068】

LIDARシステム400(例えば、分析モジュール430)の構成要素(例えば、モジュール、プロセッサー(例えば、シリコン基板などの基板内で定義付けされたプロセッサー))は、1つ又は複数の種類のハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリー、などを含んでもよい1つ又は複数のプラットフォーム(例えば、1つ又は複数の同様の又は異なるプラットフォーム)に基づいて作動するように構成してもよい。いくつかの実施形態において、LIDARシステム400の構成要素は、クラスターデバイス(例えば、サーバーファーム)内で作動するように構成してもよい。

【0069】

いくつかの実施形態において、図4及び/又は図5のLIDARシステム400に示す構成要素の1つ又は複数の部分は、ハードウェアベースモジュール(例えば、デジタル信号プロセッサー(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、メモリー)、ファームウェアモジュール、及び/又はソフトウェアベースモジュール(例えば、コンピューターコードのモジュール、コンピューターで実行することができる一連のコンピューター読み取り可能な命令)であってもよく、或いは、これらを含んでもよい。例えば、いくつかの実施形態において、LIDARシステム400の1つ又は複数の部分は、少なくとも1つのプロセッサー(不図示)によって実行するように構成されたソフトウェアモジュールであってもよく、或いは、これを含んでもよい。いくつかの実施形態において、構成要素の機能性は、図4及び/又は図5に示すものとは異なるモジュール及び/又は異なる構成要素に含むことができる。

【0070】

いくつかの実施形態において、LIDARシステム400の1つ又は複数の構成要素は、メモリーに格納された命令を処理するように構成されたプロセッサーであってもよく、或いは、これを含んでもよい。例えば、分析モジュール430(及び/又はその一部)は、1つ又は複数の機能を実施する処理に関する命令を実行するように構成されたプロセッサー及びメモリーの組み合わせであってもよい。

【0071】

不図示であるが、いくつかの実施形態において、LIDARシステム400(又はその一部)の構成要素は、例えば、データセンター(例えば、クラウドコンピューティング環境)、コンピューターシステム、1つ又は複数のサーバー/ホストデバイス、など内で作動するように構成してもよい。いくつかの実施形態において、LIDARシステム400(又はその一部)の構成要素は、ネットワーク内で作動するように構成してもよい。このため、LIDARシステム400(又はその一部)は、1つ又は複数のデバイス及び/又は1つ又は複数のサーバーデバイスを含み得る種々の種類のネットワーク環境内で機能するように構成してもよい。例えば、ネットワークは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、などであってもよく、或いは、これらを含んでもよい。ネットワークは、例えば、ゲートウェイデバイス、ブリッジ、スイッチ、などを用いて実現されるワイヤレスネットワーク及び/又はワイヤレスネットワークであってもよく、或いは、これらを含んでもよい。ネットワークは、インターネットプロトコル(IP)及び/又は専用通信プロトコルなどの種々のプロトコルに基づいて1つ又は複数のセグメントを含んでもよく、及び/又は部分を有してもよい。ネットワークは、インターネットの少なくとも一部を含んでもよい。

【0072】

いくつかの実施形態において、LIDARシステム400は、メモリーを含んでもよい。メモリーは、ランダムアクセスメモリー、ディスクドライブメモリー、フラッシュメモリー、などのいずれの種類のメモリーであってもよい。いくつかの実施形態において、メモリーは、LIDARシステム400の構成要素に関連付けられた2つ以上のメモリー構成要素(例えば、2つ以上のRAM構成要素又はディスクドライブメモリー)として実装してもよい。

【0073】

図6及び7に最良に示すように、一実施形態において、物体80は、LIDARシステム400によって観察(例えば、標的化)することができる。物体80は、任意の形状を有し得るが、円形として図6及び7で示す。図6では、時刻T1で、物体80上のポイント82は、LIDARシステム400によって観察されている。時刻T1で、ポイント82は、x,y平面の(3,3)に位置する。図7に示すように、時刻T2で、ポイント82は、x,y平面の(4,3)に位置する。ポイントの移動は、物体80の異なる種類の移動の結果であってもよい。例えば、物体80は、ある位置から別の位置(並進移動)に移動していてもよいし、又は物体80は、(例えば、xy平面のy軸に平行な軸を中心にして)回転していてもよい。

【0074】

図8、9、及び10に示すように、個人の頭部又は顔90は、LIDARシステム400によって追跡又は観察してもよい。具体的に、頭部又は顔90のポイント又は位置92を観察してもよい。図8に示すように、時刻T1で、ポイント92は、xy平面の(3,2)に位置する。時刻T2で、ポイント92は、(4,2)で観察してもよい。ポイントの移動は、異なる種類の運動の結果であってもよい。例えば、人物又は個人は、図9に示すように、(例えば、y軸に平行な軸を中心にして)頭部が回転していてもよい。或いは、人物又は個人は、図10に示すように、(回転せずに)頭部が移動していてもよい。

【0075】

上述したように、物体上のいくつかのポイントの距離及び速度を観察することによって、回転モジュール436は、物体の回転を決定するように構成されている。
物体の回転が知られると、上述したように、距離モジュール438は、物体がxy平面でどのくらい移動したかを決定するように構成されている。従って、一実施形態において、LIDARシステム400は、人物の顔又は頭部が時刻T2で図9に示すように配向しているか又は時刻T2で図10に示すように配向しているかを決定するように構成されている。

【0076】

図11は、本発明の実施形態による方法1100のフローチャートである。方法1100を使用して、第1の時刻T1と第2の時刻T2の間の物体の回転及び/又は運動(又は移動した距離)を決定することができる。方法1100を何回も連続して使用して、長期間にわたる物体の回転又は運動を決定することができる。例えば、方法を毎秒数百回使用して、物体を追跡又は監視することができる。

【0077】

1110で、物体の三次元画像を取得する。例えば、いくつかの実施形態において、画像モジュール、例えば、画像モジュール432(図5に示す)は、データベース又は他のリソースから(物体が既知の物体である場合に)物体の三次元画像を取得することができる。他の実施形態において、画像モジュール432は、レーザーシステム405(図4に示す)からのスキャニング情報を用いて物体(又は物体の一部)の三次元画像を取得し、物体(又は物体の一部)の三次元画像を開発することができる。

【0078】

1120で、物体上の複数のポイントを第1の時刻T1で観察する。例えば、いくつかの実施形態において、レーザーシステム405は、物体上の複数のポイントの各々の距離及び/又は速度を観察及び検出することができる。例えば、いくつかの実施形態において、物体上の5個のポイントを任意の所与の時間で観察する。他の実施形態において、6個以上のポイントを観察する。例えば、5〜16個のポイントを観察してもよい。他の実施形態において、17個以上のポイントを観察する。

【0079】

上述のように、レーザーシステム405は、放射ビームを出射して、物体上の複数のポイントの各々によるかかる放射の反射を受光することによって、複数のポイントを観察してもよい。上述のように、出射放射と反射放射の比較により、物体のz方向(放射ビームの方向)における距離及び/又は速度を提供することができる。

【0080】

1130で、複数のポイント(又は複数のポイントと同じ位置に実質的に位置するポイント)を第2の時刻T2で観察する。いくつかの実施形態において、物体上の同じポイントは、三次元画像(既知の三次元画像又はシステムが開発した三次元画像のいずれか)の分析又は比較によって同定される。第2の時刻T2は、第1の時刻T1と異なる。いくつかの実施形態において、第2の時刻T2は、第1の時刻T1よりも後の時刻である。複数のポイントは、上述のように、レーザーシステム405によって観察してもよい。

【0081】

1140で、時刻T1と時刻T2の間の物体の回転を決定する。例えば、いくつかの実施形態において、上述のように、回転モジュール436は、距離及び速度情報を分析し、物体の回転を決定するように構成されていてもよい。いくつかの実施形態において、1つの軸を中心とした物体の回転を決定する。いくつかの実施形態において、互いに直交する少なくとも2つの軸を中心とした物体の回転を決定する。いくつかの実施形態において、z軸(放射のビームの方向又は軸)に直交する2つの軸を中心とした物体の回転を決定する。

【0082】

1150で、時刻T1と時刻T2の間に物体が移動した距離及び/又は方向を決定する。例えば、いくつかの実施形態において、z軸(放射のビームの軸)に直交するxy平面での物体の運動を決定する。上述したように、距離モジュール438は、観察している物体の一部の回転判断及び傾きを介して、xy平面での物体の運動又は物体が移動した距離を決定することができる。具体的に、観察している物体の固有の一部は、物体の傾き又は傾き分析によって同定してもよい。物体の一部の位置を特定してもよい。ポイントの位置又は回転データに沿った位置により、xy平面における物体の運動の判断が得られる場合がある。いくつかの実施形態において、決定又は観察された回転は、物体がT2で、T1での配向と同じ配向に配置されるように、取り消すか又は除去してもよい。その後、物体上の一意的に同定されたポイントを同定してもよく、そのようなポイントがxy平面(例えば、x方向でどのくらい、かつ、y方向でどのくらい)でどのくらい移動したかを決定することができる。いくつかの実施形態において、スキャンサイクルを反復させた密集LIDARビームを使用して、ビーム方向に垂直な目標運動を検出してもよい。ビームが十分に近い場合、表面までの距離は、ビーム間の距離の一次関数として近似してもよい。上で詳しく説明したように、物体又は目標40の位置は、マルチポイントLIDAR情報を用いて、Vz(z方向における速度)、Wx(x軸を中心にした回転)及びWy(y軸を中心にした回転)運動についてすでに補正されており、Vx、Vy、及びWzによる運動を決定することができる。以下に詳しく説明するように、これらの運動の各々は、別々に決定することができる。

【0083】

いくつかの実施形態において、LIDARシステムは、追跡している物体に対してパターン又は複数のパターンで動くように構成されているレーザー又はレーザービームを含むレーザーシステムを含む。例えば、いくつかの実施形態において、LIDARシステム400のレーザーシステム405は、追跡している物体に対してパターン又は複数のパターンで動くように構成されている複数のレーザー又はビームを含む。

【0084】

例えば、いくつかの実施形態において、LIDARシステム400は、レーザービームを固定又は静止させる1つのモードと、レーザービームが形状などのパターン又は複数のパターンで動く第2のモードとを有し得る。いくつかの実施形態において、LIDARシステムが第2のモードである場合、2本以上のレーザービームは、パターン又は複数のパターンで動く。いくつかの実施形態において、異なるレーザービームは、異なるパターンに独立して動いてもよい。

【0085】

他の実施形態において、LIDARシステム400は、いくつかのレーザーを含むか又は、静止しているいくつかのレーザービーム、及びパターン(又は複数のパターン)又は形状で動くように構成されているいくつかのレーザービームを生成する。

【0086】

レーザー又はビームは、任意のパターン又は形状で動くことができる。例えば、いくつかの実施形態において、レーザー又はビームは、楕円形状で動くように構成されている。他の実施形態において、レーザー又はビームは、ライン、円形、四角形、長方形、三角形、又は任意の他の形状で動くように構成されている。いくつかの実施形態において、レーザー又はビームが動く形状又はパターンは、追跡している物体によって指示又は決定される。例えば、いくつかの実施形態において、レーザー移動のパターン又は形状は、追跡している物体の形状と同様であってもよい。例えば、個人の顔は一般的に楕円形状であるため、個人の顔を追跡する場合には、楕円形状又はパターンを使用してもよい。

【0087】

いくつかの実施形態において、分析モジュール430(分析モジュール430の距離モジュール438など)は、物体40が移動した距離及び/又は物体40の速度を決定するように構成されている。例えば、分析モジュール430は、レーザービーム運動の方向に垂直又は直交する方向において物体が移動した距離を決定又は算出してもよい。

【0088】

一実施形態において、レーザービームは、それらのパターン又は形状に沿って一方向に動いているが、分析モジュール430は、レーザービームが動いている方向に平行な方向において、かつ、ビームが動いている方向に垂直な方向において、物体40の運動(距離及び/又は速度)を検出するように構成されている。いくつかの実施形態において、分析モジュール430は、レーザービーム(Z方向)に平行な軸を中心にした物体の回転を検出又は決定するようにも構成されている。

【0089】

いくつかの実施形態において、パターン又は形状に沿って動いているレーザービームは、互いに非常に短い距離で目標上に配置されるか又は目標に命中する。言い換えると、ビームは密集している。いくつかの実施形態において、ビームは、互いに数センチメートル未満である。他の実施形態において、ビームは、互いに数ミリメートル未満である。

【0090】

x方向における物体40の速度(Vx又はvxとも呼ばれる)は、以下のように決定することができる。期間中に測定した複数のポイントを使用して、上述のように、z、Wx、及びWyにおける、物体運動を算出し、取り出す。一対のLIDAR(又はレーザー)ビームは、指標(k)を有する反復スキャンパターン(例えば、楕円)である。ビームの運動のほとんどがほぼy方向であるスキャンサイクルの一部がある。いくつかの実施形態において、2本のビームは、所与の距離で、ほぼ同じ横方向の分離Δxを維持し、かつ、所与の時間で、ほぼ同じ垂直のy位置(y1≒y2≒y)を有する同じポインティングデバイスを有する。目標の距離及びビームの横方向の位置は、指標(j)でサンプリングする。2本のビームの各々において、一連の測定したポイント(x1(j)、y1(j)、z1(j))及び(x2(j)、y2(j)、z2(j))は、表面z(x、y)をサンプリングする。目標表面の傾きが線形として近似される場合、この傾きdz/dxは、以下のものとしてyごとに測定する:

【0091】

dz/dx(j)=dz/dx(y(j))=(z2(j)-z1(j))/(x2(j)-x1(j))=(z2(j)-z1(j))/Δx。

【0092】

後続のスキャンサイクルで、ビームは、そのy位置への先の訪問時刻からほぼ同じ遅延Tサイクルで各y位置を再訪するであろう。反復スキャンサイクルで、目標は、x方向に移動しているかもしれない。目標が、サイクル期間中に距離δx=vx×Tサイクルを移動している場合、

【0093】

z1(y、k+1)=z1(y、k)-dz/dx(y、k)×δx、又は

【0094】

[z1(y、k+1)-z1(y、k)]×[x2(y、k)-x1(y、k)]=-[z2(y、k)-z1(y、k)]×δx
である。

【0095】

各遅延Tサイクルで、サイクル(k)におけるサンプル(j)ごとに推定誤差が存在する:

【0096】

ex(j)=[z1(y(m)、k+1)-z1(y(j)、k)]×[x2(y(j)、k)-x1(y(j)、k)]+[z2(y(j)、k)-z1(y(j)、k)]×δx(l、j),

【0097】

ここで、y(m)は、サイクル(k+1)のサンプルであり、その値は、サイクル(k)のy(j)に最も近い状態である。いくつかの実施形態において、誤差Ex=sum(ex(j)×ex(j))を最小にするのが望ましい。従って、場合によっては、最小限の誤差に対応するか又は相関する遅延Tサイクルを選択し、使用してもよい。

【0098】

或いは、z1(y、k+1)は、z1(y(m)、k+1)及びz1(y(m±1、k+1)を用いた補間値であってもよい。Tサイクルが、一連のペアサンプルであるj及びmにわたってほぼ一定であり、かつ、x方向においてそれと分かるような加速(又は速度の変化)がない(例えば、Tサイクルが非常に短い期間であるため)と想定した場合、δxは、種々のj及びmペアにおいて一定であり、δxに対して標準最小二乗解を実装することができる。他の実施形態において、δxに対して異なる解を使用してもよい。

【0099】

以下の解が得られる。

【0100】

【数1】

【0101】

次に、vx=δx/Tサイクル=Ax×Δx/Tサイクル

【0102】

物体のx成分又は目標速度vxは、スキャンサイクルで一定であるという近似をすることもできる。この近似を維持しない場合、加速項axを導入することができ、その結果、

【0103】

vx=vx(0)+ax×Tサイクル

【0104】

となり、vx(0)及びaxの両方について解く。

【0105】

ビームがスキャンサイクル間にx距離ΔXビーム移動する場合、このビームオフセットは、ビーム位置変化の後続のスキャンサイクルにおけるz値を調整することによって補正し、前回のスキャンサイクルの(x(j)、y(j))位置で得られていたであろう測定値を得ることができる。

【0106】

z1調整済(y(m)、k+1)=z1(y(m)、k+1)-dz/dx(y(j)、k)×ΔXビーム。

【0107】

この調整を行った状態で、vxの最小二乗解は、前述のように進める。

【0108】

同様に、y方向における速度(Vy又はvyとも呼ばれる)は、以下のように決定することができる。ビームの運動のほとんどがほぼx方向であるスキャンサイクルの一部がある。そのようなx方向におけるスキャンサイクルセグメント中に、誤差を最小にすることができる。

【0109】

Ey=sum(ey(j)×ey(j))、ここで、

【0110】

ey(j)=z1(y(j)-vy×Tサイクル、k)-z1(y(m)、k+1)。

【0111】

場合によっては、密集したスキャンラインの表面形状が類似しているため、このアプローチは、プログレッシブラインスキャンがある場合であっても、うまく作用する場合がある。

【0112】

Z軸を中心とした回転(Wz又はωzとも呼ばれる)は、スキャンサイクルごとに起こるvx及びvyの観察された値に線形勾配を導入するため、決定することができる。wzの非ゼロ値により、yの関数としてvx及びxの関数としてvyの線勾配が得られるであろう。追加項をvx及びvyの最小二乗解に加えて、wzを得ることもできる。また、決定において多数のビームを使用してもよい。例えば、vyの解は、上述の方法を用いて異なるx値で決定することができ、xによるvyの勾配は、ωzを生じる:

【0113】

vy2=vy1-ωz×(x2-x1)。

【0114】

ωz=(vy2-vy1)/(x2-x1)。

【0115】

いくつかの実施形態において、算出又は決定は、Tサイクルが一定ではない場合に行ってもよい。さらに、場合によっては、算出又は決定は、ビーム間隔が一定でも一致してもいない場合に行ってもよい。

【0116】

本明細書に記載の種々の技術の実施形態は、デジタル電子回路、又はコンピューターハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせで実装してもよい。実施形態は、情報担体、例えば、機械読み取り可能な記憶デバイス(コンピューター読み取り可能な媒体、非一時的なコンピューター読み取り可能な記憶媒体、タンジブルコンピューター読み取り可能な記憶媒体)、又は、データ処理装置、例えば、プログラマブルプロセッサー、コンピューター、又はマルチコンピューターで処理するための、又は該データ処理装置の操作を制御するための伝播信号に物理的に組み込まれたコンピュータープログラム製品、すなわち、コンピュータープログラムとして実装してもよい。上述のコンピュータープログラム(複数を含む)などのコンピュータープログラムは、コンパイル言語又はインタプリタ言語を含むプログラミング言語の任意の形態で書き込んでもよく、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境での使用に適した他のユニットを含む任意の形態で配布してもよい。コンピュータープログラムを配布して、1台のコンピューター又は1サイトに配置され又は複数サイトをまたがって分散し、かつ、通信ネットワークによって相互接続配置された複数台のコンピューターによって処理することができる。

【0117】

方法ステップは、コンピュータープログラムを実行する1つ又は複数のプログラマブルプロセッサーで行い、入力データ上で動作し、出力を生成することによって機能を実施してもよい。方法ステップは、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(用途特定集積回路)などの特定用途論理回路によって実施してもよく、装置は、これら回路として実装してもよい。

【0118】

コンピュータープログラムを処理するのに適したプロセッサーは、一例として、汎用及び特定用途マイクロプロセッサーの双方、及び任意の種類のデジタルコンピューターの任意の1つ又は複数のプロセッサーを含む。一般に、プロセッサーは、読取専用メモリー又はランダムアクセスメモリー又はこれら双方から命令とデータを受信する。コンピューターの要素は、命令を実行する少なくとも1つのプロセッサーと、命令及びデータを格納する1つ又は複数のメモリーデバイスを含んでもよい。一般に、コンピューターはさらに、データを格納する1つ又は複数の大規模記憶デバイス、例えば、磁気ディスク、光磁気ディスク、又は光ディスクを備え、又は動作可能に連結されて、これらにデータを受信又は送信する又は送受信する。コンピュータープログラム命令とデータを格納するのに適した情報担体は、一例として、例えば、EPROMやEEPROMのような半導体メモリーデバイス、フラッシュメモリーデバイス;例えば、内部ハードディスクやリムーバブルディスクのような磁気ディスク;光磁気ディスク;CD-ROM及びDVD-ROMディスクを含む不揮発性メモリーの全ての形態を含む。プロセッサーとメモリーは、特定用途論理回路によって補充され、又はその内部に設けてもよい。

【0119】

ユーザーとの相互作用を提供するために、実施形態は、ユーザーに対して情報を表示する表示デバイス、例えば、液晶ディスプレイ(LCD又はLED)モニター、タッチスクリーンディスプレイ、及びキーボード、並びにユーザーがコンピューターに対して入力を提供することができるマウス又はトラックボールなどのポインティングデバイスを有するコンピューター上で実装してもよい。その他の種類の装置もユーザーとの相互作用を提供するために使用してもよく;例えば、ユーザーに対して提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックなどの感覚フィードバックの任意の形態であってもよく;ユーザーからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信可能である。

【0120】

実施形態は、例えば、データサーバーのようなバックエンドコンポーネントを含む、又はミドルウェアコンポーネント、例えば、アプリケーションサーバーを含む、又はフロントエンドコンポーネント、例えば、実施形態を用いてユーザーが相互作用することができる、グラフィカルユーザーインタフェース若しくはウェブブラウザーを有するクライアントコンピューター、又はそのようなバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステムで実装してもよい。コンポーネントは、デジタルデータ通信の任意の形式又は媒体、例えば、通信ネットワークによって相互接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、例えば、インターネットが挙げられる。

【0121】

いくつかの実施形態において、LIDARシステムは、対象又は個人の顔の動きのミリメートル範囲の精度性能を達成することができる。しかしながら、いくつかの実施形態において、固体物体の速度推定値は、音声及び他の生体成分から重要な速度成分を除去するために、多数のサンプルの処理を必要とする。0.05mm(50ミクロン)の振幅を有する500Hz振動は、約16cm/秒の最大速度(2×π×500×5E-5=0.157m/秒)を有する。振動の振幅が、対象又は個人の顔の追跡処理に重要ではない距離変化であっても、瞬時速度は重要な場合があり、振動速度は除去してもよい。いくつかの実施形態において、振動速度を除去するには、除去すべき振動の期間よりも著しく長い速度データサンプルの処理と、ノイズ又はバイアスを回避するための配慮を必要とする場合がある。例えば、速度(例えば、Z方向における速度)のノイズは、物体の回転又は物体のZ速度を検出又は決定するための能力をもたらすか又は劣化させることがある。いくつかの実施形態において、振動ノイズ又は速度ノイズは、比較的小さく、その効果を除去するために平均化することができる。

【0122】

上記の実施形態のある特徴を本明細書に記載のように説明してきたが、当業者は多くの修正、置き換え、変更、均等物を思い浮かべるであろう。従って、添付の特許請求の範囲は、実施形態の範囲内にあるものとしてそのような修正及び変更の全てを網羅することが意図されていると理解すべきである。それらは、限定としてではなく一例としてのみ提示されており、形態及び詳細の種々の変更を行ってもよいと理解すべきである。本明細書に記載の装置及び/又は方法の任意の部分は、相互排他的な組み合わせを除いて、任意の組み合わせで組み合わせてもよい。本明細書に記載の実施形態は、記載された異なる実施形態の機能、構成要素、及び/又は特徴の種々の組み合わせ及び/又は2次的組み合わせを含んでもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】