特許 6321202 モバイルプラットフォームの運動を決定する方法、装置、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6321202

(24)【登録日】2018年4月13日

(45)【発行日】2018年5月9日

(54)【発明の名称】モバイルプラットフォームの運動を決定する方法、装置、及びシステム

(51)【国際特許分類】

   G01P 21/00 20060101AFI20180423BHJP

   G01P 3/36 20060101ALI20180423BHJP

【ＦＩ】

   G01P21/00

   G01P3/36 C

【請求項の数】36

【全頁数】40

(21)【出願番号】特願2016-557661(P2016-557661)

(86)(22)【出願日】2015年7月14日

(65)【公表番号】特表2017-523382(P2017-523382A)

(43)【公表日】2017年8月17日

(86)【国際出願番号】CN2015083971

(87)【国際公開番号】WO2017008246

(87)【国際公開日】20170119

【審査請求日】2016年9月15日

【早期審査対象出願】

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】リョウ アン

(72)【発明者】

【氏名】イェン ジャチ

【審査官】 岡田 卓弥

(56)【参考文献】

【文献】 特開２００９−７４８５９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０１９５３１６（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０４１９７９２８（ＣＮ，Ａ）

【文献】 中国特許出願公開第１０３９１３５８８（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｐ ３／００− ３／８０

Ｇ０１Ｐ１３／００−２１／０２

Ｇ０１Ｃ１９／００−２１／３６

Ｇ０１Ｃ２３／００−２５／００

(57)【特許請求の範囲】

【請求項1】

モバイルプラットフォームの運動を決定するための方法であって、
前記運動の第１の測定の誤差寄与値を取得する取得ステップと、
前記誤差寄与値との間の相関関係に従って、前記第１の測定の誤差を推定する推定ステップと、
前記第１の測定の前記誤差に基づいて、前記第１の測定と前記モバイルプラットフォームの前記運動の第２の測定とを組み合わせることによって、前記モバイルプラットフォームの前記運動を決定するステップと、
を含む方法。

【請求項2】

第１の時間において取得された物体の第１の画像に基づく第１の特徴点と、第２の時間において取得された前記物体の第２の画像に基づく第２の特徴点とを備える一致特徴点対を特定することによって、前記第１の測定を生成するステップを更に含む、請求項１に記載の方法。

【請求項3】

前記第１の時間は前記第２の時間とは異なり、前記第１の測定を生成するステップは、前記一致特徴点対内部の前記第１の特徴点と前記第２の特徴点との間の関係に基づいて、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの前記運動を測定するステップを含む、請求項２に記載の方法。

【請求項4】

前記相関関係は、前記第１の特徴点の座標の誤差分布パラメータとは無関係である、請求項２又は請求項３に記載の方法。

【請求項5】

前記相関関係は、前記第１の特徴点の座標とは無関係である、請求項２〜４の何れか一項に記載の方法。

【請求項6】

前記取得ステップは、前記物体と前記モバイルプラットフォームとの間の距離に関連する前記誤差寄与値を取得するステップを含む、請求項２〜５の何れか一項に記載の方法。

【請求項7】

前記取得ステップは、前記第１の特徴点と関連する両眼視差を含む前記誤差寄与値を取得するステップを含む、請求項２〜６の何れか一項に記載の方法。

【請求項8】

前記取得ステップは、前記第１の特徴点と関連する２つのサブ画像に基づいて生成される前記両眼視差を備える前記誤差寄与値を取得するステップを含む、請求項７に記載の方法。

【請求項9】

前記取得ステップは、２つの撮像デバイスのそれぞれによって同時に取得される２つのサブ画像に基づいて生成される前記両眼視差を含む前記誤差寄与値を取得するステップを含む、請求項８に記載の方法。

【請求項10】

前記推定ステップは、前記両眼視差の２乗の逆数と共に線形に増加するように、前記第１の測定の前記誤差を推定するステップを含む、請求項７〜９の何れか一項に記載の方法。

【請求項11】

前記第１の測定を生成するステップは、
それぞれ選択される第１の特徴点と対応する第２の特徴点とをそれぞれ含む複数の一致特徴点対を特定するステップと、
前記複数の一致特徴点対から選択されたインライア特徴点対の第１の特徴点と前記対応する第２の特徴点との間の関係に基づいて、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの前記運動を測定するステップとを含む、請求項２〜１０の何れか一項に記載の方法。

【請求項12】

前記第１の測定を生成するステップは、前記複数の一致特徴点対から１つ又は複数のインライア特徴点対を選択するステップを含む、請求項１１に記載の方法。

【請求項13】

前記取得ステップは、前記１つ又は複数のインライア特徴点対を含む前記誤差寄与値を取得するステップを含む、請求項１２に記載の方法。

【請求項14】

前記推定ステップは、前記１つ又は複数のインライア特徴点対の逆数と共に線形に増加するように、前記第１の測定の前記誤差を推定するステップを含む、請求項１３に記載の方法。

【請求項15】

前記第１の測定を生成するステップは、
それぞれの各一致特徴点対に基づいて、サンプル運動値を取得するステップと、
前記複数の一致特徴点対のうちの最も一致する特徴点対によって提供される前記サンプル運動値に基づいて、前記モバイルプラットフォームの前記運動を測定するステップと、を含み、
前記最も一致する特徴点対が、前記１つ又は複数のインライア特徴点対である、請求項１２〜１４の何れか一項に記載の方法。

【請求項16】

前記第１の測定を生成するステップは、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの変位を測定するステップを含む、請求項２〜１５の何れか一項に記載の方法。

【請求項17】

前記第１の測定を生成するステップは、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの速度を測定するステップを含む、請求項２〜１６の何れか一項に記載の方法。

【請求項18】

前記推定ステップは、前記第１の測定に関連する共分散行列を推定するステップを含む、請求項１〜１７の何れか一項に記載の方法。

【請求項19】

慣性測定装置を用いて前記第２の測定を生成するステップを更に含む、請求項１〜１８の何れか一項に記載の方法。

【請求項20】

モバイルプラットフォームの運動を決定するための装置であって、
前記運動の第１の測定のための誤差寄与値を取得し、
前記誤差寄与値との間の相関関係に従って、前記第１の測定の誤差を推定し、
前記第１の測定の前記誤差に基づいて、前記第１の測定と前記モバイルプラットフォームの前記運動の第２の測定とを組み合わせることによって、前記モバイルプラットフォームの前記運動を決定するよう構成されるプロセッサを備える装置。

【請求項21】

前記第１の測定は、第１の時間において取得された物体の第１の画像に基づく第１の特徴点と、第２の時間において取得された前記物体の第２の画像に基づく第２の特徴点とを備える一致特徴点対を特定するステップを含む、請求項２０に記載の装置。

【請求項22】

前記第１の時間は前記第２の時間とは異なり、前記一致特徴点対内部の前記第１の特徴点と前記第２の特徴点との間の関係は、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの前記運動を提供する、請求項２１に記載の装置。

【請求項23】

前記誤差と前記誤差寄与値との間の前記相関関係は、前記第１の特徴点の座標の誤差分布パラメータとは無関係である、請求項２１又は請求項２２に記載の装置。

【請求項24】

前記誤差と前記誤差寄与値との間の前記相関関係は、前記第１の特徴点の座標とは無関係である、請求項２１〜２３の何れか一項に記載の装置。

【請求項25】

前記プロセッサは、前記物体と前記モバイルプラットフォームとの間の距離に関連する前記誤差寄与値を取得するよう構成される、請求項２１〜２４の何れか一項に記載の装置。

【請求項26】

前記誤差寄与値は、前記第１の特徴点と関連する両眼視差を備える、請求項２１〜２５の何れか一項に記載の装置。

【請求項27】

前記両眼視差は、前記第１の特徴点と関連する２つのサブ画像に基づいて生成される、請求項２６に記載の装置。

【請求項28】

前記２つのサブ画像は、２つの撮像デバイスのそれぞれによって同時に取得される、請求項２７に記載の装置。

【請求項29】

前記プロセッサは、前記両眼視差の２乗の逆数と共に線形に増加するように、前記第１の測定の前記誤差を推定する、請求項２６〜２８の何れか一項に記載の装置。

【請求項30】

前記第１の測定は、
複数の一致特徴点対を特定することであって、各一致特徴点対がそれぞれ選択される第１の特徴点と対応する第２の特徴点とを含み、
前記複数の一致特徴点対から選択された１つ又は複数のインライア特徴点対の第１の特徴点と前記対応する第２の特徴点との間の関係に基づいて、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの前記運動を測定し、
前記誤差寄与値は、前記１つ又は複数のインライア特徴点対を含む、請求項２１〜２９の何れか一項に記載の装置。

【請求項31】

前記プロセッサは、前記１つ又は複数のインライア特徴点対の逆数と共に線形に増加するように、前記第１の測定の前記誤差を推定する、請求項３０に記載の装置。

【請求項32】

前記第１の測定は、
前記それぞれの各一致特徴点対に基づいて、サンプル運動値を取得し、
前記複数の一致特徴点対のうちの最も一致する特徴点対によって提供される前記サンプル運動値に基づいて、前記モバイルプラットフォームの前記運動を測定し、
前記最も一致する特徴点対が、前記１つ又は複数のインライア特徴点対である、請求項３０又は請求項３１に記載の装置。

【請求項33】

前記第１の測定は、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの変位を測定する、請求項２１〜３２の何れか一項に記載の装置。

【請求項34】

前記第１の測定は、前記第１の時間と前記第２の時間との間の前記モバイルプラットフォームの速度を測定する、請求項２１〜３３の何れか一項に記載の装置。

【請求項35】

前記第１の測定の前記誤差は、前記第１の測定に関連する共分散行列を含む、請求項２０〜３４の何れか一項に記載の装置。

【請求項36】

前記第１の測定は第１のセンサによって生成され、前記第２の測定は前記第１のセンサとは異なる第２のセンサによって生成される、請求項２０〜３５の何れか一項に記載の装置。

【発明の詳細な説明】

【背景技術】

【0001】

有人及び無人移動体等のモバイルプラットフォームは、軍事及び民生用途の監視、偵察、探査作業を行うために用いることができる。例えば、無人航空機（ＵＡＶ）は、周囲環境又は目的地へ送達される物質からのデータを収集するためのセンサ等の機能的ペイロードを装備してもよい。

【0002】

モバイルプラットフォームの運動を正確に測定することは、モバイルプラットフォームを効果的に制御するために重要である。例えば、選択した作業を行うため、ＵＡＶが位置を変えることなく空中に浮遊するホバリング状態にＵＡＶを配置することが望まれる場合がある。例示的な作業は、対象物体の画像を取得すること、又は、殺虫剤を目標位置に散布することを含む。ホバリング状態において、ＵＡＶのいずれの運動も、管制官がＵＡＶを操縦して運動を補うように測定される。一例において、ＵＡＶの速度がゼロではないと検出された場合、管制官はＵＡＶを制御して速度をゼロに調整することができる。別の例において、ＵＡＶの位置が所望のホバリング位置から逸脱したと検出された場合、管制官はＵＡＶを所望の位置へ動かすことができる。

【0003】

モバイルプラットフォームの運動を測定するための既存の技術は、しばしば時間がかかり、精度に欠ける。運動が正確に測定されない場合、モバイルプラットフォームは必要とされる作業を行うことができない恐れがある。更に、モバイルプラットフォームの制御が失敗し、これにより結果として、モバイルプラットフォームが事故に関与する可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

前述に鑑み、モバイルプラットフォームの運動を測定するための現在利用可能な技術の前記の障害及び不具合を克服する、モバイルプラットフォームの運動を決定するための方法、装置、及びシステムに対する必要が存在する。

【課題を解決するための手段】

【0005】

本開示は、モバイルプラットフォームの運動を決定するための装置及びシステム、及び、それを作成し、用いるための方法に関する。

【0006】

本明細書中に開示される第１の態様によれば、
運動の第１の測定の誤差寄与値を取得する取得ステップと、
誤差寄与値に基づいて、第１の測定の誤差を推定する推定ステップと
を含むモバイルプラットフォームの運動を決定するための方法が述べられている。

【0007】

開示する方法の幾つかの実施形態において、推定ステップは、誤差と誤差寄与値との間の相関関係に従って第１の測定の誤差を推定するステップを含む。

【0008】

開示する方法の幾つかの実施形態において、方法は第１の測定の誤差に基づいて、第１の測定とモバイルプラットフォームの運動の第２の測定とを組み合わせることによって、モバイルプラットフォームの運動を決定するステップを更に含む。

【0009】

開示する方法の幾つかの実施形態において、方法は第１の時間において取得された物体の第１の画像に基づく第１の特徴点と、第２の時間において取得された物体の第２の画像に基づく第２の特徴点とを含む一致特徴点対を特定することによって、第１の測定を生成するステップを更に含む。

【0010】

開示する方法の幾つかの実施形態において、第１の時間は第２の時間とは異なり、第１の測定を生成するステップは、一致特徴点対内部の第１の特徴点と第２の特徴点との間の関係に基づいて、第１の時間と第２の時間との間のモバイルプラットフォームの運動を測定するステップを含む。

【0011】

開示する方法の幾つかの実施形態において、推定ステップは、相関関係に従って第１の測定の誤差を推定するステップを含み、相関関係は、第１の特徴点の座標の誤差分布パラメータとは無関係である。

【0012】

開示する方法の幾つかの実施形態において、推定ステップは、相関関係に従って第１の測定の誤差を推定するステップを含み、相関関係は、第１の特徴点の座標とは無関係である。

【0013】

開示する方法の幾つかの実施形態において、取得ステップは、物体とモバイルプラットフォームとの間の距離に関連する誤差寄与値を取得するステップを含む。

【0014】

開示する方法の幾つかの実施形態において、取得ステップは、第１の特徴点と関連する両眼視差を含む誤差寄与値を取得するステップを含む。

【0015】

開示する方法の幾つかの実施形態において、取得ステップは、第１の特徴点と関連する２つのサブ画像に基づいて生成される両眼視差を含む誤差寄与値を取得するステップを含む。

【0016】

開示する方法の幾つかの実施形態において、取得ステップは、２つの撮像デバイスのそれぞれによって同時に取得される２つのサブ画像に基づいて生成される両眼視差を含む誤差寄与値を取得するステップを含む。

【0017】

開示する方法の幾つかの実施形態において、推定ステップは、両眼視差の２乗の逆数と共に線形に増加するように、第１の測定の誤差を推定するステップを含む。

【0018】

開示する方法の幾つかの実施形態において、第１の測定を生成するステップは、
それぞれ選択される第１の特徴点と対応する第２の特徴点とをそれぞれ含む複数の一致特徴点対を特定するステップと、
複数の一致特徴点対から選択されたインライア特徴点対の第１の特徴点と対応する第２の特徴点との間の関係に基づいて、第１の時間と第２の時間との間のモバイルプラットフォームの運動を測定するステップとを含む。

【0019】

開示する方法の幾つかの実施形態において、第１の測定を生成するステップは、複数の一致特徴点対から１つ又は複数のインライア特徴点対を選択するステップを含む。

【0020】

開示する方法の幾つかの実施形態において、取得ステップは、１つ又は複数のインライア特徴点対を含む誤差寄与値を取得するステップを含む。

【0021】

開示する方法の幾つかの実施形態において、推定ステップは、１つ又は複数のインライア特徴点対の逆数と共に線形に増加するように、第１の測定の誤差を推定するステップを含む。

【0022】

開示する方法の幾つかの実施形態において、第１の測定を生成するステップは、
それぞれの各一致特徴点対に基づいて、サンプル運動値を取得するステップと、
複数の一致特徴点対のうちの最も一致する特徴点対によって提供されるサンプル運動値に基づいて、モバイルプラットフォームの運動を測定するステップとを含み、
最も一致する特徴点対が、１つ又は複数のインライア特徴点対である。

【0023】

開示する方法の幾つかの実施形態において、第１の測定を生成するステップは、第１の時間と第２の時間との間のモバイルプラットフォームの変位を測定するステップを含む。

【0024】

開示する方法の幾つかの実施形態において、第１の測定を生成するステップは、第１の時間と第２の時間との間のモバイルプラットフォームの速度を測定するステップを含む。

【0025】

開示する方法の幾つかの実施形態において、推定ステップは、第１の測定に関連する共分散行列を推定するステップを含む。

【0026】

開示する方法の幾つかの実施形態において、方法は慣性測定装置を用いて第２の測定を生成するステップを更に含む。

【0027】

開示する方法の幾つかの実施形態において、推定ステップは、無人航空機（ＵＡＶ）の運動を決定するために、第１の測定の誤差を推定するステップを含む。

【0028】

本明細書中に開示される別の態様によれば、
運動の第１の測定に対する誤差寄与値を取得し、
取得に基づいて、第１の測定の誤差を推定するよう構成されるプロセッサを含む、
モバイルプラットフォームの運動を決定するための装置が述べられている。

【0029】

開示する装置の幾つかの実施形態において、プロセッサは、誤差と誤差寄与値との間の相関関係に従って第１の測定の誤差を推定する。

【0030】

開示する装置の幾つかの実施形態において、プロセッサは、第１の測定の誤差に基づいて、第１の測定とモバイルプラットフォームの運動の第２の測定とを組み合わせることによって、モバイルプラットフォームの運動を決定するために、誤差を提供するよう構成される。

【0031】

開示する装置の幾つかの実施形態において、第１の測定は、第１の時間において取得された物体の第１の画像に基づく第１の特徴点と、第２の時間において取得された物体の第２の画像に基づく第２の特徴点とを含む一致特徴点対を特定するステップを含む。

【0032】

開示する装置の幾つかの実施形態において、第１の時間は第２の時間とは異なり、一致特徴点対内部の第１の特徴点と第２の特徴点との間の関係は、第１の時間と第２の時間との間のモバイルプラットフォームの運動を提供する。

【0033】

開示する装置の幾つかの実施形態において、誤差と誤差寄与値との間の相関関係は、第１の特徴点の座標の誤差分布パラメータとは無関係である。

【0034】

開示する装置の幾つかの実施形態において、誤差と誤差寄与値との間の相関関係は、第１の特徴点の座標とは無関係である。

【0035】

開示する装置の幾つかの実施形態において、プロセッサは、物体とモバイルプラットフォームとの間の距離に関連する誤差寄与値を取得するよう構成される。

【0036】

開示する装置の幾つかの実施形態において、誤差寄与値は、第１の特徴点と関連する両眼視差を含む。

【0037】

開示する装置の幾つかの実施形態において、両眼視差は、第１の特徴点と関連する２つのサブ画像に基づいて生成される。

【0038】

開示する装置の幾つかの実施形態において、２つのサブ画像は、２つの撮像デバイスのそれぞれによって同時に取得される。

【0039】

開示する装置の幾つかの実施形態において、プロセッサは、両眼視差の２乗の逆数と共に線形に増加するように、第１の測定の誤差を推定する。

【0040】

開示する装置の幾つかの実施形態において、
第１の測定は、
複数の一致特徴点対を特定することであって、各一致特徴点対がそれぞれ選択される第１の特徴点と対応する第２の特徴点とを含み、
複数の一致特徴点対から選択された１つ又は複数のインライア特徴点対の第１の特徴点と対応する第２の特徴点との間の関係に基づいて、第１の時間と第２の時間との間のモバイルプラットフォームの運動を測定するステップとを含み、
誤差寄与値は、１つ又は複数のインライア特徴点対を含む。

【0041】

開示する装置の幾つかの実施形態において、プロセッサは、１つ又は複数のインライア特徴点対の逆数と共に線形に増加するように、第１の測定の誤差を推定する。

【0042】

開示する装置の幾つかの実施形態において、第１の測定は、
それぞれの各一致特徴点対に基づいて、サンプル運動値を取得し、
複数の一致特徴点対のうちの最も一致する特徴点対によって提供されるサンプル運動値に基づいて、モバイルプラットフォームの運動を測定し、最も一致する特徴点対が、１つ又は複数のインライア特徴点対である。

【0043】

開示する装置の幾つかの実施形態において、第１の測定は、第１の時間と第２の時間との間のモバイルプラットフォームの変位を測定する。

【0044】

開示する装置の幾つかの実施形態において、第１の測定は、第１の時間と第２の時間との間のモバイルプラットフォームの速度を測定する。

【0045】

開示する装置の幾つかの実施形態において、第１の測定の誤差は、第１の測定に関連する共分散行列を含む。

【0046】

開示する装置の幾つかの実施形態において、第１の測定は第１のセンサによって生成され、第２の測定は第１のセンサとは異なる第２のセンサによって生成される。

【0047】

開示する装置の幾つかの実施形態において、第１のセンサは視覚センサを含む。

【0048】

開示する装置の幾つかの実施形態において、第２のセンサは慣性測定装置を含む。

【0049】

開示する装置の幾つかの実施形態において、モバイルプラットフォームは無人航空機（ＵＡＶ）を含む。

【0050】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための装置アセンブリであって、
モバイルプラットフォームの運動の第１の測定を生成するための視覚センサと、
第１の測定の誤差を推定するための、モバイルプラットフォームの運動を決定するための装置とを含む、
装置アセンブリが述べられている。

【0051】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための装置アセンブリであって、
モバイルプラットフォームの運動の第１の測定を生成するための視覚センサと、
第１の測定の誤差を推定するための、モバイルプラットフォームの運動を決定するための装置と、
モバイルプラットフォームの運動の第２の測定を生成するための慣性測定装置とを含み、
第２の測定は、モバイルプラットフォームの運動を決定するよう、第１の測定の前記誤差に基づいて、第１の測定と組み合わされる、
装置アセンブリが述べられている。

【0052】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための装置を含む、無人航空機（ＵＡＶ）が述べられている。

【0053】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための装置アセンブリを含む、無人航空機（ＵＡＶ）が述べられている。

【0054】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための装置を含む、無人航空機（ＵＡＶ）を組み立てるためのキットが述べられている。

【0055】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための装置アセンブリを含む、無人航空機（ＵＡＶ）を組み立てるためのキットが述べられている。

【0056】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を決定するための方法に従って、モバイルプラットフォームの運動を決定するための命令を含むコンピュータプログラム製品が述べられている。

【0057】

本明細書中に開示される第１の態様によれば、モバイルプラットフォームの運動を測定するステップの誤差を推定するための方法であって、
誤差寄与値と運動を測定するステップの誤差との間の相関関係を仮定するステップであって、相関関係は未知のパラメータを含む、ステップと、
それぞれがテスト運動に対応する実験測定値、グラウンドトルース、及び誤差寄与値を収集するステップと、
グラウンドトルース及び実験測定値に基づいてテスト運動を測定するステップの誤差を計算するステップと、
仮定された相関関係をテスト運動の誤差寄与値及びテスト運動を測定するステップの誤差に適合させて、未知のパラメータを解決するステップと
を含む方法が述べられている。

【0058】

方法の幾つかの実施形態において、方法は相関関係により、運動を測定するステップの誤差寄与値に基づいて、モバイルプラットフォームの運動を測定するステップの誤差を推定することを可能とするステップを更に含む。

【0059】

方法の幾つかの実施形態において、方法は第１の時間において取得された物体の第１の画像に基づく物体の第１の特徴点と、第２の時間において取得された物体の第２の画像に基づく物体の第２の特徴点とを備える一致特徴点対を特定することによって、実験測定値を収集するステップを更に含む。

【0060】

方法の幾つかの実施形態において、第１の時間は第２の時間とは異なり、実験測定値を収集するステップは、一致特徴点対内部の第１の特徴点と第２の特徴点との間の関係に基づいて、第１の時間と前記第２の時間との間のモバイルプラットフォームのテスト運動を測定するステップを含む。

【0061】

方法の幾つかの実施形態において、仮定ステップは、第１の特徴点の座標の誤差分布パラメータとは無関係である相関関係を仮定するステップを含む。

【0062】

方法の幾つかの実施形態において、仮定ステップは、第１の特徴点の座標とは無関係である相関関係を仮定するステップを含む。

【0063】

方法の幾つかの実施形態において、収集ステップは、物体とモバイルプラットフォームとの間の距離と相関関係がある誤差寄与値を収集するステップを含む。

【0064】

方法の幾つかの実施形態において、収集ステップは、第１の特徴点と関連する両眼視差を含む誤差寄与値を収集するステップを含む。

【0065】

方法の幾つかの実施形態において、仮定ステップは、運動を測定するステップの誤差が両眼視差の２乗の逆数と共に線形に増加する相関関係を仮定するステップを含む。

【0066】

方法の幾つかの実施形態において、実験測定値を収集するステップは、
それぞれ選択される第１の特徴点と対応する第２の特徴点とをそれぞれ含む複数の一致特徴点対を特定するステップと、
複数の一致特徴点対から選択される選択されたインライア特徴点対内部のそれぞれ選択される第１の特徴点と対応する第２の特徴点との間の関係に基づいて、第１の時間と第２の時間との間のモバイルプラットフォームの運動を測定するステップとを含み、
取得ステップは、多数の１つ又は複数のインライア特徴点対を含む誤差寄与値を取得するステップを含む。

【0067】

方法の幾つかの実施形態において、仮定ステップは、運動を測定するステップの誤差が多数のインライア特徴点対の逆数と共に線形に増加する相関関係を仮定するステップを含む。

【0068】

方法の幾つかの実施形態において、実験測定値を収集するステップは、
各一致特徴点対のそれぞれに基づいて、サンプル運動値を取得するステップと、
複数の一致特徴点対のうちの最も一致する特徴点対によって提供されるサンプル運動値に基づいて、モバイルプラットフォームの運動を測定するステップとを含み、
最も一致する特徴点対が、インライア特徴点対である。

【0069】

方法の幾つかの実施形態において、実験測定値を収集するステップは、第１の時間と第２の時間との間のモバイルプラットフォームの変位を測定するステップを含む。

【0070】

本明細書中に開示される別の態様によれば、モバイルプラットフォームの運動を測定するステップの誤差を推定するための命令を含むコンピュータプログラム製品が述べられている。

【図面の簡単な説明】

【0071】

【図1】図１は、モバイルプラットフォームの運動を決定するためのシステムの一実施形態を示す最上位レベルの図である。

【図2】図２は、図１のシステムの代替の実施形態を示す例示的な図であり、ここにおいて、システムは、モバイルプラットフォームの運動を測定するための第１のセンサ及び第２のセンサを含む。

【図3】図３は、図１のモバイルプラットフォームの運動を決定するための方法の実施形態を示す例示的な最上位レベルのフローチャートである。

【図4】図４は、図３の方法の代替の実施形態を示す例示的なフローチャートであり、ここにおいて、運動は視覚センサを介して測定される。

【図5】図５は、図３の方法の別の代替の実施形態を示す例示的なフローチャートであり、ここにおいて、方法は複数の一致特徴点対を特定することを含む。

【図6】図６は、図５の方法の代替の実施形態を示す例示的なフローチャートであり、ここにおいて、方法は１つ又は複数のインライア特徴点対を特定することを含む。

【図7】図７は、図２のモバイルプラットフォームの第１のセンサを用いることによって特徴点の座標を取得するためのシステムの実施形態を示す例示的な図である。

【図8】図８は、図３の方法の別の代替の実施形態を示す例示的な図であり、ここにおいて、誤差寄与値と誤差との間の相関関係が特定される。

【図9】図９は、相関関係が図８の方法を介して取得される一組のデータ点を示す例示的な散布図である。

【図10】図１０は、相関関係が図８の方法を介して取得される一組のデータ点を示す例示的な散布図である。

【図11】図１１は、相関関係が図８の方法を介して取得される一組のデータ点を示す例示的な散布図である。

【図12】図１２は、図３の方法の別の代替の実施形態を示す例示的な図であり、ここにおいて、誤差寄与値と誤差との間のシミュレーション相関関係が特定される。

【図13】図１３は、図１２の方法を用いることによってシミュレーション相関関係が取得される一組のデータ点を示す例示的な散布図である。

【図14】図１４は、図１２の方法を用いることによってシミュレーション相関関係が取得される一組のデータ点を示す例示的な散布図である。

【図15】図１５は、図１２の方法を用いることによってシミュレーション相関関係が取得される一組のデータ点を示す例示的な散布図である。

【図16】図１６は、図２のシステムの代替の実施形態を示す例示的な図であり、ここにおいて、第１のセンサ及びモバイルプラットフォームは遠隔で通信する。

【0072】

図は等尺で描かれておらず、同様の要素又は機能は、図面全体を通して、説明する目的のために同様の参照符号によって一般的に表されることは、留意されたい。また、図面は、好ましい実施形態の説明を容易にするためだけを目的としていることも留意されたい。図面は、説明した実施形態の全ての態様を示してはおらず、本開示の適用範囲を制限するものではない。

【発明を実施するための形態】

【0073】

本開示は、先行システム及び方法の欠点を克服するモバイルプラットフォームの運動を決定するための方法、装置、及びシステムを述べている。開示する方法、装置、及びシステムは、正確に、そして効率的に、モバイルプラットフォームの運動（及び／又は動作）の測定誤差を１種類のセンサによって算出できる。正確に算出された誤差は、運動を正確に決定するために、複数の種類のセンサによってセンサフュージョンプロセスに供給することができる。従って、本明細書中で述べる開示は、モバイルプラットフォームの運動を効率的及び正確に測定することの技術的問題に対する解決策を提供し、更に、モバイルプラットフォーム技術並びに自律制御技術の発展に貢献する。

【0074】

モバイルプラットフォームの運動を決定するための現在利用可能な技術は、正確で迅速なモバイルプラットフォームの運動の測定を提供することができないため、測定精度及び速度を向上させるモバイルプラットフォームの運動を決定するための方法、装置、及びシステムが望ましいことを実証し、幅広いモバイルプラットフォーム用途に対する根拠を提供できる。例示的な用途は、航空写真術、農業薬品配送、海洋オイルスピル除去、及び消火作業を含むことができるが、これらに限定されない。この結果は、本明細書中に開示する一実施形態に従って、図１に示すようなシステム１００によって達成できる。

【0075】

図１を参照すると、システム１００はモバイルプラットフォーム２００を含むことができる。モバイルプラットフォーム２００は、移動可能な任意の装置について言及してもよい。例示的なモバイルプラットフォームは、自動車、バス、列車、航空機、船、及び他の種類の自動移動体を含むことができるが、これらに限定されない。説明のために、モバイルプラットフォームは、乗用車及び／又は無人航空機（ＵＡＶ）を含むことができ、モバイルプラットフォームの動作は、飛行を含んでもよい。しかし、ＵＡＶが本明細書中で説明される場合は必ず、ＵＡＶは、別の従来の種類のモバイルプラットフォームで置き換えられてもよく、飛行は、本開示の適用範囲に含まれる概念から逸脱することなく、モバイルプラットフォームに関連する別の動作で置き換えられてもよい。

【0076】

図１に示すように、モバイルプラットフォーム２００は運動３００を行うことができる。運動３００は、モバイルプラットフォーム２００の並進運動及び／又は回転運動を含むことができる。並進運動は、１つ又は複数の軸の何れかに沿った並進運動を備えていてもよい。並進運動において、モバイルプラットフォーム２００は、軸に関して同じ向きを保持できる。回転運動は、１つ又は複数の軸の何れかを中心とする回転運動を備えていてもよい。例えば、並進運動を含む場合、運動３００は、空又は地面に向かった、東又は西への、南又は北への、又はそれらの組み合わせの移動を含むことができる。

【0077】

運動３００の測定は、運動３００を少なくとも部分的に特徴付けるパラメータの測定を含むことができる。例えば、運動３００の測定は、モバイルプラットフォーム２００がある時間間隔内で移動する距離、所定の時間におけるモバイルプラットフォーム２００の速度及び／又は加速度、ある時間間隔の間のモバイルプラットフォーム２００の平均速度及び／又は平均加速度の測定を含むことができる。運動３００を特徴付けるパラメータは、ベクトルを含むことができる。距離、速度、及び／又は加速度の測定は、それぞれ、距離、速度、及び／又は加速度の大きさ及び／又は方向の測定を含むことができる。

【0078】

説明のためだけに幾つかの実施形態において並進運動を測定するように説明するが、開示する方法、装置、及びシステムは、制限することなく、回転運動を含む、どのような従来の種類の運動を測定するために用いられてもよい。

【0079】

モバイルプラットフォーム２００は、プロセッサ４００を含むものとして示されている。プロセッサ４００は、データ取得、データ処理、及び、モバイルプラットフォーム２００の動作を制御するために本明細書中で説明する何れかの他の機能及び動作を実行するための処理ハードウェアを含むことができる。限定されることなく、プロセッサ４００は、１つ又は複数の汎用マイクロプロセッサ（例えば、シングル又はマルチコアプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィックス処理ユニット、フィジックス処理ユニット、デジタル信号処理ユニット、コプロセッサ、ネットワーク処理ユニット、音声処理ユニット、暗号化処理ユニット等を含むことができる。様々な実施形態において、プロセッサ４００は、プロセッサ４００の開示する機能の一部又は全てを実行するための１つのプロセッサを含むことができる。説明のためだけに単一のプロセッサを含むものとして説明するが、プロセッサ４００は、何れか適切な数の一様な及び／又は異なるプロセッサを含むことができ、そのそれぞれは、それぞれ、１つ又は複数の一様な及び／又は異なる機能を実行できる。

【0080】

プロセッサ４００は、モバイルプラットフォーム２００の運動３００の第１の測定に対する誤差寄与値４１０を取得するよう構成されてもよい。第１の測定は、例えば、モバイルプラットフォーム２００に結合されるセンサ５００、６００（図２に示す）を用いる運動３００の測定を指してもよい。第１の測定は、センサ５００、６００によって取得される検知データ、検知データを処理するための計算、及び／又は、計算によって生じる結果を生成できる。

【0081】

誤差寄与値４１０は、第１の測定において生成されてもよいパラメータを含むことができる。パラメータの値は、第１の測定の精度及び／又は不正確さに関連してもよい。プロセッサ４００は、第１の測定から誤差寄与値４１０を取得するよう構成されてもよい。

【0082】

更に、プロセッサ４００は、誤差寄与値４１０に基づいて、第１の測定の誤差４２０を推定するよう構成されてもよい。誤差４２０は、１つ又は複数の数値及び／又はデータ配列を含むことができる。

【0083】

例示的な誤差４２０は、共分散行列（及び／又は分散行列及び／又は分散共分散行列）を含むことができる。共分散行列は、位置ｉ、ｊにおけるその要素がランダムベクトルのｉ番目及びｊ番目の要素間の共分散である行列を備えてもよい。共分散は、２つのランダム変数がどの様に一緒に変化するかのインジケータであってもよい。例えば、運動３００の第１の測定が、予め設定された座標系におけるモバイルプラットフォーム２００の変位を測定する場合、変位Ｔは、以下の３×１のベクトルとして表される三次元ベクトルを含むことができる：

【数1】

式(1)
ここで、Ｔｘ、Ｔｙ、及びＴｚは、それぞれ、予め設定された座標系のｘ軸、ｙ軸、及びｚ軸上でのモバイルプラットフォーム２００の変位Ｔの変位成分である。予め設定された座標系は、絶対及び／又は相対座標系を含むことができる。例示的な座標系は、第１の測定を実行するセンサに関して定義される座標系を含むことができる。

【0084】

速度Ｖは、以下の３×１のベクトルとして表される三次元ベクトルを含むことができる：

【数2】

式(2)
ここで、Ｖｘ、Ｖｙ、及びＶｚは、それぞれ、予め設定された座標系のｘ軸、ｙ軸、及びｚ軸上でのモバイルプラットフォーム２００の速度Ｖの速度成分である。

【0085】

第１の測定によって得られる変位Ｔの誤差４２０は、以下の共分散行列Σｃａｍを含むことができる：

【数3】

式(3)
ここで、対角線要素Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）は、速度Ｖの各速度成分Ｖｘ、Ｖｙ、及びＶｚの分散である。ｉ、ｊ位置における非対角要素は、速度Ｖのｉ番目及びｊ番目の要素間の共分散であってもよい。例えば、位置（１，２）における要素、即ち、Ｖａｒ（Ｖｘ，Ｖｙ）は、速度Ｖの速度成分Ｖｘ及び速度成分Ｖｙ等の第１及び第２の要素間の共分散であってもよい。

【0086】

誤差寄与値４１０は、相関関係を介して誤差４２０に関連してもよい。プロセッサ４００は、相関関係を用いて、誤差寄与値４１０に基づき、誤差４２０を算出するよう構成されてもよい。誤差４２０が共分散行列Σｃａｍを含む場合、誤差寄与値４１０は、共分散行列Σｃａｍの１つ又は複数の要素との相関関係を有することができる。特定の実施形態において、誤差寄与値４１０は、分散Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）それぞれとの相関関係を有することができる。

【0087】

例示的な相関関係は、誤差４２０が誤差寄与値４１０の関数である関数関係を含むことができる。関数関係は、１つ又は複数の式を用いて表すことができる。一実施形態において、分散Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及び／又はＶａｒ（Ｖｚ）は、それぞれ、誤差寄与値４１０の関数であってもよく、それぞれの関数の少なくとも１つは、式の１つの形態であってもよい。例示的な関数関係は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができる。

【0088】

図２は、図１のシステム１００の代替の実施形態を示す例示的な図である。図２に示すように、システム１００は、モバイルプラットフォーム２００の運動３００を測定するための第１のセンサ５００及び第２のセンサ６００を含むことができる。

【0089】

第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つは、プロセッサ４００と結合することができる。第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つは、モバイルプラットフォーム２００を特徴付けるデータを収集できる。例示的なデータは、モバイルプラットフォーム２００の移動速度、加速度、及び／又は向きを含むことができる。例示的なセンサ５００、６００は、ロケーションデータユニット、走行距離計、慣性測定装置（ＩＭＵ）、加速度計、視覚センサ等を含むことができる。第１のセンサ５００及び／又は第２のセンサ６００は、収集したデータをプロセッサ４００に送信できる。プロセッサ４００は、第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つを制御して、プロセッサ４００によって指定された時間に必要なデータを収集するよう第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つに指示できる。

【0090】

例えば、プロセッサ４００は、モバイルプラットフォーム２００が選択した動作モードに入った場合にデータを収集するよう、第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つに指示できる。例示的な動作モードは、ホバリング、離陸、着陸、速度変更、方向変更、上昇、及び／又は下降を含むことができる。更に、プロセッサ４００は、モバイルプラットフォーム２００が予め選択した場所に到着するか、及び／又は、所定の位置に着いた場合にデータを収集するよう、第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つに指示できる。

【0091】

プロセッサ４００は、第１のセンサ５００及び第２のセンサ６００のうち少なくとも１つから収集したデータに基づいてモバイルプラットフォーム２００を制御する。加えて、及び／又は、代替として、プロセッサ４００は、収集したデータを処理し、モバイルプラットフォーム２００を制御するために処理の結果をコントローラ（図示せず）に送信する。コントローラは、モバイルプラットフォーム２００の近傍、及び／又は、それから遠位にあってもよい。

【0092】

説明のためだけに第１のセンサ５００及び／又は第２のセンサ６００を含むものとして説明するが、モバイルプラットフォーム２００は、何れかの適切な数の一様な及び／又は異なるセンサを含むことができる。説明のためだけに第１のセンサ５００及び／又は第２のセンサ６００から切り離されているものとして説明するが、プロセッサ４００は、第１のセンサ５００及び／又は第２のセンサ６００と少なくとも部分的に集積されてもよい。図２には図示しないが、モバイルプラットフォーム２００のコントローラは、プロセッサ４００から切り離されるか、又は、それと少なくとも部分的に集積されてもよい。

【0093】

第１のセンサ５００は、第２のセンサ６００の種類と同じか、又は、それとは異なる種類であってもよい。言い換えれば、第１のセンサ５００の検知技術は、第２のセンサ６００の検知技術と同じか、又は、それとは異なっていてもよい。一実施形態において、第１のセンサ５００は視覚センサを含むことができ、第２のセンサ６００は、視覚センサ以外のセンサを含むことができる。

【0094】

例示的な視覚センサは、例えば、物体１５０（図２に示す）の静止及び／又はビデオ画像を取得するためのカメラを含むことができる。プロセッサ４００及び／又は第１のセンサ５００は、取り込んだ画像を解析してモバイルプラットフォーム２００及び物体１５０の関連する運動のデータを提供できる。

【0095】

一実施形態において、第２のセンサ６００はＩＭＵを含むことができる。ＩＭＵは、１つ又は複数の加速度計、ジャイロスコープ、及び磁力計の組み合わせを用いることによって、モバイルプラットフォーム２００のベロシティ、速度、及び向き、及び、モバイルプラットフォーム２００に作用する重力等の何れかの力を測定するための電子デバイスを含むことができる。幾つかの実施形態において、ＩＭＵは、指の爪程の大きさのチップ上に集積される微小電気機械システム（ＭＥＭＳ）技術を用いて製造される顕微鏡的構造を含むことができる。

【0096】

第１のセンサ５００は、モバイルプラットフォーム２００の運動３００の第１の測定を収集及び／又は生成できる。第１のセンサ５００を用いて取得された運動３００に関する何れかのデータも、第１の測定データ４３０と称することができる。

【0097】

第２のセンサ６００は、モバイルプラットフォーム２００の運動３００の第２の測定を収集及び／又は生成できる。第２のセンサ６００を用いて取得された運動３００に関する何れかのデータも、第２の測定データ４４０と称することができる。

【0098】

第１のセンサ５００によって取得された第１の測定データは、第２のセンサ６００によって取得された第２の測定データと組み合わせて、合成検知結果を形成することができる。一般的に、検知結果は、「センサフュージョン」としても公知の多数のセンサによって取得された合成センサデータによって生成することができる。例えば、センサフュージョンは、ＧＰＳセンサ、慣性センサ、視覚センサ、ライダ、超音波センサ等を含む異なるセンサ種類によって取得される検知データを組み合わせるよう用いることができる。別の例として、センサフュージョンは、絶対測定データ（例えば、ＧＰＳデータ等のグローバル座標系に関して提供されるデータ）及び相対測定データ（例えば、視覚検知データ、ライダデータ、又は超音波検知データ等のローカル座標系に関して提供されるデータ）等の異なる種類の検知データを組み合わせるよう用いることができる。センサフュージョンは、個々のセンサ種類に関連する制限又は不正確さを補うよう用いることができ、それによって、最終的な検知結果の精度及び信頼性を向上させる。

【0099】

プロセッサ４００は、第１のセンサ５００を用いて取得された結果と第２のセンサ６００を用いて取得された結果とを組み合わせて運動３００を決定するよう構成されてもよい。言い換えれば、プロセッサ４００は、第１の測定と第２の測定とを組み合わせて運動３００を決定できる。第１の測定と第２の測定とを組み合わせることは、第１の測定データ４３０と第２の測定データ４４０とを組み合わせて運動３００の計算結果４５０を（図２に示すように）生成することを含むことができる。

【0100】

センサフュージョンは、推定される検知データのうちの少なくとも１種類の誤差を推定することを含んでもよい。例えば、センサフュージョンがカルマンフィルタを要する方法を用いる場合、方法は、検知データの一種に対するカルマンゲインを計算できる。カルマンゲインは、検知データの対応する種類がセンサフュージョンの結果に影響を及ぼす程度を示すことができる。大きいカルマンゲインは、検知データの対応する種類がセンサフュージョンの結果にそれ程影響を及ぼさないことを意味する。カルマンゲインの計算は、検知データの対応する種類の推定誤差を必要とする。

【0101】

従って、様々な実施形態において、プロセッサ４００は、第１の測定の誤差４２０を推定し、誤差４２０をセンサフュージョンのためのプロセスに供給する必要があってもよい。結果として、プロセッサ４００は、推定誤差４２０に基づいて第１の測定データ４３０を第２の測定データ４４０と組み合わせることによって、モバイルプラットフォーム２００の運動３００を決定できる。誤差４２０は、図３に示すような方法３０００を用いて推定することができる。

【0102】

図３は、（図１に集合的に示す）モバイルプラットフォーム２００の運動３００を決定するための方法の実施形態を示す例示的な最上位レベルのフローチャートである。モバイルプラットフォームの運動３００の第１の測定のための誤差寄与値４１０（図２に示す）は、３００１において取得することができる。第１の測定の誤差４２０（図２に示す）は、誤差寄与値４１０を取得することに基づいて、３００２において推定することができる。

【0103】

誤差４２０は、例えば、誤差４２０と誤差寄与値４１０との間の相関関係によって推定することができる。例示的な相関関係において、誤差４２０は、誤差寄与値４１０の関数であってもよく、関数は数式として表される。誤差寄与値４１０及び誤差４２０は、それぞれ、関数の入力及び出力であってもよい。

【0104】

例示的な実施形態はここで、誤差寄与値４１０、誤差４２０、及びそれらの間の相関関係を更に示すよう提供される。図４は、図３の方法の代替の実施形態を示す例示的なフローチャートであり、ここで運動３００は視覚センサを介して測定される。図４の方法４０００は、（図１に集合的に示す）モバイルプラットフォーム２００の運動３００を決定するために用いられてもよい。ここで、運動３００は、視覚センサである第１のセンサ５００（図２に示す）に少なくとも部分的に基づいて決定されてもよい。方法４０００は、運動３００を測定するための第１の測定が第１のセンサ５００を介して収集及び／又は生成できる１つの例示的な方法を示している。

【0105】

図４において、一致する特徴点対は、４００１において特定することができる。一致特徴点対は、第１の時間ｔ１において取得された物体１５０の第１の画像に基づく物体１５０（図２に示す）の第１の特徴点と、第２の時間ｔ２において取得された物体１５０の第２の画像に基づく物体１５０の第２の特徴点とを含むことができる。

【0106】

第１の時間ｔ１において取得された第１の画像は、その中に物体１５０を含むことができる。第１の特徴点は、第１の画像内の１つのピクセル又は多数の隣接するピクセルを含むことができる。物体１５０の少なくとも一部は、第１の特徴点に取り込まれてもよい。プロセッサ４００は、何れかの従来の方法を用いて第１の画像内の第１の特徴点を特定することができる。

【0107】

第２の時間ｔ２において取得された第２の画像は、その中に物体１５０を含むことができる。第２の特徴点は、第２の画像内の１つのピクセル又は多数の隣接するピクセルを含むことができる。プロセッサ４００は、何れかの従来の方法を用いて第２の画像内の第２の特徴点を特定することができる。第２の特徴点は、第１の特徴点と関連付けられて一致特徴点対を形成してもよい。言い換えれば、第２の特徴点が第１の特徴点と一致する場合、第１の特徴点及び第２の特徴点は、それぞれ、第１の時間ｔ１及び第２の時間ｔ２において同じ内容を捕らえている。

【0108】

物体１５０は、視覚センサの視野内の対象の何れかの物体を含むことができる。物体１５０及び／又は一致特徴点対は、機械視覚及び／又は人工知能方法等に基づいて特定することができる。適切な方法は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）特徴トラッカ、Ｈａｒｒｉｓアフィン領域検出装置、Ｆｅａｔｕｒｅｓ ｆｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｓｅｇｍｅｎｔ ｔｅｓｔ（ＦＡＳＴ）、Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ（ＢＲＩＥＦ）、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）、ＳｈｉとＴｏｍａｓｉのコーナー検出、ＳＵＲＦ ｂｌｏｂ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）検出、ＭＳＥＲ ｂｌｏｂ（Ｍａｘｉｍａｌｌｙ Ｓｔａｂｌｅ Ｅｘｔｒｅｍａｌ Ｒｅｇｉｏｎｓ）検出、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）記述子、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）記述子、ＦＲＥＡＫ（Ｆａｓｔ ＲＥｔｉｎＡ Ｋｅｙｐｏｉｎｔ）記述子、ＢＲＩＳＫ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ）記述子、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）記述子等の、特徴検出、抽出、及び／又は整合技術を含む。同様に、これらの方法は、対象の物体１５０の画像内の１つ又は複数の特徴点を特定するよう用いることができる。

【0109】

特定の実施形態において、第１の時間ｔ１は、第２の時間ｔ２とは異なってもよい。例えば、第２の時間ｔ２は、第１の時間ｔ１より遅くてもよい。従って、第２の画像は、第１の画像が取得された後に取り込まれてもよい。例えば、第２の画像及び第１の画像のそれぞれは、ビデオ画像の画像フレームであってもよく、時間間隔（ｔ２−ｔ１）は、第２の画像の取り込みと第１の画像の取り込みとの間に経過する時間を表してもよい。

【0110】

第１の画像における第１の特徴点の位置と第２の画像における第２の特徴点の位置との間の差は、物体１５０に関する視覚センサの運動に関連してもよい。物体１５０が建物、木、及び／又は同様のもの等の静止アイテムを含む場合、第１の画像における第１の特徴点の位置と第２の画像における第２の特徴点の位置との間の差は、視覚センサの運動に関連してもよい。図２に示すように、第１のセンサ５００は、モバイルプラットフォーム２００上に位置してもよい。従って、第１の画像における第１の特徴点の位置と第２の画像における第２の特徴点の位置との間の差は、モバイルプラットフォーム２００の運動３００に関連してもよい。

【0111】

第１の特徴点の位置は、予め設定された座標系における第１の特徴点の座標として説明することができる。第２の特徴点の位置は、予め設定された座標系における第２の特徴点の座標として説明することができる。第１の特徴点の座標及び／又は第２の特徴点の座標は、何れかの次元の座標を含むことができる。例示的な座標は、三次元座標、二次元座標、又はそれらの組み合わせを含むことができる。

【0112】

一実施形態において、第１の特徴点の座標Ｐ１は、以下の三次元座標を含むことができる：

【数4】

式(4)
ここで、ｘ１、ｙ１、及びｚ１は、それぞれ、予め設定された座標系のｘ軸、ｙ軸、及びｚ軸上の第１の特徴点の座標値である。

【0113】

第２の特徴点の座標Ｐ２は、以下の三次元座標を含むことができる：

【数5】

式(5)
ここで、ｘ２、ｙ２、及びｚ２は、それぞれ、予め設定された座標系のｘ軸、ｙ軸、及びｚ軸上の第１の特徴点の座標値である。ｘ２’、ｙ２’は、それぞれ、視覚センサの焦点面上の第１の特徴点の座標値であり、第２の画像における第２の特徴点の位置から取得することができる。ｆは、視覚センサの焦点距離である。

【0114】

一例において、式（５）のｚ軸座標ｚ２は、予め設定された定数であってもよい。ｚ軸座標ｚ２は、第２の画像の特定の投影面に対する予め設定された定数であってもよい。例えば、ｚ２の現在の定数は、１つであるよう設定されてもよい。その場合、第２の特徴点の座標は、実質上、二次元であってもよく、予め設定された座標系における平面上での第２の特徴点の投影を表してもよい。運動３００の測定は、制限されることなく、第２の特徴点の三次元座標及び二次元座標のうち少なくとも１つを用いることができる。

【0115】

図４に示すように、第１の時間ｔ１から第２の時間ｔ２の間のモバイルプラットフォーム２００の運動３００は、一致特徴点対内の第１の特徴点と第２の特徴点との間の関係に基づいて、４００２において測定することができる。

【0116】

第１の特徴点と第２の特徴点との間の関係は、第１の特徴点の座標Ｐ１と第２の特徴点の座標Ｐ２との間の関係を含むことができる。例示的な関係は、以下を含むことができる：
Ｐ２＝λＫ（ＲＰ１＋Ｔ） 式（６）
ここで、λはスケーリングパラメータ、Ｋは内部参照行列、及び、回転行列Ｒは、モバイルプラットフォーム２００の回転運動を特徴付ける回転行列である。

【0117】

幾つかの実施形態において、λは、第２の画像の特定の投影面に対する予め設定された数値であってもよい。他の実施形態において、λは、未知の変数であってもよく、式（６）を用いることによって変位Ｔと共に求められてもよい。

【0118】

内部参照行列Ｋは、視覚センサに特有のものであってもよい。例えば、視覚センサは、カメラ等の撮像デバイスを含むことができる。内部参照行列Ｋは、対象物体の三次元点から画像内の二次元点へのカメラのマッピングを説明できる。カメラは、特定の内部参照行列Ｋを有することができる。内部参照行列Ｋは、何れかの適切な次元の行列を備えることができ、一実施形態において、３×３の行列を備えることができる。

【0119】

代替として、及び／又は、加えて、モバイルプラットフォーム２００は、モバイルプラットフォーム２００の回転運動を検出するためのセンサを含むことができる。例えば、かかるセンサは、ＩＭＵを含むことができる。ＩＭＵは、運動３００を測定し、回転行列Ｒをプロセッサ４００に提供できる。内部参照行列Ｋは、何れかの適切な次元の行列を備えることができ、一実施形態において、３×３の行列を備えることができる。

【0120】

式（６）は、式（１）に示すような変位Ｔの３つの未知の変位成分Ｔｘ、Ｔｙ、及びＴｚを求めるよう３つの式を提供できる。λが未知であり、解く必要がある場合、式（６）は、３つを超える未知の変位成分Ｔｘ、Ｔｙ、及びＴｚ、並びにλを含む３つの式を提供できる。その場合、２つ又は複数の一致特徴点対は、図４の４００１において説明するように取得することができる。各一致特徴点対は、式（６）から導かれる３つの追加式を提供できる。従って、適切なフィッティング技術が、式（６）を解いて変位Ｔの変位成分Ｔｘ、Ｔｙ、及びＴｚを提供するよう用いることができる。例えば、最小２乗法は、式（６）を解くために用いられ、変位Ｔを取得できる。

【0121】

モバイルプラットフォーム２００の速度Ｖは、式（７）を用いて計算することができる。
Ｖ＝Ｔ／（ｔ２−ｔ１） 式（７）

【0122】

式（７）を用いて計算された速度Ｖは、第１の時間ｔ１から第２の時間ｔ２の間の平均速度を含むことができる。

【0123】

視覚センサを用いる第１の測定は、必ずしも正確ではなく、誤差となる可能性がある。一般的に、誤差の原因は、視覚センサの撮像デバイスの径方向及び接線方向のレンズ歪み、画像内の特徴点の抽出中のピクセル値における分散、視覚センサの取り付けにおける誤差、画像を取得するための照度の変化、第１の特徴点と第２の特徴点との不正確なマッチングを含むことができるが、これらに限定されない。加えて、視覚センサが、それぞれの画像において物体を同時に取得するための多数の撮像デバイスを含む場合、特徴点の座標は、三角測量及び／又は同様のもの等を用いて、多数の各画像内の特徴点のピクセル値を組み合わせることによって生成することができる。その場合、特徴点は、不正確に多数の撮像デバイスから抽出されてもよい。

【0124】

例えば、図４に示すような方法４０００において、第１の測定の誤差は、ピクセル点を抽出し、第１の特徴点と第２の特徴点とをマッチングさせることにおける誤差を含むことができる。ピクセル点を抽出し、第１の特徴点と第２の特徴点とをマッチングさせることにおける誤差は、第１の特徴点及び第２の特徴点の各座標の誤差を招く可能性がある。更に、（式（６）において示すような）内部参照行列Ｋ及び回転行列Ｒの各値も、第１の測定の誤差を生じる可能性がある。

【0125】

第１の測定が多数の一致特徴点対を用いる場合、プロセッサ４００は、運動３００の正しい測定結果を提供する１つ又は複数の一致特徴点対を特定する可能性が高く、従って、高い精度で運動３００を測定できる。図５は、図３の方法の別の代替の実施形態を示す例示的なフローチャートである。図５の方法５０００は、（図１に集合的に示す）モバイルプラットフォーム２００の運動３００を決定するために用いられてもよい。方法５０００は、複数の一致特徴点対を特定することを含むことができる。ここで、運動３００は、視覚センサである第１のセンサ５００（図２に示す）に少なくとも部分的に基づいて決定されてもよい。

【0126】

図５において、複数の一致特徴点対は、５００１において特定される。各一致特徴点対は、それぞれ選択された第１の特徴点及び対応する第２の特徴点を含むことができる。各一致特徴点対内部で、第１の特徴点は、第１の時間ｔ１において取得される物体１５０（図２に示す）の第１の画像から選択することができ、対応する第２の特徴点は、第２の時間ｔ２において取得される物体１５０の第２の画像から選択することができる。

【0127】

説明のためだけに物体を含むものとして説明したが、第１の画像及び／又は第２の画像は、何れかの適切な数の一様な及び／又は異なる物体を含むことができ、そのそれぞれは、第１の測定中に一致特徴点対の幾つか又は全てを特定するために用いられてもよい。言い換えれば、第１の特徴点は、必ずしも第１の画像内の同じ物体から選択されず、従って、対応する第２の特徴点は、必ずしも第２の画像内の同じ物体から選択されない。

【0128】

図５において、第１の時間ｔ１から第２の時間ｔ２の間のモバイルプラットフォーム２００の運動３００は、複数の一致特徴点対から選択される１つ又は複数のインライア特徴点対のうちの何れかの内部のそれぞれ選択された第１の特徴点と対応する第２の特徴点との間の関係に基づいて、５００２において測定することができる。

【0129】

一般的に、インライアは、その分布を、ノイズを受ける場合があるが、モデルパラメータの幾つかのセットによって説明できるデータを含み、アウトライアは、モデルに適合しないデータを含む。従って、インライア特徴点対は、正確だと想定される運動３００の計算結果を生じることができる一致特徴点対であってもよい。アウトライア特徴点対は、不正確だと想定される運動３００の計算結果を生じることができる一致特徴点対であってもよい。更に、複数の一致特徴点対のうちで最も正しい結果は、第２の測定データ４４０と組み合わされて運動３００の計算結果４５０を生じることができる。

【0130】

インライア特徴点対は、複数の一致特徴点対のサブセットを含むことができる。幾つかの実施形態において、各一致特徴点対は、サンプル運動値を提供できる。サンプル運動値は、運動を特徴付けるためのサンプル値を含むことができる。例示的なサンプル運動値は、サンプル変位Ｔ値を含むことができる。サンプル変位Ｔ値は、一致特徴点対によって測定される変位Ｔの値であってもよい。例えば、式（６）を用いることによって、各一致特徴点対は、それぞれ、サンプル変位Ｔ値を提供できる。従って、複数のサンプル変位Ｔ値を生成することができる。しかし、幾つかのサンプル変位Ｔ値は正確であるかもしれないが、その一方で、他のサンプル変位Ｔ値は不正確であるかもしれない。プロセッサ４００は、どのサンプル変位Ｔ値が適切な方法及び／又は選択基準に基づいて正確であるかを決定するよう構成されてもよい。どのサンプル変位Ｔ値が正確であるかを決定するための例示的な方法を、図６に示す。プロセッサ４００が、どのサンプル変位Ｔ値が正確であるかを決定した後、プロセッサ４００は、従って、インライア特徴点対として正確なサンプル変位Ｔ値を提供する各一致特徴点対を特定できる。

【0131】

プロセッサ４００が、どのサンプル変位Ｔ値が正確であるかを決定し、従って、どの一致特徴点対がインライア特徴点対であるかを決定するために用いる方法及び／又は選択基準は、本開示において制限されない。説明のために、図６は、図５の方法の代替の実施形態を示す例示的なフローチャートであり、ここで、方法は１つ又は複数のインライア特徴点対を特定することを含み、方法は１つ又は複数のインライア特徴点対を特定することを含む。

【0132】

図６において、サンプル運動値は、６００１において、複数の一致特徴点対の各一致特徴点対にそれぞれ基づいて取得することができる。先に言及したように、各一致特徴点対は、サンプル変位Ｔ値を提供できる。モバイルプラットフォーム２００の運動３００は、６００２において、複数の一致特徴点対のうちの最大の一致特徴点対によって提供されるサンプル運動値に基づいて測定することができる。最大の一致特徴点対は従って、１つ又は複数のインライア特徴点対である。

【0133】

例示的な方法６０００を実装するため、プロセッサ４００（図１に示す）は、同じサンプル変位Ｔ値を生成する一致特徴点対の数をカウントするよう構成されてもよい。従って、各サンプル変位Ｔ値は、それぞれ、一致特徴点対の数に対応できる。一致特徴点対の最大数によって生成されるサンプル変位Ｔ値、即ち、最大の一致特徴点対によって提供されるサンプル変位Ｔ値は、運動３００の正確な値としてプロセッサ４００によって選択されてもよい。かかるサンプル変位Ｔ値に対応する一致特徴点対の数は、従って、インライア特徴点対の数「ｎ」であってもよい。

【0134】

プロセッサ４００が、どのサンプル変位Ｔ値が正しいかを決定するために用いる選択基準は、方法６０００に制限されない。一例において、サンプル変位Ｔ値の平均値は、正しい変位Ｔ値として選択されてもよく、かかるサンプル変位Ｔ値に対応する一致特徴点対の数は、従って、インライア特徴点対の数ｎであってもよい。別の例において、サンプル変位Ｔ値の中央値は、正しい変位Ｔ値として選択されてもよく、かかるサンプル変位Ｔ値に対応する一致特徴点対の数は、従って、インライア特徴点対の数ｎであってもよい。

【0135】

一般的に、インライア特徴点対の大きい数ｎは、現在測定されている特徴点が明らかであり、及び／又は、安定していることを示すことができる。従って、運動３００の測定された変位Ｔ値は、高い精度と少ない誤差を有することができる。誤差寄与値４１０（図１〜２に示す）は、インライア特徴点対の数ｎを含むことができる。プロセッサ４００は、誤差寄与値４１０と誤差４２０との間の相関関係を用いて誤差４２０を推定するよう構成されてもよい。誤差４２０が共分散行列Σｃａｍを含む場合、誤差寄与値４１０は、Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）それぞれとの相関関係を有することができる。

【0136】

例示的な相関関係は、誤差４２０が数ｎと共に増加する関数的な相関関係を含むことができる。例えば、関数的な相関関係において、Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）のそれぞれは、以下のように与えられてもよい：
Ｖａｒ（Ｖｘ）＝ｇ１（ｎ） 式（８）
Ｖａｒ（Ｖｙ）＝ｇ２（ｎ） 式（９）
Ｖａｒ（Ｖｚ）＝ｇ３（ｎ） 式（１０）
ここで、各ｇ１（ｎ）、ｇ２（ｎ）、及びｇ３（ｎ）は、それぞれ、数ｎの関数である。ｇ１（ｎ）、ｇ２（ｎ）、及びｇ３（ｎ）の例示的な値は、数ｎが減少するにつれて増加できる。ｇ１（ｎ）、ｇ２（ｎ）、及びｇ３（ｎ）の数学的形式は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができるが、これらに限定されない。

【0137】

例えば、誤差４２０のｇ１（ｎ）、ｇ２（ｎ）、及びｇ３（ｎ）のそれぞれは、以下のように与えられる数ｎの指数の逆数と共に線形に増加できる：
Ｖａｒ（Ｖｘ）＝ｋ１／ｎａ＋ｂ１ 式（１１）
Ｖａｒ（Ｖｙ）＝ｋ２／ｎａ＋ｂ２ 式（１２）
Ｖａｒ（Ｖｚ）＝ｋ３／ｎａ＋ｂ３ 式（１３）
ここで、各パラメータａ、ｋ１、ｂ１、ｋ２、ｂ２、ｋ３、及び／又はｂ３は、定数値、数ｎ以外の誤差寄与値４１０、又はそれらの組み合わせを含む数式を含むことができる。更に、パラメータａ、ｋ１、ｂ１、ｋ２、ｂ２、ｋ３、及び／又はｂ３は、制限されることなく、異なるもの又は一様なものであってもよい。

【0138】

幾つかの実施形態において、パラメータは１に等しくてもよい。その場合、誤差４２０のＶａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）のそれぞれは、数ｎの逆数と共に線形に増加できる。更に、ｋ１、ｂ１、ｋ２、ｂ２、ｋ３、及び／又はｂ３は、異なる又は一様な定数であってもよい。ｋ１、ｂ１、ｋ２、ｂ２、ｋ３、及び／又はｂ３の値を提供するための例示的な方法は、図８及び１２を参照して本明細書中で検討する方法において述べる。

【0139】

加えて、及び／又は、代替として、誤差寄与値４１０は、数ｎ以外のパラメータを含むことができる。例えば、一般的に、視覚センサから遠い物体は、近傍の物体よりも大きい誤差で測定される場合がある。従って、誤差寄与値４１０は、物体１５０と第１のセンサ５００との間の物体距離Ｚを含むことができる。第１のセンサ５００が図２に示すようにモバイルプラットフォーム２００上に位置することができるため、物体１５０と第１のセンサ５００との間の物体距離Ｚは、物体１５０とモバイルプラットフォーム２００との間の距離に等しくてもよい。例えば、関数的な相関関係において、誤差４２０のＶａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）のそれぞれは、Ｚと共に増加できる。即ち：
Ｖａｒ（Ｖｘ）＝ｇ４（Ｚ） 式（１４）
Ｖａｒ（Ｖｙ）＝ｇ５（Ｚ） 式（１５）
Ｖａｒ（Ｖｚ）＝ｇ６（Ｚ） 式（１６）
ここで、各ｇ４（Ｚ）、ｇ５（Ｚ）、及びｇ６（Ｚ）は、それぞれ、物体距離Ｚの関数である。ｇ４（Ｚ）、ｇ５（Ｚ）、及びｇ６（Ｚ）の例示的な値は、物体距離Ｚが増加するにつれて増加できる。ｇ４（Ｚ）、ｇ５（Ｚ）、及びｇ６（Ｚ）の数学的形式は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができるが、これらに限定されない。

【0140】

しかし、物体距離Ｚは、必ずしも関数関係において直接的に表される必要はない。物体距離Ｚとの相関関係を有するパラメータは、式（１４）〜（１６）に物体距離Ｚを代入できる。

【0141】

距離を反映できるパラメータを示すために、（図４〜５を参照して本明細書中で検討したような）第１の特徴点の座標を取得するための例示的なプロセスを、以下で説明する。例示的なプロセスにおいて、第１の特徴点の座標は、式（３）で示したような三次元座標を含むことができる。視覚センサは、物体をそれぞれの画像に取得するための２つの撮像デバイスを含むことができる。各撮像デバイスは、それぞれ、二次元画像を取得することができる。プロセッサ４００は、三角測量を用いて物体距離Ｚを計算することによって２つの二次元画像から三次元座標を取得するよう構成されてもよい。図７は、図３のモバイルプラットフォーム２００の第１のセンサ５００を用いることによって特徴点の座標を取得するためのシステムの実施形態を示す例示的な図である。第１の特徴点の三次元座標は、三角測量法を用いて決定することができる。

【0142】

図７において、第１のセンサ５００は、２つの撮像デバイス１１０ａ、１１０ｂを含む視覚センサ１１０を含むことができる。各撮像デバイス１１０ａ、１１０ｂは、同じ対象の物体１５０だが、異なる空間座標において知覚できる。例えば、撮像デバイス１１０ａ、１１０ｂは、図７に示すようなそれぞれのｘ軸１３０ａ、１３０ｂを有することができる。撮像デバイス１１０ａ、１１０ｂは、それらの各光軸１３０ａ、１３０ｂに沿って対象の物体１５０を知覚し、それによって、対象の物体１５０の２つの異なる二次元サブ画像１２０ａ、１２０ｂに到達できる。図４及び／又は５において説明したような第１の画像は、サブ画像１２０ａ、１２０ｂを含むことができる。二次元サブ画像１２０ａ、１２０ｂは、撮像デバイス１１０ａ、１１０ｂが、それらの光軸１３０ａ、１３０ｂが一致するように位置決めされない限り、典型的には異なり、異なる位置（又は視点）から撮像される。従って、大抵の状況下では、両眼視差ｄ（例えば、式（２０）において表される）は、式（２０）に示すように、サブ画像１２０ａ、１２０ｂ間で求めることができる。

【0143】

三角測量法は、サブ画像１２０ａ、１２０ｂ間の両眼視差ｄを用いて物体距離Ｚを突き止めるよう用いることができる。二次元サブ画像１２０ａ、１２０ｂは、対象の物体１５０の特徴点１５５に関連する両眼視差ｄを得るよう比較されてもよい。説明のために、２つの撮像デバイス１１０ａ、１１０ｂは、第１の撮像デバイス１１０ａ及び第２の撮像デバイス１１０ｂと呼ばれてもよい。二次元サブ画像１２０ａ、１２０ｂは、第１のサブ画像１２０ａ及び第２のサブ画像１２０ｂと呼ばれてもよい。第１の撮像デバイス１１０ａに関して予め設定された座標系においてその三次元座標（Ｘｌ，Ｙｌ，Ｚｌ）によって表される特徴点１５５の位置は、以下のように与えられてもよい：

【数6】

ここで、ｃｘｌ及びｃｙｌは第１の撮像デバイス１１０ａのそれぞれの中心座標を表し、ｘｌ及びｙｌは第１のサブ画像１２０ａにおける特徴点１５５の座標を表し、ｂは基線（言い換えれば、撮像デバイス１１０ａ、１１０ｂの中心座標間の距離）であり、ｆは各撮像デバイス１１０ａ、１１０ｂの焦点距離であり、ｄはサブ画像１２０ａ、１２０ｂ間の両眼視差である。説明のために、図７は、同じ焦点距離ｆを有するような撮像デバイスを示している。しかし、撮像デバイス１１０ａ、１１０ｂが異なる焦点距離を有していたとしても、サブ画像１２０ａ、１２０ｂは、図７の三角測量を実施するよう、撮像デバイス１１０ａ、１１０ｂから同じ距離を有する投影面に変倍されてもよい。例えば、撮像デバイス１１０ａ、１１０ｂは、それぞれの焦点距離２ｆ及びｆを有することができる。その場合、第１のサブ画像１２０ａの座標ｘｌ及びｙｌは、０．５を乗じることによってそれぞれ変倍されてもよい。変倍された座標ｘｌ及びｙｌは、従って、第１の撮像デバイス１１０ａからの距離ｆを有する投影面に属してもよく、従って、式（１７）〜（２０）を介して第２のサブ画像１２０ｂとの三角測量のために用いられてもよい。

【0144】

ｘｒ及びｙｒが第１のサブ画像１２０ｂ内の特徴点１５５の座標を表す場合、両眼視差ｄは、ここで、以下のように表されてもよい：
ｄ＝ｘ^ｌ−ｘ^ｒ 式（２０）

【0145】

上記の原則に基づいて、特徴点の三次元座標は、立体視に基づいて第１の撮像デバイス１１０ａ及び第２の撮像デバイス１１０ｂを用いて取得することができる。第１及び第２のサブ画像１２０ａ、１２０ｂは、要望通りに、同時又は連続のどちらかで得ることができる。両眼視差ｄは、第１及び第２のサブ画像１２０ａ、１２０ｂから取得することができる。一実施形態において、第１及び第２のサブ画像１２０ａ、１２０ｂは、経時的な物体１５０及び／又は第１のセンサ５００の移動に起因する誤差を低減するよう、第１の時間ｔ１において同時に、有利に得ることができる。

【0146】

特定の別の実施形態において、１つの撮像デバイスは、第１及び第２のサブ画像１２０ａ、１２０ｂを取得することができる。撮像デバイスは、例えば、異なる２つの時間において第１及び第２のサブ画像１２０ａ、１２０ｂを取得することができる。異なる２つの時間において、物体１５０に対する撮像デバイスの位置は、異なっていてもよい。両眼視差ｄは、第１及び第２のサブ画像１２０ａ、１２０ｂから取得することができ、略、第１の時間ｔ１における両眼視差ｄとして用いることができる。

【0147】

一般的に、及び、式（１９）に示すように、第１のサブ画像１２０ａと第２のサブ画像１２０ｂとの間の差は、物体距離Ｚが増加するにつれて低減することができる。更に、第１のセンサ５００からの特徴点１５５の物体距離Ｚは、両眼視差ｄに対して反比例してもよい。両眼視差ｄは第１の測定中に取得することができる。従って、誤差寄与値４１０は、両眼視差ｄを含むことができる。例えば、関数的な相関関係において、Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）のそれぞれは、以下のように与えられてもよい：
Ｖａｒ（Ｖｘ）＝ｇ７（ｄ） 式（２１）
Ｖａｒ（Ｖｙ）＝ｇ８（ｄ） 式（２２）
Ｖａｒ（Ｖｚ）＝ｇ９（ｄ） 式（２３）
ここで、各ｇ７（ｄ）、ｇ８（ｄ）、及びｇ９（ｄ）は、それぞれ、両眼視差ｄの関数である。ｇ７（ｄ）、ｇ８（ｄ）、及びｇ９（ｄ）の例示的な値は、両眼視差ｄが減少するにつれて増加できる。ｇ７（ｄ）、ｇ８（ｄ）、及びｇ９（ｄ）の数学的形式は、線形、対数、多項式、べき、指数関数、又はそれらの組み合わせを含むことができるが、これらに限定されない。

【0148】

例えば、誤差４２０のＶａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）のそれぞれは、以下のように与えられる両眼視差ｄの指数の逆数と共に線形に増加できる：
Ｖａｒ（Ｖｘ）＝ｋ４／ｄ^ｃ＋ｂ４ 式（２４）
Ｖａｒ（Ｖｙ）＝ｋ５／ｄ^ｃ＋ｂ５ 式（２５）
Ｖａｒ（Ｖｚ）＝ｋ６／ｄ^ｃ＋ｂ６ 式（２６）
ここで、各パラメータｃ、ｋ４、ｂ４、ｋ５、ｂ５、ｋ６、及び／又はｂ６は、定数値、両眼視差ｄ以外の誤差寄与値４１０、又はそれらの組み合わせを含む数式を含むことができる。一実施形態において、ｃ＝２であり、従って、誤差４２０のＶａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）のそれぞれは、ｄの２乗の逆数と共に線形に増加できる。更に、ｋ４、ｂ４、ｋ５、ｂ５、ｋ６、及び／又はｂ６は、異なる又は一様な定数であってもよい。ｋ４、ｂ４、ｋ５、ｂ５、ｋ６、及び／又はｂ６の値を提供するための例示的な方法は、図８及び１２を参照して本明細書中で検討する方法において述べる。

【0149】

各特徴点は、それぞれの両眼視差ｄと関連付けることができる。誤差４２０を計算するための関連する両眼視差ｄは、制限されることなく、何れかの適切な方法を用いて特定することができる。一例において、誤差４２０を計算するための両眼視差ｄは、第１の特徴点及び／又は一致する第２の特徴点の各両眼視差ｄの平均であってもよい。別の例において、誤差４２０を計算するための関連する両眼視差ｄは、幾つか又は全てのインライア特徴点対内部の第１の特徴点及び／又は一致する第２の特徴点の各両眼視差ｄの平均であってもよい。更に別の例において、誤差４２０を計算するための両眼視差ｄは、第１の特徴点の全ての両眼視差ｄの平均であってもよい。別の例において、誤差４２０を計算するための両眼視差ｄは、幾つか又は全てのインライア特徴点対内部の第１の特徴点の全ての両眼視差ｄの平均であってもよい。

【0150】

特定の実施形態において、誤差寄与値４１０は、インライア特徴点対の数ｎ及び両眼視差ｄを含むことができる。例えば、式（１１）〜（１３）及び（２４）〜（２６）を組み合わせることによって、誤差４２０は、以下のように、数ｎの逆数と共に線形に増加し、両眼視差ｄの２乗の逆数と共に線形に増加するよう推定することができる：
Ｖａｒ（Ｖｘ）＝ｋ７／ｎｄ^２＋ｂ７ 式（２７）
Ｖａｒ（Ｖｙ）＝ｋ８／ｎｄ^２＋ｂ８ 式（２８）
Ｖａｒ（Ｖｚ）＝ｋ９／ｎｄ^２＋ｂ９ 式（２９）
ここで、ｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及び／又はｂ９は、定数値、数ｎ以外の誤差寄与値４１０、又はそれらの組み合わせを含む式を含むことができる。更に、ｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及び／又はｂ９は、制限されることなく、異なるもの又は一様なものであってもよい。幾つかの実施形態において、ｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及び／又はｂ９のそれぞれは、異なる及び／又は一様な数値定数を含むことができる。ｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及び／又はｂ９の値を提供するための例示的な方法は、図８及び１２を参照して本明細書中で検討する方法において述べる。

【0151】

誤差４２０が式（３）に示すような共分散行列Σｃａｍを含む場合、プロセッサ４００は、式（２７）〜（２９）の式を用いて対角線要素Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）を推定するよう構成されてもよい。幾つかの実施形態において、非対角要素は、制限されることなく、ゼロ、現在の定数値、及び／又は誤差寄与値４１０の関数に設定できる。

【0152】

Ｖａｒ（Ｖｘ）、Ｖａｒ（Ｖｙ）、及びＶａｒ（Ｖｚ）は、説明のためだけに開示する方法で計算されるが、共分散行列Σｃａｍの非対角要素等の誤差４２０の何れかの要素は、開示する方法に従う方法を用いて誤差寄与値４１０との相関関係を有することができる。

【0153】

本明細書に開示する方法は、より高速に、そして、より正確に誤差を推定できる。視覚センサによる測定の誤差を推定するための従来の方法において、特徴点抽出誤差の共分散行列Σｐｉｘｅｌが最初に仮定される必要がある。平均値ゼロを持つ正規分布を有すると想定される特徴点抽出誤差は、以下のように表すことができる：

【数7】

式(30)
ここで、σ^２ｘ１、σ^２ｙ１、σ^２ｘ２、及びσ^２ｙ２は、ｘ方向における第１の特徴点、ｙ方向における第１の特徴点、ｘ方向における一致する第２の特徴点、及びｙ方向における一致する第２の特徴点の抽出誤差の分散を指してもよい。Σｐｉｘｅｌは次いで、Ｑマッチング特徴点対を用いる変位Ｔの線形代数計算に適用される。

【0154】

変位ＴのＭ測定のｊ番目の測定の共分散行列は、以下の行列方程式を用いる必要がある：

【数8】

式(31)

【0155】

速度Ｖの共分散行列は次いで、ΣｔをＩＭＵ座標系に変換し、時間間隔（ｔ２−ｔ１）の２乗で除算することによって計算することができる。

【0156】

式（３１）は大きな複雑性を有する。例えば、Ａ＋、Ｂｉ、Ｒ、及びＪのそれぞれは、以下のように説明されるような多次元行列である。

【数9】

式(32)
ここで、ｊ＝１からＭであり：

【数10】

式(33)
ここで、Ｎは、各測定の一致する特徴点の総数を示している。

【数11】

式(34)
ここで、画像の中心座標は、（ｕ_０，ｖ_０）^Ｔであり、
カメラの焦点距離はｆ、基線はｂであり、ｕｉ^＊及びｖｉ^＊は、ｔ２における第２の特徴点の二次元投影座標である。第１の特徴点及び第２の特徴点は、(^ｊｕ_ｉ，^ｊｖ_ｉ)^Ｔ及び

【数12】

であり、ｉは、Ｎマッチング特徴点対のｉ番目に一致する特徴点対を示している。

【0157】

更に、

【数13】

式(35)

【0158】

Ｒは回転行列である。Ｊは、第１の特徴点の三次元座標の共分散行列のテイラー展開近似を取得するために用いられる変換行列である。Ｊは以下のように与えられてもよい：

【数14】

式(36)

【0159】

従って、式（３０）〜（３６）において見て取れるように、ｊΣｔを計算するには、相当量の行列計算が（式（３１）等の）Ｎ×Ｎ行列で行われる。Ｎ×Ｎ行列の各要素は、２×２の次元よりも大きい組み込み行列を含んでもよい。各特徴点の座標が用いられ、特徴点抽出のためのσ^２等の誤差分布パラメータが用いられる。かかる計算は時間がかかる。

【0160】

その上、ｊΣｔを計算するには、式（３０）における分散σ^２ｘ１、σ^２ｙ１、σ^２ｘ２、及びσ^２ｙ２が、所定の方法で取得される必要がある。例えば、１つ又は複数の試験測定において、ｊΣｔは、視覚センサを用いて、英国のＶｉｃｏｎ Ｍｏｔｉｏｎ Ｓｙｓｔｅｍｓ Ｌｔｄ．によって製造されるＶｉｃｏｎモーションキャプチャシステム等の基準計器を用いてそれぞれ測定される変位を比較することに基づいて取得される。分散σ^２ｘ１、σ^２ｙ１、σ^２ｘ２、及びσ^２ｙ２は、得られたｊΣｔに基づいて逆算される。式（３０）のΣｐｉｘｅｌはこのように解かれる。Σｐｉｘｅｌは次いで、式（３０）〜（３６）を介する将来の測定においてｊΣｔを計算するために用いられる。

【0161】

しかし、そのような方法で取得された分散σ^２ｘ１、σ^２ｙ１、σ^２ｘ２、及びσ^２ｙ２は、アウトライア特徴点対の何れかの確率的誤差の影響を受け、従って、第１の測定の誤差を推定することにおいて不正確さの原因となるノイズを不必要に生じる恐れがある。

【0162】

対照的に、開示する方法及び装置を用いることによって、第１の測定の誤差は、誤差寄与値４１０と誤差４２０との間の相関関係に従って推定することができる。相関関係は、式（３０）における分散σ^２ｘ１、σ^２ｙ１、σ^２ｘ２、及びσ^２ｙ２等の第１の特徴点及び／又は第２の特徴点の座標の誤差分布パラメータとは無関係であってもよい。更に、相関関係は、第１の特徴点及び／又は第２の特徴点の座標とは無関係であってもよい。

【0163】

幾つかの実施形態において、第１の測定の共分散行列Σｃａｍの要素は、簡単な式を用いて個々に計算することができる。式は、１つ又は複数の誤差寄与値４１０を含むことができる。各誤差寄与値４１０は、第１の測定から取得することができる。特徴点の座標及び特徴点の座標の誤差分布のパラメータは、計算にとって必要であることはない。計算は、従って、大幅に簡素化できる。

【0164】

誤差寄与値４１０の選択は、第１の測定に対する誤差源の経験的及び／又は直観的理解に基づいてもよく、測定の物理的及び／又は統計的性質に直接関係してもよい。

【0165】

例えば、図４〜６を参照して上で説明した方法４０００〜６０００において、ピクセル抽出及び／又はマッチングは、誤差源となり得る。かかるピクセル誤差は、両眼視差ｄの精度に影響を及ぼす可能性がある。両眼視差ｄにおける誤差は、三角測量プロセスを介して速度測定の誤差に伝達されるピクセル誤差の原因となる可能性がある。誤差寄与値４１０の選択は、従って、ピクセル誤差に関するパラメータを含むことができる。

【0166】

先に説明したように、視覚センサから遠い遠位の物体１５０（図２及び７に示す）は、近傍の物体よりも大きい誤差で測定される場合があり、視覚センサと物体１５０との間の距離は、両眼視差ｄと相関関係がある。加えて、インライア特徴点対の数ｎが小さい場合、小さい数ｎは、現在測定されている特徴点が明らかではなく、及び／又は、安定していないことを示すことができる。従って、小さい数ｎは、大きいピクセル誤差も示すことができる。従って、誤差寄与値４１０は、数ｎ及び／又はｄを含むことができる。

【0167】

更に、幾つかの実施形態において示されていないが、誤差寄与値４１０は、内部参照行列Ｋ及び／又は回転行列Ｒの誤差を更に含むことができる。内部参照行列Ｋ及び／又は回転行列Ｒの大きい誤差は、結果的に大きい誤差４２０となる可能性がある。内部参照行列Ｋにおける誤差は、再投影誤差と相関関係がある可能性がある。従って、再投影誤差は、追加として、及び／又は、代替として、誤差４２０が再投影誤差と共に増加するよう推定することができるような方法で、式（２７）〜（２９）におけるｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及び／又はｂ９内に含むことができる。

【0168】

従って、誤差４２０を推定するプロセスは、高速で、プロセッサ４００の計算リソースの消費を抑えることができる。加えて、次に説明する図８〜１５における様々な実施形態において示すように、誤差４２０は、高い精度で推定することができる。従って、誤差４２０に基づく後続のセンサフュージョンの後、モバイルプラットフォーム２００の運動３００は、正確に計算することができる。運動３００を計算した結果は、安定できる。結果として、モバイルプラットフォーム２００は、高い安定性を持ってホバリング状態に留まるために、運動３００を補うような方法で、コントローラによって制御することができる。

【0169】

次に説明する様々な実施形態において、誤差寄与値４１０と誤差４２０との間の相関関係を特定するための方法が示され、開示する方法を用いて推定される誤差４２０は、高い精度を有するよう示すことができる。図８は、図３の方法の別の代替の実施形態を示す例示的な図であり、ここにおいて、誤差寄与値４１０と誤差４２０との間の相関関係が特定される。

【0170】

図８に示すように、誤差寄与値４１０と誤差４２０との間の相関関係は、８００１において仮定される。相関関係を仮定することは、関数関係の種類、関係内のパラメータの値、及び／又は、含まれるべき誤差寄与値４１０を仮定することを含むことができる。例えば、相関関係の仮定された形態は、式（２７）〜（２９）を含む想定を含むことができる。例示的な仮定される相関関係は、未知値を有するパラメータを含むことができる。式（２７）〜（２９）において、ｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及び／又はｂ９はそれぞれ、未知の定数値を有するパラメータであってもよい。

【0171】

それぞれテスト運動に対応するグラウンドトルース、実験測定値、及び誤差寄与値４１０は、８００２において収集することができる。８００２を実施するため、モバイルプラットフォーム２００のテスト運動が測定されてもよい。グラウンドトルースは、テスト運動の絶対トルースを指してもよい。方法８０００において、グラウンドトルースは、高い精度、例えば、第１のセンサ５００の精度よりも高い精度を有することができる機器を用いて測定されるテスト運動の値を含むことができる。例えば、グラウンドトルースは、Ｖｉｃｏｎモーションキャプチャシステムを用いてテスト運動を測定することによって提供することができる。グラウンドトルースは、

【数15】

と称される、Ｖｉｃｏｎによって測定される速度Ｖを含むことができる。

【0172】

８００２において、視覚センサは、テスト運動を測定し、実験測定値ｖを取得でき、誤差寄与値４１０を取得できる。実験測定値は、速度Ｖの実験によって取得された値を指してもよい。例えば、図４〜６の方法を用いて、視覚センサは、数ｎ及び対応するｄを取得できる。

【0173】

８００３において、テスト運動を測定することの誤差４２０は、グラウンドトルース

【数16】

及び実験測定値ｖに基づいて計算される。速度Ｖを測定することのテスト誤差は、

【数17】

であってもよい。特定の場合において、第１の測定の誤差４２０は、（式（３）に示すような）共分散行列Σｃａｍを含んでもよい。テスト誤差ｖｅｒｒｏｒは、必ずしも式（３）に示す分散と同じではないため、分散は、以下の例示的なプロセスを用いて計算されてもよい。

【0174】

例示的なプロセスにおいて、複数のテスト運動は、８００２に従って測定される。各測定に対して、ｖｅｒｒｏｒと、数ｎ及び／又は両眼視差ｄ等の対応する誤差寄与値４１０とを取得することができる。１／（ｎｄ２）は、大きさに従って分類することができる。分類された複数の１／（ｎｄ２）値は、ｍ個のセクタに均一及び／又は不均一に分割されてもよい。各セクタ内部において、１／（ｎｄ２）の平均は、セクタの１／（ｎｄ２）となるよう計算されてもよく、対応するｖ２ｅｒｒｏｒの平均は、セクタの近似分散となるよう計算されてもよい。

【0175】

一例において、３１０７のテスト運動が試験されてもよく、分類された複数の１／（ｎｄ２）値は、１０個のセクタに均一に分割されてもよい。しかし、テスト運動の数、セクタの数、及び分散を取得するための方法は、本開示において制限されない。

【0176】

８００４において、仮定される相関関係は、テスト運動の誤差及びテスト運動の誤差寄与値に適合されてもよい。パラメータの未知値は、このように解くことができる。相関関係は、このように決定することができる。加えて、相関関係がテスト運動の誤差及びテスト運動の誤差寄与値に適合する程度は、仮定される相関関係の正当性を示すことができる。

【0177】

幾つかの実施形態において、８００４が、仮定される相関関係の予備的知識を持たずに、テスト運動の誤差及びテスト運動の誤差寄与値に適合させることによって相関関係を特定できるため、８００１は任意であってもよい。

【0178】

例えば、図９〜１１は、相関関係が図８の方法を介して取得される一組のデータ点を示す例示的な散布図である。図９〜１１のデータ点は、８００１〜８００３において説明したような例示的なプロセスに基づいて取得される。図９〜１１のそれぞれにおいて、分散は１／（ｎｄ２）の関数としてプロットされる。何れかの従来の回帰法は、仮定された相関関係を適合させて分散と１／（ｎｄ２）との間の関数関係を特定するために用いられてもよい。各図９〜１１のそれぞれにおいて、線８０１、８０２、及び８０３は、データ点を良好に適合できる。線８０１、８０２、及び８０３は、従って、ｋ７、ｂ７、ｋ８、ｂ８、ｋ９、及びｂ９の値を解き、以下のような相関関係を与えることができる：

【数18】

【0179】

（式（３）の）共分散行列Σｃａｍは、従って、取得することができる。共分散行列Σｃａｍは、別の座標系に変換されてもよい。例示的な座標系は、回転行列Ｒに基づいていてもよく、ここで、変換は
Σ＝ＲΣ_ｃａｍＲ^Ｔ
を用いて行われてもよい。

【0180】

線８０１、８０２、及び８０３がデータ点を良好に適合できるので、線８０１、８０２、及び８０３は、方法８０００において線８０１、８０２、及び８０３を生じるために用いられたシステムと同様のシステム１００に対して、誤差４２０と誤差寄与値４１０との間の相関関係を予測するために用いられてもよい。図９〜１１に示す例に示されるように、誤差寄与値４１０と誤差４２０との間の相関関係は、線及び／又は曲線としてグラフによって表すことができる数式であってもよい。相関関係により、運動を測定することの誤差寄与値４１０に基づいて、モバイルプラットフォームの運動を測定することの誤差４２０を推定することが可能となる。

【0181】

例えば、相関関係は、方法８０００に従ってシステム１００及び／又はモバイルプラットフォーム２００を用いて取得することができる。プロセッサ４００は次いで、誤差４２０を推定することを必要とする測定のために取得した相関関係を用いるよう構成されてもよい。

【0182】

加えて、及び／又は、代替として、相関関係は、それぞれ、複数のシステム１００及び／又はモバイルプラットフォーム２００から取得することができる。一例において、プロセッサ４００は、取得した相関関係の平均を用いるよう構成されてもよい。別の例において、相関関係の間の差が小さい場合、プロセッサ４００は、取得した相関関係のうちの１つを用いるよう構成されてもよい。１つを超える取得した相関関係からプロセッサ４００のための相関関係を選択する基準は、制限されることなく、何れかの方法を含むことができる。

【0183】

どのような実体も、制限されることなく、方法８０００を実行でき、プロセッサ４００を構成することができる。例示的な実体は、システム１００及び／又はモバイルプラットフォーム２００のメーカ、試験者、ユーザ等を含むことができる。

【0184】

特定の場合において、方法８０００におけるような相関関係を仮定することは、直接的なプロセスではなくてもよく、反復する試行を必要としてもよい。例えば、多数の変数が、誤差寄与値４１０の候補であってもよい。実験資源の消費を低減するため、シミュレーションが行われてもよい。シミュレーションは、誤差寄与値４１０として選択した変数が誤差４２０と相関関係にあるかどうか、及び／又は、仮定した種類の数学的関数関係が有効かどうかを明らかにしてもよい。

【0185】

図１２は、図３の方法の別の代替の実施形態を示す例示的な図であり、ここにおいて、誤差寄与値４１０と誤差４２０との間のシミュレーション相関関係が特定される。図１２の方法１２００は、コンピュータを用いるシミュレーションによって実行されてもよく、必ずしも実験ハードウェアを必要としない。

【0186】

１２０１において、誤差寄与値４１０と誤差４２０との間のシミュレーション相関関係が仮定される。一例において、シミュレーション相関関係は、式（２７）〜（２９）と同じであると仮定することができる。

【0187】

１２０２において、シミュレーション測定が、誤差寄与値４１０のシミュレーション値及びシミュレーショングラウンドトルースに基づいて、シミュレーション運動のシミュレーション測定値を取得するよう、シミュレーション運動に関して行われる。シミュレーション誤差源は、シミュレーション測定に導入される可能性がある。

【0188】

例えば、シミュレーショングラウンドトルースＴｔｒｕｔｈは、シミュレーション運動の変位Ｔの真値を含むことができる。例示的なシミュレーショングラウンドトルースＴｔｒｕｔｈは、任意に選択される回転行列Ｒ及び／又はｔ２及びｔ１間の任意に選択される変位Ｔを含むことができる。

【0189】

シミュレーション測定を実行するために、誤差寄与値４１０のシミュレーション値が用いられてもよい。誤差寄与値４１０の例示的なシミュレーション値は、誤差寄与値４１０の任意に選択される数値を含むことができる。例示的なシミュレーション測定において、数ｎ＝１６、３２、６４、１２８、２５６、５１２である。ｎの各値に対して、両眼視差ｄは、２から４７までの範囲の整数である。従って、シミュレーション値は複数の（ｎ，ｄ）対を含むことができる。

【0190】

従って、各（ｎ，ｄ）対に対して、一致特徴点対がランダムに生成されてもよい。各一致特徴点対は、ｔ１において取得された第１の画像のシミュレートされた第１のサブ画像内に第１の特徴点を含むことができる。ｄに基づいて、第１の特徴点は、ｔ１において取得された第１の画像のシミュレートされた第２のサブ画像内に生成されてもよい。シミュレートされた第１のサブ画像及びシミュレートされた第２のサブ画像は、第１の撮像デバイス及び／又は第２の撮像デバイスをシミュレートするコンピュータプログラムによって生成されてもよい。

【0191】

（図７に示すような）三角測量によって、第１の特徴点の三次元座標Ｐ１が生成されてもよい。シミュレーション運動は、シミュレートされる第１の撮像デバイスに適用されてもよい。第１の特徴点は、シミュレーション運動後のｔ２における第２の特徴点に対応できる。第２の特徴点は、従って、第１の撮像デバイスに投影されて第２の特徴点の座標Ｐ２を生成することができる。シミュレーション運動のシミュレーション測定値Ｔｓｉｍは、式（６）を用いることによって取得することができる。

【0192】

各（ｎ，ｄ）対に対して、シミュレーション測定は、複数の一致特徴点対を取得できる。複数の一致特徴点対の数は、ｎ以上であってもよい。複数の一致特徴点対のうちで、ｎ個の一致特徴点対が、Ｔｓｉｍを取得するよう、インライア特徴点対としてランダムに選択されてもよい。

【0193】

シミュレーション運動のシミュレーション測定値は、実験誤差が少ないので、シミュレートされたグラウンドトルースに近似してもよい。従って、シミュレーション誤差源は、誤差の量を増加させるために、シミュレーション測定の結果がシミュレーショングラウンドトルースから逸脱する原因となるよう導入されてもよい。

【0194】

シミュレーション誤差源は、制限されることなく、様々な方法で導入されてもよい。例示的な測定において、各（ｎ，ｄ）対内に、各第１の特徴点は、（ｄ−０．５）から（ｄ＋０．５）までの間の範囲のランダムな数から選択される両眼視差ｄを有することができる。従って、両眼視差ｄの確率的誤差が生成されてもよく、好ましくは、両眼視差ｄの平均が容易に制御されてもよい。

【0195】

加えて、及び／又は、代替として、第２の特徴点が第１の撮像デバイスに投影されて座標Ｐ２を生成した後、Ｐ２はより短い表現に丸められてもよい。例示的な丸めプロセスは、Ｐ２の有効桁数を低減できる。例えば、Ｐ２の少なくとも１つの座標数は、Ｐ２の小数点に続くＰ２の桁を削除することによって整数ピクセル値まで丸められてもよい。このように、丸めプロセスは、シミュレーション誤差源を導入できる。

【0196】

１２０３において、誤差４２０のシミュレーション値は、シミュレーショングラウンドトルースＴｔｒｕｔｈ及びシミュレーション運動のシミュレーション測定値Ｔｓｉｍに基づいて計算される。速度Ｖを測定することの誤差は、従って、Ｔｅｒｒｏｒ＝Ｔｔｒｕｔｈ−Ｔｓｉｍであってもよい。速度Ｖを測定することの誤差は、従って、Ｖｅｒｒｏｒ＝Ｔｅｒｒｏｒ／（ｔ２−ｔ１）であってもよい。

【0197】

従って、各（ｎ，ｄ）対に対して、速度Ｖを測定することの分散が計算できる。分散は誤差４２０のシミュレーション値として用いられてもよい。

【0198】

１２０４において、仮定されたシミュレーション相関関係は、誤差４２０のシミュレーション値及び誤差寄与値４１０のシミュレーション値に適合させることができる。相関関係が誤差４２０のシミュレーション値及び誤差寄与値４１０のシミュレーション値に適合する程度は、仮定された相関関係の正当性を示すことができる。

【0199】

幾つかの実施形態において、１２０４が、相関関係に関する仮定されたシミュレーションの予備的知識を持たずに、誤差４２０のシミュレーション値及び誤差寄与値４１０のシミュレーション値に適合させることによってシミュレーション相関関係を特定できるため、１２０１は任意であってもよい。

【0200】

図１３〜１５は、図１２の方法を用いることによってシミュレーション相関関係が取得される一組のデータ点を示す例示的な散布図である。データ点は、１２０１〜１２０３において説明したような例示的なシミュレーション測定から取得される。分散は１／（ｎｄ２）の関数としてプロットされる。何れかの従来の回帰法は、仮定された相関関係を適合させて分散と１／（ｎｄ２）との間の関数関係を特定するために用いられてもよい。各図１３〜１５のそれぞれにおいて、線１２１、１２２、及び１２３は、データ点を良好に適合して、それぞれ、適合された数式１２１０、１２２０、１２３０に対応できる。従って、式（２７）〜（２９）の仮定された相関関係は有効であってもよい。

【0201】

従って、方法１２００は、仮定された相関関係の正当性を確認するよう実行されてもよい。加えて、及び／又は、代替として、実験的な方法８０００が、相関関係を決定するよう用いられてもよい。図８及び１２の方法は、それぞれ、コンピュータシステム上で実施されてもよい。コンピュータシステムは、メモリ及びプロセッサを含むことができる。メモリは、それにコード化された命令を有することができる。コード化された命令は、プロセッサによって実行された場合、コンピュータシステムに図８及び１２に示すようなプロセスを実施させることができる。

【0202】

図１３〜１５における適合は、様々な理由で、図９〜１１における適合よりも大きくてもよい。例えば、図９〜１１における分散は、（８００３において示すような）近似値であってもよく、各（ｎ，ｄ）対に対して統計的に計算されない。更に、図９〜１１における分散は、図８の例示的な例における仮定された相関関係に必ずしも含まれない内部参照行列Ｋ及び回転行列Ｒの誤差を受けてもよい。内部参照行列Ｋの誤差は、視覚センサの校正精度によって影響を受けてもよい。回転行列Ｒの誤差は、ＩＭＵの測定精度によって影響を受けてもよい。

【0203】

更に、図１３〜１５における分散は、図１３〜１５が丸めプロセス等のピクセル抽出における限られた誤差源を有するため、図９〜１１における適合よりも小さくてもよい。対照的に、図９〜１１は、ピクセル抽出におけるランダムな実験ノイズを受ける可能性がある。

【0204】

図１３〜１５及び図９〜１１において、Ｖａｒ（Ｖｘ）はＶａｒ（Ｖｙ）と類似している。Ｖａｒ（Ｖｚ）は、Ｖａｒ（Ｖｘ）及び／又はＶａｒ（Ｖｙ）よりも著しく大きい。かかる観察は、測定誤差が視覚センサの光軸（即ち、ｚ軸）の方向においてより大きくてもよいという理論的基礎と一致している。

【0205】

様々な実施形態は、更に、モバイルプラットフォーム２００の運動３００を決定するための装置を開示する。装置は、図１〜２に示すようなプロセッサ４００を含むことができる。

【0206】

様々な実施形態は、更に、モバイルプラットフォーム２００の運動３００を決定するための装置アセンブリを開示する。装置アセンブリは、モバイルプラットフォーム２００の運動３００の第１の測定を行うための視覚センサと、モバイルプラットフォーム２００の運動３００を決定するための装置とを含むことができる。装置は、第１の測定の誤差４２０を推定するよう構成されてもよい。

【0207】

様々な実施形態は、更に、モバイルプラットフォーム２００の運動３００を決定するための装置アセンブリを開示する。装置アセンブリは、モバイルプラットフォーム２００の運動３００の第１の測定を行うための視覚センサと、モバイルプラットフォーム２００の運動３００を決定するための装置とを含むことができる。装置は、第１の測定の誤差４２０を推定するよう構成されてもよい。装置アセンブリは、更に、モバイルプラットフォームの運動の第２の測定を収集し、及び／又は、生成するためのＩＭＵを含むことができる。装置アセンブリは、第１の測定の誤差４２０に基づいて第２の測定と第１の測定とを組み合わせて、モバイルプラットフォーム２００の運動３００を決定するよう構成されてもよい。

【0208】

様々な実施形態は、更に、図１〜２に示すようなモバイルプラットフォーム２００を開示する。モバイルプラットフォーム２００は、モバイルプラットフォーム２００の運動３００を決定するための装置を含むことができる。モバイルプラットフォーム２００は、ＵＡＶであってもよい。

【0209】

様々な実施形態は、更に、図１〜２に示すようなモバイルプラットフォーム２００を開示する。モバイルプラットフォーム２００は、モバイルプラットフォーム２００の運動３００を決定するための装置アセンブリを含むことができる。モバイルプラットフォーム２００は、ＵＡＶであってもよい。

【0210】

様々な実施形態は、更に、図１〜２に示すようなモバイルプラットフォーム２００を組み立てるためのキットを開示する。キットは、モバイルプラットフォーム２００の運動３００を決定するための装置を含むことができる。特定の実施形態において、取扱説明書がキットに含まれてもよい。取扱説明書は、それに指示を有してもよい。指示が従われた場合、モバイルプラットフォーム２００の運動３００を決定するための装置は、本開示において示すようなモバイルプラットフォーム２００に組み立てられてもよい。

【0211】

様々な実施形態は、更に、図１〜２に示すようなモバイルプラットフォーム２００を組み立てるためのキットを開示する。キットは、モバイルプラットフォーム２００の運動３００を決定するための装置アセンブリを含むことができる。特定の実施形態において、取扱説明書がキットに含まれてもよい。取扱説明書は、それに指示を有してもよい。指示が従われた場合、モバイルプラットフォーム２００の運動３００を決定するための装置は、本開示において示すようなモバイルプラットフォーム２００に組み立てられてもよい。

【0212】

特定の実施形態において、装置アセンブリ及び／又はＵＡＶ等のモバイルプラットフォーム２００は、第１のセンサ５００及び／又は第２のセンサ６００を含むことができるが、第１のセンサ５００及び／又は第２のセンサ６００は、必ずしも装置アセンブリ及び／又はモバイルプラットフォーム２００と一体化されない。例えば、図１６は、図２のシステム１００の代替の実施形態を示す例示的な図であり、ここにおいて、第１のセンサ５００及びモバイルプラットフォーム２００は遠隔で通信している。図１６に示すように、第１のセンサ５００は、視覚センサを含むことができる。第１のセンサ５００は、ステーショナリーであり、モバイルプラットフォーム２００から遠隔に位置してもよい。第１のセンサ５００は、対象の物体１５０としてモバイルプラットフォーム２００の画像を取得することによって第１の測定を行うことができる。図３〜６、８、及び１２の例示的な方法は、モバイルプラットフォーム２００の運動３００を計算するために用いられてもよい。モバイルプラットフォーム２００は、通信モジュール７００を含むことができる。第１のセンサ５００は、通信モジュール８００と結合することができる。通信モジュール７００及び／又は８００は、トランシーバ及び／又は受信機を含むことができる。通信モジュール７００は、通信モジュール８００を介して第１のセンサ５００から第１の測定データ４３０を受信するよう構成されてもよい。

【0213】

様々な実施形態において、開示したような方法は、ユニバーサルハードウェアプラットフォーム等の選択されたハードウェアプラットフォームを介して実行可能なソフトウェアによって実施することができる。代替として、及び／又は、加えて、開示の方法は、ハードウェアによって実施することができる。様々な実施形態による方法におけるステップの一部又は全ては、関連するハードウェアに命令するプログラム（又はソフトウェア）を用いて達成することができる。

【0214】

従って、様々な実施形態は、更に、本明細書中に開示した、例えば、図３〜６、８、及び１２に示すような方法によって、モバイルプラットフォームの運動３００を決定するための命令を備えるコンピュータプログラム製品を開示する。プログラム／ソフトウェアは、例えば、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、内部メモリ、レジスタ、コンピュータハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、光学ディスク、フロッピーディスク、磁気ディスク等を含む（非一時的な）コンピュータ読み取り可能記憶媒体に格納することができる。プログラム／ソフトウェアは、様々な実施形態による方法を実行するようコンピュータデバイス上の１つ又は複数のプロセッサに命令するためのコード化された命令を含むことができる。

【0215】

開示した実施形態は様々な改良及び代替形態の余地があり、それらの特定例を、図面において例として示し、本明細書中で詳細に説明した。しかし、開示した実施形態は、開示した特定の形態又は方法に限定されることなく、それとは反対に、開示した実施形態は、全ての改良、均等物、及び代替を含むものであることは、言うまでもない。

【0216】

本発明の好ましい実施形態を本明細書中で示し、説明してきたが、かかる実施形態が例としてのみ提供されることは、当業者にとっては明らかである。多数の変形、変更、及び代用は、ここで、発明から逸脱することなく当業者に対して見出されるであろう。本明細書中で説明した発明の実施形態に対する様々な代替例が、発明を実施することにおいて採用されてもよいことは、言うまでもない。以下の特許請求の範囲が発明の適用範囲を画成し、これら特許請求の範囲及びそれらの均等物の適用範囲内の方法及び構造がそれによって含まれることを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】