知財求人 - 知財ポータルサイト「IP Force」
特表2023-539471モーション及び角シフトを用いるセンサの姿勢推定のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-14
(54)【発明の名称】モーション及び角シフトを用いるセンサの姿勢推定のためのシステム及び方法
(51)【国際特許分類】
G01C 3/00 20060101AFI20230907BHJP
G01B 11/26 20060101ALI20230907BHJP
【ＦＩ】
G01C3/00 120
G01B11/26 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023512297
(86)(22)【出願日】2021-08-18
(85)【翻訳文提出日】2023-04-11
(86)【国際出願番号】 IL2021051011
(87)【国際公開番号】W WO2022038609
(87)【国際公開日】2022-02-24
(31)【優先権主張番号】63/066,840
(32)【優先日】2020-08-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523057611
【氏名又は名称】フォーサイト オートモーティヴ リミテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ダンジガー，オムリ
(72)【発明者】
【氏名】コピレビッチ，イブゲニー
【テーマコード（参考）】
2F065
2F112
【Ｆターム（参考）】
2F065AA37
2F112BA20
2F112CA05
2F112FA03
2F112FA21
2F112FA35
2F112FA45
(57)【要約】
２つ以上のセンサ間の相対姿勢を推定するための方法及びシステムが開示される。このシステム及び方法は、タイムフレームを受信することと、前記タイムフレーム内でのセンサのうちの少なくとも２つの相対姿勢の予想される変化、及びセンサのうちの少なくとも２つの角度方向間の予想される関係性を決定することと、プロセッサによって各センサの姿勢シフトを計算することと、各センサについて前記タイムフレーム内でのセンサの角度方向を計算することと、２つ以上のセンサの共通の方向を決定するべく、角度方向間の予想される関係性に基づいて、各タイムポイントでの異なるセンサの角度方向間の関係性を比較することと、相対姿勢の予想される変化に基づいて、異なるタイムポイント間での２つ以上のセンサの共通の方向を比較することと、比較に基づいて２つ以上のセンサ間の相対姿勢を推定することを含み得る。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
２つ以上のセンサ間の相対姿勢を推定する方法であって、開始時間ｔ１及び終了時間ｔ２によって定義されるタイムフレームを受信することと、
前記タイムフレーム内での２つ以上のセンサのうちの少なくとも２つのセンサの相対姿勢の予想される変化、及び前記タイムフレーム内での２つ以上のセンサのうちの少なくとも２つのセンサの角度方向間の予想される関係性を決定することであって、前記角度方向は、並進方向とあるタイムポイントで各センサが向いている方向との間のピッチ角及びヨー角であることと、
プロセッサによって、各センサについて、２つ以上のセンサから、姿勢シフトを計算することであって、前記各センサの姿勢シフトは、開始時間ｔ１と終了時間ｔ２との間のピッチ角、ヨー角、及びロール角の差であることと、
各センサについて、各センサの軸に従って前記タイムフレーム内でのセンサの角度方向を計算することと、
２つ以上のセンサの共通の方向を決定するべく、角度方向間の予想される関係性に基づいて、各タイムポイントでの異なるセンサの角度方向間の関係性を比較することと、
相対姿勢の予想される変化に基づいて、異なるタイムポイント間での２つ以上のセンサの共通の方向を比較することと、
比較に基づいて２つ以上のセンサ間の相対姿勢を推定することと、
を備える、方法。
【請求項2】
２つ以上のセンサ間の推定された相対姿勢に基づいて、２つ以上のセンサからの感知データを共有軸表現で表すことをさらに備える、請求項１に記載の方法。
【請求項3】
前記相対姿勢は、異なるタイムフレームでの推定結果の重み付き融合によって推定される、請求項１～２のいずれか一項に記載の方法。
【請求項4】
前記２つ以上のセンサ間の相対姿勢の推定は、異なるセンサ間の直接の特徴照合なしに行われる、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記センサ間の相対姿勢及び相対並進は、２つ以上のセンサのうちの少なくとも１つのセンサからのデータに基づいてプロセッサによって作成された深度マップに基づいてさらに決定される、先行する請求項のいずれか一項に記載の方法。
【請求項6】
前記姿勢推定は、センサのシフト機構によって、２つ以上のセンサのうちの少なくとも１つのセンサのための制御された角シフトを生成することをさらに備える、先行する請求項のいずれか一項に記載の方法。
【請求項7】
前記姿勢推定は、２つ以上のセンサの角シフト間の以前の既知の関係性にさらに基づいている、請求項６に記載の方法。
【請求項8】
前記センサのシフト機構は、２つ以上のセンサのすべてのための実質的に同一のシフトを生成するように構成される、請求項６に記載の方法。
【請求項9】
前記２つ以上のセンサのそれぞれの角シフトは別々に制御される、請求項６に記載の方法。
【請求項10】
前記生成されたシフトと２つ以上のセンサの移動との間の関係性は既知である、請求項６～９のいずれか一項に記載の方法。
【請求項11】
前記機構は、推定の信頼レベルに基づいて、２つ以上のセンサのうちの少なくとも１つのセンサのシフトを制御するように構成される、請求項６～１０のいずれか一項に記載の方法。
【請求項12】
前記信頼レベルは、前記タイムフレームの開始時間ｔ１と終了時間ｔ２との間の、２つ以上のセンサのうちの少なくとも１つのセンサの角シフトサイズに基づいて決定されるロール推定の信頼レベルである、請求項１１に記載の方法。
【請求項13】
前記少なくとも２つのセンサは、可動ベースにしっかりと取り付けられる、請求項６に記載の方法。
【請求項14】
前記少なくとも２つのセンサは、自己誘発移動を可能にするように構成される、請求項６に記載の方法。
【請求項15】
前記自己誘発移動及び角シフトは機械的なものである、請求項１４に記載の方法。
【請求項16】
前記自己誘発移動及び角シフトは光学的なものである、請求項１４に記載の方法。
【請求項17】
前記２つ以上のセンサのうちの少なくとも１つのセンサは、少なくとも１つのセンサの姿勢シフトを監視するように構成された１つ以上の支援センサを備える、請求項６に記載の方法。
【請求項18】
前記１つ以上の支援センサは、ジャイロスコープ、ホイール方向センサ、速度計、及び少なくとも２つのセンサのうちの１つ以上を撮像するように構成された撮像器からなるリストから選択される、請求項１７に記載の方法。
【請求項19】
２つ以上のセンサ間の相対姿勢を推定するためのシステムであって、可動ベースに取り付けられた少なくとも２つのセンサと、
プロセッサであって、
開始時間ｔ１及び終了時間ｔ２によって定義されるタイムフレームを受信し、
前記タイムフレーム内でのセンサのうちの少なくとも２つのセンサの相対姿勢の予想される変化、及びセンサのうちの少なくとも２つのセンサの角度方向間の予想される関係性を受信し、前記角度方向は、並進方向とあるタイムポイントで各センサが向いている方向との間のピッチ角及びヨー角であり、
各センサについて、少なくとも２つのセンサから、姿勢シフトを計算し、前記各センサの姿勢シフトは、開始時間ｔ１と終了時間ｔ２との間のピッチ角、ヨー角、及びロール角の差であり、
各センサについて、各センサの軸に従って前記タイムフレーム内でのセンサの角度方向を計算し、
２つ以上のセンサの共通の方向を決定するべく、角度方向間の予想される関係性に基づいて、各タイムポイントでの異なるセンサの角度方向間の関係性を比較し、
相対姿勢の予想される変化に基づいて、異なるタイムポイント間での２つ以上のセンサの共通の方向を比較し、
比較に基づいて２つ以上のセンサ間の相対姿勢を推定する、
ように構成される、プロセッサと、
を備える、システム。
【請求項20】
前記プロセッサは、少なくとも２つのセンサ間の推定された相対姿勢に基づいて、少なくとも２つのセンサからの感知データを共有軸表現で表すようにさらに構成される、請求項１９に記載のシステム。
【請求項21】
前記相対姿勢は、異なるタイムフレームでの推定結果の重み付き融合によって推定される、請求項１９～２０のいずれか一項に記載のシステム。
【請求項22】
前記２つ以上のセンサ間の相対姿勢の推定は、異なるセンサ間の直接の特徴照合なしに行われる、請求項１９～２１のいずれか一項に記載のシステム。
【請求項23】
前記センサ間の相対姿勢及び相対並進は、少なくとも２つのセンサのうちの少なくとも１つからのデータに基づいてプロセッサによって作成された深度マップに基づいてさらに決定される、請求項１９～２２のいずれか一項に記載のシステム。
【請求項24】
２つ以上のセンサのうちの少なくとも１つのセンサのための制御された角シフトを生成するように構成されたセンサのシフト機構をさらに備える、請求項１９～２３のいずれか一項に記載のシステム。
【請求項25】
前記センサのシフト機構は、少なくとも２つのセンサのすべてのための実質的に同一のシフトを生成するように構成される、請求項２４に記載のシステム。
【請求項26】
前記２つ以上のセンサのそれぞれの角シフトは別々に制御される、請求項２４に記載のシステム。
【請求項27】
前記生成されたシフトと２つ以上のセンサの移動との間の関係性は既知である、請求項２４～２６のいずれか一項に記載のシステム。
【請求項28】
前記機構は、推定結果の信頼レベルに基づいて、２つ以上のセンサのうちの少なくとも１つのセンサのシフトを制御するように構成される、請求項２６～２７のいずれか一項に記載のシステム。
【請求項29】
前記信頼レベルは、前記タイムフレームの開始時間ｔ１と終了時間ｔ２との間の、２つ以上のセンサのうちの少なくとも１つのセンサの並進方向とセンサが向いている方向との間の関係性の差に基づいて決定される、請求項２８に記載のシステム。
【請求項30】
前記少なくとも２つのセンサは、可動ベースにしっかりと取り付けられる、請求項２４に記載のシステム。
【請求項31】
前記少なくとも２つのセンサは、自己誘発移動を可能にするように構成される、請求項２４に記載のシステム。
【請求項32】
前記自己誘発移動及び角シフトは機械的なものである、請求項３１に記載のシステム。
【請求項33】
前記自己誘発移動及び角シフトは光学的なものである、請求項３１に記載のシステム。
【請求項34】
前記２つ以上のセンサのうちの少なくとも１つのセンサは、少なくとも１つのセンサの姿勢シフトを監視するように構成された１つ以上の支援センサを備える、請求項２４に記載のシステム。
【請求項35】
前記１つ以上の支援センサは、ジャイロスコープ、ホイール方向センサ、速度計、及び少なくとも２つのセンサのうちの１つ以上を撮像するように構成された撮像器からなるリストから選択される、請求項３４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本出願は、２０２０年８月１８日に出願された「ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＳＥＮＳＯＲＳ ＵＳＩＮＧ ＭＯＴＩＯＮ ＡＮＤ ＡＮＧＵＬＡＲ ＳＨＩＦＴ」という名称の米国特許仮出願第６３／０６６，８４０号の優先権を主張するものであり、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２０年８月１８日に出願された「ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＳＥＮＳＯＲＳ ＵＳＩＮＧ ＭＯＴＩＯＮ ＡＮＤ ＡＮＧＵＬＡＲ ＳＨＩＦＴ」という名称の米国特許仮出願第６３／０６６，８４０号の優先権を主張するものであり、参照によりその全体が本明細書に組み込まれる。
【0002】
本発明は、一般に、センサの姿勢推定に関する。より詳細には、本発明は、センサの相対姿勢の推定のためにセンサのモーション及び角シフトを使用することに関する。
【背景技術】
【0003】
正確な世界表現のために、システムは複数のセンサ（異なるスペクトルの画像、ＬＩＤＡＲ、ＲＡＤＡＲなど）からのデータフュージョンを使用する。共有軸表現のためにセンサの姿勢を推定する必要がある。
【0004】
いくつかの既存のソリューションは、様々なセンサで見た物体を照合又は比較するが、そのような比較は、特に、センサのタイプが異なる場合又は十分な共通の視野がない場合は信頼できない。さらに、既存のソリューションは、モーションの制御された角シフトを十分に活用していない。
【0005】
本発明の目的は、センサの相対姿勢推定を実行し、必要に応じてセンサの角シフトを維持するためのシステム及び方法を提供することである。本発明の他の目的及び利点は、説明を読み進めると明らかになるであろう。
【発明の概要】
【0006】
本発明の態様は、２つ以上のセンサ間の相対姿勢を推定するための、複数のセンサからの感知データを共有軸表現で表すための、例えば、３Ｄ再構成のための方法及びシステムを提供する。いくつかの実施形態に係るシステム及び方法は、プロセッサによって、開始時間ｔ１及び終了時間ｔ２によって定義されるタイムフレームを受信することと；前記タイムフレーム内での少なくとも２つのセンサの相対姿勢の予想される変化、及び２つ以上のセンサのうちの少なくとも２つのセンサの角度方向間の予想される関係性を受信することと、この場合、角度方向は、並進方向とあるタイムポイントで各センサが向いている方向との間のピッチ角及びヨー角である；プロセッサによって、各センサについて、２つ以上のセンサから、姿勢シフトを計算することと、この場合、各センサの姿勢シフトは、開始時間ｔ１と終了時間ｔ２との間のピッチ角、ヨー角、及びロール角の差である；各センサについて、各センサの軸に従って前記タイムフレーム内でのセンサの角度方向を計算することと、この場合、センサの角シフトは、前記タイムフレーム内でのセンサの角度方向の変化であり、角度方向は、並進方向に対するセンサが向いている方向と各センサの並進方向との間のピッチ角及びヨー角である；２つ以上のセンサの共通の方向を決定するべく、角度方向間の予想される関係性に基づいて、各タイムポイントでの異なるセンサの角度方向間の関係性を比較することと；相対姿勢の予想される変化に基づいて、異なるタイムポイント間での２つ以上のセンサの共通の方向を比較することと；比較に基づいて２つ以上のセンサ間の相対姿勢を推定することを含み得る。
【0007】
いくつかの実施形態によれば、このシステム及び方法は、２つ以上のセンサ間の推定された相対姿勢に基づいて、２つ以上のセンサからの感知データを共有軸表現で表すことをさらに含み得る。相対姿勢は、異なるタイムフレームでの推定結果の重み付き融合によって推定することができる。例えば、前の推定は後の推定よりも低い重みを有するように、前のタイムフレームで行われた推定に（例えば、推定結果の信頼レベルに基づいて）重みを割り当てることができ、重み付き推定の融合、例えば、加重平均によって現在のタイムフレームの終了時の相対姿勢を推定することができる）。
【0008】
いくつかの実施形態によれば、２つ以上のセンサ間の相対姿勢の推定は、異なるセンサ間の直接の特徴照合なしに行うことができ、したがって、センサが共通の視野をほとんど又はまったくもたないときでも行うことができる。
【0009】
いくつかの実施形態によれば、センサ間の相対姿勢及び相対並進は、２つ以上のセンサのうちの少なくとも１つのセンサからのデータに基づいてプロセッサによって作成された深度マップ及び／又は点群に基づいてさらに決定される。相対並進は、相対姿勢の推定に続いて、例えば、異なるセンサ間の直接の照合によって、又はセンサのうちの２つ以上の間の既知の物理的関係性によって、又はセンサのうちのいくつかと車両の一部との間の相対姿勢又は相対並進を検出することによって推定することができる。例えば、車両の一部に対するセンサＡ及びＢの相対姿勢を推定するために、車両へのセンサの物理的接続に関する仮定に基づいて（例えば、センサＡは車両の右ミラーに取り付けられ、センサＢは左ミラーに取り付けられる）、車両の一部（例えば、車両の前面にあるシンボル又は別の別個の物体）の軸系でのセンサＡ及びＢの位置を決定することができる。しかしながら、同じ軸系でのセンサＡ及びＢの姿勢（例えば、ヨー角、ピッチ角、及びロール角）は不明である。
【0010】
いくつかの実施形態によれば、例えば、車両の一部に対するセンサＡの相対姿勢を推定するには、（１）センサＡのデータフレームで車両の一部（例えば、車の前面にあるシンボル）を検出することと、（２）Ａの並進方向と車両の一部の並進方向との間の既知の関係性（例えば、それらは同一である）を仮定し、支援センサ（例えば、ホイール方向、ジャイロ、車両コンピュータなど）に従って車両の一部の姿勢シフトを知ることとの２つの方法が存在し得る。同様に、車両の一部に対するセンサＢの相対姿勢を決定することができ、したがって、センサＡ及びＢの相対姿勢を決定することができる。
【0011】
いくつかの実施形態によれば、姿勢推定は、角シフトを生成し、センサのうちの１つ以上を制御された様態で移動させるように構成された、センサのシフト機構によって、２つ以上のセンサのうちの少なくとも１つのセンサのための制御された角シフトを生成することをさらに含み得る。いくつかの実施形態によれば、センサのシフト機構は、２つ以上のセンサのすべてのための実質的に同一のシフトを生成するように構成することができる。いくつかの実施形態によれば、２つ以上のセンサのそれぞれの角シフトは別々に制御される。
【0012】
姿勢推定は、いくつかの実施形態によれば、２つ以上のセンサの角シフト間の以前の既知の関係性にさらに基づくことができる。
【0013】
いくつかの実施形態によれば、生成されたシフトと２つ以上のセンサの移動との間の関係性は既知である。センサのシフト機構は、推定結果の信頼レベルに基づいて、２つ以上のセンサのうちの少なくとも１つのセンサのシフトを制御するように構成することができる。ロール角に関する信頼レベルは、開始時間と終了時間との間の角シフトのサイズの影響を受けることを理解されたい。「角シフト」という用語は、あるタイムフレーム内でのセンサの並進方向とセンサが向いている方向との間のヨー角及び／又はピッチ角の変化を指す。角シフトが最小値を下回るとき、ロール角推定の信頼レベルが低くなる可能性があり、したがって、センサのシフト機構を、信頼レベルを向上させるべく角シフトを増加させるように制御することができる。信頼レベルはまた、個々のセンサの姿勢シフトの信頼度、ロール推定の信頼度、個々のセンサの角度方向間の想定される関係性の信頼度による影響を受ける又はその関数であり得る。
【0014】
推定結果の信頼度が高いほど推定誤差が低くなり、逆もまた同様であることが当業者にはわかるであろう。
【0015】
少なくとも２つのセンサは、可動ベースにしっかりと取り付けることができ、いくつかの実施形態によれば、機械的に及び／又は光学的に自己誘発移動を可能にするように構成することができる。
【0016】
本発明とみなされる主題は、本明細書の結びの部分で特に指摘され、明確に主張される。しかしながら、本発明は、その目的、特徴、及び利点とともに、構成と動作方法の両方に関して、添付の図面と共に読まれるときに以下の詳細な説明を参照することで最もよく理解されるであろう。本発明の実施形態は、限定ではなく例として添付図に示され、同様の参照番号は、対応する、類似の、又は同様の要素を示す。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る、例示的なコンピューティングデバイスの高レベルブロック図表を示す。
【図2】本発明の実施形態に係る、２つ以上のセンサ間の姿勢を推定するための方法の例示的な実装を示す。
【図3】本発明の実施形態に係る、複数の重み付けされた計算による提案される姿勢推定の例示的な実装を示す。
【図4】いくつかの実施形態に係る、特徴を経時的に追跡する提案される方法の例示的な実装を示す。
【図5】いくつかの実施形態に係る、ステレオ深度推定を別のセンサに位置合わせするための提案される方法の例示的な実装を示す。
【図6A】本発明の実施形態に係るセンサのシフト機構の例を示す図である。
【図6B】本発明の実施形態に係るセンサのシフト機構の例を示す図である。
【図7A】本発明の実施形態に係る方法を使用する姿勢シフト推定のグラフィカルな一例を示す。
【図7B】本発明の実施形態に係る方法を使用する姿勢シフト推定のグラフィカルな一例を示す。
【図7C】本発明の実施形態に係る方法を使用する姿勢シフト推定のグラフィカルな一例を示す。
【発明を実施するための形態】
【0018】
説明を簡単且つ明瞭にするために、図面に示された要素は、必ずしも正確に又は縮尺通りに描かれていないことが理解されるであろう。例えば、要素のうちのいくつかの寸法は、明瞭にするために他の要素に対して誇張されている場合があり、又は１つの機能ブロック又は要素にいくつかの物理コンポーネントが含まれている場合がある。さらに、適切であると考えられる場合、対応する又は類似する要素を示すために図面間で参照番号が繰返し用いられる場合がある。
【0019】
以下の詳細な説明では、本発明の十分な理解をもたらすために多くの具体的な詳細が述べられる。しかしながら、本発明がこれらの具体的な詳細なしに実施され得ることを当業者は理解するであろう。他の場合には、周知の方法、手順、及びコンポーネント、モジュール、ユニット、及び／又は回路は、本発明を不明瞭にしないように詳細には説明されていない。一実施形態に関して説明されたいくつかの特徴又は要素を、他の実施形態に関して説明された特徴又は要素と組み合わせることができる。明瞭にするために、同じ又は類似の特徴又は要素の説明は繰り返さない場合がある。
【0020】
本発明の実施形態はこれに関して限定されないが、例えば、「処理する」、「コンピューティング」、「計算する」、「決定する」、「確立する」、「分析する」、「チェックする」などの用語を使用する説明は、コンピュータのレジスタ及び／又はメモリ内の物理（例えば電子）量として表されるデータを、コンピュータのレジスタ及び／又はメモリ又は動作及び／又はプロセスを実行するための命令を格納できる他の一時的でない情報記憶媒体内の物理量として同様に表される他のデータに操作及び／又は変換する、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、又は他の電子コンピューティングデバイスの動作及び／又はプロセスを指す場合がある。本発明の実施形態はこれに関して限定されないが、本明細書で用いられる場合の「複数」及び「複数の」という用語は、例えば、「多数」又は「２つ以上」を含み得る。「複数」又は「複数の」という用語は、本明細書の全体を通して、２つ以上のコンポーネント、デバイス、要素、ユニット、パラメータなどを説明するために用いられる場合がある。本明細書で用いられるときのセットという用語は、１つ以上のアイテムを含み得る。明示的に述べられていない限り、本明細書で説明される方法の実施形態は、特定の順序又は順番に制約されない。さらに、説明される方法の実施形態又はその要素のいくつかは、同時に、同じタイムポイントで、又は並行して発生又は実行することができる。
【0021】
本発明の実施形態に係るシステム及び方法は、異なるセンサ間で直接の特徴照合を使用することを回避しながら、角シフトを伴うモーションを使用して、そのセンサ（その経時的な姿勢方向シフトを推定することができる２Ｄ及び３Ｄ撮像又は任意の他のセンサ）間の相対姿勢を推定するセンサシステムを提供することができる。さらに、本発明の実施形態は、共通の視野がほとんど又はまったくないときであっても、センサ間の相対姿勢を推定するシステム及び方法を提供する。いくつかの実施形態によれば、相対並進の推定も本発明の実施形態によって提供される。
【0022】
いくつかの実施形態によれば、機械的又は光学的機構は、提案される方法を使用する姿勢推定を支援し得る、１つ以上のセンサのための制御された角シフトを生成することができる。システムは、可動ベースに取り付ける及び／又は自己誘発移動を用いることができる。自己誘発移動は機械的又は光学的であり得る。
【0023】
本発明の実施形態によれば、推定は、最初にタイムフレームを選択し、例えば、各タイムフレームの開始時間（ｔ１）及び終了時間（ｔ２）を選択し、各センサについて、前記タイムフレーム内での姿勢シフト、及びモーション並進ベクトルに対するその角度方向を計算することによって行われる。姿勢シフトは、タイムフレームの開始時の姿勢（例えば、ｔ１でのピッチ角、ｔ１でのヨー角、及びｔ１でのロール角）とタイムフレームの終了時の姿勢（例えば、ｔ２でのピッチ角、ｔ２でのヨー角、及びｔ２でのロール角）との間のピッチ角、ヨー角、及びロール角の変化として定義することができる。このステップは、可視光カメラ、ＩＲカメラ、ＬＩＤＡＲ、ＲＡＤＡＲなどの任意のタイプの撮像センサで行うことができる。角度方向は、センサが対面している方向（センサが向いている方向としても定義される）と、センサ軸でのそのタイムフレームのセンサの開始位置と終了位置を結ぶベクトル（並進方向とも呼ばれる）との間のピッチ角及びヨー角として定義される。
【0024】
センサ間の相対姿勢の変化が、いくつかの予想される相対値と比較され、角度方向も同様に予想される値と比較される。例えば、センサの角度方向が、いくつかの予想される関係性に従って比較されて、様々なタイムポイントでの共通の方向が生成され、様々な共通の方向は、これらのタイムポイントの間の相対姿勢の予想される変化を使用して比較される。これらの比較により、センサ間の相対姿勢を推定することができる。
【0025】
例えば、ＱｕａｄＳｉｇｈｔセンサセットを有する車両ナビゲーションシステムは、２つの可視光感知イメージセンサと、２つの赤外線感知イメージセンサを含む。センサは、車両が湾曲した経路に沿って移動している間、あるタイムフレームにわたって姿勢及びセンサ間の並進が実質的に同一のままであると予想されるように接続される。このタイムフレーム内で、各センサの姿勢シフトが推定される。さらに、タイムフレームの開始から終了までの各センサの角度方向が推定される。センサの角度方向は、そのタイムフレーム内で同じ方向を指すと予想される。したがって、（２つのタイムポイントからの）各センサの２つの軸の角度方向、各センサの姿勢シフト、及びセンサ間の相対並進（センサ間の相対並進は、あるセンサの位置と別のセンサの位置を結ぶベクトルを指す場合がある）を計算することによって、センサの相対姿勢を導出することができる。モーションの角シフトに起因する（例えば、低い推定又は測定角シフトに起因する）誤差推定が、角運動機構の入力として用いられ得る。例えば、経時的に角シフトなしに移動する車両ナビゲーションシステムは、姿勢推定において高い誤差推定を生成し得る。次いで、センサを制御された様態でシフトさせるべく、機械的機構を操作する。この方法での姿勢推定は、機構が角シフトを発生させたことがわかっているタイムポイントを選択することができ、タイムポイントの複数のペアを使用してプロセスを繰り返すことができる。
【0026】
本発明の実施形態に係る例示的なコンピューティングデバイスの高レベルブロック図表を示す図１に対して参照が行われる。コンピューティングデバイス１００は、例えば、中央処理装置プロセッサ（ＣＰＵ）、チップ、又は任意の適切なコンピューティング又は計算デバイスであり得るコントローラ１０５、オペレーティングシステム１１５、メモリ１２０、実行可能コード１２５、ストレージ１３０、入力デバイス１３５、及び出力デバイス１４０を含み得る。コントローラ１０５は、本明細書で説明される方法を実行する、及び／又は様々なモジュール、ユニットなどとして実行又は機能するように構成することができる。様々なコンポーネントに、１つよりも多いコンピューティングデバイス１００が含まれる場合があり、１つ以上のコンピューティングデバイス１００は、様々なコンポーネントとして機能し得る。例えば、本明細書で説明されるセンサシステムは、コンピューティングデバイス１００のコンポーネントであり得る又は含み得る。例えば、メモリ１２０に格納された実行可能コード１２５を実行することによって、コントローラ１０５は、本明細書で説明される図２～図５の方法を実行するように構成することができる。例えば、コントローラ１０５は、本明細書で説明するように、タイムフレームの開始時間及び終了時間を受信し、少なくとも２つのセンサから開始時間から終了時間までのセンサデータを受信し、姿勢シフトを計算し、角度方向を計算し、これらの計算された値を使用して、少なくとも２つのセンサの相対姿勢を推定するように構成することができる。
【0027】
オペレーティングシステム１１５は、コンピューティングデバイス１００の動作のコーディネーション、スケジューリング、アービトレーション、監視、制御、又はその他の管理、例えば、ソフトウェアプログラムの実行のスケジューリング、又はソフトウェアプログラム又は他のモジュール又はユニットの通信を可能にすることを含むタスクを実行するように設計及び／又は構成された、任意のコードセグメント（例えば、本明細書で説明される実行可能コード１２５に類似するもの）であり得る又は含み得る。オペレーティングシステム１１５は、市販のオペレーティングシステムであり得る。
【0028】
メモリ１２０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤ－ＲＡＭ）、ダブルデータレート（ＤＤＲ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリユニット、長期メモリユニット、又は他の適切なメモリユニット又はストレージユニットであり得る又は含み得る。メモリ１２０は、複数の異なる可能性のあるメモリユニットであり得る又は含み得る。メモリ１２０は、コンピュータ又はプロセッサの一時的でない可読媒体、又はコンピュータの一時的でない記憶媒体、例えばＲＡＭであり得る。
【0029】
実行可能コード１２５は、任意の実行可能コード、例えば、アプリケーション、プログラム、プロセス、タスク、又はスクリプトであり得る。実行可能コード１２５は、おそらくオペレーティングシステム１１５の制御下で、コントローラ１０５によって実行され得る。例えば、実行可能コード１２５は、本明細書でさらに説明されるように、２つ以上のセンサの相対姿勢を推定するアプリケーションであり得る。明瞭にするために、実行可能コード１２５の単一のアイテムが図１に示されているが、本発明の実施形態に係るシステムは、メモリ１２０にロードされ、コントローラ１０５に本明細書で説明される方法を実行させる、実行可能コード１２５と同様の複数の実行可能コードセグメントを含み得る。例えば、本明細書に記載のユニット又はモジュール（例えば、センサシステム及びセンサのシフト機構）は、コントローラ１０５及び実行可能コード１２５であり得る又は含み得る。
【0030】
ストレージ１３０は、例えば、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク（ＣＤ）ドライブ、ＣＤ－Ｒｅｃｏｒｄａｂｌｅ（ＣＤ－Ｒ）ドライブ、ブルーレイディスク（ＢＤ）、ユニバーサルシリアルバス（ＵＳＢ）デバイス、又は他の適切なリムーバブル及び／又は固定ストレージユニットであり得る又は含み得る。コンテンツを、ストレージ１３０に格納することができ、ストレージ１３０からメモリ１２０にロードすることができ、そこでコントローラ１０５によって処理することができる。いくつかの実施形態では、図１に示されているコンポーネントのいくつかを省略することができる。例えば、メモリ１２０は、ストレージ１３０の記憶容量を有する不揮発性メモリであり得る。したがって、別個のコンポーネントとして示されているが、ストレージ１３０は、メモリ１２０に組み込まれ又は含まれ得る。ストレージ１３０は、例えば過去の推定（例えば、前のタイムフレームに関連する推定）、計算された誤差値、１つ以上のセンサからの感知データなどの、姿勢推定中に使用されるデータを格納することができる。
【0031】
入力デバイス１３５は、撮像器（例えば、可視光撮像器及び／又は赤外線撮像器）、ＬｉＤＡＲ、ＲＡＤＡＲ、ジャイロスコープ、又は任意の適切な入力デバイスなどの、異なるタイプのセンサであり得る又は含み得る。いくつかの実施形態では、入力デバイス１３５は、図６Ａ及び／又は図６Ｂを参照して説明される機構などの、センサのシフト機構であり得る。ブロック１３５で示されているように、任意の適切な数の入力デバイスをコンピューティングデバイス１００に作動的に接続できることを理解されたい。出力デバイス１４０は、１つ以上のディスプレイ又はモニタ、スピーカ、及び／又は任意の他の適切な出力デバイスを含み得る。ブロック１４０で示されているように、任意の適切な数の出力デバイスをコンピューティングデバイス１００に作動的に接続できることを理解されたい。ブロック１３５及び１４０で示されているように、任意の適用可能な入力／出力（Ｉ／Ｏ）デバイスをコンピューティングデバイス１００に接続することができる。例えば、有線又は無線のネットワークインターフェースカード（ＮＩＣ）、ユニバーサルシリアルバス（ＵＳＢ）デバイス、又は外付けハードドライブが、入力デバイス１３５及び／又は出力デバイス１４０に含まれ得る。
【0032】
本発明の実施形態は、例えば、命令、例えばプロセッサ又はコントローラによって実行されるときに本明細書で開示される方法を実行するコンピュータで実行可能な命令をエンコードする、含む、又は格納する、メモリ、ディスクドライブ、又はＵＳＢフラッシュメモリなどの、コンピュータ又はプロセッサの一時的でない可読媒体、或いは、コンピュータ又はプロセッサの一時的でない記憶媒体などの物品を含み得る。例えば、物品は、メモリ１２０などの記憶媒体、実行可能コード１２５などのコンピュータで実行可能な命令、及びコントローラ１０５などのコントローラを含み得る。
【0033】
いくつかの実施形態は、本明細書で開示される方法を実行するべく、コンピュータ、コントローラ、又は他のプログラム可能なデバイスをプログラムために使用され得る、命令が格納された一時的でない機械可読媒体を含み得る、コンピュータプログラム製品で提供され得る。本発明の実施形態は、例えば、命令、例えばプロセッサ又はコントローラによって実行されるときに本明細書で開示される方法を実行するコンピュータで実行可能な命令をエンコードする、含む、又は格納する、メモリ、ディスクドライブ、又はＵＳＢフラッシュメモリなどの、コンピュータ又はプロセッサの一時的でない可読媒体、或いはコンピュータ又はプロセッサの一時的でない記憶媒体などの物品を含み得る。記憶媒体は、読出し専用メモリ（ＲＯＭ）及び／又はランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、電気的に消去可能でプログラム可能な読出し専用メモリ（ＥＥＰＲＯＭ）、又はプログラム可能な記憶装置を含む電子命令を格納するのに適した任意のタイプのメディアなどの半導体デバイスを含む任意のタイプのディスクを含み得るがこれらに限定されない。例えば、いくつかの実施形態では、メモリ１２０は、一時的でない機械可読媒体である。
【0034】
本発明の実施形態に係るシステムは、限定はされないが、複数の中央処理装置（ＣＰＵ）又は任意の他の適切な多目的又は特定のプロセッサ又はコントローラ（例えば、コントローラ１０５と同様のコントローラ）、複数の入力ユニット、複数の出力ユニット、複数のメモリユニット、及び複数のストレージユニットなどのコンポーネントを含み得る。システムはさらに、他の適切なハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含み得る。いくつかの実施形態では、システムは、例えば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、サーバコンピュータ、ネットワークデバイス、又は任意の他の適切なコンピューティングデバイスを含み得る又はであり得る。例えば、本明細書で説明されるシステムは、コンピューティングデバイス１００などの１つ以上のデバイスを含み得る。
【0035】
本発明の実施形態に係る、２つ以上のセンサ間の相対姿勢を推定するための方法を示す図２に対して参照がここで行われる。ステップ２００において、２つ以上のタイムポイントｔ１、ｔ２、…ｔｎを選択することができ、タイムフレームの開始点（例えば、ｔｓ）及びタイムフレームの終了点（例えば、ｔｅ）を選択することによって、１つ以上のタイムフレームを設定することができる。タイムフレームは、２つの連続するタイムポイントによって、又はタイムポイントの任意の他の選択によって定義され得ることを理解されたい。例えば、第１のタイムフレームｆ１は、開始時間ｔ１及び終了時間ｔ２によって定義され、第２のタイムフレームｆ２は、例えば、開始時間ｔ５及び終了時間ｔ１１によって定義され得る。さらに、２つ以上のタイムフレームが部分的に重なっていてもよいことを理解されたい。例えば、タイムフレームｆ１は、ｔ１で開始してｔ３で終了してもよく、タイムフレームｆ２は、ｔ２で開始してｔ６で終了してもよい。別の限定ではない例では、第１のタイムフレームｆ１は、ｔ１及びｔ２によって定義され、一方、別のタイムフレームｆ３は、ｔ１及びｔ３、ｔ２及びｔ３、又はｔ２及びｔ５によって定義され得る。
【0036】
ステップ２０２において、２つ以上のセンサからのデータを収集することができ、データは、データがセンサから引き出されたタイムポイントと相関している。収集されるデータは、カメラからの画像、ＬｉＤＡＲからのレーザ測定値、Ｒａｄａｒ入力、ジャイロスコープなどの支援センサからのデータ、車両ホイールデータなどの車両関連のデータなどを含み得る。
【0037】
いくつかの実施形態によれば、ステップ２０４において、前記タイムフレーム内の２つ以上のセンサ値のうちの少なくとも２つのセンサ値の相対姿勢の予想される変化、並びに、前記タイムフレーム内の２つ以上のセンサのうちの少なくとも２つのセンサの角度方向間の予想される関係性が決定される。すなわち、プロセッサは、いくつかの実施形態によれば、あるタイムフレーム内での、相対姿勢の予想される変化、及び各センサの角度方向間の予想される関係性を決定することができる。
【0038】
予想される値は、センサシステムの物理的設計によって、又は他の支援センサ（例えば、ジャイロスコープなど）によって決定することができる。例えば、非常に堅牢なセンサシステムでは、相対姿勢は短いタイムフレームで変化せず、異なるセンサの角度方向間の関係性はほぼ同じであると想定することができる。
【0039】
ステップ２０６で、各センサについて、１つ以上のタイムフレームでの姿勢シフト及びセンサの角度方向を計算することができる。姿勢シフトの計算は、タイムフレームの終了時のピッチ角、ヨー角、及びロール角のうちの１つ以上を、タイムフレームの開始時の対応するピッチ角、ヨー角、及び／又はロール角と比較することを含み得る。例えば、ＬｉＤＡＲの回転は、ｔ１とｔ２との間で変化し得る（例えば、ｔ１とｔ２との間でのセンサの右シフトは、そのタイムフレームでのヨー角の正の変化である）。
【0040】
同様に、ｔ２とｔ１との間のセンサの角度方向の変化（例えば、ｔ１とｔ２との間のセンサの角シフト）を推定することは、ｔ１でのセンサの位置とｔ２でのセンサの位置を結ぶベクトルに対する各センサのピッチ角及びヨー角を推定することを含み得る。
【0041】
いくつかの実施形態によれば、姿勢シフト及び角度方向の推定値は、２つ以上のタイムポイントでの、少なくとも１つのセンサから受信した感知データ間の特徴を照合すること、例えば、ｔ１でカメラＡによって得られた画像から抽出された特徴を、時間ｔ２、ｔ３、ｔ４、…ｔｎのうちの１つ以上でカメラＡから得られた画像から抽出された同じ特徴と照合し、測定された再投影誤差を最小にする前記タイムフレーム内のカメラＡの姿勢シフト及び角シフトを推定することによって決定することができる。
【0042】
ステップ２０８で、センサの共通の方向を決定するべく、（ステップ２０４で決定された）予想される関係性に基づいて、各タイムポイントでの異なるセンサの角度方向間の関係性を比較することができる。ステップ２０８での比較は、複数のタイムポイントにおける各センサの角シフトとセンサの予想される角シフトとの間の関係性を指し得る。
【0043】
ステップ２１０で、相対姿勢の予想される変化に基づいて、異なるタイムポイント間の２つ以上のセンサの共通の方向を比較することができる。ステップ２０８及び２１０の比較により、少なくとも２つのセンサのうちの２つ以上のセンサ間の相対姿勢が推定される（ステップ２１２）。
【0044】
本発明の実施形態によれば、角シフトを伴う移動（例えば、直線に沿っていない又は円弧軌道の移動プラットフォームの移動）中に、センサのうちの１つ以上がデータを収集し、これは将来の計算のために保存することができる。姿勢推定は、ステップ２０４の予想される値が既知である或いは（例えば、ジャイロスコープなどの支援センサ又は他のソースから）推定可能である２つのタイムポイントｔ１及びｔ２を選択することによって行われる。
【0045】
ｔ１でのセンサの姿勢を前述のように推定することができ、ｔ２での姿勢も同様に推定することができる。
【0046】
いくつかの実施形態によれば、計算の信頼性又は信頼度を、誤差推定によって測定することができ、これには低い角運動値が寄与している。ロール角に関する信頼レベルは、開始時間と終了時間との間の角シフトのサイズの影響を受けることを理解されたい。角シフトが最小値を下回るとき、ロール角推定の信頼レベルが低くなり得る。
【0047】
この誤差推定（又は信頼レベル推定）は、角運動機構の関数への入力として用いることができる。代替的に、これは、異なるタイムポイントでの複数の計算のための重みインジケータとして用いることができる。
【0048】
信頼レベルはまた、個々のセンサの姿勢シフトの信頼度、ロール推定の信頼度、個々のセンサの角度方向間の想定される関係性の信頼度による影響を受ける又はその関数であり得る。
【0049】
推定結果の信頼レベルが高いほど推定誤差が低くなり、逆もまた同様であることが当業者にはわかるであろう。
【0050】
図２を参照して前述した方法では、２つ（以上）のセンサを説明した。プロセスは、複数のセンサに実装するときもほぼ同じである。複数のセンサの相対姿勢を推定するときには、２つのセンサ間の相対姿勢を推定するのではなく、複数のセンサ間の関係性を推定する。例えば、３つのセンサＡ、Ｂ、及びＣで図２のプロセスを実行する場合、最初にセンサＡ及びＢで実行し、次いでセンサＡ及びＣで実行する）。別の例では、Ｎ個のセンサがある場合、センサの第１のペア（例えば、Ａ及びＢ）でプロセスを実行し、次いで、センサのペアの任意の他の組み合わせ（例えば、Ａ及びＣ、Ｂ及びＣ、Ａ及びＤ、Ｂ及びＤ、Ｃ及びＤ、…、Ａ及びＮ、Ｂ及びＮ、…、Ｎ－１及びＮ）でプロセスを実行する。第３の例では、センサの第１のペア（例えば、Ａ及びＢ）で方法を実行し、次いで、さらなるペアで実行することができ、各さらなるペアは、以前に別のセンサとペアにされた１つのセンサを含む（例えば、Ｂ及びＣ）。
【0051】
ステップ２００及び２０２に示すように、ポイントｔ１及びｔ２に相関するデータを、すべてのセンサ（例えば、２、３、４、…、ｎ個のセンサ）から収集することができる。各センサの相対姿勢の予想される変化及び角度方向間の関係性の予想される値も決定される（ステップ２０４）。ステップ２０６において、各センサについて、タイムポイント間の姿勢シフト（ピッチ角、ヨー角、及びロール角）、並びに、ｔ２とｔ１との間の角シフト（ピッチ角及びヨー角）が計算される。結果を、それらの間で予想される相対値と比較し（ステップ２０８及び２１０）、すべてのセンサ間の相対姿勢推定を導出することができる（ステップ２１２）。
【0052】
いくつかの実施形態によれば、角シフトを伴う移動中に、いくつか又はすべてのセンサがデータを収集し、これは将来の計算のために（例えば、図１のストレージ１３０に）保存することができる。相対姿勢推定は、選択されたタイムフレーム内での相対姿勢の予想される変化及び各センサの角度方向間の予想される関係性が既知である２つ（以上）のタイムポイントｔ１及びｔ２を選択することによって行われる。ｔ１でのセンサの相対姿勢を上記の図２で説明したように推定することができ、したがって、ｔ２でのセンサの相対姿勢も導出することができる。
【0053】
いくつかの実施形態によれば、相対並進も推定することができる。相対並進は、相対姿勢の推定に続いて、例えば、異なるセンサ間の直接の照合によって、又はセンサのうちの２つ以上のセンサの間の既知の物理的関係性によって、又はセンサのうちのいくつかと車両の一部との間の相対姿勢又は相対並進を検出することによって推定することができる。例えば、車両の一部に対するセンサＡ及びＢの相対姿勢を推定するために、車両へのセンサの物理的接続に関する仮定に基づいて（例えば、センサＡは車両の右ミラーに取り付けられ、センサＢは左ミラーに取り付けられる）、車両の一部（例えば、車両の前面にあるシンボル）の軸系でのセンサＡ及びＢの位置を決定することができる。しかしながら、同じ軸系でのセンサＡ及びＢの姿勢（例えば、ヨー角、ピッチ角、及びロール角）は不明である。
【0054】
いくつかの実施形態によれば、例えば、車両の一部に対するセンサＡの相対姿勢を推定するには、（１）センサＡのデータフレームで車両の一部、例えば車の前面にあるシンボルを検出することと、（２）Ａの並進方向と車両の一部の並進方向との間の既知の関係性（例えば、それらは同一である）を仮定し、支援センサ（例えば、ホイール方向、ジャイロ、車両コンピュータなど）に従って車両の一部の姿勢シフトを知ることとの２つの方法が存在し得る。同様に、車両の一部に対するセンサＢの相対姿勢を決定することができ、したがって、センサＡ及びＢの相対姿勢を決定することができる。
【0055】
いくつかの実施形態に係る、複数の重み付けされた計算（又は重み付き融合）による提案される姿勢推定の例示的な実装を示す図３に対して参照がここで行われる。
【0056】
ステップ３００において、タイムポイントのペアが選択され、タイムポイントのペアのそれぞれがタイムフレームを定義する。ステップ３０２において、各タイムフレームに重み値が与えられる。重みは、これらのタイムポイントを使用して推定された姿勢の予想される精度（例えば、信頼レベル）に基づいてタイムフレームに割り当てることができる。重みは、システムの安定性に関する仮定に基づいて割り当てることができる。例えば、システムの仮定された安定性が低いほど、後の推定（例えば、開始点及び／又は終了点が後のタイムフレームに関連する推定）に対して前の推定に、より低い信頼レベルが与えられる。信頼レベルが低いほど、推定に割り当てられる重みがより低くなり得る。
【0057】
姿勢推定の信頼度は、（１）ロール信頼度なしの姿勢推定と（２）ロール推定の信頼度との組み合わせを指す場合がある。ロール信頼度なしの姿勢推定は、２つ以上のセンサの並進間の予想される関係性の低い信頼度と、姿勢シフト及び角度方向の推定の低い信頼度によって悪影響を受ける。ロール推定の信頼度は、低い角シフトと、相対姿勢の予想される変化の低い信頼度によって悪影響を受ける。ロール推定の信頼度はまた、ロール信頼度なしの低い姿勢推定によって悪影響を受ける。
【0058】
例えば、毎回異なるタイムフレームを使用することによって同じ相対姿勢が数回推定される場合がある。いくつかの実施形態によれば、最高の信頼度（最小の予想誤差）をもつ推定に重み１を割り当てることができ、他のタイムフレームの他の推定に重み０を割り当てることができる。
【0059】
別の例として、すべての結果を取得し、重みとして「信頼度」で加重平均をとる。
【0060】
いくつかの実施形態によれば、センサの低い角運動が推定される（センサセットがｔ１とｔ２との間で十分に急激に回転しなかったことを意味する）とき、すなわち、信頼レベルが低くなる可能性があり、プロセッサが、その特定のタイムフレームでの出力に低い重みを割り当てる可能性があるときに、そのタイムフレームでの、例えば、選択されたタイムフレームでのロール信頼度なしの姿勢推定とロール推定の信頼度との組み合わせによって、姿勢推定の信頼レベルを決定することができる。具体的には、並進ベクトルの周りのロール角は信頼できないとマークされ、低い重みが割り当てられる場合がある。
【0061】
ステップ３０４において、複数のペア（又はタイムフレーム）を姿勢推定のために用いることができ、各ペアは重みを付けられ、重みを付けられた様態で一緒に計算され、単一の相対姿勢推定が生成される。例えば、２つ以上のセンサ間の相対姿勢を推定するために加重平均を計算することができる。
【0062】
いくつかの実施形態によれば、随意的なステップ３０６は、推定された相対姿勢の誤差又は信頼レベルを計算することを含み得る。誤差又は信頼レベルは、ｔ１とｔ２との間の角シフトによって決定することができる。誤差推定又は信頼レベル推定は、各センサについて別々に行うことができる。
【0063】
図４は、センサから受信した連続する感知データの特徴を経時的に追跡することによって経時的にセンサの姿勢シフトを決定する方法の例示的な実装を示す。
【0064】
ステップ４００において、複数のタイムポイントでセンサから感知データフレームを受信することができる。例えば、可視光イメージセンサは、図１のプロセッサ１０５などのプロセッサに、時間ｔ１で第１の画像、時間ｔ２で第２の画像を提供することができる。センサによってさらなるタイムポイント（例えば、ｔ３、ｔ４など）でさらなる画像が提供され得る。
【0065】
ステップ４０２において、プロセッサによって、受信した複数のデータフレームのうちの１つから特徴を抽出することができ、ステップ４０４において、例えば、抽出した特徴を経路又はカルマンフィルタに当てはめるなどの、経時的に追跡するためのアルゴリズムを使用することによって、同じセンサから受信した連続する及び／又は前のデータフレームで、抽出された特徴を追跡することができる。
【0066】
ステップ４０６において、複数のフレームのそれぞれにおける特徴の位置を使用して、姿勢の変化を決定又はリファインすることができる。例えば、実世界での単一の物体を、単一のセンサの様々な画像にわたって追跡する、例えば、カメラのＮ個のフレームに沿って建物の角を追跡することができる。それをＮ個のフレームにわたって追跡することで、すべての単一のフレームでの物体の位置のより良好な推定を得ることができ、不正確さを除去又は修正することができる。例えば、センサのＸ軸上の物体の位置が［１，１，１，３３，１，１，１］である場合、３３はエラーであるとみなされ、１に修正されるか又は考慮から除外されるべきである。さらに、連続するフレームでの物体の位置の一定の変化は、姿勢シフトを示し得る。例えば、センサのＸ軸上の物体の位置が［１，１，１，２，２，３３］である場合、第３のフレームの後にセンサの姿勢が変化したとみなされる。
【0067】
いくつかの実施形態では、得られたフレームから特徴を抽出し、次いで、タイムポイントを選択する、例えば、最も追跡される特徴を有するタイムフレームを選択することができる。
【0068】
図５は、センサシステムのセンサ間のステレオ深度推定を位置合わせするための本発明の実施形態に係る方法の例示的な実装を示す。
【0069】
いくつかの実施形態によれば、ステップ５００において、複数のセンサ、例えば、センサＡ、Ｂ、及びＣ間の相対姿勢及び相対並進が推定される。並進は、Ａ、Ｂ、及びＣ間で安定しているとみなすか、又は前述のように推定することができ、これにより、すべてのセンサ間の相対姿勢及び相対並進を推定することができる。
【0070】
ステップ５０２において、複数のセンサのうちの２つのセンサ（例えば、センサＡ及びＢ）の推定された相対姿勢及び相対並進が、ステレオ深度推定アルゴリズムを用いる３Ｄ再構成のために使用される。
【0071】
ステップ５０４において、２つのセンサ間で、及びステレオ深度マップをすべてのセンサに位置合わせするべく、すべての他のセンサ間で位置合わせが行われる。
【0072】
ステップ５０６において、既知の相対姿勢、相対並進、及び位置合わせに基づいて、第１のセンサ（例えば、センサＡ）の第１のフレームで検出された物体を、別のセンサ（例えば、センサＣ）の対応するフレーム（例えば、同時に得られる）で検出することができる。異なるタイプのセンサ間で、例えば、撮像器とＬｉＤＡＲ又はＲＡＤＡＲとの間で行うことができることを理解されたい。
【0073】
単一のセンサが深度マップを提供することができるとき、２つ以上のセンサを使用して上記の方法を実行できることをさらに理解されたい。
【0074】
図６Ａ及び図６Ｂは、角運動を生成するために使用されるセンサのシフト機構６００ａ、６００ｂの例を示す。機構６００ａは、複数のセンサ６０２ａに適用される単一の制御された角シフト機構を有することができ、一方、機構６００ｂは、各センサ６０２ｂに個別に適用される異なる制御された角シフトを示す。図６００Ｂの機構は、それぞれ単一のセンサ６０２ｂに関連付けられたいくつかの機構６００ａであり得る又は含み得ることが当業者にはわかるであろう。機構６００ａ、６００ｂは、１つ以上のセンサの角シフトを制御するための、１つ以上の制御されたモータ、１つ以上のモータ、レール、ピストン、及び当該技術分野では公知の他の要素の動作を制御するためのコントローラであり得る又は含み得る。
【0075】
いくつかの実施形態によれば、センサ６０２ａは、ハウジング６０４ａ内に収容され、ハウジング６０４ａは、矢印の方向で例示されるように機構６００ａによってシフトされるように構成される。破線のハウジングは、シフト後のハウジング６０４ａ及びセンサ６０２ａの位置を表す。
【0076】
【0077】
本発明の実施形態に係る、姿勢シフト推定のグラフィカル表現を示す、図７Ａ、図７Ｂ、及び図７Ｃに対して参照がここで行われる。図７Ａは、湾曲した経路７０２上の車両７００の鳥瞰図を示す。図７Ａで見られるように、車両７００に搭載されているのは、センサ７０４ａ及び７０４ｂを有するシステムである。車両がポイント７０２ｂに到達すると、そのポイント及び経路７０２に沿った前のポイント７０２ａで収集されたデータを、姿勢推定のためにセンサ７０４ａ及び７０４ｂを含むセンサシステムのプロセッサによって使用することができる。ポイント７０２ａは、ポイント７０２ｂの前に移動したある一定の距離によって、及び／又はポイント７０２ａからポイント７０２ｂへの移動中に経過した時間に基づいて選択することができる。
【0078】
図７Ｂを参照すると、センサ７０４ａ及び７０４ｂが、ポイント７０２ａ及びポイント７０２ｂに示されている。７０６ａ及び７０８ａは、センサ７０４ａからの２つの画像間の並進によって計算された拡張焦点（ＦＯＥ）ポイントである（それぞれ図７Ｃにも示されている）。同様に、７０７ａ及び７０７ｂは、センサ７０４ｂの並進によって計算されたＦＯＥポイントである（図７Ｃにも示されている）。いくつかの実施形態によれば、ＦＯＥポイントの位置は、例えば、各センサの２つの画像間の特徴を照合するためのオプティカルフローアルゴリズム、及びバンドル調整アルゴリズムを使用することによって、各センサの姿勢シフト及び角度方向とともに推定することができる。センサの画像でのＦＯＥの位置は、画像のタイムポイントでのセンサの角度方向を指す。
【0079】
図７Ｃは、センサ７０４ａ及び７０４ｂ間の相対姿勢を導出する方法を示す。センサは、センサ間で安定した相対姿勢を有すると想定することができ、また、２つのタイムポイント間でほぼ同一の並進方向であると想定することができる。したがって、任意のタイムポイントでの並進方向を、共通の方向とみなすことができる。
【0080】
これは、位置７０２ａで収集された感知データフレーム上のＦＯＥ位置と、位置７０２ｂで収集された感知データフレーム上のＦＯＥ位置を照合することによって行うことができる（図７Ａ）。７０６ａ及び７０７ａは、それぞれセンサ７０４ａ及びセンサ７０４ｂによってポイント７０２ａでとられたフレームである。同様に、７０６ｂ及び７０７ｂは、それぞれポイント７０２ｂでとられたフレームである。ＦＯＥ位置によって定義される共通の方向の両方を照合すること（７１０ａ及び７１０ｂ）によって、共通の方向を定義するピッチ角及びヨー角を推定することができるが、その周りのロール角を推定することはできないことが示されている。ステップ７１０ｃで、単一の相対姿勢推定（ピッチ、ヨー、及びロール）を、７１０ａと７１０ｂの両方からのＦＯＥ位置と照合する、したがって、両方の共通の方向と照合する。この相対姿勢は、センサ７０４ａ及び７０４ｂ間の推論された相対姿勢である。
【0081】
明示的に述べられていない限り、本明細書で説明される方法の実施形態は、特定の時間的順序又は時系列に制約されない。さらに、説明される方法の要素のいくつかは、方法の一連の動作中にスキップする、又は繰り返すことができる。
【0082】
本発明の特定の特徴が本明細書に示され、説明されているが、多くの修正、置換え、変更、及び均等物を当業者は思いつくであろう。したがって、添付の特許請求の範囲は、本発明の真の精神に含まれるすべてのそのような修正及び変更を包含することを意図していることを理解されたい。
【0083】
様々な実施形態が提示されている。もちろん、これらの実施形態のそれぞれは、提示された他の実施形態からの特徴を含むことができ、具体的に説明されていない実施形態は、本明細書で説明される様々な特徴を含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【国際調査報告】