特表2023-510507ナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ）
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-14
(54)【発明の名称】ナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ）
(51)【国際特許分類】
G01C 21/30 20060101AFI20230307BHJP
G08G 1/16 20060101ALI20230307BHJP
G08G 1/0969 20060101ALI20230307BHJP
B60W 40/06 20120101ALI20230307BHJP
【ＦＩ】
G01C21/30
G08G1/16 C
G08G1/0969
B60W40/06
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022538195
(86)(22)【出願日】2020-02-03
(85)【翻訳文提出日】2022-08-04
(86)【国際出願番号】 SG2020050050
(87)【国際公開番号】W WO2021137750
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】10201913873Q
(32)【優先日】2019-12-30
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】522243819
【氏名又は名称】シングパイロット プライベート リミテッド
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ソン、ジーウェイ
【テーマコード（参考）】
2F129
3D241
5H181
【Ｆターム（参考）】
2F129AA03
2F129BB02
2F129BB15
2F129BB33
2F129BB49
2F129GG17
2F129GG18
3D241BA49
3D241CD03
3D241CE04
3D241CE05
3D241DC34Z
3D241DC42Z
3D241DC50Z
5H181AA01
5H181AA27
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181CC24
5H181FF05
(57)【要約】
移動体をナビゲートするための順次マッピング及び位置推定ＳＭＡＬの方法、すなわち、ＳＭＡＬの方法が開示される。ＳＭＡＬの方法は、マッピングプロセスにおいて未知の環境の初期マップを生成するステップと、位置推定プロセスにおいて初期マップ内の移動体の位置を決定するステップと、例えば、移動体に対する制御値又は命令を作成することによって、未知の環境内の移動体を誘導するステップとを備える。ＳＭＡＬの方法を使用したシステム、及びＳＭＡＬの方法を実装するためのコンピュータプログラム製品も、それに応じて開示される。
【特許請求の範囲】
【請求項1】
移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ：Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）の方法であって、マッピングプロセスにおいて未知の環境の初期マップを生成するステップと、
位置推定プロセスにおいて前記初期マップ内の前記移動体の位置を決定するステップと、
前記未知の環境内の前記移動体を誘導するステップと
を含む、方法。
【請求項2】
前記未知の環境が、開放領域を含む、請求項１に記載の方法。
【請求項3】
前記マッピングプロセスが、検出デバイスから複数の第１の環境データを収集するステップと、
前記複数の第１の環境データを融合データにマージするステップと、
前記融合データにエッジ検出を適用するステップと、
前記融合データから第１の路上特徴量のセットを抽出するステップと、
前記第１の路上特徴量のセットを前記初期マップに保存するステップと
によって実行される、請求項１に記載の方法。
【請求項4】
前記検出デバイスが、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備える、請求項３に記載の方法。
【請求項5】
前記距離ベースのセンサが、光検出及び測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、音響センサ、又はそれらの組合せを備える、請求項４に記載の方法。
【請求項6】
前記視覚ベースのセンサが、単眼カメラ、全方位カメラ、イベントカメラ、又はそれらの組合せを備える、請求項４に記載の方法。
【請求項7】
前記第１の路上特徴量のセットが、マーキング、道路縁石、草、特別な線、スポット、前記道路の端、異なる道路表面の端、又はそれらの任意の組合せを備える、請求項３に記載の方法。
【請求項8】
前記第１の環境データからノイズを除去するために、前記第１の環境データに確率論的アプローチを適用するステップを更に含む、請求項３に記載の方法。
【請求項9】
前記マッピングプロセスが、オフライン方式で実行される、請求項３に記載の方法。
【請求項10】
前記収集するステップが、フレームバイフレーム方式で実行される、請求項３に記載の方法。
【請求項11】
前記マージするステップが、前記フレームを世界座標システムに位置合わせすることによって実行される、請求項１０に記載の方法。
【請求項12】
前記マージするステップが、前記世界座標システムにおいて不正確な位置を有する下位フレームを補正するステップを更に備える、請求項１１に記載の方法。
【請求項13】
前記補正するステップが、正確な位置を有する正常フレームと前記下位フレームとの元のオーバーラップを参照することによって実行される、請求項１２に記載の方法。
【請求項14】
追加のオーバーラップを生成するために、前記下位フレームの近くの追加の正常フレームを収集するステップを更に備える、請求項１３に記載の方法。
【請求項15】
前記エッジ検出が、ブロブ検出を含む、請求項３に記載の方法。
【請求項16】
前記位置推定プロセスが、前記移動体の近くの複数の第２の環境データを収集するステップと、
前記第２の環境データから第２の路上特徴量のセットを認識するステップと、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ内の前記第１の路上特徴量のセットにマッチングさせるステップと
によって実行される、請求項３に記載の方法。
【請求項17】
移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステムであって、マッピング機構を使用して未知の環境の初期マップを生成する手段と、
位置推定機構を使用して前記初期マップ内の前記移動体の位置を決定する手段と、
前記未知の環境内の前記移動体を誘導する手段と
を備えるシステム。
【請求項18】
前記マッピング機構が、検出デバイスから複数の第１の環境データを収集する手段と、
前記複数の第１の環境データを融合データにマージする手段と、
前記融合データにエッジ検出を適用する手段と、
前記融合データから第１の路上特徴量のセットを抽出する手段と、
前記第１の路上特徴量のセットを前記初期マップに保存する手段と
を備え、
前記マッピング機構はオフライン方式で動作する、請求項３１に記載のシステム。
【請求項19】
前記位置推定機構が、前記移動体の近くの複数の第２の環境データを収集する手段と、
前記第２の環境データから第２の路上特徴量のセットを認識する手段と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ内の前記第１の路上特徴量のセットにマッチングさせる手段と
を備え、
前記位置推定機構はオンライン方式で動作する、請求項３１に記載のシステム。
【請求項20】
移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するためにコンピュータプログラム命令及びそれに組み入れられるデータを有する非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記ＳＭＡＬの方法は、マッピングプロセスにおける未知の環境の初期マップを生成するステップと、
位置推定プロセスにおける前記初期マップ内の前記移動体の位置を決定するステップと、
前記未知の環境内の前記移動体を誘導するステップと
を備える、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年１２月３０日にＩＰＯＳ（Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｏｆｆｉｃｅ ｏｆ Ｓｉｎｇａｐｏｒｅ）に出願された、シンガポール特許出願第１０２０１９１３８７３Ｑ号の出願日を優先日として主張するものであり、「Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ（ＳＭＡＬ）ｆｏｒ Ｎａｖｉｇａｔｉｏｎ」と同じ表題のものである。先の優先特許出願のすべての関連する内容及び／又は主題は、適切な場合はいつでも参照により本明細書に組み込まれる。
【0002】
本出願は、移動体をナビゲートするようなナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ：Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）の方法に関する。また、本出願は、ナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステム、並びにナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するためのコンピュータプログラム製品を開示する。
【背景技術】
【0003】
移動体のナビゲートを始めとするナビゲーションは、マッピングプロセス及び位置推定プロセスを含む。位置推定は、移動体（自律車両又はロボットなど）にとって主要な機能である。移動体は、移動体自体を目的地にナビゲートし、そのタスクを完了する前に、移動体の位置及び方向を知る必要がある。従来、リアルタイムキネマティック（ＲＴＫ：Ｒｅａｌ－Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）、米国の全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、中国の北斗（Ｂｅｉｄｏｕ）、欧州のガリレオ（Ｇａｌｉｌｅｏ）及びロシアのＧＬＯＮＡＳＳを含む全球測位衛星システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、並びに慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のナビゲーションシステム（ＲＴＫ‐ＧＮＳＳ／ＩＭＵナビゲーションシステムと略す）が、移動体のナビゲーションに使用される。また、高解像度マップ（ＨＤマップ）も位置推定のために提供される。ＨＤマップは、予め収集される。近年、移動体（自律車両又はロボットなど）の位置推定機能に、地図内の移動体の位置の経過を追いながら同時に、未知の環境の地図を構成又は更新することによる、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ソリューションが使用される。ＳＬＡＭソリューションは、建物、樹木、公道の柱、又は屋内環境の壁、テーブル、椅子など、その環境内で十分に固定された周囲特徴量がある場合にうまく機能する。
【0004】
しかしながら、ＧＮＳＳの衛星信号がガントリークレーン又はコンテナターミナル内の積み重ねられたコンテナによって容易に遮断されるときには、ＧＮＳＳの結果が大きくドリフトすることが多いので、コンテナターミナルのようないくつかの特定の領域ではＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステムはうまく機能しない。ＨＤマップには、位置推定のための構造体、経路計画のためのマーキング形成を伴うレーン接続部、及びきれいなグラフィカルユーザーインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のための詳細なマーキング位置など、複数の目標がある。そのため、ＨＤマップは、独立して生成され、依然として、建物、樹木、柱及びその他のものなど、ＨＤマップ内の構造体に基づいている。
【0005】
一方、ＳＬＡＭソリューションは、コンテナターミナル及び空港フィールドのような開放環境では、固定された周囲物体がほとんど存在しない場合も、満足のいく程度にパフォーマンスを発揮しない。例えば、コンテナターミナルには多くのコンテナが存在するが、それらは固定されておらず、それらの位置は大きく変化し、ＳＬＡＭソリューションの位置推定結果に悪影響を及ぼす。コンテナターミナルでは、自律車両はまだ配備されていないが、無線自動識別（ＲＦＩＤ：Ｒａｄｉｏ－Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ又は超広帯域（ＵＷＢ：Ｕｌｔｒａ－ｗｉｄｅｂａｎｄ）ステーションのように、大規模なビーコンを環境内に配備する必要がある無人搬送車（ＡＧＶ：Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）のみが配備されている。
【発明の概要】
【課題を解決するための手段】
【0006】
したがって、本出願は、開放環境（空港フィールド及びコンテナターミナルなど）における移動体（自律車両又はロボットなど）の位置推定問題を解決するための順次マッピング及び位置推定（ＳＭＡＬ）の方法を開示する。ＳＭＡＬの方法では、マッピング及び位置推定のために、１つ又は複数の既存の自然のままの路上特徴量を連続的に使用する。
【0007】
第１の態様として、本出願は、移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）の方法（すなわち、ＳＭＡＬの方法）を開示する。ＳＭＡＬの方法は、マッピングプロセスにおいて未知の環境の初期マップを生成するステップと、位置推定プロセスにおいて初期マップ内の移動体の位置を決定するステップと、例えば、移動体に対する制御値又は命令を作成することによって、未知の環境内の移動体を誘導するステップとを含む。ＳＬＡＭソリューションとは対照的に、ＳＭＡＬの方法は、生成ステップにおけるマッピングプロセスを、計算ステップにおける位置推定プロセスから分離する。更に、未知の環境の一連の観測値は、未知の環境が移動体の近くで大きく変化しない限り、初期マップを更新するために離散時間ステップにわたって計ることはない。
【0008】
未知の環境は、選択的に、いかなるビーコンもない開放領域（空港フィールド又はコンテナターミナルなど）を含む。開放領域内の自律車両（ＲＦＩＤタグ又はＵＷＢステーションなど）のための現在の技術とは対照的に、ＳＭＡＬの方法は、未知の環境を検出し、移動体に信号を送信するためのビーコンを構築又は確立する必要がない。更に、ＳＭＡＬの方法は、ビーコンが未知の環境で構築される場合、現在の技術と併用して採用され得る。その上、ＳＭＡＬの方法は、市街地のような開放領域以外の未知の環境において、ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステム、高解像度マップ（ＨＤマップ）、及び／又はＳＬＡＭソリューションを含む従来の技術と連携して機能してもよい。
【0009】
マッピングプロセスは、未知の環境の初期マップを構成するために使用される。ＳＭＡＬの方法のマッピングプロセスは、検出デバイスから複数の第１の環境データを収集するステップと、複数の第１の環境データを融合データ（ＲＧＢ－ＤＤイメージ又はポイントクラウド）にマージするステップと、エッジ特徴量を検出するために融合データにエッジ検出を適用するステップと、融合データから第１の路上特徴量のセットを抽出するステップと、第１の路上特徴量のセットを初期マップに保存するステップとによって選択的に実行される。第１の環境データは、路上特徴量及び周囲特徴量を含む未知の環境の多くの特徴量を記述する。周囲特徴量（建物、樹木、及び柱など）を使用する現在の技術とは対照的に、ＳＭＡＬの方法は、路上特徴量が既に開放領域内で利用可能であるため、開放領域内では適応性がいっそう高くなる。
【0010】
収集するステップの検出デバイスは、選択的に、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備える。距離ベースのセンサは、特徴量が豊富でないにもかかわらず、正確な深度情報を提供する。対照的に、視覚ベースのセンサは、深度の推定値を欠く特徴量が豊富な情報を提供する。したがって、距離ベースのセンサ及び視覚ベースのセンサとの組合せは、深度の推定値と十分な特徴量の両方を有する情報を提供し得る。
【0011】
距離ベースのセンサは、光検出測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、音響センサ、又はそれらの組合せを備え得る。音響センサは、移動する物体から反射したエコー音信号を受信することにより移動する物体の位置を特定する音響ナビゲーション測距（ＳＯＮＡＲ：Ｓｏｕｎｄ Ｎａｖｉｇａｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサとしても知られている。音響センサは、通常、０．０１～１ワットの範囲の消費電力、及び２～５メートルの深度範囲を有する。音響センサは、一般に、色及び透過性には影響を受けず、したがって、暗い環境に好適である。特に、音響センサは、２０ｋＨｚを超える超音波を使用する超音波センサを備え得る。超音波センサは、深度情報の精度がより高いことがあり得る。更に、音響センサは、数立方インチ以内のコンパクトな外形を有する。しかしながら、音響センサは、エコー音信号が柔軟な材料によって容易に吸収されるので、未知の環境が多くの柔軟な材料を有する場合にはうまく機能しない。音響センサの処理能力は、温度、湿度、及び圧力などの未知の環境の他の要因によっても影響され得る。音響センサの検出結果を補正するために、音響センサの処理能力に補償を加え得る。
【0012】
ＬＩＤＡＲは、音響センサと同様の動作原理を有する。音波の代わりに、ＬＩＤＡＲは、エコー信号として電磁波（光など）を採用している。ＬＩＤＡＲは、１秒間に最大１００万パルスを放つことで、未知の環境から３６０度の可視性で３次元（３Ｄ）ビジュアライゼーション（ポイントクラウドと呼ばれる）を選択的に生成する。ＬＩＤＡＲは、通常５０～２００ワットの範囲の音響センサよりも高い消費電力を有し、通常５０～３００メートルのより深い深度範囲を有する。特に、ＬＩＤＡＲは、深度精度がより高く、音響センサよりも高い深度精度を有し得、これらは両方とも数センチメートル（ｃｍ）以内である。更に、ＬＩＤＡＲは、０．１～１度の範囲の正確な角度分解能を提供し得る。したがって、ＬＩＤＡＲは、自律車両の用途として音響センサよりも好ましい。例えば、Ｖｅｌｏｄｙｎｅ ＨＤＬ－６４Ｅ ＬＩＤＡＲは、自動運転車に好適である。しかしながら、ＬＩＤＡＲは、かさばる外形を有しており、また低電力用途には好適ではない。
【0013】
視覚ベースのセンサは、単眼カメラ、全方位カメラ、イベントカメラ、又はそれらの組合せを備える。単眼カメラは、カラーＴＶ及びビデオカメラ、イメージスキャナ、並びにデジタルカメラを含む、１つ又は複数の標準ＲＧＢカメラを備え得る。単眼カメラは、選択的に、単純なハードウェア（ＧｏＰｒｏ Ｈｅｒｏ－４など）、及び数立方インチの範囲のコンパクトな外形を有し、したがって、単眼カメラは、いかなる追加のハードウェアなしで、小さな移動体（携帯電話など）に取り付け得る。また、単眼カメラは、標準のＲＧＢカメラが受動センサであるため、０．０１～１０ワットの範囲の消費電力を有する。しかしながら、単眼カメラは、単眼カメラが静止イメージから深度情報を直接推測することができないので、複雑なアルゴリズムと連動して機能する必要がある。更に、単眼カメラには、スケールドリフトの問題がある。
【0014】
全方位カメラは、２つの魚眼レンズを有するＳａｍｓｕｎｇ Ｇｅａｒ ３６０、ＧｏＰｒｏ Ｆｕｓｉｏｎ、Ｒｉｃｏｈ Ｔｈｅｔａ Ｖ、Ｄｅｔｕ Ｔｗｉｎ、ＬＧＲ１０５、及びＹｉ Ｔｅｃｈｎｏｌｏｇｙ ３６０ＶＲなど、３６０度の視界を有する１つ又は複数の標準のＲＧＢカメラを備えることもあり得る。このように、全方位では、いかなる後処理もせずにリアルタイムでパノラマ写真を提供し得る。全方位カメラは、コンパクトな外形及び１～２０ワットの範囲の消費電力を有する。しかしながら、全方位カメラは深度情報を提供できない。
【0015】
イベントカメラ（ダイナミック視覚センサなど）は、バイオインスパイアード視覚センサであり、標準の輝度フレームの代わりにピクセルレベルの輝度変化を出力する。したがって、イベントカメラは、高いダイナミックレンジ、モーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）がないこと、及びマイクロ秒オーダーのレイテンシなど、いくつかの利点を有する。イベントカメラは還元情報（ｒｅｄｕｃｔａｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をキャプチャしないので、非常に電力効率が良い。イベントカメラは、通常、０．１５～１ワットの範囲の消費電力を有する。しかしながら、イベントカメラは、高い時間分解能及び非同期イベントを探索する特別なアルゴリズムを必要とする。従来のアルゴリズムは、実際の強度イメージではなく一連の非同期イベントを出力するイベントカメラには好適ではない。
【0016】
或いは、検出デバイスは、選択的に、ＲＧＢ－Ｄセンサ、ステレオカメラ、又は同様のものを備える。ＲＧＢ－Ｄセンサ又はステレオカメラは、深度情報と豊富な特徴量情報の両方を提供できる。ＲＧＢ－Ｄセンサ（Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ ＲＧＢ－Ｄセンサなど）では、単眼カメラ、赤外線（ＩＲ）送信機、及びＩＲ受信機を組み合わせて提供する。したがって、ＲＧＢ－Ｄセンサは、シーンの詳細及びシーンの各ピクセルの推定深度を提供し得る。特に、ＲＧＢ－Ｄセンサは、構造光（ＳＬ：Ｓｔｒｕｃｔｕｒａｌ Ｌｉｇｈｔ）技術又は飛行時間（ＴＯＦ：Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）技術の２つの深度計算技術を選択的に使用する。ＳＬ技術は、赤外線（ＩＲ）スペックルパターンを投影するためにＩＲ送信機を使用し、次いで、ＩＲ受信機によってキャプチャされる。ＩＲスペックルパターンは、既知の深度で予め提供される基準パターンと部分毎に比較される。ＲＧＢ－Ｄセンサは、ＩＲスペックルパターンと基準パターンをマッチングした後、各ピクセルにおける深度を推定する。一方、ＴＯＦ技術は、ＬＩＤＡＲと同様の原理で機能する。ＲＧＢ－Ｄセンサは、通常、２～５ワットの範囲の消費電力、及び３～５メートルの深度範囲を有する。更に、ＲＧＢ－Ｄセンサは、単眼カメラに起因するスケールドリフトの問題も有する。
【0017】
ステレオカメラ（Ｂｕｍｂｌｅｂｅｅ Ｓｔｅｒｅｏ Ｃａｍｅｒａなど）は、深度情報を計算するために、両方とも同じシーンを観察する２つのカメラ画像の視差を使用する。ＲＧＢ－Ｄセンサとは対照的に、ステレオカメラは、受動カメラであり、それにより、スケールドリフトの問題はない。ステレオカメラは、２～１５ワットの範囲の消費電力を有し、５～２０メートルの深度範囲を有する。更に、ステレオカメラは、一般に、２、３ミリメートル（ｍｍ）から数センチメートル（ｃｍ）の範囲の深度精度を有する。
【0018】
移動体は、選択的に、検出デバイスと通信するための通信ハブ、及び地上で移動体を移動させるための駆動機構（モータなど）を有する。移動体は、通信ハブから未知の環境の観測値を受信し、観測値を処理して、移動体を移動させるように誘導するための駆動機構への命令を生成するための処理ユニットを更に備え得る。したがって、検出デバイス、処理ユニット、及び駆動機構は、未知の環境内で移動するために移動体を誘導するための閉ループを形成する。いくつかの実施態様では、検出デバイスは移動体に搭載され、それにより、検出デバイスが移動体とともに移動する（動的検出デバイスと呼ばれる）。動的検出デバイスは、選択的に、未知の環境から３６０度の可視性を検出するために、移動体のブロックされていない位置（移動体の屋根又は頂部など）にある。いくつかの実施態様では、検出デバイスは、未知の環境で静的に構成され、それにより、移動体とともに移動はしない（静的検出デバイスと呼ばれる）。静的検出デバイスは、静的検出デバイスの脇を通過する移動体に観測値を送信する。したがって、静的検出デバイスは、未知の環境が相当安定した状態にあるので、離散時間ステップにわたって観測値を取得する必要がない。その代わりに、静的検出デバイスは、未知の環境が大きく変化するときにのみ機能するように作動する。
【0019】
路上特徴量は、開放領域（公道など）に既に存在する。抽出ステップにおける第１の路上特徴量のセットは、選択的に、マーキング（白色マーキング及び黄色マーキングなど）、道路縁石、草、特別な線、スポット、道路の端、異なる道路表面の端、又はそれらの任意の組合せを含む。路上特徴量は、特に夜間及び雨天において、周囲特徴量（建物、樹木及び柱など）よりも正確であり、区別可能である。いくつかの実施態様では、検出デバイスは、夜間及び雨天時にリアルタイムで検出するために、距離ベースのセンサとしてＬＩＤＡＲ、及び視覚ベースのセンサとしてカメラを備える。いくつかの実施態様では、ＬＩＤＡＲが夜間及び雨天時にカメラよりも正確な位置推定を提供し得るので、検出デバイスはＬＩＤＡＲのみを備える。
【0020】
検出デバイスは、収集するステップにおいて、未知の環境から第１の環境データとともにノイズを収集し得る。マッピングプロセスは、第１の環境データからノイズを除去するために、確率論的アプローチを第１の環境データに適用するステップを更に備え得る。確率論的アプローチは、最初にノイズと第１の環境データを分配し、次にノイズを異常情報として特定し、最後に第１の環境データから異常情報を除去することにより、第１の環境データ（路上特徴量及び周囲特徴量を含む）からノイズを分離する。確率論的アプローチは、選択的に、再帰的ベイズ推定（ベイズフィルタとしても知られる）を備える。再帰的ベイズ推定は、システムに関する与えられた逐次的な観測値又は測定値を、時間内に導き出すシステムの動的状態を推定するのに好適である。したがって、未知の環境が大きく変化した場合に実行されるマッピング処理に、再帰的ベイズ推定を適用することができる。
【0021】
マッピングプロセスは、選択的に、オフライン方式で行われる。マッピングプロセスは、一旦保存ステップが終了すると完了し、未知の環境が大きく変化しない限り作動しようとしない。すなわち、初期マップは、未知の環境が大きく変化しない限り、同一に保たれ、更新されないので、移動体を誘導するために適用できない。
【0022】
収集するステップは、選択的に、フレームバイフレーム方式で実行される。すなわち、第１の環境データを提示するために複数のフレームが収集される。フレームは、カメラ、ＬＩＤＡＲ、又はカメラ及びＬＩＤＡＲの組合せなどの検出デバイスから得られる。
【0023】
マージするステップは、選択的に、フレームをＲＴＫ－ＧＮＳＳ／ＩＭＵなどの世界座標システムに位置合わせすることによって実行される。特に、各フレームは、ＲＴＫ－ＧＮＳＳ／ＩＭＵなどの世界座標システムからの位置に関連付け得る。各フレームは、ＲＴＫ－ＧＮＳＳ／ＩＭＵからの正確な位置に関連付けられるようになっている。マージするステップは、選択的に、ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステムなどの世界座標システムにおいて、不正確な位置を有する下位フレームを補正するステップを更に含む。不正確な位置は、ＲＴＫ－ＧＮＳＳ／ＩＭＵにおける下位フレームのその実際の位置からドリフトしている。すなわち、ＧＮＳＳの位置が実際の位置からドリフトしている場合、正確な位置は、下位フレームに関連付けられるために利用できない。補正するステップは、選択的に、元のオーバーラップ又は正確な位置を有する他のフレーム（正常フレームとして知られる）との下位フレームのオーバーラップを参照することによって実行される。しかしながら、補正するステップは、下位フレームの正確な位置を決定するのに十分なオーバーラップを必要とする。オーバーラップがその目的のために十分でない場合、補正するステップは、多くの元のオーバーラップがある閾値未満であるときに、追加のオーバーラップを生成するために、下位フレームの近くの検出デバイスから追加の正常フレームを収集するステップを備え得る。すなわち、十分なオーバーラップを生成するために、追加の正常フレームが下位フレームの近くで収集される。或いは、下位フレームは放棄され、新しい正常フレームが下位フレームのＧＮＳＳの位置に収集される。
【0024】
エッジ検出には、一般に、単一イメージ又はポイントクラウド内の特定のポイントを識別するための様々な数学的方法が適用される。特定のポイントは、不連続性を有し、すなわち、特定のポイントの各々におけるいくつかの特性（輝度など）は急激に変化する。特定のポイントは、通常、エッジとして知られる一組の線分に編成される。路上特徴量はそれぞれの隣接した環境からの示差的特性を有するので、エッジ検出は路上特徴量を認識するために使用され得る。エッジ検出は、選択的に、路上特徴量を抽出するためのブロブ検出を備える。ブロブは、特性が実質的に一定又はほぼ一定である領域として定義される。このように、特性は、単一イメージ又はポイントクラウド上の各ポイントの機能として表される。エッジ検出は、微分法若しくは関数に対する極値に基づく方法又は深層学習によって実行され得る。微分法は、位置に関する関数の導関数に基づき、一方、極値に基づく方法は、関数の極大値及び極小値を見つけることを目標とする。ブロブ検出は、選択的に、単一イメージ又はポイントクラウドの畳み込みを備える。ブロブ検出は、最大応答を見つけるためのいくつかのスケールでのラプラシアン、Ｋ平均距離でのクラスタリング、及び深層学習を含む、異なる方法で実行され得る。
【0025】
マッピングアルゴリズムを以下に示す。
ＳＭＡＬにおけるマッピングアルゴリズムの擬似コード。
入力：カメラからのイメージ｛Ｉ｝及び／又はＬｉｄａｒからのポイントクラウド｛Ｃ｝
出力：マップＭ
アルゴリズム：
ＳＭＡＬにおけるマッピングアルゴリズムの擬似コード。
入力：カメラからのイメージ｛Ｉ｝及び／又はＬｉｄａｒからのポイントクラウド｛Ｃ｝
出力：マップＭ
アルゴリズム：
【数1】
【0026】
位置推定プロセスは、未知の環境内の移動体を、初期マップ内のその対応する位置に決定するために使用される。位置推定プロセスは、選択的に、移動体の近くの複数の第２の環境データを収集するステップと、第２の環境データから第２の路上特徴量のセットを認識するステップと、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせるステップとによって実行される。次に、初期マップ内のその位置に基づいて未知の環境内で移動するように移動体を誘導する。更に、位置プロセスは、選択的に、移動後の初期マップ内の移動体の位置を更新するステップを更に備える。
【0027】
いくつかの実装態様では、第２の環境データは、動的検出デバイス及び静的検出デバイスを含む、第１の環境データを生成する検出デバイス（すなわち、既存の検出デバイス）から収集される。いくつかの実施態様では、第２の環境データが追加の検出デバイスから収集される。また、追加の検出デバイスは、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備え得る。追加の検出デバイスは、単独で機能するか、又は既存の検出デバイスと連動して機能し得る。
【0028】
マッピングプロセスとは対照的に、位置推定プロセスは、選択的に、オンライン方式で実行される。すなわち、初期マップ内の移動体の位置は、離散時間ステップにわたって未知の環境内の移動オブジェクションの位置と一致して更新される。
【0029】
未知の環境は、移動体が通過する間に移動しない静的特徴量、及び移動体の周りを能動的に移動する動的特徴量を備え得る。例えば、多くの車両が、乗客及び物品を運搬するために空港フィールドに現れ得る。別の実例としては、コンテナを持ち上げて移動するために、コンテナターミナル内で少数のフォークリフトが作業し得る。したがって、移動体は、未知の環境における動的特徴量とのいかなる衝突も回避するために誘導されるべきである。位置推定プロセスの収集するステップは、選択的に、移動体の近くの静的特徴量の第２の環境データの第１の部分を、移動体の近くの動的特徴量の第２の環境データの第２の部分から分離するステップを備える。
【0030】
位置プロセスの収集するステップは、選択的に、動的特徴量の観測値を経時的に集約することによって、移動体の近くの動的特徴量を追跡するステップを更に備える。いくつかの実装態様では、追跡ステップが、観測値からその状態を経時的に推定するためのフィルタリング法を使用して、特定の動的特徴量を追跡するステップを備える。いくつかの実装態様では、追跡ステップが、観測値をそれらそれぞれの動的特徴量に対して識別するためのデータ結合を使用して複数の動的特徴量を追跡するステップと、観測値からその状態を経時的に推定するためのフィルタリング法を使用して各々の複数の動的特徴量を追跡するステップとを備える。
【0031】
ＳＭＡＬの方法は、未知の環境が第１の所定の閾値を超えて変化するときに、初期マップを第１の更新されたマップに更新するステップを更に備え得る。初期マップは、未知の環境内の移動体を誘導するために第１の更新されたマップと置き換えられる。同様に、ＳＭＡＬの方法は、未知の環境が第２の所定の閾値を超えて変化したときに、第１の更新されたマップを第２の更新されたマップに更新するステップを更に備え得る。第１の更新されたマップは、未知の環境内の移動体を誘導するために、第２の更新されたマップと置き換えられる。同様に、ＳＭＡＬの方法は、未知の環境が第３の所定の閾値及び他の後続の所定の閾値を超えて変化するときに、第２の更新されたマップ及び他の後続の更新されたマップをそれぞれ更新するステップを備えることもあり得る。
【0032】
第２の態様として、本出願は、移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステムを開示する。このシステムは、マッピング機構を使用して未知の環境の初期マップを生成する手段と、位置推定機構を使用して初期マップ内の移動体の位置を決定する手段と、制御値又は命令を作成することによって未知の環境内の移動体を誘導する手段とを備える。
【0033】
マッピング機構は、選択的に、検出デバイスから複数の第１の環境データを収集する手段と、複数の第１の環境データを融合データ（ＲＧＢ－Ｄイメージ又はポイントクラウド）にマージする手段と、エッジ特徴量を検出するために融合データにエッジ検出を適用する手段と、融合データから第１の路上特徴量のセットを抽出する手段と、第１の路上特徴量のセットを初期マップに保存する手段とを備える。特に、マッピング機構は、オフライン方式で動作し得る。
【0034】
位置推定機構は、選択的に、移動体の近くの複数の第２の環境データを収集する手段と、第２の環境データから第２の路上特徴量のセットを認識する手段と、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせる手段とを備える。特に、位置推定機構は、オンライン方式で動作し得る。更に、位置推定機構は、初期マップ内の移動体の位置を更新する手段を更に備え得る。
【0035】
このシステムは、選択的に、未知の環境が第１の所定の閾値を超えて変化したときに、初期マップを第１の更新されたマップに更新する手段を更に備える。すなわち、未知の環境の変化が第１の所定の閾値よりも小さい場合には、初期マップを更新する手段は作動しない。
【0036】
このシステムは、選択的に、未知の環境が第２の所定の閾値を超えて変化したときに、第１の更新されたマップを第２の更新されたマップに更新する手段を更に備える。すなわち、未知の環境の変化が第２の所定の閾値よりも小さい場合、第１の更新されたマップを更新する手段は作動しない。同様に、このシステムは、未知の環境が第３の所定の閾値及び他の後続の所定の閾値を超えて変化したときに、第２の更新されたマップ及び他の後続の更新されたマップを更新する手段をそれぞれ備えることもあり得る。
【0037】
第３の態様として、本出願は、移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するために、コンピュータプログラム命令及びそれに組み入れられたデータを有する非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラム製品を開示する。ＳＭＡＬの方法は、マッピングプロセスにおいて未知の環境の初期マップを生成するステップと、位置推定プロセスにおいて初期マップ内の移動体の位置を決定するステップと、未知の環境内の移動体を誘導するステップとを備える。
【0038】
マッピングプロセスは、選択的に、検出デバイスから複数の第１の環境データを収集するステップと、複数の第１の環境データを融合データ（ＲＧＢ－Ｄイメージ又はポイントクラウド）にマージするステップと、エッジ特徴量を検出するための融合データにエッジ検出を適用するステップと、融合データから第１の路上特徴量のセットを抽出するステップと、第１の路上特徴量のセットを初期マップに保存するステップとによって実行される。特に、マッピングプロセスは、オフライン方式で動作する。
【0039】
位置推定プロセスは、選択的に、移動体の近くの複数の第２の環境データを収集するステップと、第２の環境データから第２の路上特徴量のセットを認識するステップと、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせるステップとによって実行される。特に、位置推定機構は、オンライン方式で動作する。更に、位置推定プロセスは、初期マップ内の移動体の位置を更新するステップを更に備え得る。
【0040】
位置推定アルゴリズムを以下に示す。
ＳＭＡＬにおける位置推定アルゴリズムの擬似コード。
入力：マップＭ、カメラからのイメージＩのフレーム、及び／又はＬｉｄａｒからのポイントクラウドＣ
出力：ポーズ（位置ｐ及び方向ｏ）
メモリ：ポイントＰ＝｛｝
アルゴリズム：
ＳＭＡＬにおける位置推定アルゴリズムの擬似コード。
入力：マップＭ、カメラからのイメージＩのフレーム、及び／又はＬｉｄａｒからのポイントクラウドＣ
出力：ポーズ（位置ｐ及び方向ｏ）
メモリ：ポイントＰ＝｛｝
アルゴリズム：
【数2】
【0041】
ＳＭＡＬの方法は、未知の環境が第１の所定の閾値を超えて変化するときに、初期マップを第１の更新されたマップに更新するステップを更に備え得る。ＳＭＡＬの方法は、未知の環境が第２の所定の閾値を超えて変化したときに、第１の更新されたマップを第２の更新されたマップに更新するステップを更に備え得る。同様に、ＳＭＡＬの方法は、未知の環境が第３の所定の閾値及び他の後続の所定の閾値を超えて変化するときに、第２の更新されたマップ及び他の後続の更新されたマップをそれぞれ更新するステップを備えることもあり得る。
【0042】
添付の図面（図）は実施例を示し、開示された実施例の原理を説明するのに役立つ。しかしながら、これらの図面は説明のみを目的として提示されており、関連する出願の限定を定義するためではないことを理解されたい。
【図面の簡単な説明】
【0043】
【図1】自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ナビゲーションの概略図である。
【図2】順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーションの概略図である。
【図3】ＳＭＡＬナビゲーションのマッピングプロセスを示す図である。
【図4】ＳＭＡＬナビゲーションの位置推定プロセスを示す図である。
【発明を実施するための形態】
【0044】
図１は、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ナビゲーション１００の概略図を示す。ＳＬＡＭナビゲーション１００は、未知の環境１０４内の自律車両１０２を出発地点１１２から目的地点１１３までナビゲートするために使用される。ＳＬＡＭナビゲーション１００が地図１０６内の自律車両１０２の位置１０８を同時に追跡し続けるために、未知の環境１０４の地図１０６は離散時間ステップ（ｔ）にわたって構成され、更新される。
【0045】
第１のステップ１１０では、自律車両１０２は出発地点１１２にあり、出発地１１２の周囲で第１のセンサ観測値ｏ１が得られる。第１のセンサ観測値ｏ１は、出発地点１１２の周囲の第１のマップｍ１を構成するために自律車両１０２に送信される。自律車両１０２の位置１０８は、第１のマップｍ１では第１の位置ｘ１として計算される。次いで、自律車両１０２は、第１のマップｍ１内の第１の位置ｘ１に従って、未知の環境１０４内の出発地点１１２から自律車両１０２を移動させる第１の制御値ｕ１を生成する。第１のマップｍ１及びその中の第１の位置ｘ１は、第１のステップ１１０において同時に更新されることが明確に示されている。
【0046】
自律車両１０２は、第１の離散時間ステップ１１４の後に、出発地点１１２から第２の地点１２２に移動する。第２のステップ１２０では、自律車両１０２は第２の地点１２２にあり、第２の地点１２２の周囲の第２のセンサ観測値ｏ２が得られる。第２のセンサ観測値ｏ２は、第１のマップｍ１を第２の地点１２２の周囲の第２のマップｍ２に更新するために、自律車両１０２に送信される。第２のマップｍ２内の自律車両１０２の位置１０８は、それに応じて第２の位置ｘ２として更新される。次いで、自律車両１０２は、第２のマップｍ２内の第２の位置ｘ２に従って、未知の環境１０４内の第２の地点１２２から自律車両１０２を移動させる第２の制御値ｕ２を生成する。第２のステップ１２０では、第２のマップｍ２及び第２の位置ｘ２が同時に更新される。
【0047】
自律車両１０２は、第２の離散時間ステップ１２４の後に、第２の地点１２２から次の地点に移動する。このステップバイステップ方式では、自律車両１０２は、未知の環境１０４内で連続的に移動する。一方、位置１０８も、それに応じてマップ１０６内で更新される。第２の最終ステップ１３０では、第２の最後のセンサ観測値ｏｔ－１が第２の最後の地点１３２の周囲で得られる。第２の最後の地点１３２の周囲の第２の最後のマップｍｔ－１が更新される。第２の最後のマップｍｔ－１内の自律車両１０２の位置１０８は、それに応じて第２の最後の位置ｘｔ－１として更新される。次いで、自律車両１０２は最後のマップｍｔ－１内の第２の最後の位置ｘｔ－１に従って、自律車両１０２を第２の最後の地点１３２から移動させるために、第２の最後の制御値ｕｔ－１を生成する。第２の最後のマップｍｔ－１及び第２の位置ｘｔ－１は、第２の最後のステップ１３０で同時に更新される。
【0048】
最終ステップ１４０では、最後のセンサ観測値ｏｔが、未知の環境１０４から、第２の最後の離散時間ステップ１３４の後に得られる。最後のセンサ観測値ｏｔは、第２の最後のマップｍｔ－１を最後のマップｍｔに更新するために自律車両１０２に送信される。最後のマップｍｔ内の自律車両１０２の位置１０８は、それに応じて最後の位置ｘｔとして更新される。次いで、自律車両１０２は、最後のマップｍｔ内の最後の位置ｘｔに応じて、目的地点１１３に自律車両１０２を停止させるために、最後の制御値ｕｔを生成する。したがって、最後のマップｍｔ及びその中の最後の位置ｘｔは、最終ステップ１４０で同時に更新される。
【0049】
図２は、順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーション２００の概略図を示す。ＳＭＡＬナビゲーション２００は、未知の環境２０４内の自律車両２０２をナビゲートするためにも使用される。未知の環境２０４のマップ２０６は、マップ２０６内の自律車両２０２の位置２０８の追跡を同時に維持するために、ＳＭＡＬナビゲーション２００のために構成され、更新される。
【0050】
ＳＭＡＬナビゲーション２００は、初期ステージ２１０、位置推定ステージ２２０、及びマッピングステージ２３０の３つのステージに分けられる。初期ステージ２１０では、未知の環境２０４から初期センサの観測値ｏｉが得られ、未知の環境２０４の初期マップｍｉを生成する（２１２）ために自律車両２０２に送信される。自律車両２０２の位置２０８は、初期マップｍｉ内の初期位置ｘｉとして計算される。次いで、自律車両２０２は、初期マップｍｉ内の初期位置ｘｉに従って、未知の環境１０４内で自律車両２０２を移動させる初期制御値ｕｉを生成する。
【0051】
位置推定ステージ２２０では、第１のセンサ観測値ｏ１が、未知の環境２０４内の第１の地点２２２の周囲で取得される。自律車両１０２の位置１０８は、それに応じて第１の位置ｘ１として、初期マップｍｉで計算される。次いで、自律車両１０２は、初期マップｍｉで第１の位置ｘ１に従って、未知の環境２０４内で自律車両２０２を移動させる第１の制御値ｕ１を生成する。ＳＬＡＭナビゲーション１００とは対照的に、第１のセンサ観測値ｏｉは、初期マップｍｉを更新するために使用される。
【0052】
自律車両２０２は、第１の地点２２２からその後の地点へ続く離散時間の間ずっと、最後の地点２２４まで初期マップｍｉを更新することなく移動する。最後のセンサ観測値ｏｔは、未知の環境２０４内の最後の地点２２４の周囲で得られる。同様に、最後のセンサ観測値ｏｔは、初期マップｍｉを更新するためには使用されない。未知の環境２０４内の自律車両２０２の位置２０８は、初期マップｍｉ内の最終位置ｘｔとして更新される。次いで、自律車両２０２は、初期マップｍｉ内の最後の位置ｘｔに従って、次の地点に対する最後の地点２２４の周囲に自律車両２０２を移動させるための最後の制御値ｕｔを生成する。
【0053】
マッピングステージ２３０では、未知の環境１０４が第１の所定の閾値を大きく超えて変化するので、初期マップｍｉには適用できない。更新されたセンサ観測値ｏｉｉは未知の環境２０４から得られ、初期マップｍｉを未知の環境２０４の第１の更新されたマップｍｉｉに更新する（２３２）ために、自律車両２０２に送信される。次いで、自律車両１０２を誘導するために、位置推定ステージ２２０が繰り返され（２３４）、第１の更新された地図ｍｉを用いて未知の環境１０４内を移動する。同様に、未知の環境１０４が第２の所定の閾値及びその後の所定の閾値を大きく超えて変化するときに、更新されたマップｍｉｉは、それぞれ、第２の更新されたマップ及びその後の更新されたマップに更新される。
【0054】
図３は、ＳＭＡＬナビゲーション２００のマッピングプロセス３００を示す。マッピングプロセス３００は、検出デバイスから複数の第１の環境データを収集する第１のステップと、複数の第１の環境データを融合データ（ＲＧＢ－Ｄイメージ又はポイントクラウド）にマージする第２のステップ３０４と、エッジ特徴量を検出するための融合データにエッジ検出を適用する第３のステップ３０６と、融合データから第１の路上特徴量のセットを抽出する第４のステップ３０８と、第１の路上特徴量のセットを初期マップに保存する第５のステップ３１０とによって実行される。ＳＭＡＬナビゲーション２００の場合、マッピングプロセス３００は、初期マップ２１２を生成するための初期ステージ２１０、及び初期マップｍｉを第１の更新されたマップｍｉｉに更新する（２３２）ためのマッピングステージに適用できる。同様に、マッピングプロセス３００は、未知の環境が大きく変化するときに、第１の更新されたマップ、第２の更新されたマップ、及びその後の更新されたマップを更新するために適用することもできる。
【0055】
第１のステップ３０２では、第１の環境データが、ＬＩＤＡＲ、カメラ、又はＬＩＤＡＲ及びカメラの組合せのいずれかから検出デバイスとしてフレームバイフレームで収集される。第２のステップ３０４では、フレームが位置合わせされ、単一のフレームにマージされる。マージ中には、リアルタイムキネマティック（ＲＴＫ）、米国の全地球測位システム（ＧＰＳ）、中国の北斗、欧州のガリレオ及びロシアのＧＬＯＮＡＳＳを含む全球測位衛星システム（ＧＮＳＳ）、並びに慣性計測装置（ＩＭＵ）ナビゲーションシステム（ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステムと略す）も関与する。各フレームは、ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステム（正常フレームとして知られる）からのその正確な位置に関連付けられる。フレームのＧＮＳＳの位置がドリフトしている（下位フレームとして知られる）場合、下位フレームは正確な位置を有さない。この場合、下位フレーム及び正常フレームのオーバーラップから、下位フレームの正確な位置が決定される。オーバーラップが見つからないか、又は十分なオーバーラップが見つからない場合、下位フレームは放棄され、下位フレームを置き換えるために下位フレームの近くに新しいフレームを取得する。第３のステップ３０６では、エッジ検出アルゴリズムを単一フレームに適用して、エッジ特徴量を検出する。第４のステップ３０８では、エッジ特徴量にブロブ検出アルゴリズムを適用して、エッジ特徴量から路上特徴量を抽出する。第５のステップ３１０では、路上特徴量が、初期マップｍｉ、第１の更新されたマップｍｉｉ、第２の更新されたマップ及びその後の更新されたマップに組み込まれる。
【0056】
図４は、ＳＭＡＬナビゲーション２００の位置推定プロセス４００を示す。位置推定プロセス４００は、移動体の近くの複数の第２の環境データを収集する第１のステップ４０２と、第２の環境データから第２の路上特徴量のセットを認識する第２のステップ４０４と、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせる第３のステップ４０６と、初期マップｍｉ、第１の更新されたマップｍｉｉ、第２の更新されたマップ、及びその後の更新されたマップを含む、マップ１０６内の自律車両１０２の位置１０８を更新する第４のステップとによって実行される。位置推定ステージ２２０及びマッピングステージ２３０を繰り返すことによって、自律車両１０２は、ＳＭＡＬナビゲーション２００によって未知の環境１０４内を移動するように誘導される。
【0057】
本出願では、別段の指定がない限り、用語「備えている」、「備える」、及びその文法的変形は列挙された要素を含むが、追加の非明示的に列挙された要素の包含も可能にするように、「開放的」又は「包括的」言語を表すことを意図する。
【0058】
本明細書で使用される場合、用語「約」は、配合物の成分の濃度の文脈においては、代表的には記載された値の＋／－５％、より代表的には記載された値の＋／－４％、より代表的には記載された値の＋／－３％、より代表的には記載された値の＋／－２％、更により代表的には記載された値の＋／－１％、及び更により代表的には記載された値の＋／－０．５％を意味する。
【0059】
本開示を通じて、特定の実施例は範囲形式で開示され得る。範囲形式での記載は、単に便宜及び簡潔さのためであり、開示された範囲の有効範囲について不可変の限定として解釈されるべきではない。したがって、範囲の記載は、すべての可能な副次的範囲並びにその範囲内の個々の数値を具体的に開示したものとみなされるべきである。例えば、１～６のような範囲の記載は、１～３、１～４、１～５、２～４、２～６、３～６などの副次的範囲、並びにその範囲内の個々の数値、例えば、１、２、３、４、５、及び６を具体的に開示したものとみなされるべきである。これは、範囲の幅に関係なく適用される。
【0060】
本出願の趣旨及び範囲から逸脱することなく、前述の開示を読んだ後、本出願の様々な他の変更及び適合が当業者には明らかであり、すべてのそのような変更及び適合が添付の特許請求の範囲内に入ることが意図されることが明らかであろう。
【符号の説明】
【0061】
１００ 自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ナビゲーション
１０２ 自律車両
１０４ 未知の環境
１０６ マップ
１０８ 位置
１１０ 第１のステップ
１１２ 出発地点
１１３ 目的地点
１１４ 第１の離散時間ステップ
１２０ 第２のステップ
１２２ 第２の地点
１２４ 第２の離散時間ステップ
１３０ 第２の最終ステップ
１３２ 第２の最後の地点
１３４ 第２の最後の離散時間ステップ
１４０ 最終ステップ
２００ 順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーション
２０２ 自律車両
２０４ 未知の環境
２０６ マップ
２０８ 位置
２１０ 初期ステージ
２１２ 初期マップの生成
２２０ 位置推定ステージ
２２２ 第１の地点
２２４ 最後の地点
２３０ マッピングステージ
２３２ 初期マップの更新
２３４ 位置推定ステージ２２０の繰り返し
３００ マッピングプロセス
３０２ 第１のステップ
３０４ 第２のステップ
３０６ 第３のステップ
３０８ 第４のステップ
３１０ 第５のステップ
４００ 位置推定プロセス
４０２ 第１のステップ
４０４ 第２のステップ
４０６ 第３のステップ
４０８ 第４のステップ
ｏ１ 第１のセンサ観測値
ｍ１ 第１のマップ
ｘ１． 第１の位置
ｕ１ 第１の制御値
ｏ２ 第２のセンサ観測値
ｍ２ 第２のマップ
ｘ２． 第２の位置
ｕ２ 第２の制御値
ｏｔ－１ 第２の最後のセンサ観測値
ｍｔ－１ 第２の最後のマップ
ｘｔ－１． 第２の最後の位置
ｕｔ－１ 第２の最後の制御値
ｏｔ 最後のセンサ観測値
ｍｔ 最後のマップ
ｘｔ． 最後の位置
ｕｔ 最後の制御値
ｏｉ 初期のセンサ観測値
ｍｉ 初期マップ
ｏｉｉ 更新されたセンサ観測値
ｍｉｉ 第１の更新されたマップ
１０２ 自律車両
１０４ 未知の環境
１０６ マップ
１０８ 位置
１１０ 第１のステップ
１１２ 出発地点
１１３ 目的地点
１１４ 第１の離散時間ステップ
１２０ 第２のステップ
１２２ 第２の地点
１２４ 第２の離散時間ステップ
１３０ 第２の最終ステップ
１３２ 第２の最後の地点
１３４ 第２の最後の離散時間ステップ
１４０ 最終ステップ
２００ 順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーション
２０２ 自律車両
２０４ 未知の環境
２０６ マップ
２０８ 位置
２１０ 初期ステージ
２１２ 初期マップの生成
２２０ 位置推定ステージ
２２２ 第１の地点
２２４ 最後の地点
２３０ マッピングステージ
２３２ 初期マップの更新
２３４ 位置推定ステージ２２０の繰り返し
３００ マッピングプロセス
３０２ 第１のステップ
３０４ 第２のステップ
３０６ 第３のステップ
３０８ 第４のステップ
３１０ 第５のステップ
４００ 位置推定プロセス
４０２ 第１のステップ
４０４ 第２のステップ
４０６ 第３のステップ
４０８ 第４のステップ
ｏ１ 第１のセンサ観測値
ｍ１ 第１のマップ
ｘ１． 第１の位置
ｕ１ 第１の制御値
ｏ２ 第２のセンサ観測値
ｍ２ 第２のマップ
ｘ２． 第２の位置
ｕ２ 第２の制御値
ｏｔ－１ 第２の最後のセンサ観測値
ｍｔ－１ 第２の最後のマップ
ｘｔ－１． 第２の最後の位置
ｕｔ－１ 第２の最後の制御値
ｏｔ 最後のセンサ観測値
ｍｔ 最後のマップ
ｘｔ． 最後の位置
ｕｔ 最後の制御値
ｏｉ 初期のセンサ観測値
ｍｉ 初期マップ
ｏｉｉ 更新されたセンサ観測値
ｍｉｉ 第１の更新されたマップ
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2021-01-27
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年１２月３０日にＩＰＯＳ（Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｏｆｆｉｃｅ ｏｆ Ｓｉｎｇａｐｏｒｅ）に出願された、シンガポール特許出願第１０２０１９１３８７３Ｑ号の出願日を優先日として主張するものであり、「Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ（ＳＭＡＬ）ｆｏｒ Ｎａｖｉｇａｔｉｏｎ」と同じ表題のものである。先の優先特許出願のすべての関連する内容及び／又は主題は、適切な場合はいつでも参照により本明細書に組み込まれる。
【0002】
本出願は、移動体をナビゲートするようなナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ：Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）の方法に関する。また、本出願は、ナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステム、並びにナビゲーション用の順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するためのコンピュータプログラム製品を開示する。
【背景技術】
【0003】
移動体のナビゲートを始めとするナビゲーションは、マッピングプロセス及び位置推定プロセスを含む。位置推定は、移動体（自律車両又はロボットなど）にとって主要な機能である。移動体は、移動体自体を目的地にナビゲートし、そのタスクを完了する前に、移動体の位置及び方向を知る必要がある。従来、リアルタイムキネマティック（ＲＴＫ：Ｒｅａｌ－Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）、米国の全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、中国の北斗（Ｂｅｉｄｏｕ）、欧州のガリレオ（Ｇａｌｉｌｅｏ）及びロシアのＧＬＯＮＡＳＳを含む全球測位衛星システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、並びに慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のナビゲーションシステム（ＲＴＫ‐ＧＮＳＳ／ＩＭＵナビゲーションシステムと略す）が、移動体のナビゲーションに使用される。また、高解像度マップ（ＨＤマップ）も位置推定のために提供される。ＨＤマップは、予め収集される。近年、移動体（自律車両又はロボットなど）の位置推定機能に、地図内の移動体の位置の経過を追いながら同時に、未知の環境の地図を構成又は更新することによる、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ソリューションが使用される。ＳＬＡＭソリューションは、建物、樹木、公道の柱、又は屋内環境の壁、テーブル、椅子など、その環境内で十分に固定された周囲特徴量がある場合にうまく機能する。
【0004】
しかしながら、ＧＮＳＳの衛星信号がガントリークレーン又はコンテナターミナル内の積み重ねられたコンテナによって容易に遮断されるときには、ＧＮＳＳの結果が大きくドリフトすることが多いので、コンテナターミナルのようないくつかの特定の領域ではＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステムはうまく機能しない。ＨＤマップには、位置推定のための構造体、経路計画のためのマーキング形成を伴うレーン接続部、及びきれいなグラフィカルユーザーインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のための詳細なマーキング位置など、複数の目標がある。そのため、ＨＤマップは、独立して生成され、依然として、建物、樹木、柱及びその他のものなど、ＨＤマップ内の構造体に基づいている。
【0005】
一方、ＳＬＡＭソリューションは、コンテナターミナル及び空港フィールドのような開放環境では、固定された周囲物体がほとんど存在しない場合も、満足のいく程度にパフォーマンスを発揮しない。例えば、コンテナターミナルには多くのコンテナが存在するが、それらは固定されておらず、それらの位置は大きく変化し、ＳＬＡＭソリューションの位置推定結果に悪影響を及ぼす。コンテナターミナルでは、自律車両はまだ配備されていないが、無線自動識別（ＲＦＩＤ：Ｒａｄｉｏ－Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ又は超広帯域（ＵＷＢ：Ｕｌｔｒａ－ｗｉｄｅｂａｎｄ）ステーションのように、大規模なビーコンを環境内に配備する必要がある無人搬送車（ＡＧＶ：Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）のみが配備されている。
【0006】
本出願に関連する背景技術として、ＯＣＥＡＮＳ ２０１０， ＩＥＥＥ （ＸＰ０３１８３２８１６， ＩＳＢＮ： ９７８－１－４２４４－４３３２－１）の１～７頁にて出版された非特許文献「Ｔｈｅ ＨＵＧＩＮ ｒｅａｌ－ｔｉｍｅ ｔｅｒｒａｉｎ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ」を含む。インサイチュ（ｉｎ ｓｉｔｕ）での順次マッピング及び位置推定の技術が採用され、それは、マッピング及び位置推定が分離された状態として考慮される点でＳＬＡＭとは異なる。また、背景技術として、ＯＣＥＡＮＳ ２０１５， ＭＴＳ／ＩＥＥＥ （ＸＰ０３２８６１８３９）の１～５頁にて出版された非特許文献「Ｉｍｐｒｏｖｉｎｇ ａｕｔｏｎｏｍｏｕｓ ｎａｖｉｇａｔｉｏｎ ａｎｄ ｐｏｓｉｔｉｏｎｉｎｇ ｆｏｒ ｃｏｍｍｅｒｃｉａｌ ＡＵＶ ｏｐｅｒａｔｉｏｎｓ」を含む。同様に、インサイチュ（ｉｎ ｓｉｔｕ）での順次マッピング及び位置推定の技術が採用されて、既存のＤＴＭなしでテライン・ナビゲーション（ｔｅｒｒａｉｎ ｎａｖｉｇａｔｉｏｎ）を実行する能力を提供する。特に、ＤＴＭはＳＬＡＭがそうであるように同時に推定しない。背景技術として、さらに欧州特許出願第１８２００４７５．４号（欧州特許第３４５１０９７号として公開された）を含み、ある環境におけるロボットデバイスの動的なマッピング動作のための方法及びシステムが、ロボットデバイスの動的に維持されたマップに基づいて提供される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】欧州特許第３４５１０９７号
【非特許文献】
【0008】
【非特許文献1】Ｔｈｅ ＨＵＧＩＮ ｒｅａｌ－ｔｉｍｅ ｔｅｒｒａｉｎ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ，ＯＣＥＡＮＳ ２０１０， ＩＥＥＥ （ＸＰ０３１８３２８１６， ＩＳＢＮ： ９７８－１－４２４４－４３３２－１），ｐ．１～７
【非特許文献2】Ｉｍｐｒｏｖｉｎｇ ａｕｔｏｎｏｍｏｕｓ ｎａｖｉｇａｔｉｏｎ ａｎｄ ｐｏｓｉｔｉｏｎｉｎｇ ｆｏｒ ｃｏｍｍｅｒｃｉａｌ ＡＵＶ ｏｐｅｒａｔｉｏｎｓ，ＯＣＥＡＮＳ ２０１５， ＭＴＳ／ＩＥＥＥ （ＸＰ０３２８６１８３９），ｐ．１－５
【発明の概要】
【課題を解決するための手段】
【0009】
したがって、本出願は、開放環境（空港フィールド及びコンテナターミナルなど）における移動体（自律車両又はロボットなど）の位置推定問題を解決するための順次マッピング及び位置推定（ＳＭＡＬ）の方法を開示する。ＳＭＡＬの方法では、マッピング及び位置推定のために、１つ又は複数の既存の自然のままの路上特徴量を連続的に使用する。
【0010】
第１の態様として、本出願は、移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）の方法（すなわち、ＳＭＡＬの方法）を開示する。ＳＭＡＬの方法は、マッピングプロセスにおいて未知の環境の初期マップを生成するステップと、位置推定プロセスにおいて初期マップ内の移動体の位置を決定するステップと、例えば、移動体に対する制御値又は命令を作成することによって、未知の環境内の移動体を誘導するステップとを含む。ＳＬＡＭソリューションとは対照的に、ＳＭＡＬの方法は、生成ステップにおけるマッピングプロセスを、計算ステップにおける位置推定プロセスから分離する。更に、未知の環境の一連の観測値は、未知の環境が移動体の近くで大きく変化しない限り、初期マップを更新するために離散時間ステップにわたって計ることはない。
【0011】
未知の環境は、選択的に、いかなるビーコンもない開放領域（空港フィールド又はコンテナターミナルなど）を含む。開放領域内の自律車両（ＲＦＩＤタグ又はＵＷＢステーションなど）のための現在の技術とは対照的に、ＳＭＡＬの方法は、未知の環境を検出し、移動体に信号を送信するためのビーコンを構築又は確立する必要がない。更に、ＳＭＡＬの方法は、ビーコンが未知の環境で構築される場合、現在の技術と併用して採用され得る。その上、ＳＭＡＬの方法は、市街地のような開放領域以外の未知の環境において、ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステム、高解像度マップ（ＨＤマップ）、及び／又はＳＬＡＭソリューションを含む従来の技術と連携して機能してもよい。
【0012】
マッピングプロセスは、未知の環境の初期マップを構成するために使用される。ＳＭＡＬの方法のマッピングプロセスは、検出デバイスから複数の第１の環境データを収集するステップと、複数の第１の環境データを融合データ（ＲＧＢ－ＤＤイメージ又はポイントクラウド）にマージするステップと、エッジ特徴量を検出するために融合データにエッジ検出を適用するステップと、融合データから第１の路上特徴量のセットを抽出するステップと、第１の路上特徴量のセットを初期マップに保存するステップとによって選択的に実行される。第１の環境データは、路上特徴量及び周囲特徴量を含む未知の環境の多くの特徴量を記述する。周囲特徴量（建物、樹木、及び柱など）を使用する現在の技術とは対照的に、ＳＭＡＬの方法は、路上特徴量が既に開放領域内で利用可能であるため、開放領域内では適応性がいっそう高くなる。
【0013】
収集するステップの検出デバイスは、選択的に、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備える。距離ベースのセンサは、特徴量が豊富でないにもかかわらず、正確な深度情報を提供する。対照的に、視覚ベースのセンサは、深度の推定値を欠く特徴量が豊富な情報を提供する。したがって、距離ベースのセンサ及び視覚ベースのセンサとの組合せは、深度の推定値と十分な特徴量の両方を有する情報を提供し得る。
【0014】
距離ベースのセンサは、光検出測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、音響センサ、又はそれらの組合せを備え得る。音響センサは、移動する物体から反射したエコー音信号を受信することにより移動する物体の位置を特定する音響ナビゲーション測距（ＳＯＮＡＲ：Ｓｏｕｎｄ Ｎａｖｉｇａｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサとしても知られている。音響センサは、通常、０．０１～１ワットの範囲の消費電力、及び２～５メートルの深度範囲を有する。音響センサは、一般に、色及び透過性には影響を受けず、したがって、暗い環境に好適である。特に、音響センサは、２０ｋＨｚを超える超音波を使用する超音波センサを備え得る。超音波センサは、深度情報の精度がより高いことがあり得る。更に、音響センサは、数立方インチ以内のコンパクトな外形を有する。しかしながら、音響センサは、エコー音信号が柔軟な材料によって容易に吸収されるので、未知の環境が多くの柔軟な材料を有する場合にはうまく機能しない。音響センサの処理能力は、温度、湿度、及び圧力などの未知の環境の他の要因によっても影響され得る。音響センサの検出結果を補正するために、音響センサの処理能力に補償を加え得る。
【0015】
ＬＩＤＡＲは、音響センサと同様の動作原理を有する。音波の代わりに、ＬＩＤＡＲは、エコー信号として電磁波（光など）を採用している。ＬＩＤＡＲは、１秒間に最大１００万パルスを放つことで、未知の環境から３６０度の可視性で３次元（３Ｄ）ビジュアライゼーション（ポイントクラウドと呼ばれる）を選択的に生成する。ＬＩＤＡＲは、通常５０～２００ワットの範囲の音響センサよりも高い消費電力を有し、通常５０～３００メートルのより深い深度範囲を有する。特に、ＬＩＤＡＲは、深度精度がより高く、音響センサよりも高い深度精度を有し得、これらは両方とも数センチメートル（ｃｍ）以内である。更に、ＬＩＤＡＲは、０．１～１度の範囲の正確な角度分解能を提供し得る。したがって、ＬＩＤＡＲは、自律車両の用途として音響センサよりも好ましい。例えば、Ｖｅｌｏｄｙｎｅ ＨＤＬ－６４Ｅ ＬＩＤＡＲは、自動運転車に好適である。しかしながら、ＬＩＤＡＲは、かさばる外形を有しており、また低電力用途には好適ではない。
【0016】
視覚ベースのセンサは、単眼カメラ、全方位カメラ、イベントカメラ、又はそれらの組合せを備える。単眼カメラは、カラーＴＶ及びビデオカメラ、イメージスキャナ、並びにデジタルカメラを含む、１つ又は複数の標準ＲＧＢカメラを備え得る。単眼カメラは、選択的に、単純なハードウェア（ＧｏＰｒｏ Ｈｅｒｏ－４など）、及び数立方インチの範囲のコンパクトな外形を有し、したがって、単眼カメラは、いかなる追加のハードウェアなしで、小さな移動体（携帯電話など）に取り付け得る。また、単眼カメラは、標準のＲＧＢカメラが受動センサであるため、０．０１～１０ワットの範囲の消費電力を有する。しかしながら、単眼カメラは、単眼カメラが静止イメージから深度情報を直接推測することができないので、複雑なアルゴリズムと連動して機能する必要がある。更に、単眼カメラには、スケールドリフトの問題がある。
【0017】
全方位カメラは、２つの魚眼レンズを有するＳａｍｓｕｎｇ Ｇｅａｒ ３６０、ＧｏＰｒｏ Ｆｕｓｉｏｎ、Ｒｉｃｏｈ Ｔｈｅｔａ Ｖ、Ｄｅｔｕ Ｔｗｉｎ、ＬＧＲ１０５、及びＹｉ Ｔｅｃｈｎｏｌｏｇｙ ３６０ＶＲなど、３６０度の視界を有する１つ又は複数の標準のＲＧＢカメラを備えることもあり得る。このように、全方位では、いかなる後処理もせずにリアルタイムでパノラマ写真を提供し得る。全方位カメラは、コンパクトな外形及び１～２０ワットの範囲の消費電力を有する。しかしながら、全方位カメラは深度情報を提供できない。
【0018】
イベントカメラ（ダイナミック視覚センサなど）は、バイオインスパイアード視覚センサであり、標準の輝度フレームの代わりにピクセルレベルの輝度変化を出力する。したがって、イベントカメラは、高いダイナミックレンジ、モーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）がないこと、及びマイクロ秒オーダーのレイテンシなど、いくつかの利点を有する。イベントカメラは還元情報（ｒｅｄｕｃｔａｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をキャプチャしないので、非常に電力効率が良い。イベントカメラは、通常、０．１５～１ワットの範囲の消費電力を有する。しかしながら、イベントカメラは、高い時間分解能及び非同期イベントを探索する特別なアルゴリズムを必要とする。従来のアルゴリズムは、実際の強度イメージではなく一連の非同期イベントを出力するイベントカメラには好適ではない。
【0019】
或いは、検出デバイスは、選択的に、ＲＧＢ－Ｄセンサ、ステレオカメラ、又は同様のものを備える。ＲＧＢ－Ｄセンサ又はステレオカメラは、深度情報と豊富な特徴量情報の両方を提供できる。ＲＧＢ－Ｄセンサ（Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ ＲＧＢ－Ｄセンサなど）では、単眼カメラ、赤外線（ＩＲ）送信機、及びＩＲ受信機を組み合わせて提供する。したがって、ＲＧＢ－Ｄセンサは、シーンの詳細及びシーンの各ピクセルの推定深度を提供し得る。特に、ＲＧＢ－Ｄセンサは、構造光（ＳＬ：Ｓｔｒｕｃｔｕｒａｌ Ｌｉｇｈｔ）技術又は飛行時間（ＴＯＦ：Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）技術の２つの深度計算技術を選択的に使用する。ＳＬ技術は、赤外線（ＩＲ）スペックルパターンを投影するためにＩＲ送信機を使用し、次いで、ＩＲ受信機によってキャプチャされる。ＩＲスペックルパターンは、既知の深度で予め提供される基準パターンと部分毎に比較される。ＲＧＢ－Ｄセンサは、ＩＲスペックルパターンと基準パターンをマッチングした後、各ピクセルにおける深度を推定する。一方、ＴＯＦ技術は、ＬＩＤＡＲと同様の原理で機能する。ＲＧＢ－Ｄセンサは、通常、２～５ワットの範囲の消費電力、及び３～５メートルの深度範囲を有する。更に、ＲＧＢ－Ｄセンサは、単眼カメラに起因するスケールドリフトの問題も有する。
【0020】
ステレオカメラ（Ｂｕｍｂｌｅｂｅｅ Ｓｔｅｒｅｏ Ｃａｍｅｒａなど）は、深度情報を計算するために、両方とも同じシーンを観察する２つのカメラ画像の視差を使用する。ＲＧＢ－Ｄセンサとは対照的に、ステレオカメラは、受動カメラであり、それにより、スケールドリフトの問題はない。ステレオカメラは、２～１５ワットの範囲の消費電力を有し、５～２０メートルの深度範囲を有する。更に、ステレオカメラは、一般に、２、３ミリメートル（ｍｍ）から数センチメートル（ｃｍ）の範囲の深度精度を有する。
【0021】
移動体は、選択的に、検出デバイスと通信するための通信ハブ、及び地上で移動体を移動させるための駆動機構（モータなど）を有する。移動体は、通信ハブから未知の環境の観測値を受信し、観測値を処理して、移動体を移動させるように誘導するための駆動機構への命令を生成するための処理ユニットを更に備え得る。したがって、検出デバイス、処理ユニット、及び駆動機構は、未知の環境内で移動するために移動体を誘導するための閉ループを形成する。いくつかの実施態様では、検出デバイスは移動体に搭載され、それにより、検出デバイスが移動体とともに移動する（動的検出デバイスと呼ばれる）。動的検出デバイスは、選択的に、未知の環境から３６０度の可視性を検出するために、移動体のブロックされていない位置（移動体の屋根又は頂部など）にある。いくつかの実施態様では、検出デバイスは、未知の環境で静的に構成され、それにより、移動体とともに移動はしない（静的検出デバイスと呼ばれる）。静的検出デバイスは、静的検出デバイスの脇を通過する移動体に観測値を送信する。したがって、静的検出デバイスは、未知の環境が相当安定した状態にあるので、離散時間ステップにわたって観測値を取得する必要がない。その代わりに、静的検出デバイスは、未知の環境が大きく変化するときにのみ機能するように作動する。
【0022】
路上特徴量は、開放領域（公道など）に既に存在する。抽出ステップにおける第１の路上特徴量のセットは、選択的に、マーキング（白色マーキング及び黄色マーキングなど）、道路縁石、草、特別な線、スポット、道路の端、異なる道路表面の端、又はそれらの任意の組合せを含む。路上特徴量は、特に夜間及び雨天において、周囲特徴量（建物、樹木及び柱など）よりも正確であり、区別可能である。いくつかの実施態様では、検出デバイスは、夜間及び雨天時にリアルタイムで検出するために、距離ベースのセンサとしてＬＩＤＡＲ、及び視覚ベースのセンサとしてカメラを備える。いくつかの実施態様では、ＬＩＤＡＲが夜間及び雨天時にカメラよりも正確な位置推定を提供し得るので、検出デバイスはＬＩＤＡＲのみを備える。
【0023】
検出デバイスは、収集するステップにおいて、未知の環境から第１の環境データとともにノイズを収集し得る。マッピングプロセスは、第１の環境データからノイズを除去するために、確率論的アプローチを第１の環境データに適用するステップを更に備え得る。確率論的アプローチは、最初にノイズと第１の環境データを分配し、次にノイズを異常情報として特定し、最後に第１の環境データから異常情報を除去することにより、第１の環境データ（路上特徴量及び周囲特徴量を含む）からノイズを分離する。確率論的アプローチは、選択的に、再帰的ベイズ推定（ベイズフィルタとしても知られる）を備える。再帰的ベイズ推定は、システムに関する与えられた逐次的な観測値又は測定値を、時間内に導き出すシステムの動的状態を推定するのに好適である。したがって、未知の環境が大きく変化した場合に実行されるマッピング処理に、再帰的ベイズ推定を適用することができる。
【0024】
マッピングプロセスは、選択的に、オフライン方式で行われる。マッピングプロセスは、一旦保存ステップが終了すると完了し、未知の環境が大きく変化しない限り作動しようとしない。すなわち、初期マップは、未知の環境が大きく変化しない限り、同一に保たれ、更新されないので、移動体を誘導するために適用できない。
【0025】
収集するステップは、選択的に、フレームバイフレーム方式で実行される。すなわち、第１の環境データを提示するために複数のフレームが収集される。フレームは、カメラ、ＬＩＤＡＲ、又はカメラ及びＬＩＤＡＲの組合せなどの検出デバイスから得られる。
【0026】
マージするステップは、選択的に、フレームをＲＴＫ－ＧＮＳＳ／ＩＭＵなどの世界座標システムに位置合わせすることによって実行される。特に、各フレームは、ＲＴＫ－ＧＮＳＳ／ＩＭＵなどの世界座標システムからの位置に関連付け得る。各フレームは、ＲＴＫ－ＧＮＳＳ／ＩＭＵからの正確な位置に関連付けられるようになっている。マージするステップは、選択的に、ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステムなどの世界座標システムにおいて、不正確な位置を有する下位フレームを補正するステップを更に含む。不正確な位置は、ＲＴＫ－ＧＮＳＳ／ＩＭＵにおける下位フレームのその実際の位置からドリフトしている。すなわち、ＧＮＳＳの位置が実際の位置からドリフトしている場合、正確な位置は、下位フレームに関連付けられるために利用できない。補正するステップは、選択的に、元のオーバーラップ又は正確な位置を有する他のフレーム（正常フレームとして知られる）との下位フレームのオーバーラップを参照することによって実行される。しかしながら、補正するステップは、下位フレームの正確な位置を決定するのに十分なオーバーラップを必要とする。オーバーラップがその目的のために十分でない場合、補正するステップは、多くの元のオーバーラップがある閾値未満であるときに、追加のオーバーラップを生成するために、下位フレームの近くの検出デバイスから追加の正常フレームを収集するステップを備え得る。すなわち、十分なオーバーラップを生成するために、追加の正常フレームが下位フレームの近くで収集される。或いは、下位フレームは放棄され、新しい正常フレームが下位フレームのＧＮＳＳの位置に収集される。
【0027】
エッジ検出には、一般に、単一イメージ又はポイントクラウド内の特定のポイントを識別するための様々な数学的方法が適用される。特定のポイントは、不連続性を有し、すなわち、特定のポイントの各々におけるいくつかの特性（輝度など）は急激に変化する。特定のポイントは、通常、エッジとして知られる一組の線分に編成される。路上特徴量はそれぞれの隣接した環境からの示差的特性を有するので、エッジ検出は路上特徴量を認識するために使用され得る。エッジ検出は、選択的に、路上特徴量を抽出するためのブロブ検出を備える。ブロブは、特性が実質的に一定又はほぼ一定である領域として定義される。このように、特性は、単一イメージ又はポイントクラウド上の各ポイントの機能として表される。エッジ検出は、微分法若しくは関数に対する極値に基づく方法又は深層学習によって実行され得る。微分法は、位置に関する関数の導関数に基づき、一方、極値に基づく方法は、関数の極大値及び極小値を見つけることを目標とする。ブロブ検出は、選択的に、単一イメージ又はポイントクラウドの畳み込みを備える。ブロブ検出は、最大応答を見つけるためのいくつかのスケールでのラプラシアン、Ｋ平均距離でのクラスタリング、及び深層学習を含む、異なる方法で実行され得る。
【0028】
マッピングアルゴリズムを以下に示す。
ＳＭＡＬにおけるマッピングアルゴリズムの擬似コード。
入力：カメラからのイメージ｛Ｉ｝及び／又はＬｉｄａｒからのポイントクラウド｛Ｃ｝
出力：マップＭ
アルゴリズム：
ＳＭＡＬにおけるマッピングアルゴリズムの擬似コード。
入力：カメラからのイメージ｛Ｉ｝及び／又はＬｉｄａｒからのポイントクラウド｛Ｃ｝
出力：マップＭ
アルゴリズム：
【数1】
【0029】
位置推定プロセスは、未知の環境内の移動体を、初期マップ内のその対応する位置に決定するために使用される。位置推定プロセスは、選択的に、移動体の近くの複数の第２の環境データを収集するステップと、第２の環境データから第２の路上特徴量のセットを認識するステップと、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせるステップとによって実行される。次に、初期マップ内のその位置に基づいて未知の環境内で移動するように移動体を誘導する。更に、位置プロセスは、選択的に、移動後の初期マップ内の移動体の位置を更新するステップを更に備える。
【0030】
いくつかの実装態様では、第２の環境データは、動的検出デバイス及び静的検出デバイスを含む、第１の環境データを生成する検出デバイス（すなわち、既存の検出デバイス）から収集される。いくつかの実施態様では、第２の環境データが追加の検出デバイスから収集される。また、追加の検出デバイスは、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備え得る。追加の検出デバイスは、単独で機能するか、又は既存の検出デバイスと連動して機能し得る。
【0031】
マッピングプロセスとは対照的に、位置推定プロセスは、選択的に、オンライン方式で実行される。すなわち、初期マップ内の移動体の位置は、離散時間ステップにわたって未知の環境内の移動オブジェクションの位置と一致して更新される。
【0032】
未知の環境は、移動体が通過する間に移動しない静的特徴量、及び移動体の周りを能動的に移動する動的特徴量を備え得る。例えば、多くの車両が、乗客及び物品を運搬するために空港フィールドに現れ得る。別の実例としては、コンテナを持ち上げて移動するために、コンテナターミナル内で少数のフォークリフトが作業し得る。したがって、移動体は、未知の環境における動的特徴量とのいかなる衝突も回避するために誘導されるべきである。位置推定プロセスの収集するステップは、選択的に、移動体の近くの静的特徴量の第２の環境データの第１の部分を、移動体の近くの動的特徴量の第２の環境データの第２の部分から分離するステップを備える。
【0033】
位置プロセスの収集するステップは、選択的に、動的特徴量の観測値を経時的に集約することによって、移動体の近くの動的特徴量を追跡するステップを更に備える。いくつかの実装態様では、追跡ステップが、観測値からその状態を経時的に推定するためのフィルタリング法を使用して、特定の動的特徴量を追跡するステップを備える。いくつかの実装態様では、追跡ステップが、観測値をそれらそれぞれの動的特徴量に対して識別するためのデータ結合を使用して複数の動的特徴量を追跡するステップと、観測値からその状態を経時的に推定するためのフィルタリング法を使用して各々の複数の動的特徴量を追跡するステップとを備える。
【0034】
ＳＭＡＬの方法は、未知の環境が第１の所定の閾値を超えて変化するときに、初期マップを第１の更新されたマップに更新するステップを更に備え得る。初期マップは、未知の環境内の移動体を誘導するために第１の更新されたマップと置き換えられる。同様に、ＳＭＡＬの方法は、未知の環境が第２の所定の閾値を超えて変化したときに、第１の更新されたマップを第２の更新されたマップに更新するステップを更に備え得る。第１の更新されたマップは、未知の環境内の移動体を誘導するために、第２の更新されたマップと置き換えられる。同様に、ＳＭＡＬの方法は、未知の環境が第３の所定の閾値及び他の後続の所定の閾値を超えて変化するときに、第２の更新されたマップ及び他の後続の更新されたマップをそれぞれ更新するステップを備えることもあり得る。
【0035】
第２の態様として、本出願は、移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステムを開示する。このシステムは、マッピング機構を使用して未知の環境の初期マップを生成する手段と、位置推定機構を使用して初期マップ内の移動体の位置を決定する手段と、制御値又は命令を作成することによって未知の環境内の移動体を誘導する手段とを備える。
【0036】
マッピング機構は、選択的に、検出デバイスから複数の第１の環境データを収集する手段と、複数の第１の環境データを融合データ（ＲＧＢ－Ｄイメージ又はポイントクラウド）にマージする手段と、エッジ特徴量を検出するために融合データにエッジ検出を適用する手段と、融合データから第１の路上特徴量のセットを抽出する手段と、第１の路上特徴量のセットを初期マップに保存する手段とを備える。特に、マッピング機構は、オフライン方式で動作し得る。
【0037】
位置推定機構は、選択的に、移動体の近くの複数の第２の環境データを収集する手段と、第２の環境データから第２の路上特徴量のセットを認識する手段と、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせる手段とを備える。特に、位置推定機構は、オンライン方式で動作し得る。更に、位置推定機構は、初期マップ内の移動体の位置を更新する手段を更に備え得る。
【0038】
このシステムは、選択的に、未知の環境が第１の所定の閾値を超えて変化したときに、初期マップを第１の更新されたマップに更新する手段を更に備える。すなわち、未知の環境の変化が第１の所定の閾値よりも小さい場合には、初期マップを更新する手段は作動しない。
【0039】
このシステムは、選択的に、未知の環境が第２の所定の閾値を超えて変化したときに、第１の更新されたマップを第２の更新されたマップに更新する手段を更に備える。すなわち、未知の環境の変化が第２の所定の閾値よりも小さい場合、第１の更新されたマップを更新する手段は作動しない。同様に、このシステムは、未知の環境が第３の所定の閾値及び他の後続の所定の閾値を超えて変化したときに、第２の更新されたマップ及び他の後続の更新されたマップを更新する手段をそれぞれ備えることもあり得る。
【0040】
第３の態様として、本出願は、移動体をナビゲートするための順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するために、コンピュータプログラム命令及びそれに組み入れられたデータを有する非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラム製品を開示する。ＳＭＡＬの方法は、マッピングプロセスにおいて未知の環境の初期マップを生成するステップと、位置推定プロセスにおいて初期マップ内の移動体の位置を決定するステップと、未知の環境内の移動体を誘導するステップとを備える。
【0041】
マッピングプロセスは、選択的に、検出デバイスから複数の第１の環境データを収集するステップと、複数の第１の環境データを融合データ（ＲＧＢ－Ｄイメージ又はポイントクラウド）にマージするステップと、エッジ特徴量を検出するための融合データにエッジ検出を適用するステップと、融合データから第１の路上特徴量のセットを抽出するステップと、第１の路上特徴量のセットを初期マップに保存するステップとによって実行される。特に、マッピングプロセスは、オフライン方式で動作する。
【0042】
位置推定プロセスは、選択的に、移動体の近くの複数の第２の環境データを収集するステップと、第２の環境データから第２の路上特徴量のセットを認識するステップと、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせるステップとによって実行される。特に、位置推定機構は、オンライン方式で動作する。更に、位置推定プロセスは、初期マップ内の移動体の位置を更新するステップを更に備え得る。
【0043】
位置推定アルゴリズムを以下に示す。
ＳＭＡＬにおける位置推定アルゴリズムの擬似コード。
入力：マップＭ、カメラからのイメージＩのフレーム、及び／又はＬｉｄａｒからのポイントクラウドＣ
出力：ポーズ（位置ｐ及び方向ｏ）
メモリ：ポイントＰ＝｛｝
アルゴリズム：
ＳＭＡＬにおける位置推定アルゴリズムの擬似コード。
入力：マップＭ、カメラからのイメージＩのフレーム、及び／又はＬｉｄａｒからのポイントクラウドＣ
出力：ポーズ（位置ｐ及び方向ｏ）
メモリ：ポイントＰ＝｛｝
アルゴリズム：
【数2】
【0044】
ＳＭＡＬの方法は、未知の環境が第１の所定の閾値を超えて変化するときに、初期マップを第１の更新されたマップに更新するステップを更に備え得る。ＳＭＡＬの方法は、未知の環境が第２の所定の閾値を超えて変化したときに、第１の更新されたマップを第２の更新されたマップに更新するステップを更に備え得る。同様に、ＳＭＡＬの方法は、未知の環境が第３の所定の閾値及び他の後続の所定の閾値を超えて変化するときに、第２の更新されたマップ及び他の後続の更新されたマップをそれぞれ更新するステップを備えることもあり得る。
【0045】
添付の図面（図）は実施例を示し、開示された実施例の原理を説明するのに役立つ。しかしながら、これらの図面は説明のみを目的として提示されており、関連する出願の限定を定義するためではないことを理解されたい。
【図面の簡単な説明】
【0046】
【図1】自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ナビゲーションの概略図である。
【図2】順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーションの概略図である。
【図3】ＳＭＡＬナビゲーションのマッピングプロセスを示す図である。
【図4】ＳＭＡＬナビゲーションの位置推定プロセスを示す図である。
【発明を実施するための形態】
【0047】
図１は、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ナビゲーション１００の概略図を示す。ＳＬＡＭナビゲーション１００は、未知の環境１０４内の自律車両１０２を出発地点１１２から目的地点１１３までナビゲートするために使用される。ＳＬＡＭナビゲーション１００が地図１０６内の自律車両１０２の位置１０８を同時に追跡し続けるために、未知の環境１０４の地図１０６は離散時間ステップ（ｔ）にわたって構成され、更新される。
【0048】
第１のステップ１１０では、自律車両１０２は出発地点１１２にあり、出発地１１２の周囲で第１のセンサ観測値ｏ１が得られる。第１のセンサ観測値ｏ１は、出発地点１１２の周囲の第１のマップｍ１を構成するために自律車両１０２に送信される。自律車両１０２の位置１０８は、第１のマップｍ１では第１の位置ｘ１として計算される。次いで、自律車両１０２は、第１のマップｍ１内の第１の位置ｘ１に従って、未知の環境１０４内の出発地点１１２から自律車両１０２を移動させる第１の制御値ｕ１を生成する。第１のマップｍ１及びその中の第１の位置ｘ１は、第１のステップ１１０において同時に更新されることが明確に示されている。
【0049】
自律車両１０２は、第１の離散時間ステップ１１４の後に、出発地点１１２から第２の地点１２２に移動する。第２のステップ１２０では、自律車両１０２は第２の地点１２２にあり、第２の地点１２２の周囲の第２のセンサ観測値ｏ２が得られる。第２のセンサ観測値ｏ２は、第１のマップｍ１を第２の地点１２２の周囲の第２のマップｍ２に更新するために、自律車両１０２に送信される。第２のマップｍ２内の自律車両１０２の位置１０８は、それに応じて第２の位置ｘ２として更新される。次いで、自律車両１０２は、第２のマップｍ２内の第２の位置ｘ２に従って、未知の環境１０４内の第２の地点１２２から自律車両１０２を移動させる第２の制御値ｕ２を生成する。第２のステップ１２０では、第２のマップｍ２及び第２の位置ｘ２が同時に更新される。
【0050】
自律車両１０２は、第２の離散時間ステップ１２４の後に、第２の地点１２２から次の地点に移動する。このステップバイステップ方式では、自律車両１０２は、未知の環境１０４内で連続的に移動する。一方、位置１０８も、それに応じてマップ１０６内で更新される。第２の最終ステップ１３０では、第２の最後のセンサ観測値ｏｔ－１が第２の最後の地点１３２の周囲で得られる。第２の最後の地点１３２の周囲の第２の最後のマップｍｔ－１が更新される。第２の最後のマップｍｔ－１内の自律車両１０２の位置１０８は、それに応じて第２の最後の位置ｘｔ－１として更新される。次いで、自律車両１０２は最後のマップｍｔ－１内の第２の最後の位置ｘｔ－１に従って、自律車両１０２を第２の最後の地点１３２から移動させるために、第２の最後の制御値ｕｔ－１を生成する。第２の最後のマップｍｔ－１及び第２の位置ｘｔ－１は、第２の最後のステップ１３０で同時に更新される。
【0051】
最終ステップ１４０では、最後のセンサ観測値ｏｔが、未知の環境１０４から、第２の最後の離散時間ステップ１３４の後に得られる。最後のセンサ観測値ｏｔは、第２の最後のマップｍｔ－１を最後のマップｍｔに更新するために自律車両１０２に送信される。最後のマップｍｔ内の自律車両１０２の位置１０８は、それに応じて最後の位置ｘｔとして更新される。次いで、自律車両１０２は、最後のマップｍｔ内の最後の位置ｘｔに応じて、目的地点１１３に自律車両１０２を停止させるために、最後の制御値ｕｔを生成する。したがって、最後のマップｍｔ及びその中の最後の位置ｘｔは、最終ステップ１４０で同時に更新される。
【0052】
図２は、順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーション２００の概略図を示す。ＳＭＡＬナビゲーション２００は、未知の環境２０４内の自律車両２０２をナビゲートするためにも使用される。未知の環境２０４のマップ２０６は、マップ２０６内の自律車両２０２の位置２０８の追跡を同時に維持するために、ＳＭＡＬナビゲーション２００のために構成され、更新される。
【0053】
ＳＭＡＬナビゲーション２００は、初期ステージ２１０、位置推定ステージ２２０、及びマッピングステージ２３０の３つのステージに分けられる。初期ステージ２１０では、未知の環境２０４から初期センサの観測値ｏｉが得られ、未知の環境２０４の初期マップｍｉを生成する（２１２）ために自律車両２０２に送信される。自律車両２０２の位置２０８は、初期マップｍｉ内の初期位置ｘｉとして計算される。次いで、自律車両２０２は、初期マップｍｉ内の初期位置ｘｉに従って、未知の環境１０４内で自律車両２０２を移動させる初期制御値ｕｉを生成する。
【0054】
位置推定ステージ２２０では、第１のセンサ観測値ｏ１が、未知の環境２０４内の第１の地点２２２の周囲で取得される。自律車両１０２の位置１０８は、それに応じて第１の位置ｘ１として、初期マップｍｉで計算される。次いで、自律車両１０２は、初期マップｍｉで第１の位置ｘ１に従って、未知の環境２０４内で自律車両２０２を移動させる第１の制御値ｕ１を生成する。ＳＬＡＭナビゲーション１００とは対照的に、第１のセンサ観測値ｏｉは、初期マップｍｉを更新するために使用される。
【0055】
自律車両２０２は、第１の地点２２２からその後の地点へ続く離散時間の間ずっと、最後の地点２２４まで初期マップｍｉを更新することなく移動する。最後のセンサ観測値ｏｔは、未知の環境２０４内の最後の地点２２４の周囲で得られる。同様に、最後のセンサ観測値ｏｔは、初期マップｍｉを更新するためには使用されない。未知の環境２０４内の自律車両２０２の位置２０８は、初期マップｍｉ内の最終位置ｘｔとして更新される。次いで、自律車両２０２は、初期マップｍｉ内の最後の位置ｘｔに従って、次の地点に対する最後の地点２２４の周囲に自律車両２０２を移動させるための最後の制御値ｕｔを生成する。
【0056】
マッピングステージ２３０では、未知の環境１０４が第１の所定の閾値を大きく超えて変化するので、初期マップｍｉには適用できない。更新されたセンサ観測値ｏｉｉは未知の環境２０４から得られ、初期マップｍｉを未知の環境２０４の第１の更新されたマップｍｉｉに更新する（２３２）ために、自律車両２０２に送信される。次いで、自律車両１０２を誘導するために、位置推定ステージ２２０が繰り返され（２３４）、第１の更新された地図ｍｉを用いて未知の環境１０４内を移動する。同様に、未知の環境１０４が第２の所定の閾値及びその後の所定の閾値を大きく超えて変化するときに、更新されたマップｍｉｉは、それぞれ、第２の更新されたマップ及びその後の更新されたマップに更新される。
【0057】
図３は、ＳＭＡＬナビゲーション２００のマッピングプロセス３００を示す。マッピングプロセス３００は、検出デバイスから複数の第１の環境データを収集する第１のステップと、複数の第１の環境データを融合データ（ＲＧＢ－Ｄイメージ又はポイントクラウド）にマージする第２のステップ３０４と、エッジ特徴量を検出するための融合データにエッジ検出を適用する第３のステップ３０６と、融合データから第１の路上特徴量のセットを抽出する第４のステップ３０８と、第１の路上特徴量のセットを初期マップに保存する第５のステップ３１０とによって実行される。ＳＭＡＬナビゲーション２００の場合、マッピングプロセス３００は、初期マップ２１２を生成するための初期ステージ２１０、及び初期マップｍｉを第１の更新されたマップｍｉｉに更新する（２３２）ためのマッピングステージに適用できる。同様に、マッピングプロセス３００は、未知の環境が大きく変化するときに、第１の更新されたマップ、第２の更新されたマップ、及びその後の更新されたマップを更新するために適用することもできる。
【0058】
第１のステップ３０２では、第１の環境データが、ＬＩＤＡＲ、カメラ、又はＬＩＤＡＲ及びカメラの組合せのいずれかから検出デバイスとしてフレームバイフレームで収集される。第２のステップ３０４では、フレームが位置合わせされ、単一のフレームにマージされる。マージ中には、リアルタイムキネマティック（ＲＴＫ）、米国の全地球測位システム（ＧＰＳ）、中国の北斗、欧州のガリレオ及びロシアのＧＬＯＮＡＳＳを含む全球測位衛星システム（ＧＮＳＳ）、並びに慣性計測装置（ＩＭＵ）ナビゲーションシステム（ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステムと略す）も関与する。各フレームは、ＲＴＫ－ＧＮＳＳ／ＩＭＵナビゲーションシステム（正常フレームとして知られる）からのその正確な位置に関連付けられる。フレームのＧＮＳＳの位置がドリフトしている（下位フレームとして知られる）場合、下位フレームは正確な位置を有さない。この場合、下位フレーム及び正常フレームのオーバーラップから、下位フレームの正確な位置が決定される。オーバーラップが見つからないか、又は十分なオーバーラップが見つからない場合、下位フレームは放棄され、下位フレームを置き換えるために下位フレームの近くに新しいフレームを取得する。第３のステップ３０６では、エッジ検出アルゴリズムを単一フレームに適用して、エッジ特徴量を検出する。第４のステップ３０８では、エッジ特徴量にブロブ検出アルゴリズムを適用して、エッジ特徴量から路上特徴量を抽出する。第５のステップ３１０では、路上特徴量が、初期マップｍｉ、第１の更新されたマップｍｉｉ、第２の更新されたマップ及びその後の更新されたマップに組み込まれる。
【0059】
図４は、ＳＭＡＬナビゲーション２００の位置推定プロセス４００を示す。位置推定プロセス４００は、移動体の近くの複数の第２の環境データを収集する第１のステップ４０２と、第２の環境データから第２の路上特徴量のセットを認識する第２のステップ４０４と、未知の環境の第２の路上特徴量のセットを初期マップ内の第１の路上特徴量のセットにマッチングさせる第３のステップ４０６と、初期マップｍｉ、第１の更新されたマップｍｉｉ、第２の更新されたマップ、及びその後の更新されたマップを含む、マップ１０６内の自律車両１０２の位置１０８を更新する第４のステップとによって実行される。位置推定ステージ２２０及びマッピングステージ２３０を繰り返すことによって、自律車両１０２は、ＳＭＡＬナビゲーション２００によって未知の環境１０４内を移動するように誘導される。
【0060】
本出願では、別段の指定がない限り、用語「備えている」、「備える」、及びその文法的変形は列挙された要素を含むが、追加の非明示的に列挙された要素の包含も可能にするように、「開放的」又は「包括的」言語を表すことを意図する。
【0061】
本明細書で使用される場合、用語「約」は、配合物の成分の濃度の文脈においては、代表的には記載された値の＋／－５％、より代表的には記載された値の＋／－４％、より代表的には記載された値の＋／－３％、より代表的には記載された値の＋／－２％、更により代表的には記載された値の＋／－１％、及び更により代表的には記載された値の＋／－０．５％を意味する。
【0062】
本開示を通じて、特定の実施例は範囲形式で開示され得る。範囲形式での記載は、単に便宜及び簡潔さのためであり、開示された範囲の有効範囲について不可変の限定として解釈されるべきではない。したがって、範囲の記載は、すべての可能な副次的範囲並びにその範囲内の個々の数値を具体的に開示したものとみなされるべきである。例えば、１～６のような範囲の記載は、１～３、１～４、１～５、２～４、２～６、３～６などの副次的範囲、並びにその範囲内の個々の数値、例えば、１、２、３、４、５、及び６を具体的に開示したものとみなされるべきである。これは、範囲の幅に関係なく適用される。
【0063】
本出願の趣旨及び範囲から逸脱することなく、前述の開示を読んだ後、本出願の様々な他の変更及び適合が当業者には明らかであり、すべてのそのような変更及び適合が添付の特許請求の範囲内に入ることが意図されることが明らかであろう。
【符号の説明】
【0064】
１００ 自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）ナビゲーション
１０２ 自律車両
１０４ 未知の環境
１０６ マップ
１０８ 位置
１１０ 第１のステップ
１１２ 出発地点
１１３ 目的地点
１１４ 第１の離散時間ステップ
１２０ 第２のステップ
１２２ 第２の地点
１２４ 第２の離散時間ステップ
１３０ 第２の最終ステップ
１３２ 第２の最後の地点
１３４ 第２の最後の離散時間ステップ
１４０ 最終ステップ
２００ 順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーション
２０２ 自律車両
２０４ 未知の環境
２０６ マップ
２０８ 位置
２１０ 初期ステージ
２１２ 初期マップの生成
２２０ 位置推定ステージ
２２２ 第１の地点
２２４ 最後の地点
２３０ マッピングステージ
２３２ 初期マップの更新
２３４ 位置推定ステージ２２０の繰り返し
３００ マッピングプロセス
３０２ 第１のステップ
３０４ 第２のステップ
３０６ 第３のステップ
３０８ 第４のステップ
３１０ 第５のステップ
４００ 位置推定プロセス
４０２ 第１のステップ
４０４ 第２のステップ
４０６ 第３のステップ
４０８ 第４のステップ
ｏ１ 第１のセンサ観測値
ｍ１ 第１のマップ
ｘ１． 第１の位置
ｕ１ 第１の制御値
ｏ２ 第２のセンサ観測値
ｍ２ 第２のマップ
ｘ２． 第２の位置
ｕ２ 第２の制御値
ｏｔ－１ 第２の最後のセンサ観測値
ｍｔ－１ 第２の最後のマップ
ｘｔ－１． 第２の最後の位置
ｕｔ－１ 第２の最後の制御値
ｏｔ 最後のセンサ観測値
ｍｔ 最後のマップ
ｘｔ． 最後の位置
ｕｔ 最後の制御値
ｏｉ 初期のセンサ観測値
ｍｉ 初期マップ
ｏｉｉ 更新されたセンサ観測値
ｍｉｉ 第１の更新されたマップ
１０２ 自律車両
１０４ 未知の環境
１０６ マップ
１０８ 位置
１１０ 第１のステップ
１１２ 出発地点
１１３ 目的地点
１１４ 第１の離散時間ステップ
１２０ 第２のステップ
１２２ 第２の地点
１２４ 第２の離散時間ステップ
１３０ 第２の最終ステップ
１３２ 第２の最後の地点
１３４ 第２の最後の離散時間ステップ
１４０ 最終ステップ
２００ 順次マッピング及び位置推定（ＳＭＡＬ）ナビゲーション
２０２ 自律車両
２０４ 未知の環境
２０６ マップ
２０８ 位置
２１０ 初期ステージ
２１２ 初期マップの生成
２２０ 位置推定ステージ
２２２ 第１の地点
２２４ 最後の地点
２３０ マッピングステージ
２３２ 初期マップの更新
２３４ 位置推定ステージ２２０の繰り返し
３００ マッピングプロセス
３０２ 第１のステップ
３０４ 第２のステップ
３０６ 第３のステップ
３０８ 第４のステップ
３１０ 第５のステップ
４００ 位置推定プロセス
４０２ 第１のステップ
４０４ 第２のステップ
４０６ 第３のステップ
４０８ 第４のステップ
ｏ１ 第１のセンサ観測値
ｍ１ 第１のマップ
ｘ１． 第１の位置
ｕ１ 第１の制御値
ｏ２ 第２のセンサ観測値
ｍ２ 第２のマップ
ｘ２． 第２の位置
ｕ２ 第２の制御値
ｏｔ－１ 第２の最後のセンサ観測値
ｍｔ－１ 第２の最後のマップ
ｘｔ－１． 第２の最後の位置
ｕｔ－１ 第２の最後の制御値
ｏｔ 最後のセンサ観測値
ｍｔ 最後のマップ
ｘｔ． 最後の位置
ｕｔ 最後の制御値
ｏｉ 初期のセンサ観測値
ｍｉ 初期マップ
ｏｉｉ 更新されたセンサ観測値
ｍｉｉ 第１の更新されたマップ
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
自律車両（２０２）又はロボットをナビゲートする（２００）ための順次マッピング及び位置推定（ＳＭＡＬ：Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）の方法であって、マッピングプロセス（３００）において未知の環境（２０４）の初期マップ（ｍ ｉ ）を生成するステップ（２１２）であって、
前記マッピングプロセス（３００）が、
少なくとも１つのセンサの観測値から複数の第１の環境データを収集するステップ（３０２）と、
前記複数の第１の環境データを融合データにマージするステップ（３０４）であって、前記融合データがＲＧＢ－Ｄイメージ又はポイントクラウドを含む、マージするステップ（３０４）と、
前記融合データにエッジ検出を適用するステップ（３０６）と、
前記融合データから第１の路上特徴量のセットを抽出するステップ（３０８）と、
前記第１の路上特徴量のセットを前記初期マップ（ｍ ｉ ）に保存するステップ（３１０）と
によって実行される、前記生成するステップ（２１２）と、
位置推定プロセス（４００）において前記初期マップ（ｍ ｉ ）内の前記自律車両（２０２）又はロボットの位置を決定するステップ（２２０）であって、
前記位置推定プロセス（４００）が、
前記自律車両（２０２）又は前記ロボットの近くの複数の第２の環境データを収集するステップ（４０２）と、
前記第２の環境データから第２の路上特徴量のセットを認識するステップ（４０４）と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ（ｍ ｉ ）内の前記第１の路上特徴量のセットにマッチングさせるステップ（４０６）と
によって実行される、前記決定するステップ（２２０）と、
前記自律車両（２０２）又はロボットの動きを制御するために、前記未知の環境（２０４）内の前記自律車両（２０２）又はロボットを誘導するステップと
を含み、
前記初期マップ（ｍ ｉ ）が前記少なくとも１つのセンサの観測値を使用して構成される、方法。
【請求項2】
前記未知の環境（２０４）が、路上特徴量が利用可能である開放領域を含む、請求項１に記載の方法。
【請求項3】
前記少なくとも１つのセンサが、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備える、請求項１に記載の方法。
【請求項4】
前記距離ベースのセンサが、光検出及び測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、音響センサ、又はそれらの組合せを備える、請求項３に記載の方法。
【請求項5】
前記視覚ベースのセンサが、単眼カメラ、全方位カメラ、イベントカメラ、又はそれらの組合せを備える、請求項３に記載の方法。
【請求項6】
前記第１の路上特徴量のセットが、マーキング、道路縁石、草、特別な線、スポット、前記道路の端、異なる道路表面の端、又はそれらの任意の組合せを備える、請求項１に記載の方法。
【請求項7】
前記第１の環境データからノイズを除去するために、前記第１の環境データに確率論的アプローチを適用するステップを更に含む、請求項１に記載の方法。
【請求項8】
前記マッピングプロセス（３００）が、オフライン方式で実行される、請求項１に記載の方法。
【請求項9】
前記収集するステップ（３０２）が、フレームバイフレーム方式で実行される、請求項１に記載の方法。
【請求項10】
前記マージするステップ（３０４）が、前記フレームを世界座標システムに位置合わせすることによって実行される、請求項９に記載の方法。
【請求項11】
前記マージするステップ（３０４）が、前記世界座標システムにおいて不正確な位置を有する下位フレームを補正するステップを更に備える、請求項１０に記載の方法。
【請求項12】
前記補正するステップが、正確な位置を有する正常フレームと前記下位フレームとの元のオーバーラップを参照することによって実行される、請求項１１に記載の方法。
【請求項13】
追加のオーバーラップを生成するために、前記下位フレームの近くの追加の正常フレームを収集するステップを更に備える、請求項１２に記載の方法。
【請求項14】
前記エッジ検出が、前記路上特徴量を抽出するためのブロブ検出を含む、請求項１に記載の方法。
【請求項15】
自律車両（２０２）又はロボットをナビゲートする（２００）ための順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステムであって、マッピング機構を使用して未知の環境（２０４）の初期マップ（ｍ ｉ ）を生成する手段（２１２）であって、
前記マッピング機構が、
少なくとも１つのセンサの観測値から複数の第１の環境データを収集するステップ（３０２）と、
前記複数の第１の環境データを融合データにマージするステップ（３０４）であって、前記融合データがＲＧＢ－Ｄイメージ又はポイントクラウドを含む、マージするステップ（３０４）と、
前記融合データにエッジ検出を適用するステップ（３０６）と、
前記融合データから第１の路上特徴量のセットを抽出するステップ（３０８）と、
前記第１の路上特徴量のセットを前記初期マップ（ｍ ｉ ）に保存するステップ（３１０）と
によって実行されるように構成される、前記生成する手段（２１２）と、
位置推定機構を使用して前記初期マップ（ｍ ｉ ）内の前記自律車両（２０２）又は前記ロボットの位置を決定する手段（２２０）であって、
位置推定プロセス（４００）が、
前記自律車両（２０２）又は前記ロボットの近くの複数の第２の環境データを収集するステップ（４０２）と、
前記第２の環境データから第２の路上特徴量のセットを認識するステップ（４０４）と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ（ｍ ｉ ）内の前記第１の路上特徴量のセットにマッチングさせるステップ（４０６）と
によって実行される、前記決定する手段（２２０）と、
前記自律車両（２０２）又は前記ロボットの動きを制御するために、前記未知の環境（２０４）内の前記自律車両（２０２）又は前記ロボットを誘導する手段と
を備え、
前記初期マップ（ｍ ｉ ）が前記少なくとも１つのセンサの観測値を使用して構成される、システム。
【請求項16】
自律車両（２０２）又はロボットをナビゲートする（２００）ための順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するためにコンピュータプログラム命令及びそれに組み入れられるデータを有する非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記ＳＭＡＬの方法は、マッピングプロセス（３００）における未知の環境（２０４）の初期マップ（ｍ ｉ ）を生成するステップ（２１２）であって、
前記マッピングプロセス（３００）が、
少なくとも１つのセンサの観測値から複数の第１の環境データを収集するステップ（３０２）と、
前記複数の第１の環境データを融合データにマージするステップ（３０４）であって、前記融合データがＲＧＢ－Ｄイメージ又はポイントクラウドを含む、マージするステップ（３０４）と、
前記融合データにエッジ検出を適用するステップ（３０６）と、
前記融合データから第１の路上特徴量のセットを抽出するステップ（３０８）と、
前記第１の路上特徴量のセットを前記初期マップ（ｍ ｉ ）に保存するステップ（３１０）と
によって実行される、前記生成するステップ（２１２）と、
位置推定プロセス（４００）における前記初期マップ（ｍ ｉ ）内の前記自律車両（２０２）又は前記ロボットの位置を決定するステップ（２２０）であって、
前記位置推定プロセス（４００）が、
前記自律車両（２０２）又は前記ロボットの近くの複数の第２の環境データを収集するステップ（４０２）と、
前記第２の環境データから第２の路上特徴量のセットを認識するステップ（４０４）と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ（ｍ ｉ ）内の前記第１の路上特徴量のセットにマッチングさせるステップ（４０６）と
によって実行される、前記決定するステップ（２２０）と、
前記未知の環境（２０４）内の前記自律車両（２０２）又は前記ロボットを誘導するステップと
を備え、
前記初期マップ（ｍ ｉ ）が前記少なくとも１つのセンサの観測値を使用して構成される、コンピュータプログラム製品。
【手続補正書】
【提出日】2021-04-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
自律車両（２０２）をナビゲートする（２００）ための順次マッピング及び位置推定（ＳＭＡＬ：Ｓｅｑｕｅｎｔｉａｌ Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）の方法であって、マッピングプロセス（３００）において未知の環境（２０４）の初期マップ（ｍｉ）を生成するステップ（２１２）であって、
前記マッピングプロセス（３００）が、
少なくとも１つのセンサの観測値から複数の第１の環境データを収集するステップ（３０２）と、
前記複数の第１の環境データを融合データにマージするステップ（３０４）であって、前記融合データがＲＧＢ－Ｄイメージ又はポイントクラウドを含む、マージするステップ（３０４）と、
前記融合データにエッジ検出を適用するステップ（３０６）と、
前記融合データから第１の路上特徴量のセットを抽出するステップ（３０８）と、
前記第１の路上特徴量のセットを前記初期マップ（ｍｉ）に保存するステップ（３１０）と
によって実行される、前記生成するステップ（２１２）と、
位置推定プロセス（４００）において前記初期マップ（ｍｉ）内の前記自律車両（２０２）の位置を決定するステップ（２２０）であって、
前記位置推定プロセス（４００）が、
前記自律車両（２０２）の近くの複数の第２の環境データを収集するステップ（４０２）と、
前記第２の環境データから第２の路上特徴量のセットを認識するステップ（４０４）と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ（ｍｉ）内の前記第１の路上特徴量のセットにマッチングさせるステップ（４０６）と、
前記初期マップ（ｍ ｉ ）内の前記自律車両（２０２）の前記位置（２２０）を更新するステップ（４０８）と
によって実行される、前記決定するステップ（２２０）と、
前記自律車両（２０２）の動きを制御するために、前記未知の環境（２０４）内の前記自律車両（２０２）を誘導するステップと
を含み、
前記初期マップ（ｍｉ）が前記少なくとも１つのセンサの観測値を使用して構成される、方法。
【請求項2】
前記未知の環境（２０４）が、路上特徴量が利用可能である開放領域を含む、請求項１に記載の方法。
【請求項3】
前記少なくとも１つのセンサが、距離ベースのセンサ、視覚ベースのセンサ、又はそれらの組合せを備える、請求項１に記載の方法。
【請求項4】
前記距離ベースのセンサが、光検出及び測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、音響センサ、又はそれらの組合せを備える、請求項３に記載の方法。
【請求項5】
前記視覚ベースのセンサが、単眼カメラ、全方位カメラ、イベントカメラ、又はそれらの組合せを備える、請求項３に記載の方法。
【請求項6】
前記第１の路上特徴量のセットが、マーキング、道路縁石、草、前記道路の端、異なる道路表面の端、又はそれらの任意の組合せを備える、請求項１に記載の方法。
【請求項7】
前記第１の環境データからノイズを除去するために、前記第１の環境データに確率論的アプローチを適用するステップを更に含む、請求項１に記載の方法。
【請求項8】
前記収集するステップ（３０２）が、フレームバイフレーム方式で実行される、請求項１に記載の方法。
【請求項9】
前記マージするステップ（３０４）が、前記フレームを世界座標システムに位置合わせすることによって実行される、請求項８に記載の方法。
【請求項10】
前記マージするステップ（３０４）が、前記世界座標システムにおいて不正確な位置を有する下位フレームを補正するステップを更に備え、前記補正するステップが、正確な位置を有する正常フレームとの下位フレームの元のオーバーラップを参照することによって実行される、請求項９に記載の方法。
【請求項11】
追加のオーバーラップを生成するために、前記下位フレームの近くの追加の正常フレームを収集するステップを更に備える、請求項１０に記載の方法。
【請求項12】
前記エッジ検出が、前記路上特徴量を抽出するためのブロブ検出を含む、請求項１に記載の方法。
【請求項13】
自律車両（２０２）をナビゲートする（２００）ための順次マッピング及び位置推定（ＳＭＡＬ）を使用するシステムであって、マッピング機構を使用して未知の環境（２０４）の初期マップ（ｍｉ）を生成する手段（２１２）であって、
前記マッピング機構が、
少なくとも１つのセンサの観測値から複数の第１の環境データを収集するステップ（３０２）と、
前記複数の第１の環境データを融合データにマージするステップ（３０４）であって、前記融合データがＲＧＢ－Ｄイメージ又はポイントクラウドを含む、マージするステップ（３０４）と、
前記融合データにエッジ検出を適用するステップ（３０６）と、
前記融合データから第１の路上特徴量のセットを抽出するステップ（３０８）と、
前記第１の路上特徴量のセットを前記初期マップ（ｍｉ）に保存するステップ（３１０）と
によって実行されるように構成される、前記生成する手段（２１２）と、
位置推定機構を使用して前記初期マップ（ｍｉ）内の前記自律車両（２０２）の位置を決定する手段（２２０）であって、
位置推定プロセス（４００）が、
前記自律車両（２０２）の近くの複数の第２の環境データを収集するステップ（４０２）と、
前記第２の環境データから第２の路上特徴量のセットを認識するステップ（４０４）と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ（ｍｉ）内の前記第１の路上特徴量のセットにマッチングさせるステップ（４０６）と、
前記初期マップ（ｍ ｉ ）内の前記自律車両（２０２）の前記位置（２２０）を更新するステップ（４０８）と
によって実行される、前記決定する手段（２２０）と、
前記自律車両（２０２）の動きを制御するために、前記未知の環境（２０４）内の前記自律車両（２０２）を誘導する手段と
を備え、
前記初期マップ（ｍｉ）が前記少なくとも１つのセンサの観測値を使用して構成される、システム。
【請求項14】
自律車両（２０２）をナビゲートする（２００）ための順次マッピング及び位置推定（ＳＭＡＬ）の方法を実装するためにコンピュータプログラム命令及びそれに組み入れられるデータを有する非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記ＳＭＡＬの方法は、マッピングプロセス（３００）における未知の環境（２０４）の初期マップ（ｍｉ）を生成するステップ（２１２）であって、
前記マッピングプロセス（３００）が、
少なくとも１つのセンサの観測値から複数の第１の環境データを収集するステップ（３０２）と、
前記複数の第１の環境データを融合データにマージするステップ（３０４）であって、前記融合データがＲＧＢ－Ｄイメージ又はポイントクラウドを含む、マージするステップ（３０４）と、
前記融合データにエッジ検出を適用するステップ（３０６）と、
前記融合データから第１の路上特徴量のセットを抽出するステップ（３０８）と、
前記第１の路上特徴量のセットを前記初期マップ（ｍｉ）に保存するステップ（３１０）と
によって実行される、前記生成するステップ（２１２）と、
位置推定プロセス（４００）における前記初期マップ（ｍｉ）内の前記自律車両（２０２）の位置を決定するステップ（２２０）であって、
前記位置推定プロセス（４００）が、
前記自律車両（２０２）の近くの複数の第２の環境データを収集するステップ（４０２）と、
前記第２の環境データから第２の路上特徴量のセットを認識するステップ（４０４）と、
前記未知の環境の前記第２の路上特徴量のセットを前記初期マップ（ｍｉ）内の前記第１の路上特徴量のセットにマッチングさせるステップ（４０６）と、
前記初期マップ（ｍ ｉ ）内の前記自律車両（２０２）の前記位置（２２０）を更新するステップ（４０８）と
によって実行される、前記決定するステップ（２２０）と、
前記未知の環境（２０４）内の前記自律車両（２０２）を誘導するステップと
を備え、
前記初期マップ（ｍｉ）が前記少なくとも１つのセンサの観測値を使用して構成される、コンピュータプログラム製品。
【国際調査報告】