(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022106924
(43)【公開日】2022-07-20
(54)【発明の名称】自律的な自己位置推定のためのデバイス及び方法
(51)【国際特許分類】
G05D 1/02 20200101AFI20220712BHJP
G06T 7/00 20170101ALI20220712BHJP
G06T 7/70 20170101ALI20220712BHJP
G06T 7/60 20170101ALI20220712BHJP
G06T 7/593 20170101ALI20220712BHJP
G06V 20/64 20220101ALI20220712BHJP
【ＦＩ】
G05D1/02 K
G06T7/00 C
G06T7/70 Z
G06T7/60 200G
G06T7/593
G06V20/64
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022076834
(22)【出願日】2022-05-09
(62)【分割の表示】P 2018519923の分割
【原出願日】2016-11-02
(31)【優先権主張番号】15192649.0
(32)【優先日】2015-11-02
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】516105109
【氏名又は名称】スターシップ テクノロジーズ オウ
【氏名又は名称原語表記】Ｓｔａｒｓｈｉｐ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＯＵＥ
【住所又は居所原語表記】Ｔｅａｄｕｓｐａｒｇｉ ８ ＥＥ－１２６１８ Ｔａｌｌｉｎｎ Ｅｓｔｏｎｉａ ＥＳＴＯＮＩＡ
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】ヘインラ、アーティ
(72)【発明者】
【氏名】ヴォルコフ、カレ－ラスムス
(72)【発明者】
【氏名】ロバーツ、リンゼイ
(72)【発明者】
【氏名】マンドレ、インドレク
(57)【要約】 （修正有）
【課題】本発明は、移動するロボットにより実行される自己位置推定に関する。
【解決手段】少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、視覚画像を撮影するように適合された少なくとも２つのカメラと、少なくとも２つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントとを含むモバイルロボットが開示されている。少なくとも２つのカメラで視覚画像を撮影する段階と、少なくとも１つの処理コンポーネントで個別の視覚画像から直線を抽出する段階と、抽出された特徴を既存の地図データと比較する段階と、上記比較に基づいて位置仮説を出力する段階とを含む自己位置推定方法が更に開示されている。
【選択図】図４
【解決手段】少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、視覚画像を撮影するように適合された少なくとも２つのカメラと、少なくとも２つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントとを含むモバイルロボットが開示されている。少なくとも２つのカメラで視覚画像を撮影する段階と、少なくとも１つの処理コンポーネントで個別の視覚画像から直線を抽出する段階と、抽出された特徴を既存の地図データと比較する段階と、上記比較に基づいて位置仮説を出力する段階とを含む自己位置推定方法が更に開示されている。
【選択図】図４
【特許請求の範囲】
【請求項1】
モバイルロボットであって、
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）視覚画像を撮影する少なくとも２つのカメラと、
（ｃ）前記少なくとも２つのカメラにより撮影された前記視覚画像から直線を少なくとも抽出し、それらを前記地図データと比較し、前記モバイルロボットを少なくとも自己位置推定する少なくとも１つの処理コンポーネントと
を備える
ロボット。
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）視覚画像を撮影する少なくとも２つのカメラと、
（ｃ）前記少なくとも２つのカメラにより撮影された前記視覚画像から直線を少なくとも抽出し、それらを前記地図データと比較し、前記モバイルロボットを少なくとも自己位置推定する少なくとも１つの処理コンポーネントと
を備える
ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動するロボットにより実行される自己位置推定に関する。より具体的には、本発明は、視覚画像を撮影する複数のカメラを使用した自己位置推定に関する。
【0002】
［導入部］
ロボット工学における進歩が、半自律的な及び自律的なロボットを可能にしたので、モバイルロボットの自己位置推定が、研究の活発な領域になってきた。移動するロボットが、目的をもって移動を継続するために、空間におけるその位置を少なくとも推定する方法を有しなければならない。ロボットの位置を推定するため、ロボットは、それ自体でその上に配置できる何らかの地図を使用しなければならない。そのような地図が、ロボット上に予めロードされ得、又は、ロボットそれ自体により取得され得る。後者の場合、地図は、ロボット自己位置推定と同時に取得され得、又は、自己位置推定の一部として後で使用されるために最初に開発され得る。自己位置推定の近年の枠組みは、それに対して自己位置推定がなされる座標系及び姿勢を含み、それは、位置及び方向の組み合わせである。自己位置推定が、絶対座標系（ＧＰＳ座標等）又は相対座標系（何らかの知られた位置及び／又は目的物に対する自己位置推定等）に対して行われ得る。一貫性があり、必要に応じて（ＷＧＳ８４等の）何らかの標準座標系に変換され得る限り、座標系は、任意に選択され得る。
ロボット工学における進歩が、半自律的な及び自律的なロボットを可能にしたので、モバイルロボットの自己位置推定が、研究の活発な領域になってきた。移動するロボットが、目的をもって移動を継続するために、空間におけるその位置を少なくとも推定する方法を有しなければならない。ロボットの位置を推定するため、ロボットは、それ自体でその上に配置できる何らかの地図を使用しなければならない。そのような地図が、ロボット上に予めロードされ得、又は、ロボットそれ自体により取得され得る。後者の場合、地図は、ロボット自己位置推定と同時に取得され得、又は、自己位置推定の一部として後で使用されるために最初に開発され得る。自己位置推定の近年の枠組みは、それに対して自己位置推定がなされる座標系及び姿勢を含み、それは、位置及び方向の組み合わせである。自己位置推定が、絶対座標系（ＧＰＳ座標等）又は相対座標系（何らかの知られた位置及び／又は目的物に対する自己位置推定等）に対して行われ得る。一貫性があり、必要に応じて（ＷＧＳ８４等の）何らかの標準座標系に変換され得る限り、座標系は、任意に選択され得る。
【0003】
複数のセンサ読み取りは、姿勢計算に寄与し得、姿勢計算は、ＧＰＳ受信機、Ｌｉｄａｒ（光レーダ）センサ、カメラ、オドメータ、ジャイロスコープ、加速度計、磁力計、飛行時間カメラ、及びレーダセンサを使用して決定され得る。自己位置推定のコンテキスト中になされる重要な相違がある。それは、既存の地図に基づいてなされ得る、又は、マッピングと同時になされ得る。後者は、ＳＬＡＭ（自己位置推定と地図作成を同時に行う技術）と称され、これまで未知である周囲を調査しながら自己位置推定が実行される場合に好ましいアプローチである。地図が既に利用可能である場合、タスクは、より容易になる。例えば、詳細な地図が容易に利用可能であり、短期間で顕著に変化する可能性が低いので、（集合住宅又は病院等の）屋内環境又は（工業団地等の）構造化された屋外環境における自己位置推定は、より容易である。（都市、郊外及び／又は村等の）構造化されていない環境における、屋外での自己位置推定が、より大きな課題である。第１に、公に利用可能である地図は、ロボットによる自律的な移動には十分正確ではない。第２に、地図が存在する場合であっても、新しい障害物が現れ、古い経路が消滅するので、地図は、非常に速く時代遅れになる可能性が高い。屋外での自己位置推定は、ＧＰＳ（グローバルポジショニングシステム）、ＧＬＯＮＡＳＳ（グローバルナビゲーションサテライトシステム）、又はＧａｌｉｌｅｏ等の測位システムを用いてなされ得る。しかしながら、（公共用途のために利用可能である）これらのシステムの精度は、１～１０メートル程度である。これは、自律的なロボットのナビゲーションのために使用される自己位置推定に十分ではない。
【0004】
自己位置推定問題への既存の解決策は、自己位置推定される目的物の意図された用途に強く依存する。
【0005】
米国特許第８７１７５４５号明細書は、ライダーシステムからの範囲及びドップラ速度測定と、ビデオシステムからの画像とを使用して、ターゲットの６つの自由度の軌跡を評価するシステムを開示している。ターゲットの運動特徴が評価されると、ターゲットの３次元画像が生成され得る。
【0006】
米国特許第７０１５８３１号明細書は、視覚センサ及びデッドレコニングセンサを使用して、自己位置推定と地図作成を同時に行う技術（ＳＬＡＭ）を処理する方法及び装置を開示している。有利には、そのような視覚技術が、地図を自律的に生成し、更新するために使用され得る。レーザ距離測定器とは異なり、視覚技術は、広い範囲の用途において経済的に実用的であり、人々が移動する環境等の、比較的動的な環境において使用され得る。
【0007】
開示されている方法は、屋内環境で動作する自動電気掃除機において実施され得る。
【0008】
米国特許第８３０５４３０号明細書は、単眼構成の任意の数のカメラの固定された、又は知られた較正のための視覚オドメトリシステム及び方法を開示している。この分散されたアパーチャシステムにおけるカメラの各々から収集された画像は、無視できる重複を有する、又は重複を全く有しない。
【0009】
システムは、複数のカメラを使用するが、それらを比較し、精緻化する前に別々に各カメラにおいて姿勢仮説を生成する。
【0010】
Ｓｃｈｉｎｄｌｅｒその他は、（３Ｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｉｓｕａｌｉｚａｔｉｏｎ， ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ， Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ，ｐｐ． ８４６－８５３． ＩＥＥＥ，２００６において）複数の広く離れた視界からシーンの３Ｄ‐線構造を回復するための新規の方法を議論している。このアプローチにおいて、相互に直交する消失方向に沿ったエッジの存在を仮定するＥＭベースの消失点推定方法を用いて、２Ｄ‐線が画像において自動的に検出される。画像にわたる手動で確立された特徴対応に基づく都市シーンに関する３Ｄ再構成結果が提示される。
【0011】
Ｍｕｒｉｌｌｏ， Ａ． Ｃ．その他（Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｎｏｍｏｕｓ Ｓｙｓｔｅｍｓ ５５， ｎｏ． ５ （２００７）：３７２‐３８２）は、全天球カメラを使用したグローバルなロボット自己位置推定のための新たな視覚ベースの方法を提案している。トポロジカル及びメトリックの自己位置推定情報は、効率的で階層的な処理において組み合わされ、各段階は、以前のものよりも複雑で正確であり、しかし、より少ない画像を評価する。
【発明の概要】
【0012】
本発明は、特許請求の範囲、並びに以下の説明において特定される。好ましい実施形態が、従属請求項及び様々な実施形態の説明において具体的に特定される。
【0013】
第１態様では、本発明は、
（ｉ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｉｉ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｉｉｉ）少なくとも２つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントと
を備える
モバイルロボットを提供する。
（ｉ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｉｉ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｉｉｉ）少なくとも２つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントと
を備える
モバイルロボットを提供する。
【0014】
第２態様では、本発明を利用する自己位置推定方法が提供される。自己位置推定方法は、本明細書に記載のシステムの任意の特徴を利用し得る。自己位置推定方法は、少なくとも２つのカメラで視覚画像を撮影する段階を備え得る。自己位置推定方法はまた、少なくとも１つの処理コンポーネントで個別の視覚画像から直線を抽出する段階を備え得る。方法は、抽出された特徴を既存の地図データと比較する段階を更に備え得る。方法はまた、抽出された特徴と地図データとの間の比較に基づいて位置仮説を出力する段階を備え得る。
【0015】
いくつかの実施形態において、自己位置推定方法は、出力された位置仮説を使用してモバイルロボットの姿勢を出力する段階を更に備え得る。方法はまた、取得された姿勢を使用してモバイルロボットをナビゲートする段階を備え得る。いくつかの実施形態において、ロボットは、それ自体をナビゲートする、即ち、自律的及び／又は半自律的であるように適合され得る。
【0016】
いくつかの実施形態において、抽出された特徴及び／又は直線を既存の地図データと比較し、位置仮説を出力する段階は、格納された地図データが与えられる場合に、最良の位置仮説を決定する反復確率的アルゴリズムを使用する段階を備え得る。いくつかの好ましい実施形態において、粒子フィルタベースのアルゴリズムが使用され得る。地図データ及びカメラ画像から抽出された線の両方が、ロボットのセンサ（カメラ等）と関連付けられた、及び／又は地図データを生成する処理と関連付けられた誤差を含み得るので、反復確率的アルゴリズムを使用することが、特に有利である。その関連付けられた誤差を有するデータを処理するため、異なる可能な結果又は出力に確率を割り当て、それらを反復して処理することが実用的である。これは、より堅牢な及び信頼性のある出力につながり得、自己位置推定方法の成功を高める。別の実施形態において、本発明は、
少なくとも２つのモバイルロボットを備えるモバイルロボットのアセンブリであって、ロボットの各々は、
（ｉ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｉｉ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｉｉｉ）少なくとも１つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも１つの処理コンポーネントと、
（ｉｖ）ロボット間のデータ、特に画像及び／又は地図データを送信及び受信するように適合された少なくとも１つの通信コンポーネントと
を備える
アセンブリを提供する。
少なくとも２つのモバイルロボットを備えるモバイルロボットのアセンブリであって、ロボットの各々は、
（ｉ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｉｉ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｉｉｉ）少なくとも１つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも１つの処理コンポーネントと、
（ｉｖ）ロボット間のデータ、特に画像及び／又は地図データを送信及び受信するように適合された少なくとも１つの通信コンポーネントと
を備える
アセンブリを提供する。
【0017】
別の実施形態において、本発明を利用するマッピング方法が提供される。マッピング方法は、上で及び以下で列挙されているシステムの任意の特徴を利用し得る。マッピング方法は、
（ｉ）少なくとも２つのカメラ及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｉｉ）少なくとも１つのロボットの少なくとも２つのカメラで視覚画像を撮影することと、
（ｉｉｉ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｉｖ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｖ）視覚画像から抽出された特徴を使用して地図データを構築することと
を備える。
（ｉ）少なくとも２つのカメラ及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｉｉ）少なくとも１つのロボットの少なくとも２つのカメラで視覚画像を撮影することと、
（ｉｉｉ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｉｖ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｖ）視覚画像から抽出された特徴を使用して地図データを構築することと
を備える。
【0018】
別の実施形態において、本発明を利用する自己位置推定方法が提供される。自己位置推定方法は、本明細書に記載のシステムの任意の特徴を利用し得る。自己位置推定方法は、
（ｉ）少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｉｉ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｉｉｉ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｉｖ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｖ）抽出された特徴を少なくとも１つのロボットの少なくとも１つのメモリコンポーネント上に格納された既存の地図データと比較することと、
（ｖｉ）（ｖ）における比較を使用して少なくとも１つのロボットを自己位置推定することと
を備える。
（ｉ）少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｉｉ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｉｉｉ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｉｖ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｖ）抽出された特徴を少なくとも１つのロボットの少なくとも１つのメモリコンポーネント上に格納された既存の地図データと比較することと、
（ｖｉ）（ｖ）における比較を使用して少なくとも１つのロボットを自己位置推定することと
を備える。
【0019】
別の実施形態において、本発明を利用する自己位置推定方法が提供される。自己位置推定方法は、本明細書に記載のシステムの任意の特徴を利用し得る。方法は、
（ｉ）少なくとも１つのデッドレコニングコンポーネント、少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを提供することと、
（ｉｉ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｉｉｉ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｉｖ）（ｉｉｉ）における抽出された特徴から位置関連データを取得することと、
（ｖ）少なくとも１つのデッドレコニングコンポーネントから位置関連データを受信することと、
（ｖｉ）（ｉｖ）における視覚画像から抽出された特徴から取得された位置関連データ、及び位置関連データの各々と関連付けられる誤差に基づいて重み付けされた、（ｖ）における少なくとも１つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
（ｖｉｉ）（ｖｉ）における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える。
（ｉ）少なくとも１つのデッドレコニングコンポーネント、少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを提供することと、
（ｉｉ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｉｉｉ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｉｖ）（ｉｉｉ）における抽出された特徴から位置関連データを取得することと、
（ｖ）少なくとも１つのデッドレコニングコンポーネントから位置関連データを受信することと、
（ｖｉ）（ｉｖ）における視覚画像から抽出された特徴から取得された位置関連データ、及び位置関連データの各々と関連付けられる誤差に基づいて重み付けされた、（ｖ）における少なくとも１つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
（ｖｉｉ）（ｖｉ）における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える。
【0020】
モバイルロボットは、自律的な及び／又は半自律的なロボットであり得る。ロボットは、陸上型であり得る。ロボットは、地上を移動するように適合され得る。特に、ロボットは、車輪付きであり得、動いている障害物及び動いていない障害物を含む構造化されていない都市部を移動するように適合され得る。一実施形態において、ロボットは、フレーム上に取り付けられた少なくとも４（四）つの車輪のセットを備える。ロボットは、フレーム上に取り付けられた本体を更に備え得る。ロボットは、本体上に及び／又はフレーム上に取り付けられたライトを更に備え得る。ライトは、ＬＥＤライトであり得る。ライトは、自己位置推定及び／又は短いスケールのナビゲーションで、及び／又は障害物検出でロボットを支援し得る。ライトは、ロボットがその中で暗闇及び／又は夕やみで動作する環境を照らし得る。更に又は代替的に、ロボットは、例えば、都市部の、歩道にいる等の、その周囲の歩行者と通信するために、少なくとも１つのマイク及び／又は少なくとも１つのスピーカを備え得る。
【0021】
本明細書に記載のカメラ及び他のコンポーネントは、ロボットのフレーム上に及び／又は本体上に取り付けられ得る。特定の一実施形態において、ロボットの寸法は、幅４０ｃｍから７０ｃｍ、例えば約５５ｃｍ、高さ４０ｃｍから７０ｃｍ、例えば約６０ｃｍ、長さ５０ｃｍから８０ｃｍ例えば、約６５ｃｍである。本発明は、１つよりも多くのロボットを含み得る。一実施形態において、ロボットは、その動作のほとんどの間、例えば、その時間の約９５％、その時間の約９７％、その時間の約９８％、又はその時間の約９９％、自律的に動作し得る。ロボットは、１０ｋｍ／ｈ以下、又は８ｋｍ／ｈ以下、又は６ｋｍ／ｈ以下の速度で移動するように適合され得る。好ましい実施形態において、ロボットは、３ｋｍ／ｈと６ｋｍ／ｈとの間及び／又は４ｋｍ／ｈと５ｋｍ／ｈとの間の速度で駆動する。好ましい実施形態において、ロボットは、配送目的のために使用され得る。ロボットは、その本体内に、輸送の間少なくとも１つの配送が格納され得る密閉空間を備え得る。ロボットは、空間へのアクセスを提供するための安全なアクセスデバイスを更に備え得る。このデバイスは、安全なインタフェースにより制御されるロック機構及び／又は閉鎖機構であり得る。ロボット及び配送は、４０ｋｇ以下、例えば、３５ｋｇ以下、例えば、３０ｋｇ以下、例えば、２５ｋｇ以下の総合重量を有し得る。好ましい実施形態において、ロボット及び配送は、１０ｋｇ～２５ｋｇ、より好ましくは１０ｋｇ～２０ｋｇの総合重量を有する。
【0022】
モバイルロボットのメモリコンポーネントは、ランダムアクセスメモリ（ＲＡＭ）デバイスを備え得る。それは、スタンドアロンコンポーネントであり得、又は、好ましい実施形態において、システムオンチップ（ＳｏＣ）の統合部分であり得る。メモリコンポーネントは、好ましくは、ロボットの現在の及び／又は予定の運転領域に関し得る少なくとも地図データを格納する。運転領域とも称される運転領域は、ロボットの動作の経過中に固定され得、又は変更され得る。好ましい実施形態において、運転領域は、都市、村、近所及び／又は都市の任意に定義された部分から成ることができる居住者のいる領域を含む。運転領域はまた、孤立した人間の居住地及び／又は人間が多い領域を有する領域を含み得る。
【0023】
メモリコンポーネント内に格納され得る地図データは、何らかの座標系に関して定義された複数のベクトル、直線、点特徴及び／又はグリッド特徴を含み得る。地図データは、２つの点及び／又は任意のしかし固定された座標系に関して定義された点及び方向を含み得る。この座標系は、ロボットと結び付けられ得、例えば、カメラのうちの１つが、原点の役割を果たし、移動の方向が、Ｘ軸の役割を果たす。座標系はまた、例えばＧＰＳシステムのように、ロボットから独立していてもよい。座標系は、湾曲が顕著な誤差を導入しないように、地球のそのような部分を近似するデカルト座標系であり得る。座標系は、ＧＰＳ座標系（例えば、ＷＧＳ８４）及び／又は他の標準系に変換され得る。従って、地図データはまた、ＧＰＳ座標等の標準座標系に変換され得る。グリッド特徴は、例えば、幾何学形状のような、線ではない拡張オブジェクトを含み得る。例えば、いくつかの実施形態において、街灯は、半径が高さと共に変化する幾何学的オブジェクトとしてモデル化され得る。その結果、これらは、グリッド特徴とみなされ得る。更に、矩形の又は実質的に矩形のオブジェクトが、グリッド特徴とみなされ得る。これらは、例えば、ドア、窓及び／又は他のオブジェクトを含み得る。更に又は代替的に、実質的に円形の、楕円形の、三角形の及び異なる形状のオブジェクトが、グリッド特徴を含み得る。地図データは、直線の及び／又は物理的な対象物（ランドマーク）の及び／又は何らかの座標系に対するロボット姿勢の位置に対応する数の集合を単純に含み得る。また、地図データに関して定義される複数の座標系が存在してもよい。地図データは、カメラ画像線に基づいて取得された線を更に含み得る。即ち、カメラ画像から抽出された線は、それらが実際のランドマーク（即ち、物理的な対象物）に属するかどうか、及びそれらのうち一部が組み合わされ得るかどうかを検証するアルゴリズムを通して実行され得る。この段階では、異なるカメラにより撮影された画像から抽出された及び／又は異なる時点で撮影された線が、それらが同じランドマークに属すると決定される場合、組み合わされ得るので、互いに対する及び／又はロボットに対する線の位置は、調整され得る。いくつかの線がまた、それらが、一時的な目的物（トラック又は自動車等）、ライトの影響、及び／又はカメラの影響に属する可能性が高いと決定される場合、破棄され得る。地図データが、次に、画像から抽出されたが、特定のアルゴリズムにより処理された線に基づく線のこの集合を含み得、ランドマーク、組み合わされた線、及び／又は調整された位置を有する線に属している線を主に又は唯一含む。地図データが、ベクトル、点特徴と関連付けられた誤差推定値、及び／又はランドマークと関連付けられた線を更に含み得る。地図データが、可視性情報を更に含み得る。それは、所与のランドマークがどの位置から見られ得るかについての情報である。換言すると、例えば、壁がランドマーク又は物理的な対象物を遮り、これによりそれが壁の後ろの位置から見られ得ない場合、この情報はまた、地図データ中に含まれ得る。これは、例えば、ロボットが地図を使用して、ナビゲートする場合に、それが、近くにあるが遮られている物理的な対象物のランドマークを検出しないので、実用的である。可視性情報はまた、ロボットのカメラの高さを考慮し得、どの目的物がどの位置で可視であり得るかを決定する。
【0024】
ロボット上のカメラは、典型的には、その運転領域内のロボットの周囲環境の視覚画像を撮影するように適合される。典型的には、周囲環境は、近くに位置する視覚目的物、例えば、ロボットから、約１ｋｍ以下、５００ｍ以下、３００ｍ以下、２００ｍ以下、又は１００ｍ以下の半径内に位置する目的物を含む。従って、ロボットは、約１ｋｍ以下、５００ｍ以下、３００ｍ以下、２００ｍ以下、又は１００ｍ以下の半径内にあるロボットの周囲の画像を撮影し、処理するように適合され得る。環境は、典型的には、ロボットがその経路に沿って移動する際に、時間、及びロボットの地理的周囲とともに変化する構造化されていない屋外環境である。環境はまた、例えば、ロボットが、モール、ガレージ、団地、オフィスビル等を通って移動している場合、少なくとも部分的に屋内であってもよく、又は屋根の下であってもよい。
【0025】
モバイルロボットのカメラは、例えば、スマートフォンカメラと同様であり得る。それらは、毎秒１～１０枚の画像、より好ましくは毎秒３～５枚の画像、又はより好ましくは毎秒４枚の画像を撮像するように適合され得る。カメラ視野角は、１０°～１２０°、より好ましくは４０°～１００°、より好ましくは６０°から８０°までであり得る。ロボットは、複数のカメラを備え得る。好ましい実施形態において、ロボットは、少なくとも４（四）つのカメラを備える。より好ましい実施形態において、ロボットは、９（九）つのカメラを備える。カメラは、ロボットの本体の周りに、好ましくは異なるカメラの視野角を最適化する位置のどこにでも配置され得る。いくつかのカメラが、ステレオカメラであり得る。好ましい実施形態において、一対の前部のカメラが、ステレオカメラである。より好ましい実施形態において、ロボットは、４（四）対のステレオカメラを備える。この好ましい実施形態において、ステレオカメラは、ロボットの前面、ロボットの両側、及びロボットの背面に位置決めされる。もう１つのカメラが、ロボットの前面に位置決めされる。ステレオカメラは、視覚画像内に撮像された目的物を三角測量するために使用され得る。視覚画像の奥行き知覚は、ステレオカメラで改善され得る。ステレオカメラ間の間隔は、５ｃｍ～２０ｃｍであり得る。好ましい実施形態において、前部及び後部ステレオカメラ間の間隔は、５ｃｍ～１０ｃｍであり、サイドステレオカメラ間の間隔は、１５ｃｍ～２０ｃｍである。カメラは、横方向の視覚画像及び／又は縦方向の視覚画像を撮影するようにロボット上に配置され得る。横方向の視覚画像は、より広いカメラ撮像アングルが、地面におおよそ並行であり、より狭いカメラ撮像アングルが、地面におおよそ垂直である視覚画像を意味すると理解され得る。好ましい実施形態において、サイドカメラは、縦向きに配置され、前部及び後部カメラは、横向きに配置される。一実施形態において、カメラは、構造化されていない屋外環境の視覚画像を撮影し得る。この環境は、動いていない障害物及び動いている障害物（例えば、歩行者、動物、乳母車、車椅子、郵便箱、ごみ入れ、街灯等）を含む歩道、車両、自転車、信号機等を含む車両の道路、及び／又は駐車場、芝生及び／又は畑等の他の横切ることのできる環境のうち少なくとも１つ又は任意の組み合わせを含むことができる。
【0026】
ロボットを自己位置推定するための複数のカメラの使用は、特に有利であり得る。複数のカメラが、複数の方向に向けられ得、従って、ロボットの周囲のより大部分をカバーする。更に、１つのカメラが、欠陥を含む、及び／又は妨げられた場合、他のカメラが、ロボットが自己位置推定を依然として実行することを可能にし得る。太陽光、雨、雪、霧、雹又は同様のもの等の天候条件が、カメラの視界を遮ぎることがあるので、これは、屋外で動作するロボットに特に適し得る。いくつかのランドマーク及び／又は物理的な対象物を、異なるカメラにより撮影された画像上で見ることができるので、複数のカメラがまた、本発明に関して特に有利である。これは、それらの線が、ランドマークに及び／又は物理的な対象物にたしかに属することを確認するためにアルゴリズムにより使用され得る。逆に、１つのカメラ上のみで１つの線又はいくつかの線が見られる場合、線は、ライトの人工産物及び／又は１つのカメラによってのみ撮像された一時的な目的物であり得る。これは、線がランドマークに関連付けられている、及び／又は既存の地図と比較されている場合に非常に有利である。
【0027】
処理コンポーネントは、システムオンチップ（ＳｏＣ）の一部であり得、及び／又はシステムオンチップ（ＳｏＣ）を含み得、例えば、スマートフォンプロセッサと同様であり得る。メモリコンポーネントは、同じＳｏＣの一部であり得る。処理コンポーネントは、カメラによって撮像された視覚画像を使用してロボットを自己位置推定するように適合され得る。処理コンポーネントは、好ましくはまた、カメラによって撮像された視覚画像から特徴を抽出するように適合され得る。１つの好ましい実施形態において、特徴は、直線であり得る。直線は、前処理された視覚画像に、エッジ検出アルゴリズム（例えば、Ｃａｎｎｙアルゴリズム等）を、続いてライン抽出アルゴリズム（例えば、ハフ変換等）を適用することにより抽出され得る。前処理は、画像を組み合わせること、画像を鮮鋭化すること、画像を平滑化すること、及び／又は画像にコントラストを加えることを含み得る。それはまた、画像の色彩設計への任意の調整を含み得る。
【0028】
抽出された特徴は、ロボットの運転領域の地図を構築するため、及び／又は既存の地図を使用してロボットを自己位置推定するために使用され得る。地図が、何らかの座標系に関して定義されたベクトル及び／又は線及び／又は線分及び／又は点特徴及び／又はグリッド特徴の集合を含み得る。地図は、ロボットのメモリコンポーネント上に予めロードされ得る。代替的に、地図は、動作中にメモリコンポーネント上にダウンロードされる。ロボットが、地理的領域間を移動しているので、地図は、断片的にダウンロードされ得る。
【0029】
ロボット上のカメラは、運転領域におけるそのロービング中にロボットの周囲の視覚画像を撮影し得る。カメラは、毎秒１枚から１０枚の画像、例えば、毎秒２枚から８枚の画像、又は毎秒３枚から７枚の画像、又は毎秒３枚から５枚の画像、又は毎秒４枚から６枚の画像の頻度で画像を撮影するように適合され得る。一実施形態において、カメラは、毎秒４枚の画像の頻度で画像を撮影するように適合される。好ましくは、画像撮像は、説明された頻度でロボットの動作中に継続的に実行される、即ち、ロボットは、好ましくは、その動作中にカメラのうちの少なくとも１つ、好ましくは全てを継続的に使用して画像を撮影するように適合される。次に、視覚画像は、１つのファイルに組み合わされ、前処理され得る。好ましくは、異なるカメラからの画像は、同時に撮影される。これは、処理される異なる画像の時間差が、処理される連続的な画像間の時間よりもかなり短いことを意味し得る。前処理した後、前処理された画像データを含むファイルは、異なるカメラを表す個別の画像ファイルに分離され、直線は、個別の画像から抽出される。直線は、次に組み合わされ、ロボットの運転領域の地図データを構築するために使用される。
【0030】
更に別の実施形態において、ロボットは、既に、そのメモリコンポーネント上に地図データを格納している。抽出された直線は、次に、格納された地図データと比較され、粒子フィルタを通して実行され、ロボット姿勢の確率分布をモデル化する。最適な姿勢が、次に、比較に基づいて選択される。以下、本発明の文脈内の粒子フィルタ方法の詳細な説明が続く。
【0031】
粒子フィルタは、複数の用途において使用される反復アルゴリズムであり、システムの複数の確率的状態に尤度を割り当てる。最も可能性が高い状態に対する推定値と共に、粒子フィルタは、各可能性に対する誤差推定値を与える。基本的な考え方は、一定数の「粒子」又は系の潜在的な状態を考慮することである。使用される粒子の数は、用途及び利用可能な計算能力に基づいて変化する。本明細書に記載の本発明は、粒子フィルタにおいて１０個～１０００個の間のどこか、より好ましくは１００個～１０００個、より一層好ましくは約５００個の粒子を使用し得る。ロボットの位置は、ガウシアンとしてモデル化され得、次に、誤差は、
のように書かれ得る共分散行列により与えられ、ここで、Ｒは、回転行列であり、Ｄは、分散の対角行列（標準偏差の二乗）である。 確率ｐに対する信頼域は、次に導出され得る。２次元の場合、（Ｍ＝２）、この領域は、半径
及び
の楕円形を含み得る。なお、
は、逆累積分布関数の平方根、即ち、分位点関数の平方根を指す。例えば、Ｒにより、半径２σ１及び２σ２で（
として）回転される楕円形内に含まれる正規分布値の確率は、約８７％である。
【数1】
【数2】
【数3】
【数4】
【数5】
【0032】
各粒子は、ロボットの状態の仮説、即ち、ロボットの位置及び方向ｘｉ（ｔ）及びまた仮説の強さを示す重み（（数字ｗｉ（ｔ））を運び得る。重みは、他の粒子とのコンテキスト中にのみ意味をなし、これにより、その絶対値ではなく、むしろ他の粒子の重みに対するその相対値が重要である。ある時間ｔにおけるロボットの位置は、次に、
として（模式的な形態で）計算され得、Ｎは、粒子の総数であり、ｗｉは、粒子ｉの重みであり、ｘｉは、粒子ｉの位置である。ロボットの位置の誤差（標準偏差）は、次に、
として標準的な方法で推定され得、ここで、
であると仮定される。ここで、粒子クラウドが単峰性である、即ち粒子が探索空間内の１つのはっきりと異なる位置の周りに集中しているとも仮定される。好ましい実施形態において、本発明は、多峰性分布、即ち、粒子が、２つまたはそれより多くのはっきりと異なる位置の周りに集中している場合を検出するように更に適合される。なお、上記は、方法の模式的な例であり、誤差は、より複雑な方法を使用して計算され得る。これは、ロボットの方向における誤差（３Ｄ回転を含む）が、ロボットのｘ－ｙ位置におけるその誤差をさらに含み、より注意深く処理される必要があるという事実に起因する。実際、自由度の回転における誤差は、このアプローチを使用して適切に推定され得ない。例えば、回転（方位方向）－１７９°及び＋１７９°を有する２つの粒子の算術平均は、０°である。これは、明らかに現実を表さない、なぜなら、真の平均は、－１８０°又は＋１８０°のいずれかでなければならないからである。従来、回転自由度は、多くの場合、オイラー角で表される。それらの変数に対する共分散行列を計算することが複雑になり得、他の方法が使用され得る。
【数6】
【数7】
【数8】
【0033】
粒子フィルタにおいて使用される入力は、２つのタイプのセンサ入力、制御入力及びセンシング入力から得られ得る。制御入力は、オドメータ読み取り値、及び／又はジャイロスコープ読み取り値を含み得る。センサ入力は、ＧＰＳ読み取り値、磁力計読み取り値、加速度計読み取り値、及び／又は視覚カメラ読み取り値を含み得る。全ての読み取り値は、最初にロボットの処理コンポーネント内で処理され得、又は適切であれば受信時に使用され得る。制御入力は、粒子の位置を直接前進させるために使用され得る。これは、粒子が、誤差に起因して離れ離れになるので、ロボット姿勢誤差推定値の増加をもたらし得る。センサ入力は、粒子の重みを変更するために使用され得、その位置がセンサ読み取り値に一致しない粒子の重みを減少させる。これは、姿勢誤差推定値の減少に寄与し得る。
【0034】
制御入力は、それらのランダムな誤差の推定値を含み得る。それらは、各粒子に対する増分移動及び回転値の別々のセットを生成するために使用され得る。模式的に、我々は次に、
を有し、
最初の行で、ｃｉは、誤差を含む粒子ｉのための制御入力であり、ＲＮＤ（σｃ）は、（通常は正規分布の）ランダムな誤差生成器であり、ｃ（ｔ）は、所与の共分散行列Σｃ（ｔ）（制御入力誤差推定値）を有する制御入力である。２番目の行は、時間ｔ－１、ｘｉ（ｔ－１）における粒子の位置及びサンプリングされた制御入力を使用して、関数ｆを介してｉ番目の粒子位置ｘｉ（ｔ）が計算され得ることを示す。ランダムな値を追加する目的は、ロボット姿勢の誤差分布をモデル化することである。段階の後の全ての可能性が高いロボット姿勢が、従ってカバーされ得る。サンプリングは、移動後のロボット位置の確率分布から行われ得る。多くの段階を行った後、あらゆる粒子が、最終的には別々の方向に漂って離れていき、位置誤差の推定値は、際限なく増大する。
【数9】
最初の行で、ｃｉは、誤差を含む粒子ｉのための制御入力であり、ＲＮＤ（σｃ）は、（通常は正規分布の）ランダムな誤差生成器であり、ｃ（ｔ）は、所与の共分散行列Σｃ（ｔ）（制御入力誤差推定値）を有する制御入力である。２番目の行は、時間ｔ－１、ｘｉ（ｔ－１）における粒子の位置及びサンプリングされた制御入力を使用して、関数ｆを介してｉ番目の粒子位置ｘｉ（ｔ）が計算され得ることを示す。ランダムな値を追加する目的は、ロボット姿勢の誤差分布をモデル化することである。段階の後の全ての可能性が高いロボット姿勢が、従ってカバーされ得る。サンプリングは、移動後のロボット位置の確率分布から行われ得る。多くの段階を行った後、あらゆる粒子が、最終的には別々の方向に漂って離れていき、位置誤差の推定値は、際限なく増大する。
【0035】
これに対処するため、センシング入力が使用され得る。以下において、ＧＰＳセンサは、センシング入力の例示的な実施形態として使用される。ＧＰＳソフトウェアが、ＧＰＳアンテナの位置及びこの位置の誤差推定値の共分散行列を提供する。従って、ＧＰＳ位置は、ガウシアンとしてモデル化され得る。このことから、ロボットがある領域Ａｉにある正確な確率は、以下のように計算され得る。
ここで、ｇ（ｔ）は、時間ｔにおけるＧＰＳ位置であり、ΣＧＰＳは、所与のＧＰＳ位置の誤差推定値の共分散行列である。これは、
に単純化され得、ここで、ｋは、定数であり、ｃＧＰＳは、ＧＰＳセンサのための重み係数である。時間デルタ、Δｔ、は、測定値間の時間であり、粒子の「崩壊速度」を組み込むために使用される。それは、測定が、可変間隔で行われる場合、特に重要である。ＧＰＳセンサに対する時間ステップｔにおける各粒子の重みは、次に、
として取得され得る。量
は、正確に粒子の確率ではない。むしろ、それを、ＧＰＳセンサ測定に関連して粒子の適合度として見ることが理にかなっている。ＧＰＳ位置により近い粒子は、より大きな
を取得し、それらの重みは、低い適合度の粒子ほど多くは低減されない。この全ては、相対的な観点から見られ得る、それは、別の粒子と比較されるある粒子である。
【数10】
【数11】
【数12】
【数13】
【数14】
【0036】
なお、ＧＰＳセンサは、ロボットのフレーム上に中央に配置されてもよく、又はそうでなければロボットのフレーム上に配置されてもよく、このオフセットは、比較をする場合にロボット位置に加えられ得る。また、なお、ＧＰＳ読み取り値は、大きな系統的誤差を含み得るので、ここでのこの処理は、単純化される。ＧＰＳの他に、ロボットは、磁力計、加速度計、及び／又はカメラ等の更なるセンサを備え得る。それらのセンサの各々に関して、適合度値が計算され得、得られた粒子重みは、
で与えられ得、ここで、
は、所与のセンサに対する粒子重みを指し、
として与えられ得る。 各センサの重み係数
は、各センサがどれほど強く他のセンサと比較されるかを決定する。それは、どれ程強く、及びどれ程速く所与のセンサが他の粒子に影響を与えるかである。係数は、試験及びセンサ品質に基づいて調整され得る。更に、重み係数を使用する代わりに、共分散行列
は、直接変更され得、中で誤差をより良くモデル化する。例えば、ＧＰＳセンサに関して、定数値が、共分散行列の全ての対角成分に加えられ得る。
【数15】
【数16】
【数17】
【数18】
【数19】
【0037】
このように、センサ読み取り値と一致しない粒子は、センサ読み取り値と一致する粒子よりも、それらの重みをより低減され得る。センサの入力を考慮した場合、粒子重みは、以下の通り正規化され得る。
【数20】
【0038】
最終的には、複数の時間ステップの後、多くの粒子が、より大きい重みを有する少数の粒子と比較して無視できる重みを有する。この影響は、任意の再サンプリング段階が無い場合、ますます悪くなる。この処理が継続される場合、粒子フィルタは、比較的高い重みを有するほんのわずかの粒子を出力し、残りは、限界的な重みを有する。―これは、１つのみの粒子は、それほどよくロボット姿勢確率分布を表さないので、粒子フィルタが失敗し得る１つの方法である。これを防止するため、以前のように誤差推定値の分散を維持しながらずっと、ロボット姿勢の限界的な確率の領域において粒子を破棄し、ロボット姿勢の確率が大きい領域において新たな粒子を作成する方法が必要とされる。これは、再サンプリング段階として知られている。使用され得る１つの方法が、Ｓｅｑｕｅｎｔｉａｌ Ｉｍｐｏｒｔａｎｃｅ Ｒｅｓａｍｐｌｉｎｇ（ＳＩＲ）である。段階毎にＳＩＲを実行することは、コンピューティングリソースの観点から無駄であり、実際にいくつかの「良好な」粒子がドロップされることにつながり得る。従って、ＳＩＲは、「有効な」粒子の数に関して特定の条件に達する場合にのみ実行される。この条件は、例えば、粒子数の半分を下回る粒子の有効数（ここでは、非限界的な粒子を効果的に指す）に関し得る。
【0039】
処理コンポーネントは、最大で１０ｃｍの誤差でロボットを自己位置推定するように適合される。好ましい実施形態において、処理コンポーネントは、最大で５ｃｍの誤差でロボットを自己位置推定するように適合される。より好ましい実施形態において、処理コンポーネントは、最大で３ｃｍの誤差でロボットを自己位置推定するように適合される。自己位置推定の精度は、カメラの数に及び／又はカメラの相対位置の知識に及び／又はシステムの較正に依存し得る。自己位置推定が、更に遠くに位置する目的物に関してより、より近くに位置する目的物に対しての方が正確であり得る。
【0040】
処理コンポーネントは、異なるカメラにより撮影された視覚画像から抽出された特徴を、コヒーレントマップに組み合わせ得、及び／又は組み合わされた抽出された特徴を使用して自己位置推定し得る。処理コンポーネントは、抽出された特徴に基づく視覚的自己位置推定、並びに地図情報及びロボットの意図した目的地についての情報を使用することにより、ロボットのナビゲーションについての命令を提供するように適合される。ナビゲーションが、何らかの方向に移動すること及び／又は回転することにより、ロボットの姿勢（６自由度の位置及び方向データ）を変更することを含み得る。ナビゲーションが、最良の移動コースについての決定を行い、自己位置推定情報に基づいてそれらの決定を適合することを更に含み得る。
【0041】
ロボットは、環境に及び／又はロボットの自己位置推定に関する異なるパラメータを測定するように適合される複数のセンサを更に備え得る。センサは、少なくとも１つのＧＰＳコンポーネント、少なくとも１つの加速度計、少なくとも１つのジャイロスコープ（好ましい実施形態において４（四）つのジャイロスコープ）、少なくとも１つのオドメータ、少なくとも１つの磁力計、少なくとも１つの飛行時間カメラ、及び／又は少なくとも１つのＬｉｄａｒセンサのうちの少なくとも１つ又は任意の組み合わせを含み得る。好ましい実施形態が、それらのセンサの全てのうちの少なくとも１つを含む。好ましい実施形態において、センサは、ロボットの姿勢に関するデータを測定する。処理コンポーネントは、最初に近似姿勢推定値のためにセンサデータを処理し、次に視覚的自己位置推定を使用することによりこの推定値を改善することによりロボットを自己位置推定する。姿勢改善は、例えば、粒子フィルタを使用することにより行われ得る。視覚画像から抽出された特徴は、異なる姿勢の特定のセットに対応する特徴を含む地図と比較され得る。粒子フィルタは、次に、各姿勢の尤度に基づいて、そのセットから最も可能性が高い姿勢推定値を選択し得る。処理コンポーネントは、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムに基づいてロボットを自己位置推定するように適合され得る。この反復アルゴリズムは、粒子フィルタ方法の用途に依存し得る。ロボットの姿勢に対する仮説が、少なくとも１つのカメラ、ＧＰＳコンポーネント、オドメータ、加速度計、飛行時間カメラ及び／又は磁力計等の少なくとも１つのセンサからのデータを含み得る。センサのデータが、更に、（ＧＰＳコンポーネントからのデータ及び／又は例えば視覚カメラ画像から取得されたデータのように）絶対的であってもよく、又は、（例えば、オドメータ及び／又はジャイロスコープからのデータのように）以前のロボット姿勢と相対的であってもよい。
【0042】
ロボットは、圧力センサを更に備え得る。圧力センサは、正確な高度ベースの自己位置推定に関して使用され得る。一実施形態において、別の圧力センサが、ロボットの運転領域内の知られた位置に、例えば、ハブに位置し得る。ハブは、物理的な場所（例えば、駐車場）、物理的な構造体（例えば、家屋、倉庫、輸送コンテナ、納屋、デポ及び／又はガレージ）、及び／又はモバイル構造体（例えば、トラック、トレーラー、及び／又は貨車）であり得る。ハブは、ロボットのための倉庫、保守、修理、再充電、及び再補給ステーションとして機能し得る。１つのハブが、１又は複数のロボットを含み得る。好ましい実施形態において、１つのハブが、複数のロボット、例えば、２０～２００個のロボットにサービスを提供し得る。ハブの位置に配置された圧力センサで、正確な高度基準が確立され、ロボットの自己位置推定は、ロボットの圧力センサからのデータを、ハブの圧力センサからのデータと比較することにより改善され得る。
【0043】
上述したように、ロボットの処理コンポーネントは、ロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように更に適合され得、好ましくは、上記アルゴリズムは、粒子フィルタアルゴリズムに少なくとも部分的に基づく。しかしながら、自己位置推定はまた、異なるアルゴリズム、例えば、反復最適化アルゴリズムを使用して行われ得、ここで、未知の変数は、ロボットの姿勢を含む。
【0044】
いくつかの実施形態において、反復アルゴリズムは、少なくとも１つのカメラ、少なくとも１つのＧＰＳコンポーネント、少なくとも１つのオドメータ、少なくとも１つのジャイロスコープ、少なくとも１つの加速度計、少なくとも１つのＬｉｄａｒセンサ、少なくとも１つの飛行時間カメラ、少なくとも１つの超音波センサ、少なくとも１つの圧力センサ、少なくとも１つのデッドレコニングセンサ、及び／又は少なくとも１つの磁力計等の少なくとも１つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合され得る。
【0045】
いくつかの実施形態において、少なくとも１つのカメラからの入力データ及び／又は画像データ、及び少なくとも１つの更なるセンサからの地図関連入力データが、ロボットの姿勢の推定値を生成するために使用され得る。そのような実施形態において、推定又は最適化への各寄与は、カメラの及び／又は所与のセンサのデータと関連付けられる誤差に基づいて重み付けされ得る。即ち、反復アルゴリズムは、ロボットの姿勢のその最適化の一部としていくつかの入力を考慮し得る。反復アルゴリズムは、それらのそれぞれの誤差を有するそれらの入力を更に考慮し得る。例えば、ＧＰＳセンサ推定値は、一般的に、平面上の楕円誤差推定値を含む。
【0046】
ロボットは、１又は複数のサーバと、データ、特に画像及び／又は地図データを交換するように適合された通信コンポーネントを更に備え得る。サーバは、複数のサーバ及び／又はサーバのクラスタ及び／又は１又は複数のクラウドサーバを備え得る。１つの好ましい実施形態において、サーバは、クラウドサーバである。別の実施形態において、サーバは、サーバのクラスタを含み、それらのうち一部は、クラウドサーバであり得る。サーバは、例えば、地図及び自己位置推定関連データ等のデータを格納、分析、及び／又は送出し得る。サーバはまた、計算、例えば、地理的地図の生成、自己位置推定計算、及び／又はロボットのためのルート計算に関する計算を実行し得る。通信コンポーネントは、Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ（ＳＩＭカード）及び／又はモデム及び／又はネットワークデバイスのための少なくとも１つのスロット、好ましくは２枚のＳＩＭカード及び／又は２つのモデム及び／又は２つのネットワークデバイスのための２つのスロットを含み得る。ネットワークデバイスは、ｅＳＩＭ及び／又は同様のチップ／システムを備え得る。信頼性を向上し、より大きい及び／又はより速いデータ伝送のためにＳＩＭカード及び／又はモデムの両方を介した同時通信を可能にするので、２枚のＳＩＭカード及び／又はモデムの使用は、利点である。好ましい実施形態において、２つの異なる携帯電話事業者が、２枚のＳＩＭカード及び／又はモデムを使用した動作のために使用される。この場合、ある携帯電話事業者がロボットの運転領域の一部においてカバレッジを提供しない場合、ロボットは、他のＳＩＭカード及び／又はモデムを介して依然として通信し得る。
【0047】
ロボットは、特定の間隔で、及び／又はサーバからの入力を要求した後、サーバからナビゲーション命令を受信するように更に適合され得る。一実施形態において、ロボットは、５０～１５０メートル毎にナビゲーション命令を受信する。ロボットは、不慣れな状況に直面した場合に、サーバへ入力要求を更に送信し得る。ロボットはまた、例えば、通りを横断する等の危険な状況に直面する場合に、そのナビゲーションについての手動の入力を要求し得る。そのような手動の動作の間、遠隔オペレータは、ロボットにナビゲーション命令を提供し、路上等の危険を介して指示し得る。ひとたびロボットが安全な環境に到達すると、オペレータは、ロボットに自律的なナビゲーションを再開するように命令し得る。オペレータは、ロボット上に取り付けられ得るマイク及びスピーカを通じて、ロボットのすぐ近くの周囲にいる人々と更に通信し得る。しかしながら、ロボットは、手動の制御の間にその自己位置推定を更新し続け得る。
【0048】
別の実施形態において、本発明は、少なくとも２つのモバイルロボットを備えるモバイルロボットのアセンブリを開示する。ロボットは、上述の様であり得る。ロボットは、通信モジュールを介して互いに通信するように適合され得る。通信は、サーバを介してルーティングされ得る。ロボット間で及び／又はロボット及びサーバ間で送信されたデータは、運転領域の及び／又は複数の運転領域の地図に組み合わされ得る。各地図データに関して使用される座標は、異なっていてもよいが、それらは、各々標準座標系に変換されてもよく、及び／又は１つの統合された任意の座標系に組み合わされてもよい。複数の運転領域が、例えば、都市の異なる部分に対応し得る。運転領域が、１つのハブ及び／又は複数のハブを含み得る。ロボットは、地図データ交換を介して他のロボットにより集められた地図データから恩恵を受ける。サーバは、地図データの交換を調整し得る。サーバは、更に、地図データを格納し、それを地球地図に統合し得る。サーバは、ロボットの運転領域に基づいてロボットに地図データを送出し得る。地図データは、カメラにより撮影された視覚画像が、抽出された特徴における一貫した変化を示す場合、ロボットにより更に更新され得る。例えば、新たな建設工事が運転領域内で行われている場合、この運転領域の地図は、対応して更新され得る。
【0049】
いくつかの好ましい実施形態において、方法は、自律的な及び／又は半自律的なモバイルロボットによりＳＬＡＭ方法として使用され得る。ＳＬＡＭは、自己位置推定と地図作成を同時に行う技術を指す。即ち、いくつかの実施形態において、方法は、ロボットが自律的に及び／又は半自律的にナビゲートする際にロボットに対して実行され得る。アルゴリズムはまた、ロボットが取った経路を与えることができるので、ロボットは、それ自体を自己位置推定し、同時にその周囲の地図データを構築し得る。その結果、ロボットが、不慣れな領域をただナビゲートし、その領域がどのように見えるかを予め知ることなくその地図データを構築し得るので、これは特に有利であり得る。
【0050】
いくつかの実施形態において、現在説明されている方法及び／又はデバイス及び／又はアセンブリは、車両、自動車、及び／又は自動運転車を対象とし得る。即ち、マッピング方法は、地図データを構築するため、及び／又はナビゲートするため、及び／又はＳＬＡＭを実行するために自動運転車により使用され得る。
【0051】
しかしながら、他の実施形態において、本明細書に記載のデバイス及び／又はアセンブリ、即ち、モバイルロボット及び／又はモバイルロボットのアセンブリは、自動車及び／又は自動運転車とは実質的に異なる。即ち、そのような実施形態において、モバイルロボットは、自動車より顕著に小さい。そのような実施形態において、ロボットの典型的な寸法は、以下の通りであり得る。幅：２０から１００ｃｍ、好ましくは４０から７０ｃｍ、約５５ｃｍ等。高さ：２０から１００ｃｍ、好ましくは４０から７０ｃｍ、約６０ｃｍ等。長さ：３０から１２０ｃｍ、好ましくは５０から８０ｃｍ、約６５ｃｍ等。そのような実施形態において、モバイルロボットはまた、自動車及び／又は自動運転車より十分に軽い。そのような実施形態において、ロボットの重量は、２ｋｇから５０ｋｇの範囲、好ましくは５ｋｇから４０ｋｇ、より好ましくは７ｋｇから２５ｋｇ、１０ｋｇから２０ｋｇ等であり得る。そのような実施形態において、ロボットはまた、自動車及び／又は自動運転車とは異なり、歩道上で動作するように適合され得る。それは、２０ｋｍ／ｈ以下、１０ｋｍ／ｈ以下等、好ましくは４ｋｍ／ｈと６ｋｍ／ｈとの間の速度を更に有し得る。
【0052】
即ち、本発明が自動車及び／又は自動運転車に適用され得る実施形態は、それが、より小型の及び／又はより軽い、及び／又はより低速のモバイルロボットに適用され得る実施形態とは実質的に異なる。
【0053】
自動運転車が、複数のセンサを使用し得、公道上を自律的にナビゲートすることは当技術分野において知られている。多くの場合、自動運転車は、自己位置推定の主要な手段又は主要な手段のうちの１つとしてＬｉｄａｒセンサを使用する。本発明は、数センチメートルの精度でモバイルロボットを自己位置推定する、コスト、空間、及び装置の上で効率的な方法を提示し得る。本発明は、自動運転車に適用され得る、しかしながら、自動運転車のために現在使用されている技術は、歩道上で動作するモバイル配送ロボットに対して使用するには煩雑で非実用的なことがある。
【0054】
以下で、本発明の更なる番号が付けられた実施形態が議論される。
【0055】
１．
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｃ）少なくとも２つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントと
を備える
モバイルロボット。
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｃ）少なくとも２つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントと
を備える
モバイルロボット。
【0056】
２．メモリコンポーネントは、少なくとも１つのランダムアクセスメモリ（ＲＡＭ）デバイスを備える、上述の実施形態に係るロボット。
【0057】
３．メモリコンポーネント内に含まれる地図データは、ロボットの現在の及び／又は予定の運転領域に関する、上述の実施形態の何れかに係るロボット。
【0058】
４．地図データが、座標系に関して定義された複数のベクトル、点特徴、及び／又はグリッド特徴を含む、上述の実施形態の何れかに係るロボット。
【0059】
５．地図データは、ＧＰＳ座標に変換され得る、上述の実施形態の何れかに係るロボット。
【0060】
６．各カメラが、毎秒３枚～５枚の画像、好ましくは毎秒４枚の画像を撮像するように適合される、上述の実施形態の何れかに係るロボット。
【0061】
７．カメラ撮像アングルは、１０°～１２０°である、上述の実施形態の何れかに係るロボット。
【0062】
８．少なくとも４つのカメラ、好ましくは９つのカメラを備える上述の実施形態の何れかに係るロボット。
【0063】
９．少なくとも一対のカメラが、ステレオカメラである、上述の実施形態に係るロボット。
【0064】
１０．ステレオカメラ間の距離は、５ｃｍ～２０ｃｍである、上述の実施形態に係るロボット。
【0065】
１１．少なくとも１つのカメラが、横方向の視覚画像を撮影するように適合され、少なくとも１つのカメラが、縦方向の視覚画像を撮影するように適合される、上述の実施形態の何れかに係るロボット。
【0066】
１２．カメラ及び／又は処理コンポーネントは、歩道、動いていない障害物及び／又は動いている障害物、及び駐車場、芝生及び／又は畑等の他の横切ることのできる環境のうち少なくとも１つ又は任意の組み合わせを含む環境において視覚画像を撮影し、処理するように適合される、上述の実施形態の何れかに係るロボット。
【0067】
１３．処理コンポーネントは、少なくとも１つのシステムオンチップ（ＳｏＣ）を含む、上述の実施形態の何れかに係るロボット。
【0068】
１４．処理コンポーネントは、最大で１０ｃｍ、好ましくは最大で５ｃｍ、より好ましくは最大で３ｃｍの誤差でロボットを自己位置推定するように適合される、上述の実施形態の何れかに係るロボット。
【0069】
１５．処理コンポーネントは、視覚画像から直線を抽出するように適合される、上述の実施形態の何れかに係るロボット。
【0070】
１６．処理コンポーネントは、ロボットの運転領域の地図データを構築するように適合される、上述の実施形態の何れかに係るロボット。
【0071】
１７．処理コンポーネントからの自己位置推定データを使用してナビゲートするように適合される上述の実施形態の何れかに係るロボット。
【0072】
１８．処理コンポーネントは、複数のカメラからの視覚画像を組み合わせ、地図データを構築する及び／又はロボットを自己位置推定する、上述の実施形態の何れかに係るロボット。
【0073】
１９．ロボットの自己位置推定のための更なるパラメータを測定するように適合されたセンサを更に備える上述の実施形態の何れかに係るロボット。
【0074】
２０．センサは、少なくとも１つのＧＰＳコンポーネント、少なくとも１つの加速度計、少なくとも１つのジャイロスコープ、少なくとも１つのオドメータ、少なくとも１つの磁力計、及び／又は少なくとも１つのＬｉｄａｒセンサのうちの少なくとも１つ又は任意の組み合わせを含む、上述の実施形態に係るロボット。
【0075】
２１．処理コンポーネントは、最初におおよその位置を取得するためにセンサからのデータを処理し、次に視覚画像から抽出された特徴の処理に基づいて自己位置推定を精緻化することによりロボットの自己位置推定を決定するように適合される、上述の２つの実施形態に係るロボット。
【0076】
２２．正確な高度ベースの自己位置推定のための圧力センサを更に備える上述の実施形態の何れかに係るロボット。
【0077】
２３．１又は複数のサーバと、データ、特に画像及び／又は地図データを交換するように適合された通信コンポーネントを更に備える上述の実施形態の何れかに係るロボット。
【0078】
２４．通信コンポーネントは、向上した信頼性及び／又は同時に両方のＳＩＭカードを使用した同時通信のために、少なくとも１枚の加入者識別モジュール（ＳＩＭカード）のための少なくとも１つのスロット、好ましくは２枚のＳＩＭカードのための２つのスロットを含む、上述の実施形態に係るロボット。
【0079】
２５．ロボットは、特定の間隔で、及び／又は入力を要求した後、サーバからナビゲーション命令を受信するように更に適合される、上述の２つの実施形態に係るロボット。
【0080】
２６．ロボットは、自律的及び／又は半自律的である、上述の実施形態の何れかに係るロボット。
【0081】
２７．ロボットは、陸上型である、上述の実施形態の何れかに係るロボット。
【0082】
２８．ロボットは、１０ｋｍ／ｈ以下、又は８ｋｍ／ｈ以下、又は６ｋｍ／ｈ以下、好ましくは３ｋｍ／ｈと６ｋｍ／ｈとの間、又はより好ましくは、４ｋｍ／ｈと５ｋｍ／ｈとの間の速度で移動するように適合される、上述の実施形態の何れかに係るロボット。
【0083】
２９．ロボットは、配送目的のために使用される、上述の実施形態の何れかに係るロボット。
【0084】
３０．ロボット及びその配送は、４０ｋｇ以下、例えば、３５ｋｇ以下、例えば、３０ｋｇ以下、例えば、２５ｋｇ以下、好ましくは、１５ｋｇと２５ｋｇの間、より好ましくは、２０ｋｇと２５ｋｇとの間の重さを有する、上述の実施形態の何れかに係るロボット。
【0085】
３１．ロボットは、陸上型の移動に適合された少なくとも４つの車輪を備える車輪機構を更に備える、上述の実施形態の何れかに係るロボット。
【0086】
３２．少なくとも１つの配送を保持するための空間を更に備える上述の実施形態の何れか１つに係るロボット。
【0087】
３３．少なくとも１つの配送を保持するための密閉空間を更に備える上述の実施形態の何れか１つに係るロボット。
【0088】
３４．空間へのアクセスを提供するための安全なアクセスデバイスを更に備える上述の実施形態に係るロボット。
【0089】
３５．安全なアクセスデバイスは、安全なインタフェースにより制御される閉鎖機構を備える、上述の実施形態に係るロボット。
【0090】
３６．処理コンポーネントは、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように適合される、上述の実施形態の何れかに係るロボット。
【0091】
３７．反復アルゴリズムは、ロボット姿勢を推定するために粒子フィルタ方法を適用する、上述の実施形態に係るロボット。
【0092】
３８．粒子フィルタは、少なくとも１つのカメラ、ＧＰＳコンポーネント、オドメータ、少なくとも１つのジャイロスコープ、加速度計、及び／又は磁力計等の少なくとも１つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合される、上述の２つの実施形態に係るロボット。
【0093】
３９．少なくとも２つのセンサのデータからの入力データが、ロボットの姿勢の推定を生成するために使用され、各寄与は、所与のセンサのデータと関連付けられる誤差に基づいて重み付けされる、上述の実施形態に係るロボット。
【0094】
４０．
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｃ）少なくとも２つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントと
を備える
モバイルロボット。
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｃ）少なくとも２つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも１つの処理コンポーネントと
を備える
モバイルロボット。
【0095】
４１．メモリコンポーネントは、少なくとも１つのランダムアクセスメモリ（ＲＡＭ）デバイスを備える、上述の実施形態に係るロボット。
【0096】
４２．メモリコンポーネント内に含まれる地図データは、ロボットの現在の及び／又は予定の運転領域に関する、上述の実施形態４０から４１の何れかに係るロボット。
【0097】
４３．地図データが、座標系に関して定義された複数のベクトル、点特徴、及び／又はグリッド特徴を含む、上述の実施形態４０から４２の何れかに係るロボット。
【0098】
４４．地図データは、ＧＰＳ座標に変換され得る、上述の実施形態４０から４３の何れかに係るロボット。
【0099】
４５．各カメラが、毎秒３枚～５枚の画像、好ましくは毎秒４枚の画像を撮像するように適合される、上述の実施形態４０から４４の何れかに係るロボット。
【0100】
４６．カメラ撮像アングルは、１０°～１２０°である、上述の実施形態４０から４５の何れかに係るロボット。
【0101】
４７．少なくとも４つのカメラ、好ましくは９つのカメラを備える上述の実施形態４０から４６の何れかに係るロボット。
【0102】
４８．少なくとも一対のカメラが、ステレオカメラである、上述の実施形態に係るロボット。
【0103】
４９．ステレオカメラ間の距離は、５ｃｍ～２０ｃｍである、上述の実施形態に係るロボット。
【0104】
５０．少なくとも１つのカメラが、横方向の視覚画像を撮影するように適合され、少なくとも１つのカメラが、縦方向の視覚画像を撮影するように適合される、上述の実施形態４０から４９の何れかに係るロボット。
【0105】
５１．カメラ及び／又は処理コンポーネントは、歩道、動いていない障害物及び動いている障害物、及び駐車場、芝生及び／又は畑等の他の横切ることのできる環境のうち少なくとも１つ又は任意の組み合わせを含む環境において視覚画像を撮影し、処理するように適合される、上述の実施形態４０から５０の何れかに係るロボット。
【0106】
５２．処理コンポーネントは、少なくとも１つのシステムオンチップ（ＳｏＣ）を含む、上述の実施形態４０から５１の何れかに係るロボット。
【0107】
５３．処理コンポーネントは、最大で１０ｃｍ、好ましくは最大で５ｃｍ、より好ましくは最大で３ｃｍの誤差でロボットを自己位置推定するように適合される、上述の実施形態４０から５２の何れかに係るロボット。
【0108】
５４．処理コンポーネントは、ロボットの運転領域の地図データを構築するように適合される、上述の実施形態４０から５３の何れかに係るロボット。
【0109】
５５．処理コンポーネントからの自己位置推定データを使用してナビゲートするように適合される上述の実施形態４０から５４の何れかに係るロボット。
【0110】
５６．処理コンポーネントは、複数のカメラからの視覚画像を組み合わせ、地図データを構築する及び／又はロボットを自己位置推定する、上述の実施形態４０から５５の何れかに係るロボット。
【0111】
５７．ロボットの自己位置推定のための更なるパラメータを測定するように適合されたセンサを更に備える上述の実施形態４０から５６の何れかに係るロボット。
【0112】
５８．センサは、少なくとも１つのＧＰＳコンポーネント、少なくとも１つの加速度計、少なくとも１つのジャイロスコープ、少なくとも１つのオドメータ、少なくとも１つの磁力計、及び／又は少なくとも１つのＬｉｄａｒセンサのうちの少なくとも１つ又は任意の組み合わせを含む、上述の実施形態に係るロボット。
【0113】
５９．処理コンポーネントは、最初におおよその位置を取得するためにセンサからのデータを処理し、次に視覚画像から抽出された特徴の処理に基づいて自己位置推定を精緻化することによりロボットの自己位置推定を決定するように適合される、上述の２つの実施形態に係るロボット。
【0114】
６０．正確な高度ベースの自己位置推定のための圧力センサを更に備える上述の実施形態４０から５９の何れかに係るロボット。
【0115】
６１．１又は複数のサーバと、データ、特に画像及び／又は地図データを交換するように適合された通信コンポーネントを更に備える上述の実施形態４０から６０の何れかに係るロボット。
【0116】
６２．通信コンポーネントは、向上した信頼性及び／又は同時に両方のＳＩＭカードを使用した同時通信のために、少なくとも１枚の加入者識別モジュール（ＳＩＭカード）のための少なくとも１つのスロット、好ましくは２枚のＳＩＭカードのための２つのスロットを含む、上述の実施形態に係るロボット。
【0117】
６３．ロボットは、特定の間隔で、及び／又は入力を要求した後、サーバからナビゲーション命令を受信するように更に適合される、上述の２つの実施形態に係るロボット。
【0118】
６４．ロボットは、自律的及び／又は半自律的である、上述の実施形態４０から６３の何れかに係るロボット。
【0119】
６５．ロボットは、陸上型である、上述の実施形態４０から６４の何れかに係るロボット。
【0120】
６６．ロボットは、１０ｋｍ／ｈ以下、又は８ｋｍ／ｈ以下、又は６ｋｍ／ｈ以下、好ましくは３ｋｍ／ｈと６ｋｍ／ｈとの間、又はより好ましくは、４ｋｍ／ｈと５ｋｍ／ｈとの間の速度で移動するように適合される、上述の実施形態４０から６５の何れかに係るロボット。
【0121】
６７．ロボットは、配送目的のために使用される、上述の実施形態４０から６６の何れかに係るロボット。
【0122】
６８．ロボット及びその配送は、４０ｋｇ以下、例えば、３５ｋｇ以下、例えば、３０ｋｇ以下、例えば、２５ｋｇ以下、好ましくは、１５ｋｇと２５ｋｇの間、より好ましくは、２０ｋｇと２５ｋｇとの間の重さを有する、上述の実施形態４０から６７の何れかに係るロボット。
【0123】
６９．ロボットは、陸上型の移動に適合された少なくとも４つの車輪を備える車輪機構を更に備える、上述の実施形態４０から６８の何れかに係るロボット。
【0124】
７０．少なくとも１つの配送を保持するための空間を更に備える上述の実施形態４０から６９の何れか１つに係るロボット。
【0125】
７１．少なくとも１つの配送を保持するための密閉空間を更に備える上述の実施形態４０から７０の何れか１つに係るロボット。
【0126】
７２．空間へのアクセスを提供するための安全なアクセスデバイスを更に備える上述の実施形態に係るロボット。
【0127】
７３．安全なアクセスデバイスは、安全なインタフェースにより制御される閉鎖機構を備える、上述の実施形態に係るロボット。
【0128】
７４．処理コンポーネントは、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように適合される、上述の実施形態４０から７３の何れかに係るロボット。
【0129】
７５．反復アルゴリズムは、ロボット姿勢を推定するために粒子フィルタ方法を適用する、上述の実施形態に係るロボット。
【0130】
７６．粒子フィルタは、少なくとも１つのカメラ、ＧＰＳコンポーネント、オドメータ、少なくとも１つのジャイロスコープ、加速度計、及び／又は磁力計等の少なくとも１つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合される、上述の２つの実施形態に係るロボット。
【0131】
７７．少なくとも２つのセンサのデータからの入力データが、ロボットの姿勢の推定を生成するために使用され、各寄与は、所与のセンサのデータと関連付けられる誤差に基づいて重み付けされる、上述の実施形態に係るロボット。
【0132】
７８．少なくとも２つのモバイルロボットを備えるモバイルロボットのアセンブリであって、ロボットの各々は、
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｃ）少なくとも１つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも１つの処理コンポーネントと、
（ｄ）ロボット間でデータ、特に画像及び／又は地図データを送信及び受信するように適合された少なくとも１つの通信コンポーネントと
を備える、
アセンブリ。
（ａ）少なくとも地図データを含む少なくとも１つのメモリコンポーネントと、
（ｂ）環境の視覚画像を撮影するように適合された少なくとも２つのカメラと、
（ｃ）少なくとも１つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも１つの処理コンポーネントと、
（ｄ）ロボット間でデータ、特に画像及び／又は地図データを送信及び受信するように適合された少なくとも１つの通信コンポーネントと
を備える、
アセンブリ。
【0133】
７９．メモリコンポーネントは、少なくとも１つのランダムアクセスメモリ（ＲＡＭ）デバイスを備える、上述の実施形態に係るアセンブリ。
【0134】
８０．メモリコンポーネント内に含まれる地図データは、ロボットの現在の及び／又は予定の運転領域に関する、上述の２つの実施形態の何れかに係るアセンブリ。
【0135】
８１．地図データが、座標系に関して定義された複数のベクトル、点特徴、及び／又はグリッド特徴を含む、上述の実施形態７８から８０の何れかに係るアセンブリ。
【0136】
８２．地図データは、ＧＰＳ座標に変換され得る、上述の実施形態７８から８１の何れかに係るアセンブリ。
【0137】
８３．各カメラが、毎秒３枚～５枚の画像、好ましくは毎秒４枚の画像を撮像するように適合される、上述の実施形態７８から８２の何れかに係るアセンブリ。
【0138】
８４．カメラ撮像アングルは、１０°～１２０°である、上述の実施形態７８から８３の何れかに係るアセンブリ。
【0139】
８５．ロボットは、少なくとも４つのカメラ、好ましくは９つのカメラを備える上述の実施形態７８から８４の何れかに係るアセンブリ。
【0140】
８６．少なくとも一対のカメラが、ステレオカメラである、上述の実施形態に係るアセンブリ。
【0141】
８７．ステレオカメラ間の距離は、５ｃｍ～２０ｃｍである、上述の実施形態に係るアセンブリ。
【0142】
８８．少なくとも１つのカメラが、横方向の視覚画像を撮影するように適合され、少なくとも１つのカメラが、縦方向の視覚画像を撮影するように適合される、上述の実施形態７８から８７の何れかに係るアセンブリ。
【0143】
８９．カメラ及び／又は処理コンポーネントは、歩道、動いていない障害物及び／又は動いている障害物、及び駐車場、芝生及び／又は畑等の他の横切ることのできる環境のうち少なくとも１つ又は任意の組み合わせを含む環境において視覚画像を撮影し、処理するように適合される、上述の実施形態７８から８８の何れかに係るアセンブリ。
【0144】
９０．処理コンポーネントは、少なくとも１つのシステムオンチップ（ＳｏＣ）を含む、上述の実施形態７８から８９の何れかに係るアセンブリ。
【0145】
９１．処理コンポーネントは、最大で１０ｃｍ、好ましくは最大で５ｃｍ、より好ましくは最大で３ｃｍの誤差でロボットを自己位置推定するように適合される、上述の実施形態７８から９０の何れかに係るアセンブリ。
【0146】
９２．処理コンポーネントは、視覚画像から直線を抽出するように適合される、上述の実施形態７８から９１の何れかに係るアセンブリ。
【0147】
９３．処理コンポーネントは、ロボットの運転領域の地図データを構築するように適合される、上述の実施形態７８から９２の何れかに係るアセンブリ。
【0148】
９４．ロボットは、処理コンポーネントからの自己位置推定データを使用してナビゲートするように適合される上述の実施形態７８から９３の何れかに係るアセンブリ。
【0149】
９５．処理コンポーネントは、複数のカメラからの視覚画像を組み合わせ、地図データを構築する及び／又はロボットを自己位置推定する、上述の実施形態７８から９４の何れかに係るアセンブリ。
【0150】
９６．ロボットは、ロボットの自己位置推定のための更なるパラメータを測定するように適合されたセンサを更に備える、上述の実施形態７８から９５の何れかに係るアセンブリ。
【0151】
９７．センサは、少なくとも１つのＧＰＳコンポーネント、少なくとも１つの加速度計、少なくとも１つのジャイロスコープ、少なくとも１つのオドメータ、少なくとも１つの磁力計、及び／又は少なくとも１つのＬｉｄａｒセンサのうちの少なくとも１つ又は任意の組み合わせを含む、上述の実施形態に係るアセンブリ。
【0152】
９８．処理コンポーネントは、最初におおよその位置を取得するためにセンサからのデータを処理し、次に視覚画像から抽出された特徴の処理に基づいて自己位置推定を精緻化することによりロボットの自己位置推定を決定するように適合される、上述の２つの実施形態に係るアセンブリ。
【0153】
９９．ロボットは、正確な高度ベースの自己位置推定のための圧力センサを更に備える、上述の実施形態７８から９８の何れかに係るアセンブリ。
【0154】
１００．ロボット間で送信されたデータは、複数の運転領域の地図に組み合わされ得る、上述の実施形態７８から９９の何れかに係るアセンブリ。
【0155】
１０１．ロボットは、地図データを交換するように適合される、上述の実施形態７８から１００の何れかに係るアセンブリ。
【0156】
１０２．それらの通信コンポーネントを介してロボットと少なくとも通信するように適合された少なくとも１つサーバを更に備える、上述の実施形態７８から１０１の何れかに係るアセンブリ。
【0157】
１０３．ロボットは、サーバを介して互いに通信するように適合される、上述の実施形態に係るアセンブリ。
【0158】
１０４．通信コンポーネントは、サーバと、データ、特に画像及び／又は地図データを交換するように適合される、上述の２つの実施形態の何れかに係るアセンブリ。
【0159】
１０５．サーバは、地図データを格納し得る、上述の３つの実施形態に係るアセンブリ。
【0160】
１０６．サーバは、ロボットから地図データを受信し、それを処理し、要求される場合ににロボットに処理されたデータを送り返すように適合され、ロボットが、他のロボットにより収集された地図データから恩恵を受けることを可能にする、上述の４つの実施形態に係るアセンブリ。
【0161】
１０７．各ロボットが、特定の間隔で、及び／又は入力を要求した後、サーバからナビゲーション命令を受信する、上述の５つの実施形態に係るアセンブリ。
【0162】
１０８．通信コンポーネントは、向上した信頼性及び／又は同時に両方のＳＩＭカードを使用した同時通信のため、少なくとも１枚の加入者識別モジュール（ＳＩＭカード）のための少なくとも１つのスロット、好ましくは２枚のＳＩＭカードのための２つのスロットを含む、上述の実施形態に係るアセンブリ。
【0163】
１０９．ロボットは、特定の間隔で、及び／又は入力を要求した後、サーバからナビゲーション命令を受信するように更に適合される、上述の２つの実施形態に係るアセンブリ。
【0164】
１１０．ロボットは、自律的及び／又は半自律的である、上述の実施形態７８から１０９の何れかに係るアセンブリ。
【0165】
１１１．ロボットは、陸上型である、上述の実施形態７８から１１０の何れかに係るアセンブリ。
【0166】
１１２．ロボットは、１０ｋｍ／ｈ以下、又は８ｋｍ／ｈ以下、又は６ｋｍ／ｈ以下、好ましくは３ｋｍ／ｈと６ｋｍ／ｈとの間、又はより好ましくは、４ｋｍ／ｈと５ｋｍ／ｈとの間の速度で移動するように適合される、上述の実施形態７８から１１１の何れかに係るアセンブリ。
【0167】
１１３．ロボットは、配送目的のために使用される、上述の実施形態７８から１１２の何れかに係るアセンブリ。
【0168】
１１４．ロボット及びその配送は、４０ｋｇ以下、例えば、３５ｋｇ以下、例えば、３０ｋｇ以下、例えば、２５ｋｇ以下、好ましくは、１５ｋｇと２５ｋｇの間、より好ましくは、２０ｋｇと２５ｋｇとの間の重さを有する、上述の実施形態７８から１１３の何れかに係るアセンブリ。
【0169】
１１５．ロボットは、陸上型の移動に適合された少なくとも４つの車輪を備える車輪機構を更に備える、上述の実施形態７８から１１４の何れかに係るアセンブリ。
【0170】
１１６．少なくとも１つの配送を保持するための空間を更に備える上述の実施形態７８から１１５の何れか１つに係るアセンブリ。
【0171】
１１７．少なくとも１つの配送を保持するための密閉空間を更に備える上述の実施形態７８から１１６の何れか１つに係るアセンブリ。
【0172】
１１８．空間へのアクセスを提供するための安全なアクセスデバイスを更に備える上述の実施形態に係るアセンブリ。
【0173】
１１９．安全なアクセスデバイスは、安全なインタフェースにより制御される閉鎖機構を備える、上述の実施形態に係るアセンブリ。
【0174】
１２０．各ロボットの処理コンポーネントが、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように適合される、上述の実施形態７８から１１９の何れかに係るアセンブリ。
【0175】
１２１．反復アルゴリズムは、ロボット姿勢を推定するために粒子フィルタ方法を適用する、上述の実施形態に係るアセンブリ。
【0176】
１２２．粒子フィルタは、少なくとも１つのカメラ、ＧＰＳコンポーネント、オドメータ、少なくとも１つのジャイロスコープ、加速度計、及び／又は磁力計等の少なくとも１つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合される、上述の２つの実施形態に係るアセンブリ。
【0177】
１２３．少なくとも２つのセンサのデータからの入力データが、ロボットの姿勢の推定を生成するために使用され、各寄与は、所与のセンサのデータと関連付けられる誤差に基づいて重み付けされる、上述の実施形態に係るアセンブリ。
【0178】
１２４．
（ａ）少なくとも２つのカメラ及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｂ）少なくとも１つのロボットの少なくとも２つのカメラで視覚画像を撮影することと、
（ｃ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｄ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｅ）視覚画像から抽出された特徴を使用して地図データを構築することと
を備える
マッピング方法。
（ａ）少なくとも２つのカメラ及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｂ）少なくとも１つのロボットの少なくとも２つのカメラで視覚画像を撮影することと、
（ｃ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｄ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｅ）視覚画像から抽出された特徴を使用して地図データを構築することと
を備える
マッピング方法。
【0179】
１２５．ロボット及び／又はカメラ及び／又は処理コンポーネントは、上述の実施形態の何れかにおいて説明された様である、上述の実施形態に係る方法。
【0180】
１２６．マッピングに関して使用される特徴は、直線である、上述の２つの実施形態に係る方法。
【0181】
１２７．特徴を抽出することは、組み合わされた視覚画像を個別の画像に分離することにより生成された個別の画像に対して行われる、上述の３つの実施形態に係る方法。
【0182】
１２８．地図データは、座標系に関して定義された複数のベクトル、点特徴、及び／又はグリッド特徴を含む、上述の４つの実施形態に係る方法。
【0183】
１２９．地図データは、ロボットを自己位置推定するために更に使用され得る、上述の５つの実施形態に係る方法。
【0184】
１３０．モバイルロボットは、実施形態１から１１１の何れか１つにおいて説明されたようなロボット又はアセンブリである、上述の６つの実施形態に係る方法。
【0185】
１３１．
（ａ）少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｂ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｃ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｄ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｅ）抽出された特徴を少なくとも１つのロボットの少なくとも１つのメモリコンポーネント上に格納された既存の地図データと比較することと、
（ｆ）（ｅ）における比較を使用して少なくとも１つのロボットを自己位置推定することと
を備える
自己位置推定方法。
（ａ）少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを動作することと、
（ｂ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｃ）少なくとも２つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
（ｄ）少なくとも１つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
（ｅ）抽出された特徴を少なくとも１つのロボットの少なくとも１つのメモリコンポーネント上に格納された既存の地図データと比較することと、
（ｆ）（ｅ）における比較を使用して少なくとも１つのロボットを自己位置推定することと
を備える
自己位置推定方法。
【0186】
１３２．ロボット及び／又はカメラ及び／又はメモリコンポーネント及び／又は処理コンポーネントは、上述の実施形態の何れかにおいて説明された様である、上述の実施形態に係る方法。
【0187】
１３３．自己位置推定に関して使用される特徴は、直線である、上述の２つの実施形態の何れかに係る方法。
【0188】
１３４．特徴を抽出することは、組み合わされた視覚画像を個別の画像に分離することにより生成された個別の画像に対して行われる、上述の３つの実施形態の何れかに係る方法。
【0189】
１３５．地図データは、座標系に関して定義された複数のベクトル、点特徴、及び／又はグリッド特徴を含む、上述の４つの実施形態に係る方法。
【0190】
１３６．（ｅ）における比較は、粒子フィルタを使用して行われる、上述の５つの実施形態の何れかに係る方法。
【0191】
１３７．モバイルロボットは、実施形態１から１１１の何れか１つにおいて説明されたようなロボット又は組み合わせである、上述の６つの実施形態の何れかに係る方法。
【0192】
１３８．
（ａ）少なくとも１つのデッドレコニングコンポーネント、少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを提供することと、
（ｂ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｃ）少なくとも１つの処理コンポーネントで視覚画像から特徴を抽出することと、
（ｄ）（ｃ）における抽出された特徴から位置関連データを取得することと、
（ｅ）少なくとも１つのデッドレコニングコンポーネントから位置関連データを受信することと、
（ｆ）（ｄ）における視覚画像から抽出された特徴から取得された位置関連データ、及び（ｅ）における少なくとも１つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
（ｇ）（ｆ）における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える
自己位置推定方法。
（ａ）少なくとも１つのデッドレコニングコンポーネント、少なくとも２つのカメラ、少なくとも１つのメモリコンポーネント、及び少なくとも１つの処理コンポーネントを備える少なくとも１つのモバイルロボットを提供することと、
（ｂ）少なくとも１つのロボットの少なくとも２つのカメラコンポーネントで視覚画像を撮影することと、
（ｃ）少なくとも１つの処理コンポーネントで視覚画像から特徴を抽出することと、
（ｄ）（ｃ）における抽出された特徴から位置関連データを取得することと、
（ｅ）少なくとも１つのデッドレコニングコンポーネントから位置関連データを受信することと、
（ｆ）（ｄ）における視覚画像から抽出された特徴から取得された位置関連データ、及び（ｅ）における少なくとも１つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
（ｇ）（ｆ）における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える
自己位置推定方法。
【0193】
１３９．ロボット、及び／又はカメラ、及び／又はメモリコンポーネント、及び／又は処理コンポーネントは、上述の実施形態の何れかにおいて説明された様である、実施形態１３８に係る方法。
【0194】
１４０．デッドレコニングコンポーネントは、少なくとも１つのオドメータ及び／又は少なくとも１つのジャイロスコープ及び／又は少なくとも１つの加速度計のうちの少なくとも１つを備え得る、上述の実施形態１３８又は１３９の何れかに係る方法。
【0195】
１４１．（ｆ）における組み合わされた、視覚画像特徴からの及びデッドレコニングコンポーネントからの位置関連データは、その測定値と関連付けられた誤差に基づいて重み付けされる、上述の実施形態１３８から１４０の何れかに係る方法。
【0196】
１４２．段階（ｆ）は、ＧＰＳコンポーネント等の他のセンサ、及び／又は磁力計から取得された重み付けされた位置関連データを組み合わせることを更に含み得る、実施形態１３８から１４１の何れかに係る方法。
【0197】
１４３．段階（ｆ）及び（ｇ）は、粒子フィルタ方法を使用して実施され得る、実施形態１３８から１４２の何れかに係る方法。
【0198】
１４４．段階（ｅ）は、視覚画像から抽出された特徴を少なくとも１つのロボットの少なくとも１つのメモリコンポーネント上に格納された既存の地図データと比較することを更に含む、実施形態１３８から１４３の何れかに係る方法。
【0199】
本発明の追加の詳細に伴う上記の特徴は、以下の例において更に説明され、それらは、本発明を更に説明することを意図されているが、決してその範囲を限定することを意図されない。
【図面の簡単な説明】
【0200】
【図1】本発明によるロボットの実施形態の斜視図を示す。
【図2】異なるカメラ視野角の実施形態を示す。
【図3】説明されている発明を用いて例示的な画像から抽出された直線の実施形態を示す。
【図3b】本発明による自己位置推定の実施形態を図示する。
【図3c】本発明による自己位置推定の実施形態を図示する。
【図3d】本発明による自己位置推定の実施形態を図示する。
【図3e】本発明の一態様に係る自己位置推定を実行するロボットの模式上面図を図示する。
【図4】マッピング方法の実施形態の模式的な説明を示す。
【図5】自己位置推定方法の実施形態の模式的な説明を示す。
【図6】本発明による自己位置推定方法の実施形態を示す。
【発明を実施するための形態】
【0201】
以下において、図を参照して本発明の例示的な実施形態を説明する。これらの例は、本発明の範囲を限定することなく、本発明の更なる理解を提供するために提供される。
【0202】
以下の説明において、一連の特徴及び／又は段階が説明される。当業者であれば、文脈によって必要とされない限り、特徴及び段階の順序は、得られた構成及びその効果にとって重要ではないことを理解するであろう。更に、特徴及び段階の順序に関わらず、説明されている段階のいくつか又は全ての間に、段階間の時間遅延の有無が存在し得ることが、当業者には明らかであろう。
【0203】
図１は、本発明によるロボットの実施形態を示す。ロボットは、陸上型の移動に適合された車輪１を備える。フレーム２が、車輪１に取り付けられ得る。本体３が、フレーム２に取り付けられ得る。本体３が、配送を輸送するように適合された密閉空間（図示せず）を備え得る。ライト４が、本体３及び／又はフレーム２の周りに配置され得る。ライト４は、例えば、ＬＥＤライトであり得、ロボットがその中でそれ自体を見つける環境を照らし得る。これは、暗闇でロボットの存在を示すために、及び／又はより良い照明を通して視覚的な自己位置推定を支援するために有用であり得る。複数のカメラが、本体３の周りに配置され得る。この実施形態において、９（九）つのカメラが存在する。
【0204】
第１のカメラ１０が、本体３上にロボットの前面の近くに位置決めされ得る。第１のカメラは、ロボットから離れておおよそ水平な視界を提供し得る。第２のカメラ２０及び第３のカメラ３０が、ロボットの前面近くに同様に第１のカメラ１０の両側に位置決めされる。
【0205】
第２のカメラ２０及び第３のカメラ３０は、第１のカメラ１０の方向に対して下方に１０°～５０°、好ましくは下方に２０°～４０°の角度であり得、即ち、それらは、水平な視界に対して下方に角度をつけられ得る。第２のカメラ２０及び第３のカメラ３０は、ステレオカメラであり得る。それらは、５ｃｍ～１０ｃｍの距離で分離され得る。ステレオカメラは、ステレオカメラからの視覚画像に存在する特徴を比較することにより目的物の三角測量を容易にする。
【0206】
第４のカメラ４０及び第５のカメラ５０が、移動の前進方向に対してロボットの本体３の左側に配置される。第４のカメラ４０及び第５のカメラ５０はまた、ステレオカメラであり得る。それらは、１５ｃｍ～２０ｃｍの距離で分離され得る。
【0207】
移動の方向に対してロボットの本体の右側に、第６のカメラ６０（図示せず）及び第７のカメラ７０（図示せず）が、カメラ４０及び５０の位置に相補的である位置に配置される。第６のカメラ６０及び第７のカメラ７０はまた、好ましくは１５ｃｍ～２０ｃｍの距離で分離されるステレオカメラであり得る。
【0208】
ロボットの背面に、第８のカメラ８０（図示せず）及び第９のカメラ９０が配置され得る。第８のカメラ８０及び第９のカメラ９０はまた、好ましくは５ｃｍ～１０ｃｍの距離で分離されるステレオカメラであり得る。１又は複数のカメラが、縦向きに配置され得る。これは、垂直視野角が、水平視野角より大きくなり得ることを意味する。示されている実施形態において、サイドカメラ４０、５０、６０及び７０は、縦向きに配置され得る。他のカメラ１０、２０、３０、８０及び９０は、横向きに配置され得る。これは、水平視野角が、垂直視野角より大きくなり得ることを意味する。
【0209】
図２は、本発明によるロボットの実施形態を示す。図２は、図１に示されるカメラ設定の視野角を示す。カメラの視野角の全てが示される。視野角は、６０°～１００°付近の４０°～８０°（４０－８０° ｂｙ ６０－１００°）、好ましくは８０°付近の約６０°（ａｂｏｕｔ ６０° ｂｙ ８０°）の範囲であり得る。視野角１１は、第１のカメラ１０に対応する。視野角２１及び３１は、それぞれカメラ２０及び３０に対応する。それらの２つのカメラは、ステレオ方式で配置され得、それが図２が、交差する視野角を示す理由である。同様の配置が、カメラ８０及び９０で達成され得る。これらはまた、ロボットの本体３上でロボットの背面に向かって配置されるステレオカメラであり得る。従って、それぞれカメラ８０及び９０に対応する視野角８１及び９１がまた、交差するように示される。２対のサイドカメラ４０及び５０、６０及び７０のは、縦向きにステレオ位置に配置され得る。それらの視野角４１及び５１、６１及び７１は、それぞれ、同様に交差する。
【0210】
図３は、ロボットの動作中に抽出され得る直線１００の実施形態を示す。直線１００は、永続オブジェクト（家屋、フェンス、歩道等）及び／又は一時的なオブジェクト（自動車、影等）に属し得る。本発明は、画像の複数のテストケースを使用して較正されるように適合される。線を検出すること、及び永続オブジェクトに属する線を識別することにおけるその精度を改善する。
【0211】
図３ｂ、図３ｃ及び図３ｄは、抽出された線が重ねられた例示的なカメラ画像を示す。これらの図は、２つのタイプの線、点線１１０及び実線１２０を図示する。点線１１０は、ランドマークに属し得、地図内に格納される３Ｄ線である。それらの線は、例えば、カメラ画像から２Ｄ線として以前のロボット走行中に取得され得、例えば、反復アルゴリズムにより、３Ｄランドマークに変換される。実線１２０は、現在のロボット走行中にカメラ画像から抽出される２Ｄ線である。これらの図は、それ自体を自己位置推定しているロボットの模式図のスナップショットを示す。基礎となる最適化アルゴリズムは、３Ｄランドマーク１１０に属する正確な２Ｄ線１２０を識別するべく反復して実行される。このように、ロボットの姿勢は、カメラ画像から抽出された線を地図データ内に格納された線と比較することから取得され得る。
【0212】
図３ｅは、それ自体に対する自己位置推定を実行するモバイルロボット１０００の模式上面図を図示する。ロボット１０００は、黒い矩形として中央に示される。ロボットの１０００つのカメラのカメラアングルがまた模式的に示される。前部のカメラアングル１１を、ロボット１０００の左下に見ることができる。後部カメラアングルのうちの１つ、８１を、ロボット１０００の右上に見ることができる。この実施形態において、１つの後部カメラアングル８１のみが示される。模式的なＧＰＳセンサ出力が、円２００として示される。円２００は、ロボットのおおよその位置を表し、例えば、自己位置推定手順のための始点として機能し得る。そのような実施形態において、自己位置推定アルゴリズムは、例えば、ＧＰＳ読み取りから開始し、次に、カメラ画像ベースの自己位置推定を使用してそれを精緻化し得る。既に述べたように、点線１１０は、ロボットの地図上の様々なランドマークを識別する３Ｄ線を示す。ここでは、それらは、ロボット１０００に対してグラウンドプレーン上の投影として図示される。
【0213】
図４は、本発明によるマッピング方法の実施形態を示す。第１段階Ｓ１は、ロボットに配置されるカメラで視覚画像を撮影する段階を備える。視覚画像は、同時に撮影され得る。好ましい実施形態において、ロボットは、同時の画像を撮影する９（九）つのカメラを備える。第２段階Ｓ２は、前処理のために視覚画像を１つのファイルに組み合わせる段階を備える。この段階は、処理を高速化するためになされ得る。前処理の後、組み合わされたファイルは、再び個別の画像に分離され得る。第３段階Ｓ３は、個別の画像から線を抽出する段階を備える。この段階は、最初に例えばＣａｎｎｙアルゴリズム等のエッジ検出アルゴリズムを使用して、次に、エッジ検出アルゴリズムの結果に対してライン抽出アルゴリズムを使用してなされ得る。ライン抽出アルゴリズムは、例えば、ハフ変換であり得る。第４段階Ｓ４は、抽出された線を組み合わせ、視覚画像が撮像された領域の地図データを構築する段階を備える。
【0214】
ロボット上のカメラの、及び互いに対する正確な位置が知られ得、このことは、抽出された線を１つの座標系でコヒーレントな方式で組み合わせることを可能にする。一貫性があり、ＧＰＳ座標等の標準系に変換され得る限り、この座標系は、任意であり得る。段階Ｓ１、Ｓ２、Ｓ３、及びＳ４を含む方法は、新たな視覚画像のセットがカメラにより撮影される度に繰り返され得る。好ましい実施形態において、これは、毎秒１回から１０回繰り返される。ロボットは、従って、その運転領域の一貫した地図データを構築し得る。複数のロボットが１つの運転領域内で動作している場合、それらは、変化が検出される場合に地図データを交換及びそれを更新し得る。ロボットは、従って、他のロボットにより撮影された地図データから恩恵を受けることができる。異なる運転領域の地図データは、ロボットの運転領域の全てを含む地球地図データに組み合わされ得る。
【0215】
図５は、本発明による自己位置推定方法の実施形態を示す。段階Ｓ１、Ｓ２、及びＳ３は、図４のマッピング方法においてと同じであり得る。自己位置推定方法は、ロボットがそのメモリコンポーネント内に格納された地図データを含む場合に使用され得る。第５段階Ｓ５は、視覚画像から抽出された直線をロボットのメモリコンポーネント内に格納された地図データと比較する段階を備える。メモリコンポーネント内に格納された地図データは、ロボットの異なる姿勢の可能性に対応する。ロボットは、次に、粒子フィルタアルゴリズムを使用し得、各姿勢が真の姿勢である尤度を評価する。第６段階Ｓ６では、最も可能性が高い姿勢は、知られた姿勢可能性の確率解析に基づいて選ばれる。この最も可能性が高い姿勢は、画像が撮影された時点でロボットの自己位置推定を提供する。自己位置推定は、迅速であり、典型的には、非常に短い時間枠内で、又は次の画像のセットが処理される少なくとも前に完了する（０．１秒から１秒毎に発生し得る）。
【0216】
何らかの理由で、ロボットが、一時的に画像ベースの自己位置推定を実行できない場合、例えば、ロボットが、輸送中に自己位置推定を実行するために、メモリにアクセスできない、又はメモリに地図をダウンロードできない場合、ロボットは、ロボット上にまた実装されている他の自己位置推定手段（例えば、ＧＰＳ座標、加速度計データ、ジャイロスコープデータ、オドメータデータ、磁力計データ、飛行時間カメラデータ及び／又はＬｉｄａｒデータのうち１又は複数）を使用してナビゲートし得る。ロボットが、画像ベースの自己位置推定を再開できるようになると、そのコースは、ナビゲーションのその意図されたルートを考慮して、より正確な自己位置推定データに基づいて、必要に応じて再調整され得る。
【0217】
図６は、本発明による自己位置推定方法の実施形態を示す。段階Ｓ１、Ｓ２、及びＳ３は、図４のマッピング方法において及び図５の自己位置推定方法においてと同じであり得る。自己位置推定方法は、ロボットがそのメモリコンポーネント内に格納された地図データを含む場合に使用され得る。
【0218】
第７段階Ｓ７は、１又は複数のデッドレコニングコンポーネントから位置関連データを受信する段階を備え得る。それらは、少なくとも１つのオドメータ、少なくとも１つの加速度計、及び／又は少なくとも１つのジャイロスコープを含み得る。第８段階Ｓ８は、視覚画像から抽出された線から取得された位置関連データと、位置関連データの各々と関連付けられる誤差に基づいて重み付けされた１又は複数のデッドレコニングコンポーネントから受信された位置関連データとを組み合わせる段階を備え得る。第９段階Ｓ９は、組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成する段階を備え得る。最後の２つの段階は、例えば、上で及び以下で説明されている様な粒子フィルタアルゴリズムを使用して実行され得る。
【0219】
一実施形態において、ロボットは、デッドレコニングコンポーネントから時間ステップ毎に位置データを受信し得る。この位置データは、それと関連付けられる誤差推定値を含み得る。最適な時間ステップの持続時間は、較正により決定され得る。好ましい実施形態において、時間ステップは、０．０１秒～０．１秒、より好ましくは０．０１秒～０．０５秒を含み得る。位置データは、各時間ステップでのロボット姿勢推定の始点とされ得る。デッドレコニングコンポーネントは、少なくとも１つのオドメータ及び／又は少なくとも１つのジャイロスコープを含み得る。デッドレコニングコンポーネントは、次に、粒子フィルタ説明において説明されている様な制御センサであり得る。
【0220】
ロボットは、少なくとも２つのカメラを使用して視覚画像を更に撮影し得る。ロボットの処理コンポーネントは、次に、視覚画像から特徴を抽出し得る。好ましい実施形態において、直線が、視覚画像から抽出され、位置関連データを含む。所与の画像及び／又は画像の所与の組み合わせ上で見られる線は、所与の粒子の姿勢に基づいて（地図に基づいて）見られるべき線と比較され得る。定量的に、これは、粒子姿勢が与えられたときに特定の線を見る確率として表され得る。この確率は、おおよそ適合度関数により計算され得る。それは、前に説明したように粒子重みに適用され得る。正規化が、カメラフレーム内の相関関係を低減するために行われ得る―（例えば杭柵から等）多くの線を受信する１つのカメラが、ほんのわずかの線を受信した別のカメラ入力（例えば２つの建物の角を見たのみ）より優位にたつべきではない。これは更に、誤差推定値を妥当な範囲内に保つために（数値的安定性のために）なされる。一実施形態において、適合度関数は、おおよそ以下を行う。カメラ画像からの線を地図上の線と関連付ける。その２つの間の誤差を計算する。全ての誤差を合計する（例えば、二乗和法（ｓｑｕａｒｅ ｓｕｍｍｅｄ ｍｅｔｈｏｄ）を使用する）。ある時点で撮影された画像の全てにわたって合計を正規化し、それらを合計する。最後に、負の和の指数関数を取る。
【0221】
処理コンポーネントは、次に、デッドレコニングコンポーネントからの及び線ベースの自己位置推定からのデータをそれらのそれぞれの誤差と組み合わせ得、可能なロボット姿勢の推定を取得する。これは、粒子フィルタ方法を使用してなされ得る。この段階の間、更なるセンサ及び／又はコンポーネントからの入力が考慮され得る。例えば、ロボットは、ＧＰＳコンポーネント、磁力計、飛行時間カメラ、及び／又は加速度計により得られる位置又は姿勢関連データを考慮し得る。
【0222】
各時間ステップで、ロボットは、粒子フィルタ内の全ての粒子の重みを更新し得、可能性が高いロボット姿勢の分布で終わる。一定の基準に達する場合に、再サンプリング段階がなされ得、粒子フィルタが失敗しないことを確認する。
【0223】
特許請求の範囲を含む本明細書において用いられるように、単数形の用語は、文脈がそうでないことを示さない限り、複数形も含むと解釈されるべきであり、逆もまた同様である。従って、本明細書において用いられるように、単数形「１つの（ａ）」、「１つの（ａｎ）」及び「その（ｔｈｅ）」は、文脈がそうでないと明確に示さない限り、複数の参照を含むことに留意されるべきである。
【0224】
説明及び特許請求の範囲を通じて、「備える（ｃｏｍｐｒｉｓｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、及び「含む（ｃｏｎｔａｉｎ）」という用語及びそれらの変形は、「含むがこれに限定されない」を意味すると理解されるべきであり、他の構成要素を排除することを意図されない。
【0225】
「少なくとも１つの」という用語は、「１又は複数の」を意味すると理解されるべきであり、従って、１又は複数の構成要素を含む両方の実施形態を含む。更に、「少なくとも１つの」を有する特徴を説明する独立請求項を参照する従属請求項は、その特徴が「その」及び「その少なくとも１つの」と称される両方の場合に同じ意味を有する。
【0226】
本発明の前述の実施形態への変形が、依然として本発明の範囲内に含まれる限り行われ得ることが理解されよう。本明細書に開示されている特徴は、別段の定めがない限り、同じ、同等又は同様の目的を果たす代替的な特徴により置き換えられ得る。従って、別段の定めがない限り、開示されている各特徴は、一連の一般的な同等又は同様の特徴の一例を表す。
【0227】
「例えば（ｆｏｒ ｉｎｓｔａｎｃｅ）」、「等（ｓｕｃｈ ａｓ）」、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」等の、例示的な言語の使用は、単に本発明をより良く説明することを意図されており、そのように特許請求されていない限り、本発明の範囲に対する限定を示さない。文脈がそうでないことを明確に示していない限り、明細書において説明されている任意の段階は、任意の順序で、又は同時に実行されてもよい。
【0228】
本明細書で開示されている特徴及び／又は段階の全ては、特徴及び／又は段階の少なくとも一部が相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わされ得る。特に、本発明の好ましい特徴が、本発明の全ての態様に適用可能であり、任意の組み合わせで用いられ得る。
【図1】
【図2】
【図3】
【図3b】
【図3c】
【図3d】
【図3e】
【図4】
【図5】
【図6】
【外国語明細書】