特許 6991317 画像及び電波単語に基づく移動機器の改良された位置認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-09

(45)【発行日】2022-01-12

(54)【発明の名称】画像及び電波単語に基づく移動機器の改良された位置認識

(51)【国際特許分類】

   G01C 21/20 20060101AFI20220104BHJP

   G08G 1/00 20060101ALI20220104BHJP

   G05D 1/02 20200101ALI20220104BHJP

   G06T 7/70 20170101ALI20220104BHJP

   G01S 5/02 20100101ALI20220104BHJP

【ＦＩ】

G01C21/20

G08G1/00 X

G05D1/02 H

G06T7/70 A

G01S5/02 Z

【請求項の数】 14

(21)【出願番号】P 2020516684

(86)(22)【出願日】2018-09-24

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 EP2018075739

(87)【国際公開番号】W WO2019057954

(87)【国際公開日】2019-03-28

【審査請求日】2020-05-01

(31)【優先権主張番号】17306252.2

(32)【優先日】2017-09-22

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】311003754

【氏名又は名称】ソフトバンク・ロボティクス・ヨーロッパ

【氏名又は名称原語表記】ＳＯＦＴＢＡＮＫ ＲＯＢＯＴＩＣＳ ＥＵＲＯＰＥ

(73)【特許権者】

【識別番号】507103570

【氏名又は名称】アルミンヌ

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ノバコフスキ，マチュー

(72)【発明者】

【氏名】ジョリ，シリル

(72)【発明者】

【氏名】フレ，スカーレット

(72)【発明者】

【氏名】ガルシア，ニコラ

(72)【発明者】

【氏名】ムータルド，ファビアン

【審査官】田中 将一

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０１９５３１４（ＵＳ，Ａ１）

【文献】特開２０１１－０９４９９２（ＪＰ，Ａ）

【文献】国際公開第２０１７／０３７４２３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０５Ｄ １／００ － １／１２

Ｇ０６Ｔ ７／００ － ７／６０

Ｇ０１Ｓ ５／００ － ５／１４

Ｇ０１Ｓ １９／００ － １９／５５

(57)【特許請求の範囲】

【請求項1】

移動機器（２００）であって、
－１個以上のデジタル画像センサ（２１０）と、
－電波受信機（２０）と、
－以下の集合、すなわち
・視覚的単語の集合（３３３）、
・電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合（３３４）、
・対応する基準位置における視覚的単語及び電波単語の有無を各々決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合、
を保存する１個以上のメモリ（２３０）への通信リンクと、
－以下の適合機能、すなわち
・前記１個以上のデジタル画像センサから前記移動機器の環境の画像（３１０）を取得する適合機能（２４１）、
・前記電波受信機を用いて、受信可能な電波送信機（３２０）を検知する適合機能（２４２）、
・前記画像内における前記視覚的単語（３３１）の有無を決定するバイナリ値（３３５）、及び受信可能な電波送信機内における電波単語（３３２）の有無を決定するバイナリ値（３３６）を含む観測ベクトル（３３０）を生成する適合機能（２４３）、
・前記観測ベクトル及び前記基準位置ベクトルに基づいて少なくとも前記基準位置の集合における前記移動機器の現在位置を判定する適合機能（２４４，３４４）、
を含む処理ロジック（２４０）への通信リンクとを含み、
前記移動機器の現在位置を判定する前記適合機能が更に、
－前記観測ベクトル及び前記基準位置ベクトルに基づいて、前記移動機器が各基準位置に存在する確率（３５０）を計算し、
－前記移動機器の現在位置が最も高い確率を有する基準位置であると判定する適合機能を含んでいる、移動機器（２００）。

【請求項2】

前記移動機器の現在位置を判定する前記適合機能が、ある基準位置ベクトルに対して、前記移動機器が前記対応する基準位置に存在する場合に前記観測ベクトルを観測する尤度の計算を実行する適合機能を含んでいる、請求項１に記載の移動機器。

【請求項3】

前記基準位置ベクトルに対する、前記移動機器が前記対応する基準位置に存在する場合に前記観測ベクトルを観測する尤度の前記計算が、前記観測ベクトル、前記基準位置ベクトル、並びに前記観測及び基準位置ベクトルの要素の相関木に基づいている、請求項２に記載の移動機器。

【請求項4】

前記処理ロジックが更に、前記移動機器の現在位置が前記基準位置のうち１個に存在するか否かを判定する前記適合機能により、前記移動機器が前記基準位置のいずれにも存在しないと判定された場合、前記基準位置の集合に、前記観測ベクトルを基準位置ベクトルとして有する更なる基準位置を追加する適合機能を含んでいる、請求項１～３のいずれか１項に記載の移動機器。

【請求項5】

前記電波単語の集合が、前記環境の探索中に電波送信機の検知を含む単一の訓練フェーズ中に構築される、請求項１～４のいずれか１項に記載の移動機器。

【請求項6】

前記処理ロジックが更に、前記電波受信機を用いて、受信可能な電波送信機を検知する前記適合機能が、どの電波単語にも関連付けられていない受信可能な電波送信機を検知した場合、前記受信可能な電波送信機に関連付けられた電波単語を前記電波単語の集合に追加する適合機能を含んでいる、請求項１～５のいずれか１項に記載の移動機器。

【請求項7】

前記受信可能な電波送信機に関連付けられた電波単語を追加する前記適合機能が、
－現在位置に前記対応する基準位置ベクトルにおける前記電波単語の存在を示すバイナリ値と、
－他の基準位置の各々に前記電波単語が存在しないことを示すバイナリ値を
追加すべく前記基準位置ベクトルを変更する適合機能を含んでいる、請求項４に依存する、請求項６に記載の移動機器。

【請求項8】

前記移動機器の現在位置を判定する前記適合機能が、各基準位置に対して、前記移動機器が前記基準位置に存在する場合に、前記基準位置ベクトル及び、観測ベクトルと基準位置ベクトルの要素同士の相関に基づいて、前記観測ベクトルを観測する尤度を計算する適合機能を含んでいる、請求項２に依存する、請求項２～７のいずれか１項に記載の移動機器。

【請求項9】

各基準位置に対して、前記移動機器が前記基準位置に存在する場合に前記観測ベクトルを観測する尤度を計算する前記適合機能が、視覚的単語に関連付けられた要素と、電波単語に関連付けられた要素との相関を別々計算する適合機能を含んでいる、請求項８に記載の移動機器。

【請求項10】

前記移動機器の現在位置を判定する前記適合機能が、少なくとも前記電波単語の集合から無作為に生成された受信可能な電波送信機の人為的なリストを用いて構築された人為的な基準位置ベクトルの集合に基づいて、前記移動機器が未知の位置に存在する場合に前記観測ベクトルを観測する確率を計算する適合機能を含んでいる、請求項９に記載の移動機器。

【請求項11】

－前記電波単語が更に、前記対応する電波送信機から受信した信号強度の範囲により決定され、
－観測ベクトルを生成する前記適合機能が、対応する電波送信機から前記電波受信機が対応する信号強度の信号を受信したならば前記電波単語が前記観測ベクトルに存在することを示す適合機能を含んでいる、請求項１～１０のいずれか１項に記載の移動機器。

【請求項12】

－前記移動機器が各基準位置に存在する確率を計算する前記適合機能が更に、前記移動機器が未知の位置に存在する確率を計算する適合機能を含み、
－前記移動機器が前記基準位置に存在する確率、及び前記移動機器が未知の位置に存在する確率の和が１に等しい、請求項１に記載の移動機器。

【請求項13】

方法であって、
－移動機器の環境の画像を、前記移動機器に搭載された１個以上のデジタル画像センサから取得するステップ（６１０）と、
－前記移動機器に搭載された電波受信機を用いて、受信可能な電波送信機を検知するステップ（６２０）と、
－以下の集合、すなわち
・視覚的単語の集合（３３３）、
・電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合（３３４）、
・基準位置の集合であって、前記対応する基準位置における視覚的単語及び電波単語の有無を決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合、
を保存するメモリにアクセスするステップ（６３０）と、
－前記画像内における視覚的単語の有無を決定するバイナリ値（３３５）、及び受信可能な電波送信機内における電波単語の有無を決定するバイナリ値（３３６）を含む観測ベクトルを生成するステップ（６４０）と、
－前記観測ベクトル及び前記基準位置ベクトルに基づいて、前記移動機器の現在位置が前記基準位置の１つに存在するか否かを判定するステップ（６５０）とを含む方法（６００）であって、
前記移動機器の現在位置が前記基準位置の１つに存在するか否かを判定するステップが更に、
－前記観測ベクトル及び前記基準位置ベクトルに基づいて前記移動機器が各基準位置に存在する確率（３５０）を計算するステップと、
－前記移動機器の現在位置が最も高い確率を有する基準位置であると判定するステップとを含む、方法。

【請求項14】

－移動機器の環境の画像を、前記移動機器に搭載された１個以上のデジタル画像センサから取得し、
－前記移動機器に搭載された電波受信機を用いて、受信可能な電波送信機を検知し、
－以下の集合、すなわち
・視覚的単語の集合、
・電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合、
・前記対応する基準位置における視覚的単語及び電波単語の有無を決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合、
を保存するメモリにアクセスし、
－前記画像内における視覚的単語の有無を決定するバイナリ値、及び受信可能な電波送信機を用いて電波単語の有無を決定するバイナリ値を含む観測ベクトルを生成して、
－前記観測ベクトル及び前記基準位置ベクトルに基づいて前記移動機器の現在位置が前記基準位置の１個に存在するか否かを判定すべく構成されたコンピュータコード命令を含むコンピュータプログラム製品であって、
前記移動機器の現在位置が前記基準位置の１個に存在するか否かを判定することが更に、
－前記観測ベクトル及び前記基準位置ベクトルに基づいて前記移動機器が各基準位置に存在する確率（３５０）を計算し、
－前記移動機器の現在位置が最も高い確率を有する基準位置であると判定すべく構成されている、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動機器の位置認識の分野に関する。より具体的には、取り得る基準位置の集合における移動機器の位置認識の判定に関する。

【背景技術】

【0002】

移動機器、例えばロボットの屋内での位置認識に対するニーズが、人間と対話する手頃な価格の移動ロボットが大量に配備されるにつれて高まっている。これにより、ロボットが自身の環境をマッピングして、自身が当該環境内を移動する際に自身の居場所を常に把握可能にする低コストの解決策に対するニーズが高まる。しかし、現行の解決策の大多数は、レーザー測距器等の高価なセンサの使用に依存するものであり、特定のプラットフォーム向けに設計されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｃｕｍｍｉｎｓ，Ｍ．，＆Ｎｅｗｍａｎ，Ｐ．（２００８）．ＦＡＢ－ＭＡＰ：Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ ｉｎ ｔｈｅ ｓｐａｃｅ ｏｆ ａｐｐｅａｒａｎｃｅ．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，２７（６），６４７－６６５

【文献】Ｃｕｍｍｉｎｓ，Ｍ．，＆Ｎｅｗｍａｎ，Ｐ．（２０１１）．Ａｐｐｅａｒａｎｃｅ－ｏｎｌｙ ＳＬＡＭ ａｔ ｌａｒｇｅ ｓｃａｌｅ ｗｉｔｈ ＦＡＢ－ＭＡＰ ２．０．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，３０（９），１１００－１１２３

【文献】Ｓｉｖｉｃ，Ｊ．，＆Ｚｉｓｓｅｒｍａｎ，Ａ．（２００３，Ｏｃｔｏｂｅｒ）．Ｖｉｄｅｏ Ｇｏｏｇｌｅ：Ａ ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ａｐｐｒｏａｃｈ ｔｏ ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ ｉｎ ｖｉｄｅｏｓ．Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００３．Ｐｒｏｃｅｅｄｉｎｇｓ．Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ（ｐ．１４７０）．ＩＥＥＥ

【文献】Ｓｃｈｗｉｅｇｅｌｓｈｏｈｎ，Ｆ．，Ｎｉｃｋ，Ｔ．，＆Ｇｏｅｔｚｅ，Ｊ．（２０１３，Ｍａｒｃｈ）．Ｌｏｃａｌｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｕｓｉｏｎ ｏｆ ｒｆｉｄ ａｎｄ ｓｔｅｒｅｏ ｉｍａｇｅ ｄａｔａ．Ｉｎ Ｐｏｓｉｔｉｏｎｉｎｇ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＷＰＮＣ），２０１３ １０ｔｈ Ｗｏｒｋｓｈｏｐ ｏｎ（ｐｐ．１－６）．ＩＥＥＥ

【文献】Ｑｕｉｇｌｅｙ，Ｍ．，Ｓｔａｖｅｎｓ，Ｄ．，Ｃｏａｔｅｓ，Ａ．，＆Ｔｈｒｕｎ，Ｓ．（２０１０，Ｏｃｔｏｂｅｒ）．Ｓｕｂ－ｍｅｔｅｒ ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｕｎｍｏｄｉｆｉｅｄ ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ ｉｎｅｘｐｅｎｓｉｖｅ ｓｅｎｓｏｒｓ．Ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ），２０１０ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ（ｐｐ．２０３９－２０４６）．ＩＥＥＥ

【文献】Ｎｏｗｉｃｋｉ，Ｍ．（２０１４）．ＷｉＦｉ－ｇｕｉｄｅｄ ｖｉｓｕａｌ ｌｏｏｐ ｃｌｏｓｕｒｅ ｆｏｒ ｉｎｄｏｏｒ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ．Ｊｏｕｒｎａｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ Ｍｏｂｉｌｅ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，８（３），１０－１８

【文献】Ｂｉｓｗａｓ，Ｊ．，＆Ｖｅｌｏｓｏ，Ｍ．（２０１３，Ｊｕｎｅ）．Ｍｕｌｔｉ－ｓｅｎｓｏｒ ｍｏｂｉｌｅ ｒｏｂｏｔ ｌｏｃａｌｉｚａｔｉｏｎ ｆｏｒ ｄｉｖｅｒｓｅ ｅｎｖｉｒｏｎｍｅｎｔｓ．Ｉｎ Ｒｏｂｏｔ Ｓｏｃｃｅｒ Ｗｏｒｌｄ Ｃｕｐ（ｐｐ．４６８－４７９）．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇ

【発明の概要】

【発明が解決しようとする課題】

【0004】

文献「Ｃｕｍｍｉｎｓ，Ｍ．，＆Ｎｅｗｍａｎ，Ｐ．（２００８）．ＦＡＢ－ＭＡＰ：Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ ｉｎ ｔｈｅ ｓｐａｃｅ ｏｆ ａｐｐｅａｒａｎｃｅ．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，２７（６），６４７－６６５」及び「Ｃｕｍｍｉｎｓ，Ｍ．，＆Ｎｅｗｍａｎ，Ｐ．（２０１１）．Ａｐｐｅａｒａｎｃｅ－ｏｎｌｙ ＳＬＡＭ ａｔ ｌａｒｇｅ ｓｃａｌｅ ｗｉｔｈ ＦＡＢ－ＭＡＰ ２．０．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，３０（９），１１００－１１２３」に、画像センサの利用に基づく低コストの位置認識解決策を提供するＦＡＢＭＡＰ（外観に基づく高速マッピングアルゴリズム）アルゴリズムが開示されている。

【0005】

ＦＡＢＭＡＰアルゴリズムは環境を一連のトポロジカルノードに分割して、各ノードが１個以上の視覚的観測に関連付けられた位置Ｌ_ｉを構成するようにする。各位置に関連付けられた画像は、例えばＳｉｖｉｃ，Ｊ．，＆Ｚｉｓｓｅｒｍａｎ，Ａ．（２００３，Ｏｃｔｏｂｅｒ）．Ｖｉｄｅｏ Ｇｏｏｇｌｅ：Ａ ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ａｐｐｒｏａｃｈ ｔｏ ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ ｉｎ ｖｉｄｅｏｓ．Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００３．Ｐｒｏｃｅｅｄｉｎｇｓ．Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ（ｐ．１４７０）．ＩＥＥＥに開示されているような画像に現れた視覚的単語を判定すべく解析される。従って各視覚的単語がある位置に存在するか否かを示すバイナリ値を含む基準ベクトルが各位置に対して決定される。

【0006】

ロボットがカメラを用いて画像を取得する場合、ＦＡＢＭＡＰアルゴリズムは、どの視覚的単語が画像に含まれるかを判定すべく画像を解析する。次いで各バイナリ値が画像に視覚的単語が存在するか否かを決定する複数のバイナリ値を含む観測ベクトルを構築して、観測ベクトルと、各位置に関連付けられた基準ベクトルとを比較することにより、各位置に存在するロボットの確率を計算する。ＦＡＢＭＡＰは、最も高い存在確率を有する位置にロボットが存在すると判定する。

【0007】

ＦＡＢＭＡＰのような視覚的特徴に基づく位置認識アルゴリズムは大多数のロボットに存在する手頃な価格のセンサを用いるため、精密な位置認識解決策を手頃なコストで提供する。しかし、これらのアルゴリズムは不完全知覚問題に直面する。この問題は、２個の異なる位置が類似した外観及び視覚的特徴を共有する場合に生じる。この問題は往々にして反復的環境、例えばオフィス、駐車場、又はより一般的に規則的な視覚的パターンにより特徴付けられる任意の屋内環境で直面する。この問題は、多くの偽位置認識を生じさせ、従って視覚的特徴に基づく位置認識アルゴリズムの確実性が低下する。

【0008】

昨今の研究は、位置認識を向上させるべくＷｉ－Ｆｉと視覚的データの融合を指向している。例えば、Ｓｃｈｗｉｅｇｅｌｓｈｏｈｎ，Ｆ．，Ｎｉｃｋ，Ｔ．，＆Ｇｏｅｔｚｅ，Ｊ．（２０１３，Ｍａｒｃｈ）．Ｌｏｃａｌｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｕｓｉｏｎ ｏｆ ｒｆｉｄ ａｎｄ ｓｔｅｒｅｏ ｉｍａｇｅ ｄａｔａ．Ｉｎ Ｐｏｓｉｔｉｏｎｉｎｇ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＷＰＮＣ），２０１３ １０ｔｈ Ｗｏｒｋｓｈｏｐ ｏｎ（ｐｐ．１－６）．ＩＥＥＥ及びＱｕｉｇｌｅｙ，Ｍ．，Ｓｔａｖｅｎｓ，Ｄ．，Ｃｏａｔｅｓ，Ａ．，＆Ｔｈｒｕｎ，Ｓ．（２０１０，Ｏｃｔｏｂｅｒ）．Ｓｕｂ－ｍｅｔｅｒ ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｕｎｍｏｄｉｆｉｅｄ ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ ｉｎｅｘｐｅｎｓｉｖｅ ｓｅｎｓｏｒｓ．Ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ），２０１０ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ（ｐｐ．２０３９－２０４６）．ＩＥＥＥはＷｉ－Ｆｉ及び視覚的位置認識を融和すべく粒子フィルタを用いる。しかし、これらの解決策で粒子フィルタが収束するのは運動を伴う場合のみである。

【0009】

Ｎｏｗｉｃｋｉ，Ｍ．（２０１４）．ＷｉＦｉ－ｇｕｉｄｅｄ ｖｉｓｕａｌ ｌｏｏｐ ｃｌｏｓｕｒｅ ｆｏｒ ｉｎｄｏｏｒ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ．Ｊｏｕｒｎａｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ Ｍｏｂｉｌｅ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，８（３），１０－１８は、Ｗｉ－Ｆｉデータから取り得る位置の集合を決定し、その上で視覚的位置認識を実行する。Ｂｉｓｗａｓ，Ｊ．，＆Ｖｅｌｏｓｏ，Ｍ．（２０１３，Ｊｕｎｅ）．Ｍｕｌｔｉ－ｓｅｎｓｏｒ ｍｏｂｉｌｅ ｒｏｂｏｔ ｌｏｃａｌｉｚａｔｉｏｎ ｆｏｒ ｄｉｖｅｒｓｅ ｅｎｖｉｒｏｎｍｅｎｔｓ．Ｉｎ Ｒｏｂｏｔ Ｓｏｃｃｅｒ Ｗｏｒｌｄ Ｃｕｐ（ｐｐ．４６８－４７９）．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇは、視覚又はＷｉ－Ｆｉデータのいずれかに基づいて位置認識を実行し、現在位置の推定の信頼性が最も高いセンサを選択する。しかし、これら二つの解決策は、１個のセンサが誤検知した場合に重大な影響を受ける。

【0010】

従って、従来技術の解決策はいずれも確実な位置認識解決策を手頃なコストで提供しないため、広く入手可能且つ手頃な価格のセンサを用いて、どのような状況でも確実且つ信頼性が高い位置認識を行いながら、屋内の環境で自身の位置を精密に認識できる移動機器に対するニーズがある。

【課題を解決するための手段】

【0011】

この目的のため、本発明が開示する移動機器は、１個以上のデジタル画像センサと、電波受信機と、視覚的単語の集合、電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合、及び対応する基準位置における視覚的単語及び電波単語の有無を各々決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合を保存する１個以上のメモリへの通信リンクと、前記１個以上のデジタル画像センサから移動機器の環境の画像を取得する適合機能、前記電波受信機を用いて受信可能な電波送信機を検知する適合機能、画像内における視覚的単語の有無を決定するバイナリ値、及び電波単語の有無を決定するバイナリ値を含む観測ベクトルを生成する適合機能、及び受信可能な電波送信機内の前記観測ベクトル及び前記基準位置ベクトルに基づいて少なくとも基準位置の集合における移動機器の現在位置を判定する適合機能を含む処理ロジックへの通信リンクを含んでいる。

【0012】

本出願において、用語「視覚的単語」は、位置認識及び画像解析の分野における通常の意味として理解されたい。従って、視覚的単語は、画像のキーポイントに対応し得る語彙の単語である。

【0013】

本出願において、用語「電波単語」は、用語「視覚的単語」と同様に、移動機器が受信した電波信号のパターンの特徴付けを可能にする要素を決定する。例えば、電波単語は、電波送信機の識別子により特徴付けることができる。電波単語はまた、電波送信機の識別子と、対応する信号強度の範囲との組み合わせにより決定することができる。Ｗｉ－Ｆｉ信号を用いる一実施形態において、電波単語は、Ｗｉ－Ｆｉシグネチャを用いて検知することができる。例えば、Ｗｉ－Ｆｉ単語は、アクセスポイントのＭＡＣアドレスにより、又はアクセスポイントのＭＡＣアドレスとアクセスポイントから受信した信号の強度との組み合わせにより決定することができる。

【0014】

電波送信機は、自身が発した電波を移動機器の電波受信機が受信し、且つ前記電波を用いて当該電波送信機を識別できるならば「受信可能」と考えられる。

【0015】

本出願において、処理ロジックは、ソフトウェア命令に従い動作するプロセッサ、プロセッサのハードウェア構成、又はこれらの組み合わせであってよい。本明細書で述べる機能のいずれか又は全てが純然たるハードウェア実装、及び／又はソフトウェア命令に従い動作するプロセッサ、及び／又はソフトウェア命令に従い動作するプロセッサ、及び機械学習エンジン又はニューラルネットワークの構成により実装できる点を理解されたい。処理ロジックはまた、動作を並列に実行するマルチコアプロセッサ、一連のプロセッサ、又はこれらの組み合わせであってよい。ソフトウェア命令のいずれか又は全てが非一時的コンピュータ可読媒体に保存されていてよい点を理解されたい。用語「処理ロジックの適合機能」は、処理ロジックを動作の実行に適合させる任意の手段（例えばハードウェア構成、ソフトウェア命令、機械学習、訓練又はニューラルネットワーク、又は他の任意の適合機能手段或いはこれらの組み合わせ）を指している。

【0016】

移動機器の位置認識に視覚的単語を用いることで、精密な位置に属するカメラからの画像内の精密な特徴を識別することにより精密な位置認識が可能になる。しかし、全くかけ離れた画像で同一の視覚的単語が検知されることがある。

【0017】

移動機器の位置認識に電波単語を用いることは、位置が固定された電波送信機で用いられる場合に極めて確実である。

【0018】

従って、視覚的単語と電波単語の両方を含む観測ベクトル及び基準位置ベクトルに基づく位置認識は、移動機器の動作条件に依らず、電波位置認識の確実性及び視覚的単語の検知精度を同時にもたらす。ところで、視覚的及び電波受信機が手頃な価格且つ大多数の移動機器に共通に使用される設備であるため、本解決策は手頃な価格で実装可能である。

【0019】

有利な特徴として、移動機器の現在位置を判定する適合機能は、ある基準位置ベクトルに対して、移動機器が対応する基準位置に存在する場合に観測ベクトルを観測する尤度の計算を実行する適合機能を含んでいる。

【0020】

ロボットが対応する基準位置に存在する場合に観測ベクトルを観測する尤度の計算により、移動機器が各基準位置に存在する場合に観測ベクトルを観測する尤度同士の効果的な比較が可能になる。これは従って、ロボットの現在位置の最適な候補を決定する効率的な仕方を提供する。

【0021】

有利な特徴として、前記基準位置ベクトルに対する、ロボットが対応する基準位置に存在する場合に観測ベクトルを観測する尤度の前記計算は、観測ベクトルと、基準位置ベクトルと、観測及び基準位置ベクトルの要素の相関木とに基づいている。

【0022】

観測ベクトルが各基準位置で観測される尤度は、単純な比較、例えば観測及び基準位置ベクトルのバイナリ値に共通の正値の個数を数えることにより得られる。しかし、これは視覚的及び電波単語の間に存在する相関を表すものではない。逆に、観測及び基準位置ベクトルの要素の相関木を用いることで、学習フェーズ中に同一ベクトルで生じる単語間、例えば視覚的及び／又は電波単語同士の相関を考慮しながら、観測ベクトルを観測する尤度を計算することが可能になる。

【0023】

有利な特徴として、処理ロジックは更に、移動機器の現在位置が前記基準位置のうち１個に存在するか否かを判定する前記適合機能により、当該移動機器が前記基準位置のいずれにも存在しない判定された場合、基準位置の集合に、当該観測ベクトルを基準位置ベクトルとして有する更なる基準位置を追加する適合機能を含んでいる。

【0024】

これは、移動機器が以前に訪れていない位置に新たな位置ベクトルを追加するものである。

【0025】

時間経過に伴い、当該位置の集合は、関連する基準ベクトルに関連付けられた移動機器が既に訪れた全ての位置を含むようなる。

【0026】

有利な特徴として、電波単語の集合は、前記環境の探索中に電波送信機の検知を含む単一の訓練フェーズ中に構築される。

【0027】

上記により、検知して電波単語の集合に組み込むことができる電波単語のより微細な制御が可能になる。例えば、移動機器の環境を、当該環境の固定電波送信機のみが受信可能である夜間に探索することができる。従って固定電波送信機のみを位置認識に用いる。これにより位置認識がより精密且つ確実になる。

【0028】

有利な特徴として、処理ロジックは更に、前記電波受信機を用いて受信可能な電波送信機を検知する前記適合機能が、どの電波単語にも関連付けられていない受信可能な電波送信機を検知した場合、前記受信可能な電波送信機に関連付けられた電波単語を前記電波単語の集合に追加する適合機能を含んでいる。

【0029】

上記により、移動機器は、訓練フェーズを必要とせずに位置認識を開始することができる。更に、対応する電波送信機が検知される限り、電波単語を追加することができる。

【0030】

有利な特徴として、前記受信可能な電波送信機に関連付けられた電波単語を追加する前記適合機能は、現在位置に対応する基準ベクトルにおける前記電波単語の存在を示すバイナリ値と、他の基準位置の各々に前記電波単語が存在しないことを示すバイナリ値とを追加すべく基準位置ベクトルを変更する適合機能を含んでいる。

【0031】

新たな電波単語が識別された場合、当該単語が以前に検知されていないため、以前に追加された全ての基準位置には存在しないが、現在位置に存在すると仮定できる。従って、この新たに追加された電波単語が現在位置に存在し、且つ以前に追加された基準位置には存在しないことを示すことで、厳密であると推定される追加的な位置情報が追加され、従って将来の位置認識がより確実になる。

【0032】

有利な特徴として、移動機器の現在位置を判定する前記適合機能は、各基準位置に対して、移動機器が前記基準位置に存在する場合に、前記基準位置ベクトル及び、観測ベクトルと基準ベクトルの要素同士の相関に基づいて、観測ベクトルを観測する尤度を計算する適合機能を含んでいる。

【0033】

観測又は基準位置ベクトルの要素の相関は、ある位置又は観測に同時に存在する視覚的単語及び／又は電波単語を示す。当該相関は、移動機器が存在し得る位置をより確実且つ精密に示すものである。従って、このような相関同士を比較することにより移動機器の位置認識の信頼性及び効率が向上する。

【0034】

有利な特徴として、各基準位置に対して、移動機器が前記基準位置に存在する場合に観測ベクトルを観測する尤度を計算する前記適合機能は、視覚的単語に関連付けられた要素と、電波単語に関連付けられた要素との相関を別々に計算する適合機能を含んでいる。

【0035】

視覚的単語及び電波単語に特定の相関があり得る。視覚的単語の有無と電波単語の有無のバイナリ値表現の相関を別々に比較することで、より精密な相関を解析することが可能になり、移動機器の位置認識の信頼性が向上する。

【0036】

有利な特徴として、移動機器の現在位置を判定する前記適合機能は、少なくとも当該電波単語の集合から無作為に生成された受信可能な電波送信機の人為的なリストを用いて構築された人為的な基準位置ベクトルの集合に基づいて、移動機器が未知の位置に存在する場合に観測ベクトルを観測する確率を計算する適合機能を含んでいる。

【0037】

移動機器の環境に存在する電波送信機を含む電波送信機の無作為に生成されたリストを用いることで、人為的ではあるが電波単語の集合から得た電波単語を含み、従って移動機器が人為的な位置に存在する場合の人為的なユースケースにおいて観測ベクトルを観測する確率が非ゼロである電波単語を含む観測結果を人為的に生成する効率的な仕方が得られる。

【0038】

有利な特徴として、電波単語は更に、対応する電波送信機から受信した信号強度の範囲により決定され、観測ベクトルを生成する前記適合機能は、対応する電波送信機から電波受信機が対応する信号強度の信号を受信したならば電波単語が観測ベクトルに存在することを示す適合機能を含んでいる。

【0039】

電波送信機から受信した信号の強度は、移動機器から電波送信機までの距離に少なくとも部分的に依存するため、移動機器の位置認識を推測可能にする。従って、電波送信機から受信した信号の強度を用いて電波単語を構築することで移動機器の位置認識の精度が高まる。

【0040】

上記は電波単語の有無の相関を用いる場合に更に当てはまる。実際、電波送信機と当該電波送信機から受信した信号の強度の両方を表す電波単語との相関により、電波送信機からの移動機器の相対距離を高い信頼性で推測すること、従って移動機器の位置認識を高い信頼性で推測することができる。

【0041】

有利な特徴として、移動機器の現在位置を判定する前記適合機能は更に、前記観測ベクトル及び前記基準位置ベクトルに基づいて移動機器が各基準位置に存在する確率を計算し、移動機器の現在位置が最も高い確率を有する基準位置であると判定する適合機能を含んでいる。

【0042】

どの基準位置ベクトルも観測ベクトルに合致しないケースでは、観測ベクトルと対応する基準位置ベクトルの比較に基づいて移動機器の現在位置が基準位置に合致する確率を計算し、確率が最も高い位置を選択して、移動機器の実際の位置になる可能性が最も高い基準位置を効果的に比較できるようにする。

【0043】

有利な特徴として、移動機器が各基準位置に存在する確率を計算する前記適合機能は更に、移動機器が未知の位置に存在する確率を、移動機器が基準位置に存在する確率と移動機器が未知の位置に存在する確率の合計が１に等しくなるように計算する適合機能を含んでいる。

【0044】

移動機器が以前に自身の環境全体を探索していないケースでは、移動機器は未知の位置に存在し得る。従って、移動機器が未知の位置に存在する確率を計算することで、移動機器が複数の基準位置のうち１個、又は１個の新たな未知の位置に存在する可能性が高いか否かを判定し、判定に従い基準位置の集合に新たな位置を追加することができる。

【0045】

本発明はまた、移動機器の環境の画像を、当該移動機器に搭載された１個以上のデジタル画像センサから取得するステップと、前記移動機器に搭載された電波受信機を用いて受信可能な電波送信機を検知するステップと、視覚的単語の集合、電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合、及び対応する基準位置における視覚的単語及び電波単語の有無を各々決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合を保存するメモリにアクセスするステップと、画像内における視覚的単語の有無を決定するバイナリ値、及び受信可能な電波送信機内における電波単語の有無を決定するバイナリ値を含む観測ベクトルを生成するステップと、前記観測ベクトル及び前記基準位置ベクトルに基づいて移動機器の現在位置が前記基準位置の１個に存在するか否かを判定するステップとを含む方法を開示する。

【0046】

本発明はまた、移動機器の環境の画像を、当該移動機器に搭載された１個以上のデジタル画像センサから取得し、前記移動機器に搭載された電波受信機を用いて受信可能な電波送信機を検知し、視覚的単語の集合、電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合、及び対応する基準位置における視覚的単語及び電波単語の有無を各々決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合を保存するメモリにアクセスし、画像内における視覚的単語の有無を決定するバイナリ値、及び受信可能な電波送信機を用いて電波単語の有無を決定するバイナリ値を含む観測ベクトルを生成して、前記観測ベクトル及び前記基準位置ベクトルに基づいて移動機器の現在位置が前記基準位置の１個に存在するか否かを判定すべく構成されたコンピュータコード命令を含むコンピュータプログラム製品を開示する。

【0047】

説明目的でのみ提供する多くの例示的な実施形態及び添付の図面の以下の記述から本発明に対する理解が深まり、各種の特徴及び利点が想起されよう。

【図面の簡単な説明】

【0048】

【図1】本発明の多くの実施形態におけるロボットの物理アーキテクチャを示す。

【図2】本発明の多くの実施形態における移動機器の機能アーキテクチャを示す。

【図3】本発明の多くの実施形態におけるデータ構造に対する動作を表すフロー図を示す。

【図4】本発明による移動機器の環境のマップ及び２個の画像を示す。

【図5a】本発明及び従来技術による視覚及び／又はＷｉ－Ｆｉ情報の組み合わせを用いる移動機器位置認識方法の位置認識エラー率の二例を示す。

【図5b】本発明及び従来技術による視覚及び／又はＷｉ－Ｆｉ情報の組み合わせを用いる移動機器位置認識方法の位置認識エラー率の二例を示す。

【図6】本発明による方法の一例を示す。

【発明を実施するための形態】

【0049】

図１に、本発明の多くの実施形態におけるロボットの物理アーキテクチャを示す。

【0050】

ロボット１００が、本発明を実装可能な移動機器の例としてのみ挙げられている点に注意されたい。ロボット１００は人型ロボットであるが、本発明は、当該ロボットが自身の環境内で移動して画像を取得することができ、且つＷｉ－Ｆｉモジュールを備えている前提で、ペットロボット、又は車輪付きロボット等、他の種類のロボットに実装可能である。本発明はまた、画像取得機能、電波受信機能及び計算機能へのリンクを含む他の種類の移動機器に適用可能である。例えば、本発明はドローン、スマートフォン又は自動運転車に適用可能である。

【0051】

図中のロボットの下肢は、歩行機能を有していないが、置かれている表面上で回転する基台１４０に乗って任意の方向に移動可能である。本発明は、歩行に適したロボットに容易に実装可能である。例えば、当該ロボットは、約１２０ｃｍの高さ１１０、約６５ｃｍの奥行き１２０、及び約４０ｃｍの幅１３０を有していてよい。特定の実施形態において、本発明のロボットはタブレット１５０を有し、これを介して自身の環境にメッセージ（音声、映像、ウェブページ）を伝えたり、又はタブレットの触覚インターフェースを介してユーザーからの入力を受信したりすることができる。タブレットのプロセッサに加えて、本発明のロボットもまた、例えばＩｎｔｅｌ（商標）社のＡＴＯＭ（商標）Ｚ５３０であってよい自身のマザーボードのプロセッサを用いる。本発明のロボットはまた、有利な特徴としてマザーボード間のデータフローの処理専用のプロセッサを含み、当該ボードは、本発明の特定の実施形態において、四肢の関節及びロボットが車輪として用いるボールのモーターを制御する磁気回転エンコーダ（ＭＲＥ）及びセンサを搭載している。モーターは、関節を確実に動かすのに必要な最大トルクの大きさに応じて異なる種類であってよい。例えば、ｅ－ｍｉｎｅｂｅａ（商標）社のブラシＤＣコアレスモーター（例：ＳＥ２４Ｐ２ＣＴＣＡ）、又はＭａｘｏｎ（商標）社のブラシレスＤＣモーター（例：ＥＣ４５＿７０）を用いてもよい。ＭＲＥは好適には、精度が１２又は１４ビットのホール効果を用いる種類のものである。

【0052】

本発明の複数の実施形態において、図１に示すロボットはまた、各種のセンサを含んでいる。そのいくつかはロボットの位置及び移動の制御に用いる。これは例えばロボットの胴体にあって３軸ジャイロスコープ及び３軸加速度計を含む慣性装置のケースである。ロボットはまた、毎秒５フレームでの５メガピクセルの解像度且つ水平方向に約５７°及び垂直方向に４４°の視野（ＦＯＶ）を有するＳｈｅｎｚｅｎ Ｖ－Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｌｔｄ（商標）の（ＯＶ５６４０）等のシステムオンチップ（ＳＯＣ）型のロボットの前部（最上部及び最下部）の２個の２ＤカラーＲＧＢカメラ１６０を含んでいてよい。毎秒２０フレームで０，３メガピクセルの解像度且つ２Ｄカメラと同一のＦＯＶを有するＡＳＵＳ ＸＴＩＯＮ（商標）ＳＯＣセンサ等、１個の３Ｄセンサ１７０もロボットの目の後ろに含まれていてよい。本発明のロボットはまた、自身の環境内の物体／生体との相対位置を検知できるように、レーザー線発生器を、例えばヘッド１８０ａに３個且つ基台１８０ｂに３個備えていてよい。本発明の他の実施形態において、ロボットは基台にレーザー線発生器しか有していない。本発明のロボットはまた、自身の環境内で音声を検知できるようにマイクロフォンを含んでいてよい。一実施形態において、１ｋＨｚで３００ｍＶ／Ｐａ±３ｄＢの感度及び３００Ｈｚ～１２ｋＨｚ（１ｋＨｚに対して－１０ｄＢ）の周波数範囲を有する４個のマイクロフォンをロボットの頭部に埋め込むことができる。本発明のロボットはまた、自身の環境内に存在する物体／人間までの距離を測定すべく、恐らくは基台の前面及び背面に配置された２個のソナーセンサ１９０を含んでいてよい。

【0053】

ロボットはまた、人間との対話を可能にすべく自身の頭部及び手に触覚のセンサを備えていてよい。また、自身の移動経路で遭遇する障害物を検知すべく自身の基台にバンパー１Ｂ０を備えていてよい。

【0054】

ロボットはまた、予定された軌道と実際の軌道との差を計算することにより、自身の上部部材と自身が触る物体との接触を検知することができる。これを目的とする方法が、同一出願人により同日に出願された欧州特許出願第ＥＰ１４３０５８４８．５号明細書に開示されている。

【0055】

本発明のロボットはまた、自身の感情を翻訳して自身の環境内の人間と対話すべく、
－例えば自身の目、耳及び両肩にＬＥＤと、
－自身の耳に配置された拡声器を例えば２個含んでいてよい。

【0056】

本発明のロボットは、イーサネットＲＪ４５又はＷｉＦｉ８０２．１１接続を介して基地局又は他のロボットと通信することができる。

【0057】

本発明のロボットに対してリン酸鉄リチウム電池により約４００Ｗｈのエネルギーを供給することができる。ロボットは、自身が備える電池の種類に適合された充電ステーションにアクセスすることができる。

【0058】

ロボットの位置／移動は自身のモーターにより、センサの測定の観点から、各四肢により画定されるチェーン及び各四肢の終端で画定されるエフェクタを起動するアルゴリズムを用いて制御される。

【0059】

ロボットの計算モジュールは、センサ１６０、１７０、１８０、１９０、１Ａ０又は１Ｂ０から、又は物体と自身の上部部材との接触の評価の結果から、欧州特許出願第ＥＰ１４３０５８４９．３号明細書に開示されているように、自身の環境内の障害物の局所的なマップを計算することができる。

【0060】

図２に、本発明の多くの実施形態における移動機器の機能アーキテクチャを示す。

【0061】

移動機器２００は１個以上のデジタル画像センサ２１０を含んでいる。本発明は、いかなる種類のデジタル画像センサにも限定されない。１個以上のデジタル画像センサ２１０は、任意の種類の公知の画像センサ、例えば半導体電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）又はＮ型金属酸化物半導体（ＮＭＯＳ）センサを単独で、又は組み合わせて用いるものであってよい。上述のように、図２はロボットを表しているが、本発明の様々な実施形態によれば、移動機器２００は任意の種類の移動機器、例えばロボットであってよい。図１に本発明のロボットの一例を示す。

【0062】

１個以上の画像センサ２１０は移動機器の環境の画像を取得する。当該センサは、固定レートで、又は処理ロジック２４０から要求を受けて画像を取得することができる。

【0063】

移動機器２００は更に、電波受信機２２０を含んでいる。本発明は、電波送信機を検知して識別できるようにするいかなる種類の電波受信機にも限定されない。例えば、電波受信機２２０は、Ｗｉ－Ｆｉモジュール、Ｂｌｕｅｔｏｏｔｈモジュール、Ｚｉｇｂｅｅモジュール、又はこれらの組み合わせであってよい。

【0064】

移動機器２００は更に、１個以上のメモリ２３０への通信リンクを含んでいる。本発明の様々な実施形態によれば、１個以上のメモリ２３０は、移動機器２００のボード上に埋め込まれていても、無線アクセスされる遠距離装置に配置されていても、又はこれらの組み合わせであってもよい。

【0065】

１個以上のメモリ２３０は視覚的単語の集合を保存する。上述のように、視覚的単語は、１個以上の画像センサ２１０により取得された画像の内容を記述する語彙を提供する。本発明は、画像の内容を記述可能にするいかなる語彙又は視覚的単語の集合にも限定されない。例えば、Ｓｉｖｉｃ，Ｊ．，＆Ｚｉｓｓｅｒｍａｎ，Ａ．（２００３，Ｏｃｔｏｂｅｒ）．Ｖｉｄｅｏ Ｇｏｏｇｌｅ：Ａ ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ａｐｐｒｏａｃｈ ｔｏ ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ ｉｎ ｖｉｄｅｏｓ．Ｉｎ ｎｕｌｌ（ｐ．１４７０）．ＩＥＥＥに視覚的単語を適切に決定する方法を開示している。

【0066】

１個以上のメモリ２３０は更に電波単語の集合を保存する。本発明の様々な実施形態によれば、電波単語は電波送信機に関する任意のデータにより決定することができる。例えば、電波単語は電波送信機の識別子により決定することができる。電波送信機の識別子は、電波信号を送信した電波送信機を識別可能にする任意の情報であってよい。例えば、電波単語は、Ｗｉ－ＦｉアクセスポイントのＭＡＣアドレス、ブルートゥース装置のアドレス、又はＺｉｇｂｅｅ装置のアドレスにより決定されていてよい。

【0067】

本発明の多くの実施形態において、移動機器は単一のプロトコル、例えばＷｉ－Ｆｉアクセスポイント、ブルートゥース装置、又はＺｉｇｂｅｅ装置のみを用いて電波送信機を検知する。本発明の他の実施形態において、移動機器は異なるプロトコル、例えばＷｉ－Ｆｉアクセスポイント、ブルートゥース装置、及びＺｉｇｂｅｅ装置の全てを用いて電波送信機を検知する。上記により、移動機器はより多くの数のソースを使用して自身の位置を認識することができる。このような実施形態において、電波単語はまた、装置のアドレスに加え、使用するプロトコルを決定することができる。本発明の多くの実施形態において、電波単語は、電波送信機の識別子と、移動機器が電波送信機から受信した電波信号の信号強度の範囲との組み合わせにより決定される。これにより、単一の電波送信機、且つ異なる範囲の信号受信に対して、複数の電波単語を決定することが可能になる。本発明の様々な実施形態によれば、任意のスケールの信号強度を用いることができる。例えば、Ｗｉ－Ｆｉアクセスポイントに対する電波単語を、Ｗｉ－ＦｉアクセスポイントのＭＡＣアドレスと、ｍＷ（ミリワット）、ｄＢｍ（ミリワット当たりのデシベル）、又は例えば０～２５５の範囲で変動し得るＲＳＳＩ（受信信号強度指標）スケールで表すＷｉ－Ｆｉ信号の強度との組み合わせとして決定することができる。本発明の様々な実施形態によれば、電波送信機の識別子と信号強度範囲の任意の適当な組み合わせを用いることができる。

【0068】

例えば、Ｗｉ－Ｆｉアクセスポイントに対応する電波単語は、［０ｄＢｍ；－１０ｄＢｍ［の信号強度範囲に対してＭＡＣアドレスＭ_１により決定でき、同じＷｉ－Ｆｉアクセスポイントに対する第２の電波単語は、［－１０ｄＢｍ；－２０ｄＢｍ［等の範囲の信号と共に受信した同じＭＡＣアドレスＭ_１により決定できる。本発明の多くの実施形態において、信号強度は受信信号強度指標（ＲＳＳＩ）に対応している。

【0069】

本発明の様々な実施形態によれば、電波単語の集合を多くの異なる仕方で管理することができる。

【0070】

例えば、電波単語の集合は、移動機器の環境を探索する間における電波送信機の検知を含む単一の訓練フェーズ中に構築できる。本実施形態は例えば、店舗、又はより一般的には屋内商業環境内で移動する移動機器に用いることができる。日中、大勢の人々もまた電波送信機を携帯して当該環境内で移動することができる（これは例えば、人気のＷｉ－Ｆｉホットスポット機能を用いるスマートフォン、又はブルートゥースが起動されたスマートフォンのケースである）。これらの電波送信機は電波単語の集合に、移動又は姿を消す電波送信機に対応する追加的な電波単語を生成することができる。このような集合は位置認識方法の効率を低下させる。この問題を解決すべく、移動機器は、固定電波送信機のみが稼働中の夜間に自身の環境を探索して、これらの固定電波送信機に対応する電波単語のみを電波単語の集合に追加することができる。

【0071】

本発明の多くの実施形態において、電波単語を、新たな電波送信機が検知される都度追加することができる。

【0072】

しかし、本発明が上述の実施形態に限定されず、電波単語の集合を管理する任意の適当な方法を用いることができる点に注意されたい。

【0073】

１個以上のメモリ２３０は更に、基準位置の集合を保存する。本出願において、各基準位置をＬｉと表記しており、ｉは位置の指標である。しかし、本発明は当該表記に限定されず、トポロジカルマップの位置を識別可能にする任意の基準を用いることができる。

【0074】

１個以上のメモリ２３０は更に、各位置Ｌｉに対して基準位置ベクトルを保存する。基準位置ベクトルは、各位置に対して、どの視覚的単語及び電波単語が基準位置に存在しているか又は存在していないかを決定する。例えば、基準位置ベクトルは、各バイナリ値が視覚的単語又は電波単語の有無を決定する複数のバイナリ値で形成されていてよい。基準位置ベクトルは、位置Ｌｉにおける視覚的観測及び電波受信に基づき、観測及び受信結果から当該位置に存在する視覚的単語及び電波単語を判定することにより構築することができる。

【0075】

各位置は従って、基準位置で実行された１回以上の観測で生成された基準位置ベクトルに関連付けられたトポロジカルノードを形成する。観測は、視覚的観測と電波観測の両方を含んでいる。これら２種類の観測は異なるセンサを用いて実行され、視覚的観測結果は通常、電波観測よりも高いレートで収集される。本発明の様々な実施形態によれば、視覚的及び電波観測は、多くの異なる仕方で１個の基準位置ベクトルに統合することができる。例えば、探査段階中に視覚的観測を直近の電波観測に関連付けることができる。視覚的観測と電波観測の距離は、例えば走行距離により、又は観測のタイムスタンプを比較して時間的に直近の視覚的観測ベクトルを電波観測ベクトルに追加することにより計算することができる。

【0076】

移動機器２００は更に、処理ロジック２４０への通信リンクを含んでいる。本発明の様々な実施形態によれば、処理ロジック２４０は移動機器自体に搭載されていても、又は遠隔機械に搭載されてリモートアクセスされてもよい。後者のケースを実行できるのは例えば移動機器が、例えばスマートフォン、サーバ又はパーソナルコンピュータであってよい制御装置から制御される場合である。

【0077】

処理ロジック２４０は、前記１個以上のデジタル画像センサから環境の画像を取得する適合機能２４１を含んでいる。本発明の多くの実施形態において、適合機能２４１は１個以上のデジタル画像センサ２１０から周期的に画像を受信する。例えば、適合機能２４１は毎秒２５個の画像を受信することができる。本発明の他の実施形態において、適合機能２４１は、必要な都度、１個以上の画像センサ２１０に画像取得する旨のコマンドを送る。移動機器が複数のデジタル画像センサを含む実施形態において、適合機能２４１は、複数のデジタル画像センサから受信した画像を１個の画像に合成すべく構成することができる。

【0078】

処理ロジック２４０は更に、電波受信機２２０を用いて受信可能な電波送信機を検知する適合機能２４２を含んでいる。本発明の多くの実施形態において、電波受信機２２０は、対応するＭＡＣアドレス及び信号の受信強度（ＲＳＳＩ）の受信可能な無線アクセスポイントのリストを含むＷｉ－Ｆｉシグネチャを周期的に収集するＷｉ－Ｆｉモジュールである。

【0079】

処理ロジックは更に、画像内における視覚的単語の有無、及び受信可能な電波送信機を用いて電波単語の有無を決定する観測ベクトルを生成する適合機能２４３を含んでいる。現在の記述において観測ベクトルを一般にＺと表記する。

【0080】

観測ベクトルは従って、どの視覚的単語及び電波単語が移動機器により自身の現在位置で検知されるかを示す。基準位置ベクトルと同様に、本発明はいかなる形状の観測ベクトルにも限定されず、観測ベクトルは特に、受信可能な電波送信機に従い画像内における各視覚的単語及び各電波単語の有無を示すバイナリ値により形成されていてよい。

【0081】

視覚的及び電波観測を整合させるべく、視覚的及び電波観測を同一タイムフレーム内で実行することが必要である。本発明の多くの実施形態において、観測ベクトルは、視覚的及び電波観測の取得時間が所定の閾値未満ならば視覚的及び電波観測から形成される。通常、視覚的観測は電波観測よりも高いレートで実行される。本発明の多くの実施形態において、受信可能な電波送信機を示す電波観測は適合機能２４２により周期的に実行され、観測ベクトルは、各時間ステップで、電波観測及び直近の時点で１個以上の画像センサ２１０により取得された視覚的観測から生成される。直近の時点で取得された視覚的観測の決定は、例えば視覚的及び電波観測のタイムスタンプを比較することにより実行できる。

【0082】

視覚的単語の検知は、多くの異なる方法で実行することができる。例えば、Ｓｉｖｉｃ，Ｊ．，＆Ｚｉｓｓｅｒｍａｎ，Ａ．（２００３，Ｏｃｔｏｂｅｒ）．Ｖｉｄｅｏ Ｇｏｏｇｌｅ：Ａ ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ａｐｐｒｏａｃｈ ｔｏ ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ ｉｎ ｖｉｄｅｏｓ．Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００３．Ｐｒｏｃｅｅｄｉｎｇｓ Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＩＥＥＥ ｐｐ．１４７０－１４７７に記述されている単語袋（バッグオブワーズ）方式を用いることができる。本方式は、画像のキーポイントの記述を抽出して、これらの記述を語彙の単語に関連付けるものである。従って、語彙がＮ個の視覚的単語を含む場合、観測ベクトルＺ（及び基準位置ベクトル）は、画像内において対応する視覚的単語の有無を示すＮ個のバイナリ値を含んでいよう。

【0083】

本発明の多くの実施形態において、語彙はオフライン学習フェーズから得られ、例えば巨大な画像データベースから抽出されたキーポイント記述子のｋ平均ないずれのクラスタリング法を用いて構築することができる。データベースは、無作為に選択された画像又は移動機器の環境に類似した画像のいずれからでも形成することができる。例えば、移動機器がオフィス環境で動作することを意図されている場合、視覚的単語の集合は屋内オフィスの画像のデータベースを用いて構築することができる。しかし、本発明は視覚的記述子の語彙を構築するいかなる特定の手段にも限定されず、任意の適当な語彙も用いることができる。オフライン学習フェーズは、多くの異なる装置、例えば移動機器自体、コンピュータ、又はサーバにより実行されてよい。

【0084】

処理ロジック２４０は更に、前記観測ベクトル及び前記基準位置ベクトルに基づいて、少なくとも移動機器の基準位置の集合における現在位置を判定する適合機能２４４を含んでいる。

【0085】

本発明の多くの実施形態において、最も関連性の高い基準位置が移動機器の現在位置として選択される。

【0086】

移動機器の現在位置の判定は、多くの異なる仕方で実行することができる。例えば、観測ベクトルを観測する尤度を各基準位置に対して計算することができる。計算は多くの異なる仕方で実行することができる。一般的には、観測ベクトルと基準位置ベクトルとの類似度が高いほど、対応する基準位置に移動機器が存在する可能性が高い。例えば、観測ベクトルと基準位置ベクトルに同時に存在する単語の個数を計算することができ、移動機器の現在位置は、観測ベクトルと共通の単語を最も多く有している基準位置ベクトルが示す基準位置であると判定される。

【0087】

本発明の多くの実施形態において、適合機能２４４は、観測の単語間に存在する相関を用いる。例えば、特定の視覚的単語が同時に検知されることが多く、これらの視覚的単語の同時検知はロボットが特定の基準位置に存在し得ることを強く示唆する。同様に、電波単語が近傍に位置する電波送信機に対応し、従って同時に検知されることが多い場合、電波単語間に何らかの相関があると判定できる。

【0088】

本発明の多くの実施形態において、適合機能２４４は、各基準位置に対して、観測ベクトル、対応する基準位置ベクトル、及び視覚的及び／又は電波単語の検知同士の相関を示す相関木に基づいて、移動機器が基準位置に存在する場合に観測ベクトルを観測する尤度を計算する。本発明の多くの実施形態において、当該木はＣｈｏｗ－Ｌｉｕ木である。図３を参照しながら、そのような検知の一例をより詳細に記述する。

【0089】

本発明の他の実施形態において、適合機能２４４は、現在の基準位置がいずれも観測ベクトルに合致しない場合に、移動機器が未知の位置に存在することを検知すべく構成されている。この場合、処理ロジックは更に、現在の観測ベクトルである基準位置ベクトルが示す基準位置を追加する適合機能を含んでいる。

【0090】

図３に、本発明の多くの実施形態のデータ構造に対する動作を表すフロー図を示す。

【0091】

図３に関して述べる動作は、例示目的でのみ提供しており、本発明の範囲を一切限定するものではない。図３に示す例は、単語同士の相関を決定するＣｈｏｗ－Ｌｉｕ木の使用を前提とし、移動機器が各基準位置に存在する確率を観測ベクトルに基づいて計算する。図３の例において、ロボットは画像とＷｉ－Ｆｉの組み合わせを用いて自身の位置を認識する。従って、図３の例では、電波単語はＷｉ－Ｆｉアクセスポイントのみに関して決定される。上で強調するように、本発明はまた、他の種類の電波送信機にも適用でき、異なる種類の電波送信機は同一の移動機器により検知できる。

【0092】

図３に示すデータ構造に対する動作は順次的時間ステップで実行することができ、時間ステップをｋで表記し、ｋ＝１、２、３、．．．である。

【0093】

上述のように、画像３１０は適合機能２４１により取得され、受信可能な無線アクセスポイントが適合機能２４２により、例えばＷｉ－Ｆｉシグネチャ３２０の形式で検知される。

【0094】

適合機能２４３は、視覚的単語３３３の集合から、画像３１０内に存在する視覚的単語３３１を識別する。適合機能２４３は更に、Ｗｉ－Ｆｉシグネチャ３３４内に存在する電波単語３３２を識別する。最後に、適合機能２４３は、ステップｋにおいて、各視覚的単語及び電波単語の有無を示すバイナリ値を含む観測ベクトルＺ_ｋ３３０を形成する。

【0095】

上述のように、本発明の多くの実施形態において、電波単語はＷｉ－ＦｉアクセスポイントのＭＡＣアドレスのみにより決定される。この場合、電波単語が存在するのは、対応ＭＡＣアドレスを有するアクセスポイントがＷｉ－Ｆｉシグネチャ３２０内に存在する場合である。本発明の他の実施形態において、電波単語は、ＭＡＣアドレスと信号強度の範囲の両方により特徴付けられる。この場合、電波単語が存在するのは、Ｗｉ－Ｆｉシグネチャが、例えばＲＳＳＩにより決定されたような対応ＭＡＣアドレス及び信号強度を有するＷｉ－Ｆｉアクセスポイントを含んでいる場合である。

【0096】

図３の例において、観測ベクトルＺ_ｋは、視覚的観測ベクトルＺ_{ｖｉｓｉｏｎ}及びＷｉ－Ｆｉ観測ベクトルＺ_{Ｗｉ－Ｆｉ}の結合から形成される。ベクトルＺ_{ｖｉｓｉｏｎ}のサイズは視覚的単語の集合３３３のサイズに等しく、ベクトルＺ_{Ｗｉ－Ｆｉ}のサイズは電波単語の集合３３４内のＷｉ－Ｆｉ単語の個数に等しい。

【0097】

観測ベクトルが得られたならば、適合機能２４４は、移動機器が位置Ｌ_ｉにある場合にベクトルＺ_ｋが観測される確率ｐ（Ｚ_ｋ│Ｌ_ｉ）を各基準位置Ｌ_ｉに対して計算する。当該確率は、語彙の異なる単語同士の相関を求めるＣｈｏｗ－Ｌｉｕ木を用いて計算される。本発明の多くの実施形態において、２本の別々のＣｈｏｗ－Ｌｉｕ木、すなわち１本が視覚的単語同士の相関を求め、１本が電波単語同士の相関を求めるために用いられる。

【0098】

本発明の多くの実施形態において、適合機能２４４はまた、移動機器が未知の位置に存在する場合に観測ベクトルを取得する確率を計算する。「正規化」とも称する当該動作は、観測ベクトルが未知の位置から取得されなかった可能性があることを保証する。これは移動機器が自身の環境を完全には探索していない場合に特に有用である。

【0099】

上記は、任意の未知世界を形成する現実の位置からの画像のデータベースを用いて、未知世界の基準位置ベクトルの集合を取得すべくこれらの画像内に存在する視覚的単語を検知することにより視覚的単語に対して行うことができる。次いで、未知の位置から観測ベクトルが取得される確率を、各々の未知世界の基準位置ベクトルから観測ベクトルを取得する確率の和として計算することができる。

【0100】

上述の解決策は、視覚的単語の場合は満足できるものである。実際に、視覚的単語は多くの異なるソース及び位置からの画像に見られる物体又は形状を表している。従って、視覚的単語の集合からのそのような視覚的単語は、任意のソースからの画像内で識別することができるため、未知世界の適切な基準位置ベクトルが得られる。しかし、電波単語に同じ方法を用いるのは効率的でない。実際、電波信号、例えば無作為に収集されたＷｉ－Ｆｉシグネチャは実用に際して、電波送信機の識別子、例えば無作為な場所で収集されたＷｉ－ＦｉＭＡＣアドレスは、本質的に、移動機器の環境内で収集された電波送信機の識別子とは異なるため、移動機器の環境に関連する何らかの電波単語を含んでいる可能性はない。

【0101】

上述の問題を解決すべく、電波単語に関連する未知世界の基準位置ベクトルの集合を、少なくとも電波単語の集合３３４に基づいて電波単語の無作為分布を生成することにより構築することができる。例えば、Ｗｉ－Ｆｉシグネチャで認識されたアクセスポイントの数の正規分布Ｎ（μ，σ）を取得すべく、移動機器が自身の環境を探索した際に収集されたＷｉ－Ｆｉシグネチャで認識されたアクセスポイントの数の平均μ及び標準偏差σを計算することが可能である。従って、仮想位置の個数ｎ_ｓを、サイズが正規分布Ｎ（μ，σ）に従うＷｉ－Ｆｉシグネチャを生成して未知世界に対する人為的基準位置ベクトルを構築するためにＷｉ－Ｆｉシグネチャ内に存在する電波単語を検証することにより決定することができる。本発明の様々な実施形態によれば、Ｗｉ－Ｆｉシグネチャは、電波単語の集合３３４のみに対応する無線アクセスポイント、又は電波単語の集合３３４に対応する無線アクセスポイントと未知の位置からの無線アクセスポイントとの組み合わせを用いて構築することができる。

【0102】

正規化の出力に際して、適合機能２４４は、例えば次式を用いて各位置Ｌ_ｉに存在する確率を計算することができる。

【数1】

ここに、
－Ｚ_ｋはステップｋにおける観測ベクトル、
－Ｚ^ｋはステップｋまでの観測ベクトルの集合（逆に、Ｚ^ｋ－１はステップｋ－１までの観測ベクトルの集合）、
－ｐ（Ｚ_ｋ│Ｌ_ｉ，Ｚ^ｋ－１）は、より簡略にｐ（Ｚ_ｋ│Ｌ_ｉ）と表記でき、ステップｋで位置Ｌ_ｉから観測ベクトルを観測する確率、
－ｐ（Ｌ_ｉ│Ｚ^ｋ－１）は、以前のステップにおける観測の集合Ｚ^ｋ－１に基づいて位置Ｌ_ｉに存在する確率であり、この項は従って、以前の位置に関する知識及びトポロジカルノードの関係を用いて現在位置を推測可能にし、
－ｐ（Ｚ_ｋ│Ｚ^ｋ－１）は正規化項とも呼ばれ、以前の観測ベクトルの集合Ｚ^ｋ－１に基づいて観測ベクトルＺ_ｋを観測する大域的確率を与える。
上述の正規化ステップの項ｐ（Ｌ_ｉ│Ｚ^ｋ－１）及びｐ（Ｚ_ｋ│Ｚ^ｋ－１）は、例えばＣｕｍｍｉｎｓ，Ｍ．，＆Ｎｅｗｍａｎ，Ｐ．（２００８）．ＦＡＢ－ＭＡＰ：Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ ｉｎ ｔｈｅ ｓｐａｃｅ ｏｆ ａｐｐｅａｒａｎｃｅ．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，２７（６），６４７－６６５及びＣｕｍｍｉｎｓ，Ｍ．，＆Ｎｅｗｍａｎ，Ｐ．（２０１１）．Ａｐｐｅａｒａｎｃｅ－ｏｎｌｙ ＳＬＡＭ ａｔ ｌａｒｇｅ ｓｃａｌｅ ｗｉｔｈ ＦＡＢ－ＭＡＰ ２．０．Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，３０（９），１１００－１１２３に開示されているＦＡＢＭＡＰアルゴリズムで用いられている正規化と同様の仕方で計算することができる。

【0103】

正規化の出力に際して、適合機能３４４は、観測ベクトルＺ_ｋ及び以前のステップにおける観測ベクトルに基づいて、移動機器が各基準位置Ｌ_１、Ｌ_２．．．に存在する確率ｐ（Ｌ_１，Ｚ^ｋ）、ｐ（Ｌ_２，Ｚ^ｋ）．．．の集合３５０を計算する。従って確率が最も高い位置を現在位置として選択することができる。上式の正規化項を用いれば全ての確率の和は１に等しくなる。

【0104】

確率が最も高い位置として未知の位置が選択されるケースでは、移動機器が以前に探査されていない位置に存在することが分かる。従って、基準位置ベクトルとして現在の観測ベクトルＺ^ｋを有する新たな基準位置を追加することができる。

【0105】

いくつかのケースにおいて、移動機器が自身の環境の新たな位置を探査した場合、電波単語の集合３３４に存在しない新たな無線アクセスポイントが受信可能になる。この場合、集合３３４に存在する電波単語に加えて、Ｗｉ－Ｆｉシグネチャ３２０は新たな無線アクセスポイントを含めることができる。この場合、対応する電波単語を決定して電波単語の集合３３４に追加することができる。このように全ての基準位置ベクトルを各基準位置における新たに決定された電波単語の有無を決定する新たなバイナリ値により拡張される。移動機器がこの新たな無線アクセスポイントを検知することなく、既に他の基準位置を訪れているため、電波単語が検知された現在位置に存在するが、他の全ての基準位置には存在しないものと仮定できる。従って、新たな電波単語の存在を決定するバイナリ値を現在位置の基準位置ベクトルに追加し、新たな電波単語が存在しないことを決定するバイナリ値を他の全ての基準位置ベクトルに追加することができる。

【0106】

上述の例は、ＦＡＢＭＡＰアルゴリズムのフレームワーク内で本発明の実施形態の例示目的のみで与えている。しかし、本発明は上述の例に限定されず、必要ならば視覚的及び／又はＷｉ－Ｆｉ単語の決定の適合機能を用いて、例えば任意のトポロジカル位置フレームワークで実施することができる。

【0107】

図４に、本発明による移動機器の環境のマップ及び２個の画像を示す。

【0108】

環境４００はオフィスビルの床である。トポロジカルノードは、オフィスビル内の多くの位置、例えば第１の位置４１０及び第２の位置４２０を画定することができる。画像４１１は第１の位置４１０を示し、画像４２１は第２の位置４２０を示している。図４に示すように、画像４２１と４２２は極めて類似しており、多くの視覚的特徴を共有している。この状況はオフィス環境において極めて一般的である。

【0109】

しかし、第１の位置４１０や第２の位置４２０のような位置を視覚的特徴に基づいて識別することが困難なため、視覚的特徴のみに基づく位置認識の実行が極めて困難になる。

【0110】

電波送信機から受信された信号は、このような環境における移動機器の位置を正しく識別すべく貴重な推測情報を与えることができる。

【0111】

例えば、Ｗｉ－Ｆｉアクセスポイントは範囲４３０内で受信可能であり、固定ブルートゥース装置から発せられたブルートゥース信号は範囲４４０内で受信可能である。従って、移動機器が位置４１０に存在する場合はＷｉ－Ｆｉ無線アクセスポイントのみを検知するのに対し、移動機器が第２の位置４２０に存在する場合はＷｉ－Ｆｉアクセスポイント及び固定ブルートゥース装置の両方を検知する。この情報は堅牢であってオフィスの壁により遮られない。本発明の移動機器は従って、上で開示したように、当該情報を用いて第１と第２の位置を区別することが可能である。

【0112】

本発明の多くの実施形態において、電波信号（例えばＷｉ－Ｆｉアクセスポイントから受信した信号のＷｉ－ＦｉシグネチャのＲＳＳＩ場を通過する）の信号強度を用いることで電波情報の精度を更に高めることができる。例えば、Ｗｉ－Ｆｉアクセスポイントからの信号は、範囲４３１内で－３０ｄＢｍよりも高い強度で、また範囲４３１と４３０の間では－３０ｄＢｍよりも低い信号強度で受信することができる。従って、－３０ｄＢｍよりも低いか又は高い強度でＷｉ－Ｆｉアクセスポイントから信号を受信して２個の別々の電波単語を決定することができる。本例において信号は、第１の位置４１０では－３０ｄＢｍよりも高い信号強度で、及び第２の位置４２０では－３０ｄＢｍよりも低い強度で受信される。従って、当該情報は、第１の位置４１０と第２の位置４２０との間における移動機器の位置の更なる区別を可能にする。

【0113】

図５ａ及び５ｂに、本発明及び従来技術による視覚及び／又はＷｉ－Ｆｉ情報を用いた移動機器位置認識方法の位置認識エラー率の二例を示す。

【0114】

図５ａ及び５ｂに、移動機器の推定される姿勢（関連付けられたトポロジカルノードに対応）と、移動機器の実際の姿勢（正確な位置に対応）との間の距離ｄに応じて視覚的情報とＷｉ－Ｆｉ情報の組み合わせを用いて、異なる位置認識方法のエラー率（すなわち誤った位置の相対量）をより具体的に示す。図５ａ、５ｂに示す例はより具体的には、ロボット位置認識に関するものである。

【0115】

垂直軸５０１ａ及び５０１ｂはエラー率を、実験的テスト中の誤った位置認識の数を当該テスト中の位置認識の総数で除算した商として表している。軸５０１ｂの方向は軸５０１ａの方向に対して逆向きであり、挿入図５７０は短い距離及び低いエラー率を拡大表示している。

【0116】

図５ａ、５ｂにおいて、複数の曲線は各々以下を表している。
－曲線５１０ａ、５１０ｂ及び５１１ｂ：本発明による位置認識方法の距離に応じたエラー率の変化、
－曲線５２０ａ、５２０ｂ及び５２１ｂ：視覚的位置認識を順次実行し、次いでＷｉ－Ｆｉ情報に基づいて位置認識を確認する位置認識方法の距離に応じたエラー率の変化
－曲線５３０ａ、５３０ｂ及び５３１ｂ：視覚的情報のみに基づく位置認識方法の距離に応じたエラー率の変化、
－曲線５４０ａ、５４０ｂ及び５４１ｂ：Ｗｉ－Ｆｉに基づく位置認識を行い、次いで視覚的情報を用いて当該位置認識の精度を高める位置認識方法の距離に応じたエラー率の変化、
－曲線５５０ａ、５５０ｂ及び５５１ｂ：Ｗｉ－Ｆｉに基づく位置認識と視覚に基づく位置認識を別々に実行し、次いで粒子フィルタを用いて情報を融合する位置認識方法の距離に応じたエラー率の変化、
－曲線５６０ａ、５６０ｂ及び５６１ｂ：Ｗｉ－Ｆｉのみに基づく位置認識方法の距離に応じたエラー率の変化。
図５ａ、５ｂは、本発明の位置認識方法が、他の全ての視覚的、Ｗｉ－Ｆｉ又は混合方法よりも、全ての距離で顕著に良好な位置認識結果をもたらすことを明らかに示している。

【0117】

図６に、本発明による方法の一例を示す。

【0118】

方法６００は、移動機器の自身の環境における位置を認識する方法である。

【0119】

方法６００は更に、移動機器の環境の画像を、当該移動機器に搭載された１個以上のデジタル画像センサから取得する第１のステップ６１０を含んでいる。

【0120】

方法６００は更に、前記移動機器に搭載された電波受信機を用いて受信可能な電波送信機を検知する第２のステップ６２０を含んでいる。

【0121】

方法６００は更に、視覚的単語の集合、１個の電波単語が少なくとも電波送信機の識別子及び、各基準位置に視覚的単語及び電波単語の対応する基準位置における有無を決定するバイナリ値を含む基準位置ベクトルが関連付けられている基準位置の集合により決定されている電波単語の集合を保存しているメモリにアクセスする第３のステップ６３０を含んでいる。

【0122】

方法６００は更に、画像内における視覚的単語の有無を決定するバイナリ値、及び、受信可能な無線電波送信機を用いて電波単語の有無を決定するバイナリ値を含む観測ベクトルを生成する第４のステップ６４０を含んでいる。

【0123】

方法６５０は更に、前記観測ベクトル及び前記基準位置ベクトルに基づいて移動機器の現在位置が前記基準位置のいずれか１個に存在するか否かを判定する第５のステップを含んでいる。

【0124】

図１～４に関して述べてきた全ての実施形態は各々方法６００に適用可能である。

【0125】

上述の例は、本発明の実施形態の非限定的な例として挙げたものである。これらは、以下の請求項により規定される本発明の範囲を一切限定するものではない。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】