特表 2022-528861 視覚ロボットに基づく履歴地図利用方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-16

(54)【発明の名称】視覚ロボットに基づく履歴地図利用方法

(51)【国際特許分類】

   G05D 1/02 20200101AFI20220609BHJP

【ＦＩ】

G05D1/02 K

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021557990

(86)(22)【出願日】2019-11-09

(85)【翻訳文提出日】2021-10-12

(86)【国際出願番号】 CN2019116917

(87)【国際公開番号】W WO2020207007

(87)【国際公開日】2020-10-15

(31)【優先権主張番号】201910293078.X

(32)【優先日】2019-04-12

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520347351

【氏名又は名称】珠海一微半導体股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＭＩＣＲＯ ＳＥＭＩＣＯＮＤＵＣＴＯＲ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２７０６，３０００ Ｈｕａｎｄａｏ Ｅａｓｔ Ｒｏａｄ，Ｈｅｎｇｑｉｎ Ｎｅｗ Ｄｉｓｔｒｉｃｔ，Ｚｈｕｈａｉ，Ｇｕａｎｇｄｏｎｇ ５１９０００（ＣＮ）

(74)【代理人】

【識別番号】110002734

【氏名又は名称】特許業務法人藤本パートナーズ

(72)【発明者】

【氏名】李 明

(72)【発明者】

【氏名】頼 欽偉

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301BB14

5H301FF11

5H301GG09

5H301GG16

(57)【要約】

視覚ロボットに基づく履歴地図利用方法であって、所定作業領域内の所定道標の画像を連続的に収集し、それらの画像から所定道標の道標情報を取得するように視覚ロボットを制御するステップ１と、取得した道標情報を、第１地図測位システムと第２地図測位システムに同時送信するステップ２と、第１地図測位システムおよび第２地図測位システムがそれぞれ対応する道標情報を処理することで第１位置姿勢情報および第２位置姿勢情報を取得するように制御するステップ３と、同一の所定道標の第１位置姿勢情報および第２位置姿勢情報を選択して、第１位置姿勢情報と第２位置姿勢情報との間の変換関係式を算出するステップ４と、変換関係式に従って、履歴地図に対して対応する変換操作を実行するように制御し、変換後の履歴地図を参照としてそれからの行動制御を行うステップ５と、を含む、履歴地図利用方法。履歴地図が実際の物理環境とマッチングするように制御することにより、経路計画の知能化程度が向上することとなる。
【選択図】図１

【特許請求の範囲】

【請求項1】

現在地図に基づく第１地図測位システムと履歴地図に基づく第２地図測位システムが互いに独立して作動するように制御するための視覚ロボットに基づく履歴地図利用方法であって、
所定作業領域内の所定道標の画像を連続的に収集し、それらの画像から所定道標の道標情報を取得するように視覚ロボットを制御するステップ１と、
ステップ１にて取得した道標情報を、第１地図測位システムと第２地図測位システムに同時送信するステップ２と、
所定マッチングアルゴリズムで対応する道標情報を処理することで第１位置姿勢情報を取得するように第１地図測位システムを制御すると同時に、所定マッチングアルゴリズムで対応する道標情報を処理することで第２位置姿勢情報を取得するように第２地図測位システムを制御するステップ３と、
同一の所定道標の第１位置姿勢情報および第２位置姿勢情報を選択して、第１位置姿勢情報と第２位置姿勢情報との間の変換関係式を算出するステップ４と、
変換関係式に従って、履歴地図に対して相応する変換操作を実行するように制御し、変換後の履歴地図を参照としてそれからの行動制御を行うステップ５と、
を含み、
履歴地図は、事前構築されて地図記憶媒体に保存されている、所定作業領域に対応する環境地図であり、現在地図は、所定作業領域内でリアルタイムに構築された環境地図であり、地図記憶媒体は、視覚ロボットのシステム内部の一記憶ユニットである、ことを特徴とする履歴地図利用方法。

【請求項2】

前記ステップ３では、
前記第１位置姿勢情報は、前記第１地図測位システムから、前記現在地図の地図属性情報がリアルタイムにキャッシュされている第１バッファメモリ空間に出力されて、読み取られて測位を実行するのを待っており、
前記第２位置姿勢情報は、前記第２地図測位システムから、前記履歴地図に対応する地図属性情報が格納されている第２バッファメモリ空間に出力されて、読み取られるのを待っており、
地図属性情報は、地図記憶媒体の地図データをマークするための地図識別子、道標数量、二次元グリッド地図、視覚測位用の道標情報、道標情報を変換して出力した位置姿勢情報、および前記データのチェック値を含み、位置姿勢情報が位置座標および方位角を含む、ことを特徴とする、請求項１に記載の履歴地図利用方法。

【請求項3】

前記視覚ロボットが起動した初期時刻、または前記所定作業領域でのトラバーサルが開始するたびに、前記地図記憶媒体から前記履歴地図に対応する前記地図属性情報を前記第２バッファメモリ空間へ読み取る、ことを特徴とする、請求項２に記載の履歴地図利用方法。

【請求項4】

前記ステップ３と前記ステップ４との間で、
前記履歴地図の前記地図属性情報を読み取ることで、前記履歴地図に対応する前記道標数量を取得し、
前記ステップ１にて取得した所定道標の前記道標数量と読み取られた前記道標数量との差が所定数量閾値よりも大きいか否かを判断し、ＹＥＳであれば、前記地図記憶媒体から前記履歴地図の前記地図属性情報を前記第２バッファメモリ空間へ読み取り、それから、ステップ１に戻り、ＮＯであれば、前記ステップ４に進む、ことを特徴とする、請求項３に記載の履歴地図利用方法。

【請求項5】

前記履歴地図の前記地図属性情報の読み取り制御方法は、
前記地図識別子により前記地図記憶媒体において前記履歴地図が存在するか否かを判断し、ＹＥＳであれば、ステップ４０２に進み、ＮＯであれば、ステップ４０６に進むステップ４０１と、
前記地図記憶媒体における対応する前記道標数量が所定数量閾値よりも大きいか否かを判断し、ＹＥＳであれば、ステップ４０３に進み、ＮＯであれば、ステップ４０６に進むステップ４０２と、
前記地図記憶媒体における対応する前記道標数量が前記第２バッファメモリ空間における対応する前記道標数量よりも大きいか否かを判断し、ＹＥＳであれば、ステップ４０４に進み、ＮＯであれば、ステップ４０６に進むステップ４０３と、
前記第２バッファメモリ空間に格納された前記地図属性情報をクリアし、前記地図記憶媒体から対応する前記地図属性情報を読み取って前記第２バッファメモリ空間にキャッシュし、それから、ステップ４０５に進むステップ４０４と、
前記第２バッファメモリ空間にキャッシュされた前記地図属性情報に対応するデータのチェック値を算出して、前記地図記憶媒体から読み取られたマッチングした前記チェック値と照合し、同じであれば、前記地図記憶媒体から読み取られたデータが正しいと判断し、前記第２バッファメモリ空間内の前記地図属性情報を処理することで新しい第２位置姿勢情報を取得するように前記第２地図測位システムを制御し、それから、ステップ４０６に進み、そうでなければ、前記地図記憶媒体から読み取られたデータが間違っていると判断するステップ４０５と、
前記第２バッファメモリ空間から前記第２位置姿勢情報を読み取り、それから、前記ステップ４に進むステップ４０６と、を含むことを特徴とする、請求項４に記載の履歴地図利用方法。

【請求項6】

前記ステップ４では、
同一の前記所定道標の１セットの道標画像を処理することで所定数量の位置姿勢情報を取得してから、最大値および最小値を除去し、余剰データの平均値を、測位作用を奏する前記第２位置姿勢情報として決定するように前記第２地図測位システムを制御すると同時に、
同一の前記所定道標の１セットの道標画像を処理することで所定数量の位置姿勢情報を取得してから、最大値および最小値を除去し、余剰データの平均値を、測位作用を奏する前記第１位置姿勢情報として決定するように前記第１地図測位システムを制御する、ことを特徴とする、請求項１に記載の履歴地図利用方法。

【請求項7】

前記第１地図測位システムと前記第２地図測位システムとは互いに独立して作動しており、且つ、前記道標情報を処理するように促すための前記所定マッチングアルゴリズムが内蔵されている、ことを特徴とする、請求項６に記載の履歴地図利用方法。

【請求項8】

前記ステップ４では、前記変換関係式は、回転行列と平行移動ベクトルで構成されたものを含み、前記変換操作は、前記履歴地図の回転および平行移動を制御することを含む、ことを特徴とする、請求項１に記載の履歴地図利用方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、知能コントロールの技術分野に属し、特に視覚ロボットに基づく履歴地図利用方法に関する。

【背景技術】

【0002】

ロボットにとっては、同一の作業領域内で一回のトラバーサル（ｔｒａｖｅｒｓａｌ）が完了するたびに、マッピングを再開したり、漸進的なマッピング方式で更新したりすることがよくあるが、更新後は新しい地図が生成されるため、元の地図に対しての操作も地図の変更に伴って無効になってしまう。例えば、ロボット掃除機の場合、地図が変更されると、それに伴って前回に完了しなかった掃除記録も無効になり、掃除を中断した場所から掃除を再開する（断点続掃）などのタスクができなくなり、掃除機の作業効率が低下してしまい、同一の作業領域内で作業を再開するたびに、前回の作業タスクが完了した時に比べ、視覚ロボットの所在する物理位置、行動方向が変更されてしまった可能性は高く、現在位置とそれとマッチングする地図における対応シーンポイントがほぼ同一の位置にあるが、２回の収集過程中で視覚センサが完全に同じ位置姿勢を維持することができないため、読み取られた事前構築された履歴地図で指示する方向は、視覚ロボットの現在位置の方向とは対応していない。そのため、履歴地図が実際の物理環境とマッチングするように同一の作業領域について事前保存された履歴地図を利用して経路計画を行うことをどのように実現するかは、従来の技術における早急に解決すべき問題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記した技術的欠陥を解消するために、本発明は、履歴地図が実際の物理環境とマッチングするように、視覚システムによって履歴地図における機体の座標および方向を再測位するものである。

【課題を解決するための手段】

【0004】

現在地図に基づく第１地図測位システムと履歴地図に基づく第２地図測位システムが互いに独立して作動するように制御するための視覚ロボットに基づく履歴地図利用方法であって、所定作業領域内の所定道標の画像を連続的に収集し、それらの画像から所定道標の道標情報を取得するように視覚ロボットを制御するステップ１と、ステップ１にて取得した道標情報を、第１地図測位システムと第２地図測位システムに同時送信するステップ２と、所定マッチングアルゴリズムで対応する道標情報を処理することで第１位置姿勢情報を取得するように第１地図測位システムを制御すると同時に、所定マッチングアルゴリズムで対応する道標情報を処理することで第２位置姿勢情報を取得するように第２地図測位システムを制御するステップ３と、同一の所定道標の第１位置姿勢情報および第２位置姿勢情報を選択して、第１位置姿勢情報と第２位置姿勢情報との間の変換関係式を算出するステップ４と、変換関係式に従って、履歴地図に対して対応する変換操作を実行するように制御し、変換後の履歴地図を参照としてそれからの行動制御を行うステップ５と、を含み、履歴地図は、事前構築されて地図記憶媒体に保存されている、所定作業領域に対応する環境地図であり、現在地図は、所定作業領域内でリアルタイムに構築された環境地図であり、地図記憶媒体は、視覚ロボットのシステム内部の一記憶ユニットである、履歴地図利用方法。この技術案によれば、ロボットの履歴地図の有効性が維持される前提下、前記視覚ロボットの周囲環境学習能力が向上し、経路計画の知能化程度が向上することとなる。

【0005】

さらに、前記ステップ３では、前記第１位置姿勢情報は、前記第１地図測位システムから、前記現在地図の地図属性情報がリアルタイムにキャッシュされている第１バッファメモリ空間に出力されて、読み取られて測位を実行するのを待っており、前記第２位置姿勢情報は、前記第２地図測位システムから、前記履歴地図に対応する地図属性情報が格納されている第２バッファメモリ空間に出力されて、読み取られるのを待っており、地図属性情報は、地図記憶媒体の地図データをマークするための地図識別子、道標数量、二次元グリッド地図、視覚測位用の道標情報、道標情報を変換して出力した位置姿勢情報、および前記データのチェック値を含み、位置姿勢情報が位置座標および方位角を含む。この技術案によれば、前記第２地図測位システムと前記第１地図測位システムがそれぞれ異なる地図システムのデータを処理するように制御され、被処理データが動的に変化することがサポートされている。

【0006】

さらに、前記視覚ロボットが起動した初期時刻、または前記所定作業領域でのトラバーサルが開始するたびに、前記地図記憶媒体から前記履歴地図に対応する前記地図属性情報を読み取る。この技術案によれば、前記地図記憶媒体における事前構築された履歴地図のデータを読み取って前記第２バッファメモリ空間に保存することにより、前記第２地図測位システムによるデータ処理速度が速くなり、出来るだけ早くデータを読み取って地図測位システムに提供するという技術効果が実現されることとなる。

【0007】

さらに、前記ステップ３と前記ステップ４との間で、前記履歴地図の前記地図属性情報を読み取ることで、前記履歴地図に対応する前記道標数量を取得し、前記ステップ１にて取得した所定道標の前記道標数量と読み取られた前記道標数量との差が所定数量閾値よりも大きいか否かを判断し、ＹＥＳであれば、前記地図記憶媒体から前記履歴地図の前記地図属性情報を前記第２バッファメモリ空間へ読み取り、それから、ステップ１に戻り、ＮＯであれば、前記ステップ４に進む。この技術案によれば、前記履歴地図に基づく前記第２位置姿勢情報の有効性を判断することで、履歴地図の座標系下で処理される測位情報が前記視覚ロボットの位置情報を代表できることが確保される。

【0008】

さらに、前記履歴地図の前記地図属性情報の読み取り制御方法は、前記地図識別子により前記地図記憶媒体において前記履歴地図が存在するか否かを判断し、ＹＥＳであれば、ステップ４０２に進み、ＮＯであれば、ステップ４０６に進むステップ４０１と、前記地図記憶媒体における対応する前記道標数量が所定数量閾値よりも大きいか否かを判断し、ＹＥＳであれば、ステップ４０３に進み、ＮＯであれば、ステップ４０６に進むステップ４０２と、前記地図記憶媒体における対応する前記道標数量が前記第２バッファメモリ空間における対応する前記道標数量よりも大きいか否かを判断し、ＹＥＳであれば、ステップ４０４に進み、ＮＯであれば、ステップ４０６に進むステップ４０３と、前記第２バッファメモリ空間に格納された前記地図属性情報をクリアし、前記地図記憶媒体から対応する前記地図属性情報を読み取って前記第２バッファメモリ空間にキャッシュし、それから、ステップ４０５に進むステップ４０４と、前記第２バッファメモリ空間にキャッシュされた前記地図属性情報に対応するデータのチェック値を算出して、前記地図記憶媒体から読み取られたマッチングした前記チェック値と照合し、同じであれば、前記地図記憶媒体から読み取られたデータが正しいと判断し、前記第２バッファメモリ空間内の前記地図属性情報を処理することで新しい第２位置姿勢情報を取得するように前記第２地図測位システムを制御し、それから、ステップ４０６に進み、そうでなければ、前記地図記憶媒体から読み取られたデータが間違っていると判断するステップ４０５と、前記第２バッファメモリ空間から前記第２位置姿勢情報を読み取り、それから、前記ステップ４に進むステップ４０６と、を含む。この技術案によれば、バッファメモリ空間と前記地図記憶媒体の地図属性情報との差異を判断することで履歴地図の地図属性情報の読み取り方式を決定することにより、地図読み取り効率が向上することとなる。

【0009】

さらに、前記第１バッファメモリ空間および前記第２バッファメモリ空間は、前記視覚ロボットの内部システムの請求により開拓されたキャッシュ空間であり、線形テーブルであり、ここで、前記第１位置姿勢情報がＣ＋＋連想コンテナの形態で前記第１バッファメモリ空間内に格納され、前記第２位置姿勢情報がＣ＋＋連想コンテナの形態で前記第２バッファメモリ空間内に格納され、メモリ空間内での前記第１位置姿勢情報および前記第２位置姿勢情報に対応するｋｅｙ値が前記道標情報のｉｄ番号に対応しており、ｋｅｙ値およびｉｄ番号がＣ＋＋連想コンテナに対して設定されたものである。この技術案によれば、メモリによる位置姿勢情報管理の柔軟性が向上し、バッファメモリ読み取り効率が向上することとなる。

【0010】

さらに、前記ステップ４では、同一の前記所定道標の１セットの道標画像を処理することで所定数量の位置姿勢情報を取得してから、最大値および最小値を除去し、余剰データの平均値を、測位作用を奏する前記第２位置姿勢情報として決定するように前記第２地図測位システムを制御すると同時に、同一の前記所定道標の１セットの道標画像を処理することで所定数量の位置姿勢情報を取得してから、最大値および最小値を除去し、余剰データの平均値を、測位作用を奏する前記第１位置姿勢情報として決定するように前記第１地図測位システムを制御する。それによって測位データに起因する誤差の影響が低減される。

【0011】

さらに、前記第１地図測位システムと前記第２地図測位システムとは互いに独立して作動しており、且つ、前記道標情報を処理するように促すための前記所定マッチングアルゴリズムが内蔵されている。当該技術案によれば、ソフトウェア上で履歴地図による測位が現在地図による測位から独立するように制御され、両者の間には相関関係が存在しない。

【0012】

さらに、前記ステップ４では、前記変換関係式は、回転行列と平行移動ベクトルで構成されたものを含み、前記変換操作は、前記履歴地図の回転および平行移動を制御することを含む。当該技術案によれば、回転行列および平行移動ベクトルによる制限関係で現在地図の座標と履歴地図の座標が一致し、回転・平行移動変換後の前記履歴地図が前記視覚ロボットの現在位置および方向とマッチングするようになる。

【図面の簡単な説明】

【0013】

【図1】視覚ロボットに基づく履歴地図利用方法のフローチャートである。

【図2】前記履歴地図の前記地図属性情報の読み取り制御方法のフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施例に係る技術案について、本発明の実施例に係る図面を参照しながら詳しく説明する。

【0015】

本発明の実施例は、視覚ロボットに基づく履歴地図利用方法を提供しており、当該履歴地図利用方法は、現在地図に基づく第１地図測位システムと履歴地図に基づく第２地図測位システムが互いに独立して作動するように制御し、地図測位システムの前端に道標情報が生成後、それを履歴地図に基づく測位システムと現在地図に基づく測位システムにそれぞれ送信して換算処理しており、前記視覚ロボットの測位情報が前記地図測位システムによって生成される。具体的には、履歴地図の道標情報に基づいて履歴地図における前記視覚ロボットの現在座標と現在方向を測位し、地図の有効性判断がされた最終的な測位結果を利用して履歴地図を回転・平行移動し、回転・平行移動後の履歴地図を参照地図として行動制御を行うことにより、前記視覚ロボットの経路計画の更なる知能化が実現される。

【0016】

本発明の実施例で提供する前記履歴地図利用方法の基本的な構想は、次のステップを含む。ステップ１：所定作業領域内の所定道標の画像を収集し、それらの画像から所定道標の道標情報を取得するように視覚ロボットを制御する。さらに、前記所定道標は、前記所定作業領域内の全ての視覚的道標であってもよいし、部分領域内の視覚的道標であってもよく、取得された所定道標の道標情報の完全性および合理性を確保するものとする。特に説明したいこととして、道標は、環境において人工的に配置された標識物を表すためのものである。

【0017】

ステップ２：ステップ１にて取得した道標情報を、履歴地図に基づく測位システムと現在地図に基づく測位システムに同時送信する。本発明の実施例では、前記地図測位システムは、履歴地図情報を処理するための第１地図測位システムと、現在地図情報を処理するための第２地図測位システムに分けられ、第１地図測位システムと第２地図測位システムは、何れも画像収集センサーに接続され、現在収集した道標画像を伝送するためのものであり、それらの画像が第１地図測位システムと第２地図測位システムにそれぞれ送信される。ここで、地図測位システムは、視覚的道標情報に基づいてロボットの測位を完成し、画像収集センサーとは信号接続関係があり、前記道標情報は、前記画像収集センサーによって収集された道標画像から抽出された特徴点情報および深度情報である。

【0018】

ステップ３：所定マッチングアルゴリズムで対応する道標情報を処理することで前記現在地図座標系における第１位置姿勢情報を取得するように第１地図測位システムを制御すると同時に、所定マッチングアルゴリズムで対応する地図属性情報を処理することで前記履歴地図座標系における第２位置姿勢情報を取得するように第２地図測位システムを制御する。本実施例では、前記所定マッチングアルゴリズムは、現在収集された道標画像と道標データベース中の道標画像との特徴マッチングを完成するための道標測位マッチングアルゴリズムであり、本発明の実施例に用いられた特徴マッチングアルゴリズムは、常用する特徴点マッチングアルゴリズムであり、前記地図測位システムは、マッチング結果に基づいて幾何学的関係を利用して前記視覚ロボットの位置座標および方位角を算出して位置姿勢情報として決定する。第１地図測位システムから現在地図の座標系における第１姿勢情報が出力され、当該情報が第１座標および第１方向角を含み、第２地図測位システムから履歴地図の座標系における第２姿勢情報が出力され、当該情報が第２座標および第２方向角を含む。さらに、第１地図測位システムの道標データベースと第２地図測位システムの道標データベースの両方にも、同一の所定道標に複数回に探知・アクセスして取得した１セットの道標画像が格納されている。第１地図測位システムと第２地図測位システムは、それぞれに入力された所定道標の画像および道標情報について独立して演算し、かつ２つのシステムの間には相関関係がない。

【0019】

前記履歴地図と現在地図は、環境を一連の道標に抽象化してなる図を含み、その道標が屋内環境中のシーンポイントを示す。前記道標データベース中の道標画像は、異なる地面媒質、光照射などの条件で同一の物理位置に複数回に探知・アクセスして取得した１セットの道標画像を含む。

【0020】

好ましくは、前記現在地図および前記履歴地図には、地図記憶媒体の地図データをマークするための地図識別子、道標数量、二次元グリッド地図、視覚測位用の道標情報、道標情報を変換して出力した位置姿勢情報、および前記データのチェック値が含まれており、位置姿勢情報は、位置座標および方位角などの地図属性情報が混合した環境地図を含む。ここで、二次元グリッド地図は、グローバルグリッド地図であり、その中心点（ｗ/２、ｈ/２）は前記視覚ロボットの起動原点、ｗはグリッド地図の幅、ｈはグリッド地図の高さである。前記地図記憶媒体は、視覚ロボットのシステム内部の一記憶ユニットであり、前記視覚ロボットの同期測位およびリアルタイムマッピング過程に生成された地図データ、特に前記地図属性情報を格納するための専用要素である。

【0021】

ステップ４：同一の所定道標の第１位置姿勢情報および第２位置姿勢情報を選択して、第１位置姿勢情報と第２位置姿勢情報との間の変換関係式を算出する。好ましくは、前記変換関係式は、前記現在地図と前記履歴地図との間の回転行列Ｒと平行移動ベクトルＴとを含み、同一の前記所定道標の前記現在地図における位置姿勢と前記履歴地図における位置姿勢との間の変換関係として表れている。

【0022】

ステップ５：変換関係式に従って、前記履歴地図に対して相応する変換操作を実行するように制御し、変換後の前記履歴地図を参照としてそれからの行動制御を行う。さらに、前記履歴地図が前記地図記憶媒体からバッファ空間内に読み込まれて変換操作を実行すると同時に、前記地図記憶媒体において前記履歴地図が前記現在地図によって更新され、変換後の前記履歴地図が前記視覚ロボットによるそれからの行動経路の計画に用いられ、そして、前記地図記憶媒体において更新された前記履歴地図としては、読み込まれて類似性の判断を実行したり前記変換関係式の演算に参加したりするのを待っている。それから、変換操作後の履歴地図がクライアントに更新表示されている。

【0023】

本実施例では、ステップ４にて算出した回転角ａｎｇｌｅで前記履歴地図の所在する座標系が回転してから、ステップ４にて算出した平行移動ベクトルＴの大きさおよび方向で座標系が平行移動するように制御すれば、前記履歴地図の回転および平行移動の操作を実現することができる。それから、携帯電話のＡＰＰなどのユーザー端末にアップロードされ、変換後の前記履歴地図が更新表示されており、そして、前記視覚ロボットがある部屋にナビゲーションされるように携帯電話で直接的に制御することができ、即ち、この部屋に対して現在状態で掃除済みがマークされないようにする。変換後の前記履歴地図に基づき、ユーザーが障害物の位置を予測でき、そして地形を参照して異なる掃除順序および方向を選択することで、前記履歴地図を利用して知能的な行動計画を作成するように前記視覚ロボットを制御することができる。これは、ユーザーがクライアントインターフェイスにおける前記履歴地図に従って経路を計画するのに有利である。ここで、履歴地図は、事前構築されて地図記憶媒体に保存されている、所定作業領域に対応する環境地図である。現在地図は、リアルタイムに構築されてバッファリングされている、所定作業領域に対応する環境地図である。

【0024】

本発明の実施例によれば、ロボットの履歴地図の有効性を維持することができ、即ち、前記視覚ロボットが前記履歴地図を利用して前記所定作業領域の環境特徴を事前取得するように制御されることにより、前記視覚ロボットが周囲環境学習能力を持ち、経路計画の知能化程度が向上する。それと同時に、より精確なナビゲーション地図が構築され、地図の安定性が向上することとなる。

【0025】

一実施例として、前記視覚ロボットによる前記所定作業領域での一回のトラバーサルが完了後、前記履歴地図が次回に直接読み取られて利用できるように保存されているが、機器が起動するたびに物理位置、起動方向が頻繁に変わるため、読み取られた履歴地図におけるマーク位置が指示する方向は機器の現在位置の方向とは対応していない可能性はかなりある。したがって、視覚システムによって履歴地図における機器の位置、方向を再測位する必要があり、このようにすれば、履歴地図が実際の物理環境とマッチングするようになる。事前保存された地図との照合が必要となり、その肝心なところは、現在位置が事前保存された地図における記録済みの位置にあるか否かを判断し、判断結果に基づいて前記履歴地図を更新するか否かを決定するという点である。

【0026】

図１に示すように、当該履歴地図利用方法は、現在地図に基づく第１地図測位システムと履歴地図に基づく第２地図測位システムが互いに独立して作動するように制御するためのものであり、本発明の実施例で提供する前記履歴地図利用方法は、次のステップを含む。

【0027】

ステップＳ１：所定作業領域内の所定道標の画像を連続的に収集し、それらの画像から所定道標の道標情報を取得するように視覚ロボットを制御する。それから、ステップＳ２に進む。

【0028】

ステップＳ２：ステップＳ１にて取得した道標情報を、第１地図測位システムと第２地図測位システムに同時送信する。

【0029】

ステップＳ３：所定マッチングアルゴリズムで対応する道標情報を処理することで第１位置姿勢情報を取得するように第１地図測位システムを制御すると同時に、所定マッチングアルゴリズムで対応する道標情報を処理することで第２位置姿勢情報を取得するように第２地図測位システムを制御する。それから、ステップＳ４に進む。

【0030】

ステップＳ４：前記ステップＳ１にて取得した所定道標の前記道標数量と前記履歴地図における前記道標数量との差が所定数量閾値よりも大きいか否かを判断し、即ち前記第２位置姿勢情報が前記履歴地図に対応する前記地図属性情報の所定マッチング条件を満たすか否かを判断し、ＹＥＳであれば、前記地図記憶媒体から前記履歴地図の前記地図属性情報を前記第２バッファメモリ空間へ読み取り、それから、ステップＳ１に戻り、ＮＯであれば、ステップＳ５に進む。

【0031】

特に、２種の道標数量の差が顕著である場合、新たに書き込まれた前記現在地図によって前記履歴地図が更新され、前記地図記憶媒体に書き込まれた地図属性情報が変更されたことが表明されており、この場合、前記地図記憶媒体からバッファメモリ空間へデータを新たに読み取って地図測位システムに提供する必要があり、そうでなければ、バッファメモリ空間から直接読み取って地図測位システムに提供することとなる。

【0032】

さらに、所定数量閾値は、前記第２位置姿勢情報に対応する前記所定道標の数量と、前記履歴地図における同じ道標情報を持つ道標とのマッチング度を評価するためのものであり、所定数量閾値の数値が小さいほど、現在収集されたすべての道標のうち、前記履歴地図におけるすべての道標とマッチングするものが多くなることが表明されており、当該ステップは、現在構築された地図と履歴地図とのマッチングを行うことで、前記所定作業領域においてロボットが履歴環境内にあるか、それとも新しい環境内にあるかを判断する。前記視覚ロボットが前記所定作業領域に入って作業を開始したばかりの場合、前記地図記憶媒体には前記履歴地図に対応する前記地図属性情報が保存されていないため、前記履歴地図における対応する道標の数が０であり、よって、本実施例は、前記視覚ロボットによる前記所定作業領域でのトラバーサルが少なくとも一回完了した場合に適用されており、前記履歴地図利用方法により前記視覚ロボットの前記所定作業領域に対しての熟知度が向上することとなる。

【0033】

ステップＳ５：同一の所定道標の第１位置姿勢情報および第２位置姿勢情報を選択して、第１位置姿勢情報と第２位置姿勢情報との間の変換関係式を算出し、具体的には、第１位置姿勢情報と第２位置姿勢情報の角度、および第１位置姿勢情報と第２位置姿勢情報との間の座標変化量を算出する。前記第１地図測位システムから複数の道標に対応する第１位置姿勢情報が出力され、前記第２地図測位システムから複数の道標に対応する第２位置姿勢情報が出力され、それによって、前記視覚ロボットが異なる道標を収集したときに所在する位置の情報が取得される。

【0034】

ステップＳ６：ステップＳ５にて取得した変換関係式に従って、前記履歴地図に対して対応する変換操作を実行するように制御し、変換後の前記履歴地図を参照としてそれからの行動制御を行い、変換操作後の履歴地図をクライアントにおいて更新表示する。変換後の前記履歴地図に基づいて障害物の位置をユーザー端末にマークし、そして現在環境地形を参照して合理的な清掃順序および方向を計画することにより、前記視覚ロボットが前記履歴地図を利用して行動計画を行うように制御され、前記視覚ロボットが行動過程中にトラバーサル済みの周囲環境について熟知するようになり、ロボットの学習能力が継続的に向上することとなる。

【0035】

完全な地図の構築が完了後、履歴地図と新たに構築された地図とのマッチングを行うことで類似度を取得することは、理解されるべきであろう。類似度が所定の閾値よりも大きい場合、依然として元の地図であると見なす。一方、類似度が所定の閾値よりも小さい場合、環境が変更されていて前記地図記憶媒体における地図を置き換え得ると見なし、前記履歴地図をメモリ空間にバッファリングする。同期測位およびリアルタイムマッピングを実現するために、各々の地図は、１つの履歴作業および相互作用データに対応し、反復交互過程である。特に説明したいこととして、前記数量閾値は、実際の状況に応じて設定されることができる。前記地図属性情報は、地図記憶媒体の地図データをマークするための地図識別子、道標数量、二次元グリッド地図、視覚測位用の道標情報、道標情報を変換して出力した位置姿勢情報、および前記データのチェック値を含み、位置姿勢情報が位置座標および方位角を含む。本発明の実施例では、前記履歴地図に基づく前記第２位置姿勢情報の有効性を判断することで、履歴地図の座標系下で処理される測位情報が前記視覚ロボットの位置情報を表すことが確保される。

【0036】

好ましくは、前記ステップＳ３では、前記第１位置姿勢情報は、前記第１地図測位システムから、前記現在地図に対応する前記地図属性情報が格納されている第１バッファメモリ空間に出力されて、読み取られて測位を実行するのを待っているか、または前記地図記憶媒体に書き込まれ、前記第２位置姿勢情報は、前記第２地図測位システムから、前記履歴地図に対応する前記地図属性情報が格納されている第２バッファメモリ空間に出力されて、読み取られるのを待っており、同一の前記所定作業領域内で前記視覚ロボットの所在する環境が変更されたことが検出されると、前記履歴地図が前記現在地図によって更新され、前記第２バッファメモリ空間については前記地図記憶媒体から読み取って更新する必要がある。前記第１バッファメモリ空間および前記第２バッファメモリ空間は、前記視覚ロボットの内部システムの請求により開拓されたキャッシュ空間である。したがって、前記ステップＳ１にて取得した所定道標の道標数量と前記第２バッファメモリ空間から読み取られた前記道標数量との差値が大きい場合、前記第１バッファメモリ空間から前記第１位置姿勢情報を読み取ってから、ステップＳ５に進む。本発明の実施例では、前記第２地図測位システムと前記第１地図測位システムがそれぞれ異なる地図システムのデータを処理するように制御され、被処理データが動的に変化することがサポートされている。

【0037】

好ましくは、前記視覚ロボットが起動した初期時刻、または前記所定作業領域でのトラバーサルが開始するたびに、先ず、前記地図記憶媒体から前記履歴地図に対応する前記地図属性情報を読み取り、前記地図記憶媒体における事前構築された履歴地図のデータを読み取って前記第２バッファメモリ空間に保存することにより、それからの前記履歴地図の地図属性情報の有効性判断の実行に有利であり、出来るだけ早くデータを読み取って前記第２地図測位システムに提供するという技術効果が実現され、前記履歴地図に関する更新測位の処理速度が向上することとなる。

【0038】

一実施例として、前記ステップＳ４の前に、前記履歴地図の前記地図属性情報を読み取る必要があり、前記地図記憶媒体から前記履歴地図に対応する前記地図属性情報を読み取ることで前記履歴地図に対応する前記道標数量を取得することができ、また、前記第２バッファメモリ空間から前記履歴地図に対応する前記地図属性情報を読み取ることで前記履歴地図に対応する前記道標数量を取得することもできる。具体的にどの読み取り方法を用いるかについては、図２に示すような、前記履歴地図の前記地図属性情報の読み取り制御方法を参照でき、当該方法は、次のステップを含む。

【0039】

ステップＳ４０１：前記地図識別子により前記地図記憶媒体において前記履歴地図が存在するか否かを判断し、ＹＥＳであれば、ステップＳ４０２に進み、ＮＯであれば、ステップＳ４１０に進む。前記地図識別子が地図データの識別子である。

【0040】

ステップＳ４０２：前記地図記憶媒体における対応する前記道標数量が所定数量閾値よりも大きいか否かを判断し、ＹＥＳであれば、ステップＳ４０３に進み、ＮＯであれば、ステップＳ４１０に進む。本実施例では、前記所定数量閾値の数値が少なくとも２より大きい。それによって、読み取られた道標情報が定量化され、地図の合理性および完全性が向上することとなる。

【0041】

ステップＳ４０３：前記地図記憶媒体における対応する前記道標数量が前記第２バッファメモリ空間における対応する前記道標数量よりも大きいか否かを判断し、ＹＥＳであれば、ステップＳ４０４に進み、ＮＯであれば、ステップＳ４１０に進む。特に、同一の前記所定作業領域下で、現在のリアルタイムバッファメモリ空間に格納された道標数量が元に保存された道標数量との差が顕著である場合、前記履歴地図と新たに構築された地図がマッチングしておらず、前記所定作業領域内で前記視覚ロボットが探知した実際の物理環境が変更されており、前記地図記憶媒体における前記履歴地図と比べて現在収集された地図属性情報が変更されていると判断する。この場合、現在収集された地図属性情報は、前記履歴地図の更新ができるように前記地図記憶媒体に書き込まれ、現在収集された地図もリアルタイム更新中である。この場合、それからの履歴地図下における位置姿勢換算にデータを蓄えるために、前記地図記憶媒体からデータを前記第２バッファメモリ空間へ新たに読み取る必要があり、前記第２位置姿勢情報として読み取られて前記変換関係式の演算に参加するのを待っており、そして演算した前記変換関係式により地図座標系の変換操作を実行して前記履歴地図を調整変換することにより、前記視覚ロボットが変換後の前記履歴地図に基づいて実際の環境に一層適切な作業経路を計画することができる。

【0042】

ステップＳ４０４：前記第２バッファメモリ空間に格納された前記地図属性情報をクリアし、それから、ステップＳ４０５に進む。ステップＳ４０４にて、前記視覚ロボットによって探知された実際の物理環境が変更される前の地図データの影響が排除されたため、前記第２バッファメモリ空間内において更新後の前記履歴地図に、相応する格納空間を提供する。この場合、前記現在地図の前記地図属性情報が前記地図記憶媒体に書き込まれることにより、前記現在地図の前記地図属性情報によって前記地図記憶媒体における前記履歴地図の前記地図属性情報が置き換えられるようになる。

【0043】

ステップＳ４０５：前記地図記憶媒体から対応する前記地図属性情報を読み取って、前記第２バッファメモリ空間にキャッシュし、新しい前記第２位置姿勢情報として決定し、前記現在地図に対応する前記第１位置姿勢情報がリアルタイム更新中にあり、２種の位置姿勢情報を合わせた変換関係により、前記視覚ロボットによって取得された地図、特に地図における前記視覚ロボットに対応する現在位置情報が実際の環境とマッチングするように前記履歴地図を調整することができる。

【0044】

ステップＳ４０６：前記第２バッファメモリ空間にキャッシュされた前記地図属性情報に対応するデータのチェック値を算出し、それから、ステップＳ４０７に進む。

【0045】

ステップＳ４０７：ステップＳ４０６にて算出したチェック値と、前記地図記憶媒体から読み取られたマッチングした前記チェック値が同じであるか否かを判断し、同じであれば、前記地図記憶媒体から読み取られたデータが正しいと判断し、それからステップＳ４０８に進み、そうでなければ、ステップＳ４０９に進む。本発明の実施例では、前記地図属性情報に対応する地図データのそれぞれに対して対応するチェック値が設定され、データが前記地図記憶媒体内に書き込まれるときに、対応するチェック値も保存されるようになる。前記地図記憶媒体から前記地図属性情報に対応するデータが読み取られたときに、読み取られたデータに基づくチェック値が新たに算出され、前記地図記憶媒体に事前保存されたチェック値と同じであれば、読み取られたデータが正しいことが証明され、そうでなければ、データの読み取りが間違っていることが証明される。

【0046】

ステップＳ４０８：前記第２バッファメモリ空間内の前記地図属性情報を処理することで新しい第２位置姿勢情報を取得するように前記第２地図測位システムを制御し、当該ステップにて、前記第２バッファメモリ空間内の前記道標情報に対しても前記所定マッチングアルゴリズムで処理するように前記第２地図測位システムを制御する。あるいは、前記地図記憶媒体から読み取られた前記位置姿勢情報を前記第２位置姿勢情報として前記第２バッファメモリ空間内にバッファリングし、それからステップＳ４１０に進む。

【0047】

ステップＳ４０９：前記地図記憶媒体から読み取られたデータが間違っており、即ち前記地図記憶媒体内部に格納された前記地図属性情報に対応するデータが無効であると判断する。

【0048】

ステップＳ４１０：前記第２バッファメモリ空間から前記第２位置姿勢情報を読み取って、それからの前記変換関係式の演算に用いる。それから、前記ステップＳ４に進む。

【0049】

本発明の実施例では、バッファメモリ空間の地図属性情報と前記地図記憶媒体の地図属性情報との差異を判断することで履歴地図の地図属性情報の読み取り方式を決定することにより、地図読み取りの効率が向上することとなる。ロボットの履歴地図の有効性を維持し、視覚ロボットの地図学習能力を効果的に向上させることができる。

【0050】

好ましくは、前記第１バッファメモリ空間および前記第２バッファメモリ空間は、前記視覚ロボットの内部システムの請求により開拓されたキャッシュ空間であり、特殊な線形テーブルであり、ここで、前記第１位置姿勢情報がＣ＋＋連想コンテナの形態で前記第１バッファメモリ空間内に格納され、前記第２位置姿勢情報がＣ＋＋連想コンテナの形態で前記第２バッファメモリ空間内に格納され、メモリ空間内での前記第１位置姿勢情報および前記第２位置姿勢情報に対応するｋｅｙ値が前記道標情報のｉｄ番号に対応しているため、各々の道標座標および道標方向角に対応するキー値が道標情報のｉｄ番号であり、このコンテナ内のキー値が唯一である。この技術案によれば、メモリによる位置姿勢情報管理の柔軟性が向上し、バッファメモリ読み取り効率が向上することとなる。さらに、道標情報は、Ｃ＋＋連想コンテナの形態でメモリ内に保存されている。連想コンテナ内の要素は、キーワードで保存およびアクセスがされている。連想コンテナは、効果的なキーワード検索およびアクセスをサポートする。前記道標情報がＣ＋＋順序コンテナの形態でバッファエリアに順次保存され、前記道標姿勢情報がＣ＋＋連想コンテナの形態で保存されている。特に説明したいこととして、連想コンテナと順序コンテナとの本質的な違いは、連想コンテナでは要素の格納および読み取りがキー（ｋｅｙ）によって実現されるのに対して、順序コンテナでは要素の格納およびアクセスがコンテナにおける要素の位置順序によって実現されるという点にある。本発明の実施例では、地図のフラッシュメモリに保存された記憶順序で道標情報を格納したりアクセスしたりし、そして道標情報のｉｄ番号を検索してアクセスすることで、メモリから対応する前記道標姿勢情報を読み取ることができる。

【0051】

好ましくは、前記ステップＳ５では、前記第２位置姿勢情報と前記第１位置姿勢情報の両方も同一の前記所定道標に対して取得した所定数量の位置姿勢情報であり、所定数量の第２位置姿勢情報に対して、同一の前記所定道標の１セットの道標画像を処理することで所定数量の位置姿勢情報を取得してから、最大値および最小値を除去し、余剰データの平均値を、測位作用を奏する前記第２位置姿勢情報として決定するように前記第２地図測位システムを制御し、同時に、所定数量の第１位置姿勢情報に対して、同一の前記所定道標の１セットの道標画像に対してマッチング処理を行うことで所定数量の位置姿勢情報を取得してから、最大値および最小値を除去し、余剰データの平均値を、測位作用を奏する前記第１位置姿勢情報として決定するように前記第１地図測位システムを制御する。それによって、地図に精確な道標測位特徴が提供され、測位データに起因する誤差の影響が低減される。

【0052】

特に説明したいこととして、前記した実施例では、前記第１地図測位システムと前記第２地図測位システムとは互いに独立して作動しており、且つ、前記道標情報を処理するように促すための前記所定マッチングアルゴリズムが内蔵されている。当該技術案によれば、ソフトウェア上で履歴地図による測位が現在地図による測位から独立するように制御することができ、両者の間には相関関係が存在しない。

【0053】

好ましくは、前記ステップＳ５では、前記変換関係式は、回転行列Ｒと平行移動ベクトルＴとを含み、前記変換操作は、前記履歴地図の回転および平行移動を制御することを含む。当該技術案によれば、回転行列および平行移動ベクトルによる制限関係で現在地図の座標系と履歴地図の座標系が一致し、回転・平行移動変換後の前記履歴地図が前記視覚ロボットの現在位置および方向とマッチングするようになる。平行移動距離および回転角を算出する。具体的には、前記道標姿勢情報（前記第１位置姿勢情報および前記第２位置姿勢情報）が何れもＣ＋＋連想コンテナの形態で保存されているため、前記第１姿勢情報ｐｏｓｅ＿ｎｅｗは、前記第１地図測位システムにおいて前記現在地図タイプのオブジェクト要素として第１座標（ｐｏｓｅ＿ｎｅｗ.ｘ, ｐｏｓｅ＿ｎｅｗ. ｙ）および第１方向角ｐｏｓｅ＿ｎｅｗ.ａｎｇｌｅを含み、前記第２姿勢情報ｐｏｓｅ＿ｏｌｄは、前記第２地図測位システムにおいて前記現在地図タイプのオブジェクト要素として第２座標（ｐｏｓｅ＿ｏｌｄ.ｘ, ｐｏｓｅ＿ｏｌｄ. ｙ）および第２方向角ｐｏｓｅ＿ｏｌｄ.ａｎｇｌｅを含む。前記変換関係式に含まれる前記現在地図と前記履歴地図との間の回転行列Ｒと平行移動ベクトルＴは、次の通りである。

【0054】

回転行列

【数1】

および平行移動ベクトルT=（x,y）により、次の等式を導出できる。

【数2】

【0055】

式中、ａｎｇｌｅは前記履歴地図が回転すべき角度、ｘは前記履歴地図のｘ軸での移動量、ｙは前記履歴地図のｙ軸での移動量をそれぞれ示す。前記履歴地図が前記角度および移動量で角度ａｎｇｌｅで回転してから、ｘ軸方向に沿ってｘで平行移動し、それからｙ軸方向に沿ってｙで平行移動するように制御されることにより、前記履歴地図が前記ユーザー端末のインターフェースに更新表示されることとなる。好ましくは、本発明の実施例による前記視覚ロボットは、変換後の前記履歴地図をクラウドサーバまたは携帯電話などのモバイルデバイスにアップロードするためのアップロードモジュールをさらに含む。

【0056】

従来の技術によるロボット掃除機では、同一の作業領域内で作業するたびに、前記ユーザー端末において１枚の新しい地図が構築されており、但し、本発明の実施例によれば、作業周期内であれば事前構築された履歴地図が前記ユーザー端末内に保存され、前記現在地図が前記履歴地図に比べ変更された場合、前記変換関係式に従って前記履歴地図を変換することにより、前記視覚ロボットが当該領域内の平面レイアウトを覚えるとともに、前記ユーザー端末における前記履歴地図をどのように調整変換するかを学習して、次回の作業時にこの計画で経路を掃除することとなる。

【0057】

前記ステップＳ６にて言及されたように、変換後の前記履歴地図を参照としてそれからの行動制御を行い、例えば、平面図の構築が完了し、前記履歴地図が前記ユーザー端末に送信された後に、前記ユーザー端末によれば異なる部屋をマークでき、例えば書斎、寝室、娯楽室などに分類でき、それによって前記視覚ロボットが掃除機として用いられる場合、部屋を掃除するたびに部屋全体を掃除するのではなく、計画済みの部屋エリアに従って意図的に掃除することになる。また、前記履歴地図に基づいて部屋内でエリアの区画を行うこともでき、例えば書斎の中央部エリアのみを掃除したい場合、前記ユーザー端末において対応する空間を描いてから、前記視覚ロボットが意図的に掃除するように制御すればよい。前記視覚ロボットは、それからの行動制御を受ける過程中に、トラバーサル済みの周囲環境を徐々に熟知していき、ロボットの学習能力が継続的に向上することとなる。前記それからの行動制御には、変換後の前記履歴地図に基づいて障害物の位置を前記ユーザー端末にマークし、そして現在環境地形を参照して合理的な清掃順序および方向を計画することがさらに含まれており、それによって、前記視覚ロボットが前記履歴地図を利用して行動計画を行うように制御され、前記視覚ロボットが行動過程中にトラバーサル済みの周囲環境について熟知するようになり、ロボットの学習能力が継続的に向上することとなる。

【0058】

最後に説明したいこととして、以上の実施例は、本発明の技術案を説明するためのものに過ぎず、それを制限するものではなく、好適な実施例を参照して本発明について詳しく説明したが、当分野の通常の技術者にとっては、発明を実施するための形態を補正したり、一部の技術特徴について同等な置換を行ったりすることができ、本発明の技術案の精神から逸脱しないものであれば、本発明が保護請求する技術案の範囲に含まれるものとすることは、理解されるべきであろう。

【図1】

【図2】

【国際調査報告】