特許 7465290 点群に基づく地図較正方法、システム、ロボット及びクラウドプラットフォーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-02

(45)【発行日】2024-04-10

(54)【発明の名称】点群に基づく地図較正方法、システム、ロボット及びクラウドプラットフォーム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240403BHJP

   G09B 29/00 20060101ALI20240403BHJP

   G08G 1/16 20060101ALI20240403BHJP

   G16Y 40/60 20200101ALI20240403BHJP

   G16Y 20/20 20200101ALI20240403BHJP

   G16Y 10/40 20200101ALI20240403BHJP

【ＦＩ】

G08G1/00 X

G09B29/00 Z

G08G1/16 A

G16Y40/60

G16Y20/20

G16Y10/40

【請求項の数】 8

(21)【出願番号】P 2021578196

(86)(22)【出願日】2021-09-30

(65)【公表番号】

(43)【公表日】2023-02-03

(86)【国際出願番号】 CN2021122363

(87)【国際公開番号】W WO2022095654

(87)【国際公開日】2022-05-12

【審査請求日】2021-12-29

(31)【優先権主張番号】202011237532.9

(32)【優先日】2020-11-09

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521562245

【氏名又は名称】達闥機器人股▲分▼有限公司

【住所又は居所原語表記】Ｂｕｉｌｄｉｎｇ ８， Ｎｏ． ２０７， Ｚｈｏｎｇｑｉｎｇ Ｒｏａｄ， Ｍｉｎｈａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２４５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100146374

【弁理士】

【氏名又は名称】有馬 百子

(72)【発明者】

【氏名】孟 祥宇

(72)【発明者】

【氏名】馬 世奎

(72)【発明者】

【氏名】董 文鋒

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１９－１４５０７７（ＪＰ，Ａ）

【文献】特開２００９－１６９８４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００

Ｇ０９Ｂ ２９／００

Ｇ０８Ｇ １／１６

Ｇ１６Ｙ ４０／６０

Ｇ１６Ｙ ２０／２０

Ｇ１６Ｙ １０／４０

(57)【特許請求の範囲】

【請求項1】

点群に基づく地図較正方法であって、クラウドプラットフォームに適用され、前記クラウドプラットフォームは、指定ロボットと通信接続され、
前記クラウドプラットフォームには、さらに、監視管理端末が通信接続され、
前記指定ロボットからの環境収集情報を取得することと、
前記環境収集情報に対して三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得することと、
前記信頼度情報が第１プリセット指標を満たすと判定した場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記地図較正情報に基づいて地図情報を較正すること、
前記信頼度情報が第１プリセット指標を満たさないと判定した場合、障害確認要求を監視管理端末に送信することにより、前記監視管理端末に、前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定するように要求することと、
前記監視管理端末からの、前記障害物情報に対応する判定結果が付されている障害フィードバック情報を受信することと、
前記判定結果が前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが前記地図較正情報に基づいて地図情報を較正することとを含む、ことを特徴とする地図較正方法。

【請求項2】

前記障害物情報に対応する地図較正情報を前記指定ロボットに送信した後、前記方法は、さらに、
前記指定ロボットからの、第１計画経路が付されている指令計画情報を受信することと、
前記第１計画経路に対応する三次元点群再構成結果及び環境収集情報を監視管理端末に送信することにより、監視管理端末が、前記三次元点群再構成結果及び環境収集情報に基づいて、前記第１計画経路が第３プリセット指標に合致するか否かを判定することにより、判定結果を取得することと、
前記監視管理端末からの判定結果を受信し、前記判定結果に基づいて計画フィードバック情報を前記指定ロボットに送信することにより、前記指定ロボットが前記計画フィードバック情報に基づいて、前記第１計画経路と同じか又は異なる第２計画経路を決定することとを含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

点群に基づく地図較正方法であって、前記方法は、ロボットに適用され、前記ロボットは、クラウドプラットフォームと通信接続され、
前記クラウドプラットフォームには、さらに、監視管理端末が通信接続され、
前記方法は、
環境収集情報を前記クラウドプラットフォームに送信することにより、前記クラウドプラットフォームが、前記環境収集情報に基づいて三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得することと、
前記クラウドプラットフォームから、地図較正情報を複数回受信し、前記地図較正情報は、少なくとも１つの障害物情報に対応し、前記地図較正情報は、前記信頼度情報が第１プリセット指標を満たす場合に送信され、または前記信頼度情報が第１プリセット指標を満たさない、且つ前記監視管理端末からの、前記障害物情報に対応する判定結果が前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合に送信されることと、
全ての障害物情報に対応する地図較正情報を受信した後に、地図較正情報が地図情報における障害物に一致するか否かを比較し、一致しない場合に、前記地図較正情報に基づいて、地図情報における障害物を削除して地図情報の較正を実現させることとを含む、ことを特徴とする地図較正方法。

【請求項4】

前記環境収集情報を前記クラウドプラットフォームに送信する前に、前記方法は、さらに、
指定操作に基づいて、前記地図情報に経路計画を行うように指示するための計画指令を取得することと、
前記計画指令に基づいて情報収集を行うことにより、環境収集情報を取得することとを含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記地図較正情報に基づいて地図情報を較正した後、前記方法は、さらに、
較正された地図情報に前記指定操作に対して経路計画を行うことにより、第１計画経路を取得することと、
前記第１計画経路をクラウドプラットフォームに送信することにより、クラウドプラットフォームに、監視管理端末により第１計画経路が第３プリセット指標に合致するか否かを判定するように指示することにより、判定結果を取得することと、
クラウドプラットフォームからの、前記判定結果に対応する計画フィードバック情報を受信し、前記計画フィードバック情報に基づいて第１計画経路と同じか又は異なる第２計画経路を決定することとを含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

クラウドプラットフォームであって、指定ロボットと通信接続され、
前記クラウドプラットフォームには、さらに、監視管理端末が通信接続され、
指定ロボットからの環境収集情報を取得するための取得モジュールと、
前記環境収集情報に対して三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得するための再構成モジュールと、
前記信頼度情報が第１プリセット指標を満たすと判定した場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記地図較正情報に基づいて地図情報を較正するための第１送信モジュールと、
前記監視管理端末からの、前記障害物情報に対応する判定結果が付されている障害フィードバック情報を受信するための第１受信モジュールと、を含み、
前記第１送信モジュールは、前記信頼度情報が第１プリセット指標を満たさないと判定した場合、障害確認要求を監視管理端末に送信することにより、前記監視管理端末に、前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定するように要求し、
前記第１送信モジュールは、さらに、前記判定結果が前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが前記地図較正情報に基づいて地図情報を較正する、ことを特徴とするクラウドプラットフォーム。

【請求項7】

ロボットであって、クラウドプラットフォームと通信接続され、
前記クラウドプラットフォームには、さらに、監視管理端末が通信接続され、
環境収集情報を前記クラウドプラットフォームに送信することにより、前記クラウドプラットフォームが前記環境収集情報に基づいて三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得するための第２送信モジュールと、
前記クラウドプラットフォームからの地図較正情報を複数回受信し、前記地図較正情報は、少なくとも１つの障害物情報に対応し、前記地図較正情報は、前記信頼度情報が第１プリセット指標を満たす場合に送信され、または前記信頼度情報が第１プリセット指標を満たさない、且つ前記監視管理端末からの、前記障害物情報に対応する判定結果が前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合に送信されるための第２受信モジュールと、
全ての障害物情報に対応する地図較正情報を受信した後に、地図較正情報が地図情報における障害物に一致するか否かを比較し、一致しない場合に、前記地図較正情報に基づいて、地図情報における障害物を削除して地図情報の較正を実現させるための較正モジュールとを含む、ことを特徴とするロボット。

【請求項8】

点群に基づく地図較正システムであって、クラウドプラットフォーム及び指定ロボットを含み、前記クラウドプラットフォームは、指定ロボットと通信接続され、
前記クラウドプラットフォームには、さらに、監視管理端末が通信接続され、
前記クラウドプラットフォームは、
指定ロボットからの環境収集情報を取得するための取得モジュールと、
前記環境収集情報に対して三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得するための再構成モジュールと、
前記信頼度情報が第１プリセット指標を満たすと判定した場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記地図較正情報に基づいて地図情報を較正し、
前記信頼度情報が第１プリセット指標を満たさないと判定した場合、障害確認要求を監視管理端末に送信することにより、前記監視管理端末に、前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定するように要求するための第１送信モジュールと、
前記監視管理端末からの、前記障害物情報に対応する判定結果が付されている障害フィードバック情報を受信するための第１受信モジュールと、を含み、
前記第１送信モジュールは、前記判定結果が前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが前記地図較正情報に基づいて地図情報を較正する、
ことを特徴とする地図較正システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、点群技術分野に関し、特に、点群に基づく地図較正方法、システム、ロボット及びクラウドプラットフォームに関する。

【背景技術】

【0002】

現在、デジタルツイン仮想現実合成ロボットは、経路計画及び実行操作などの機能を有する。デジタルツイン仮想現実合成ロボット制御システムの実現過程において、現実環境内の物体が随時に変化する可能性があるため、ロボットが予め作成したデジタル化地図情報は、その時の現実環境、例えば、動的環境障害物（テーブル及び椅子、人など）、環境変化（室内家具のレイアウトの変化など）などをリアルタイムに反映することができない。その結果、ロボットが、ナビゲーションと物体の把持操作を行う時、障害物と衝突しやすくなり、ナビゲーション又は把持の成功率が低下し、ロボットの行動の危険因子が増大する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の実施形態によれば、点群に基づく地図較正方法、システム、ロボット及びクラウドプラットフォームを提供し、三次元点群再構成によりロボットの地図情報を較正することができる。

【課題を解決するための手段】

【0004】

本開示の実施形態の一態様によれば、点群に基づく地図較正方法を提供する。前記方法は、クラウドプラットフォームに適用され、前記クラウドプラットフォームは、指定ロボットと通信接続されている。
前記方法は、
指定ロボットからの環境収集情報を取得し、
前記環境収集情報に対して三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得し、
前記信頼度情報が第１プリセット指標を満たすと判定した場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記地図較正情報に基づいて地図情報を較正する。

【0005】

一実施可能な形態として、前記クラウドプラットフォームには、さらに、監視管理端末が通信接続される。前記方法は、さらに、
前記信頼度情報が第１プリセット指標を満たさないと判定した場合、障害確認要求を監視管理端末に送信することにより、前記監視管理端末に、前記信頼度情報に対応する障害物情報が、第２プリセット指標を満たすか否かを判定するように要求し、
前記監視管理端末からの、前記障害物情報に対応する判定結果が付されている障害フィードバック情報を受信し、
前記判定結果が、前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが前記地図較正情報に基づいて地図情報を較正する。

【0006】

一実施可能な形態として、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信した後、前記方法は、さらに、
前記指定ロボットからの、第１計画経路が付されている指令計画情報を受信し、
前記第１計画経路に対応する三次元点群再構成結果及び環境収集情報を監視管理端末に送信することにより、監視管理端末が、前記三次元点群再構成結果及び環境収集情報に基づいて、前記第１計画経路が第３プリセット指標に合致するか否かを判定することにより、判定結果を取得し、
前記監視管理端末からの判定結果を受信し、前記判定結果に基づいて計画フィードバック情報を前記指定ロボットに送信することにより、前記指定ロボットが前記計画フィードバック情報に基づいて、前記第１計画経路と同じか又は異なる第２計画経路を決定する。

【0007】

本開示の他の態様によれば、点群に基づく地図較正方法を提供する。前記方法は、ロボットに適用され、前記ロボットは、クラウドプラットフォームと通信接続され、前記方法は、
環境収集情報を前記クラウドプラットフォームに送信することにより、前記クラウドプラットフォームが前記環境収集情報に基づいて三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得し、
前記クラウドプラットフォームから、前記信頼度情報が第１プリセット指標を満たす障害物情報に対応している地図較正情報を受信し、
前記地図較正情報に基づいて地図情報を較正することにより、較正地図情報を取得する。

【0008】

一実施可能な形態として、前記環境収集情報を前記クラウドプラットフォームに送信する前に、前記方法は、さらに、
指定操作に基づいて前記地図情報に経路計画を行うように指示するための計画指令を取得し、
前記計画指令に基づいて情報収集を行うことにより、環境収集情報を取得する。

【0009】

一実施可能な形態として、前記地図較正情報に基づいて地図情報を較正した後、前記方法は、さらに、
前記較正された地図情報に前記指定操作に対して経路計画を行うことにより、第１計画経路を取得し、
前記第１計画経路をクラウドプラットフォームに送信することにより、クラウドプラットフォームに、監視管理端末により前記第１計画経路が第３プリセット指標に合致するか否かを判定するように指示することにより、判定結果を取得し、
クラウドプラットフォームからの、前記判定結果に対応する計画フィードバック情報を受信し、前記計画フィードバック情報に基づいて前記第１計画経路と同じか又は異なる第２計画経路を決定する。

【0010】

本開示の他の態様によれば、クラウドプラットフォームが提供される。前記クラウドプラットフォームは、指定ロボットと通信接続され、
指定ロボットからの環境収集情報を取得するための第１取得モジュールと、
前記環境収集情報に対して三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得するための再構成モジュールと、
前記信頼度情報が第１プリセット指標を満たすと判定した場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記地図較正情報に基づいて地図情報を較正するための第１送信モジュールとを含む。

【0011】

一実施可能な形態として、前記クラウドプラットフォームには、さらに、監視管理端末が通信接続され、
前記第１送信モジュールは、前記信頼度情報が第１プリセット指標を満たさないと判定した場合、障害確認要求を監視管理端末に送信することにより、前記監視管理端末に、前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定するように要求する。
前記クラウドプラットフォームは、前記監視管理端末からの、前記障害物情報に対応する判定結果が付されている障害フィードバック情報を受信するための第１受信モジュールをさらに含む。
前記第１送信モジュールは、さらに、前記判定結果が前記信頼度情報に対応する障害物情報が第２プリセット指標を満たすものである場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが前記地図較正情報に基づいて地図情報を較正する。

【0012】

一実施可能な形態として、前記クラウドプラットフォームは、さらに、
前記指定ロボットからの、第１計画経路が付されている指令計画情報を受信するための前記第１送信モジュールと、
前記第１計画経路に対応する三次元点群再構成結果及び環境収集情報を、監視管理端末に送信することにより、監視管理端末が前記三次元点群再構成結果及び環境収集情報に基づいて、前記第１計画経路が第３プリセット指標に合致するか否かを判定し、それにより判定結果を取得するための前記第１送信モジュールと、
前記監視管理端末からの判定結果を受信し、前記判定結果に基づいて計画フィードバック情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記計画フィードバック情報に基づいて前記第１計画経路と同じか又は異なる第２計画経路を決定するための前記第１送信モジュールとを含む。

【0013】

本開示の他の態様によれば、ロボットを提供する。前記ロボットは、クラウドプラットフォームと通信接続され、
環境収集情報を前記クラウドプラットフォームに送信することにより、前記クラウドプラットフォームが前記環境収集情報に基づいて三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得するための第２送信モジュールと、
前記クラウドプラットフォームから、前記信頼度情報が第１プリセット指標を満たす障害物情報に対応している地図較正情報を受信するための第２受信モジュールと、
前記地図較正情報に基づいて地図情報を較正し、較正地図情報を取得するための較正モジュールとを含む。

【0014】

一実施可能な形態として、前記ロボットは、さらに、
指定操作に基づいて前記地図情報に経路計画を行うように指示するための計画指令を取得するための第２取得モジュールと、
前記計画指令に基づいて情報収集を行うことにより、環境収集情報を取得するための収集モジュールとを含む。

【0015】

一実施可能な形態として、前記ロボットは、さらに、前記較正された地図情報に前記指定操作に対して経路計画を行うことにより、第１計画経路を取得するための計画モジュールを含む。前記第２送信モジュールは、さらに、前記第１計画経路をクラウドプラットフォームに送信することにより、クラウドプラットフォームに、監視管理端末により前記第１計画経路が第３プリセット指標に合致するか否かを判定するように指示することにより、判定結果を取得するために用いられる。前記第２受信モジュールは、さらに、クラウドプラットフォームからの、前記判定結果に対応する計画フィードバック情報を受信し、前記計画フィードバック情報に基づいて前記第１計画経路と同じか又は異なる第２計画経路を決定するために用いられる。

【0016】

本開示の他の態様によれば、点群に基づく地図較正システムが提供される。前記システムは、クラウドプラットフォーム及び指定ロボットを含む。前記クラウドプラットフォームは、指定ロボットと通信接続されている。前記クラウドプラットフォームは、指定ロボットからの環境収集情報を取得するための第１取得モジュールと、前記環境収集情報に対して三次元点群再構成を行い、前記三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と前記障害物情報に対応する信頼度情報を含む障害認識結果を取得するための再構成モジュールと、前記信頼度情報が第１プリセット指標を満たすと判定した場合、前記障害物情報に対応する地図較正情報を前記指定ロボットに送信することにより、前記指定ロボットが、前記地図較正情報に基づいて地図情報を較正するための第１送信モジュールとを含む。

【発明の効果】

【0017】

本開示の実施形態に係る較正方法は、三次元点群再構成に基づいて現実環境における障害物情報及び対応する信頼度情報を取得し、障害物情報に対応する地図較正情報に基づいてロボットの地図情報を較正することにより、ロボットが、現実環境及び地図情報中の障害物をよく対応付けて較正することができる。さらに、ロボットが地図情報に基づいてナビゲーションを行うか又は他の操作を実行する時、現実環境の障害物と衝突することを回避し、ロボットの行動の危険係数を低下させ、ロボットの行動の安全性を向上させることができる。

【図面の簡単な説明】

【0018】

以下、本開示の例示的な実施形態の上記及び他の目的、特徴及び利点を理解しやすくするために、図面を参照しながら詳細に説明する。図面において、例示的な、非限定的な方法で本開示のいくつかの実施形態を示す。
図面において、同一又は対応する符号は、同一又は対応する部分を示す。

【図1】本開示の実施形態に係る点群に基づく地図較正方法の実現フローチャートである。

【図2】本開示の実施形態に係る点群に基づく地図較正方法の監視管理端末が障害物情報を判定する実現フローチャートである。

【図3】本開示の実施形態に係る点群に基づく地図較正方法で計画経路を較正する実現フローチャートである。

【図4】本開示の実施形態に係る点群に基づく地図較正方法のシーン実現フローチャートである。

【図5】本開示の実施形態に係る点群に基づく地図較正方法のシーン概略図である。

【図6】本開示の実施形態に係る点群に基づく地図較正方法を実行したシーン効果図である。

【図7】本開示の実施形態に係るクラウドプラットフォームの実現モジュールの概略図である。

【発明を実施するための形態】

【0019】

本開示の目的、特徴、利点をより明瞭、且つ分かりやすくするために、以下、本開示の実施形態の図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明する。当然のことながら、以下記載される実施形態は本開示の実施形態の一部に過ぎず、そのすべてではない。当業者が、本開示の実施形態に基づいて創造的な労働をすることなく、想到するその他の実施形態は、いずれも本開示の保護範囲にある。
図１は本開示の実施形態の点群に基づく地図較正方法の実現フローチャートである。

【0020】

図１に示すように、本開示の実施形態の一態様によれば、点群に基づく地図較正方法を提供する。この方法は、クラウドプラットフォームに適用される。クラウドプラットフォームは、指定ロボットと通信接続され、指定ロボットからの環境収集情報を取得するステップ１０１と、環境収集情報に対して三次元点群再構成を行い、三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と障害物情報に対応する信頼度情報を含む障害認識結果を取得するステップ１０２と、信頼度情報が第１プリセット指標を満たすと判定した場合、障害物情報に対応する地図較正情報を指定ロボットに送信することにより、指定ロボットが、地図較正情報に基づいて地図情報を較正するステップ１０３とを含む。

【0021】

本開示の実施形態に係る較正方法は、三次元点群再構成に基づいて現実環境における障害物情報及び対応する信頼度情報を取得し、信頼度情報が第１プリセット指標を満たす時、障害物情報に対応する地図較正情報に基づいてロボットの地図情報を較正する。これにより、ロボットが、現実環境及び地図情報中の障害物をよく対応付けて較正することができる。さらに、ロボットが地図情報に基づいてナビゲーションを行うか又は他の操作を実行する時、現実環境の障害物と衝突することを回避し、ロボットの行動の危険係数を低下させ、ロボットの行動の安全性を向上させることができる。

【0022】

具体的には、本開示の実施形態は、ステップ１０１で、クラウドプラットフォームが複数のロボットと通信接続を確立することができ、且つクラウドプラットフォームに各ロボットに対応するアイデンティティが記録されている。各ロボットのアイデンティティには一意性があり、それによりクラウドプラットフォームが複数のロボットを認識し区別することができる。クラウドプラットフォームは、通信伝送により、指定ロボットからの環境収集情報を取得する。指定ロボットは、クラウドプラットフォームと通信接続を行う複数のロボットのうちの１つである。環境収集情報は、指定ロボットがレーダ及び／又はカメラにより現実環境に対応する情報を収集し、例えば、現実環境に対応する写真又はレーダ映像を特徴付けるために用いられる。。

【0023】

本開示の実施形態は、ステップ１０２において、クラウドプラットフォームは、情報受信モジュール及びクラウドコンピュータビジョンモジュールを含む。クラウドプラットフォームの情報受信モジュールは、環境収集情報を受信した後、環境収集情報をクラウドコンピュータビジョンモジュールに送信し、クラウドコンピュータビジョンモジュールにより環境収集情報に対してリアルタイム三次元点群再構成を行うことにより、環境収集情報を三次元点群再構成結果に再構成する。クラウドコンピュータビジョンモジュールは、再構成された三次元点群再構成結果を視覚認識することにより、現実環境における障害物に対応する、障害物情報と障害物情報に対応する信頼度情報を含む障害認識結果を認識する。障害物情報は、現実環境における障害物に対応する属性パラメータを特徴付けるために用いられ、障害物タイプ、障害物サイズ、障害物位置、障害物材質などの少なくとも１つを含むが、これらに限定されない。属性パラメータは、障害物タイプ、障害物サイズ、及び障害物位置である。具体的には、クラウドコンピュータビジョンモジュールは、現実環境における障害物に対応する二次元及び三次元境界ボックスを認識し、マーク付けすることにより二次元及び三次元境界ボックスに対応する障害物タイプ及び信頼度情報を生成することができる。信頼度情報は、障害物情報の信頼度を評価するために用いられる。理解すべきものとして、三次元点群再構成結果に少なくとも１つの障害物情報が含まれ、一般的には複数含まれる。各障害物情報は、いずれも１つの信頼度情報に対応する。且つ、異なる障害物情報に対応する信頼度情報は、同じか又は異なる可能性がある。

【0024】

本開示の実施形態のステップ１０３において、第１プリセット指標は、信頼度情報を評価するために用いられる。第１プリセット指標は、１つ又は複数であってもよい。信頼度情報が、第１プリセット指標を満たすとき、該信頼度情報に対応する障害物情報に基づいて地図較正情報を生成し、且つ地図較正情報を指定ロボットに送信する。さらに説明すべきものとして、信頼度情報に対応する障害物情報は、三次元点群再構成結果であってもよい。クラウドプラットフォームが地図較正情報を指定ロボットに送信する前に、障害物情報に対応する三次元点群再構成結果を地図較正情報に変換する必要がある。具体的には、障害物情報は、三次元点群再構成結果により表示することができ、地図較正情報は、地図に対応する地図情報により表示する。地図情報は、同様に、障害物タイプ、障害物サイズ、障害物位置、障害物材質等の情報を含むが、これらに限定されるものではない。このようにして、指定ロボットに点群に関連する機能モジュールを設置する必要がなく、クラウドプラットフォームからの地図較正情報を受信することにより地図情報を直接的に較正することができる。

【0025】

さらに、信頼度情報は、信頼度数値で特徴付けることができ、対応する第１プリセット指標は、信頼度閾値を設定することにより特徴付けることができる。信頼度情報が第１プリセット指標を満たすと判定した場合、信頼度情報に対応する障害物情報が信頼可能であると理解することができる。第１プリセット指標は、障害物情報に対応するある属性に基づいて設定することができ、即ち、異なる障害物情報は、それに対応する属性によって、マッチングする第１プリセット指標が異なってもよい。

【0026】

指定ロボットが初めて使用される場合、地図較正情報に基づいて地図情報を作成し、その後の使用時に、地図較正情報により地図情報を較正することができる。地図較正情報が地図情報を較正する場合、指定ロボットは、地図較正情報が地図情報における障害物に一致するか否かを比較し、一致しない場合に、地図情報における該障害物に対応する地図のコンテンツを較正する。地図の較正は障害物の削除及び障害物の設置を含むが、これらに限定されない。例えば、地図較正情報には障害物Ａが存在するが、地図情報には障害物Ａが存在しない場合、障害物Ａに対応する地図較正情報に基づいて地図情報に障害物Ａを設置し、地図較正情報に障害物Ｂが存在するが、地図情報に障害物Ｂが存在する場合、障害物Ｂに対応する地図較正情報に基づいて地図情報に障害物Ｂを削除する。

【0027】

さらに、クラウドプラットフォームが各信頼度情報をそれぞれ評価するために要する実際の時間が異なるため、クラウドプラットフォームは、地図較正情報を指定ロボットに複数回送信することができる。毎回送信された情報は、１つ又は複数の障害物情報に対応してもよく、指定ロボットは、受信された地図較正情報に基づいて地図情報をバッチで較正する。この場合、指定ロボットが地図情報に対して障害物の削除操作を行う時、全ての障害物情報を受信しなければ行うことができない。

【0028】

上記実施形態の理解を容易にするために、以下、具体的な実施シナリオを提供して説明する。該シーンにおいて、現実環境に位置するロボット及びクラウドロボット制御プラットフォームを含む。ロボットには、レーダとＲＧＢＤカメラとが設置される。クラウドロボット制御プラットフォームには、コンピュータビジョンモジュールが含まれる。
該方法は、

【0029】

ロボットが、レーダとＲＧＢＤカメラがキャプチャした情報を、クラウドロボット制御プラットフォーム（ＨＡＲＩ）のクラウドコンピュータビジョンモジュールにリアルタイムにアップロードする操作１と、
クラウドコンピュータビジョンモジュールが、ロボットがアップロードした情報に対してリアルタイムな三次元点群再構成を行う操作２と、

【0030】

クラウドコンピュータビジョンモジュールは、再構成された三次元点群を認識し、現在の環境における障害物と二次元及び三次元境界ボックスを認識し、現在の障害物のタイプ及び信頼度をマーク付けする操作３と、

【0031】

クラウドコンピュータビジョンモジュールがクラウドプラットフォームを介してリアルタイム三次元点群と認識結果をクラウドロボット制御プラットフォームに送信する操作４と、

【0032】

クラウドロボット制御プラットフォームは、正常にマーク付された障害物を地図情報に適合したフォーマットに変換してロボット端に送信し、ロボットに、地図情報に適合したフォーマットの障害物に基づいて地図情報を較正し、較正後の地図情報を取得するように指示するために用いられる操作５とを含む。
図２は、本開示の実施形態に係る点群に基づく地図較正方法の監視管理端末が障害物情報を判定する実現フローチャートである。

【0033】

図２を参照すると、一実施形態において、クラウドプラットフォームには、さらに、監視管理端末が通信接続されている。本方法は、さらに、信頼度情報が第１プリセット指標を満たさないと判定された場合、障害確認要求を監視管理端末に送信することにより、監視管理端末に、信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定するように要求するステップ２０１と、監視管理端末からの、障害物情報に対応する判定結果が付されている障害フィードバック情報を受信するステップ２０２と、判定結果が信頼度情報に対応する障害物情報が第２プリセット指標を満たす場合、障害物情報に対応する地図較正情報を指定ロボットに送信することにより、指定ロボットが地図較正情報に基づいて地図情報を較正するステップ２０３とを含む。

【0034】

本方法は、信頼度情報に対応する信頼度数値が第１プリセット指標に対応する第１指標閾値を満たさないと判定する場合、該信頼度情報に対応する障害物情報が信頼できないと見なし、この場合、障害確認要求を監視管理端末に送信することができる。監視管理端末は、クラウドプラットフォームと通信接続された管理ユーザ端末であってもよく、監視管理端末は、作業者により操作されてもよい。作業者は、監視管理端末により障害物情報を判定することにより、指定ロボットが障害物情報に基づいて地図情報を較正する必要があるか否か、障害物情報に基づいて地図情報を較正する具体的な操作内容を決定する。具体的には、クラウドプラットフォームは、障害確認要求に環境収集情報、再構成された点群、障害物情報及び信頼度情報のうちのいくつかを監視管理端末に送信する。監視管理端末は、上記情報に基づいて信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定する。一実施形態において、クラウドプラットフォームの障害確認要求には、障害物情報と障害物情報に対応する三次元点群再構成結果のみが付されており、監視管理端末は、三次元点群再構成結果に基づいて障害物情報が第２プリセット指標を満たすか否かを判定し、第２プリセット指標は、障害物情報が現実環境における障害物に対応しているか否かを評価するために用いられる。監視管理端末の作業者が、障害物情報が現実環境における障害物に対応していると判定すると、障害フィードバック情報がクラウドプラットフォームに送信され、クラウドプラットフォームに、該障害物情報が現実環境における障害物に対応していることを指示する。理解すべきものとして、監視管理端末の作業者が、障害物情報が現実環境における障害物に対応していないと判定する場合、監視管理端末が、同様に、障害フィードバック情報をクラウドプラットフォームに送信することにより、クラウドプラットフォームに該障害物情報が現実環境における障害物に対応していないことを指示する。

【0035】

本開示の実施形態のステップ２０２において、クラウドプラットフォームは、監視管理端末からの障害フィードバック情報を受信した後、障害フィードバック情報を分析することにより対応する判定結果を知ることができる。該判定結果には、障害物情報が現実環境における障害物に対応していない、または、障害物情報が現実環境における障害物に対応している、という２つの結果が含まれる。

【0036】

本開示の実施形態のステップ２０３において、判定結果が信頼度情報に対応する障害物情報が第２プリセット指標を満たす、即ち障害物情報が現実環境における障害物に対応している場合、クラウドプラットフォームは、障害物情報を対応する地図フォーマットに変換して指定ロボットに送信する、即ち地図較正情報を指定ロボットに送信する。これにより、指定ロボットが、地図較正情報に基づいて地図情報を較正する。理解すべきものとして、全ての障害物情報に対して、第１プリセット指標及び／又は第２プリセット指標を満たすか否かを判定した後、即ち全ての障害物情報に対して、現実環境における障害物に対応しているか否かを確認したとき、クラウドプラットフォームは、さらに、障害フィードバック情報を該指定ロボットに送信することにより、指定ロボットに、現実環境における障害物がいずれも確認されたことを通知することができる。この場合、指定ロボットは、全ての地図較正情報及び地図情報を照合することにより、地図情報において地図較正情報に対応しない障害物を削除することができる。
図３は、本開示の実施形態に係る点群に基づく地図較正方法で計画経路を較正する実現フローチャートである。

【0037】

図３を参照すると、一実施形態において、障害物情報に対応する地図較正情報を指定ロボットに送信した後、本方法は、さらに、指定ロボットからの、第１計画経路が付されている指令計画情報を受信するステップ３０１と、第１計画経路に対応する三次元点群再構成結果及び環境収集情報を、監視管理端末に送信することにより、監視管理端末が三次元点群再構成結果及び環境収集情報に基づいて、第１計画経路が第３プリセット指標に合致するか否かを判定することにより、判定結果を取得するステップ３０２と、監視管理端末からの判定結果を受信し、判定結果に基づいて計画フィードバック情報を指定ロボットに送信することにより、指定ロボットが計画フィードバック情報に基づいて第１計画経路と同じか又は異なる第２計画経路を決定するステップ３０３とを含む。

【0038】

本開示の実施形態において、指定ロボットが、レーダ及びＲＧＢＤカメラにより情報収集を行うトリガ条件は、指定ロボットが計画指令を取得することであり、計画指令は、指定ロボットに経路計画を行うように指示するために用いられる。指定ロボットがレーダとＲＧＢＤカメラにより収集する情報は、具体的には、計画指令における計画目的で示された方向である。例えば、計画指令が部屋の北西角Ａ位置に移動することである場合、指定ロボットは、レーダ及びＲＧＢＤカメラにより部屋の北西角Ａ位置に向かって環境収集情報を収集する。

【0039】

指定ロボットが、環境収集情報に基づいてクラウドプラットフォームからの地図較正情報を取得し、指定ロボットは、地図較正情報に基づいて地図情報を較正した後、較正後の地図情報に基づいて、計画指令に対応する第１計画経路を計画する。指定ロボットが第１計画経路を完了した後、第１計画経路を含む指令計画情報を生成し、指令計画情報をクラウドプラットフォームに送信する。

【0040】

クラウドプラットフォームが指令計画情報を受信した後、指令計画情報を分析することにより、第１計画経路が、指定ロボットが計画指令に対応する操作を完了するために用いることができるか否かを判定する。説明すべきものとして、第１計画経路は、走行経路及び操作経路を含み、走行経路が指定ロボットの指定領域内での移動経路を特徴付けるために用いられ、操作経路は、指定ロボットが計画指令に対応する操作を実行する時の関節移動経路等を特徴付けるために用いられる。第１計画経路は、地図形式でクラウドプラットフォームに送信される。

【0041】

本開示の実施形態のステップ３０２において、クラウドプラットフォームは、第１計画経路に対応する三次元点群再構成結果及び環境収集情報を、監視管理端末に送信することにより、監視管理端末が、三次元点群再構成結果及び環境収集情報に基づいて、第１計画経路が第３プリセット指標に合致するか否か、を判定することにより、判定結果を取得する。第３プリセット指標は，第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致するか否かを特徴付けるために用いられ、該一致は、少なくとも大きさの一致及び位置の一致を含む。監視管理端末は、対応する判定結果を生成した後、判定結果をクラウドプラットフォームに送信する。

【0042】

本開示の実施形態のステップ３０３において、クラウドプラットフォームは、監視管理端末からの判定結果を受信する。判定結果は、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致するか否かを特徴付ける判定結果であってもよいし、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致しないことを特徴付ける判定結果であってもよい。

【0043】

判定結果が、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致するものである場合、クラウドプラットフォームは、計画フィードバック情報を指定ロボットに送信し、指定ロボットに、第１計画経路を第２計画経路として決定するように指示し、且つ、第２計画経路に基づいて指定操作を実行し、この場合、第１計画経路は、第２計画経路と同じである。

【0044】

判定結果が、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致しないものである場合、監視管理端末の判定結果に、点群に基づいて生成された経路調整情報が付されており、クラウドプラットフォームは、点群に基づいて生成された経路調整情報を、地図に基づいて生成された経路調整情報に変換し、計画フィードバック情報を指定ロボットに送信する。この場合、計画フィードバック情報に、地図に基づいて生成された経路調整情報が付されていることにより、指定ロボットに、地図に基づいて生成された経路調整情報に基づいて第１計画経路を調整し、第２計画経路を取得し、且つ第２計画経路に基づいて指定操作を実行するように指示する。この場合に、第１計画経路と第２計画経路は異なる。経路調整情報は、経路に対する調整であってもよいし、障害物に対する調整であってもよい。本方法において、経路調整情報は、障害物に対する調整である。

【0045】

本開示の実施形態の他の態様によれば、点群に基づく地図較正方法を提供する。本方法は、ロボットに適用される。ロボットは、クラウドプラットフォームと通信接続される。本方法は、まず、環境収集情報をクラウドプラットフォームに送信する。これにより、クラウドプラットフォームが環境収集情報に基づいて三次元点群再構成を行い、三次元点群再構成結果に対して障害認識を行うことにより、障害認識結果を取得する。障害認識結果は、障害物情報と障害物情報に対応する信頼度情報を含む。その後に、クラウドプラットフォームから、信頼度情報が第１プリセット指標を満たす障害物情報に対応している地図較正情報を受信する。最後に、地図較正情報に基づいて地図情報を較正し、較正後の地図情報を取得する。

【0046】

本開示の実施形態に係る較正方法は、三次元点群再構成に基づいて現実環境における障害物情報及び対応する信頼度情報を取得する。信頼度情報が第１プリセット指標を満たす時、障害物情報に基づいてロボットの地図情報を較正する。これにより、ロボットが、現実環境及び地図情報中の障害物を対応付けて較正することができる。さらに、ロボットが地図情報に基づいてナビゲーションを行うか又は他の操作を実行する時、現実環境の障害物と衝突することを回避し、ロボットの行動の危険係数を低下させ、ロボットの行動の安全性を向上させることができる。

【0047】

具体的には、本開示の実施形態のクラウドプラットフォームは、複数のロボットと通信接続を確立する。各ロボットは、対応するアイデンティティを有する。異なるロボットのアイデンティティは異なり、それによりクラウドプラットフォームは、複数のロボットを区別することができる。ロボットは、レーダ及び／又はカメラにより現実環境に対応する環境収集情報を収集する。環境収集情報は、画像、レーダ映像などのレーダ及び／又はカメラにより直接的に収集し取得された情報形態であってもよい。即ち、ロボットは、環境収集情報に対してフォーマット上の変換を行わない。クラウドプラットフォームは、通信伝送により、ロボットからの環境収集情報を取得する。

【0048】

クラウドプラットフォームは、環境収集情報をクラウドコンピュータビジョンモジュールに送信し、クラウドコンピュータビジョンモジュールにより環境収集情報に対してリアルタイム三次元点群再構成を行うことにより、環境収集情報を三次元点群に再構成する。クラウドコンピュータビジョンモジュールは、再構成された三次元点群を視覚認識することにより、現実環境における障害物に対応する、障害物情報と障害物情報に対応する信頼度情報を含む障害認識結果を認識する。障害物情報は、現実環境における障害物に対応する属性パラメータを特徴付けるために用いられ、障害物タイプ、障害物サイズ、障害物位置、障害物材質などの少なくとも１つを含むが、これらに限定されない。さらに、属性パラメータは、障害物タイプ、障害物サイズ、及び障害物位置である。具体的には、クラウドコンピュータビジョンモジュールは、現実環境における障害物に対応する二次元及び三次元境界ボックスを認識し、マーク付けすることにより、二次元及び三次元境界ボックスに対応する障害物タイプ及び信頼度情報を生成することができる。信頼度情報は、障害物情報の信頼度を評価するために用いられる。理解すべきものとして、再構成された三次元点群に少なくとも１つの障害物情報が含まれ、一般的には複数含まれる。各障害物情報は、いずれも１つの信頼度情報に対応する。

【0049】

第１プリセット指標は、各信頼度情報をそれぞれ評価するために用いられる。いずれかの信頼度情報が第１プリセット指標を満たす場合、該信頼度情報に対応する障害物情報をロボットに送信するために用いられる。さらに説明すべきものとして、信頼度に対応する障害物情報は、点群であってもよい。クラウドプラットフォームは、信頼度に対応する障害物情報をロボットに送信する前に、障害物情報に対応する点群を地図情報に変換する必要があり、地図情報は、障害物タイプ、障害物サイズ、障害物位置、障害物材質等の情報を含むが、これらに限定されない。このようにしてロボットに点群に関連する機能モジュールを設置する必要がなく、クラウドプラットフォームからの地図較正情報を受信することにより地図情報を的に較正することができる。さらに、信頼度情報は、信頼度数値で特徴付けることができる。対応する第１プリセット指標は、信頼度閾値を設定することにより特徴付けることができる。信頼度情報が第１プリセット指標を満たすと判定した場合、信頼度情報に対応する障害物情報が信頼可能であると理解することができる。さらに、第１プリセット指標は、障害物情報中のタイプに基づいて設定することができる、即ち、異なる障害物タイプに対応する第１プリセット指標は、異なってもよい。さらに説明すべきものとして、ロボットが初めて使用する場合、クラウドプラットフォームからの障害物情報に基づいて地図情報を作成し、後の使用時に、クラウドプラットフォームからの地図較正情報に基づいて地図情報を較正することができる。理解すべきものとして、クラウドプラットフォームからの地図較正情報に基づいて地図情報を較正する場合、ロボットは地図較正情報が地図情報における障害物に一致するか否かを比較し、一致しない場合に、該地図較正情報に対応する地図情報を較正する。地図の較正は、障害物の削除及び障害物の設置を含むが、これらに限定されない。例えば、地図較正情報には障害物Ａが存在するが、地図情報には障害物Ａが存在しない場合、障害物Ａに対応する地図較正情報に基づいて地図情報に障害物Ａを設置し、地図較正情報に障害物Ｂが存在するが、地図情報に障害物Ｂが存在する場合、障害物Ｂに対応する地図較正情報に基づいて地図情報に障害物Ｂを削除する。さらに、クラウドプラットフォームが、各信頼度情報をそれぞれ評価するのに要する実際の時間が異なるため、クラウドプラットフォームは、地図較正情報をロボットに複数回送信することができる。毎回の地図較正情報は、１つ又は複数の障害物情報に対応付けて送信されてもよい。ロボットは、受信された地図較正情報に基づいて地図情報をバッチ処理で較正する。、ロボットが地図情報に対して障害物の削除操作を行う時、全ての地図較正情報を受信しなければ行うことができない。

【0050】

一実施形態において、環境収集情報をクラウドプラットフォームに送信する前に、本方法は、計画指令を取得する。計画指令は、指定操作に基づいて地図情報に経路計画を行うように指示するために用いられる。次に、計画指令に基づいて情報収集を行い、環境収集情報を取得する。

【0051】

本開示の実施形態において、ロボットが、レーダ及びＲＧＢＤカメラにより情報収集を行うトリガ条件は、ロボットが計画指令を取得することであり、計画指令は、ロボットに経路計画を行うように指示するために用いられる。ロボットがレーダとＲＧＢＤカメラにより収集する情報は、具体的には、計画指令における計画目的が示す方向の情報である。例えば、計画指令が、部屋の北西角Ａ位置に移動することである場合、ロボットは、レーダ及びＲＧＢＤカメラにより部屋の北西角Ａ位置に向かい、環境収集情報を収集する。

【0052】

一実施形態において、地図較正情報に基づいて地図情報を較正した後、本方法は、較正された地図情報に対して指定された操作に対して、経路計画を実行して、第１計画経路を取得し、次に、第１計画経路をクラウドプラットフォームに送信する。これにより、クラウドプラットフォームに、監視管理端末を介して、第１計画経路が第３プリセット指標に合致するか否かを判定するように指示し、判定結果を取得する。その後に、クラウドプラットフォームから、判定結果に対応する計画フィードバック情報を受信し、計画フィードバック情報に基づいて第１計画経路と同じか又は異なる第２計画経路を決定するこ。

【0053】

ロボットは、環境収集情報に基づいて、クラウドプラットフォームからの地図較正情報を取得した後、ロボットは、地図較正情報に基づいて地図情報を較正する。指定ロボットは、較正後の地図情報に基づいて、計画指令に対応する第１計画経路を実行する。ロボットが第１計画経路を完了した後、第１計画経路を含む指令計画情報を生成し、指令計画情報をクラウドプラットフォームに送信する。クラウドプラットフォームが指令計画情報を受信した後、指令計画情報を分析することにより、第１計画経路が、ロボットが計画指令に対応する操作を完了するために用いることができるものであるか否かを判定する。説明すべきものとして、第１計画経路は、走行経路及び操作経路を含み、走行経路がロボットの指定領域内での移動経路を特徴付けるために用いられ、操作経路は、該指定ロボットが計画指令に対応する操作を実行する時の関節移動経路等を特徴付けるために用いられる。

【0054】

クラウドプラットフォームが指令計画情報を受信した後、第１計画経路に対応する三次元点群再構成結果及び環境収集情報を、監視管理端末に送信する。監視管理端末は、三次元点群再構成結果及び環境収集情報に基づいて、第１計画経路が第３プリセット指標に合致するか否かを判定し、判定結果を取得する。第３プリセット指標は、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致するか否かを特徴付けるために用いられる。監視管理端末は、対応する判定結果を生成した後、判定結果をクラウドプラットフォームに送信する。

【0055】

クラウドプラットフォームは、監視管理端末からの判定結果を受信し、判定結果が、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致するか否かを特徴付ける判定結果であってもよいし、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致しないことを特徴付ける判定結果であってもよい。判定結果が、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致するものである場合、クラウドプラットフォームは、計画フィードバック情報をロボットに送信する。これにより、ロボットに、第１計画経路を第２計画経路として決定し、且つ第２計画経路に基づいて指定操作を実行するように指示する。この場合、第１計画経路は、第２計画経路と同じである。

【0056】

判定結果が、第１計画経路に対応する三次元点群再構成結果が環境収集情報に一致しないものである場合、監視管理端末の判定結果に、さらに、点群に基づいて生成された経路調整情報が付されている。クラウドプラットフォームは、点群に基づいて生成された経路調整情報を、地図に基づいて生成された経路調整情報に変換し、計画フィードバック情報をロボットに送信する。この場合、計画フィードバック情報に、地図に基づいて生成された経路調整情報が付されていることにより、ロボットに、地図に基づいて生成された経路調整情報に基づいて第１計画経路を調整し、第２計画経路を取得し、且つ第２計画経路に基づいて指定操作を実行するように指示する。この場合、第１計画経路と第２計画経路が異なる。経路調整情報は、経路に対する調整であってもよいし、障害物に対する調整であってもよい。本方法において、経路調整情報は、障害物に対する調整である。

【0057】

図４は、本開示の実施形態に係る点群に基づく地図較正方法のシナリオ実現フローチャートであり、図５は、本開示の実施形態に係る点群に基づく地図較正方法のシナリオ概略図であり、図６は、本開示の実施形態に係る点群に基づく地図較正方法を実行したシナリオ効果図である。

【0058】

図４、図５及び図６を参照すると、上記実施形態の全体的な理解を容易にするために、以下、具体的な実施シナリオを提供する。該具体的な実施シナリオは、ロボット及びクラウドプラットフォームを含む。該シーンにおいて、地図較正方法は、以下を含む。
ステップ４０１で、ロボットは、デスクトップに置かれたカップを把持するように指示する、ユーザからの計画指令を受信する。

【0059】

ステップ４０２で、ロボットは、カップが指向する方向に沿って、レーダ及びＲＧＢＤカメラにより環境収集情報をキャプチャして、クラウドロボット制御プラットフォーム（ＨＡＲＩ）のコンピュータビジョンモジュールにアップロードする。

【0060】

ステップ４０３で、クラウドコンピュータビジョンモジュールは、ロボットがアップロードした環境収集情報に対してリアルタイム三次元点群再構成を行うことにより、リアルタイム三次元点群再構成結果を取得する。

【0061】

ステップ４０４で、クラウドコンピュータビジョンモジュールは、再構成されたリアルタイム三次元点群再構成結果を認識し、三次元点群再構成結果中のリアルタイム障害物と二次元及び三次元境界ボックスを含む認識結果を取得し、該リアルタイム障害物のタイプ及び信頼度をマーク付けする。
ステップ４０５で、クラウドコンピュータビジョンモジュールは、リアルタイム三次元点群再構成結果と全ての認識結果を遠隔監視管理端末に送信する。

【0062】

ステップ４０６で、クラウドコンピュータビジョンモジュールは、クラウドプラットフォームを介してリアルタイム三次元点群再構成結果と認識結果をＨＡＲＩに送信する。

【0063】

ステップ４０７で、ＨＡＲＩは、コンピュータビジョンモジュールが認識した障害物に対して信頼度を判定し、障害物に対応する信頼度が０．９より高い（値範囲が０～１である）と、該障害物を現実環境に存在する障害物とマーク付けし、該障害物に対応する地図較正情報をロボットに送信し、ロボットに、ロボットに付されている三次元地図において該障害物を較正させる。

【0064】

ステップ４０８で、障害物に対応する信頼度が０．９以下である場合、ＨＡＲＩは、障害確認要求を遠隔監視管理端末に送信する。遠隔監視管理端末は、人間オペレータにより制御される。遠隔監視管理端末は、障害確認要求を受信すると、該障害物に対応する三次元点群再構成結果を三次元地図内にレンダリングすることにより、該障害物が現実環境に存在する障害物であるか否かを判定する。

【0065】

ステップ４０９で、遠隔監視管理端末は、該障害物が現実環境に存在する障害物であるか否かの判定結果をＨＡＲＩに送信する。ＨＡＲＩは、該結果に基づいて対応する地図較正情報をロボットに送信する必要があるか否かを判定する。ロボットは、ロボットに付されている三次元地図において該障害物を較正する。

【0066】

ステップ４１０で、ロボットは、三次元地図の較正を完了した後、計画指令に基づいて経路計画を実行することにより、第１計画経路を取得し、第１計画経路をＨＡＲＩに送信する。

【0067】

ステップ４１１で、ＨＡＲＩは、第１計画経路に基づいて三次元点群再構成結果及び収集情報に変換した後、三次元点群再構成結果及び収集情報を遠隔監視管理端末に送信する。

【0068】

ステップ４１２で、遠隔監視管理端末は、該障害物に対応する三次元点群再構成結果を三次元地図内にレンダリングし、且つ認識結果における障害物と二次元及び三次元境界ボックスの大きさに基づいて、対応するタイプ及び大きさの３Ｄ物体モデルを生成し、三次元地図の対応する位置に置く。

【0069】

ステップ４１３で、三次元地図内にレンダリングされた三次元点群再構成結果と３D物体モデルとのマッチング度を比較することにより、現実環境内のロボットが把持可能な物体のタイプとサイズを決定することができる。三次元点群再構成結果と３D物体モデルとの比較マッチング程度に基づいて、人間オペレータは、物体の調整及び較正とマーク付けを選択的に行うことができる。物体の調整及び較正は、タイプ、サイズ、位置、回転の調整及び較正を含むが、これらに限定されない。例えば、カップ１が認識されず、カップ２の認識結果のサイズが、実際のサイズに合致しないため、カップ２を把持する時、ロボットの手がカップ１と衝突する可能性があり、それにより安全リスクを招くことがわかる。したがって、人間オペレータは、仮想環境にカップ１を追加し、且つ、仮想環境においてカップ２のサイズを調整し、点群により仮想及び現実環境の較正を一致させる。

【0070】

ステップ４１４で、遠隔監視管理端末は、調整較正情報をＨＡＲＩに送信し、ＨＡＲＩは、調整較正情報に基づいて電子地図に基づく経路調整情報に変換し、且つ経路調整情報をロボットに送信する。ロボット端末は、受信された経路調整情報に基づいて経路を再計画することにより、第２計画経路を取得する。これにより、後続のナビゲーションを指導し、ロボットがカップ２を把持する時の、カップ１の障害物回避運動計画を検討する。
ステップ４１５で、ロボットは、第２計画経路を実行し、計画指令に対応する該指定操作を完了する、即ち、ロボットは、把持行動を安全に実行する。
図７は、本開示の実施形態に係る点群に基づく地図較正システムの実現モジュールの概略図である。

【0071】

図７に示すとおり、本開示の実施形態の他の態様によれば、クラウドプラットフォームを提供する。クラウドプラットフォームは、指定ロボットと通信接続され、指定ロボットからの環境収集情報を取得するための第１取得モジュール７０１と、環境収集情報に対して三次元点群再構成を行い、三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と障害物情報に対応する信頼度情報を含む障害認識結果を取得するための再構成モジュール７０２と、信頼度情報が第１プリセット指標を満たすと判定する場合、障害物情報に対応する地図較正情報を指定ロボットに送信することにより、指定ロボットが地図較正情報に基づいて地図情報を較正するための第１送信モジュール７０３とを含む。

【0072】

一実施形態において、クラウドプラットフォームには、監視管理端末が通信接続され、さらに、信頼度情報が第１プリセット指標を満たさないと判定した場合、障害確認要求を監視管理端末に送信することにより、監視管理端末に、信頼度情報に対応する障害物情報が第２プリセット指標を満たすか否かを判定するように要求するための第１送信モジュール７０３と、監視管理端末からの、障害物情報に対応する判定結果が付されている障害フィードバック情報を受信するための第１受信モジュール７０４と、判定結果が信頼度情報に対応する障害物情報が第２プリセット指標を満たす場合、障害物情報に対応する地図較正情報を指定ロボットに送信することにより、指定ロボットが地図較正情報に基づいて地図情報を較正するための第１送信モジュール７０３とを含む。

【0073】

一実施形態は、さらに、指定ロボットからの、第１計画経路が付されている指令計画情報を受信するための第１送信モジュール７０４と、第１計画経路に対応する三次元点群再構成結果及び環境収集情報を監視管理端末に送信することにより、監視管理端末が、三次元点群再構成結果及び環境収集情報に基づいて、第１計画経路が第３プリセット指標に合致するか否かを判定することにより、判定結果を取得するための第１受信モジュール７０４と、監視管理端末からの判定結果を受信し、判定結果に基づいて計画フィードバック情報を指定ロボットに送信することにより、指定ロボットが計画フィードバック情報に基づいて第１計画経路と同じか又は異なる第２計画経路を決定するための第１受信モジュール７０４とを含む。

【0074】

本開示の実施形態の他の態様によれば、ロボットを提供する。ロボットは、クラウドプラットフォームと通信接続され、環境収集情報をクラウドプラットフォームに送信することにより、クラウドプラットフォームが環境収集情報に基づいて三次元点群再構成を行い、三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と障害物情報に対応する信頼度情報を含む障害認識結果を取得するための第２送信モジュール７０５と、クラウドプラットフォームから、信頼度情報が第１プリセット指標を満たす障害物情報に対応している地図較正情報を受信するための第２受信モジュール７０６と、地図較正情報に基づいて地図情報を較正することにより、較正地図情報を取得するための較正モジュール７０７とを含む。

【0075】

一実施形態において、さらに、指定操作に基づいて地図情報に経路計画を行うように指示するための計画指令を取得するための第２取得モジュール７０８と、計画指令に基づいて情報収集を行うことにより、環境収集情報を取得するための収集モジュール７０９とを含む。

【0076】

一実施形態において、さらに、較正された地図情報に指定操作に対して経路計画を行うことにより、第１計画経路を取得するための計画モジュール７１０と、さらに、第１計画経路をクラウドプラットフォームに送信することにより、クラウドプラットフォームに、監視管理端末により第１計画経路が第３プリセット指標に合致するか否かを判定するように指示することにより、判定結果を取得するための第２送信モジュール７０５と、クラウドプラットフォームからの、判定結果に対応する計画フィードバック情報を受信し、計画フィードバック情報に基づいて第１計画経路と同じか又は異なる第２計画経路を決定するための第２受信モジュール７０６とを含む。

【0077】

本開示の実施形態の他の態様によれば、点群に基づく地図較正システムを提供する。システムは、クラウドプラットフォーム及び指定ロボットを含む。クラウドプラットフォームは、指定ロボットと通信接続され、クラウドプラットフォームは、指定ロボットからの環境収集情報を取得するための第１取得モジュールと、環境収集情報に対して三次元点群再構成を行い、三次元点群再構成結果に対して障害認識を行うことにより、障害物情報と障害物情報に対応する信頼度情報を含む障害認識結果を取得するための再構成モジュールと、信頼度情報が第１プリセット指標を満たすと判定した場合、障害物情報に対応する地図較正情報を指定ロボットに送信することにより、指定ロボットが、地図較正情報に基づいて地図情報を較正するための第１送信モジュールとを含む。

【0078】

本明細書の説明において、用語「１つの実施形態」、「いくつかの実施形態」、「例」、「具体例」、又は「いくつかの例」等が含まれている説明は、該実施形態又は例を用いて説明している具体的な特徴、構造、材料又は利点は、本開示の少なくとも１つの実施形態又は例に含まれていることを意味する。説明された具体的な特徴、構造、材料又は利点は、いずれか１つ以上の実施形態又は例において、適切な方式で組み合わせてもよい。また、矛盾が生じない限り、当業者は本明細書で説明されている異なる実施形態又は例と異なる実施形態又は例の特徴を互いに結び付け、互いに組み合わせることができる。

【0079】

また、用語「第１」、「第２」は、単に目的を説明するために用いられ、相対的な重要性を指示するか又は示唆するか、又は指示された技術的特徴の数を実質的に指示することであると理解することができない。これにより、「第１」、「第２」の特徴を限定することにより、少なくとも１つの該特徴を明示的又は実質的に含むことができる。本開示の説明において、「複数」は、特に具体的に明記しない限り、２つ又は２つ以上を意味する。

【0080】

以上の内容は、本開示の具体的な実施形態にすぎないが、本開示の保護範囲はこれに限定されない。当業者が本発明に開示される技術範囲において容易に想到し得る変更や置換などは、いずれも本発明の保護範囲に含まれる。したがって、本開示の保護範囲は、特許請求の範囲に記載の内容に準拠する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】