特表 2024-502523 位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-22

(54)【発明の名称】位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240115BHJP

   G01S 17/46 20060101ALI20240115BHJP

【ＦＩ】

G06T7/70 Z

G01S17/46

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023518845

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-05-22

(86)【国際出願番号】 CN2021138982

(87)【国際公開番号】W WO2022156447

(87)【国際公開日】2022-07-28

(31)【優先権主張番号】202110074516.0

(32)【優先日】2021-01-20

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522021952

【氏名又は名称】京▲東▼科技信息技▲術▼有限公司

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】姚 秀▲軍▼

(72)【発明者】

【氏名】桂 晨光

(72)【発明者】

【氏名】▲陳▼ 建楠

(72)【発明者】

【氏名】▲馬▼ 福▲強▼

(72)【発明者】

【氏名】王 超

(72)【発明者】

【氏名】崔 ▲麗▼▲華▼

(72)【発明者】

【氏名】王 峰

【テーマコード（参考）】

5J084

5L096

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AA10

5J084AB16

5J084AC01

5J084EA26

5L096AA09

5L096CA02

5L096DA02

5L096EA14

5L096EA27

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体。位置特定方法は、レーダセンサとビジョンセンサとを使用することによって、事前にレーダマッピングとビジュアルマッピングとを実行するステップ(1)と、レーダ位置特定とビジュアル位置特定とを組み合わせ、レーダ位置特定によって取得されたグリッドマップ上にナビゲーション用のナビゲーションオブジェクトのビジュアル位置特定結果を提供するステップ(2)を備える。位置特定方法によれば、レーザSLAMとビジュアルSLAMが融合され、その利点が補完され、レーザSLAMとビジュアルSLAMの両方の作業プロセス中の問題が解決され、低コストで安定した位置特定スキームのセットがナビゲーションオブジェクトに提供される。

【特許請求の範囲】

【請求項1】

レーダおよびビジョンセンサをそれぞれ使用することによってレーダマッピングとビジョンマッピングとを実行するステップであって、前記ビジョンマッピングのステップがキーフレームのポーズを決定することを備える、ステップと、
前記レーダマッピングによって取得されたマップ上でのナビゲーションのためにビジョン位置特定結果を使用するために、前記キーフレームの前記ポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるステップと
を備える、位置特定方法。

【請求項2】

レーダおよびビジョンセンサをそれぞれ使用することによってレーダマッピングとビジョンマッピングとを実行する前記ステップが、
前記レーダおよび前記ビジョンセンサを同時に使用することによってマッピングを実行するステップであって、前記レーダマッピングによって位置特定およびナビゲーション用のマップが取得され、前記ビジョンマッピングによってビジョンマップが取得される、ステップと、
前記ビジョンマッピングによって提供される前記キーフレームの前記ポーズを、前記レーダマッピングによって提供されるレーダポーズに結合するステップと
を備える、請求項1に記載の位置特定方法。

【請求項3】

前記レーダマッピングによって取得されたマップ上でのナビゲーションのためにビジョン位置特定結果を使用するために、前記キーフレームの前記ポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせる前記ステップが、
候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとを決定するステップと、
前記候補キーフレームの前記ポーズおよび前記ビジョン軌道の下で前記現在のフレームの前記ポーズを、前記候補キーフレームのポーズおよびレーダ軌道の下の前記現在のフレームのポーズに変換するステップと、
前記候補キーフレームの前記ポーズおよび前記レーダ軌道の下の前記現在のフレームの前記ポーズに従って、前記候補キーフレームから前記レーダ軌道の下の前記現在のフレームへのポーズ変換行列を決定するステップと、
前記キーフレームの前記ポーズに結合された前記ポーズ変換行列およびレーダポーズに従って、前記レーダ軌道の下のナビゲーションオブジェクトの仮のポーズを決定するステップと
を備える、請求項1または2に記載の位置特定方法。

【請求項4】

前記レーダマッピングによって取得されたマップ上でのナビゲーションのためにビジョン位置特定結果を使用するために、前記キーフレームの前記ポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせる前記ステップが、
6自由度の前記ナビゲーションオブジェクトの前記仮のポーズを3自由度の前記ナビゲーションオブジェクトの仮のポーズに投影することによって、グリッドマップの座標系における前記ナビゲーションオブジェクトの前記ポーズを決定するステップと
をさらに備える、請求項3に記載の位置特定方法。

【請求項5】

前記ビジョン軌道の下で前記現在のフレームの前記ポーズを決定する前記ステップが、
ビジョンマップをロードするステップと、
前記ビジョンマップの前記現在のフレームの画像から特徴点を抽出するステップと、
前記現在のフレームの前記画像の記述子に従って、マッピングデータベースにおいて前記候補キーフレームを検索するステップと、
前記ビジョン軌道の下の前記現在のフレームの前記ポーズを取得するために、前記候補キーフレームおよび前記現在のフレームの特徴点の情報に従ってビジョン再配置を実行するステップと
を備える、請求項3に記載の位置特定方法。

【請求項6】

前記ビジョン軌道の下で前記候補キーフレームの前記ポーズを決定する前記ステップが、
前記ビジョン軌道の下の前記候補キーフレームの回転行列および前記ビジョン軌道の下の前記候補キーフレームのグローバル位置に従って、前記ビジョン軌道の下の前記候補キーフレームの前記ポーズを決定するステップを備える、請求項3に記載の位置特定方法。

【請求項7】

前記ビジョン軌道の下の前記候補キーフレームの前記ポーズを前記レーダ軌道の下の前記候補キーフレームの前記ポーズに変換する前記ステップが、
前記ビジョン軌道の下の前記候補キーフレームの回転行列と、前記ビジョンセンサと前記レーダとの間の外部パラメータ回転行列とに従って、前記レーダ軌道の下の前記候補キーフレームの回転行列を決定するステップと、
前記ビジョン軌道と前記レーダ軌道との間の回転行列を計算するステップと、
前記ビジョン軌道の下の前記候補キーフレームのグローバル位置、および前記ビジョン軌道と前記レーダ軌道との間の前記回転行列に従って、前記レーダ軌道の下の前記候補キーフレームのグローバル位置を決定するステップと、
前記レーダ軌道の下の前記候補キーフレームの前記グローバル位置および前記レーダ軌道の下の前記候補キーフレームの前記回転行列に従って、前記レーダ軌道の下の前記候補キーフレームの前記ポーズを決定するステップと
を備える、請求項3に記載の位置特定方法。

【請求項8】

前記ビジョン軌道の下の前記候補キーフレームの回転行列と、前記ビジョンセンサと前記レーダとの間の外部パラメータ回転行列とに従って、前記レーダ軌道の下の前記候補キーフレームの回転行列を決定する前記ステップが、
前記ビジョン軌道の下の前記候補キーフレームの前記回転行列および前記ビジョン軌道の下の前記候補キーフレームの前記グローバル位置に従って、前記ビジョン軌道の下の前記候補キーフレームの前記ポーズを決定するステップと、
前記ビジョン軌道の下の前記候補キーフレームの前記回転行列と、前記ビジョンセンサと前記レーダとの間の前記外部パラメータ回転行列とに従って、前記レーダ軌道の下の前記候補キーフレームの前記回転行列を決定するステップと
を備える、請求項7に記載の位置特定方法。

【請求項9】

前記ビジョン軌道の下の前記現在のフレームの前記ポーズを前記レーダ軌道の下の前記現在のフレームの前記ポーズに変換する前記ステップが、
前記ビジョン軌道の下の前記現在のフレームの回転行列と、前記ビジョンセンサと前記レーダとの間の外部パラメータ回転行列とに従って、前記レーダ軌道の下の前記現在のフレームの回転行列を決定するステップと、
前記ビジョン軌道と前記レーダ軌道との間の回転行列を計算するステップと、
前記ビジョン軌道の下の前記現在のフレームのグローバル位置、および前記ビジョン軌道と前記レーダ軌道との間の前記回転行列に従って、前記レーダ軌道の下の前記現在のフレームのグローバル位置を決定するステップと、
前記レーダ軌道の下の前記現在のフレームの前記グローバル位置と、前記レーダ軌道の下の前記現在のフレームの前記回転行列とに従って、前記レーダ軌道の下の前記現在のフレームの前記ポーズを決定するステップと
を備える、請求項3に記載の位置特定方法。

【請求項10】

レーダおよびビジョンセンサをそれぞれ使用することによって、レーダマッピングおよびビジョンマッピングを実行するように構成された融合されたマッピングモジュールであって、前記ビジョンマッピングのステップがキーフレームのポーズを決定することを備える、融合されたマッピングモジュールと、
前記レーダマッピングによって取得されたマップ上でのナビゲーションにビジョン位置特定結果を使用するために、前記キーフレームの前記ポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるように構成された融合された位置特定モジュールと
を備える、位置特定装置。

【請求項11】

前記融合されたマッピングモジュールが、前記レーダおよび前記ビジョンセンサを同時に使用することによってマッピングを実行することであって、前記レーダマッピングによって位置特定およびナビゲーション用のマップが取得され、前記ビジョンマッピングによってビジョンマップが取得される、実行することと、前記ビジョンマッピングによって提供される前記キーフレームの前記ポーズを、前記レーダマッピングによって提供されるレーダポーズに結合することとを行うように構成される、請求項10に記載の位置特定装置。

【請求項12】

前記融合された位置特定モジュールが、候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとを決定することと、前記候補キーフレームの前記ポーズおよび前記ビジョン軌道の下で前記現在のフレームの前記ポーズを、前記候補キーフレームのポーズおよびレーダ軌道の下の前記現在のフレームのポーズに変換することと、前記候補キーフレームの前記ポーズおよび前記レーダ軌道の下の前記現在のフレームの前記ポーズに従って、前記候補キーフレームから前記レーダ軌道の下の前記現在のフレームへのポーズ変換行列を決定することと、前記キーフレームの前記ポーズに結合された前記ポーズ変換行列およびレーダポーズに従って、前記レーダ軌道の下のナビゲーションオブジェクトの仮のポーズを決定することとを行うように構成される、請求項10または11に記載の位置特定装置。

【請求項13】

前記融合された位置特定モジュールが、6自由度の前記ナビゲーションオブジェクトの前記仮のポーズを3自由度の前記ナビゲーションオブジェクトの仮のポーズに投影することによって、グリッドマップの座標系における前記ナビゲーションオブジェクトの前記ポーズを決定するようにさらに構成される、請求項12に記載の位置特定装置。

【請求項14】

請求項5から9のいずれか一項に記載の位置特定方法を実行する動作を行うように構成される、請求項10または11に記載の位置特定装置。

【請求項15】

コンピュータ装置であって、
命令を記憶するように構成されたメモリと、
前記コンピュータ装置が、請求項1から9のいずれか一項に記載の位置特定方法を実行する動作を行うように、命令を遂行するように構成されたプロセッサと
を備える、コンピュータ装置。

【請求項16】

プロセッサによって遂行されると、請求項1から9のいずれか一項に記載の位置特定方法を実行するコンピュータ命令を記憶する、非一時的コンピュータ可読ストレージ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2021年1月20日に出願された中国特許出願第202110074516.0号に基づいており、その優先権を主張しており、その開示は参照によりその全体が本明細書に組み込まれている。

【0002】

本開示は、位置特定の分野に関し、特に、位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体に関する。

【背景技術】

【0003】

ライダベースの屋内位置特定技術の場合、ライダはその正確な測距情報により、モバイルロボットの屋内位置特定に広く適用される。レーザデータとグリッドマップを照合することによる位置特定は、現在主流の位置特定方法である。すなわち、マッチングスコアに従って現在の最適な位置特定ポーズを決定するために、予測により取得された現在のポーズの近傍に検索ウィンドウが開かれ、検索ウィンドウ内にいくつかの候補ポーズが作成される。

【0004】

ビジョンベースの屋内位置特定技術の場合、ビジョンベースの位置特定はビジュアルSLAM(Simultaneous Localization and Mapping)技術としても知られている。ビジュアルSLAMは、カメラの位置を特定し、同時にカメラによってキャプチャされた画像情報に従って周囲の環境のマップを構築するために、複数のビュージオメトリの理論を適用する。ビジュアルSLAM技術は、主にビジョンオドメータ、バックエンド最適化、ループ検出、およびマッピングを備え、ビジョンオドメータは、リアルタイムのポーズ追跡を完了するために画像フレーム間の変換関係を調べ、入力画像を処理し、姿勢変化を計算し、カメラ間の運動関係を取得する。しかしながら、時間がたつにつれてエラーが蓄積され、これは、2つの画像間の動きだけを推定することが原因である。バックエンドは、カメラのポーズと空間マップポイントを備えるフレーム全体のエラーを減らすために、主に最適化方法を使用する。閉ループ検出とも呼ばれるループ検出は、前の位置に到達したかどうかを決定し、蓄積されたエラーを排除し、グローバルに一貫した軌道とマップとを取得するために、主に画像間の類似性を使用する。マッピングでは、推定された軌道に従って、タスク要件に対応するマップが作成される。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の一態様によれば、位置特定方法が提供される。本方法は、レーダおよびビジョンセンサをそれぞれ使用することによってレーダマッピングとビジョンマッピングとを実行するステップであって、ビジョンマッピングのステップがキーフレームのポーズを決定することを備える、ステップと、レーダマッピングによって取得されたマップ上でのナビゲーションのためにビジョン位置特定結果を使用するために、キーフレームのポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるステップとを備える。

【0006】

本開示のいくつかの実施形態では、レーダおよびビジョンセンサを使用することによってレーダマッピングおよびビジョンマッピングとを実行するステップは、レーダおよびビジョンセンサを同時に使用することによってマッピングを実行するステップであって、レーダマッピングによって位置特定およびナビゲーション用のマップが取得され、ビジョンマッピングによってビジョンマップが取得される、ステップと、ビジョンマッピングによって提供されるキーフレームのポーズを、レーダマッピングによって提供されるレーダポーズに結合するステップとを備える。

【0007】

本開示のいくつかの実施形態では、レーダマッピングによって取得されたマップ上でのナビゲーションのためにビジョン位置特定結果を使用するために、キーフレームのポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるステップは、候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとを決定するステップと、候補キーフレームのポーズおよびビジョン軌道の下で現在のフレームのポーズを、候補キーフレームのポーズおよびレーダ軌道の下の現在のフレームのポーズに変換するステップと、候補キーフレームのポーズおよびレーダ軌道の下の現在のフレームのポーズに従って、候補キーフレームからレーダ軌道の下の現在のフレームへのポーズ変換行列を決定するステップと、キーフレームのポーズに結合されたポーズ変換行列およびレーダポーズに従って、レーダ軌道の下のナビゲーションオブジェクトの仮のポーズを決定するステップと
を備える。

【0008】

本開示のいくつかの実施形態では、レーダマッピングによって取得されたマップ上でのナビゲーションのためにビジョン位置特定結果を使用するために、キーフレームのポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるステップは、6自由度のナビゲーションオブジェクトの仮のポーズを3自由度のナビゲーションオブジェクトの仮のポーズに投影することによって、グリッドマップの座標系におけるナビゲーションオブジェクトのポーズを決定するステップをさらに備える。

【0009】

本開示のいくつかの実施形態では、ビジョン軌道の下で現在のフレームのポーズを決定するステップは、ビジョンマップをロードするステップと、ビジョンマップの現在のフレームの画像から特徴点を抽出するステップと、現在のフレームの画像の記述子に従って、マッピングデータベースにおいて候補キーフレームを検索するステップと、ビジョン軌道の下の現在のフレームのポーズを取得するために、候補キーフレームおよび現在のフレームの特徴点の情報に従ってビジョン再配置を実行するステップとを備える。

【0010】

本開示のいくつかの実施形態では、ビジョン軌道の下で候補キーフレームのポーズを決定するステップは、ビジョン軌道の下の候補キーフレームの回転行列およびビジョン軌道の下の候補キーフレームのグローバル位置に従って、ビジョン軌道の下の候補キーフレームのポーズを決定するステップを備える。

【0011】

本開示のいくつかの実施形態では、ビジョン軌道の下の候補キーフレームのポーズをレーダ軌道の下の候補キーフレームのポーズに変換するステップは、ビジョン軌道の下の候補キーフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列とに従って、レーダ軌道の下の候補キーフレームの回転行列を決定するステップと、ビジョン軌道とレーダ軌道との間の回転行列を計算するステップと、ビジョン軌道の下の候補キーフレームのグローバル位置、およびビジョン軌道とレーダ軌道との間の回転行列に従って、レーダ軌道の下の候補キーフレームのグローバル位置を決定するステップと、レーダ軌道の下の候補キーフレームのグローバル位置およびレーダ軌道の下の候補キーフレームの回転行列に従って、レーダ軌道の下の候補キーフレームのポーズを決定するステップとを備える。

【0012】

本開示のいくつかの実施形態では、ビジョン軌道の下の候補キーフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列とに従って、レーダ軌道の下の候補キーフレームの回転行列を決定するステップは、ビジョン軌道の下の候補キーフレームの回転行列およびビジョン軌道の下の候補キーフレームのグローバル位置に従って、ビジョン軌道の下の候補キーフレームのポーズを決定するステップと、ビジョン軌道の下の候補キーフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列とに従って、レーダ軌道の下の候補キーフレームの回転行列を決定するステップとを備える。

【0013】

本開示のいくつかの実施形態では、ビジョン軌道の下の現在のフレームのポーズをレーダ軌道の下の現在のフレームのポーズに変換するステップは、ビジョン軌道の下の現在のフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列とに従って、レーダ軌道の下の現在のフレームの回転行列を決定するステップと、ビジョン軌道とレーダ軌道との間の回転行列を計算するステップと、ビジョン軌道の下の現在のフレームのグローバル位置、およびビジョン軌道とレーダ軌道との間の回転行列に従って、レーダ軌道の下の現在のフレームのグローバル位置を決定するステップと、レーダ軌道の下の現在のフレームのグローバル位置と、レーダ軌道の下の現在のフレームの回転行列とに従って、レーダ軌道の下の現在のフレームのポーズを決定するステップとを備える。

【0014】

本開示の別の態様によれば、位置特定装置が提供される。デバイスは、レーダおよびビジョンセンサをそれぞれ使用することによって、レーダマッピングおよびビジョンマッピングを実行するように構成された融合されたマッピングモジュールであって、ビジョンマッピングのステップがキーフレームのポーズを決定することを備える、融合されたマッピングモジュールと、レーダマッピングによって取得されたマップ上でのナビゲーションにビジョン位置特定結果を使用するために、キーフレームのポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるように構成された融合された位置特定モジュールとを備える。

【0015】

本開示のいくつかの実施形態では、融合されたマッピングモジュールは、レーダおよびビジョンセンサを同時に使用することによってマッピングを実行することであって、レーダマッピングによって位置特定およびナビゲーション用のマップが取得され、ビジョンマッピングによってビジョンマップが取得される、実行することと、ビジョンマッピングによって提供されるキーフレームのポーズを、レーダマッピングによって提供されるレーダポーズに結合することとを行うように構成される。

【0016】

本開示のいくつかの実施形態では、融合された位置特定モジュールは、候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとを決定することと、候補キーフレームのポーズおよびビジョン軌道の下で現在のフレームのポーズを、候補キーフレームのポーズおよびレーダ軌道の下の現在のフレームのポーズに変換することと、候補キーフレームのポーズおよびレーダ軌道の下の現在のフレームのポーズに従って、候補キーフレームからレーダ軌道の下の現在のフレームへのポーズ変換行列を決定することと、キーフレームのポーズに結合されたポーズ変換行列およびレーダポーズに従って、レーダ軌道の下のナビゲーションオブジェクトの仮のポーズを決定することとを行うように構成される。

【0017】

本開示のいくつかの実施形態では、融合された位置特定モジュールは、6自由度のナビゲーションオブジェクトの仮のポーズを3自由度のナビゲーションオブジェクトの仮のポーズに投影することによって、グリッドマップの座標系におけるナビゲーションオブジェクトのポーズを決定するようにさらに構成される。

【0018】

本開示のいくつかの実施形態では、位置特定装置は、上述の実施形態のうちのいずれか1つによる位置特定方法を実行する動作を行うように構成される。

【0019】

本開示の別の態様によれば、コンピュータ装置が提供される。装置は、命令を記憶するように構成されたメモリと、コンピュータ装置が、上述の実施形態のうちのいずれか1つによる位置特定方法を実行する動作を行うように、命令を遂行するように構成されたプロセッサとを備える。

【0020】

本開示の別の態様によれば、非一時的コンピュータ可読ストレージ媒体が提供され、コンピュータ可読ストレージ媒体は、プロセッサによって遂行されると、上述の実施形態のうちのいずれか1つによる位置特定方法を実行するコンピュータ命令を記憶する。

【0021】

本開示の実施形態または関連技術における技術的ソリューションをより明確に説明するために、実施形態または関連技術の説明において使用する必要がある添付図面について、以下で簡単に紹介する。以下に説明する添付の図面は、本開示の実施形態の一部にすぎないことは明らかである。当業者には、発明的努力が含まれないことを前提として、そのような添付図面に従って他の添付図面を取得することもできる。

【図面の簡単な説明】

【0022】

【図1】同じナビゲーションオブジェクトに対してレーダマッピングとビジョンマッピングとを同時に使用して可視化した軌道とグリッドマップとの概略図である。

【図2】本開示による位置特定方法のいくつかの実施形態の概略図である。

【図3】本開示によるレーザ-ビジョン融合マッピング方法のいくつかの実施形態の概略図である。

【図4】本開示によるレーザ-ビジョン融合位置特定方法のいくつかの実施形態の概略図である。

【図5】本開示によるレーザ-ビジョン融合位置特定方法の他の実施形態の概略図である。

【図6】本開示のいくつかの実施形態による、融合位置特定後の軌道のレンダリングを示す図である。

【図7】本開示の位置特定装置のいくつかの実施形態の概略図である。

【図8】本開示のさらなる実施形態によるコンピュータ装置の構造概略図である。

【発明を実施するための形態】

【0023】

本開示の実施形態における技術的ソリューションは、本開示の実施形態における添付の図面と併せて、以下で明示的かつ完全に説明される。明らかに、記載された実施形態は、実施形態のすべてではなく、本開示の実施形態の一部にすぎない。少なくとも1つの例示的な実施形態についての以下の説明は、実際には単なる例示であり、本開示ならびにその適用または使用をなんら限定するものではない。本開示の実施形態に基づいて、発明的努力が含まれないという前提で当業者によって取得される他のすべての実施形態は、本開示の保護範囲に入る。

【0024】

別段の指定がない限り、これらの実施例において説明されるコンポーネントおよびステップの相対的配置、数値表現および数値は、本開示の範囲を限定するものではない。

【0025】

同時に、説明を簡単にするために、添付の図面に示される様々な部分の寸法は、実際の比例関係に従って描かれていないことを理解されたい。

【0026】

関連技術の当業者に知られている技法、方法、および装置については、詳細には説明しない場合がある。しかしながら、技法、方法、および装置は、適切な場合、付与された説明の一部と見なされるものとする。

【0027】

本明細書に示され議論されたすべての例の中で、任意の特定の値は、限定的ではなく単なる例示として解釈されるべきである。したがって、例示的な実施形態における他の例は、異なる値を有する場合がある。

【0028】

以下の添付の図面において、同様の参照記号および文字は同様の項目を示しており、したがって、1つの添付の図面において項目が定義されると、後続の添付の図面において同じ項目についてさらに説明する必要があることに留意されたい。

【0029】

関連技術におけるレーダベースの屋内位置特定技術には、次のような問題がある。低コストのレーダの中には、大規模なシナリオにおいて効果的な測距情報を取得できないように、測距範囲が制限されているものがある。レーザSLAMは、長い廊下の環境に直面したときにモーションの劣化の問題がある可能性がある。少量のレーダ情報を使用する場合、レーザSLAMは一般に、ビジュアルSLAMと比較してループバックを生成する可能性が低くなる。

【0030】

ビジョンセンサベースの屋内位置特定技術には、次のような問題がある。ビジュアルSLAMが白い壁などテクスチャの弱い環境に直面した場合、定位置特定精度が低下する。ビジョンセンサは一般に照明に非常に敏感であり、その結果、ビジュアルSLAMが照明の変動が大きい環境において動作する場合、位置特定の安定性が低下する。作成されたマップは、ナビゲーションオブジェクトのナビゲーションに直接使用することができない。

【0031】

上述の技術的問題の少なくとも1つを考慮して、本開示は、位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体を提供する。レーザSLAMとビジュアルSLAMとを融合することによって、レーザSLAMとビジュアルSLAM双方自体の作業プロセスにおいて発生する問題を解決するために、レーザSLAMとビジュアルSLAMとの利点が互いに補完し合う。

【0032】

図1は、同じナビゲーションオブジェクトに対してレーダマッピングとビジョンマッピングとを同時に使用して可視化した軌道とグリッドマップとの概略図であり、ナビゲーションオブジェクトがビジョンセンサであり得、レーダがライダであり得、ビジョンセンサがカメラであり得る。図1に示されるように、軌道1は、レーザSLAMによって残された軌道であり、明るい色の部分4は、ナビゲーションオブジェクトのナビゲーションのためにレーザSLAMによって構築された占有グリッドマップであり、軌道2はビジュアルSLAMによって残された軌道である。レーザSLAMとビジュアルSLAMとはどちらもナビゲーションオブジェクトの動きを記述するが、レーダおよびビジョンセンサの設置位置と角度、および環境記述スケールが異なるため、それらの両方によって位置特定された軌道はワールド座標系において一致せず、一般に回転とズームとが発生する。このように、レーダが正常に機能しない場合、ビジョンセンサの位置特定を直接使用することによって、ナビゲーションマップ座標系の下でナビゲーションオブジェクトにポーズを提供することは不可能である。

【0033】

本開示の目的は、レーザまたはビジョン位置特定だけではそれ自体で解決できない問題に遭遇した場合に、位置特定のための別のセンサにスムーズに移行することができる、レーザとビジョン位置特定とが融合されたソリューションを提供することである。

【0034】

関連技術における屋内ナビゲーションオブジェクトの主流のナビゲーション方法は、占有グリッドマップ上で経路を計画することであり、これにより、ロボットの動きが制御される。関連技術におけるライダベースの位置特定およびナビゲーションソリューションは、通常、マッピングと、位置特定およびナビゲーションとの2つのコンポーネントに分割される。マッピングの機能は、ライダによって環境の2次元占有グリッドマップを作成することである。位置特定は、占有グリッドマップの座標系におけるナビゲーションオブジェクトの現在のポーズを取得するために、ライダデータを占有グリッドマップと照合することによって実装される。ナビゲーションは、位置特定によって取得された現在のポーズから占有グリッドマップ上の目標点までの経路を計画し、指定された目標点に移動するようにロボットを制御することによって実装される。

【0035】

図2は、本開示による位置特定方法のいくつかの実施形態の概略図である。本実施形態は、本開示の位置特定装置または本開示のコンピュータ装置によって実行され得ることが好ましい。本方法は、ステップ1およびステップ2を備え得る。

【0036】

ステップ1において、レーザ-ビジョン融合マッピングが実行される。

【0037】

本開示のいくつかの実施形態では、ステップ1は、レーダおよびビジョンセンサをそれぞれ使用することによってレーダマッピングとビジョンマッピングとを実行するステップであって、レーダがライダであり得、ビジョンセンサがカメラであり得る、ステップを備え得る。

【0038】

本開示のいくつかの実施形態では、ステップ1は、レーダおよびビジョンセンサを同時に使用することによってマッピングするステップであって、位置特定およびナビゲーションのためのグリッドマップがレーダマッピングによって取得され、ビジョンマップがビジョンマッピングによって取得される、ステップと、ビジョンマッピングによって提供されるキーフレームのポーズを、レーダマッピングによって提供されるレーダポーズに結合するステップとを備え得る。

【0039】

図3は、本開示によるレーザ-ビジョン融合マッピング方法のいくつかの実施形態の概略図である。図3に示されるように、本開示によるレーザ-ビジョン融合マッピング方法(たとえば、図2の実施形態のステップ1)は、ステップ11～14を備え得る。

【0040】

ステップ11において、マッピング中に、レーダおよびビジョンセンサを同時に使用することによってマッピングが実行され、レーダマッピングはレーダのポーズを提供し、ビジョンマッピングはキーフレームのポーズを提供し、レーダのポーズはライダポーズであり得、レーダのポーズはレーザポーズであり得、レーダマッピングはレーザマッピングであり得、レーダマッピングはライダマッピングであり得る。

【0041】

ステップ12において、ポーズバインディングのタイムスタンプに従って、各ビジョンキーフレームの近くにおいて最も近いレーダポーズが検索される。

【0042】

ステップ13において、ビジョンマップが保存されると、ビジョンキーフレームに対応するレーダのポーズも同時に保存される。

【0043】

ステップ14において、レーダマッピングでは、占有グリッドマップは、レーダ位置特定とナビゲーションオブジェクトのナビゲーションとのために保存される。

【0044】

ステップ2において、レーザ-ビジョン融合位置特定が実行される。レーダ位置特定をビジョン位置特定とみ合わせることによって、レーダマッピングによって取得されたグリッドマップ上でのナビゲーションのために、ナビゲーションオブジェクトによってビジョン位置特定結果が使用される場合がある。

【0045】

図4は、本開示によるレーザ-ビジョン融合位置特定方法のいくつかの実施形態の概略図である。図4に示されるように、本開示によるレーザ-ビジョン融合マッピング方法(たとえば、図2の実施形態のステップ2)は、ステップ21～25を備え得る。

【0046】

ステップ21において、候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとが決定される。

【0047】

ステップ22において、候補キーレームのポーズとビジョン軌道の下の現在のフレームとは、候補キーフレームのポーズとレーダ軌道の下の現在のフレームとに変換される。

【0048】

ステップ23において、候補キーフレームから現在フレームへのポーズ変換行列は、候補キーフレームのポーズとレーダ軌道の下の現在フレームのポーズとに従って決定される。

【0049】

ステップ24において、レーダ軌道の下のナビゲーションオブジェクトの仮のポーズは、ポーズ変換行列およびキーフレームのポーズに結合されたレーダポーズに従って決定され、ナビゲーションオブジェクトはビジョンセンサであってもよい。

【0050】

ステップ25において、グリッドマップのナビゲーション座標系におけるナビゲーションオブジェクトのポーズは、6自由度のナビゲーションオブジェクトの仮のポーズを3自由度のナビゲーションオブジェクトの仮のポーズに投影することによって決定される。

【0051】

図5は、本開示によるレーザ-ビジョン融合位置特定方法の他の実施形態の概略図である。図5に示されるように、本開示によるレーザ-ビジョン融合マッピング方法(たとえば、図2の実施形態のステップ2)は、ステップ51～58を備え得る。

【0052】

ステップ51において、ビジョン位置特定の前に、ビジョンマップが第1にロードされ、ビジョンマップは、マッピングのキーフレームの3D (3次元)マップポイント情報、画像の2D(2次元)ポイント情報、および2Dポイントに対応する記述子情報を備える。

【0053】

ステップ52において、ビジョンマップの現在のフレームの画像から特徴点が抽出され、現在のフレームの画像のグローバル記述子を使用することによって、マッピングデータベースにおいて候補キーフレームが検索される。

【0054】

ステップ53において、ビジョン軌道の下の現在のフレームのグローバルポーズ

【0055】

【数1】

【0056】

を取得するために、現在のフレーム情報と候補キーフレームとに従ってビジョンの再配置が実行される。

【0057】

ステップ54において、ビジョン軌道とレーダ軌道との間の回転行列

【0058】

【数2】

【0059】

が計算される。

【0060】

本開示のいくつかの実施形態では、図1に示されるように、回転とズームとは、ビジョンセンサの軌道1とレーダの軌道2との間に存在する。回転は、ワールド座標系で始まる軌道の様々な方向に起因し、これは、ビジョンセンサとレーダとの様々な初期化に起因する。ズームは、単眼、双眼、またはビジョンIMU(慣性測定ユニット)融合のいずれであっても、ビジュアルSLAMがナビゲーションオブジェクトにおいて機能する場合、スケールが実際のスケールと完全に一致することを保証することが非常に難しいという事実から生じる。ナビゲーションオブジェクトは平面内を移動するだけなので、ヨー角だけの回転角(重力方向を中心に回転する)の軌道が2つ存在し、回転角はほぼ一定である。本開示では、2つの軌道間の角度は、ビジョンキーフレーム位置ベクトルと、マッピング中に保存されたレーザ位置ベクトルとを使用することによって計算され、回転行列

【0061】

【数3】

【0062】

として表される。

【0063】

本開示のいくつかの実施形態では、ビジョン軌道とレーダ軌道との間の回転行列

【0064】

【数4】

【0065】

は、ビジョンセンサとレーダとの間の外部パラメータ回転行列である。

【0066】

ステップ55において、候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとは、候補キーフレームのポーズとレーダ軌道の下の現在のフレームのポーズとに変換される。

【0067】

本開示のいくつかの実施形態では、ステップ55におけるビジョン軌道の下の候補キーフレームのポーズをレーダ軌道の下の候補キーフレームのポーズに変換するステップは、ステップ551から554を備え得る。

【0068】

ステップ551において、ビジョン軌道の下の候補キーフレームのポーズ

【0069】

【数5】

【0070】

は、ビジョン軌道の下の候補キーフレームの回転行列と、ビジョン軌道の下の候補キーフレームのグローバル位置とに従って決定される。

【0071】

本開示のいくつかの実施形態では、ステップ551は、式(1)に従って、ビジョン軌道の下で候補キーフレームのポーズ

【0072】

【数6】

【0073】

を決定することを備え得る。

【0074】

【数7】

【0075】

式(1)において、

【0076】

【数8】

【0077】

はビジョン軌道の下の候補キーフレームの回転行列であり、

【0078】

【数9】

【0079】

はビジョン軌道の下の候補キーフレームのグローバル位置である。

【0080】

ステップ552において、レーダ軌道の下の候補キーフレームの回転行列

【0081】

【数10】

【0082】

は、ビジョン軌道の下の候補キーフレームの回転行列

【0083】

【数11】

【0084】

と、ビジョンセンサとレーダとの間の外部パラメータ回転行列

【0085】

【数12】

【0086】

とに従って決定される。

【0087】

本開示のいくつかの実施形態では、ステップ552は、式(2)に従って、ビジョンセンサとレーダとの間の外部パラメータ回転行列

【0088】

【数13】

【0089】

によって、ビジョン軌道の下の候補キーフレームの回転行列

【0090】

【数14】

【0091】

を、レーダ軌道の下の候補キーフレームの回転行列

【0092】

【数15】

【0093】

に変換することを備え得る。

【0094】

【数16】

【0095】

式(2)において、

【0096】

【数17】

【0097】

は、ビジョンセンサとレーダとの間の外部パラメータ回転行列である。

【0098】

ステップ553において、レーダ軌道の下の候補キーフレームのグローバル位置

【0099】

【数18】

【0100】

は、ビジョン軌道の下の候補キーフレームのグローバル位置と、ビジョン軌道とレーダ軌道との間の回転行列とに従って決定される。

【0101】

本開示のいくつかの実施形態では、ステップ553は、式(3)に従って、2つの軌道間の回転行列

【0102】

【数19】

【0103】

によって、ビジョン軌道の下の候補キーフレームのグローバル位置

【0104】

【数20】

【0105】

を、レーダ軌道の下の候補キーフレームのグローバル位置

【0106】

【数21】

【0107】

に変換することを備え得る。

【0108】

【数22】

【0109】

式(3)において、

【0110】

【数23】

【0111】

は、レーダ軌道の下の候補キーフレームのグローバル位置である。

【0112】

ステップ554において、レーダ軌道の下の候補キーフレームのポーズ

【0113】

【数24】

【0114】

は、レーダ軌道の下の候補キーフレームのグローバル位置と、レーダ軌道の下の候補キーフレームの回転行列とに従って決定される。

【0115】

本開示のいくつかの実施形態では、ステップ554は、式(4)に従って、レーダ軌道の下の候補キーフレームのポーズ

【0116】

【数25】

【0117】

を決定するステップを備え得る。

【0118】

【数26】

【0119】

本開示のいくつかの実施形態では、ビジョン軌道の下の現在のフレームのポーズ

【0120】

【数27】

【0121】

をレーダ軌道の下の現在のフレームのポーズ

【0122】

【数28】

【0123】

に変換する方法は、上述の方法と同様である。

【0124】

本開示のいくつかの実施形態では、ステップ55において、ビジョン軌道の下の現在のフレームのポーズをレーダ軌道の下の現在のフレームのポーズに変換するステップは、ステップ55aから55cを備え得る。

【0125】

ステップ55aにおいて、レーダ軌道の下の現在のフレームの回転行列は、ビジョン軌道の下の現在のフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列とに従って決定される。

【0126】

ステップ55bにおいて、レーダ軌道の下の現在のフレームのグローバル位置は、ビジョン軌道の下の現在のフレームのグローバル位置、およびビジョン軌道とレーダ軌道との間の回転行列に従って決定される。

【0127】

ステップ55cにおいて、レーダ軌道の下の現在フレームのポーズは、レーダ軌道の下の現在フレームのグローバル位置と、レーダ軌道の下の現在フレームの回転行列とに従って決定される。

【0128】

ステップ56において、候補キーフレームから現在フレームへのポーズ変換行列は、候補キーフレームのポーズとレーダ軌道の下の現在フレームのポーズとに従って決定される。

【0129】

本開示のいくつかの実施形態では、ステップ56は、式(5)に従って、レーダ軌道の下の候補キーフレームのポーズ

【0130】

【数29】

【0131】

と、レーダ軌道の下の現在のキーフレームのポーズ

【0132】

【数30】

【0133】

とによって、候補キーフレームからレーダ軌道の下の現在のフレームへのポーズ変換行列

【0134】

【数31】

【0135】

を解くことを備え得る。

【0136】

【数32】

【0137】

ステップ57において、レーダ軌道の下のナビゲーションオブジェクトの仮のポーズは、ポーズ変換行列と、キーフレームのポーズに結合されたレーダのポーズとに従って決定される。

【0138】

本開示のいくつかの実施形態では、ステップ57は、式(6)に従って、レーダ軌道の下のナビゲーションオブジェクトのポーズ

【0139】

【数33】

【0140】

は、キーフレームのポーズに結合されたレーダのポーズ

【0141】

【数34】

【0142】

および、候補キーフレームからレーダ軌道の下の現在のフレームへのポーズ変換行列

【0143】

【数35】

【0144】

によって仮に解決される場合があることを備え得る。

【0145】

【数36】

【0146】

ステップ58において、グリッドマップのナビゲーション座標系におけるナビゲーションオブジェクトのポーズは、6自由度(6DOF)のナビゲーションオブジェクトの仮のポーズを3自由度(3DOF)のナビゲーションオブジェクトの仮のポーズに投影することによって決定される。

【0147】

屋内ナビゲーションオブジェクトは平面内でのみ移動するため、単一バンドルレーダは3DOFポーズしか提供できず、ビジョン6DOFポーズとレーダ3DOFポーズとの融合プロセス中に他の3DOFエラーが導入される可能性がある。本開示では、レーダ軌道の下のナビゲーションオブジェクトの6DOFポーズ

【0148】

【数37】

【0149】

が3DOFに投影され、グリッドマップのナビゲーション座標系の下のロボットのポーズ

【0150】

【数38】

【0151】

が取得される。

【0152】

図6は、本開示のいくつかの実施形態による、融合位置特定後の軌道のレンダリングである。軌道3はビジョンセンサ位置特定による軌道であり、図1のレーダ位置特定によって取得される軌道1と比較すると、それらの両方は回転も縮尺もほぼ一致しており、ナビゲーショングリッドマップ上の位置も同じである。ビジョンセンサ位置特定によって取得されたポーズは、ナビゲーションオブジェクトのナビゲーションに直接使用され得る。

【0153】

本開示の上述の実施形態に基づいて提供される位置特定方法は、レーザ-ビジョン融合屋内位置特定方法である。レーザSLAMとビジュアルSLAMとを融合することによって、レーザSLAMとビジュアルSLAM双方自体の作業プロセスにおいて発生する問題を解決するために、レーザSLAMとビジュアルSLAMとの利点が互いに補完し合い、モバイルロボットなどのナビゲーションオブジェクトに対して、低コストで安定した位置特定ソリューションが提供される。

【0154】

本開示の上述の実施形態では、異なる自由度のポーズ融合によって引き起こされるエラーは、レーザSLAMとビジュアルSLAMとの融合プロセス中に低減される。

【0155】

ナビゲーションオブジェクトへのビジュアルSLAMの適用には、モーションの劣化や複雑なシナリオなどの問題があり、その結果、スケールが実際のスケールと一致しないことが多いという技術的な問題が発生するため、本開示の上述の実施形態における融合されたソリューションによって、ビジュアルSLAMのスケールをレーザSLAMのスケールと一致させることが可能である。

【0156】

上述の実施形態のビジョン位置特定結果は、レーザSLAMによって取得されたグリッドマップ上でのナビゲーションのために、ナビゲーションオブジェクトによって直接使用され得る。

【0157】

本開示の上述の実施形態におけるレーザ-ビジョン融合位置特定方法の入力は画像であり、出力はグリッドマップのナビゲーション座標系におけるポーズである。

【0158】

図7は、本開示の位置特定装置のいくつかの実施形態の概略図である。図7に示されるように、本開示の位置特定装置は、融合されたマッピングモジュール71および融合された位置特定モジュール72を備え得る。

【0159】

融合されたマッピングモジュール71は、レーダおよびビジョンセンサをそれぞれ使用することによってレーダマッピングとビジョンマッピングとを実行するように構成され、ビジョンマッピングのステップが、キーフレームのポーズを決定することを備える。

【0160】

本開示のいくつかの実施形態では、融合されたマッピングモジュール71は、レーダおよびビジョンセンサを同時に使用することによってマッピングを実行することであって、レーダマッピングによって位置特定およびナビゲーション用のマップが取得され、ビジョンマッピングによってビジョンマップが取得される、実行することと、ビジョンマッピングによって提供されるキーフレームのポーズを、レーダマッピングによって提供されるレーダポーズに結合することとを行うように構成され得る。

【0161】

融合された位置特定モジュール72は、レーダマッピングによって取得されたマップ上でのナビゲーションにビジョン位置特定結果を使用するために、キーフレームのポーズに基づいてレーダ位置特定をビジョン位置特定と組み合わせるように構成されている。

【0162】

本開示のいくつかの実施形態では、融合された位置特定モジュール72は、候補キーフレームのポーズとビジョン軌道の下の現在のフレームのポーズとを決定することと、候補キーフレームのポーズおよびビジョン軌道の下で現在のフレームのポーズを、候補キーフレームのポーズおよびレーダ軌道の下の現在のフレームのポーズに変換することと、候補キーフレームのポーズおよびレーダ軌道の下の現在のフレームのポーズに従って、候補キーフレームからレーダ軌道の下の現在のフレームへのポーズ変換行列を決定することと、キーフレームのポーズに結合されたポーズ変換行列およびレーダポーズに従って、レーダ軌道の下のナビゲーションオブジェクトの仮のポーズを決定することとを行うように構成され得る。

【0163】

本開示のいくつかの実施形態では、融合された位置特定モジュール72は、6自由度のナビゲーションオブジェクトの仮のポーズを3自由度のナビゲーションオブジェクトの仮のポーズに投影することによって、グリッドマップの座標系におけるナビゲーションオブジェクトのポーズを決定するようにさらに構成され得る。

【0164】

本開示のいくつかの実施形態では、融合された位置特定モジュール72は、ビジョン軌道の下の現在のフレームのポーズが決定される場合、ビジョンマップをロードすることと、ビジョンマップの現在のフレームの画像から特徴点を抽出することと、現在のフレームの画像の記述子に従って、マッピングデータベースにおいて候補キーフレームを検索することと、ビジョン軌道の下の現在のフレームのポーズを取得するために、候補キーフレームおよび現在のフレームの特徴点の情報に従ってビジョン再配置を実行することとを行うように構成され得る。

【0165】

本開示のいくつかの実施形態では、融合された位置特定モジュール72は、ビジョン軌道の下で候補キーフレームのポーズが決定された場合、ビジョン軌道の下で候補キーフレームのポーズを決定するステップは、ビジョン軌道の下の候補キーフレームの回転行列およびビジョン軌道の下の候補キーフレームのグローバル位置に従って、ビジョン軌道の下の候補キーフレームのポーズを決定するように構成され得る。

【0166】

本開示のいくつかの実施形態では、ビジョン軌道の下の候補キーフレームのポーズをレーダ軌道の下の候補キーフレームのポーズに変換する場合、融合された位置特定モジュール72は、ビジョン軌道の下の候補キーフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列に従って、レーダ軌道の下の候補キーフレームの回転行列を決定することと、ビジョン軌道とレーダ軌道との間の回転行列を計算することと、ビジョン軌道の下の候補キーフレームのグローバル位置、およびビジョン軌道とレーダ軌道との間の回転行列に従って、レーダ軌道の下の候補キーフレームのグローバル位置を決定することと、レーダ軌道の下の候補キーフレームのグローバル位置およびレーダ軌道の下の候補キーフレームの回転行列に従って、レーダ軌道の下の候補キーフレームのポーズを決定することとを行うように構成され得る。

【0167】

本開示のいくつかの実施形態では、レーダ軌道の下の候補キーフレームの回転行列が、ビジョン軌道の下の候補キーフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列に従って決定される場合、融合された位置特定モジュール72は、ビジョン軌道の下の候補キーフレームの回転行列およびビジョン軌道の下の候補キーフレームのグローバル位置に従って、ビジョン軌道の下のキーフレームのポーズ

【0168】

【数39】

【0169】

を決定することと、ビジョン軌道の下の候補キーフレームの回転行列

【0170】

【数40】

【0171】

と、ビジョンセンサとレーダとの間の外部パラメータ回転行列

【0172】

【数41】

【0173】

に従って、レーダ軌道の下の候補キーフレームの回転行列

【0174】

【数42】

【0175】

を決定することとを行うように構成され得る。

【0176】

本開示のいくつかの実施形態では、ビジョン軌道の下の現在のフレームのポーズをレーダ軌道の下の現在のフレームのポーズに変換する場合、融合された位置特定モジュール72は、ビジョン軌道の下の現在のフレームの回転行列と、ビジョンセンサとレーダとの間の外部パラメータ回転行列とに従って、レーダ軌道の下の現在のフレームの回転行列を決定することと、ビジョン軌道とレーダ軌道との間の回転行列を計算することと、ビジョン軌道の下の現在のフレームのグローバル位置、およびビジョン軌道とレーダ軌道との間の回転行列に従って、レーダ軌道の下の現在のフレームのグローバル位置を決定することと、レーダ軌道の下の現在のフレームのグローバル位置およびレーダ軌道の下の現在のフレームの回転行列に従って、レーダ軌道の下の現在のフレームのポーズを決定することとを行うように構成され得る。

【0177】

本開示のいくつかの実施形態では、位置特定装置は、上述の実施形態のうちのいずれか1つ(たとえば、図2から図5の実施形態のうちのいずれか1つ)による位置特定方法を実行する動作を行うように構成される。

【0178】

本開示の上記の実施形態に基づいて提供される位置特定装置は、レーザ-ビジョン融合屋内位置特定装置である。レーザSLAMとビジュアルSLAMとを融合することによって、レーザSLAMとビジュアルSLAM双方自体の作業プロセスにおいて発生する問題を解決するために、レーザSLAMとビジュアルSLAMとの利点が互いに補完し合い、モバイルロボットなどのナビゲーションオブジェクトに対して、低コストで安定した位置特定ソリューションが提供される。

【0179】

本開示の上述の実施形態では、異なる自由度のポーズ融合によって引き起こされるエラーは、レーザSLAMとビジュアルSLAMとの融合プロセス中に低減される。

【0180】

ナビゲーションオブジェクトへのビジュアルSLAMの適用には、モーションの劣化や複雑なシナリオなどの問題があり、その結果、スケールが実際のスケールと一致しないことが多いという技術的な問題が発生するため、本開示の上述の実施形態における融合されたソリューションによって、ビジュアルSLAMのスケールをレーザSLAMのスケールと一致させることが可能である。

【0181】

上述の実施形態のビジョン位置特定結果は、レーザSLAMによって取得されたグリッドマップ上でのナビゲーションのために、ナビゲーションオブジェクトによって直接使用され得る。

【0182】

図8は、本開示のさらなる実施形態によるコンピュータ装置の構造概略図である。図8に示されるように、コンピュータ装置は、メモリ81およびプロセッサ82を備える。

【0183】

メモリ81は命令を記憶するように構成され、プロセッサ82はメモリ81に結合され、プロセッサ82は、メモリに記憶された命令に基づいて、上述の実施形態に関連する方法(たとえば、図2から図5の実施形態のうちのいずれか1つによる位置特定方法)を実行するように構成される。

【0184】

図8に示されるように、コンピュータ装置はまた、他のデバイスとの情報相互作用のための通信インターフェース83を備える。同時に、コンピュータ装置はまた、プロセッサ82、通信インターフェース83、およびメモリ81が互いに通信するバス84を備える。

【0185】

メモリ81は、高速RAMメモリ、または不揮発性メモリ、たとえば少なくとも1つのディスクメモリを含み得る。メモリ81は、メモリアレイであってもよい。メモリ81は、特定の規則に従って仮想ボリュームに結合され得るブロックにさらに分割され得る。

【0186】

さらに、プロセッサ82は、中央処理装置CPU、または特定用途向け集積回路ASIC、あるいは本開示の実施形態を実装するように構成された1つもしくは複数の集積回路であってもよい。

【0187】

上述した本開示の実施形態に基づいて提供されるコンピュータ装置では、レーザSLAMとビジュアルSLAMとが融合されており、レーザSLAMとビジュアルSLAM双方自体の作業プロセスにおいて発生する問題を解決するために、レーザSLAMとビジュアルSLAMとの利点が互いに補完し合い、モバイルロボットなどのナビゲーションオブジェクトに対して、低コストで安定した位置特定ソリューションが提供される。

【0188】

本開示の上述の実施形態では、異なる自由度のポーズ融合によって引き起こされるエラーは、レーザSLAMとビジュアルSLAMとの融合プロセス中に低減される。

【0189】

ナビゲーションオブジェクトへのビジュアルSLAMの適用には、モーションの劣化や複雑なシナリオなどの問題があり、その結果、スケールが実際のスケールと一致しないことが多いという技術的な問題が発生するため、本開示の上述の実施形態における融合されたソリューションによって、ビジュアルSLAMのスケールをレーザSLAMのスケールと一致させることが可能である。

【0190】

上述の実施形態のビジョン位置特定結果は、レーザSLAMによって取得されたグリッドマップ上でのナビゲーションのために、ナビゲーションオブジェクトによって直接使用され得る。

【0191】

本開示の別の態様によれば、非一時的コンピュータ可読ストレージ媒体が提供され、この非一時的コンピュータ可読ストレージ媒体は、プロセッサによって遂行されると、上述の実施形態のうちのいずれか1つ(たとえば、図2から図5の実施形態のうちのいずれか1つ)による位置特定方法を実行するコンピュータ命令を記憶する。

【0192】

本開示の上記の実施形態に基づいて提供される位置特定装置は、レーザ-ビジョン融合屋内位置特定装置である。レーザSLAMとビジュアルSLAMとを融合することによって、レーザSLAMとビジュアルSLAM双方自体の作業プロセスにおいて発生する問題を解決するために、レーザSLAMとビジュアルSLAMとの利点が互いに補完し合い、モバイルロボットなどのナビゲーションオブジェクトに対して、低コストで安定した位置特定ソリューションが提供される。

【0193】

本開示の上記の実施形態では、レーザSLAMとビジュアルSLAMとの融合プロセス中に、異なる自由度のポーズ融合によって引き起こされるエラーが低減される。

【0194】

ナビゲーションオブジェクトへのビジュアルSLAMの適用には、モーションの劣化や複雑なシナリオなどの問題があり、その結果、スケールが実際のスケールと一致しないことが多いという技術的な問題が発生するため、本開示の上述の実施形態における融合されたソリューションによって、ビジュアルSLAMのスケールをレーザSLAMのスケールと一致させることが可能である。

【0195】

上述の実施形態のビジョン位置特定結果は、レーザSLAMによって取得されたグリッドマップ上でのナビゲーションのために、ナビゲーションオブジェクトによって直接使用され得る。

【0196】

上述の位置特定装置およびコンピュータ装置は、汎用プロセッサ、プログラマブルロジックコントローラ(PLC)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアアセンブリ、あるいは本出願に記載された機能を実行するためのそれらの任意の適切な組合せとして実装され得る。

【0197】

以上、本開示について詳細に説明した。本開示の概念を不明瞭にすることを避けるために、当技術分野でよく知られているいくつかの詳細は説明されていない。上述の説明によれば、当業者は、本明細書に開示された技術的ソリューションをどのように実装するかを完全に理解するであろう。

【0198】

当業者は、上述の実施形態におけるステップのすべてまたは一部が、ハードウェアによって、または関連するハードウェアに命令するプログラムによって達成され得ることを理解し得る。プログラムは、コンピュータ可読ストレージ媒体に記憶され得る。上述のストレージ媒体は、読取り専用メモリ、磁気ディスクまたは光ディスクなどであってもよい。

【0199】

例示および説明の目的でなされる本開示の説明は、省略されていないわけではなく、または本開示を開示された形態に限定するものではない。当業者には、多くの修正および変形が明らかである。実施形態は、本開示の原理および実際の適用をよりよく説明し、当業者が本開示を理解して、特定の目的に適合し、様々な修正を備える様々な実施形態を設計できるようにするために選択され、説明される。

【符号の説明】

【0200】

1 軌道
2 軌道
3 軌道
4 明るい色の部分
71 融合されたマッピングモジュール
72 融合された位置特定モジュール
81 メモリ
82 プロセッサ
83 通信インターフェース
84 バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】