特表2022-548441 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ チョーチアンセンスタイムテクノロジーデベロップメントカンパニー，リミテッドの特許一覧

特表2022-548441位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-21

(54)【発明の名称】位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

G06T 7/73 20170101AFI20221114BHJP

G06T 11/60 20060101ALI20221114BHJP

G01S 17/89 20200101ALI20221114BHJP

【ＦＩ】

G06T7/73

G06T11/60 300

G01S17/89

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021568700

(86)(22)【出願日】2020-12-28

(85)【翻訳文提出日】2021-11-16

(86)【国際出願番号】 CN2020140274

(87)【国際公開番号】W WO2022036980

(87)【国際公開日】2022-02-24

(31)【優先権主張番号】202010826704.X

(32)【優先日】2020-08-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＳＭＡＬＬＴＡＬＫ

３．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521295468

【氏名又は名称】チョーチアンセンスタイムテクノロジーデベロップメントカンパニー，リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】リウハオミン

(72)【発明者】

【氏名】ハンモン

(72)【発明者】

【氏名】ジャンジュアン

(72)【発明者】

【氏名】ジャングオフォン

【テーマコード（参考）】

5B050

5J084

5L096

【Ｆターム（参考）】

5B050AA07

5B050BA06

5B050BA17

5B050CA01

5B050DA05

5B050EA06

5B050EA07

5B050EA13

5B050EA21

5B050FA02

5J084AA04

5J084AA14

5J084AC02

5J084AC07

5J084AC08

5J084BA03

5J084BA48

5J084CA65

5L096AA06

5L096AA09

5L096BA08

5L096CA02

5L096DA02

5L096FA66

5L096FA67

5L096FA69

5L096HA09

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

本発明は、位置姿勢決定方法、装置、電子機器、記憶媒体及びプログラムに関する。前記方法は、目標場面における第１端末によって収集される収集データを取得することと、前記目標場面を含む全局地図を取得することであって、ここで、前記全局地図は、第２端末が前記目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、前記全局地図は、精度条件を満たすことと、前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することと、を含む。上記の方法によって、収集精度の高い第１位置姿勢データ規模に収集して、目標場面に対する余分の機器設定や複数の機器間の余分の較正、同期による計算量を削減することができる。

【特許請求の範囲】

【請求項1】

位置姿勢決定方法であって、
目標場面における第１端末によって収集される収集データを取得することと、
前記目標場面を含む全局地図を取得することであって、前記全局地図は、第２端末が前記目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、前記全局地図は、精度条件を満たすことと、
前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することと、を含む、位置姿勢決定方法。

【請求項2】

前記全局地図は、少なくとも１フレームの視覚点群を含み、前記視覚点群は、前記全局場面における少なくとも１つの三次元特徴点を含み、前記収集データは、第１収集画像を含み、
前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することは、
前記第１収集画像及び前記少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得ることと、
前記全局特徴マッチング結果に基づいて、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を決定することと、を含む、
請求項１に記載の位置姿勢決定方法。

【請求項3】

前記全局地図は、前記目標場面における少なくとも１フレームの視覚点群を含み、前記収集データは、少なくとも２フレームの第１収集画像を含み、
前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することは、
前記第１収集画像及び前記少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得ることと、
前記少なくとも２フレームの第１収集画像に対して特徴マッチングを行い、ローカル特徴マッチング結果を得ることと、
前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果に基づいて、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を決定することと、を含む、
請求項１に記載の位置姿勢決定方法。

【請求項4】

前記収集データは、さらに、第１慣性計測（ＩＭＵ）データを含み、
前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することは、
前記全局特徴マッチング結果及び／又は前記ローカル特徴マッチング結果に基づいて、第１拘束情報を取得することと、
前記第１ＩＭＵデータに基づいて、第２拘束情報を取得することと、
前記第１拘束情報及び前記第２拘束情報のうちの少なくとも１つに基づいて、前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果を処理して、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を得ることと、を含む、
請求項３に記載の位置姿勢決定方法。

【請求項5】

前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果を処理することは、
バンドル調整によって、前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果を処理することを含む、
請求項４に記載の位置姿勢決定方法。

【請求項6】

前記第１収集画像及び前記少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得ることは、
前記第１収集画像内の二次元特徴点を、前記少なくとも１フレームの視覚点群に含まれる三次元特徴点とマッチングして、前記全局特徴マッチング結果を得ることを含む、
請求項２ないし５のいずれか一項に記載の位置姿勢決定方法。

【請求項7】

前記位置姿勢決定方法は、
収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢に基づいて、運動真値データを決定することをさらに含む、
請求項１に記載の位置姿勢決定方法。

【請求項8】

前記収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢に基づいて、運動真値データを決定することは、
収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を前記運動真値データとすること、
及び／又は、
前記収集データのうちの少なくとも１つ、及び収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を、前記運動真値データとすることを含み、前記収集データは、
ワイヤレスネットワーク（ＷｉＦｉ）データ、ブルートゥースデータ、地磁気データ、超広帯域（ＵＷＢ）データ、第１収集画像及び第１ＩＭＵデータのうちの１つ又は複数を含む、
請求項７に記載の位置姿勢決定方法。

【請求項9】

前記運動真値データは、
測位結果の精度を判断すること、ニューラルネットワークを訓練すること、及び前記全局地図と情報融合を行うこと、のうちの少なくとも１つに使用される、
請求項７又は８のいずれか一項に記載の位置姿勢決定方法。

【請求項10】

前記地図データは、前記全局場面におけるレーザ点群、第２収集画像及び第２ＩＭＵデータを含み、
前記位置姿勢決定方法は、
前記第２端末によって収集される前記全局場面の地図データを取得することと、
前記地図データに基づいて、前記全局場面に対してオフラインで再構築を行い、前記全局場面の全局地図を生成することと、をさらに含む、
請求項１に記載の位置姿勢決定方法。

【請求項11】

前記地図データに基づいて、前記全局場面に対してオフラインで再構築を行い、前記全局場面の全局地図を生成することは、
前記第２ＩＭＵデータ及び前記レーザ点群に基づいて、データ収集過程における前記第２端末の少なくとも１つの第２位置姿勢を決定することと、
少なくとも１つの前記第２位置姿勢及び前記第２収集画像に基づいて、前記全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得ることであって、前記視覚点群は、前記全局場面における少なくとも１つの三次元特徴点を含むことと、
前記少なくとも１フレームの視覚点群に基づいて、前記全局場面の全局地図を得ることと、を含む、
請求項１０に記載の位置姿勢決定方法。

【請求項12】

前記少なくとも１つの前記第２位置姿勢及び前記第２収集画像に基づいて、前記全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得ることは、
前記少なくとも１つの前記第２位置姿勢及び前記第２収集画像に基づいて、前記全局場面に対して視覚地図再構築を行い、少なくとも１フレームの初期視覚点群を得ることと、
前記レーザ点群及び／又は前記第２収集画像に基づいて、視覚地図再構築過程における第３拘束情報を取得することであって、前記第３拘束情報は、前記レーザ点群の平面拘束情報、前記レーザ点群のエッジ拘束情報及び視覚拘束情報のうちの１つ又は複数を含むことと、
前記第３拘束情報に基づいて、前記少なくとも１フレームの初期視覚点群を最適化して、少なくとも１フレームの視覚点群を得ることと、を含む、
請求項１１に記載の位置姿勢決定方法。

【請求項13】

前記第２端末は、
前記全局場面におけるレーザ点群を取得するために使用される、レーダと、
前記全局場面における第２収集画像を取得するために使用される、視覚センサと、
前記全局場面における第２ＩＭＵデータを取得するために使用される、ＩＭＵセンサと、を備える、
請求項１０に記載の位置姿勢決定方法。

【請求項14】

前記地図データに基づいて、前記全局場面に対してオフラインで再構築を行い、前記全局場面の全局地図を生成する前に、
前記視覚センサと前記ＩＭＵセンサとの座標変換関係を較正して、第１較正結果を得ることと、
前記レーダと前記視覚センサとの座標変換関係を較正して、第２較正結果を得ることと、
前記第１較正結果及び前記第２較正結果に基づいて、前記視覚センサ、ＩＭＵセンサ及びレーダの間の座標変換関係に対して共同較正を行うことと、をさらに含む、
請求項１３に記載の位置姿勢決定方法。

【請求項15】

前記位置姿勢決定方法は、
前記第２端末で前記地図データを収集する過程において、前記地図データに基づいて、前記全局場面に対してリアルタイムの再構築を行い、前記全局場面のリアルタイム地図を生成することと、
目標機器に前記地図データ及び／又は前記リアルタイム地図を送信することと、をさらに含み、前記目標機器は、前記全局場面に対してデータ収集を完了した地理範囲を表示するために使用される、
請求項１０ないし１４のいずれか一項に記載の位置姿勢決定方法。

【請求項16】

位置姿勢決定装置であって、
目標場面における第１端末によって収集される収集データを取得するように構成される、収集データ取得モジュールと、
前記目標場面を含む全局地図を取得するように構成される、全局地図取得モジュールであって、前記全局地図は、第２端末が前記目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、前記全局地図は、精度条件を満たす、全局地図取得モジュールと、
前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定するように構成される、位置姿勢決定モジュールと、を備える、位置姿勢決定装置。

【請求項17】

前記全局地図は、少なくとも１フレームの視覚点群を含み、前記視覚点群は、前記全局場面における少なくとも１つの三次元特徴点を含み、前記収集データは、第１収集画像を含み、
前記位置姿勢決定モジュールは、前記第１収集画像及び前記少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得、前記全局特徴マッチング結果に基づいて、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を決定するように構成される、
請求項１６に記載の位置姿勢決定装置。

【請求項18】

前記全局地図は、前記目標場面における少なくとも１フレームの視覚点群を含み、前記収集データは、少なくとも２フレームの第１収集画像を含み、
前記位置姿勢決定モジュールは、前記第１収集画像及び前記少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得、前記少なくとも２フレームの第１収集画像に対して特徴マッチングを行い、ローカル特徴マッチング結果を得、前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果に基づいて、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を決定するように構成される、
請求項１６に記載の位置姿勢決定装置。

【請求項19】

前記収集データは、さらに、第１慣性計測（ＩＭＵ）データを含み、
前記位置姿勢決定モジュールは、前記全局特徴マッチング結果及び／又は前記ローカル特徴マッチング結果に基づいて、第１拘束情報を取得し、前記第１ＩＭＵデータに基づいて、第２拘束情報を取得し、前記第１拘束情報及び前記第２拘束情報のうちの少なくとも１つに基づいて、前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果を処理して、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を得るように構成される、
請求項１８に記載の位置姿勢決定装置。

【請求項20】

前記位置姿勢決定モジュールは、バンドル調整によって、前記全局特徴マッチング結果及び前記ローカル特徴マッチング結果を処理するように構成される、
請求項１９に記載の位置姿勢決定装置。

【請求項21】

前記位置姿勢決定モジュールは、前記第１収集画像内の二次元特徴点を、前記少なくとも１フレームの視覚点群に含まれる三次元特徴点とマッチングして、前記全局特徴マッチング結果を得るように構成される、
請求項１７ないし２０のいずれか一項に記載の位置姿勢決定装置。

【請求項22】

前記位置姿勢決定装置は、さらに、運動真値取得モジュールを備え、
前記運動真値取得モジュールは、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢に基づいて、運動真値データを決定するように構成される、
請求項１６に記載の位置姿勢決定装置。

【請求項23】

前記運動真値取得モジュールは、収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を、前記運動真値データとするように構成され、
及び／又は、
前記収集データのうちの少なくとも１つ、及び収集過程における前記第１端末の少なくとも１つの前記第１位置姿勢を、前記運動真値データとするように構成され、前記収集データは、ワイヤレスネットワーク（ＷｉＦｉ）データ、ブルートゥースデータ、地磁気データ、超広帯域（ＵＷＢ）データ、第１収集画像及び第１ＩＭＵデータのうちの１つ又は複数を含む、
請求項２２に記載の位置姿勢決定装置。

【請求項24】

前記運動真値データは、
測位結果の精度を判断すること、ニューラルネットワークを訓練すること、及び前記全局地図と情報融合を行うこと、のうちの少なくとも１つに使用される、
請求項２２又は２３のいずれか一項に記載の位置姿勢決定装置。

【請求項25】

前記地図データは、前記全局場面におけるレーザ点群、第２収集画像及び第２ＩＭＵデータを含み、前記位置姿勢決定装置は、さらに、地図データ取得モジュール及び全局地図生成モジュールを備え、
前記地図データ取得モジュールは、前記第２端末によって収集される前記全局場面の地図データを取得するように構成され、
前記全局地図生成モジュールは、前記地図データに基づいて、前記全局場面に対してオフラインで再構築を行い、前記全局場面の全局地図を生成するように構成される、
請求項１６に記載の位置姿勢決定装置。

【請求項26】

前記全局地図生成モジュールは、前記第２ＩＭＵデータ及び前記レーザ点群に基づいて、データ収集過程における前記第２端末の少なくとも１つの第２位置姿勢を決定し、前記少なくとも１つの前記第２位置姿勢及び前記第２収集画像に基づいて、前記全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得、前記少なくとも１フレームの視覚点群に基づいて、前記全局場面の全局地図を得るように構成され、前記視覚点群は、前記全局場面における少なくとも１つの三次元特徴点を含む、
請求項２５に記載の位置姿勢決定装置。

【請求項27】

前記全局地図生成モジュールは、前記少なくとも１つの前記第２位置姿勢及び前記第２収集画像に基づいて、前記全局場面に対して視覚地図再構築を行い、少なくとも１フレームの初期視覚点群を得、前記レーザ点群及び／又は前記第２収集画像に基づいて、視覚地図再構築過程における第３拘束情報を取得し、前記第３拘束情報に基づいて、前記少なくとも１フレームの初期視覚点群を最適化して、少なくとも１フレームの視覚点群を得、前記第３拘束情報に基づいて、前記少なくとも１フレームの初期視覚点群を最適化して、少なくとも１フレームの視覚点群を得るように構成され、前記第３拘束情報は、前記レーザ点群の平面拘束情報、前記レーザ点群のエッジ拘束情報及び視覚拘束情報のうちの１つ又は複数を含む、
請求項２６に記載の位置姿勢決定装置。

【請求項28】

前記第２端末は、
前記全局場面におけるレーザ点群を取得するために使用される、レーダと、
前記全局場面における第２収集画像を取得するために使用される、視覚センサと、
前記全局場面における第２ＩＭＵデータを取得するために使用される、ＩＭＵセンサと、を備える、
請求項２５に記載の位置姿勢決定装置。

【請求項29】

前記位置姿勢決定装置は、前記視覚センサと前記ＩＭＵセンサとの座標変換関係を較正して、第１較正結果を得、前記レーダと前記視覚センサとの座標変換関係を較正して、第２較正結果を得、前記第１較正結果及び前記第２較正結果に基づいて、前記視覚センサ、ＩＭＵセンサ及びレーダの間の座標変換関係に対して共同較正を行うように構成される、
請求項２８に記載の位置姿勢決定装置。

【請求項30】

前記位置姿勢決定装置は、前記第２端末で前記地図データを収集する過程において、前記地図データに基づいて、前記全局場面に対してリアルタイムの再構築を行い、前記全局場面のリアルタイム地図を生成し、目標機器に前記地図データ及び／又は前記リアルタイム地図を送信するように構成され、前記目標機器は、前記全局場面に対してデータ収集を完了した地理範囲を表示するために使用される、
請求項２５ないし２９のいずれか一項に記載の位置姿勢決定装置。

【請求項31】

電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成される、メモリと、を備え、
前記プロセッサは、前記メモリによって記憶される命令を呼び出して、請求項１ないし１５のいずれか一項に記載の位置姿勢決定方法を実行するように構成される、電子機器。

【請求項32】

コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項１ないし１５のいずれか１項に記載の位置姿勢決定方法を実現する、コンピュータ可読記憶媒体。

【請求項33】

コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが、電子機器で実行される場合、前記電子機器のプロセッサは、請求項１ないし１５のいずれか一項に記載の位置姿勢決定方法を実現するために実行される、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年８月１７日に中国特許局に提出された、出願番号が２０２０１０８２６７０４．Ｘである、中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

【0002】

本発明は、コンピュータビジョン技術分野に関し、特に、位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関するが、これに限定されない。

【背景技術】

【0003】

モバイルセンサ、ネットワーク基盤よびクラウドコンピューティングの急速な発展に伴い、拡張現実の応用場面は、中小規模から大規模環境に拡張され、大規模環境における測位は、拡張現実応用の重要な要件である。関連技術における測位技術は、大量の運動真値データを利用する必要があり、例えば、移動中の機器の位置姿勢データを利用して実現する必要があり、さらに、アルゴリズム基準検証又はモデル訓練を実行するときにも、位置姿勢データを含む大量の運動真値データを利用して実現している。したがって、低いコストで精度の高い運動真値データを取得することは、早急な解決の待たれる課題である。

【発明の概要】

【0004】

本発明の実施例は、位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提案する。

【0005】

本発明の実施例は、位置姿勢決定方法を提供し、前記方法は、
目標場面における第１端末によって収集される収集データを取得することと、前記目標場面を含む全局地図を取得することであって、ここで、前記全局地図は、第２端末が前記目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、前記全局地図は、精度条件を満たすことと、
前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することと、を含む。

【0006】

本発明の実施例は、さらに、位置姿勢決定装置を提供し、前記装置は、
目標場面における第１端末によって収集される収集データを取得するように構成される、収集データ取得モジュールと、
前記目標場面を含む全局地図を取得するように構成される、全局地図取得モジュールであって、ここで、前記全局地図は、第２端末が前記目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、前記全局地図は、精度条件を満たす、全局地図取得モジュールと、
前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定するように構成される、位置姿勢決定モジュールと、を備える。

【0007】

本発明のいくつかの実施例において、前記全局地図は、少なくとも１フレームの視覚点群を含み、前記視覚点群は、前記全局場面における少なくとも１つの三次元特徴点を含み、前記収集データは、第１収集画像を含み、
本発明の実施例は、さらに、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備える、電子機器を提供し、ここで、前記プロセッサは、前記メモリに記憶される命令を呼び出して、上記のいずれか１つの位置姿勢決定方法を実行するように構成される。

【0008】

本発明の実施例は、さらに、コンピュータプログラム命令を記憶する、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記のいずれか１つの位置姿勢決定方法を実現する。

【0009】

本発明の実施例は、さらに、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器のプロセッサは、上記のいずれか１つの位置姿勢決定方法を実現するために実行される。

【0010】

本発明の実施例において、目標場面における第１端末によって収集された収集データを取得し、及び目標場面を含む全局地図取得し、収集データと全局地図との特徴対応関係に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定する。上記の過程によって、全局場面の全局地図を再利用することができ、全局地図を生成した後、第１端末によって大量の第１位置姿勢データを規模的に収集することができ、第１位置姿勢を生成するための収集データを取得する方式も簡単であり、第１端末のみによって、収集することができ、目標場面に対する余分の機器設定や複数の機器間の余分の較正、同期などを削減することにより、第１位置姿勢の取得コストを削減し、さらに、全局地図が精度条件を満たしているため、収集データと全局地図との特徴対応関係に基づいて得られた第１位置姿勢のデータも、比較的に高い精度を有する。

【0011】

上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明に過ぎず、本発明を限定するものではないことを理解されたい。

【0012】

以下の図面を参照しや例示的な実施例に対する詳細な説明によれば、本発明の他の特徴及び態様は明らかになる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施例による位置姿勢決定方法のフローチャートである。

【図2】本発明の実施例による視覚点群の最適化前後の比較概略図である。

【図3】本発明の実施例による第２端末の例示的な構造図である。

【図4】本発明の実施例による運動真値データを取得する例示的なフローチャートである。

【図5】本発明の実施例による位置姿勢決定装置の例示的な構造図である。

【図6】本発明の実施例による第１種の電子機器の例示的な構造図である。

【図7】本発明の実施例による第２種の電子機器の例示的な構造図である。

【発明を実施するための形態】

【0014】

上記の図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明に該当する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。

【0015】

以下、図面を参照して本発明の様々な例示的な実施例、特徴及び態様を詳細に説明する。図面内の同じ参照番号は、同じ又は類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。

【0016】

ここで記載されている用語「例示的」とは、「例、実施例又は説明用として使用される」ことを意味する。ここで、「例示的」として記載される任意の実施例は、他の実施例より優れる又はより好ましいと解釈する必要はない。

【0017】

本明細書における「及び／又は」という記載は、単なる関連対象を説明するための関連関係であり、３種類の関係が存在し得ることを表示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合などの３つの場合を表示する。さらに、本明細書における「少なくとも１つ」という記載は、複数のうちの１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣで構成される集合から選択された任意の１つ又は複数の要素を含むことを示す。

【0018】

さらに、本発明の実施例をよりよく説明するために、以下の具体的な実施形態において多くの具体的な詳細を記載する。具体的な詳細の一部が記載されなくても、当業者であれば、本発明を同様に実施することができることを理解すべきである。いくつかの例において、本開示の要旨を強調するために、当業者の周知の方法、手段、要素及び回路は、詳細に記載しない。

【0019】

移動測位は、拡張現実、自動運転、移動ロボットなどの応用分野における重要な技術である。拡張現実において、リアルタイムの測位結果に基づいて、仮想物体を実の環境とシームレスに統合して、車両又は移動ロボットの経路計画を実現するために使用される。従来の移動測位は、主に、レーザ機器、差分全地球測位システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）の機器、高精度慣性航法機器などの専用のハードウェア機器に依存して実現されるが、これらの機器のコストが高く、柔軟性が悪いため、幅広く適用されることができない。カメラを配置し、コンピューティング能力が明らかに改善されたモバイル機器の普及に伴い、コストが低い視覚センサ及びＩＭＵのＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ）は、大きな突破を果たし、比較的に小さい範囲内でリアルタイムの測位を実現することができるようになる。拡張現実に関して、スマート端末に配置された、ＳＬＡＭベースの拡張現実プラットフォームの登場により、スマート端末は、拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）の時代に入った。大規模場面の高精度地図を再構築することにより、地球レベルのセンチレベルの測位を提供し、例えば、位置姿勢の決定を提供し、これは、傾向になった。しかし、関連技術には、コストが低い機器に基づいて高精度の位置姿勢決定を実現する技術案はまたない。

【0020】

図１は、本発明の実施例による位置姿勢決定方法のフローチャートであり、当該方法は、位置姿勢決定装置に適用されることができる。ここで、位置姿勢決定装置は、端末機器、サーバ又は他の処理機器などであり得る。端末機器はユーザ機器（ＵＥ：ＵｓｅｒＥｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであり得る。

【0021】

本発明のいくつかの実施例において、本発明の実施例による位置姿勢決定方法は、プロセッサが、メモリに記憶されるコンピュータ可読命令を呼び出す方式によって実現することができる。

【0022】

図１に示されたように、前記位置姿勢決定方法は、ステップＳ１１ないしステップＳ１３を含み得る。

【0023】

ステップＳ１１において、目標場面における第１端末によって収集される収集データを取得する。

【0024】

ステップＳ１２において、目標場面を含む全局地図を取得する。

【0025】

ここで、全局地図は、第２端末が目標場面の全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、全局地図は、精度条件を満たす。

【0026】

ステップＳ１３において、収集データと全局地図との特徴対応関係に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定する。

【0027】

本発明のいくつかの実施例において、目標場面は、第１端末が収集データを取得する任意の場面であり得、その実現形態は、実際のニーズに応じて柔軟に决定することができ、本発明の実施例では制限しない。

【0028】

本発明のいくつかの実施例において、目標場面は、広場、街又は空き地などの、屋外場面を含み得る。

【0029】

本発明のいくつかの実施例において、目標場面は、教室、オフィスビル又は住宅などの屋内場面を含み得る。

【0030】

本発明のいくつかの実施例において、目標場面は、屋外場面及び屋内場面を同時に含み得る。

【0031】

本発明のいくつかの実施例において、第１端末は、データ収集機能を有するモバイル端末であり得、任意のモバイル及びデータ収集機能を有する機器は、すべて第１端末とすることができる。

【0032】

本発明のいくつかの実施例において、第１端末は、携帯電話又はＡＲ眼鏡などのＡＲ機器であり得る。

【0033】

本発明のいくつかの実施例において、収集データは、第１端末が、目標場面で収集したデータであり得、データ収集の実現形態及びそれに含まれるデータ内容のいずれも、第１端末のデータ収集方式、又は第１端末のデータ収集の実際の実現形態に応じて柔軟に决定することができ、本発明の実施例は、これに対して限定しない。

【0034】

本発明のいくつかの実施例において、第１端末がＡＲ機器である場合、収集データは、ＡＲ機器が目標場面に対して画像収集を行って得られた第１収集画像などを含み得、第１端末がＡＲ機器である場合、収集データは、さらに、ＡＲ機器内のＩＭＵが目標場面に対してデータ収集を行って得られた第１ＩＭＵデータなどを含み得る。

【0035】

本発明のいくつかの実施例において、第１端末は、目標場面で移動して、収集データを収集することができ、ここで、第１端末の具体的な移動過程及び方式はすべて、実際の場合に応じて柔軟に選択することができる。

【0036】

本発明のいくつかの実施例において、第１端末から収集データを読み取り、又は第１端末によって伝送される収集データを受信する方式によって、収集データを取得することができる。本発明のいくつかの実施例において、本発明の実施例による位置姿勢決定方法は、第１端末に適用することもでき、この場合、第１端末が、目標場面で収集した収集データを直接に取得することができる。

【0037】

本発明のいくつかの実施例において、目標場面が、ある空き地又は広場を含む屋外場面である場合、全局場面は、目標場面を含む郊外又は都市の場面であり得、同時に、当該全局場面は、当該郊外又は都市内の屋外場面を含んでもよいし、当該郊外又は都市内の屋内場面などを含んでもよい。

【0038】

本発明のいくつかの実施例において、地図データは、全局場面に対して画像収集を行って得られた第２収集画像を含み得、地図データは、全局場面に対してＩＭＵデータ収集を行って得られた第２ＩＭＵデータを含み得、地図データは、さらに、全局場面に対してレーダ走査を行って得られたレーザ点群データなどを含み得る。

【0039】

本発明のいくつかの実施例において、第２端末が、画像収集のための視覚センサを備える場合、地図データは、第２収集画像を含み得、第２端末は、ＩＭＵデータを収集するためのＩＭＵセンサを備える場合、地図データは、第２ＩＭＵデータを含み得、第２端末が、レーザ点群を収集するためのレーダを備える場合、地図データは、レーザ点群データを含み得る。第２端末が備えるハードウェア構造及び接続方式は、後述の各開示の実施例を参照でき、ここでは詳細に説明しない。

【0040】

本発明のいくつかの実施例において、全局地図の実現形態は、全局場面の実際の状況、及び地図データのデータ内容に応じて决定される。本発明のいくつかの実施例において、全局地図は、全局場面内の各三次元特徴点の関連情報を含み得る。本発明のいくつかの実施例において、全局地図は、全局場面内の各三次元特徴点の関連情報を含み得、ここで、全局場面内の三次元特徴点は、画像の形で表示され、三次元特徴点に関する情報に含まれる情報内容は、実際の場合に応じて柔軟に决定することができ、例えば、三次元特徴点の座標及び三次元特徴点の特徴情報を含み、ここで、三次元特徴点の特徴情報は、三次元特徴点に対応する特徴記述子、三次元特徴点に対応する通信信号指紋、又はセマンティック情報のうちの１つ又は複数などの特徴に関する情報を含み得る。

【0041】

本発明のいくつかの実施例において、全局地図の精度は、全局地図内の各三次元特徴点の位置精度であり得、例えば、全局地図に含まれる三次元特徴点の座標と、全局場面における三次元特徴点の実際の位置との位置差であり得る。したがって、全局地図の精度条件が、全局地図内の各三次元特徴点の位置が、精度要求に達したか否かを決定するために使用されることができ、精度条件の具体的な内容は、実際の場合に応じて柔軟に設定することができる。

【0042】

本発明のいくつかの実施例において、全局地図内の三次元特徴点の座標と、その実際の位置との位置差を直接に判断する難度が高い可能性があるため、地図データのデータ収集量が、特定のデータ値に達したか否か、又は全局地図を生成する方法精度は、要求に達したか否かの方式によって、全局地図が、精度条件を満たすか否かを間接的に判断することができる。例を挙げると、収集された地図データに対応する地理範囲と、全局場面によってカバーされた地理範囲との比が、プリセットの閾値に達したか否かを判断する方式によって、全局地図が、精度条件を満たすか否かを間接的に推断することができる。

【0043】

本発明のいくつかの実施例において、第２端末によって収集された地図データを取得することにより、地図データに基づいて、位置姿勢決定装置で全局地図を生成することができ、全局地図は、他の装置又は機器で生成されることもでき、この場合、全局地図を取得する方式は、全局地図の記憶装置又は生成装置から、全局地図を直接に読み取ることであり得る。

【0044】

本発明のいくつかの実施例において、第２端末は、全局場面で移動して、対応する地図データを収集することができる。

【0045】

開示された実施例において、ステップＳ１１及びステップＳ１２の実現順序は、本発明の実施例で限定されなく、例示的に、ステップＳ１１及びステップＳ１２は、特定の優先順位で順次に実行してもよいし、ステップＳ１１及びステップＳ１２は、同時に実行してもよい。

【0046】

本発明の実施例において、収集データは、目標場面を収集して得られたデータであり得るため、収集データは、目標場面の特徴を表すことができ、全局地図に対応する全局場面は、目標場面を含むため、全局地図は、目標場面の特徴を含むことができ、よって、収集データと全局地図との特徴対応関係によって、収集データと全局地図との特徴対応関係を含み得る。さらに、目標場面における第１端末の移動によって、大量の収集データを収集することができ、収集データの間にも目標場面の特徴を表すことができるため、本発明の実施例において、収集データと全局地図との特徴対応関係は、収集データ自体に含まれる各データ内部間の特徴対応関係を含むことができる。

【0047】

本発明のいくつかの実施例において、第１位置姿勢は、第１端末が目標場面の移動過程で、データ収集操作を実行した時刻に対応する１つ又は複数の位置姿勢であり得、ここで、第１位置姿勢の数は、実際の場合に応じて柔軟に决定することができる。本発明のいくつかの実施例において、第１位置姿勢は、収集データに対応することができ、即ち、第１位置姿勢は、第１端末が各収集データを収集する時刻に対応する位置姿勢であり得る。

【0048】

本発明の実施例において、目標場面における第１端末によって収集された収集データを取得し、及び目標場面を含む全局地図取得し、収集データと全局地図との特徴対応関係に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定することができる。上記の過程によって、全局場面の全局地図を再利用することができ、全局地図を生成した後、全局地図を生成した後、第１端末によって大量の第１位置姿勢データを規模的に収集することができ、第１位置姿勢を生成するための収集データを取得する方式も簡単であり、第１端末のみによって、収集することができ、標場面に対する余分の機器設定や複数の機器間の余分の較正、同期を削減することにより、第１位置姿勢を取得するコストを削減し、さらに、全局地図が精度条件を満たしているため、収集データと全局地図との特徴対応関係に基づいて得られた第１位置姿勢も、比較的に高い精度を有する。

【0049】

上記の各開示された実施例の記載のように、地図データの取得形態は、実際の場合に応じて柔軟に决定することができ、地図データに基づいて全局地図を生成する方式は、地図データの実際の場合に応じて柔軟に决定することができる。したがって、本発明のいくつかの実施形態において、地図データは、全局場面内のレーザ点群、第２収集画像及び第２ＩＭＵデータを含み得る。

【0050】

本発明の実施例による位置姿勢決定方法は、
第２端末によって収集される全局場面の地図データを取得することと、
地図データに基づいて、全局場面に対してオフラインで再構築を行い、全局場面の全局地図を生成することと、をさらに含む。

【0051】

本発明のいくつかの実施例において、レーザ点群は、第２端末が全局場面に対してレーダ走査を行って得られた複数のレーザ点によって構成された点群であり得、レーザ点群に含まれるレーザ点数は、第２端末のレーダ走査の状況、及び全局場面における第２端末の移動軌跡によって柔軟に決定されることができ、本発明の実施例では限定しない。

【0052】

本発明のいくつかの実施例において、第２収集画像は、第２端末が、全局場面で移動する過程で収集された複数の画像であり得、第２収集画像の数は、全局場面における第２端末の移動状況、及び第２端末に含まれる、画像収集のためのハードウェア機器の数によって决定されることができ、本発明の実施例では限定しない。

【0053】

本発明のいくつかの実施例において、第２ＩＭＵデータは、第２端末が、全局場面で移動する過程で収集された関連慣性計測データであり得、第２ＩＭＵデータの数は、同じく、全局場面における第２端末の移動状況、及び第２端末に含まれる、ＩＭＵデータを収集するためのハードウェア機器の数によって决定されることができ、本発明の実施例では限定しない。

【0054】

本発明の実施例において、レーザ点群、第２収集画像及び第２ＩＭＵデータを含む地図データを取得し、取得された地図データに基づいて、全局場面に対してオフラインで再構築を実行することにより、全局場面の全局地図を生成することができる。上記の過程によって、全局場面に対して、比較的に全面的な地図データ収集を完了した後、収集された大量の地図データを総合して、全局場面に対して全面的なオフラインで再構築を実行し、それにより、生成された全局地図を、比較的に高い精度を有するようにし、それによって、全局地図及び収集データに基づいて決定された少なくとも１つの第１位置姿勢の結果を比較的に正確にする同時に、地図データが、レーザ点群、第２収集画像及び第２ＩＭＵデータを含むため、これらのデータの取得方式は、比較的に簡単で、取得過程が空間制限を受けるのが比較的に少なく、したがって、本発明の実施例による位置姿勢決定方法は、地図データ及び全局地図を取得する難度が低く、それにより、環境及び／又は機器への依存度が低くなり、さらに、当該位置姿勢決定方法を様々な場面に適用させる。

【0055】

上記の開示された実施例の記載のように、オフラインでの再構築の過程は、実際の場合に応じて柔軟に决定することができる。本発明のいくつかの実施形態において、地図データに基づいて、全局場面に対してオフラインで再構築を行い、全局場面の全局地図を生成することは、
第２ＩＭＵデータ及びレーザ点群に基づいて、データ収集過程における第２端末の少なくとも１つの第２位置姿勢を決定することと、
少なくとも１つの第２位置姿勢、及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得ることであって、ここで、視覚点群は、全局場面における少なくとも１つの三次元特徴点を含むことと、
少なくとも１フレームの視覚点群に基づいて、全局場面の全局地図を得ることと、を含む。

【0056】

本発明のいくつかの実施例において、第２ＩＭＵデータに基づいて、第２端末がデータを収集する過程の異なる時刻で、取得されたレーザ点を当該時刻におけるレーザレーダフレームに投影して、レーザ点の投影結果に基づいて、第２端末がデータを収集する過程での異なる時刻の第２位置姿勢を推定することができる。

【0057】

本発明のいくつかの実施例において、データ収集過程における第２端末の少なくとも１つの第２位置姿勢を決定した後、少なくとも１つの第２位置姿勢、及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得ることができる。視覚点群は、全局場面内の少なくとも１つの三次元特徴点を含み得、視覚点群の数及び含まれる三次元特徴点の数は、本発明の実施例では限定しない。

【0058】

本発明のいくつかの実施例において、全局地図は、１フレーム又は複数のフレームの視覚点群を含み得る。上記の各開示された実施例の記載のように、全局地図は、全局場面内の各三次元特徴点の関連情報を含み得る。本発明のいくつかの実施例において、視覚点群は、視覚画像によって得られることができ、この場合、全局地図は、さらに、視覚点群を観察するための少なくとも１フレームの視覚画像を含み得る。

【0059】

本発明のいくつかの実施例において、視覚点群に含まれる三次元特徴点は、三次元特徴点は、全局地図に記憶されることができるため、視覚点群は、三次元特徴点の特徴情報に対応することもできる。本発明のいくつかの実施例において、三次元特徴点の特徴記述子は、第２収集画像から抽出された特徴によって決定されることができ、よって、視覚点群は、三次元特徴点の特徴記述子に対応することができる。本発明のいくつかの実施例において、地図データは、ＷｉＦｉ信号、ブルートゥース信号又はＵＷＢ信号などの通信に関する信号データを含み得、これらの信号は、信号指紋として、三次元特徴点に対応して、三次元特徴点の特徴情報とすることができるため、視覚点群は、三次元特徴点の通信信号指紋に対応することができる。本発明のいくつかの実施例において、第２収集画像は、いくつかのセマンティック情報を含み得、これらのセマンティック情報も、三次元特徴点と対応関係を確立することができ、それによって、三次元特徴点の特徴情報とすることができ、この場合、視覚点群は、セマンティック情報と対応関係を確立することができる。

【0060】

本発明のいくつかの実施例において、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ－ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）によって、第２収集画像に対して特徴抽出及びマッチングを行い、少なくとも１フレームの視覚点群を生成することができ、例示的に、レーザ点群及び第２ＩＭＵデータによって決定された少なくとも１つの第２位置姿勢に基づいて、さらに、少なくとも１フレームの視覚点群から、各三次元特徴点の座標などの情報を観察することができる。

【0061】

本発明のいくつかの実施例において、得られたすべての視覚点群、及びこれらの視覚点群に対応する三次元特徴点の特徴情報などを、共に全局地図とすることができ、本発明のいくつかの実施例において、得られた視覚点群から１フレーム又は複数のフレームを選択し、この１フレーム又は複数のフレームの視覚点群に対応する三次元特徴点の特徴情報などに基づいて、共に全局地図とすることができる。

【0062】

本発明の実施例において、レーザ点群、第２ＩＭＵデータ及び第２収集画像を総合的に利用することができ、視覚点群によって全局場面内の各三次元特徴点の位置及び特徴等情報を表し、取得し易いデータを利用して、全局地図を再構築することができ、再構築された結果は、比較的に正確であり、すべての姿勢決定過程の便利性及び決定精度を向上させる。

【0063】

本発明のいくつかの実施形態において、少なくとも１つの第２位置姿勢、及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得ることは、
少なくとも１つの第２位置姿勢、及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行い、少なくとも１フレームの初期視覚点群を得ることと、
レーザ点群及び／又は第２収集画像に基づいて、視覚地図再構築過程における第３拘束情報を取得することと、
第３拘束情報に基づいて、少なくとも１フレームの初期視覚点群を最適化して、少なくとも１フレームの視覚点群を得ることと、を含む。

【0064】

レーザ点群に基づいて決定された第２位置姿勢の精度が、比較的に低い可能性がある。この場合、決定された第２位置姿勢を直接に利用して、第２収集画像と組み合わせて視覚地図再構築を行って得られた視覚点群は、大きいノイズを含む可能性がある。したがって、本発明の実施例において、第２位置姿勢及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行った後、視覚地図再構築によって得られた画像を初期視覚点群として使用し、レーザ点群及び／又は第２収集画像によって生成された第３拘束情報に基づいて、初期視覚点群をさらに最適化して、初期視覚点群内のノイズを減らして、比較的に高い精度の視覚点群を得ることができる。

【0065】

ここで、第２位置姿勢及び第２収集画像に基づいて視覚地図再構築を行い、少なくとも１フレームの初期視覚点群を得る過程は、上記の開示された実施例を参照でき、ここでは繰り返して説明しない。

【0066】

本発明の実施例において、第３拘束情報は、レーザ点群及び／又は第２収集画像に基づいて決定された拘束情報であり得る。

【0067】

本発明のいくつかの実施形態において、レーザ点群に基づいて、視覚地図再構築過程における第３拘束情報を取得することは、
リアルタイムのレーザオドメトリとマッピング（ＬＯＡＭ：ＬｉｄａｒＯｄｏｍｅｔｒｙａｎｄＭａｐｐｉｎｇｉｎｒｅａｌ－ｔｉｍｅ）方法によって、レーザ点群に対して特徴抽出を行い、レーザ点群の平面特徴情報及びエッジ特徴情報を決定することと、
レーザ点群の平面特徴情報に基づいて、視覚地図再構築過程におけるレーザ点群の平面拘束情報を決定することと、
レーザ点群のエッジ特徴情報に基づいて、視覚地図再構築過程におけるレーザ点群のエッジ拘束情報を決定することと、
レーザ点群の平面拘束情報及び／又はレーザ点群のエッジ拘束情報に基づいて、視覚地図再構築過程における第３拘束情報を取得することと、を含み得る。

【0068】

ここで、レーザ点群の平面特徴情報は、レーザ点群の実際状況に応じて柔軟に決定することができ、レーザ点群の平面特徴情報に基づいて決定された平面拘束情報の具体的な形態は、実際の場合に応じて柔軟に選択することができ、例示的に、平面拘束情報は、式（１）によって計算することができる。

（１）

【0069】

式（１）において、

及び

は、２つの異なるレーザ点群座標系であり、

は、座標系

における特徴点

の平面特徴の法線ベクトルであり、

は、

の転置であり、

は、座標系ｎとｍとの変換関係であり、

は、座標系ｎにおける特徴点であり、

は、座標系ｍにおける特徴点であり、

は、

という座標変換関係に基づいて、

に対して実行された座標変換であり、

は、レーザ点群の平面特徴の共分散行列であり、ここで、

の数値は、実際の場合に応じて柔軟に設定することができ、例えば、

は、０．２ｍ^２に設定することができる。

【0070】

同様に、レーザ点群のエッジ特徴情報も、レーザ点群の実際状況に応じて柔軟に決定することができ、レーザ点群のエッジ特徴情報に基づいて決定されたエッジ拘束情報の具体的な形態は、実際の場合に応じて柔軟に選択することができ、例示的に、エッジ拘束情報は、式（２）によって計算することができる。

（２）

【0071】

式（２）において、

は、座標系ｍにおける特徴点

のエッジ特徴方向ベクトルであり、

は、レーザ点群のエッジ特徴の共分散行列であり、他のパラメータは、式（１）の対応するパラメータと同じ意味であり、ここで、

の数値は、実際の場合に応じて柔軟に設定することができ、例えば、

は、０．５ｍ^２に設定することができる。

【0072】

レーザ点群の平面拘束情報及びレーザ点群のエッジ拘束情報をそれぞれ決定した後、平面拘束情報及びエッジ拘束情報両方ともを第３拘束情報とすることができ、平面拘束情報又はエッジ拘束情報のうちの１つを第３拘束情報とすることもでき、具体的にどうやって選択するかは、実際の場合に応じて柔軟に決定することができる。

【0073】

本発明のいくつかの実施例において、第２収集画像に基づいて、視覚地図再構築過程における第３拘束情報を取得することは、
初期視覚点群に対応する三次元特徴点を初期視覚点群に投影して、投影結果を得ることと、
投影結果と、初期視覚点群内の二次元特徴点との誤差に基づいて、視覚地図再構築過程における視覚拘束情報を取得することであって、ここで、二次元特徴点は、初期視覚点群内の三次元特徴点に対応する二次元特徴点であることと、
視覚拘束情報に基づいて、視覚地図再構築過程における第３拘束情報を取得することと、を含み得る。

【0074】

投影結果と、初期視覚点群内の三次元特徴点に対応する二次元特徴点との誤差に基づいて、視覚地図再構築過程における視覚拘束情報を取得する具体的な過程は、実際の場合に応じて柔軟に選択することができる。例示的に、視覚拘束情報は、式（３）によって計算することができる。

（３）

【0075】

式（３）において、

は、視覚点群に対応する第ｊ個の三次元特徴点であり、

は、第ｉフレームの初期視覚点群内の三次元特徴点

に対応する二次元特徴点であり、

は、三次元特徴点

を第ｉフレームの初期視覚点群に投影した投影結果であり、

は、画像特徴拘束の共分散行列であり、ここで、

の数値は、実際の場合に応じて柔軟に設定することができ、例示的に、

は、２画素の平方に設定することができる。

【0076】

本発明のいくつかの実施例において、第３拘束情報は、レーザ点群の平面拘束情報、レーザ点群のエッジ拘束情報及び視覚拘束情報のうちの１つ又は複数を含み得る。本発明のいくつかの実施例において、第３拘束情報は、レーザ点群の平面拘束情報、レーザ点群のエッジ拘束情報及び視覚拘束情報を同時に含むことができ、この場合、第３拘束情報に基づいて、少なくとも１フレームの初期視覚点群を最適化して、少なくとも１フレームの視覚点群を得る過程は、式（４）によって実現することができる。

（４）

【0077】

式（４）において、

は、レーザ点群内の、平面に属する点によって構成された点群であり、

は、

の集合であり、

は、レーザ点群内の、エッジに属する点によって構成された点群であり、

は、

の集合であり、他の各パラメータの意味は、上記の各開示された実施例を参照することができる。

【0078】

本発明のいくつかの実施例において、第３拘束情報に基づいて、少なくとも１フレームの初期視覚点群を最適化することは、初期視覚点群に含まれる三次元特徴点を最適化することを含み得、さらに、第２端末内の第２収集画像を収集する機器の位置姿勢を最適化することを含み得、第２端末内の第２収集画像を収集する機器の位置姿勢を最適化する場合、対応的に、第２端末に対応する第２位置姿勢を最適化することができ、それにより、第２位置姿勢の精度が低いことによる視覚点群に含まれるノイズを減らす。さらに、視覚点群を最適化した後、さらに、視覚点群の最適化結果に基づいて、視覚地図再構築過程における第３拘束情報を再取得することができ、第３拘束情報に基づいて、視覚点群をさらに反復に最適化することができ、反復回数は、実際の場合に応じて柔軟に選択することができ、本発明の実施例では限定しない。

【0079】

図２は、本発明の実施例による視覚点群の最適化前後の比較概略図である。図２において、同じ場面に対して、ブロック２０１及びブロック２０２内は、最適化前の視覚点群に対応する視覚画像であり、ブロック２０３及びブロック２０４内は、最適化後の視覚点群に対応する視覚画像であり、図２から分かるように、最適化後の視覚点群内のノイズ点は減少され、且つ、鮮明度が明らかに改善され、最適化された視覚点群は、より高い精度を有し、対応的に、最適化された視覚点群に対応する三次元特徴点の精度も改善される。

【0080】

したがって、本発明の実施例において、第２端末は、
全局場面におけるレーザ点群を取得するために使用される、レーダと、
全局場面における第２収集画像を取得するために使用される、視覚センサと、
全局場面における第２ＩＭＵデータを取得するために使用される、ＩＭＵセンサと、を備えることができる。

【0081】

本発明のいくつかの実施例において、レーダは、レーザ点群収集機能を有する任意のレーダであり得、例示的に、レーダは、三次元（３Ｄ：ＴｈｒｅｅＤｉｍｅｎｓｉｏｎ）レーダであり得る。視覚センサは、カメラなどの画像収集機能を有する任意のセンサであり得る。本願のいくつかに実施例において、第２端末は、同時に、３６０°画像収集機能を有する４アレイのカメラを備えることができる。ＩＭＵセンサの実現形態は、同様に実際の場合に応じて柔軟に决定することができる。第２端末内のレーダ、視覚センサ及びＩＭＵセンサ間の設置位置及び接続関係は、実際の場合に応じて柔軟に選択することができる。

【0082】

本発明のいくつかの実施例において、レーダ、視覚センサ及びＩＭＵセンサ間は、剛性接続することができ、具体的な接続順序は、実際の場合に応じて柔軟に選択することができる。本発明のいくつかの実施例において、視覚センサ及びＩＭＵセンサは、固定的に接続して、１つの固定構造ユニットとして集成することができ、レーダは、固定構造ユニットの上方に設置することができる。本発明のいくつかの実施例において、視覚センサ、ＩＭＵセンサ及びレーダは、１つの背嚢に固定して設置することもできる。

【0083】

図３は、本発明の実施例による第２端末の例示的な構造図である。図３から分かるように、視覚センサ及びＩＭＵセンサは、固定接続して、固定構造ユニット３０１として集成することができ、当該固定構造ユニット３０１の下端は、背嚢３０２内に設置されて搬送し易くすることができ、レーダ３０３は、固定構造ユニット３０１の上方に設置することができる。

【0084】

本発明の実施例において、第２端末がレーダ、視覚センサ及びＩＭＵセンサを備えることにより、全局場面における地図データに対して全体的な収集を行って、後続の全局地図の生成を容易にすることができる。図３に示された簡単でコストの低いハードウェア機器によって、第２端末は地図データを収集し、地図データを取得する機器コストを削減することができ、それにより、第１位置姿勢データを決定するハードウェアの実現コスト及び難度を減らす。

【0085】

第２端末が、レーダ、視覚センサ及びＩＭＵセンサなどのハードウェア機器を備えることができるため、これらのハードウェア機器は、使用される前に較正又は測定データ時間校正を実行する必要がある可能性があり、さらに、各ハードウェアを較正する同時に、さらに、異なるハードウェア間の座標変換関係を較正することによって、生成される全局地図の精度を向上させることができる。したがって、本発明のいくつかの実施例において、地図データに基づいて、全局場面に対してオフラインで再構築を行い、全局場面の全局地図を生成する前に、
視覚センサとＩＭＵセンサとの座標変換関係を較正して、第１較正結果を得ることと、
レーダと視覚センサとの座標変換関係を較正して、第２較正結果を得ることと、
第１較正結果及び第２較正結果に基づいて、視覚センサ、ＩＭＵセンサ及びレーダの間の座標変換関係に対して共同較正を行うことと、をさらに含み得る。

【0086】

本発明の実施例において、視覚センサとＩＭＵセンサとの座標変換関係を較正する方式は、実際の場合に応じて柔軟に選択することができ、例示的に、Ｋａｌｉｂｒツールによって、視覚センサ及びＩＭＵセンサを較正することができ、レーダと視覚センサとの間の座標変換関係を較正する方式は、同様に実際の場合に応じて柔軟に選択することができ、さらに、ＡｕｔｏＷａｒｅフレームワークによって、レーダ及び視覚センサを較正することができる。例示的に、較正過程では、誤差がある可能性があるため、１つの可能な実施形態において、さらに、第１較正結果及び第２較正結果に基づいて、視覚センサ、ＩＭＵセンサ及びレーダの間の座標変換関係に対して共同較正及び最適化を行い、異なるハードウェア機器間の座標変換関係をより正確にすることができる。

【0087】

本発明のいくつかの実施例において、共同較正は、式（５）によって実現することができる。

（５）

【0088】

式（５）において、

は、第２端末内の第ｉ個の視覚センサであり、Ｉは、ＩＭＵセンサであり、Ｌは、レーダであり、

は、第ｉ個の視覚センサとＩＭＵセンサとの座標変換関係であり、

は、レーダとＩＭＵセンサとの座標変換関係であり、

は、レーダと第ｉ個の視覚センサとの座標変換関係であり、共分散

は、それぞれ、ＩＭＵセンサ及びレーダそれぞれの較正過程における誤差を表し、当該誤差の値は、実際の場合に応じて柔軟に設定することができ、例示的に、

及び

の対角行列内のすべての回転成分を、０．０１ｒａｄ^２に設定することができ、

のすべての変換成分を、０．０３ｍ^２に設定することができ、

のすべての変換分類を、（０．０３、０．０３、０．１５）ｍ^２に設定することができる。

【0089】

式（５）に示された共同較正に基づいて得られた視覚センサとＩＭＵセンサとの座標変換関係、及びレーダとＩＭＵセンサとの座標変換関係によって、全体的な較正誤差を比較的に小さくすることができ、よって、上記の較正が終了してから、全局地図を生成して、全局地図の精度を大幅に向上させることができ、それにより、全体的な位置姿勢決定過程の精度を向上させる。

【0090】

本発明の実施例による位置姿勢決定方法は、
第２端末が地図データを収集する過程において、地図データに基づいて、全局場面に対してリアルタイムの再構築を行い、全局場面のリアルタイム地図を生成することと、
目標機器に地図データ及び／又はリアルタイム地図を送信することと、をさらに含み、ここで、目標機器は、全局場面に対してデータ収集を完了した地理範囲を表示するために使用される。

【0091】

本発明のいくつかの実施例において、地図データの収集状況を把握するために、第２端末が地図データを収集する過程において、地図データに基づいて、全局場面に対してリアルタイムの再構築を行い、全局場面のリアルタイム地図を生成することができる。リアルタイム地図の実現形態は、全局地図を参照でき、ここでは繰り返して説明しない。一例において、リアルタイム地図は、全局場面内の、第２端末が収集した地図データに対応する各場面をカバーすることができる。

【0092】

実際の適用において、リアルタイム再構築は、現在収集された地図データに基づいて再構築することができるため、オフラインでの再構築において、収集を完了した後に得られた大量の地図データに基づいて再構築することに対して、再構築のデータ量は比較的に少ないため、より高い再構築速度を有することができる。本発明のいくつかの実施例において、リアルタイム再構築の過程では、オフラインでの再構築のうちのいくつかの最適化過程を省略して再構築速度を向上させることができ、例えば、リアルタイム再構築過程において、第３拘束情報を取得し、及び第３拘束情報に基づいて視覚点群を最適化する過程を省略することができる。本発明のいくつかの実施例において、リアルタイム再構築は、いくつかの特定の３Ｄレーダによってリアルタイム的に測位とマッピングを行う（ＳＬＡＭ）ことができ、同時マッピングと測位（ＣＭＬ：ＣｏｎｃｕｒｒｅｎｔＭａｐｐｉｎｇａｎｄＬｏｃａｌｉｚａｔｉｏｎ）とも称するシステムによって実現でき、例示的に、さらに、オープンソースのＣａｒｔｏｇｒａｐｈｅｒライブラリによって、全局場面に対してリアルタイム再構築を行い、全局場面のリアルタイム地図を生成することができる。

【0093】

本発明のいくつかの実施例において、目標機器は、全局場面に対してデータ収集を完了した地理範囲を表示するために使用されることができ、即ち、目標機器は、第２端末が収集した地図データによってカバーされた地理範囲を表示することができ、それにより、全局場面における第２端末の後続の移動方向及び地図データの収集要求を指示する。本発明のいくつかの実施例において、目標機器は、タブレット又は是携帯電話などの、地図データ収集人員が柔軟に制御できるハンドヘルド機器であり得る。本発明のいくつかの実施例において、第２端末をモバイル機器に設置して（例えば、自動ロボットなど）地図データを収集する条件で、目標機器は、モバイル機器のコントローラ又はディスプレイスクリーンなどであり得る。

【0094】

本発明のいくつかの実施例において、目標機器に収集された地図データを送信し、又は目標機器にリアルタイム地図を送信し、又は目標機器に地図データ及びリアルタイム地図を同時に送信することができる。

【0095】

実際の適用において、第２機器によって収集された地図データが全面的になっていない場合、例えば、全局場面内の場面の一部の地図データの収集を省略する場合、オフライン確立された全局地図の精度を低下させ、全局場面に対して地図データの収集を再実行すると、別途の人件費及びコンピューティングコストが生じ得、さらに、実際の適用において、地図データの収集過程において、繰り返して収集する状況が生じる可能性がある。しかし本発明の実施例において、第２端末が地図データを収集する過程では、地図データに基づいて、全局場面に対してリアルタイム再構築を行い、リアルタイム地図を生成し、目標機器に地図データ及び／又はリアルタイム地図を送信することにより、リアルタイム地図に基づいて、全局場面内の地図データ収集済みの領域に対してリアルタイムプレビュを実行することができ、地図の再構築品質を常に制御することができ、それにより、地図データの収集効率及び成功率を向上させ、地図データが収集を省略し又は繰り返して収集するリスクを削減することもできる。

【0096】

上記の各開示された実施例の各種の組み合わせで全局地図を生成して、ステップＳ１２によって全局地図を取得することを実現の可能性を持たせることができる。収集データ及び全局地図を取得した後、上記の各開示された実施例の記載のように、ステップＳ１３によって、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定することができる。

【0097】

ステップＳ１３の実施形態は、柔軟に決定することができ、本発明の実施例において、全局地図は、少なくとも１フレームの視覚点群を含み得、視覚点群は、全局場面における少なくとも１つの三次元特徴点を含み、収集データは、第１収集画像を含み、この場合、ステップＳ１３は、
第１収集画像及び少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得ることと、
全局特徴マッチング結果に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定することと、を含み得る。

【0098】

本発明のいくつかの実施例において、第１収集画像は、目標場面において第１端末によって収集された画像であり得、第１収集画像の数は、１フレームであってもよいし、複数のフレームであってもよいし、実際の場合に応じて決定するとよいし、本発明の実施例では限定しない。

【0099】

本発明のいくつかの実施例において、全局特徴マッチング結果は、少なくとも１フレームの視覚点群のうち、第１収集画像内の二次元特徴点にマッチングする三次元特徴点であり得る。

【0100】

視覚点群の実現形態は、上記の各開示された実施例を参照でき、ここでは繰り返して説明しない。

【0101】

本発明のいくつかの実施例において、第１収集画像と視覚点群との特徴マッチング関係は、実際の場合に応じて柔軟に選択することができ、画像間の特徴マッチングを実現できる任意の方法は、すべて、第１収集画像と視覚点群との特徴マッチング方式とすることができ、例示的に、ＳＩＦＴを採用し、及び／又はスパースオプティカルフロー追跡方法（ＫＬＴ：Ｋａｎａｄｅ－Ｌｕｃａｓ－ＴｏｍａｓｉＴｒａｃｋｉｎｇＭｅｔｈｏｄ）を算用して、第１収集画像及び少なくとも１フレームの視覚点群に対して特徴マッチングを実行することができる。

【0102】

一可能な実施形態において、第１収集画像と前記少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得ることは、
第１収集画像内の二次元特徴点を、少なくとも１フレームの視覚点群に含まれる三次元特徴点とマッチングして、全局特徴マッチング結果を得ることを含み得る。

【0103】

本発明のいくつかの実施例において、第１収集画像内の二次元特徴点、及び少なくとも１フレームの視覚点群に含まれる三次元特徴点に対して特徴マッチングを行い、全局特徴マッチング結果を得ることができる。ここで、特徴マッチングのための特徴情報は、特徴記述子、通信信号指紋又はセマンティック情報などの各種の特徴情報のうちの１つ又は複数であり得る。

【0104】

本発明のいくつかの実施例において、全局特徴マッチング結果は、近似最近傍検索（ＡＮＮ：ＡｐｐｒｏｘｉｍａｔｅＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ）の方式によって実現することができる。例えば、第１収集画像に含まれる特徴に対して、全局地図で当該特徴と最も近いＫ個の特徴（Ｋの数は、実際の場合に応じて柔軟に設定することができる）を探すことができる。その後、このＫ個の特徴で、全局地図内の各フレームの視覚点群に対して投票を行うことができ、それによって、視覚点群が、第１収集画像に対応するか否かを決定し、あるフレーム又はあるいくつかのフレームの視覚点群の投票数が、設定された閾値を超える場合、あるフレーム又はあるいくつかのフレームの視覚点群に対応する視覚画像が、第１収集画像のコビジブル画像（ｃｏｖｉｓｉｂｌｅ－ｉｍａｇｅｓ）であると見なすことができ、コビジブル画像において、第１収集画像内の二次元特徴点にマッチングする各三次元特徴点を、全局特徴マッチング結果とすることができる。

【0105】

本発明の実施例において、ＡＮＮによって、第１収集画像内の二次元特徴点を、少なくとも１フレームの視覚点群に対応する三次元特徴点とマッチングして、全局特徴マッチング結果を得る操作は、特徴マッチング過程におけるマッチングの誤り回数を減らし、全局特徴マッチング結果の精度を向上させることにより、位置姿勢決定の精度を向上させることができる。

【0106】

全局特徴マッチング結果を得た後、全局特徴マッチング結果に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定することができ、この過程の実施形態は、同じく実際の場合に応じて柔軟に選択することができ、以下の各開示された実施例に限定されない。一可能な実施形態において、全局特徴マッチング結果を、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ）方法及びパースペクティブＮポイント（ＰｎＰ：ＰｅｒｓｐｅｃｔｉｖｅｎＰｏｉｎｔｓ）などの方法によって位置姿勢の推定を実行することができ、再投影誤差の最適化方式によって、推定された位置姿勢を最適化して、収集過程における第１端末の少なくとも１つの第１位置姿勢を得ることができる。

【0107】

上記の過程によって、全局地図内の視覚点群に対応する特徴を利用して、第１収集画像間の特徴とマッチングし、それにより、第１収集画像からマッチングできている特徴を利用して、第１端末の位置姿勢を推定して、第１端末の少なくとも１つの位置姿勢を取得することができ、全局地図の精度が精度条件を満たすため、全局地図特徴にマッチングした結果に基づいて決定された第１位置姿勢も、比較的に高い精度を有し、第１位置姿勢の決定過程の精度を向上させることもできる。

【0108】

本発明のいくつかの実施例において、全局地図は、目標場面におおける少なくとも１フレームの視覚点群を含み、収集データは、少なくとも２フレームの第１収集画像を含み得、ステップＳ１３は、以下のステップを含み得る。

【0109】

ステップＳ１３１において、第１収集画像及び少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得る。

【0110】

ステップＳ１３２において、少なくとも２フレームの第１収集画像に対して特徴マッチングを行い、ローカル特徴マッチング結果を得る。

【0111】

ステップＳ１３３において、全局特徴マッチング結果及びローカル特徴マッチング結果に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定する。

【0112】

ここで、第１収集画像及び少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得る方式は、上記の各開示された実施例を参照でき、ここでは繰り返して説明しない。

【0113】

生成された全局地図は、全局場面を完全的にカバーできない可能性があるため、第１収集画像と視覚点群との間で特徴マッチングを行って得られた全局特徴マッチング結果のみに基づいて、第１位置姿勢を決定する方式は、視覚点群に含まれる三次元特徴点が不完全又は数が少ないであることによって、第１位置姿勢の結果が不正確であるか、又は、第１位置姿勢を決定することできない可能性がある。したがって、本発明のいくつかの実施例において、収集データが、少なくとも２フレームの第１収集画像を含む場合、異なる第１収集画像の間の特徴マッチング関係に基づいて、さらに、ローカル特徴マッチング結果を得、全局特徴マッチング結果及びローカル特徴マッチング結果に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を共に決定することができる。

【0114】

ローカル特徴マッチング結果は、異なる第１収集画像フレーム間でマッチングし合う二次元特徴点であり得、少なくとも２フレームの第１収集画像に基づいて特徴マッチングを実行する過程は、実際の場合に応じて柔軟に選択することができる。本発明のいくつかの実施例において、ＫＬＴ方法によって、異なる第１収集画像間のオプティカルフロー特徴を利用して、特徴マッチングを実行することにより、ローカル特徴マッチング結果を得ることができる。

【0115】

本発明のいくつかの実施例において、ステップＳ１３３の全局特徴マッチング結果に基づいて第１位置姿勢を決定する方式は、ＲＡＮＳＡＣ及びＰｎＰによって、全局特徴マッチング結果及びローカル特徴マッチング結果に対して、位置姿勢の推定、及び更なる最適化を行って実現することができる。

【0116】

本発明の実施例において、ステップＳ１３１ないしステップＳ１３３によって、ローカル特徴マッチング結果に基づいて、全局特徴マッチング結果を補助して、全局地図の全局場面に対する不完全なカバーによる位置姿勢決定結果への影響を低減し、第１位置姿勢の精度を向上させることができる。

【0117】

本発明のいくつかの実施例において、収集データは、さらに、第１ＩＭＵデータを含み得、この場合、ステップＳ１３３は、
全局特徴マッチング結果及び／又はローカル特徴マッチング結果に基づいて、第１拘束情報を取得することと、
第１ＩＭＵデータに基づいて、第２拘束情報を取得することと、
第１拘束情報及び第２拘束情報のうちの少なくとも１つに基づいて、全局特徴マッチング結果及びローカル特徴マッチング結果を処理して、収集過程における第１端末の少なくとも１つの第１位置姿勢を得ることと、を含み得る。

【0118】

ここで、第１ＩＭＵデータは、第１端末が、目標場面でデータ収集を実行する過程で、収集した慣性計測データであり得る。

【0119】

本発明のいくつかの実施例において、全局特徴マッチング結果及びローカル特徴マッチング結果によって、第１位置姿勢を決定する過程では、さらに、第１拘束情報及び第２拘束情報を取得して、第１位置姿勢を求める過程に拘束を追加することができる。ここで、第１拘束情報は、全局特徴マッチング結果及び／又はローカル特徴マッチング結果に基づいて得られた拘束情報であり得る。

【0120】

本発明のいくつかの実施例において、全局特徴マッチング結果のマッチングした三次元特徴点及び二次元特徴点の情報を利用して、第１拘束情報を取得することができる。一例において、全局特徴マッチング結果に基づいて、第１拘束情報を取得する過程は、式（６）によって実現することができる。

（６）

【0121】

式（６）において、

は、第１端末内の第１収集画像を収集するための機器が、第ｉフレームの第１収集画像を収集する時の位置姿勢であり、

は、全局特徴マッチング結果内のマッチングする第ｊ個の三次元特徴点であり、

は、全局特徴マッチング結果内の

マッチングする二次元特徴点であり、

は、三次元特徴点

を第ｉフレームの第１収集画像に投影した投影結果である。

【0122】

本発明のいくつかの実施例において、ローカル特徴マッチング結果のマッチングした三次元特徴点及び二次元特徴点の情報を利用して、第１拘束情報を取得することができる。一例において、ローカル特徴マッチング結果に基づいて、第１拘束情報を取得する過程は、式（７）によって実現することができる。

（７）

【0123】

式（７）において、

は、ローカル特徴マッチング結果内のマッチングする第ｊ個の二次元特徴点であり、

は、ローカル特徴マッチング結果内の、

が目標場面にマッピングした三次元特徴点であり、

は、三次元特徴点

を第ｉフレームの第１収集画像に投影した投影結果であり、他のパラメータの意味は、上記の開示された実施例を参照することができる。

【0124】

式（６）又は式（７）の計算結果は、両方とも第１拘束情報とすることができる。本発明のいくつかの実施例において、さらに、全局特徴マッチング結果及びローカル特徴マッチング結果に基づいて、第１拘束情報を取得することができ、この場合、式（６）を式（７）の第１拘束情報を取得する方式と組み合わせて、第１拘束情報を取得することができる。

【0125】

本発明のいくつかの実施例において、第２拘束情報は、第１ＩＭＵデータに基づいて得られた拘束情報であり得る。

【0126】

本発明のいくつかの実施例において、第１端末内の、第１収集画像、第１ＩＭＵデータを収集する機器の関連パラメータを利用して、第２拘束情報を取得することができる。例示的に、第１ＩＭＵデータに基づいて、第２拘束情報を取得する過程は、式（８）によって実現することができる。

（８）

【0127】

式（８）において、

は、第ｉフレームの第１収集画像を収集する時の第１端末のパラメータであり、

は、第１端末の速度であり、

は、第１端末内の、第１ＩＭＵデータを測定する機器の加速度オフセットであり、

は、第１端末内の、第１ＩＭＵデータを測定する機器のジャイロスコープ測定オフセットであり、

は、ＩＭＵコスト関数であり、他のパラメータの意味は上記の各開示された実施例を参照することができる。

【0128】

本発明のいくつかの実施例において、第１端末が第１収集画像を収集する過程で第１ＩＭＵデータの変化状況に基づいて、第２拘束情報を決定することができる。

【0129】

本発明のいくつかの実施例において、全局特徴マッチング結果及びローカル特徴マッチング結果を処理することは、バンドル調整によって、全局特徴マッチング結果及びローカル特徴マッチング結果を処理することを含み得る。

【0130】

ここで、バンドル調整（ＢＡ：ＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔ）は、位置姿勢を求めるための実施形態である。本発明のいくつかの実施例において、ＢＡによって、拘束情報を求め、最も小さい誤差における第１位置姿勢を計算することができる。例示的に、第１拘束情報及び第２拘束情報をともに拘束情報とし、この場合、ＢＡによって、拘束情報を求める過程は、以下の式（９）によって表示することができる。

（９）

【0131】

ここでの各パラメータの意味は、上記の各開示された実施例を参照することができ、ここでは繰り返して説明しない。

【0132】

本発明のいくつかの実施例において、キーフレームソリューションとインクリメンタルＢＡ（ＩＣＥ－ＢＡ：ＩｎｃｒｅｍｅｎｔａｌＣｏｎｓｉｓｔｅｎｔａｎｄＥｆｆｉｃｉｅｎｔＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔ）を求める方法を利用して、式（９）を計算し、それにより、少なくとも１つの第１位置姿勢を決定することができる。

【0133】

上記の過程によって、第１拘束情報及び第２拘束情報のうちの少なくとも１つを利用して、得られた第１位置姿勢を最適化し、それにより、最終的に決定された第１位置姿勢の全体をよりスムーズにし、ブレを減らすことができ、さらに、キーフレーム及びＩＣＥ－ＢＡなどの方式を利用して第１位置姿勢を求め、第１位置姿勢決定過程における計算量を効果的に減らして、位置姿勢決定過程の効率を向上させることができる。上記の各開示された実施例の記載のように、本発明の実施例で決定された第１位置姿勢の精度は比較的に高いため、本発明の実施例による方法は、移動測位分野における様々な場面に適用することができ、具体的にどの場面に適用するかは実際の場合に応じて選択することができる。

【0134】

本発明のいくつかの実施例において、本発明の実施例による位置姿勢決定方法は、機器位置姿勢をオフラインで決定するに使用することができる。本発明のいくつかの実施例において、本発明の実施例による位置姿勢決定方法によって決定された第１位置姿勢は、いくつかの移動測位に関するニューラルネットワークアルゴリズムに対して、結果正確度の査定を実行するなどに使用することができる。

【0135】

運動真値を含むデータ集合は、ＳＬＡＭ技術を研究する重要な条件である。ここで、運動において、真値は、ＳＬＡＭアルゴリズムの精度を評価、比較するために使用されることができ、極端状況の場合、例えば、モーションブラー、急激な照明の変化、特徴点が少ない写真を処理するなどの状況に対して、ＳＬＡＭアルゴリズム精度を向上させるための標準とすることにより、ＳＬＡＭアルゴリズムの極端場面に対応する能力を向上させることができる。実際の適用において、屋外の適用場面では、運動真値は、主に、ＧＰＳによって取得され、屋内適用場面では、運動真値は、主に、屋内環境でＶＩＣＯＮ、ｌｉｇｈｔｈｏｕｓｅなどの高精度の運動捕獲システムを構築することにより実現する。

【0136】

しかし、ＧＰＳの測位精度は、メートルレベルしかないため、高精度の運動真値を取得できず、差分ＧＰＳは現在、比較的に高い測位精度を達成することができるが、このような方法のコストは高い過ぎであり、ＧＰＳの精度及び測位の成功率は、建物の遮蔽の影響を受けやすく、屋内では使用できない。屋内適用場面に対して、ＶＩＣＯＮを例として、当該システムは、反射式に基づく捕獲システムであり、それは、捕獲される物体に専用の反射ボールを付けて信号受信器とする必要があり、捕獲カメラが特定の光線を送信するとき、反射ボールは、同じ波長の光信号をカメラに反射し、複数の捕獲カメラによって収集された光信号によって、正確な捕獲される物体の測位結果を計算することができる。このような方法は、軌跡真値を収集しようとする周囲環境で、ＶＩＣＯＮなどの運動捕獲システムの機器を事前に取り付けて較正する必要があり、そのため、機器も配備コストの高く、１つの小さな部屋の機器コストは百万近くになり、大規模な場面に拡張することはより難しい。さらに、真値を収集しようとする各モバイル機器は、すべての信号受信器を取り付けて較正する必要があり、各組のデータを収集する前に、受信信号をモバイル機器上のセンサと時間同期を行う必要があり、時間と手間がかかり、大量のデータの収集に拡張し難しい。

【0137】

関連技術において、ブルートゥース、地磁気などの外部信号に基づいて、リアルタイムの測位を実現することができるが、これらの方法は、通常、事前に構築される、測位環境に合致する信号指紋地図に依存しており、測位精度は、環境で収集された各点位の信号の密度によって変化し得る。各点の位置の運動真値を取得するために、操作要員は、測位環境で測定ツールを使用して現場で測定する必要があり、これは、比較的に高い時間コストと人件費が生じ、よって、このような方法で大量の運動真値を取得することができない。

【0138】

深層学習技術の急速な発展に伴い、サンプルデータに基づいて駆動される測位方法の利点が現れる。例えば、視覚測位分野において、深層ニューラルネットワーク、畳み込みニューラルネットワークの急速な発展のため、大量の画像サンプルデータ内の特徴点記述子を抽出してマッチングする効果は、従来の技術より優れている。歩行者の推測航法（ＰＤＲ：ＰｅｄｅｓｔｒｉａｎＤｅａｄＲｅｃｋｏｎｉｎｇ）分野において、深層ニューラルネットワークに基づく歩行者軌跡復元方法も、従来の歩数計に基づく方法より優れることが証明されており、簡単の条件で、視覚慣性ＳＬＡＭの追跡精度に近い。しかし、これらのデータ駆動方法の最終的なパフォーマンスは、サンプルデータに大きく依存しているため、サンプルデータの品質、数、場面の多様性に対する要求はますます高まっており、既存の運動真値の取得方法は、このような要求を満たすことができない。本発明の実施例の位置姿勢決定方法において、さらに、運動真値データの取得方法を提供する。

【0139】

本発明のいくつかの実施例において、本発明の実施例による位置姿勢決定方法は、
収集過程における第１端末の少なくとも１つの第１位置姿勢に基づいて、運動真値データを決定することをさらに含み、ここで、運動真値データは、
測位結果の精度を判断すること、ニューラルネットワークを訓練すること、及び全局地図と情報融合を行うこと、のうちの少なくとも１つに使用される。

【0140】

ここで、運動真値データは、ニューラルネットワーク訓練において、その結果が実の値であると判断したデータ、即ち、ニューラルネットワークアルゴリズムにおけるＧｒｏｕｎｄＴｒｕｔｈデータであり得る。本発明の実施例で決定する第１位置姿勢が、データ収集の運動過程における第１端末の位置姿勢データであり得、精度が比較的に高いため、第１位置姿勢を運動真値データとすることができる。

【0141】

収集過程における第１端末の少なくとも１つの第１位置姿勢に基づいて、運動真値データを決定する過程の、本発明の実施例における実施形態は、実際の場合に応じて柔軟に决定することができ、以下の各開示された実施例に限定されない。

【0142】

本発明のいくつかの実施例において、収集過程における第１端末の少なくとも１つの第１位置姿勢に基づいて、運動真値データを決定することは、
収集過程における第１端末の少なくとも１つの第１位置姿勢を前記運動真値データとすること、及び／又は、
収集データのうちの少なくとも１つ、及び収集過程における第１端末の少なくとも１つの第１位置姿勢を、運動真値データとすることを含み得、ここで、収集データは、
ワイヤレスネットワーク（ＷｉＦｉ）データ、ブルートゥースデータ、地磁気データ、超広帯域（ＵＷＢ）データ、第１収集画像及び第１ＩＭＵデータのうちの１つ又は複数を含む。

【0143】

本発明のいくつかの実施例において、決定された少なくとも１つの第１位置姿勢を、運動真値データとして直接に使用することができる。決定する第１位置姿勢の数は、本発明の実施例で限定されないため、得られる運動真値データの数は、本発明の実施例でも限定されなく、本発明のいくつかの実施例において、決定された各第１位置姿勢をすべて運動真値データとすることができ、又は複数の第１位置姿勢から１つ又は複数の第１位置姿勢をランダムに選択して運動真値データとすることができる。

【0144】

本発明のいくつかの実施例において、さらに、収集データのうちの少なくとも１つを運動真値データとすることができる。本発明のいくつかの実施例において、収集データは、第１収集画像及び／又は第１ＩＭＵデータを含み得、本発明のいくつかの実施例において、第１端末の実施形態は限定されないため、収集したデータタイプも柔軟に変化し拡張することができ、よって、収集データは、無線ネットワークＷｉＦｉデータ、ブルートゥースデータ、地磁気データ及びＵＷＢデータのうちの１つ又は複数を含み得る。

【0145】

異なるタイプの収集データのいずれも、第１端末によって収集されることができるため、これらの収集データはすべて、決定された第１位置姿勢と対応する対応関係を有し得、位置姿勢を決定する過程で対応する拘束を提供して、位置姿勢決定を補助することができる。したがって、本発明のいくつかの実施例において、複数タイプの収集データも運動真値データとすることができる。

【0146】

少なくとも１つの第１位置姿勢、及び収集データのうちの少なくとも１つを運動真値データとすることにより、運動真値データのデータ量をさらに増加することができ、それにより、異なる場面における運動真値デーの適用をよりよい効果を有するようにする。

【0147】

本発明のいくつかの実施例において、運動真値データは、測位結果の精度を判断するために使用されることができ、具体的にどうやって判断するかは、本発明の実施例では限定しない。例えば、運動真値データを、ニューラルネットワーク評価アルゴリズムのアルゴリズム精度を評価するためのｂｅｎｃｈｍａｒｋデータ集合内のデータとして使用して、測位結果の精度を判断するために使用することができる。

【0148】

本発明のいくつかの実施例において、運動真値データは、ニューラルネットワークを訓練するために使用することもでき、具体的にどうやって訓練過程に適用するかは、本発明の実施例では限定しない。例えば、運動真値データを、ニューラルネットワーク内の訓練データ及び／又は検証データなどとし、ニューラルネットワークの訓練過程に適用することができる。

【0149】

本発明のいくつかの実施例において、運動真値データは、さらに、全局地図と情報融合を実行することができ、例えば、運動真値データは、さらに、ＷｉＦｉデータ、ブルートゥースデータ、地磁気データ又はＵＷＢデータなどの収集データを含み得、これらの収集データと第１位置姿勢間には、対応関係があるため、これらの収集データを追加の補助データとすることができ、第１位置姿勢と全局地図との対応関係によって、これらの収集データも全局地図に融合して、全局地図のデータ精度及びデータ全面性をさらに向上させることができ、融合された全局地図を利用して、他の位置姿勢決定を実行する正確度をさらに向上させることもできる。

【0150】

図４は、本発明の実施例による運動真値データを取得する例示的なフローチャートであり、図４に示されたように、当該運動真値データの取得過程は、全局地図の再構築４０１及び運動真値データによる測位４０２という２つの段階を含み得る。

【0151】

ここで、全局地図の再構築４０１段階は、全局地図を再構築するために使用される。図４に示されたように、全局地図の再構築４０１段階は、レーダＳＬＡＭ４０１１、特徴マッチング４０１２及び視覚－レーダ共同最適化４０１３という３つのサブ段階に基づいて、全局地図４０１４を得ることができる。

【0152】

操作要員が背負っている第２端末が全局場面で移動することにより、レーダＳＬＡＭ４０１１を利用して、全局場面におけるレーザ点群を収集し、視覚センサを利用して、全局場面における第２収集画像を収集し、及びＩＭＵセンサを利用して、全局場面における第２ＩＭＵデータを収集する。

【0153】

第２端末が全局場面を走査する過程では、取得されたレーザ点群、第２収集画像及び第２ＩＭＵデータを利用して、全局地図に対してリアルタイム再構築を行い、リアルタイム地図を得ることができる。本発明の実施例において、リアルタイム地図は、操作要員が、全局場面で既に地図データ収集を行った範囲を表すことができるため、リアルタイム地図を目標機器に送信することができる。

【0154】

第２端末が全局場面を走査した後、取得された全局場面におけるレーザ点群、第２収集画像及び第２ＩＭＵデータを利用して、全局地図に対してオフラインで再構築を行い、全局地図を得ることができる。レーザ点群及び第２ＩＭＵデータは、レーダＳＬＡＭ４０１１によって計算して、地図データ収集過程におけるレーダの少なくとも１つの位置姿勢を決定することができ、レーダと視覚センサとの座標変換関係によって、レーダの位置姿勢を視覚センサの位置姿勢に変換して、第２端末の少なくとも１つの第２位置姿勢を得ることができる。同時に、第２収集画像は、特徴マッチング４０１２の方式によって視覚地図再構築を行い、少なくとも１フレームの初期視覚点群を得ることができ、決定された少なくとも１つの第２位置姿勢を利用して初期位置姿勢として使用し、及び第２収集画像内の特徴を利用して、視覚地図再構築過程に第３拘束情報を提供して、得られた初期視覚点群に対して視覚－レーダ共同最適化４０１３を行うことができる。上記の過程によって、最適化された視覚点群、及び視覚点群に含まれる三次元特徴点の位置と特徴情報を得ることができる。さらに、視覚点群及び三次元特徴点を全局地図４０１４として使用して、全局地図を再構築することができる。

【0155】

全局地図再構築を完了した後、運動真値データ測位４０２に進むことができ、運動真値データ測位４０２段階は、ＡＲ眼鏡４０２１又は携帯電話４０２２を備える第１端末を利用して実現する必要があり、ここで、運動真値データ測位４０２は、ローカル特徴追跡４０２３、全局特徴追跡４０２４、視覚－慣性共同最適化４０２５及び運動真値データ記憶４０２６という４つのサブ段階を含み得る。

【0156】

図４では、ＡＲ眼鏡４０２１又は携帯電話４０２２を備える第１端末によって、全局場面内のある目標場面で移動して、収集データを取得する。ここで、収集データは、第１収集画像及び第１ＩＭＵデータを含み得る。

【0157】

第１収集画像は、全局地図と全局特徴マッチング４０２４を行って、視覚測位を実現し、全局特徴マッチング結果を得ることができる。第１収集画像内の異なるフレームの画像間は、ローカル特徴追跡４０２３を実行して、ローカル特徴マッチング結果を得ることができる。全局特徴マッチング結果及びローカル特徴マッチング結果を得た後、全局特徴マッチング結果、ローカル特徴マッチング結果及び収集された第１ＩＭＵデータに基づいて、視覚－慣性の共同最適化４０２５を実行して、目標場面の移動過程における第１端末の少なくとも１つの第１位置姿勢を決定することができる。少なくとも１つの第１位置姿勢を得た後、得られた第１位置姿勢を運動真値データとし、運動真値データの記憶４０２６を実行することができ、例示的に、運動真値データをデータベースに記憶することができる。

【0158】

本発明の実施例による運動真値データの取得方法は、採用される機器は、主に、レーザレーダ、カメラ及びＩＭＵを統合した高精度地図収集機器であるため、機器の全体的なコストが低く、全局場面及び目標場面を事前に配置する必要がないため、スケールの拡張性は、場面を事前に配置する必要がある関連技術案より明らかに優れており、スケールの上限が主にオフラインの計算能力に依存し、現行のアルゴリズム及び計算能力が、数十万平米の場面を満たすことができる場合、本発明の実施例による運動真値データ取得方法は、大規模な場面に適用することができる。同時に、同じ全局場面における全局地図を再利用することができるため、全局地図を収集し再構築した後、モバイル端末の大量のデータを規模的に収集することができ、移動データの収集は、モバイル機器の内部センサにのみ依存するため、毎回収集する前に、他の外部機器と較正、同期などのような規模的に収集することを妨害する余計の操作を実行する必要ない。さらに、本発明の実施例による運動真値データ取得方法は、適用場面によって制限されなく、屋内、屋外の場面に同時に適用することができる。

【0159】

本発明の実施例によって取得された運動真値は、ニューラルネットワークの評価又は訓練に制限されなく、他の場面にも拡張して適用されることができ、本発明ではこれに対して限定しないことに留意されたい。

【0160】

本発明で述べた上述の各方法の実施例は、原理及び論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、スペースの制限により、本発明には繰り返さないことを理解されたい。当業者は、具体的な実施形態の上記方法において、各ステップの具体的な実行順序は、その機能と可能性に基づくべきであることを理解することができる。

【0161】

加えて、本発明は、さらに、位置姿勢決定装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、上記は、すべて本発明で提供された任意の位置姿勢決定方法を実現することができ、対応する技術的解決策と説明及び方法部分を参照した対応する記載は、繰り返しない。

【0162】

図５は、本発明の実施例による位置姿勢決定装置５の例示的な構造図である。当該位置姿勢決定装置は、端末機器、サーバ又は他の処理機器などであり得る。ここで、端末機器はＵＥ、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、ＰＤＡ、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであり得る。

【0163】

本発明のいくつかの実施例において、当該位置姿勢決定装置は、プロセッサが、メモリに記憶されるコンピュータ可読命令を呼び出す方式によって実現することができる。

【0164】

図５に示されたように、前記位置姿勢決定装置５は、収集データ取得モジュール５０１と、全局地図取得モジュール５０２と、位置姿勢決定モジュール５０３と、を備えることができる。

【0165】

収集データ取得モジュール５０１は、目標場面における第１端末によって収集される収集データを取得するように構成される。全局地図取得モジュール５０２は、目標場面を含む全局地図を取得するように構成され、ここで、全局地図は、第２端末が目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、且つ、全局地図は、精度条件を満たす。

【0166】

位置姿勢決定モジュール５０３は、収集データと全局地図との特徴対応関係に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定するように構成される。

【0167】

本発明のいくつかの実施例において、全局地図は、少なくとも１フレームの視覚点群を含み、視覚点群は、全局場面における少なくとも１つの三次元特徴点を含み、収集データは、第１収集画像を含み、位置姿勢決定モジュール５０３は、第１収集画像及び少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得、全局特徴マッチング結果に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定するように構成される。

【0168】

本発明のいくつかの実施例において、全局地図は、目標場面における少なくとも１フレームの視覚点群を含み、収集データは、少なくとも２フレームの第１収集画像を含み、位置姿勢決定モジュール５０３は、第１収集画像及び少なくとも１フレームの視覚点群に対して特徴マッチングを行い、全局特徴マッチング結果を得、少なくとも２フレームの第１収集画像に対して特徴マッチングを行い、ローカル特徴マッチング結果を得、全局特徴マッチング結果及びローカル特徴マッチング結果に基づいて、収集過程における第１端末の少なくとも１つの第１位置姿勢を決定するように構成される。

【0169】

本発明のいくつかの実施例において、収集データは、さらに、第１慣性計測（ＩＭＵ）データを含み、位置姿勢決定モジュール５０３は、全局特徴マッチング結果及び／又はローカル特徴マッチング結果に基づいて、第１拘束情報を取得し、第１ＩＭＵデータに基づいて、第２拘束情報を取得し、第１拘束情報及び第２拘束情報のうちの少なくとも１つに基づいて、全局特徴マッチング結果及びローカル特徴マッチング結果を処理して、収集過程における第１端末の少なくとも１つの第１位置姿勢を得るように構成される。

【0170】

本発明のいくつかの実施例において、位置姿勢決定モジュール５０３は、バンドル調整によって、全局特徴マッチング結果及びローカル特徴マッチング結果を処理するように構成される。

【0171】

本発明のいくつかの実施例において、位置姿勢決定モジュールは、第１収集画像内の二次元特徴点、及び少なくとも１フレームの視覚点群に含まれる三次元特徴点とマッチングして、全局特徴マッチング結果を得るように構成される。

【0172】

本発明のいくつかの実施例において、装置は、さらに、運動真値データ取得モジュールを備え、運動真値データ取得モジュールは、収集過程における第１端末の少なくとも１つの第１位置姿勢に基づいて、運動真値データを決定するように構成される。

【0173】

本発明のいくつかの実施例において、運動真値データ取得モジュールは、収集過程における第１端末の少なくとも１つの第１位置姿勢を運動真値データとするように構成され、及び／又は、収集データのうちの少なくとも１つ、及び収集過程における第１端末の少なくとも１つの第１位置姿勢を、運動真値データとするように構成され、ここで、収集データは、ワイヤレスネットワーク（ＷｉＦｉ）データ、ブルートゥースデータ、地磁気データ、超広帯域（ＵＷＢ）データ、第１収集画像及び第１ＩＭＵデータのうちの１つ又は複数を含む。

【0174】

本発明のいくつかの実施例において、運動真値データは、測位結果の精度を判断すること、ニューラルネットワークを訓練すること、及び全局地図と情報融合を行うこと、のうちの少なくとも１つに使用される。

【0175】

本発明のいくつかの実施例において、地図データは、全局場面におけるレーザ点群、第２収集画像及び第２ＩＭＵデータを含み、装置は、さらに、地図データ取得モジュール及び全局地図生成モジュールを備え、ここで、地図データ取得モジュールは、第２端末によって収集された全局場面の地図データを取得するように構成され、全局地図生成モジュールは、地図データに基づいて、全局場面に対してオフラインで再構築を行い、全局場面の全局地図を生成するように構成される。

【0176】

本発明のいくつかの実施例において、全局地図生成モジュールは、第２ＩＭＵデータ及びレーザ点群に基づいて、データ収集過程における第２端末の少なくとも１つの第２位置姿勢を決定し、少なくとも１つの第２位置姿勢、及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行い、少なくとも１フレームの視覚点群を得、少なくとも１フレームの視覚点群に基づいて、全局場面の全局地図を得るように構成され、ここで、視覚点群は、全局場面内の複数の三次元特徴点に対応する。

【0177】

本発明のいくつかの実施例において、全局地図生成モジュールは、少なくとも１つの第２位置姿勢、及び第２収集画像に基づいて、全局場面に対して視覚地図再構築を行い、少なくとも１フレームの初期視覚点群を得、レーザ点群及び／又は第２収集画像に基づいて、視覚地図再構築過程における第３拘束情報を取得し、第３拘束情報に基づいて、少なくとも１フレームの初期視覚点群を最適化して、少なくとも１フレームの視覚点群を得るように構成され、ここで、第３拘束情報は、レーザ点群の平面拘束情報、レーザ点群のエッジ拘束情報及び視覚拘束情報のうちの１つ又は複数を含む。

【0178】

本発明のいくつかの実施例において、第２端末は、全局場面におけるレーザ点群を取得するために使用される、レーダと、全局場面における第２収集画像を取得するために使用される、視覚センサと、全局場面における第２ＩＭＵデータを取得するために使用される、ＩＭＵセンサと、を備える。

【0179】

本発明のいくつかの実施例において、位置姿勢決定装置５は、視覚センサと前記ＩＭＵセンサとの座標変換関係を較正して、第１較正結果を得、レーダと視覚センサとの座標変換関係を較正して、第２較正結果を得、第１較正結果及び第２較正結果に基づいて、視覚センサ、ＩＭＵセンサ及びレーダの間の座標変換関係に対して共同較正を行うように構成される。

【0180】

本発明のいくつかの実施例において、位置姿勢決定装置５は、第２端末が、地図データを収集する過程において、地図データに基づいて、全局場面に対してリアルタイムの再構築を行い、全局場面のリアルタイム地図を生成し、目標機器に前記地図データ及び／又は前記リアルタイム地図を送信するように構成され、ここで、目標機器は、全局場面に対してデータ収集を完了した地理範囲を表示するように構成される。

【0181】

本発明の実施例は、さらに、コンピュータプログラム命令を記憶する、コンピュータ可読記憶媒体を提案し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記の方法を実現する。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であり得る。

【0182】

本発明の実施例は、さらに、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリと、を備える、電子機器を提案し、ここで、前記プロセッサは、前記メモリによって記憶される命令を呼び出して、上記の方法を実行するように構成される。

【0183】

本発明の実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムプログラムを提供し、コンピュータ可読コードが、電子機器で実行されるとき、電子機器内のプロセッサは、上記の任意の実施例による位置姿勢決定方法を実現するために実行される。

【0184】

本発明の実施例は、さらに、コンピュータ可読命令を記憶するために使用される、別のコンピュータプログラム製品を提供し、命令が実行されるときに、コンピュータに、上記の任意の実施例による位置姿勢決定方法の操作を実行させる。

【0185】

電子機器は、端末、サーバ又はその他の形態の機器として提供できる。

【0186】

図６は、本発明の実施例による電子機器６のブロック図を示す。例えば、電子機器６は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であり得る。

【0187】

図６を参照すると、電子機器６は、第１プロセッサ６０１、第１メモリ６０２、第１電力コンポーネント６０３、マルチメディアコンポーネント６０４、オーディオコンポーネント６０５、第１入力／出力インターフェース６０６、センサコンポーネント６０７、及び通信コンポーネント６０８のうちの１つ又は複数のコンポーネットを備えることができる。

【0188】

プロセッサ６０１は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作などの、電子機器６の全般的な操作を制御する。プロセッサ６０１の数は、１つ又は複数であり得、プロセッサ６０１と他のコンポーネントとの対話を容易にするために、プロセッサ６０１は、１つ又は複数のモジュールを備えることができる。例えば、プロセッサ６０１は、マルチメディアコンポーネント６０４との対話を容易にするために、マルチメディアモジュールを備えることができる。

【0189】

第１メモリ６０２は、機器６における操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器６で操作する任意のアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。第１メモリ６０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ：ＳｔａｔｉｃＲａｎｄｏｍ－ＡｃｃｅｓｓＭｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅｒｅａｄｏｎｌｙｍｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：ＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなど、あらゆるタイプの揮発性又は不揮発性ストレージデバイス、又はそれらの組み合わせで実現することができる。

【0190】

第１電力コンポーネント６０３は、電子機器６の様々なコンポーネントに電力を提供する。第１電力コンポーネント６０３は、電力管理システム、１つ又は複数の電源、及び電子機器６のために、電力を生成、管理及び割り当てに関連付けられる、他のコンポーネントを含み得る。

【0191】

マルチメディアコンポーネント６０４は、前記電子機器６とユーザとの間に出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）及びタッチパネル（ＴＰ：ＴｏｕｃｈＰａｎｅｌ）を含み得る。スクリーンにタッチパネルが含まれる場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルにおけるジェスチャを検知するための１つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスワイプの操作の境界を感知するだけでなく、前記タッチ又はスワイプ動作に関する、持続時間及び圧力も検知することができる。マルチメディアコンポーネント６０４は、フロントカメラ及び／又はリアカメラを備える。電子機器６が、撮影モード又はビデオモードなどの動作モードにいるとき、フロントカメラ及び／又はリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定光学レンズシステムであり得、又は焦点距離と光学ズーム機能を有することができる。

【0192】

オーディオコンポーネント６０５は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント６０５は、１つのマイク（ＭＩＣ：Ｍｉｃｐｈｏｎｅ）を備え、電子機器６が、通話モード、録音モード及び音声認識モードなどの動作モードにいる場合、マイクは、外部オーディオ信号を受信するように構成される。受信されるオーディオ信号は、さらに第１メモリ６０２に記憶されることができ、又は通信コンポーネント６０８によって、送信されることができる。オーディオコンポーネント６０５は、オーディオ信号を出力するように構成される、スピーカも備える。

【0193】

第１入力／出力インターフェース６０６は、プロセッサ６０１と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであり得る。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含み得るが、これらに限定されない。

【0194】

センサコンポーネント６０７は、電子機器６に各態様の状態評価を提供するための１つ又は複数のセンサを備える。例えば、センサコンポーネント６０７は、電子機器６のオン／オフ状態、電子機器６のディスプレイとキーパッドなどのコンポーネントの、相対的な位置を検知することができ、センサコンポーネント６０７は、電子機器６の位置変化又は電子機器６のあるコンポーネントの位置の変化、ユーザと電子機器６との接触の有無、電子機器６の方位又は加速／減速、及び電子機器６の温度の変化も検知することができる。センサコンポーネット６０７は、近接センサを備えることができ、物理的接触なしに近くの物体の存在を検知するように構成される。センサコンポーネント８１４は、さらに、相補型金属酸化膜半導体（ＣＭＯＳ：ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）又は画像センサ（ＣＣＤ：Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄＤｅｖｉｃｅ）などの、光センサを備えることができ、撮像適用のために使用される。当該センサコンポーネント６０７は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ又は温度センサを含み得る。

【0195】

通信コンポーネント６０８は、電子機器６と他の機器の間の有線、又は無線方式の通信を容易にするように構成される。電子機器６は、ＷｉＦｉ、二世代無線通信技術（２Ｇ：Ｔｈｅ２ｎｄＧｅｎｅｒａｔｉｏｎ）又は三世代モバイル通信技術（３Ｇ：Ｔｈｅ３ｒｄＧｅｎｅｒａｔｉｏｎ，）、又はそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、通信コンポーネント６０８は、放送チャンネルによって、外部放送管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント６０８は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ：ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ：ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ技術、ブルートゥース（ＢＴ：Ｂｌｕｅ－Ｔｏｏｔｈ）技術及び他の技術に基づいて実現されることができる。

【0196】

例示的な実施例において、電子機器６は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＤｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子素子によって実現されて、上記の方法を実行するために使用されることができる。

【0197】

例示的な実施例において、さらに、コンピュータプログラム命令を含む第１メモリ６０２などの、不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器６のプロセッサ６０１によって実行されて、上記の実施例に記載の位置姿勢決定方法を完了することができる。

【0198】

図７は、本発明の実施例の第２種の電子機器６の例示的な構造図である。例えば、電子機器６は、サーバとして提供されることができる。図７を参照すると、電子機器６は、処理コンポーネント７０１を備え、ここで、処理コンポーネント７０１は、１つ又は複数のプロセッサ６０１を備えることができ、電子機器６は、さらに、第２メモリ７０２で表すメモリリソースを含むことができ、第２メモリ７０２は、アプリケーションプログラムなどの、処理コンポーネント７０１によって実行される命令を記憶するように構成される。第２メモリ７０２に記憶されたアプリケーションプログラムは、少なくとも１組の命令を含み得る。さらに、処理コンポーネント７０１は、命令を実行して、上記の位置姿勢決定方法を実行するように構成される。

【0199】

電子機器７は、さらに、第２電力コンポーネント７０３と、電子機器６をネットワーク及び第２入力／出力インターフェース７０５に接続するように構成される、ネットワークインターフェース７０４とを備えることができる。ここで、第２電力コンポーネント７０３は、電子機器６の電力管理を実行するように構成される。電子機器６は、第２メモリ７０２に記憶されるＷｉｎｄｏｗｓＳｅｒｖｅｒＴＭ、ＭａｃＯＳＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したものなどの操作システムを操作することができる。

【0200】

本発明の実施例は、さらに、コンピュータプログラム命令を含む第１メモリ６０２又は第２メモリ７０２などの、不揮発性コンピュータ可読記憶媒体を提供し、当該記憶媒体には、コンピュータプログラム命令が記憶され、当該コンピュータプログラム命令は、プロセッサによって実行されるとき、上記のコンピュータプログラム命令は、電子機器６の処理コンポーネント７０１によって実行されて、上記の位置姿勢決定方法を完了する。

【0201】

本発明の実施例は、さらに、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器のプロセッサは、上記のいずれか１つの実施例による位置姿勢決定方法を実行する。

【0202】

本発明は、システム、方法及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の様々な態様を実現させるために使用される、コンピュータ可読プログラム命令がロードされる、コンピュータ可読記憶媒体を含み得る。

【0203】

コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持及び記憶することができる有形の機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体貯蔵機器、又は前記任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ、ＥＰＲＯＭ又はフラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ：ＳｔａｔｉｃＲａｎｄｏｍ－ＡｃｃｅｓｓＭｅｍｏｒｙ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：ＣｏｍｐａｃｔＤｉｓｃＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ）、メモリスティック、フロッピーディスク、機械的エンコーディング機器、例えば命令が記憶されるパンチカード又は溝の突出構造、及び、前記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、無線電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体によって伝播する電磁波（例えば、光ファイバケーブルを介する光パルス）、又はワイヤーによって伝送される電気信号などの、過渡信号自体として解釈されない。

【0204】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、又はインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はワイヤレスネットワークなどのネットワークによって、外部コンピュータ又は外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。各コンピューティング／処理機器における、ネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、前記コンピュータ可読プログラム命令を転送して、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶される。

【0205】

本開示の操作を実行するために使用されるコンピュータプログラム命令は、コンポーネント命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、ステータス設定データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで記述される、ソースコード又はオブジェクトコードであり得、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋など、対象指向のプログラミング言語、及び「Ｃ」言語又は同様のプログラミング言語など、従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行でき、部分的にユーザのコンピュータで実行でき、スタンドアロンパッケージとして実行でき、ユーザのコンピュータで一部、リモートコンピュータで一部実行でき、又は、完全にリモートコンピュータ又はサーバで実行できる。リモートコンピュータに関する場面において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）又はワイドエリアネットワーク（ＷＡＮ：ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）を含む、任意の種類のネットワークによって、ユーザのコンピュータにアクセスでき、又は、リモートコンピュータにアクセスできる（例えば、インターネットサービスプロバイダーを使用してインターネットによってアクセスする）。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用することによって、プログラマブルロジック回路、ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃａｒｒａｙｓ）などの電子回路を、パーソナライズにスタマイズし、前記電子回路は、コンピュータ可読プログラム命令を実行して、本発明の様々な態様を実現することができる。

【0206】

本明細書では、本発明の実施例による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して本発明の様々な態様を説明する。フローチャート及び／又はブロック図の各ブロック、及びフローチャート及び／又はブロック図内の各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実現されることを理解されたい。

【0207】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、固有コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供することができ、それにより、デバイスが作成され、これらの命令が、コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサによって実行されるとき、フローチャート及び／又はブロック図内の１つ又は複数のブロックの指定される機能／アクションを実現させる。これらのコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体に記憶することもあり得、これらの命令は、コンピュータ、プログラマブルデータ処理装置及び／又は他の機器を特定の方式で作業するようにし、基づいて、命令が記憶されるコンピュータ可読媒体は、フローチャート及び／又はブロック図内の１つ又は複数のブロックの指定される機能／アクションを実現する様々な態様の命令を含む製造品を含む。コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器にロードすることもでき、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器で一連の操作ステップを実行して、コンピュータで実現させ、これにより、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器で実行する命令を、フローチャート及び／又はブロック図内の１つ又は複数のブロックの指定される機能／アクションを実現させる。

【0208】

図面におけるフロー図及びブロック図は、本発明の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能、及び操作を示す。この点について、フローチャート又はブロック図内の各ブロックは、１つのモジュール、プログラムセグメント、又は命令の一部を表すことができ、前記モジュール、プログラムセグメント、又は命令の一部は、１つ又は複数の指定される論理機能を実現するために使用される実行可能な命令を含む。いくつかの代替実現において、ブロックのマークされる機能は、図面でマークされる順序とは異なる順序で発生することもできる。例えば、関する機能によって、２つの連続するブロックは、実際に基本的に並行して実行でき、時には逆の順序で実行できる。ブロック図及び／又はフローチャート中の各ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、指定される機能又はアクションを実行する、専用のハードウェアベースのシステムによって実現されるか、又は、ハードウェアとコンピュータ命令の組み合わせを使用して、実現されることもできることを留意する必要がある。

【0209】

当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア又はそれらを組み合わせる方式によって実現されることができる。１つの例示的な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の例示的な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（ＳＤＫ：ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ）などのソフトウェア製品として具現される。

【0210】

以上、本発明の各実施例を説明したが、以上の説明は、例示的なものに過ぎず、網羅的ではなく、開示された各実施例に限定されない。説明される各実施例の範囲及び思想から逸脱してない場合は、当業者にとって、多くの修正及び変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の適用、又は市場における技術の改善を最もよく説明するか、又は、当業者が、本明細書で開示される各実施例を理解することができるようにすることを意図する。

【産業上の利用可能性】

【0211】

本願実施例は、位置姿勢決定方法、装置、電子機器、記憶媒体及びプログラムを開示し、前記方法は、目標場面における第１端末によって収集される収集データを取得することと、前記目標場面を含む全局地図を取得することであって、ここで、前記全局地図は、第２端末が前記目標場面を含む全局場面に対してデータ収集を行って得られた地図データに基づいて生成されるものであり、前記全局地図は、精度条件を満たすことと、前記収集データと前記全局地図との特徴対応関係に基づいて、収集過程における前記第１端末の少なくとも１つの第１位置姿勢を決定することと、を含む。本願実施例による位置姿勢決定方法は、第１位置姿勢の取得コストを削減することができ、第１位置姿勢の精度を向上させることもできる。

【図1】