(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-10
(45)【発行日】2024-05-20
(54)【発明の名称】測位方法及びその装置、電子機器、記憶媒体、コンピュータプログラム製品、コンピュータプログラム
(51)【国際特許分類】
G01C 21/30 20060101AFI20240513BHJP
G06T 7/70 20170101ALI20240513BHJP
G06V 10/74 20220101ALI20240513BHJP
G06T 7/00 20170101ALI20240513BHJP
【FI】
G01C21/30
G06T7/70 Z
G06V10/74
G06T7/00 300F
(21)【出願番号】P 2022550162
(86)(22)【出願日】2021-06-18
(86)【国際出願番号】 CN2021101021
(87)【国際公開番号】W WO2022110776
(87)【国際公開日】2022-06-02
【審査請求日】2022-08-22
(31)【優先権主張番号】202011379583.5
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ZHEJIANG SENSETIME TECHNOLOGY DEVELOPMENT CO., LTD.
【住所又は居所原語表記】Room 288-8, No. 857, Shixinbei Road, Ningwei Street, Xiaoshan District Hangzhou, Zhejiang 311215 China
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲謝▼▲衛▼健
(72)【発明者】
【氏名】▲錢▼▲權▼浩
(72)【発明者】
【氏名】王楠
(72)【発明者】
【氏名】章国▲鋒▼
(72)【発明者】
【氏名】▲鮑▼▲虎▼▲軍▼
【審査官】田中 将一
(56)【参考文献】
【文献】特開2016-170060(JP,A)
【文献】特開平06-194183(JP,A)
【文献】特開2020-153956(JP,A)
【文献】特開2002-277253(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00 - 21/36
G01C 23/00 - 25/00
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
(57)【特許請求の範囲】
【請求項1】
第1電子機器に適用される測位方法であって、前記測位方法は、
第2電子機器にk番目の第1測位要求を送信することであって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは、1よりも大きい整数である、ことと、
前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することであって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、ことと、
前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することと
を含み、
前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、
前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定することと、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定することと、
前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定することと
を含み、
前記k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定することは、
i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定することであって、i、jは、整数であり、かつ、1≦i<j≦kである、ことと、
i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定することと、
前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定することと、
複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定することと
を含む、測位方法。
【請求項2】
前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を更に含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、前記k番目のフレームの特徴点マッチング情報に基づいて、k番目の第3位置姿勢情報に対して修正を行い、修正されたk番目の第3測位結果を決定することを更に含む、請求項1に記載の測位方法。
【請求項3】
前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、k番目のフレームの特徴点マッチング情報に基づいて、前記k番目の第2測位結果に対して修正を行い、修正されたk番目の第3測位結果を決定することを含む、請求項1に記載の測位方法。
【請求項4】
前記測位方法は、
第2電子機器にa番目の第1測位要求を送信することであって、前記a番目の第1測位要求に、前記第1電子機器が所在する環境のa番目のフレームの環境画像が含まれ、aは整数であり、かつ、a≧1である、ことと、
前記第2電子機器から送信されたa番目の第1測位結果を受信した場合、前記a番目の第1測位結果に基づいて、前記第1電子機器における位置推定とマッピングの同時実行(SLAM)システムに対して初期化を行い、前記第1電子機器の初期測位結果を決定することであって、前記a番目の第1測位結果は、a番目の第1位置姿勢情報及び/又はa番目のフレームの特徴点マッチング情報を含む、ことと
を更に含む、請求項1に記載の測位方法。
【請求項5】
第2電子機器から送信されたk番目の第1測位結果は、第1領域地図を更に含み、前記第1領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含み、前記k番目の第3測位結果を決定した後、前記測位方法は、
前記k番目の第3測位結果と前記第1領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第4測位結果を決定することと、
前記第4測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することと
を更に含む、請求項1~4のいずれか一項に記載の測位方法。
【請求項6】
前記第2電子機器にk番目の第1測位要求を送信する前に、前記測位方法は、
前記第1電子機器のk番目の第2測位結果及び前記第1電子機器のローカルの第2領域地図に基づいて、前記第1電子機器が前記第2領域地図内に位置するかどうかを判断することであって、前記第2領域地図は、前記第2電子機器から送信された領域地図である、ことを更に含み、
前記第1電子機器が前記第2領域地図内に位置する場合、現在の第2測位結果と前記第2領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第5測位結果を決定し、前記
第2領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含み、前記第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示し、
前記第1電子機器が前記第2領域地図内に位置しない場合、前記第2電子機器から前記第1電子機器の第2測位要求に応答して送信された第3領域地図を受信し、現在の第2測位結果と前記第3領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第5測位結果を決定し、前記第3領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含み、前記第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示する、請求項1~4のいずれか一項に記載の測位方法。
【請求項7】
前記第2電子機器に第1測位要求を送信する前に、前記測位方法は、前記第1電子機器のネットワーク状態を取得することであって、前記ネットワーク状態は、ネットワーク信号強度及び/又は情報伝送速度を含む、ことを更に含み、
前記ネットワーク状態が所定の領域地図取得条件を満たさない場合、前記第2電子機器から送信されたk番目の第1測位結果に第1領域地図が含まれることなく、前記領域地図取得条件は、前記ネットワーク信号強度が信号強度閾値以上であること、及び/又は、前記情報伝送速度が速度閾値以上であることを含む、請求項5に記載の測位方法。
【請求項8】
第2電子機器に適用される測位方法であって、前記測位方法は、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得ることと、
前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行うことと、前記第1電子機器のk番目の第3測位結果を決定することとを前記第1電子機器に行わせることと
を含み、
前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、
前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定することと、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定することと、
前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定することと
を含み、
前記k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定することは、
i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定することであって、i、jは、整数であり、かつ、1≦i<j≦kである、ことと、
i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定することと、
前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定することと、
複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定することと
を含む、測位方法。
【請求項9】
前記測位方法は、
第1電子機器からの第2測位要求を受信した場合、前記点群地図及び前記第2測位要求における環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器の第6測位結果を得ることと、
前記第6測位結果に基づいて、前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定することと、
前記第1電子機器に領域地図を送信することにより、前記第1電子機器に、前記領域地図に基づいて測位及び展示を行わせることであって、前記領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、ことと
を更に含み、
前記第2測位要求は、前記第1電子機器が第2領域地図内に位置しない場合に前記第1電子機器から送信され、前記第2領域地図は、前記第2電子機器から送信された領域地図である、請求項8に記載の測位方法。
【請求項10】
第1電子機器に適用される測位装置であって、前記測位装置は、
第2電子機器にk番目の第1測位要求を送信するように構成されている第1要求送信部分であって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である、第1要求送信部分と、
前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定するように構成されている結果修正部分であって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、結果修正部分と、
前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成されている第1展示部分と
を備え、
前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、
前記結果修正部分は、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定するように構成されている現在偏差決定サブ部分と、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定するように構成されている全体的偏差決定サブ部分と、
前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定するように構成されている第1修正サブ部分と
を備え、
前記全体的偏差決定サブ部分は、
i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定することであって、i、jは、整数であり、かつ、1≦i<j≦kである、ことと、
i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定することと、
前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定することと、
複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定することと
を行うように構成されている、測位装置。
【請求項11】
第2電子機器に適用される測位装置であって、前記測位装置は、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得るように構成されている第1測位部分と、
前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行うことと、前記第1電子機器のk番目の第3測位結果を決定することとを前記第1電子機器に行わせるように構成されている結果送信部分と
を備え、
前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み
、
前記結果送信部分は、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定するように構成されている現在偏差決定サブ部分と、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定するように構成されている全体的偏差決定サブ部分と、
前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定するように構成されている第1修正サブ部分と
を含み、
前記全体的偏差決定サブ部分は、
i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定することであって、i、jは、整数であり、かつ、1≦i<j≦kである、ことと、
i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定することと、
前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定することと、
複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定することと
を行うように構成されている、測位装置。
【請求項12】
電子機器であって、
前記電子機器は、プロセッサと、プロセッサ実行可能な命令を記憶するように構成されているメモリとを備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して実行することにより、請求項1~9のいずれか一項に記載の測位方法を実行するように構成されている、電子機器。
【請求項13】
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサによって実行されると、請求項1~9のいずれか一項に記載の測位方法を実行することを前記プロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。
【請求項14】
コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、機器上で実行されると、請求項1~9のいずれか一項に記載の測位方法を実行することを前記機器のプロセッサに行わせる、コンピュータプログラム。
【請求項15】
コンピュータ読み取り可能な命令が記憶されたコンピュータプログラム製品であって、前記コンピュータ読み取り可能な命令は、コンピュータによって実行されると、請求項1~9のいずれか一項に記載の測位方法を実行することを前記コンピュータに行わせる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願への相互参照)
本願は、2020年11月30日に提出された、出願番号が202011379583.5であり、発明名称が「測位方法及びその装置、電子機器並びに記憶媒体」である中国特許出願に基づいて提出されるものであり、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照として本願に組み込まれる。
【0002】
本願は、コンピュータ技術分野に関するが、それに限定されず、特に、測位方法及びその装置、電子機器、記憶媒体、コンピュータプログラム製品、コンピュータプログラムに関するものである。
【背景技術】
【0003】
人々は室内外(例えば、大型ショッピングモール内、都市道路上など)に行動する時、一般的には、測位によって自己の位置を決定し、ナビゲーションによって目的地などに行く必要がある。関連技術において、視覚的測位により端末の測位を実現させるが、いくつかのシーンでは、ジッター、ドリフトなどが発生するため、測位効果が低下する可能性がある。
【発明の概要】
【課題を解決するための手段】
【0004】
本願の実施例は、測位のための技術的解決策を提供する。これは、以下のように実現してもよい。
【0005】
本願の実施例は、第1電子機器に適用される測位方法を提供する。前記測位方法は、
第2電子機器にk番目の第1測位要求を送信することであって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である、ことと、前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することであって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、ことと、前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することと、を含む。
【0006】
本願の実施例は、第2電子機器に適用される測位方法を提供する。前記測位方法は、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得ることと、前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させることと、を含み、ここで、前記k番目の第1測位結果は、k番目の第1位置姿勢情報及び/又はk番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、前記k番目のフレームの環境画像における二次元特徴点と前記点群地図における三次元特徴点とのマッチング情報を含む。
【0007】
本願の実施例は、第1電子機器に適用される測位装置を提供する。前記測位装置は、
第2電子機器にk番目の第1測位要求を送信するように構成される第1要求送信部分であって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である、第1要求送信部分と、
前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定するように構成される結果修正部分であって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、結果修正部分と、
前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第1展示部分と、を備える。
【0008】
本願の実施例は、第2電子機器に適用される測位装置を提供する。前記測位装置は、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得るように構成される第1測位部分と、
前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させるように構成される結果送信部分と、を備え、ここで、前記k番目の第1測位結果は、k番目の第1位置姿勢情報及び/又はk番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、前記k番目のフレームの環境画像における二次元特徴点と前記点群地図における三次元特徴点とのマッチング情報を含む。
【0009】
本願の実施例は、電子機器を提供する。前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、ここで、前記プロセッサは、前記メモリに記憶されている命令を呼び出して実行することにより、上記方法を実行するように構成される。
【0010】
本願の実施例は、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、上記方法を実行させる。
【0011】
本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器上で実行されるときに、機器のプロセッサに、上記方法を実行させる。
【0012】
本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するためのものであり、前記コンピュータ可読命令が実行されるときに、コンピュータに、上記方法を実行させる。
【0013】
本願の実施例では、第2電子機器に、環境画像を含む測位要求を送信し、第2電子機器から返信されたクラウド測位結果に基づいて、ローカル測位結果に対して修正を行い、修正された測位結果に基づいて展示を行うことができ、それにより測位の精度と安定性を向上させる。
例えば、本願は以下の項目を提供する。
(項目1)
第1電子機器に適用される測位方法であって、
第2電子機器にk番目の第1測位要求を送信することであって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である、ことと、
前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することであって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、ことと、
前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することと、を含む、測位方法。
(項目2)
前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定することと、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定することと、前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定することと、を含む
項目1に記載の測位方法。
(項目3)
前記k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定するステップは、i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定することであって、i、jは整数であり、且つ1≦i<j≦kである、ことと、
i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定することと、前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定することと、複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定することと、を含む
項目2に記載の測位方法。
(項目4)
前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を更に含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、前記k番目のフレームの特徴点マッチング情報に基づいて、k番目の第3位置姿勢情報に対して修正を行い、修正されたk番目の第3測位結果を決定することを更に含む
項目2又は3に記載の測位方法。
(項目5)
前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、k番目のフレームの特徴点マッチング情報に基づいて、前記k番目の第2測位結果に対して修正を行い、修正されたk番目の第3測位結果を決定することを含む
項目1に記載の測位方法。
(項目6)
前記測位方法は、
第2電子機器にa番目の第1測位要求を送信することであって、前記a番目の第1測位要求に、前記第1電子機器が所在する環境のa番目のフレームの環境画像が含まれ、aは整数であり、且つa≧1である、ことと、
前記第2電子機器から送信されたa番目の第1測位結果を受信した場合、前記a番目の第1測位結果に基づいて、前記第1電子機器における位置推定とマッピングの同時実行(SLAM)システムに対して初期化を行い、前記第1電子機器の初期測位結果を決定することであって、前記a番目の第1測位結果は、a番目の第1位置姿勢情報及び/又はa番目のフレームの特徴点マッチング情報を含む、ことと、を更に含む
項目1に記載の測位方法。
(項目7)
第2電子機器から送信されたk番目の第1測位結果は、第1領域地図を更に含み、前記第1領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含み、前記k番目の第3測位結果を決定した後、前記測位方法は、
前記k番目の第3測位結果と前記第1領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第4測位結果を決定することと、
前記第4測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することと、を更に含む
項目1-6のいずれか一項に記載の測位方法。
(項目8)
前記第2電子機器にk番目の第1測位要求を送信する前に、前記測位方法は、
前記第1電子機器のk番目の第2測位結果及び前記第1電子機器のローカルの第2領域地図に基づいて、前記第1電子機器が前記第2領域地図内に位置するかどうかを判断することであって、前記第2領域地図は、前記第2電子機器から送信された領域地図である、ことを更に含み、
前記第2電子機器にk番目の第1測位要求を送信することは、前記第1電子機器が前記第2領域地図内に位置する場合、前記第2電子機器にk番目の第1測位要求を送信することを含む
項目1-6のいずれか一項に記載の測位方法。
(項目9)
前記測位方法は、
前記第1電子機器が前記第2領域地図内に位置しない場合、前記第2電子機器に第2測位要求を送信することであって、前記第2測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれる、ことと、
前記第2電子機器から送信された第3領域地図を受信した場合、現在の第2測位結果と前記第3領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第5測位結果を決定することであって、前記第3領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、ことと、
前記第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することを更に含む
項目8に記載の測位方法。
(項目10)
前記第2電子機器に第1測位要求を送信する前に、前記測位方法は、前記第1電子機器のネットワーク状態を取得することであって、前記ネットワーク状態は、ネットワーク信号強度及び/又は情報伝送速度を含む、ことを更に含み、
前記第2電子機器にk番目の第1測位要求を送信することは、前記ネットワーク状態が所定の領域地図取得条件を満たさない場合、第2電子機器にk番目の第1測位要求を送信することであって、前記領域地図取得条件は、前記ネットワーク信号強度が信号強度閾値以上であること、及び/又は、前記情報伝送速度が速度閾値以上であることを含む、ことを含む
項目1-9のいずれか一項に記載の測位方法。
(項目11)
第2電子機器に適用される測位方法であって、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得ることと、
前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させることと、を含み、前記k番目の第1測位結果は、k番目の第1位置姿勢情報及び/又はk番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、前記k番目のフレームの環境画像における二次元特徴点と前記点群地図における三次元特徴点とのマッチング情報を含む、測位方法。
(項目12)
前記測位方法は、
第1電子機器からの第2測位要求を受信した場合、前記点群地図及び前記第2測位要求における環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器の第6測位結果を得ることと、
前記第6測位結果に基づいて、前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定することと、
前記第1電子機器に領域地図を送信することにより、前記第1電子機器に、前記領域地図に基づいて測位及び展示を行わせることであって、前記領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、こととを更に含む
項目11に記載の測位方法。
(項目13)
第1電子機器に適用される測位装置であって、
第2電子機器にk番目の第1測位要求を送信するように構成される第1要求送信部分であって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である、第1要求送信部分と、
前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定するように構成される結果修正部分であって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、結果修正部分と、
前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第1展示部分と、を備える、測位装置。
(項目14)
前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、前記結果修正部分は、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定するように構成される現在偏差決定サブ部分と、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定するように構成される全体的偏差決定サブ部分と、
前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定するように構成される第1修正サブ部分と、を備える
項目13に記載の測位装置。
(項目15)
前記全体的偏差決定サブ部分は、i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定し、i、jは整数であり、且つ1≦i<j≦kであり、i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定し、前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定し、複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定するように構成される
項目14に記載の測位装置。
(項目16)
前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を更に含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記結果修正部分は更に、
前記k番目のフレームの特徴点マッチング情報に基づいて、k番目の第3位置姿勢情報に対して修正を行い、修正されたk番目の第3測位結果を決定するように構成される第2修正サブ部分を備える
項目14又は15に記載の測位装置。
(項目17)
前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記結果修正部分は、k番目のフレームの特徴点マッチング情報に基づいて、前記k番目の第2測位結果に対して修正を行い、修正されたk番目の第3測位結果を決定するように構成される第3修正サブ部分を備える
項目13に記載の測位装置。
(項目18)
前記測位装置は更に、
第2電子機器にa番目の第1測位要求を送信するように構成される第2要求送信部分であって、前記a番目の第1測位要求に、前記第1電子機器が所在する環境のa番目のフレームの環境画像が含まれ、aは整数であり、且つa≧1である、第2要求送信部分と、
前記第2電子機器から送信されたa番目の第1測位結果を受信した場合、前記a番目の第1測位結果に基づいて、前記第1電子機器における位置推定とマッピングの同時実行(SLAM)システムに対して初期化を行い、前記第1電子機器の初期測位結果を決定するように構成される初期化部分であって、前記a番目の第1測位結果は、a番目の第1位置姿勢情報及び/又はa番目のフレームの特徴点マッチング情報を含む、初期化部分と、を備える
項目13に記載の測位装置。
(項目19)
前記第2電子機器から送信されたk番目の第1測位結果は、第1領域地図を更に含み、前記第1領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含み、前記測位装置は更に、
前記k番目の第3測位結果と前記第1領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第4測位結果を決定するように構成される第1マッチング測位部分と、
前記第4測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第2展示部分と、を備える
項目13-18のいずれか一項に記載の測位装置。
(項目20)
前記測位装置は更に、前記第1電子機器のk番目の第2測位結果及び前記第1電子機器のローカルの第2領域地図に基づいて、前記第1電子機器が前記第2領域地図内に位置するかどうかを判断するように構成される領域判断部分であって、前記第2領域地図は、前記第2電子機器から送信された領域地図である、領域判断部分を備え、
前記第1要求送信部分は、前記第1電子機器が前記第2領域地図内に位置する場合、第2電子機器にk番目の第1測位要求を送信するように構成される第1送信サブ部分を備える
項目13-18のいずれか一項に記載の測位装置。
(項目21)
前記測位装置は更に、
前記第1電子機器が前記第2領域地図内に位置しない場合、前記第2電子機器に第2測位要求を送信するように構成される第3要求送信部分であって、前記第2測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれる、第3要求送信部分と、
前記第2電子機器から送信された第3領域地図を受信した場合、現在の第2測位結果と前記第3領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第5測位結果を決定するように構成される第2マッチング測位部分であって、前記第3領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、第2マッチング測位部分と、
前記第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第3展示部分と、を備える
項目20に記載の測位装置。
(項目22)
前記測位装置は更に、前記第1電子機器のネットワーク状態を取得するように構成されるネットワーク状態取得部分であって、前記ネットワーク状態は、ネットワーク信号強度及び/又は情報伝送速度を含む、ネットワーク状態取得部分を備え、
前記第1要求送信部分は、前記ネットワーク状態が所定の領域地図取得条件を満たさない場合、第2電子機器にk番目の第1測位要求を送信するように構成される第2送信サブ部分であって、前記領域地図取得条件は、前記ネットワーク信号強度が信号強度閾値以上であること、及び/又は、前記情報伝送速度が速度閾値以上であることを含む、第2送信サブ部分を備える
項目13-21のいずれか一項に記載の測位装置。
(項目23)
第2電子機器に適用される測位装置であって、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得るように構成される第1測位部分と、
前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させるように構成される結果送信部分とを備え、ここで、前記k番目の第1測位結果は、k番目の第1位置姿勢情報及び/又はk番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、前記k番目のフレームの環境画像における二次元特徴点と前記点群地図における三次元特徴点とのマッチング情報を含む、測位装置。
(項目24)
前記測位装置は更に、
第1電子機器からの第2測位要求を受信した場合、前記点群地図及び前記第2測位要求における環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器の第6測位結果を得るように構成される第2測位部分と、
前記第6測位結果に基づいて、前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定するように構成されるサブ地図決定部分と、
前記第1電子機器に領域地図を送信することにより、前記第1電子機器に、前記領域地図に基づいて測位及び展示を行わせるように構成される領域地図送信部分であって、前記領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、領域地図送信部分と、を備える
項目23に記載の測位装置。
(項目25)
電子機器であって、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出して実行することにより、項目1ないし12のいずれか一項に記載の測位方法を実行するように構成される、電子機器。
(項目26)
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサに、項目1ないし12のいずれか一項に記載の測位方法を実行させる、コンピュータ可読記憶媒体。
(項目27)
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器上で実行されるときに、前記機器のプロセッサに、項目1ないし12のいずれか一項に記載の測位方法を実行させる、コンピュータプログラム。
(項目28)
コンピュータ可読命令が記憶されたコンピュータプログラム製品であって、前記コンピュータ可読命令が実行されるときに、コンピュータに、項目1ないし12のいずれか一項に記載の測位方法を実行させる、コンピュータプログラム製品。
【0014】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【0015】
【
図1】本願の実施例による測位方法のフローチャートである。
【
図2】本願の実施例による測位方法のフローチャートである。
【
図3】本願の実施例による測位方法のインタラクションの概略図である。
【
図4A】本願の実施例による測位方法の処理プロセスの概略図である。
【
図4B】本願の実施例による測位方法の処理プロセスの概略図である。
【
図5】本願の実施例による測位装置の構造の概略図である。
【
図6】本願の実施例による測位装置の構造の概略図である。
【
図7】本願の実施例による電子機器の構造の概略図である。
【
図8】本願の実施例による電子機器の構造の概略図である。
【発明を実施するための形態】
【0016】
ここでの図面は、本明細書に組み込まれてその一部分を構成し、これらの図面は、本願に準拠する実施例を示し、本明細書とともに本願の実施例の技術的解決策を説明するために使用される。
【0017】
以下、図面を参照しながら本願の実施例の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一又は類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
【0018】
ここで「例示的」という専用用語は、「例、実施例として用いられるか、又は説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、必ずしも他の実施例より好適又は有利であると解釈されるべきではない。
【0019】
本明細書において、「及び/又は」という用語は、単に関連対象の関連関係を説明するためのものであり、3つの関係が存在することを表す。例えば、A及び/又はBは、Aのみが存在すること、AとBの両方が存在すること、Bのみが存在することという3つのケースを表す。また、本明細書において、「少なくとも1つ」という用語は、複数のうちのいずれか1つ又は複数のうちの少なくとも2つの任意の組み合わせを表す。例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCからなる集合から選ばれるいずれか1つ又は複数の要素を含むことを表す。
【0020】
なお、本願をより良く説明するために、以下の実施形態において多くの具体的な詳細が与えられる。当業者は、本願は、いくつかの具体的な詳細なしにも実施可能であることを理解すべきである。本願の実施例の主旨を明確にするために、いくつかの実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【0021】
本願の実施例による測位方法をより良く説明するために、まず、関連技術において用いられる測位方法を説明する。関連技術では、視覚的測位により端末の測位を実現させる場合、端末ローカルで1セットの位置推定とマッピングの同時実行(Simultaneous Localization And Mapping:SLAM)システムを実行でき、クラウド側の測位結果に基づいて、ローカルSLAMの位置と姿勢情報を直接修正する。該方法は、端末の絶対位置を決定することができるが、システムの動作中に生じる相対誤差を回避できず、いくつかのシーンでは、ジッター、ドリフトなどが発生するため、測位効果が低下する可能性がある。
【0022】
本願の実施例は、測定方法を提供し、例えば、大型ショッピングモール、交通ハブ、病院、大型展示館などの室内外シーンに適用され、測位の精度と安定性を向上させることができる。該測位方法は、第1電子機器と第2電子機器によって実現してもよい。第1電子機器は、例えば、端末機器を含んでもよく、第2電子機器は、例えば、クラウドサーバを含んでもよい。
【0023】
図1は、本願の実施例による測位方法のフローチャートである。
図1に示すように、前記測位方法は、以下のステップを含む。
【0024】
ステップS11において、第2電子機器にk番目の第1測位要求を送信し、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である。
【0025】
ステップS12において、前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定し、ここで、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである。
【0026】
ステップS13において、前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示する。
【0027】
いくつかの実施例では、前記測位方法は、第1電子機器に適用されてもよく、第1電子機器は、端末機器、例えば、ユーザ機器(User Equipment:UE)、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、携帯情報端末(Personal Digital Assistant:PDA)、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。前記測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。
【0028】
例えば、第1電子機器ローカルのSLAMシステムの動作中に、相対誤差、例えば、SLAM自体の動作によって生成される累積誤差、テクスチャが弱いシーンにおけるジッター、ドリフトなどが発生する可能性がある。この場合、クラウド側の測位情報によって、ローカルのSLAMシステムに対して制約を行い、これにより、SLAMシステムのバックエンドの累積誤差を抑制することができる。
【0029】
いくつかの実施例では、第1電子機器を所持又は装着しているユーザは、自己の位置を決定する必要がある場合、第1電子機器の収集部材(例えば、カメラなど)によって、所在環境の環境画像を収集し、例えば、第1電子機器の面する景物の画像を撮る。該環境画像は、1つ又は複数の画像であってもよく、複数フレームの画像を含むショートビデオであってもよい。本願の実施例は、これを限定しない。
【0030】
いくつかの実施例では、ある1回の測位(k回目の測位であると想定し、kは1よりも大きい整数である)について、ステップS11では、第1電子機器は、それ自体の位置を決定するために、第2電子機器にk番目の第1測位要求を送信してもよい。k番目の第1測位要求に、第1電子機器によって収集されたk番目のフレームの環境画像が含まれる。ここで、第2電子機器は、例えば、クラウド側サーバであってもよく、第1電子機器が所在する全体的な地理的領域(例えば、ショッピングモール内部領域、都市領域など)の点群地図が記憶されている。
【0031】
いくつかの実施例では、第2電子機器は、k番目の第1測位要求を受信した後、k番目の第1測位要求におけるk番目のフレームの環境画像の特徴情報を抽出してもよい。例えば、予め訓練されたニューラルネットワークによって、k番目のフレームの環境画像に対して特徴抽出を行い、k番目のフレームの環境画像の特徴情報を得ることができる。本願の実施例は、特徴抽出の具体的な方式を限定しない。
【0032】
いくつかの実施例では、k番目のフレームの環境画像の特徴情報を得た後、第2電子機器は、該特徴情報と点群地図に対してマッチングを行い、マッチングする視覚的測位結果(k番目の第1測位結果と呼ばれてもよい)を得ることができる。本願の実施例は、特徴情報と点群地図とのマッチングの具体的な方式を限定しない。
【0033】
いくつかの実施例では、該k番目の第1測位結果は、第1電子機器の位置姿勢情報(poseと略称されてもよい)及び/又は特徴点マッチング情報(matchと略称されてもよい)を含む。ここで、位置姿勢情報は、位置情報と姿勢情報を含み、位置情報は、第1電子機器の位置座標を含んでもよく、姿勢情報は、第1電子機器の向き、ピッチング角などを含んでもよい。
【0034】
いくつかの実施例では、特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と点群地図における三次元特徴点とのマッチング情報を含んでもよい。例えば、k番目のフレームの環境画像のN+1個の2D特徴点
【0035】
【0036】
が点群地図のN+1個の3D特徴点
【0037】
【0038】
とそれぞれマッチングする場合、特徴点マッチング情報は、2D特徴点
【0039】
【0040】
の座標、3D特徴点
【0041】
【0042】
の座標及びそれらのマッチング関係を含み、Nは0よりも大きい整数である。
【0043】
いくつかの実施例では、第2電子機器は、第1電子機器の測位結果を制約するために、該k個の第1測位結果を第1電子機器に送信することができる。
【0044】
いくつかの実施例では、ステップS12において、第1電子機器は、第2電子機器から送信されたk番目の第1測位結果を受信した場合、k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、第1電子機器のk番目の第3測位結果を決定することができる。即ち、k番目の第1測位結果における位置姿勢情報及び/又は特徴点マッチング情報に基づいて、第1電子機器ローカルのk番目の第2測位結果に対して制約を行うことにより、k番目の第2測位結果の修正を実現させ、修正された測位結果(k番目の第3測位結果と呼ばれてもよい)を得る。
【0045】
ここで、k番目の第2測位結果は、第1電子機器によってk番目のフレームの環境画像に対してローカル測位を行うことで得られたものであり、即ち、k番目のフレームの環境画像とローカル地図に基づいて、視覚的測位を行い、ローカル測位結果、即ち、k番目の第2測位結果を得る。該測位結果は、位置姿勢情報を含んでもよい。本願の実施例は、具体的な測位方式を限定しない。
【0046】
いくつかの実施例では、例えば、k番目の第1測位結果における位置姿勢情報、ローカルのk番目の第2測位結果における位置姿勢情報、及び過去のk-1個の第2測位結果及び第3測位結果の位置姿勢情報に基づいて、位置姿勢グラフ(Pose Graph)を確立して、ローカル測位結果に対して制約を行ってもよい。或いは、k番目の第1測位結果における特徴点マッチング情報に基づいて、ローカル測位結果に対して再投影誤差制約を行ってもよい。或いは、k番目の第1測位結果における位置姿勢情報と特徴点マッチング情報のそれぞれに基づいて、ローカル測位結果に対して制約を行ってもよい。本願の実施例は、具体的な制約方式を限定しない。
【0047】
いくつかの実施例では、ステップS13において、k番目の第3測位結果に基づいて、第1電子機器のディスプレイの表示インタフェースを展示することができる。つまり、k番目の第3測位結果によって、ローカルSLAMシステムのVIO(visual-inertial odometry:視覚的慣性距離計)モジュールの出力を制約することができる。第1電子機器の現在の応用シーンに基づいて、VIOモジュールの出力結果によって、展示待ち該当する内容をレンダリングして、表示インタフェースに展示する。
【0048】
例えば、視覚的ナビゲーションの応用シーンでは、第1測位結果及び目的地の位置に基づいて、ナビゲーション経路を決定して、表示インタフェースに展示することによって、ナビゲーション機能を実現させることができる。仮想物体展示の応用シーンでは、第1測位結果に基づいて、展示待ち仮想物体の位置及び姿勢を決定して、表示インタフェースに展示することができ、それにより精確で安定的な仮想物体展示を実現させる。本願の実施例は、表示インタフェースに展示される具体的な内容を限定しない。
【0049】
本願の実施例によれば、第2電子機器に、環境画像を含む測位要求を送信し、第2電子機器から返信されたクラウド測位結果に基づいて、ローカル測位結果に対して修正を行い、修正された測位結果に基づいて展示を行うことができ、それにより測位の精度と安定性を向上させる。
【0050】
いくつかの実施例では、前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、ステップS12は、
前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定することと、
k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定することと、
前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定することと、を含んでもよい。
【0051】
例えば、クラウド測位結果が位置姿勢情報を含む場合、今回の測位の位置姿勢情報及び履歴測位の位置姿勢情報に基づいて、位置姿勢グラフを確立して、ローカル地図(Map)を制約することで、ローカル位置姿勢の修正を実現できる。ここで、位置姿勢グラフ(Pose Graph)は、一般的には、ループ(Loop)が発生した場合に、累積誤差を補正するために用いられるため、測位に成功した場合に累積誤差を補正するために用いられてもよい。
【0052】
いくつかの実施例では、k番目の第1位置姿勢情報
【0053】
【0054】
及びk番目の第2位置姿勢情報
【0055】
【0056】
に基づいて、k回目の測位の現在位置姿勢偏差、即ち、今回の測位のクラウド位置姿勢とローカル位置姿勢との偏差を決定することができ、
【0057】
【0058】
で表されてもよい。k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差、即ち、複数回の測位の位置姿勢間の全体的偏差を決定する。更に、現在位置姿勢偏差と全体的位置姿勢偏差に基づいて、位置姿勢グラフを確立し、制約によって位置姿勢の修正を実現させることができる。ここで、クラウド位置姿勢は、第2電子機器から返信されたクラウド測位結果における位置姿勢情報である。
【0059】
いくつかの実施例では、k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定するステップは、
i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定することであって、i、jは整数であり、且つ1≦i<j≦kである、ことと、
i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定することと、
前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定することと、
複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定することと、を含んでもよい。
【0060】
例えば、k回の測位のうちのいずれか2回の測位(i回目、j回目の測位であると想定し、i、jは整数であり、且つ1≦i<j≦kである)について、i番目の第2位置姿勢情報
【0061】
【0062】
とj番目の第2位置姿勢情報
【0063】
【0064】
との第1位置姿勢変化情報
【0065】
【0066】
を決定でき、これは、i番目のフレームからj番目のフレームまでのローカル測位結果の位置姿勢変化を表すためのものであり、ここで、
【0067】
【0068】
である。更に、i番目の第3位置姿勢情報
【0069】
【0070】
とj番目の第3位置姿勢情報
【0071】
【0072】
との第2位置姿勢変化情報
【0073】
【0074】
を決定でき、これは、i番目のフレームからj番目のフレームまでの第3測位結果の位置姿勢変化を表すためのものであり、ここで、
【0075】
【0076】
である。第1位置姿勢変化情報と第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定でき、これは、
【0077】
【0078】
で表される。複数の位置姿勢偏差を加算することで、k回の測位の全体的位置姿勢偏差を得ることができ、これは、
【0079】
【0080】
で表される。
【0081】
いくつかの実施例では、下記式(1)で位置姿勢グラフE1を表してもよい。
【0082】
【0083】
式(1)に対して最適化計算を行うことで、大域的最適化された
【0084】
【0085】
、
即ち、位置姿勢修正後のk番目の第3位置姿勢情報を得ることができ。
【0086】
このような方式により、現在のクラウド位置姿勢及び過去の履歴位置姿勢に基づいて、現在のローカル位置姿勢を修正することができ、それによりSLAMシステムの累積誤差を減少させ、測位の精度と安定性を向上させる。
【0087】
いくつかの実施例では、前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、
前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、
k番目のフレームの特徴点マッチング情報に基づいて、前記k番目の第2測位結果に対して修正を行い、修正されたk番目の第3測位結果を決定することを含む。
【0088】
例えば、クラウド測位結果が特徴点マッチング情報を含む場合、特徴点マッチング情報に基づいて、ローカルバンドル調整(Local Bundle Adjustment:LBA)で再投影誤差制約を行い、現在のローカル位置姿勢、即ち、k番目の第2位置姿勢情報
【0089】
【0090】
を修正することができる。
【0091】
上述したように、特徴点マッチング情報がk番目のフレームの環境画像の2D特徴点
【0092】
【0093】
の座標、点群地図の3D特徴点
【0094】
【0095】
の座標及び該2D特徴点と該3D特徴点とのマッチング関係を含むと仮定すると、下記式(2)で、再投影誤差E2を表すことができる。
【0096】
【0097】
式(2)において、πは、カメラ座標系から画像座標系への投影を表し、nは整数であり、且つ0≦n≦Nである。式(2)に対して最適化計算を行うことで、最適化された位置姿勢情報、即ち、位置姿勢修正後のk番目の第3位置姿勢情報を得ることができる。
【0098】
このような方式より、特徴点マッチング情報に基づいて再投影誤差制約を行い、ローカル位置姿勢を修正することができ、それにより測位の精度と安定性を向上させる。
【0099】
いくつかの実施例では、前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を更に含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、
前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定することは、
前記k番目のフレームの特徴点マッチング情報に基づいて、k番目の第3位置姿勢情報に対して修正を行い、修正されたk番目の第3測位結果を決定することを更に含む。
【0100】
例えば、クラウド測位結果が位置姿勢情報と特徴点マッチング情報を含む場合、まず、今回の測位の位置姿勢情報及び履歴測位の位置姿勢情報に基づいて、位置姿勢グラフを確立して、ローカル地図(map)を制約し、更に、特徴点マッチング情報に基づいて、再投影誤差制約を行い、位置姿勢を更に修正することができる。
【0101】
いくつかの実施例では、式(1)の最適化によってk番目の第3位置姿勢情報を得た後、下記式(3)によって、k番目の第3位置姿勢情報
【0102】
【0103】
に対して再投影誤差制約を行うことができる。
【0104】
【0105】
式(3)において、πは、カメラ座標系から画像座標系への投影を表し、nは整数であり、且つ0≦n≦Nである。式(3)に対して最適化計算を行うことで、最適化された位置姿勢情報、即ち、再度位置姿勢修正後のk番目の第3測位結果を得ることができる。
【0106】
このような方式により、k番目の第1測位結果における位置姿勢情報と特徴点マッチング情報のそれぞれに基づいて、測位結果に対して制約を行うことで、ローカル位置姿勢を修正することができ、それにより測位の精度と安定性を更に向上させる。
【0107】
いくつかの実施例では、前記測位方法は、
第2電子機器にa番目の第1測位要求を送信することであって、前記a番目の第1測位要求に、前記第1電子機器が所在する環境のa番目のフレームの環境画像が含まれ、aは整数であり、且つa≧1である、ことと、
前記第2電子機器から送信されたa番目の第1測位結果を受信した場合、前記a番目の第1測位結果に基づいて、前記第1電子機器における位置推定とマッピングの同時実行(SLAM)システムに対して初期化を行い、前記第1電子機器の初期測位結果を決定することであって、前記a番目の第1測位結果は、a番目の第1位置姿勢情報及び/又はa番目のフレームの特徴点マッチング情報を含む、ことと、を更に含む。
【0108】
例えば、一般的には、SLAMシステムを初期化する時、第1電子機器は複数回移動し、複数フレームの環境画像を収集する必要がある。それにより環境画像における点に対して十分な観測を行うことによって、測位結果を収束させ、第1電子機器の初期測位結果を決定し、SLAMシステムの初期化を実現させる。この場合、第1電子機器は、第2電子機器から返信された第1測位結果を利用して初期化を実現してもよい。
【0109】
いくつかの実施例では、第1電子機器は、それ自体の位置を決定するために、第2電子機器にa番目の第1測位要求を送信してもよい。a番目の第1測位要求に、第1電子機器によって収集されたa番目のフレームの環境画像が含まれ、aは1以上の整数である。第2電子機器は、a番目の第1測位要求を受信した後、a番目の第1測位要求におけるa番目のフレームの環境画像の特徴情報を抽出して、点群地図とマッチングし、マッチングする視覚的測位結果(a番目の第1測位結果と呼ばれてもよい)を決定して、第1電子機器に送信することができる。該第1測位結果は、第1電子機器の位置姿勢情報(pose)及び/又は特徴点マッチング情報(match)を含む。
【0110】
いくつかの実施例では、第1電子機器は、a番目の第1測位結果を受信した場合、a番目の第1測位結果に基づいて、前記第1電子機器における位置推定とマッピングの同時実行(SLAM)システムに対して初期化を行い、前記第1電子機器の初期測位結果を決定することができる。
【0111】
ここで、a=1である場合、該第1測位結果を第1電子機器の初期測位結果として直接使用してもよい。a>1である場合、a番目の第1測位結果に基づいて、第1電子機器ローカルの測位結果に対して修正を行い、第1電子機器の初期測位結果を決定することができる。本願の実施例は、修正の具体的な方式を限定しない。
【0112】
このような方式により、第1電子機器におけるSLAMシステムの初期化速度を向上させ、ひいては、静止状態の場合に初期化を完了することができる。
【0113】
本願の実施例による測位方法は、上記処理方式によって、SLAMシステムの累積誤差を減少させることができる。更に、クラウド側の高精度地図を要求することで、高精度地図とローカルSLAMシステムとの密結合策略を実現させ、ローカルSLAMのマッピング需要を減少させ、測位の精度を更に向上させることができる。
【0114】
いくつかの実施例では、第2電子機器から送信されたk番目の第1測位結果は、第1領域地図を更に含み、前記第1領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む。
【0115】
いくつかの実施例では、ステップS12において、前記k番目の第3測位結果を決定した後、前記測位方法は、
前記k番目の第3測位結果と前記第1領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第4測位結果を決定することと、
前記第4測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することと、を更に含む。
【0116】
つまり、第1電子機器から送信されたk番目の第1測位要求は、クラウド側のサブ地図を更に要求することができる。第2電子機器は、第1電子機器から送信されたk番目の第1測位要求を受信した場合、視覚的測位を行い、k番目の第1測位結果を決定することができる。第2電子機器は、該k番目の第1測位結果に基づいて、点群地図から、第1電子機器に対応する地理的領域の点群サブ地図を決定することができる。該地理的領域は、第1電子機器の位置付近の一定の範囲内の領域、例えば、第1電子機器の位置との距離が所定の距離(例えば、10メートル)内である円形領域であってもよい。本願の実施例は、該地理的領域の具体的な範囲を限定しない。
【0117】
いくつかの実施例では、第2電子機器は、該地理的領域の点群サブ地図をSLAMの地図フォーマットにパッケージ化することで、第1領域地図を生成して、第1電子機器に送信することができる。
【0118】
クラウド側の高精度地図は、現実シーンに合わせて十分に最適化された地図であるため、クラウド側のサブ地図に基づいて、ローカルでマッチングを行うことで、測位の精度と安定性を向上させることができる。
【0119】
いくつかの実施例では、第1電子機器によって受信されたk番目の第1測位結果に、第1領域地図が含まれる。ステップS12において、k番目の第3測位結果を決定した後、第1電子機器は、k番目の第3測位結果(Pose)と第1領域地図における点群サブ地図に対して投影マッチングを実行してから(即ち、三次元の点群サブ地図を二次元の画像に投影する)、k番目の第3測位結果とマッチングすることによって、第1電子機器の測位結果(第4測位結果と呼ばれてもよい)を決定することができる。該第4測位結果は、第1電子機器の位置姿勢情報を含む。
【0120】
クラウド地図における画像とローカルの環境画像が一致しないことがあるため、SLAMシステムにおいて、例えば、方向付き高速及び回転ブリーフ(Oriented Fast and Rotated Brief:ORB)(高速特徴点抽出及び記述アルゴリズムの一種である)記述子を用いて画像マッチングを行う場合、投影マッチングの方式を用いることで、検索半径を減少させ、誤マッチングの確率を低減させることができる。
【0121】
いくつかの実施例では、第4測位結果に基づいて、前記第1電子機器の表示インタフェースを展示してもよい。即ち、第4測位結果によって、ローカルSLAMシステムのVIOモジュールの出力結果を制約することができる。第1電子機器の現在の応用シーンに基づいて、VIOモジュールの出力結果によって、展示待ち該当する内容をレンダリングして、表示インタフェースに展示する。
【0122】
このように、まず、クラウド側の位置姿勢Pose及び特徴点マッチング情報Matchによって、累積誤差を小さい範囲内まで縮小させることができ、更に、測位結果Poseと点群サブ地図に対して投影マッチングを行うことで、マッチングの成功率と正確率を向上させ、測位の精度を更に向上させることができる。
【0123】
上記処理方式は、測位精度を向上させることができるが、クラウド側の高精度サブ地図を要求するのは、多くのネットワークリソースを消費する可能性がある。従って、現在フレームにおいて、ロードされた高精度サブ地図に対して十分な観測を行ったかどうか(即ち、現在フレームがロードされた高精度サブ地図の領域内にあるかどうか)又はネットワーク状態が需要を満たすかどうかなどに基づいて、サブ地図を要求するかどうかを選択することができる。
【0124】
いくつかの実施例では、ステップS11において、第2電子機器にk番目の第1測位要求を送信する前に、前記測位方法は、
前記第1電子機器のk番目の第2測位結果及び前記第1電子機器のローカルの第2領域地図に基づいて、前記第1電子機器が前記第2領域地図内に位置するかどうかを判断することであって、前記第2領域地図は、前記第2電子機器から送信された領域地図である、ことを更に含み、
ここで、前記第2電子機器にk番目の第1測位要求を送信することは、
前記第1電子機器が前記第2領域地図内に位置する場合、第2電子機器にk番目の第1測位要求を送信することを含む。
【0125】
例えば、第1電子機器が初めて測位を行う場合、クラウド側の高精度サブ地図を直接に要求することで、精確な測位を実現させることができる。第1電子機器の複数回の測位プロセスにおいて(例えば、ARナビゲーションによって目的地へ行くプロセスにおいて)、クラウド側の高精度サブ地図を既に受信して、ローカルに記憶している可能性がある。この場合、まず、第1電子機器がローカルの既存のサブ地図範囲内にあるかどうかを判断してもよい。
【0126】
いくつかの実施例では、第1電子機器ローカルのk番目の第2測位結果及び第2電子機器から送信された領域地図(第2領域地図と呼ばれてもよい)に基づいて、第1電子機器の位置座標が第2領域地図に対応する地理的領域の座標範囲内にあるかどうかを判断することができる。第1電子機器が第2領域地図の範囲内にあれば、ロードされた高精度サブ地図に対して十分に観測したと認められ、直接的にローカルの第2領域地図における点群サブ地図によって精確な測位を行うことができる。
【0127】
いくつかの実施例では、第1電子機器が第2領域地図内に位置する場合、ステップS11において、k番目の第1測位要求を送信することで、クラウド側の位置姿勢情報Pose及び特徴点マッチング情報Matchを取得するように要求することができ、それにより位置姿勢修正を行い、累積誤差を減少させる。
【0128】
このような方式により、クラウド上の高精度サブ地図の要求回数を減少させ、伝送のデータ量を減少させ、測位効率及び測位速度を向上させることができる。
【0129】
いくつかの実施例では、前記測位方法は、
前記第1電子機器が前記第2領域地図内に位置しない場合、前記第2電子機器に第2測位要求を送信することであって、前記第2測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれる、ことと、
前記第2電子機器から送信された第3領域地図を受信した場合、現在の第2測位結果と前記第3領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第5測位結果を決定することであって、前記第3領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、ことと、
前記第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示することを更に含んでもよい。
【0130】
上述したように、第1電子機器が第2領域地図の範囲内にある場合、即ち、第1電子機器の位置が前記第2領域地図情報の領域内にある場合、現在の第2測位結果と第2領域地図における点群サブ地図に対して投影マッチングを行い、第1電子機器の測位結果(第5測位結果と呼ばれてもよい)を決定することができる。該第5測位結果は、第1電子機器の位置姿勢情報を含む。
【0131】
いくつかの実施例では、第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示してもよい。即ち、第5測位結果によって、ローカルSLAMシステムのVIOモジュールの出力結果を制約することができる。第1電子機器の現在の応用シーンに基づいて、VIOモジュールの出力結果によって、展示待ち該当する内容をレンダリングして、表示インタフェースに展示する。
【0132】
このような方式により、ロードされた高精度サブ地図によって、測位の精度と安定性を向上させ、投影マッチングによって検索半径を減少させ、誤マッチングの確率を低減させることができる。
【0133】
いくつかの実施例では、ステップS11において、第2電子機器に第1測位要求を送信する前に、前記測位方法は、
前記第1電子機器のネットワーク状態を取得することであって、前記ネットワーク状態は、ネットワーク信号強度及び/又は情報伝送速度を含む、ことを更に含み、
前記第2電子機器にk番目の第1測位要求を送信することは、
前記ネットワーク状態が所定の領域地図取得条件を満たさない場合、第2電子機器にk番目の第1測位要求を送信することであって、前記領域地図取得条件は、前記ネットワーク信号強度が信号強度閾値以上であること、及び/又は、前記情報伝送速度が速度閾値以上であることを含む、ことを含む。
【0134】
例えば、第1電子機器のネットワーク状態を取得してもよい。このネットワーク状態は、ネットワーク信号強度及び/又は情報伝送速度などを含む。ネットワーク信号強度が信号強度閾値以上であり、及び/又は、情報伝送速度が速度閾値以上であれば、ネットワーク状態が良好であり、クラウド側の高精度サブ地図の要求の遅延が小さく、所定の領域地図取得条件を満たすと認められる。逆に、ネットワーク信号強度が信号強度閾値よりも小さく、及び/又は、情報伝送速度が速度閾値よりも小さければ、ネットワーク状態が悪く、クラウド側の高精度サブ地図の要求の遅延が大きく、所定の領域地図取得条件を満たさないと認められる。
【0135】
いくつかの実施例では、第1電子機器のネットワーク状態が所定の領域地図取得条件を満たさなければ、ステップS11において、k番目の第1測位要求を送信して、クラウド側の位置姿勢情報Pose及び特徴点マッチング情報Matchを要求することができ、それにより位置姿勢修正を行い、累積誤差を減少させる。
【0136】
このような方式により、ネットワーク状態に基づいて、クラウド側の高精度サブ地図を要求するかどうかを決定でき、それにより、伝送のデータ量を減少させ、測位効率及び測位速度を向上させることができる。
【0137】
いくつかの実施例では、ステップS13は、
前記k番目の第3測位結果及び目的地の地理的位置に基づいて、前記第1電子機器のナビゲーション経路を決定することと、
前記ナビゲーション経路に基づいて、前記表示インタフェースに拡張現実(AR)ナビゲーション経路を展示することと、を含んでもよい。
【0138】
例えば、ARナビゲーションを行う応用シーンにおいて、k番目の第3測位結果における位置姿勢情報、及びユーザによって設定された目的地の地理的位置に基づいて、第1電子機器のナビゲーション経路を決定することができる。同様に、第4測位結果又は第5測位結果を得た場合、第4又は第5測位結果における位置姿勢情報、及びユーザによって設定された目的地の地理的位置に基づいて、第1電子機器のナビゲーション経路を決定することができる。本願の実施例は、ナビゲーション経路の具体的な決定方式を限定しない。
【0139】
いくつかの実施例では、ナビゲーション経路に基づいて、第1電子機器の表示インタフェースの実写画像又はパノラマ画像にARナビゲーション経路を展示することで、ARナビゲーション経路に応じて進行するようユーザに指示することができる。該ARナビゲーション経路は、例えば、ナビゲーション経路に沿ったAR矢印を含む。本願の実施例は、ARナビゲーション経路の具体的な形式を限定しない。
【0140】
このような方式により、実写画像におけるARナビゲーションを実現させ、ナビゲーション経路の直観性を向上させ、ARナビゲーション経路の展示精度と安定性を向上させることができる。
【0141】
いくつかの実施例では、ステップS13は、
前記k番目の第3測位結果及びAR対象の第1対象位置姿勢情報に基づいて、前記表示インタフェースにおける前記AR対象の第2対象位置姿勢情報を決定することと、
前記第2対象位置姿勢情報に基づいて、前記表示インタフェースに前記AR対象を展示することと、を含んでもよい。
【0142】
例えば、AR対象を展示する応用シーンにおいて、k番目の第3測位結果における位置姿勢情報、及び展示まちAR対象の第1対象位置姿勢情報に基づいて、前記表示インタフェースにおけるAR対象の第2対象位置姿勢情報を決定することができる。本願の実施例は、具体的な決定方式を限定しない。
【0143】
同様に、第4測位結果又は第5測位結果を得た場合、第4又は第5測位結果における位置姿勢情報、及び展示まちAR対象の第1対象位置姿勢情報に基づいて、前記表示インタフェースにおけるAR対象の第2対象位置姿勢情報を決定することができる。
【0144】
いくつかの実施例では、第2対象位置姿勢情報に基づいて、表示インタフェースの実写画像に該AR対象を展示することができる。ここで、展示待ちAR対象は、ARマーカー、仮想物体などを含んでもよく、例えば、仮想景観、仮想動物などを含んでもよく。本願の実施例は、AR対象の具体的なタイプを限定しない。
【0145】
このような方式により、実写画像におけるAR対象の展示を実現させ、AR対象の展示精度と安定性を向上させることができる。
【0146】
図2は、本願の実施例による測位方法のフローチャートである。該方法は、第2電子機器に適用され、
図2に示すように、該測位方法は、以下のステップを含む。
【0147】
ステップS21において、第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得る。
【0148】
ステップS22において、前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させ、
ここで、前記k番目の第1測位結果は、k番目の第1位置姿勢情報及び/又はk番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、前記k番目のフレームの環境画像における二次元特徴点と前記点群地図における三次元特徴点とのマッチング情報を含む。
【0149】
例えば、ある1回の測位(k回目の測位であると想定し、kは1よりも大きい整数である)について、ステップS11では、第1電子機器は、それ自体の位置を決定するために、第2電子機器にk番目の第1測位要求を送信してもよい。k番目の第1測位要求に、第1電子機器によって収集されたk番目のフレームの環境画像が含まれる。
【0150】
いくつかの実施例では、第2電子機器は、k番目の第1測位要求を受信した後、k番目の第1測位要求におけるk番目のフレームの環境画像の特徴情報を抽出してもよい。例えば、予め訓練されたニューラルネットワークによって、k番目のフレームの環境画像に対して特徴抽出を行い、k番目のフレームの環境画像の特徴情報を得ることができる。本願の実施例は、特徴抽出の具体的な方式を限定しない。
【0151】
いくつかの実施例では、k番目のフレームの環境画像の特徴情報を得た後、第2電子機器は、該特徴情報と点群地図に対してマッチングを行い、マッチングする視覚的測位結果(k番目の第1測位結果と呼ばれてもよい)を得ることができる。本願の実施例は、特徴情報と点群地図とのマッチングの具体的な方式を限定しない。
【0152】
いくつかの実施例では、該k番目の第1測位結果は、第1電子機器の位置姿勢情報(poseと略称されてもよい)及び/又は特徴点マッチング情報(matchと略称されてもよい)を含む。ここで、位置姿勢情報は、位置情報と姿勢情報を含み、位置情報は、第1電子機器の位置座標を含んでもよく、姿勢情報は、第1電子機器の向き、ピッチング角などを含んでもよい。
【0153】
いくつかの実施例では、特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と点群地図における三次元特徴点とのマッチング情報を含んでもよい。例えば、k番目のフレームの環境画像のN+1個の2D特徴点
【0154】
【0155】
が点群地図のN+1個の3D特徴点
【0156】
【0157】
とそれぞれマッチングする場合、特徴点マッチング情報は、2D特徴点
【0158】
【0159】
の座標、3D特徴点
【0160】
【0161】
の座標及びそれらのマッチング関係を含み、Nは0よりも大きい整数である。
【0162】
いくつかの実施例では、第2電子機器は、該k個の第1測位結果を第1電子機器に送信することにより、第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させることができる。
【0163】
本願の実施例によれば、測位要求における環境画像に基づいて視覚的測位を行い、クラウド測位結果を得て、第1電子機器に送信することにより、第1電子機器に、測位結果を修正させることができ、それにより測位の精度と安定性を向上させる。
【0164】
いくつかの実施例では、前記測位方法は、
第1電子機器からの第2測位要求を受信した場合、前記点群地図及び前記第2測位要求における環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器の第6測位結果を得ることと、
前記第6測位結果に基づいて、前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定することと、
前記第1電子機器に領域地図を送信することにより、前記第1電子機器に、前記領域地図に基づいて測位及び展示を行わせることであって、前記領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、こととを更に含む。
【0165】
例えば、第1電子機器は、第2測位要求を送信して、クラウド側の高精度サブ地図を要求することができる。第2電子機器は、第2測位要求を受信した後、第2測位要求における環境画像の特徴情報を抽出し、該特徴情報と点群地図に対してマッチングを行い、マッチングする視覚的測位結果(第6測位結果と呼ばれてもよい)を決定することができる。該第6測位結果は、第1電子機器の位置姿勢情報及び/又は特徴点マッチング情報を含む。
【0166】
いくつかの実施例では、第2電子機器は、第6測位結果に基づいて、点群地図から、第1電子機器に対応する地理的領域の点群サブ地図を決定することができる。該地理的領域は、第1電子機器の位置付近の一定の範囲内の領域、例えば、第1電子機器の位置との距離が所定の距離(例えば、5メートル)内である円形領域であってもよい。本願の実施例は、該地理的領域の具体的な範囲を限定しない。
【0167】
いくつかの実施例では、第2電子機器は、該地理的領域の点群サブ地図をSLAMの地図フォーマットにパッケージ化することで、領域地図を生成して、第1電子機器に送信することにより、前記第1電子機器に、前記領域地図に基づいて測位及び展示を行わせることができる。
【0168】
このような方式により、点群地図及び第2測位要求における環境画像に基づいて、視覚的測位を行い、測位結果を得、測位結果に基づいて、対応する地理的領域の点群サブ地図を決定し、領域地図を生成して送信することができ、それにより、第1電子機器がクラウド側の高精度サブ地図に基づいてローカルでマッチングを行うことができるようになり、そのため、測位の精度と安定性が向上する。
【0169】
いくつかの実施例では、前記第6測位結果に基づいて、前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定するステップは、
前記第6測位結果における位置姿勢情報、前記第1電子機器の予測移動速度及び所定の応答時間に基づいて、前記第1電子機器の予測位置を決定することと、
前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定することであって、前記地理的領域は、前記第6測位結果の位置する第1地理的領域及び前記予測位置の位置する第2地理的領域を含む、ことと、を含む。
【0170】
例えば、いくつかの応用シーン(例えば、ARナビゲーションシーン)では、ユーザが持続的に移動するという状態にある可能性があり、第2電子機器が第1電子機器の位置付近の一定の範囲内の第1領域地図情報を返信したときに、ユーザが既に該範囲から離れた可能性があり、その結果、第1電子機器は、マッチングする該当する位置と姿勢を得ることができなくなり、測位失敗を引き起こす。
【0171】
いくつかの実施例では、第2電子機器は、第1電子機器の移動速度、及び第1領域地図情報の返信に必要な応答時間を予測することができる。例えば、第1電子機器が前回で測位要求を送信した時刻及び前回の測位結果、及び第1電子機器が今回で測位要求を送信した時刻及び測位結果に基づいて、第1電子機器の予測移動速度を決定することができる。或いは、一定期間内の、第1電子機器が測位要求を送信したときの複数の時刻及び複数の測位結果に基づいて、第1電子機器の予測移動速度を決定することもできる。本願の実施例は、予測移動速度の具体的な決定方式を限定しない。
【0172】
いくつかの実施例では、第2電子機器は、第1電子機器が前回で要求を送信した時刻と、第2電子機器が前回で領域地図を送信した時刻との時間差に基づいて、応答時間を決定することができる、或いは、一定の期間内の、第1電子機器が要求を送信したときの複数の時刻、及び第2電子機器が領域地図を送信したときの複数の時刻に基づいて、複数の時間差を決定し、更に応答時間を決定することもできる。本願の実施例は、応答時間の具体的な決定方式を限定しない。
【0173】
いくつかの実施例では、第6測位結果における位置x、第1電子機器の予測移動速度v、及び所定の応答時間tに基づいて、第1電子機器の予測位置x’=vt+xを決定することができる。ここで、tは、例えば、5-10sに設定してもよく、本願の実施例は、これを限定しない。
【0174】
いくつかの実施例では、第1電子機器に対応する地理的領域が、第6測位結果における位置付近の一定の範囲内の第1地理的領域と、予測位置付近の一定の範囲内の第2地理的領域を含むように設定してもよい。第2電子機器は、全体領域の点群地図から、該地理的領域の点群サブ地図を決定し、SLAMの地図フォーマットにパッケージ化することで、領域地図を生成して、第1電子機器に送信することができる。
【0175】
いくつかの実施例では、第2電子機器は、全体領域のパノラマ地図から、該地理的領域のパノラマサブ地図を決定し、同様にSLAMの地図フォーマットにパッケージ化して、領域地図に追加することもできる。本願の実施例は、これを限定しない。
【0176】
このような方式により、第1電子機器の精確な測位の効率と成功率を向上させ、測位効果を更に向上させることができる。
【0177】
図3は、本願の実施例による測位方法のインタラクションの概略図を示す。
図3に示すように、ユーザは、第1電子機器31を所持又は装着してもよく、自己の位置を決定する必要がある場合、第1電子機器31の収集部材(未図示)によって、所在する環境の環境画像を収集し、無線ネットワークを介して、第2電子機器32に測位要求を送信することができる。
【0178】
ここで、第2電子機器32に、第1電子機器が所在する地理的領域(例えば、ショッピングモール内部領域、都市領域など)の点群地図が記憶されている。第2電子機器32は、視覚的測位要求を受信した後、環境画像及び点群地図に基づいて、視覚的測位を行い、位置姿勢情報pose及び/又は特徴点マッチング情報matchを含む測位結果を返信することができる。第1電子機器31は、返信された測位結果に基づいて、ローカルの測位結果に対して修正を行う。
【0179】
図4Aは、本願の実施例による測位方法の処理プロセスの概略図を示す。
図4Aに示すように、第1電子機器は、測位を必要とする場合、測位を実現させるために、第2電子機器に測位要求を送信し、第2電子機器から返信された測位結果を受信した場合、測位結果(位置姿勢情報pose及び/又は特徴点マッチング情報matchを含む)を利用して累積誤差を修正することができる。
【0180】
いくつかの実施例では、修正に失敗した場合、測位要求を再度送信して、新たな測位結果を取得して修正を行うか、又は、直接的に再度修正を行う。修正に成功した場合、累積誤差が小さい範囲まで縮小されたと認められる。この場合、測位結果と点群サブ地図に対して投影マッチングを行う。
【0181】
いくつかの実施例では、マッチングに失敗した場合、新たな測位結果又は新たな高精度サブ地図を第2電子機器に要求して、マッチングを行い、又は、直接的に再度マッチングを行う。マッチングに成功した場合、正確な測位が得られたと認められ、第1電子機器ローカルのSLAMシステムは、位置追跡を自動的に実現させ、実際の応用シーンに基づいて、該当する処理を行い、例えば、ARナビゲーションを行うことができる。このような方式により、マッチングの成功率と正確率を向上させ、測位の精度を更に向上させることができる。
【0182】
図4Bは、本願の実施例による測位方法の処理プロセスの概略図である。
図4Bに示すように、第1電子機器は、測位を必要とする場合、高精度点群サブ地図を第2電子機器に要求し、第2電子機器から返信された測位結果又はローカル測位結果に基づいて、点群サブ地図との投影マッチングを行う。マッチングに成功した場合、正確な測位が得られたと認められ、第1電子機器ローカルのSLAMシステムは、位置追跡を自動的に実現させ、実際の応用シーンに基づいて、該当する処理を行い、例えば、ARナビゲーションを行うことができる。マッチングに失敗した場合、新たな点群サブを第2電子機器に要求して、マッチングを行うか、又は、直接的に再度マッチングを行うことができる。このような方式により、マッチングの成功率と正確率を向上させ、測位の精度を更に向上させることができる。
【0183】
本願の実施例による測位方法は、第2電子機器に、環境画像を含む測位要求を送信し、第2電子機器から返信されたクラウド測位結果及び過去の履歴測位結果に基づいて、ローカル測位結果に対して修正を行い、修正された測位結果に基づいて展示を行うことができ、それによりSLAMシステムの累積誤差を減少させ、測位の精度と安定性を向上させる。
【0184】
修正プロセスにおいて、今回の測位のクラウド位置姿勢及び履歴測位の位置姿勢に基づいて、位置姿勢グラフを確立して、ローカル地図(Map)を制約することで、ローカル位置姿勢の修正を実現させることができる。更に、第2電子機器から返信されたクラウド側の特徴点マッチング情報に基づいて、ローカルバンドル調整(LBA)で、再投影誤差制約を行い、ローカル位置姿勢の修正を実現させることができる。或いは、上記の2つの方式を組み合わせることで、ローカル位置姿勢の修正を実現してもよい。このようにして、SLAMバックエンド地図(Map)の累積誤差を抑制し、VIOからMapへのドリフト(Drift)を修正し、それにより、VIOの軌跡をMapと一致させることができる。
【0185】
本願の実施例による測位方法によれば、まず、クラウド側の位置姿勢Pose及び特徴点マッチング情報Matchによって、累積誤差を小さい範囲内まで縮小させることができ、更に、測位結果Poseと点群サブ地図に対して投影マッチングを行うことができ、それによりマッチングの成功率及び正確率を向上させ、測位の精度を更に向上させることができる。
【0186】
本願の実施例による測位方法によれば、現在フレームにおいて、ロードされた高精度サブ地図に対して十分な観測を行ったかどうか、又は、ネットワーク状態が需要を満たすかどうかなどに基づいて、サブ地図を要求するかどうかを選択することもでき、それにより、サブ地図の要求効率を向上させ、ナビゲーションなどの応用シーンにおけるサブ地図へのシステムの依存度を減少させることができる。クラウド側の位置姿勢Pose及び特徴点マッチング情報Matchによって累積誤差を除去するという策略と、クラウド高精度サブ地図を要求するという策略を組み合わせることで、高精度地図と密結合した、ロバスト性を有するSLAMシステムを構築することにより、測位の精度と安定性を向上させ、SLAMシステムに、各種シーンでロバストなAR効果を保持させることができる。
【0187】
本願の実施例による測位方法は、拡張現実ARの種々の応用シーン適用でき、例えば、ARクラウド、ARナビゲーションなどのシーン、及びロケーションベースのサービス(Location Based Services:LBS)の種々の応用シーンに適用でき、測位、展示及びインタラクションの効果を向上させることができる。ARナビゲーション、AR展示などの応用シーンにおいて、AR効果が局所範囲内に表示される時に発生する相対誤差を減少させ、テクスチャが弱いシーンにおけるAR効果のジッター、ドリフトなどの現象を減少させることができる。
【0188】
本願の実施例で言及される上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができる。具体的な実施形態の上記方法において、各ステップの実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
【0189】
なお、本願の実施例は、測位装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願の実施例で提供されるいずれか1つの測位方法を実現させるためのものである。対応する技術的解決策及び説明は、方法に関連する記述を参照されたい。
【0190】
図5は、本願の実施例による測位装置の構造の概略図である。
図5に示すように、前記測位装置は、第1電子機器に適用され、
第2電子機器にk番目の第1測位要求を送信するように構成される第1要求送信部分51であって、前記k番目の第1測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれ、kは1よりも大きい整数である、第1要求送信部分51と、
前記第2電子機器から送信されたk番目の第1測位結果を受信した場合、前記k番目の第1測位結果に基づいて、k番目の第2測位結果に対して修正を行い、前記第1電子機器のk番目の第3測位結果を決定するように構成される結果修正部分52であって、前記k番目の第2測位結果は、前記第1電子機器によって前記k番目のフレームの環境画像に対してローカル測位を行うことで得られたものである、結果修正部分52と、
前記k番目の第3測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第1展示部分53と、を備える。
【0191】
いくつかの実施例では、前記k番目の第1測位結果は、k番目の第1位置姿勢情報を含み、前記k番目の第2測位結果は、k番目の第2位置姿勢情報を含み、前記k番目の第3測位結果は、k番目の第3位置姿勢情報を含み、前記結果修正部分は、前記k番目の第1位置姿勢情報と前記k番目の第2位置姿勢情報に基づいて、k回目の測位の現在位置姿勢偏差を決定するように構成される現在偏差決定サブ部分と、k回の測位のk個の第2位置姿勢情報及びk個の第3位置姿勢情報に基づいて、k回の測位の全体的位置姿勢偏差を決定するように構成される全体的偏差決定サブ部分と、前記k回目の測位の現在位置姿勢偏差及び前記k回の測位の全体的位置姿勢偏差に基づいて、前記k番目の第2測位結果に対して位置姿勢修正を行い、k番目の第3位置姿勢情報を決定するように構成される第1修正サブ部分と、を備える。
【0192】
いくつかの実施例では、前記全体的偏差決定サブ部分は、i番目の第2位置姿勢情報とj番目の第2位置姿勢情報との第1位置姿勢変化情報を決定し、i、jは整数であり、且つ1≦i<j≦kであり、i番目の第3位置姿勢情報とj番目の第3位置姿勢情報との第2位置姿勢変化情報を決定し、前記第1位置姿勢変化情報と前記第2位置姿勢変化情報に基づいて、i番目のフレームの環境画像からj番目のフレームの環境画像までの位置姿勢偏差を決定し、複数の位置姿勢偏差に基づいて、前記k回の測位の全体的位置姿勢偏差を決定するように構成される。
【0193】
いくつかの実施例では、前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を更に含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記結果修正部分は更に、前記k番目のフレームの特徴点マッチング情報に基づいて、k番目の第3位置姿勢情報に対して修正を行い、修正されたk番目の第3測位結果を決定するように構成される第2修正サブ部分を備える。
【0194】
いくつかの実施例では、前記k番目の第1測位結果は、k番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、k番目のフレームの環境画像における二次元特徴点と前記第2電子機器の点群地図における三次元特徴点とのマッチング情報を含み、前記結果修正部分は、k番目のフレームの特徴点マッチング情報に基づいて、前記k番目の第2測位結果に対して修正を行い、修正されたk番目の第3測位結果を決定するように構成される第3修正サブ部分を備える。
【0195】
いくつかの実施例では、前記測位装置は更に、第2電子機器にa番目の第1測位要求を送信するように構成される第2要求送信部分であって、前記a番目の第1測位要求に、前記第1電子機器が所在する環境のa番目のフレームの環境画像が含まれ、aは整数であり、且つa≧1である、第2要求送信部分と、前記第2電子機器から送信されたa番目の第1測位結果を受信した場合、前記a番目の第1測位結果に基づいて、前記第1電子機器における位置推定とマッピングの同時実行(SLAM)システムに対して初期化を行い、前記第1電子機器の初期測位結果を決定するように構成される初期化部分であって、前記a番目の第1測位結果は、a番目の第1位置姿勢情報及び/又はa番目のフレームの特徴点マッチング情報を含む、初期化部分と、を備える。
【0196】
いくつかの実施例では、前記第2電子機器から送信されたk番目の第1測位結果は、第1領域地図を更に含み、前記第1領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含み、前記測位装置は更に、前記k番目の第3測位結果と前記第1領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第4測位結果を決定するように構成される第1マッチング測位部分と、前記第4測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第2展示部分と、を備える。
【0197】
いくつかの実施例では、前記測位装置は更に、前記第1電子機器のk番目の第2測位結果及び前記第1電子機器のローカルの第2領域地図に基づいて、前記第1電子機器が前記第2領域地図内に位置するかどうかを判断するように構成される領域判断部分であって、前記第2領域地図は、前記第2電子機器から送信された領域地図である、領域判断部分を備え、ここで、前記第1要求送信部分は、前記第1電子機器が前記第2領域地図内に位置する場合、第2電子機器にk番目の第1測位要求を送信するように構成される第1送信サブ部分を備える。
【0198】
いくつかの実施例では、前記測位装置は更に、前記第1電子機器が前記第2領域地図内に位置しない場合、前記第2電子機器に第2測位要求を送信するように構成される第3要求送信部分であって、前記第2測位要求に、前記第1電子機器が所在する環境のk番目のフレームの環境画像が含まれる、第3要求送信部分と、前記第2電子機器から送信された第3領域地図を受信した場合、現在の第2測位結果と前記第3領域地図における点群サブ地図に対して投影マッチングを行い、前記第1電子機器の第5測位結果を決定するように構成される第2マッチング測位部分であって、前記第3領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、第2マッチング測位部分と、前記第5測位結果に基づいて、前記第1電子機器の表示インタフェースを展示するように構成される第3展示部分と、を備える。
【0199】
いくつかの実施例では、前記測位装置は更に、前記第1電子機器のネットワーク状態を取得するように構成されるネットワーク状態取得部分であって、前記ネットワーク状態は、ネットワーク信号強度及び/又は情報伝送速度を含む、ネットワーク状態取得部分を備え、ここで、前記第1要求送信部分は、前記ネットワーク状態が所定の領域地図取得条件を満たさない場合、第2電子機器にk番目の第1測位要求を送信するように構成される第2送信サブ部分であって、前記領域地図取得条件は、前記ネットワーク信号強度が信号強度閾値以上であること、及び/又は、前記情報伝送速度が速度閾値以上であることを含む、第2送信サブ部分を備える。
【0200】
図6は、本願の実施例による測位装置の構造の概略図である。
図6に示すように、前記測位装置は、第2電子機器に適用され、
第1電子機器からのk番目の第1測位要求を受信した場合、所定の点群地図及び前記k番目の第1測位要求におけるk番目のフレームの環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器のk番目の第1測位結果を得るように構成される第1測位部分61と、
前記第1電子機器に前記k番目の第1測位結果を送信することにより、前記第1電子機器に、前記k番目の第1測位結果に基づいて測位結果を修正させるように構成される結果送信部分62とを備え、
ここで、前記k番目の第1測位結果は、k番目の第1位置姿勢情報及び/又はk番目のフレームの特徴点マッチング情報を含み、前記k番目のフレームの特徴点マッチング情報は、前記k番目のフレームの環境画像における二次元特徴点と前記点群地図における三次元特徴点とのマッチング情報を含む。
【0201】
いくつかの実施例では、前記測位装置は更に、第1電子機器からの第2測位要求を受信した場合、前記点群地図及び前記第2測位要求における環境画像に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器の第6測位結果を得るように構成される第2測位部分と、前記第6測位結果に基づいて、前記点群地図から、前記第1電子機器に対応する地理的領域の点群サブ地図を決定するように構成されるサブ地図決定部分と、前記第1電子機器に領域地図を送信することにより、前記第1電子機器に、前記領域地図に基づいて測位及び展示を行わせるように構成される領域地図送信部分であって、前記領域地図は、前記第1電子機器に対応する地理的領域の点群サブ地図を含む、領域地図送信部分と、を備える。
【0202】
いくつかの実施例では、本願の実施例で提供される装置が持つ機能又は備えるモジュールは、上記方法の実施例に記載の測位方法を実行するように構成されてもよく、その実際の実現は、上記方法の実施例の記述を参照することができる。
【0203】
本願の実施例及び他の実施例において、「部分」は一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェアなどであってもよく、無論、ユニットであってもよく、更に、モジュールであってもよく、非モジュール化のものであってもよい。
【0204】
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されるときに、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよく、揮発性コンピュータ可読記憶媒体であってもよい。
【0205】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、ここで、前記プロセッサは、前記メモリに記憶されている命令を呼び出して実行することにより、上記方法を実行するように構成される。
【0206】
本願の実施例はコンピュータプログラムを更に提供する。該コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行されるときに、機器のプロセッサに、上記のいずれか1つの実施例による測位方法を実行させる。
【0207】
本願の実施例はコンピュータプログラム製品を更に提供する。該コンピュータプログラム製品には、コンピュータ可読コードが記憶されており、前記命令が実行されるときに、コンピュータに、上記のいずれか1つの実施例による測位方法を実行させる。
【0208】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0209】
図7は、本願の実施例による電子機器800の構造の概略図である。例えば、電子機器800は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
【0210】
図7を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(Input/Output:I/O)インタフェース812、センサコンポーネント814及び通信コンポーネント816のうちの1つ又は複数を備えてもよい。
【0211】
処理コンポーネント802は一般的には、電子機器800の全般的な操作を制御する。例えば、表示、通話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント802は、上記の方法の全て又は一部のステップを実行するための指令を実行する1つ又は複数のプロセッサ820を備えてもよい。更に、処理コンポーネント802は、他のコンポーネントとのインタラクションのために、1つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント802はマルチメディアモジュールを備えることで、マルチメディアコンポーネント808と処理コンポーネント802とのインタラクションに寄与する。
【0212】
メモリ804は、各種のデータを記憶することで電子機器800における操作をサポートするように構成される。これらのデータの例として、電子機器800上で動作する任意のアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ804は任意のタイプの揮発性又は不揮発性記憶装置又はこれらの組み合わせにより実現できる。例えば、スタティックランダムアクセスメモリ(Static Random-Access Memory:SRAM)、電気的消去可能なプログラマブル読み取り専用メモリ(Static Random-Access Memory:EEPROM)、消去可能なプログラマブル読み取り専用メモリ(Electrically Erasable Programmable Read-Only Memory:EPROM)、プログラマブル読み取り専用メモリ(Programmable Read-Only Memory:PROM)、読み取り専用メモリ(Read Only Memory:ROM)、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクなど又はそれらの組み合わせにより実現できる。
【0213】
電源コンポーネント806は電子機器800の各コンポーネントに電力を提供する。電源コンポーネント806は、電源管理システム、1つ又は複数の電源、及び電子機器800のための電力生成、管理、分配に関連する他のコンポーネントを備えてもよい。
【0214】
マルチメディアコンポーネント808は、上記電子機器800とユーザとの間の出力インタフェースとして提供されるスクリーンを備える。いくつかの実施例において、スクリーンは、液晶ディスプレイ(Liquid Crystal Display:LCD)及びタッチパネル(Touch Panel:TP)を含む。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するタッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スワイプ及びパネル上のジェスチャを検知する1つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスワイプ操作の境界を検知するだけでなく、上記タッチ又はスワイプ操作に関連する持続時間及び圧力も検出することもできる。いくつかの実施例において、マルチメディアコンポーネント808は、フロントカメラ及び/又はリアカメラを備える。電子機器800が、撮影モード又はビデオモードなどの操作モードにあるとき、フロントカメラ及び/又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステムであってもよく、又は焦点及び光学ズーム能力を持つものであってもよい。
【0215】
オーディオコンポーネント810は、オーディオ信号を出力/入力するように構成される。例えば、オーディオコンポーネント810は、マイクロホン(MIC)を備える。電子機器800が、通話モード、録音モード及び音声識別モードなどの操作モードにあるとき、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ804に記憶するか、又は通信コンポーネント816を経由して送信することができる。いくつかの実施例において、オーディオコンポーネント810は更に、オーディオ信号を出力するように構成されるスピーカーを備える。
【0216】
I/Oインタフェース812は、処理コンポーネント802と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【0217】
センサコンポーネント814は、1つ又は複数のセンサを備え、電子機器800のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態、コンポーネントの相対的な位置決めを検出することができる。例えば、上記コンポーネントが電子機器800のディスプレイ及びキーパッドである。センサコンポーネント814は、電子機器800又は電子機器800のコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位又は加速/減速、及び電子機器800の温度の変化を検出することもできる。センサコンポーネント814は、如何なる物理的接触なしに周囲の物体の存在を検出するように構成される近接センサを備えてもよい。センサコンポーネント814は更に、撮像用途のための、相補型金属酸化膜半導体(Complementary Metal-Oxide-Semiconductor:CMOS)又は電荷結合素子(Charge Coupled Device:CCD)画像センサなどの光センサを備えてもよい。いくつかの実施例において、該センサコンポーネント814は更に、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
【0218】
通信コンポーネント816は、電子機器800と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器800は、無線ネットワーク(WiFi)、第2世代モバイル通信技術(The 2nd Generation:2G)又は第3世代モバイル通信技術(The 3nd Generation:3G)、又はそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスできる。1つの例示的な実施例において、通信コンポーネント816は、放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連情報を受信する。1つの例示的な実施例において、上記通信コンポーネント816は更に、近距離通信を促進するための近接場通信(Near Field Communication:NFC)モジュールを備える。例えば、NFCモジュールは、無線周波数識別(Radio Frequency Identification:RFID)技術、赤外線データ協会(Infrared Data Association:IrDA)技術、超広帯域(Ultra Wide Band:UWB)技術、ブルートゥース(登録商標)(Blue Tooth:BT)技術及び他の技術に基づいて実現される。
【0219】
例示的な実施例において、電子機器800は、上記の方法を実行するように構成される、1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、デジタル信号プロセッサ(Digital Signal Processor:DSP)、デジタル信号処理機器(Digital Signal Processing Device:DSPD)、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現されてもよい。
【0220】
例示的な実施例において、コンピュータプログラム命令が記憶されたメモリ804のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令が電子機器800のプロセッサ820に、上記方法を実行させる。
【0221】
図8は、本出願の実施例による電子機器1900の構造の概略図である。例えば、電子機器1900は、サーバとして提供されてもよい。
図8を参照すると、電子機器1900は、1つ又は複数のプロセッサを含む処理コンポーネント1922と、処理コンポーネント1922により実行される命令(アプリケーションなど)を記憶するように構成されるメモリリソースとして表されるメモリ1932とを備える。メモリ1932に記憶されているアプリケーションは、それぞれが一組の命令に対応する1つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント1922は、命令を実行して、上記方法を実行するように構成される。
【0222】
電子機器1900は更に、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926と、電子機器1900をネットワークに接続するように構成される有線又は無線ネットワークインタフェース1950と、入力/出力(I/O)インタフェース1958と、を備えてもよい。電子機器1900は、メモリ1932に記憶されたオペレーティングシステム、例えば、マイクロソフトサーバオペレーティングシステム(Windows(登録商標) Server)、アップル社のグラフィックユーザインターフェイスベースオペレーティングシステム(Mac OS XTM)、マルチユーザマルチプロセス型コンピュータオペレーティングシステム(Unix(登録商標))、無料オープンソースコード型Unix(登録商標)ライク(Unix(登録商標)-like)オペレーティングシステム(Linux(登録商標))、オープンソースコード型Unix(登録商標)ライクオペレーティングシステム(FreeBSDTM)又は類似したオペレーティングシステムを介して操作できる。
【0223】
いくつかの実施例では、例えば、コンピュータプログラム命令を含むメモリ1932のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令が電子機器1900の処理コンポーネント1922に、上記方法を実行させる。
【0224】
本願の実施例は、システム、方法、コンピュータ可読記憶媒体、コンピュータプログラム製品、コンピュータプログラムのうちの少なくとも1つであってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、当該コンピュータ可読記憶媒体には、プロセッサに本願の上記のいずれか1つの実施例による測位方法を実行させるためのコンピュータ可読プログラム命令が記憶されている。
【0225】
コンピュータ可読記憶媒体は、命令実行装置によって用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的一覧)は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(Random Access Memory:RAM)、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM又はフラッシュ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み取り専用メモリ(Compact Disc Read-Only Memory:CD-ROM)、デジタル多目的ディスク(Digital Video Disc:DVD)、メモリスティック、フロッピー(登録商標)ディスク、機械的符号化装置(命令が記憶されているパンチカード又は凹溝内の凸状構造など)、及び上記の任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を介して伝播する電磁波(例えば、光ファイバケーブルを通過する光パルス)、又は、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【0226】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング/処理機器にダウンロードされるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び/又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶機器にダウンロードされることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各コンピューティング/処理機器におけるネットワークアダプターカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング/処理機器におけるコンピュータ可読記憶媒体に記憶する。
【0227】
本願の操作を実行するように構成されるコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ(Instruction Set Architecture:ISA)命令、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は1つ又は複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Smalltalk、C++などのようなオブジェクト指向プログラミング言語と、「C」言語又は類似したプログラミング言語などの一般的な手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行されてもよいし、その一部がユーザのコンピュータで実行されてもよいし、1つの独立したソフトウェアパッケージとして実行されてもよいし、その一部がユーザのコンピュータで実行され且つその他の部分がリモートコンピュータで実行されてもよいし、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、任意の種類のネットワーク(ローカルエリアネットワーク(Local Area Network:LAN)又はワイドエリアネットワーク(Wide Area Network:WAN)を含む)を通じてユーザのコンピュータに接続するか、又は、(例えばインターネットサービスプロバイダを用いてインターネットを通じて)外部のコンピュータに接続することができる。いくつかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)又はプログラマブル論理アレイ(Programmable Logic Arrays:PLA)のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の実施例を実現させることができる。
【0228】
ここで、本願の実施例の方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又は構造図を参照して本願の各態様を説明したが、フローチャート及び/又は構造図の各ブロック、及びフローチャート及び/又は構造図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できることを理解されたい。
【0229】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータ又はその他プログラマブルデータ処理装置のプロセッサにより実行されるときに、フローチャート及び/又は構造図における1つ又は複数のブロックで指定された機能/操作を実現する装置を生み出す。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令は、コンピュータ、プログラマブルデータ処理装置及び/又は他の装置が特定の方式で動作するようにする。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び/又は構造図おける1つ又は複数のブロックで指定された機能/操作の各態様を実現するための命令を含む製品を備える。
【0230】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよく、これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置に、一連の操作ステップを実行させて、コンピュータで実施されるプロセスを生成することができる。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び/又は構造図における1つ又は複数のブロックで指定された機能/操作を実現させる。
【0231】
図面におけるフローチャート及び構造図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を例示するものである。この点で、フローチャート又は構造図における各ブロックは、1つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、1つ又は複数の所定のロジック機能を実現するための実行可能な命令を含む。いくつかの実施例では、ブロックに示される機能は、図面に示される順序とは異なる順序で発生することもできる。例えば、2つの連続するブロックは、実際には、基本的に並行して実行でき、場合によっては、反対の順序で実行することもでき、これは関係する機能から確定する。構造図及び/又はフローチャートにおける各ブロック、及び構造図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するためのハードウェアに基づく専用システムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることに留意されたい。
【0232】
該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現してもよい。いくつかの実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現されてもよい。別のいくつかの実施例において、コンピュータプログラム製品は、具体的には、例えば、ソフトウェア開発キット(Software Development Kit:SDK)などのようなソフトウェア製品として具現される。
【0233】
以上、本願の各実施例を説明したが、以上の説明は、例示的なものであり、網羅するものではなく、本願は、開示される各実施例に限定されない。説明した各実施例の範囲と趣旨から逸脱することなく、多くの修正及び変形は、当業者にとって容易に想到し得るものである。本明細書で用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく説明すること、或いは他の当業者に本明細書に開示される各実施例を理解させることを目的とする。
【産業上の利用可能性】
【0234】
本願の実施例は、測位方法及びその装置、電子機器、記憶媒体、コンピュータプログラム製品、コンピュータプログラムを提供する。ここで、該測位方法は、第2電子機器に適用され、該測位方法は、第1電子機器からの測位要求を受信した場合、前記測位要求における第1測位結果に基づいて、前記第1電子機器が所在する現在の地理的領域を決定することであって、前記測位要求に、前記第1電子機器が所在する環境の環境画像と、前記第1電子機器ローカルの第1測位結果とが含まれる、ことと、所定の点群地図から、前記現在の地理的領域に対応する点群サブ地図を決定することと、前記環境画像及び前記点群サブ地図に基づいて、前記第1電子機器に対して視覚的測位を行い、前記第1電子機器の第2測位結果を得ることと、前記第1電子機器に前記第2測位結果を送信することと、を含む。本願の実施例によれば、第1電子機器と第2電子機器によって測位を実現でき、それにより、測位の精度と安定性を向上させることができる。