(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-12
(45)【発行日】2023-04-20
(54)【発明の名称】共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230413BHJP
G06T 7/70 20170101ALI20230413BHJP
【ＦＩ】
G06T7/00 300E
G06T7/70 A
【請求項の数】
18
(21)【出願番号】P 2021543389
(86)(22)【出願日】2020-03-20
(65)【公表番号】
(43)【公表日】2022-03-16
(86)【国際出願番号】 CN2020080465
(87)【国際公開番号】W WO2020258936
(87)【国際公開日】2020-12-30
【審査請求日】2021-07-27
(31)【優先権主張番号】201910569120.6
(32)【優先日】2019-06-27
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２８８－８， Ｎｏ． ８５７， Ｓｈｉｘｉｎｂｅｉ Ｒｏａｄ， Ｎｉｎｇｗｅｉ Ｓｔｒｅｅｔ， Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１１２１５ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲謝▼▲衛▼健
(72)【発明者】
【氏名】王楠
(72)【発明者】
【氏名】▲錢▼▲權▼浩
(72)【発明者】
【氏名】章国▲鋒▼
【審査官】小池 正彦
(56)【参考文献】
【文献】中国特許出願公開第１０９５０９２３０（ＣＮ，Ａ）
【文献】中国特許出願公開第１０９６１５６９８（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
共有地図に基づいた測位方法であって、第１端末により収集された画像における少なくとも１つのキーフレームに関連するグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出し、前記グローバル地図データを前記第１端末と第２端末との共有地図データとすることであって、前記グローバル地図データは、ポイントクラウドデータであり、前記キーフレームは、前記グローバル地図データ内の、前記第２端末により収集された画像における現在のフレームに最も類似した候補フレームである、ことと、
前記第２端末により収集された画像における前記現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とすることと
を含む、共有地図に基づいた測位方法。
【請求項2】
前記第２端末により収集された画像における現在のフレームを取得した後に、前記共有地図に基づいた測位方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることをさらに含む、請求項１に記載の共有地図に基づいた測位方法。
【請求項3】
前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれている、請求項２に記載の共有地図に基づいた測位方法。
【請求項4】
前記現在のフレームに対する特徴点補完処理を行うことは、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと
を含み、
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む、請求項２または請求項３に記載の共有地図に基づいた測位方法。
【請求項5】
前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とすることは、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームとに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、３Ｄ情報を含む前記２Ｄ特徴マッチング結果に基づいて、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を前記測位結果とすることと
を含む、請求項１～４のうちいずれか一項に記載の共有地図に基づいた測位方法。
【請求項6】
共有地図に基づいた測位方法であって、第１端末が、画像収集を行い、少なくとも１つのキーフレームに関連するグローバル地図データを得、前記グローバル地図データを前記第１端末と第２端末との共有地図データとすることであって、前記グローバル地図データは、ポイントクラウドデータであり、前記キーフレームは、前記グローバル地図データ内の、前記第２端末により収集された画像における現在のフレームに最も類似した候補フレームである、ことと、
前記第１端末が、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第１端末が、前記第２端末により収集された前記現在のフレームを受信し、前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とし、前記測位結果を送信することと
を含む、共有地図に基づいた測位方法。
【請求項7】
前記第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、前記キーフレームに対応するポイントクラウドデータを参照中心として、前記キーフレームおよび所定の抽出範囲に基づいて決定して得られたポイントクラウドデータを前記局所的地図データとすることを含む、請求項６に記載の共有地図に基づいた測位方法。
【請求項8】
前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とすることは、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームとに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、３Ｄ情報を含む前記２Ｄ特徴マッチング結果に基づいて、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を前記測位結果とすることと
を含む、請求項６または請求項７に記載の共有地図に基づいた測位方法。
【請求項9】
共有地図に基づいた測位方法であって、第２端末が、少なくとも１つのキーフレームに関連するグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出し、前記グローバル地図データを前記第１端末と第２端末との共有地図データとすることであって、前記グローバル地図データは、ポイントクラウドデータであり、前記キーフレームは、前記グローバル地図データ内の、前記第２端末により収集された画像における現在のフレームに最も類似した候補フレームである、ことと、
前記第２端末が、画像収集を行い、収集された画像における前記現在のフレームを得ることと、
前記第２端末が、前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とすることと
を含む、共有地図に基づいた測位方法。
【請求項10】
前記第２端末が画像収集を行い、収集された画像における現在のフレームを取得した後に、前記共有地図に基づいた測位方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることをさらに含む、請求項９に記載の共有地図に基づいた測位方法。
【請求項11】
前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれている、請求項１０に記載の共有地図に基づいた測位方法。
【請求項12】
前記現在のフレームに対する特徴点補完処理を行うことは、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと
を含み、
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む、請求項１０または請求項１１に記載の共有地図に基づいた測位方法。
【請求項13】
前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とすることは、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームとに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、３Ｄ情報を含む前記２Ｄ特徴マッチング結果に基づいて、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を前記測位結果とすることと
を含む、請求項９～１２のうちいずれか一項に記載の共有地図に基づいた測位方法。
【請求項14】
共有地図に基づいた測位装置であって、第１端末により収集された画像における少なくとも１つのキーフレームに関連するグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出し、前記グローバル地図データを前記第１端末と第２端末との共有地図データとするように構成されている第１抽出ユニットであって、前記グローバル地図データは、ポイントクラウドデータであり、前記キーフレームは、前記グローバル地図データ内の、前記第２端末により収集された画像における現在のフレームに最も類似した候補フレームである、第１抽出ユニットと、
前記第２端末により収集された画像における前記現在のフレームを取得するように構成されている第１取得ユニットと、
前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とするように構成されている第１マッチングユニットと
を備える、共有地図に基づいた測位装置。
【請求項15】
共有地図に基づいた測位装置であって、画像収集を行い、少なくとも１つのキーフレームに関連するグローバル地図データを得るように構成されている第１収集ユニットであって、前記グローバル地図データはポイントクラウドデータであり、前記キーフレームは、前記グローバル地図データ内の、前記第２端末により収集された画像における現在のフレームに最も類似した候補フレームである、第１収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成されている第１抽出ユニットと、
前記第２端末により収集された前記現在のフレームを受信し、前記現在のフレームと前記局所的地図データとに対して特徴マッチングを行い、マッチング結果に基づいて、前記グローバル地図データにおける、前記現在のフレーム内の前記第２端末の位置姿勢を測位結果とし、前記測位結果を送信するように構成されている第１マッチングユニットと
を備える、共有地図に基づいた測位装置。
【請求項16】
電子機器であって、前記電子機器は、プロセッサと、
プロセッサによって実行可能な命令を記憶するためのメモリと
を備え、
前記プロセッサは、前記命令を実行することにより、請求項１～５、請求項６～８、請求項９～１３のうちいずれか一項に記載の共有地図に基づいた測位方法を実行するように構成されている、電子機器。
【請求項17】
コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令は、電子機器のプロセッサによって実行されると、請求項１～５、請求項６～８、請求項９～１３のうちいずれか一項に記載の共有地図に基づいた測位方法を実行することを前記プロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。
【請求項18】
コンピュータプログラムであって、前記コンピュータプログラムは、電子機器のプロセッサによって実行されると、請求項１～５、請求項６～８、請求項９～１３のうちいずれか一項に記載の共有地図に基づいた測位方法を実行することを前記プロセッサに行わせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年０６月２７日に中国特許局に提出された、出願番号が２０１９１０５６９１２０．６であり、名称が「共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年０６月２７日に中国特許局に提出された、出願番号が２０１９１０５６９１２０．６であり、名称が「共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、測位技術分野に関し、特に、共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
複数の端末は、それぞれの座標系において運動及び自己測位を行うことができる。測位技術の成長に伴い、共有地図に基づいた測位技術の適用シーンは、広い。例えば、１つの適用シーンにおいて、自己位置推定とマッピングの同時実行（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）は、ロボットが未知の環境において、未知の位置から移動し、移動過程において、位置推定及び地図に基づいて自己測位を行うことで、ロボットの自律的測位及び地図共有を実現させることである。
【0004】
複数の端末が同一の地図を共有し、つまり、複数の端末が共有地図において運動及び測位を行う時に、複数の端末同士の正確な測位を如何に実現させるかは、解決しようとする技術的課題である。しかしながら、関連技術において、効果的な解決手段がない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願は、共有地図に基づいた測位の技術的解決手段を提供する。
【課題を解決するための手段】
【0006】
本願の一態様によれば、共有地図に基づいた測位方法を提供する。前記方法は、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第２端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含む。
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第２端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含む。
【0007】
本願によれば、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することができる。前記キーフレームに関連する局所的地図データに、現在のフレームに最も類似した複数のキーフレームからなる候補フレームが含まれる。これにより、現在のフレームと特徴マッチングされたキーフレームのデータ量が多くなる。従って、特徴マッチングの正確度が向上する。該マッチング結果に基づいて現在のフレームの測位結果を得た後、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0008】
可能な実現形態において、前記第２端末により収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含む。
【0009】
本願によれば、現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値に合致するかどうかを判定することができる。合致した場合、現在のフレームから抽出された特徴点を直接的に利用する。合致しない場合、前記現在のフレームに対する特徴点補完処理をトリガする。
【0010】
可能な実現形態において、前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0011】
本願によれば、第２端末により収集された現在のフレームについて、現在のフレームから抽出された特徴点を直接的に利用してもよく、現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームであってもよい。これにより、実際の需要に応じて、異なる特徴点抽出方式を用いる。
【0012】
可能な実現形態において、前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
【0013】
本願によれば、前記現在のフレームに対する特徴点補完処理をトリガした後、選別閾値に対して自己適応的に調整を行い、調整された選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることができる。これにより、より多くの特徴点を利用して特徴マッチングを行う。マッチング効果は、より正確になる。
【0014】
可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0015】
本願によれば、如何なる外部情報又は現在のフレーム自己の情報は、選別閾値の自己適応的調整にも影響を与える。少なくとも１つの状況を考慮して、後続で調整された選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくする。これにより、より多くの特徴点を利用して特徴マッチングを行う。マッチング効果は、より正確になる。
【0016】
可能な実現形態において、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
【0017】
本願によれば、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行う。つまり、二次元空間における位置を決定する。位置姿勢は、向き及び変位を含む。変位は、二次元空間における位置で記述されてもよいが、向きという形態を決定するために、３Ｄ情報を更に必要とする。従って、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別して前記３Ｄ情報を抽出する必要がある。これにより、前記３Ｄ情報に基づいて前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることで、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0018】
本願の一態様によれば、共有地図に基づいた測位方法を提供する。前記方法は、
第１端末が画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得ることと、
前記第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第１端末が第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含む。
第１端末が画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得ることと、
前記第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第１端末が第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含む。
【0019】
本願によれば、第１端末により、少なくとも１つのキーフレームを含むグローバル地図データを収集する。第１端末側で測位を行う。具体的には、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出し、第２端末から取得された現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、測位結果を第２端末に送信する。少なくとも１つのキーフレームを含むグローバル地図データから前記キーフレームに関連する局所的地図データを抽出できるため、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0020】
可能な実現形態において、前記第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含む。
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含む。
【0021】
本願によれば、前記キーフレームを参照中心として抽出された所定の範囲のデータは、必然的に、前記キーフレームに関連する局所的地図データである。キーフレームとそれに関連する局所的地図データを共同で現在のフレームにマッチングした情報とすることで、特徴点マッチングのデータ量を向上させ、より正確なマッチング効果を得ることができる。
【0022】
可能な実現形態において、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
【0023】
本願によれば、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行う。つまり、二次元空間における位置を決定する。位置姿勢は、向き及び変位を含む。変位は、二次元空間における位置で記述されてもよいが、向きという形態を決定するために、３Ｄ情報を更に必要とする。従って、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別して前記３Ｄ情報を抽出する必要がある。これにより、前記３Ｄ情報に基づいて前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることで、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0024】
本願の一態様によれば、共有地図に基づいた測位方法を提供する。前記方法は、
第２端末が画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信することと、
前記第２端末が測位結果を受信することであって、前記測位結果は、第１端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果であることと、を含み、
グローバル地図データは、第１端末により収集された画像における少なくとも１つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
第２端末が画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信することと、
前記第２端末が測位結果を受信することであって、前記測位結果は、第１端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果であることと、を含み、
グローバル地図データは、第１端末により収集された画像における少なくとも１つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
【0025】
本願によれば、第１端末側で測位を行い、該測位結果に基づいて複数の端末に対して共有地図に対して運動及び測位を行い、相互の正確な測位を実現させることができる。更に、第２端末で、現在のフレームの特徴点の補完処理を行い、現在のフレームの特徴点の補完処理により、特徴マッチングに用いられる特徴点データを増加させ、特徴マッチングの正確度も向上させる。
【0026】
可能な実現形態において、前記第２端末が画像収集を行い、収集された画像における現在のフレームを得る前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含む。
【0027】
本願によれば、現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値に合致するかどうかを判定することができる。合致した場合、現在のフレームから抽出された特徴点を直接的に利用する。合致しない場合、前記現在のフレームに対する特徴点補完処理をトリガする。
【0028】
可能な実現形態において、前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0029】
本願によれば、第２端末により収集された現在のフレームについて、現在のフレームから抽出された特徴点を直接的に利用してもよく、現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームであってもよい。これにより、実際の需要に応じて、異なる特徴点抽出方式を用いる。
【0030】
可能な実現形態において、前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
【0031】
本願によれば、前記現在のフレームに対する特徴点補完処理をトリガした後、選別閾値に対して自己適応的に調整を行い、調整された選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることができる。これにより、より多くの特徴点を利用して特徴マッチングを行う。マッチング効果は、より正確になる。
【0032】
可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0033】
本願によれば、如何なる外部情報又は現在のフレーム自己の情報は、選別閾値の自己適応的調整にも影響を与える。少なくとも１つの状況を考慮して、後続で調整された選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくする。これにより、より多くの特徴点を利用して特徴マッチングを行う。マッチング効果は、より正確になる。
【0034】
本願の一態様によれば、共有地図に基づいた測位方法を提供する。前記方法は、
第２端末が、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第２端末が画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第２端末が前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含む。
第２端末が、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第２端末が画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第２端末が前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含む。
【0035】
本願によれば、第２端末側で測位を行う。具体的には、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出し、第２端末から取得された現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得る。少なくとも１つのキーフレームを含むグローバル地図データから前記キーフレームに関連する局所的地図データを抽出できるため、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0036】
可能な実現形態において、前記第２端末が画像収集を行い、収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含む。
【0037】
本願によれば、現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値に合致するかどうかを判定することができる。合致した場合、現在のフレームから抽出された特徴点を直接的に利用する。合致しない場合、前記現在のフレームに対する特徴点補完処理をトリガする。
【0038】
可能な実現形態において、前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0039】
本願によれば、第２端末により収集された現在のフレームについて、現在のフレームから抽出された特徴点を直接的に利用してもよく、現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームであってもよい。これにより、実際の需要に応じて、異なる特徴点抽出方式を用いる。
【0040】
可能な実現形態において、前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
【0041】
本願によれば、前記現在のフレームに対する特徴点補完処理をトリガした後、選別閾値に対して自己適応的に調整を行い、調整された選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることができる。これにより、より多くの特徴点を利用して特徴マッチングを行う。マッチング効果は、より正確になる。
【0042】
可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0043】
本願によれば、如何なる外部情報又は現在のフレーム自己の情報は、選別閾値の自己適応的調整にも影響を与える。少なくとも１つの状況を考慮して、後続で調整された選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくする。これにより、より多くの特徴点を利用して特徴マッチングを行う。マッチング効果は、より正確になる。
【0044】
可能な実現形態において、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
【0045】
本願によれば、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行う。つまり、二次元空間における位置を決定する。位置姿勢は、向き及び変位を含む。変位は、二次元空間における位置で記述されてもよいが、向きという形態を決定するために、３Ｄ情報を更に必要とする。従って、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別して前記３Ｄ情報を抽出する必要がある。これにより、前記３Ｄ情報に基づいて前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることで、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0046】
本願の一態様によれば、共有地図に基づいた測位方法を提供する。前記方法は、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第２端末により収集された画像における現在のフレームを受信することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、
前記測位結果を送信することと、を含む。
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第２端末により収集された画像における現在のフレームを受信することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、
前記測位結果を送信することと、を含む。
【0047】
本願によれば、クラウド側で測位を行い、測位結果を第２端末に送信する。少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出できるため、該測位結果に基づいて複数の端末に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0048】
本願の一態様によれば、共有地図に基づいた測位装置を提供する。前記装置は、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された画像における現在のフレームを取得するように構成される第１取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第１マッチングユニットと、を備える。
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された画像における現在のフレームを取得するように構成される第１取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第１マッチングユニットと、を備える。
【0049】
可能な実現形態において、前記装置は、
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備える。
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備える。
【0050】
可能な実現形態において、前記装置は、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
【0051】
本願の一態様によれば、共有地図に基づいた測位装置を提供する。前記装置は、
画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得るように構成される第１収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第１マッチングユニットと、を備える。
画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得るように構成される第１収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第１マッチングユニットと、を備える。
【0052】
可能な実現形態において、前記第１マッチングユニットは、更に、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成される。
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成される。
【0053】
本願の一態様によれば、共有地図に基づいた測位装置を提供する。前記装置は、
画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信するように構成される第２収集ユニットと、
測位結果を受信するように構成される第２マッチングユニットであって、前記測位結果は、第１端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果である第２マッチングユニットと、を備え、
グローバル地図データは、第１端末により収集された画像における少なくとも１つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信するように構成される第２収集ユニットと、
測位結果を受信するように構成される第２マッチングユニットであって、前記測位結果は、第１端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果である第２マッチングユニットと、を備え、
グローバル地図データは、第１端末により収集された画像における少なくとも１つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
【0054】
可能な実現形態において、前記装置は、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
【0055】
本願の一態様によれば、共有地図に基づいた測位装置を提供する。前記装置は、
少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第２抽出ユニットと、
画像収集を行い、収集された画像における現在のフレームを得るように構成される第２収集ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第２マッチングユニットと、を備える。
少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第２抽出ユニットと、
画像収集を行い、収集された画像における現在のフレームを得るように構成される第２収集ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第２マッチングユニットと、を備える。
【0056】
本願の一態様によれば、共有地図に基づいた測位装置を提供する。前記装置は、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１受信ユニットと、
第２端末により収集された画像における現在のフレームを受信するように構成される第２受信ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第３マッチングユニットと、
前記測位結果を送信するように構成される第３測位ユニットと、を備える。
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１受信ユニットと、
第２端末により収集された画像における現在のフレームを受信するように構成される第２受信ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第３マッチングユニットと、
前記測位結果を送信するように構成される第３測位ユニットと、を備える。
【0057】
本願の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記共有地図に基づいた測位方法を実行するように構成される。
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記共有地図に基づいた測位方法を実行するように構成される。
【0058】
本願の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記共有地図に基づいた測位方法を実現させる。
【0059】
本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記共有地図に基づいた測位方法を実行する。
例えば、本願は以下の項目を提供する。
（項目１）
共有地図に基づいた測位方法であって、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第２端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。
（項目２）
前記第２端末により収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
項目２に記載の方法。
（項目４）
前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含むことを特徴とする
項目４に記載の方法。
（項目６）
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目１－５のうちいずれか一項に記載の方法。
（項目７）
共有地図に基づいた測位方法であって、
第１端末が、画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得ることと、
前記第１端末が、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第１端末が、第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含むことを特徴とする、共有地図に基づいた測位方法。
（項目８）
前記第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含むことを特徴とする
項目７に記載の方法。
（項目９）
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目７又は８に記載の方法。
（項目１０）
共有地図に基づいた測位方法であって、
第２端末が、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第２端末が、画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第２端末が、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。
（項目１１）
前記第２端末が画像収集を行い、収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
項目１１に記載の方法。
（項目１３）
前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
項目１１又は１２に記載の方法。
（項目１４）
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含むことを特徴とする
項目１３に記載の方法。
（項目１５）
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目１０－１４のうちいずれか一項に記載の方法。
（項目１６）
共有地図に基づいた測位装置であって、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された画像における現在のフレームを取得するように構成される第１取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第１マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。
（項目１７）
前記装置は、
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備えることを特徴とする
項目１６に記載の装置。
（項目１８）
前記装置は、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備えることを特徴とする
項目１６又は１７に記載の装置。
（項目１９）
共有地図に基づいた測位装置であって、
画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得るように構成される第１収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第１マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。
（項目２０）
前記第１マッチングユニットは、更に、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成されることを特徴とする
項目１９に記載の装置。
（項目２１）
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、項目１から６、項目７から９、項目１０から１５のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。
（項目２２）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１から６、項目７から９、項目１０から１５のうちいずれか一項に記載の方法を実現させることを特徴とする、コンピュータ可読記憶媒体。
（項目２３）
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、項目１から６、項目７から９、項目１０から１５のうちいずれか一項に記載の方法を実行することを特徴とする、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
共有地図に基づいた測位方法であって、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第２端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。
（項目２）
前記第２端末により収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
項目２に記載の方法。
（項目４）
前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含むことを特徴とする
項目４に記載の方法。
（項目６）
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目１－５のうちいずれか一項に記載の方法。
（項目７）
共有地図に基づいた測位方法であって、
第１端末が、画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得ることと、
前記第１端末が、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第１端末が、第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含むことを特徴とする、共有地図に基づいた測位方法。
（項目８）
前記第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含むことを特徴とする
項目７に記載の方法。
（項目９）
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目７又は８に記載の方法。
（項目１０）
共有地図に基づいた測位方法であって、
第２端末が、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第２端末が、画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第２端末が、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。
（項目１１）
前記第２端末が画像収集を行い、収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
項目１１に記載の方法。
（項目１３）
前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
項目１１又は１２に記載の方法。
（項目１４）
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含むことを特徴とする
項目１３に記載の方法。
（項目１５）
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目１０－１４のうちいずれか一項に記載の方法。
（項目１６）
共有地図に基づいた測位装置であって、
第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された画像における現在のフレームを取得するように構成される第１取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第１マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。
（項目１７）
前記装置は、
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備えることを特徴とする
項目１６に記載の装置。
（項目１８）
前記装置は、
現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、
参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備えることを特徴とする
項目１６又は１７に記載の装置。
（項目１９）
共有地図に基づいた測位装置であって、
画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得るように構成される第１収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、
第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第１マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。
（項目２０）
前記第１マッチングユニットは、更に、
前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、
前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、
前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成されることを特徴とする
項目１９に記載の装置。
（項目２１）
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、項目１から６、項目７から９、項目１０から１５のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。
（項目２２）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１から６、項目７から９、項目１０から１５のうちいずれか一項に記載の方法を実現させることを特徴とする、コンピュータ可読記憶媒体。
（項目２３）
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、項目１から６、項目７から９、項目１０から１５のうちいずれか一項に記載の方法を実行することを特徴とする、コンピュータプログラム。
【発明の効果】
【0060】
本願の実施例において、第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出し、第２端末により収集された画像における現在のフレームを取得し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得る。本願によれば、現在のフレームとキーフレームに対して特徴マッチングを行う過程において、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することができる。前記キーフレームに関連する局所的地図データに、現在のフレームに最も類似した複数のキーフレームからなる候補フレームが含まれる。これにより、現在のフレームと特徴マッチングされたキーフレームのデータ量が多くなる。従って、特徴マッチングの正確度が向上する。該マッチング結果に基づいて現在のフレームの測位結果を得た後、該測位結果に基づいて複数の端末（第１端末及び第２端末は、１つの端末に限定されず、端末を指すものに過ぎない）に対して共有地図において運動及び測位を行い、相互の正確な測位を実現させることができる。
【0061】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【0062】
本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【0063】
【図1】本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。
【図2】本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。
【図3】本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。
【図4】本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。
【図5】本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。
【図6】本願の実施例による現在のフレームの特徴点の補完過程を示す概略図である。
【図7】本願の実施例による現在のフレームの位置姿勢の測位過程を示す概略図である。
【図8】本願の実施例による共有地図に基づいた測位装置を示すブロック図である。
【図9】本願の実施例による電子機器を示すブロック図である。
【図10】本願の実施例による電子機器を示すブロック図である。
【0064】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【発明を実施するための形態】
【0065】
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
【0066】
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
【0067】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【0068】
なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【0069】
自己位置推定とマッピングの同時実行（ＳＬＡＭ，ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を例として、ＳＬＡＭは、ロボットが未知の環境において、未知の位置から移動し、移動過程において、位置推定及び地図に基づいて自己測位を行うと共に、自己測位を基礎として増分地図を作成し、ロボットの自律的測位及び地図共有を実現させる。異なるロボットが同一のシーンにおける相互の位置を共有する必要がある場合、地図により共有を行い、測位技術により共有地図における相互の位置を決定することで、真実の世界における相互の位置関係を決定する。ロボット、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）において、共有地図に基づいた測位技術の適用シーンは広い。
【0070】
地図構築方法が異なるため、得られた地図も異なる特性を有し、対応する測位技術も大きく相違している。例えば、レーザレーダのＳＬＡＭシステムに基づいて構築された地図は、密集のポイントクラウドである。ここで、ポイントクラウドは、同一の空間参照系でターゲット空間分布及びターゲット表面特性を表す大量の点の集合である。測位は、主に２つのポイントクラウドのマッチングに基づいたものであり、つまり、２枚のポイントクラウド画像に対応する特徴点の特徴マッチングに基づいたものである。しかしながら、レーザレーダの装置コストが高く、また、ポイントクラウドのアライメントに基づいた測位技術の演算量が大きい。ハードウェア装置として、カメラのコストは、レーザレーダのコストよりも低く、カメラを用いたビジョンベースの測位方法において、まず、画像検索を行い、最も類似したキーフレームを見出し、続いて現在のフレームとキーフレームに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの位置姿勢を推算する。
【0071】
しかしながら、上記測位技術を用いる場合、下記の問題がある。１つ目の問題として、演算性能又はＳＬＡＭフレームワークによって制限されるため、各フレームの画像から抽出された特徴点の数が限られている。特徴点の抽出にかかる時間が長すぎになると、ＳＬＡＭアルゴリズムの性能を妨げてしまう。従って、視野角変動又はテクスチャが浅いシーンにおいて測位失敗が発生しやすい。２つ目の問題として、各フレームの画像に含まれる特徴点の数が少ない場合、２つのフレームの画像のマッチングに基づいて測位を行うと、画像特徴点が少なすぎることによる測位失敗を引き起こしやすい。本願によれば、下記いずれか１つのポリシーを用いてもよく、２つのポリシーを組み合わせて用いてもよい。その要旨は、特徴マッチングのためのデータ量を向上させることで、テクスチャが浅い場合の測位能力を向上させ、地図情報を十分に利用して測位の成功率を向上させることである。
【0072】
ポリシー１：第１端末、第２端末及びクラウド側からなる測位フレームワーク内の測位用の測位ユニット（測位ユニットは、第１端末側、第２端末側又はクラウド側に位置してもよい）において、第１端末からの少なくとも１つのキーフレームを含む共有地図から、第２端末から送信された現在のフレームに最も類似した少なくとも１つのキーフレーム画像を検出した後、特徴マッチングに全てのポイントクラウド情報を使用せず、該少なくとも１つのキーフレームに関連する局所的ポイントクラウド情報を得て、それを用いて特徴マッチングを行い、それによって共有地図のビジョン情報を十分に利用することができる。つまり、現在のフレームとキーフレームとの特徴マッチングと異なっており、現在のフレームと該キーフレームに関連する局所的ポイントクラウド情報に対して特徴マッチングを行う。勿論、特徴マッチングのためのデータ量は増加し、それに伴って、測位の成功率も向上する。
【0073】
ポリシー２：現在のフレームを用いて共有地図において測位を行う時に、環境に基づいて特徴点を自己適応的にに補完し、現在のフレームから抽出された特徴点の数を常に大きい数にする。例えば、現在のフレームから抽出された特徴点の数は、ＳＬＡＭシステムを用いて自己追跡を行って得られた現在のフレームの実際の特徴点の数より大きい。勿論、特徴マッチングのためのデータ量は増加し、それに伴って、測位の成功率も向上する。
【0074】
図１は本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。該共有地図に基づいた測位方法は、共有地図に基づいた測位装置に適用可能である。例えば、共有地図に基づいた測位装置は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該共有地図に基づいた測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図１に示すように、該プロセスは、以下を含む。
【0075】
ステップＳ１０１において、第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出する。
【0076】
一例において、前記キーフレームに関連する局所的地図データは、キーフレームに関連する局所的ポイントクラウドデータであってもよく、前記局所的ポイントクラウドデータは、前記キーフレームを中心として選択することができる。キーフレームは、現在のフレームに最も類似した候補フレームを指す。
【0077】
ステップＳ１０２において、第２端末により収集された画像における現在のフレームを取得する。
【0078】
現在のフレームにおける特徴点の数が特徴マッチングのための所望閾値以上である場合、直接的に、現在のフレームと局所的地図データに対して特徴マッチングを行う。現在のフレームにおける特徴点の数が特徴マッチングのための所望閾値未満である場合、現在のフレームに対する特徴点補完処理をトリガする。
【0079】
ステップＳ１０３において、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得る。
【0080】
ステップＳ１０３を行った後、前記測位結果に基づいて、前記第１端末と前記第２端末が前記グローバル地図データを共有する場合における相互の位置関係を得ることを更に含んでもよい。
【0081】
本願によれば、現在のフレームとキーフレームに対して特徴マッチングを行うことで測位を実現させることと異なっており、より多くの特徴点を特徴マッチングに利用している。例えば、現在のフレームとキーフレームを中心として形成された局所的ポイントクラウドデータとに対して特徴マッチングを行う。局所的ポイントクラウドデータを用いる場合、より多くの特徴が用いられ、つまり、局所的地図により現在のフレームとキーフレームとのマッチング関係を補完する。従って、より正確な処理効果を達成し、正確な測位を実現させる。
【0082】
図２は本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。該共有地図に基づいた測位方法は、共有地図に基づいた測位装置に適用可能である。例えば、共有地図に基づいた測位装置は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該共有地図に基づいた測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図２に示すように、該プロセスは、以下を含む。
【0083】
ステップＳ２０１において、第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出する。
【0084】
一例において、前記キーフレームに関連する局所的地図データは、キーフレームに関連する局所的ポイントクラウドデータであってもよく、前記局所的ポイントクラウドデータは、前記キーフレームを中心として選択することができる。キーフレームは、現在のフレームに最も類似した候補フレームを指す。
【0085】
ステップＳ２０２において、現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、前記所望閾値未満である場合、ステップＳ２０３を実行し、そうでなければ、ステップＳ２０４を実行する。
【0086】
収集された画像のテクスチャが浅い場合、又は各フレームの画像に含まれる特徴点の数が少ない場合、上記所望閾値を達成できないことを引き起こしてしまう。
【0087】
ステップＳ２０３において、前記現在のフレームに対する特徴点補完処理をトリガし、現在のフレームに対する特徴点補完処理を実行する。
【0088】
一例において、現在のフレームの特徴点を補完するための特徴点補完ユニットを用いて、現在のフレームに対する特徴点補完処理を実行することができる。特徴点補完ユニットは、現在のフレームを収集するための第２端末側に位置する。
【0089】
ステップＳ２０４において、第２端末により収集された画像における現在のフレームを取得する。
【0090】
現在のフレームにおける特徴点の数が特徴マッチングのための所望閾値以上である場合、現在のフレームを、画像収集により得られた現在のフレームとする。現在のフレームにおける特徴点の数が該所望閾値未満である場合、現在のフレームを、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームとする。
【0091】
ステップＳ２０５において、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得る。
【0092】
ステップＳ２０６において、前記測位結果に基づいて、前記第１端末と前記第２端末が前記グローバル地図データを共有する場合における相互の位置関係を得る。
【0093】
本願によれば、現在のフレームとキーフレームとの比較により測位を実現させることと異なっており、現在のフレームに対して特徴点補完を行うことができる。つまり、より多くの特徴点の比較により、より正確な処理効果を達成し、正確な測位を実現させる。関連技術において、現在のフレームにおける特徴点のデータ量は、ＳＬＡＭシステムにより自己追跡を行うことで実際に得られた特徴点の数と一致する。テクスチャが浅い場合に抽出可能な特徴点の数は、急激に低減することがある。本願において、現在のフレームの特徴点を抽出する時に抽出された特徴点の数は、ＳＬＡＭシステムにより自己追跡を行うことで実際に得られた特徴点の数よりも多い（ＳＬＡＭシステムにより自己追跡を行うことで実際に得られた特徴点の二倍又は二倍以上であり得る）。テクスチャが浅い場合に特徴点を補完し、現在のフレームから抽出された特徴点の数を増加させ、測位成功率を向上させる。また、抽出された特徴点の数の閾値を自己適応的に修正することで、テクスチャが浅い場合の特徴点の抽出能力を向上させる。
【0094】
一例において、２つの端末（携帯電話）が共有地図に基づいて測位を行うことを例として、２つのユーザは、それぞれ一台の携帯電話を手で持ち、同一のテーブルに向かって共同でＡＲゲームを行う。ここで、２台の携帯電話は、同一のＡＲ効果に対して観察及びインタラクションを行うことができる。これを実現させるために、２つの端末が１つの座標系に位置し、相手の位置姿勢を把握する必要がある。位置姿勢を共有するために、共有地図に基づいて相互の測位を実現させる必要がある。具体的には、第１端末（携帯電話１）により画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得る。グローバル地図データから、キーフレームに関連する局所的地図データ（例えば、局所的ポイントクラウドデータ）を抽出する。該局所的ポイントクラウドデータは、該キーフレーム（現在のフレームに最も類似した候補フレーム）を中心として選択されることができる。第２端末（携帯電話２）により画像収集を行い、現在のフレームを得る。現在のフレームにおける特徴点の数が特徴マッチングのための所望閾値以上である場合、直接的に、現在のフレームと局所的地図データに対して特徴マッチングを行う。現在のフレームにおける特徴点の数が特徴マッチングのための所望閾値未満である場合、現在のフレームに対する特徴点補完処理をトリガする。つまり、現在のフレームに対して特徴点補完（又は特徴点補充）を行うことができる。更に、特徴点の閾値を自己適応的に調整することで、より多くの特徴点を得ることができる。現在のフレーム（又は特徴点補完を行った後に得られた現在のフレーム）と局所的ポイントクラウドデータに対して特徴マッチングを行い、局所的地図を利用して現在のフレームとキーフレームとのマッチング関係を補完することで、測位成功率の向上を実現させる。マッチング結果に基づいて現在のフレームの測位結果を得て、測位結果に基づいて第１端末（携帯電話１）と第２端末（携帯電話２）がグローバル地図データを共有する場合における相互の位置関係を得る。ここで、共有は、第１端末（携帯電話１）と第２端末（携帯電話２）が該地図の所在する同一の座標系に位置し、該同一の座標系で相互の位置又は位置姿勢などの情報を測位できることを意味する。
【0095】
本願の可能な実現形態において、前記現在のフレームに対する特徴点補完処理を行うことは、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。ここで、参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。具体的には、１）該環境情報は、抽出する特徴点の数の不足を引き起こせる外部影響要因の１つである。例えば、光照射状況、周辺の遮蔽物などの少なくとも１つの情報であり、特徴点の数が少ないか又は低下することを引き起こす少なくとも１つの場合の影響情報に限定されない。２）該画像収集装置におけるパラメータ情報は、センサパラメータ情報であってもよく、抽出する特徴点の数の不足を引き起こせる外部影響要因のうちのもう１つである。例えば、カメラのセンサの収集感度、精細度、露光、コントラストなどである。３）該現在のフレームの自らの画像情報は、抽出する特徴点の数の不足を引き起こせる自己の影響要因の１つである。例えば、画像自らのテクスチャが少なく、画像が簡単である場合、抽出可能な特徴点も少ない。
【0096】
本願の可能な実現形態において、現在のフレームと局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、３Ｄ情報を抽出することと、３Ｄ情報に基づいて、現在のフレームの位置姿勢を得て、現在のフレームの位置姿勢を前記測位結果とすることと、を含む。具体的には、特徴点の２Ｄ特徴マッチングを行った後、３Ｄ情報を含む２Ｄ特徴マッチング結果（選別結果と略称される）を選別して得ることができる。該選別結果に基づいて、現在のフレームの位置姿勢を求めることができる。
【0097】
図３は本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。該共有地図に基づいた測位方法は、共有地図に基づいた測位装置に適用可能である。例えば、共有地図に基づいた測位装置は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該共有地図に基づいた測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図３に示すように、該プロセスは、以下を含む。
【0098】
ステップＳ３０１において、第１端末が画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得る。
【0099】
ステップＳ３０２において、第２端末が画像収集を行い、収集された画像における現在のフレームを得て、現在のフレームを第２端末に送信する。
【0100】
ステップＳ３０３において、第１端末がグローバル地図データから、キーフレームに関連する局所的地図データを抽出する。
【0101】
一例において、グローバル地図データは、第１端末により収集された画像における少なくとも１つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
【0102】
ステップＳ３０４において、第１端末が第２端末により収集された現在のフレームを受信し、現在のフレームと局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、測位結果を第２端末に送信する。
【0103】
ステップＳ３０５において、第２端末が測位結果に基づいて、第１端末と第２端末がグローバル地図データを共有する場合における相互の位置関係を得る。
【0104】
本願の可能な実現形態において、第１端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含む。
【0105】
本願の可能な実現形態において、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出することと、前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。具体的には、特徴点の２Ｄ特徴マッチングを行った後、３Ｄ情報を含む２Ｄ特徴マッチング結果（選別結果と略称される）を選別して得ることができる。該選別結果に基づいて、現在のフレームの位置姿勢を求めることができる。
【0106】
本願の可能な実現形態において、前記方法は、前記第２端末が画像収集を行い、収集された画像における現在のフレームを得る前に、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含む。ここで、、第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。一例において、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得する。参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完する。特徴点の数が実際の収集により得られた特徴点の数より大きい場合、現在のフレームに対する特徴点補完処理を終了する。
【0107】
本願の可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0108】
図４は本願の実施例による共有地図に基づいた測位方法を示すフローチャートである。該共有地図に基づいた測位方法は、共有地図に基づいた測位装置に適用可能である。例えば、共有地図に基づいた測位装置は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該共有地図に基づいた測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図４に示すように、該プロセスは、以下を含む。
【0109】
ステップＳ４０１において、第２端末が、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出する。
【0110】
ステップＳ４０２において、第２端末が画像収集を行い、収集された画像における現在のフレームを得る。
【0111】
ステップＳ４０３において、第２端末が前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得る。
【0112】
ステップＳ４０４において、前記第２端末が前記測位結果に基づいて、前記第１端末と前記第２端末が前記グローバル地図データを共有する場合における相互の位置関係を得る。
【0113】
本願の可能な実現形態において、前記方法は、前記第２端末が画像収集を行い、収集された画像における現在のフレームを取得する前に、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含む。ここで、前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0114】
本願の可能な実現形態において、前記現在のフレームに対する特徴点補完処理を行うことは、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得することと、参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。ここで、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0115】
本願の可能な実現形態において、現在のフレームと局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得ることと、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、３Ｄ情報を抽出することと、前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。具体的には、特徴点の２Ｄ特徴マッチングを行った後、３Ｄ情報を含む２Ｄ特徴マッチング結果（選別結果と略称される）を選別して得ることができる。該選別結果に基づいて、現在のフレームの位置姿勢を求めることができる。
【0116】
本願の実施例による共有地図に基づいた測位方法は、共有地図に基づいた測位装置に適用可能である。例えば、共有地図に基づいた測位装置は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該共有地図に基づいた測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。ここで、測位ユニットは、クラウド側に位置してもよい。該プロセスは、第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、第２端末により収集された画像における現在のフレームを受信することと、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、前記測位結果を送信し、前記測位結果に基づいて、前記第１端末と前記第２端末が前記グローバル地図データを共有する場合における相互の位置関係を得ることと、を含む。
【0117】
適用例
図５は、本願の実施例による共有地図に基づいた測位方法を示す。２つの端末装置（装置１及び装置２）を例として、示された２つの端末装置に限定されず、複数の端末装置も共有地図により測位を行うこともできる。図５に示すように、測位過程は以下を含む。装置１によりシーンを走査し、少なくとも１つのキーフレームを含む地図を生成し、該地図を共有地図と定義する。該共有地図は、装置１ローカルに記憶されてもよく、又は他の端末装置（例えば、装置２）にアップロードされてもよい。該共有地図は、クラウド側に記憶されてもよい。共有地図を必要とする１つ又は複数の装置（図面において、装置２と略称する）は、自体により収集された現在のフレームデータを測位ユニットに送信することができる。測位ユニットは、いずれか１つの装置で実行されてもよく、又はクラウド側に位置してもよい。装置２から伝送された現在のフレームデータに加えて、測位ユニットは、共有地図データを取得することもできる。測位ユニットは、現在のフレーム画像及び共有地図データに基づいて、現在のフレームの測位結果を得て、測位結果を装置２に返送することができる。このような方式により、装置２は、共有地図の座標系に対する自己の相対的位置姿勢を得ることができる。
図５は、本願の実施例による共有地図に基づいた測位方法を示す。２つの端末装置（装置１及び装置２）を例として、示された２つの端末装置に限定されず、複数の端末装置も共有地図により測位を行うこともできる。図５に示すように、測位過程は以下を含む。装置１によりシーンを走査し、少なくとも１つのキーフレームを含む地図を生成し、該地図を共有地図と定義する。該共有地図は、装置１ローカルに記憶されてもよく、又は他の端末装置（例えば、装置２）にアップロードされてもよい。該共有地図は、クラウド側に記憶されてもよい。共有地図を必要とする１つ又は複数の装置（図面において、装置２と略称する）は、自体により収集された現在のフレームデータを測位ユニットに送信することができる。測位ユニットは、いずれか１つの装置で実行されてもよく、又はクラウド側に位置してもよい。装置２から伝送された現在のフレームデータに加えて、測位ユニットは、共有地図データを取得することもできる。測位ユニットは、現在のフレーム画像及び共有地図データに基づいて、現在のフレームの測位結果を得て、測位結果を装置２に返送することができる。このような方式により、装置２は、共有地図の座標系に対する自己の相対的位置姿勢を得ることができる。
【0118】
図６は、本願の実施例による現在のフレームの特徴点の補完過程を示す概略図である。装置は、特徴点補完ユニットにより、現在のフレーム画像に対して自己適応的に調整を行い、より多くの特徴点を補完して生成することができる。図６に示すように、現在のフレームの特徴点の補完過程は、以下を含む。
【0119】
入力は、現在のフレーム画像である。
【0120】
出力は、特徴点及び記述子（又は特徴記述子とも言う）である。特徴記述子（Ｄｅｓｃｒｉｐｔｏｒ）は、特徴を表すためのデータ構造であり、１つの記述子の次元は、多次元であってもよい。
【0121】
ステップ１において、デフォルトパラメータで、装置２により取得された現在のフレーム画像に対して特徴点抽出を行い、抽出された特徴点の数は、ＳＬＡＭシステム自らにより実際に取得される特徴点の数の二倍であってもよい。
【0122】
ステップ２において、ステップ１で抽出された特徴点の数をチェックし、特徴点の数が所定の所望閾値未満である場合、ステップ３へ進み、そうでなければ、ステップ４へ進む。
【0123】
ステップ３において、特徴点の選別閾値を低下させ、特徴点補完（又は現在のフレームにおける特徴点の数の補完とも言う）を行う。
【0124】
ステップ４において、抽出された特徴点に対して特徴記述子の抽出を行い、抽出結果を返送する。
【0125】
【0126】
入力は、現在のフレームデータ及び共有地図である。
【0127】
出力は、測位結果である。
【0128】
ステップ１において、現在のフレームの特徴情報を利用して共有地図において画像検出を行い、現在のフレームに最も類似したキーフレームを見付けて候補フレームとする。
【0129】
ステップ２において、現在のフレームと候補フレームに対して特徴マッチングを行い、候補フレームにおける特徴点が３Ｄ情報を持つため、一連の２Ｄと３Ｄのマッチング結果を得ることができる。
【0130】
ステップ３において、ステップ２で得られた２Ｄ特徴点と３Ｄ点とのマッチング結果に基づいて、現在のフレームの位置姿勢を最適化して求めることができる。
【0131】
ステップ４において、ステップ３で得られた位置姿勢に十分な内部点があるかどうかを判定し、内部点の数が所定の閾値未満である場合、ステップ５を継続して実行し、そうでなければ、ステップ７へ進む。
【0132】
現在のフレームと局所的ポイントクラウドデータにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行った後、３Ｄ情報を含む２Ｄ特徴マッチング結果（選別結果と略称される）を選別して得ることができる。該選別結果に基づいて、現在のフレームの位置姿勢を求めることができる。該選別結果の全ては、品質の高い特徴点であるとは限らず、品質の良否は、特徴マッチングの根拠として用いられ、品質の良否に基づいて特徴点を内部点と外部点に分けることができることに留意されたい。ここで、内部点は、品質の高い特徴点を指し、外部点は、品質が高くない特徴点を指す。
【0133】
上記特徴マッチングは、マルチビジョン幾何（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ）の概念に係ることに留意されたい。マルチビジョン幾何とは、幾何的方法で、複数枚の二次元画像により三次元物体を復元することを指し、つまり、三次元再構築の検討であり、主に、コンピュータビジョンに適用される。マルチビジョン幾何的技術により、コンピュータは、形状、位置、姿勢、運動などのような、三次元環境における幾何的情報を感知できるだけでなく、それらに対して記述、記憶、認識及び理解を行うこともできる。コンピュータビジョンにおいて、２つのフレームの画像の特徴マッチング点を見出す必要がある。例えば、２つのフレームの画像のうちの１つのフレームの画像から、画像品質及びテクスチャ情報に基づいて１０００個の特徴点（二次元のもの）を抽出することができる。２つのフレームの画像のうちのもう１つのフレームの画像から、画像品質及びテクスチャ情報に基づいて１０００個の特徴点（二次元のもの）を抽出することもできる。該２枚の画像の相関性を見出し、特徴点マッチングを行う必要がある。例えば、２つのフレームの画像に対して特徴点マッチングを行うことで、６００個の特徴点に相関性があることが見出された。特徴点の最大の特徴は、画像情報を一意的に認識できる能力を持つことである。物体は、運動しているため、変位が発生する。従って、該２つのフレーム画像における特徴点により記述された情報（例えば、２Ｄ特徴点に含まれる３Ｄ情報）が異なることがある。又は、マルチビジョン幾何概念を利用して複数の視野角から観測を行う場合、視野角が変動した場合、角度が変動し、特徴点で記述された情報（例えば、２Ｄ特徴点に含まれる３Ｄ情報）が異なることがある。延いては、画像遮断又は歪みなどのような極端なケースを引き起こすことがある。全ての２Ｄ特徴点は、必ずしも３Ｄ情報又は適用可能な３Ｄ情報を含むものではないことを引き起こしてしまう。例えば、該６００個の特徴点のうち、３Ｄ情報を含む２Ｄ特徴点は、３００個に過ぎない。従って、３Ｄ情報を含む２Ｄ特徴マッチング結果（選別結果と略称される）を選別して得た後に、該選別結果に基づいて現在のフレームの位置姿勢を求める必要がある。これにより、より正確になる。
【0134】
ステップ５において、ステップ１で得られた候補フレームを基礎として、該候補フレームと共通ビジョン関係にある少なくとも１つのフレームをキーフレームとして選択し、これらのキーフレームに含まれるポイントクラウド集合を局所的地図データ（又は局所的ポイントクラウドデータと呼ばれる）とし、ステップ３で得られた位置姿勢を初期位置姿勢として、補完及びマッチングを行う。
【0135】
ステップ６において、ステップ５で得られたマッチング結果に基づいて、現在のフレームの位置姿勢を最適化して求め、測位結果を返送する。
【0136】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。
【0137】
本願で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。
【0138】
なお、本願は、共有地図に基づいた測位装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの共有地図に基づいた測位方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
【0139】
図８は、本願の実施例による共有地図に基づいた測位装置を示すブロック図である。図８に示すように、本願の実施例による共有地図に基づいた測位装置は、第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニット３１と、第２端末により収集された画像における現在のフレームを取得するように構成される第１取得ユニット３２と、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第１マッチングユニット３３と、を備える。該装置は、前記測位結果に基づいて、前記第１端末と前記第２端末が前記グローバル地図データを共有する場合における相互の位置関係を得るように構成される第１測位ユニットを更に備える。
【0140】
本願の可能な実現形態において、前記装置は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備える。
【0141】
本願の可能な実現形態において、前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0142】
本願の可能な実現形態において、前記装置は、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
【0143】
本願の可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0144】
本願の可能な実現形態において、前記第１マッチングユニットは更に、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成される。
【0145】
本願の実施例による共有地図に基づいた測位装置であって、前記装置は、画像収集を行い、少なくとも１つのキーフレームを含むグローバル地図データを得るように構成される第１収集ユニットと、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１抽出ユニットと、第２端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第１マッチングユニットと、を備える。
【0146】
本願の可能な実現形態において、前記第１抽出ユニットは更に、前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとするように構成される。
【0147】
本願の可能な実現形態において、前記第１マッチングユニットは更に、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成される。
【0148】
本願の実施例による共有地図に基づいた測位装置であって、前記装置は、画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信するように構成される第２収集ユニットと、測位結果を受信するように構成される第２マッチングユニットであって、前記測位結果は、第１端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果である、第２マッチングユニットと、前記測位結果に基づいて、前記第１端末と前記第２端末がグローバル地図データを共有する場合における相互の位置関係を得るように構成される第２測位ユニットと、を備え、グローバル地図データは、第１端末により収集された画像における少なくとも１つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
【0149】
本願の可能な実現形態において、前記装置は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備える。
【0150】
本願の可能な実現形態において、前記第２端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0151】
本願の可能な実現形態において、前記装置は、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
【0152】
本願の可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0153】
本願の実施例による共有地図に基づいた測位装置であって、前記装置は、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第２抽出ユニットと、画像収集を行い、収集された画像における現在のフレームを得るように構成される第２収集ユニットと、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第２マッチングユニットと、前記測位結果に基づいて、前記第１端末と前記第２端末がグローバル地図データを共有する場合における相互の位置関係を得るように構成される第２測位ユニットと、を備える。
【0154】
本願の可能な実現形態において、前記装置は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備える。
【0155】
本願の可能な実現形態において、前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれる。
【0156】
本願の可能な実現形態において、前記装置は、現在のフレームに対して特徴点抽出を行うための第１選別閾値を取得し、参照情報に基づいて、前記第１選別閾値に対して自己適応的に調整を行い、第２選別閾値を得て、前記第２選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
【0157】
本願の可能な実現形態において、前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも１つを含む。
【0158】
本願の実施例おいて、前記第２測位ユニットは更に、前記現在のフレームと前記局所的地図データにおける少なくとも１つのキーフレームに対して、特徴点の２Ｄ特徴マッチングを行い、２Ｄ特徴マッチング結果を得て、前記２Ｄ特徴マッチング結果から、３Ｄ情報を含む２Ｄ特徴マッチング結果を選別し、前記３Ｄ情報を抽出し、前記３Ｄ情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成される。
【0159】
本願の実施例による共有地図に基づいた測位装置であって、前記装置は、第１端末により収集された画像における、少なくとも１つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第１受信ユニットと、第２端末により収集された画像における現在のフレームを受信するように構成される第２受信ユニットと、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第３マッチングユニットと、前記測位結果を送信し、前記測位結果に基づいて、前記第１端末と前記第２端末が前記グローバル地図データを共有する場合における相互の位置関係を得るように構成される第３測位ユニットと、を備える。
【0160】
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0161】
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記共有地図に基づいた測位方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
【0162】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記共有地図に基づいた測位方法を実行するように構成される。
【0163】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0164】
本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記共有地図に基づいた測位方法を実行する。
【0165】
図９は一例示的な実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。この場合、測位ユニットは、いずれか１つの端末側に位置する。
【0166】
図９を参照すると、電子機器８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。
【0167】
処理ユニット８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。
【0168】
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
【0169】
電源ユニット８０６は電子機器８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
【0170】
マルチメディアユニット８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又は映像モードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
【0171】
オーディオユニット８１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオユニット８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信ユニット８１６を経由して送信することができる。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
【0172】
Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【0173】
センサユニット８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、収音音量制御用装置のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサユニット８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
【0174】
通信ユニット８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信ユニット８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。
【0175】
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
【0176】
例示的な実施例において、コンピュータプログラム命令を含むメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。
【0177】
図１０は、一例示的な実施例による電子機器９００を示すブロック図である。例えば、電子機器９００は、サーバとして提供されてもよい。図１０を参照すると、電子機器９００は、処理ユニット９２２を備える。ぞれは1つ又は複数のプロセッサと、メモリ９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理ユニット９２２により実行される命令を記憶するためのものである。メモリ９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理ユニット９２２は、命令を実行して、上記方法を実行するように構成される。
【0178】
電子機器９００は、電子機器９００の電源管理を実行するように構成される電源ユニット９２６と、電子機器９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース９５０と、入力出力（Ｉ／Ｏ）インタフェース９５８を更に備えてもよい。電子機器９００は、Ｗｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、Ｕｎｉｘ（登録商標）， Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ又は類似したものような、メモリ９３２に記憶されているオペレーティングシステムを実行することができる。
【0179】
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器９００の処理ユニット９２２により実行されて上記方法を完了する。
【0180】
本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
【0181】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【0182】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
【0183】
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
【0184】
ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【0185】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。
【0186】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。
【0187】
図面におけるフローチャート及びブック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。
【0188】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
