特許 7446643 視覚測位方法、装置、機器及び可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】視覚測位方法、装置、機器及び可読記憶媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240304BHJP

【ＦＩ】

G06T7/70 Z

【請求項の数】 10

(21)【出願番号】P 2022566049

(86)(22)【出願日】2020-05-26

(65)【公表番号】

(43)【公表日】2023-06-02

(86)【国際出願番号】 CN2020092284

(87)【国際公開番号】W WO2021237443

(87)【国際公開日】2021-12-02

【審査請求日】2022-10-28

(73)【特許権者】

【識別番号】521208262

【氏名又は名称】マプサス テクノロジー ホールディング リミテッド

【氏名又は名称原語表記】Ｍａｐｘｕｓ Ｔｅｃｈｎｏｌｏｇｙ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】３０ ｄｅ Ｃａｓｔｒｏ Ｓｔｒｅｅｔ，Ｗｉｃｋｈａｍｓ Ｃａｙ １，Ｐ．Ｏ．Ｂｏｘ ４５１９，Ｒｏａｄ Ｔｏｗｎ，Ｔｏｒｔｏｌａ，Ｂｒｉｔｉｓｈ Ｖｉｒｇｉｎ Ｉｓｌａｎｄｓ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】陳 尊裕

(72)【発明者】

【氏名】呉 ▲じゅえ▼其

(72)【発明者】

【氏名】胡 斯洋

(72)【発明者】

【氏名】陳 欣

(72)【発明者】

【氏名】呉 沛謙

(72)【発明者】

【氏名】張 仲文

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】中国特許出願公開第１１０２９８３２０（ＣＮ，Ａ）

【文献】中国特許出願公開第１０８００９５８８（ＣＮ，Ａ）

【文献】特開２０１９－１２５２２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ ー ７／９０

Ｇ０６Ｖ １０／００ ー ２０／９０

(57)【特許請求の範囲】

【請求項1】

視覚測位方法であって、
広角写真を取得して、前記広角写真をランダムに分割することで、測定対象となる画像セットを取得するステップと、
前記測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得するステップと、
複数の前記候補測位によって、最終測位を決定するステップと、を含み、
前記複数の前記候補測位によって、最終測位を決定するステップは、
複数の前記候補測位に対してクラスタリング処理を行って、クラスタリング結果によって、複数の前記候補測位を選別するステップと、
選別されたいくつかの候補測位によって、幾何グラフィックスを構築するステップと、
前記幾何グラフィックスの幾何中心を前記最終測位とするステップと、を含むことを特徴とする視覚測位方法。

【請求項2】

前記最終測位によって、複数の前記候補測位の標準分散を計算するステップと、
前記標準分散を前記最終測位の測位誤差とするステップと、をさらに含むことを特徴とする請求項１に記載の視覚測位方法。

【請求項3】

前記ニューラルネットワークモデルの訓練過程は、
前記ライブマップからいくつかの前記パノラマ写真を取得して、各実景写真の地理位置を決定するステップと、
いくつかの前記パノラマ写真に対してデワーピング変換を行って、同一アスペクト比を有する複数組の平面投影写真を取得するステップと、
前記パノラマ写真との対応関係に基づいて、各組の前記平面投影写真に、地理位置及び具体的な方向が含まれる地理マーカーを付けるステップと、
地理マーカーが付けられた平面投影写真を訓練サンプルとするステップと、
前記訓練サンプルによって、前記ニューラルネットワークモデルを訓練して、訓練後の前記ニューラルネットワークモデルを前記測位モデルに決定するステップと、を含むことを特徴とする請求項１に記載の視覚測位方法。

【請求項4】

前記いくつかの前記パノラマ写真に対してデワーピング変換を行って、同一アスペクト比を有する複数組の平面投影写真を取得するステップは、
デワーピング変換において、異なる焦点距離パラメータに基づいて、各前記パノラマ写真を分割して、異なる視野角を有する複数組の平面投影写真を取得するステップを含むことを特徴とする請求項３に記載の視覚測位方法。

【請求項5】

前記デワーピング変換において、異なる焦点距離パラメータに基づいて、各前記パノラマ写真を分割して、異なる視野角を有する複数組の平面投影写真を取得するステップは、
対応する原画像のカバレッジが所定割合より大きい分割数に基づいて、各前記パノラマ写真を分割して、隣接ピクチャには重畳視野角が存在する複数組の平面投影写真を取得するステップを含むことを特徴とする請求項４に記載の視覚測位方法。

【請求項6】

前記ニューラルネットワークモデルの訓練過程は、
インターネットから取得されたシーン写真、又は測位環境に対して採集された環境写真を使用して、前記訓練サンプルを補充するステップをさらに含むことを特徴とする請求項３に記載の視覚測位方法。

【請求項7】

前記広角写真をランダムに分割することで、測定対象となる画像セットを取得するステップは、
分割数に基づいて、前記広角写真に対して、原画像カバレッジが所定割合より大きいランダム分割を行って、前記分割数にマッチングする測定対象となる画像セットを取得するステップを含むことを特徴とする請求項１に記載の視覚測位方法。

【請求項8】

視覚測位装置であって、
広角写真を取得して、前記広角写真をランダムに分割することで、測定対象となる画像セットを取得する測定対象となる画像セット取得モジュールと、
前記測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得する候補測位取得モジュールと、
複数の前記候補測位によって、最終測位を決定する測位出力モジュールと、を含み、
前記測位出力モジュールは、
複数の候補測位に対してクラスタリング処理を行って、クラスタリング結果によって、複数の候補測位を選別する測位選別ユニットと、
選別されたいくつかの候補測位によって、幾何グラフィックスを構築する幾何グラフィックス構築ユニットと、
幾何グラフィックスの幾何中心を最終測位とする最終測位決定ユニットと、を含むことを特徴とする視覚測位装置。

【請求項9】

視覚測位機器であって、
コンピュータプログラムを記憶するメモリと、
前記コンピュータプログラムを実行する時、請求項１～７の何れか１項に記載の視覚測位方法を実現するプロセッサーと、を含むことを特徴とする視覚測位機器。

【請求項10】

可読記憶媒体であって、前記可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムはプロセッサーにより実行されると、請求項１～７の何れか１項に記載の視覚測位方法を実現することを特徴とする可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は測位技術分野に関して、特に視覚測位方法、装置、機器及び可読記憶媒体に関している。

【背景技術】

【0002】

機械学習による視覚測位原理において、位置マーカーが付けられた大量の実際シーン写真を使用して訓練することで、入力が写真（ＲＧＢ数値行列）であり、出力が具体的な位置であるニューラルネットワークモデルを取得する。訓練後のニューラルネットワークモデルを取得した後、ユーザーが環境に対して１枚の写真を撮影すれば、具体的な撮影位置を取得できる。

【0003】

このような方法は、訓練データセットとして、使用環境に対して大量の写真サンプルを採集する。例えば、いくつかの文献の記載によれば、３５メートルの幅を有する小さな商店に対する視覚測位を実現するために、３３０枚の写真を採集し、また、１４０メートルの街路（１側のみを測位する）に対する視覚測位を実現するために、１５００枚以上の写真を採集し、また、ある工場に対する測位を実現するために、工場を１８個の領域に分割し、各領域に対して２００枚の画像を撮影する。このように、視覚測位効果を保証するために、訓練データとして、大量の現場写真を採集し、これらの写真は、シーンにおける隅々まで撮影されることを保証しなければならないため、非常に時間及び労力がかかる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

以上のように、視覚測位においてサンプル採集が困難であるなどの問題を如何に解決するかということは、現在、当業者が解决しようとする技術問題である。

【0005】

本出願は、視覚測位方法、装置、機器及び可読記憶媒体を提供することを目的とし、ライブマップにおけるパノラマ写真を使用してニューラルネットワークモデルを訓練することで、視覚測位においてサンプル採集が困難であるという問題を解決できる。

【課題を解決するための手段】

【0006】

上記の技術問題を解决するために、本出願は以下の技術的解決策を提供し、
視覚測位方法であって、
広角写真を取得して、前記広角写真をランダムに分割することで、測定対象となる画像セットを取得するステップと、
前記測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得するステップと、
複数の前記候補測位によって、最終測位を決定するステップと、を含む。

【0007】

好ましくは、前記複数の前記候補測位によって、最終測位を決定するステップは、
複数の前記候補測位に対してクラスタリング処理を行って、クラスタリング結果によって、複数の前記候補測位を選別するステップと、
選別されたいくつかの候補測位によって、幾何グラフィックスを構築するステップと、
前記幾何グラフィックスの幾何中心を前記最終測位とするステップと、を含む。

【0008】

好ましくは、
前記最終測位によって、複数の前記候補測位の標準分散を計算するステップと、
前記標準分散を前記最終測位の測位誤差とするステップと、をさらに含む。

【0009】

好ましくは、前記ニューラルネットワークモデルの訓練過程は、
前記ライブマップからいくつかの前記パノラマ写真を取得して、各前記実景写真の地理位置を決定するステップと、
いくつかの前記パノラマ写真に対してデワーピング変換を行って、同一アスペクト比を有する複数組の平面投影写真を取得するステップと、
前記パノラマ写真との対応関係に基づいて、各組の前記平面投影写真に、地理位置及び具体的な方向が含まれる地理マーカーを付けるステップと、
地理マーカーが付けられた平面投影写真を訓練サンプルとするステップと、
前記訓練サンプルによって、前記ニューラルネットワークモデルを訓練して、訓練後の前記ニューラルネットワークモデルを前記測位モデルに決定するステップと、を含む。

【0010】

好ましくは、前記いくつかの前記パノラマ写真に対してデワーピング変換を行って、同一アスペクト比を有する複数組の平面投影写真を取得するステップは、
デワーピング変換において、異なる焦点距離パラメータに基づいて、各前記パノラマ写真を分割して、異なる視野角を有する複数組の平面投影写真を取得するステップを含む。

【0011】

好ましくは、前記デワーピング変換において、異なる焦点距離パラメータに基づいて、各前記パノラマ写真を分割して、異なる視野角を有する複数組の平面投影写真を取得するステップは、
対応する原画像のカバレッジが所定割合より大きい分割数に基づいて、各前記パノラマ写真を分割して、隣接ピクチャには重畳視野角が存在する複数組の平面投影写真を取得するステップを含む。

【0012】

好ましくは、前記ニューラルネットワークモデルの訓練過程は、
インターネットから取得されたシーン写真、又は測位環境に対して採集された環境写真を使用して、前記訓練サンプルを補充するステップをさらに含む。

【0013】

好ましくは、前記広角写真をランダムに分割することで、測定対象となる画像セットを取得するステップは、
分割数に基づいて、前記広角写真に対して、原画像カバレッジが所定割合より大きいランダム分割を行って、前記分割数にマッチングする測定対象となる画像セットを取得するステップを含む。

【0014】

視覚測位装置であって、
広角写真を取得して、前記広角写真をランダムに分割することで、測定対象となる画像セットを取得する測定対象となる画像セット取得モジュールと、
前記測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得する候補測位取得モジュールと、
複数の前記候補測位によって、最終測位を決定する測位出力モジュールと、を含む。

【0015】

視覚測位機器であって、
コンピュータプログラムを記憶するメモリと、
前記コンピュータプログラムを実行する時、上記の視覚測位方法を実現するプロセッサーと、を含む。

【0016】

可読記憶媒体であって、前記可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムはプロセッサーにより実行されると、上記の視覚測位方法を実現する。

【発明の効果】

【0017】

本出願の実施例が提供する方法によれば、広角写真を取得して、広角写真をランダムに分割することで、測定対象となる画像セットを取得するステップと、測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得するステップと、複数の候補測位によって、最終測位を決定するステップと、を含む。

【0018】

ライブマップは実際街並みが見えるマップであり、ライブマップには３６０度の実景が含まれる。ライブマップにおけるパノラマ写真は、実際街並みのマップであり、視覚測位の応用環境と互いに重畳する。これに基づいて、本方法において、ライブマップにおけるパノラマ写真を使用してニューラルネットワークモジュールを訓練することで、視覚測位のための測位モデルを取得できる。広角写真を取得した後、広角写真をランダムに分割することで、測定対象となる画像セットを取得できる。測定対象となる画像セットを測位モデルに入力し、測位して認識することで、複数の候補測位を取得できる。これらの候補測位に基づいて、最終測位を決定できる。このように、本方法において、ライブマップにおけるパノラマ写真に基づいてニューラルネットワークモデルを訓練することで、測位モデルを取得でき、当該測位モデルに基づいて、視覚測位を完成でき、視覚測位において訓練サンプルの採集が困難であるという問題を解決する。

【0019】

相応的に、本出願の実施例は、上記の視覚測位方法に対応する装置、機器及び可読記憶媒体をさらに提供し、上記の技術効果を具備するため、ここで、贅言していない。

【図面の簡単な説明】

【0020】

本出願の実施例又は従来技術における技術的解決策をより明らかに説明するために、以下、実施例又は従来技術の記載の必要な図面を簡単に紹介し、当業者にとって、進歩性に値する労働をしないことを前提として、これらの図面に基づいて他の図面を取得できる。

【図1】本出願の実施例における視覚測位方法の実施フローチャートである。

【図2】本出願の実施例における視野角分割概略図である。

【図3】本出願の実施例における視覚測位装置の構成概略図である。

【図4】本出願の実施例における視覚測位装置の構成概略図である。

【図5】本出願の実施例における視覚測位装置の具体的な構成概略図である。

【発明を実施するための形態】

【0021】

当業者が本出願の解決策をよりよく理解するために、以下、図面及び具体的な実施形態を結合して、本出願をさらに詳しく説明する。本出願の実施例に基づいて、当業者は進歩性に値する労働をしないことを前提として、取得した他の全ての実施例は、何れも本出願の保護範囲に属している。

【0022】

ここで、ニューラルネットワークモデルはクラウド又はロカール機器に記憶されるため、本発明の実施例が提供する視覚測位方法は直接的にクラウドサーバーに適用されてもよいし、ロカール機器に適用されてもよい。測位を必要とする装置は撮影、ネットワーク接続機能を有すると、１つの広角写真によって測位を実現できる。

【0023】

図１を参照して、図１は本出願の実施例における視覚測位方法のフローチャートであり、当該方法は以下のステップを含み、即ち、
Ｓ１０１：広角写真を取得して、広角写真をランダムに分割することで、測定対象となる画像セットを取得する。
広角、即ち、広角レンズ又はパノラマモードで撮影されたピクチャである。簡単に言えば、焦点距離が小さいほど、視野が広く、写真内の収容可能な景物の範囲も広くなっている。

【0024】

発明が提供する視覚測位方法において、ライブマップにおけるパノラマ写真を使用してニューラルネットワークモデルを訓練する。従って、視覚測位をよりよく行うために、測位モデルによって視覚測位を行う場合、必要な写真も広角写真である。例えば、ユーザーは測位を必要とする位置に、広角モード（又は超広角モード）又はパノラマモードで周辺環境に対して、視野角が１２０度以上（無論、例えば１４０度、１８０度などの他の度数であってもよい）の１枚の広角写真を撮影する。

【0025】

広角写真を取得した後、ランダムに分割して、分割されたいくつかの写真からなる測定対象となる画像セットを取得する。

【0026】

特に、具体的に、当該広角写真を何枚の写真に分割するかということは、全地球測位モデルの訓練効果及び実際測位精度要求に基づいて、設定すればよい。一般的に、認識可能範囲内（写真の大きさが小さすぎると、関連測位特徴がなく、効果的な認識を行うことができないという問題が存在する）で、分割数が大きいほど、測位精度が高く、無論、モデルの訓練反復回数が多く、訓練時間が長い。

【0027】

好ましくは、測位精度を向上させるために、広角写真を分割する場合、分割数に基づいて、広角写真に対して原画像カバレッジが所定割合より大きいランダム分割を行うことで、分割数にマッチングする測定対象となる画像セットを取得する。具体的に、測定対象となる画像セットとして、広角写真を、アスペクト比が１:１（ここで、アスペクト比は他の比であってもよく、当該アスペクト比は、測位モデル訓練のための訓練サンプルのアスペクト比と同様であればよい）であり、高さが当該広角写真の高さの１／３～１／２であるＮ枚の画像にランダムに分割する。訓練の効果及び測位精度のニーズに基づいて、Ｎの数を設定し、訓練効果が少し悪く、測位精度の要求が高い場合、より高いＮ値を選択し、一般的に、Ｎの数は１００に設定されてもよい（無論、例えば、５０、８０などの他の数値を選択してもよく、ここで、一々列挙していない）。一般的に、ランダム分割結果は、原画像（即ち、当該広角写真）に対するカバレッジが９５％より大きいと要求される（無論、他の割合を設定してもよく、ここで、一々列挙していない）。

【0028】

Ｓ１０２：測定対象となる画像セットを測位モデルに入力し、測位して認識することで、複数の候補測位を取得する。

【0029】

測位モデルは、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである。

【0030】

より正確な測位効果を取得するために、本実施例において、測定対象となる画像セットにおける、分割による各写真を測位モデルにそれぞれ入力し、測位して認識し、各写真に対して、測位結果に関する１つの出力を取得する。本実施例において、分割による各写真に対応する測位結果を候補測位とする。

【0031】

ここで、実際に応用する前、訓練して測位モデルを取得する。ニューラルネットワークモデルの訓練は以下のステップを含み、
ステップ１：ライブマップからいくつかのパノラマ写真を取得して、各実景写真の地理位置を決定する；
ステップ２：いくつかのパノラマ写真に対してデワーピング変換を行って、同一アスペクト比を有する複数組の平面投影写真を取得する；
ステップ３：パノラマ写真との対応関係に基づいて、各組の平面投影写真に、地理位置及び具体的な方向が含まれる地理マーカーを付ける；
ステップ４：地理マーカーが付けられた平面投影写真を訓練サンプルとする；
ステップ５：訓練サンプルによって、ニューラルネットワークモデルを訓練することで、訓練後のニューラルネットワークモデルを測位モデルに決定する。

【0032】

記載を便利にするために、上記の５つのステップを結合して説明する。

【0033】

パノラマ写真の視野角は３６０度に近接するため、本実施例において、パノラマ写真に対してデワーピング変換を行って、同一の長さ比を有する複数組の平面投影写真を取得する。ライブマップにおけるパノラマ写真と地理位置とは対応関係を有するため、本実施例において、同一のパノラマ写真から分割された１組の平面投影写真の地理位置をパノラマ写真の地理位置に対応させる。また、パノラマ写真を分割する場合、視野角に基づいて分割するため、分割による写真の方向は明瞭であり、本実施例において、地理位置及び具体的な方向を地理マーカーとして追加する。つまり、各平面投影写真は何れも対応する地理位置及び具体的な方向を有する。

【0034】

地理マーカーを有する平面投影写真を訓練サンプルとし、当該訓練サンプルによってニューラルネットワークモデルを訓練し、訓練後のニューラルネットワークモデルは測位モデルである。具体的に、具体的な位置、具体的な方向を有する写真セットをデータプールとする。当該データプールからランダムに抽出された８０％を訓練セットとし、残りの２０％をテストセットとする。当該比は、実際の訓練状況に基づいて調整してもよい。訓練セットを、初期化された又は大規模のピクチャセットによって事前訓練されたニューラルネットワークモデルに入力して訓練し、テストセットによって訓練結果を検証する。選択可能な通常ニューラルネットワーク構成は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワークであって、即ち、畳み込み層（ａｌｔｅｒｎａｔｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）及びプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）を含むフィードフォワードニューラルネットワーク）、その派生構成、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ―Ｔｅｒｍ Ｍｅｍｏｒｙ、長短期記憶ネットワークであって、時間再帰型ニューラルネットワーク（ＲＮＮ））及び混合構成などを有する。本出願の実施例において、具体的にどんなニューラルネットワークを使用するかということについて、限定していない。訓練を完成した後、当該ライブマップデータソースサイトに適用されるニューラルネットワークモデル、即ち、測位モデルを取得する。

【0035】

好ましくは、実際応用において、異なるピクチャ採集装置の焦点距離（即ち、視野角）に適するために、パノラマ写真を分割する場合、異なる焦点距離パラメータに基づいて分割することで、訓練サンプルとして、視野角の大きさが異なっている平面投影写真を取得する。具体的に、デワーピング変換において、異なる焦点距離パラメータに基づいて、各パノラマ写真を分割することで、異なる視野角を有する複数組の平面投影写真を取得する。即ち、焦点距離パラメータＦに基づいて分割の数ｎを決定する。焦点距離パラメータが小さいと、視野角が大きく、分割の数ｎはより小さくなってもよい。図２を参照して、図２は本出願の実施例における視野角分割概略図であり、最も通常の焦点距離パラメータＦ＝０.５であり、視野角は９０度であり、分割数ｎ＝４であると、３６０度の全角度をカバーできる。異なる視野角を有する複数の平面投影写真を必要とする場合、焦点距離パラメータＦを例えば１.０及び１.３などの他の数値に変更することで、他の視野角の平面投影写真を取得する。

【0036】

好ましくは、視野角測位の精度を向上させるために、パノラマ写真を分割する場合、対応する原画像のカバレッジが所定割合より大きい分割数に基づいて、パノラマ写真を分割してもよい。即ち、同一視野角で、隣接ピクチャがカバー角度を有する平面投影写真を取得する。具体的に、対応する原画像のカバレッジが所定割合より大きい分割数に基づいて、各パノラマ写真を分割して、隣接ピクチャには重畳視野角が存在する複数組の平面投影写真を取得する。即ち、写真の撮影角度を豊かにするために、焦点距離が一定である場合、分割数が均等分割の数より大きくされるように推奨する。即ち、パノラマ写真投影球面の、地面に垂直する軸を回転軸とし、視線中心方向（例えば、図２の矢印）を４５度だけ回転したごとに、視野角が９０度である１枚の平面投影写真を分割し、この場合、隣接ピクチャは４５度の重畳視野角を有する。視線中心方向角度に基づいて、得られた平面投影写真に方向データをマーキングする。Ｆの値は１.０及び１.３であってもよく、視野角はそれぞれ約６０度、３０度であるため、ｎ値に対して１２及び２４を選択してもよい。より多くのＦ値を設定し、ｎの数を増やすことで、訓練セットのカバレッジをさらに向上させてもよい。一般的に、カバレッジが９５％より大きいことを保証できる。

【0037】

好ましくは、実際応用において、パノラマ写真のみによって訓練すると、ライブマップの更新頻度が低いなどの原因で、視覚測位の認識効果が悪くなる恐れがあり、従って、ニューラルネットワークモデルの訓練過程で、インターネットから取得されたシーン写真、又は測位環境に対して採集された環境写真を使用して、訓練サンプルを補充してもよい。

【0038】

Ｓ１０３：複数の候補測位によって、最終測位を決定する。

【0039】

複数の候補測位を取得した後、これらの候補測位に基づいて、最終測位を決定する。最終測位を取得した後、ユーザーがチェックするために、それを出力する。

【0040】

具体的に、最終測位として、候補測位から１つの測位をランダムに選択してもよいし、候補測位からいくつかの候補測位をランダムに選択してもよく、これらのいくつかの候補測位に対応する幾何グラフィックスの幾何中心を最終測位とする。無論、高さが重畳するいくつかの候補測位を最終測位としてもよい。

【0041】

好ましくは、候補測位には、特別な個別測位が出現する可能性があると考えて、最終的な測位の精度を向上させるために、候補測位に対してクラスタリング選別を行って、大多数の測位位置に遊離する候補測位を除去して、残された候補測位に基づいて最終測位を決定する。具体的に、実現過程は以下のステップを含み、
ステップ１：複数の候補測位に対してクラスタリング処理を行って、クラスタリング結果によって、複数の候補測位を選別する；
ステップ２：選別されたいくつかの候補測位によって、幾何グラフィックスを構築する；
ステップ３：幾何グラフィックスの幾何中心を最終測位とする。

【0042】

具体的に、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ―Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ：ノイズを伴うアプリケーションの密度ベースの空間クラスタリング）のようなクラスタリングアルゴリズムを使用して、候補測位に対して分類を行って、隣接する位置データを１類に分ける。分類パラメータについて、ε近隣エリア＝１であり、最少点数ｍｉｎＰｔｓ＝５であるように設定される。数が最も多い１類の位置結果を確実な結果と見なし、最終的な測位結果として、当該種類の全ての候補測位に対応する幾何グラフィックスの幾何中心を計算する。

【0043】

好ましくは、測位状況をよりよく展示するために、測位誤差を決定してもよい。具体的に、最終測位によって、複数の候補測位の標準分散を計算して、標準分散を最終測位の測位誤差とする。即ち、各候補測位と最終測位との間の分散を計算して累算し、最終的な測位誤差を取得する。

【0044】

本出願の実施例が提供する方法によれば、広角写真を取得して、広角写真をランダムに分割することで、測定対象となる画像セットを取得するステップと、測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得するステップと、複数の候補測位によって、最終測位を決定するステップと、を含む。

【0045】

ライブマップは、実際街並みが見えるマップであり、ライブマップには３６０度の実景が含まれる。ライブマップにおけるパノラマ写真は、実際街並みのマップであり、視覚測位の応用環境と互いに重畳する。これに基づいて、本方法において、ライブマップにおけるパノラマ写真を使用してニューラルネットワークモジュールを訓練することで、視覚測位のための測位モデルを取得できる。広角写真を取得した後、広角写真をランダムに分割することで、測定対象となる画像セットを取得できる。測定対象となる画像セットを測位モデルに入力し、測位して認識することで、複数の候補測位を取得できる。これらの候補測位に基づいて、最終測位を決定できる。このように、本方法において、ライブマップにおけるパノラマ写真に基づいてニューラルネットワークモデルを訓練することで、測位モデルを取得でき、当該測位モデルに基づいて、視覚測位を完成でき、視覚測位において訓練サンプルの採集が困難であるという問題を解決する。

【0046】

ここで、上記の実施例に基づいて、本出願の実施例は相応的な改良解決策をさらに提供する。好適／改良実施例において、上記の実施例と同様又は対応するステップの間は、互いに参照してもよく、相応的な有益効果について、互いに参照してもよく、本明細書の好適／改良実施例において、贅言していない。

【0047】

以上の方法実施例に対応して、本出願の実施例は視覚測位装置をさらに提供し、以下に記載の視覚測位装置と、以上に記載の視覚測位方法とは互いに対応するように参照すればよい。

【0048】

図３を参照して、当該視覚測位装置は、
広角写真を取得して、広角写真をランダムに分割することで、測定対象となる画像セットを取得する測定対象となる画像セット取得モジュール１０１と、
測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得する候補測位取得モジュール１０２と、
複数の候補測位によって、最終測位を決定する測位出力モジュール１０３と、を含む。

【0049】

本出願の実施例が提供する装置によれば、広角写真を取得して、広角写真をランダムに分割することで、測定対象となる画像セットを取得し、測定対象となる画像セットを、ライブマップにおけるパノラマ写真によって訓練されたニューラルネットワークモデルである測位モデルに入力し、測位して認識することで、複数の候補測位を取得し、複数の候補測位によって、最終測位を決定する。

【0050】

ライブマップは、実際街並みが見えるマップであり、ライブマップには３６０度の実景が含まれる。ライブマップにおけるパノラマ写真は、実際街並みのマップであり、視覚測位の応用環境と互いに重畳する。これに基づいて、本装置において、ライブマップにおけるパノラマ写真を使用してニューラルネットワークモジュールを訓練することで、視覚測位のための測位モデルを取得できる。広角写真を取得した後、広角写真をランダムに分割することで、測定対象となる画像セットを取得できる。測定対象となる画像セットを測位モデルに入力し、測位して認識することで、複数の候補測位を取得できる。これらの候補測位に基づいて、最終測位を決定できる。このように、本装置において、ライブマップにおけるパノラマ写真に基づいてニューラルネットワークモデルを訓練することで、測位モデルを取得でき、当該測位モデルに基づいて、視覚測位を完成でき、視覚測位において訓練サンプルの採集が困難であるという問題を解決する。

【0051】

本出願の具体的な実施形態において、測位出力モジュール１０３は具体的に、
複数の候補測位に対してクラスタリング処理を行って、クラスタリング結果によって、複数の候補測位を選別する測位選別ユニットと、
選別されたいくつかの候補測位によって、幾何グラフィックスを構築する幾何グラフィックス構築ユニットと、
幾何グラフィックスの幾何中心を最終測位とする最終測位決定ユニットと、を含む。

【0052】

本出願の具体的な実施形態において、測位出力モジュール１０３は、
最終測位によって、複数の候補測位の標準分散を計算し、標準分散を最終測位の測位誤差とする測位誤差決定ユニットをさらに含む。

【0053】

本出願の具体的な実施形態において、モデル訓練モジュールは、
ライブマップからいくつかのパノラマ写真を取得して、各実景写真の地理位置を決定するパノラマ写真取得ユニットと、
いくつかのパノラマ写真に対してデワーピング変換を行って、同一アスペクト比を有する複数組の平面投影写真を取得するデワーピング変換ユニットと、
パノラマ写真との対応関係に基づいて、各組の平面投影写真に、地理位置及び具体的な方向が含まれる地理マーカーを付ける地理マーカー付けユニットと、
地理マーカーが付けられた平面投影写真を訓練サンプルとする訓練サンプル決定ユニットと、
訓練サンプルによって、ニューラルネットワークモデルを訓練することで、訓練後のニューラルネットワークモデルを測位モデルに決定するモデル訓練ユニットと、を含む。

【0054】

本出願の具体的な実施形態において、デワーピング変換ユニットは具体的に、デワーピング変換において、異なる焦点距離パラメータに基づいて、各パノラマ写真を分割して、異なる視野角を有する複数組の平面投影写真を取得する。

【0055】

本出願の具体的な実施形態において、デワーピング変換ユニットは具体的に、対応する原画像のカバレッジが所定割合より大きい分割数に基づいて、各パノラマ写真を分割して、隣接ピクチャには重畳視野角が存在する複数組の平面投影写真を取得する。

【0056】

本出願の具体的な実施形態において、モデル訓練モジュールは、
インターネットから取得されたシーン写真、又は測位環境に対して採集された環境写真を使用して、訓練サンプルを補充するサンプル補充ユニットをさらに含む。

【0057】

本出願の具体的な実施形態において、測定対象となる画像セット取得モジュール１０１は具体的に、分割数に基づいて、広角写真に対して、原画像カバレッジが所定割合より大きいランダム分割を行って、分割数にマッチングする測定対象となる画像セットを取得する。

【0058】

以上の方法実施例に対応して、本出願の実施例は視覚測位機器をさらに提供し、以下に記載の視覚測位機器と、以上に記載の視覚測位方法とは、互いに対応するように参照すればよい。

【0059】

図４を参照して、当該視覚測位機器は、
コンピュータプログラムを記憶するメモリ４１０と、
コンピュータプログラムを実行すると、上記の方法実施例が提供する視覚測位方法のステップを実現するプロセッサー４２０と、を含む。

【0060】

具体的に、図５を参照して、本実施例が提供する視覚測位機器の具体的な構成概略図であり、配置又は性能の異なることのため、当該視覚測位機器は大きな差を有する可能性があり、１つ又は１つ以上のプロセッサー（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）４２０（例えば、１つ又は１つ以上のプロセッサー）及びメモリ４１０を含み、１つ又は１つ以上のコンピュータアプリケーションプログラム４１３又はデータ４１２を記憶する。メモリ４１０は短期記憶又は持続記憶であってもよい。当該コンピュータアプリケーションプログラムは１つ又は１つ以上のモジュール（図示せず）を含み、各モジュールは、データ処理機器に対する一連の指令操作を含む。さらに、中央演算処理装置４２０は、メモリ４１０と通信して、視覚測位装置３０１でメモリ４１０における一連の指令操作を実行するように配置されてもよい。

【0061】

視覚測位機器４００は１つ又は１つ以上の電源４３０、１つ又は１つ以上の有線又は無線ネットワークインターフェース４４０、１つ又は１つ以上の入力出力インターフェース４５０、及び／又は１つ又は１つ以上のオペレーティングシステム４１１を含む。

【0062】

以上に記載の視覚測位方法におけるステップは、視覚測位機器の構成によって実現される。

【0063】

以上の方法実施例に対応して、本出願の実施例は可読記憶媒体をさらに提供し、以下に記載の可読記憶媒体と、以上に記載の視覚測位方法とは、互いに対応するように参照すればよい。

【0064】

コンピュータプログラムが記憶される可読記憶媒体であって、コンピュータプログラムはプロセッサーにより実行されると、上記の方法実施例が提供する視覚測位方法のステップを実現する。

【0065】

当該可読記憶媒体は具体的に、Ｕディスク、ポータブルハードディスク、読み取り専用メモリ（Ｒｅａｄ―Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる各種の可読記憶媒体であってもよい。

【0066】

当業者がさらに意識できるように、本明細書が開示した実施例を結合して記載された各例示のユニット及アルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア又は両者の結合で実現され、ハードウェアとソフトウェアとの互換性を明らかに説明するために、上記の説明において、機能に従って、各例示の構成及ステップを一般的に説明する。これらの機能は、ハードウェア、それともソフトウェアの方式で実行されるかということは、技術的解決策の特定の応用及び設計の約束条件に依存する。当業者は、各特定の応用に対して、異なる方法を使用して記載される機能を実現してもよいが、このような実現は、本出願の範囲を超えていない。

【図1】

【図2】

【図3】

【図4】

【図5】