特許 7164589 室内測位方法、装置、機器および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】室内測位方法、装置、機器および記憶媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221025BHJP

   G06T 7/00 20170101ALI20221025BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 300F

G06T7/00 350B

【請求項の数】 20

(21)【出願番号】P 2020215110

(22)【出願日】2020-12-24

(65)【公開番号】P2021190083

(43)【公開日】2021-12-13

【審査請求日】2020-12-24

(31)【優先権主張番号】202010463444.4

(32)【優先日】2020-05-27

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】チェン， シリ

(72)【発明者】

【氏名】ルー， ジャオリャン

【審査官】大塚 俊範

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００６６９４５（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１１９９５６４（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１９／０２０６０７８（ＵＳ，Ａ１）

【文献】特開２０１９－２１５６４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

ユーザが収集した第１の室内画像を予めトレーニングされた情報検出モデルに入力して、目標オブジェクトにおける目標特徴点の識別子および前記目標特徴点の第１の画像位置を出力するステップであって、前記第１の室内画像が、ユーザが収集した室内測位対象の画像であり、前記目標特徴点の識別子が、予めマーキングされた目標特徴点の特徴識別子であるステップと、
前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置を検索するステップであって、前記目標特徴点の三次元空間位置が、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定され、前記第２の室内画像が、収集された室内環境の画像であるステップと、
前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップと、
を含み、
前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、
前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するステップと、
前記カメラ位置姿勢に基づいてユーザの室内位置を決定するステップと、
を含む室内測位方法。

【請求項2】

前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置を検索する前記ステップの前に、
前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップと、
前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップと、
を含む請求項１に記載の方法。

【請求項3】

前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップが、
前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするステップと、
前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップと、
を含む請求項２に記載の方法。

【請求項4】

前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップが、
前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップを含む請求項２に記載の方法。

【請求項5】

前記情報検出モデルが、
室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、
前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記目標オブジェクトが壁に位置する目標形状のオブジェクトである場合、前記室内サンプル画像における前記目標オブジェクトを検出するステップが、
前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルを決定するステップと、
前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するステップと、
前記室内サンプル画像における目標形状のオブジェクトを検出するステップと、
前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するステップと、
を含む請求項５に記載の方法。

【請求項7】

前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するステップが、
前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定するステップと、
前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定するステップと、
を含む請求項６に記載の方法。

【請求項8】

前記目標オブジェクトが平面オブジェクトである場合、前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するステップが、
検出して得られた目標形状のオブジェクトから、壁に位置する候補オブジェクトを決定するステップと、
隣接する２フレームの室内サンプル画像に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するステップと、
前記候補オブジェクトが平面オブジェクトである場合、前記候補オブジェクトを前記目標オブジェクトとするステップと、
を含む請求項６に記載の方法。

【請求項9】

隣接する２フレームの室内サンプル画像に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するステップが、
隣接する２フレームの室内サンプル画像に対して三角測量を行うステップと、
測定結果を用いて平面方程式フィッティングを行うステップと、
フィッティング結果に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するステップと、
を含む請求項８に記載の方法。

【請求項10】

前記目標オブジェクトが平面オブジェクトである場合、前記室内サンプル画像および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るステップが、
前記目標オブジェクトを前景として、前記前景を変換するステップと、
ランダム写真を背景とし、変換された後の前記前景および前記背景を合成して、少なくとも１つの新しいサンプル画像を得るステップと、
前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するステップと、
構築されたトレーニングサンプルセットを用いて前記初期モデルをトレーニングして、前記情報検出モデルを得るステップと、
を含む請求項５に記載の方法。

【請求項11】

前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、
前記第１の室内画像に基づいて補助特徴点を決定するステップと、
前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置、および前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップと、
を含む請求項１から４のいずれか一項に記載の方法。

【請求項12】

前記第１の室内画像に基づいて補助特徴点を決定するステップが、
前記第１の室内画像に基づいて、室内環境の点群データを確立して、データポイントの前記第１の室内画像における第１の特徴点を決定するステップと、
前記第１の室内画像の第２の特徴点を抽出するステップと、
前記第１の特徴点と前記第２の特徴点とをマッチングするステップと、
マッチングして一致する特徴点を前記補助特徴点とするステップと、
を含む請求項１１に記載の方法。

【請求項13】

ユーザが収集した第１の室内画像を予めトレーニングされた情報検出モデルに入力して、目標オブジェクトにおける目標特徴点の識別子および前記目標特徴点の第１の画像位置を出力するための識別子取得モジュールであって、前記第１の室内画像が、ユーザが収集した室内測位対象の画像であり、前記目標特徴点の識別子が、予めマーキングされた目標特徴点の特徴識別子である識別子取得モジュールと、
前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置を検索するための位置取得モジュールであって、
前記目標特徴点の三次元空間位置が、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定され、前記第２の室内画像が、収集された室内環境の画像である位置取得モジュールと、
前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するための測位モジュールと、
を備え、
前記測位モジュールが、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定し、前記カメラ位置姿勢に基づいてユーザの室内位置を決定する室内測位装置。

【請求項14】

前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置を検索する前に、前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定モジュールと、
前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定モジュールと、
を備える請求項１３に記載の装置。

【請求項15】

前記位置決定モジュールが、
前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするための情報決定ユニットと、
前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定ユニットと、
を備える請求項１４に記載の装置。

【請求項16】

前記姿勢決定モジュールが、
前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定ユニットを備える請求項１４に記載の装置。

【請求項17】

前記情報検出モデルが、
室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、
前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される請求項１３から１６のいずれか一項に記載の装置。

【請求項18】

少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が実行される場合、前記少なくとも１つのプロセッサが請求項１から１２のいずれか一項に記載の方法を実行する電子機器。

【請求項19】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が実行される場合、コンピュータに請求項１から１２のいずれか一項に記載の方法が実行させる非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項20】

コンピュータプログラムにおける命令が実行された場合に、請求項１から１２のいずれか一項に記載の方法が実行されるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願の実施例は画像処理技術分野に関し、特に室内ナビゲーション技術分野に関する。具体的には、本出願の実施例は室内測位方法、装置、機器および記憶媒体に関する。

【背景技術】

【0002】

室内測位とは、収集機器の室内環境における位置を取得することを指すものである。収集機器は一般的に、携帯電話、ロボットなど、カメラのようなセンサを搭載した機器を指す。室外測位と比べて、室内の衛星電波が弱く、直接衛星測位によって正確な位置を取得することができない。

【0003】

しかしながら、ショッピングセンターで消費する顧客であろうと、室内サービスロボットであろうと、顧客を室内で案内するまたは室内サービスロボットが室内環境でより良好に動作するように、室内位置が必要とされている。

【発明の概要】

【0004】

本出願の実施例は室内測位方法、装置、機器および記憶媒体を提供する。

【0005】

第１態様では、本出願の実施例は室内測位方法を提供し、当該方法は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得するステップと、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けるステップであって、前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定されるステップと、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップと、を含む。

【0006】

第２態様では、本出願の実施例は室内測位装置をさらに提供し、当該装置は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得するための識別子取得モジュールと、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けるための位置取得モジュールであって、前記目標特徴点の三次元空間位置が、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される位置取得モジュールと、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するための測位モジュールと、を備える。

【0007】

第３態様では、本出願の実施例は電子機器をさらに提供し、当該機器は、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前命令が実行される場合、前記少なくとも１つのプロセッサが本出願の実施例のいずれかに記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0008】

第４態様では、本出願の実施例はコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令が実行される場合、コンピュータに本出願の実施例のいずれかに記載の方法を実行させることに用いられる。
第５態様では、本出願の実施例はコンピュータプログラムをさらに提供し、前記コンピュータプログラムにおける命令が実行された場合に、本出願の実施例のモデルパラメータ更新方法が実行される。

【発明の効果】

【0009】

本出願の実施例の技術案は、室内測位の自動化の度合いおよび堅牢性を向上させる。

【0010】

なお、この部分で説明された内容は本開示の実施例の肝心または重要な特徴を特定するものでもなく、本開示の範囲を制限するものでもないことを理解されたい。本開示の他の特徴は以下の明細書によって理解しやすくなる。

【図面の簡単な説明】

【0011】

図面は本解決案をよりよく理解するためのものであり、本出願を限定するものではない。

【図1】本出願の第１の実施例が提供する室内測位方法のフローチャートである。

【図2】本出願の第２の実施例が提供する室内測位方法のフローチャートである。

【図3】本出願の第３の実施例が提供する室内測位方法のフローチャートである。

【図4】本出願の第４の実施例が提供する室内測位方法のフローチャートである。

【図5】本出願の第６の実施例が提供する室内測位装置の構造概略図である。

【図6】本出願の実施例に係る室内測位方法の電子機器のブロック図である。

【発明を実施するための形態】

【0012】

以下、図面と併せて本出願の例示的な実施例を説明する。ここで、理解を促すために、本出願の実施例の様々な詳細が含まれており、それらを単なる例示的なものと見なすべきである。従って、当業者であれば、本出願の範囲および趣旨から逸脱しない限り、本明細書で説明された実施例に対して様々な変更と修正を行うことができる。同様に、明確さおよび簡潔さのために、以下の説明では公知の機能および構造に対する説明を省略する。

【0013】

第１の実施例

【0014】

図１は本出願の第１の実施例が提供する室内測位方法のフローチャートである。本実施例は、ユーザが収集した室内環境の画像によってユーザに対して室内測位を行う場合に適応可能である。当該方法は室内測位装置で実行でき、当該装置はソフトウェアおよび／またはハードウェアの方式で実現することができる。図１を参照すると、本出願の実施例が提供する室内測位方法は以下のＳ１１０～Ｓ１３０を含む。

【0015】

Ｓ１１０、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得する。

【0016】

第１の室内画像はユーザが収集した室内測位対象の画像である。

【0017】

目標オブジェクトは室内測位を行うためのオブジェクトである。

【0018】

一実施例では、目標オブジェクトは明らかな画像特徴を有し、かつ室内シーンにおける出現頻度の高いオブジェクトであってもよい。

【0019】

例示的に、目標オブジェクトはポスター、看板や広告看板などであってもよい。

【0020】

目標特徴点は目標オブジェクトにおける特徴点を指す。

【0021】

一実施例では、目標特徴点は目標オブジェクトにおける色特徴点、形状特徴点および模様特徴点等のうちの少なくとも１つである。

【0022】

例示的に、目標オブジェクトが矩形オブジェクトである場合、目標特徴点は矩形オブジェクトの４つの角という点であってもよい。

【0023】

第１の画像位置は目標特徴点の第１の室内画像における位置を指す。

【0024】

Ｓ１２０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。

【0025】

目標特徴点の三次元空間位置は目標特徴点の室内空間における位置として理解しても良い。

【0026】

前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される。

【0027】

第２の室内画像は、収集された室内環境の画像であり、当該画像は第１の室内画像と同じであってもよく、異なってもよい。

【0028】

第２の画像の位置は目標特徴点の第２の室内画像における位置である。

【0029】

前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢は、予め決定してもよく、リアルタイムに決定してもよい。

【0030】

一実施例では、第２の画像位置は第２の室内画像に対して目標特徴点の検出を行うことによって取得することができる。

【0031】

選択的に、第２の画像位置はテンプレートマッチングに基づいて目標特徴点を検出することによって取得できるだけではなく、ニューラルネットワークに基づいて目標特徴点を検出することによって取得することもでき、本実施例では限定されない。

【0032】

第２の室内画像のカメラ姿勢は第２の室内画像のカメラパラメータを収集することによって取得することができる。

【0033】

カメラパラメータを取得するという手間を省くため、第２の室内画像のカメラ姿勢はさらに、前記第２の室内画像のカメラ姿勢を得るように、前記第２の室内画像に基づいて室内環境の点群データを確立することができる。

【0034】

なぜなら、三次元再構築アルゴリズムに基づいて、第２の室内画像を室内環境の点群データに変換するプロセスにおいて、第２の室内画像のカメラ姿勢が生成されるからである。

【0035】

前記目標オブジェクトの前記第２の室内画像における姿勢の決定は、隣接する２フレームの第２の室内画像に対して三角測量を行い、測定結果を用いて平面方程式フィッティングを行い、フィッティングによって得られた平面方程式を用いて前記目標オブジェクトの前記第２の室内画像における姿勢を説明するように説明することができる。

【0036】

選択的に、上記目標特徴点の三次元空間位置を決定するステップはリアルタイムに実現してもよく、予め実現してもよい。

【0037】

Ｓ１３０、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。

【0038】

ユーザの室内位置はユーザの室内環境における位置を指す。

【0039】

一実施例では、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するステップと、前記カメラ位置姿勢に基づいてユーザの室内位置を決定するステップと、を含んでもよい。

【0040】

第１の室内画像のカメラ位置は即ちユーザの室内位置である。

【0041】

ユーザが、ショッピングセンターで買い物をしたり、展覧館を見物したり、他の屋内活動に参加したりする際に、自分の位置を知らない場合、携帯電話で周囲環境の画像を撮影し、本実施例によって提供される室内測位方法をもとに、撮影された室内環境の画像に基づいて、ユーザに対する自動測位を実現できるというのは、本実施例の１つの典型的な適用シーンである。

【0042】

本出願の実施例の技術案は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて目標特徴点の三次元空間位置を決定することによって、目標特徴点の三次元空間位置の自動決定を実現する。従って、目標特徴点の第１の画像位置および目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定することによって、室内測位の自動化の度合いを向上させる。

【0043】

また、目標オブジェクト特徴点は光照などの外部要因から受ける影響が小さいため、当該方法の堅牢性が高い。

【0044】

一実施例では、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するステップと、前記カメラ位置姿勢に基づいてユーザの室内位置を決定するステップと、を含んでもよい。

【0045】

第１の室内画像のカメラ位置は即ちユーザの室内位置である。

【0046】

第２の実施例

【0047】

図２は本出願の第２の実施例が提供する室内測位方法のフローチャートである。本実施例は上記実施例をもとに、目標特徴点の三次元空間位置を決定するという上記ステップが予め実現されることを例として、「前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像的カメラ姿勢、および目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標特徴点の三次元空間位置を決定する」というステップを具体的に最適化するものである。図２に示すように、本出願の実施例が提供する室内測位方法は以下のＳ２１０～Ｓ２５０を含む。

【0048】

Ｓ２１０、目標オブジェクトの第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定する。

【0049】

一実施例では、目標オブジェクトの第２の室内画像における姿勢は目標オブジェクトの平面方程式を用いて説明することができる。目標オブジェクトの第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップは、目標オブジェクトの少なくとも１つの平面方程式から、目標オブジェクトの三次元空間における姿勢を説明するための１つの平面方程式を選択するように、説明することができる。

【0050】

目標オブジェクトの三次元空間における姿勢の精度を向上させるために、前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定する前記ステップが、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップを含む。

【0051】

即ち、第２の室内画像のカメラ姿勢を用いて、目標オブジェクトの平面方程式を最適化し、最適化された平面方程式を用いて前記目標オブジェクトの三次元空間における姿勢を説明する。

【0052】

最適化アルゴリズムは任意の最適化アルゴリズムであってもよい。典型的に、最適化アルゴリズムはバンド調整（ＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔ、ＢＡ）アルゴリズムであってもよい。

【0053】

ＢＡアルゴリズムを用いて平面最適化を実現するプロセスは、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢をＢＡアルゴリズムの入力として、ＢＡアルゴリズムの計算により、前記目標オブジェクトの三次元空間中における姿勢を得るように、説明することができる。

【0054】

Ｓ２２０、前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標オブジェクトの目標特徴点の三次元空間位置を決定する。

【0055】

一実施例では、前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定する前記ステップが、前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするステップと、前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップと、を含む。

【0056】

空間特性パラメータは目標オブジェクトの平面空間特性を説明する定数である。

【0057】

通常、平面方程式は Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０であり、Ａ、Ｂ、ＣおよびＤは空間特性パラメータである。

【0058】

一実施例では、
ｎ×Ｘ＋ｄ＝０ （１）
Ｘ＝Ｒ^－１（μ×ｘ－ｔ） （２）
という公式に従って目標特徴点の三次元空間位置の座標を求めることができる。

【0059】

等式（１）は前記目標オブジェクトの平面方程式であり、前記目標オブジェクトの三次元空間における姿勢を説明することに用いられ、ｎ＝（Ａ、Ｂ、Ｃ）、ｄ＝Ｄ、ｎおよびｄは前記平面方程で平面空間特性を説明する定数であり、Ｘは前記目標特徴点の三次元空間位置座標であり、Ｒおよびｔは、前記第２の室内画像のカメラ姿勢を説明することに用いられ、Ｒは回転パラメータ、ｔは並進パラメータ、ｘは前記第２の画像位置、μは補助パラメータである。

【0060】

Ｓ２３０、ユーザが収集した第１の室内画像に基づいて、前記目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得する。

【0061】

Ｓ２４０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。

【0062】

Ｓ２５０、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。

【0063】

選択的に、Ｓ２１０およびＳ２２０の実行主体はＳ２３０、Ｓ２４０およびＳ２５０の実行主体と同じであってもよく、異なってもよい。

【0064】

本出願の実施例の技術案は、目標オブジェクトの第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定することによって、目標オブジェクトの三次元空間における姿勢の決定を実現する。

【0065】

第３の実施例

【0066】

図３は本出願の第３の実施例が提供する室内測位方法のフローチャートである。本実施例は上記実施例をもとに、「ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置を取得する」というステップを具体的に最適化するものである。図３に示すように、本出願の実施例が提供する室内測位方法は以下のＳ３１０～Ｓ３４０を含む。

【0067】

Ｓ３１０、ユーザが収集した第１の室内画像を予めトレーニングされた情報検出モデルに入力し、目標オブジェクトにおける目標特徴点の第１の画像位置を出力する。

【0068】

前記情報検出モデルは、室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される。

【0069】

室内サンプル画像は収集された室内環境の画像であり、当該画像は第１の室内画像と同じであってもよく、異なってもよい。

【0070】

選択的に、目標オブジェクトに対する検出は任意の目標検出アルゴリズムを用いてもよい。

【0071】

例示的に、目標検出アルゴリズムはテンプレートマッチングまたはニューラルネットワークなどであってもよい。

【0072】

一実施例では、前記目標オブジェクトが壁に位置する目標形状のオブジェクトである場合、前記室内サンプル画像における前記目標オブジェクトを検出するステップが、前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルを決定するステップと、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するステップと、前記室内サンプル画像における目標形状のオブジェクトを検出するステップと、前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するステップと、を含む。

【0073】

目標形状は任意の形状であってもよい。目標オブジェクトで室内環境のより多くのオブジェクトをカバーするようにするために、目標形状は矩形であってもよい。

【0074】

壁マスクは、室内サンプル画像における壁の部分を覆うための画像を指す。

【0075】

一実施例では、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定する前記ステップが、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定するステップと、前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定するステップと、を含んでもよい。

【0076】

前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定するステップは、目標ピクセルで構成される画像を壁マスクとするステップを含む。

【0077】

Ｓ３２０、前記第１の室内画像に基づいて前記目標特徴点の識別子を取得する。

【0078】

Ｓ３３０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。

【0079】

前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される。

【0080】

一実施例では、前記第１の室内画像に基づいて前記目標特徴点の識別子を取得するステップが、第１の室内画像を上記情報検出モデルに入力して、前記目標特徴点の識別子を出力するステップを含んでもよい。

【0081】

Ｓ３４０、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。

【0082】

本実施例はＳ３１０およびＳ３２０の実行の順番を限定しない。選択的に、Ｓ３２０はＳ３１０の先に実行してもよい。

【0083】

本出願の実施例の技術案は、モデルのトレーニングデータを自動的に決定することによって、モデルの自動的な取得を実現し、さらには、自動的にトレーニングして得られたモデルを用いて、目標特徴点の第１の画像位置に対する自動的な決定を実現する。

【0084】

トレーニングサンプルの拡張を実現するために、前記目標オブジェクトが平面オブジェクトである場合、前記室内サンプル画像および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得る前記ステップが、前記目標オブジェクトを前景として、前記前景を変換するステップと、ランダム写真を背景とし、変換された後の前記前景および前記背景を合成して、少なくとも１つの新しいサンプル画像を得るステップと、前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するステップと、構築されたトレーニングサンプルセットを用いて前記初期モデルをトレーニングして、前記情報検出モデルを得るステップと、を含む。

【0085】

前景に対する変換は、目標オブジェクトの任意角度および／または任意位置に対する変換であってもよい。当該変換はアフィン変換に基づいて実現できるだけではなく、射影変換に基づいて実現することもできる。

【0086】

ランダム写真はランダムに選択または生成された写真である。

【0087】

新しいサンプル画像は合成によって得られた画像である。

【0088】

前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するステップが、前記室内サンプル画像および前記少なくとも１つの新しいサンプル画像をサンプルとし、前記目標特徴点の第１の画像位置をサンプルタグとして、トレーニングサンプルセットを構築するステップを含んでもよい。

【0089】

第４の実施例

【0090】

図４は本出願の第４の実施例が提供する室内測位方法のフローチャートである。本実施例は上記実施例をもとに、「前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する」というステップを具体的に最適化するものである。図４に示すように、本出願の実施例が提供する室内測位方法は以下のＳ４１０～Ｓ４４０を含む。

【0091】

Ｓ４１０、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得する。

【0092】

Ｓ４２０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。

【0093】

前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される。

【0094】

Ｓ４３０、前記第１の室内画像に基づいて補助特徴点を決定する。

【0095】

補助特徴点は、他の特徴点検出方法によって決定される特徴点である。他の特徴点検出方法は目標特徴点検出方法以外の他の方法である。

【0096】

一実施例では、前記第１の室内画像に基づいて補助特徴点を決定する前記ステップが、前記第１の室内画像に基づいて、室内環境の点群データを確立して、データポイントの前記第１の室内画像における第１の特徴点を決定するステップと、前記第１の室内画像の第２の特徴点を抽出するステップと、前記第１の特徴点と前記第２の特徴点とをマッチングするステップと、マッチングして一致する特徴点を前記補助特徴点とするステップと、を含んでもよい。

【0097】

例示的に、スケール不変特徴変換（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）アルゴリズムに基づいて第１の室内画像の第２の特徴点に対する抽出を実現することができる。

【0098】

Ｓ４４０、前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置、および前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。

【0099】

本出願の実施例の技術案は、目標特徴点の測位結果と補助特徴点の測位結果とを組み合わせることによって、測位の堅牢性を確保するとともに、ユーザの室内位置の精度を向上させる。

【0100】

測位の精度をさらに向上させるために、豊かな補助特徴点を用いてユーザに対する正確な測位を実現するように、補助特徴点の数は目標特徴点の数より多い。

【0101】

第５の実施例

【0102】

本実施例は上記実施例をもとに、目標オブジェクトが平面矩形オブジェクトである場合を例として提供する選択可能な解決案である。例示的に、平面矩形オブジェクトはポスター、看板または広告看板であっても。本出願の実施例が提供する室内測位方法は、前処理部分およびリアルタイムアプリケーション部分を含む。

【0103】

リアルタイムアプリケーション部分のロジックは、ユーザが収集した第１の室内画像に基づいて、室内環境の点群データおよび各データポイントの前記第１の室内画像における特徴点を確立し、前記第１の室内画像の特徴点を抽出し、
抽出して得られた特徴点と点群データの各データポイントの前記第１の室内画像における特徴点をマッチングし、マッチングして一致する特徴点を補助特徴点とし、前記第１の室内画像を予めトレーニングされた情報検出モデルに入力して、目標オブジェクトにおける目標特徴点の識別子および前記目標特徴点の第１の画像位置を出力し、前記目標特徴点の識別子に基づいて、予め記憶されたデータから前記目標特徴点に対応する三次元空間位置に索引を付け、前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置、および前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定して、ユーザの室内測位を実現する、ように説明することができる。

【0104】

本実施例は補助特徴点および目標特徴点を決定する順番を限定しない。選択的に、目標特徴点を先に決定した後に、補助特徴点を決定してもよい。

【0105】

前処理部分のロジックは、室内サンプル画像を予めトレーニングされた構造検出モデルに入力して、各ピクセルの三次元空間における法線ベクトルを出力し、前記室内サンプル画像における壁マスクを取得するように、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定し、矩形ボックス検出モデルに基づいて、前記室内サンプル画像から矩形オブジェクトを検出し、壁マスクを用いて、検出された矩形オブジェクトから壁に位置する候補オブジェクトを選別し、隣接する２フレームのサンプル画像に対して三角測量を行い、測定結果を用いて平面方程式フィッティングを行って、候補オブジェクトが平面オブジェクトであるか否かを決定し、候補オブジェクトが平面オブジェクトである場合、当該候補オブジェクトを目標オブジェクトとし、画像マッチングアルゴリズムに基づいて、検出された目標オブジェクトが同じオブジェクトであるか否かを決定し、同じ目標オブジェクトに同じ識別子でマーキングし、室内サンプル画像のカメラ姿勢、および目標オブジェクトの室内サンプル画像における姿勢に基づいて、目標オブジェクトの三次元空間における位置姿勢を決定し、目標オブジェクトの三次元空間における位置姿勢に基づいて、前記目標特徴点の三次元空間位置を決定して、当該位置を前記目標特徴点の特徴識別子と関連づけて記憶し、上記目標オブジェクトに対して異なる角度、異なる位置の射影変換を行って、新しいサンプル画像を得、前記室内サンプル画像と、前記新しいサンプル画像と、目標オブジェクトとの識別子および目標特徴点を室内サンプル画像の第２の画像座標においてトレーニングサンプルセットとし、得られたトレーニングサンプルセットを用いて初期モデルをトレーニングして、前記情報検出モデルを得るように説明することができる。

【0106】

本解決案は、目標特徴点および補助特徴点を融合ことによって室内測位を行い、補助特徴点の数が多いため、補助特徴点に基づいて実現される室内測位の精度が高いが、堅牢性が低い。目標特徴点の数が比較的少ないため、目標特徴点に基づいて実現される室内測位の精度がより低く、しかし当該特徴点は室内環境要因から受ける影響が小さいため、目標特徴点に基づいて実現された室内測位の堅牢性が比較的高い。両者の融合により、本出願の実施例は室内測位の精度を向上させるだけではなく、室内測位の堅牢性を向上させる。

【0107】

また、本解決案における矩形ボックス検出モデルのメンテナンスコストは他の目標オブジェクト検出モデルのメンテナンスコストより低い。他の目標オブジェクト検出モデルはオブジェクトタイプを追加する際に手動で収集して、データをマーキングしてトレーニングする必要があるのに対して、本解決案では、矩形ボックス検出モデルには矩形というタイプのオブジェクトに対応する検出が追加されたため、他のタイプの矩形オブジェクトが追加される際にも改めてトレーニングする必要がないため、モデルのメンテナンスコストを大幅に削減する。

【0108】

第６の実施例

【0109】

図５は本出願第６の実施例が提供する室内測位装置の構造概略図である。図５に示すように、本出願の実施例が提供する室内測位装置５００は、識別子取得モジュール５０１、位置取得モジュール５０２、および測位モジュール５０３を備える。

【0110】

識別子取得モジュール５０１は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得することに用いられ、位置取得モジュール５０２は、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けることに用いられ、前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定され、測位モジュール５０３は、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定することに用いられる。

【0111】

本出願の実施例の技術案は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて目標特徴点の三次元空間位置を決定することによって、目標特徴点の三次元空間位置の自動決定を実現する。さらには、目標特徴点の第１の画像位置および目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定し、従って室内測位の自動化の度合いを向上させる。また、目標オブジェクト特徴点は光照などの外部要因から受ける影响が小さいため、当該方法の堅牢性が高い。

【0112】

さらに、前記装置は、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける前に、前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定モジュールと、前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定モジュールと、をさらに備える。

【0113】

さらに、前記位置決定モジュールは、前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするための情報決定ユニットと、前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定ユニットと、を備える。

【0114】

さらに、前記姿勢決定モジュールは、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定ユニットを備える。

【0115】

さらに、前記位置取得モジュールは、前記第１の室内画像を予めトレーニングされた情報検出モデルに入力して、前記目標特徴点の第１の画像位置を出力するための位置取得ユニットを備え、前記情報検出モデルが、室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される。

【0116】

さらに、前記目標オブジェクトが壁に位置する目標形状のオブジェクトである場合、前記位置取得ユニットが、前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルを決定するためのベクトル決定サブユニットと、
前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するためのマスク決定サブユニットと、前記室内サンプル画像における目標形状のオブジェクトを検出するためのオブジェクト検出サブユニットと、前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するためのオブジェクト決定サブユニットと、を備える。

【0117】

さらに、前記マスク決定サブユニットは具体的に、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定し、前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定することに用いられる。

【0118】

さらに、前記目標オブジェクトが平面オブジェクトである場合、前記オブジェクト決定サブユニットは、検出して得られた目標形状のオブジェクトから、壁に位置する候補オブジェクトを決定するための候補セレクタと、隣接する２フレームの室内サンプル画像に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するための平面判断装置と、前記候補オブジェクトが平面オブジェクトである場合、前記候補オブジェクトを前記目標オブジェクトとするための目標セレクタと、を備える。

【0119】

さらに、前記平面判断装置は具体的に、隣接する２フレームの室内サンプル画像に対して三角測量を行い、測定結果を用いて平面方程式フィッティングを行い、フィッティング結果に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定することに用いられる。

【0120】

さらに、前記目標オブジェクトが平面オブジェクトである場合、前記位置取得ユニットは、前記目標オブジェクトを前景として、前記前景を変換するための変換サブユニットと、ランダム写真を背景とし、変換された後の前記前景および前記背景を合成して、少なくとも１つの新しいサンプル画像を得るための合成サブユニットと、前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するためのサンプルセット構築サブユニットと、構築されたトレーニングサンプルセットを用いて前記初期モデルをトレーニングして、前記情報検出モデルを得るためのモデルトレーニングサブユニットと、を備える。

【0121】

さらに、前記測位モジュールは、前記第１の室内画像に基づいて補助特徴点を決定するための特徴点決定ユニットと、前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置、および前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するための測位ユニットと、を備える。

【0122】

さらに、前記特徴点确定ユニットは、前記第１の室内画像に基づいて、室内環境の点群データを確立して、データポイントの前記第１の室内画像における第１の特徴点を決定するための点群確立サブユニットと、前記第１の室内画像の第２の特徴点を抽出するための特徴点抽出サブユニットと、前記第１の特徴点と前記第２の特徴点とをマッチングするための特徴点マッチングサブユニットと、マッチングして一致する特徴点を前記補助特徴点とするための特徴点決定サブユニットと、を備える。

【0123】

さらに、前記測位モジュールは、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するための位置姿勢決定ユニットと、前記カメラ位置姿勢に基づいてユーザの室内位置を決定するための測位ユニットと、を備える。

【0124】

第７の実施例

【0125】

本出願の実施例によれば、本出願は電子機器および読み取り可能な記憶媒体をさらに提供する。

【0126】

図６に示すように、本出願の実施例に係る室内測位方法の電子機器のブロック図である。電子機械はラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表すこと意図している。電子機械はさらに、様々な形態のモバイル装置、例えば、携帯情報端末、セルラー電話、スマートフォン、ウェアラブルデバイスおよび他の同様なコンピューティングデバイスを表すことができる。本明細書に示されている部品、それらの接続と関係、およびそれらの機能は例示的なものに過ぎず、本明細書で説明されたおよび／又は求められた本出願の実現を限定することを意図していない

【0127】

図６に示すように、該電子機械は、１つ又は複数のプロセッサ６０１、メモリ６０２、および各部品を接続するためのインターフェースを備え、インターフェースは高速インターフェースと低速インターフェースを備える。各部品は、異なるバスを用いて互いに接続されており、かつ共用のマザーボードに実装されるか、又は必要に基づいて他の方式で実装されても良い。プロセッサは、電子機器内で実行される命令を処理することができ、前記命令は、外部入力／出力装置（例えば、インターフェースに接続される表示装置）にＧＵＩの図形情報を表示するようにメモリ内又はメモリ上に記憶される命令を含む。他の実施形態において、必要があれば、複数のプロセッサおよび／又は複数のバスを複数のメモリと組み合わせて使用してもよい。同様に、複数の電子機器を接続してもよく、各機械は、必要とされる操作の一部（例えば、サーバアレイ、１組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図６では、１つのプロセッサ６０１は例として挙げられた。

【0128】

メモリ６０２は即ち本出願が提供する非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、前記少なくとも１つのプロセッサに本出願が提供する室内測位方法を実行させるように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータに本出願が提供する室内測位方法を実行させるためのコンピュータ命令を記憶する。

【0129】

メモリ６０２は非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例の室内測位方法に対応するプログラム命令／モジュール（例えば、図５に示す識別子取得モジュール５０１、位置取得モジュール５０２および測位モジュール５０３）のような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラムおよびモジュールを記憶することに用いることができる。プロセッサ６０１は、メモリ６０２に記憶される非一時的なソフトウェアプログラム、命令およびモジュールを実行することによって、サーバの様々な機能適用およびデータ処理を実行し、即ち上記方法実施例の室内測位方法を実現する。

【0130】

メモリ６０２は、プログラムを記憶する領域と、データを記憶する領域とを含んでもよい。プログラムを記憶する領域は、オペレーティングシステムと、少なくとも１つの機能に必要なアプリケーションプログラムを含んでもよい。データを記憶する領域は、室内測位電子機器の使用によって生成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリだけではなく、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス又は他の非一時的なソリッドステートストレージデバイスのような非一時的なメモリを含んでもよい。一部の実施例では、メモリ６０２は、プロセッサ６０１に対してリモートで設定されるメモリを選択的に含んでもよく、これらのリモートメモリはネットワーク経由で室内測位電子機器に接続することができる。上記ネットワークの実例は、インターネット、企業内部のネットワーク、ローカルエリアネットワーク、移動通信ネットワークおよびそれらの組み合わせを含むが、これらに限定されない。

【0131】

室内測位方法の電子機器は、入力装置６０３および出力装置６０４をさらに備えてもよい。プロセッサ６０１、メモリ６０２、入力装置６０３および出力装置６０４はバスまたは他の方式で接続することができ、図６ではバスによる接続が例として挙げられている。

【0132】

入力装置６０３は、入力されたデジタル又は文字情報を受信するおよび室内測位電子機器のユーザ設定および機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置がある。出力装置６０４は、表示装置、補助照明装置（例えば、ＬＥＤ）および触覚フィードバック装置（例えば、振動モータ）などを含んでもよい。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むが、これらに限定されない。一部の実施形態では、表示装置はタッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、本出願の実施例の室内測位方法が実行される。

【0133】

本明細書で説明されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は以下を含んでもよい。１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／又は解釈することができ、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであり、ストレージシステム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータと命令を受信し、データおよび命令を該ストレージシステム、該少なくとも１つの入力装置および該少なくとも１つの出力装置に転送することができる。

【0134】

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも言う）は、プログラマブルプロセッサの機械命令を含み、かつ高度プロセスおよび／又はオブジェクト指向プログラミング言語、および／又はアセンブリ言語／機械語を用いてこれらの計算プログラム実行することができる。本明細書で使用される「機械読み取り可能な媒体」と「コンピュータ読み取り可能な媒体」という用語は、機械命令および／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、装置、および／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号としての機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令および／又はデータをプログラマブルプロセッサに提供するためのあらゆる信号を指す。

【0135】

ユーザとのインタラクションを提供するために、ここで説明されたシステムと技術をコンピュータ上で実施することができる。当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードとポインティングデバイス（例えば、マウス又はトラックボール）とを含み、ユーザは該キーボードと該ポインティングデバイスを介して入力をコンピュータに提供することができる。別の種類のデバイスはさらにユーザとのインタラクションを提供することができ、例えば、ユーザに提供されたフィードバックは、任意の形式のセンサフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよい以上、ユーザからの入力を任意の形式（音の入力、音声入力又は触覚入力を含む）で受信することもできる。

【0136】

ここで説明されたシステムと技術を、バックグラウンドパーツを含む計算システム（例えば、データサーバとして）、又はミドルウェアパーツを含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンドパーツを含む計算システム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは該グラフィカルユーザインタフェース又は該ウェブブラウザ介して、ここで説明されたシステムと技術の実施形態と対話することができる）、又はこれらのバックグラウンドパーツ、ミドルウェアパーツ又はフロントエンドパーツの任意の組み合わせを含む計算システムにおいて実行することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して、システムのパーツを互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットが含まれる。

【0137】

コンピュータシステムは、クライアント側とサーバを備えてもよい。クライアント側とサーバは通常離れており、一般的に通信ネットワークを介してインタラクションを行う。対応するコンピュータにおいて実行されかつ互いにクライアント側－サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係を生成する。

【0138】

本出願の実施例の技術案は、室内測位の自動化の度合いおよび堅牢性を向上させる。なお、以上に示した様々な形式のプロセスを用いて、ステップを並べ替えたり、追加したり、削除したりすることができることを理解されたい。例えば、本出願書に記載の各ステップは、並列的に実行するか、順次的に実行するか、又は異なる順序で実行してもよい。本出願で開示された技術的解決手段が予期している結果を実現できる限り、本明細書では限定されない。

【0139】

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者であれば、設計要件とその他の要因に応じて、様々な修正、組み合わせ、一部の組み合わせおよび置き換えを行うことができることを理解されたい。本出願の精神と原則を逸脱しない限り、行われるすべての修正、置き換えおよび改善等は、いずれも本出願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】