特許 6676082 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6676082

(24)【登録日】2020年3月13日

(45)【発行日】2020年4月8日

(54)【発明の名称】屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス

(51)【国際特許分類】

   G06T 1/00 20060101AFI20200330BHJP

   G06T 7/70 20170101ALI20200330BHJP

   G09B 29/00 20060101ALI20200330BHJP

【ＦＩ】

   G06T1/00 315

   G06T7/70 Z

   G09B29/00 Z

【請求項の数】15

【外国語出願】

【全頁数】20

(21)【出願番号】特願2018-6218(P2018-6218)

(22)【出願日】2018年1月18日

(65)【公開番号】特開2019-125227(P2019-125227A)

(43)【公開日】2019年7月25日

【審査請求日】2019年2月19日

(73)【特許権者】

【識別番号】518020037

【氏名又は名称】光禾感知科技股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107423

【弁理士】

【氏名又は名称】城村 邦彦

(74)【代理人】

【識別番号】100120949

【弁理士】

【氏名又は名称】熊野 剛

(74)【代理人】

【識別番号】100093997

【弁理士】

【氏名又は名称】田中 秀佳

(72)【発明者】

【氏名】▲黄▼ 俊堯

(72)【発明者】

【氏名】王 友光

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００３−２４０５９３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０２９７２０５（ＵＳ，Ａ１）

【文献】 大江 統子、外２名，“幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定”，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人日本バーチャルリアリティ学会，２００５年 ９月３０日，Vol.10, No.3，pp.285-294

【文献】 竹内 音、外４名，“全方位バレットタイム映像の生成提示システム”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１８年 １月１１日，Vol.117, No.392，pp.237-244

【文献】 畑田 晃希、外３名，“全方位カメラによる位置参照画像群を用いた屋内位置推定 〜デジタルミュージアムでの鑑賞者の行動記録に向けて〜”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２０１０年 ３月 ５日，Vol.109, No.466，pp.57-61

【文献】 Hisato Kawaji et al.，"An Image-based Indoor Positioning for Digital Museum Applications"，2010 16th International Conference on Virtual Systems and multimedia，米国，IEEE，２０１０年１０月２０日，pp.105-111

【文献】 Jiung-Yao Huang et al.，"A Fast Image Matching Technique for the Panoramic-based Localization"，2016 IEEE/ACIS 15th International Conference on Computer and Information Science (ICIS)，米国，IEEE，２０１６年 ６月２６日，pp.1-6

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０９Ｂ ２９／００

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

ポータブル電子デバイスを測位する屋内測位方法であって、前記屋内測位方法は、
屋内環境に対応したパノラマ画像を複数の透視画像に変換し、それぞれの前記透視画像内の複数の基準特徴点及び前記基準特徴点の記述子を抽出することと、
前記パノラマ画像の撮影地点を原点とし、それぞれの前記透視画像の中心位置に対応した複数の３次元基準座標値を記録することと、
前記３次元基準座標値に基づいて前記基準特徴点の３次元座標値を計算し、前記基準特徴点の前記３次元座標値及び前記基準特徴点の前記記述子を前記屋内環境に対応した屋内マップとして記憶することと、
前記屋内環境における前記屋内マップの前記原点に関連した前記ポータブル電子デバイスの３次元対象座標値を測定することとを備える、屋内測位方法。

【請求項2】

前記パノラマ画像の前記撮影地点を前記原点とし、それぞれの前記透視画像の前記中心位置に対応した前記３次元基準座標値を記録することは、
縦軸方向及び横軸方向においてそれぞれの前記透視画像の前記中心位置の複数の基準画素を取得し、前記基準画素の前記３次元座標値を前記３次元基準座標値として記録することを備える、請求項１に記載の屋内測位方法。

【請求項3】

前記基準特徴点の各々は前記透視画像内の特徴点画素に対応し、前記基準特徴点の前記３次元座標値を前記３次元基準座標値に基づいて計算するステップは、
前記縦軸方向における前記特徴点画素に対応した第１の基準画素と、前記横軸方向における前記特徴点画素に対応した第２の基準画素とを取得することと、
前記特徴点画素の３次元座標値を、前記第１の基準画素の前記３次元基準座標値と、前記第２の基準画素の前記３次元基準座標値とに基づいて計算することとを備える、請求項２に記載の屋内測位方法。

【請求項4】

前記屋内マップはオフラインモードで生成され、前記オフラインモードはインターネットに接続していない状態である、請求項１に記載の屋内測位方法。

【請求項5】

前記屋内マップは測位データベースに格納されており、前記屋内環境における前記原点に関連した前記ポータブル電子デバイスの前記３次元対象座標値を測定するステップは、
前記ポータブル電子デバイスによってリアルタイム画像を取得し、前記リアルタイム画像の複数の対象特徴点及び前記対象特徴点の記述子を抽出することと、
前記基準特徴点の前記記述子と前記対象特徴点の前記記述子とを比較し、前記基準特徴点の前記記述子と前記対象特徴点の前記記述子との間の距離値が所定の閾値よりも短い場合には、前記対象特徴点の前記記述子に関連した距離値が前記所定の閾値よりも短い前記基準特徴点の前記３次元座標値を前記測位データベースから取得することと、
前記ポータブル電子デバイスの前記３次元対象座標値及び回転角度を、前記測位データベースから取得した前記基準特徴点の前記３次元座標値に基づいて計算することとを備える、請求項１に記載の屋内測位方法。

【請求項6】

前記原点に関連して前記屋内環境における前記ポータブル電子デバイスの前記３次元対象座標値を測定することはオンラインモードで実行され、前記オンラインモードはインターネットに接続した状態であり、
前記基準特徴点の前記記述子と、前記対象特徴点の前記記述子を比較する前の前記ステップは、
インターネット経由で前記ポータブル電子デバイスの前記屋内環境を測定し、前記屋内環境に対応した前記屋内マップを前記ポータブル電子デバイスにダウンロードすることをさらに備える、請求項５に記載の屋内測位方法。

【請求項7】

屋内測位システムであって、
屋内環境に対応したパノラマ画像を撮影するように構成されたカメラデバイスと、
ポータブル電子デバイスと、
前記カメラデバイスに接続した屋内マップ構築デバイスとを備え、前記屋内マップ構築デバイスは、
測位データベースを記憶する格納デバイスと、
前記格納デバイスにつながれたプロセッサであって、前記プロセッサは、前記パノラマ画像を複数の透視画像に変換し、それぞれの前記透視画像内の複数の基準特徴点及び前記基準特徴点の記述子を抽出するように構成されている、プロセッサとを備え、
前記プロセッサは、前記パノラマ画像の撮影地点を原点として取り、それぞれの前記透視画像の中心位置に対応した複数の３次元基準座標値を記憶するようにさらに構成されており、
前記プロセッサは、前記基準特徴点の３次元座標値を、３次元基準座標値に基づいて計算し、かつ、前記屋内環境に対応し、前記基準特徴点の前記３次元座標値及び前記基準特徴点の前記記述子により形成された屋内マップを、前記測位データベースに記録するようにさらに構成されており、
前記ポータブル電子デバイスは、前記ポータブル電子デバイスの３次元対象座標値を、前記屋内環境における前記屋内マップの前記原点に関連して測定するように構成されている、屋内測位システム。

【請求項8】

前記プロセッサは、縦軸方向及び横軸方向におけるそれぞれの前記透視画像の前記中心位置の複数の基準画素を取得し、前記基準画素の３次元座標値を前記３次元基準座標値として記録するように構成されている、請求項７に記載の屋内測位システム。

【請求項9】

前記基準特徴点の各々は前記透視画像内の特徴点画素に対応しており、前記プロセッサは、前記縦軸方向における前記特徴点画素に対応した第１の基準画素と、前記横軸方向における前記特徴点画素に対応した第２の基準画素とを取得するようにさらに構成されており、
前記プロセッサは、前記特徴点画素の３次元座標値を、前記第１の基準画素の前記３次元基準座標値と、前記第２の基準画素の前記３次元基準座標値とに基づいて計算するように構成されている、請求項８に記載の屋内測位システム。

【請求項10】

前記ポータブル電子デバイスは、リアルタイム画像を取得し、前記リアルタイム画像の対象特徴点及び前記対象特徴点の記述子を抽出するようにさらに構成されており、
前記ポータブル電子デバイスは、インターネットを経由して前記ポータブル電子デバイスの前記屋内環境を測定し、前記屋内環境に対応した前記屋内マップを前記ポータブル電子デバイスにダウンロードするようにさらに構成されており、
前記ポータブル電子デバイスは、前記基準特徴点の前記記述子と前記対象特徴点の前記記述子とを比較し、前記基準特徴点の前記記述子と前記対象特徴点の前記記述子との間の距離値が所定の閾値よりも短い場合には、前記対象特徴点の前記記述子に関連した距離値が前記所定の閾値よりも短い前記基準特徴点の前記３次元座標値を前記測位データベースから取得し、
前記ポータブル電子デバイスは、前記ポータブル電子デバイスの前記３次元対象座標値及び回転角度を、前記測位データベースから取得した前記基準特徴点の前記３次元座標値に基づいて計算するように構成されている、請求項７に記載の屋内測位システム。

【請求項11】

前記プロセッサはオフラインモードで動作され、前記ポータブル電子デバイスはオンラインモードで動作され、前記オフラインモードはインターネットに接続していない状態であり、一方、前記オンラインモードはインターネットに接続した状態である、請求項７に記載の屋内測位システム。

【請求項12】

屋内マップ構築デバイスであって、
測位データベース及び複数のモジュールを記憶する格納デバイスと、
前記格納デバイスにつながれ、前記格納デバイスに格納された前記モジュールをロード及び実行し、オフラインモードで動作されるプロセッサとを備え、前記モジュールは、
屋内環境に対応したパノラマ画像を受信するように構成された入力モジュールと、
前記パノラマ画像を複数の透視画像に変換するように構成された画像処理モジュールとを備え、
前記画像処理モジュールは、前記パノラマ画像の撮影地点を原点としてとり、それぞれの前記透視画像の中心位置に対応した複数の３次元基準座標値を記録するようにさらに構成されており、
前記透視画像内の複数の基準特徴点及び前記基準特徴点の記述子を抽出するように構成された特徴抽出モジュールと、
前記基準特徴点の３次元座標値を、前記画像処理モジュールに記録された前記３次元基準座標値に基づいて計算し、かつ、前記屋内環境に対応し、前記基準特徴点の前記３次元座標値及び前記基準特徴点の前記記述子により形成された屋内マップを、前記測位データベースに格納するように構成された計算モジュールとを備える、屋内マップ構築デバイス。

【請求項13】

前記計算モジュールは、縦軸方向及び横軸方向においてそれぞれの前記透視画像の前記中心位置の複数の基準画素を取得し、前記基準画素の３次元座標値を前記３次元基準座標値として記録するようにさらに構成されている、請求項１２に記載の屋内マップ構築デバイス。

【請求項14】

前記基準特徴点の各々は前記透視画像内の特徴点画素に対応しており、前記計算モジュールは、前記縦軸方向において前記特徴点画素に対応した第１の基準画素と、前記横軸方向において前記特徴点画素に対応した第２の基準画素とを取得するようにさらに構成されており、
前記計算モジュールは、前記特徴点画素の３次元座標値を、前記第１の基準画素の前記３次元基準座標値と、前記第２の基準画素の３次元基準座標値とに基づいて計算するように更に構成されている、請求項１３に記載の屋内マップ構築デバイス。

【請求項15】

前記オフラインモードはインターネットに接続していない状態である、請求項１２に記載の屋内マップ構築デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は屋内測位方法に関し、特に、屋内環境においてモバイル電子デバイスを測位する屋内測位方法及び屋内測位システムと、そのための屋内マップ構築装置とに関する。

【背景技術】

【0002】

無線モバイルデバイスの普及に従い、日常生活における活動をモバイルデバイスによって行うユーザはますます増加している。無線ネットワーク環境が一層成熟したことにより、多くのデバイス製造業者の注目は、無線ネットワーク環境に付加価値を付けるアプリケーションにシフトしており、このようなアプリケーションの１例として、位置情報を提供する位置感知サービスの提供が挙げられる。位置感知サービスを介して、ユーザは様々な近隣の情報及びサービスについて通知を受けられ、また、自分の目的地を迅速に見つけることが可能である。さらに、事業主又はサービス提供者は、ユーザが自社の営業拠点（例えば、ショッピングモール、レストラン、駐車場、デパートなど）内にいるときに情報（例えば、広告）を送信できるよう、位置感知サービスに基づいて感知を行いたいと考える。このような需要に鑑み、事業主又はサービス提供者とユーザとの間でデータ交換を行うために、迅速な屋内測位及びナビゲーションが可能な屋内測位及びナビゲーションシステムを提供することが重要かつ必要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

全地球測位システム（ＧＰＳ）のような従来の商用測位システムは、基本的に屋外測位に適している。このようなシステムは、好適な信号強度が得られる環境では測位正確度が高く、測位速度も高速である。衛星信号は屋内では著しく減衰するため、屋外測位システムを屋内測位に使用することはさらに困難となる。現在、従来の屋内３次元物体測位又は追跡技術も、ＧＰＳ信号受信不能などの制限を受けているため、無線通信機能（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＩＦＩ（登録商標）など）を持つユーザデバイスを採用して信号を送信する、付近の物体に対する距離を測定するべく信号強度インジケータ値に依存する、又は、無線通信機能（例えば、ＮＦＣタグ）を持つタグを屋内物体に配置することによって、無線信号を介して関連データの読み書きを行い、近距離無線通信の技術により特定の対象を識別する。しかし、これらの３次元物体測位技術は信号受信及び信号強度の測定に基づくものでもあるので、信号を不安定にする環境的影響が生じ易く、３次元物体測位の正確度に悪影響が出る。さらに、無線周波数識別機能はタグが付いた特定の対象しか識別できないため、ユーザデバイスと周囲の物体との間の距離を測定することが不可能である。加えて、配置するタグの数も予算の対象となる。

【0004】

基地局に基づく測位も一般的である。例えば、測位装置（例えば、ユーザのモバイルデバイス）は、信号が基地局に到達する時間を計算することで現在地を計算できる。しかし、このような方法では誤差が数百メートルと大きいため、屋内測位のシナリオには適さない。

【0005】

したがって、無線ネットワークに基づく測位方法は、スタジアムのようなさらに広い屋外空間や障害物のない屋外空間に適しており、屋内空間や廊下のような建物内空間でのこのような方法の測位効果はそれほど望ましくない。さらに、これらの技術は２次元測位に適したものであるので、正確な３次元測位を行うことができない。そのため、測位技術は屋内測位の需要を満たせず、現在、一般大衆が屋内測位システムを使用することはできない。

【課題を解決するための手段】

【0006】

本発明は、屋内測位方法、屋内測位システム、及び屋内マップ構築デバイスを提供する。屋内測位方法及びシステム、ならびに屋内マップ構築デバイスによれば、屋内マップは、オフラインモードのコンピュータによって迅速に生成され、サーバ側にアップロードされ、この屋内マップをユーザエンドのポータブル電子デバイスがオンラインモードにてダウンロードすることで、ポータブル電子デバイスが撮影したリアルタイム画像を屋内マップと比較して、ポータブル電子デバイスを測位する。したがって、ユーザにリアルタイムで提供される測位サービスの品質向上と効率促進が得られ、ユーザに対応情報をより効率的に提供できることで、より便利な動作エクスペリエンスがユーザにもたらされる。

【0007】

本発明の例示的な実施形態は、ポータブル電子デバイスを測位する屋内測位方法を提供する。屋内測位方法は、屋内環境に対応したパノラマ画像を複数の透視画像に変換することと、透視画像内の複数の基準特徴点と、基準特徴点の記述子とを抽出することと、パノラマ画像の撮影地点を原点として取ることと、各々の透視画像の中心位置に対応した複数の３次元基準座標値を記録することと、基準特徴点の３次元座標値を３次元基準座標値に基づいて計算することと、基準特徴点の３次元座標値及び基準特徴点の記述子を屋内環境に対応した屋内マップとして記憶することと、屋内環境におけるポータブル電子デバイスの３次元対象座標値を屋内マップに従って測定することとを含む。

【0008】

本発明の一実施形態によれば、パノラマ画像の撮影地点を原点として取り、各々の透視画像の中心位置に対応した３次元基準座標値を記録するステップは、縦軸方向及び横軸方向における各々の透視画像の中心位置の複数の基準画素を取得し、基準画素の３次元座標値を３次元基準座標値として記録することを含む。

【0009】

本発明の例示的な実施形態によれば、各々の基準特徴点は透視画像内の特徴点画素に対応し、特徴点の３次元座標値を３次元基準座標値に基づいて計算するステップは、縦軸方向における特徴点画素に対応した第１の基準画素と、横軸方向における特徴点画素に対応した第２の基準画素とを取得することと、特徴点画素の３次元座標値を、第１の基準画素の３次元基準座標値と第２の基準画素の３次元基準座標値とに基づいて計算することとを含む。

【0010】

本発明の例示的な実施形態によれば、屋内マップはオフラインモードで生成され、オフラインモードはインターネットに接続していない状態である。

【0011】

本発明の例示的な実施形態によれば、屋内マップは測位データベースに格納され、屋内環境におけるポータブル電子デバイスの原点に関連して３次元対象座標値を屋内マップに従って測定するステップは、ポータブル電子デバイスによってリアルタイム画像を取得し、リアルタイム画像の複数の対象特徴点及び対象特徴点の記述子を抽出することと、基準特徴点の記述子と対象特徴点の記述子とを比較して、基準特徴点の記述子と対象特徴点の記述子との間の距離が所定の閾値よりも短い場合には、対象特徴点の記述子に関する距離値が所定の閾値よりも短い基準特徴点の３次元座標値を測位データベースから取得することと、ポータブル電子デバイスの３次元対象座標値及び回転角度を、測位データベースから取得した基準特徴点の３次元座標値に基づいて計算することとを含む。

【0012】

本発明の例示的な一実施形態によれば、屋内環境内のポータブル電子デバイスの３次元対象座標値を原点に関連して測定することはオンラインモードで実行され、オンラインモードはインターネットに接続した状態である。基準特徴点の記述子と対象特徴点の記述子とを比較する前のステップは、インターネット経由でポータブル電子デバイスの屋内環境を測定し、屋内環境に対応した屋内マップをポータブル電子デバイスにダウンロードすることをさらに含む。

【0013】

本発明の例示的な実施形態は屋内測位システムを提供する。このシステムは、カメラデバイス、ポータブル電子デバイス、屋内マップ構築デバイスを含む。カメラデバイスは屋内環境に対応したパノラマ画像を撮影するように構成されており、屋内マップ構築デバイスはカメラデバイスに接続している。屋内マップ構築デバイスは格納デバイスとプロセッサを含む。格納デバイスは測位データベースを格納し、また、プロセッサが、格納デバイスにつながれており、パノラマ画像を複数の透視画像に変換し、それぞれの透視画像内の複数の基準特徴点及び基準特徴点の記述子を抽出するように構成されている。プロセッサは、パノラマ画像の撮影地点を原点として取り、各々の透視画像の中心位置に対応した複数の３次元基準座標値を記録するようにさらに構成されている。さらに、プロセッサは、基準特徴点の３次元座標値を３次元基準座標値に基づいて計算し、また、屋内環境に対応しており、基準特徴点の３次元座標値と基準特徴点の記述子とによって形成された屋内マップを測位データベースに格納するようにさらに構成されている。ポータブル電子デバイスは、屋内環境におけるポータブル電子デバイスの３次元座標値を屋内マップに従って測定するように構成されている。

【0014】

本発明の例示的な実施形態によれば、プロセッサは、縦軸方向及び横軸方向において各々の透視画像の中心位置の複数の基準画素を取得し、基準画素の３次元座標値を３次元基準座標値として記録するようにさらに構成されている。

【0015】

本発明の例証的な実施形態によれば、各々の基準特徴点は透視画像内の特徴点画素に対応しており、プロセッサは、縦軸方向における特徴点画素に対応した第１の基準画素と、横軸方向における特徴点画素に対応した第２の基準画素とを取得するようにさらに構成されている。また、プロセッサは、特徴点画素の３次元座標値を、第１の基準画素の３次元基準座標値及び第２の基準画素の３次元基準座標値に基づいて計算するようにさらに構成されている。

【0016】

本発明の例示的な実施形態によれば、ポータブル電子デバイスは、リアルタイム画像を取得し、リアルタイム画像の複数の対象特徴点及び対象特徴点の記述子を抽出するようにさらに構成されている。ポータブル電子デバイスは、インターネット経由でポータブル電子デバイスの屋内環境を測定し、屋内環境に対応した屋内マップをポータブル電子デバイスにダウンロードするようにさらに構成されている。ポータブル電子デバイスは、基準特徴点の記述子と対象特徴点の記述子とを比較して、基準特徴点の記述子と対象特徴点の記述子との間の距離値が所定の閾値よりも短い場合には、対象特徴点の記述子に関連した距離値が所定の閾値よりも短い基準特徴点の３次元座標値を測位データベースから取得するようにさらに構成されている。さらに、ポータブル電子デバイスは、ポータブル電子デバイスの３次元対象座標値及び回転角度を、測位データベースから取得した基準特徴点の３次元座標値に基づいて計算するようにさらに構成されている。

【0017】

本発明の例示的な実施形態によれば、プロセッサはオフラインモードで動作し、ポータブル電子デバイスはオンラインモードで動作し、オフラインモードはインターネットに接続していない状態であり、一方、オンラインモードはインターネットに接続した状態である。

【0018】

本発明の例示的な実施形態は、格納デバイスとプロセッサとを備える屋内マップ構築デバイスを提供する。格納デバイスは測位データベースと複数のモジュールを格納する。プロセッサは格納デバイスにつながれており、格納デバイスに格納されたモジュールをロード及び実行する。加えて、プロセッサはオフラインモードで動作する。モジュールには入力モジュール、画像処理モジュール、特徴抽出モジュール、計算モジュールが含まれる。入力モジュールは、屋内環境に対応したパノラマ画像を受信する。画像処理モジュールは、パノラマ画像を複数の透視画像に変換するように構成されている。画像処理モジュールは、パノラマ画像の撮影地点を原点として取り、各々の透視画像の中心位置に対応した複数の３次元基準座標値を記録するようにさらに構成されている。特徴抽出モジュールは、透視画像内の複数の基準特徴点及び基準特徴点の記述子を抽出するように構成されている。計算モジュールは、基準特徴点の３次元座標値を、画像処理モジュールに記録された３次元基準座標値に基づいて計算し、かつ、屋内環境に対応した、基準特徴点の３次元座標値と、基準特徴点の記述子とによって形成された屋内マップを、測位データベースに格納するように構成されている。

【0019】

本発明の例示的な実施形態によれば、計算モジュールは、縦軸方向及び横軸方向において各々の透視画像の中心位置の複数の基準画素を取得し、基準画素の３次元座標値を３次元基準座標値として記録するようにさらに構成されている。

【0020】

本発明の例示的な実施形態によれば、基準特徴点の各々は透視画像内の特徴点画素に対応しており、計算モジュールは、縦軸方向における特徴点画素に対応した第１の基準画素と、横軸方向における特徴点画素に対応した第２の基準画素とを取得するようにさらに構成されている。計算モジュールは、特徴点画素の３次元座標値を、第１の基準画素３次元基準座標値及び第２の基準画素の３次元基準座標値に基づいて計算するようにさらに構成されている。

【0021】

本発明の例示的な実施形態によれば、オフラインモードはインターネットに接続していない状態である。

【0022】

上述に基づき、例示的な実施形態では、オフラインモードにて、パノラマ画像を縦軸方向及び横軸方向に展開して得た透視図の中心位置の基準画素の３次元基準座標値だけを記録する技術的解決法を採用することで、格納デバイスのメモリスペースを効率的に節約し、透視画像内の各特徴点の３次元座標の取得パフォーマンスを促進して、屋内マップを迅速に生成できるようにする。したがって、オンラインモードにて、ポータブル電子デバイスは、自体が撮影したリアルタイム画像と屋内マップを迅速に比較することで、ユーザのポータブル電子デバイスを測位する。

【0023】

上述した本発明の特徴と利点を理解し易くするために、図面を伴ったいくつかの実施形態を以降で詳細に説明する。

【図面の簡単な説明】

【0024】

添付の図面は、本発明をさらに理解するために含まれ、本明細書に援用され、その一部を構成する。図面は本発明の実施形態を例証し、本発明の原理を記述と共に説明するべく役立つ。

【0025】

【図1】本発明の一実施形態による屋内測位システムの略図である。

【0026】

【図2】本発明の一実施形態の屋内マップ構築デバイスを示すブロック図である。

【0027】

【図3】本発明の一実施形態による屋内測位方法を示すフローチャートである。

【0028】

【図4A】本発明の一実施形態によるパノラマ画像を複数の透視画像に変換する様子の略図である。

【図4B】本発明の一実施形態によるパノラマ画像を複数の透視画像に変換する様子の略図である。

【図4C】本発明の一実施形態によるパノラマ画像を複数の透視画像に変換する様子の略図である。

【図4D】本発明の一実施形態によるパノラマ画像を複数の透視画像に変換する様子の略図である。

【0029】

【図5】本発明の一実施形態による透視画像の中心地点に対応した複数の３次元基準座標値を記録する様子を示す略図である。

【0030】

【図6】本発明の一実施形態による、透視画像内の中心地点に対応した３次元基準座標値による特徴点の３次元座標値を計算する様子を示す略図である。

【0031】

【図7A】本発明の一実施形態による円柱座標系とデカルト座標系の間の対応関係を示す略図である。

【0032】

【図7B】本発明の一実施形態によるパノラマ画像を示す平面図である。

【0033】

【図7C】本発明の一実施形態によるパノラマ画像を示す側面図である。

【0034】

【図7D】本発明の一実施形態による円柱座標系の対象性を示す略図である。

【発明を実施するための形態】

【0035】

ここでは、本発明の本好ましい実施形態を詳細に参照し、それらの例を添付の図面に例証する。可能な箇所では、同一又は類似の部分を参照するために、複数の図面及び説明において同一の参照符号を使用する。

【0036】

ユーザが屋内環境において自分の目的地又は対象物を迅速かつ便利に見つけ、屋内環境にて、事業主が測位及びナビゲーション機能を用いてユーザとデータ交換する機能を提供できるようにするために、本発明の実施形態は、オフライン分析にて入手した３６０度パノラマ画像に基づく屋内マップを構築し、ユーザのポータブル電子デバイスで撮影した画像と画像識別技術に基づく屋内マップとを比較することにより、ユーザのポータブル電子デバイスを測位する。そのため、ポータブル電子デバイスの測位は、無線ネットワーク及び空間内の障害物によって生じる不安定な信号や不正確な測位に制限されることがない。したがって、ユーザにリアルタイムで提供される測位サービスの品質と効率が効果的に発揮される。

【0037】

図１は、本発明の一実施形態による屋内測位システムを示す略図である。図１を参照すると、屋内測位システム１００は屋内マップ構築デバイス２００、カメラデバイス１１０、及びポータブル電子デバイス１２０を含む。カメラデバイス１００には、例えば、凸レンズで形成された反射屈折カメラ、単レンズカメラがある。しかし、本発明はこれに限定されない。例えば、カメラデバイス１１０は、３６０度パノラマ画像の撮影が可能なその他の全方向性カメラであってもよい。ポータブルデバイス１２０はモバイルデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、タブレットコンピュータなどであってよい。あるいは、ポータブルデバイス１２０は、無線通信ネットワーク経由でインターネット１０２に接続し、屋内マップ構築デバイス２００とのデータを通信及び送信を行うその他の電子デバイスであってもよい。加えて、インターネット１０２は、例えば、無線フィデリティ（ＷｉＦｉ）ネットワーク又はグローバル・システム・フォー・モバイル（ＧＳＭ（登録商標））である。しかし、インターネット１０２はその他の適切なネットワーク通信プロトコルであってもよく、また、本発明はこれに関して限定を課すことを意図しない。

【0038】

例えば、屋内マップ構築デバイス２００をオフラインモードで動作させると、屋内マップ構築デバイス２００がカメラデバイス１１０からパノラマ画像を受信し、このパノラマ画像に基づいて屋内マップを構築する。ポータブル電子デバイス１２０の測位動作を実行するべく、屋内マップ構築デバイス２００から屋内マップをインターネット１０２経由でダウンロードするために、ポータブル電子デバイス１２０はオンラインモードで動作する。ここで、オフラインモードとはインターネットに接続していない状態を指し、オンラインモードとはインターネット１０２に接続した状態を指す。ここでの例はポータブル電子デバイスに基づいて説明されているが、本発明はこれに限定されないことを理解すべきである。例えば、屋内測位システム１００は複数のポータブル電子デバイスを含んでいてよく、各々のポータブル電子デバイスは、屋内環境内でのポータブル電子デバイスの３次元座標値を得るために測位計算を実行する。

【0039】

図２は、本発明の一実施形態による屋内マップ構築デバイスを示すブロック図である。図２を参照すると、屋内マップ構築デバイス２００は格納デバイス２０２とプロセッサ２０４を含む。この実施形態では、屋内マップ構築デバイス２００は、計算機能を持つサーバ又はコンピュータシステムであってよい。

【0040】

格納デバイス２０２は、任意タイプのスタティック又はポータブルのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、類似のコンポーネント、又はこれらの組み合わせであってよい。この実施形態では、格納デバイス２０２は、入力モジュール２１０、画像処理モジュール２２０、特徴抽出モジュール２３０、計算モジュール２４０、測位データベース２５０などのソフトウェアプログラムを記憶するように構成されている。

【0041】

プロセッサ２０４は格納デバイス２０２に接続している。プロセッサ２０４はシングルコア又はマルチコアの中央処理装置（ＣＰＵ）、他のプログラム可能な汎用又は専用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、他の類似のコンポーネント、又はこれらの組み合わせであってよい。例示的な実施形態では、本発明の実施形態による屋内測位方法を実施するために、プロセッサ２０４は入力モジュール２１０、画像処理モジュール２２０、特徴抽出モジュール２３０、計算モジュール２４０、格納デバイス２０２に記録された測位データベース２５０にアクセスして実行するように構成されている。本発明の実施形態の屋内測位システム１００と、屋内測位システム１００の屋内マップ構築デバイス２００及びポータブル電子デバイス１２０との動作をさらに明確に説明するために、以降で図１、図２、図３を参照しながら例を説明する。

【0042】

図３は、本発明の一実施形態による屋内測位方法を示すフローチャートである。図１〜図３を参照すると、屋内マップ構築デバイス２００の入力モジュール２１０はカメラデバイス１１０からパノラマ画像を受信し、ステップ３０１で、画像処理モジュール２２０は入力モジュール２１０から受信したパノラマ画像を複数の透視画像に変換し、特徴抽出モジュール２３０はこれら透視画像内の複数の特徴点（基準特徴点とも呼ぶ）及び基準特徴点の記述子を抽出できる。

【0043】

具体的に、パノラマ画像は球体パノラマ画像、円筒パノラマ画像、立方体パノラマ画像であってよい。例示的な実施形態では、カメラデバイス１１０で撮影したパノラマ画像は円筒パノラマ画像である。円筒パノラマ画像は、左右の境界線だけが歪んだ透視画像に展開することが可能なため、円筒パノラマ画像を採用すると画像内のほとんどの特徴点を元の状態に維持できる。

【0044】

本発明のこの例示的な実施形態では、ユーザのポータブル電子デバイス１２０で撮影したリアルタイム画像の対象特徴点と、透視画像へ変換後のパノラマ画像の基準特徴点とを比較し、この比較でマッチした特徴点の３次元座標に基づいてポータブル電子デバイス１２０を測位する。ポータブル電子デバイス１２０で撮影したリアルタイム画像はデカルト座標系を採用しており、一方、円筒パノラマ画像は円柱座標系を採用しているため、２つの画像を比較すると、計算から得た特徴点の数と位置は完全にマッチせず、比較結果が不正確となる。さらに、パノラマ画像はデカルト座標系の下で完全な画像に直接変換することができない。そのため、ステップＳ３０１で、画像処理モジュール２２０が、受信したパノラマ画像を透視画像に変換することができる。

【0045】

図４Ａ〜図４Ｄは、本発明の一実施形態によるパノラマ画像から複数の透視画像への変換を示す略図である。

【0046】

図４Ａ〜図４Ｄを参照すると、カメラデバイス１１０で撮影したパノラマ画像４００の中心点は、カメラデバイス１１０が配置された撮影地点にある。言い換えれば、図４Ａに示すように、カメラデバイス１１０の撮影地点はパノラマ画像４００の原点４１０である。この例示的な実施形態では、図４Ｂに示すように、画像処理モジュール２２０はパノラマ画像４００を同じ幅を持つ８つの細長い透視画像４００ａ〜４００ｈに分割でき、細長い透視画像の各々は、円筒パノラマ画像４００の原点４１０から４５°の水平視野をカバーしてよい。例示的な実施形態は分割基準として４５°の水平視野を採用しているが、その理由は、市販のモバイルデバイス（例えば、スマートフォン）の視野が約４５°であるからということに留意すべきである。しかし、このような分割基準は水平視野のサイズに関する分割基準を限定するものとして解釈されるべきでない。例えば、別の例示的な実施形態では、分割基準を実際の需要に基づいて４５°よりも大きいか又は小さい水平視野に設定してもよい。

【0047】

ポータブル電子デバイス１２０が撮影したリアルタイム画像はデカルト座標系を採用しており、円筒パノラマ画像は円柱座標系を採用しているので、円筒パノラマ画像４００を展開して透視画像にするためには２つの座標系間の変換が必要である。図４Ｃに示すように、透視画像４００ａを１例に挙げると、デカルト座標系に変換された透視画像４００ａは頂部及び底部に凹状領域を呈することがあり、これが透視画像４００ａの左右の境界線を歪ませる。例えば、透視画像４００ａは、グレースケール色で充填されていない画素で形成された細片状のライン（図示せず）を呈してよい。このような現象はエイリアシング効果と呼ばれる。この問題に関して、本発明のこの例示的な実施形態では、画像処理モジュール２２０は透視画像４００ａに画像処理を実行して、隣接する左右の画素の平均値を、グレースケール色で充填されていない画素で形成された細片状のラインに割り当てる。

【0048】

特に、本発明のこの例示的な実施形態では、画像処理モジュール２２０は、展開透視画像４２０と、パノラマ画像４００に対応した展開透視画像４２０′（図４Ｄに示す）とを、パノラマ画像４００を透視画像に変換する最中に生成することができる。展開透視画像４２０は、図４Ｂに示す分割角度に基づいて分割した透視画像４００ａ〜４００ｈを展開して得られ、また、展開透視画像４２０′は、図４Ｂに示す分割角度と２２．５°異なる分割角度に基づいて分割した透視画像４００ｉ〜４００ｐを展開して得られる。２つの展開透視画像（すなわち、展開透視画像４２０、展開透視画像４２０′）を用いることで、左右の境界線の湾曲の変形による不正確な比較結果を矯正でき、透視画像特徴点の以降の計算がより正確になる。透視画像４００ｂを１例に挙げると、左右の境界線の湾曲の変形による不正確な比較結果は、透視画像４００ｉと透視画像４００ｊ内に生成された基準特徴点によって補正できる。

【0049】

さらに、ステップＳ３０１で、特徴抽出モジュール２３０が透視画像４００ａ〜４００ｈ内の基準特徴点と、特徴点の記述子とを抽出するために実行した動作は、特徴抽出のために、記述子ベクトルとして２ビットのストリングを使用したアルゴリズムを採用でき、これには例えば、Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ（ＢＲＩＥＦ）、Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ（ＯＲＢ）、Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ（ＢＲＩＳＫ）などがある。具体的に、ＢＲＩＥＦアルゴリズムは、特徴点の近隣範囲内の画素対をいくつか選び、これらの画素対のグレースケール値どうしを比較し、比較結果を組み合わせて２ビットのストリングを形成することで、特徴点を記述する。加えて、特徴記述子がマッチしたかどうかを計算するためにハミング距離を採用している。ＢＲＩＥＦアルゴリズムにより得た特徴点は回転不変性とスケール不変性が欠如しており、ノイズに敏感であることに鑑み、ＯＲＢアルゴリズムは、画像にガウシアンぼかしを実行し、スケール空間を生成して、特徴点がスケール不変性を呈するようにすることで向上する。次に、特徴点にモーメントベクトル計算を実行して、特徴点が方向不変性を呈するようにする。その後、特徴点にＢＲＩＥＦ特徴記述を実行することで、これによって得られる特徴点が回転不変性とスケール不変性を呈し、ノイズ干渉の発生が低下する。同様に、ＢＲＩＳＫアルゴリズムはＢＲＩＥＦアルゴリズムに基づくことでも向上する。ＢＲＩＳＫアルゴリズムの特徴点はスケール不変性と回転不変性を呈する。

【0050】

次に、ステップＳ３０３で、画像処理モジュール２２０はパノラマ画像４００の撮影地点を原点４１０として取り、透視画像４００ａ〜４００ｈの各々の中心位置における複数の３次元座標値（３次元基準座標値とも呼ばれる）を記録することができる。言い換えれば、画像処理モジュール２２０により記録された３次元基準座標値は、原点４１０の３次元座標値に関する相対座標位置である。ここで、各々の透視画像４００ａ〜４００ｈの中心位置に対応した３次元基準座標値は、縦軸方向及び水平方向における各々の透視画像４００ａ〜４００ｈの中心位置の複数の画素（複数の基準画素とも呼ばれる）に対応した座標値を参照する。

【0051】

図５は、本発明の一実施形態による透視画像の中心位置に対応した複数の３次元基準座標値を記録する略図である。

【0052】

図５を参照すると、この例示的な実施形態では、パノラマ画像４００を展開して得た透視画像４００ｄを例に挙げる。ここで、画像処理モジュール２２０は、縦軸方向５０２と横軸方向５０４において透視画像４００ｄの中心位置５００の複数の基準画素を取得し、３次元基準画素の基準座標値のみを記録する。同様に、画像処理モジュール２２０は、縦軸方向５０２及び横軸方向５０４において残りの透視画像の各々（すなわち、透視画像４００ａ〜４００ｃ、４００ｅ〜４００ｈ）の中心位置５００の複数の基準画素の３次元基準座標値のみを記録する。画像処理モジュール２２０は、各々の透視画像の全ての画素の３次元座標値を記録する必要がないため、格納デバイス２０２のメモリスペースを効率的に節約できる。

【0053】

特に、円筒パノラマ画像４００を透視画像４００ａ〜４００ｈに展開する最中、縦軸方向５０２における基準画素の３次元基準座標値は、座標系どうしの変換動作中には実質的に変わらない。横軸５０４上の基準画素の場合は、座標系どうしの変換動作中に、縁付近の基準画素のみが若干変形する。言い換えれば、縦軸方向５０２及び横軸方向５０４における各々の透視画像の中心位置５００での基準画素を、曲率に変形のない画素と考えてよい。したがって、計算モジュール２４０は、曲率に変形のない画素の３次元座標値に基づく線形補間を用いて、特徴抽出モジュール２３０で抽出した透視画像の基準特徴点の３次元座標値を推測する。例えば、ステップＳ３０５で、計算モジュール２４０は、原点４１０に関連した基準特徴点の３次元座標値を３次元基準座標値に基づいて計算し、屋内環境に対応しており、基準特徴点と、基準特徴点の記述子との３次元座標値によって形成された屋内マップを測位データベース２５０に格納する。ここで、本発明のこの例示的な実施形態の屋内マップは、３次元座標値を持つ特徴点と、特徴点の記述子とによって形成されている。特徴点の３次元座標値は、原点４１０の３次元座標値に関連した相対座標位置である。

【0054】

図６は、本発明の一実施形態による、透視画像内の中心位置に対応した３次元基準座標値に従って特徴点の３次元座標値を計算することを示す略図である。

【0055】

具体的に、特徴抽出モジュール２３０を用いて透視画像から抽出した各基準特徴点は、透視画像内の画素に属している。つまり、各基準特徴点は透視画像内の画素の１つ（特徴点画素とも呼ばれる）に対応している。ここで、パノラマ画像４００の展開により得た透視画像４００ｄをここでも１例として挙げて、特徴点の３次元座標値を得る方法について述べる。図６を参照すると、透視画像４００ｄ内の特徴点画素５００ａが、特徴抽出モジュール２３０により抽出した特徴点であると仮定した場合、計算モジュール２４０は、縦軸方向５０２における特徴点画素５００ａに対応した基準画素５００ｂ（第１の基準画素５００ｂとも呼ばれる）と、横軸方向５０４における特徴点画素５００ａに対応した基準画素５００ｃ（第２の基準画素５００ｃとも呼ばれる）とを取得し、ステップＳ３０３で、第１の基準画素５００ｂの３次元基準座標値と、第２の基準画素５００ｃの３次元基準座標値とを、画像処理モジュール２２０により記録する。これにより、計算モジュール２４０が、第１の基準画素５００ｂの３次元基準座標値と、第２の基準画素５００ｃの３次元基準座標値とに基づき、特徴点画素５００ａの３次元座標値を迅速に計算することが可能になる。

【0056】

図７Ａは、本発明の一実施形態による、円柱座標系とデカルト座標系との間の対応関係を示す略図である。
図７Ｂは、本発明の一実施形態によるパノラマを示す平面図である。
図７Ｃは、本発明の一実施形態によるパノラマを示す側面図である。
図７Ｄは、本発明の一実施形態による、円柱座標系の対称性を示す略図である。

【0057】

図７Ａ〜図７Ｃを参照すると、図７Ａは、この例示的な実施形態のパノラマ画像４００の円柱座標系とデカルト座標系の間の対応関係を示し、図７Ｂ、図７Ｃは、それぞれパノラマ画像４００の平面図と側面図である。ここでは、パノラマ画像４００を展開して得たパノラマ画像４００ａを１例として用いる。また、パノラマ画像４００上の円柱座標（ｒ、θ、ｈ）は、パノラマ画像４００を展開して得た透視画像４００ａのデカルト座標系の３次元座標（ｘ、ｙ、ｚ）に対応する。本発明のこの例示的な実施形態のステップＳ３０３で、画像処理モジュール２２０に記録された各々の透視画像４００ａ〜４００ｈの３次元基準座標値は、次の式（１）〜式（３）に基づいて得られる。

【0058】

【数1】

…透視画像４００ａ〜４００ｈのための式（１′）

【0059】

【数2】

…透視画像４００ｉ〜４００ｐのための式（１″）

【0060】

【数3】

…透視画像４００ａ〜４００ｈのための式（２′）

【0061】

【数4】

…透視画像４００ｉ〜４００ｐのための式（２″）

【0062】

【数5】

…式（３）

【0063】

図７Ａ〜図７Ｄを参照し、以下で、本発明で式（１）〜式（３）を導出する方法について詳細に説明する。

【0064】

図７Ａ〜図７Ｄを参照すると、円筒パノラマ画像４００の円周はパノラマ画像４００の幅と等しく、また、円周を求める式はc=2π・ｒであり、ここで、ｃは円筒パノラマ画像４００の円周を表す。したがって、円柱座標（ｒ、θ、ｈ）の放射距離ｒは以下の式（４）で表すことができる。

【0065】

ｒ＝ｃ／2π…式（４）

【0066】

次に、本発明の例示的な実施形態では、円柱座標系の方位角θの円弧の長さはｌであり、円弧の長さを求める式はｌ＝ｒ・θとなる。円柱座標系の方位角θは以下の式（５）で表すことができる。

【0067】

θ＝ｌ／ｒ…式（５）

【0068】

特に、円筒形の対称特性のため、θの値は−２２．５°〜２２．５°の間で変動し、すなわち、−２２．５°＜θ＜２２．５°である。例示的な実施形態では、パノラマ画像４００を幅が同一の８つの細長い透視画像４００ａ〜４００ｈに分割する分割基準として４５°の水平視野を採用している。したがって、２２．５°でカバーされる角度は各々の細長い透視画像の半分である。

【0069】

次に、式（４）、（５）を考慮し、線形比例関係を標準三角関数に基づいて計算することにより、パノラマ画像４００の円柱座標（ｒ、θ、ｈ）に対応したデカルト座標（ｘ、ｙ、ｚ）を得るべく、式（１）〜（３）を用いて計算することができる。具体的には、この例示的な実施形態において、パノラマ画像４００を透視画像４００ａに変換するときに、画像処理モジュール２２０が、透視画像４００ａに対応したパノラマ画像４００上の画素を連続的に走査して、これらの画素の座標変換を実行する。画像処理モジュール２２０の走査順序は左から右、及び頂部から底部である。走査順序は左から右、及び頂部から底部であるため、デカルト座標（ｘ、ｙ、ｚ）はｘ、ｙ、ｚの順序で計算される。

【0070】

再び図７Ｂを参照すると、図７ＢのＬは、画像処理モジュール２２０が透視画像４００ａを角度βまで走査する場合の、座標系の原点から透視画像４００ａまでの距離である。cosβ＝ｒ／Ｌであり、Ｌ＝ｒ／cosβである。したがって、以下のｘについての式（６）は三角関数に基づいて導出できる。

【0071】

【数6】

…式（６）

【0072】

さらに、この例示的な実施形態では、それぞれの透視画像４００ａ〜４００ｈの夾角は４５°、即ちα＝２２．５°である。したがって、式（６）は各々の透視画像４００ａ〜４００ｈについて

【数7】

に書き換えることができ、これにより式（１′）が得られる。式（１）中のｎはｎ番目の透視画像を意味することに留意すべきである。例えば、この例示的な実施形態では、画像処理モジュール２２０がパノラマ画像４００を同一の幅を持つ８つの細長い透視画像４００ａ〜４００ｈに分割する。言い換えれば、第０の透視画像は透視画像４００ａであり、第１の透視画像は透視画像４００ｂである。同じ原理に従い、第２の〜第７透視画像はそれぞれ透視画像４００ｃ〜４００ｈである。つまり、この例示的な実施形態では、ｎ＝０，１，２，３，４，５，６，７である。

【0073】

同様に、透視画像４００ｉ〜４００ｐはシフト２２．５°であるため、透視画像４００ｉ〜４００ｐについて式（６）を

【数8】

に書き換えることができ、これにより式（１″）が得られる。

【0074】

同一の原理に従って、透視画像４００ａ〜４００ｈについての

【数9】

の式、つまり式（２′）は、三角関数に基づいて導出できる。

【0075】

同一の原理に従って、透視画像４００ｉ〜４００ｐについての

【数10】

の式、つまり式（２″）は、三角関数に基づいて導出できる。

【0076】

最後に、図７Ｃを参照すると、ｚとｈの間の線形比例関係に基づき、ｚについての式（３）を導出できる。

【数11】

【数12】

であるので、式（３）を導出できる。

【0077】

ステップＳ３０１〜Ｓ３０５では、屋内マップ構築デバイス２００はオフラインモードで屋内マップを生成し、この屋内マップを測位データベース２５０に格納する。したがって、ポータブル電子デバイス１２０の測位計算は、ポータブル電子デバイス１２０自体により達成できる。具体的に、再び図３を参照すると、ステップＳ３０７で、ポータブル電子デバイスは、ステップＳ３０１〜Ｓ３０５で生成した屋内マップに基づいて、屋内環境における原点４１０に関連したポータブル電子デバイス１２０の３次元座標値（３次元対象座標値とも呼ばれる）を測定できる。言い換えれば、ポータブル電子デバイス１２０のポーズ（すなわち、ポータブル電子デバイス１２０の３次元座標値及び回転角度）は、サーバ側の屋内マップ構築デバイス２００によって計算する必要がない。さらに、本発明のこの例示的な実施形態における屋内マップ構築デバイス２００は、オフライン分析によって得た３６０度パノラマ画像に基づいて屋内マップを生成する。したがって、屋内／屋外マップを構築するためにインターネットを要する、レーザ反射、ポイントクラウド技術、信号強度インジケータ、全地球測位システム（ＧＰＳ）のような従来技術と比較して、本発明は屋内マップを生成するための計算資源の節約になるだけでなく、屋内マップの正確度も向上する。

【0078】

この例示的な実施形態では、ポータブル電子デバイス１２０はオンラインモードで動作する。そのため、ポータブル電子デバイス１２０は最新のリアルタイム画像を絶えず取得し、リアルタイム画像内の複数の特徴点（対象特徴点とも呼ばれる）と、対象特徴点の記述子とを抽出する。説明を容易化する目的で、本発明のこの例示的な実施形態の屋内マップ構築デバイス２００によってパノラマ画像４００を展開して得た透視図４００ａ〜４００ｈから抽出した特徴点は全て基準特徴点と呼ばれ、一方で、ポータブル電子デバイス１２０によってリアルタイム画像から抽出した特徴点は全て対象特徴点と呼ばれることに留意すべきである。

【0079】

具体的に、ユーザが自分のポータブル電子デバイス１２０を持って特定の屋内環境（例えば、コンビニエンスストア）に入ろうとすると、ポータブル電子デバイス１２０が、ポータブル電子デバイス１２０が位置している屋内環境をインターネット１０２を経由して測定し、この屋内環境に対応した屋内マップを屋内マップ構築デバイス２００からポータブル電子デバイス１２０にダウンロードすることができる。例えば、ポータブル電子デバイス１２０は、ユーザが現在どのコンビニエンスストアに入ろうとしているのかをＧＰＳを介して知得することにより、サーバ側の屋内マップ構築デバイス２００の測位データベース２５０からユーザ側のポータブル電子デバイス１２０にそのコンビニエンスストアの屋内マップをダウンロードすることができる。

【0080】

次に、ポータブル電子デバイス１２０は、基準特徴点の記述子と対象特徴点の記述子を比較し、基準特徴点の記述子と対象特徴点の記述子との間の距離値が所定の閾値よりも短い場合には、ポータブル電子デバイス１２０が、対象特徴点の記述子に関連した距離値が所定の閾値よりも短い基準特徴点の３次元座標値を測位データベース２５０から取得することができる。例えば、特徴点を円環構造で包囲することでサンプリングのＢＲＩＳＫアルゴリズムの特徴を利用することにより、特徴点の記述子を２つのサンプリング点間のグレースケール差分に基づいて計算できる。さらに、最内円におけるサンプリング点の比較値は、２つの特徴記述子の間の類似性に明白な影響を及ぼす。すなわち、最内円から最外円までのサンプリングポイント比較値に対応した識別可能性は高から低まで異なり、最内円から最外円までのサンプリング点比較値に対応したビット値は実質的に記述子に記録される。

【0081】

したがって、基準特徴点の記述子と対象特徴点の記述子とを比較することにより、記述子間の類似性をハミング距離に基づいて測定する。より具体的には、この例示的な実施形態では、ポータブル電子デバイス１２０が、最内円から最外円までの基準特徴点の記述子と対象特徴点の記述子との間のハミング距離を連続的に計算する。例えば、ポータブル電子デバイス１２０は、記述子の現在の円のバイトのハミング距離が所定の閾値よりも短いと判定された場合のみ、さらに進んで、次の円（つまり、現在の円の次の最外円）の記述子間の類似性を計算する。例えば、基準特徴点の記述子の各円のバイト値と、対象特徴点の記述子の各円のバイト値との間の距離値（つまり、ハミング距離）が、閾値より短い場合は、ポータブル電子デバイス１２０は、対象特徴点の記述子に関する距離値が閾値よりも短い基準特徴点の３次元座標値を測位データベース２５０から取得することができる。あるいは、ポータブル電子デバイス１２０は記述子どうしに類似性がないと判定し、記述子間の類似性判定の計算を停止することができる。

【0082】

次に、ポータブル電子デバイス１２０は、測位データベース２５０から取得した基準特徴点の３次元座標値を用いて自体の３次元対称座標値及び回転角度を計算する。例えば、本発明のこの例示的な実施形態では、ポータブル電子デバイス１２０は、対象特徴点の記述子に関連したハミング距離が所定の閾値よりも短い基準特徴点の３次元座標値をＥＰｎＰ式に代入し、誤った３次元座標値をＲＡＮＳＡＣアルゴリズムに基づいて除去することで、ポータブル電子デバイス１２０の３次元対象座標値及び回転角度が得られる。

【0083】

上述に基づいて、本発明のこの例示的な実施形態は、屋内マップ構築デバイス２００がオフラインモードで屋内マップを生成する動作（第１のステージとも呼ばれる）と、ポータブル電子デバイス１２０がオンラインモードで実行する測位動作（第２のステージとも呼ばれる）とに分割できる。第１のステージで、縦軸方向及び横軸方向における透視画像の中心位置の基準画素の３次元基準座標値を記録するだけの技術的解決法は、格納デバイスのメモリ領域を効率的に節約するだけでなく、透視画像内の各特徴点の３次元座標を基準座標値から迅速に取得するので、特徴点の３次元座標で形成された屋内マップを測位データベースに記録することに留意すべきである。さらに、第１のステージで種々の屋内環境に対応した屋内マップを記憶することで、ポータブル電子デバイスは、現在の屋内環境に対応した屋内マップのみをダウンロードし、第２のステージにて、これをポータブル電子デバイスで撮影したリアルタイム画像と比較することができる。特に、第２のステージで、ポータブル電子デバイスは、屋内マップとリアルタイム画像の間の記述子どうしを特徴点の記述子の性質に基づいて比較することで、マッチしない記述子を迅速に除去し、これにより、ポータブル電子デバイスのポーズを効率的かつ正確に判定することができる（つまり、ポータブル電子デバイス１２０の３次元座標値及び回転角度）。

【0084】

前述を斟酌し、本発明の実施形態による屋内測位方法、屋内測位システム、屋内マップ構築デバイスは、取得した３６０度パノラマ画像の分析と、屋内マップの迅速な生成とをオフラインモードで行うことができる。そのため、ポータブル電子デバイスは、自体が撮影したリアルタイム画像を屋内マップとオンラインモードにて比較することにより、ユーザのポータブル電子デバイスを測位する。さらに、本発明の実施形態におけるポータブル電子デバイスは、屋内マップとリアルタイム画像との間の非マッチを示す記述子を迅速に除去することで、ポータブル電子デバイスのポーズを迅速に判定する。そのため、ポータブル電子デバイスは、より便利な動作エクスペリエンスを提供するべく対応情報をユーザに効果的に提供する。

【0085】

当業者は、本発明の範囲又は趣旨から逸脱することなく、本発明の構造に様々な修正及び変形を加えることが可能である。前述を斟酌し、本発明は、以降の請求項及びその均等物の範囲に入る修正及び変形を包括する。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】