特表 2023-532831 仮想室内空間コンテンツ提供方法およびそのためのサーバー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-01

(54)【発明の名称】仮想室内空間コンテンツ提供方法およびそのためのサーバー

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230725BHJP

【ＦＩ】

G06T19/00 300B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022545060

(86)(22)【出願日】2021-09-16

(85)【翻訳文提出日】2022-07-28

(86)【国際出願番号】 KR2021012651

(87)【国際公開番号】W WO2022255546

(87)【国際公開日】2022-12-08

(31)【優先権主張番号】10-2021-0070117

(32)【優先日】2021-05-31

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0070118

(32)【優先日】2021-05-31

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519025987

【氏名又は名称】スリーアイ インコーポレーテッド

【氏名又は名称原語表記】３Ｉ ＩＮＣ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】キム、ケン

(72)【発明者】

【氏名】ジョン、ジ ウク

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA17

5B050BA20

5B050CA07

5B050CA08

5B050DA01

5B050EA19

5B050EA26

5B050FA02

(57)【要約】

サーバーは実際の室内空間に対応する仮想室内空間コンテンツを提供するサーバーであって、メモリ、通信モジュールおよび前記メモリおよび前記通信モジュールと作動的に（ｏｐｅｒａｔｉｖｅｌｙ）連結される少なくとも一つのプロセッサを含む。前記少なくとも一つのプロセッサは、前記通信モジュールを通じて、モバイル端末から、前記仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信し、前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成することができる。
【選択図】図１２

【特許請求の範囲】

【請求項1】

実際の室内空間に対応する仮想室内空間コンテンツを提供するサーバーであって、
メモリ；
通信モジュール；および
前記メモリおよび前記通信モジュールと作動的に（ｏｐｅｒａｔｉｖｅｌｙ）連結される少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、
前記通信モジュールを通じて、モバイル端末から、前記仮想室内空間コンテンツの生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信し、前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成する
ことを特徴とするサーバー。

【請求項2】

前記少なくとも一つのプロセッサは、
前記映像データに含まれた、開始地点に対する開始地点情報、前記開始地点以後の第１地点に対する第１地点情報および前記第１地点に対する第１相対的位置情報を確認し、
前記実際の室内空間に対応する平面情報で、前記開始地点に対応する仮想開始地点をマッピングし、前記仮想開始地点に対して前記第１相対的位置情報を適用して前記第１地点に対応する第１仮想地点をマッピングする
請求項１に記載のサーバー。

【請求項3】

前記少なくとも一つのプロセッサは、
前記映像データに含まれた、前記第１地点以後の第２地点に対する第２地点情報および前記第２地点に対する第２相対的位置情報をさらに確認し、
前記実際の室内空間に対応する平面情報で、前記第１仮想地点に対して前記第２相対的位置情報を適用して前記第２地点に対応する第２仮想地点をマッピングする
請求項２に記載のサーバー。

【請求項4】

前記全方位イメージは、
互いに異なる角度を基準として撮像された複数の部分イメージを含み、
前記少なくとも一つのプロセッサは、
前記複数の部分イメージで互いに共通する特徴を基準として前記複数の部分イメージを整合して全方位で確認可能な全方位仮想イメージを生成する
請求項１に記載のサーバー。

【請求項5】

前記少なくとも一つのプロセッサは、
前記全方位仮想イメージを、該当全方位イメージが獲得された室内地点に対応する仮想地点に関連させて保存する
請求項４に記載のサーバー。

【請求項6】

前記少なくとも一つのプロセッサは、
前記通信モジュールを通じて、使用者端末に前記実際の室内空間に対応する仮想室内空間コンテンツに対する平面情報を提供するものの、
前記平面情報は、
前記複数の室内地点それぞれにマッピングされる複数の仮想地点を含む
請求項４に記載のサーバー。

【請求項7】

前記少なくとも一つのプロセッサは、
前記通信モジュールを通じて、使用者端末から、前記複数の仮想地点のうちいずれか一つに対する要請を受信すると、該当仮想地点に関連した前記全方位仮想イメージを前記使用者端末に提供する
請求項６に記載のサーバー。

【請求項8】

実際の室内空間に対応する仮想室内空間コンテンツをサービスするサーバーで遂行される仮想室内空間コンテンツ提供方法であって、
モバイル端末から、実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信する段階；および
前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成する段階；を含む
ことを特徴とする仮想室内空間コンテンツ提供方法。

【請求項9】

前記仮想室内空間コンテンツを生成する段階は、
前記映像データに含まれた、開始地点に対する開始地点情報、前記開始地点以後の第１地点に対する第１地点情報および前記第１地点に対する第１相対的位置情報を確認する段階；および
前記実際の室内空間に対応する平面情報で、前記開始地点に対応する仮想開始地点をマッピングし、前記仮想開始地点に対して前記第１相対的位置情報を適用して前記第１地点に対応する第１仮想地点をマッピングする段階；を含む
請求項８に記載の仮想室内空間コンテンツ提供方法。

【請求項10】

前記仮想室内空間コンテンツを生成する段階は、
前記映像データに含まれた、前記第１地点以後の第２地点に対する第２地点情報および前記第２地点に対する第２相対的位置情報をさらに確認する段階；および
前記実際の室内空間に対応する平面情報で、前記第１仮想地点に対して前記第２相対的位置情報を適用して前記第２地点に対応する第２仮想地点をマッピングする段階；をさらに含む
請求項９に記載の仮想室内空間コンテンツ提供方法。

【請求項11】

前記全方位イメージは、
互いに異なる角度を基準として撮像された複数の部分イメージを含み、
前記仮想室内空間コンテンツを生成する段階は、
前記複数の部分イメージで互いに共通する特徴を基準として前記複数の部分イメージを整合して全方位で確認可能な全方位仮想イメージを生成する段階；および
前記全方位仮想イメージを、該当全方位イメージが獲得された室内地点に対応する仮想地点に関連させて保存する段階；を含む
請求項８に記載の仮想室内空間コンテンツ提供方法。

【請求項12】

前記仮想室内空間コンテンツ提供方法は、
通信モジュールを通じて、使用者端末に前記実際の室内空間に対応する仮想室内空間コンテンツに対する平面情報－前記平面情報は、前記複数の室内地点それぞれにマッピングされる複数の仮想地点を含む－を提供する段階；および
使用者端末から、前記複数の仮想地点のうちいずれか一つに対する要請を受信すると、該当仮想地点に関連した前記全方位仮想イメージを前記使用者端末に提供する段階；を含む
請求項８に記載の仮想室内空間コンテンツ提供方法。

【請求項13】

コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体において、
前記インストラクションは、サーバーによって実行される時、前記サーバーに、
モバイル端末から、実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信する動作；および
前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成する動作；を遂行するようにする
ことを特徴とする保存媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は仮想室内空間コンテンツ生成のためのモバイル端末、それを利用した仮想室内空間コンテンツ提供方法およびそのためのサーバーに関する。

【背景技術】

【0002】

電子技術の発展につれて、多様な環境をオンライン上で具現する技術が開発されており、そのような一環として実際の環境をオンライン上で仮想化して仮想環境を作る仮想化技術がある。

【0003】

実際の環境を仮想化するためには、実際の環境に対して獲得された多様な角度のイメージを利用して仮想環境を生成することと、生成された仮想環境を該当イメージを獲得した位置と関連させることが重要である。

【0004】

室外環境である場合には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用してイメージ獲得位置に対する情報を獲得できるため、容易に位置情報を獲得することができる。

【0005】

しかし、室内環境の場合には、室内でのイメージ撮影位置およびその移動経路などの確認が難しいという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の一技術的側面は前記のような従来技術の問題点を解決するためのものであり、本文書に開示される実施例によると、室内環境で撮影された全方位イメージに対する位置を効率的に生成することができ、それに伴い、室内環境に対する仮想室内空間コンテンツを生成することができる。

【0007】

本発明の課題は以上で言及した課題に制限されず、言及されていないさらに他の課題は以下の記載から当業者に明確に理解され得る。

【課題を解決するための手段】

【0008】

本発明の一技術的側面はサーバーを提案する。前記サーバーは、実際の室内空間に対応する仮想室内空間コンテンツを提供するサーバーであって、メモリ、通信モジュールおよび前記メモリおよび前記通信モジュールと作動的に（ｏｐｅｒａｔｉｖｅｌｙ）連結される少なくとも一つのプロセッサを含む。前記少なくとも一つのプロセッサは、前記通信モジュールを通じて、モバイル端末から、前記仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信し、前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成することができる。

【0009】

本発明の他の技術的側面は、実際の室内空間に対応する仮想室内空間コンテンツをサービスするサーバーで遂行される仮想室内空間コンテンツ提供方法を提案する。前記仮想室内空間コンテンツ提供方法は、モバイル端末から、実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信する段階および前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成する段階を含むことができる。

【0010】

本発明のさらに他の一技術的側面は、保存媒体を提案する。前記保存媒体は、コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体において、前記インストラクションは、サーバーによって実行される時、前記サーバーに、モバイル端末から、実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信する動作および前記相対的位置情報に基づいて前記複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして前記仮想室内空間コンテンツを生成する動作を遂行するようにすることができる。

【0011】

本発明の一技術的側面はモバイル端末を提案する。前記モバイル端末は、全方位イメージを獲得する全方位カメラと連動して実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データを提供するモバイル端末であって、前記モバイル端末の前方に対する前方映像を生成する前方カメラ、前記モバイル端末の移動による慣性センシングデータを生成する慣性測定センサおよび前記前方映像の変化および前記慣性センシングデータの変化量を利用して、前記全方位イメージが獲得された室内地点に対する相対的位置情報を生成するアプリケーションを実行する少なくとも一つのプロセッサを含むことができる。前記相対的位置情報は以前の室内地点から前記室内地点までの相対的な移動経路を含むことができる。

【0012】

本発明の他の技術的側面はモバイル端末の制御方法を提案する。前記モバイル端末の制御方法は、実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データを提供するモバイル端末で遂行されるモバイル端末の制御方法であって、前記実際の室内空間に含まれる室内地点に対する全方位イメージの生成を要請する段階、モバイル端末の前方に対する前方映像を生成する段階、前記モバイル端末の移動による慣性センシングデータを生成する段階および前記前方映像の変化および前記慣性センシングデータの変化量を利用して、前記室内地点に対する相対的位置情報を生成する段階を含む。前記相対的位置情報は以前の室内地点から前記室内地点までの相対的な移動経路を含むことができる。

【0013】

本発明のさらに他の一技術的側面は保存媒体を提案する。前記保存媒体は、コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体であって、前記インストラクションは、モバイル端末‐前記モバイル端末は、全方位イメージを獲得する全方位カメラと連動して実際の室内空間に対応する仮想室内空間コンテンツ生成のための映像データを提供する－によって実行される時、前記モバイル端末に、前記実際の室内空間に含まれる室内地点に対する全方位イメージの生成を要請する動作、モバイル端末の前方に対する前方映像を生成する動作、前記モバイル端末の移動による慣性センシングデータを生成する動作および前記前方映像の変化および前記慣性センシングデータの変化量を利用して、前記室内地点に対する相対的位置情報を生成する動作を遂行するようにし、前記相対的位置情報は以前の室内地点から前記室内地点までの相対的な移動経路を含むことができる。

【0014】

前記課題の解決手段は、本発明の特徴をすべて列挙したものではない。本発明の課題解決のための多様な手段は以下の詳細な説明の具体的な実施形態を参照してより詳細に理解され得るであろう。

【発明の効果】

【0015】

本文書によると、次のような効果が一つあるいはそれ以上ある。

【0016】

本文書に開示される一実施例によると、室内環境で撮影された全方位イメージに対する位置を効率的に生成することができる。

【0017】

また、本文書に開示される実施例によると、室内環境で撮影された位置間の相対的移動情報を生成して撮影位置および移動経路に対する情報を確保することができる。

【0018】

また、本文書に開示される実施例によると、室内空間に対する仮想室内空間コンテンツを生成して提供することができる。

【0019】

本発明の効果は以上で言及した効果に制限されず、言及されていないさらに他の効果は特許請求の範囲の記載から当業者に明確に理解され得る。

【図面の簡単な説明】

【0020】

【図1】本文書に開示される一実施例に係る実際の室内空間に対応する仮想室内空間コンテンツを提供するシステムの一例を例示する図面である。

【図2】本文書に開示される一実施例に係る全方位カメラを説明するブロック構成図である。

【図3】本文書に開示される一実施例に係るモバイル端末を説明するブロック構成図である。

【図4】本文書に開示される一実施例に係るサーバーを説明するブロック構成図である。

【図5】本文書に開示される一実施例に係る実際の室内空間に対応する仮想室内空間コンテンツを提供するシステムの他の一例を例示する図面である。

【図6】本文書に開示される一実施例に係るモバイル端末で遂行されるモバイル端末の制御方法を説明するフローチャートである。

【図7】本文書に開示される一実施例に係るモバイル端末で遂行される相対的位置情報生成を説明するフローチャートである。

【図8】本文書に開示される一実施例に係る視覚的移動情報を説明する図面である。

【図9】本文書に開示される一実施例に係る相対的位置情報を説明する図面である。

【図10】本文書に開示される一実施例に係る移動経路の設定を説明する図面である。

【図11】本文書に開示される一実施例に係るモバイル端末での経路設定の一例を図示する図面である。

【図12】本文書に開示される一実施例に係るサーバーで遂行される仮想室内空間コンテンツ提供方法を説明するフローチャートである。

【図13】本文書に開示される一実施例に係るサーバーで遂行される相対的位置情報生成を説明するフローチャートである。

【図14】本文書に開示される一実施例に係るサーバーで遂行される仮想地点マッピングを説明するフローチャートである。

【発明を実施するための形態】

【0021】

以下、添付された図面を参照して本発明の好ましい実施形態を説明する。

【0022】

しかし、本発明の実施形態は多様な他の形態で変形され得、本発明の範囲は以下で説明する実施形態に限定されるものではない。また、本発明の実施形態は当該技術分野で平均的な知識を有する者に本発明をさらに完全に説明するために提供されるものである。

【0023】

本文書の多様な実施例およびこれに使われた用語は、本文書に記載された技術的特徴を特定の実施例に限定しようとするものではなく、該当実施例の多様な変更、均等物、または代替物を含む。図面の説明と関連して、類似するまたは関連した構成要素に対しては類似する参照符号が使われ得る。アイテムに対応する名詞の単数形は関連した文脈上明白に異なるように指示しない限り、前記アイテムの一つまたは複数個を含むことができる。本文書で、「ＡまたはＢ」、「ＡおよびＢのうち少なくとも一つ」、「ＡまたはＢのうち少なくとも一つ」、「Ａ、ＢまたはＣ」、「Ａ、ＢおよびＣのうち少なくとも一つ」および「Ａ、Ｂ、またはＣのうち少なくとも一つ」のような文面それぞれは、その文面のうち該当する文面に共に羅列された項目のうちいずれか一つ、またはそれらのすべての可能な組み合わせを含むことができる。「第１」、「第２」、または「一番目」または「二番目」のような用語は単純に該当構成要素を他の該当構成要素と区分するために使われ得、該当構成要素を他の側面（例えば、重要性または順序）で限定しない。或る（例えば、第１）構成要素が他の（例えば、第２）構成要素に、「機能的に」または「通信的に」という用語とともにまたはこのような用語なしに、「カップルド」、「コネクテッド」または「連結された」と言及された場合、それは前記或る構成要素が前記他の構成要素に直接的に、または第３構成要素を通じて連結され得るということを意味する。

【0024】

本文書で使われた用語「モジュール」は、ハードウェア、ソフトウェアまたはファームウェアで具現されたユニットを含むことができ、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互に互換的に使われ得る。モジュールは、一体に構成された部品または一つまたはそれ以上の機能を遂行する、前記部品の最小単位またはその一部となり得る。例えば、一実施例によると、モジュールはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形態で具現され得る。

【0025】

本文書の多様な実施例は機器（ｍａｃｈｉｎｅ）（例えば、モバイル端末２００）により読み取り可能な保存媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）（例えば、メモリ２４０）に保存された一つ以上の命令語を含むソフトウェア（例えば、プログラム）で具現され得る。例えば、機器（例えば、モバイル端末２００）のプロセッサ（例えば、プロセッサ２６０）は、保存媒体から保存された一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを実行することができる。これは機器が前記呼び出された少なくとも一つの命令語により少なくとも一つの機能を遂行するように運営されることを可能にする。前記一つ以上の命令語はコンパイラによって生成されたコードまたはインタープリタによって実行され得るコードを含むことができる。機器で読み取り可能な保存媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供され得る。ここで、「非一時的」は保存媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁波）を含まないということを意味するだけであり、この用語はデータが保存媒体に半永久的に保存される場合と臨時的に保存される場合を区分しない。

【0026】

実施例によると、本文書に開示された多様な実施例に係る方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供され得る。コンピュータプログラム製品は商品であって、販売者および購買者間に取引され得る。コンピュータプログラム製品は機器で読み取り可能な保存媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤＲＯＭ））の形態で配布されたり、またはアプリケーションストア（例えば、プレーストアＴＭ）を通じて、または二つの使用者装置（例えば、スマートフォン）間に直接、オンラインで配布（例えば、ダウンロードまたはアップロード）され得る。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバー、アプリケーションストアのサーバー、または中継サーバーのメモリのような機器で読み取り可能な保存媒体に少なくとも一時保存されたり、臨時的に生成され得る。

【0027】

多様な実施例によると、前述した構成要素のそれぞれの構成要素（例えば、モジュールまたはプログラム）は単数または複数の個体を含むことができる。多様な実施例によると、前述した該当構成要素のうち一つ以上の構成要素または動作が省略されたり、または一つ以上の他の構成要素または動作が追加され得る。大体または追加的に、複数の構成要素（例えば、モジュールまたはプログラム）は一つの構成要素として統合され得る。このような場合、統合された構成要素は前記複数の構成要素それぞれの構成要素の一つ以上の機能を、前記統合以前に前記複数の構成要素のうち該当構成要素によって遂行されるものと同一または類似するように遂行できる。多様な実施例によると、モジュール、プログラムまたは他の構成要素によって遂行される動作は順次、並列的に、繰り返し、またはヒューリスティックに実行されるか、前記動作のうち一つ以上が異なる順序で実行されるか、省略または一つ以上の他の動作が追加され得る。

【0028】

本発明の実施形態を説明するために多様なフローチャートが開示されているが、これは各段階の説明の便宜のためのものであり、必ずしもフローチャートの順序に沿って各段階行って遂行されるものではない。すなわち、フローチャートでの各段階は、互いに同時に遂行されたり、フローチャートに沿った順で遂行されたり、またはフローチャートでの順序と反対の順序で遂行されてもよい。

【0029】

図１は、本文書に開示される一実施例に係る実際の室内空間に対応する仮想室内空間コンテンツを提供するシステムの一例を例示する図面である。

【0030】

図１を参照すると、システムは全方位カメラ装置１００、モバイル端末２００およびサーバー３００を含むことができる。

【0031】

全方位カメラ１００は全方位カメラ１００を中心に全方位イメージを撮影することができる。

【0032】

全方位カメラ１００は全方位仮想イメージを生成するための、互いに異なる角度を基準として撮像された複数のイメージ、すなわち、複数の部分イメージを生成することができる。

【0033】

一例として、全方位カメラ装置１００は１前面、後面、左側面および右側面にそれぞれ設置される４個のカメラモジュールを含むことができ、それぞれのカメラモジュールを通じて４個の部分イメージを生成することができる。他の例として、全方位カメラ装置１００は１８０度以上の広角を有するカメラを前面および後面に具備して、４個の部分イメージを生成することができる。

【0034】

全方位カメラ１００はモバイル端末２００と個別駆動される別途の装置であり得る。

【0035】

または全方位カメラ１００はモバイル端末２００を利用して具現される一機能で代替可能である。例えば、複数の部分イメージをモバイル端末２００を利用して撮像することで、全方位カメラ１００としての機能を提供することができる。

【0036】

ここで、全方位仮想イメージは、実際の室内空間に対応する仮想室内空間コンテンツを提供するために使われるものであり、すなわち、全方位カメラ１００は実際の室内空間に対する撮影を遂行する。

【0037】

モバイル端末２００は全方位カメラ１００と連結されて、全方位カメラ１００から全方位仮想イメージを生成するための複数の部分イメージ（以下、全方位イメージと称する）の提供を受けることができる。

【0038】

モバイル端末２００は全方位イメージが獲得した位置に対する位置情報を生成することができる。一方、モバイル端末２００および全方位カメラ１００は室内空間で撮影を遂行するため、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）のような、絶対座標を基盤とする位置情報を獲得することができない。したがって、モバイル端末２００は相対的な位置情報を生成する。ここで、相対的位置情報は、以前の全方位イメージが獲得された室内地点から、現在の全方位イメージが獲得された室内地点までの相対的な移動経路を含む。

【0039】

一実施例で、全方位カメラ１００とモバイル端末２００は一つのアセンブリ１０で具現され得る。例えば、据置台上に、全方位カメラ１００およびモバイル端末２００が固定されて使われ得る。

【0040】

モバイル端末２００は全方位イメージおよび該当全方位イメージに対する相対的位置情報をサーバー３００に提供することができる。

【0041】

モバイル端末２００は携帯可能な電子機器であって、例えば、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））等を包括する。

【0042】

サーバー３００は全方位イメージを利用して全方位仮想イメージを生成し、相対的位置情報に基づいて複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして仮想室内空間コンテンツを生成することができる。

【0043】

使用者端末４００はサーバー３００から仮想室内空間コンテンツの提供を受けることができる。

【0044】

図２は、本文書に開示される一実施例に係る全方位カメラを説明するブロック構成図である。

【0045】

図２を参照すると、全方位カメラ１００は全方位カメラモジュール１１０、通信モジュール１２０、制御モジュール１３０およびメモリ１４０を含むことができる。

【0046】

全方位カメラモジュール１１０は全方位イメージを生成できるカメラであって、例えば、互いに異なる角度を指向する複数のカメラモジュールを含むことができる。

【0047】

通信モジュール１２０はモバイル端末２００との通信連結を設定することができる。例えば、通信モジュール１２０はブルートゥース（登録商標）などの近距離無線通信モジュールまたは有線通信モジュールのうち少なくとも一つを利用してモバイル端末２００と通信連結を設定することができる。

【0048】

制御モジュール１３０はメモリ２４０に保存されたプログラムを駆動して、全方位カメラモジュール１１０乃至通信モジュール１２０を制御することができる。例えば、制御モジュール１３０は全方位カメラモジュール１１０を制御して全方位イメージを生成するようにし、生成された全方位イメージを通信モジュール１２０を通じてモバイル端末２００に提供することができる。

【0049】

メモリ１４０はプログラム乃至全方位イメージを保存でき、制御モジュール１３０の駆動のためのメモリ空間を提供することができる。

【0050】

図３は、本文書に開示される一実施例に係るモバイル端末を説明するブロック構成図である。

【0051】

図３を参照すると、モバイル端末２００は前方カメラ２１０、慣性測定センサ２２０、通信モジュール２３０、ディスプレイモジュール２４０、プロセッサ２５０およびメモリ２６０を含む。

【0052】

図示してはいないが、モバイル端末２００の構成は前記羅列された構成や各構成要素の名称に制限されない。例えば、モバイル端末２００に電源を供給するためのバッテリーなどがモバイル端末２００に含まれてもよい。このように、本文書に開示された多様な実施例を具現するための電子装置の構成が、当業者水準で多様に変形されて具現され得る。以下では説明の便宜のために、機能を中心にそれぞれの構成を説明する。

【0053】

前方カメラ２１０は少なくとも一つのカメラを含むことができる。前方カメラ２１０は一つ以上のレンズ、イメージセンサ、イメージシグナルプロセッサ、またはフラッシュを含むことができる。

【0054】

前方カメラ２１０はモバイル端末２００の前方映像を撮影することができる。

【0055】

慣性測定センサ２２０はモバイル端末２００の慣性的特徴を感知し、感知された状態に対応する電気信号またはデータ値を生成することができる。一例として、慣性測定センサ２２０はジャイロセンサおよび加速度センサを含むことができる。慣性測定センサ２２０によって測定されたデータを以下、慣性センシングデータと称する。

【0056】

通信モジュール２３０は、モバイル端末２００と全方位カメラ１００の間、またはモバイル端末２００とサーバー３００の間の通信を可能にする一つ以上のモジュールを含むことができる。このような通信モジュール２３０は移動通信モジュール、無線インターネットモジュールおよび近距離通信モジュールのうち少なくとも一つを含むことができる。近距離通信モジュールは有線または無線で全方位カメラ１００と通信連結を遂行できる。例えば、近距離通信モジュールはブルートゥース（登録商標）などの近距離無線通信モジュールまたはＲＳ２３２のような有線通信モジュールを含むことができる。

【0057】

ディスプレイモジュール２４０はタッチセンサと相互にレイヤ構造をなすか一体型で形成されることによって、タッチスクリーンを具現することができる。このようなタッチスクリーンは、モバイル端末２００とモバイル端末を利用する入力者間の入力インターフェースを提供する入力部として機能するとともに、出力インターフェースを提供することができる。

【0058】

プロセッサ２５０はメモリ２６０に保存されたアプリケーション、すなわち、アプリケーションを駆動するために、図３で図示された構成要素のうち少なくとも一部を制御することができる。ひいては、プロセッサ２５０は前記アプリケーションの駆動のために、モバイル端末１００に含まれた構成要素のうち少なくとも二つ以上を互いに組み合わせて動作させることができる。プロセッサ２５０はメモリ２６０に保存されたインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を実行してアプリケーションを駆動することができる。

【0059】

プロセッサ２５０は前記アプリケーションに関連した動作の他にも、通常的にモバイル端末２００の全般的な動作を制御する。プロセッサ２５０は前記にて詳察した構成要素を通じて入力または出力される信号、データ、情報などを処理したりメモリ２６０に保存されたアプリケーションを駆動することによって、使用者に適切な情報または機能を提供または処理することができる。プロセッサ２５０は一つのプロセッサまたは複数のプロセッサで具現可能である。

【0060】

一例として、プロセッサ２５０は前方映像の変化および慣性センシングデータの変化量を利用して、全方位イメージが獲得された室内地点に対する相対的位置情報を生成することができる。

【0061】

一例として、プロセッサ２５０は、前方映像で少なくとも一つの特徴点を抽出し、抽出された前記少なくとも一つの特徴点の変化に基づいてモバイル端末の視覚的移動情報－前記視覚的移動情報は移動方向および移動距離のうち少なくとも一つを含む－を生成することができる。

【0062】

一例として、プロセッサ２５０は、慣性センシングデータの変化量を利用してモバイル端末の慣性的移動情報－前記慣性的移動情報は移動方向および移動距離のうち少なくとも一つを含む－を生成し、慣性的移動情報に基づいて視覚的移動情報を検証して前記相対的位置情報を生成することができる。

【0063】

一例として、プロセッサ２５０は、視覚的移動情報で既設定された臨界値－前記臨界値は方向転換の臨界値および移動距離の臨界値のうち少なくとも一つを含む－を超過する異常値データが発生すると、視覚的移動情報の異常値データに対応する慣性的移動情報のデータを異常値データと比較して、異常値データの適用可否を判断することができる。

【0064】

プロセッサ２５０の動作に対する具体的な説明は、以下で図６～図１１を参照してより詳細に説明する。以下の説明で、モバイル端末２００またはプロセッサ２５０をアプリケーションを駆動して制御、指示または機能の主体として表現するが、これは、プロセッサ２５０がメモリ２６０に保存されたインストラクションまたはアプリケーションを駆動して動作することを意味する。

【0065】

前記各構成要素のうち少なくとも一部は、以下で説明される多様な実施例に係るモバイル端末の動作、制御または制御方法を具現するために、互いに協力して動作することができる。また、前記モバイル端末の動作、制御、または制御方法は、前記メモリ２６０に保存された少なくとも一つのアプリケーションの駆動によってモバイル端末上で具現され得る。

【0066】

図４は、本文書に開示される一実施例に係るサーバーを説明するブロック構成図である。

【0067】

図４を参照すると、サーバー３００は通信モジュール３１０、プロセッサ３２０およびメモリ３３０を含むことができる。

【0068】

通信モジュール３１０は、サーバー３００とモバイル端末２００の間、またはサーバー３００と使用者端末４００の間の通信を可能にする一つ以上のモジュールを含むことができる。

【0069】

プロセッサ３２０はメモリおよび通信モジュールと作動的に（ｏｐｅｒａｔｉｖｅｌｙ）連結される一つまたは複数のプロセッサを意味する。

【0070】

プロセッサ３２０はメモリ３３０に保存されたプログラム、例えば、オペレーティングシステムおよび／またはサーバーアプリケーションを駆動することができる。

【0071】

プロセッサ３２０はメモリ３３０に保存されたインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を実行してアプリケーションを駆動することができる。

【0072】

一例として、プロセッサ３２０は、モバイル端末から、仮想室内空間コンテンツ生成のための映像データ－前記映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む－を受信し、相対的位置情報に基づいて複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして仮想室内空間コンテンツを生成することができる。

【0073】

プロセッサ３２０に対する具体的な説明は以下でより詳細に説明する。以下では、サーバー３００またはプロセッサ３２０をアプリケーションを駆動して制御、指示または機能の主体として表現するが、これは、プロセッサ３２０はメモリ３３０に保存されたインストラクションまたはアプリケーションを駆動して動作することを意味する。

【0074】

図５は、本文書に開示される一実施例に係る実際の室内空間に対応する仮想室内空間コンテンツを提供するシステムの他の一例を例示する図面である。

【0075】

図５に図示された一実施例には、専用端末２０１をさらに含む。専用端末２０１は図１に図示されたモバイル端末２０１の一部の機能を遂行する端末であり、全方位カメラ１００が全方位イメージを獲得する時、専用端末２０１は相対的な位置情報を生成することができる。また、専用端末２０１は全方位イメージとそれに対する相対的位置情報を関連させて保存し、これをモバイル端末２００を通じてサーバー３００に提供することができる。

【0076】

モバイル端末２００は、入力者の操作により全方位カメラ１００および／または専用端末２０１の動作を制御することができる。すなわち、モバイル端末２００は入力者に作業のためのインターフェースを提供し、相対的な位置情報の生成およびそれに対する全方位イメージとの関連は専用端末２０１によって遂行され得る。

【0077】

以下、図６～図１４を参照して、仮想室内空間コンテンツを提供するシステムの各構成要素の動作および制御方法に対してより詳細に説明する。

【0078】

図６は、本文書に開示される一実施例に係るモバイル端末で遂行されるモバイル端末の制御方法を説明するフローチャートである。

【0079】

図６を参照すると、モバイル端末２００、具体的にはモバイル端末２００のプロセッサ２６０は、全方位カメラ１００と通信連結を遂行できる（Ｓ６０１）。

【0080】

モバイル端末２００は実際の室内空間のいずれか一地点で撮影を開始することができ、これを開始地点と称する。モバイル端末２００は開始地点を設定することができる（Ｓ６０２）。

【0081】

一例として、モバイル端末２００は実際の室内空間に対する平面情報をディスプレイし、モバイル端末２００を操作する入力者の入力によって平面情報上のいずれか一点を開始地点として入力を受けることができる。

【0082】

モバイル端末２００は入力者の入力により、開始地点に対する全方位イメージを生成することを全方位カメラ１００に要請し（Ｓ６０３）、全方位カメラ１００は開始地点で全方位イメージを生成してモバイル端末２００に提供することができる（Ｓ６０４）。

【0083】

モバイル端末２００は開始地点と、開始地点で撮影された全方位イメージを関連させて保存することができる（Ｓ６０５）。

【0084】

モバイル端末２００は入力者によって開始地点から第１地点に移動することができる（Ｓ６０６）。

【0085】

モバイル端末２００は入力者の入力により、第１地点に対する全方位イメージを生成することを全方位カメラ１００に要請し（Ｓ６０７）、全方位カメラ１００は第１地点で全方位イメージを生成してモバイル端末２００に提供することができる（Ｓ６０８）。

【0086】

モバイル端末２００は前方映像および慣性センシングデータを利用して、第１地点に対する相対的位置情報を生成することができる（Ｓ６０９）。

【0087】

モバイル端末２００は第１地点に対する相対的位置情報と、第１地点に対する全方位イメージを関連させて（Ｓ６１０）保存することができる。モバイル端末２００は第１地点に対する全方位イメージおよび第１地点に対する相対的位置情報を相互に関連させて、映像データとしてサーバーに提供することができる。

【0088】

図６は開始地点および以後の第１地点に対するモバイル端末２００の動作を説明したが、これに限定されるものではなく、以降の連続する各地点に対しても継続的に相対的位置情報を生成し、それに対する全方位イメージを生成して関連させることができる。

【0089】

一実施例で、モバイル端末２００は相対的位置情報を平面情報上に反映して経路を設定することができる。モバイル端末２００は入力者の入力により前記平面情報上のいずれか一点を開始地点として入力を受け、モバイル端末が移動した後入力者の入力により平面情報上の他のいずれか一地点を第１地点として入力を受けることができる。モバイル端末２００は開始地点から第１地点までの相対的位置情報を平面情報上に反映して、平面情報上の前記開始地点から前記第１地点に至る経路を設定することができる。

【0090】

図１１は本文書に開示される一実施例に係るモバイル端末での経路設定の一例を図示する図面であり、図１１を参照すると、モバイル端末２００は第１地点Ｐ１から第２地点Ｐ２に至る相対的位置情報を、平面情報Ｄ１上に表示して経路ＭＰを表示することができる。また、モバイル端末２００は平面情報Ｄ１上に現在の位置ＣＰを表示でき、現在の位置で獲得される前方映像を表示Ｄ２することができる。前方映像には少なくとも一つの特徴点ＳＰが表示され得る。

【0091】

一実施例で、モバイル端末２００は開始地点と第１地点を基準として相対的位置情報の進行方向を平面情報上に反映することができる。すなわち、相対的位置情報はモバイル端末２００の前方を基準として作成されるが、平面情報上でのどの方向がモバイル端末２００の前方なのかを設定するために開始地点と第１地点を利用することができる。モバイル端末２００は実際の室内空間に対する平面情報をディスプレイし、入力者の入力により平面情報上のいずれか一点を開始地点として入力を受ける。モバイル端末２００は開始地点でモバイル端末が移動した後、入力者の入力により平面情報上の他のいずれか一点を第１地点として入力を受ける。モバイル端末２００は開始地点から第１地点までの相対的位置情報を平面情報上に反映して、平面情報上での進行方向を相対的位置情報の進行方向とマッチングすることができる。

【0092】

図１０は本文書に開示される一実施例に係る移動経路の設定を説明する図面であり、平面情報上での各地点を表示している。開始地点ＳＰと第１地点Ｐ１を使用者が平面情報上で設定すると、モバイル端末２００は開始地点から第１地点までの相対的位置情報を平面情報上に反映して、平面情報上での進行方向を相対的位置情報の進行方向とマッチングすることができる。その後、モバイル端末２００は各地点間の相対的位置情報を表示することによって、第２地点Ｐ２、第３地点Ｐ３、現在の地点ＣＰを平面情報上に表示することができる。

【0093】

図７は本文書に開示される一実施例に係るモバイル端末で遂行される相対的位置情報生成を説明するフローチャートであり、以下、図７をさらに参照して、モバイル端末２００について説明する。

【0094】

モバイル端末２００はモバイル端末の前方に対する前方映像を生成し（Ｓ７０１）、モバイル端末２００の移動による慣性センシングデータを生成することができる（Ｓ７０２）。このような前方映像の生成および慣性センシングデータの生成は、モバイル端末が全方位イメージの生成を制御する動作を遂行する間継続的にまたは少なくとも一部持続的に遂行できる。

【0095】

モバイル端末２００は前方映像で少なくとも一つの特徴点を抽出し、抽出された少なくとも一つの特徴点の変化に基づいてモバイル端末の視覚的移動情報を生成することができる。ここで、視覚的移動情報は、前方映像に基づいて導き出された移動情報であり、移動方向および移動距離のうち少なくとも一つを含む。

【0096】

図８は本文書に開示される一実施例に係る視覚的移動情報を説明する図面であり、図８をさらに参照して説明すると、図８の図（ａ）は第１時点での前方映像の例であり、図（ｂ）は第１時点から所定時間が経過した第２時点での前方映像を例示している。

【0097】

図８の図（ａ）でモバイル端末２００は特徴点Ｆ１を抽出し、図（ｂ）でＦ１に相応する特徴点Ｆ２を抽出する。図（ｂ）のＦ１′は図（ａ）の特徴点Ｆ１の位置に対応する位置であり、したがって、図（ａ）の特徴点Ｆ１は、ΔＦ１の移動変位を有し、図（ｂ）のＦ１′になったのである。したがって、モバイル端末２００は特徴点の移動変位ΔＦ１を利用してカメラの移動変位、すなわち、移動方向および移動距離を推定することができ、推定された移動方向および移動距離を視覚的移動情報として生成することができる。

【0098】

再び図７を参照すると、モバイル端末２００は慣性センシングデータの変化量を利用してモバイル端末の慣性的移動情報を生成することができる（Ｓ７０４）。例えば、モバイル端末２００はジャイロセンサのセンシングデータおよび／または３軸加速度センサのセンシングデータを利用してモバイル端末の移動方向および移動距離を推定することができ、これを慣性的移動情報として生成することができる。

【0099】

一実施例で、視覚的移動情報は、毎単位時点に対して設定された移動方向および移動距離を関連させて保存された情報であり得る。例えば、視覚的移動情報は、毎単位時点を基準として算出された移動方向および移動距離の関連させた情報の集合であり得る。慣性的移動情報もこれに対応し得る。

【0100】

モバイル端末２００は慣性的移動情報に基づいて視覚的移動情報を検証して相対的位置情報を生成することができる（Ｓ７０５）。

【0101】

一実施例で、モバイル端末２００は視覚的移動情報を基準として相対的位置情報を設定するものの、視覚的移動情報で一定以上の数値変動を有する異常値が発生すると、これを慣性的移動情報として検証することができる。

【0102】

図９は本文書に開示される一実施例に係る相対的位置情報を説明する図面であり、図９をさらに参照して説明する。

【0103】

図９は、開始地点ＳＰで第１地点Ｐ１に達する視覚的移動情報ＶＰと、慣性的移動情報ＩＭＰを平面上で図示している。

【0104】

図９の図（ａ）で、視覚的移動情報ＶＰは異常値が発生しなかったし、慣性的移動情報ＩＭＰと少なくとも一部で差を有するものの、臨界範囲内で類似度を有している。

【0105】

反面、図９の図（ｂ）で、視覚的移動情報ＶＰは既設定された臨界値－前記臨界値は方向転換の臨界値および移動距離の臨界値のうち少なくとも一つを含む－を超過する異常値データＯＬが発生したし、このような場合、モバイル端末２００は視覚的移動情報の異常値データに対応する慣性的移動情報のデータを異常値データと比較して、異常値データの適用可否を判断することができる。すなわち、モバイル端末２００は図（ｂ）での慣性的移動情報ＩＭＰと比較時、視覚的移動情報の異常値データＯＬに対応する慣性的移動情報ＩＭＰで異常値に対応する変化がないので、異常値データＯＬを適用しないことができる。

【0106】

このように、モバイル端末２００は視覚的移動情報に対する異常値を慣性的移動情報を利用して検証するので、視覚的移動情報で発生する一時的なエラーを防止することができる。

【0107】

以下、図１２～図１４を参照してサーバー３００の動作について説明する。

【0108】

図１２は、本文書に開示される一実施例に係るサーバーで遂行される仮想室内空間コンテンツ提供方法を説明するフローチャートである。

【0109】

図１２を参照すると、サーバー３００は通信モジュールを通じてモバイル端末２００と通信連結（Ｓ１２０１）を設定することができる（Ｓ１２０１）。サーバー３００は仮想室内空間コンテンツを経験する使用者端末４００にも通信連結（Ｓ１２０１）を設定することができる（Ｓ１２０１）。

【0110】

サーバー３００はモバイル端末２００から、仮想室内空間コンテンツ生成のための映像データを受信する（Ｓ１２０２）。ここで、映像データは、複数の室内地点それぞれに対して、それぞれの室内地点で獲得した全方位イメージおよび該当室内地点に対する相対的位置情報を含む。

【0111】

サーバー３００は相対的位置情報に基づいて複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングして仮想室内空間コンテンツを生成することができる（Ｓ１２０３～Ｓ１２０５）。

【0112】

すなわち、サーバー３００は相対的位置情報に基づいて複数の室内地点に対応する複数の仮想地点を仮想室内空間上にマッピングすることができる（Ｓ１２０３）。

【0113】

サーバー３００は全方位イメージを整合して全方位仮想イメージを生成することができる（Ｓ１２０４）。全方位イメージは一地点で互いに異なる角度を基準として撮像された複数のイメージを含み、サーバー３００は複数のイメージで互いに共通する特徴を基準として複数のイメージを整合して全方位で確認可能な全方位仮想イメージを生成することができる。すなわち、隣接した二つのイメージでともに撮影された部分が合わせられるように整合を遂行できる。このために、サーバー３００は複数のイメージそれぞれに対して特徴点を抽出し、互いに隣接した二つのイメージで同一または一定以上の類似度を有する特徴点などをスティッチングして二つのイメージを整合することができる。このような整合を複数のイメージ全体に対して遂行して、サーバー３００は撮影地点を基準として全方位、すなわち、左右に３６０度および上下１８０度で確認が可能な全方位仮想イメージを生成することができる。

【0114】

サーバー３００は生成された全方位仮想イメージを、該当全方位イメージが獲得された室内地点に対応する仮想地点に関連させて保存することができる（Ｓ１２０５）。

【0115】

サーバー３００は生成された仮想室内空間コンテンツを使用者端末４００に提供することができる。仮想室内空間コンテンツとして、サーバー３００は使用者端末４００に実際の室内空間に対応する仮想室内空間コンテンツに対する平面情報を提供することができる（Ｓ１２０６）。

【0116】

ここで、平面情報は複数の室内地点それぞれにマッピングされる複数の仮想地点を含むことができる。

【0117】

使用者は複数の仮想地点のうちいずれか一つを選択して該当地点に対する全方位仮想イメージを要請することができる（Ｓ１２０７）。

【0118】

サーバー３００は使用者端末４００から、複数の仮想地点のうちいずれか一つに対する要請を受信すると、該当仮想地点に関連させた全方位仮想イメージを使用者端末４００に提供することができる。

【0119】

前述した説明で、相対的位置情報は使用者端末２００によって生成されることを説明したが、実施例によってはサーバー３００で相対的位置情報を生成することができる。図１３は、本文書に開示される一実施例に係るサーバーで遂行される相対的位置情報生成を説明するフローチャートである。

【0120】

図１３を参照すると、サーバー３００は使用者端末２００から、前方映像に対する特徴点の変化情報および慣性センシングデータを受信することができる（Ｓ１３０１）。実施例によっては、使用者端末２００は前方映像および慣性センシングデータを提供し、サーバー３００が前方映像に対して特徴点の変化情報を直接生成してもよい。

【0121】

サーバー３００は特徴点の変化に基づいてモバイル端末２００の視覚的移動情報を生成し（Ｓ１３０２）、慣性センシングデータの変化量を利用してモバイル端末２００の慣性的移動情報を生成することができる（Ｓ１３０３）。サーバー３００は視覚的移動情報に基づいて相対的位置情報を生成するものの、慣性的移動情報で視覚的移動情報を検証して相対的位置情報を生成することができる（Ｓ１３０４）。これに対する具体的な説明は図７などを参照して前述した説明を参照して理解することができる。

【0122】

図１４は本文書に開示される一実施例に係るサーバーで遂行される仮想地点マッピングを説明するフローチャートであり、図１４を参照して仮想地点マッピングについて説明する。

【0123】

サーバー４００は、映像データに含まれた、開始地点に対する開始地点情報、開始地点以後の第１地点に対する第１地点情報および前記第１地点に対する第１相対的位置情報を確認することができる（Ｓ１４０１）。一例として、開始地点情報および第１地点情報は室内空間に対する平面情報を利用して、例えば、平面情報上の座標情報などで設定され得る。

【0124】

サーバー４００は、平面情報で開始地点に対応する仮想開始地点をマッピングし（Ｓ１４０２）、仮想開始地点に対して第１相対的位置情報を適用して第１地点に対応する第１仮想地点をマッピングすることができる（Ｓ１４０３）。サーバー４００は、第１仮想地点と第１地点情報を比較して検証することができる。

【0125】

サーバー４００は、映像データに含まれた、第１地点以後の第２地点に対する第２地点情報および前記第２地点に対する第２相対的位置情報をさらに確認することができる（Ｓ１４０３）。サーバー４００は、実際の室内空間に対応する平面情報で、第１仮想地点に対して第２相対的位置情報を適用して第２地点に対応する第２仮想地点をマッピングすることができる（Ｓ１４０５）。サーバー４００は、第２仮想地点と第２地点情報を比較して検証することができる。

【0126】

以上で説明した本発明は前述した実施例および添付された図面によって限定されるものではなく、後述する特許請求の範囲によって限定され、本発明の構成は本発明の技術的思想を逸脱しない範囲内でその構成を多様に変更および改造できることを本発明が属する技術分野で通常の知識を有する者は容易に分かる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】