特許 7530672 ３次元仮想モデル提供方法およびそのための３次元仮想モデル提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】３次元仮想モデル提供方法およびそのための３次元仮想モデル提供システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240801BHJP

   G06T 17/20 20060101ALI20240801BHJP

   G06T 7/55 20170101ALI20240801BHJP

【ＦＩ】

G06T19/00 A

G06T17/20

G06T7/55

【請求項の数】 14

(21)【出願番号】P 2022564794

(86)(22)【出願日】2022-07-20

(65)【公表番号】

(43)【公表日】2024-02-15

(86)【国際出願番号】 KR2022010580

(87)【国際公開番号】W WO2023128100

(87)【国際公開日】2023-07-06

【審査請求日】2022-10-25

(31)【優先権主張番号】10-2021-0193635

(32)【優先日】2021-12-31

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519025987

【氏名又は名称】スリーアイ インコーポレーテッド

【氏名又は名称原語表記】３Ｉ ＩＮＣ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】キム、ケン

(72)【発明者】

【氏名】ジョン、ジ ウク

(72)【発明者】

【氏名】フダイベルガノブ、パルホド ルスタム ウクリ

(72)【発明者】

【氏名】イ、ミハイル

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特表２０２１－５２０５８４（ＪＰ，Ａ）

【文献】特表２０１８－５２８５０９（ＪＰ，Ａ）

【文献】特表２０２１－５０８５２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｔ １５／００－１９／２０

Ｇ０６Ｔ ７／５５

Ｈ０４Ｎ １３／２７１

(57)【特許請求の範囲】

【請求項1】

現実室内空間内の複数の撮影地点の各地点で、以前の撮影地点から該当撮影地点までの相対的移動情報を導き出して該当撮影地点に対する位置情報を生成し、該当撮影地点を基準として生成された３６０度色相イメージおよび３６０度深度マップイメージを生成して該当撮影地点に対する撮影データセットを生成するユーザ端末；
前記ユーザ端末から前記現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成するサーバー；および、
前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を３６０度で回転させる駆動型撮影補助装置；を含み、
前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成され、
前記サーバーは、前記複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成し、前記統合ポイントグループに基づいて３次元仮想モデルを生成して、
前記ユーザ端末は、前記以前の撮影地点から前記該当撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、前記以前の撮影地点から前記該当撮影地点までの相対的な位置変化を生成して前記相対的移動情報として設定する
ことを特徴とする３次元仮想モデル提供システム。

【請求項2】

現実室内空間内の複数の撮影地点の各地点で、以前の撮影地点から該当撮影地点までの相対的移動情報を導き出して該当撮影地点に対する位置情報を生成し、該当撮影地点を基準として生成された３６０度色相イメージおよび３６０度深度マップイメージを生成して該当撮影地点に対する撮影データセットを生成するユーザ端末；および、
前記ユーザ端末から前記現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成するサーバー；を含み、
前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成され、
前記サーバーは、前記複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成し、前記統合ポイントグループに基づいて３次元仮想モデルを生成して、
前記３次元仮想モデル提供システムは、
前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を３６０度で回転させる駆動型撮影補助装置；をさらに含む
ことを特徴とする３次元仮想モデル提供システム。

【請求項3】

現実室内空間内の複数の撮影地点の各地点で、以前の撮影地点から該当撮影地点までの相対的移動情報を導き出して該当撮影地点に対する位置情報を生成し、該当撮影地点を基準として生成された３６０度色相イメージおよび３６０度深度マップイメージを生成して該当撮影地点に対する撮影データセットを生成するユーザ端末；および、
前記ユーザ端末から前記現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成するサーバー；を含み、
前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成され、
前記サーバーは、前記複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成し、前記統合ポイントグループに基づいて３次元仮想モデルを生成 して、
前記３次元仮想モデル提供システムは、
前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を３６０度で回転させる駆動型撮影補助装置；をさらに含み、
前記ユーザ端末は、
いずれか一撮影地点で、前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が３６０度で第１回転するように制御して前記いずれか一撮影地点での３６０度色相イメージを生成し、
前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が３６０度で第２回転するように制御して前記いずれか一撮影地点での３６０度深度マップイメージを生成する
ことを特徴とする３次元仮想モデル提供システム。

【請求項4】

現実室内空間内の複数の撮影地点の各地点で、以前の撮影地点から該当撮影地点までの相対的移動情報を導き出して該当撮影地点に対する位置情報を生成し、該当撮影地点を基準として生成された３６０度色相イメージおよび３６０度深度マップイメージを生成して該当撮影地点に対する撮影データセットを生成するユーザ端末；および、
前記ユーザ端末から前記現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成するサーバー；を含み、
前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成され、
前記サーバーは、前記複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成し、前記統合ポイントグループに基づいて３次元仮想モデルを生成 して、
前記ユーザ端末は、
前記以前の撮影地点から前記該当撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、前記以前の撮影地点から前記該当撮影地点までの相対的な位置変化を生成して前記相対的移動情報として設定する
ことを特徴とする３次元仮想モデル提供システム。

【請求項5】

前記複数のポイントグループは、
それぞれの撮影地点ごとに個別的に独立座標系を基準として生成され、
前記サーバーは、
それぞれ独立座標系を基準として生成された前記複数のポイントグループを前記位置情報に基づいて一つの統合的な絶対座標系に配置して前記統合ポイントグループを形成する
請求項１に記載の３次元仮想モデル提供システム。

【請求項6】

前記サーバーは、
前記統合ポイントグループに基づいて３次元メッシュモデルを生成し、生成された３次元メッシュモデルに含まれた複数のフェースそれぞれを３６０度色相イメージを利用してテクスチャリングして前記３次元仮想モデルを生成する
請求項１に記載の３次元仮想モデル提供システム。

【請求項7】

前記サーバーは、
前記３次元メッシュモデルに含まれた複数のフェースのうち３６０度色相イメージに対応しないためホール（Ｈｏｌｅ）として残っている少なくとも一つのフェースに対して、前記ポイントグループのポイント色相に基づいて色相を設定する
請求項６に記載の３次元仮想モデル提供システム。

【請求項8】

ユーザ端末、前記ユーザ端末と連動して現実室内空間に対応する仮想の３次元モデルを提供するサーバーおよび前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を３６０度で回転させる駆動型撮影補助装置を含むシステムで遂行される３次元モデル生成方法であって、
前記ユーザ端末が、前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階；
－撮影データセットは、前記複数の撮影地点のうちいずれか一撮影地点を基準として生成された３６０度色相イメージ、前記いずれか一撮影地点を基準として生成された３６０度深度マップイメージおよび以前の撮影地点から前記いずれか一撮影地点までの相対的移動情報に基づいて導き出される位置情報を含む－
前記サーバーが、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成－前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成される－する段階；および
前記サーバーが、前記複数の撮影地点ごとに個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成する段階；を含み、
前記ユーザ端末が前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階は、
前記以前の撮影地点から前記該当撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、前記以前の撮影地点から前記いずれか一撮影地点までの相対的な位置変化を生成して前記相対的移動情報として設定する段階；を含む
ことを特徴とする３次元モデル生成方法。

【請求項9】

ユーザ端末、前記ユーザ端末と連動して現実室内空間に対応する仮想の３次元モデルを提供するサーバーを含むシステムで遂行される３次元モデル生成方法であって、
前記ユーザ端末が、前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階；
－撮影データセットは、前記複数の撮影地点のうちいずれか一撮影地点を基準として生成された３６０度色相イメージ、前記いずれか一撮影地点を基準として生成された３６０度深度マップイメージおよび以前の撮影地点から前記いずれか一撮影地点までの相対的移動情報に基づいて導き出される位置情報を含む－
前記サーバーが、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成－前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成される－する段階；および、
前記サーバーが、前記複数の撮影地点ごとに個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成する段階；を含み、 前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を３６０度で回転させる駆動型撮影補助装置；をさらに含む
ことを特徴とする３次元モデル生成方法。

【請求項10】

ユーザ端末、前記ユーザ端末と連動して現実室内空間に対応する仮想の３次元モデルを提供するサーバーを含むシステムで遂行される３次元モデル生成方法であって、
前記ユーザ端末が、前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階；
－撮影データセットは、前記複数の撮影地点のうちいずれか一撮影地点を基準として生成された３６０度色相イメージ、前記いずれか一撮影地点を基準として生成された３６０度深度マップイメージおよび以前の撮影地点から前記いずれか一撮影地点までの相対的移動情報に基づいて導き出される位置情報を含む－
前記サーバーが、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成－前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成される－する段階；および、
前記サーバーが、前記複数の撮影地点ごとに個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成する段階；を含み、
前記ユーザ端末が据え置かれ、前記ユーザ端末の制御により動作して前記ユーザ端末の撮影方向を３６０度で回転させる駆動型撮影補助装置；をさらに含み、
前記ユーザ端末が前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階は、
前記ユーザ端末が、いずれか一撮影地点で、前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が３６０度で第１回転するように制御して前記いずれか一撮影地点での３６０度色相イメージを生成する段階；および
前記ユーザ端末が、前記駆動型撮影補助装置の動作を制御して前記ユーザ端末の撮影方向が３６０度で第２回転するように制御して前記いずれか一撮影地点での３６０度深度マップイメージを生成する段階；を含む
ことを特徴とする３次元モデル生成方法。

【請求項11】

ユーザ端末および前記ユーザ端末と連動して現実室内空間に対応する仮想の３次元モデルを提供するサーバーを含むシステムで遂行される３次元モデル生成方法であって、
前記ユーザ端末が、前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階；
－撮影データセットは、前記複数の撮影地点のうちいずれか一撮影地点を基準として生成された３６０度色相イメージ、前記いずれか一撮影地点を基準として生成された３６０度深度マップイメージおよび以前の撮影地点から前記いずれか一撮影地点までの相対的移動情報に基づいて導き出される位置情報を含む－
前記サーバーが、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成－前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成される－する段階；および、
前記サーバーが、前記複数の撮影地点ごとに個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成する段階；を含み、
前記ユーザ端末が前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセットを生成して前記サーバーに提供する段階は、
前記以前の撮影地点から前記いずれか一撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、前記以前の撮影地点から前記いずれか一撮影地点までの相対的な位置変化を生成して前記相対的移動情報として設定する段階；をさらに含む
ことを特徴とする３次元モデル生成方法。

【請求項12】

前記複数のポイントグループは
それぞれの撮影地点ごとに個別的に独立座標系を基準として生成され、
前記サーバーは、
それぞれ独立座標系を基準として生成された前記複数のポイントグループを前記位置情報に基づいて一つの統合的な絶対座標系に配置して前記統合ポイントグループを形成する
請求項8に記載の３次元モデル生成方法。

【請求項13】

前記３次元モデル生成方法は、
前記サーバーが、前記統合ポイントグループに基づいて３次元メッシュモデルを生成し、生成された３次元メッシュモデルに含まれた複数のフェースそれぞれを３６０度色相イメージを利用してテクスチャリングして前記３次元モデルを生成する段階；をさらに含む
請求項８に記載の３次元モデル生成方法。

【請求項14】

前記３次元モデル生成方法は、
前記３次元メッシュモデルに含まれた複数のフェースのうち３６０度色相イメージに対応しないためホール（Ｈｏｌｅ）として残っている少なくとも一つのフェースに対して、前記ポイントグループのポイント色相に基づいて色相を設定する段階；をさらに含む
請求項１３に記載の３次元モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は３次元仮想モデル提供方法およびそのための３次元仮想モデル提供システムに関する。

【背景技術】

【0002】

最近では、実際の空間に対応するオンライン上の仮想空間が提供されることによって、ユーザが直接実際の空間に訪問せずとも実際の空間にあるような体験が可能な仮想空間具現技術が開発されている。
デジタルツインまたはメタバス（ｍｅｔａｖｅｒｓｅ）はこのように現実空間を基盤として仮想空間を提供する技術に基礎とする。

【0003】

このような現実空間に対応する仮想空間を具現するためには、具現しようとする実際の空間に対するイメージ情報および距離情報に基づいて立体的な仮想イメージである仮想の３次元モデルを生成することが必要である。

【0004】

従来の場合、このような３次元モデルを生成するために、室内空間の多くの撮影地点で撮影された３６０度イメージを獲得し、これらを利用して３次元モデルを生成した。

【0005】

ただし、従来の場合、室内空間の多くの撮影地点に対する位置情報を確認することが難しいため、各撮影地点で撮影されたイメージに基づいて多くの撮影地点の位置を逆算する方式などを使っていたが、これは撮影位置を決定するのに高いリソースが要求され、その処理が遅い限界を有している。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本出願の一技術的側面は前記の従来技術の問題点を解決するためのものであり、室内空間での多くの撮影地点で収集された撮影データセットに基づいて室内空間に対応する３次元仮想空間を提供することを目的とする。

【0007】

本出願に開示される一実施例によると、３６０度回転可能な駆動型補助据え置き装置を利用して、スマートフォンのような一般的なスマート機器を利用しても容易に３次元仮想モデルを生成できる環境を提供することを目的とする。

【0008】

本出願に開示される一実施例によると、室内空間での多くの撮影地点間の距離情報を効率的かつ正確に算出することによって、３次元仮想モデルの正確度を向上させることができることを目的とする。
本出願の課題は以上で言及した課題に制限されず、言及されていないさらに他の課題は下記の記載から当業者に明確に理解され得る。

【課題を解決するための手段】

【0009】

本出願の一技術的側面は３次元仮想モデル提供システムを提案する。前記３次元仮想モデル提供システムは、ユーザ端末およびサーバーを含む。前記ユーザ端末は、現実室内空間内の複数の撮影地点の各地点で、以前の撮影地点から該当撮影地点までの相対的移動情報を導き出して該当撮影地点に対する位置情報を生成し、該当撮影地点を基準として生成された３６０度色相イメージおよび３６０度深度マップイメージを生成して該当撮影地点に対する撮影データセットを生成する。前記サーバーは、前記ユーザ端末から前記現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成する。前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成され、前記サーバーは、前記複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成し、前記統合ポイントグループに基づいて３次元仮想モデルを生成する。

【0010】

本出願の他の技術的側面は３次元モデル生成方法を提案する。前記３次元モデル生成方法は、ユーザ端末および前記ユーザ端末と連動して現実室内空間に対応する仮想の３次元モデルを提供するサーバーを含むシステムで遂行される３次元モデル生成方法であって、前記ユーザ端末が、前記現実室内空間内の複数の撮影地点それぞれで複数の撮影データセット－撮影データセットは、前記複数の撮影地点のうちいずれか一撮影地点を基準として生成された３６０度色相イメージ、前記いずれか一撮影地点を基準として生成された３６０度深度マップイメージおよび以前の撮影地点から前記いずれか一撮影地点までの相対的移動情報に基づいて導き出される位置情報を含む－を生成して前記サーバーに提供する段階、前記サーバーが、前記複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成－前記ポイントグループはそれぞれの撮影地点ごとに個別的に生成される－する段階および前記サーバーが、前記複数の撮影地点ごとに個別的に生成された複数のポイントグループを前記位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成する段階を含む。

【0011】

前記の課題の解決手段は、本出願の特徴をすべて列挙したものではない。本出願の課題解決のための多様な手段は以下の詳細な説明の具体的な実施形態を参照してより詳細に理解され得る。

【発明の効果】

【0012】

本出願によると、次のような効果が一つあるいはそれ以上ある。

【0013】

本出願に開示される一実施例によると、室内空間での多くの撮影地点で収集された撮影データセットを利用して、室内空間に対応する３次元仮想空間を正確に提供できる効果がある。

【0014】

本出願に開示される一実施例によると、３６０度回転可能な駆動型補助据え置き装置を利用することによって、スマートフォンのような一般的なスマート機器を利用しても容易に３次元仮想モデルを生成できる環境を提供する効果がある。

【0015】

本出願に開示される一実施例によると、室内空間での多くの撮影地点間の距離情報を効率的かつ正確に算出することによって、３次元仮想モデルの正確度を向上させることができる効果がある。
本出願の効果は以上で言及した効果に制限されず、言及されていないさらに他の効果は請求範囲の記載から当業者に明確に理解され得る。

【図面の簡単な説明】

【0016】

【図1】本出願に開示される一実施例に係る３次元仮想モデル提供システムを例示する図面である。

【図2】本出願に開示される一実施例に係るユーザ端末および駆動型補助装置の一使用例を図示する図面である。

【図3】本出願に開示される一実施例に係る駆動型補助装置を説明するブロック構成図である。

【図4】本出願に開示される一実施例に係るユーザ端末を説明するブロック構成図である。

【図5】室内空間内の複数の撮影地点での撮影例を説明するための図面である。

【図6】本出願に開示される一実施例に係るユーザ端末で遂行される制御方法の一例を説明する図面である。

【図7】本出願に開示される一実施例に係るユーザ端末で遂行される制御方法の他の一例を説明する図面である。

【図8】本出願に開示される一実施例に係るサーバーを説明するブロック構成図である。

【図9】本出願に開示される一実施例に係るサーバーで遂行される制御方法の一例を説明する図面である。

【図10】本出願に開示される一実施例に係るサーバーで遂行される制御方法の他の一例を説明する図面である。

【図11】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【図12a】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【図12b】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【図13】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【図14a】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【図14b】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【図15】本出願に開示される一実施例に係るサーバーで遂行されるテクスチャリング方法を説明する図面である。

【発明を実施するための形態】

【0017】

以下、添付された図面を参照して本出願の好ましい実施形態を説明する。

【0018】

しかし、これは特定の実施形態に対して範囲を限定しようとするものではなく、本開示の実施例の多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎｓ）、均等物（ｅｑｕｉｖａｌｅｎｔｓ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅｓ）を含む。

【0019】

本開示を説明するにおいて、関連した公知機能あるいは構成に対する具体的な説明が本開示の要旨を不要に曖昧にさせ得る恐れがあると判断される場合、それに対する詳細な説明は省略する。

【0020】

本開示で使った用語は単に特定の実施例を説明するために使われたものであり、権利範囲を限定しようとする意図ではない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。

【0021】

本開示で、「有する」、「有することができる」、「含む」、または「含むことができる」等の表現は該当特徴（例：数値、機能、動作、または部品などの構成要素）の存在を示し、追加的な特徴の存在を排除しない。

【0022】

図面の説明と関連して、類似するまたは関連した構成要素に対しては類似する参照符号が使われ得る。アイテムに対応する名詞の単数形は関連した文脈上明白に異なって指示しない限り、前記アイテム一つまたは複数個を含むことができる。本出願で、「ＡまたはＢ」、「ＡおよびＢのうち少なくとも一つ」、「ＡまたはＢのうち少なくとも一つ」、「Ａ、ＢまたはＣ」、「Ａ、ＢおよびＣのうち少なくとも一つ」および「Ａ、Ｂ、またはＣのうち少なくとも一つ」のような文面それぞれは、その文面のうち該当する文面に共に羅列された項目のうちいずれか一つ、またはそれらのすべての可能な組み合わせを含むことができる。

【0023】

「第１」、「第２」、または「最初」または「二番目」のような用語は、単純に該当構成要素を他の該当構成要素と区分するために使われ得、該当構成要素を他の側面（例えば、重要性または順序）で限定しない。

【0024】

或る（例えば、第１）構成要素が他の（例えば、第２）構成要素に、「機能的に」または「通信的に」という用語とともに、またはこのような用語なしに、「カップルド」、「コネクテッド」または「連結された」と言及された場合、それは前記或る構成要素が前記他の構成要素に直接的に、または第３構成要素を通じて連結され得るということを意味する。

【0025】

本開示で使われた表現「～するように構成された（または設定された）（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は状況によって、例えば、「～に適合な（ｓｕｉｔａｂｌｅ ｆｏｒ）」、「～する能力を有する（ｈａｖｉｎｇ ｔｈｅ ｃａｐａｃｉｔｙ ｔｏ）」、「～するように設計された（ｄｅｓｉｇｎｅｄ ｔｏ）」、「～するように変更された（ａｄａｐｔｅｄ ｔｏ）」、「～するように作られた（ｍａｄｅ ｔｏ）」、または「～ができる（ｃａｐａｂｌｅ ｏｆ）」と変えて使われ得る。用語「～するように構成された（または設定された）」はハードウェア的に「特別に設計された（ｓｐｅｃｉｆｉｃａｌｌｙ ｄｅｓｉｇｎｅｄ ｔｏ）」ことのみを必ずしｍ意味するものではない。

【0026】

実施例において「モジュール」あるいは「部」は少なくとも一つの機能や動作を遂行し、ハードウェアまたはソフトウェアで具現されるかハードウェアとソフトウェアの結合で具現され得る。また、複数の「モジュール」あるいは複数の「部」は特定のハードウェアで具現される必要がある「モジュール」あるいは「部」を除いては少なくとも一つのモジュールで一体化されて、少なくとも一つのプロセッサで具現され得る

【0027】

本出願の多様な実施例は機器（ｍａｃｈｉｎｅ）により読み取り可能な保存媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）に保存された一つ以上の命令語を含むソフトウェア（例えば、プログラム）で具現され得る。例えば、プロセッサ３０１は、保存媒体から保存された一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを実行することができる。これは装置が前記呼び出された少なくとも一つの命令語により少なくとも一つの機能を遂行するように運営されることを可能にする。前記一つ以上の命令語はコンパイラによって生成されたコードまたはインタープリタによって実行され得るコードを含むことができる。機器で読み取り可能な保存媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供され得る。ここで、「非一時的」は保存媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁波）を含まないことを意味するだけであり、この用語はデータが保存媒体に半永久的に保存される場合と臨時的に保存される場合を区分しない。

【0028】

本出願の実施形態を説明するために多様なフローチャートが開示されているが、これは各段階または動作の説明の便宜のためのものであり、必ずしもフローチャートの順序により各段階が遂行されるものではない。すなわち、フローチャートでの各段階は、互いに同時に遂行されたり、フローチャートによる順で遂行されたり、またはフローチャートでの順序と反対の順序でも遂行され得る。

【0029】

図１は、本出願に開示される一実施例に係る３次元仮想モデル提供システムを例示する図面である。
３次元仮想モデル提供システムはユーザ端末２００、駆動型撮影補助装置２００およびサーバー３００を含むことができる。
ユーザ端末２００は室内空間の各撮影地点で撮影データセットを生成するための電子機器であって、カメラおよび距離測定センサを含む携帯型電子機器である。

【0030】

例えば、ユーザ端末２００はスマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）やグラス型端末（ｓｍａｒｔ ｇｌａｓｓ）等のウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）であり得る。

【0031】

ユーザ端末２００は色で表現される色相イメージを生成することができる。本出願明細書で、色相イメージは色で表現されるイメージをすべて包括するものであり、特定の表現方式に制限するものではない。したがって、色相イメージはＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）で表現されるＲＧＢイメージだけでなく、ＣＭＹＫ（Ｃｙａｎ Ｍａｇｅｎｔａ Ｙｅｌｌｏｗ Ｋｅｙ）で表現されるＣＭＹＫイメージなどの多様な標準で適用可能である。

【0032】

ユーザ端末２００は深度情報を生成して深度マップイメージを生成できる装置である。本出願明細書で、深度マップイメージは被写空間に対して深度情報を含むイメージである。例えば、深度マップイメージでの各ピクセルは、撮像地点で撮影された被写空間の各地点－各ピクセルに対応する地点－までの距離情報であり得る。

【0033】

ユーザ端末２００は、室内に位置する複数の撮影地点でそれぞれ３６０度色相イメージと３６０度深度マップイメージを生成することができる。また、ユーザ端末２００はそのような複数の撮影地点それぞれに対する位置情報を生成することができる。

【0034】

ユーザ端末２００は室内に位置する複数の撮影地点の各地点に対して、撮影データセットを個別的に生成することができる。ここで、撮影データセットは該当撮影地点での３６０度色相イメージ、３６０度深度マップイメージおよび該当撮影地点に対する位置情報を含むことができる。

【0035】

一実施例で、各地点の位置情報は、以前の地点を基準として生成される相対的な位置情報を基礎にすることができる。これは、室内空間に対してはＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）のような絶対的な位置情報を算出することが難しいので、ユーザ端末２００は映像認識および慣性測定データの変化に基づいて相対的な移動情報を生成し、これに基づいて位置情報を設定することができる。

【0036】

一実施例で、ユーザ端末２００は駆動型撮影補助装置２００に固定され、駆動型撮影補助装置２００の駆動を制御することによって３６０度撮影が可能であるようにすることができる。これは、ユーザ端末２００自体は回転駆動が不可能であるので、このシステムではユーザ端末２００の制御により駆動する駆動型撮影補助装置２００を含むことによって、ユーザ端末２００が円滑に３６０度撮影－すなわち、３６０度色相イメージおよび３６０度深度マップイメージの生成－が可能であるようにすることができる。

【0037】

サーバー３００はユーザ端末２００から室内の多くの撮影地点でそれぞれ生成された複数の撮影データセットを受信することができる。サーバー３００は複数の撮影データセット、すなわち、室内の多様な地点でそれぞれ生成された色相イメージと深度マップイメージを利用して、室内空間に対応する３次元仮想空間である３次元仮想モデルを生成することができる。

【0038】

一例として、サーバー３００はユーザ端末から現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信し、複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度深度マップイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成することができる。ここで、ポイントグループはそれぞれの撮影地点ごとに個別的に生成され得る。サーバー３００は複数の撮影地点ごとにそれぞれ個別的に生成された複数のポイントグループを、位置情報を基準として位置的に関連させて一つの統合ポイントグループを形成することができる。サーバー３００は、統合ポイントグループに基づいて３次元仮想モデルを生成することができる。

【0039】

サーバー３００はユーザ端末２００またはその他の端末に３次元仮想モデルを提供することによって、現実空間に対応する３次元仮想空間を提供することができる。

【0040】

図２は、本出願に開示される一実施例に係るユーザ端末および駆動型補助装置の一使用例を図示する図面である。
ユーザ端末２００は駆動型補助装置１００の上部に固定され得、駆動型補助装置１００はユーザ端末２００が据え置かれた回転部を回転させることによって、ユーザ端末２００が３６０度撮影可能なように動作することができる。

【0041】

駆動型補助装置１００はトリポッド１０１等の高さ補完部材を利用することができ、このような高さ補完部材を反映したカメラの撮影高さＨＣに対する情報は、ユーザに入力されるかまたは事前に設定された高さ－規格化された高さ補完部材を使って事前に設定される－でサーバー３００に提供され得る。

【0042】

図３は、本出願に開示される一実施例に係る駆動型補助装置を説明するブロック構成図である。
端末据置台１００は回転部１１０および本体部１２０を含むことができる。

【0043】

回転部１１０にはユーザ端末２００が据え置かれ、モータ部１２１の動作によって回転され得る。回転部１１０の回転によりユーザ端末２００の撮影方向が変更され得る。また、回転部１１０の回転方向および回転速度はモータ部１２１の駆動により変更され得る。

【0044】

一例として、回転部１１０は固定台、絞りおよび回転台を含むことができる。固定台および絞りは回転台上に配置され得る。固定台と絞りはユーザ端末２００を固定することができる。回転台はモータ部１２１の動作により回転することができ、このために回転台はモータ部１２１と機械的に連結され得る。

【0045】

本体部１２０はモータ部１２１、制御部１２２および通信部１２３を含むことができる。制御部１２２は本体部１２０の構成要素を制御して端末据置台１００の動作を制御することができる。

【0046】

通信部１２３はユーザ端末２００と通信の連結を遂行し、ユーザ端末２００から端末据置台１００を駆動させるための制御信号が提供され得る。一例として、通信部１２３は近距離通信モジュールまたは有線通信のうち少なくとも一つを利用してユーザ端末２００と通信の連結を形成することができる。
制御部１２２は通信部１２３を通じて受信された制御信号に対応して、モータ部１２１を駆動して、回転部１１０の駆動を制御することができる。

【0047】

図４は、本出願に開示される一実施例に係るユーザ端末を説明するブロック構成図である。

【0048】

図４を参照すると、ユーザ端末２００はカメラ２１０、距離測定センサ２２０、測定センサ２３０、通信モジュール２４０、プロセッサ２５０およびメモリ２６０を含む。

【0049】

図示してはいないが、ユーザ端末２００の構成は前記羅列された構成や各構成要素の名称に制限されない。例えば、ユーザ端末２００に電源を供給するためのバッテリーなどがユーザ端末２００に含まれてもよい。

【0050】

以下で、ユーザ端末２００またはプロセッサ２５０をアプリケーションを駆動して制御、指示または機能の主体として表現するが、これは、プロセッサ２５０がメモリ２６０に保存されたインストラクションまたはアプリケーションを駆動して動作することを意味する。

【0051】

カメラ２１０は少なくとも一つのカメラを含むことができる。カメラ２１０は一つ以上のレンズ、イメージセンサ、イメージシグナルプロセッサ、またはフラッシュを含むことができる。

【0052】

カメラ２１０はユーザ端末２００の前方映像を撮影することができる。一例として、駆動型撮影補助装置１００の回転駆動によって、カメラ２１０の撮影方向が回転することができ、これを通じて３６０度撮影が可能である。カメラ２１０の３６０度撮影は実施例により多様に具現可能であり、例えば、所定角度ごとにイメージを撮影し、プロセッサ２５０はこれらを整合して３６０度色相イメージを生成することができる。実施例により、３６０度撮影のために３６０度回転を通じて所定角度ごとに前方イメージを撮影し、これらをサーバー３００に提供し、サーバー３００でこれらを整合して３６０度イメージを生成してもよい。

【0053】

距離測定センサ２２０はユーザ端末２００から被写体の距離を測定することができる。例えば、このような距離測定センサ２２０としては、ライダ（ＬｉＤＡＲ）センサ、赤外線センサ、超音波センサなどが使われ得る。

【0054】

実施例によっては、距離測定センサ２２０の代わりに距離情報を測定できるステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）、ステレオスコピックカメラ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｃａｍｅｒａ）、３Ｄ深度カメラ（３Ｄ、ｄｅｐｔｈ ｃａｍｅｒａ）で具現されてもよい。

【0055】

駆動型撮影補助装置１００の回転駆動によって、距離測定センサ２２０の測定方向が回転することができ、これを通じて３６０度測定が可能である。距離測定センサ２２０の測定に基づいて深度マップイメージが生成され得る。深度マップイメージは、被写空間に対して深度情報を含むイメージである。例えば、深度マップイメージでの各ピクセルは、撮像地点で撮影された被写空間の各地点－各ピクセルに対応する地点－までの距離情報であり得る。

【0056】

一実施例で、３６０度色相イメージおよび３６０度深度マップイメージは、３６０度をカバーするために適合なパノラマイメージ、例えば、等長方形投影パノラマイメージであり得る。
慣性測定センサ２３０はユーザ端末２００の慣性的特徴を感知し、感知された状態に対応する電気信号またはデータ値を生成することができる。

【0057】

一例として、慣性測定センサ２３０はジャイロセンサおよび加速度センサを含むことができる。慣性測定センサ２３０によって測定されたデータを以下、慣性センシングデータと称する。

【0058】

通信モジュール２４０は、ユーザ端末２００と駆動型撮影補助装置１００の間、またはユーザ端末２００とサーバー３００の間の通信を可能にする一つ以上のモジュールを含むことができる。このような通信モジュール２４０は移動通信モジュール、無線インターネットモジュールおよび近距離通信モジュールのうち少なくとも一つを含むことができる。

【0059】

プロセッサ２５０はメモリ２６０に保存されたアプリケーション、すなわち、アプリケーションを駆動するために、図３で図示された構成要素のうち少なくとも一部を制御することができる。ひいては、プロセッサ２５０は前記アプリケーションの駆動のために、モバイル端末１００に含まれた構成要素のうち少なくとも二つ以上を互いに組み合わせて動作させることができる。プロセッサ２５０はメモリ２６０に保存されたインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を実行してアプリケーションを駆動することができる。

【0060】

プロセッサ２５０は前記アプリケーションに関連した動作の他にも、通常的にユーザ端末２００の全般的な動作を制御する。プロセッサ２５０は前記で詳擦した構成要素を通じて入力または出力される信号、データ、情報などを処理したり、メモリ２６０に保存されたアプリケーションを駆動することによって、ユーザに適切な情報または機能を提供または処理することができる。プロセッサ２５０は一つのプロセッサまたは複数のプロセッサで具現可能である。

【0061】

プロセッサ２５０は前方映像の変化および慣性センシングデータの変化量を利用して、全方位イメージが獲得された室内地点に対する相対的位置情報を生成することができる。例えば、プロセッサ２５０は室内空間の多くの撮影地点のそれぞれに対して、以前の撮影地点から該当撮影地点までの前方映像の変化および慣性センシングデータの変化量に基づいて、以前の撮影地点から該当撮影地点までの相対的な位置変化を生成して相対的移動情報として設定することができる。

【0062】

一例として、プロセッサ２５０は、前方映像で少なくとも一つの特徴点を抽出し、抽出された前記少なくとも一つの特徴点の変化に基づいてモバイル端末の視覚的移動情報－前記視覚的移動情報は移動方向および移動距離のうち少なくとも一つを含む－を生成することができる。

【0063】

一例として、プロセッサ２５０は、慣性センシングデータの変化量を利用して、モバイル端末の慣性的移動情報－前記慣性的移動情報は移動方向および移動距離のうち少なくとも一つを含む－を生成し、慣性的移動情報に基づいて視覚的移動情報を検証して前記相対的位置情報を生成することができる。

【0064】

一例として、プロセッサ２５０は、視覚的移動情報で予め設定された臨界値－前記臨界値は方向転換の臨界値および移動距離の臨界値のうち少なくとも一つを含む－を超過する異常値データが発生すれば、視覚的移動情報の異常値データに対応する慣性的移動情報のデータを異常値データと比較して、異常値データの適用の有無を判断することができる。

【0065】

プロセッサ２５０は駆動型撮影補助装置１００の駆動を制御して駆動型撮影補助装置１００の回転部が３６０度回転するように制御することができる。図７はユーザ端末で遂行される制御方法の一例を説明する図面であり、図７をさらに参照して説明する。プロセッサ２５０は通信モジュール２４０を制御して駆動型撮影補助装置１００との通信連結、例えば、近距離無線通信を連結することができる（Ｓ７０１）。プロセッサ２５０は、３６０度色相イメージを撮影するために、撮影補助装置の回転動作を制御するとともに、カメラを撮影制御して３６０度撮影をするようにすることができる（Ｓ７０２）。また、プロセッサ２５０は３６０度深度マップイメージを撮影するために、撮影補助装置の回転動作を制御するとともに、距離測定センサ２２０の駆動を制御して３６０度測定をするようにすることができる（Ｓ７０３）。

【0066】

プロセッサ２５０はカメラ２１０で撮像されたイメージに基づいて３６０度色相イメージを生成し、距離測定センサ２２０の測定データに基づいて３６０度深度マップイメージを生成することができる。ただし、実施例により、このような３６０度色相イメージまたは３６０度深度マップイメージの生成は、サーバー３００で遂行されてもよい。

【0067】

一実施例で、プロセッサ２５０は駆動型撮影補助装置１００による第１回転時にカメラの撮影を制御して３６０度撮影を遂行し、第２回転時に距離測定センサ２２０の感知を制御して３６０度感知を遂行できる。例えば、プロセッサ２５０は、室内空間のいずれか一撮影地点で、駆動型撮影補助装置１００の動作を制御してユーザ端末の撮影方向が３６０度で第１回転するように制御して、いずれか一撮影地点での３６０度色相イメージを生成することができる。プロセッサ２５０は、駆動型撮影補助装置１００の動作を制御してユーザ端末の撮影方向が３６０度で第２回転するように制御して、いずれか一撮影地点での３６０度テプスメプイメージを生成することができる。

【0068】

プロセッサ２５０は室内空間のそれぞれの地点に対する相対的距離情報、３６０度色相イメージ－またはこれらを生成するための複数の色相イメージ－および３６０度深度マップイメージ－またはこれらを生成するための複数の深度マップイメージ－を一つのデータセット、すなわち、撮影データセットで保存し、これをサーバー３００に提供することができる。

【0069】

図５は室内空間内の複数の撮影地点での撮影例を説明するための図面であり、図６は本出願に開示される一実施例に係るユーザ端末で遂行される制御方法の一例を説明する図面である。
図５および図６を参照して、ユーザ端末で遂行される撮影データセット生成方法について説明する。

【0070】

図５の室内空間では総４回の撮影がなされたことが分かり、このような撮影地点の移動はユーザによって遂行され得る。

【0071】

図６を参照すると、ユーザはスタート撮影地点ＳＰで３６０度撮影を遂行できる。例えば、ユーザはユーザ端末２００に表示される平面図でスタート撮影地点ＳＰを設定することができる（Ｓ６０１）。

【0072】

ユーザはユーザ端末２００に設置されたソフトウェアを通じて撮影命令を入力することができ、ユーザ端末２００は駆動型撮影補助装置１００の動作を制御して３６０度撮影および感知を遂行できる（Ｓ６０２）。

【0073】

ユーザ端末２００は設定されたスタート撮影地点ＳＰの位置情報およびその位置で撮影された３６０度色相イメージおよび３６０度深くイメージを含んでスタート撮影地点ＳＰに対する撮影データセットを生成することができる（Ｓ６０３）。

【0074】

以後、ユーザはスタート撮影地点ＳＰから第１撮影地点Ｐ１に移動することができ、このような移動の間にユーザ端末２００のカメラ２１０は移動中映像を撮影することができる。ユーザ端末２００は移動中映像に対する映像変化と、慣性センシングデータの変化量に基づいて、スタート撮影地点ＳＰから第１撮影地点Ｐ１までの相対的な位置変化を生成し、これを相対的移動情報として設定することができる（Ｓ６０４）。

【0075】

ユーザは第１撮影地点Ｐ１で３６０度撮影およびセンシングを遂行するようにして、第１撮影地点ＳＰ１に対する３６０度色相イメージおよび３６０度深くイメージを生成するようにすることができる（Ｓ６０５）。

【0076】

ユーザ端末２００は生成された３６０度色相イメージおよび３６０度深くイメージに、相対的位置情報を含んで第１撮影地点Ｐ１に対する撮影データセットを生成することができる（Ｓ６０６）。

【0077】

このような過程は、第２撮影地点および第３撮影地点でも引き続き遂行され、ユーザによって撮影終了が設定される地点－図示された例では、第３撮影地点－ですべての撮影データセットの生成が終了され得る。ユーザ端末２００は生成したすべての撮影データセットをサーバー３００に送信することができる。

【0078】

以下、図８～図１５を参照して、サーバー３００の多様な実施例について説明する。

【0079】

図８は、本出願に開示される一実施例に係るサーバーを説明するブロック構成図である。図８を参照すると、サーバー３００は通信モジュール３１０、メモリ３２０およびプロセッサ３３０を含むことができる。しかし、このような構成は例示的なものであり、本開示を実施するにおいて、このような構成に加えて新しい構成が追加されたり一部の構成が省略され得ることは言うまでもない。

【0080】

通信モジュール３１０はユーザ端末２００との通信を遂行できる。例えば、プロセッサ３３０は通信モジュール３１０を通じて連結されたユーザ端末２００から各種データまたは情報を受信することができ、外部装置に各種データまたは情報を伝送してもよい。通信モジュール３１０は多様な通信モジュールが適用可能であり、有線通信または無線通信を支援することができる。

【0081】

メモリ３２０には電子装置３００に関する少なくとも一つの命令が保存され得る。メモリ３２０には電子装置３００を駆動させるためのＯ／Ｓ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が保存され得る。また、メモリ３２０には本開示の多様な実施例によりサーバー３００が動作するための各種ソフトウェアプログラムやアプリケーションが保存されてもよい。そして、メモリ３２０はフラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などのような半導体メモリやハードディスク（ＨａｒｄＤｉｓｋ）などのような磁気保存媒体などを含むことができる。

【0082】

具体的には、メモリ３２０には本開示の多様な実施例によりサーバー３００が動作するための各種ソフトウェアモジュールが保存され得、プロセッサ３３０はメモリ３２０に保存された各種ソフトウェアモジュールを実行してサーバー３００の動作を制御することができる。すなわち、メモリ３２０はプロセッサ３３０によりアクセスされ、プロセッサ３３０によるデータの読み取り／記録／修正／削除／更新などが遂行され得る。

【0083】

その他にも本開示の目的を達成するための範囲内で必要な多様な情報がメモリ３２０に保存され得、メモリ３２０に保存された情報は外部装置から受信されたりユーザによって入力されることによって更新されてもよい。

【0084】

プロセッサ３３０は電子装置３００の全般的な動作を制御する。具体的には、プロセッサ３３０は前述したような通信モジュール３１０およびメモリ３２０を含む電子装置３００の他の構成と電気的に連結され、メモリ３２０に保存された少なくとも一つの命令を実行してサーバー３００の動作を全般的に制御することができる。

【0085】

プロセッサ３３０は多様な方式で具現され得る。例えば、プロセッサ３３０は特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、エンベデッドプロセッサ、マイクロプロセッサ、ハードウェアコントロールロジック、ハードウェア有限状態機械（ｈａｒｄｗａｒｅ Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｍａｃｈｉｎｅ、ＦＳＭ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）のうち少なくとも一つで具現され得る。一方、本開示でプロセッサ３３０という用語はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＭＰＵ（Ｍａｉｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含む意味で使われ得る。

【0086】

図９は本出願に開示される一実施例に係るサーバーで遂行される制御方法の一例を説明する図面であり、図９を参照してプロセッサ３３０の仮想の３次元モデルを生成する動作について説明する。
プロセッサ３３０はユーザ端末２００から現実室内空間内の複数の撮影地点それぞれに対する複数の撮影データセットを受信することができる（Ｓ９０１）。

【0087】

プロセッサ３３０は複数の撮影地点の各撮影地点で生成された３６０度色相イメージと３６０度テプスメプイメージを単位ピクセルの位置別に関連させて、各単位ピクセル別に距離値および色相値を設定してポイントグループを生成することができる（Ｓ９０２）。
ここで、ポイントグループはそれぞれの撮影地点ごとに個別的に生成され得る。

【0088】

例えば、複数のポイントグループはそれぞれの撮影地点ごとに個別的に独立座標系を基準として生成され得る。すなわち、プロセッサ３３０はそれぞれの撮影地点で生成された３６０度色相イメージと３６０度テプスマップイメージを単位ピクセルの位置別に関連させて、それぞれの距離値と色相値を有するポイントを生成してポイントグループを生成することができる。このようなポイントグループは撮影地点別に個別で一つずつ生成され、カメラの位置が一軸上に位置する３次元絶対座標系に基づいて生成され得る。

【0089】

プロセッサ３３０はそれぞれ独立座標系を基準として生成された複数のポイントグループに対して位置を反映して一つの座標系に反映して、一つの統合ポイントグループを形成することができる。例えば、プロセッサ３３０はそれぞれ独立座標系を基準として生成された複数のポイントグループそれぞれに対する位置情報、すなわち、相対的位置情報に基づいて一つの統合的な絶対座標系に配置して統合ポイントグループを形成することができる（Ｓ９０３）。

【0090】

図５の例を挙げると、スタート撮影地点ＳＰを、統合的な絶対座標系、例えば、統合３軸座標系の基準位置として設定し、スタート撮影地点ＳＰから第１撮影地点Ｐ１までの相対的距離情報を反映して統合３軸座標系での第１撮影地点Ｐ１の絶対座標位置を設定することができる。一例として、相対的距離情報は絶対座標系での水平平面（例えば、Ｘ－Ｙ平面）の位置を設定するのに使われ、高さ情報（例えば、Ｚ軸値）はカメラ高さＨｃにすべて同一に設定され得る。

【0091】

プロセッサ３３０は統合ポイントグループに基づいて３次元仮想モデルを生成することができる。例えば、プロセッサ３３０は統合ポイントグループに基づいてメッシュネットワークを生成することができる（Ｓ９０４）。

【0092】

メッシュネットワークは統合ポイントグループに基づいて設定され、統合ポイントグループを単位空間で区画し、単位空間ごとに一つのメッシュポイントを生成し、このようなメッシュポイントを隣接したメッシュポイントと連結することによって生成され得る。一例として、メッシュポイントは単位空間を代表する－例えば、単位空間の平均に最も近い－単位空間内のいずれか一つのポイントで設定され得る。他の例として、メッシュポイントは単位空間内に存在する複数のポイントの平均的な値－例えば、位置値および色相値－を算出して設定され得る。

【0093】

プロセッサ３３０は生成されたメッシュネットワークに基づいて、複数のメッシュポイントを頂点とするフェースを多数個設定して３次元メッシュモデルを生成することができる。例えば、隣接した３個のメッシュポイントを連結して三角形の形状のフェースを複数個生成することによって、３次元メッシュモデルを生成することができる。

【0094】

プロセッサ３３０は、生成されたメッシュネットワーク、すなわち、３次元メッシュモデルに含まれた複数のフェースそれぞれに対して、３６０度色相イメージを利用してテクスチャリングして３次元仮想モデルを生成することができる（Ｓ９０５）。

【0095】

このようなテクスチャリングの遂行時、カメラの死角地帯にある領域に対してはテクスチャリングが遂行されなくてもよい。このような場合、テクスチャリングが遂行されていないフェースはホール（Ｈｏｌｅ）として残っており、プロセッサ３３０はこのようなホールを満たす過程を遂行できる。例えば、プロセッサ３３０は、メッシュネットワーク、すなわち、３次元メッシュモデルに含まれた複数のフェースの中で３６０度色相イメージに対応しないためホール（Ｈｏｌｅ）として残っている少なくとも一つのフェースに対して、ポイントグループのポイント色相に基づいて色相を設定することができる。

【0096】

ここで、ポイントグループに含まれるポイントは前述した通り、３６０度色相イメージに基づいて色相値を有するので、このような色相値を利用してフェースの色相を設定することができる。例えば、ポイントグループ内のポイントに基づいてメッシュポイントの色相を決定することができ、単独で表現されるフェースはそのようなフェースを構成する複数の頂点メッシュポイントを有する。したがって、ホールフェースの複数の頂点メッシュポイントの色相に基づいて色相を拡張して－例えば、三角系フェースの場合、各頂点の色相に基づいてフェースへの色相を拡張して－フェースの色相を決定することができる。このような色相の拡張は互いに異なる色を有する二点の間でグラデーションの形態で中間色を含むように変化すること等で設定され得る。

【0097】

図１０は本出願に開示される一実施例に係るサーバーで遂行される制御方法の他の一例を説明する図面であり、図１０はサーバーで遂行されるテクスチャリング方法の一実施例を説明し、図１１～図１５の例を参照して以下で説明する。

【0098】

プロセッサ３３０は、３次元メッシュモデルに含まれた複数のフェースのうちいずれか一つである第１フェースを選択し、第１フェースに関連した複数の３６０度色相イメージ（以下、色相イメージと通称する）の中で第１フェースに適合ないずれか一つの第１色相イメージを選択することができる（Ｓ１００１）。

【0099】

ここで、第１フェースに関連した色相イメージを選定するにおいて、プロセッサ３３０は、第１フェースに垂直な単位ベクトルを算出し、これに基づいて該当単位ベクトルに対応する撮影角度を有する少なくとも一つの色相イメージを、該当フェースに関連した色相イメージとして選定することができる。これは、色相イメージの撮影時、該当色相イメージの撮影角度に対する情報が共に生成されるので、色相イメージに対する撮影高さおよび撮影角度情報に基づいて第１フェースに関連した、すなわち、第１フェースが写っている色相イメージを選定することができる。例えば、プロセッサ３３０は第１フェースに垂直な単位ベクトルと、それに所定角度内で対向する、すなわち、所定角度内で互いに対向する撮影角度を有する色相イメージを、該当フェースに関連した色相イメージとして選定することができる。

【0100】

プロセッサ３３０はフェースに関連した色相イメージの中で、該当フェースに適合ないずれか一つの色相イメージを選別することができる。例えば、プロセッサ３３０は関連した色相イメージそれぞれに対して複数の加重値要素を算出した後、これに基づいて加重値を算定した後、加重値に基づいていずれか一つの色相イメージを選択することができる。

【0101】

一例として、第１フェースにマッチングされる第１色相イメージは、３次元メッシュモデルに関連した複数の色相イメージの中で第１フェースに対する撮影方向、解像度およびカラーノイズを基準として評価して選別され得る。

【0102】

プロセッサ３３０は選択されたいずれか一つの選択されたいずれか一つの色相イメージで、第１フェースに対応するローカル領域を選択して第１フェースにマッピングしてテクスチャリングを遂行できる（Ｓ１００２）。
プロセッサ３３０はそれぞれの色相イメージの撮影位置に対する情報を有しているので、それぞれの色相イメージでの各客体と３Ｄメッシュモデルの各客体を互いに投影してマッピングすることができる。したがって、このような２次元色相イメージと３次元メッシュモデルの投影マッピングに基づいて、該当フェースに対応する２次元色相イメージでのローカル領域を選択することができる。

【0103】

プロセッサ３３０は３次元メッシュモデルのすべてのフェースに対して、前述した段階Ｓ１００１～Ｓ１００２を繰り返して、各フェースに対して色相情報を生成してテクスチャリングを遂行できる（Ｓ１００３）。このように生成された３Ｄモデルは各色相イメージ間の色相補正がなされていない状態であるので、同一の面に対してもムラが発生し得る。これは前述した通り、室内の各撮影地点での撮影環境が異なるためである。
プロセッサ３３０は、このような室内の各撮影地点での撮影環境による色相差を補正するために、カラー調整を遂行できる（Ｓ１００４）。

【0104】

図１１は、一例として、室内空間内の六面体被写体、これに対して室内の第１撮影地点ＰＰ１と第２撮影地点ＰＰ２を図示する斜視図である。図１２ａは第１撮影地点ＰＰ１で撮影された色相イメージの一例を、図１２ｂは第２撮影地点ＰＰ２で撮影された色相イメージの一例を図示する。
図１２ａおよび図１２ｂは同一の被写体に撮影したが、図１２ｂでは陰影による色相変化が発生した例を図示している。

【0105】

プロセッサ３３０は、３次元メッシュモデルの第１フェースに対する基準ベクトル、すなわち、第１フェースに垂直な第１方向ベクトルＶｆｃ１を設定することができる。

【0106】

プロセッサ３３０は第１フェースに関連した複数の色相イメージに対して、第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定することができる。

【0107】

プロセッサ３３０は第１フェースに関連した複数の色相イメージの撮影方向を確認し、第１フェースの第１方向ベクトルと前記撮影方向間の方向的関連性に基づいて第１加重値要素を算定することができる。例えば、第１フェースの第１方向ベクトルと撮影方向間の角度が少ないほどより高い加重値要素が算定され得る。
プロセッサ３３０は第１フェースに関連した複数の色相イメージに対して、解像度に対する第２加重値要素をそれぞれ算定することができる。

【0108】

一例として、プロセッサ３３０は前記複数の色相イメージ自体に対する解像度を確認し、これに基づいて第２加重値要素を算定することができる。すなわち、高い解像度を有するほど高い第２加重値要素を有するように算定することができる。

【0109】

他の例として、プロセッサ３３０はテクスチャリングの対象となる客体または該当客体の一部であるフェースを識別し、識別された客体またはフェースの解像度に基づいて第２加重値要素を算定することができる。このような客体またはフェースに対する解像度は撮影地点での客体間の距離に反比例して設定されるので、距離上有利な色相イメージに高い第２加重値が付与される。
プロセッサ３３０は第１フェースに関連した複数の色相イメージに対して、カラーノイズに対する第３加重値要素をそれぞれ算定することができる。

【0110】

プロセッサ３３０は各色相イメージに対してカラーノイズを算出することができる。カラーノイズを算出するために、ＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用した教師なし学習、Ｅｎｌｉｇｈｔｅｎ ＧＡＮを利用した方法など、多様な方法論が適用され得る。
プロセッサ３３０はカラーノイズが少ないほど高い第３加重値要素が付与されるようにすることができる。

【0111】

プロセッサ３３０は第１加重値要素～第３加重値要素を反映して、前記複数の色相イメージそれぞれに対して加重値を算出することができる。プロセッサ３３０は最も高い加重値を有する一つの色相イメージを、第１フェースとマッピングされる第１イメージとして選定することができる。

【0112】

第１加重値要素～第３加重値要素の反映には多様なアルゴリズムが適用可能である。例えば、プロセッサ３３０は第１加重値要素～第３加重値要素を単純合算したり、またはこれらの平均を導き出すなどの多様な方式で加重値を算定することができる。

【0113】

前述した例では第１加重値要素～第３加重値要素をすべて反映するものを例示したが、これに限定されるものではない。したがって、第１加重値要素と第２加重値要素に基づいて加重値を算定したり、または第１加重値要素と第３加重値要素に基づいて加重値を算定するなどの変形実施が可能である。ただし、このような変形においても、第１加重値要素を含むことがより高い性能を提供する要素である。

【0114】

図１３は、六面体のうち第１フェース（Ｆｃ１）に垂直な第１方向ベクトルを設定する例を図示している。図１３と図１１に図示された例を参照すると、第１撮影地点ＰＰ１が、第２撮影地点ＰＰ２より高い第１加重値を有することが分かる。

【0115】

図１４ａは第１撮影地点ＰＰ１での色相イメージで第１フェースに対応するローカル領域（Ｐ１Ｆｃ１）を、図１４ｂは第２撮影地点ＰＰ２での色相イメージで第１フェースに対応するローカル領域（Ｐ２Ｆｃ１）を例示している。

【0116】

図１４ａに図示された、第１撮影地点ＰＰ１での色相イメージが、図１４ｂに図示された、第２撮影地点ＰＰ２での色相イメージより高い解像度を有するので、第２加重値要素がさらに高いことが分かる。このような解像度は該当フェースの大きさに基づいて設定され得る。

【0117】

カラーノイズは図１４ｂに図示された第２撮影地点ＰＰ２での色相イメージでより高く設定されるであろうため、したがって、図１４ａに図示された第１撮影地点ＰＰ１がさらに高い第３加重値要素を有するであろう。

【0118】

したがって、第１フェースに対しては第１撮影地点ＰＰ１での色相イメージが選択されるであり、第１撮影地点ＰＰ１での色相イメージでのローカル領域（Ｐ１Ｆｃ１）を第１フェースにマッチングして第１フェースに対してテクスチャリングが遂行されたものを図１５で図示している。

【0119】

以上で説明した本出願は前述した実施例および添付された図面によって限定されるものではなく、後述する特許請求の範囲によって限定され、本出願の構成は本出願の技術的思想を逸脱しない範囲内でその構成を多様に変更および改造できることが、本出願が属する技術分野で通常の知識を有した者は容易に分かる。

【産業上の利用可能性】

【0120】

本発明はユーザ端末およびサーバーを含む３次元仮想モデル提供システムに関し、室内空間での多くの撮影地点で収集された撮影データセットを利用して室内空間に対応する３次元仮想空間を正確に提供することができ、３６０度回転可能な駆動型補助据え置き装置を利用することによって、スマートフォンのような一般的なスマート機器を利用しても容易に３次元仮想モデルを生成できる環境を提供することができ、室内空間での多くの撮影地点間の距離情報を効率的かつ正確に算出することによって、３次元仮想モデルの正確度を向上させることができるため、産業上の利用可能性が高い。

【符号の説明】

【0121】

１００：駆動方撮影補助装置
１１０：回転部
１２０：本体部
１２１：モータ部
１２２：制御部
１２３：通信部
２００：ユーザ端末
２１０：カメラ
２２０：距離測定センサ
２３０：慣性測定センサ
２４０：通信モジュール
２５０：プロセッサ
２６０：メモリ
３００：サーバー
３１０：通信モジュール
３２０：プロセッサ
３３０：メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13】

【図14a】

【図14b】

【図15】