IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 3アイ インコーポレイテッドの特許一覧

<>
  • 特許-3Dツアーの比較表示システム及び方法 図1
  • 特許-3Dツアーの比較表示システム及び方法 図2
  • 特許-3Dツアーの比較表示システム及び方法 図3
  • 特許-3Dツアーの比較表示システム及び方法 図4
  • 特許-3Dツアーの比較表示システム及び方法 図5
  • 特許-3Dツアーの比較表示システム及び方法 図6
  • 特許-3Dツアーの比較表示システム及び方法 図7
  • 特許-3Dツアーの比較表示システム及び方法 図8
  • 特許-3Dツアーの比較表示システム及び方法 図9
  • 特許-3Dツアーの比較表示システム及び方法 図10
  • 特許-3Dツアーの比較表示システム及び方法 図11
  • 特許-3Dツアーの比較表示システム及び方法 図12
  • 特許-3Dツアーの比較表示システム及び方法 図13
  • 特許-3Dツアーの比較表示システム及び方法 図14
  • 特許-3Dツアーの比較表示システム及び方法 図15
  • 特許-3Dツアーの比較表示システム及び方法 図16
  • 特許-3Dツアーの比較表示システム及び方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】3Dツアーの比較表示システム及び方法
(51)【国際特許分類】
   H04N 23/63 20230101AFI20231108BHJP
   G06T 19/00 20110101ALI20231108BHJP
   H04N 7/18 20060101ALI20231108BHJP
   H04N 23/695 20230101ALI20231108BHJP
【FI】
H04N23/63
G06T19/00 300B
H04N7/18 U
H04N23/698
【請求項の数】 8
(21)【出願番号】P 2022077673
(22)【出願日】2022-05-10
(62)【分割の表示】P 2020181719の分割
【原出願日】2020-10-29
(65)【公開番号】P2022105568
(43)【公開日】2022-07-14
【審査請求日】2022-05-10
(31)【優先権主張番号】10-2019-0135807
(32)【優先日】2019-10-29
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0135428
(32)【優先日】2019-10-29
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519263110
【氏名又は名称】3アイ インコーポレイテッド
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】ケン キム
(72)【発明者】
【氏名】チ ウク チュン
【審査官】佐藤 直樹
(56)【参考文献】
【文献】国際公開第2018/220856(WO,A1)
【文献】特開2018-041259(JP,A)
【文献】特開2012-169723(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/63
G06T 19/00
H04N 7/18
H04N 23/695
(57)【特許請求の範囲】
【請求項1】
互いに異なる時点で撮影された第1ツアー及び第2ツアーについて、前記第1ツアーの第1基準点と前記第2ツアーの第2基準点とを設定する段階と、
前記第1基準点と前記第2基準点を統一することによって座標系を設定する段階と、
前記座標系に基づいて、前記第1ツアー及び前記第2ツアーにそれぞれ含まれる複数の画像撮影地点に対する座標値を設定する段階と、
ユーザ入力に基づいて前記第1ツアーにおいて、前記第1ツアーに含まれる複数の画像撮影地点のうちのいずれかの第1撮影地点を設定する段階と、
前記第2ツアーにおいて、前記第2ツアーに含まれる複数の画像撮影地点のうち前記第1撮影地点の座標値と最も近くに位置する第2撮影地点を選定する段階と、
前記第1撮影地点で撮影された第1の360度画像のうち、ユーザが選択した第1方向に対応する第1画像を選定する段階と、
前記第2撮影地点で撮影された第2の360度画像のうち、前記第1方向に対応する第2画像を選定する段階と、
分割された画面の第1部分に前記第1画像を表示し、前記分割された画面の第2部分に前記第2画像を表示する段階と、
を含む3Dツアーの比較表示方法。
【請求項2】
前記第2撮影地点を選定する段階は、
前記第2ツアーに含まれる複数の画像撮影地点の座標値と前記第1撮影地点の座標値との間の距離をそれぞれ計算し、計算された距離が最も短い画像撮影地点を前記第2撮影地点に選定することを含む、
請求項1に記載の3Dツアーの比較表示方法。
【請求項3】
前記分割された画面は、前記第1部分及び前記第2部分を含む二つ以上の部分に分割され、
前記分割された画面の第1部分に前記第1画像を表示し、前記分割された画面の第2部分に前記第2画像を表示する段階は、
前記第1ツアーに含まれた複数の撮像地点が表示された平面図を、前記第1部分上にさらに表示する段階と、
前記第2ツアーに含まれた複数の撮像地点が表示された平面図を、前記第2部分上にさらに表示する段階を含む、
請求項1に記載の3Dツアーの比較表示方法。
【請求項4】
前記分割された画面の第1部分に前記第1画像を表示し、前記分割された画面の第2部分に前記第2画像を表示する段階は、
前記第1画像上に、前記第1撮影地点に隣接する前記第1ツアーの他地点の位置を示すアイコンをオーバーラップさせて表示する段階と、
前記第2画像上に、前記第2撮影地点と隣接する前記第2ツアーの他地点の位置を示すアイコンをオーバーラップさせて表示する段階を含む、
請求項1に記載の3Dツアーの比較表示方法。
【請求項5】
前記ユーザから前記の第2ツアーと異なる第3ツアーに対する選択を受信する段階と、
前記第3ツアーにおいて、前記第3ツアーに含まれる複数の画像撮影地点のうち前記第1撮影地点の座標値に最も近い第3撮影地点を選定する段階と、
前記第3撮影地点で撮影された第3の360度画像のうち、前記第1方向に対応する第3画像を選定し、前記分割された画面の前記第2部分に前記第3画像を表示する段階をさらに含む、
請求項1に記載の3Dツアーの比較表示方法。
【請求項6】
前記ユーザから前記第2ツアーとは異なる第3ツアーに対する選択を受信する段階と、
前記第3ツアーにおいて、前記第3ツアーに含まれた複数の画像撮影地点のうち、前記第1撮影地点の座標値と最も近い第3撮影地点を選定する段階と、
前記第3撮影地点で撮影された第3の360度画像のうち、前記第1方向に対応する第3画像を選定し、前記分割された画面の第3部分に前記第3画像を表示する段階と、
をさらに含む、請求項1に記載の3Dツアーの比較表示方法。
【請求項7】
プロセッサと、
前記プロセッサによって実行されるプログラムが格納されているメモリを含み、
前記プログラムは、
互いに異なる時点に撮影された第1ツアー及び第2ツアーについて、前記第1ツアーの第1基準点と前記第2ツアーの第2基準点とを設定するオペレーションと、
前記第1基準点と前記第2基準点を統一することによって座標系を設定するオペレーションと、
前記座標系に基づいて、前記第1ツアー及び前記第2ツアーにそれぞれ含まれている複数の画像の撮影地点に対する座標値を設定するオペレーションと、
ユーザ入力に基づいて前記第1ツアーにおいて、前記第1ツアーに含まれる複数の画像の撮影地点のいずれかの第1撮影地点を設定するオペレーションと、
前記第2ツアーにおいて、前記第2ツアーに含まれる複数の画像の撮影地点のうち、前記第1撮影地点の座標値に最も近い第2撮影地点を選定するオペレーションと、
分割された画面の第1部分に第1画像を表示し、前記分割された画面の第2部分に第2画像を表示するオペレーションと、
を含む、3Dツアーの比較表示システム。
【請求項8】
前記第2撮影地点を選定するオペレーションは、
前記第2ツアーに含まれる複数の画像撮影地点の座標値と前記第1撮影地点の座標値との間の距離をそれぞれ計算するオペレーションと、
計算された距離が最も短い画像撮影地点を前記第2撮影地点に選定するオペレーションと、
を含む、請求項に記載の3Dツアーの比較表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3Dツアーの比較表示システム及び方法{System and method for displaying 3d tour comparison}に関するものである。具体的に、本発明は、複数の3Dツアー相互間に対応する画像を比較して表示するインタフェースを提供するシステム及び方法に関するものである。また、本発明は、室内の位置追跡と360度の空間撮影を同時に行うことができる3Dツアーの撮影装置及び方法に関するものである。
【背景技術】
【0002】
3D空間を記録するための最も良い方法は、空間を全方位360度の方面で撮影して、360度の画像形態に保存し、それぞれの位置に対する360度の画像を連結して、3Dツアーの形にする方法である。
【0003】
また、時間に応じて変化する空間(例えば、建築、インテリア)を記録する最も効率的な方法も、特定の時点によって記録しようとする空間を3Dツアーの形で撮影して保存することである。
【0004】
既存の3D画像を表すインタフェースは、対象場所の特定位置で特定の瞬間に撮影された画像だけを提供する。したがって、時間に応じて変更される空間の様子を把握するために、ユーザは異なる時間に撮影された特定の位置に対応するそれぞれの3D画像をいちいち探して比較しなければならない不便さがあった。
【0005】
また、同じ空間を撮影しても、撮影された地点が完全に一致せず、撮影方向も互いに異なるため、ユーザが対応する3D画像を探していちいち比較する場合、多くの時間と労力が要るという問題があった。
【0006】
一方、360度の空間を撮影するためには、3Dツアーの撮影装置が使われる。また、360度の画像を連結して3Dツアーを作成するためには、撮影される360度画像の地点と撮影経路を知る必要がある。
【0007】
一般的に、屋外空間の場合、撮影経路及び地点を追跡するためには、GPS(Global Positioning System)情報を利用することができる。しかし、室内空間ではGPS 情報が使えないため、撮影地点と経路をリアルタイムで追跡しにくい。
【0008】
そこで、室内での位置追跡のために、SLAM(Simultaneous Localization and Mapping)技術を利用してリアルタイムで移動する位置と経路を推定することができる。室内空間を撮影する際、撮影経路の追跡と撮影地点を追跡する技術は様々な産業に有用に利用することができる。
【0009】
しかし、このようなSLAMを使用するためには、追跡カメラ等の特殊な装備が必要となる。すなわち、SLAM技術を利用するためには360度の空間撮影の際、別途の位置測定装備を用意しなければならない不便さがあった。
【0010】
また、3Dツアーを生成するための画像撮影装置とは別に、位置測定装備が用意されるため、画像撮影と位置測定が分離され、ユーザが同時に制御しにくい問題があった。
【0011】
また、3Dツアー生成のためのデータ収集の際、画像撮影と位置測定が分離されているため、位置測定データについて誤差が生じるという問題もあった。
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明の目的は、同じ空間の異なる時点(すなわち、時間)に撮影した複数の3Dツアーについて、相互に対応する位置及び方向に対する画像を選定し、画面に同時に表示する3Dツアーの比較表示システム及び方法を提供することである。
【0013】
なお、本発明の目的は、異なる撮影時点で撮影した複数の3Dツアーの中から特定の3Dツアーを選択し、一側と他側に表示することにより、複数の3Dツアーの比較ができるインタフェースを提供する3Dツアーの比較表示システム及び方法を提供することである。
【0014】
本発明の目的は、360度の画像撮影と室内空間の位置追跡を同時に行うことにより、位置測定データの誤差を減少させることができる3Dツアーの撮影装置及び方法を提供することである。
【0015】
また、本発明の目的は、チルト部を利用して360度の画像撮影モジュールと位置追跡モジュールとの間の位置及び角度を変更することにより、位置測定の正確度を高めることができる3Dツアーの撮影装置及び方法を提供することである。
【0016】
また、本発明の目的は、位置追跡モジュールで撮影されたデータの特徴点が不足して位置測定に誤差が発生する場合、これに対する通知を提供して使用者が位置追跡モジュールの位置を変更できるようにする3Dツアーの撮影装置及び方法を提供することである。
【0017】
本発明の目的等は、以上で言及した目的に制限されず、言及されていない本発明の他の目的及び利点等は、以下の説明によって理解することができ、本発明の実施例によってより明確に理解されるだろう。また、本発明の目的及びメリットは、特許請求の範囲に示した手段及びその組み合わせによって実現できることを容易に分かることだろう。
【課題を解決するための手段】
【0018】
上記の技術的な課題を達成するための本発明の実施形態に係る3Dツアーの比表示方法は、互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、上記第1及び第2ツアーにそれぞれ含まれる複数の画像撮影地点に対する座標値を設定する段階と、上記第1ツアーにおいて、上記第1ツアーに含まれる複数の画像撮影地点のうちのいずれかの第1地点を設定する段階と、上記第2ツアーにおいて、上記第2ツアーに含まれる複数の画像撮影地点のうち上記第1地点の座標値と最も近くに位置する第2地点を選定する段階、及び分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第2地点に関する画像を表示する段階を含む。
【0019】
また、上記第1地点で撮影され上記画面の一側に表示される画像の第1方向と、上記第2地点で撮影され上記画面の他側に表示される画像の第2方向を同一に設定する段階をさらに含むことができる。
【0020】
また、ユーザから上記第1地点に対する方向転換の制御信号の入力を受ける段階と、上記制御信号をもとに、上記第1地点の上記第1方向を変化させ、上記第1方向の変化に同期して上記第2地点の上記第2方向を変化させる段階をさらに含むことができる。
【0021】
また、上記第1ツアーの第1基準点と上記第2ツアーの第2基準点を特定空間の基準位置に同一に設定することができる。
【0022】
また、上記第2地点を選定する段階は、上記第2ツアーに含まれる複数の画像撮影地点の座標値と上記第1地点の座標値との間の距離をそれぞれ計算し、計算された距離が最も短い画像撮影地点を上記第2地点に選定することを含むことができる。
【0023】
また、上記分割された画面は、二つ以上の画面に分割され、上記第1及び第2ツアーに含まれる複数の画像撮影地点が表示された平面図を、それぞれの上記分割された画面上に表示する段階をさらに含むことができる。
【0024】
また、上記画像を表示する段階は、上記第1ツアーに対する第1平面図上に上記第1地点に対する位置及び方向を表示し、上記第2ツアーに対する第2平面図上に上記第2地点に対する位置及び方向を表示することを含むことができる。
【0025】
また、上記画像を表示する段階は、上記第1地点に関する画像上に、上記第1地点に隣接する他地点の位置を示すアイコンをオーバーラップさせて表示し、上記第2地点に関する画像上に、上記第2地点と隣接する他地点の位置を示すアイコンをオーバーラップさせて表示することを含むことができる。
【0026】
また、ユーザから上記の第2ツアーと異なる第3ツアーに対する選択を受信する段階と、上記第3ツアーにおいて、上記第3ツアーに含まれる複数の画像撮影地点のうち上記第1地点の座標値に最も近い第3地点を選定する段階と、分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第3地点に関する画像を表示する段階をさらに含むことができる。
【0027】
また、上記技術的な課題を達成するための本発明の実施形態に係る3Dツアーの比較表示システムは、プロセッサと、及び上記プロセッサによって実行されるプログラムが格納されているメモリを含み、上記プログラムは、互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、上記第1及び第2のツアーに含まれている複数の画像の撮影地点に対するそれぞれの座標値を設定するオペレーションと、上記第1ツアーにおいて、上記第1ツアーに含まれる複数の画像の撮影地点のいずれかの第1地点を設定するオペレーションと、上記第2ツアーにおいて、上記第2ツアーに含まれる複数の画像の撮影地点のうち、上記第1地点の座標値に最も近い第2地点を選定するオペレーションと、分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第2地点に関する画像を表示するオペレーションを含む。
【0028】
また、上記プログラムは、上記第1地点で撮影され、上記一側に表示される画像の第1方向と、上記第2地点で撮影され、上記他側に表示される画像の第2方向を同一に設定するオペレーションをさらに含むことができる。
【0029】
一方、上記技術的な課題を達成するための、本発明の実施形態に係る3Dツアーの撮影装置は、特定地点に対するアラウンドビュー画像を撮影するカメラモジュール、上記カメラモジュールの位置変化又は方向変化を感知する位置追跡モジュール、上記カメラモジュールと上記位置追跡モジュールとの間の位置又は角度を変化させるチルト部、及び上記カメラモジュール及び上記位置追跡モジュールから受信したデータをもとに、複数のアラウンドビュー画像と位置情報を含む3Dツアーを作成する制御モジュールを含む。
【0030】
また、ユーザに通知を提供する通知部をさらに含み、上記制御モジュールは、上記の位置変化又は上記の方向変化が感知されない場合、上記通知部を活性化させることができる。
【0031】
また、制御モジュールは、上記位置追跡モジュールで感知された特徴点の数が基準値より低い場合、上記通知部に介して上記位置追跡モジュールの位置又は角度を調整することを知らせる通知を提供するか、ユーザ端末にインストールされたアプリケーションを介して上記通知を提供することができる。
【0032】
また、上記制御モジュールは、上記カメラモジュールから受信した上記複数のアラウンドビュー画像と、上記位置追跡モジュールから受信された上記位置変化、又は上記方向変化をもとに算出された上記位置情報を用いて上記3Dツアーを作成するものの、上記3Dツアーは、上記カメラモジュールの移動経路と上記移動経路上にマッピングされた上記アラウンドビュー画像の撮影位置情報を含むことができる。
【0033】
また、上記位置追跡モジュールは、互いに離隔された複数のセンサーを含むセンサー部と、上記センサー部で測定されたデータをもとに、上記カメラモジュールの位置変化又は方向変化を測定する変化測定部を含むことができる。
【0034】
また、上記センサー部は、ライダー(LiDAR)センサー、RGBセンサー、赤外線センサー、紫外線センサー、超音波センサー、ジャイロセンサー、および加速度センサーの1つ以上のセンサーを含むことができる。
【0035】
また、上記制御モジュールは、上記の位置追跡モジュールで感知されたデータと現在の位置情報を利用して、上記カメラモジュールの移動経路を導出することができる。
【0036】
上記チルト部は、上記制御モジュールの制御信号をもとに、上記カメラモジュールと上記位置追跡モジュールとの間の位置又は角度を変化させる角度調整部をさらに含むことができる。
【0037】
また、上記カメラモジュールは、複数個のカメラを含み、上記複数個のカメラで撮影された画像を連結して、1つの上記アラウンドビュー画像を作成することができる。
【0038】
また、上記カメラモジュールは、一側を撮影するカメラ部と、基準軸を中心に上記カメラ部を回転させる回転部を含み、上記カメラ部から連続して撮影された複数の画像を連結して、1つの上記アラウンドビュー画像を作成することができる。
【0039】
一方、本発明の実施形態に係る3Dツアーの撮影装置で実行される3Dツアーの撮影方法は、特定の地点に対するアラウンドビュー画像を撮影するカメラモジュールと、上記カメラモジュールの位置変化又は方向変化を感知する位置追跡モジュールを初期化する段階、上記位置追跡モジュールから受信されたデータをもとに、現在の位置情報及び移動経路を算出する段階、上記カメラモジュールから受信された撮影画像を上記算出された移動経路にマッピングして、3Dツアーを作成する段階及び上記作成された3Dツアーを上記3Dツアーの撮影装置と連携された装置に表示する段階を含む。
【0040】
また、上記位置情報及び移動経路を算出する段階は、上記位置追跡モジュールにおいて、上記位置変化又は方向変化が感知されないか、感知された特徴点の数が基準値よりも低い場合には、上記位置追跡モジュールの位置又は角度を変更することを知らせる通知を発生させることをさらに含むことができる。
【発明の効果】
【0041】
本発明に係る3Dツアーの比較表示システム及び方法は、異なる時点から撮影した複数の3Dツアーについて、相互に対応される位置及び方向に対する画像を選定し、画面に同時に表示することによって、複数の3Dツアーにそれぞれ対応する画像を、ユーザがいちいち探さなければならない不便さを解消することができる。
【0042】
また、本発明に係る3Dツアーの比較表示システム及び方法は、複数の3Dツアーを同時に表示し、他側に表示される3Dツアーを撮影時点によって選択し比較できるようにする。これにより、本発明は、同一空間の時間による変化を容易に把握できるようにし、ユーザの利便性を向上させることができる。
【0043】
本発明に係る3Dツアーの撮影装置及び方法は、360度の画像撮影と室内空間の位置追跡を同時に行うことにより、測定データの誤差を減少させ、3Dツアーの撮影の利便性を向上させることができる。
【0044】
また、本発明に係る3Dツアーの撮影装置及び方法は、360度画像撮影モジュールと位置追跡モジュールとの間の撮影位置及び角度を変更することにより、位置測定の正確度を向上させることができる。また、3Dツアーを撮影しない場合、カメラモジュールと位置追跡モジュールを重ねて収納することができ、3Dツアーの撮影装置の携帯性を向上させることができる。
【0045】
また、本発明に係る3Dツアーの撮影装置は、位置追跡モジュールで撮影されたデータの特徴点が不足し正確な位置測定が難しい場合、これに対する通知を提供して位置追跡モジュールの位置を変更するようにすることで、3Dツアーの製作時の繰り返し撮影の回数を減少させ、3Dツアーのデータの信頼性を向上させることができる。
【0046】
本発明の効果は、前述した効果に限定されず、本発明の当業者らは、本発明の構成において、本発明の様々な効果を容易に導出することができる。
【図面の簡単な説明】
【0047】
図1】本発明の一実施形態に係る3Dツアーの比較表示システムを示す概略図である。
図2図1の3Dツアーの比較表示サーバの構成要素を説明するためのブロック図である。
図3】本発明の他の実施形態に係る3Dツアーの比較表示システムの概略的な構成を説明するためのブロック図である。
図4】本発明のいくつかの実施形態に係る3Dツアーの比較表示方法を説明するための流れ図である。
図5】本発明のいくつかの実施形態に係る3Dツアーの比較表示システムで、互いに異なる3Dツアーの位置及び方向を同期させる方法を説明するための図面である。
図6】本発明のいくつかの実施形態に係る3Dツアーの比較表示システムで提供する3Dツアーの比較インタフェースの一例を説明するための図面である。
図7】本発明のいくつかの実施形態に係る3Dツアーの比較表示システムで提供する3Dツアーの比較インタフェースの一例を説明するための図面である。
図8】本発明のいくつかの実施形態に係る3Dツアーの比較インタフェースで、撮影時点を変更する機能を説明するための図面である。
図9】本発明のいくつかの実施形態に係る3Dツアーの比較表示システムが提供する3Dツアーの比較インタフェースの他の例を説明するための図面である。
図10】本発明の他の実施形態に係る3Dツアーの撮影システムを概略的に示す図面である。
図11】本発明の実施形態に係る3Dツアーの撮影装置を示す図面である。
図12】本発明の実施形態に係る3Dツアーの撮影装置の構成要素を説明するためのブロック図である。
図13】本発明の実施形態に係る3Dツアーの撮影装置の構成要素の一例を説明するためのブロック図である。
図14】本発明の実施形態に係る3Dツアーの撮影装置の動作方法を説明するための流れ図である。
図15】本発明の実施形態に係る3Dツアーの撮影装置の通知提供アルゴリズムを説明するための流れ図である。
図16】本発明の実施形態に係る3Dツアーの撮影装置から導出される移動経路及び撮影インタフェースを説明するための図面である。
図17】本発明の実施形態に係る3Dツアーの撮影装置から導出される移動経路及び撮影インタフェースを説明するための図面である。
【発明を実施するための形態】
【0048】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面とともに詳細に後述されている実施例を参照すれば明確になるだろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、異なる様々な形態で実装されるものであり、単に本実施例らは、本発明の開示が完全であることにし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるだけである。明細書全体にわたり同一参照符号は同一構成要素を指す。
【0049】
本明細書で使用される用語は、実施例らを説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は文句で特に言及しない限り複数形も含む。明細書で使用される「含む(comprises)」及び/又は「含む(comprising)」は、言及される構成要素、段階、動作及び/又は素子は、1つ以上の他の構成要素、段階、動作及び/又は素子の存在又は追加を排除しない。
【0050】
他の定義がなければ、本明細書で使用されるすべての用語(技術及び科学的用語を含む)は、本発明が属する技術分野において通常の知識を有する者に共通に理解される意味で使用されるだろう。また、一般的に使用される辞書に定義されている用語らは、明白に特別に定義されていない限り、理想的に又は過度に解釈されない。
【0051】
3Dツアーの撮影装置は、一つまたは二つ以上の広角レンズを利用して周辺の背景情報を画像に生成することができる装置である。3Dツアーの撮影装置は、水平及び上下360度を全方向で撮影し、360度の写真及び映像を作る。3Dツアーの撮影装置で撮影された写真や映像は、サーバ及びユーザの端末など、様々なところに送受信することができる。
【0052】
本発明において「3Dツアー」は複数の地点でそれぞれ360度で撮影し、保存された画像(例えば、パノラマ画像)らの組み合わせで構成される。このとき、「3Dツアー」はそれぞれの画像が撮影された位置情報を含むことができ、それぞれの位置情報は平面図上にマッピングされてユーザに提供することができる。
【0053】
以下では、図面を参照して、本発明の実施形態に係る3Dツアーの比較表示システム及び方法について詳しく説明する。
【0054】
図1は本発明の一実施例に係る3Dツアーの比較表示システムを示す概略図である。
【0055】
図1を参照すると、本発明のいくつかの実施例に係る3Dツアーの比較表示システムは、サーバ(100)、ユーザ端末(200)、及び3Dツアーの撮影装置(300)を含む。
【0056】
サーバ(100)とユーザ端末(200)は、サーバクライアントシステムとして実装することができる。このとき、サーバ(100)はユーザが選択した3Dツアーの特定地点に対応した画像を選定し、ユーザ端末(200)に提供することができる。サーバ(100)は有線及び無線ネットワークを介してユーザ端末(200)とデータを送受信することができる。
【0057】
3Dツアーの撮影装置(300)は、ユーザ端末(200)を介してサーバ(100)とデータを送受信することができる。ただし、本発明はこれに限定されるものではなく、3Dツアーの撮影装置(300)はネットワークを介してサーバ(100)と直接データを送受信することができる。
【0058】
図面上には、1つのユーザ端末(200)及び3Dツアーの撮影装置(300)のみを図示しているが、本発明がこれに限定されるものではなく、サーバ(100)は複数のユーザ端末(200)及び3Dツアーの撮影装置(300)と連動され動作することができる。
【0059】
サーバ(100)は、複数の3Dツアーを保存及び管理することができる。続いて、サーバ(100)は、ユーザが選択した2以上の3Dツアーをユーザ端末(200)に提供することができる。このとき、サーバ(100)は2つ以上の3Dツアーに対する画像を分割された画面に同時に表示することができる。
【0060】
このとき、サーバ(100)は一側に表示される3Dツアー(以下、第1ツアー)の画像と、他側に表示される3Dツアー(以下、第2ツアー)の画像が類似するように動作することができる。
【0061】
具体的には、サーバ(100)は3Dツアーの撮影装置(300)を介して収集された画像の座標値をもとに、ユーザが設定した画像と相互対応する画像を選定し、ユーザ端末(200)に提供することができる。すなわち、サーバ(100)は、一側に表示される第1ツアーの画像の撮影地点に対する座標値を用いて、これに対応する第2ツアーの画像を選定することができる。座標値を利用して画面の一側と他側に、相互対応する画像を選定する方法についての具体的な説明は以下で詳しく説明する。
【0062】
以下では、本発明の一実施例に係る3D比較ツアーシステム(100)に含まれる各構成要素について詳しく説明する。
【0063】
図2は、図1の3Dツアーの比較表示サーバの構成要素を説明するためのブロック図である。
【0064】
図2を参照すると、本発明の一実施例に係るサーバ(100)は、座標設定部(101)、地点選定部(102)、方向設定部(103)、画面表示部(104)及びデータベース部(105)を含む。
【0065】
座標設定部(101)は複数の3Dツアーに対するそれぞれの基準点を設定することができる。座標設定部(101)は、設定されたそれぞれの基準点をもとに、3Dツアー内に含まれるそれぞれの画像撮影地点に対する座標値を設定することができる。このとき、座標設定部(101)は、様々な種類の座標軸(例えば、直交座標系又は球面座標系)を利用して座標値を設定することができる。座標設定部(101)で設定された座標値は、互いに異なる3Dツアーについて相互対応する撮影地点の画像を選定するのに利用することができる。
【0066】
地点選定部(102)は、比較基準となるツアー(例えば、第1ツアー)に対する特定画像撮影地点(例えば、第1地点)の座標値と、比較対象となるツアー(例えば、第2ツアー)に含まれる複数の画像撮影地点の全ての座標値との間の距離をそれぞれ計算することができる。続いて、地点選定部(102)は、計算された距離が最も短い地点を比較対象となるツアー(例えば、第2ツアー)の画像撮影地点(例えば、第2地点)に選定することができる。
【0067】
方向設定部(103)は、画面の一側に表示される比較基準となるツアー(例えば、第1ツアー)の画像方向と、比較対象となるツアー(例えば、第2ツアー)の画像方向を一致させる。すなわち、方向設定部(103)は第1ツアーの第1地点に対する第1方向と、第2ツアーの第2地点に対する第2方向を同期させることができる。
【0068】
画面表示部(104)は、ユーザが比較しようとする互いに異なる複数の3Dツアーを分割された画面上に同時に表示することができる。
【0069】
データベース部(105)は、異なる時点で撮影された複数の3Dツアーに関するデータを保存及び管理することができる。このとき、データベース部(105)はそれぞれのツアーに対する撮影画像、撮影日、撮影位置などを保存することができる。
【0070】
図面に明確に図示していないが、本発明の一実施例に係るサーバ(100)はユーザ端末(200)及び3Dツアーの撮像装置(300)と通信する通信部(未図示)をさらに含むことができる。このとき、サーバ(100)は様々な通信規約をもとに他の外部機器とデータを送受信することができる。
【0071】
以下では、本発明の他の実施形態に係る3Dツアーの比較表示システム(1000)の構成について詳しく説明する。
【0072】
図3は、本発明の他の実施例に係る3Dツアーの比較表示システムの概略的な構成を説明するためのブロック図である。
【0073】
図3を参照すると、本発明の他の実施形態に係る3Dツアーの比較表示システム(1000)は、本発明の技術的思想を実装するためのプログラムが格納されるメモリ(120)、及び上記メモリ(120)に格納されているプログラムを実行するためのプロセッサ(110)を含む。
【0074】
このとき、プロセッサ(110)は、比較基準となる第1ツアー及び比較対象となる第2ツアーについて、同じ平面図内にそれぞれの同一基準点を設定し、基準点に対するそれぞれの座標値を設定する。このとき、第1ツアー及び第2ツアーは異なる時点で撮影された画像を含む互いに異なるツアーである。
【0075】
続いて、プロセッサ(110)は、第1ツアーに含まれる複数の画像撮影地点のうち、1つの第1地点を設定し、第1地点の座標値と第2ツアー内に含まれる複数の画像撮影地点の座標値を比較する。
【0076】
続いて、プロセッサ(110)は、上記第1地点の座標値と最も距離が短い第2ツアー内の画像撮影地点を第2地点に選定する。
【0077】
続いて、プロセッサ(110)は分割画面の一側に上記第一地点の画像を表示し、他側に上記第2地点の画像を表示する。これらのプロセッサ(110)の動作は、あらかじめ設定された複数のオペレーションから構成されるプログラムを利用して行うことができる。
【0078】
このとき、メモリ(120)には複数の時点で撮影された複数の3Dツアーに関連するデータが保存される。例えば、それぞれの3Dツアーは、撮影時点(例えば、撮影日)、撮影時点に撮影された複数の360度の撮影画像、それぞれの撮影画像に対する撮影位置の座標、及び当該座標がマッピングされた平面図に関するデータを含むことができる。
【0079】
また、メモリ(120)には3Dツアーの比較表示方法に対するアルゴリズムを保存することができる。ここで、3Dツアーの比較表示方法は、複数の3Dツアーを分割画面上に同時に表示するインタフェース提供方法を意味する。このとき、プロセッサ(110)は、当該アルゴリズムの実行主体となることができる。
【0080】
一方、3Dツアーの比較表示システム(1000)は、同一の空間に対して異なる時点(または、日付)に撮影された複数の3Dツアーに対して、相互対応する位置及び方向に対する画像を選定し、画面に同時に表示する3Dツアーの比較インタフェースを提供することができる。
【0081】
このとき、3Dツアーの比較表示システム(1000)は、第1領域に表示される第1の3Dツアーの地点と最も近い他の第2の3Dツアーの地点を選定し、方向を同期させ、それぞれの互いに異なる3Dツアーに対する画像を画面に同時に表示するインタフェースを提供することができる。
【0082】
また、3Dツアーの比較表示システム(1000)は、分割画面内で複数の3Dツアーの画像撮影時点を選択し、比較表示できるインタフェースを提供することもできる。
【0083】
付加的に、プロセッサ(110)は3Dツアーの比較表示システム(1000)の実装例によって、CPU、モバイルプロセッサなど様々な名称で命名することができる。
【0084】
メモリ(120)は、プログラムが格納され、プログラムを駆動させるためにプロセッサのアクセスが可能な、いかなる形態の記憶装置で実装化されても構わない。ハードウェア的実装例によって、メモリ(120)はいずれかの記憶装置ではなく、複数の記憶装置で実装化されることもある。また、メモリ(120)は主記憶装置のみならず、一時記憶装置を含むこともできる。また、メモリ(120)は揮発性メモリまたは不揮発性メモリとして実装化されることもあり、プログラムが格納されプロセッサによって駆動されるように、実装されるすべての形態の情報記憶手段を含む意味で定義することができる。
【0085】
また、3Dツアーの比較表示システム(1000)は、実施例によってウェブサーバ、コンピュータ、モバイルフォン、タブレット、テレビ、セットトップボックスなど様々な方式で実装され、本明細書で定義される機能を実行できるいかなる形態のデータ処理装置も含む意味で定義することができる。
【0086】
3Dツアーの比較表示システム(1000)は、実施例によって様々な周辺装置(例えば、周辺装置-1(131)乃至周辺装置-N(139))をさらに含むことができる。例えば、3Dツアーの比較表示システム(1000)は、3Dツアーの撮影装置(300)、キーボード、モニター、グラフィックカード、通信装置などの周辺装置をさらに含むことができる。
【0087】
以下では、説明の便宜のために、図1のサーバ(100)で行われる3Dツアーの比較表示方法を例に挙げて説明する。
【0088】
図4は、本発明のいくつかの実施例に係る3Dツアーの比較表示方法を説明するための流れ図である。
【0089】
図4を参照すると、本発明の実施例に係る3Dツアーの比較表示方法において、まずサーバ(100)は、3Dツアーの互いに異なるツアーに含まれている同一の平面図上に基準点を設定する(S110)。
【0090】
このとき、比較しようとするすべての3Dツアーの基準点と画像らの間のスケール(scale)は、同じ値を持たなければならない。このため、サーバ(100)は同一の平面図を含む複数の3Dツアーに対する基準点を統一させることができる。ここで、基準点は同一平面図上で自動的に設定されたり、ユーザによって手動で設定された座標系を基準に設定されたりすることができる。サーバ(100)はX-Y座標系をもとに、基準点を設定することができるが、必要に応じて様々な座標系を利用することが可能である。
【0091】
また、サーバー(100)は同一の平面図を持つ画像らの大きさを同一に変更することができる。
【0092】
続いて、サーバ(100)は、ユーザ端末(200)を介してユーザから比較基準となる第1ツアーと比較対象となる第2ツアーを選択してもらうことができる。このとき、互いに異なる第1ツアーと第2ツアーは同じ空間に対し、異なる撮影時点で撮影された複数の画像を含むことができる。
【0093】
続いて、サーバ(100)は、比較基準となる第1ツアー内に含まれる第1地点に対する座標値を設定する(S120)。このとき、第1地点の座標値はユーザが第1ツアー内の平面図を介して比較しようとする特定画像の撮影地点を選択することによって設定される。
【0094】
続いて、サーバ(100)は、比較対象となる第2ツアー内で、第1地点の座標値に最も近い第2地点を選定する(S130)。サーバ(100)は、S120段階で選択された第1地点の座標値と、第2ツアー内に含まれる各画像の撮影地点の全ての座標値との間の距離をそれぞれ計算して比較し、計算された距離が第1地点と最も短い画像撮影地点を第2地点に選定することができる。
【0095】
続いて、サーバ(100)は、第1地点で撮影された画像方向と、第2地点で撮影された画像の方向を同一に設定する(S140)。すなわち、第1地点に対する画像と、第2地点に対する画像の方向は相互に同期することができる。
【0096】
続いて、サーバ(100)は、分割された画面上に、第1地点及び第2地点に対する同一方向の画像を同時に表示する(S150)。これにより、サーバ(100)は第1ツアーの第1地点で選択された画像とマッチング率が最も高い第2ツアーの画像を選定して表示することができる。
【0097】
続いて、ユーザが第1ツアーの第1地点の位置及び方向を変更する場合、サーバ(100)は、変更された位置及び方向に対応する第2ツアーの画像を選定して表示することができる。
【0098】
もし、ユーザが第1地点に対する視点方向を転換すれば、サーバ(100)はユーザ端末(200)から方向転換の制御信号を受信することになる。このとき、サーバ(100)は、入力された制御信号をもとに、第1地点の方向を変化させ、第1地点の方向の変化に同期され、第2地点の第2方向が変化することができる。
【0099】
これは、第2ツアーの位置及び方向を変更する場合にも、そのまま適用することができる。すなわち、ユーザが第2ツアーの位置と方向を変更する場合、サーバ(100)は、入力された制御信号を利用して、変更された位置及び方向に対応する第1ツアーの画像を選定して表示することができる。このような変更事項の適用は、リアルタイムで適用することができる。すなわち、第1ツアーと第2ツアーは相互同期し、ユーザの入力に応じて変更された事項をリアルタイムで更新して表示することができる。
【0100】
図5は、本発明のいくつかの実施例に係る3Dツアーの比較表示サーバにおいて、互いに異なる3Dツアーの位置及び方向を同期させる方法を説明するための図面である。 図5では、図4で説明した3Dツアーの比較表示方法を図式化し、簡単に説明する。
【0101】
ここで、図5の<a1>は複数の画像撮影地点(例えば、V1乃至V6)を含む第1ツアーを示し、<a2>は複数の画像撮影地点(例えば、P1乃至P6)を含む第2ツアーを表す。
【0102】
図5を参照すると、サーバ(100)は、第1ツアーの平面図上にそれぞれの複数の画像撮影地点(例えば、V1乃至V6)を表示し、平面図内で基準点(SP)を設定することができる。
【0103】
同様に、サーバ(100)は、第2ツアーの平面図上にそれぞれの複数の画像撮影地点(例えば、P1乃至P6)を表示し、第2ツアーの平面図に対して第1ツアーと同一の基準点(SP)を設定することができる。
【0104】
続いて、ユーザが比較基準となる第1ツアー内で特定地点(V3)を選択すると、サーバ(100)は基準点(SP)を基準にして第1地点(V3)に対する座標値(以下、例えば(2、3))を算出する。また、サーバ(100)は、ユーザが指定した第1地点(V3)の方向を導出する。
【0105】
続いて、サーバ(100)は、選択された第1地点(V3)の座標値(2,3)と第2ツアーに含まれる複数の画像撮影地点(例えば、P1乃至P6)の座標値との間の距離をそれぞれ計算し、第1地点(V3)の座標値(2,3)と最も短い距離を有する地点を第2地点(P1)に設定することができる。
【0106】
続いて、サーバ(100)は、第1地点(V3)からユーザが眺める方向と第2地点(P1)からユーザの眺める方向を一致させる。
【0107】
続いて、サーバ(100)は、分割された画面上に第1地点(V3)の第1方向に対する画像を画面の一側(すなわち、第1領域)に表示し、第2地点(P1)の第2方向に対する画像を画面の他側(すなわち、第2領域)に表示することができる。
【0108】
これにより、本発明のサーバ(100)は、異なる視点で撮影した複数の3Dツアーに対して、相互に対応する位置及び方向に対する画像を選定し、画面に同時に表示することができる。これにより、本発明のサーバ(100)は複数の3Dツアーに対して、それぞれの対応される画像をユーザがいちいち探す不便さを解消することができる。
【0109】
図6及び図7は、本発明のいくつかの実施例に係る3Dツアーの比較表示サーバが提供する3Dツアーの比較インタフェースの一例を説明するための図面である。ここで、図6は、複数の3Dツアーに対するそれぞれの平面図を示し、図7は、複数の3Dツアーで対応される位置及び方向の画像を比較表示する図面である。
【0110】
図6を参照すると、第1ツアー及び第2ツアーは同じ場所に対する異なる時間に撮影された複数の画像撮影地点等を含むことができる。それぞれの複数の画像撮影地点を第1ツアー及び第2ツアーの平面図上にそれぞれ表示することができる。
【0111】
<b1>を参照すると、ユーザは設定した第1ツアー内から任意の第1地点(NP)を選択することができる。
【0112】
続いて、<b2>を参照すると、サーバ(100)は第2ツアー内で、第1ツアーで選択された第1地点(NP)の座標値と同じ座標値を持つ位置座標(VP)を設定することができる。
【0113】
続いて、サーバ(100)は、設定された位置座標(VP)と第2ツアー内のすべての地点に対する座標値の距離をそれぞれ計算し、最も短い距離を持つ第2ツアー内の地点(MP)を第2地点に選定することができる。
【0114】
続いて、サーバ(100)は、第1地点(NP)に対する第1画像の方向と、第2地点(MP)に対する第2画像の方向を同一に設定することができる。
【0115】
具体的には、図7を参照すると、サーバ(100)は分割画面上に、図6で設定した第1地点に対する第1画像と、第2地点に対する第2画像を同時に表示することができる。
【0116】
すなわち、サーバ(100)は分割画面の第1領域(D1)には第1地点に対する第1画像を表示し、分割画面の第2領域(D2)には第2地点に対する第2画像を表示することができる。
【0117】
このとき、第2ツアー内で第2地点に対する第2画像は、第1地点に対する第1画像と最も高い関連度を持つ画像であることができる。例えば、第2画像は、第1画像に含まれる構成要素と最も高いマッチング率を示すことができる。
【0118】
それぞれのツアーの画面上には、それぞれのツアー内に異なる画像撮影地点の位置を示すアイコンを表示することができる。例えば、サーバ(100)は、第1領域(D1)に表示された第1ツアーの第1地点に対する画像を表示することができる。
【0119】
このとき、第1地点に対する画像上には、第1地点に隣接する他の地点の位置及び方向を示す第1アイコン(DM11)及びまた他の地点の位置及び方向を示す第2アイコン(DM12)を画面上にオーバーラップして表示することがある。
【0120】
同様に、第2領域(D2)に表示された第2ツアーの第2地点に関する画像上には、第2地点に隣接する他の地点の位置及び方向を示す第3アイコン(DM21)及びまた他の地点の位置及び方向を示す第4アイコン(DM22)をオーバーラップして表示することができる。
【0121】
ユーザが特定のアイコンをクリックする場合、当該ツアーの画面は当該アイコンに対応する画像撮影地点に移動することができ、当該画像撮影地点に対応する画像を画面に表示することができる。続いて、ユーザは撮影地点から眺める方向を360度の範囲内で自由に変更することができる。
【0122】
続いて、サーバ(100)は前述した3Dツアーの比較表示方法を利用し、比較基準となるツアーの変更された撮影地点に対応するように、比較対象となるツアー(すなわち、他側に表示されるツアー)の地点を併せて変更することができる。また、サーバ(100)は当該地点から眺める画像の方向も同一に変更することができる。
【0123】
一方、サーバ(100)は、それぞれの分割画面上に第1ツアー及び第2ツアーに含まれる複数の画像撮影地点が表示された平面図を表示することができる。
【0124】
例えば、分割画面上の第1領域(D1)には、第1ツアーの第1画像に対する第1平面図(GP1)を表示することができる。第1平面図(GP1)上には、画面に表示される第1地点(NP11)に対する位置及び方向を表示することができる。また、第1平面図(GP1)上には第1ツアーに含まれる他の画像撮影地点(AP12、AP13)を表示することができる。
【0125】
分割画面上に、第2領域(D2)には、第2ツアーの第2画像に対する第2平面図(GP2)を表示することができる。同様に、第2平面図(GP2)上には第2地点(NP21)に対する位置及び方向を表示することができる。また、第2平面図(GP2)上には第2ツアーに含まれる他の画像撮影地点(AP22、AP23)を表示することができる。
【0126】
このとき、ユーザが選択した画像地点は、平面図上の周辺の他の地点と比較して、色、模様、及び大きさを異なるように表現することができる。
【0127】
また、サーバ(100)は、分割画面の一側にメニューバー(SB)を表示する。ユーザはメニューバー(SB)を利用して複数の3Dツアーのうち比較対象となるツアーを選択して表示することができる。3Dツアーの変更方法は図8を参照して詳しく後述する。
【0128】
図7では、異なる時間に撮影したそれぞれのツアーに対する画像を、二つに分割された画面にそれぞれ表示することを例に挙げて示した。 ただし、本発明はこれに限定されるものではなく、分割画面は2以上の画面を互いに異なる大きさ及び配置に変更して構成することができる。また、図面に明確に図示してはいないが、分割画面の構成及び大きさはユーザが変更することができ、サーバ(100)はこれらのインタフェース画面をユーザのニーズに合わせて変更できるインタフェースを提供することができる。
【0129】
図8は本発明のいくつかの実施形態に係る3Dツアーの比較インタフェースにおいて、撮影時点を変更する機能を説明するための図面である。
【0130】
図8を参照すると、サーバ(100)は撮影時点に応じた比較分割画面を提供することができる。 このとき、ユーザは分割されたそれぞれの画面に表示される複数の3Dツアーを選択することができる。
【0131】
それぞれの画面の一側には3Dツアーの種類を選択できるボタンが備えられ、ユーザは当該ボタンを押して、予め保存されている複数の3Dツアーの中から一つを選択することができる。それぞれの3Dツアーは異なる時点で撮影されたもので、ユーザは比較基準となる時点で撮影されたツアーと、比較対象となる時点で撮影されたツアーを選択し、1つの画面に表示されるようにすることができる。
【0132】
サーバー(100)は互いに異なる3Dツアーを選択することができる3Dツアー選択メニュー(それぞれSM1、SM2)を含むメニューバー(SB)を画面の一側に表示することができる。
【0133】
具体的には、分割画面のうち第1領域(D1)下段には、比較基準となるツアーを選択できる第1選択メニュー(SM1)を表示することができる。例えば、ユーザは、第1選択メニュー(SM1)で第1撮影時点(例えば、2018.03.01)に対する第1ツアー(T1;すなわち、比較基準となるツアー)を選択することができる。そのとき、第1領域(D1)上には、第1ツアーに含まれる画像を表示することができる。また、分割画面の第2領域(D2)下段には比較対象となるツアーを選択できる第2選択メニュー(SM2)を表示することができる。例えば、第2選択メニュー(SM2)から第2又は第3撮影時点(例えば、2019.05.08又は2019.05.09)に対する第2ツアー(T2)または第3ツアー(T3)を選択することができる。
【0134】
また、3D比較ツアーシステム(100)は、比較対象となるツアーが変更されると、比較基準となるツアーの画像撮影地点及び方向に相互対応する比較対象となるツアーの画像撮影地点を選択して表示することができる。
【0135】
例えば、第1領域(D1)に第1ツアー(T1)が設定された後、ユーザが第2領域(D2)に第3ツアー(T3)を選択すると、サーバ(100)は、第1領域(D1)に表示される第1地点の座標値と第3ツアー(T3)に含まれる複数の画像撮影地点の座標値との間の距離を計算する。続いて、第3ツアー(T3)内で計算された距離が最も短い画像撮影地点を第3地点に選定し、第3地点に関する画像を第2領域(D2)に表示することができる。ただし、これは一例に過ぎず、本発明がこれに限られるものではない。
【0136】
図9は、本発明のいくつかの実施例に係るサーバ(100)で提供する3Dツアーの比較インタフェースの他の例を説明するための図面である。本発明の3Dツアーの比較表示方法は建物工事現場の工事進行程度を把握するのに有用に活用できる。
【0137】
例えば、図9を参照すると、3Dツアーの比較インタフェースの第1領域(D1)には、工事実施前の建物内部を撮影した画像の第1ツアーを表示し、第2領域(D2)には、工事実施後の様々な時点別の建物内部を撮影した画像の第2ツアーを表示することができる。
【0138】
分割画面下段には、異なる時点に撮影された複数のツアーのうち、いずれかを選択することができる第1及び第2選択メニュー(SM1,SM2)を含むメニューバー(SB)が配置され、ユーザは第1及び第2選択メニュー(SM1,SM2)を介して任意の時点に撮影された3Dツアーを自由に選択することができる。
【0139】
それぞれの3Dツアー上には平面図を表示することができる。第1領域(D1)上には第1ツアーに対する第1平面図(GP1)を表示し、第2領域(D2)上には第2ツアーに対する第2平面図(GP2)を表示することができる。
【0140】
第1ツアーに対する第1平面図(GP1)上で第1地点(NP31)を選択すると、上記第1平面図(GP1)上には上記第1地点(NP31)の位置及び方向が表示される。このとき、サーバ(100)は、第2ツアー内で同一の平面度に対して上記第1ツアーと上記第2ツアーの基準点を同一に設定することができる。
【0141】
続いて、上記第1地点(NP31)の座標値と、上記第2ツアーに含まれる複数の画像撮影地点の座標値をそれぞれ計算し、計算された距離が最も短い座標値を第2地点(NP41)に選定することができる。
【0142】
続いて、サーバ(100)は第1地点(NP31)から眺める方向と、第2地点(NP41)から眺める方向を一致させ、相互対応する画像を画面に同時に表示することができる。また、ユーザが上記第1地点(NP31)に対して方向転換を行う場合、サーバ(100)は、ユーザが入力した制御信号に基づいて上記第1地点(NP31)の上記第1方向を変化させることができ、上記第1方向の変化に同期して第2方向も一緒に変化させることができる。これにより、本発明のユーザは建物の工事の進み具合を容易に確認し、比較することができる。
【0143】
まとめると、本発明による3Dツアーの比較表示システム及び方法は、互いに異なる視点で撮影した複数の3Dツアーに対して、相互対応する位置及び方向性に対する画像を選定し、画面に同時に表示することにより、複数の3Dツアーに対してそれぞれの対応する画像をユーザがいちいち探さなければならない不便さを解消することができる。
【0144】
また、本発明に係る3Dツアーの比較表示システム及び方法は、複数の3Dツアーを同時に表示し、他側に表示される3Dツアーを撮影時点によって選択し比較できるようにする。これにより、本発明は同一空間の時間による変化を容易に把握できるようにし、ユーザの利便性を向上させることができる。
【0145】
一方、室内空間の撮影時の撮影経路の追跡と撮影地点を追跡する技術は、様々な産業に有用に使用することができる。建設、インテリア、施設管理、工場などは、GPS情報を受信できない室内空間で主に行われる産業であるという面で、室内空間の位置追跡と撮影を一緒に行うことができれば、有用な空間管理データを獲得することができる。
【0146】
本発明では室内での位置追跡のためにSLAM(Simultaneous Localization and Mapping)技術を利用して3Dツアーの撮影装置の位置と経路を推定することができる。
【0147】
また、前述したように、本発明における「3Dツアー」は、複数の地点でそれぞれ360度撮影し、保存された画像(例えば、パノラマ画像)の組み合わせで構成することができる。 このとき、「3Dツアー」は複数の画像が撮影されたそれぞれの位置情報及び方向情報を含むことができる。
【0148】
ここで、それぞれの位置情報を平面図上にマッピングし、ユーザに提供することができる。また、3Dツアーの撮影のために移動しながら導出された位置情報及び方向情報は、移動経路を導出するのに利用され、導出された移動経路をユーザの端末上に表示することができる。
【0149】
このとき、360度に撮影された画像と上記画像が撮影された位置情報及び方向情報は、以下で後述する本発明の3Dツアーの撮影装置及び方法により獲得することができる。
【0150】
以下では、図面を参照して、本発明の実施例に係る3Dツアーの撮影装置及びその動作方法について詳しく説明する。
【0151】
図10は、本発明の他の実施例に係る3Dツアーの撮影システムを概略的に示す図面である。
【0152】
図10を参照すると、本発明の実施例に係る3Dツアーの撮影システムは、3Dツアーの撮影装置(300)、ユーザ端末(200)、及びサーバ(100)を含むことができる。
【0153】
本発明の実施例では、ユーザ端末(200)は、携帯電話、スマートフォン及びウェアラブルデバイス(例えば、ウォッチ型端末等)等の固有識別番号を有する移動可能な電子装置を意味することができる。ここで、ユーザ端末(200)のオペレーティングシステム(OS)は、特定オペレーティングシステム(例えば、アイオーエス(ios)又はアンドロイド(Android(登録商標))オペレーティングシステム)に限定されないのはもちろんである。
【0154】
また、ユーザ端末(200)は、ユーザの入力を受信する入力部、ビジュアル情報をディスプレイするディスプレイ部、外部と信号を送受信する通信部、及びデータをプロセッシングし、ユーザ端末(200)内部の各ユニットを制御し、ユニット間のデータ送/受信を制御する制御部を含むことができる。以下、ユーザの命令によって制御部がユーザ端末(200)の内部で行うものは、ユーザ端末(200)が行うものと通称する。
【0155】
本発明の実施例では、ユーザ端末(200)は、インストールされたアプリケーションを介して3Dツアーの撮影装置(300)から撮影された画像、位置情報及び方向情報を受信することができる。
【0156】
また、ユーザ端末(200)は3Dツアーの撮影装置(300)から受信された通知を表示することができる。ここで、ユーザ端末(200)は予めインストールされたアプリケーションを介して受信された通知をユーザに提供することができる。
【0157】
本発明の実施例では、ユーザ端末(200)は通信部を介して、移動通信のための技術標準又は通信方式によって構築された移動通信網上で3Dツアーの撮像装置(300)及びサーバ(100)のいずれかの無線信号を送受信することができる。本発明の一実施例では、ユーザ端末(200)は3Dツアーの撮影装置(300)にユーザが入力した信号を送信することができ、ユーザ端末(200)にインストールされたアプリケーションを介して3Dツアーの撮影装置(300)から3Dツアー及び通知を受信することができる。
【0158】
本発明の実施例では、3Dツアーの撮影装置(300)は特定地点に対する画像を撮影した後、撮影された画像に対する特徴点及び位置情報を収集することができる。続いて、3Dツアーの撮影装置(300)は収集されたデータを利用して3Dツアーを生成することができる。3Dツアーの撮影装置(300)から収集されたデータをユーザ端末(200)及びサーバ(100)に送受信することができる。
【0159】
3Dツアーの撮影装置(300)は、撮影された画像の特徴点が不足している場合、3Dツアーの撮影装置(300)は、当該装置に備えられた通知部(350)またはユーザ端末(200)を介して、カメラモジュール(310)と位置追跡モジュール(320)との間の位置または角度を調整することを知らせる通知を提供することができる。
【0160】
本発明の実施例では、サーバ(100)は3Dツアーの撮影装置(300)から受信したデータを管理及び保存することができ、保存されたデータを3Dツアーの撮影装置(300)及びユーザ端末(200)に共有することができる。ここで、サーバ(100)はクライアントに通信網を介して情報やサービスを提供するコンピュータシステムであり、コンピュータ(server program)または装置(device)を意味することができる。
【0161】
このとき、サーバ(100)は、特定業者や個人によって直接運営乃至管理されたり、又は外部委託されたりすることができ、同一の主体によって運営されることも可能である。また、サーバ(100)で行う機能は、多数のサーバから分離して行うことができるのはもちろんである。
【0162】
以下では、本発明の実施例に係る3Dツアーの撮影装置及び方法について具体的に述べる。
【0163】
図11は本発明の実施例に係る3Dツアーの撮影装置を示す図面である。
【0164】
図11を参照すると、本発明の実施例に係る3Dツアーの撮影装置(300)は、カメラモジュール(310)、位置追跡モジュール(320)、及びチルト部(330)で構成される。
【0165】
カメラモジュール(310)は360度で周辺を撮影することができる装置である。カメラモジュール(310)は特定地点から特定角度で周辺を撮影した画像を保存することができる。 このとき、撮影された画像は、アラウンドビュー形式(例えば、複数の画像を結合した一つの画像又は特定地点を基準に特定角度以上回転しながら撮影された画像)として保存することができる。このとき、撮影される画像の形式を様々に変形して実施することができる。
【0166】
本発明の一実施例において、カメラモジュール(310)は前方と後方を撮影できる複数のカメラからなることができる。このとき、複数個のカメラから撮影された複数の画像は、スティッチング(stiching)技術を用いて一つの画像に変換することができる。
【0167】
具体的には、カメラモジュール(310)はカメラレンズ(CL)を利用して周辺を360度で撮影することができる。カメラモジュール(310)は複数個のカメラレンズ(CL)を含むことができ、複数個のカメラレンズ(CL)を多様な位置及び方向に配置されることで360度撮影に活用することができる。このとき、カメラモジュール(310)は広角レンズ、魚眼レンズなどを利用することができ、多様なレンズ群を360度撮影に利用することができる。
【0168】
一方、本発明の他の実施例において、図面に明確に図示されていないが、カメラモジュール(310)は、一側のみを撮影できる単一のカメラ部と、基準軸を基準に360度回転する回転部と構成することができる。この場合、カメラモジュール(310)は、特定地点で基準軸を中心に360度回転して周辺を撮影することができる。このとき、カメラモジュール(310)によって連続的に撮影された画像は同様に、スティッチング(sitching)技術を介して連結され、一つの画像に変換することができる。
【0169】
位置追跡モジュール(320)は、3Dツアーの撮影装置(300)の位置情報及びこの変化を測定する。位置追跡モジュール(320)はSLAM(Simultaneous localization and mapping)技術を利用して空間の地図を作成し、現在位置を推定することができる。
【0170】
具体的には、SLAMはロボットが未知の環境を歩き回りながら、ロボットに取り付けられているセンサーのみで、外部の助けなしに自分の位置を認識しながら未知の環境に対する地図を作成する技術を意味する。SLAMは複数の物理的な空間の特徴点、またはランドマークを基準に移動ロボットの位置が推定することができる。
【0171】
このために、位置追跡モジュール(320)はライダー(LiDAR)、カメラ(例えば、RGB、赤外線、紫外線)、超音波センサー、ジャイロセンサー、加速度センサーなどのセンサーを具備することができる。このとき、位置追跡モジュール(320)は複数のセンサーを利用して3Dツアーの撮影装置(300)の位置座標及び位置変化を測定することができる。
【0172】
位置追跡モジュール(320)は複数のレンズに入る画像から特徴点を抽出して位置の変化を感知することができる。例えば、位置追跡モジュール(320)は、一側に位置する第1レンズ(L1)及び他側に位置する第2レンズ(L2)を介して画像を受信し、受信された複数の画像から特徴点を抽出することができる。続いて、位置追跡モジュール(320)は特徴点の移動方向及び移動速度を抽出することにより、位置変化及び方向変化を判断することができる。このとき、位置追跡モジュール(320)内の複数のレンズは多様な位置及び方向に位置することができる。
【0173】
チルト部(330)はカメラモジュール(310)を基準に位置追跡モジュール(320)の位置及び方向が調節できるようにする。例えば、チルト部(330)は位置追跡モジュール(320)の位置を上下方向又は左右方向に回転させる構造を具備することができる。すなわち、チルト部(330)を利用して、ユーザはカメラモジュール(310)を基準に位置追跡モジュール(320)の位置及び角度を調整することができる。
【0174】
一方、3Dツアーの撮影装置(300)において、画像の特徴点を多く抽出できる方向へ位置追跡モジュール(320)の位置を調整することは、位置情報の誤差を減少させることにおいて最も重要である。
【0175】
従って、現在撮影されている画像の特徴点が基準値より小さい場合、3Dツアーの撮影装置(300)はユーザに位置追跡モジュール(320)の位置を変更することを知らせる通知を提供することができる。このような通知は通知部(図4の150)を介して光又は音の形で提供することができる。また、通知はユーザ端末(200)にインストールされたアプリケーションを介してユーザに提供することができる。
【0176】
追加的に、チルト部(330)はカメラモジュール(310)と位置追跡モジュール(320)が重なり合うように位置を変更させることができる。すなわち、カメラモジュール(310)と位置追跡モジュール(320)は同じ方向に整列することができる。これにより、3Dツアーの撮影装置(300)に対するユーザの携帯利便性は向上することができ、ユーザがカメラ撮影装置と位置追跡装置を別途に所持しなければならない不便さを軽減することができる。
【0177】
以下では、3Dツアーの撮影装置(300)とデータを送受信する周辺装置について説明する。
【0178】
図12は、本発明の実施例に係る3Dツアーの撮影装置の構成要素を説明するためのブロック図である。
【0179】
図12を参照すると、本発明の実施例において、3Dツアーの撮影装置(300)はカメラモジュール(310)と位置追跡モジュール(320)の動作を制御する制御モジュール(340)をさらに含むことができる。
【0180】
制御モジュール(340)はカメラモジュール(310)及び位置追跡モジュール(320)と有線又は無線で接続され、カメラモジュール(310)で撮影された画像及び位置追跡モジュール(320)で測定した位置情報を受信することができる。
【0181】
ここで、撮影された画像は特定の地点で360度に撮影されたアラウンドビュー形式の画像であることができる。また、撮影された画像は同一プロジェクト内で撮影された複数の画像であることができ、この場合、制御モジュール(340)は位置追跡モジュール(320)から受信された位置情報をもとに複数の画像を結合して360度を全て表す一つの画像として作成することができる。
【0182】
このとき、制御モジュール(340)から受信する位置情報は、特定座標系の座標値と、当該座標値の時間情報を含むことができる。すなわち、位置情報は時間に応じた座標値の動きを把握できる位置の変化情報を一緒に含むことができる。
【0183】
また、制御モジュール(340)は無線通信モジュールを含むことができる。上記無線通信モジュールを用いて、制御モジュール(340)はユーザ端末(200)及びサーバ(100)と無線でデータの送受信することができる。
【0184】
例えば、3Dツアーの撮影装置(300)は、ワイファイモジュール又はブルートゥース(登録商標)モジュールのような無線通信モジュールを利用して無線通信を行うことができる。そのとき、通信干渉を最小化するため、3Dツアーの撮影装置(300)とユーザ端末(200)との間の通信規約(例えば、ブルートゥース)と、3Dツアーの撮影装置(300)とサーバ(100)との間の通信規約(例えば、ワイファイ)は互いに異なることがある。
【0185】
一方、ユーザはユーザ端末(200)を介して3Dツアーの撮影装置(300)の動作を制御することができる。
【0186】
例えば、ユーザ端末(200)に予めインストールされたアプリケーションで提供するインタフェースを介して、ユーザは3Dツアーの撮影装置(300)のカメラモジュール(310)の動作を制御することができる。すなわち、ユーザはユーザ端末(200)のアプリケーションを介してカメラモジュール(310)を遠隔制御し、撮影命令に介してそれぞれの撮影地点に対する360度の画像を獲得することができる。
【0187】
また、3Dツアーの撮影装置(300)は、カメラモジュール(310)が撮影動作を行う間、位置追跡モジュール(320)を利用して位置情報を獲得することができる。
【0188】
このとき、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より低い場合、制御モジュール(340)は位置追跡モジュール(320)の角度及び位置を調整することを知らせる通知を通知部(350)又はユーザ端末(200)に提供することができる。
【0189】
ユーザは、ユーザ端末(200)に表示された通知をもとに位置追跡モジュール(320)の位置を変化させることができる。このとき、ユーザは3Dツアーの撮影装置(300)のチルト部(330)を利用して位置追跡モジュール(320)の撮影位置及び方向を調整することができる。
【0190】
また、チルト部(330)は、前述したように位置追跡モジュール(320)の撮影方向を上下左右に自由に変更でき、撮影角度を調節できる関節構造で構成することができる。このとき、チルト部(330)は位置追跡モジュール(320)の撮影方向を変更できる多様な構造を採択することができる。
【0191】
続いて、制御モジュール(340)は位置追跡モジュール(320)の変化される位置によって、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より高くなる場合、それに対する通知(例えば、位置設定完了の通知など)を追加して通知部(350)又はユーザ端末(200)に提供することができる。これにより、ユーザは画像撮影に対するより正確な位置情報を獲得することができる。
【0192】
サーバ(100)は3Dツアーの撮影装置(300)で撮影された360度の画像と位置情報を受信し、受信された複数の画像と位置情報をもとに3Dツアーを生成することができる。生成された3Dツアーはサーバ(100)の記憶域に保存管理され、保存された3Dツアーは必要に応じて3Dツアーの撮影装置(300)又はユーザ端末(200)に共有され、利用することができる。
【0193】
以下では、本発明の実施例に係る3Dツアーの撮影装置の具体的な一例について詳しく説明する。
【0194】
図13は、本発明の実施例に係る3Dツアーの撮影装置の構成要素の一例を説明するためのブロック図である。
【0195】
図13を参照すると、3Dツアーの撮影装置(300)はカメラモジュール(310)、位置追跡モジュール(320)、チルト部(330)、制御モジュール(340)、通知部(350)及び通信部(360)を含むことができる。
【0196】
まず、カメラモジュール(310)は複数個のカメラ部(311)を含むことができる。 このとき、カメラ部(311)は、様々な位置及び方向に位置する複数個のカメラを介して、互いに異なる位置及び方向の画像を撮影することができる。
【0197】
また、カメラモジュール(310)は単一のカメラ部(311)と回転部(313)からなることができる。このとき、回転部(313)は、3Dツアーの撮影装置(300)の基準軸を中心にカメラ部(311)を回転させることにより、カメラ部(311)が360度の画像を撮影できるようにする。
【0198】
位置追跡モジュール(320)はセンサー部(321)及び変化測定部(323)からなることができる。センサー部(321)は互いに離隔した複数のセンサーを含むことができ、センサーは様々な画像、位置情報及び方向情報を測定することができる。
【0199】
ここで、センサー部(321)に備えられたセンサーには、ライダー(LiDAR)センサー、RGBセンサー、赤外線センサー、紫外線センサー、超音波センサー、ジャイロセンサー、加速度センサーなどが含まれる。
【0200】
例えば、ジャイロセンサーは、回転する物体の角速度、すなわち、回転する物体の角度が1 秒ごとにどれくらい変わったかを測定することができるセンサーである。 ユーザが3Dツアーの撮影装置(300)で撮影する場合、撮影された画像はジャイロセンサーによって回転角度に対する情報を含むことができる。3Dツアーの撮影装置(300)は、撮影された画像内の回転角度情報をもとに3Dツアーを作成することができる。
【0201】
変化測定部(323)はセンサー部(321)で測定されたデータを受信することができる。変化測定部(323)は受信したデータを分析し、カメラモジュール(310)の位置変化又は方向変化を測定することができる。
【0202】
制御モジュール(340)はカメラモジュール(310)及び位置追跡モジュール(320)からアラウンドビュー画像及び位置情報を受信することができる。上記位置情報には、カメラモジュール(310)の位置変化又は方向変化を含むことができる。
【0203】
続いて、制御モジュール(340)は位置追跡モジュール(320)から受信した位置変化及び方向変化などのデータと現在の位置情報をもとにカメラモジュール(310)の移動経路を導出することができる。
【0204】
また、制御モジュール(340)は受信したアラウンドビュー画像とカメラモジュール(310)の移動経路、画像の撮影位置情報及びデータをもとに、3Dツアーを作成することができる。
【0205】
一方、制御モジュール(340)は位置追跡モジュール(320)で感知される画像の特徴点が基準値より小さい場合や、位置変化及び方向変化が感知されない場合に、ユーザに通知を提供することができる。
【0206】
このとき、通知は通知部(350)あるいはユーザ端末にインストールされたアプリケーションを介して、カメラモジュール(310)と位置追跡モジュール(320)の位置または角度を調整することを知らせる通知を含むことができる。通知は光または音の形で表示されたり、別途のメッセージを介して提供したりすることができる。
【0207】
続いて、通知をもとにユーザが位置追跡モジュール(320)の位置を変更した場合、制御モジュール(340)は位置追跡モジュール(320)で認識される画像の特徴点が基準値より高くなったか否かを判断することができる。
【0208】
もし、特徴点が基準値より高くなった場合、制御モジュール(340)は通知部(350)またはユーザ端末(200)にインストールされたアプリケーションを介して位置変化認識がきちんと行われているという通知を表示することができる。
【0209】
本発明の一実施例では、チルト部(330)は角度調節部(331)を含み、カメラモジュール(310)と位置追跡モジュール(320)の間に位置することができる。このとき、角度調節部(331)は小型モーター、油圧式構造などで構成することができる。
【0210】
また、角度調節部(331)は制御モジュール(340)から受信した制御信号をもとに動作を制御することがある。もし、位置追跡モジュール(320)で撮影した画像の特徴点が基準より低い場合、制御モジュール(340)はチルト部(330)に位置追跡モジュール(320)の位置及び角度の調整を要請する制御信号を送信することができる。上記制御信号をもとに角度調節部(331)は位置追跡モジュール(320)の位置及び方向を変更することができる。
【0211】
続いて、変更された位置で位置追跡モジュール(320)が撮影した画像の特徴点が基準点より高くなる場合、制御モジュール(340)は角度調節部(331)の動作を中止させる制御信号を送信することができる。
【0212】
通知部(350)は位置追跡モジュール(320)の位置を変更することを知らせる通知をユーザに提供することができる。通知部(350)は発光装置又は音発生装置を具備することができ、光又は音響を利用してユーザに当該通知を提供することができる。
【0213】
通信部(360)は無線通信プロトコルを利用する通信モジュール(例えば、ワイファイまたはブルートゥース)を介して、ユーザ端末(200)とデータを送受信することができる。また、通信部(360)は制御モジュール(340)から受信した制御信号及び通知等をユーザ端末(200)に送信することができる。
【0214】
図14は本発明の実施例に係る3Dツアーの撮影装置の動作方法を説明するための流れ図である。図15 は本発明の実施例に係る3Dツアーの撮影装置の通知提供アルゴリズムを説明するための流れ図である。
【0215】
図14を参照すると、3Dツアーの撮影装置(300)は、ユーザ端末(200)から空間撮影要請を受信する(S210)。このとき、ユーザはユーザ端末(200)に予めインストールされたアプリケーションを利用して、3Dツアーの撮影装置(300)が空間撮影を行うことを命令することができる。
【0216】
続いて、3Dツアーの撮影装置(300)はカメラモジュール(310)と位置追跡モジュール(320)を初期化する(S220)。これにより、3Dツアーの撮影装置(300)は空間撮影及び位置トラッキングを準備することができる。
【0217】
続いて、3Dツアーの撮影装置(300)は位置追跡モジュール(320)から受信されるデータをもとに現在の位置情報及び移動経路を導出する(S230)。
【0218】
具体的に、図15を参照すると、3Dツアーの撮影装置(300)は、3Dツアーの撮影装置(300)の位置追跡モジュール(320)に介して位置変化又は方向変化が感知されたか否かを判断する(S231)。このとき、位置追跡モジュール(320)は超音波センサー、ジャイロセンサー、加速度センサー等を利用して3Dツアーの撮影装置(300)の位置変化及び方向変化等を測定することができる。
【0219】
続いて、3Dツアーの撮影装置(300)の位置変化又は方向変化が感知される場合、3Dツアーの撮影装置(300)は位置追跡モジュール(320)で感知された特徴点の数が基準値より小さいか否かを判断する(S233)。
【0220】
もし、位置追跡モジュール(320)において、位置変化又は方向変化が感知されないか、又は感知された特徴点の数が基準値より小さい場合、3Dツアーの撮影装置(300)は通知部(350)を活性化させる(S235)。
【0221】
このとき、制御モジュール(340)は通知部(350)に制御信号を発信することにより、位置追跡モジュール(320)の位置及び角度を調整することをユーザに知らせることができる。また、ユーザ端末(200)にインストールされたアプリケーションを介して、位置追跡モジュール(320)の位置及び角度を調整することをユーザに知らせることができる。ユーザは、表示された通知を認識し、カメラモジュール(310)と位置追跡モジュール(320)との間の位置または角度を変化させる(S237)。
【0222】
続いて、位置追跡モジュール(320)の位置及び角度が再設定されると、3Dツアーの撮影装置(300)はS231段階乃至S237段階を繰り返し実行する。
【0223】
一方、位置追跡モジュール(320)で位置変化又は方向変化が感知され、感知された特徴点の数が基準値より高い場合、3Dツアーの撮影装置(300)内の通知部(350)は非活性化になる(S236)。
【0224】
続いて、再び図5を参照すると、3Dツアーの撮影装置(300)は、カメラモジュール(310)から受信された撮影画像を導出された移動経路にマッピングする(S240)。すなわち、3Dツアーの撮影装置(300)の移動経路の中で画像が撮影された位置を表示し、撮影された画像を当該位置と連結させる。
【0225】
続いて、3Dツアーの撮像装置(300)は、抽出された移動経路と、それに対応する画像をユーザ端末(200)に提供する。すなわち、3Dツアーの撮影装置(300)から受信された移動経路を平面図の形でユーザ端末(200)の画面に表示することができる。ユーザは移動経路の中から画像が撮影された位置を選択することができ、この場合、ユーザ端末機(200)は当該位置に対する3D画像を表示することができる。
【0226】
続いて、3Dツアーの撮影装置(300)は、撮影完了後カメラモジュール(310)及び位置追跡モジュール(320)から測定及び導出されたデータをもとに、3Dツアーを作成し、サーバ(100)(すなわち、クラウドサーバ)及びユーザ端末と共有する(S250)。
【0227】
以下では、本発明の実施例に係る3Dツアー撮影過程から導出される移動経路及び3Dツアー撮影のインタフェースの一例を説明する。
【0228】
図16及び図17は、本発明の実施例に係る3Dツアーの撮影装置から導出される移動経路及び撮影インタフェースを説明するための図面である。
【0229】
図16を参照すると、図16は空間撮影地点と撮影過程において、3Dツアーの撮影装置(300)の移動経路(MP)及び現在位置(CP)を示す。
【0230】
3Dツアーの撮影装置(300)は、初めて撮影された空間撮影地点を始点(SP)で設定することができる。
【0231】
続いて、3Dツアーの撮影装置(300)は、位置追跡モジュール(320)で測定された位置変化及び方向変化により移動経路を導出し、導出された移動経路上の2番目の空間撮影地点(P2)、3番目の空間撮影地点(P3)、4番目の空間撮影地点(P4)で撮影されたアラウンドビュー画像を対応する移動経路(MP)上にマッピングすることができる。
【0232】
このとき、3Dツアーの撮影装置(300)はSLAM技術を利用し、GPS信号なしでも3Dツアーの撮影装置(300)の位置変化及び現在位置座標を導出し、これをもとに正確な移動経路(MP)を導出することができる。
【0233】
図17を参照すると、本発明の3Dツアーの撮影装置(300)に含まれる位置追跡モジュール(320)は、撮影される画面に含まれるそれぞれの特徴点等を導出する。
【0234】
具体的には、3Dツアーの撮影装置(300)は画面の一側には移動経路(MP)が表示される平面図(GP)を表示し、画面の他側にはリアルタイムで撮影される画像を動画形式で表示することができる。
【0235】
例えば、分割された画面の第1領域(D1)には平面図(GP)を表示し、第2領域(D2)には撮影される動画の画面(TP)を表示することができる。平面図(GP)上にはアラウンドビュー画像が撮影された地点を表示することができる。
【0236】
位置追跡モジュール(320)はアラウンドビュー画像が撮影された位置を抽出して、平面図(GP)上に第1撮影地点(P1)、第2撮影地点(P2)と表し、現在の位置を示す現在撮影地点(CP)を表すことができる。
【0237】
ユーザは撮影ボタン(B1)をクリックして、アラウンドビュー画像の撮影を開始することができ、撮影中に撮影ボタン(B1)を再クリックすることで撮影を中止するか、または終了することができる。
【0238】
撮影される画像内には、複数の特徴点(SP)が分布され、位置追跡モジュール(320)は分布された特徴点(SP)から位置変化または方向変化を抽出し、現在位置情報を利用して3Dツアーの撮影装置(300)の移動経路(MP)を計算することができる。
【0239】
具体的に、位置追跡モジュール(320)は導出された特徴点の移動速度及び移動変位を抽出する。続いて、位置追跡モジュール(320)は抽出された特徴点の移動速度及び移動変位をもとに3Dツアーの撮影装置(300)の移動された位置に対する現在位置情報を計算することができる。続いて、制御モジュール(340)は位置追跡モジュール(320)で感知されるデータと現在の位置情報を利用して3Dツアーの撮影装置(300)の移動経路(MP)を計算することができる。
【0240】
このとき、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より小さい場合、制御モジュール(340)は位置追跡モジュール(320)の角度及び位置を調整することを知らせる通知をユーザ端末(200)に提供することができる。
【0241】
ユーザは、ユーザ端末(200)に表示された通知をもとに、位置追跡モジュール(320)の位置を変化させることができる。このとき、使用者は3Dツアーの撮影装置(300)のチルト部(330)を利用して位置追跡モジュール(320)の撮影方向を調整することができる。
【0242】
続いて、制御モジュール(340)は位置追跡モジュール(320)の変化する位置によって、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より高くなる場合、これに対する通知を追加にユーザ端末(200)に提供することができる。 これにより、ユーザは画像撮影に対するより正確な位置情報を獲得することができる。
【0243】
まとめると、本発明に係る3Dツアーの撮影装置(300)及び方法は、360度の画像撮影と室内空間の位置追跡を同時に行うことで、測定データの誤差を減少させ、3Dツアーの撮影利便性を向上させることができる。
【0244】
また、本発明に係る3Dツアーの撮影装置(300)は、360度の画像撮影モジュールと位置追跡モジュールの撮影角度を変更することができるチルト部を利用して、位置測定の正確度を向上させることができ、カメラモジュールと位置追跡モジュールを重ねて保管することができるため、3Dツアーの撮影装置(300)の携帯性を向上させることができる。
【0245】
また、本発明による3Dツアーの撮影装置(300)及び方法は、位置追跡モジュールで撮影されたデータの特徴点が不足して位置測定に誤差が発生する場合、これに対する通知を提供して位置追跡モジュールの位置を変更するようにすることで、3Dツアー製作時に繰り返される撮影回数を減少させ、3Dツアーのデータ信頼性を向上させることができる。
【0246】
以上のように、本発明は限られた実施例と図面によって説明されているが、本発明は上記の実施例に限定されるものではなく、これは本発明の属する分野において通常の知識を有する者であれば、このような記載から様々な修正や変形が可能である。したがって、本発明の思想は、以下に記載された特許請求の範囲によってのみ把握されるべきであり、これの均等又は等価的変形全ては本発明の思想の範疇に属すると言えるだろう。
(付記1)
互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、前記第1及び第2ツアーにそれぞれ含まれる複数の画像撮影地点に対する座標値を設定する段階と、
前記第1ツアーにおいて、前記第1ツアーに含まれる複数の画像撮影地点のうちのいずれかの第1地点を設定する段階と、
前記第2ツアーにおいて、前記第2ツアーに含まれる複数の画像撮影地点のうち前記第1地点の座標値と最も近くに位置する第2地点を選定する段階と、及び
分割された画面の一側に前記第1地点に関する画像を表示し、前記分割された画面の他側に前記第2地点に関する画像を表示する段階を含む3Dツアーの比較表示方法。
(付記2)
前記第1地点で撮影され前記画面の一側に表示される画像の第1方向と、前記第2地点で撮影され前記画面の他側に表示される画像の第2方向を同一に設定する段階をさらに含む、
付記1に記載の3Dツアーの比較表示方法。
(付記3)
ユーザから前記第1地点に対する方向転換の制御信号の入力を受ける段階と、
前記制御信号をもとに、前記第1地点の前記第1方向を変化させ、前記第1方向の変化に同期して前記第2地点の前記第2方向を変化させる段階をさらに含む、
付記2に記載の3Dツアーの比較表示方法。
(付記4)
前記第1ツアーの第1基準点と前記第2ツアーの第2基準点は、特定空間の基準位置に同一に設定される、
付記1に記載の3Dツアーの比較表示方法。
(付記5)
前記第2地点を選定する段階は、
前記第2ツアーに含まれる複数の画像撮影地点の座標値と前記第1地点の座標値との間の距離をそれぞれ計算し、計算された距離が最も短い画像撮影地点を前記第2地点に選定することを含む、
付記1に記載の3Dツアーの比較表示方法。
(付記6)
前記分割された画面は、二つ以上の画面に分割され、
前記第1及び第2ツアーに含まれる複数の画像撮影地点が表示された平面図を、それぞれの前記分割された画面上に表示する段階をさらに含む、
付記1に記載の3Dツアーの比較表示方法。
(付記7)
前記画像を表示する段階は、
前記第1地点に関する画像上に、前記第1地点に隣接する他地点の位置を示すアイコンをオーバーラップさせて表示し、
前記第2地点に関する画像上に、前記第2地点と隣接する他地点の位置を示すアイコンをオーバーラップさせて表示することを含む、
付記1に記載の3Dツアーの比較表示方法。
(付記8)
ユーザから前記第2ツアーと異なる第3ツアーに対する選択を受信する段階と、
前記第3ツアーにおいて、前記第3ツアーに含まれる複数の画像撮影地点のうち前記第1地点の座標値に最も近い第3地点を選定する段階と、
分割された画面の一側に前記第1地点に関する画像を表示し、前記分割された画面の他側に前記第3地点に関する画像を表示する段階をさらに含む、
付記1に記載の3Dツアーの比較表示方法。
(付記9)
プロセッサと、及び
前記プロセッサによって実行されるプログラムが格納されているメモリを含み、
前記プログラムは、
互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、前記第1及び第2のツアーに含まれている複数の画像の撮影地点に対するそれぞれの座標値を設定するオペレーションと、
前記第1ツアーにおいて、前記第1ツアーに含まれる複数の画像の撮影地点のいずれかの第1地点を設定するオペレーションと、
前記第2ツアーにおいて、前記第2ツアーに含まれる複数の画像の撮影地点のうち、前記第1地点の座標値に最も近い第2地点を選定するオペレーションと、分割された画面の一側に前記第1地点に関する画像を表示し、前記分割された画面の他側に前記第2地点に関する画像を表示するオペレーションを含む、
3Dツアーの比較表示システム。
(付記10)
前記プログラムは、
前記第1地点で撮影され、前記一側に表示される画像の第1方向と、前記第2地点で撮影され、前記他側に表示される画像の第2方向を同一に設定するオペレーションをさらに含む、
付記9に記載の3Dツアーの比較表示システム。
【符号の説明】
【0247】
1000 比較表示システム
110 プロセッサ
120 メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17