特許 6851089 適応的三次元空間生成方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6851089

(24)【登録日】2021年3月11日

(45)【発行日】2021年3月31日

(54)【発明の名称】適応的三次元空間生成方法及びそのシステム

(51)【国際特許分類】

   G06T 15/04 20110101AFI20210322BHJP

【ＦＩ】

   G06T15/04

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2019-133031(P2019-133031)

(22)【出願日】2019年7月18日

(65)【公開番号】特開2020-17276(P2020-17276A)

(43)【公開日】2020年1月30日

【審査請求日】2019年7月18日

(31)【優先権主張番号】10-2018-0085371

(32)【優先日】2018年7月23日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】519263110

【氏名又は名称】３アイ インコーポレイテッド

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】キム ギュヒョン

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 国際公開第２０１４／１９２３１６（ＷＯ，Ａ１）

【文献】 韓国公開特許第１０−２０１４−０１０２１０８（ＫＲ，Ａ）

【文献】 国際公開第２０１７／２０３７０９（ＷＯ，Ａ１）

【文献】 特開平０９−１３４４４９（ＪＰ，Ａ）

【文献】 特開２００６−０９８２５６（ＪＰ，Ａ）

【文献】 特開２０１４−１２３３６８（ＪＰ，Ａ）

【文献】 特許第６１１６７４６（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００−１７／００

(57)【特許請求の範囲】

【請求項1】

適応的三次元空間生成システムが空間の内部で撮影され、互いに異なる位置から撮影された複数の映像に基づいて、前記空間が、前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるか否かを判断する段階と、
前記適応的三次元空間生成システムが、前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階と、
前記適応的三次元空間生成システムが選択した前記選択映像に基づいて、前記空間をテクスチャリングする段階とを備え、
前記空間が、前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるか否かを判断する段階は、
前記空間のコーナーの数が予め定められた基準値以下である第１基準、前記空間の平面構造のミニマムバウンディングボックスの面積に対して前記平面構造の面積が基準面積割合以上である第２基準、前記複数の映像に相応する位置から前記空間の全ての壁までの距離がいずれも基準距離以下である第３基準、または前記複数の映像に相応する位置から前記空間の全ての壁が見えるか否かを判断する第４基準のうち、少なくとも二つを満たすか否かに応じて、前記空間を前記第１タイプまたは第２タイプに判断する段階を備える、適応的三次元空間生成方法。

【請求項2】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、
前記適応的三次元空間生成システムが、前記空間が第１タイプであると判断した場合、前記映像の中で前記第４基準を満たす位置に該当するいずれか一の映像を選択映像として選択する段階を備える、請求項１に記載の適応的三次元空間生成方法。

【請求項3】

前記適応的三次元空間生成システムが選択した前記選択映像に基づいて、前記空間をテクスチャリングする段階は、
前記選択映像に含まれる前記空間の各壁に相応するイメージ情報を利用して、前記空間をテクスチャリングする段階を備える、請求項２に記載の適応的三次元空間生成方法。

【請求項4】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、
前記適応的三次元空間生成システムが、前記空間が第２タイプであると判断した場合、前記映像の中で複数を前記選択映像として選択することを特徴とし、
前記適応的三次元空間生成システムが選択した前記選択映像に基づいて、前記空間をテクスチャリングする段階は、
前記空間の壁のうち、少なくとも一部を互いに異なる選択映像から抽出されるイメージ情報に基づいて、テクスチャリングすることを特徴とする、請求項１に記載の適応的三次元空間生成方法。

【請求項5】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、
前記各映像に相応する位置と前記空間の各壁と間の距離または角度のうち、少なくとも一に基づいて、前記各壁をテクスチャリングする選択映像を少なくとも一つ選択することを特徴とする、請求項４に記載の適応的三次元空間生成方法。

【請求項6】

前記各映像に相応する位置と前記空間の各壁と間の距離または角度のうち、少なくとも一に基づいて、前記各壁をテクスチャリングする選択映像を選択する段階は、
前記壁の中で特定の壁に対して前記各位置が有する距離が近いほど、前記特定の壁に対して前記各位置が形成する角度が小さいほど、高い加重値を付与し、付与された加重値が所定の基準を満たす少なくとも一の映像を前記特定の壁をテクスチャリングする選択映像として選択する段階を備える、請求項５に記載の適応的三次元空間生成方法。

【請求項7】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、
前記各映像に相応する位置と前記空間の底面を構成する単位領域と間の距離に基づいて、前記底面をテクスチャリングする選択映像を選択する段階を備える、請求項１に記載の適応的三次元空間生成方法。

【請求項8】

適応的三次元空間生成システムが空間の内部で撮影され、互いに異なる位置から撮影された複数の映像が入力される段階と、
入力された前記複数の映像に基づいて、前記空間のコーナーの数が予め定められた基準値以下である第１基準、前記空間の平面構造のミニマムバウンディングボックスの面積に対して前記平面構造の面積が基準面積割合以上である第２基準、前記複数の映像に相応する位置から前記空間の全ての壁までの距離がいずれも基準距離以下である第３基準、または前記複数の映像に相応する位置から前記空間の全ての壁が見えるか否かを判断する第４基準のうち、少なくとも二つを満たすか否かによって、前記空間が前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるかを判断する段階と、
前記第１タイプまたは前記第２タイプであるかの判断結果に応じて選択映像を前記映像の中で適応的に選択して前記空間をテクスチャリングする段階とを備える適応的三次元空間生成方法。

【請求項9】

データ処理装置に設置され、請求項１〜８のいずれか一項に記載の方法を行うための記録媒体に保存されたコンピュータプログラム。

【請求項10】

プロセッサと、
前記プロセッサにより具現化されるプログラムが保存されたメモリとを備えており、
前記プログラムは、
空間の内部で撮影され、互いに異なる位置から撮影された複数の映像が入力され、入力された前記複数の映像に基づいて、前記空間のコーナーの数が予め定められた基準値以下である第１基準、前記空間の平面構造のミニマムバウンディングボックスの面積に対して前記平面構造の面積が基準面積割合以上である第２基準、前記複数の映像に相応する位置から前記空間の全ての壁までの距離がいずれも基準距離以下である第３基準、または前記複数の映像に相応する位置から前記空間の全ての壁が見えるか否かを判断する第４基準のうち、少なくとも二つを満たすか否かによって、前記空間が前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるかを判断し、前記第１タイプまたは前記第２タイプであるかの判断結果に応じて選択映像を前記映像の中で適応的に選択して前記空間をテクスチャリングする、適応的三次元空間生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間の内部で撮影された映像を用いて、当該空間の三次元モデリング情報を生成する方法及びそのシステムに関する。

【背景技術】

【0002】

所定の空間の内部で撮影された映像（例えば、３６０°映像）を用いて、三次元空間にモデリングするための概念が開示されている。

【0003】

当該技術的思想は、本出願人が出願した韓国特許出願第１０−２０１６−０１２６２４２号（「建物に関する三次元モデリング映像提供サーバー及び三次元モデリング映像提供サーバーの建物映像に関する三次元モデリング方法」、以下「従来の出願」とする）にも開示されている。

【0004】

前記従来の出願では、空間の内部で撮影された映像（例えば、３６０°映像）を用いて、底面を生成し、これにより前記空間の三次元モデリング情報を生成する技術的思想が開示されている。

【0005】

しかしながら、生成された三次元空間のテクスチャリング（ｔｅｘｔｕｒｉｎｇ）が効率よく行われるという概念は開示されていない。

【0006】

特に、空間が複雑な場合、撮影された一の映像のみから得られるイメージ情報（例えば、壁面及び／または底面に該当する映像情報）を用いてテクスチャリングを行う場合、不自然であるか、或いは空間が歪んで表示される現象が生じることがある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】韓国特許出願第１０−２０１６−０１２６２４２号

【発明の概要】

【発明が解決しようとする課題】

【0008】

従って、本発明が解決しようとする技術的課題は、空間の複雑度に応じて、適応的に三次元空間のテクスチャリングを別に行うことができる方法、及びそのシステムを提供することである。

【課題を解決するための手段】

【0009】

前記技術的課題を達成するための適応的三次元空間生成方法は、適応的三次元空間生成システムが空間の内部で撮影され、互いに異なる位置から撮影された複数の映像に基づいて、前記空間が、前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるか否かを判断する段階と、前記適応的三次元空間生成システムが、前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階と、前記適応的三次元空間生成システムが選択した前記選択映像に基づいて、前記空間をテクスチャリングする段階とを備える。

【0010】

前記空間が、前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるか否かを判断する段階は、前記空間のコーナーの数が予め定められた基準値以下である第１基準、前記空間の平面構造のミニマムバウンディングボックスの面積に対して前記平面構造の面積が基準面積割合以上である第２基準、前記複数の映像に相応する位置から前記空間の全ての壁までの距離がいずれも基準距離以下である第３基準、または前記複数の映像に相応する位置から前記空間の全ての壁が見えるか否かを判断する第４基準のうち、少なくとも二つを満たすか否かに応じて、前記空間を前記第１タイプまたは第２タイプと判断する段階を備える。

【0011】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、前記適応的三次元空間生成システムが、前記空間が第１タイプであると判断した場合、前記映像の中で前記第４基準を満たす位置に該当するいずれか一の映像を選択映像として選択する段階を備える。

【0012】

前記適応的三次元空間生成システムが選択した前記選択映像に基づいて、前記空間をテクスチャリングする段階は、前記選択映像に含まれる前記空間の各壁に相応するイメージ情報を利用して、前記空間をテクスチャリングする段階を備える。

【0013】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、前記適応的三次元空間生成システムが、前記空間が第２タイプであると判断した場合、前記映像の中で複数を前記選択映像と選択することを特徴とし、前記適応的三次元空間生成システムが選択した前記選択映像に基づいて、前記空間をテクスチャリングする段階は、前記空間の壁のうち、少なくとも一部を互いに異なる選択映像から抽出されるイメージ情報に基づいて、テクスチャリングすることを特徴とする。

【0014】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、前記各映像に相応する位置と前記空間の各壁と間の距離または角度のうち、少なくとも一に基づいて、前記各壁をテクスチャリングする選択映像を少なくとも一つ選択することを特徴とする。

【0015】

前記各映像に相応する位置と前記空間の各壁と間の距離または角度のうち、少なくとも一に基づいて、前記各壁をテクスチャリングする選択映像を選択する段階は、前記壁の中で特定の壁に対して前記各位置が有する距離が近いほど、前記特定の壁に対して前記各位置が形成する角度が小さいほど、高い加重値を付与し、付与された加重値が所定の基準を満たす少なくとも一の映像を前記特定の壁をテクスチャリングする選択映像として選択する段階を備える。

【0016】

前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択する段階は、前記各映像に相応する位置と前記空間の底面を構成する単位領域と間の距離に基づいて、前記底面をテクスチャリングする選択映像を選択する段階を備える。

【0017】

前記技術的課題を解決するための他の実施例によると、適応的三次元空間生成方法は、適応的三次元空間生成システムが空間の内部で撮影され、互いに異なる位置から撮影された複数の映像が入力される段階と、入力された前記複数の映像に基づいて、前記空間のコーナーの数が予め定められた基準値以下である第１基準、前記空間の平面構造のミニマムバウンディングボックスの面積に対して前記平面構造の面積が基準面積割合以上である第２基準、前記複数の映像に相応する位置から前記空間の全ての壁までの距離がいずれも基準距離以下である第３基準、または前記複数の映像に相応する位置から前記空間の全ての壁が見えるか否かを判断する第４基準のうち、少なくとも二つを満たすか否かを判断する段階と、判断結果に応じて適応的に前記空間をテクスチャリングする段階とを備える。

【0018】

前記技術的課題を解決するための他の実施例によると、適応的三次元空間生成方法は、適応的三次元空間生成システムが空間の内部で撮影され、互いに異なる位置から撮影された複数の映像が入力される段階と、前記適応的三次元空間生成システムが、前記空間の壁のうち、少なくとも一部を前記映像の中で互いに異なる映像から抽出されるイメージ情報に基づいてテクスチャリングするか、或いは前記空間の底面に該当するピクセルのうち、少なくとも一部を前記映像の中で互いに異なる映像から抽出されたイメージ情報に基づいて、テクスチャリングする段階とを備える。

【0019】

前記適応的三次元空間生成方法は、記録媒体に保存されたコンピュータープログラムによって具現化することができる。

【0020】

前記技術的課題を解決するための一実施例によると、前記適応的三次元空間生成システムは、プロセッサと、前記プロセッサにより具現化されるプログラムが保存されたメモリとを備えており、前記プログラムは、空間の内部で撮影され、互いに異なる位置から撮影された複数の映像に基づいて、前記空間が、前記空間の構造的特徴に基づいて分類される空間タイプの第１タイプまたは第２タイプであるか否かを判断し、前記空間が第１タイプまたは第２タイプであるかに応じて、前記空間をテクスチャリングするための選択映像を前記映像の中で適応的に選択し、選択された前記選択映像に基づいて、前記空間をテクスチャリングする。

【0021】

前記技術的課題を解決するための他の実施例によると、前記適応的三次元空間生成システムは、プロセッサと、前記プロセッサにより具現化されるプログラムが保存されたメモリとを備えており、前記プログラムは、空間の内部で撮影され、互いに異なる位置から撮影された複数の映像が入力され、入力された前記複数の映像に基づいて、前記空間のコーナーの数が予め定められた基準値以下である第１基準、前記空間の平面構造のミニマムバウンディングボックスの面積に対して前記平面構造の面積が基準面積割合以上である第２基準、前記複数の映像に相応する位置から前記空間の全ての壁までの距離がいずれも基準距離以下である第３基準、または前記複数の映像に相応する位置から前記空間の全ての壁が見えるか否かを判断する第４基準のうち、少なくとも二つを満たすか否かを判断し、判断結果に応じて適応的に前記空間をテクスチャリングする。

【0022】

前記技術的課題を解決するための他の実施例によると、前記適応的三次元空間生成システムは、プロセッサと、前記プロセッサにより具現化されるプログラムが保存されたメモリとを備えており、前記プログラムは、空間の内部で撮影され、互いに異なる位置から撮影された複数の映像が入力され、前記空間の壁のうち、少なくとも一部を前記映像の中で互いに異なる映像から抽出されるイメージ情報に基づいてテクスチャリングするか、前記空間の底面に該当するピクセルのうち、少なくとも一部を前記映像の中で互いに異なる映像から抽出されたイメージ情報に基づいてテクスチャリングする。

【発明の効果】

【0023】

本発明によると、空間の複雑度に応じて適応的にテクスチャリングを行うことで、自然な空間モデリングが可能であるという効果がある。

【図面の簡単な説明】

【0024】

【図1】本発明の実施例における適応的三次元空間生成システムの概略的な構成を説明するための図である。

【図2】本発明の実施例における適応的三次元空間生成方法の概略的なフローチャートを示す図である。

【図3】本発明の実施例における空間のタイプを説明するための図である。

【図4】本発明の実施例における空間のタイプを分類する基準を説明するための図である。

【図5】本発明の実施例における空間のタイプを分類する基準を説明するための図である。

【図6】本発明の実施例における空間のテクスチャリングを行う方法を説明するための図である。

【図7】本発明の他の実施例における空間のテクスチャリングを行う方法を説明するための図である。

【図8】本発明の他の実施例における空間のテクスチャリングを行う方法を説明するための図である。

【図9】本発明の他の実施例における空間のテクスチャリングを行う方法を説明するための図である。

【図10】本発明の実施例における底面のテクスチャリングを行う方法を説明するための図である。

【図11】本発明の実施例におけるテクスチャリングの結果を例示的に示す図である。

【発明を実施するための形態】

【0025】

本発明の動作上の利点及び本発明の実施により達成される目的を十分理解するためには、本発明の好適な実施例を例示する添付図面及び添付図面に記載された内容を参照しなければならない。

【0026】

また、本明細書において、ある一つの構成要素が他の構成要素にデータを「転送」する場合は、前記構成要素は前記他の構成要素に直接前記データを転送することもでき、少なくとも一つの他の構成要素を介して前記データを前記他の構成要素に転送することもできることを意味する。

【0027】

一方、ある一つの構成要素が他の構成要素にデータを「直接転送」する場合は、前記構成要素から他の構成要素を介さず、前記他の構成要素に前記データが転送されることを意味する。

【0028】

以下、添付した図面を参照して、本発明の好適な実施例を説明することで本発明を詳細に説明する。各図面に示された同じ参照符号は、同じ部材を示す。

【0029】

図１は、本発明の実施例における適応的三次元空間生成システムの概略的な構成を説明するための図である。

【0030】

図１を参照すると、本発明の技術的思想に基づく適応的三次元空間生成方法を具現化するためには、適応的三次元空間生成システム１００が具備される。

【0031】

前記適応的三次元空間生成システム１００は、本発明の技術的思想を具現化するためのプログラムが保存されるメモリ１２０、及び前記メモリ１２０に保存されたプログラムを実行するためのプロセッサ１１０が具備される。

【0032】

前記プロセッサ１１０は、前記適応的三次元空間生成システム１００の具現例により、ＣＰＵ、モバイルプロセッサなどの多様な名称で名付けられることは、本発明の技術分野における通常の技術者であれば、容易に推論することができる。

【0033】

前記メモリ１２０は、前記プログラムが保存され、前記プログラムを駆動させるために、前記プロセッサが接近することができる様々な形態の保存装置として具現化されても構わない。また、ハードウェア的な具現例により、前記メモリ１２０は、いずれか一つの保存装置ではなく、複数の保存装置に具現化されることもできる。また、前記メモリ１２０は、主記憶装置のみならず、臨時記憶装置を含むこともできる。また、揮発性メモリまたは非揮発性メモリとして具現化されることもでき、前記プログラムが保存されて前記プロセッサにより駆動されるように具現化される全ての形態の情報保存手段を含む意味として定義される。

【0034】

前記適応的三次元空間生成システム１００は、実施例によってウェブサーバ、コンピュータ、モバイルフォン、タブレット、ＴＶ、セットトップボックスなどの多様な方式で具現化されることができ、本明細書で定義される機能が遂行できる様々な形態のデータプロセッシング装置も含む意味として定義される。

【0035】

また、前記適応的三次元空間生成システム１００の実施例によって多様な周辺装置（例えば、周辺装置１（１３１）、・・・、周辺装置Ｎ（１３９））がさらに具備されることがある。例えば、キーボード、モニタ、グラフィックカード、通信装置などが、周辺装置として前記適応的三次元空間生成システム１００にさらに具備されることは、本発明の技術分野における通常の技術者であれば、容易に推論することができる。

【0036】

本発明の技術的思想に基づく適応的三次元空間生成システム１００は、空間のタイプに応じて適応的にテクスチャリングを行うことができる。テクスチャリングとは、空間の表面に細かいテクスチャを表示する一連の過程を意味する。

【0037】

例えば、所定の基準に基づいて構造的にシンプルな空間タイプに分類された空間の場合は、いずれか一の位置から撮影された映像（例えば、３６０°映像）を用いて、テクスチャリングを行ったとしても比較的に自然な空間の表現が可能である。しかしながら、前記基準に基づいて複雑な空間タイプに分類された空間の場合は、いずれか一の位置から撮影された映像のみでは、空間を全体的にテクスチャリングすることが不可能となる場合がある。また、仮に可能だとしても、不自然なテクスチャリングになるか、空間が歪んで表示され得るという問題がある。

【0038】

当該問題を解決するために、本発明の技術的思想に基づく前記適応的三次元空間生成システム１００は、空間を所定の基準によって互いに異なるタイプに分類し、分類されたタイプによって適応的に空間の内部をテクスチャリングする技術的思想を提供する。

【0039】

当該技術的思想については、以下で詳細に説明する。

【0040】

図２は、本発明の実施例における適応的三次元空間生成方法に関する概略的なフローチャートを示す図である。

【0041】

図２を参照すると、本発明の技術的思想に基づく適応的三次元空間生成方法を具現化するために、前記適応的三次元空間生成システム１００は、所定の空間の内部で撮影された複数の撮影映像を特定することができる（Ｓ１００）。そのために、前記適応的三次元空間生成システム１００は、前記撮影映像がユーザーまたはネットワークを介して入力されることができる。前記各撮影映像は、空間の内部で所定の位置から撮影されるものである。ここで、前記適応的三次元空間生成システム１００が前記撮影映像を特定するというのは、撮影映像のみならず、各撮影映像が撮影された位置及び／または方向を認識または取得することを意味する。

【0042】

各撮影映像は、例えば、３６０°映像である。従って、理論的には一の撮影映像のみであっても、空間内部の全ての壁面が示されるのであれば、空間の内部全体をテクスチャリングすることもできる。

【0043】

しかしながら、本発明の技術的思想によると、空間の構造的特徴に基づいて、いずれか一の撮影映像のみで空間の内部をテクスチャリングする場合、不自然なテクスチャリングまたは空間が歪んで表示されるなどの問題が発生し得る。従って、これを解決するために空間を所定の基準に分類することができる。

【0044】

次に、前記適応的三次元空間生成システム１００は、空間を第１タイプ及び第２タイプに分類することができる（Ｓ１１０）。ここで、前記第１タイプは、比較的に空間の構造がシンプルなタイプを意味し、前記第２タイプは、比較的に空間の構造が複雑なタイプを意味する。

【0045】

次に、空間の構造が第１タイプに分類される場合、前記適応的三次元空間生成システム１００は、前記空間の内部をテクスチャリングするために複数の撮影映像の中で選択されたいずれか一の撮影映像（すなわち、選択映像）を用いて空間の内部をテクスチャリングすることができる（Ｓ１２０）。一例によると、前記適応的三次元空間生成システム１００は、空間の構造が第１タイプに分類されると、空間内部の壁面及び底面の全てを前記選択映像を用いてテクスチャリングすることができる。他の実施例によると、壁面は一つの選択映像を用いてテクスチャリングし、底面は複数の撮影映像を用いてテクスチャリングすることができる。

【0046】

なお、前記空間が第２タイプであると判断された場合、前記適応的三次元空間生成システム１００は、複数の撮影映像（すなわち、複数の選択映像）を用いて空間の内部をテクスチャリングすることができる。

【0047】

そのために、前記適応的三次元空間生成システム１００は、各壁面をテクスチャリングするための選択映像を決定することができる（Ｓ１３０）。すなわち、前記適応的三次元空間生成システム１００は、各壁面に対して当該壁面を明確かつ歪みがないか、或いは少なく表現できる撮影映像を選択映像として決定することができる。

【0048】

次に、選択映像から当該壁面をテクスチャリングするためのイメージ情報（例えば、３６０°映像の中で当該壁面が表示された領域）を抽出し、これを用いて当該壁面をテクスチャリングすることができる（Ｓ１５０）。このとき、当該壁面に相応するイメージ情報は、３６０°映像ではスフィア（ｓｐｈｅｒｅ）に付着されるために補正されるものであるので、これを再度平坦な平面に再補正するイメージ処理過程がさらに行われることはもちろんである。

【0049】

また、前記適応的三次元空間生成システム１００は、底面もまた、底ピクセル別に選択映像を決定することができる（Ｓ１４０）。そして、決定された選択映像から当該ピクセルに該当するイメージ情報（例えば、３６０°映像で当該ピクセルに対応されるピクセル）を抽出し、これを用いて底面をテクスチャリングすることができる（Ｓ１５０）。もちろん、当該方式の底面のテクスチャリングは、第１タイプでも行われることがある。

【0050】

前記適応的三次元空間生成システム１００が、空間を第１タイプまたは第２タイプに分類するためには、前記空間の平面、すなわち底面の構造的特徴を利用することができる。そして、３６０°映像から底面をモデリングするための技術的思想は、前記従来の出願において詳細に開示されているので、本明細書では詳細な説明は省略する。

【0051】

前記適応的三次元空間生成システム１００が、空間を第１タイプまたは第２タイプに分類する基準は複数存在する。

【0052】

図３は、本発明の実施例における空間のタイプを説明するための図である。

【0053】

図４及び図５は、本発明の実施例に基づいて空間のタイプを分類する基準を説明するための図である。

【0054】

まず、図３を参照すると、空間は、図３の左側に示すとおり、比較的にシンプルな空間に分類されることができ、右側に示すとおり、比較的に複雑な空間に分類されることもある。ただし、図３は、一つの例示に過ぎず、空間区分に関する絶対的な基準となるのではなく、シンプルな空間及び複雑な空間は、後述する条件に基づいて区分することができる。

【0055】

本発明の一実施例によると、各空間は比較的にシンプルな空間が第１タイプ及び第２タイプに分類される場合を一例として説明しているが、具現例によって、三つ以上のタイプに空間が分類されることもでき、分類された空間のタイプ別に互いに異なるテクスチャリング方式が定義されることは、本発明の技術分野における通常の技術者であれば、容易に推論することができる。

【0056】

前述のとおり、空間を複数のタイプに分類する理由は、空間のタイプに応じて適応的にテクスチャリングを行うことで、自然なテクスチャを表現することができるためである。

【0057】

本発明の技術的思想によると、空間のタイプを分類するための基準は複数存在する。

【0058】

第１基準は、空間に含まれるコーナーの数が予め定められた基準値以下の条件である。一例によると、前記予め定められた基準値は８個以下であるが、実施例によって異なる基準値が適用され得ることはもちろんである。本発明の一実施例によると、前記適応的三次元空間生成システム１００は、空間の内部で撮影された撮影映像のうち、少なくとも一つをユーザーが利用するデータプロセッシング装置（例えば、コンピュータなど）にディスプレイし、ディスプレイされた空間で各コーナーをユーザーが直接マーキングするようにして、コーナーの位置及び／または個数を特定することができる。もちろん、他の実施例によると、所定の自動化されたアルゴリズムを介してコーナーの位置及び／または個数を特定することもできる。

【0059】

例えば、図３の左側に示され、第１タイプに分類される空間は、それぞれ左側上段から時計回り順に、コーナーが４つ、５つ、４つ、６つ、６つである。そして、図３の右側に示され、第２タイプに分類される空間は、それぞれ、左側上段から時計回り順に、コーナーが６つ、１２つ、８つ、８つ、１０つである。

【0060】

前記適応的三次元空間生成システム１００は、前記第１基準を満たす空間を第１タイプとして分類することができる。もちろん、後述する他の基準と併せて空間タイプを分類できることはもちろんである。

【0061】

第２基準は、撮影された各映像に相応する位置（すなわち、カメラ位置）から全ての壁までの距離が予め定められた基準距離以下である位置が存在する基準である。このとき、位置から壁までの距離は、壁の中心からの距離である。このように、カメラ位置から壁までの距離が空間タイプを分類する基準として包含されることで、空間自体は、比較的にシンプルな構造を有するとしてもカメラ位置から距離が遠い特定の壁が存在する場合、当該カメラ位置から撮影された前記特定の壁の映像と比較的に距離が近い壁の映像を併せてテクスチャリングに用いる場合は、空間が歪んでいるように表現されるか、或いは不自然なテクスチャリングが生じるためである。

【0062】

第３基準は、空間の面積がミニマムバウンディングボックスの面積に対して予め定められた基準割合以上の条件である。前記基準割合は、例えば、８０％であるが、実施例によって他の基準割合が適用され得ることはもちろんである。

【0063】

当該基準は、空間が比較的にシンプルな構造、例えば、四角形、円形、台形の形態に近いか否かを判断する基準の一つである。例えば、図４に示された空間Ｓのミニマムバウンディングボックスは、点線ＢＢのとおりである。そして、前記空間Ｓの面積は、ミニマムバウンディングボックスＢＢの面積に対して基準割合以下である。

【0064】

当該第３基準に基づいて図３に示された空間を判断すると、左側に示された空間は、いずれも第３基準を満たす空間であり、右側に示された空間は、幾つかの空間（例えば、上段から第２番目及び第３番目）のみが第３基準を満たす空間である。

【0065】

第４基準は、各撮影映像に相応する位置、すなわちカメラ位置の中で全ての壁が見える位置が少なくとも一つ存在する基準である。当該第４基準を満たすか否かを判断するために、前記適応的三次元空間生成システム１００は、各カメラ位置と壁の中心からの法線がなす角度θを用いることができる。例えば、図５の左側に示された場合は、カメラ位置と特定の壁の中心からの法線がなす角度θが、所定の基準角度（例えば、８８°など）以下である。しかしながら、右側に示された場合は、カメラ位置と特定の壁の中心からの法線がなす角度θが、所定の基準角度以上である。前記基準角度は、９０°以下に設定されることができ、実施例によって多様に設定される。

【0066】

本発明の技術的思想によると、前述した第１基準、第２基準、第３基準、及び第４基準を全て満たす場合、前記適応的三次元空間生成システム１００は、空間を第１タイプに分類し、そうでない場合は、第２タイプに分類することもできる。もちろん、実施例によってこれらの基準のうち、一部のみを満足しても第１タイプに分類することができ、少なくとも前記基準のうち、二以上の基準を満たすと第１タイプ、そうでなければ第２タイプに分類することができる。

【0067】

そうすると、一実施例により前記適応的三次元空間生成システム１００は、第１タイプに分類された空間は、いずれか一の位置から撮影された映像で前記空間の壁面及び底面をテクスチャリングすることができる。また、第２タイプに分類された空間は、複数の位置から撮影された映像で前記空間の壁面及び底面をテクスチャリングすることができる。すなわち、第１タイプの空間では、テクスチャリングソースが一の映像である場合も十分自然なテクスチャリングが行われる一方、第２タイプの空間では、テクスチャリングソースが複数でないと自然なテクスチャリングが行われないことを意味する。

【0068】

一例によると、第１タイプの空間でのテクスチャリングソース、すなわち選択映像を決定するために、前記適応的三次元空間生成システム１００は、各撮影映像に相応する位置、すなわちカメラ位置が空間の中心からもっとも近いものから順に、該当位置で全ての壁が見えるか否かを確認することができる。全ての壁が見えるか否かを判断するためには、図５に基づいて前述した方式が利用されることはもちろんである。そして、全ての壁が見えて空間の中心からもっとも近い位置の撮影映像を選択映像として決定する。

【0069】

例えば、図６は、本発明の実施例により空間のテクスチャリングを行う方法を説明するための図であり、図６は第１カメラ位置１０と第２カメラ位置１１が存在し、第２カメラ位置１１が空間の中心から第１カメラ位置１０よりも近い場合を例示的に図示している。

【0070】

当該例の場合、前記適応的三次元空間生成システム１００は、空間の中心Ｃに近い順に、カメラ位置から全ての壁が見えるか否かを判断することができる。例えば、まず第２カメラ位置１１で全ての壁が見えるか否かを判断することができる。第２カメラ位置１１では、図６に示すとおり、見えない壁ＷＩが存在するので、前記適応的三次元空間生成システム１００は、空間の中心から次に近い位置である第１カメラ位置１０から全ての壁が見えるか否かを判断することができる。第１カメラ位置１０では、全ての壁が見えるので、第１カメラ位置１０に相応する撮影映像を選択映像として決定することができる。そうすると、前記適応的三次元空間生成システム１００は、前記選択映像から各壁面及び底面をテクスチャリングすることができる。もちろん、実施例によって底面は、後述のとおり複数の選択映像からテクスチャリングを行うこともできる。

【0071】

一方、前記適応的三次元空間生成システム１００は、空間が第２タイプに分類される場合、前記適応的三次元空間生成システム１００は、各壁面にテクスチャリングソースを複数の撮影映像の中で決定することができる。

【0072】

また、前記適応的三次元空間生成システム１００は、底面を所定の単位領域に区分し、単位領域別にテクスチャリングソースを複数の撮影映像の中で決定することができる。一例で前記単位領域は、底面のピクセルであってもよいが、これに限定されず、底面が所定の方式に分割され、分割された単位領域別にテクスチャリングソースが決定されることはもちろんである。

【0073】

当該一例は、図７〜図９を参照して説明する。

【0074】

図７〜図９は、本発明の他の実施例により空間のテクスチャリングを行う方法を説明するための図である。

【0075】

まず、図７を参照すると、各壁面に相応する選択映像を決定するために、所定のスコアリング方式が利用される。前記適応的三次元空間生成システム１００は、各壁別に撮影映像に相応する位置（例えば、ｃａｍ１（ｃａｍｅｒａ１）のカメラ位置、ｃａｍ２のカメラ位置、及びｃａｍ３のカメラ位置）との距離及び／または角度に基づいて、該当各壁のテクスチャリングソースを決定することができる。

【0076】

従って、各壁別にテクスチャリングするイメージソース、すなわち該当壁を表示するために参照する撮影映像は互いに異なることがある。

【0077】

一例によると、特定の壁のイメージソース、すなわち特定の壁（例えば、ｗａｌｌ１）に相応する選択映像（例えば、ｃａｍ１に相応する撮影映像）を決定するために、前記適応的三次元空間生成システム１００は、前記特定の壁（例えば、ｗａｌｌ１）と、前記選択映像（例えば、ｃａｍ１に相応する撮影映像）に相応するカメラ位置（例えば、Ｐ１）間の距離を算出することができる。距離は、前述のとおり特定の壁（例えば、ｗａｌｌ１）の中心と前記カメラ位置（Ｐ１）との間の距離である。また、角度は、前述のとおり特定の壁（例えば、ｗａｌｌ１）の中心からの法線と前記カメラ位置（Ｐ１）がなす角度である。

【0078】

前記特定の壁（例えば、ｗａｌｌ１）のイメージソースは、前記特定の壁（例えば、ｗａｌｌ１）を近くで撮影したものであるほど、そして比較的に正面を向いているものであるほど、明確かつ自然なテクスチャリングが可能である。

【0079】

従って、前記適応的三次元空間生成システム１００は、予め定められた加重値（スコアリング基準）を適用して、なるべく特定の壁（例えば、ｗａｌｌ１）からカメラ位置が近くて正面を撮影した撮影映像を前記特定の壁（例えば、ｗａｌｌ１）のイメージソース、すなわち選択映像として決定することが好ましい。

【0080】

例えば、前記適応的三次元空間生成システム１００は、図８に示すとおり、特定の壁（例えば、ｗａｌｌ１）と各カメラ位置がなす角度θによって、互いに異なる角度加重値が付与される。例えば、図８に示すとおり、特定の壁（例えば、ｗａｌｌ１）とカメラ位置の角度θが８８°を超える場合は角度加重値が「０」であり、８０°〜８８°の場合は角度加重値が「１」であり、７０°〜８０°の場合は角度加重値が「３」であり、７０°未満の場合は角度加重値を「６」と付与される。ただし、これらの角度加重値は、一の例示に過ぎず、付与される角度加重値の大きさ及び角度の範囲は多様に変更されて実施され得る。

【0081】

また、角度が所定の角度未満であっても所定の位置では特定の壁が見えない場合があるので、各カメラの位置が特定の壁（例えば、ｗａｌｌ１）が見えない位置に存在する場合、例えば、特定の壁（例えば、ｗａｌｌ１）とカメラ位置の間に他の壁面が存在する場合、低い角度加重値、または「０」が付与される。すなわち、当該カメラ位置に相応する撮影映像は、前記特定の壁（例えば、ｗａｌｌ１）の選択映像として選択されないようにすることができる。

【0082】

また、各壁とカメラ位置との間の距離が近い順に距離による距離加重値が付与される。例えば、もっとも近いカメラ位置に対しては「４」、その次に近いカメラ位置に対しては「２」の距離加重値が付与される。

【0083】

当該方式で算出された角度加重値及び／または距離加重値に基づいて、特定の壁（例えば、ｗａｌｌ１）に対する各カメラ位置の総合加重値（スコア）を算出することができる。例えば、前記適応的三次元空間生成システム１００は、距離加重値及び角度加重値の掛け算で総合加重値を算出することができる。

【0084】

そうすると、前記適応的三次元空間生成システム１００は、総合加重値がもっとも高いいずれか一の撮影映像を当該壁に相応するイメージソースとして決定することができる。他の実施例によると、総合加重値が一定の基準値（例えば、総合加重値の平均値）以上である複数の撮影映像を当該壁のイメージソースとして決定することもできる。

【0085】

複数の撮影映像を特定の壁のイメージソースとして選択する場合は、前記適応的三次元空間生成システム１００は、選択された撮影映像からそれぞれ前記特定の壁に該当する領域を抽出し（必要に応じて所定の平面にイメージを補正するイメージプロセッシングを行った後）、抽出された領域、すなわちイメージ情報をブレンディング（ｂｌｅｎｄｉｎｇ）した結果を前記特定の壁のテクスチャとして利用することができる。

【0086】

当該一例は、図９に示す。

【0087】

図９に示すとおり、前記適応的三次元空間生成システム１００は、特定の壁に対して複数の撮影映像がテクスチャリングするイメージソース、すなわち選択映像として決定された場合、前記特定の壁のテクスチャリング結果を示す。

【0088】

前記適応的三次元空間生成システム１００は、いずれかの第１選択映像から前記特定の壁に該当する第１イメージ情報（上段の左側）Ｉ１１を抽出し、他の第２選択映像から前記特定の壁に該当する第２イメージ情報（上段の右側）Ｉ１２を抽出することができる。そうすると、前記適応的三次元空間生成システム１００は、前記第１イメージ情報Ｉ１１及び第２イメージ情報Ｉ１２を所定の方式でブレンディングして、図９の下段のイメージＩ１３を取得することができ、取得したイメージＩ１３を前記特定の壁のテクスチャとして利用することができる。

【0089】

前記適応的三次元空間生成システム１００が行うブレンディングは、多様な実施例が可能である。例えば、ガウシアンブレンディング（Ｇａｕｓｓｉａｎ ｂｌｅｎｄｉｎｇ）、ピラミッドブレンディング（Ｐｙｒａｍｉｄ ｂｌｅｎｄｉｎｇ）、またはその他の多様なブレンディング方式のうち、少なくとも一つを利用して特定の壁に相応するイメージ情報をブレンディングすることは、本発明の技術分野における通常の技術者であれば、容易に推論することができる。

【0090】

なお、前記適応的三次元空間生成システム１００は、底面に対するテクスチャリングを行うことができる。底面に対するテクスチャリングは、底面を複数の単位領域に区分し、区分された各単位領域に対する選択映像を決定することで行う。

【0091】

本発明の一実施例によると、前記単位領域はピクセル単位であり得るが、これより大きい所定の方式として単位領域が定義され得ることももちろんである。

【0092】

前記適応的三次元空間生成システム１００は、底面の単位領域別にカメラ位置が当該単位領域が見られるのか否かと、単位領域及びカメラ位置間の距離に基づいて、単位領域別のイメージソースを決定することができる。

【0093】

例えば、前記適応的三次元空間生成システム１００は、単位領域が見られるカメラ位置の中でもっとも距離が近いカメラ位置に相応する撮影映像をテクスチャリングするイメージソース、すなわち選択映像として決定することができる。

【0094】

所定のカメラ位置から特定単位領域が見られるか否かは、前記カメラ位置と前記特定単位領域の特定位置（例えば、中心）または前記特性単位領域に含まれるピクセル間に直線を引く場合、他の壁面と交差するか否かにより決定することができる。

【0095】

そうすると、前記適応的三次元空間生成システム１００は、単位領域別の選択映像から該当される単位領域のイメージ情報を抽出して底面をテクスチャリングすることができる。

【0096】

例えば、前記適応的三次元空間生成システム１００は、決定された単位領域別の選択映像を用いて底面に対するマスクを生成し、これを用いて底面のテクスチャを生成することができる。

【0097】

当該一例は、図１０を参照して説明する。

【0098】

図１０は、本発明の実施例における底面のテクスチャリングを行う方法を説明するための図である。

【0099】

図１０を参照すると、互いに異なる各カメラ位置（例えば、ｃａｍ１、ｃａｍ２、及びｃａｍ３）に相応する撮影映像から抽出される底面のイメージ情報は、図１０の最左側のイメージＩ２１ａのとおりである。

【0100】

前記適応的三次元空間生成システム１００は、単位領域別の選択映像を決定し、各選択映像別のマスク（例えば、図１０の真ん中に示されたイメージ）を生成することができる。例えば、カメラ位置１に対して底面の単位領域（例えば、ピクセル）別にカメラ位置１が選択映像として決定されると「１」が付与され、そうでなければ「０」が付与される。そうすると、底面の全体に対してカメラ位置１のマスクは、図１０に示された真ん中の最上段のイメージＩ２２ａのとおりである。例えば、「１」が与えられた単位領域は白色、「０」が与えられた単位領域は黒色と表示すると、カメラ位置１のマスクは図１０に示された真ん中の最上段のイメージＩ２２ａのとおりである。

【0101】

当該方式で各カメラ位置別、すなわち選択映像別のマスクを生成した後、各選択映像と対応されるマスクをかけて結合させると、図１０の最右側に示されたイメージＩ２３のような底面のテクスチャが生成される。

【0102】

当該底面のテクスチャリング方式は、本発明では空間のタイプが第２タイプの場合に適用されることを一例として説明しているが、空間のタイプが第１タイプの場合も適用されることはもちろんである。

【0103】

前述のとおり、各壁のテクスチャ及び底面のテクスチャが決定されると、空間の内部が全体的にテクスチャリングされる。

【0104】

当該一例は、図１１に示すとおりである。

【0105】

図１１は、本発明の実施例におけるテクスチャリング結果を例示的に示す図である。

【0106】

図１１を参照すると、イメージ２０は、各壁のテクスチャを連結したイメージであり、イメージ３０は、底面のテクスチャである。また、イメージ４０は、空間の三次元構造を示す。空間の三次元構造を生成する方式については、前記従来の出願に詳細に開示されているので、詳細な説明は省略する。

【0107】

そうすると、前記適応的三次元空間生成システム１００は、前記イメージ２０、３０、４０を用いてテクスチャリングを行い、その結果、テクスチャリングされた三次元空間のイメージ５０を取得する。

【0108】

本発明の実施例における適応的三次元空間生成方法は、コンピュータで読み取ることができる記録媒体に、コンピュータで読み取ることができるコードとして具現化することが可能である。コンピュータで読み取ることができる記録媒体は、コンピュータシステムで読み取ることができるデータが保存される全種類の記録装置を含む。コンピュータで読み取ることができる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピーディクス、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介する転送）の形態に具現化されることも包含される。また、コンピュータで読み取ることができる記録媒体は、ネットワークへ繋がったコンピュータシステムに分散され、分散方式でコンピュータで読み取ることができるコードが保存されて行われる。そして、本発明を具現化するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーによって容易に推論される。

【0109】

本発明は、図面に示された一実施例を参考にして説明されているが、これは単なる例示に過ぎず、当該技術分野において通常の知識を有する者であれば、これに基づいて多様な変形及び均等な他の実施例が可能であることが理解される。従って、本発明の真の技術的保護範囲は、添付された特許請求の範囲の技術的思想により定められるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】