特許7498517３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-04
(45)【発行日】2024-06-12
(54)【発明の名称】３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20240605BHJP
G06T 15/04 20110101ALI20240605BHJP
【ＦＩ】
G06T19/00 A
G06T15/04
【請求項の数】
15
(21)【出願番号】P 2022545058
(86)(22)【出願日】2021-11-29
(65)【公表番号】
(43)【公表日】2024-01-17
(86)【国際出願番号】 KR2021017707
(87)【国際公開番号】W WO2023095969
(87)【国際公開日】2023-06-01
【審査請求日】2022-07-28
(73)【特許権者】
【識別番号】519025987
【氏名又は名称】スリーアイ インコーポレーテッド
【氏名又は名称原語表記】３Ｉ ＩＮＣ．
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】キム、ケン
(72)【発明者】
【氏名】ジョン、ジ ウク
(72)【発明者】
【氏名】フダイベルガノブ、パルホド ルスタム ウクリ
(72)【発明者】
【氏名】イ、ミハイル
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１９－１８５７７６（ＪＰ，Ａ）
【文献】国際公開第２０１８／１７９２５４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １５／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
室内空間の複数の撮影地点でそれぞれ生成される複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元仮想モデルを生成するコンピューティング装置で遂行可能な方法であって、前記室内空間の複数の撮影地点でそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成する段階；
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階；
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する段階；および
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成する段階；を含み、
前記第１色相イメージは、
前記３次元メッシュモデルに関連した複数の色相イメージの中で前記第１フェイスに対する撮影方向、解像度およびカラーノイズを基準として評価して選別される
ことを特徴とする３次元仮想モデル生成のためのテクスチャリング方法。
【請求項2】
室内空間の複数の撮影地点でそれぞれ生成される複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元仮想モデルを生成するコンピューティング装置で遂行可能な方法であって、前記室内空間の複数の撮影地点でそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成する段階；
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階；
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する段階；および
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成する段階；を含み、
前記３次元メッシュモデルに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階は、
前記第１フェイスに垂直な第１方向ベクトルを設定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、前記第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、解像度に対する第２加重値要素をそれぞれ算定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、カラーノイズに対する第３加重値要素をそれぞれ算定する段階；
前記第１加重値要素～前記第３加重値要素を反映して前記第１フェイスに関連した複数の色相イメージそれぞれに対して加重値を算定する段階；および
最も高い加重値を有するいずれか一つの色相イメージを、前記第１色相イメージとして決定する段階；を含む
ことを特徴とする３次元仮想モデル生成のためのテクスチャリング方法。
【請求項3】
室内空間の複数の撮影地点でそれぞれ生成される複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元仮想モデルを生成するコンピューティング装置で遂行可能な方法であって、前記室内空間の複数の撮影地点でそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成する段階；
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階；
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する段階；および
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成する段階；を含み、
前記３次元メッシュモデルに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階は、
前記第１フェイスに垂直な第１方向ベクトルを設定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、前記第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、カラーノイズに対する第２加重値要素をそれぞれ算定する段階；
前記第１加重値要素および前記第２加重値要素を反映して前記第１フェイスに関連した複数の色相イメージそれぞれに対して加重値を算定する段階；および
最も高い加重値を有するいずれか一つの色相イメージを、前記第１色相イメージとして決定する段階；を含む
ことを特徴とする３次元仮想モデル生成のためのテクスチャリング方法。
【請求項4】
前記テクスチャリング方法は、前記３Ｄモデルに対して前記複数の撮影地点間で撮影時に誘発される色相差を補償するためのカラー調整を遂行して第２ ３Ｄモデルを生成する段階；をさらに含む
請求項１ないし３のいずれかに記載の３次元仮想モデル生成のためのテクスチャリング方法。
【請求項5】
前記３次元メッシュモデルに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階は、前記第１フェイスに垂直な第１方向ベクトルを設定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、前記第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定する段階；
前記第１フェイスに関連した複数の色相イメージに対して、解像度に対する第２加重値要素をそれぞれ算定する段階；
前記第１加重値要素および前記第２加重値要素を反映して前記第１フェイスに関連した複数の色相イメージそれぞれに対して加重値を算定する段階；および
最も高い加重値を有するいずれか一つの色相イメージを、前記第１色相イメージとして決定する段階；を含む
請求項１ないし３のいずれかに記載の３次元仮想モデル生成のためのテクスチャリング方法。
【請求項6】
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階は、未撮影領域によって発生するアンシーンフェイスを設定する段階；
前記アンシーンフェイスに関連した複数の頂点それぞれの色相値を確認する段階；および
前記複数の頂点それぞれの色相値に基づいて前記アンシーンフェイスを塗りつぶす段階；を含む
請求項１ないし３のいずれかに記載の３次元仮想モデル生成のためのテクスチャリング方法。
【請求項7】
前記複数の頂点それぞれの色相値に基づいて前記アンシーンフェイスを塗りつぶす段階は、各頂点を開始点として設定し、各頂点の色相値に基づいて隣接した頂点の色相値とグラジエントして前記アンシーンフェイスの色相値を設定する段階；を含む
請求項６に記載の３次元仮想モデル生成のためのテクスチャリング方法。
【請求項8】
コンピューティング装置であって、一つ以上のインストラクションを保存するメモリ；および
前記メモリに保存された前記一つ以上のインストラクションを実行する少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、前記一つ以上のインストラクションを実行することによって、
室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成し、
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択し、
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行し、
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成し、
前記第１色相イメージは、
前記３次元メッシュモデルに関連した複数の色相イメージの中で前記第１フェイスに対する撮影方向、解像度およびカラーノイズを基準として評価して選別される
ことを特徴とするコンピューティング装置。
【請求項9】
コンピューティング装置であって、一つ以上のインストラクションを保存するメモリ；および
前記メモリに保存された前記一つ以上のインストラクションを実行する少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、前記一つ以上のインストラクションを実行することによって、
室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成し、
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択し、
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行し、
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成し、
前記少なくとも一つのプロセッサは、
前記第１フェイスに垂直な第１方向ベクトルを設定し、
前記第１フェイスに関連した複数の色相イメージに対して、前記第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定し、
前記第１フェイスに関連した複数の色相イメージに対して、解像度に対する第２加重値要素をそれぞれ算定し、
前記第１フェイスに関連した複数の色相イメージに対して、カラーノイズに対する第３加重値要素をそれぞれ算定し、
前記第１加重値要素～前記第３加重値要素を反映して前記第１フェイスに関連した複数の色相イメージそれぞれに対して加重値を算定し、
最も高い加重値を有するいずれか一つの色相イメージを、前記第１色相イメージとして決定する
ことを特徴とするコンピューティング装置。
【請求項10】
前記少なくとも一つのプロセッサは、前記３Ｄモデルに対して前記複数の撮影地点間で撮影時に誘発される色相差を補償するためのカラー調整を遂行して第２ ３Ｄモデルを生成する
請求項８または９に記載のコンピューティング装置。
【請求項11】
前記少なくとも一つのプロセッサは、未撮影領域によって発生するアンシーンフェイスを設定し、
前記アンシーンフェイスに関連した複数の頂点それぞれの色相値を確認し、
前記複数の頂点それぞれの色相値に基づいて前記アンシーンフェイスを塗りつぶす
請求項８または９に記載のコンピューティング装置。
【請求項12】
前記少なくとも一つのプロセッサは、各頂点を開始点として設定し、各頂点の色相値に基づいて隣接した頂点の色相値とグラジエントして前記アンシーンフェイスの色相値を設定する
請求項１１に記載のコンピューティング装置。
【請求項13】
コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体において、前記インストラクションは、コンピューティング装置によって実行される時、前記コンピューティング装置に、
室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成する動作；
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する動作；
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する動作；および
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成する動作；を遂行するようにし、
前記第１色相イメージは、
前記３次元メッシュモデルに関連した複数の色相イメージの中で前記第１フェイスに対する撮影方向、解像度およびカラーノイズを基準として評価して選別される
ことを特徴とする保存媒体。
【請求項14】
コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体において、前記インストラクションは、コンピューティング装置によって実行される時、前記コンピューティング装置に、
室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成する動作；
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する動作；
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する動作；および
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成する動作；を遂行するようにし、
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する動作は、
前記第１フェイスに垂直な第１方向ベクトルを設定する動作；
前記第１フェイスに関連した複数の色相イメージに対して、前記第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定する動作；
前記第１フェイスに関連した複数の色相イメージに対して、解像度に対する第２加重値要素をそれぞれ算定する動作；
前記第１フェイスに関連した複数の色相イメージに対して、カラーノイズに対する第３加重値要素をそれぞれ算定する動作；
前記第１加重値要素～前記第３加重値要素を反映して前記第１フェイスに関連した複数の色相イメージそれぞれに対して加重値を算定する動作；および
最も高い加重値を有するいずれか一つの色相イメージを、前記第１色相イメージとして決定する動作；を含む
ことを特徴とする保存媒体。
【請求項15】
コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体において、前記インストラクションは、コンピューティング装置によって実行される時、前記コンピューティング装置に、
室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成する動作；
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する動作；
選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する動作；および
前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１ ３Ｄモデルを生成する動作；を遂行するようにし、
前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する動作は、
前記第１フェイスに垂直な第１方向ベクトルを設定する動作；
前記第１フェイスに関連した複数の色相イメージに対して、前記第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定する動作；
前記第１フェイスに関連した複数の色相イメージに対して、カラーノイズに対する第２加重値要素をそれぞれ算定する動作；
前記第１加重値要素および前記第２加重値要素を反映して前記第１フェイスに関連した複数の色相イメージそれぞれに対して加重値を算定する動作；および
最も高い加重値を有するいずれか一つの色相イメージを、前記第１色相イメージとして決定する動作；を含む
ことを特徴とする保存媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、室内空間に対する３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置に関する。
【背景技術】
【0002】
最近では実際の空間に対応するオンライン上の仮想空間が提供されることによって、使用者が直接実際の空間に訪問せずとも実際の空間にいるような体験が可能な仮想空間具現技術が開発されている。
【0003】
このような現実空間基盤の仮想技術はデジタルツインまたはメタバース（ｍｅｔａｖｅｒｓｅ）具現のための技術であって、多様な開発がなされている。
【0004】
このような仮想空間を具現するためには、具現しようとする実際の空間を対象として撮影された平面イメージを獲得し、これに基づいて立体的な仮想イメージ、すなわち、３次元モデルを生成して仮想空間を提供する過程が必要である。
【0005】
このような三次元モデルは、室内空間内部の複数の地点で撮影されたデータに基づいて生成される。このような場合、３次元モデルを構成するために、室内空間の複数の地点で３６０度で獲得された色相および距離データを収集し、これに基づいて３次元モデルを生成する。
【0006】
特に、このような室内空間に対応する仮想空間を生成するための各地点は、数メートル距離のように互いにかなり離隔しているため、このようなデータに基づいて３次元モデルに対するテクスチャリングの品質を良好に持っていくことが難しい限界がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本出願の一技術的側面は前記した従来技術の問題点を解決するためのものであり、本出願に開示される一実施例によると、室内の複数の地点で生成された複数のイメージの中で３Ｄモデルのフェイスに適合したイメージを効果的に選択することを目的とする。
【0008】
本出願に開示される一実施例によると、室内の複数の他の地点間の異なる撮影条件によって発生するカラー不均衡をより正確に補償することを目的とする。
【0009】
本出願の課題は以上で言及した課題に制限されず、言及されていないさらに他の課題は以下の記載から当業者に明確に理解され得る。
【課題を解決するための手段】
【0010】
本出願の一技術的側面は３次元仮想モデル生成のためのテクスチャリング方法を提案する。前記３次元仮想モデル生成のためのテクスチャリング方法は、室内空間の複数の撮影地点でそれぞれ生成される複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元仮想モデルを生成するコンピューティング装置で遂行可能な方法であって、前記室内空間の複数の撮影地点でそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成する段階、前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する段階、選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する段階および前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１の３Ｄモデルを生成する段階を含むことができる。
【0011】
本出願の他の一技術的側面はコンピューティング装置を提案する。前記コンピューティング装置は、一つ以上のインストラクションを保存するメモリおよび前記メモリに保存された前記一つ以上のインストラクションを実行する少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、前記一つ以上のインストラクションを実行することによって、前記室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成し、前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択し、選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行し、前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１の３Ｄモデルを生成することができる。
【0012】
本出願の他の一技術的側面は保存媒体を提案する。前記保存媒体は、コンピュータ読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存している保存媒体である。前記インストラクションは、コンピューティング装置によって実行される時、前記コンピューティング装置に、前記室内空間の複数の撮影地点でそれぞれ生成された複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて３次元メッシュモデルを生成する動作、前記３次元メッシュモデルに含まれた複数のフェイスのうち第１フェイスを選択し、前記第１フェイスに関連した複数の色相イメージの中から前記第１フェイスに適合ないずれか一つの第１色相イメージを選択する動作、選択されたいずれか一つの第１色相イメージから前記第１フェイスに対応するローカル領域を選択して前記第１フェイスにマッピングしてテクスチャリングを遂行する動作および前記３次元メッシュモデルに含まれた複数のフェイスの中から前記第１フェイスを除いた残りのフェイスに対しても色相イメージの選択過程およびテクスチャリング過程を遂行して第１の３Ｄモデルを生成する動作を遂行するようにすることができる。
【0013】
前記課題の解決手段は、本出願の特徴をすべて列挙したものではない。本出願の課題解決のための多様な手段は以下の詳細な説明の具体的な実施形態を参照してより詳細に理解され得る。
【発明の効果】
【0014】
本出願によると、次のような効果が一つあるいはそれ以上ある。
【0015】
本出願に開示される一実施例によると、３Ｄモデルのフェイスに適合したイメージを効果的に選択することによって、室内で互いに離隔した複数の地点で撮影されるイメージを基盤とする３Ｄ生成環境でもより正確なテクスチャリングを提供できる効果がある。
【0016】
本出願に開示される一実施例によると、室内の複数の他の地点間の異なる撮影条件によって発生するカラー不均衡を正確に補償して、仮想の室内空間の各面に対して異質感を最小化し、より実際の空間と類似する仮想空間のテクスチャーを提供できる効果がある。
【0017】
本出願の効果は以上で言及した効果に制限されず、言及されていないさらに他の効果は特許請求の範囲の記載から当業者に明確に理解され得る。
【図面の簡単な説明】
【0018】
【図1】本出願に開示される一実施例に係る３次元仮想モデル生成のためのテクスチャリング方法を提供するシステムを説明するための一つの例示図面である。
【図2】本出願に開示される一実施例に係るコンピューティング装置を説明するブロック構成図である。
【図3】本出願に開示される一実施例に係る３次元仮想モデル生成のためのテクスチャリング方法を説明するフローチャートである。
【図4】本出願に開示される一実施例に係る色相イメージの獲得例を説明する図面である。
【図5】本出願に開示される一実施例に係る色相イメージの獲得例を説明する図面である。
【図6】本出願に開示される一実施例に係る色相イメージの獲得例を説明する図面である。
【図7】本出願に開示される一実施例に係る色相イメージの獲得例を説明する図面である。
【図8】本出願に開示される一実施例に係る３次元仮想モデル生成のための色相イメージ選定方法を説明するフローチャートである。
【図9】本出願に開示される一実施例に係る色相イメージの選定例を説明する図面である。
【図10】本出願に開示される一実施例に係る色相イメージの選定例を説明する図面である。
【図11】本出願に開示される一実施例に係る色相イメージの選定例を説明する図面である。
【図12】本出願に開示される一実施例に係る色相イメージの選定例を説明する図面である。
【図13】本出願に開示される一実施例に係る３次元仮想モデル生成のためのアンシーンフェイス設定方法を説明するフローチャートである。
【図14】本出願に開示される一実施例に係るアンシーンフェイス設定例を説明する図面である。
【図15】本出願に開示される一実施例に係るアンシーンフェイス設定例を説明する図面である。
【図16】本出願に開示される一実施例に係る３次元仮想モデル生成のための色相補正方法を説明するフローチャートである。
【図17】本出願に開示される一実施例に係る色相補正例を説明する図面である。
【図18】本出願に開示される一実施例に係る色相補正例を説明する図面である。
【発明を実施するための形態】
【0019】
以下、添付された図面を参照して本出願の好ましい実施形態を説明する。
【0020】
しかし、これは特定の実施形態に対して範囲を限定しようとするものではなく、本開示の実施例の多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎｓ）、均等物（ｅｑｕｉｖａｌｅｎｔｓ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅｓ）を含む。
【0021】
本開示を説明するにおいて、関連した公知の機能あるいは構成に対する具体的な説明が本開示の要旨を不要に曖昧にさせ得る恐れがあると判断される場合、それに対する詳細な説明は省略する。
【0022】
本開示で使った用語は単に特定の実施例を説明するために使われたものであり、権利範囲を限定しようとする意図ではない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。
【0023】
本開示で、「有する」、「有することができる」、「含む、」または「含むことができる」等の表現は該当特徴（例：数値、機能、動作、または部品などの構成要素）の存在を指すものであり、追加的な特徴の存在を排除しない。
【0024】
図面の説明と関連して、類似するまたは関連した構成要素に対しては類似する参照符号が使われ得る。アイテムに対応する名詞の単数形は関連した文脈上明白に異なって指示しない限り、前記アイテム一つまたは複数個を含むことができる。本出願で、「ＡまたはＢ」、「ＡおよびＢのうち少なくとも一つ」、「ＡまたはＢのうち少なくとも一つ」、「Ａ、ＢまたはＣ」、「Ａ、ＢおよびＣのうち少なくとも一つ」および「Ａ、Ｂ、またはＣのうち少なくとも一つ」のような文面それぞれは、その文面のうち該当する文面に共に羅列された項目のうちいずれか一つ、またはそれらのすべての可能な組み合わせを含むことができる。
【0025】
「第１」、「第２」、または「最初」または「二番目」のような用語は単純に該当構成要素を他の該当構成要素と区分するために使われ得、該当構成要素を他の側面（例えば、重要性または順序）に限定しない。
【0026】
或る（例えば、第１）構成要素が他の（例えば、第２）構成要素に、「機能的に」または「通信的に」という用語とともにまたはこのような用語なしに、「カップルド」、「コネクテッド」または「連結された」と言及された場合、それは前記或る構成要素が前記他の構成要素に直接的に、または第３構成要素を通じて連結され得るということを意味する。
【0027】
本開示で使われた表現「～するように構成された（または設定された）（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は状況によって、例えば、「～に適合した（ｓｕｉｔａｂｌｅ ｆｏｒ）」、「～する能力を有する（ｈａｖｉｎｇ ｔｈｅ ｃａｐａｃｉｔｙ ｔｏ）」、「～するように設計された（ｄｅｓｉｇｎｅｄ ｔｏ）」、「～するように変更された（ａｄａｐｔｅｄ ｔｏ）」、「～するように作られた（ｍａｄｅ ｔｏ）」、または「～ができる（ｃａｐａｂｌｅ ｏｆ）」と変えて使われ得る。用語「～するように構成された（または設定された）」は、必ずしもハードウェア的に「特別に設計された（ｓｐｅｃｉｆｉｃａｌｌｙ ｄｅｓｉｇｎｅｄ ｔｏ）」もののみを意味するものではない。
【0028】
その代わりに、ある状況では、「～するように構成された装置」という表現は、その装置が他の装置または部品と共に「～できる」ことを意味し得る。例えば、文面「Ａ、Ｂ、およびＣを遂行するように構成された（または設定された）プロセッサ」は該当動作を遂行するための専用プロセッサ（例：エンベデッドプロセッサ）、またはメモリ装置に保存された一つ以上のソフトウェアプログラムを実行することによって、該当動作を遂行できる汎用プロセッサ（ｇｅｎｅｒｉｃ－ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）を意味し得る。
【0029】
実施例において、「モジュール」あるいは「部」は少なくとも一つの機能や動作を遂行し、ハードウェアまたはソフトウェアで具現されたりハードウェアとソフトウェアの結合で具現され得る。また、複数の「モジュール」あるいは複数の「部」は特定のハードウェアで具現される必要がある「モジュール」あるいは「部」を除いては、少なくとも一つのモジュールで一体化されて少なくとも一つのプロセッサで具現され得る
【0030】
本出願の多様な実施例は機器（ｍａｃｈｉｎｅ）－例えば、使用者端末機５００やコンピューティング装置３００－によって読み取り可能な保存媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）に保存された一つ以上の命令語を含むソフトウェア（例えば、プログラム）で具現され得る。例えば、プロセッサ３３０は、保存媒体から保存された一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを実行することができる。これは装置が前記呼び出された少なくとも一つの命令語にしたがって少なくとも一つの機能を遂行するように運営されることを可能にする。前記一つ以上の命令語はコンパイラによって生成されたコードまたはインタープリタによって実行され得るコードを含むことができる。機器で読み取り可能な保存媒体は、非一過性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供され得る。ここで、「非一過性」は保存媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁波）を含まないことを意味するだけであり、この用語はデータが保存媒体に半永久的に保存される場合と臨時的に保存される場合を区分しない。
【0031】
本出願の実施形態を説明するために多様なフローチャートが開示されているが、これは各段階または動作の説明の便宜のためのものであり、必ずしもフローチャートの順序に沿って各段階が遂行されるものではない。すなわち、フローチャートでの各段階は、互いに同時に遂行されたり、フローチャートによる順で遂行されたり、またはフローチャートでの順序と反対の順序でも遂行され得る。
【0032】
図１は、本出願に開示される一実施例に係る３次元仮想モデル生成のためのテクスチャリング方法を提供するシステムを説明するための一つの例示図面である。
【0033】
３次元仮想モデル生成のためのテクスチャリング方法を提供するシステムはイメージ獲得装置１００、コンピューティング装置３００および使用者端末機５００を含むことができる。
【0034】
イメージ獲得装置１００は球状仮想イメージを生成するのに使われる、色相イメージおよび深度マップイメージを生成する装置である。
【0035】
図示された例において、イメージ獲得装置１００は距離測定装置、図示された例で深度スキャナおよびカメラを含むことができる。
【0036】
カメラは撮影機能を提供する機器であり、被写領域（撮像領域）に対して色で表現される色相イメージを生成する。
【0037】
本出願明細書で、色相イメージは色で表現されるイメージをすべて包括するものであり、特定の表現方式に制限するものではない。したがって、色相イメージはＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）で表現されるＲＦＧイメージだけでなく、ＣＭＹＫ（Ｃｙａｎ Ｍａｇｅｎｔａ Ｙｅｌｌｏｗ Ｋｅｙ）で表現されるＣＭＹＫイメージなどの多様な標準で適用可能である。
【0038】
一例として、カメラは携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブル撮影デバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ））等が使われてもよい。
【0039】
深度スキャナは被写領域に対して深度情報を生成して深度マップイメージを生成できる装置である。
【0040】
本出願明細書で、深度マップイメージは被写空間に対して深度情報を含むイメージである。例えば、深度マップイメージでの各ピクセルは、撮像地点から撮影された被写空間の各地点－各ピクセルに対応する地点－までの距離情報であり得る。
【0041】
深度スキャナは距離測定のための所定のセンサ、例えば、ライダ（ＬｉＤＡＲ）センサ、赤外線センサ、超音波センサなどを含むことができる。または深度スキャナはセンサの代わりに距離情報を測定できるステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）、ステレオスコピックカメラ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｃａｍｅｒａ）、３Ｄ深度カメラ（３Ｄ、ｄｅｐｔｈ ｃａｍｅｒａ）等を含むことができる。
【0042】
カメラは色相イメージを生成し、深度スキャナは深度マップ（Ｄｅｐｔｈ ｍａｐ）を生成する。カメラによって生成された色相イメージと深度スキャナによって生成された深度マップイメージは、同一の被写領域に対して同一の条件（例えば、解像度など）を対象に生成され得、互いに１：１でマッチングされる。
【0043】
深度スキャナとカメラは実存する室内空間に対して３６０度パノラマイメージ形態、すなわち、それぞれ３６０度深度マップパノラマイメージと３６０度色相パノラマイメージを生成でき、これをコンピューティング装置３００に提供することができる。
【0044】
深度スキャナは、このような３６０度撮影が遂行された室内の複数の地点それぞれに対する距離情報を生成することができる。このような距離情報は相対的な距離情報であり得る。例えば、深度スキャナは、室内空間に対する平面図を具備し、使用者の入力により平面図内で最初の開始室内地点の入力を受けることができる。その後、深度スキャナは、映像分析および／または移動感知センサ－例えば、３軸加速度センサおよび／またはジャイロセンサなど－に基づいて相対的な距離移動情報を生成することができる。例えば、開始室内地点からの相対的な距離移動情報に基づいて第２室内地点に対する情報を生成し、第２室内地点からの相対的な距離移動情報に基づいて第３室内地点に対する情報を生成することができる。このような距離情報の生成はカメラによって遂行されてもよい。
【0045】
一実施例において、深度スキャナとカメラは一つのイメージ獲得装置として具現可能である。例えば、イメージ獲得装置１００は、イメージ獲得のためのカメラと距離測定のためのライダ（ＬｉＤＡＲ）センサを含むスマートフォンであり得る。
【0046】
深度スキャナまたはカメラは、撮影高さに対する情報を保存してコンピューティング装置３００に提供することができる。このような撮影高さ情報はコンピューティング装置３００で３次元モデルを生成するのに使われ得る。
【0047】
深度マップイメージと色相イメージは３６０度パノラマイメージであり得、説明の便宜のために、深度マップイメージと色相イメージとして通称する。このような深度マップイメージと色相イメージは、３６０度イメージを提供するために適合した形態のパノラマイメージ、例えば、等長方形投影パノラマイメージであってもよい。
【0048】
使用者端末機５００は使用者がコンピューティング装置３００に接続して室内空間に対応する仮想の３Ｄモデルを体験できる電子機器であって、例えば、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、パソコン（ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））等を包括する。しかし、その他にも使用者端末機５００はＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に使われる電子機器を含むことができる。
【0049】
コンピューティング装置３００は室内の複数の地点でそれぞれ生成された色相イメージと深度マップイメージを利用して、室内空間に対応する３次元仮想空間である３次元仮想モデルを生成することができる。
【0050】
コンピューティング装置３００は現実空間に対応する仮想空間として、室内の複数の撮影地点で生成された色相イメージおよび深度イメージに基づいて３Ｄモデルを生成することができる。３Ｄモデルは深度情報が反映された仮想モデルであり、実際と同等な立体的な空間を提供することができる。
【0051】
コンピューティング装置３００は室内空間の複数の撮影地点でそれぞれ生成される複数のデータセット－前記データセットは色相イメージ、深度イメージおよび各地点の位置情報を含む－に基づいて、３次元上に複数のポイント集合－例えば、ポイントクラウド－を生成し、このようなポイント集合に基づいて３Ｄメッシュモデルを生成することができる。３Ｄメッシュモデルは、ポイントクラウドに基づいて選ばれた複数のベルテックスに基づいて、複数のフェイスを設定して作られるメッシュモデルであり得る。一例として、隣接した３個のベルテックスを基準として一つのフェイスを生成することができ、それぞれのフェイスは３個の頂点で設定される平たい三角形であり得る。
【0052】
３Ｄメッシュモデルでそれぞれのフェイスが決定されると、コンピューティング装置３００はそれぞれのフェイスに関連した色相イメージに基づいてそれぞれのフェイスの色相値を設定することができる。フェイスに関連した色相イメージはフェイスに垂直な方向ベクトルを基準として設定され得る。
【0053】
コンピューティング装置３００はそれぞれのフェイスの色相値を設定するために一つの色相イメージを選択でき、このためにそれぞれの色相イメージに対して複数の加重値要素を算出した後、これに基づいて加重値を算定することができる。コンピューティング装置３００は加重値に基づいていずれか一つの色相イメージを選択することができる。
【0054】
コンピューティング装置３００はアンシーンフェイスに対する色塗りを遂行できる。アンシーン（Ｕｎｓｅｅｎ）フェイスは、撮像イメージに表示されないフェイスを意味する。例えば、撮影地点より高い平面－例えば、冷蔵庫の上面など－の場合、カメラによって撮影されないのでアンシーンフェイスと設定される。コンピューティング装置３００はベルテックスのカラー情報に基づいてこのようなアンシーンフェイスに色を塗る（ｆｉｌｌｉｎｇ）ことができる。
【0055】
コンピューティング装置３００はそれぞれのフェイスに対して色塗りが完了して生成される３Ｄモデルに対して色相補正を遂行できる。本出願で同一のカメラで撮影するとしても、室内空間の複数の地点での撮影条件は互いに異なる。明るさの程度、追加的な光源、光源の色相など、同一の室内空間であっても室内空間の各地点での撮影条件が異なる。例えば、窓側の室内撮影地点では太陽による自然光が追加され、照明が消えた室内撮影地点では照度が低く出るため、カメラの撮影条件が変更され得る。このように、室内空間の複数の地点は撮影条件が異なるため、同一の被写体に対しても各色相イメージは互いに異なる色相値を有することになる。したがって、一つの被写体が複数のフェイスを有し、それぞれのフェイスが互いに異なる色相イメージに基づいてテクスチャリングされるのであれば、一つの被写体の色相表現にムラが発生する可能性がある。コンピューティング装置３００はこのようなムラを補償するために色相補正を遂行できる。このような色相補正は、室内空間の多様な撮影地点間の差による要素を反映して遂行され得る。
【0056】
以上で詳擦した通り、本出願発明での３Ｄモデルは、室内空間に対応する仮想空間を生成するための条件によって特殊な環境を有する。すなわち、室内空間に対する色相イメージおよび深度イメージを獲得することが要求され、このために室内の複数の撮影地点で色相イメージおよび深度イメージを獲得することになる。一方、イメージを獲得する室内地点が多いほど３Ｄモデルに対するデータ量が多くなるので３Ｄモデルの表現が向上するが、本出願の実施例ではコンピューティング装置３００での処理によりこのような３Ｄモデルの表現、例えばテクスチャリングを向上させることができ、それにより室内イメージ獲得のための室内撮影地点の数を適正な数に設定しても高い品質の３Ｄモデルを獲得するようにする。
【0057】
【0058】
図２は、本出願に開示される一実施例に係るコンピューティング装置を説明するブロック構成図である。
【0059】
図２に図示された通り、本開示の一実施例に係るコンピューティング装置３００は通信モジュール３１０、メモリ３２０およびプロセッサ３３０を含むことができる。しかし、このような構成は例示的なものであり、本開示を実施するにおいてこのような構成に加えて新しい構成が追加されたり一部の構成が省略され得ることは言うまでもない。
【0060】
通信モジュール３１０は回路を含み、外部装置（サーバーを含む）との通信を遂行できる。具体的には、プロセッサ３３０は通信モジュール３１０を通じて連結された外部装置から各種データまたは情報を受信でき、外部装置に各種データまたは情報を伝送してもよい。
【0061】
通信モジュール３１０はＷｉＦｉモジュール、Ｂｌｕｅｔｏｏｔｈモジュール、無線通信モジュール、およびＮＦＣモジュールのうち少なくとも一つを含むことができ、ＩＥＥＥ、Ｚｉｇｂｅｅ、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（登録商標）（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）などのような多様な通信規格により通信を遂行できる。
【0062】
メモリ３２０にはコンピューティング装置３００に関する少なくとも一つの命令が保存され得る。メモリ３２０にはコンピューティング装置３００を駆動させるためのＯ／Ｓ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が保存され得る。また、メモリ３２０には本開示の多様な実施例によりコンピューティング装置３００が動作するための各種ソフトウェアプログラムやアプリケーションが保存されてもよい。そして、メモリ３２０はフラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などのような半導体メモリやハードディスク（ＨａｒｄＤｉｓｋ）などのような磁気保存媒体などを含むことができる。
【0063】
具体的には、メモリ３２０には本開示の多様な実施例によりコンピューティング装置３００が動作するための各種ソフトウェアモジュールが保存され得、プロセッサ３３０はメモリ３２０に保存された各種ソフトウェアモジュールを実行してコンピューティング装置３００の動作を制御することができる。すなわち、メモリ３２０はプロセッサ３３０によりアクセスされ、プロセッサ３３０によるデータの読み取り／記録／修正／削除／更新などが遂行され得る。
【0064】
その他にも本開示の目的を達成するための範囲内で必要な多様な情報がメモリ３２０に保存され得、メモリ３２０に保存された情報は外部装置から受信されたり使用者によって入力されることによって更新されてもよい。
【0065】
プロセッサ３３０は一つ以上のプロセッサで構成され得る。
【0066】
プロセッサ３３０はコンピューティング装置３００の全般的な動作を制御する。具体的には、プロセッサ３３０は前述したような通信部３１０およびメモリ３２０を含むコンピューティング装置３００の構成と連結され、前述したようなメモリ３２０に保存された少なくとも一つの命令を実行してコンピューティング装置３００の動作を全般的に制御することができる。
【0067】
プロセッサ３３０は多様な方式で具現され得る。例えば、プロセッサ３３０は特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、エンベデッドプロセッサ、マイクロプロセッサ、ハードウェアコントロールロジック、ハードウェア有限状態機械（ｈａｒｄｗａｒｅ Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｍａｃｈｉｎｅ、ＦＳＭ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）のうち少なくとも一つで具現され得る。一方、本開示でプロセッサ３３０という用語はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＭＰＵ（Ｍａｉｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含む意味で使われ得る。
【0068】
図３は、本出願に開示される一実施例に係る３次元仮想モデル生成のためのテクスチャリング方法を説明するフローチャートである。
【0069】
図３を参照すると、コンピューティング装置３００はイメージ獲得装置１００から複数の室内空間の各室内地点でそれぞれ生成された複数のデータセットの提供を受ける（Ｓ３０１）。ここで、データセットは該当地点で撮影された色相イメージ、深度イメージおよび該当室内地点に対する位置情報を含む。
【0070】
コンピューティング装置３００は複数のデータセットに基づいて室内空間に対する３Ｄモデルを生成するための３次元メッシュモデルを生成する（Ｓ３０２）。
【0071】
３次元メッシュモデルは各室内地点に対して色相イメージおよび深度イメージに基づいて生成される複数のポイント集合－例えばポイントクラウド－を生成し、これらを位置情報に基づいて３次元空間上に配置することで生成され得る。
【0072】
コンピューティング装置３００はポイントクラウドに基づいて複数のベルテックスを選定し、選定された複数のベルテックスに基づいて複数のフェイスを設定して３次元メッシュモデルを生成することができる。一例として、コンピューティング装置３００は隣接した３個のベルテックスを基準として一つの三角形フェイスを設定することができる。
【0073】
このような３次元メッシュモデルでのフェイスには色相値が設定されていない状態であるため、コンピューティング装置３００はそれぞれのフェイスに対する色相値を設定するために、すなわち、テクスチャリングを遂行するために段階Ｓ３０３～Ｓ３０４を繰り返し遂行する。
【0074】
コンピューティング装置３００は３次元メッシュモデルに含まれた複数のフェイスのうちいずれか一つ（第１）のフェイスを選択し、第１フェイスに関連した複数の色相イメージの中から第１フェイスに適合ないずれか一つの第１色相イメージを選択することができる（Ｓ３０３）。
【0075】
ここで、第１フェイスに関連した色相イメージを選定するにおいて、コンピューティング装置３００は第１フェイスに垂直な単位ベクトルを算出し、これに基づいて該当単位ベクトルに対応する撮影角度を有する少なくとも一つの色相イメージを、該当フェイスに関連した色相イメージとして選定することができる。これは、色相イメージの撮影時、該当色相イメージの撮影角度に対する情報が共に生成されるので、色相イメージに対する撮影高さおよび撮影角度情報に基づいて第１フェイスに関連した、すなわち、第１フェイスが写られている色相イメージを選定することができる。例えば、コンピューティング装置３００は第１フェイスに垂直な単位ベクトルと、それに所定角度内で対向する、すなわち、所定角度内で互いに向かい合う撮影角度を有する色相イメージを、該当フェイスに関連した色相イメージとして選定することができる。
【0076】
コンピューティング装置３００はフェイスに関連した色相イメージの中で、該当フェイスに適合ないずれか一つの色相イメージを選別することができる。例えば、コンピューティング装置３００は関連した色相イメージそれぞれに対して複数の加重値要素を算出した後、これに基づいて加重値を算定した後、加重値に基づいていずれか一つの色相イメージを選択することができる。
【0077】
一例として、第１フェイスにマッチングされる第１色相イメージは、３次元メッシュモデルに関連した複数の色相イメージの中で第１フェイスに対する撮影方向、解像度およびカラーノイズを基準として評価して選別され得る。
【0078】
コンピューティング装置３００は選択されたいずれか一つの色相イメージで、第１フェイスに対応するローカル領域を選択して第１フェイスにマッピングしてテクスチャリングを遂行できる（Ｓ３０４）。
【0079】
コンピューティング装置３００はそれぞれの色相イメージの撮影位置に対する情報を有しているので、それぞれの色相イメージでの各客体と３Ｄメッシュモデルの各客体を互いに投影してマッピングすることができる。したがって、このような２次元色相イメージと３次元メッシュモデルの投影マッピングに基づいて、該当フェイスに対応する２次元色相イメージでのローカル領域を選択することができる。
【0080】
コンピューティング装置３００は３次元メッシュモデルのすべてのフェイスに対して、前述した段階Ｓ３０３～Ｓ３０４を繰り返し、各フェイスに対して色相情報を生成してテクスチャリングを遂行できる（Ｓ３０５）。このように生成された３Ｄモデルは各色相イメージ間の色相補正がなされていない状態であるので、同一の面に対してもムラが発生する可能性がある。これは前述した通り、室内の各撮影地点での撮影環境が異なるためである。
【0081】
コンピューティング装置３００は、このようだから室内の各撮影地点での撮影環境による色相差を補正するために、カラー調整を遂行できる（Ｓ３０６）。
【0082】
【0083】
図４は一例として室内空間内の六面体被写体と、これに対して室内の第１撮影地点ＰＰ１と第２撮影地点ＰＰ２を図示する斜視図であり、図５は図４に対応する平面図である。図６は第１撮影地点ＰＰ１で撮影された色相イメージの一例を、図７は第２撮影地点ＰＰ２で撮影された色相イメージの一例を図示する。
【0084】
【0085】
図８は、本出願に開示される一実施例に係る３次元仮想モデル生成のための色相イメージ選定方法を説明するフローチャートである。
【0086】
図８に図示されたフローチャートは、第１フェイスに関連する複数の色相イメージの中で、第１フェイスにマッピングされる第１色相イメージを選択する過程に対するものである。図９～図１２は本出願に開示される一実施例に係る色相イメージの選定例を説明する図面であり、これをさらに参照して説明する。
【0087】
図８を参照すると、コンピューティング装置３００は３次元メッシュモデルの第１フェイスに対する基準ベクトル、すなわち、第１フェイスに垂直な第１方向ベクトルを設定することができる（Ｓ８０１）。
【0088】
コンピューティング装置３００は第１フェイスに関連した複数の色相イメージに対して、第１方向ベクトルと方向的関連性を有する第１加重値要素をそれぞれ算定することができる（Ｓ８０２）。
【0089】
コンピューティング装置３００は第１フェイスに関連した複数の色相イメージの撮影方向を確認し、第１フェイスの第１方向ベクトルと前記撮影方向間の方向的関連性に基づいて第１加重値要素を算定することができる。例えば、第１フェイスの第１方向ベクトルと撮影方向間の角度が少ないほどより高い加重値要素が算定され得る。
【0090】
コンピューティング装置３００は第１フェイスに関連した複数の色相イメージに対して、解像度に対する第２加重値要素をそれぞれ算定することができる（Ｓ８０３）。
【0091】
一例として、コンピューティング装置３００は前記複数の色相イメージ自体に対する解像度を確認し、これに基づいて第２加重値要素を算定することができる。すなわち、高い解像度を有するほど高い第２加重値要素を有するように算定することができる。
【0092】
他の例で、コンピューティング装置３００はテクスチャリングの対象となる客体または該当客体の一部であるフェイスを識別し、識別された客体またはフェイスの解像度に基づいて第２加重値要素を算定することができる。このような客体またはフェイスに対する解像度は撮影地点での客体間の距離に反比例して設定されるので、距離上有利な色相イメージに高い第２加重値が付与される。
【0093】
コンピューティング装置３００は第１フェイスに関連した複数の色相イメージに対して、カラーノイズに対する第３加重値要素をそれぞれ算定することができる（Ｓ８０４）。
【0094】
コンピューティング装置３００は各色相イメージに対してカラーノイズを算出することができる。カラーノイズを算出するために、ＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用した教師なし学習、Ｅｎｌｉｇｈｔｅｎ ＧＡＮを利用した方法などの多様な方法論が適用され得る。
【0095】
コンピューティング装置３００はカラーノイズが少ないほど高い第３加重値要素が付与されるようにすることができる。
【0096】
コンピューティング装置３００は第１加重値要素～第３加重値要素を反映して、前記複数の色相イメージそれぞれに対して加重値を算出することができる。コンピューティング装置３００は最も高い加重値を有する一つの色相イメージを、第１フェイスとマッピングされる第１イメージとして選定することができる（Ｓ８０５）。
【0097】
第１加重値要素～第３加重値要素の反映には多様なアルゴリズムが適用可能である。例えば、コンピューティング装置３００は第１加重値要素～第３加重値要素を単純合算したり、またはこれらの平均を導き出すなどの多様な方式で加重値を算定することができる。
【0098】
前述した例では第１加重値要素～第３加重値要素をすべて反映するものを例示したが、これに限定されるものではない。したがって、第１加重値要素と第２加重値要素に基づいて加重値を算定したり、または第１加重値要素と第３加重値要素に基づいて加重値を算定するなどの変形実施が可能である。ただしこのような変形においても、第１加重値要素を含むことがより高い性能を提供する要素である。
【0099】
図９は、六面体のうち第１フェイス（Ｆｃ１）に垂直な第１方向ベクトルを設定する例を図示している。図９と図４に図示された例を参照すると、第１撮影地点ＰＰ１が、第２撮影地点ＰＰ２より高い第１加重値を有することが分かる。
【0100】
図１０は第１撮影地点ＰＰ１での色相イメージで第１フェイスに対応するローカル領域（Ｐ１Ｆｃ１）を、図１１は第２撮影地点ＰＰ２での色相イメージで第１フェイスに対応するローカル領域（Ｐ２Ｆｃ１）を例示している。
【0101】
【0102】
【0103】
したがって、第１フェイスに対しては第１撮影地点ＰＰ１での色相イメージが選択されるであろうし、第１撮影地点ＰＰ１での色相イメージでのローカル領域（Ｐ１Ｆｃ１）を第１フェイスにマッチングして第１フェイスに対してテクスチャリングが遂行されたものを図１２で図示している。
【0104】
図１３は、本出願に開示される一実施例に係る３次元仮想モデル生成のためのアンシーンフェイス設定方法を説明するフローチャートである。
【0105】
前述した過程を通じて各フェイスに対して色相イメージマッピングおよびテクスチャリングが遂行されるが、一部のフェイスの場合にはマッピングするイメージが選択されなくてもよい。このようなフェイスは、通常的にアンシーンフェイスと称されるが、これはイメージ撮影角度上撮影が不可能な部分で発生する。
【0106】
図１４は、このようなアンシーンフェイスが図示された３Ｄモデルを図示する。アンシーンフェイスは青色で表示され、ベッドの寝具の裏側、洗面台の下の部分、テーブルによって遮られた部分などにアンシーンフェイスが発生することが分かる。
【0107】
コンピューティング装置３００はこのようなアンシーンフェイスに対して図１３に図示された通り、色塗りを遂行できる。
【0108】
図１３を参照すると、コンピューティング装置３００は未撮影領域によって発生するアンシーンフェイスを設定することができる（Ｓ１３０１）。コンピューティング装置３００はフェイスにマッピングされる色相イメージがないフェイスを、アンシーンフェイスに設定することができる。
【0109】
コンピューティング装置３００はアンシーンフェイスに関連した複数のベルテックスそれぞれの色相値を確認する（Ｓ１３０２）。
【0110】
各フェイスが３個のベルテックスを有する三角形である例えば、コンピューティング装置３００はアンシーンフェイスを構成する３個のベルテックスの色相値を確認することができる。一例として、ベルテックスの色相値は、ベルテックスを構成する深度イメージのピクセルに対応する色相イメージのピクセル値に決定され得る。すなわち、コンピューティング装置３００はあるベルテックスを決定するために位置情報を導き出すのに使われる深度イメージを選択でき、また、該当深度イメージと同一のデータセットを構成する色相イメージを選択することができる。コンピューティング装置３００は該当深度イメージでベルテックスに対応するベルテックス関連深度ピクセルを選択でき、また、深度イメージで選択されたベルテックス関連深度ピクセルに対応するあるベルテックス関連色相ピクセルを色相イメージで選択することができる。コンピューティング装置３００はベルテックス関連色相ピクセルの色相値を該当ベルテックスの色相値として設定することができる。
【0111】
コンピューティング装置３００は複数のベルテックスそれぞれの色相値に基づいて前記アンシーンフェイスを塗りつぶすことができる。例えば、コンピューティング装置３００は各ベルテックスを開始点として設定し、各ベルテックスの色相値に基づいて隣接したベルテックスの色相値とグラジエントして前記アンシーンフェイスの色相値を設定することができる（Ｓ１３０３）。ここでグラジエントは色相グラデーション（ｇｒａｄａｔｉｏｎ）によって設定される色彩の変更される技法を意味するものであり、このようなグラデーション技法は多様な方式が適用可能である。
【0112】
図１５は、図１４の例に対してアンシーンフェイスが塗りつぶされた例を図示しており、図示された例で色相グラデーションに基づいてアンシーンフェイスが塗りつぶされることが分かる。このようなグラデーションによるアンシーンフェイスのテクスチャリングは、それ自体としては周辺の色相と多少不自然な感じが発生するが、以下で説明する色相補正過程によってより自然に補償され得る。
【0113】
図１６は、本出願に開示される一実施例に係る３次元仮想モデル生成のための色相補正方法を説明するフローチャートである。
【0114】
前述した通り、室内の撮影地点間の撮影環境が異なるため、同一の面に対しても互いに異なる色相で表示され得る。特に、多様なフェイスが隣接して一つの連続した面または曲面を形成する場合、各フェイスの色相値の差は不自然な感じを与える。
【0115】
図１７はカラー補正がなされる前の３Ｄモデルの一部を例示しており、図１７の例では同じ壁面に対してかなりの色相ムラが発生することが分かる。コンピューティング装置３００はこのような色相歪曲、すなわち、室内撮影地点間の撮影環境差によって誘発される色相歪曲を補償するための処理を提供し、図１６を参照して説明する。
【0116】
図１６を参照すると、コンピューティング装置３００はテクスチャリングが完了した第１の３Ｄモデルに対して色相イメージ間の補正および隣接したフェイス間の補正を遂行できる。
【0117】
コンピューティング装置３００は隣接した撮影地点で撮影された色相イメージを関連させてイメージサブセットを設定することができる（Ｓ１６０１）。このような色相イメージサブセットは複数個が設定され得る。コンピューティング装置３００はそれぞれの色相イメージサブセットに対して、該当色相イメージサブセットに関連した色相イメージ間の補正加重値に基づいてグローバル色相補正を遂行できる（Ｓ１６０２）。このようなグローバル色相補正はイメージ全体に対して遂行されるものである。
【0118】
一例として、コンピューティング装置３００は色相イメージサブセットに関連した色相イメージに対して主な色相を決定することができる。図１７の例で主な色相は灰色であり得、図１７に関連した色相イメージに対して主な色相である灰色に対してそれぞれ主な色相加重値を設定することができる。主な色相加重値は、関連した色相イメージの主な色相に対する平均値に対する差から設定され得る。主な色相が平均値と大きな差がある色相イメージであるほど補正加重値が大きく設定され、それぞれの色相イメージに対して補正加重値に基づいて色相補正を遂行できる。このように、グローバル色相補正が遂行されると、色相イメージ自体に対する補正が遂行されたことであるので、このような補正されたイメージに基づいてテクスチャリングを再遂行することができる。
【0119】
その後、コンピューティング装置３００はフェイス間の差に基づいてローカル色相補正を遂行できる。
【0120】
コンピューティング装置３００は隣接したフェイスを関連させて複数のフェイスサブセットを設定することができる（Ｓ１６０３）。
【0121】
コンピューティング装置３００はフェイスサブセットそれぞれに対して、フェイスサブセットを構成するフェイス間の色相差を平準化するように設定することによってローカル色相補正を遂行できる（Ｓ１６０４）。このような色相差平準化は多様な方式が適用可能であるので、ここでは特定方式に限定しない。
【0122】
【0123】
実際の使用者は、同一の面または曲面に対して複数の色相がある場合、これをかなり不自然に感じることになるため、実際の３Ｄモデルに対するリアリティのあるイメージを提供するにはこのような色相補正の役割が大きい。
【0124】
本出願ではこのような色相補正をグローバル補正とローカル補正で組み合わせて使うが、これは撮影地点がかなり離隔しており、それによって撮影条件の差が大きい本発明ではこのような組み合わせ的な色相補正を通じて３Ｄモデルをより自然に表現することができる。
【0125】
一方、前述した実施例に係るコンピューティング装置３００で遂行される制御方法は、プログラムで具現されてコンピューティング装置３００に提供され得る。例えば、コンピューティング装置３００の制御方法を含むプログラムは、非一過性読み取り可能媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存されて提供され得る。
【0126】
以上でコンピューティング装置３００の制御方法、そしてコンピューティング装置３００の制御方法を実行するプログラムを含むコンピュータ読み取り可能記録媒体に対して簡略に説明したが、これは重複説明を省略するためのものに過ぎず、コンピューティング装置３００の制御方法、そしてコンピューティング装置３００の制御方法を実行するプログラムを含むコンピュータ読み取り可能記録媒体に対しても適用され得ることは言うまでもない。
【0127】
一方、機器で読み取り可能な保存媒体は、非一過性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供され得る。ここで、「非一過性保存媒体」は実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ）（例：電磁波）を含まないことを意味するだけであり、この用語はデータが保存媒体に半永久的に保存される場合と臨時的に保存される場合を区分しない。一例として、「非一過性保存媒体」はデータが臨時的に保存されるバッファーを含むことができる。
【0128】
以上で説明した本出願は前述した実施例および添付された図面によって限定されるものではなく、後述する特許請求の範囲によって限定され、本出願の構成は本出願の技術的思想を逸脱しない範囲内でその構成を多様に変更および改造できることを本出願が属する技術分野で通常の知識を有する者は容易に分かる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】