特許 7489736 仮想世界生成方法、装置及び方法を遂行するプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】仮想世界生成方法、装置及び方法を遂行するプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240517BHJP

   G06F 3/01 20060101ALI20240517BHJP

   G06F 3/04815 20220101ALI20240517BHJP

【ＦＩ】

G06T19/00 A

G06F3/01 510

G06F3/04815

【請求項の数】 10

(21)【出願番号】P 2023034374

(22)【出願日】2023-03-07

(65)【公開番号】P2024036278

(43)【公開日】2024-03-15

【審査請求日】2023-03-07

(31)【優先権主張番号】10-2022-0111872

(32)【優先日】2022-09-05

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】515289820

【氏名又は名称】インダストリー アカデミー コーオペレイション ファウンデーション オブ セジョン ユニバーシティ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】チェ，ス ミ

(72)【発明者】

【氏名】イ，ジョン ウォン

(72)【発明者】

【氏名】カン，ホ サン

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０２０－１５５１２１（ＪＰ，Ａ）

【文献】国際公開第２０２１／１３３４６５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

仮想世界生成装置であって、
プロセッサと、
前記プロセッサに連結されるメモリと、を含み、
前記メモリは、
ステレオカメラを備える装置を介して実空間に対する映像の入力を受け、
前記映像を介して前記実空間および前記実空間内に存在するオブジェクトに対するメッシュデータを収集し、
前記実空間に対するメッシュデータから前記実空間の第１のエッジに対する座標を決定し、
前記実空間に対して予め設定された多角形のエッジよりも前記実空間の第１のエッジが多い場合、所定方向を向く複数の第２のエッジそれぞれによって定義される仮想空間の面積に基づいて前記複数の第２のエッジのうち１つを選択し、
前記第１のエッジのうち一部および前記選択された１つの第２のエッジによって定義される仮想空間および前記実空間で認識された実オブジェクトに相応する仮想オブジェクトを出力するように、前記プロセッサによって実行されるプログラム命令語を格納した、ことを特徴とする仮想世界生成装置。

【請求項2】

前記装置は、ヘッドマウントディスプレイであり、
前記プログラム命令語は、
前記実空間内に配置された少なくとも２つの追跡装置を介して、前記実空間内で前記ヘッドマウントディスプレイの位置を追跡して前記第１のエッジに対する座標を決定する、ことを特徴とする請求項１に記載の仮想世界生成装置。

【請求項3】

前記プログラム命令語は、
前記実空間での中央で前記ヘッドマウントディスプレイの３次元初期座標が原点に設定され、前記３次元初期座標におけるｙ座標は、ユーザーによって予め設定される、ことを特徴とする請求項２に記載の仮想世界生成装置。

【請求項4】

前記実空間の境界は、前記３次元初期座標を基準に前記実空間の第１のエッジのうち少なくとも一部のｘおよびｚ座標で定義される、ことを特徴とする請求項３に記載の仮想世界生成装置。

【請求項5】

前記予め設定された多角形の各エッジは、ｘ軸およびｙ軸、前記ｘ軸およびｚ軸で分割される象限の１つに配置され、
前記プログラム命令語は、
同一軸または同一象限内で所定角度範囲内に位置する前記複数の第２のエッジそれぞれによって定義される仮想空間の面積を計算し、
前記計算された面積が最も大きい１つの前記第２のエッジを選択する、ことを特徴とする請求項４に記載の仮想世界生成装置。

【請求項6】

前記プログラム命令語は、
ディープラーニングモデルを介して前記実空間で認識された実オブジェクトを詳細に分類し、詳細に分類された実オブジェクトに相応する仮想オブジェクトを出力する、ことを特徴とする請求項１に記載の仮想世界生成装置。

【請求項7】

前記プログラム命令語は、
前記仮想空間に予め設定された仮想シミュレーションに対応する画像を出力する、ことを特徴とする請求項１に記載の仮想世界生成装置。

【請求項8】

プロセッサおよびメモリを含むコンピューティングデバイスで仮想世界を生成する方法であって、
ステレオカメラを備える装置を介して実空間に対する映像の入力を受けるステップと、
前記映像を介して前記実空間および前記実空間内に存在するオブジェクトに対するメッシュデータを収集するステップと、
前記実空間に対するメッシュデータから前記実空間の第１のエッジに対する座標を決定するステップと、
前記実空間に対して予め設定された多角形のエッジよりも前記実空間の第１のエッジが多い場合、所定方向を向く複数の第２のエッジそれぞれによって定義される仮想空間の面積に基づいて前記複数の第２のエッジのうち１つを選択するステップと、
前記第１のエッジのうち一部および前記選択された１つの第２のエッジによって定義される仮想空間および前記実空間で認識された実オブジェクトに相応する仮想オブジェクトを出力するステップと、を含む、ことを特徴とする仮想世界生成方法。

【請求項9】

前記実空間での中央で前記ステレオカメラを備える装置の３次元初期座標が原点に設定され、前記３次元初期座標におけるｙ座標は、ユーザーによって予め設定され、
前記選択するステップは、前記実空間の境界を、前記３次元初期座標を基準に前記実空間の第１のエッジのうち少なくとも一部のｘおよびｚ座標で定義するステップを含む、ことを特徴とする請求項８に記載の仮想世界生成方法。

【請求項10】

請求項８に記載の方法をコンピュータに実行させるコンピュータ読み取り可能な記録媒体に格納された、ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想世界生成方法および装置に係り、より詳細には、実世界に対する映像を入力として容易に仮想世界を生成することができる方法および装置に関する。

【背景技術】

【0002】

近年、メタバースの発展により、仮想／拡張／混合現実への関心が高まり、リモートビデオ会議、面接、新入生オリエンテーション、エンターテイメントなどの数多くの分野でコンテンツが活発に研究されている。
このような傾向に合わせて商業的に活用するために様々な分野でメタバースの導入を試みているが、ソフトウェア開発の参入障壁が高いだけでなく、専門家の不足現象も重なり、導入が難しくなっている。

【0003】

メタバースプラットフォームの一つである「Ｇａｔｈｅｒ．ｔｏｗｎ」は、オンラインにて２Ｄグラフィックで仮想空間とユーザーキャラクターを利用してビデオ会議を行うソフトウェアである。このような２Ｄ形式の仮想空間はビデオ会議とメタバースを融合した形態であり、コンテンツ開発の参入障壁は高くないが、実際に会議を行うのと比べると存在感が非常に低い。

【0004】

一方、３Ｄ形式のメタバースプラットフォームは、ほとんどＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を着用して、両眼で直接空間とオブジェクトを感じて相互作用しながらコンテンツを利用する。このような３Ｄ形式のコンテンツを開発するためには、３Ｄ開発ツールを使用しなければならず、代表的にはＵｎｉｔｙ（登録商標）ソフトウェアとアンリアルエンジンソフトウェアがある。Ｕｎｉｔｙは、３Ｄ仮想現実および建築物の可視化と２Ｄビデオゲームの開発環境を提供するゲームエンジンである。アンリアルエンジンもＵｎｉｔｙと類似しているが、サポート可能なプラットフォームと開発時に要求されるプログラミング言語が異なる。

【0005】

現在、仮想／拡張および混合現実ベースのオーサリング（Ａｕｔｈｏｒｉｎｇ）は、ほとんどがデスクトップで事前にプログラミングする形態で進行されており、開発のためのソフトウェアはほとんど前記のＵｎｉｔｙとアンリアルエンジンを採用している。これを使用するには、ソフトウェアを扱うことができる専門家が必要である。

【先行技術文献】

【特許文献】

【0006】

【文献】大韓民国登録特許１０－２１３４４２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前記の従来技術の問題を解決するために、本発明は、複雑なオーサリングソフトウェアを使用しなくても便利に仮想世界を生成することができる仮想世界生成方法および装置を提案する。

【課題を解決するための手段】

【0008】

前記の目的を達成するために、本発明の一実施形態によれば、仮想世界生成装置であって、プロセッサと、前記プロセッサに連結されるメモリと、を含み、前記メモリは、ステレオカメラを備える装置を介して実空間に対する映像の入力を受け、前記映像を介して前記実空間および前記実空間内に存在するオブジェクトに対するメッシュデータを収集し、前記実空間に対するメッシュデータから前記実空間の第１のエッジに対する座標を決定し、前記実空間に対して予め設定された多角形のエッジよりも前記実空間の第１のエッジが多い場合、所定方向を向く複数の第２のエッジそれぞれによって定義される仮想空間の面積に基づいて前記複数の第２のエッジのうち１つを選択し、前記第１のエッジのうち一部および前記選択された１つの第２のエッジによって定義される仮想空間および前記実空間で認識されたオブジェクトに対する拡張された画像を出力するように、前記プロセッサによって実行されるプログラム命令語を格納した仮想世界生成装置が提供される。

【0009】

前記装置は、ヘッドマウントディスプレイであり、前記プログラム命令語は、前記実空間内に配置された少なくとも２つの追跡装置を介して、前記実空間内で前記ヘッドマウントディスプレイの位置を追跡して前記第１のエッジに対する座標を決定することができる。

【0010】

前記プログラム命令語は、前記実空間での中央で前記ヘッドマウントディスプレイの３次元初期座標が原点に設定され、前記３次元初期座標におけるｙ座標は、ユーザーによって予め設定されることができる。

【0011】

前記実空間の境界は、前記３次元初期座標を基準に前記実空間の第１のエッジのうち少なくとも一部のｘおよびｚ座標で定義されることができる。

【0012】

前記予め設定された多角形の各エッジは、ｘ軸およびｙ軸、前記ｘ軸およびｚ軸で分割される象限の１つに配置され、前記プログラム命令語は、同一軸または同一象限内で所定角度範囲内に位置する前記複数の第２のエッジそれぞれによって定義される仮想空間の面積を計算し、前記計算された面積が最も大きい１つの前記第２のエッジを選択することができる。

【0013】

前記プログラム命令語は、ディープラーニングモデルを介して前記実空間で認識された実オブジェクトを詳細に分類し、詳細に分類された実オブジェクトの拡張された画像を出力することができる。

【0014】

前記プログラム命令語は、前記仮想空間に予め設定された仮想シミュレーションに対応する画像を出力することができる。

【0015】

本発明の他の態様によれば、プロセッサおよびメモリを含むコンピューティングデバイスで仮想世界を生成する方法であって、ステレオカメラを備える装置を介して実空間に対する映像の入力を受けるステップと、前記映像を介して前記実空間および前記実空間内に存在するオブジェクトに対するメッシュデータを収集するステップと、前記実空間に対するメッシュデータから前記実空間の第１のエッジに対する座標を決定するステップと、前記実空間に対して予め設定された多角形のエッジよりも前記実空間の第１のエッジが多い場合、所定方向を向く複数の第２のエッジそれぞれによって定義される仮想空間の面積に基づいて前記複数の第２のエッジのうち１つを選択するステップと、前記第１のエッジのうち一部および前記選択された１つの第２のエッジによって定義される仮想空間および前記実空間で認識された実オブジェクトに相応する仮想オブジェクトを出力するステップと、を含む仮想世界生成方法が提供される。

【0016】

本発明の他の態様によれば、前記の方法を遂行するコンピュータ読み取り可能な記録媒体に格納されたプログラムが提供される。

【発明の効果】

【0017】

本発明によれば、非専門家も容易に仮想空間と仮想オブジェクトをインテリジェントに生成できるという利点がある。

【図面の簡単な説明】

【0018】

【図1】本発明の好ましい一実施形態に係る仮想世界生成システムを図示した図面である。

【図2】本実施形態に係るヘッドマウントディスプレイと仮想世界生成装置の詳細構成を図示した図面である。

【図3】本実施形態に係る実世界とこれを介して具現される仮想世界を図示した図面である。

【図4】本実施形態に係る実空間および実オブジェクトに対するメッシュデータ収集過程を示した図面である。

【図5】実空間を４つのエッジを有する四角形に設定した場合に仮想空間を定義するためのエッジを選択する過程を図示した図面である。

【図6】実空間を４つのエッジを有する四角形に設定した場合に仮想空間を定義するためのエッジを選択する過程を図示した図面である。

【図7】本実施形態に係る仮想空間を決定するための擬似コード（Ｐｓｅｕｄｏｃｏｄｅ）を示したものである。

【図8】五角形、六角形の形態と座標軸を含む象限分割を示したものである。

【図9】本実施形態に係る仮想オブジェクトの生成過程を図示した図面である。

【図10】本実施形態に係る仮想空間における火災状況を簡単に示したものである。

【発明を実施するための形態】

【0019】

本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。しかし、これは本発明を特定の実施形態に限定するためのものではなく、本発明の思想および技術の範囲に含まれるすべての変更、均等物ないし代替物を含むものとして理解されなければならない。

【0020】

本明細書において使用する用語は、単に特定の実施形態を説明するために使用するものであり、本発明を限定する意図のものではない。単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、本明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するためのものであって、１つまたはそれ以上の異なる特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものとして理解されなければならない。

【0021】

また、各図面を参照して説明する実施形態の構成要素は、その実施形態にのみ限定的に適用されるものではなく、本発明の技術的思想が維持される範囲内で他の実施形態に含まれるように具現されることができ、また別途の説明が省略されても複数の実施形態が統合された１つの実施形態に再度具現されることができることも当然である。

【0022】

また、添付図面を参照しての説明において、図面符号に関係なく同じ構成要素は同一または関連する参照符号を付与し、これに対する重複する説明は省略する。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不必要に曖昧にする可能性があると判断される場合には、その詳細な説明は省略する。

【0023】

図１は、本発明の好ましい一実施形態に係る仮想世界生成システムを図示した図面である。
本実施形態に係る仮想世界生成システムは、仮想世界生成装置１００およびヘッドマウントディスプレイ（ＨＭＤ）１０２を含む。
本実施形態に係る仮想世界生成装置１００は、プロセッサおよびメモリを含むことができる。

【0024】

プロセッサは、コンピュータプログラムを実行できるＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）やその他の仮想マシンなどを含むことができる。
メモリは、固定式ハードドライブまたは着脱式記憶装置などの不揮発性記憶装置を含むことができる。着脱式記憶装置は、コンパクトフラッシュ（登録商標）ユニット、ＵＳＢメモリースティックなどを含むことができる。メモリは、各種ランダムアクセスメモリのような揮発性メモリも含むことができる。

【0025】

本実施形態に係るプログラム命令語は、実空間（実世界）に対する映像情報を入力として、実空間に対応する仮想空間と実空間内に配置される実オブジェクトに対する拡張された画像（ａｕｇｍｅｎｔｅｄ ｉｍａｇｅ，仮想オブジェクト）を生成する。

【0026】

図２は、本実施形態に係るヘッドマウントディスプレイと仮想世界生成装置の詳細構成を図示した図面である。
図２に図示したように、本実施形態に係るヘッドマウントディスプレイ１０２は、ステレオカメラ（Ｄｕａｌ Ｃａｍｅｒａ）２００を含み、これにより実空間に対する映像を撮影する。
図２に図示したように、本実施形態に係る仮想世界生成装置１００は、パススルーモジュール（Ｐａｓｓ－Ｔｈｒｏｕｇｈ、２１０）、デプスモジュール（Ｄｅｐｔｈ、２１２）、メッシュデータ（Ｍｅｓｈ Ｄａｔａ）収集モジュール、３次元再構成モジュール（３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ、２１４）およびＡＩビジョンモジュール（ＡＩ ｖｉｓｉｏｎ、２１６）を含むことができる。

【0027】

ステレオカメラデータを利用してパススルーモジュール２１０が活性化されると、ヘッドマウントディスプレイ１０２を着用した状態で実世界を見ることができ、さらに材質や質感効果を知ることもできる。

【0028】

デプスモジュール２１２は、実空間および実空間に配置される実オブジェクトに対する深度を推定する。
本実施形態では、互いに離隔されたステレオカメラ２００間の視点不一致を利用して深度を推定する。

【0029】

メッシュデータ収集モジュールは、深度情報を利用して実空間および実空間内に配置された実オブジェクトのメッシュデータを収集する。
収集されたメッシュデータは、仮想空間生成モジュール（Ｃｒｅａｔｅ Ｖｉｒｔｕａｌ Ｓｐａｃｅ）２３０に入力される。
仮想空間生成モジュール２３０は、メッシュデータを選択し、予め設定されたアルゴリズムを介して仮想空間を生成する。

【0030】

図３は、本実施形態に係る実世界とこれを介して具現される仮想世界を図示した図面である。
図３に図示したように、実空間にはヘッドマウントディスプレイ１０２の位置を追跡することができる装置３００が配置され、これにより実空間内でヘッドマウントディスプレイ１０２の位置を把握することができる。
本実施形態に係るヘッドマウントディスプレイ１０２は、専門家用ＶＲのためのＶＩＶＥ ＰＲＯであることができ、位置追跡装置は、ＶＩＶＥ ＰＲＯと連動するベースステーションであることができるが、必ずしもこれに限定されるものではない。

【0031】

本実施形態に係る位置追跡装置３００は、実空間内に少なくとも２つ設けられることができ、垂直および水平で所定角度（例えば、垂直１１０度／水平１５０度）の認識範囲を有することができ、互いに所定距離以内に設けられることができる。

【0032】

仮想空間生成モジュール２３０は、収集されたメッシュデータおよび位置追跡装置３００を介してヘッドマウントディスプレイ１０２の現在位置を介して仮想空間を生成する。

【0033】

図４は、本実施形態に係る実空間および実オブジェクトに対するメッシュデータ収集過程を示した図面である。
図４に図示したように、実空間の壁と床がメッシュデータ形式で構築される。
ここで、メッシュデータは、一定間隔で配置されたデータの数列および他の要素を有する非構造化グリッドを意味し、メッシュデータを構成する図形は、三角形、四角形、六角形などを多様に含むことができる。

【0034】

本実施形態によれば、仮想化する場所の形態に応じて、ユーザーが実空間の中央からスタートして実空間のエッジ（ｅｄｇｅ）部分（実空間の境界を決定できる部分）を見ながらメッシュデータを収集する。

【0035】

初期に、実空間の中間位置（中央）にヘッドマウントディスプレイ１０２を位置させ、このとき、ヘッドマウントディスプレイ１０２の３次元座標ｘ、ｙ、ｚ＝（０、ｙ、０）に設定する。
ここで、ｙは、ユーザーの立っている位置において地面からの高さであって、予め設定されることができ、ヘッドマウントディスプレイ１０２が動いても変わらないように設定される。

【0036】

本実施形態によれば、実空間を所定数のエッジ（ｅｄｇｅ）を有する多角形（四角形、五角形、六角形など）であると予め設定して仮想空間を生成する。

【0037】

仮想世界生成モジュール２３０は、前述したように収集された実空間に対するメッシュデータから実空間のエッジに対する座標を決定する。

【0038】

前述したように、ヘッドマウントディスプレイ１０２は、初期に実空間の中央に位置して実空間周辺に対する映像を撮影し、実空間に対するメッシュデータを収集する場合、実空間の境界を定義することができるエッジ（第１のエッジ）の座標を決定することができる。

【0039】

実空間がユーザーの設定した多角形にマッチングされる場合には特に問題がないが、図５のように不規則な形状を有する場合には仮想空間を定義するためのエッジを選択しなければならない。

【0040】

図５～図６は、実空間を４つのエッジを有する四角形に設定した場合に仮想空間を定義するためのエッジを選択する過程を図示した図面である。
図５～図６を参照すると、ｘ軸とｚ軸を決定するステップにおいてアルゴリズムは４つのエッジを４つの象限でそれぞれ探索して最大値を求め、これを仮想空間の境界として決定する。

【0041】

各象限のエッジの初期値は原点に設定されており、左上の第２象限を除く第１、３、４象限は四角形の形態で位置を決定することに難しさがない。
空間を探索して求めた全体のメッシュデータのうち、１つのメッシュデータは３つのＶｅｃｔｏｒ３座標をつなぐ形の三角形形状であることを考慮すると、探索されたＶｅｃｔｏｒ３のｘとｚ座標の両方とも、既存の探索したエッジの値よりも大きい場合には、これを空間の最大値と見做して優先的に更新する。
もしｘとｚ座標のうち一つでも大きくない場合、または両方とも大きくない場合には、ベクトル値を比較してエッジを決定する。

【0042】

図５～図６のベクトル（１）とベクトル（２）の頂点部分は、第２象限の探索中にｘ座標とｚ座標の両方とも大きいという条件を満たさない可能性があるが空間のエッジに分類され得る場合である。

【0043】

もしベクトル（１）のエッジで仮想空間を生成すると、図６（ａ）のような四角形形態の仮想空間が生成され、ベクトル（２）のエッジで仮想空間を生成すると、図６（ｂ）のような面積の仮想空間が生成される。

【0044】

ユーザーが設定した四角形形態の仮想空間生成において最大限適切な面積の仮想空間を生成するためには、ベクトル値がより大きい図６（ａ）形状のように生成されなければならない。

【0045】

図７は、前記過程に関する擬似コード（Ｐｓｅｕｄｏｃｏｄｅ）を示したものである。
再度説明すると、図５～図６のように、実空間に対して予め設定された多角形のエッジよりも前記実空間の第１のエッジが多い場合、本実施形態に係る仮想世界生成装置１００は、所定方向を向く複数の第２のエッジ（ベクトル（１）、ベクトル（２））それぞれによって定義される仮想空間の面積に基づいて、前記複数の第２のエッジのうち１つを選択する。

【0046】

四角形の場合、４つのエッジが第１～第４象限上にそれぞれ位置する。
前述したように、ｘ、ｙ、ｚ座標のうちｙは固定されるので、象限はｘおよびｚ軸に定義されることができる。

【0047】

図５のように第２象限に２つのエッジが存在する場合、２つのエッジのうち１つを選択しなければならない。
前述したように、仮想世界生成装置１００は、ベクトル（１）のエッジとベクトル（２）のエッジのそれぞれによって定義される仮想空間の面積を計算し、面積の大きさがより大きいベクトル（１）のエッジを選択して四角形の仮想空間を生成する。

【0048】

図８は、五角形、六角形の形態と座標軸を含む象限分割を示したものである。
図８（ａ）～図８（ｂ）を参照すると、五角形と六角形の形態において、エッジは象限だけでなく軸方向にも配置されるため、仮想世界生成装置１００は、同一軸または同一象限内で所定角度範囲内に位置する複数のエッジそれぞれによって定義される仮想空間の面積を計算し、計算された面積が最も大きい１つのエッジを選択して仮想空間を生成する。

【0049】

再度図２を参照すると、メッシュデータの収集が完了すると、３次元再構成モジュール２１４は、メッシュデータと色相、質感、物理的衝突および平面感知などの作業を遂行して３次元画像を再構成する。このとき、３次元画像は拡張者がＯＢＪのファイルで格納されることができる。

【0050】

また、本実施形態によれば、ＡＩビジョンモジュール２１６は、３次元再構成モジュール２１４で再構成された３次元画像を利用して実空間内に配置された実オブジェクト（例えば、机、椅子など）に対する学習を遂行する。
前述したように、再構成された３次元画像に対してデフォルトタグが付与される。

【0051】

本実施形態によれば、ディープラーニング基盤でオブジェクトに対する詳細分類過程が遂行されることができ、これによりタグが変更されることができる。
オブジェクトの詳細分類のために、本実施形態による仮想世界生成装置１００は、仮想オブジェクト生成モジュール（Ｃｒｅａｔｅ Ｏｂｊｅｃｔ）２４０を含む。

【0052】

仮想オブジェクト生成モジュール２４０は、メッシュデータ基盤でディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技法を適用して特定の実オブジェクトを認識して仮想オブジェクトを生成する。

【0053】

既存のＶＩＶＥ ＰＲＯのＳＲＷｏｒｋｓが提供するオブジェクト認識の場合は、３次元再構成モジュール２１４およびＡＩビジョンモジュール２１６のデータ交流を通じて特定の実オブジェクトを認識し、各実オブジェクトに対するメッシュデータを分離して提供する。

【0054】

例えば、背もたれのある椅子と背もたれのない椅子の２つの異なる椅子をＶＩＶＥ ＰＲＯ ＳＲＷｏｒｋｓを使用してスキャンすると、２つの椅子を一度にスキャンした１つのメッシュデータの塊を収集する。これを前述したＳＲＷｏｒｋｓの機能で分析すると、一つの塊であった椅子のメッシュデータを各椅子のメッシュデータに分けると同時に「Ｃｈａｉｒ」というタグ（Ｔａｇ）を入力して分離させる。このとき、既存のメッシュデータの塊は消滅するのではなく、タグ付きの椅子のメッシュデータ２つが複製されて新たに生成される方式である。

【0055】

これは他の実オブジェクトは分類することができるが、図９（ａ）のような同じ種類の実オブジェクト（例えば、背もたれのある椅子とない椅子）を分類することはできない。

【0056】

そこで、本実施形態においては、図９（ｂ）のように認識された実オブジェクトに対するディープラーニングを介して画像分類作業を通じてデフォルトタグを詳細に分類されたタグに変更する。

【0057】

すなわち、本実施形態に係る仮想オブジェクト生成モジュール２４０は、ディープラーニングモデルを介して前記実空間で認識されたオブジェクトを詳細に分類し、詳細に分類されたオブジェクトの拡張された画像を出力する。
前述したように、仮想空間および仮想オブジェクトを生成すれば、現実ではできない各種の訓練および災害状況を演出することができる。

【0058】

図１０は、本実施形態に係る仮想空間における火災状況を簡単に示したものである。
図１０を参照すると、仮想空間に火災状況のような仮想シミュレーションに対応する画像を表現することによって、消火器または非常口の位置を探す訓練を仮想で遂行することもできる。

【0059】

前述した本発明の実施形態は例示の目的のために開示されたものであり、本発明に対する通常の知識を有する当業者であれば、本発明の思想と範囲内で様々な修正、変更、付加が可能であり、このような修正、変更および付加は下記の特許請求の範囲に属するものとみなすべきである。

【符号の説明】

【0060】

１００ 仮想世界生成装置
１０２ ヘッドマウントディスプレイ
２００ ステレオカメラ
２１０ パススルーモジュール
２１２ デプスモジュール
２１４ ３次元再構成モジュール
２１６ ＡＩビジョンモジュール
２３０ 仮想空間生成モジュール
２４０ 仮想オブジェクト生成モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】