(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-30
(54)【発明の名称】メタバース空間ストリーミングシステム及び方法
(51)【国際特許分類】
H04N 21/262 20110101AFI20240123BHJP
H04N 21/238 20110101ALI20240123BHJP
H04L 67/131 20220101ALI20240123BHJP
H04L 67/02 20220101ALI20240123BHJP
G06F 9/50 20060101ALI20240123BHJP
G06F 9/46 20060101ALI20240123BHJP
【FI】
H04N21/262
H04N21/238
H04L67/131
H04L67/02
G06F9/50 120A
G06F9/46 420B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023536892
(86)(22)【出願日】2021-11-24
(85)【翻訳文提出日】2023-06-30
(86)【国際出願番号】 KR2021017374
(87)【国際公開番号】W WO2022131602
(87)【国際公開日】2022-06-23
(31)【優先権主張番号】10-2020-0177290
(32)【優先日】2020-12-17
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】523061928
【氏名又は名称】カラーバース インク.
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ジン,セヒョン
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA22
5C164SA23S
5C164SB21P
5C164SC05S
5C164SC22P
(57)【要約】
本発明はメタバース空間ストリーミングシステム及び方法に関するものであり、メタバース空間情報及び複数のメタバース駆動サーバーについての情報を対応させて保存するメタバース空間情報保存部、使用者端末機からメタバース接続要請を受信し、前記複数のメタバース駆動サーバーのうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバーを選択するメタバース駆動サーバー管理部、及び前記選択されたメタバース駆動サーバーが前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御するメタバース駆動サーバー制御部を含むメタバース空間ストリーミングシステム及びそのメタバース空間ストリーミング方法を提示する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
メタバース空間情報及び複数のメタバース駆動サーバーについての情報を対応させて保存するメタバース空間情報保存部と、
使用者端末機からメタバース接続要請を受信し、前記複数のメタバース駆動サーバーのうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバーを選択するメタバース駆動サーバー管理部と、
前記選択されたメタバース駆動サーバーが前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御するメタバース駆動サーバー制御部と、
を含む、メタバース空間ストリーミングシステム。
【請求項2】
メタバース駆動サーバーとして動作することができる複数の候補サーバーについての情報を保存するサーバープール管理部をさらに含み、
前記メタバース駆動サーバー管理部は、前記メタバース接続要請に対応するメタバース駆動サーバーが存在しない場合、前記サーバープール管理部から選択された候補サーバーについての情報を受信し、前記選択された候補サーバーを駆動させることを特徴とする、請求項1に記載のメタバース空間ストリーミングシステム。
【請求項3】
前記メタバース駆動サーバー管理部は、前記選択された候補サーバーに前記メタバース接続要請に対応するメタバース空間情報を伝達し、
前記選択された候補サーバーは、前記伝達されたメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをローディングすることを特徴とする、請求項2に記載のメタバース空間ストリーミングシステム。
【請求項4】
メタバース空間情報保存部は、前記選択された候補サーバーについての情報を前記メタバース接続要請に対応するメタバース空間情報に対応させて保存することを特徴とする、請求項3に記載のメタバース空間ストリーミングシステム。
【請求項5】
前記サーバープール管理部は、前記複数のメタバース駆動サーバーのうち所定の条件を満たすメタバース駆動サーバーを選択して候補サーバーに転換させ、前記転換された候補サーバーについての情報を保存し、
前記メタバース空間情報保存部は、前記候補サーバーに転換されたメタバース駆動サーバーについての情報を除去することを特徴とする、請求項4に記載のメタバース空間ストリーミングシステム。
【請求項6】
前記サーバープール管理部は、前記複数のメタバース駆動サーバーでメタバース空間映像をストリーミングする使用者端末機の個数についての情報を確認し、ストリーミングする使用者端末機の個数が0になってから所定の時間が経過したサーバーを候補サーバーに転換させることを特徴とする、請求項5に記載のメタバース空間ストリーミングシステム。
【請求項7】
前記メタバース駆動サーバーは、対応するメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをメモリに維持し、前記メタバース駆動サーバー制御部の制御命令に応答して、前記メタバース空間で前記使用者端末機別に決まった時点及び視線情報に基づいて映像をレンダリングして前記使用者端末機にストリーミングすることを特徴とする、請求項1に記載のメタバース空間ストリーミングシステム。
【請求項8】
前記メタバース駆動サーバーは、前記使用者端末機から制御命令を受信し、前記受信した制御命令に基づいて、前記メタバース空間、前記メタバース空間のリソース、前記使用者端末機に対応する時点及び視線のうちのいずれか一つを制御し、制御結果として変更されたメタバース空間映像を前記使用者端末機にストリーミングすることを特徴とする、請求項7に記載のメタバース空間ストリーミングシステム。
【請求項9】
中央処理装置及びメモリを備えるメタバース空間ストリーミングシステムのメタバース空間ストリーミング方法であって、
メタバース空間情報及び複数のメタバース駆動サーバーについての情報を対応させて保存するメタバース空間情報保存段階と、
使用者端末機からメタバース接続要請を受信し、前記複数のメタバース駆動サーバーのうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバーを選択するメタバース駆動サーバー管理段階と、
前記選択されたメタバース駆動サーバーが前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御するメタバース駆動サーバー制御段階と、
を含む、メタバース空間ストリーミング方法。
【請求項10】
メタバース駆動サーバーとして動作することができる複数の候補サーバーについての情報を保存するサーバープール管理段階をさらに含み、
前記メタバース駆動サーバー管理段階は、前記メタバース接続要請に対応するメタバース駆動サーバーが存在しない場合、前記サーバープール管理部から選択された候補サーバーについての情報を受信し、前記選択された候補サーバーを駆動させることを特徴とする、請求項1に記載のメタバース空間ストリーミング方法。
【請求項11】
前記メタバース駆動サーバー管理段階は、前記選択された候補サーバーに前記メタバース接続要請に対応するメタバース空間情報を伝達し、
前記選択された候補サーバーは、前記伝達されたメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをローディングすることを特徴とする、請求項10に記載のメタバース空間ストリーミング方法。
【請求項12】
メタバース空間情報保存段階は、前記選択された候補サーバーについての情報を前記メタバース接続要請に対応するメタバース空間情報に対応させて保存することを特徴とする、請求項11に記載のメタバース空間ストリーミング方法。
【請求項13】
前記サーバープール管理段階は、前記複数のメタバース駆動サーバーのうち所定の条件を満たすメタバース駆動サーバーを選択して候補サーバーに転換させ、前記転換された候補サーバーについての情報を保存し、
前記メタバース空間情報保存段階は、前記候補サーバーに転換されたメタバース駆動サーバーについての情報を除去することを特徴とする、請求項12に記載のメタバース空間ストリーミング方法。
【請求項14】
前記サーバープール管理段階は、前記複数のメタバース駆動サーバーでメタバース空間映像をストリーミングする使用者端末機の個数についての情報を確認し、ストリーミングする使用者端末機の個数が0になってから所定の時間が経過したサーバーを候補サーバーに転換させることを特徴とする、請求項13に記載のメタバース空間ストリーミング方法。
【請求項15】
前記メタバース駆動サーバーで、対応するメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをメモリに維持し、前記メタバース駆動サーバー制御部の制御命令に応答して、前記メタバース空間で前記使用者端末機別に決まった時点及び視線情報に基づいて映像をレンダリングして前記使用者端末機にストリーミングするメタバース駆動サーバー動作段階をさらに含むことを特徴とする、請求項9に記載のメタバース空間ストリーミング方法。
【請求項16】
前記メタバース駆動サーバー動作段階は、前記使用者端末機から制御命令を受信し、前記受信した制御命令に基づいて、前記メタバース空間、前記メタバース空間のリソース、前記使用者端末機に対応する時点及び視線のうちのいずれか一つを制御し、制御結果として変更されたメタバース空間映像を前記使用者端末機にストリーミングすることを特徴とする、請求項15に記載のメタバース空間ストリーミング方法。
【請求項17】
請求項9~16のいずれか一項に記載の方法をコンピュータが実行するように機能させるためのプログラムが記録された、コンピュータ可読の記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はメタバースストリーミングシステム及び方法に関するものであり、メタバースを構成する仮想空間の3次元画面をストリーミングを介して提供することで、端末機の負荷及びローディング時間を最小化するシステム及び方法に関するものである。
【背景技術】
【0002】
メタバースは仮想・超越(meta)と世界・宇宙(universe)との合成語であり、3次元仮想世界を意味する。より具体的には、政治・経済・社会・文化の全般的な側面で現実及び非現実の両方で共存することができる生活型・ゲーム型仮想世界という意味として幅広く使用されている。3次元グラフィック技術が発達するのに伴い、このようなメタバースを使用者端末機に提供することで、使用者が端末機を介して当該仮想空間に存在するような感じを受けることができるようにする技術が開発されている。
【0003】
従来技術である韓国登録特許第10-1923723号の「使用者の間の相互作用が可能なメタバース空間を提供するためのメタバースクライアント端末及び方法」はこのようなメタバース環境で使用者の間の相互作用が可能になるようにする技術であり、サーバーでメタバース空間についての情報を統合管理し、端末機でこの情報を用いて3次元画面を駆動して表示することで、複数の使用者がメタバース環境で相互作用することができるようにしたものである。
【0004】
ところが、このように使用者のそれぞれの端末機でサーバーのメタバース空間情報を用いてそれぞれ3次元メタバース空間とその空間に配置される多様なキャラクターまたはアイテムをローディングするのに多大な時間及びコンピュータ資源がかかる。特に、モバイルサービスが中心を成す最近の環境でメタバース接続のためにモバイル機器の多くのコンピュータ資源を使用し、ローディング時間を待機しなければならないことは使用者に大きな不便さを与えることになる。
【0005】
したがって、端末機の負荷を最小化し、ローディング時間を最小化することで、モバイル環境でも早くメタバースに接続することができるようにする技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、メタバース空間を予めサーバーでローディングしておき、ストリーミングを介してサービスすることで、別途のローディング時間なしに3次元メタバースをサービス(提供)することができるようにすることを目的とする。
【0007】
本発明は、メタバース空間別にメタバース駆動サーバーを割り当て、それぞれのメタバース空間別にサーバーでリソースをローディングすることで、端末機の負荷なしに3次元メタバース空間を用いることができるようにすることを目的とする。
【0008】
本発明は、メタバース空間別にメタバース駆動サーバーを割り当て、メタバース空間に使用者が接続している場合にのみサーバーが動作するようにすることで、サーバーの効率を極大化することができるようにすることを目的とする。
【0009】
本発明は、動画ストリーミングを用いてメタバースサービスを提供することで、別途の端末機アプリケーションなしにもメタバースサービスを用いることができるようにすることを目的とする。
【0010】
本発明は、HTMLを用いてメタバース空間映像をストリーミングすることで、ウェブブラウザーさえあればどの端末機でも別途のローディング時間なしに3次元メタバースサービスを用いることができるようにすることを目的とする。
【0011】
本発明は、メタバース空間で使用者のボタン入力、スワイプ、拡大縮小などの動作によってメタバース空間を変形し、その結果をストリーミングで使用者端末機に伝送することで、別途のアプリケーションなしにもインタラクティブな3次元メタバースサービスを提供することができるようにすることを目的とする。
【課題を解決するための手段】
【0012】
このような目的を達成するために、本発明の一実施例によるメタバース空間ストリーミングシステムは、メタバース空間情報及び複数のメタバース駆動サーバーについての情報を対応させて保存するメタバース空間情報保存部と、使用者端末機からメタバース接続要請を受信し、前記複数のメタバース駆動サーバーのうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバーを選択するメタバース駆動サーバー管理部と、前記選択されたメタバース駆動サーバーが前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御するメタバース駆動サーバー制御部とを含んでなることができる。
【0013】
ここで、メタバース駆動サーバーとして動作することができる複数の候補サーバーについての情報を保存するサーバープール管理部をさらに含み、前記メタバース駆動サーバー管理部は、前記メタバース接続要請に対応するメタバース駆動サーバーが存在しない場合、前記サーバープール管理部から選択された候補サーバーについての情報を受信し、前記選択された候補サーバーを駆動させることができる。
【0014】
また、前記メタバース駆動サーバー管理部は、前記選択された候補サーバーに前記メタバース接続要請に対応するメタバース空間情報を伝達し、前記選択された候補サーバーは、前記伝達されたメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをローディングすることができる。
【0015】
また、メタバース空間情報保存部は、前記選択された候補サーバーについての情報を前記メタバース接続要請に対応するメタバース空間情報に対応させて保存することができる。
【0016】
また、前記サーバープール管理部は、前記複数のメタバース駆動サーバーのうち所定の条件を満たすメタバース駆動サーバーを選択して候補サーバーに転換させ、前記転換された候補サーバーについての情報を保存し、前記メタバース空間情報保存部は、前記候補サーバーに転換されたメタバース駆動サーバーについての情報を除去することができる。
【0017】
また、前記サーバープール管理部は、前記複数のメタバース駆動サーバーでメタバース空間映像をストリーミングする使用者端末機の個数についての情報を確認し、ストリーミングする使用者端末機の個数が0になってから所定の時間が経過したサーバーを候補サーバーに転換させることができる。
【0018】
また、前記メタバース駆動サーバーは、対応するメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをメモリに維持し、前記メタバース駆動サーバー制御部の制御命令に応答して、前記メタバース空間で前記使用者端末機別に決まった時点及び視線情報に基づいて映像をレンダリングして前記使用者端末機にストリーミングすることができる。
【0019】
また、前記メタバース駆動サーバーは、前記使用者端末機から制御命令を受信し、前記受信した制御命令に基づいて、前記メタバース空間、前記メタバース空間のリソース、前記使用者端末機に対応する時点及び視線のうちのいずれか一つを制御し、制御結果として変更されたメタバース空間映像を前記使用者端末機にストリーミングすることができる。
【発明の効果】
【0020】
本発明は、メタバース空間を予めサーバーでローディングしておき、ストリーミングを介してサービスすることで、別途のローディング時間なしに3次元メタバースをサービスすることができるようにする効果を得ることができる。
【0021】
本発明は、メタバース空間別にメタバース駆動サーバーを割り当て、それぞれのメタバース空間別にサーバーでリソースをローディングするようにすることで、端末機の負荷なしに3次元メタバース空間を用いることができるようにする効果を得ることができる。
【0022】
本発明は、メタバース空間別にメタバース駆動サーバーを割り当て、メタバース空間に使用者が接続している場合にのみサーバーが動作するようにすることで、サーバーの効率を極大化することができるようにする効果を得ることができる。
【0023】
本発明は、動画ストリーミングを用いてメタバースサービスを提供することで、別途の端末機アプリケーションなしにもメタバースサービスを用いることができるようにする効果を得ることができる。
【0024】
本発明は、HTMLを用いてメタバース空間映像をストリーミングするようにすることで、ウェブブラウザーさえあればどの端末機でも別途のローディング時間なしに3次元メタバースサービスを用いることができるようにする効果を得ることができる。
【0025】
本発明は、メタバース空間で使用者のボタン入力、スワイプ、拡大縮小などの動作によってメタバース空間を変形し、その結果をストリーミングで使用者端末機に伝送することで、別途のアプリケーションなしにもインタラクティブな3次元メタバースサービスを提供することができる効果を得ることができる。
【図面の簡単な説明】
【0026】
【
図1】従来技術による3次元メタバースサービスの構成を示す構成図である。
【
図2】本発明の一実施例によるメタバース空間ストリーミングシステムの全体構成を示す構成図である。
【
図3】本発明の一実施例によるメタバース空間ストリーミングシステムの内部構成を示す構成図である。
【
図4】本発明の一実施例によるメタバース空間ストリーミングシステムでメタバース駆動サーバーを管理する例を示す図である。
【
図5】本発明の一実施例によるメタバース空間ストリーミングシステムで使用しないメタバース駆動サーバーを処理する例を示す図である。
【
図6】本発明の一実施例によるメタバース空間ストリーミング方法の流れを示すフローチャートである。
【発明を実施するための形態】
【0027】
このような目的を達成するために、本発明の一実施例によるメタバース空間ストリーミングシステムは、メタバース空間情報及び複数のメタバース駆動サーバーについての情報を対応させて保存するメタバース空間情報保存部と、使用者端末機からメタバース接続要請を受信し、前記複数のメタバース駆動サーバーのうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバーを選択するメタバース駆動サーバー管理部と、前記選択されたメタバース駆動サーバーが前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御するメタバース駆動サーバー制御部とを含んでなることができる。
【0028】
ここで、メタバース駆動サーバーとして動作することができる複数の候補サーバーについての情報を保存するサーバープール管理部をさらに含み、前記メタバース駆動サーバー管理部は、前記メタバース接続要請に対応するメタバース駆動サーバーが存在しない場合、前記サーバープール管理部から選択された候補サーバーについての情報を受信し、前記選択された候補サーバーを駆動させることができる。
【0029】
また、前記メタバース駆動サーバー管理部は、前記選択された候補サーバーに前記メタバース接続要請に対応するメタバース空間情報を伝達し、前記選択された候補サーバーは、前記伝達されたメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをローディングすることができる。
【0030】
また、メタバース空間情報保存部は、前記選択された候補サーバーについての情報を前記メタバース接続要請に対応するメタバース空間情報に対応させて保存することができる。
【0031】
また、前記サーバープール管理部は、前記複数のメタバース駆動サーバーのうち所定の条件を満たすメタバース駆動サーバーを選択して候補サーバーに転換させ、前記転換された候補サーバーについての情報を保存し、前記メタバース空間情報保存部は、前記候補サーバーに転換されたメタバース駆動サーバーについての情報を除去することができる。
【0032】
また、前記サーバープール管理部は、前記複数のメタバース駆動サーバーでメタバース空間映像をストリーミングする使用者端末機の個数についての情報を確認し、ストリーミングする使用者端末機の個数が0になってから所定の時間が経過したサーバーを候補サーバーに転換させることができる。
【0033】
また、前記メタバース駆動サーバーは、対応するメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをメモリに維持し、前記メタバース駆動サーバー制御部の制御命令に応答して、前記メタバース空間で前記使用者端末機別に決まった時点及び視線情報に基づいて映像をレンダリングして前記使用者端末機にストリーミングすることができる。
【0034】
また、前記メタバース駆動サーバーは、前記使用者端末機から制御命令を受信し、前記受信した制御命令に基づいて、前記メタバース空間、前記メタバース空間のリソース、前記使用者端末機に対応する時点及び視線のうちのいずれか一つを制御し、制御結果として変更されたメタバース空間映像を前記使用者端末機にストリーミングすることができる。
【0035】
発明の実施のための形態
以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。本発明の説明において、関連する公知の構成又は機能についての具体的な説明が本発明の要旨をあいまいにする可能性があると判断される場合にはその詳細な説明は省略する。また、本発明の実施例の説明において具体的な数値は実施例に過ぎなく、これによって発明の範囲が限定されない。
【0036】
本発明によるメタバース空間ストリーミングシステムは、中央処理装置(CPU)及びメモリ(Memory、記憶装置)を備え、インターネットなどの通信網を介して他の端末機と連結可能なサーバーの形態を有するように構成されることができる。しかし、本発明が中央処理装置及びメモリなどの構成によって限定されない。メタバース空間ストリーミングはメタバース管理サーバー及び複数のメタバース駆動サーバーが互いに連結された形態に構成されることができ、それぞれのサーバーは物理的に分離されたサーバーであってもよく、クラウド環境などで仮想に分離されたサーバーであってもよい。このような構成の形態によって本発明が制限されない。
【0037】
図1は従来技術による3次元メタバースサービスの構成を示す構成図である。
従来の3次元メタバースサービスの場合、メタバースについての情報と3次元キャラクター、リソースなどの情報を保存してメタバースサービスを提供するメタバースサービスサーバー110に使用者端末機120が接続してメタバースサービスを用いるように構成されていた。
【0038】
3次元メタバースサービスを提供するためには、3次元モデルデータ(リソース)をメモリにローディングし、3次元空間内での時点及び視線情報に基づいて視野範囲内の3次元モデルをレンダリングして2次元画面上に表示する方式でシステムが駆動される。
【0039】
このように、リソースローディング及び3次元レンダリングは使用者端末機120で動作した。このために、使用者端末機120はメタバースサービスサーバー110にサービスを要請し、それに応じてメタバースサービス関連情報及びリソースを受信し、使用者端末機120でリソースをローディングした後、3次元レンダリング過程によってメタバース空間を使用者端末機の画面に表示することができた。
【0040】
しかし、このような方式は、リソースをローディングして3次元レンダリングを実行する過程が使用者端末機で起こるので、端末機の演算資源を多く消耗し、端末機で3次元グラフィックを処理するためのグラフィック処理ユニット(GPU)などを備えていない場合にはメタバースサービスを正常に用いることができない問題があった。
【0041】
特に、同じメタバース空間に多くの使用者が接続する場合にも同じ空間に対するリソースをそれぞれの使用者端末機でローディングしてレンダリングする過程を重複して行わなければないので、無駄なコンピュータ資源の浪費をもたらした。
【0042】
図2は本発明の一実施例によるメタバース空間ストリーミングシステムの全体構成を示す構成図である。
同図に示すように、本発明のメタバース空間ストリーミングシステム201は、メタバース設定サーバー210及びメタバース駆動サーバー220を含んでなることができる。
【0043】
従来技術では、メタバースサービスサーバー110からメタバース情報及びリソースを使用者端末機120に伝達し、使用者端末機でこれに対する3次元グラフィック処理過程を実行したこととは違い、本発明では、使用者端末機202からサービス要請をメタバース設定サーバー210に送れば、メタバース設定サーバー210はサービス要請を分析し、どのメタバース空間に対するサービス要請であるかを確認し、複数のメタバース駆動サーバー220のうちどのメタバース駆動サーバーが当該メタバース空間に対応するかを確認する。
【0044】
メタバース設定サーバー210で当該メタバース空間をサービスするメタバース駆動サーバー220を確認すると、当該メタバース駆動サーバー220に制御命令を伝送し、サービス要請を送った使用者端末機202に当該メタバース空間に対する映像をストリーミングして伝送するようにする。
【0045】
使用者端末機202では、HTML5などを用いて、伝送される動画を端末機のウェブブラウザーなどを介して再生することで、実時間で3次元メタバース空間に対する映像を確認することができる。よって、使用者端末機202では、リソースをローディングするかまたは3Dレンダリングを処理する過程が必要なく、ストリーミングされる動画の再生のみ可能であれば十分であるので、端末機の機種や種類にかかわらず、3次元メタバースサービスを用いることができるようになる。
【0046】
このために、メタバース駆動サーバー220は、割り当てられたメタバース空間についての空間情報及び空間に位置するリソースをローディングし、これを使用者端末機202別に設定される時点及び視線情報を用いてレンダリングすることで、使用者端末機202別にストリーミング映像を生成しなければならない。したがって、メタバース駆動サーバー220は、3Dリソースをローディングしてレンダリングした後、映像として生成することができるグラフィック処理ユニット(GPU)を充分に保有する必要がある。
【0047】
メタバース駆動サーバー220はメタバース空間別に一つずつ割り当てられることが好ましいが、メタバース空間別に接続中の使用者がない場合はサーバーを維持する必要がないので、状況を考慮して候補サーバーを置き、最初にメタバース空間に接続する使用者が現れたとき、候補サーバーのうちの一つを当該メタバース空間に割り当てて駆動させるようにすることができる。このように、最初にメタバース空間に接続する使用者の場合は駆動及びローディングのための時間が多少かかることがあるが、一旦メタバース空間に対してサーバーが割り当てられ、ローディングが終わると、当該空間に接続する使用者は接続と同時に別途のローディング時間なしに実時間でメタバース空間に対する映像を確認することができるようになる。
【0048】
図3は本発明の一実施例によるメタバース空間ストリーミングシステムの内部構成を示す構成図である。
同図に示すように、本発明の一実施例によるメタバース空間ストリーミングシステム201は、メタバース設定サーバー210、メタバース駆動サーバー220、及び候補サーバー230を含んでなることができる。メタバース設定サーバー210は、メタバース空間情報保存部310、メタバース駆動サーバー管理部320、メタバース駆動サーバー制御部330、及びサーバープール管理部340を含んでなることができる。それぞれの構成要素は物理的に同じコンピュータシステム内で動作するソフトウェアモジュールであることができ、物理的に2個以上に分離されたコンピュータシステムが互いに連動して動作することができるように構成された形態であることができる。同じ機能を含む多様な実施形態が本発明の権利範囲に属する。
【0049】
メタバース空間情報保存部310は、メタバース空間情報及び複数のメタバース駆動サーバー220についての情報を対応させて保存する。メタバースサービスにおいて、メタバースは仮想の空間を意味し、仮想の空間は複数の空間に区分されて存在することができる。例えば、使用者別に自分の家のような空間を割り当て、空間を飾り、使用者が他の使用者の空間に訪問することができるようにするメタバースサービスがあるとすると、使用者のそれぞれが作る仮想の空間のそれぞれが一つのメタバース空間になる。
【0050】
メタバース空間は、3次元仮想空間上で空間の範囲形態などが設定され、その範囲内に使用者が獲得したアイテム、装飾物などの3次元リソースが配置され、使用者の3次元キャラクターが配置されることで構成できる。このように、仮想の空間が準備されると、使用者の時点及び視線についての情報を用いて、使用者の時点にカメラが位置し、視線方向にカメラを撮影するように、仮想の3次元空間をレンダリングして2次元映像を生成するようになる。
【0051】
このように生成された2次元映像を使用者端末機で確認すると、実際に使用者が当該メタバース空間、すなわち仮想の3次元空間内で空間を見回すことと同じ効果を得ることができる。
【0052】
したがって、メタバース空間情報保存部310は基本的にメタバース空間についての情報を保存する。ここで、前述したように、メタバース空間についての情報はメタバース空間の形態、大きさ、構成についての情報と当該メタバース空間に存在する多様な3次元リソース、及び3次元キャラクターについての情報を含むことができる。
【0053】
このように、メタバース空間情報保存部310に保存されるメタバース空間についての情報を用いると、リソースローディング及びレンダリング過程によって当該空間を2次元ディスプレイ上に再現し出すことができるようになる。
【0054】
また、メタバース空間情報保存部310は、このようなメタバース空間情報をメタバース駆動サーバー220についての情報に対応させて保存する。本発明では、先に
図2で説明したように、メタバース空間別に少なくとも一つのメタバース駆動サーバー220が割り当てられ、当該サーバーで当該メタバース空間に対するサービスを実行するので、メタバース駆動サーバー220がメタバース空間情報に対応して保存される。
【0055】
ただ、メタバース空間情報保存部310に保存されるメタバース空間情報のうちには対応するメタバース駆動サーバー220がない場合があり得る。この場合は当該メタバース空間に接続してサービスを用いる使用者が未だない場合であり、使用者が接続する場合にのみ動的にサーバーを割り当ててメタバース駆動サーバー220として活用することができるようにすることで、サーバー資源を効率的に使うようにすることができる。
【0056】
メタバース駆動サーバー管理部320は、使用者端末機202からメタバース接続要請を受信し、前記複数のメタバース駆動サーバー220のうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバー220を選択する。
【0057】
使用者端末機202から伝送するメタバース接続要請はHTTP GET方式の要請(Request)になることができる。この場合、簡単なURLでメタバース接続要請が可能であるので、使用者の間にメタバース接続を要請するか誘導することが容易になり、他の使用者が送ったメタバース接続URLに接続することだけで別途のメタバースサービスのためのプログラムを組み込まなくても動画ストリーミングのみでメタバースサービスを用いることができるようになる。
【0058】
使用者端末機202から伝送するメタバース接続要請は、メタバース空間を識別するための識別子情報を含む。これにより、メタバース駆動サーバー管理部320は使用者が要請するメタバース空間がどのものであるかを識別することができるようになり、メタバース空間情報保存部310を検索することで、識別されたメタバース空間に対応するメタバース空間情報及びこれを駆動するメタバース駆動サーバー220を選択することができるようになる。
【0059】
メタバース駆動サーバー管理部320は、前記メタバース接続要請に対応するメタバース駆動サーバー220が存在しない場合、サーバープール管理部340から選択された候補サーバー230についての情報を受信し、前記選択された候補サーバー230を駆動させることができる。前述したように、未だに当該メタバース空間に接続した使用者がなかった場合には、当該メタバース空間に対するサービスを提供するためのメタバース駆動サーバー220がまだ存在しなくなり、候補サーバー230のうちから一つが選択されて当該メタバース空間に対するメタバース駆動サーバー220として動作することができるようにする。
【0060】
メタバース駆動サーバー管理部320は、前記選択された候補サーバー230に前記メタバース接続要請に対応するメタバース空間情報を伝達し、前記選択された候補サーバー230は、前記伝達されたメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをローディングする。このように、初期に候補サーバー230がメタバース駆動サーバー220に設定される過程ではサーバーが駆動されてリソースをローディングするのに時間がかかることがあるが、その後に当該メタバース空間に接続する使用者は既に駆動されたメタバース駆動サーバー220で既にメモリにローディングされているリソースを用いて映像を生成するので、実時間映像ストリーミングが可能になる。
【0061】
ここで、メタバース空間情報保存部310は、前記選択された候補サーバー230についての情報を前記メタバース接続要請に対応するメタバース空間情報に対応させて保存することができる。新しい候補サーバー230が新しいメタバース駆動サーバー220の役割を果たすことになったので、もうメタバース駆動サーバー220として管理されることで、追って他の使用者の接続要請に直ちに対応することが可能になる。
【0062】
メタバース駆動サーバー制御部330は、前記選択されたメタバース駆動サーバー220が前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御する。使用者が要請したメタバース空間に対してメタバース駆動サーバー220が既に割り当てられているか、または先立って候補サーバー230のうちで駆動させて割り当てる過程を経ることになると、当該メタバース空間に対するサービスを提供するメタバース駆動サーバー220が確定される。
【0063】
メタバース駆動サーバー制御部330は、このようにメタバース空間に割り当てられて動作しているメタバース駆動サーバー220が使用者端末機202にメタバース空間映像をストリーミングするようにする。メタバース空間映像をストリーミングするために、メタバース駆動サーバー制御部330は、使用者端末機202についての情報をメタバース駆動サーバー220に伝達する必要があり、使用者端末機202に対応する使用者が当該メタバース空間内での時点及び視線についての情報を一緒に伝達することができる。また、使用者端末機202に対応する使用者の3次元キャラクターをメタバース空間上に位置させるように制御することで、多くの使用者のキャラクターの間の相互作用が可能になるようにすることができる。
【0064】
サーバープール管理部340は、メタバース駆動サーバー220として動作することができる複数の候補サーバー230についての情報を保存する。前述したように、メタバース駆動サーバー220がすべてのメタバース空間に対して割り当てられていると、使用者が接続しないメタバース空間に割り当てられたメタバース駆動サーバー220は遊休状態で存在することになる。よって、効率的なサーバー資源の活用のために、使用しないサーバーは候補サーバー230としてサーバープールに入れて置いた後、新しいメタバース空間に対するサービス要請がある場合、このうちの一つをメタバース駆動サーバー220として準備させてサービスを提供するようにするものである。
【0065】
サーバープール管理部340は、前記複数のメタバース駆動サーバー220のうち所定の条件を満たすメタバース駆動サーバー220を選択して候補サーバー230に転換させ、前記転換された候補サーバーについての情報を保存することができる。メタバース駆動サーバー220として割り当てられてサービスを提供するサーバーも、当該サーバーが動作する必要がないことを示す特定の状況になると、再び候補サーバー230に転換することによりサーバー資源を効率的に管理することができる。
【0066】
ここで、メタバース空間情報保存部310は、前記候補サーバーに転換されたメタバース駆動サーバー220についての情報を除去することができる。これにより、前記転換されたメタバース駆動サーバー220に関連したメタバース空間に対するサービス要請がまた来る場合、メタバース駆動サーバー管理部320では、候補サーバー230のうちの一つを新しく選択し、選択した候補サーバー230でメタバース空間についての情報をローディングすることで、新しいメタバース駆動サーバー220を生成するようになる。
【0067】
サーバープール管理部340は、前記複数のメタバース駆動サーバーでメタバース空間映像をストリーミングする使用者端末機の個数についての情報を確認し、ストリーミングする使用者端末機の個数が0になってから所定の時間が経過したサーバーを候補サーバーに転換させることができる。最も簡単に不要なサーバーを確認する方法は、接続中の使用者端末機がないメタバース駆動サーバー220を確認することである。しかし、単純に接続中の使用者がないサーバーであるといって直ちに候補サーバー230に転換すると、しばらく接続から離脱してから再び接続する場合、新たに接続する度にリソースローディングなどの作業を実行しなければならないので、発明の効果が低下することになる。
【0068】
したがって、サーバープール管理部340は、使用者端末機の個数が0になってから所定の時間が経過して、それ以上当該メタバース空間に対するサービスを用いないと判断される場合、当該メタバース駆動サーバー220を候補サーバー230に転換するようになる。ここで、所定の時間はすべてのサーバーに一様に単一の時間として適用されることもでき、使用者が長く接続したメタバース空間に対してはその時間をより長く割り当てることができるようにすることで、効率的な管理になるようにすることができる。
【0069】
メタバース駆動サーバー220は、対応するメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをメモリに維持し、前記メタバース駆動サーバー制御部の制御命令に応答して、前記メタバース空間で前記使用者端末機別に決まった時点及び視線情報に基づいて映像をレンダリングして前記使用者端末機にストリーミングすることができる。
【0070】
また、メタバース駆動サーバー220は、前記使用者端末機から制御命令を受信し、前記受信した制御命令に基づいて、前記メタバース空間、前記メタバース空間のリソース、前記使用者端末機に対応する時点及び視線のうちのいずれか一つを制御し、制御結果によって変更されたメタバース空間映像を前記使用者端末機にストリーミングすることができる。これにより、使用者は画面のタッチなどによって制御命令を下し、この命令が当該メタバース空間に実時間で反映され、同じメタバース空間に接続した他の使用者端末機にも実時間で反映されるので、使用者の間の相互作用が可能になる。
【0071】
図4は本発明の一実施例によるメタバース空間ストリーミングシステムでメタバース駆動サーバーを管理する例を示す図である。
同図に示すように、使用者端末機202からメタバース設定サーバー210にサービス要請を伝送したとき、メタバース設定サーバー210で確認した結果、駆動中のメタバース駆動サーバー220に当該要請に対応するメタバース空間をサービスするためのメタバース駆動サーバー220が存在しないと、候補サーバー230のうちの一つをメタバース駆動サーバー220として準備させることができる。
【0072】
ここで、メタバース駆動サーバー220は物理的に区分されたサーバーを駆動させて準備することもでき、クラウドなどの技術を用いてサーバーを複数の仮想のサーバーに分離して適用することもできる。しかし、本発明がこのようなサーバー構成によって制限されるものではない。
【0073】
図5は本発明の一実施例によるメタバース空間ストリーミングシステムで使用しないメタバース駆動サーバーを処理する例を示す図である。
同図に示すように、4個の使用者端末機202が単一のメタバース空間に接続してメタバース駆動サーバー220でこれをサービスしているうちに4個の端末機が全部接続解除された場合、メタバース設定サーバー210ではその接続個数をモニタリングし、接続された端末機の数が0になってから所定の時間が経過すると、メタバース駆動サーバー220を候補サーバー230に変換する命令を下すようになる。
【0074】
このように、メタバース駆動サーバー220を候補サーバー230に変換すると、メタバース空間情報保存部310からメタバース空間に対応するメタバース駆動サーバー220の情報が削除され、このサーバーについての情報がサーバープール管理部340に含まれて候補サーバープールとして管理される。
【0075】
図6は本発明の一実施例によるメタバース空間ストリーミング方法の流れを示すフローチャートである。
本発明によるメタバース空間ストリーミング方法は中央処理装置及びメモリを備えるメタバース空間ストリーミングシステム201で動作する方法であり、例えば、コンピュータシステムで駆動可能である。
【0076】
したがって、メタバース空間ストリーミング方法は上述したメタバース空間ストリーミングシステム201について説明した特徴的な構成を全部含んでおり、以下の説明で説明しない内容も上述したメタバース空間ストリーミングシステム202についての説明を参照して具現することができる。
【0077】
メタバース空間情報保存段階(S601)は、メタバース空間情報及び複数のメタバース駆動サーバー220についての情報を対応させて保存する。メタバースサービスでメタバースは仮想の空間を意味し、仮想の空間は複数の空間に区分されて存在することができる。例えば、使用者別に自分の家のような空間を割り当て、空間を飾り、使用者が他の使用者の空間に訪問することができるようにするメタバースサービスがあるとすると、使用者のそれぞれが作る仮想の空間のそれぞれが一つのメタバース空間になる。
【0078】
メタバース空間情報保存段階(S601)は、基本的にメタバース空間についての情報を保存する。ここで、前述したように、メタバース空間についての情報は、メタバース空間の形態、大きさ、構成についての情報と当該メタバース空間に存在する多様な3次元リソース、及び3次元キャラクターについての情報を含むことができる。
【0079】
また、メタバース空間情報保存段階(S601)は、このようなメタバース空間情報をメタバース駆動サーバー220についての情報に対応させて保存する。本発明は、先に
図2で説明したように、メタバース空間別に少なくとも一つのメタバース駆動サーバー220が割り当てられ、当該サーバーで当該メタバース空間に対するサービスを実行するので、メタバース駆動サーバー220がメタバース空間情報に対応して保存される。
【0080】
メタバース駆動サーバー管理段階(S602)は、使用者端末機202からメタバース接続要請を受信し、前記複数のメタバース駆動サーバー220のうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバー220を選択する。
【0081】
使用者端末機202から伝送されるメタバース接続要請は、メタバース空間を識別するための識別子情報を含む。これにより、メタバース駆動サーバー管理段階(S602)は、使用者が要請するメタバース空間がどのものであるかを識別することができるようになり、メタバース空間情報保存段階(S601)で保存された情報を検索して、識別されたメタバース空間に対応するメタバース空間情報及びこれを駆動するメタバース駆動サーバー220を選択することができるようになる。
【0082】
メタバース駆動サーバー管理段階(S602)は、前記メタバース接続要請に対応するメタバース駆動サーバー220が存在しない場合、サーバープール管理段階(S604)で選択された候補サーバー230についての情報を受信し、前記選択された候補サーバー230を駆動させることができる。前述したように、未だに当該メタバース空間に接続した使用者がなかった場合は、当該メタバース空間に対するサービスを提供するためのメタバース駆動サーバー220がまだ存在しなくなり、候補サーバー230のうちの一つが選択されて当該メタバース空間に対するメタバース駆動サーバー220として動作することができるようにする。
【0083】
メタバース駆動サーバー管理段階(S602)は、前記選択された候補サーバー230に前記メタバース接続要請に対応するメタバース空間情報を伝達し、前記選択された候補サーバー230は、前記伝達されたメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをローディングする。このように、初期に候補サーバー230がメタバース駆動サーバー220に設定される過程ではサーバーが駆動されてリソースをローディングするのに時間がかかることがあるが、その後に当該メタバース空間に接続する使用者は既に駆動されたメタバース駆動サーバー220で既にメモリにローディングされているリソースを用いて映像を生成するので、実時間映像ストリーミングが可能になる。
【0084】
ここで、メタバース空間情報保存段階(S601)は、前記選択された候補サーバー230についての情報を前記メタバース接続要請に対応するメタバース空間情報に対応させて保存することができる。新しい候補サーバー230が新しいメタバース駆動サーバー220の役割を果たすことになったので、もうメタバース駆動サーバー220として管理されることで、追って他の使用者の接続要請に直ちに対応することが可能になる。
【0085】
メタバース駆動サーバー制御段階(S603)は、前記選択されたメタバース駆動サーバー220が前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御する。使用者が要請したメタバース空間に対してメタバース駆動サーバー220が既に割り当てられているか、または先立って候補サーバー230のうちで駆動させて割り当てる過程を経ると、当該メタバース空間に対するサービスを提供するメタバース駆動サーバー220が確定される。
【0086】
メタバース駆動サーバー制御段階(S603)は、このようにメタバース空間に割り当てられて動作しているメタバース駆動サーバー220が使用者端末機202にメタバース空間映像をストリーミングするようにする。メタバース空間映像をストリーミングするために、メタバース駆動サーバー制御段階(S603)は、使用者端末機202についての情報をメタバース駆動サーバー220に伝達する必要があり、使用者端末機202に対応する使用者が当該メタバース空間内での時点及び視線についての情報を一緒に伝達することができる。また、使用者端末機202に対応する使用者の3次元キャラクターをメタバース空間上に位置させるように制御することで、多くの使用者のキャラクターの間の相互作用が可能になるようにすることができる。
【0087】
サーバープール管理段階(S604)は、メタバース駆動サーバー220として動作することができる複数の候補サーバー230についての情報を保存する。前述したように、メタバース駆動サーバー220がすべてのメタバース空間に対して割り当てられていると、使用者が接続しないメタバース空間に割り当てられたメタバース駆動サーバー220は遊休状態で存在するようになる。よって、効率的なサーバー資源の活用のために、使用しないサーバーは候補サーバー230としてサーバープールに入れて置いた後、新しいメタバース空間に対するサービス要請がある場合、このうちの一つをメタバース駆動サーバー220として準備させてサービスを提供するようにするものである。
【0088】
サーバープール管理段階(S604)は、前記複数のメタバース駆動サーバー220のうち所定の条件を満たすメタバース駆動サーバー220を選択して候補サーバー230に転換させ、前記転換された候補サーバーについての情報を保存することができる。メタバース駆動サーバー220として割り当てられてサービスを提供するサーバーも、当該サーバーが動作する必要がないことを示す特定の状況になると、再び候補サーバー230に転換されるようにすることにより、サーバー資源を効率的に管理することができる。
【0089】
ここで、メタバース空間情報保存段階(S601)は、前記候補サーバーに転換されたメタバース駆動サーバー220についての情報を除去することができる。これにより、前記転換されたメタバース駆動サーバー220に関連したメタバース空間に対するサービス要請が再び来る場合、メタバース駆動サーバー管理段階(S602)では、候補サーバー230のうちの一つを新しく選択し、選択した候補サーバー230でメタバース空間についての情報をローディングすることで、新しいメタバース駆動サーバー220を生成するようになる。
【0090】
サーバープール管理段階(S604)は、前記複数のメタバース駆動サーバーでメタバース空間映像をストリーミングする使用者端末機の個数についての情報を確認し、ストリーミングする使用者端末機の個数が0になってから所定の時間が経過したサーバーを候補サーバーに転換させることができる。最も簡単に不要なサーバーを確認する方法は、接続中の使用者端末機がないメタバース駆動サーバー220を確認することである。しかし、単純に接続中の使用者がいないサーバーといっても、直ちに候補サーバー230に転換すると、しばらく接続から離脱してから再び接続する場合、新たに接続する度にリソースローディングなどの作業を実行することになるので、発明の効果が低下する。
【0091】
したがって、サーバープール管理段階(S604)は、使用者端末機の個数が0になってから所定の時間が経過して、それ以上当該メタバース空間に対するサービスを用いないと判断される場合、当該メタバース駆動サーバー220を候補サーバー230に転換するようになる。ここで、所定の時間はすべてのサーバーに一様に単一の時間として適用されることもでき、使用者が長く接続したメタバース空間に対してはその時間をより長く割り当てることができるようにすることで、効率的な管理になるようにすることができる。
【0092】
メタバース駆動サーバー動作段階(S605)は、対応するメタバース空間情報に基づいて前記メタバース空間及び前記メタバース空間のリソースをメモリに維持し、前記メタバース駆動サーバー制御部の制御命令に応答して、前記メタバース空間で前記使用者端末機別に決まった時点及び視線情報に基づいて映像をレンダリングして前記使用者端末機にストリーミングすることができる。
【0093】
また、メタバース駆動サーバー動作段階(S605)は、前記使用者端末機から制御命令を受信し、前記受信した制御命令に基づいて、前記メタバース空間、前記メタバース空間のリソース、前記使用者端末機に対応する時点及び視線のうちのいずれか一つを制御し、制御結果として変更されたメタバース空間映像を前記使用者端末機にストリーミングすることができる。これにより、使用者は画面のタッチなどによって制御命令を下し、この命令が当該メタバース空間に実時間で反映され、同じメタバース空間に接続した他の使用者端末機にも実時間で反映されるので、使用者の間の相互作用が可能になる。
【0094】
本発明によるメタバース空間ストリーミング方法はコンピュータが実行するように機能させるためのプログラムとして製作されてコンピュータ可読の記録媒体に記録されることができる。
【0095】
コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CDROM、DVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気光媒体(magneto-optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。
【0096】
プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリターなどを用いてコンピュータによって実行可能な高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を遂行するために、一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆もまた同様である。
【0097】
以上では実施例を参照して説明したが、当該技術分野の熟練した当業者は下記の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更することができる。
【産業上の利用可能性】
【0098】
本発明はメタバース空間ストリーミングシステム及び方法に関するものであり、メタバース空間情報及び複数のメタバース駆動サーバーについての情報を対応させて保存するメタバース空間情報保存部、使用者端末機からメタバース接続要請を受信し、前記複数のメタバース駆動サーバーのうち前記メタバース接続要請に対応するメタバース空間情報及びメタバース駆動サーバーを選択するメタバース駆動サーバー管理部、及び前記選択されたメタバース駆動サーバーが前記使用者端末機に前記メタバース接続要請に対応するメタバース空間に対するメタバース空間映像をストリーミングするように制御するメタバース駆動サーバー制御部を含むメタバース空間ストリーミングシステム及びそのメタバース空間ストリーミング方法を提示する。
【国際調査報告】