特許 7617198 マルチキャストを用いた空間オーディオ伝送装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】マルチキャストを用いた空間オーディオ伝送装置及び方法

(51)【国際特許分類】

   G10K 15/02 20060101AFI20250109BHJP

   A63F 13/358 20140101ALI20250109BHJP

   A63F 13/79 20140101ALI20250109BHJP

   A63F 13/54 20140101ALI20250109BHJP

   A63F 13/70 20140101ALI20250109BHJP

   H04L 51/04 20220101ALI20250109BHJP

   H04L 67/131 20220101ALI20250109BHJP

【ＦＩ】

G10K15/02

A63F13/358

A63F13/79

A63F13/54

A63F13/70

H04L51/04

H04L67/131

【請求項の数】 9

(21)【出願番号】P 2023129220

(22)【出願日】2023-08-08

(65)【公開番号】P2024132794

(43)【公開日】2024-10-01

【審査請求日】2023-08-08

(31)【優先権主張番号】10-2023-0033641

(32)【優先日】2023-03-15

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】518076805

【氏名又は名称】クリックト インコーポレイテッド

【氏名又は名称原語表記】ＣＬＩＣＫＥＤ ＩＮＣ．

【住所又は居所原語表記】５２６，３３０，Ｓｅｏｎｇａｍ－ｒｏ，Ｍａｐｏ－ｇｕ，Ｓｅｏｕｌ ０３９２０ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】イ，ハ ラム

(72)【発明者】

【氏名】キム，テ ウク

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特表２０２１－５２４６１２（ＪＰ，Ａ）

【文献】特表２００５－５２７１２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／０２

Ａ６３Ｆ １３／３５８

Ａ６３Ｆ １３／７９

Ａ６３Ｆ １３／５４

Ａ６３Ｆ １３／７０

Ｈ０４Ｌ ５１／０４

Ｈ０４Ｌ ６７／１３１

(57)【特許請求の範囲】

【請求項1】

マルチプレイヤ・リアルタイム・コンテンツを実行する複数のクライアント端末に通信接続され、各マルチキャストグループ別に分離される複数のサーバを含み、
前記各マルチキャストグループ内に含まれるサーバは、
前記マルチプレイヤ・リアルタイム・コンテンツを実行するクライアント端末から第１プレイヤ情報を受信すると、前記第１プレイヤ情報を前記マルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有し、前記マルチキャストグループ内に含まれる他のサーバから第２プレイヤ情報を受信すると、前記第１プレイヤ情報及び第２プレイヤ情報に基づいて空間オーディオをミックス処理して前記クライアント端末にユニキャスト伝送することを特徴とする空間オーディオ伝送装置。

【請求項2】

前記複数のサーバは、
前記マルチキャストグループ別に分離されるとき、互いに同一のネットワークで通信接続されるサーバを１つのマルチキャストグループにグループ化することを特徴とする請求項１に記載の空間オーディオ伝送装置。

【請求項3】

前記サーバは、
前記第１プレイヤ情報を受信するとき、前記マルチプレイヤ・リアルタイム・コンテンツを実行する第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報を受信することを特徴とする請求項１に記載の空間オーディオ伝送装置。

【請求項4】

前記第１プレイヤ情報は、
第１プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことを特徴とする請求項３に記載の空間オーディオ伝送装置。

【請求項5】

前記サーバは、
前記第１プレイヤ情報を受信するとき、前記第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報をユニキャスト方式で受信することを特徴とする請求項３に記載の空間オーディオ伝送装置。

【請求項6】

前記サーバは、
前記空間オーディオをミックス処理して伝送するとき、前記第１プレイヤ情報が受信されると、前記第１プレイヤ情報からエンコードされた第１プレイヤの音声情報と第１プレイヤの位置及び方向情報を分離し、
前記第２プレイヤ情報が受信されると、前記第２プレイヤ情報からエンコードされた第２プレイヤの音声情報と第２プレイヤの位置及び方向情報を分離し、
前記エンコードされた第１プレイヤの音声情報と第２プレイヤの音声情報をデコードしてローオーディオデータ（ｒａｗａｕｄｉｏ ｄａｔａ）を生成し、
前記第１プレイヤと第２プレイヤの位置及び方向情報と前記ローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを生成し、
前記ステレオオーディオデータをエンコード処理して圧縮オーディオを伝送することを特徴とする請求項１に記載の空間オーディオ伝送装置。

【請求項7】

前記サーバは、
前記第１プレイヤと第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗｐｉｃｔｕｒｅ ｄａｔａ）を生成し、
前記ロー画像データをエンコード処理して圧縮ビデオを伝送することを特徴とする請求項６に記載の空間オーディオ伝送装置。

【請求項8】

前記サーバは、
前記クライアント端末からユニキャスト方式で第１プレイヤ情報を受信するユニキャスト受信部と、
前記他のサーバからマルチキャスト方式で第２プレイヤ情報を受信するマルチキャスト受信部と、
前記第１プレイヤ情報から分離された第１プレイヤのエンコーディング音声情報と前記第２プレイヤ情報から分離された第２プレイヤのエンコーディング音声情報をデコード処理してローオーディオデータ（ｒａｗａｕｄｉｏ ｄａｔａ）を出力するオーディオデコーダ部と、
前記第１プレイヤ情報から分離された前記第１プレイヤの位置及び方向情報、前記第２プレイヤ情報から分離された前記第２プレイヤの位置及び方向情報、前記ローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを出力する空間オーディオエンジン部と、
前記ステレオオーディオデータをエンコード処理して圧縮オーディオを出力するオーディオエンコーダ部と、
前記第１プレイヤ情報を他のサーバにマルチキャスト方式で伝送するマルチキャスト伝送部と、
前記圧縮オーディオを前記クライアント端末にユニキャスト方式で伝送するユニキャスト伝送部と、
を含むことを特徴とする請求項１に記載の空間オーディオ伝送装置。

【請求項9】

前記サーバは、
前記第１プレイヤ情報から分離された前記第１プレイヤの位置及び方向情報と前記第２プレイヤ情報から分離された前記第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗｐｉｃｔｕｒｅ ｄａｔａ）を出力するリアルタイムレンダリング部と、
前記ロー画像データをエンコード処理して圧縮ビデオを出力するビデオエンコーダ部と、
を含むことを特徴とする請求項８に記載の空間オーディオ伝送装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、空間オーディオ伝送装置に関し、より詳細には、マルチキャストを用いてマルチプレイヤコンテンツの空間オーディオデータを効率的に伝送できるマルチキャストを用いた空間オーディオ伝送装置及び方法に関する。

【背景技術】

【0002】

一般に、オンラインゲームのようなマルチプレイヤ・リアルタイム・コンテンツの場合、プレイヤの位置、音声チャットデータなど各プレイヤのデータが他のプレイヤに共有される必要がある。

【0003】

Ｎ名のプレイヤが残りのＮ-１名のプレイヤにデータを伝送する場合、計Ｎ（Ｎ-１）だけのデータを伝送しなければならないので、共有するデータの量が多くなるほど、ネットワークの負荷は、二乗の割合で増加することになる。

【0004】

オーディオデータの場合、各プレイヤは、他のプレイヤから受信した複数のチャネルのオーディオデータを全て集めてプレイヤデバイスが支援するオーディオデータ（一般に、２チャネルステレオ）に変換する必要がある。

【0005】

しかし、オーディオデータ変換（ａｕｄｉｏ ｍｉｘｉｎｇ）は、オーディオの入力チャネル数に応じてプロセッサの負荷が増加するという問題がある。

【0006】

特に、モバイルデバイスの場合、プロセッサの性能が一般のＰＣよりも劣っているため、プロセッサの負荷が増加するほどバッテリの使用量も共に増加するので、入力チャネルの数を制限する必要がある。

【0007】

このような問題を解決するために、音声チャットの場合、オーディオデータをプレイヤデバイスから他のプレイヤデバイスに直接送信する代わりに、オーディオストリーミングサーバに送信し、オーディオストリーミングサーバにて各プレイヤデバイスから受信したオーディオをミキシングして各プレイヤデバイスに送信する方式でネットワークトラフィックとオーディオミキシングによるプロセッサの負荷問題を解決したりもした。

【0008】

しかし、空間オーディオの場合、プレイヤ毎に音源との距離、方向などによって生成されるオーディオが変わるので、プレイヤ毎にオーディオを異なってミキシングしなければならない。

【0009】

このように、オーディオを異なってミキシングするためには、より多くの演算量が必要であるので、１つのオーディオストリーミングサーバがコンテンツに参加する全てのプレイヤのオーディオをミキシングするには無理があるという問題が発生する恐れがあり、これは依然としてＮ（Ｎ-１）回のデータ伝送が必要であるという問題があった。

【0010】

従って、今後、マルチプレイヤコンテンツで空間オーディオデータを効率的に伝送できる空間オーディオ伝送装置の開発が要求されている。

【先行技術文献】

【特許文献】

【0011】

【文献】韓国登録特許第１０－２３３１２２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は上記事情に鑑みてなされたものであって、その目的は、クライアント端末から受信するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をマルチキャストグループ内に含まれるサーバにマルチキャスト伝送して共有し、共有したプレイヤ情報に基づいて空間オーディオデータをミックス処理することによって、重複データの伝送を除去してネットワークの負荷を低減し、空間オーディオデータを効率的に伝送できるマルチキャストを用いた空間オーディオ伝送装置及び方法を提供することにある。

【0013】

本開示が解決しようとする課題は、以上で言及した課題に限定されず、言及していない更に他の課題は、下記の記載から通常の技術者が明確に理解できるだろう。

【課題を解決するための手段】

【0014】

上述した課題を解決するための本開示の一実施例に係る空間オーディオ伝送装置は、マルチプレイヤ・リアルタイム・コンテンツを実行する複数のクライアント端末に通信接続され、各マルチキャストグループ別に分離される複数のサーバを含み、前記各マルチキャストグループ内に含まれるサーバは、前記マルチプレイヤ・リアルタイム・コンテンツを実行するクライアント端末から第１プレイヤ情報を受信すると、前記第１プレイヤ情報を前記マルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有し、前記マルチキャストグループ内に含まれる他のサーバから第２プレイヤ情報を受信すると、前記第１プレイヤ情報及び第２プレイヤ情報に基づいて空間オーディオをミックス処理して前記クライアント端末にユニキャスト伝送することを特徴とする。

【0015】

実施例において、前記複数のサーバは、前記マルチキャストグループ別に分離されるとき、互いに同一のネットワークで通信接続されるサーバを１つのマルチキャストグループにグループ化することを特徴とする。

【0016】

実施例において、前記サーバは、前記第１プレイヤ情報を受信するとき、前記マルチプレイヤ・リアルタイム・コンテンツを実行する第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報を受信することを特徴とする。

【0017】

実施例において、前記第１プレイヤ情報は、前記第１プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことを特徴とする。

【0018】

実施例において、前記サーバは、前記第１プレイヤ情報を受信するとき、前記第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報をユニキャスト方式で受信することを特徴とする。

【0019】

実施例において、前記サーバは、前記空間オーディオをミックス処理して伝送するとき、前記第１プレイヤ情報が受信されると、前記第１プレイヤ情報からエンコードされた第１プレイヤの音声情報と第１プレイヤの位置及び方向情報を分離し、前記第２プレイヤ情報が受信されると、前記第２プレイヤ情報からエンコードされた第２プレイヤの音声情報と第２プレイヤの位置及び方向情報を分離し、前記エンコードされた第１プレイヤの音声情報と第２プレイヤの音声情報をデコードしてローオーディオデータ（ｒａｗ ａｕｄｉｏ ｄａｔａ）を生成し、前記第１プレイヤと第２プレイヤの位置及び方向情報と前記ローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを生成し、前記ステレオオーディオデータをエンコード処理して圧縮オーディオを伝送することを特徴とする。

【0020】

実施例において、前記サーバは、前記第１プレイヤと第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗ ｐｉｃｔｕｒｅ ｄａｔａ）を生成し、前記ロー画像データをエンコード処理して圧縮ビデオを伝送することを特徴とする。

【0021】

実施例において、前記サーバは、前記クライアント端末からユニキャスト方式で第１プレイヤ情報を受信するユニキャスト受信部と、前記他のサーバからマルチキャスト方式で第２プレイヤ情報を受信するマルチキャスト受信部と、前記第１プレイヤ情報から分離された第１プレイヤのエンコーディング音声情報と第２プレイヤ情報から分離された第２プレイヤのエンコーディング音声情報をデコード処理してローオーディオデータ（ｒａｗ ａｕｄｉｏ ｄａｔａ）を出力するオーディオデコーダ部と、前記第１プレイヤ情報から分離された前記第１プレイヤの位置及び方向情報、前記第２プレイヤ情報から分離された前記第２プレイヤの位置及び方向情報、そして前記ローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを出力する空間オーディオエンジン部と、前記ステレオオーディオデータをエンコード処理して圧縮オーディオを出力するオーディオエンコーダ部と、前記第１プレイヤ情報を他のサーバにマルチキャスト方式で伝送するマルチキャスト伝送部と、前記圧縮オーディオを前記クライアント端末にユニキャスト方式で伝送するユニキャスト伝送部と、を含むことを特徴とする。

【0022】

実施例において、前記サーバは、前記第１プレイヤ情報から分離された前記第１プレイヤの位置及び方向情報と前記第２プレイヤ情報から分離された前記第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗ ｐｉｃｔｕｒｅ ｄａｔａ）を出力するリアルタイムレンダリング部と、前記ロー画像データをエンコード処理して圧縮ビデオを出力するビデオエンコーダ部とを含むことを特徴とする。

【0023】

本開示の一実施例に係る空間オーディオ伝送方法は、複数のクライアント端末に通信接続され、各マルチキャストグループ別に分離される複数のサーバを含む装置の空間オーディオ伝送方法であって、前記クライアント端末から第１プレイヤ情報を受信する段階と、前記第１プレイヤ情報を前記マルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有する段階と、前記マルチキャストグループ内に含まれる他のサーバから第２プレイヤ情報を受信する段階と、前記第１プレイヤ情報及び第２プレイヤ情報に基づいて空間オーディオをミックス処理する段階と、前記ミックス処理した空間オーディオを前記クライアント端末にユニキャスト伝送する段階とを含むことを特徴とする。

【0024】

上述した課題を解決するための本開示の他の実施例に係る空間オーディオ伝送方法を提供するコンピュータプログラムは、ハードウェアであるコンピューに上述した方法のうちの何れか１つの方法を実行させるために媒体に格納される。

【0025】

この他にも、本開示を実現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体が更に提供されることができる。

【発明の効果】

【0026】

前記のように、本開示によると、クライアント端末から受信するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をマルチキャストグループ内に含まれるサーバにマルチキャスト伝送して共有し、共有したプレイヤ情報に基づいて空間オーディオデータをミックス処理することによって、重複データの伝送を除去してネットワークの負荷を低減し、空間オーディオデータを効率的に伝送できる。

【0027】

即ち、本開示は、ユニキャストの代わりに、マルチキャストを用いるので、重複したデータの伝送を除去でき、ネットワークの負荷を低減できる。

【0028】

また、本開示は、サーバさえ同一のネットワーク内に存在すればよいので、クライアント端末の場合、物理的な位置から自由になり得る。

【0029】

本開示の効果は、以上で言及した効果に限定されず、言及していない更に他の効果は、下記の記載から通常の技術者が明確に理解できるだろう。

【図面の簡単な説明】

【0030】

【図1】本開示に係る空間オーディオ伝送装置を説明する図である。

【図2】図１のクライアント端末で実行するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報を説明する図である。

【図3】図１の各マルチキャストグループ内に含まれるサーバの動作過程を説明する図である。

【図4】図１のサーバを説明するブロック構成図である。

【図5】図１のサーバを説明するブロック構成図である。

【図6】本開示に係る空間オーディオ伝送方法を説明するフローチャートである。

【発明を実施するための形態】

【0031】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本開示は、以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態に実現することができる。但し、本実施例は、本開示の開示を完全なものにし、本開示の属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本開示は、請求項の範囲により定義されるに過ぎない。

【0032】

本明細書で用いられた用語は、実施例を説明するためのものであり、本開示を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのは当然である。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本開示の技術的思想内で第２構成要素でもあり得るのは言うまでもない。

【0033】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明の属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0034】

以下、添付の図面を参照して本開示の実施例を詳細に説明する。

【0035】

説明に先立ち、本明細書において用いる用語の意味を簡単に説明する。しかし、用語の説明は、本明細書の理解を促進するためのものであるので、明示的に本開示を限定する事項として記載しない場合に、本開示の技術的思想を限定する意味として用いるものではないことに注意すべきである。

【0036】

図１は、本開示に係る空間オーディオ伝送装置を説明する図である。

【0037】

図１に示すように、本開示に係る空間オーディオ伝送装置は、マルチプレイヤ・リアルタイム・コンテンツを実行する複数のクライアント端末２００とネットワークを介して通信接続され、マルチキャストグループ３００別に分離される複数のサーバ１００を含むことができる。

【0038】

ここで、複数のサーバ１００は、マルチキャストグループ３００毎に分離されるとき、同一のネットワークで互いに通信接続されるサーバ１００を１つのマルチキャストグループ３００としてグループ化できる。

【0039】

一例として、図１に示すように、複数のサーバ１００は、第１マルチキャストグループ３１０と第２マルチキャストグループ３２０とに分離できるが、これは一実施例に過ぎず、これに限定されない。

【0040】

ここで、第１マルチキャストグループ３１０内に含まれるサーバ１００は、第１ネットワークに通信接続され、第２マルチキャストグループ３２０内に含まれるサーバ１００は、第２ネットワークに通信接続できる。

【0041】

クライアント端末２００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ネットワークＴＶ（Ｎｅｔｗｏｒｋ ＴＶ）、ＨＢＢＴＶ（Ｈｙｂｒｉｄ Ｂｒｏａｄｃａｓｔ Ｂｒｏａｄｂａｎｄ ＴＶ）、スマートＴＶ（Ｓｍａｒｔ ＴＶ）、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ＴＶ）などのような固定型デバイス（ｓｔａｎｄｉｎｇ ｄｅｖｉｃｅ）と、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ノートパソコン（Ｎｏｔｅｂｏｏｋ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などのようなモバイルデバイス（ｍｏｂｉｌｅ ｄｅｖｉｃｅ ｏｒ ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ）が何れも含まれることができる。

【0042】

次に、クライアント端末２００とサーバ１００との間を通信接続するネットワークは、有／無線ネットワークを何れも含むが、クライアント端末２００とサーバ１００との間でペアリング及び／又はデータの送受信のために多様な通信規格ないしプロトコルを支援する通信ネットワークを通称する。

【0043】

このような有／無線ネットワークは、規格によって現在又は今後支援される通信ネットワークを全て含み、そのための１つ又はそれ以上の通信プロトコルを何れも支援できる。

【0044】

このような有／無線ネットワークには、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌ Ｂｕｓ）、ＣＶＢＳ（Ｃｏｍｐｏｓｉｔｅ Ｖｉｄｅｏ Ｂａｎｋｉｎｇ Ｓｙｎｃ）、コンポーネント（Ｃｏｍｐｏｎｅｎｔ）、Ｓ-ビデオ（アナログ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＲＧＢ、Ｄ-ＳＵＢのような有線接続のためのネットワークとそのための通信規格ないしプロトコルと、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ：ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（登録商標）（ＺｉｇＢｅｅ（登録商標））、ＤＬＮＡ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、 ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ－Ｆｉ（登録商標））、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（登録商標）（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ／ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ／ＬＴＥ－Ａｄｖａｎｃｅｄ）、Ｗｉ－Ｆｉ（登録商標）ダイレクト（ｄｉｒｅｃｔ）のような無線接続のためのネットワークとそのための通信規格ないしプロトコルによって形成されることができる。

【0045】

次に、各マルチキャストグループ３００内に含まれるサーバ１００は、マルチプレイヤ・リアルタイム・コンテンツを実行するクライアント端末２００から第１プレイヤ情報を受信すると、第１プレイヤ情報をマルチキャストグループ３００内に含まれる残りの他のサーバ１００にマルチキャスト伝送して共有し、マルチキャストグループ３００内に含まれる他のサーバから第２プレイヤ情報を受信すると、第１プレイヤ情報及び第２プレイヤ情報に基づいて空間オーディオをミックス処理してクライアント端末２００にユニキャスト伝送できる。

【0046】

ここで、サーバ１００は、第１プレイヤ情報を受信するとき、マルチプレイヤ・リアルタイム・コンテンツを実行する第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報を受信できる。

【0047】

一例として、第１プレイヤ情報は、第１プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことができるが、これは一実施例に過ぎず、これに限定されない。

【0048】

そして、サーバ１００は、第１プレイヤ情報を受信するとき、第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報をユニキャスト方式で受信できる。

【0049】

次に、サーバ１００は、第１プレイヤ情報をマルチキャスト伝送するとき、第１プレイヤ情報を受信すると、マルチキャストグループ３００のグループアドレスを獲得し、獲得したグループアドレスに基づいて、第１プレイヤ情報をマルチキャストグループ３００内の残りの他のサーバにマルチキャスト方式で伝送できる。

【0050】

ここで、サーバ１００は、第１プレイヤ情報を受信すると、第１プレイヤ情報をサーバ１００のデータベースに格納した後、第１プレイヤ情報をマルチキャストグループ３００内の残りの他のサーバにマルチキャスト方式で伝送して、マルチキャストグループ３００内の全てのサーバが第１プレイヤ情報を共有できる。

【0051】

次に、サーバ１００は、第２プレイヤ情報を受信するとき、マルチキャストグループ３００内に含まれる残りの他のサーバのうちの何れか１つの他のサーバから第２プレイヤ情報をマルチキャスト方式で受信できる。

【0052】

ここで、他のサーバは、マルチプレイヤ・リアルタイム・コンテンツを実行する第２クライアント端末から第２プレイヤ情報を受信すると、第２プレイヤ情報をマルチキャストグループ３００内に含まれる残りのサーバにマルチキャスト方式で伝送して共有できる。

【0053】

このとき、他のサーバは、第２プレイヤ情報を受信するとき、第２クライアント端末がマルチプレイヤ・リアルタイム・コンテンツを実行すると、第２クライアント端末から３次元仮想空間内に位置する第２プレイヤ情報を受信できる。

【0054】

一例として、第２プレイヤ情報は、第２プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことができるが、これは一実施例に過ぎず、これに限定されない。

【0055】

また、他のサーバは、第２プレイヤ情報を受信するとき、第２クライアント端末から３次元仮想空間内に位置する第２プレイヤ情報をユニキャスト方式で受信できる。

【0056】

そして、他のサーバは、第２プレイヤ情報をマルチキャスト伝送するとき、第２プレイヤ情報を受信すると、マルチキャストグループ３００のグループアドレスを獲得し、獲得したグループアドレスに基づいて、第２プレイヤ情報をマルチキャストグループ内の残りの他のサーバにマルチキャスト方式で伝送できる。

【0057】

ここで、他のサーバは、第２プレイヤ情報を受信すると、第２プレイヤ情報を他のサーバのデータベースに格納した後、第２プレイヤ情報をマルチキャストグループ３００内の残りの他のサーバにマルチキャスト方式で伝送して、マルチキャストグループ３００内の全てのサーバが第２プレイヤ情報を共有できる。

【0058】

次に、サーバ１００は、クライアント端末２００から第１プレイヤ情報がユニキャスト方式で受信されると、第１プレイヤ情報をサーバ１００のデータベースに格納し、他のサーバから第２プレイヤ情報がマルチキャスト方式で受信されると、第２プレイヤ情報をサーバ１００のデータベースに格納できる。

【0059】

次に、サーバ１００は、空間オーディオをミックス処理して伝送するとき、第１プレイヤ情報が受信されると、第１プレイヤ情報からエンコードされた第１プレイヤの音声情報と第１プレイヤの位置及び方向情報を分離し、第２プレイヤ情報が受信されると、第２プレイヤ情報からエンコードされた第２プレイヤの音声情報と第２プレイヤの位置及び方向情報を分離し、エンコードされた第１プレイヤの音声情報と第２プレイヤの音声情報をデコードしてローオーディオデータ（ｒａｗ ａｕｄｉｏ ｄａｔａ）を生成し、第１プレイヤと第２プレイヤの位置及び方向情報とローオーディオデータに基づいて、空間オーディオをミックス処理してステレオオーディオデータを生成し、ステレオオーディオデータをエンコード処理して圧縮オーディオを伝送できる。

【0060】

ここで、サーバ１００は、圧縮オーディオを伝送するとき、圧縮オーディオをクライアント端末２００にユニキャスト方式で伝送できる。

【0061】

場合によっては、サーバ１００は、第１プレイヤと第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗ ｐｉｃｔｕｒｅ ｄａｔａ）を生成し、ロー画像データをエンコード処理して圧縮ビデオを伝送することもできる。

【0062】

ここで、サーバ１００は、圧縮ビデオを伝送するとき、圧縮ビデオをクライアント端末２００にユニキャスト方式で伝送できる。

【0063】

一方、クライアント端末２００で実行されるマルチプレイヤ・リアルタイム・コンテンツは、空間オーディオを支援するコンテンツであって、プレイヤに、より生き生きとした体験を可能にさせる。

【0064】

マルチプレイヤ・リアルタイム・コンテンツは、映画のように予め録音されたコンテンツとは異なり、プレイヤと音源との距離、方向などがリアルタイムで変わることによって、空間オーディオもリアルタイムで生成されなければならない。

【0065】

一例として、マルチプレイヤ・リアルタイム・コンテンツは、メタバースのような３Ｄ仮想コンテンツであり、３Ｄ仮想コンテンツのプレイヤは、３Ｄ仮想空間内のキャラクタであり得る。

【0066】

従って、本開示は、クライアント端末２００からマルチプレイヤ・リアルタイム・コンテンツの３次元仮想空間内に位置するプレイヤ情報をユニキャスト方式で受信できる。

【0067】

ここで、プレイヤ情報は、プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことができるが、これは一実施例に過ぎず、これに限定されない。

【0068】

また、本開示は、単純なオーディオ／ビデオストリーミングとは異なり、ゲームのようにユーザと相互作用してリアルタイムで内容が変わるコンテンツを伝送するシステムを含む装置であって、予め録音／録画されたオーディオ／ビデオストリーミングとは異なり、リアルタイムで現在の状態が反映されたデータを伝送できる。

【0069】

次に、本開示は、空間オーディオを提供するオーディオエンジンを含むことができる。オーディオエンジンは、複数のチャネルから入ってきたオーディオデータを合成（ｍｉｘ）して出力チャネル（例えば、２チャネルステレオ）に出力するソフトウェアであって、入力オーディオチャネルに、オーディオデータに加えて音源の位置と方向データも共に入れると、空間感が感じられるオーディオを出力できる。

【0070】

また、本開示は、クライアント端末２００からマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をユニキャスト方式で受信できるが、ユニキャスト（ｕｎｉｃａｓｔ）方式は、１人の送信者が送ったデータを１人の受信者が受け取る１対１の伝送方式であって、ユニキャストを介してＮ名のプレイヤが自身の状態データを共有する場合、計Ｎ（Ｎ－１）だけのデータ伝送が必要である。

【0071】

本開示は、クライアント端末２００から受信するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をマルチキャストグループ３００内に含まれるサーバ１００にマルチキャスト伝送して共有できる。マルチキャスト（ｍｕｌｔｉｃａｓｔ）方式は、１人の送信者がマルチキャストグループに属する全ての受信者にデータを１対多で伝送する方式である。マルチキャスト方式は、ユニキャストとは異なり、それぞれの受信者に別々に同じ内容のデータを伝送せず、１つのデータをマルチキャストグループに伝送すると、該当グループに属する全ての受信者が伝送されたデータを受信できるので、マルチキャストを介してＮ名のプレイヤが自身の状態データを共有できる場合、計Ｎ回のみデータの伝送が可能であり、効率的である。

【0072】

このように、本開示は、複数のオーディオストリーミングサーバを同一のネットワーク上で１つのマルチキャストグループにグループ化し、共有するデータをサーバ間でマルチキャストにて伝送することによって、ユニキャストの代わりに、マルチキャストを用いるので、重複したデータの伝送を除去できるため、ネットワークの負荷を低減できる。また、サーバさえ同一のネットワーク内に存在すればよいので、クライアント端末は、物理的な位置から自由になり得る。

【0073】

このように、本開示は、クライアント端末から受信するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をマルチキャストグループ内に含まれるサーバにマルチキャスト伝送して共有し、共有したプレイヤ情報に基づいて空間オーディオデータをミックス処理することによって、重複データの伝送を除去してネットワークの負荷を低減し、空間オーディオデータを効率的に伝送できる。

【0074】

図２は、図１のクライアント端末で実行するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報を説明する図である。

【0075】

図２に示すように、クライアント端末で実行されるマルチプレイヤ・リアルタイム・コンテンツは、空間オーディオを支援するコンテンツであり得る。

【0076】

一例として、マルチプレイヤ・リアルタイム・コンテンツは、メタバースのような３次元仮想空間５００を有するコンテンツであり、３次元仮想空間５００内のプレイヤ４００は、３次元仮想空間５００内のキャラクタであり得る。

【0077】

ここで、マルチプレイヤ・リアルタイム・コンテンツは、映画のように予め録音されたコンテンツとは異なり、プレイヤと音源との距離、方向などがリアルタイムで変わることによって、空間オーディオもリアルタイムで生成されなければならない。

【0078】

従って、本開示は、クライアント端末からマルチプレイヤ・リアルタイム・コンテンツの３次元仮想空間５００内に位置するプレイヤ４００情報をユニキャスト方式で受信できる。

【0079】

ここで、プレイヤ４００情報は、プレイヤ４００の位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことができるが、これは一実施例に過ぎず、これに限定されない。

【0080】

図２に示すように、３次元仮想空間５００内に第１プレイヤ４１０、第２プレイヤ４２０、第３プレイヤ４３０が存在する場合、第１プレイヤ４１０が第２プレイヤ４２０及び第３プレイヤ４３０に比べて最も近く位置して第１プレイヤ４１０の音声４１２が最も大きく、第２プレイヤ４２０が第１プレイヤ４１０よりも遠く位置し、第３プレイヤ４３０よりも近く位置して第２プレイヤ４２０の音声４２２が第１プレイヤ４１０よりも小さく、第３プレイヤ４３０よりも大きく、第３プレイヤ４３０が第１プレイヤ４１０及び第２プレイヤ４２０に比べて最も遠く位置して第３プレイヤ４３０の音声４３２が最も小さくなり得る。

【0081】

従って、本開示は、３次元仮想空間内で複数のプレイヤ４００の位置情報、方向情報及び音声情報に基づいて、空間オーディオをミックス処理して効率的にクライアント端末に伝送できる。

【0082】

図３は、図１の各マルチキャストグループ内に含まれるサーバの動作過程を説明する図である。

【0083】

図３に示すように、本開示は、互いに同一のネットワークで通信接続される複数のサーバを１つのマルチキャストグループ３００にグループ化できる。

【0084】

一例として、１つのマルチキャストグループ３００内に第１サーバ１１０、第２サーバ１２０、第３サーバ１３０を含む場合、第１サーバ１１０は、マルチプレイヤ・リアルタイム・コンテンツを実行する第１クライアント端末２１０から第１プレイヤの位置、方向、音声を含む第１プレイヤ情報をユニキャスト受信し、第２サーバ１２０は、マルチプレイヤ・リアルタイム・コンテンツを実行する第２クライアント端末２２０から第２プレイヤの位置、方向、音声を含む第２プレイヤ情報をユニキャスト受信できる。

【0085】

そして、第１サーバ１１０は、第１プレイヤの位置、方向、音声を含む第１プレイヤ情報をマルチキャストグループアドレスにマルチキャスト伝送することによって、第１プレイヤ情報がマルチキャストグループ３００内の第２サーバ１２０と第３サーバ１３０にマルチキャスト伝送されて共有できる。

【0086】

また、第２サーバ１２０は、第２プレイヤの位置、方向、音声を含む第２プレイヤ情報をマルチキャストグループアドレスにマルチキャスト伝送することによって、第２プレイヤ情報がマルチキャストグループ３００内の第１サーバ１１０と第３サーバ１３０にマルチキャスト伝送されて共有できる。

【0087】

次に、第３サーバ１３０は、第１プレイヤ情報と第２プレイヤ情報をマルチキャスト受信し、マルチプレイヤ・リアルタイム・コンテンツを実行する第３クライアント端末２３０から第３プレイヤの位置、方向、音声を含む第３プレイヤ情報をユニキャスト受信すると、第１プレイヤ情報、第２プレイヤ情報及び第３プレイヤ情報を組み合わせて空間オーディオをミックス処理し、ミックス処理した空間オーディオを第３クライアント端末２３０にユニキャスト伝送できる。

【0088】

また、第３サーバ１３０は、第３クライアント端末２３０から第３プレイヤの位置、方向、音声を含む第３プレイヤ情報をユニキャスト受信すると、第３プレイヤの位置、方向、音声を含む第３プレイヤ情報をマルチキャストグループアドレスにマルチキャスト伝送することによって、第３プレイヤ情報がマルチキャストグループ３００内の第１サーバ１１０と第２サーバ１２０にマルチキャスト伝送されて共有できる。

【0089】

このように、本開示のサーバは、クライアント端末からマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をユニキャスト方式で受信し、ミックス処理された空間オーディオをクライアント端末にユニキャスト伝送できる。

【0090】

ここで、ユニキャスト（ｕｎｉｃａｓｔ）方式は、１人の送信者が送ったデータを１人の受信者が受け取る１対１の伝送方式であって、ユニキャストを介してＮ名のプレイヤが自身の状態データを共有する場合、計Ｎ（Ｎ－１）だけのデータ伝送が必要である。

【0091】

本開示のサーバは、クライアント端末から受信するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をマルチキャストグループ内に含まれるサーバにマルチキャスト伝送して共有できる。

【0092】

ここで、マルチキャスト（ｍｕｌｔｉｃａｓｔ）方式は、１人の送信者がマルチキャストグループに属する全ての受信者にデータを１対多で伝送する方式であって、ユニキャストとは異なり、それぞれの受信者に別々に同じ内容のデータを伝送せず、１つのデータさえマルチキャストグループに伝送すると、該当グループに属する全ての受信者が伝送されたデータを受信できるので、マルチキャストを介してＮ名のプレイヤが自身の状態データを共有する場合、計Ｎ回のみデータの伝送が可能であり、効率的である。

【0093】

図４及び図５は、図１のサーバを説明するブロック構成図である。

【0094】

図４に示すように、本開示の一実施例に係るサーバ１００は、ユニキャスト受信部１０１、マルチキャスト受信部１０２、オーディオデコーダ部１０３、空間オーディオエンジン部１０４、オーディオエンコーダ部１０５、マルチキャスト伝送部１０６、ユニキャスト伝送部１０７を含むことができる。

【0095】

ここで、ユニキャスト受信部１０１は、クライアント端末からユニキャスト方式で第１プレイヤ情報を受信できる（Ａ）。

【0096】

一例として、第１プレイヤ情報は、第１プレイヤの位置（ｐｏｓｉｔｉｏｎ）情報、方向（ｏｒｉｅｎｔａｔｉｏｎ）情報及び音声（ｖｏｉｃｅ）情報を含むことができる。

【0097】

そして、マルチキャスト受信部１０２は、マルチキャストグループ内の他のサーバからマルチキャスト方式で第２プレイヤ情報を受信できる（Ｂ）。

【0098】

一例として、第２プレイヤ情報は、第２プレイヤの位置（ｐｏｓｉｔｉｏｎ）情報、方向（ｏｒｉｅｎｔａｔｉｏｎ）情報及び音声（ｖｏｉｃｅ）情報を含むことができる。

【0099】

次に、オーディオデコーダ部１０３は、第１プレイヤ情報から分離された第１プレイヤのエンコーディング音声情報と第２プレイヤ情報から分離された第２プレイヤのエンコーディング音声情報をデコード処理してローオーディオデータ（ｒａｗ ａｕｄｉｏ ｄａｔａ）を出力できる。

【0100】

次に、空間オーディオエンジン部１０４は、第１プレイヤ情報から分離された第１プレイヤの位置及び方向情報、第２プレイヤ情報から分離された第２プレイヤの位置及び方向情報、そしてローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを出力できる。

【0101】

ここで、空間オーディオエンジン部１０４は、複数のチャネルから入ってきたオーディオデータを合成（ｍｉｘ）して出力チャネル（例えば、２チャネルステレオ）に出力するソフトウェアであって、入力オーディオチャネルに、オーディオデータに加えて音源の位置と方向データも共に入れると、空間感が感じられるオーディオを出力できる。

【0102】

オーディオエンコーダ部１０５は、ステレオオーディオデータをエンコード処理して圧縮オーディオを出力できる。

【0103】

次に、マルチキャスト伝送部１０６は、第１プレイヤ情報をマルチキャストグループ内の他のサーバにマルチキャスト方式で伝送できる（Ｃ）。

【0104】

次に、ユニキャスト伝送部１０７は、圧縮オーディオをクライアント端末にユニキャスト方式で伝送できる（Ｄ）。

【0105】

また、図５に示すように、本開示の他の実施例に係るサーバ１００は、ユニキャスト受信部１０１、マルチキャスト受信部１０２、オーディオデコーダ部１０３、空間オーディオエンジン部１０４、オーディオエンコーダ部１０５、マルチキャスト伝送部１０６、ユニキャスト伝送部１０７、リアルタイムレンダリング部１０８、ビデオエンコーダ部１０９を含むことができる。

【0106】

ここで、ユニキャスト受信部１０１は、クライアント端末からユニキャスト方式で第１プレイヤ情報を受信できる（Ａ）。

【0107】

一例として、第１プレイヤ情報は、第１プレイヤの位置（ｐｏｓｉｔｉｏｎ）情報、方向（ｏｒｉｅｎｔａｔｉｏｎ）情報及び音声（ｖｏｉｃｅ）情報を含むことができる。

【0108】

そして、マルチキャスト受信部１０２は、マルチキャストグループ内の他のサーバからマルチキャスト方式で第２プレイヤ情報を受信できる（Ｂ）。

【0109】

一例として、第２プレイヤ情報は、第２プレイヤの位置（ｐｏｓｉｔｉｏｎ）情報、方向（ｏｒｉｅｎｔａｔｉｏｎ）情報及び音声（ｖｏｉｃｅ）情報を含むことができる。

【0110】

次に、オーディオデコーダ部１０３は、第１プレイヤ情報から分離された第１プレイヤのエンコーディング音声情報と第２プレイヤ情報から分離された第２プレイヤのエンコーディング音声情報をデコード処理してローオーディオデータ（ｒａｗ ａｕｄｉｏ ｄａｔａ）を出力できる。

【0111】

次に、空間オーディオエンジン部１０４は、第１プレイヤ情報から分離された第１プレイヤの位置及び方向情報、第２プレイヤ情報から分離された第２プレイヤの位置及び方向情報、そしてローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを出力できる。

【0112】

ここで、空間オーディオエンジン部１０４は、複数のチャネルから入ってきたオーディオデータを合成（ｍｉｘ）して出力チャネル（例えば、２チャネルステレオ）に出力するソフトウェアであって、入力オーディオチャネルに、オーディオデータに加えて音源の位置と方向データも共に入れると、空間感が感じられるオーディオを出力できる。

【0113】

そして、オーディオエンコーダ部１０５は、ステレオオーディオデータをエンコード処理して圧縮オーディオを出力できる。

【0114】

次に、マルチキャスト伝送部１０６は、第１プレイヤ情報をマルチキャストグループ内の他のサーバにマルチキャスト方式で伝送できる（Ｃ）。

【0115】

そして、リアルタイムレンダリング部１０８は、第１プレイヤ情報から分離された第１プレイヤの位置及び方向情報と第２プレイヤ情報から分離された第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗ ｐｉｃｔｕｒｅ ｄａｔａ）を出力できる。

【0116】

次に、ビデオエンコーダ部１０９は、ロー画像データをエンコード処理して圧縮ビデオを出力できる。

【0117】

次に、ユニキャスト伝送部１０７は、圧縮オーディオ及び圧縮ビデオをクライアント端末にユニキャスト方式で伝送できる（Ｄ）。

【0118】

図６は、本開示に係る空間オーディオ伝送方法を説明するフローチャートである。

【0119】

図６に示すように、本開示では、クライアント端末から第１プレイヤ情報をユニキャスト受信できる（Ｓ１０）。

【0120】

ここで、本開示では、マルチプレイヤ・リアルタイム・コンテンツを実行する第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報を受信できる。

【0121】

一例として、第１プレイヤ情報は、第１プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことができる。

【0122】

そして、本開示では、第１プレイヤ情報をマルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有できる（Ｓ２０）。

【0123】

ここで、本開示は、第１プレイヤ情報を受信すると、マルチキャストグループのグループアドレスを獲得し、獲得したグループアドレスに基づいて第１プレイヤ情報をマルチキャストグループ内の残りの他のサーバにマルチキャスト方式で伝送できる。

【0124】

一例として、本開示は、第１プレイヤ情報を受信すると、第１プレイヤ情報をデータベースに格納した後、第１プレイヤ情報をマルチキャストグループ内の残りの他のサーバにマルチキャスト方式で伝送してマルチキャストグループ内の全てのサーバが第１プレイヤ情報を共有できる。

【0125】

次に、本開示では、マルチキャストグループ内に含まれる他のサーバから第２プレイヤ情報をマルチキャスト受信できる（Ｓ３０）。

【0126】

ここで、本開示は、マルチキャストグループ内に含まれる残りの他のサーバのうちの何れか１つの他のサーバから第２プレイヤ情報をマルチキャスト方式で受信できる。

【0127】

一例として、第２プレイヤ情報は、第２プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことができる。

【0128】

次に、本開示では、第１プレイヤ情報及び第２プレイヤ情報に基づいて、空間オーディオをミックス処理できる（Ｓ４０）。

【0129】

ここで、本開示では、第１プレイヤ情報が受信されると、第１プレイヤ情報からエンコードされた第１プレイヤの音声情報と第１プレイヤの位置及び方向情報を分離し、第２プレイヤ情報が受信されると、第２プレイヤ情報からエンコードされた第２プレイヤの音声情報と第２プレイヤの位置及び方向情報を分離し、エンコードされた第１プレイヤの音声情報と、第２プレイヤの音声情報をデコードしてローオーディオデータ（ｒａｗ ａｕｄｉｏ ｄａｔａ）を生成し、第１プレイヤと第２プレイヤの位置及び方向情報とローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを生成し、ステレオオーディオデータをエンコード処理して圧縮オーディオを出力できる。

【0130】

そして、本開示では、ミックス処理した空間オーディオをクライアント端末にユニキャスト伝送できる（Ｓ５０）。

【0131】

また、本開示では、第１プレイヤと第２プレイヤの位置及び方向情報に基づいて、リアルタイムレンダリング処理してロー画像データ（ｒａｗ ｐｉｃｔｕｒｅ ｄａｔａ）を生成でき、ロー画像データをエンコード処理して圧縮ビデオを出力できる。

【0132】

そして、本開示では、圧縮ビデオをクライアント端末にユニキャスト方式で伝送できる。

【0133】

本開示の一実施例によれば、システムサーバ１００は、１つ以上のコアで構成でき、コンピューティング装置の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、汎用グラフィック処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンソル処理装置（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などのデータ分析、ディープラーニングのためのプロセッサを含むことができる。システムサーバ１００は、データベースに格納されたコンピュータプログラムを読み取り、本開示の一実施例に係る機械学習のためのデータ処理を行える。本開示の一実施例によって、システムサーバ１００は、ニューラルネットワークの学習のための演算を行える。システムサーバ１００は、ディープラーニング（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）で学習のための入力データの処理、入力データからのフィーチャの抽出、誤差の計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いたニューラルネットワークの加重値アップデートなどのニューラルネットワークの学習のための計算を行える。システムサーバ１００のＣＰＵ、ＧＰＧＰＵ、及びＴＰＵのうちの少なくとも１つが、ネットワーク関数の学習を処理できる。例えば、ＣＰＵとＧＰＧＰＵが共にネットワーク関数の学習、ネットワーク関数を用いたデータ分類を処理できる。また、本開示の一実施例において複数のコンピューティング装置のプロセッサを共に用いてネットワーク関数の学習、ネットワーク関数を用いたデータ分類を処理できる。また、本開示の一実施例に係るコンピューティング装置で行われるコンピュータプログラムは、ＣＰＵ、ＧＰＧＰＵ又はＴＰＵ実行可能プログラムであり得る。

【0134】

本開示の一実施例によれば、データベースは、ビデオ及びオーディオストリーミングを行うためのコンピュータプログラムを格納でき、格納されたコンピュータプログラムは、プロセッサによって読み取られて駆動できる。データベースは、システムサーバ１００が生成又は決定した任意の形態の情報及びネットワーク部が受信した任意の形態の情報を格納できる。

【0135】

本開示の一実施例によれば、データベースは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉ ｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリなど）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうちの少なくとも１つのタイプの格納媒体を含むことができる。システムサーバ１００は、インターネット（ｉｎｔｅｒｎｅｔ）上でデータベースの格納機能を実行するウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と関連して動作することもできる。前述したデータベースについての記載は例示に過ぎず、これに限定されない。

【0136】

本開示のシステムサーバ１００は、出力部及び入力部を更に含むこともできる。

【0137】

本開示の一実施例に係る出力部は、ビデオ及びオーディオストリーミング結果を提供するためのユーザインターフェース（ＵＩ、ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を表示できる。出力部は、システムサーバ１００が生成又は決定した任意の形態の情報及び受信した任意の形態の情報を出力できる。

【0138】

本開示の一実施例において、出力部は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ－ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）のうちの少なくとも１つを含むことができる。これらのうち一部のディスプレイモジュールは、それを介して外部が見えるように透明型又は光透過型で構成できる。これを透明ディスプレイモジュールと称することができるが、前記透明ディスプレイモジュールの代表的な例としては、ＴＯＬＥＤ（Ｔｒａｎｓｐａｒｅｎｔ ＯＬＥＤ）などがある。

【0139】

本開示の一実施例に係る入力部は、ユーザの入力を受信できる。入力部は、ユーザの入力を受信するためのユーザインターフェース上のキー及び／又はボタン、又は物理的なキー及び／又はボタンを備えることができる。入力部を介したユーザの入力によって、本開示の実施例に係るディスプレイを制御するためのコンピュータプログラムが実行されることができる。

【0140】

本開示の実施例に係る入力部は、ユーザのボタン操作又はタッチ入力を感知して信号を受信するか、カメラ又はマイクロフォンを介してユーザなどの音声又は動作を受信してこれを入力信号に変換することもできる。このために、音声認識（Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）技術又は動作認識（Ｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ）技術が用いられる。

【0141】

本開示の実施例に係る入力部は、システムサーバ１００に接続された外部の入力装備として実現できる。例えば、入力装備は、ユーザの入力を受信するためのタッチパッド、タッチペン、キーボード又はマウスのうちの少なくとも１つであり得るが、これは例示に過ぎず、これに限定されるものではない。

【0142】

本開示の一実施例に係る入力部は、ユーザのタッチ入力を認識できる。本開示の一実施例に係る入力部は、出力部と同一の構成とできる。入力部は、ユーザの選択入力を受信するように実現されるタッチスクリーンで構成できる。タッチスクリーンは、接触式静電容量方式、赤外線光感知方式、表面超音波（ＳＡＷ）方式、圧電方式、抵抗膜方式のうちの何れか１つの方式が用いられる。前述したタッチスクリーンについての詳細な記載は、本開示の一実施例に係る例示に過ぎず、多様なタッチスクリーンパネルをシステムサーバ１００に採用できる。タッチスクリーンで構成された入力部は、タッチセンサを含むことができる。タッチセンサは、入力部の特定部位に加えられた圧力又は入力部の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成できる。タッチセンサは、タッチされる位置及び面積だけでなく、タッチ時の圧力までも検出できるように構成できる。タッチセンサに対するタッチ入力がある場合、それに対応する（各）信号は、タッチ制御器に送られる。タッチ制御器は、その（各）信号を処理した後、対応するデータをシステムサーバ１００に伝送できる。これにより、システムサーバ１００は、入力部のどの領域がタッチされたかなどを認識できる。

【0143】

このように、本開示では、クライアント端末から受信するマルチプレイヤ・リアルタイム・コンテンツのプレイヤ情報をマルチキャストグループ内に含まれるサーバにマルチキャスト伝送して共有し、共有したプレイヤ情報に基づいて空間オーディオデータをミックス処理することによって、重複データの伝送を除去してネットワークの負荷を低減し、空間オーディオデータを効率的に伝送できる。

【0144】

即ち、本開示では、ユニキャストの代わりに、マルチキャストを用いるので、重複したデータの伝送を除去でき、ネットワークの負荷を低減できる。

【0145】

また、本開示では、サーバさえ同一のネットワーク内に存在すればよいので、クライアント端末の場合、物理的な位置から自由になり得る。

【0146】

以上で前述した本開示の一実施例に係る方法は、ハードウェアであるサーバに実行させるためのプログラム（又はアプリケーション）として実現して媒体に格納できる。

【0147】

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムにより実現された前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

【0148】

前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ記録装置などがあるが、これに限定されない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納できる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方式でコンピュータが読み取れるコードを格納できる。

【0149】

本開示の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接実現できるか、ハードウェアによって実行されるソフトウェアモジュールで実現できるか、又はそれらの結合によって実現できる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ－ＲＯＭ、又は本開示の属する技術分野における周知となっている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。

【0150】

以上、添付の図面を参照して本開示の実施例を説明したが、本開示の属する技術分野における通常の技術者は、本開示がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるはずである。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】