特許 7560035 ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240925BHJP

【ＦＩ】

H04S7/00 300

【請求項の数】 14

(21)【出願番号】P 2022103609

(22)【出願日】2022-06-28

(65)【公開番号】P2023008889

(43)【公開日】2023-01-19

【審査請求日】2022-06-28

(31)【優先権主張番号】10-2021-0083681

(32)【優先日】2021-06-28

(33)【優先権主張国・地域又は機関】KR

【前置審査】

(73)【特許権者】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(73)【特許権者】

【識別番号】518449353

【氏名又は名称】ガウディオ・ラボ・インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】キム ジョンシク

(72)【発明者】

【氏名】キム デファン

(72)【発明者】

【氏名】キム ドンファン

(72)【発明者】

【氏名】イ テギュ

(72)【発明者】

【氏名】ソ ジョンフン

(72)【発明者】

【氏名】ソ ヒョンス

【審査官】川▲崎▼ 博章

(56)【参考文献】

【文献】特表２００６－５０３４９０（ＪＰ，Ａ）

【文献】特表２０１５－５３１０７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータシステムによる方法であって、
電子機器から、メタデータを含むコンテンツを受信する段階であって、前記コンテンツのフォーマットは、前記電子機器の類型に応じたコンテンツの制作環境に応じて設定され、前記メタデータは、少なくとも１つのオーディオファイルと関連するオーディオ場面の属性を説明する情報であり、前記オーディオ場面は、少なくとも１つの物体を含み、前記メタデータは、前記物体に対する空間的特徴を含む、段階、
前記コンテンツの前記制作環境と電子装置のコンテンツの再生環境が符合するかどうか判断し、前記コンテンツの前記制作環境と前記再生環境が符合しない場合、
前記電子装置の前記コンテンツの前記再生環境に応じて前記コンテンツの前記フォーマットを変換する段階、および
前記変換されたフォーマットの前記コンテンツを前記電子装置に送信する段階、
前記コンテンツの前記制作環境と前記再生環境が符合する場合、前記コンテンツのフォーマットを維持しながら、前記コンテンツを前記電子装置に送信する段階、
を含み、
前記コンテンツの前記フォーマットは、
前記メタデータに基づいて、前記物体と関連するオーディオ信号をレンダリングして再生するための第１フォーマット、または
前記メタデータに基づいて、前記物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第２フォーマット
のうちの少なくとも一方を含む、方法。

【請求項2】

前記コンテンツのフォーマットを変換する段階は、
前記第２フォーマットのコンテンツを前記第１フォーマットのコンテンツに変換する段階
を含む、請求項１に記載の方法。

【請求項3】

前記第１フォーマットのコンテンツに変換する段階は、
前記第２フォーマットのコンテンツから前記メタデータを検出する段階、および
前記メタデータを前記第１フォーマットに変換する段階
を含む、請求項２に記載の方法。

【請求項4】

前記コンテンツのフォーマットを変換する段階は、
前記第１フォーマットのコンテンツを前記第２フォーマットのコンテンツに変換する段階
を含む、請求項１に記載の方法。

【請求項5】

前記第２フォーマットのコンテンツに変換する段階は、
前記再生環境の前記オーディオ出力デバイスに対するレイアウトに基づいて、前記第１フォーマットのコンテンツを前記第２フォーマットのコンテンツに変換する段階
を含む、請求項４に記載の方法。

【請求項6】

複数のオーディオ信号である完成したコンテンツを受信する段階、および
前記完成したコンテンツを前記電子装置に送信する段階
をさらに含む、請求項１に記載の方法。

【請求項7】

請求項１～６のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。

【請求項8】

請求項１～６のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。

【請求項9】

コンピュータシステムであって、
メモリ、
通信モジュール、および
前記メモリおよび前記通信モジュールとそれぞれ連結して前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサを含み、
前記プロセッサは、
前記通信モジュールを経て、電子機器から、メタデータを含むコンテンツを受信し、ここで、前記コンテンツのフォーマットは、前記電子機器の類型に応じたコンテンツの制作環境に応じて設定され、
前記コンテンツの前記制作環境と電子装置のコンテンツの再生環境が符合するかどうか判断し、前記コンテンツの前記制作環境と前記再生環境が符合しない場合、
前記電子装置の前記コンテンツの前記再生環境に応じて前記コンテンツの前記フォーマットを変換し、
前記通信モジュールを経て、前記変換されたフォーマットの前記コンテンツを前記電子装置に送信し、
前記コンテンツの前記制作環境と前記再生環境が符合する場合、前記コンテンツのフォーマットを維持しながら、前記通信モジュールを経て、前記コンテンツを前記電子装置に送信する、
ように構成され、
前記メタデータは、少なくとも１つのオーディオファイルと関連するオーディオ場面の属性を説明する情報であり、前記オーディオ場面は、少なくとも１つの物体を含み、前記メタデータは、前記物体に対する空間的特徴を含み、
前記コンテンツの前記フォーマットは、
前記メタデータに基づいて、前記物体と関連するオーディオ信号をレンダリングして再生するための第１フォーマット、または
前記メタデータに基づいて、前記物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第２フォーマット
のうちの少なくとも一方を含む、
コンピュータシステム。

【請求項10】

前記プロセッサは、
前記第２フォーマットのコンテンツを前記第１フォーマットのコンテンツに変換するように構成される第１変換モジュール
を含む、請求項９に記載のコンピュータシステム。

【請求項11】

前記第１変換モジュールは、
前記第２フォーマットのコンテンツから前記メタデータを検出し、
前記メタデータを前記第１フォーマットに変換するように構成される、
請求項１０に記載のコンピュータシステム。

【請求項12】

前記プロセッサは、
前記第１フォーマットのコンテンツを前記第２フォーマットのコンテンツに変換するように構成される第２変換モジュールを含む、
請求項９に記載のコンピュータシステム。

【請求項13】

前記第２変換モジュールは、
前記再生環境の前記オーディオ出力デバイスに対するレイアウトに基づいて、前記第１フォーマットのコンテンツを前記第２フォーマットのコンテンツに変換するように構成される、
請求項１２に記載のコンピュータシステム。

【請求項14】

前記プロセッサは、
前記通信モジュールを経て、複数のオーディオ信号である完成したコンテンツを受信し、
前記通信モジュールを経て、前記完成したコンテンツを前記電子装置に送信するように構成される、
請求項９に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

多様な実施形態は、ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法に関する。

【背景技術】

【0002】

一般的に、コンテンツ提供サーバは、完成した形態のオーディオコンテンツをユーザに提供する。このとき、完成した形態のオーディオコンテンツは、複数のオーディオ信号をミキシングして実現されるが、例えば、ステレオ形態のオーディオコンテンツなどがこれに該当する。これにより、ユーザの電子装置は、完成した形態のオーディオコンテンツを受信してこれを再生する。すなわち、ユーザは、完成した形態のオーディオコンテンツを基盤とする、定められた構成の音響しか聞くことしかできない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

多様な実施形態は、多様な制作環境で制作されるコンテンツと多様な再生環境を支援するコンピュータシステムおよびその方法を提供する。

【0004】

多様な実施形態は、多様な制作環境で制作されるコンテンツに対して、多様な再生環境でユーザカスタム型の臨場感を実現することができるコンピュータシステムおよびその方法を提供する。

【課題を解決するための手段】

【0005】

多様な実施形態に係るコンピュータシステムによる方法は、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信する段階、電子装置の前記コンテンツの再生環境に応じて前記コンテンツのフォーマットを変換する段階、および前記変換されたフォーマットの前記コンテンツを前記電子装置に送信する段階を含んでよい。

【0006】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムは、前記方法を前記コンピュータシステムに実行させるためのものであってよい。

【0007】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体には、前記方法を前記コンピュータシステムに実行させるためのプログラムが記録されていてよい。

【0008】

多様な実施形態に係るコンピュータシステムは、メモリ、通信モジュール、および前記メモリおよび前記通信モジュールとそれぞれ連結して前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、前記通信モジュールにより、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信し、電子装置の前記コンテンツの再生環境に応じて前記コンテンツのフォーマットを変換し、前記通信モジュールを経て、前記変換されたフォーマットの前記コンテンツを前記電子装置に送信するように構成されてよい。

【発明の効果】

【0009】

多様な実施形態によると、コンピュータシステムは、多様な制作環境で制作されるコンテンツと多様な再生環境を支援することができる。すなわち、コンピュータシステムは、再生環境に符合するフォーマットのコンテンツを電子装置に提供することができる。このために、コンピュータシステムは、制作環境で設定されるコンテンツのフォーマットを再生環境に符合するように変換する。したがって、コンピュータシステムは、多様な制作環境で制作されるコンテンツに対して、多様な再生環境でユーザカスタム型の臨場感を実現することができる。このとき、コンピュータシステムは、プレーンコンテンツはもちろん、イマーシブコンテンツを処理することもできる。言い換えれば、コンピュータシステムは、多様な再生環境でイマーシブコンテンツによるユーザカスタム型の臨場感を実現することができる。

【図面の簡単な説明】

【0010】

【図1】多様な実施形態における、コンテンツ提供システムを示したブロック図である。

【図2】図１のコンピュータシステムおよび電子装置の詳細構成を示したブロック図である。

【図3】図１のコンピュータシステムの機能を説明するための例示図である。

【図4】多様な実施形態における、コンテンツ提供システムの信号の流れを示したフローチャートである。

【図5】多様な実施形態における、サーバの内部構成を示したブロック図である。

【図6】サーバの機能を説明するための例示図である。

【図7】サーバの機能を説明するための例示図である。

【図8】サーバの機能を説明するための例示図である。

【図9a】サーバの機能を説明するための例示図である。

【図9b】サーバの機能を説明するための例示図である。

【図10a】サーバの機能を説明するための例示図である。

【図10b】サーバの機能を説明するための例示図である。

【図11】多様な実施形態における、サーバの動作を示したフローチャートである。

【図12】多様な実施形態における、電子装置の内部構成を示したブロック図である。

【図13】多様な実施形態における、電子装置の動作を示したフローチャートである。

【発明を実施するための形態】

【0011】

以下、本文書の多様な実施形態について、添付の図面を参照しながら説明する。

【0012】

以下、物体（ｏｂｊｅｃｔ）という用語は、オーディオ信号を発生させる機器または人物を示してよい。例えば、物体は、楽器、楽器の演奏者、ボーカリスト（ｖｏｃａｌｉｓｔ）、話者（ｔａｌｋｅｒ）、伴奏や音響効果などを発生させるスピーカ、またはアンビエンス（ａｍｂｉｅｎｃｅ）を発生させる背景のうちの１つを含んでよい。また、オーディオファイル（ａｕｄｉｏ ｆｉｌｅ）という用語は、各物体が発生させるオーディオ信号に対するオーディオデータを示してよい。

【0013】

以下、メタデータという用語は、少なくとも１つのオーディオファイルと関連するオーディオ場面の属性を説明するための情報を示してよい。このとき、オーディオ場面は、少なくとも１つの物体で構成され、メタデータは、物体に対する少なくとも１つの空間的特徴を含んでよい。例えば、メタデータは、少なくとも１つの物体の位置情報、少なくとも２つの物体の位置の組み合わせを示すグループ情報、または少なくとも１つの物体が配置される現場（ｖｅｎｕｅ）の環境情報のうちの少なくとも１つを含んでよい。また、現場は、例えば、スタジオ（ｓｔｕｄｉｏ）、コンサートホール（ｃｏｎｃｅｒｔ ｈａｌｌ）、ストリート（ｓｔｒｅｅｔ）、スタジアム（ｓｔａｄｉｕｍ）などを含んでよい。

【0014】

図１は、多様な実施形態における、コンテンツ提供システム１００を示したブロック図である。

【0015】

図１を参照すると、多様な実施形態に係るコンテンツ提供システム１００は、コンピュータシステム１１０および電子装置１５０を含んでよい。

【0016】

コンピュータシステム１１０は、ユーザのためにコンテンツを提供してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：ＶＲ）コンテンツ、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）コンテンツ、エクステンデッドリアリティ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ：ＸＲ）コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン（ｐｌａｉｎ）コンテンツまたはイマーシブ（ｉｍｍｅｒｓｉｖｅ）コンテンツのうちの少なくとも一方を含んでよい。プレーンコンテンツは、完成した形態のコンテンツであり、イマーシブコンテンツは、ユーザカスタム型コンテンツであってよい。以下、オーディオコンテンツを例に挙げて説明する。

【0017】

プレーンオーディオコンテンツは、複数の物体から発生するオーディオ信号がミキシングされたステレオ形態で実現されてよい。一方、イマーシブオーディオコンテンツは、複数の物体から発生するオーディオ信号に対するオーディオファイルおよびこれに対するメタデータで構成されてよい。このとき、イマーシブオーディオコンテンツ内において、オーディオファイルとこれに対するメタデータは個別に存在してよい。

【0018】

電子装置１５０は、コンピュータシステム１１０から提供されるコンテンツを再生してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ（ＶＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、エクステンデッドリアリティ（ＸＲ）コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン（ｐｌａｉｎ）コンテンツまたはイマーシブ（ｉｍｍｅｒｓｉｖｅ）コンテンツのうちの少なくとも一方を含んでよい。

【0019】

コンピュータシステム１１０からイマーシブオーディオコンテンツが受信されれば、電子装置１５０は、イマーシブオーディオコンテンツからオーディオファイルおよびこれに対するメタデータをそれぞれ取得してよい。この後、電子装置１５０は、メタデータに基づいてオーディオファイルを再生してよい。これにより、電子装置１５０は、イマーシブオーディオコンテンツに基づいて、オーディオと関連してユーザカスタム型の臨場感を実現することが可能となる。したがって、ユーザは、少なくとも１つの物体が配置された現場において、該当の物体が発生させるオーディオ信号を直に聞くような臨場感を感じることができるようになる。

【0020】

図２は、図１のコンピュータシステム１１０と電子装置１５０の詳細構成を示したブロック図である。図３は、図１のコンピュータシステム１１０の機能を説明するための例示図である。

【0021】

図２を参照すると、多様な実施形態に係るコンピュータシステム１１０は、電子機器（制作スタジオとも呼ばれる）２１０またはサーバ２３０のうちの少なくとも１つを含んでよい。一実施形態において、コンピュータシステム１１０の構成要素のうちの少なくとも１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態において、コンピュータシステム１１０の構成要素のうちの少なくとも２つが１つに統合されて実現されてもよい。一実施形態によると、電子機器２１０とサーバ２３０は、１つに統合されて実現されてもよい。例えば、電子機器２１０は、オーディオコンソール、ダンテ（ｄａｎｔｅ）のようなオーディオインタフェースなどの多様なハードウェアを備える機器であって、スマートフォン、携帯電話、ナビゲーション、コンピュータ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ、ＰＭＰ、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴデバイス、家電機器、医療機器、またはロボットのうちの少なくとも１つを含んでよい。

【0022】

電子機器２１０は、コンテンツを制作してよい。このとき、電子機器２１０の類型に応じてコンテンツの制作環境が定義されてよい。また、コンテンツの制作環境に応じてコンテンツのフォーマットが設定されてよい。すなわち、電子機器２１０は、予め定められたフォーマットのコンテンツを制作してよい。コンテンツのフォーマットは、イマーシブコンテンツに対する第１フォーマットや第２フォーマット、またはプレーンコンテンツに対する第３フォーマットのうちの少なくとも１つを含んでよい。第１フォーマットは、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生するためのフォーマットを示してよい。例えば、第１フォーマットはＧＡ７フォーマットを含み、ＧＡ７フォーマットはバイナリ形態で表現されてよい。第２フォーマットは、メタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するためのフォーマットを示し、マルチチャンネルフォーマットとも呼ばれる。例えば、第２フォーマットはＡＤＭ（ａｕｄｉｏ ｄｅｆｉｎｉｔｉｏｎ ｍｏｄｅｌ）フォーマットを含み、ＡＤＭフォーマットはＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形態で表現されてよい。ここで、ＡＤＭフォーマットは、５．１、７．１、ドルビーアトモス（ｄｏｌｂｙ ａｔｍｏｓ）のようなオブジェクト指向オーディオ技術で支援されている。すなわち、第１フォーマットのオーディオコンテンツは、第１フォーマットに従ってメタデータを含んでよく、第２フォーマットのオーディオコンテンツは、第２フォーマットに従ってメタデータを含んでよい。

【0023】

一実施形態において、電子機器２１０は、図３に示すように、第１フォーマットのコンテンツ、第２フォーマットのコンテンツ、または第３フォーマットのコンテンツのうちの少なくとも１つを制作してよい。以下、オーディオコンテンツを例に挙げて説明する。

【0024】

第３フォーマットのオーディオコンテンツ、すなわち、プレーンオーディオコンテンツは、複数の物体から発生するオーディオ信号がミキシングされたステレオ形態で実現されてよい。例えば、電子機器２１０は、オーディオ信号がミキシングされたオーディオ信号を現場で取得し、これに基づいてプレーンオーディオコンテンツを生成してよい。一方、第１フォーマットのオーディオコンテンツ、すなわち、イマーシブオーディオコンテンツは、現場で複数の物体から発生するオーディオ信号に対するオーディオファイルおよびこれに対するメタデータで構成されてよい。このとき、イマーシブオーディオコンテンツ内で、オーディオファイルとこれに対するメタデータは個別に存在してよい。例えば、電子機器２１０は、複数の物体に対するオーディオファイルをそれぞれ取得し、これに基づいてイマーシブオーディオコンテンツを生成してよい。

【0025】

多様な実施形態によると、電子装置１５０の再生環境が定義されてよい。このとき、電子装置１５０の類型に応じて電子装置１５０の再生環境が決定されてよい。また、電子装置１５０は、自身の再生環境に応じてコンテンツを再生してよい。

【0026】

具体的に、電子装置１５０は、イマーシブコンテンツの再生が可能な第１電子装置２５１や第２電子装置２５３、またはプレーンコンテンツの再生が可能な第３電子装置２５５のうちの少なくとも１つを含んでよい。第１電子装置２５１は、第１フォーマットのコンテンツを再生するためのものであって、メタデータに基づいて物体と関連するオーディオ信号をレンダリングして再生してよい。例えば、第１電子装置２５１は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、コンピュータ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、タブレット、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、家電機器、医療機器、またはロボット（ｒｏｂｏｔ）のうちの少なくとも１つを含んでよい。第２電子装置２５３は、第２フォーマットのコンテンツを再生するためのものであって、メタデータに基づいて物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。例えば、第２電子装置２５３は、ＡＶＲ（ａｕｄｉｏ ｖｉｄｅｏ ｒｅｃｅｉｖｅｒ）、サウンドバー（ｓｏｕｎｄｂａｒ）、またはホームシアター（ｈｏｍｅ ｃｉｎｅｍａ）のうちの少なくとも１つを含んでよい。第３電子装置２５５は、第３フォーマットのコンテンツを再生するためのものであって、受信されるプレーンコンテンツを再生してよい。

【0027】

サーバ２３０は、コンテンツを電子装置１５０に送信してよい。このとき、サーバ２３０は、コンテンツの再生環境に応じてコンテンツを送信してよい。具体的に、サーバ２３０は、コンテンツの制作環境と再生環境の符合状況に応じてコンテンツを処理してよい。

【0028】

一実施形態によると、コンテンツの制作環境と再生環境が符合しない場合、サーバ２３０は、コンテンツのタイプを変換してよい。このとき、サーバ２３０は、電子装置１５０のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。一例として、第２フォーマットのコンテンツが第１電子装置２５１で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換してよい。これにより、サーバ２３０は、第１フォーマットのコンテンツを第１電子装置２５１に送信することが可能となる。他の例として、第１フォーマットのコンテンツが第２電子装置２５３で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。これにより、サーバ２３０は、第２フォーマットのコンテンツを第２電子装置２５３に送信することが可能となる。

【0029】

他の実施形態によると、コンテンツの制作環境と再生環境が符合する場合、サーバ２３０は、コンテンツのフォーマットを変換せずに維持してよい。一例として、第１フォーマットのコンテンツが第１電子装置２５１で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第１フォーマットのコンテンツを第１電子装置２５１に伝達してよい。他の例として、第２フォーマットのコンテンツが第２電子装置２５３で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第２フォーマットのコンテンツを第２電子装置２５３に伝達してよい。また他の例として、第３フォーマットのコンテンツが第３電子装置２５５で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第３フォーマットのコンテンツを第３電子装置２５５に伝達してよい。

【0030】

図４は、多様な実施形態における、コンテンツ提供システム１００の信号の流れを示したフローチャートである。

【0031】

図４を参照すると、段階４１０において、電子機器２１０は、制作環境に応じてコンテンツを制作してよい。このとき、電子機器２１０の類型に応じてコンテンツの制作環境が定義されてよい。この後、コンテンツの制作環境に応じてコンテンツのフォーマットが設定されてよい。コンテンツのフォーマットは、第１フォーマット、第２フォーマット、または第３フォーマットのうちの１つが設定されてよい。第１フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットに従ってメタデータを含んでよい。第２フォーマットのコンテンツは、イマーシブコンテンツであって、第２フォーマットに従ってメタデータを含んでよい。第３フォーマットのコンテンツは、プレーンコンテンツであってよい。電子機器２１０は、第１フォーマットのコンテンツ、第２フォーマットのコンテンツ、または第３フォーマットのコンテンツのうちの少なくとも１つを制作してよい。この後、段階４２０において、電子機器２１０は、サーバ２３０にコンテンツを送信してよい。これにより、段階４２０において、サーバ２３０は、電子機器２１０からコンテンツを受信してよい。

【0032】

次に、段階４３０において、サーバ２３０は、受信されるコンテンツの制作環境が再生環境に符合するかどうかを判断してよい。すなわち、サーバ２３０は、コンテンツに対して、制作環境が再生環境に符合するかどうかを判断してよい。このとき、サーバ２３０は、コンテンツのフォーマットに基づいて制作環境が再生環境に符合するかどうかを判断してよい。これは、コンテンツのフォーマットが制作環境に応じて設定されているためである。

【0033】

段階４３０において、コンテンツの制作環境と再生環境が符合しないと判断されれば、段階４４０において、サーバ２３０は、再生環境に応じてコンテンツのフォーマットを変換してよい。すなわち、サーバ２３０は、電子装置１５０のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。この後、段階４５０において、サーバ２３０は、変換されたフォーマットのコンテンツを電子装置１５０に送信してよい。一例として、第２フォーマットのコンテンツが第１電子装置２５１で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換してよい。これにより、サーバ２３０は、第１フォーマットのコンテンツを第１電子装置２５１に送信することが可能となる。他の例として、第１フォーマットのコンテンツが第２電子装置２５３で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。これにより、サーバ２３０は、第２フォーマットのコンテンツを第２電子装置２５３に送信することが可能となる。

【0034】

一方、段階４３０において、コンテンツの制作環境と再生環境が符合すると判断されれば、段階４５０において、サーバ２３０は、設定されたフォーマットのコンテンツを電子装置１５０に送信してよい。すなわち、サーバ２３０は、コンテンツのフォーマットを変換せずに維持しながら、電子装置１５０にコンテンツを送信してよい。一例として、第１フォーマットのコンテンツが第１電子装置２５１で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第１フォーマットのコンテンツを第１電子装置２５１に伝達してよい。他の例として、第２フォーマットのコンテンツが第２電子装置２５３で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第２フォーマットのコンテンツを第２電子装置２５３に伝達してよい。また他の例として、第３フォーマットのコンテンツが第３電子装置２５５で再生されるようにするために、サーバ２３０は、電子機器２１０から受信される第３フォーマットのコンテンツを第３電子装置２５５に伝達してよい。

【0035】

これにより、段階４６０において、電子装置１５０は、受信されるコンテンツを再生環境に応じて再生してよい。このとき、電子装置１５０は、第１電子装置２５１、第２電子装置２５３、または第３電子装置２５５のうちの少なくとも１つを含んでよい。第１電子装置２５１は、第１フォーマットのコンテンツを受信して再生してよい。ここで、第１電子装置２５１は、メタデータに基づいて物体と関連するオーディオ信号をレンダリングして再生してよい。第２電子装置２５３は、第２フォーマットのコンテンツを受信して再生してよい。ここで、第２電子装置２５３は、メタデータに基づいて物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。第３電子装置２５５は、第３フォーマットのコンテンツを受信して再生してよい。ここで、第３電子装置は、受信されるプレーンコンテンツを再生してよい。

【0036】

図５は、多様な実施形態における、サーバ２３０の内部構成を示したブロック図である。図６、図７、図８、図９ａ、図９ｂ、図１０ａ、および図１０ｂは、サーバ２３０の機能を説明するための例示図である。

【0037】

図５を参照すると、多様な実施形態に係るサーバ２３０は、通信モジュール５１０、メモリ５２０、またはプロセッサ５３０のうちの少なくとも１つを含んでよい。一実施形態において、サーバ２３０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態において、サーバ２３０の構成要素のうちの少なくともいずれか２つが１つの統合された回路で実現されてもよい。

【0038】

通信モジュール５１０は、サーバ２３０と外部装置との通信を実行してよい。通信モジュール５１０は、サーバ２３０と外部装置との間に通信チャンネルを確立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、電子機器２１０または電子装置１５０のうちの少なくとも１つを含んでよい。通信モジュール５１０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、外部装置と有線で接続し、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、Ｗｉ－Ｆｉダイレクト（ＷｉＦｉ ｄｉｒｅｃｔ）、または赤外線通信（ＩｒＤＡ：ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラーネットワーク、インターネット、またはＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。一実施形態において、通信モジュール５１０は、ＨＬＳ（ＨＴＴＰ ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）プロトコルまたはＤＡＳＨ（ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）のうちの少なくとも１つを支援してよい。

【0039】

メモリ５２０は、サーバ２３０の少なくとも１つの構成要素によって使用される多様なデータを記録してよい。例えば、メモリ５２０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラムおよびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ５２０に少なくとも１つの命令を含むソフトウェアとして記録されてよい。

【0040】

プロセッサ５３０は、メモリ５２０のプログラムを実行し、サーバ２３０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ５３０は、データ処理または演算を実行してよい。このとき、プロセッサ５３０は、メモリ５２０に記録された命令を実行してよい。プロセッサ５３０は、コンテンツを電子装置１５０に送信してよい。このとき、プロセッサ５３０は、コンテンツの再生環境に応じてコンテンツを送信してよい。具体的に、プロセッサ５３０は、コンテンツの制作環境と再生環境の符合状況に応じてコンテンツを処理してよい。一実施形態によると、コンテンツの制作環境と再生環境が符合しない場合、サーバ２３０は、コンテンツのタイプを変換してよい。このとき、サーバ２３０は、電子装置１５０のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。他の実施形態によると、コンテンツの制作環境と再生環境が符合する場合、サーバ２３０は、コンテンツのフォーマットを変換せずに維持してよい。

【0041】

具体的に、コンテンツのフォーマットは、第１フォーマット、第２フォーマット、または第３フォーマットのうちの１つが設定されてよい。第１フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットは、メタデータに基づいて物体と関連するオーディオ信号をレンダリングして再生するためのフォーマットを示してよい。例えば、第１フォーマットはＧＡ７フォーマットを含み、ＧＡ７フォーマットはバイナリ形態で表現されてよい。第２フォーマットのコンテンツは、イマーシブコンテンツであって、第２フォーマットは、メタデータに基づいて物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するためのフォーマットを示し、マルチチャンネルフォーマットとも呼ばれる。例えば、第２フォーマットはＡＤＭフォーマットを含み、ＡＤＭフォーマットはＸＭＬ形態で表現されてよい。ここで、ＡＤＭフォーマットは、５．１、７．１、ドルビーアトモスのような技術で支援されている。すなわち、第１フォーマットのオーディオコンテンツは、第１フォーマットに従ってメタデータを含み、第２フォーマットのオーディオコンテンツは、第２フォーマットに従ってメタデータを含んでよい。第３フォーマットのコンテンツは、プレーンコンテンツであってよい。

【0042】

多様な実施形態によると、プロセッサ５３０は、第１変換モジュール５３１、第１エンコーダ５３３、第２変換モジュール５３５、または第２エンコーダ５３７のうちの少なくとも１つを含んでよい。

【0043】

第１変換モジュール５３１は、第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換してよい。ここで、第１変換モジュール５３１は、コンバータ（ｃｏｎｖｅｒｔｅｒ）とも呼ばれる。第２フォーマットのコンテンツが第１電子装置２５１で再生されるようにするために、第１変換モジュール５３１は、通信モジュール５１０を通じて電子機器２１０から受信される第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換してよい。例えば、第１変換モジュール５３１は、ＡＤＭフォーマットのコンテンツをＧＡ７フォーマットのコンテンツに変換してよい。一実施形態によると、第１変換モジュール５３１は、第２フォーマットのコンテンツからメタデータを検出し、検出されたメタデータを第１フォーマットに変換することによって第１フォーマットのコンテンツを生成してよい。例えば、第１変換モジュール５３１は、検出されたメタデータを図６に示すような構造のバイナリ形態で表現されるメタデータに変換し、変換されたメタデータを利用して、第１フォーマットのコンテンツを図７に示すようなＰＣＭ入力（ｉｎｐｕｔ）構造で生成してよい。図６によると、メタデータは、各物体の位置、各物体と関連するオーディオ効果、または現場と関連するオーディオ効果のうちの少なくとも１つを示してよい。図７によると、ＰＣＭ入力構造は、先進的音響符号化（ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ：ＡＡＣ）規格を支援し、複数のチャンネルで構成され、チャンネルのうちの１つが変換されたメタデータのために設けられてよい。

【0044】

第１エンコーダ５３３は、第１フォーマットのコンテンツをエンコードしてよい。例えば、第１エンコーダ５３３は、ＧＡ７フォーマットのコンテンツをエンコードしてよい。一実施形態によると、第１エンコーダ５３３は、第１変換モジュール５３１から出力される第１フォーマットのコンテンツをエンコードしてよい。他の実施形態によると、第１エンコーダ５３３は、通信モジュール５１０を通じて電子機器２１０から受信される第１フォーマットのコンテンツをエンコードしてよい。例えば、第１エンコーダ５３３は、ＡＡＣエンコーダとも呼ばれる。第１エンコーダ５３３は、第１フォーマットのコンテンツを図７に示すようなＰＣＭ入力構造で、図８に示すようなＡＡＣビットストリーム構造にエンコードしてよい。ここで、第１フォーマットのコンテンツのメタデータは、ＡＡＣビットストリーム内のＤＳＥ（ｄａｔａ ｓｔｒｅａｍ ｅｌｅｍｅｎｔ）に注入されてよい。これにより、プロセッサ５３０は、通信モジュール５１０を経て、第１フォーマットのコンテンツを電子装置１５０に送信してよい。このとき、プロセッサ５３０は、第１フォーマットのコンテンツを第１電子装置２５１に送信してよい。これにより、第１電子装置２５１は、第１フォーマットのコンテンツを再生することが可能となる。

【0045】

第２変換モジュール５３５は、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。ここで、第２変換モジュール５３５は、ダウンミキサー（ｄｏｗｎｍｉｘｅｒ）とも呼ばれる。第１フォーマットのコンテンツが第２電子装置２５３で再生されるようにするために、第２変換モジュール５３５は、通信モジュール５１０を通じて電子機器２１０から受信される第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。例えば、第２変換モジュール５３５は、ＧＡ７フォーマットのコンテンツをマルチチャンネルフォーマットのコンテンツに変換してよい。一実施形態によると、第２変換モジュール５３５は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。これにより、プロセッサ５３０は、通信モジュール５１０を経て、第２フォーマットのコンテンツを電子装置１５０に送信してよい。このとき、プロセッサ５３０は、第２フォーマットのコンテンツを第２電子装置２５３に送信してよい。

【0046】

一例として、第２変換モジュール５３５は、図７に示すようなＰＣＭ入力構造のコンテンツから、図９ａに示すような５．１構造のコンテンツを生成してよい。これにより、プロセッサ５３０は、図９ａに示すような５．１構造のコンテンツを第２電子装置２５３の制御モジュールＣに送信してよい。これにより、第２電子装置２５３の制御モジュールＣは、図９ｂに示すように、オーディオ出力デバイスＦＬ、ＦＲ、ＦＣ、ＬＦＥ、ＳＬ、ＳＲを利用して、５．１構造のコンテンツを再生することが可能となる。他の例として、第２変換モジュール５３５は、図７に示すようなＰＣＭ入力構造のコンテンツから、図１０ａに示すような７．１構造のコンテンツを生成してよい。これにより、プロセッサ５３０は、図１０ａに示すような７．１構造のコンテンツを第２電子装置２５３の制御モジュールＣに送信してよい。これにより、第２電子装置２５３は、図１０ｂに示すように、オーディオ出力デバイスＦＬ、ＦＲ、ＦＣ、ＬＦＥ、ＳＬ、ＳＲ、ＳＢＬ、ＳＢＲを利用して、７．１構造のコンテンツを再生することが可能となる。

【0047】

第２エンコーダ５３７は、第３フォーマットのコンテンツをエンコードしてよい。すなわち、第２エンコーダ５３７は、プレーンコンテンツをエンコードしてよい。このとき、第２エンコーダ５３７は、通信モジュール５１０を通じて電子機器２１０から受信される第３フォーマットのコンテンツをエンコードしてよい。これにより、プロセッサ５３０は、通信モジュール５１０を経て、第３フォーマットのコンテンツを電子装置１５０に送信してよい。このとき、プロセッサ５３０は、第３フォーマットのコンテンツを第３電子装置２５５に送信してよい。これにより、第３電子装置２５５は、第３フォーマットのコンテンツを再生することが可能となる。

【0048】

図１１は、多様な実施形態における、サーバ２３０の動作を示したフローチャートである。

【0049】

図１１を参照すると、段階１１１０において、サーバ２３０は、コンテンツを受信してよい。プロセッサ５３０は、通信モジュール５１０を経て、電子機器２１０からコンテンツを受信してよい。このとき、電子機器２１０の類型に応じてコンテンツの制作環境が決定されてよい。また、コンテンツの制作環境に応じてコンテンツのフォーマットが設定されてよい。コンテンツのフォーマットは、第１フォーマット、第２フォーマット、または第３フォーマットのうちの１つが設定されてよい。第１フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットに従ってメタデータを含んでよい。第２フォーマットのコンテンツは、イマーシブコンテンツであって、第２フォーマットに従ってメタデータを含んでよい。第３フォーマットのコンテンツは、プレーンコンテンツであってよい。

【0050】

段階１１２０において、サーバ２３０は、コンテンツに対して、制作環境が再生環境に符合するかどうかを判断してよい。プロセッサ５３０は、コンテンツのフォーマットに基づいて、制作環境が再生環境に符合するかどうかを判断してよい。これは、コンテンツのフォーマットが制作環境に応じて設定されているためである。

【0051】

段階１１２０において、コンテンツの制作環境が再生環境に符合しないと判断されれば、段階１１３０において、サーバ２３０は、再生環境に応じてコンテンツのフォーマットを変換してよい。プロセッサ５３０は、電子装置１５０のコンテンツの再生環境に符合するようにコンテンツのタイプを変換してよい。一実施形態によると、第１電子装置２５１で再生されるようにするために、第１変換モジュール５３１は、第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換してよい。例えば、第１変換モジュール５３１は、ＡＤＭフォーマットのコンテンツをＧＡ７フォーマットのコンテンツに変換してよい。このとき、第１変換モジュール５３１は、第２フォーマットのコンテンツからメタデータを検出し、検出されたメタデータを第１フォーマットに変換することによって第１フォーマットのコンテンツを生成してよい。他の実施形態によると、第２電子装置２５３で再生されるようにするために、第２変換モジュール５３５は、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。例えば、第２変換モジュール５３５は、ＧＡ７フォーマットのコンテンツをマルチチャンネルフォーマットのコンテンツに変換してよい。このとき、第２変換モジュール５３５は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換してよい。

【0052】

次に、段階１１４０において、サーバ２３０は、変換されたフォーマットのコンテンツを電子装置１５０に送信してよい。プロセッサ５３０は、通信モジュール５１０を経て、変換されたフォーマットのコンテンツを電子装置１５０に送信してよい。一実施形態によると、プロセッサ５３０は、第１フォーマットのコンテンツを第１電子装置２５１に送信してよい。このとき、第１エンコーダ５３３が、第１変換モジュール５３１から出力される第１フォーマットのコンテンツをエンコードしてよい。例えば、第１エンコーダ５３３は、ＧＡ７フォーマットのコンテンツをエンコードしてよい。この後、プロセッサ５３０は、第１フォーマットのコンテンツを第１電子装置２５１に送信してよい。これにより、第１電子装置２５１は、第１フォーマットのコンテンツを再生することが可能となる。他の実施形態によると、プロセッサ５３０は、第２フォーマットのコンテンツを第２電子装置２５３に送信してよい。これにより、第２電子装置２５３は、第２フォーマットのコンテンツを再生することが可能となる。例えば、プロセッサ５３０は、マルチチャンネルフォーマットのコンテンツを図９ｂまたは図１０ｂに示すような第２電子装置２５３の制御モジュールＣに送信してよい。これにより、第２電子装置２５３の制御モジュールＣは、オーディオ出力デバイスＦＬ、ＦＲ、ＦＣ、ＬＦＥ、ＳＬ、ＳＲ、ＦＬ、ＦＲ、ＦＣ、ＬＦＥ、ＳＬ、ＳＲ、ＳＢＬ、ＳＢＲを利用して、マルチチャンネルフォーマットのコンテンツを再生することが可能となる。

【0053】

一方、段階１１２０で、コンテンツの制作環境が再生環境に符合すると判断されれば、段階１１５０において、サーバ２３０は、設定されたフォーマットのコンテンツを電子装置１５０に送信してよい。プロセッサ５３０は、コンテンツのフォーマットを変換せずに維持しながら、通信モジュール５１０を経て、コンテンツを電子装置１５０に送信してよい。一実施形態によると、プロセッサ５３０は、第１フォーマットのコンテンツを第１電子装置２５１に伝達してよい。このとき、第１エンコーダ５３３は、通信モジュール５１０を通じて受信される第１フォーマットのコンテンツをエンコードしてよい。例えば、第１エンコーダ５３３は、ＧＡ７フォーマットのコンテンツをエンコードしてよい。この後、プロセッサ５３０は、第１フォーマットのコンテンツを第１電子装置２５１に送信してよい。他の実施形態によると、プロセッサ５３０は、第２フォーマットのコンテンツを第２電子装置２５３に伝達してよい。これにより、第２電子装置２５３は、第２フォーマットのコンテンツを再生することが可能となる。また他の実施形態によると、プロセッサ５３０は、第３フォーマットのコンテンツを第３電子装置２５５に伝達してよい。このとき、第２エンコーダ５３７が、通信モジュール５１０を通じて受信される第３フォーマットのコンテンツをエンコードしてよい。この後、プロセッサ５３０は、第３フォーマットのコンテンツを第３電子装置２５５に送信してよい。これにより、第３電子装置２５５は、第３フォーマットのコンテンツを再生することが可能となる。

【0054】

図１２は、多様な実施形態における、電子装置１５０の内部構成を示したブロック図である。

【0055】

図１２を参照すると、多様な実施形態に係る電子装置１５０は、接続端子１２１０、通信モジュール１２２０、入力モジュール１２３０、表示モジュール１２４０、オーディオモジュール１２５０、メモリ１２６０、またはプロセッサ１２７０のうちの少なくとも１つを含んでよい。一実施形態において、電子装置１５０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態において、電子装置１５０の構成要素のうちの少なくともいずれか２つが１つの統合された回路で実現されてもよい。

【0056】

接続端子１２１０は、電子装置１５０と外部装置を物理的に接続してよい。例えば、外部装置は、他の電子装置を含むことがある。このために、接続端子１２１０は、少なくとも１つのコネクタを含んでよい。例えば、コネクタは、ＨＤＭＩ（登録商標）コネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ、またはオーディオコネクタのうちの少なくともいずれか１つを含んでよい。

【0057】

通信モジュール１２２０は、電子装置１５０と外部装置との通信を実行してよい。通信モジュール１２２０は、電子装置１５０と外部装置との間に通信チャンネルを確立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、コンピュータシステム１１０、特に、サーバ２３０を含んでよい。通信モジュール１２２０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、接続端子１２１０を介して外部装置と有線で接続し、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース、Ｗｉ－Ｆｉダイレクト、または赤外線通信のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラーネットワーク、インターネット、またはＬＡＮやＷＡＮのようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

【0058】

入力モジュール１２３０は、電子装置１５０の少なくとも１つの構成要素に使用される信号を入力してよい。入力モジュール１２３０は、ユーザが電子装置１５０に信号を直接に入力するように構成される入力装置、周辺環境を感知して信号を発生するように構成されるセンサ装置、または映像を撮影し、映像データを生成するように構成されるカメラモジュールのうちの少なくともいずれか１つを含んでよい。例えば、入力装置は、マイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくともいずれか１つを含んでよい。一実施形態において、センサ装置は、ヘッドトラッキング（ｈｅａｄ ｔｒａｃｋｉｎｇ）センサ、ヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＨＭＤ）コントローラ、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含んでよい。

【0059】

表示モジュール１２４０は、情報を視覚的に表示してよい。例えば、表示モジュール１２４０は、ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）、ホログラム装置、またはプロジエクタのうちの少なくともいずれか１つを含んでよい。一例として、表示モジュール１２４０は、入力モジュール１２３０のタッチ回路またはセンサ回路のうちの少なくともいずれか１つと組み立てられ、タッチスクリーンで実現されてよい。

【0060】

オーディオモジュール１２５０は、情報を聴覚的に再生してよい。このとき、オーディオモジュール１２５０は、少なくとも１つのオーディオ出力デバイスを含んでよい。例えば、オーディオ出力デバイスは、スピーカ、レシーバ、イヤホン、またはヘッドホンのうちの少なくともいずれか１つを含んでよい。

【0061】

メモリ１２６０は、電子装置１５０の少なくとも１つの構成要素によって使用される多様なデータを記録してよい。例えば、メモリ１２６０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラムおよびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ１２６０に少なくとも１つの命令を含むソフトウェアとして記録されてよく、例えば、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくともいずれか１つを含んでよい。

【0062】

プロセッサ１２７０は、メモリ１２６０のプログラムを実行し、電子装置１５０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ１２７０は、データ処理または演算を実行してよい。このとき、プロセッサ１２７０は、メモリ１２６０に記録された命令を実行してよい。プロセッサ１２７０は、サーバ２３０から提供されるコンテンツを再生してよい。プロセッサ１２７０は、表示モジュール１２４０を経て、ビデオコンテンツを再生してよく、オーディオモジュール１２５０を経て、プレーンオーディオコンテンツまたはイマーシブオーディオコンテンツのうちの少なくとも１つを再生してよい。プロセッサ１２７０は、電子装置１５０の再生環境に応じてコンテンツを再生してよい。このとき、電子装置１５０の類型に応じて電子装置１５０の再生環境が決定されてよい。

【0063】

一実施形態によると、電子装置１５０が第１電子装置２５１の場合、プロセッサ１２７０は、通信モジュール１２２０を経て、サーバ２３０から第１フォーマットのコンテンツを受信し、これによって第１フォーマットのコンテンツを再生してよい。このとき、第１フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットに従ってメタデータを含んでよい。このような場合、プロセッサ１２７０は、デコーダ１２７５を含んでよい。デコーダ１２７５は、第１フォーマットのコンテンツをデコードしてよい。すなわち、サーバ２３０から受信される第１フォーマットのコンテンツは、サーバ２３０の第１エンコーダ５３３によってエンコードされているため、デコーダ１２７５が第１フォーマットのコンテンツをデコードするようになる。また、プロセッサ１２７０は、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。このために、プロセッサ１２７０は、レンダラー（ｒｅｎｄｅｒｅｒ）をさらに含んでよい。これにより、プロセッサ１２７０は、メタデータの物体の空間的特徴に基づいて、オーディオオーディオ信号をレンダリングしてよい。これにより、プロセッサ１２７０は、ユーザカスタム型の臨場感を実現することが可能となり、第１電子装置２５１のユーザは、ユーザカスタム型の臨場感を感じることが可能となる。

【0064】

一例として、メモリ１２６０には複数のプリセット（ｐｒｅｓｅｔ）が記録されてよい。このような場合、プロセッサ１２７０は、第１フォーマットのコンテンツ内のメタデータをプリセットとしてメモリ１２６０に記録してよい。また、ユーザがプリセットのうちの１つを選択すれば、プロセッサ１２７０は、選択されたプリセットのメタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。

【0065】

他の実施形態によると、電子装置１５０が第２電子装置２５３の場合、プロセッサ１２７０は、通信モジュール１２２０を経て、サーバ２３０から第２フォーマットのコンテンツを受信し、これによって第２フォーマットのコンテンツを再生してよい。このとき、第２フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットに従ってメタデータを含んでよい。このような場合、プロセッサ１２７０は、メタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。ここで、第２電子装置２５３にはオーディオ出力デバイスに対するレイアウトが設定されており、プロセッサ１２７０は、設定されたレイアウトによってオーディオ出力デバイスを制御してオーディオ信号を再生してよい。これにより、第２電子装置２５３は、オーディオ出力デバイスそれぞれから出力される信号の組み合わせから、ユーザカスタム型の臨場感を感じることが可能となる。

【0066】

また他の実施形態によると、電子装置１５０が第３電子装置２５５の場合、プロセッサ１２７０は、通信モジュール１２２０を経て、サーバ２３０から第３フォーマットのコンテンツを受信し、これによって第３フォーマットのコンテンツを再生してよい。このとき、第３フォーマットのコンテンツは、プレーンコンテンツであってよい。このような場合、プロセッサ１２７０は、デコーダ１２７５を含んでよい。デコーダ１２７５は、第３フォーマットのコンテンツをデコードしてよい。すなわち、サーバ２３０から受信される第３フォーマットのコンテンツは、サーバ２３０の第２エンコーダ５３７によってエンコードされているため、デコーダ１２７５が第３フォーマットのコンテンツをデコードするようになる。また、プロセッサ１２７０は、オーディオ出力デバイスを通じてプレーンコンテンツを再生してよい。

【0067】

図１３は、多様な実施形態における、電子装置１５０の動作を示したフローチャートである。

【0068】

図１３を参照すると、段階１３１０において、電子装置１５０は、コンテンツを受信してよい。プロセッサ１２７０は、通信モジュール１２２０を経て、サーバ２３０からコンテンツを受信してよい。このとき、電子装置１５０の類型または電子装置１５０の再生環境に符合するコンテンツが受信されてよい。次に、段階１３２０において、電子装置１５０は、再生環境に応じてコンテンツを再生してよい。

【0069】

一実施形態によると、電子装置１５０が第１電子装置２５１の場合、プロセッサ１２７０は、第１フォーマットのコンテンツを再生してよい。このとき、第１フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットに従ってメタデータを含んでよい。プロセッサ１２７０は、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。これにより、プロセッサ１２７０は、メタデータの物体の空間的特徴に基づいて、オーディオオーディオ信号をレンダリングしてよい。これにより、プロセッサ１２７０は、ユーザカスタム型の臨場感を実現することが可能となり、第１電子装置２５１のユーザは、ユーザカスタム型の臨場感を感じることが可能となる。

【0070】

一例として、メモリ１２６０には複数のプリセットが記録されてよい。このような場合、プロセッサ１２７０は、第１フォーマットのコンテンツ内のメタデータをプリセットとしてメモリ１２６０に記録してよい。また、ユーザがプリセットのうちの１つを選択すれば、プロセッサ１２７０は、選択されたプリセットのメタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生してよい。

【0071】

他の実施形態によると、電子装置１５０が第２電子装置２５３の場合、プロセッサ１２７０は、第２フォーマットのコンテンツを再生してよい。このとき、第２フォーマットのコンテンツは、イマーシブコンテンツであって、第１フォーマットに従ってメタデータを含んでよい。このような場合、プロセッサ１２７０は、メタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生してよい。これにより、第２電子装置２５３は、オーディオ出力デバイスそれぞれから出力される信号の組み合わせから、ユーザカスタム型の臨場感を感じることが可能となる。

【0072】

また他の実施形態によると、電子装置１５０が第３電子装置２５５の場合、プロセッサ１２７０は、第３フォーマットのコンテンツを再生してよい。このとき、第３フォーマットのコンテンツは、プレーンコンテンツであってよい。また、プロセッサ１２７０は、オーディオ出力デバイスを通じてプレーンコンテンツを再生してよい。

【0073】

多様な実施形態によると、コンピュータシステム１１０は、多様な制作環境で制作されるコンテンツと多様な再生環境を支援してよい。すなわち、コンピュータシステム１１０は、再生環境に符合するフォーマットのコンテンツを電子装置１５０に提供することができる。このために、コンピュータシステム１１０、具体的にはサーバ２３０は、制作環境で設定されるコンテンツのフォーマットを再生環境に符合するように変換してよい。したがって、コンピュータシステム１１０は、多様な制作環境で制作されるコンテンツに対して、多様な再生環境でユーザカスタム型の臨場感を実現することが可能となる。このとき、コンピュータシステム１１０は、プレーンコンテンツはもちろん、イマーシブコンテンツも処理することができる。言い換えれば、コンピュータシステム１１０は、多様な再生環境でイマーシブコンテンツによるユーザカスタム型の臨場感を実現することが可能となる。

【0074】

多様な実施形態に係るコンピュータシステム１１０による方法は、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信する段階１１１０、電子装置１５０のコンテンツの再生環境に応じてコンテンツのフォーマットを変換する段階１１３０、および変換されたフォーマットのコンテンツを電子装置１５０に送信する段階１１４０を含んでよい。

【0075】

多様な実施形態によると、コンテンツのフォーマットは、コンテンツの制作環境に応じて設定されてよい。

【0076】

多様な実施形態によると、コンテンツのフォーマットは、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生するための第１フォーマット、またはメタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第２フォーマットのうちの少なくとも一方を含んでよい。

【0077】

一実施形態によると、コンテンツのフォーマットを変換する段階１１３０は、第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換する段階を含んでよい。

【0078】

例えば、第１フォーマットのコンテンツに変換する段階は、第２フォーマットのコンテンツからメタデータを検出する段階、およびメタデータを第１フォーマットに変換する段階を含んでよい。

【0079】

他の実施形態によると、コンテンツのフォーマットを変換する段階１１３０は、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換する段階を含んでよい。

【0080】

例えば、第２フォーマットのコンテンツに変換する段階は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換する段階を含んでよい。

【0081】

多様な実施形態によると、コンピュータシステム１１０による方法は、コンテンツに対して制作環境と再生環境が符合する場合、コンテンツのフォーマットを維持しながら、電子装置１５０にコンテンツを送信する段階１１５０をさらに含んでよい。

【0082】

多様な実施形態によると、コンピュータシステム１１０による方法は、複数のオーディオ信号である完成したコンテンツを受信する段階、および完成したコンテンツを電子装置１５０に送信する段階をさらに含んでよい。

【0083】

多様な実施形態に係るコンピュータシステム１１０は、メモリ５２０、通信モジュール５１０、メモリ５２０、および通信モジュール５１０とそれぞれ連結し、メモリ５２０に記録された少なくとも１つの命令を実行するように構成されたプロセッサ５３０を含んでよい。

【0084】

多様な実施形態によると、プロセッサ５３０は、通信モジュール５１０を経て、複数の物体に対する空間的特徴を含むメタデータを含むコンテンツを受信し、電子装置１５０のコンテンツの再生環境に応じてコンテンツのフォーマットを変換し、通信モジュール５１０を経て、変換されたフォーマットのコンテンツを電子装置１５０に送信するように構成されてよい。

【0085】

多様な実施形態によると、コンテンツのフォーマットは、コンテンツの制作環境に応じて設定されてよい。

【0086】

多様な実施形態によると、コンテンツのフォーマットは、メタデータに基づいて、物体と関連するオーディオ信号をレンダリングして再生するための第１フォーマット、またはメタデータに基づいて、物体と関連するオーディオ信号を複数のオーディオ出力デバイスで再生するための第２フォーマットのうちの少なくとも一方を含んでよい。

【0087】

一実施形態によると、プロセッサ５３０は、第２フォーマットのコンテンツを第１フォーマットのコンテンツに変換するように構成される第１変換モジュール５３１を含んでよい。

【0088】

例えば、第１変換モジュール５３１は、第２フォーマットのコンテンツからメタデータを検出し、メタデータを第１フォーマットに変換するように構成されてよい。

【0089】

他の実施形態によると、プロセッサ５３０は、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換するように構成される第２変換モジュール５３５を含んでよい。

【0090】

例えば、第２変換モジュール５３５は、再生環境のオーディオ出力デバイスに対するレイアウトに基づいて、第１フォーマットのコンテンツを第２フォーマットのコンテンツに変換するように構成されてよい。

【0091】

多様な実施形態によると、プロセッサ５３０は、コンテンツに対して制作環境と再生環境が符合する場合、コンテンツのフォーマットを維持しながら、通信モジュール５１０を経て、電子装置１５０にコンテンツを送信するように構成されてよい。

【0092】

多様な実施形態によると、プロセッサ５３０は、通信モジュール５１０を経て、複数のオーディオ信号である完成されたコンテンツを受信し、通信モジュール５１０を経て、完成したコンテンツを電子装置１５０に送信するように構成されてよい。

【0093】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0094】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0095】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0096】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0097】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【0098】

本文書の多様な実施形態およびここで使用した用語は、本文書に記載された技術を特定の実施形態に対して限定しようとするものでなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明に関し、類似の構成要素には類似の参照符号を使用した。単数の表現は、文脈において明らかに異なるように意味していない限り、複数の表現を含んでよい。本文書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、ともに羅列された項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「一番目」、または「二番目」などの表現は、該当の構成要素を順序または重要度に関係なく修飾してよく、ある構成要素を他の構成要素と区分するためだけに使用されるものであって、該当の構成要素を限定するものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結して」いる又は「接続して」いると言及された場合には、前記のある構成要素が前記の他の構成要素に直接的に連結してもよいし、別の構成要素（例：第３構成要素）を介して連結してもよい。

【0099】

本文書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。

【0100】

多様な実施形態によると、記述した構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの１つ以上の構成要素または段階が省略されてもよし、１つ以上の他の構成要素または段階が追加されてもよい。代替的または追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてもよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を、統合前に複数の構成要素のうちの該当の構成要素によって実行されるものと同一または類似に実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的、並列的、反復的、または発見的に実行されてもよいし、段階のうちの１つ以上が他の順序で実行されてもよいし、省略されてもよいし、１つ以上の他の段階が追加されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9a】

【図9b】

【図10a】

【図10b】

【図11】

【図12】

【図13】