特開 2022-83443 オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022083443

(43)【公開日】2022-06-03

(54)【発明の名称】オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20220527BHJP

   G10K 15/02 20060101ALI20220527BHJP

【ＦＩ】

H04S7/00 300

G10K15/02

【審査請求】有

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2021190470

(22)【出願日】2021-11-24

(31)【優先権主張番号】10-2020-0158485

(32)【優先日】2020-11-24

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0072522

(32)【優先日】2021-06-04

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】キム デファン

(72)【発明者】

【氏名】キム ジョンシク

(72)【発明者】

【氏名】キム ドンファン

(72)【発明者】

【氏名】イ テギュ

(72)【発明者】

【氏名】ソ ジョンフン

(72)【発明者】

【氏名】ソ ヒョンス

【テーマコード（参考）】

5D162

5D208

【Ｆターム（参考）】

5D162AA05

5D162CC23

5D162DA45

5D162EG02

5D208BA01

5D208BA10

5D208BD02

5D208BD03

(57)【要約】

【課題】 オーディオと関連するユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法を提供すること。
【解決手段】 現場で複数の客体がそれぞれ発生するオーディオ信号に基づいてオーディオファイルをそれぞれ生成し、空間内の客体に対してそれぞれ設定される空間的特徴を含むメタデータを生成し、客体のオーディオファイルとメタデータを電子装置に送信するように構成することができる。多様な実施形態によると、電子装置は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングすることにより、現場の臨場感を実現し得る。すなわち、電子装置の利用者は、少なくとも１つの客体が配置される現場において、該当の客体から発生するオーディオ信号を直に聞くような、ユーザカスタム型臨場感を感じることができるようになる。
【選択図】図５

【特許請求の範囲】

【請求項1】

コンピュータシステムによる方法であって、
現場で複数の客体それぞれが発生するオーディオ信号に基づいて、オーディオファイルをそれぞれ生成する段階、
前記客体に対してそれぞれ設定される前記現場の空間的特徴を含むメタデータを生成する段階、および
前記客体の前記オーディオファイルと前記メタデータとを電子装置に送信する段階、
を含み、
前記電子装置は、
前記メタデータの前記空間的特徴に基づいて、前記オーディオファイルをレンダリングすることにより、前記現場の臨場感を実現する、
方法。

【請求項2】

前記オーディオファイルを生成する段階は、
前記客体それぞれに付着されるか、または、前記客体それぞれに隣接して設置されるマイクロホンによって、前記オーディオ信号を取得する段階、および、
前記オーディオ信号から前記オーディオファイルをそれぞれ生成する段階、
を含む、
請求項１に記載の方法。

【請求項3】

前記メタデータを生成する段階は、
グラフィックインタフェースを出力する段階、
前記グラフィックインタフェースによる少なくとも１つの入力に基づいて、前記客体に対して前記空間的特徴をそれぞれ設定する段階、および、
前記空間的特徴に基づいて、前記メタデータを生成する段階、
を含む、
請求項１に記載の方法。

【請求項4】

前記メタデータは、
前記客体それぞれの位置情報、
前記客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または、
前記現場の環境情報、
のうちの少なくとも１つを含む、
請求項１に記載の方法。

【請求項5】

前記客体それぞれは、
楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景、
のうちの１つを含む、
請求項１に記載の方法。

【請求項6】

前記オーディオファイルおよび前記メタデータは、
製作ツールを備える電子機器で前記製作ツールを利用して生成され、
前記メタデータは、
前記電子装置で選択可能なプリセット形態で生成される、
請求項１に記載の方法。

【請求項7】

前記オーディオファイルと前記メタデータを前記電子装置に送信する段階は、
サーバが第１通信プロトコルを利用して、前記電子機器から前記オーディオファイルと前記メタデータを受信する段階、および、
前記サーバが第２通信プロトコルを利用して、前記電子装置に前記オーディオファイルと前記メタデータを送信する段階、
を含む、
請求項６に記載の方法。

【請求項8】

前記サーバは、
ライブストリーミングサーバである、
請求項７に記載の方法。

【請求項9】

前記電子装置は、
前記オーディオファイルと前記メタデータを受信し、
前記メタデータからプリセット情報を抽出し、
ユーザインタフェースによる少なくとも１つの入力に基づいて、前記プリセット情報によってオーディオファイルをレンダリングすることにより、前記現場の臨場感を実現する、
請求項３に記載の方法。

【請求項10】

前記電子装置は、
第１プリセット情報と第２プリセット情報を抽出し、
時間による前記第１プリセット情報から前記第２プリセット情報に切り換わるときに発生する音質歪曲指標を含むルックアップテーブル（Ｌｏｏｋ－ｕｐ ｔａｂｌｅ）を参照することで、前記第１プリセット情報から前記第２プリセット情報への切り換えを音質歪曲が最小化する地点に実行する、
請求項９に記載の方法。

【請求項11】

請求項１～１０のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させる、コンピュータプログラム。

【請求項12】

請求項１～１０のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。

【請求項13】

コンピュータシステムであって、
現場で複数の客体それぞれが発生するオーディオ信号に基づいて、オーディオファイルをそれぞれ生成し、前記客体に対してそれぞれ設定される前記現場の空間的特徴を含むメタデータを生成するように構成される電子機器、および、
前記客体の前記オーディオファイルと前記メタデータとを電子装置に送信するように構成されるサーバ、
を含み、
前記電子装置は、
前記メタデータの前記空間的特徴に基づいて、前記オーディオファイルをレンダリングすることにより、前記現場の臨場感を実現する、
コンピュータシステム。

【請求項14】

前記電子機器は、
前記客体それぞれに付着されるか、または、前記客体それぞれに隣接して設置されるマイクロホンによって、前記オーディオ信号を取得し、
前記オーディオ信号から前記オーディオファイルをそれぞれ生成する、
ように構成される、
請求項１３に記載のコンピュータシステム。

【請求項15】

前記電子機器は、
グラフィックインタフェースを出力し、
前記グラフィックインタフェースによる少なくとも１つの入力に基づいて、前記客体に対して前記空間的特徴をそれぞれ設定し、
前記空間的特徴に基づいて、前記メタデータを生成する、
ように構成される、
請求項１３に記載のコンピュータシステム。

【請求項16】

前記メタデータは、
前記客体それぞれの位置情報、
前記客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または、
前記現場の環境情報、
のうちの少なくとも１つを含む、
請求項１３に記載のコンピュータシステム。

【請求項17】

前記客体それぞれは、
楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景、
のうちの１つを含む、
請求項１３に記載のコンピュータシステム。

【請求項18】

前記電子機器は、
製作ツールを備え、前記製作ツールを利用して前記オーディオファイルと前記メタデータを生成し、前記メタデータを前記電子装置で選択可能なプリセット形態で生成する、
ように構成される、
請求項１３に記載のコンピュータシステム。

【請求項19】

前記サーバは、
第１通信プロトコルを利用して、前記電子機器から前記オーディオファイルと前記メタデータとを受信し、
第２通信プロトコルを利用して、前記電子装置に前記オーディオファイルと前記メタデータとを送信する、
ように構成される、
請求項１３に記載のコンピュータシステム。

【請求項20】

前記サーバは、
ライブストリーミングサーバである、
請求項１３に記載のコンピュータシステム。

【請求項21】

前記電子装置は、
前記オーディオファイルと前記メタデータを受信し、
前記メタデータからプリセット情報を抽出し、
ユーザインタフェースを利用した少なくとも１つの入力に基づいて、前記プリセット情報によってオーディオファイルをレンダリングすることにより、前記現場の臨場感を実現する、
請求項１３に記載のコンピュータシステム。

【請求項22】

前記電子装置は、
第１プリセット情報と第２プリセット情報とを抽出し、
時間による前記第１プリセット情報から前記第２プリセット情報に切り換わるときに発生する音質歪曲指標を含むルックアップテーブル（Ｌｏｏｋ－ｕｐ ｔａｂｌｅ）を参照することで、前記第１プリセット情報から前記第２プリセット情報への切り換わりを音質歪曲が最小化する地点に実行する、
請求項２１に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

多様な実施形態は、オーディオと関連してユーザカスタム型臨場感（ｂｅｉｎｇ－ｔｈｅｒｅ）を実現するためのコンピュータシステムおよびその方法に関する。

【背景技術】

【0002】

一般的に、コンテンツ提供サーバは、利用者のために完成形態のオーディオコンテンツを提供する。このとき、完成形態のオーディオコンテンツは、複数のオーディオ信号がミキシングされたものであって、例えば、ステレオ形態のオーディオコンテンツなどがある。これにより、利用者の電子装置は、完成形態のオーディオコンテンツを受信し、これを再生する。すなわち、利用者は、完成形態のオーディオコンテンツに基づいた、定められた構成の音響しか聞くことができない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

多様な実施形態は、オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法を提供する。

【課題を解決するための手段】

【0004】

多様な実施形態に係るコンピュータシステムによる方法は、現場で複数の客体それぞれが発生するオーディオ信号に基づいてオーディオファイルをそれぞれ生成する段階、前記空間内で前記客体に対してそれぞれ設定される空間的特徴を含むメタデータを生成する段階、および前記客体の前記オーディオファイルと前記メタデータを電子装置に送信する段階を含み、前記電子装置は、メタデータの前記空間的特徴に基づいて前記オーディオファイルをレンダリングすることにより、前記現場の臨場感を実現することができる。

【0005】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムは、前記方法を前記コンピュータシステムに実行させるためのものであってよい。

【0006】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体には、前記方法を前記コンピュータシステムに実行させるためのプログラムが記録されていてよい。

【0007】

多様な実施形態に係るコンピュータシステムは、現場で複数の客体それぞれが発生するオーディオ信号に基づいてオーディオファイルをそれぞれ生成し、前記空間内で前記客体に対してそれぞれ設定される空間的特徴を含むメタデータを生成するように構成される電子機器、および前記客体の前記オーディオファイルと前記メタデータを電子装置に送信するように構成されるサーバを含み、前記電子装置は、前記メタデータの前記空間的特徴に基づいて前記オーディオファイルをレンダリングすることにより、前記現場の臨場感を実現することができる。

【発明の効果】

【0008】

多様な実施形態によると、オーディオと関連してユーザカスタム型臨場感を実現するための立体音響実現技術を提案することができる。このとき、コンピュータシステムは、ある現場に位置する複数の客体のオーディオファイルをそれぞれ生成する。また、コンピュータシステムは、客体に対する現場の空間的特徴を含むメタデータを生成したり、オーディオファイルを変更したりする。このとき、コンピュータシステムは、創作者の設定に基づいて、客体の空間的特徴をそれぞれ生成する。これにより、電子装置は、単に完成形態のオーディオコンテンツを再生するのではなく、ユーザカスタム型のオーディオコンテンツを再生することができる。すなわち、電子装置は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングして立体音響を実現することができる。すなわち、電子装置は、オーディオファイルとメタデータを材料として活用し、オーディオと関連してユーザカスタム型臨場感を実現することができる。これにより、電子装置の利用者は、特定の現場で特定の客体から発生するオーディオ信号を直に聞くような、ユーザカスタム型臨場感を感じることができるようになる。

【図面の簡単な説明】

【0009】

【図1】多様な実施形態における、コンテンツ提供システムを示したブロック図である。

【図2】多様な実施形態における、コンテンツ提供システムの機能を説明するための例示図である。

【図3】図１および図２のコンピュータシステムの構成を示したブロック図である。

【図4a】図４ａは、図３の電子機器が提供するグラフィックインタフェースを説明するための例示図である。

【図4b】図４ｂは、図３の電子機器が提供するグラフィックインタフェースを説明するための例示図である。

【図4c】図４ｃは、図１および図２の電子装置が提供するユーザインタフェースを説明するための例示図である。

【図5】多様な実施形態における、コンテンツ提供システムの信号の流れを示したフローチャートである。

【図6】多様な実施形態における、電子機器（製作スタジオ）の内部構成を示したブロック図である。

【図7】多様な実施形態における、電子機器の動作の流れを示したフローチャートである。

【図8】多様な実施形態における、サーバの内部構成を示したブロック図である。

【図9】多様な実施形態における、サーバの動作の流れを示したフローチャートである。

【図10】多様な実施形態における、電子装置の内部構成を示したブロック図である。

【図11】多様な実施形態における、電子装置の動作の流れを示したフローチャートである。

【発明を実施するための形態】

【0010】

以下、本文書の多様な実施形態について、添付の図面を参照しながら説明する。

【0011】

以下、客体（ｏｂｊｅｃｔ）という用語は、オーディオ信号を発生させる機器または人物を示すものとする。例えば、客体は、楽器、楽器演奏者、ボーカリスト（ｖｏｃａｌｉｓｔ）、対話者（ｔａｌｋｅｒ）、伴奏や音響効果などを発生させるスピーカ、または背景音（ａｍｂｉｅｎｃｅ）を発生させる背景のうちの１つを含んでよい。また、オーディオファイル（ａｕｄｉｏ ｆｉｌｅ）という用語は、各客体から発生するオーディオ信号に対するオーディオデータを示すものとする。

【0012】

以下、メタデータという用語は、少なくとも１つのオーディオファイルと関連するオーディオ場面の属性を説明するための情報を示すものとする。このとき、オーディオ場面は、少なくとも１つの客体で構成されてよく、メタデータは、客体に対する少なくとも１つの空間的特徴を含んでよい。例えば、メタデータは、少なくとも１つの客体の位置情報、少なくとも２つの客体の位置の組み合わせを示すグループ情報、または少なくとも１つの客体が配置される現場（ｖｅｎｕｅ）の環境情報のうちの少なくとも１つを含んでよい。また、現場は、例えば、スタジオ（ｓｔｕｄｉｏ）、コンサートホール（ｃｏｎｃｅｒｔ ｈａｌｌ）、ストリート（ｓｔｒｅｅｔ）、スタジアム（ｓｔａｄｉｕｍ）などを含んでよい。

【0013】

図１は、多様な実施形態における、コンテンツ提供システム１００を示したブロック図であり、図２は、多様な実施形態における、コンテンツ提供システム１００の機能を説明するための例示図である。

【0014】

図１を参照すると、多様な実施形態に係るコンテンツ提供システム１００は、コンピュータシステム１１０と電子装置１５０を含んでよい。例えば、電子装置１５０は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、ＰＣ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、タブレット、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、家電機器、医療機器、またはロボット（ｒｏｂｏｔ）のうちの少なくとも１つを含んでよい。

【0015】

コンピュータシステム１１０は、利用者のためにコンテンツを提供してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）コンテンツ、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）コンテンツ、エクステンデッド・リアリティ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ、ＸＲ）コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン（ｐｌａｉｎ）コンテンツまたはイマーシブ（ｉｍｍｅｒｓｉｖｅ）コンテンツのうちの少なくとも１つを含んでよい。プレーンコンテンツが完成形態のコンテンツであることに対し、イマーシブコンテンツはユーザカスタムコンテンツであってよい。以下、オーディオコンテンツを例に挙げて説明する。

【0016】

プレーンオーディオコンテンツは、複数の客体から発生するオーディオ信号がミキシングされてステレオ形態で実現されてよい。例えば、コンピュータシステム１１０は、図２に示すように、現場でオーディオ信号がミキシングされたオーディオ信号を取得し、これに基づいてプレーンオーディオコンテンツを生成してよい。この反面、イマーシブオーディオコンテンツは、現場で複数の客体から発生するオーディオ信号に対するオーディオファイルと、これに対するメタデータとで構成されてよい。このとき、イマーシブオーディオコンテンツ内において、オーディオファイルとこれに対するメタデータは個別に存在してよい。例えば、コンピュータシステム１１０は、図２に示すように、複数の客体に対するオーディオファイルをそれぞれ取得し、これに基づいてイマーシブオーディオコンテンツを生成してよい。

【0017】

電子装置１５０は、コンピュータシステム１１０から提供されるコンテンツを再生してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ（ＶＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、エクステンデッド・リアリティ（ＸＲ）コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン（ｐｌａｉｎ）コンテンツまたはイマーシブ（ｉｍｍｅｒｓｉｖｅ）コンテンツのうちの少なくとも１つを含んでよい。

【0018】

コンピュータシステム１１０からイマーシブオーディオコンテンツが受信されれば、電子装置１５０は、イマーシブオーディオコンテンツから、オーディオファイルとこれに対するメタデータをそれぞれ取得してよい。この後、電子装置１５０は、メタデータに基づいてオーディオファイルのうちの少なくとも１つをレンダリングしてよい。これにより、電子装置１５０は、イマーシブオーディオコンテンツに基づいて、オーディオと関連するユーザカスタム型臨場感を実現することができる。したがって、利用者は、少なくとも１つの客体が配置される現場において、該当の客体から発生するオーディオ信号を直に聞くような、臨場感を感じることができるようになる。

【0019】

図３は、図１および図２のコンピュータシステム１１０の構成を示したブロック図であり、図４ａおよび図４ｂは、図３の電子機器３１０が提供するグラフィックインタフェースを説明するための例示図であり、図４ｃは、図１および図２の電子装置１５０が提供するユーザインタフェースを説明するための例示図である。

【0020】

図３を参照すると、多様な実施形態に係るコンピュータシステム１１０は、電子機器（製作スタジオと指称されてもよい）３１０またはサーバ３３０のうちの少なくとも１つを含んでよい。一実施形態によると、コンピュータシステム１１０の構成要素のうちの少なくとも１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によると、コンピュータシステム１１０の構成要素のうちの少なくとも２つが１つに統合されて実現されてもよい。一実施形態によると、電子機器３１０とサーバ３３０は、１つに統合されて実現されてもよい。例えば、電子機器３１０は、オーディオコンソール、ダンテ（ｄａｎｔｅ）のようなオーディオインタフェースなどの多様なハードウェアを備える機器であって、スマートフォン、携帯電話、ナビゲーション、ＰＣ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ、ＰＭＰ、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴデバイス、家電機器、医療機器、またはロボットのうちの少なくとも１つを含んでよい。

【0021】

電子機器３１０は、複数の客体に対するオーディオファイルと、これに対するメタデータを生成してよい。このために、電子機器３１０は、ある現場の客体それぞれが発生するオーディオ信号を取得してよい。このとき、電子機器３１０は、各客体に直接的に付着されるか各客体に隣接して設置されるマイクロホン（ｍｉｃｒｏｐｈｏｎｅ）によって各オーディオ信号を取得してよい。この後、電子機器３１０は、オーディオ信号を利用してオーディオファイルをそれぞれ生成してよい。さらに、電子機器３１０は、オーディオファイルに対するメタデータを生成してよい。このために、電子機器３１０は、客体に対して現場の空間的特徴をそれぞれ設定してよい。ここで、電子機器３１０は、各客体の直接的な位置や各客体のためのマイクロホンの位置を利用して、各客体の位置情報または少なくとも２つの客体の位置の組み合わせを示すグループ情報のうちの少なくとも１つを設定してよい。追加で、電子機器３１０は、カメラ（ｃａｍｅｒａ）によって各客体の直接的な位置を認識してもよい。さらに、電子機器３１０は、客体が配置された現場の環境情報を設定してよい。

【0022】

例えば、電子機器３１０は、図４ａまたは図４ｂに示すように、グラフィックインタフェース（ｇｒａｐｈｉｃ ｉｎｔｅｒｆａｃｅ）を利用した創作者の入力に基づいて客体の空間的特徴を設定してよい。ここで、電子機器３１０は、グラフィックインタフェースを直接提供してもよいし、創作者の他の電子機器（図示せず）にグラフィックインタフェースを提供してもよい。電子機器３１０は、ある現場に対して客体をそれぞれ選択し、客体と関連する空間的特徴、すなわち、位置情報、グループ情報、または環境情報のうちの少なくとも１つを設定してよい。このとき、電子機器３１０は、創作者の入力に基づいて各客体の位置を設定し、各客体の位置またはオーディオ効果のうちの少なくとも１つを微調整してよい。ここで、オーディオ効果とは、該当の空間内の客体と聴者の位置関係を示してよい。例えば、オーディオ効果は、聴者の位置に対する、客体の位置の方位角（ａｚｉｍｕｔｈ）、高度（ｅｌｅｖａｔｉｏｎ）、距離（ｄｉｓｔａｎｃｅ）、ＢＥＳ、ゲイン（ｇａｉｎ）などを含んでよい。本文書では、方位角、高度、距離によって客体の位置を表現したが、客体の位置を示すことが可能な表現方式が特定の座標系に限定されてはならない。これにより、電子機器３１０は、該当の客体の位置とオーディオ効果に基づいて該当の客体の空間的特徴を設定してよい。一例として、電子機器３１０は、図４ａに示すように、グラフィックインタフェースを利用して３人のボーカリストそれぞれを客体として選択し、これによってメタデータのための空間的特徴を設定してよい。ここで、電子機器３１０は、コンサートホール内の観客席の１列目を利用者の仮想位置としてさらに選択してよい。また、電子機器３１０は、コンサートホールを現場として設定してよい。他の例として、電子機器３１０は、図４ｂに示すように、グラフィックインタフェースを利用してキーボード、ドラム、ギター、ベース、およびボーカリストそれぞれを客体として選択し、これによってメタデータのための空間的特徴を設定してよい。ここで、電子機器３１０は、ストリート舞台内の一ポイント（ｐｏｉｎｔ）を利用者の仮想位置として選択してよい。また、電子機器３１０は、ストリートを現場として設定してよい。

【0023】

この後、電子機器３１０は、客体の空間的特徴に基づいてメタデータを生成してよい。このとき、電子機器３１０は、客体の空間的特徴を組み合わせて電子装置１５０で選択可能なプリセットを生成してよい。例えば、電子機器３１０は、ある現場の環境情報とある客体の位置情報、およびオーディオ効果を組み合わせてプリセットを生成してよい。ここで、プリセットそれぞれは、音場（Ａｕｄｉｏ Ｓｃｅｎｅ）情報と指称されてよい。例えば、プリセットは、利用者の位置が舞台の中心であるときの音場、利用者の位置が観客席の１列目であるときの音場、ボーカリストが強調された音場、楽器が強調された音場、現場音が強調された音場、弦楽器が動的に動く音場などをそれぞれ示してよい。

【0024】

サーバ３３０は、オーディオファイルとこれに対するメタデータを電子装置１５０に送信してよい。具体的に、サーバ３３０は、オーディオファイルとこれに対するメタデータとして、予め定められたフォーマットのイマーシブオーディオコンテンツを生成してよい。このとき、イマーシブオーディオコンテンツ内において、オーディオファイルとこれに対するメタデータは個別に存在してよい。この後、サーバ３３０は、イマーシブオーディオコンテンツを電子装置１５０に送信してよい。ここで、サーバ３３０は、ライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）サーバであってよい。

【0025】

これにより、電子装置１５０は、メタデータに基づいてオーディオファイルをレンダリングしてよい。例えば、電子装置１５０は、図４ｃに示すように、ユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＵＩ）を利用した利用者の入力に基づいて、プリセットのうちから１つを選択してよい。すなわち、電子装置１５０は、多数のプリセットそれぞれの音場情報を表示し、利用者の入力に基づいてプリセットのうちから１つを選択してよい。これにより、電子装置１５０は、選択されたプリセットに基づいて、客体の空間的特徴を利用してオーディオファイルをレンダリングしてよい。一例として、電子装置１５０は、第１プリセット情報と第２プリセット情報を抽出し、時間による第１プリセット情報から第２プリセット情報に切り換わるときに発生する音質歪曲指標を含むルックアップテーブル（Ｌｏｏｋ－ｕｐ ｔａｂｌｅ）を参照することで、第１プリセット情報から第２プリセット情報への切り換えを音質歪曲が最小化する地点に実行してよい。ここで、ルックアップテーブルは、電子機器３１０、サーバ３３０または電子装置１５０のうちの少なくとも１つで生成されてよい。これにより、電子装置１５０は、該当の現場に対するユーザカスタム型臨場感を実現することができる。

【0026】

一実施形態において、サーバ３３０は、電子装置１５０が再生可能なフォーマットに事前レンダリングした信号を送信してもよい。例えば、電子装置１５０が、メタデータに基づいてオーディオファイルをレンダリングすることができない場合、サーバ３３０は、このような電子装置１５０のために事前レンダリングした信号を送信してよい。再生可能なフォーマットは、ヘッドホン、ステレオスピーカ、マルチチャンネルスピーカ、またはサウンドバーのうちの１つを含んでよい。図４ｃに示すように、利用者がリアルタイムでプリセットを選択するための機能を提供する場合、プリセットごとに事前レンダリングが実行されてよい。

【0027】

図５は、多様な実施形態における、コンテンツ提供システム１００の信号の流れを示したフローチャートである。

【0028】

図５を参照すると、段階５１０で、電子機器（製作スタジオ）３１０は、ある現場に位置する複数の客体のオーディオ信号を取得してよい。すなわち、電子機器３１０は、現場でそれぞれの客体から発生するオーディオ信号を取得してよい。このとき、電子機器３１０は、各客体に直接的に付着されるか各客体に隣接して設置されるマイクロホンによって各オーディオ信号を取得してよい。

【0029】

次に、段階５２０で、電子機器３１０は、客体のオーディオファイルをそれぞれ生成してよい。電子機器３１０は、客体のオーディオ信号からオーディオファイルをそれぞれ生成してよい。この後、段階５３０で、電子機器３１０は、客体の現場の空間的特徴を含むメタデータを生成してよい。このとき、電子機器３１０は、客体に対して現場の空間的特徴をそれぞれ設定してよい。例えば、電子機器３１０は、グラフィックインタフェースを利用した創作者の入力に基づいて、客体の空間的特徴を設定してよい。これにより、電子機器３１０は、客体の空間的特徴に基づいてメタデータを生成してよい。

【0030】

次に、段階５４０で、電子機器３１０は、サーバ３３０にオーディオファイルとメタデータを送信してよい。このとき、電子機器３１０は、オーディオファイルとメタデータを圧縮および暗号化して送信してよい。この後、段階５５０で、サーバ３３０は、電子装置１５０にオーディオファイルとメタデータを送信してよい。

【0031】

これにより、段階５６０で、電子装置１５０は、メタデータに基づいて、オーディオファイルのうちの少なくとも１つをレンダリングしてよい。このとき、電子装置１５０は、メタデータに基づいて、現場の客体のうちの少なくとも１つを選択してよい。例えば、電子装置１５０は、ユーザインタフェースを利用した利用者入力に基づいて、客体のうちの少なくとも１つを選択してよい。これにより、電子装置１５０は、メタデータによって選択された客体の空間的特徴に基づいて、選択された客体のオーディオファイルをレンダリングしてよい。これにより、電子装置１５０は、該当の現場に対するユーザカスタム型臨場感を実現することができる。したがって、利用者は、少なくとも１つの客体が配置される現場において、該当の客体から発生するオーディオ信号を直に聞くように、ユーザカスタム型臨場感を感じることができるようになる。

【0032】

図６は、多様な実施形態における、電子機器３１０の内部構成を示したブロック図である。

【0033】

図６を参照すると、多様な実施形態に係る電子機器（製作スタジオ）３１０は、連結端子６１０、通信モジュール６２０、入力モジュール６３０、表示モジュール６４０、オーディオモジュール６５０、メモリ６６０、またはプロセッサ６７０のうちの少なくとも１つを含んでよい。一実施形態によると、電子機器３１０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によると、電子機器３１０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。

【0034】

連結端子６１０は、電子機器３１０で外部装置と物理的に連結されてよい。例えば、外部装置は、他の電子機器を含んでよい。このために、連結端子６１０は、少なくとも１つのコネクタを含んでよい。例えば、コネクタは、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ、またはオーディオコネクタのうちの少なくともいずれか１つを含んでよい。

【0035】

通信モジュール６２０は、電子機器３１０で外部装置との通信を実行してよい。通信モジュール６２０は、電子機器３１０と外部装置との間に通信チャンネルを樹立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、サーバ３３０または電子装置１５０のうちの少なくとも１つを含んでよい。通信モジュール６２０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、連結端子６１０を介して外部装置と有線で連結し、外部装置と有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、Ｗｉ－Ｆｉ（登録商標）ダイレクト（Ｗｉ－Ｆｉ ｄｉｒｅｃｔ）、または赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

【0036】

入力モジュール６３０は、電子機器３１０の少なくとも１つの構成要素が使用する信号を入力してよい。入力モジュール６３０は、利用者が電子機器３１０に信号を直接入力するように構成される入力装置、周辺環境を感知して信号が発生するように構成されるセンサ装置、または画像を撮影して画像データを生成するように構成されるカメラモジュールのうちの少なくともいずれか１つを含んでよい。例えば、入力装置は、マイクロホン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくともいずれか１つを含んでよい。一実施形態によると、センサ装置は、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈｃｉｒ ｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含んでよい。

【0037】

表示モジュール６４０は、情報を視覚的に表示してよい。例えば、表示モジュール６４０は、ディスプレイ、ホログラム装置、またはプロジェクタのうちの少なくともいずれか１つを含んでよい。一例として、表示モジュール６４０は、入力モジュール６３０のタッチ回路またはセンサ回路のうちの少なくともいずれか１つと組み立てられてタッチスクリーンとして実現されてよい。

【0038】

オーディオモジュール６５０は、情報を聴覚的に再生してよい。例えば、オーディオモジュール６５０は、スピーカ、レシーバ、イヤホン、またはヘッドホンのうちの少なくともいずれか１つを含んでよい。

【0039】

メモリ６６０は、電子機器３１０の少なくとも１つの構成要素が使用する多様なデータを記録してよい。例えば、メモリ６６０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ６６０に少なくとも１つの命令を含むソフトウェアとして記録されてよい。メモリ６６０は、オーディオファイルとこれに対するメタデータを生成するための製作ツールを記録してよい。

【0040】

プロセッサ６７０は、メモリ６６０のプログラムを実行し、電子機器３１０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ６７０は、データ処理または演算を実行してよい。このとき、プロセッサ６７０は、メモリ６６０に記録された命令を実行してよい。プロセッサ６７０は、ある現場に位置する客体それぞれが発生するオーディオ信号に基づいてオーディオファイルをそれぞれ生成してよい。この後、プロセッサ６７０は、製作ツールを利用して、客体に対してそれぞれ設定される現場の空間的特徴を含むメタデータを生成してよい。また、プロセッサ６７０は、通信モジュール６２０により、客体のオーディオファイルおよびメタデータを送信してよい。このとき、プロセッサ６７０は、第１通信プロトコル、例えば、リアルタイムメッセージングプロトコル（ｒｅａｌ ｔｉｍｅ ｍｅｓｓａｇｉｎｇ ｐｒｏｔｏｃｏｌ、ＲＴＭＰ）を利用して、オーディオファイルとメタデータをサーバ３３０に送信してよい。

【0041】

図７は、多様な実施形態における、電子機器３１０の動作の流れを示したフローチャートである。

【0042】

図７を参照すると、段階７１０で、電子機器３１０は、ある現場に位置する複数の客体のオーディオ信号を取得してよい。すなわち、プロセッサ６７０は、現場で客体それぞれが発生するオーディオ信号を取得してよい。このとき、プロセッサ６７０は、各客体に直接的に付着されるか各客体に隣接して設置されるマイクロホンによって各オーディオ信号を取得してよい。この後、段階７２０で、電子機器３１０は、オーディオ信号からオーディオファイルをそれぞれ生成してよい。プロセッサ６７０は、客体のオーディオ信号からオーディオファイルをそれぞれ生成してよい。

【0043】

次に、段階７３０で、電子機器３１０は、客体に対して現場の空間的特徴をそれぞれ設定してよい。このとき、プロセッサ６７０は、グラフィックインタフェースを利用した創作者の入力に基づいて客体の空間的特徴を設定してよい。具体的に、プロセッサ６７０は、創作者のためにグラフィックインタフェースを出力してよい。一例として、プロセッサ６７０は、通信モジュール６２０により、外部装置にグラフィックインタフェースを出力してよい。他の例として、プロセッサ６７０は、表示モジュール６４０により、グラフィックインタフェースを出力してよい。この後、プロセッサ６７０は、グラフィックインタフェースを利用した少なくとも１つの創作者の入力に基づいて、客体に対して空間的特徴をそれぞれ設定してよい。一例として、プロセッサ６７０は、通信モジュール６２０により、外部装置から創作者の入力を受信してよい。他の例として、プロセッサ６７０は、入力モジュール６３０により、創作者の入力を感知してよい。

【0044】

例えば、プロセッサ６７０は、図４ａと図４ｂに示すように、グラフィックインタフェースを利用した創作者の入力に基づいて、客体の空間的特徴を設定してよい。プロセッサ６７０は、ある現場に対して客体をそれぞれ選択し、客体と関連する空間的特徴、すなわち、位置情報、グループ情報、または環境情報のうちの少なくとも１つを設定してよい。このとき、プロセッサ６７０は、創作者の入力に基づいて各客体に対して位置を設定し、各客体の位置またはオーディオ効果のうちの少なくとも１つを微調整してよい。ここで、オーディオ効果とは、該当の空間内の客体と聴者の位置関係を示してよい。例えば、オーディオ効果は、聴者の位置に対して、客体の位置の方位角（ａｚｉｍｕｔｈ）、高度（ｅｌｅｖａｔｉｏｎ）、距離（ｄｉｓｔａｎｃｅ）、ＢＥＳ、ゲイン（ｇａｉｎ）などを含んでよい。本文書では、方位角、高度、距離によって客体の位置を表現したが、客体の位置を示すことが可能な表現方式が特定の座標系に限定されてはならない。これにより、プロセッサ６７０は、該当の客体の位置とオーディオ効果に基づいて該当の客体の空間的特徴を設定してよい。

【0045】

上述では、段階７１０と段階７２０が実行された後に段階７３０が実行されることを説明しているが、これに限定されてはならない。すなわち、段階７３０が実行された後に段階７１０と段階７２０が実行されることも可能である。

【0046】

次に、段階７４０で、電子機器３１０は、客体の空間的特徴に基づいてメタデータを生成してよい。このとき、プロセッサ６７０は、客体の空間的特徴を組み合わせて電子装置１５０で選択可能なプリセットを生成してよい。例えば、プロセッサ６７０は、ある現場の環境情報とある客体の位置情報、およびオーディオ効果を組み合わせてプリセットを生成してよい。ここで、プリセットそれぞれは、音場（ＡｕｄｉｏＳｃｅｎｅ）情報と指称されてよい。例えば、プリセットは、利用者の位置が舞台の中心であるときの音場、利用者の位置が観客席の１列目であるときの音場、ボーカリストが強調された音場、楽器が強調された音場、現場音が強調された音場、弦楽器が動的に動く音場などをそれぞれ示してよい。

【0047】

次に、段階７５０で、電子機器３１０は、オーディオファイルとメタデータを送信してよい。プロセッサ６７０は、通信モジュール６２０により、サーバ３３０にオーディオファイルとメタデータを送信してよい。このとき、プロセッサ６７０は、第１通信プロトコル、例えば、リアルタイムメッセージングプロトコル（ＲＴＭＰ）を利用して、オーディオファイルとメタデータを送信してよい。

【0048】

図８は、多様な実施形態における、サーバ３３０の内部構成を示したブロック図である。

【0049】

図８を参照すると、多様な実施形態に係るサーバ３３０は、通信モジュール８１０、メモリ８２０、またはプロセッサ８３０のうちの少なくとも１つを含んでよい。一実施形態によると、サーバ３３０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によると、サーバ３３０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてよい。

【0050】

通信モジュール８１０は、サーバ３３０で外部装置との通信を実行してよい。通信モジュール８１０は、サーバ３３０と外部装置との間に通信チャンネルを樹立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、電子機器（製作スタジオ）３１０または電子装置１５０のうちの少なくとも１つを含んでよい。通信モジュール８１０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、外部装置と有線で連結され、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース、Ｗｉ－Ｆｉダイレクト、または赤外線通信のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮやＷＡＮのようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

【0051】

メモリ８２０は、サーバ３３０の少なくとも１つの構成要素が使用する多様なデータを記録してよい。例えば、メモリ８２０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ８２０に少なくとも１つの命令を含むソフトウェアとして記録されてよい。

【0052】

プロセッサ８３０は、メモリ８２０のプログラムを実行し、サーバ３３０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ８３０は、データ処理または演算を実行してよい。このとき、プロセッサ８３０は、メモリ８２０に記録された命令を実行してよい。プロセッサ８３０は、通信モジュール８１０により、電子機器３１０から、ある現場に位置する客体のオーディオファイルとメタデータを受信してよい。このとき、プロセッサ８３０は、第１通信プロトコル、例えば、リアルタイムメッセージングプロトコル（ＲＴＭＰ）を利用して、オーディオファイルとメタデータを受信してよい。また、プロセッサ８３０は、通信モジュール８１０により、電子装置１５０に、ある現場に位置する客体のオーディオファイルとメタデータを送信してよい。このとき、プロセッサ８３０は、第２通信プロトコル、例えば、ＨＴＴＰライブストリーミング（ＨＴＴＰ ｌｉｖｅ ｓｔｒｅａｍｉｎｇ、ＨＬＳ）を利用して、オーディオファイルとメタデータを送信してよい。

【0053】

図９は、多様な実施形態における、サーバ３３０の動作の流れを示したフローチャートである。

【0054】

図９を参照すると、段階９１０で、サーバ３３０は、オーディオファイルとメタデータを受信してよい。プロセッサ８３０は、通信モジュール８１０により、電子機器３１０から、ある現場に位置する客体のオーディオファイルとメタデータを受信してよい。このとき、プロセッサ８３０は、第１通信プロトコル、例えば、リアルタイムメッセージングプロトコル（ＲＴＭＰ）を利用して、オーディオファイルとメタデータを受信してよい。

【0055】

次に、段階９２０で、サーバ３３０は、オーディオファイルとメタデータを送信してよい。プロセッサ８３０は、通信モジュール８１０により、電子装置１５０に、ある現場に位置する客体のオーディオファイルとメタデータを送信してよい。このとき、プロセッサ８３０は、第２通信プロトコル、例えば、ＨＴＴＰライブストリーミング（ＨＬＳ）を利用して、オーディオファイルとメタデータを送信してよい。

【0056】

一実施形態において、サーバ３３０は、電子装置１５０が再生可能なフォーマットに事前レンダリングした信号を送信してもよい。例えば、電子装置１５０が、メタデータに基づいてオーディオファイルをレンダリングすることができない場合、サーバ３３０は、このような電子装置１５０のために事前レンダリングした信号を送信してよい。再生可能なフォーマットは、ヘッドホン、ステレオスピーカ、マルチチャンネルスピーカ、またはサウンドバーのうちの１つを含んでよい。図４ｃに示すように、利用者がリアルタイムでプリセットを選択するための機能を提供する場合、プリセットごとに事前レンダリングが実行されてよい。

【0057】

図１０は、多様な実施形態における、電子装置１５０の内部構成を示したブロック図である。

【0058】

図１０を参照すると、多様な実施形態に係る電子装置１５０は、連結端子１０１０、通信モジュール１０２０、入力モジュール１０３０、表示モジュール１０４０、オーディオモジュール１０５０、メモリ１０６０、またはプロセッサ１０７０のうちの少なくとも１つを含んでよい。一実施形態によると、電子装置１５０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によると、電子装置１５０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。

【0059】

連結端子１０１０は、電子装置１５０で外部装置と物理的に連結されてよい。例えば、外部装置は、他の電子装置を含んでよい。このために、連結端子１０１０は、少なくとも１つのコネクタを含んでよい。例えば、コネクタは、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ、またはオーディオコネクタのうちの少なくともいずれか１つを含んでよい。

【0060】

通信モジュール１０２０は、電子装置１５０で外部装置との通信を実行してよい。通信モジュール１０２０は、電子装置１５０と外部装置との間に通信チャンネルを樹立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、電子機器３１０またはサーバ３３０のうちの少なくとも１つを含んでよい。通信モジュール１０２０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、連結端子１０１０を介して外部装置と有線で連結され、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース、Ｗｉ－Ｆｉダイレクト、または赤外線通信のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮやＷＡＮのようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

【0061】

入力モジュール１０３０は、電子装置１５０の少なくとも１つの構成要素が使用する信号を入力してよい。入力モジュール１０３０は、利用者が電子装置１５０に信号を直接入力するように構成される入力装置、周辺環境を感知して信号を発生するように構成されるセンサ装置、または画像を撮影して画像データを生成するように構成されるカメラモジュールのうちの少なくともいずれか１つを含んでよい。例えば、入力装置は、マイクロホン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくともいずれか１つを含んでよい。一実施形態において、センサ装置は、ヘッドトラッキング（ｈｅａｄ ｔｒａｃｋｉｎｇ）センサ、ヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ、ＨＭＤ）コントローラ、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含んでよい。

【0062】

表示モジュール１０４０は、情報を視覚的に表示してよい。例えば、表示モジュール１０４０は、ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）、ホログラム装置、またはプロジェクタのうちの少なくともいずれか１つを含んでよい。一例として、表示モジュール１０４０は、入力モジュール１０３０のタッチ回路またはセンサ回路のうちの少なくともいずれか１つと組み立てられてタッチスクリーンとして実現されてよい。

【0063】

オーディオモジュール１０５０は、情報を聴覚的に再生してよい。例えば、オーディオモジュール１０５０は、スピーカ、レシーバ、イヤホン、またはヘッドホンのうちの少なくともいずれか１つを含んでよい。

【0064】

メモリ１０６０は、電子装置１５０の少なくとも１つの構成要素が使用する多様なデータを記録してよい。例えば、メモリ１０６０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ１０６０に少なくとも１つの命令を含むソフトウェアとして記録されてよく、例えば、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくともいずれか１つを含んでよい。

【0065】

プロセッサ１０７０は、メモリ１０６０のプログラムを実行し、電子装置１５０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ１０７０は、データ処理または演算を実行してよい。このとき、プロセッサ１０７０は、メモリ１０６０に記録された命令を実行してよい。プロセッサ１０７０は、コンピュータシステム１１０から提供されるコンテンツを再生してよい。プロセッサ１０７０は、表示モジュール１０４０により、ビデオコンテンツを再生してよく、オーディオモジュール１０５０により、プレーンオーディオコンテンツまたはイマーシブオーディオコンテンツのうちの少なくとも１つを再生してよい。

【0066】

プロセッサ１０７０は、通信モジュール１０２０により、サーバ３３０から、ある現場に位置する客体のオーディオファイルとメタデータを受信してよい。このとき、プロセッサ１０７０は、第２通信プロトコル、例えば、ＨＴＴＰライブストリーミング（ＨＬＳ）を利用して、オーディオファイルとメタデータを受信してよい。また、プロセッサ１０７０は、メタデータに基づいてオーディオファイルをレンダリングしてよい。これにより、プロセッサ１０７０は、メタデータの客体の空間的特徴に基づいてオーディオファイルをレンダリングしてよい。

【0067】

図１１は、多様な実施形態における、電子装置１５０の動作の流れを示したフローチャートである。

【0068】

図１１を参照すると、段階１１１０で、電子装置１５０は、オーディオファイルとメタデータを受信してよい。プロセッサ１０７０は、通信モジュール１０２０により、サーバ３３０から、ある現場に位置する客体に対するオーディオファイルとメタデータを受信してよい。このとき、プロセッサ１０７０は、第２通信プロトコル、例えば、ＨＴＴＰライブストリーミング（ＨＬＳ）を利用して、オーディオファイルとメタデータを受信してよい。

【0069】

次に、段階１１２０で、電子装置１５０は、メタデータに基づいて客体のうちの少なくとも１つを選択してよい。このとき、プロセッサ１０７０は、ユーザインタフェースを利用した利用者の入力に基づいて、客体のうちの少なくとも１つを選択してよい。より具体的に説明すると、プロセッサ１０７０は、利用者のためにユーザインタフェースを出力してよい。一例として、プロセッサ１０７０は、通信モジュール１０２０により、外部装置でユーザインタフェースを出力してよい。他の例として、プロセッサ１０７０は、表示モジュール１０４０により、ユーザインタフェースを出力してよい。この後、プロセッサ１０７０は、ユーザインタフェースを利用した少なくとも１つの利用者の入力に基づいて、客体のうちの少なくとも１つを選択してよい。

【0070】

次に、段階１１２０で、電子装置１５０は、メタデータに基づいてオーディオファイルをレンダリングしてよい。プロセッサ１０７０は、メタデータの客体の空間的特徴に基づいてオーディオファイルをレンダリングしてよい。例えば、プロセッサ１０７０は、図４ｃに示すように、ユーザインタフェース（ＵＩ）を利用した利用者の入力に基づいて、プリセットのうちの１つを選択してよい。すなわち、プロセッサ１０７０は、多数のプリセットを表示し、利用者の入力に基づいてプリセットのうちの１つを選択してよい。これにより、プロセッサ１０７０は、選択されたプリセットに基づいて、客体の空間的特徴を利用してオーディオファイルをレンダリングしてよい。プロセッサ１０７０は、客体の空間的特徴を客体のオーディオファイルに適用し、オーディオモジュール１０５０によって最終的なオーディオ信号を再生してよい。一例として、電子装置１５０は、第１プリセット情報と第２プリセット情報を抽出し、時間による第１プリセット情報から第２プリセット情報に切り換わるときに発生する音質歪曲指標を含むルックアップテーブルを参照することで、第１プリセット情報から第２プリセット情報への切り換えを音質歪曲が最小化する地点に実行してよい。ここで、ルックアップテーブルは、電子機器３１０、サーバ３３０、または電子装置１５０のうちの少なくとも１つで生成されてよい。これにより、電子装置１５０は、該当の現場に対するユーザカスタム型臨場感を実現することができる。

【0071】

したがって、電子装置１５０の利用者は、客体が配置される現場内において、該当の客体から発生するオーディオ信号を直に聞くように、ユーザカスタム型臨場感を感じることができるようになる。

【0072】

多様な実施形態によると、オーディオと関連してユーザカスタム型臨場感を実現するための立体音響実現技術が提案されてよい。このとき、コンピュータシステムは、ある現場に位置する複数の客体のオーディオファイルをそれぞれ生成してよい。この後、コンピュータシステムは、客体に対して現場の空間的特徴を含むメタデータを生成してよい。このとき、コンピュータシステム１１０は、創作者の設定に基づいて、客体に対して空間的特徴をそれぞれ生成してよい。これにより、電子装置１５０は、単に完成形態のオーディオコンテンツを再生するのではなく、ユーザカスタム型オーディオコンテンツを再生することができる。すなわち、電子装置は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングして立体音響を実現することができる。すなわち、電子装置１５０は、オーディオファイルとメタデータを材料として活用し、オーディオと関連するユーザカスタム型臨場感を実現することができる。これにより、電子装置の利用者は、特定の現場で特定の客体から発生するオーディオ信号を直に聞くように、ユーザカスタム型臨場感を感じることができるようになる。

【0073】

多様な実施形態に係るコンピュータシステム１１０による方法は、現場で複数の客体それぞれが発生するオーディオ信号に基づいてオーディオファイルをそれぞれ生成する段階（段階５２０、段階７２０段階）、客体に対してそれぞれ設定される現場の空間的特徴を含むメタデータを生成する段階（段階５３０、段階７４０段階）、客体のオーディオファイルとメタデータを電子装置１５０に送信する段階（段階５４０、段階５５０、段階７５０）を含んでよい。

【0074】

多様な実施形態によると、電子装置１５０は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングすることにより、現場の臨場感を実現することができる。

【0075】

多様な実施形態によると、オーディオファイルを生成する段階（段階５２０、段階７２０）は、客体それぞれに付着されるか客体それぞれに隣接して設置されるマイクロホンによってオーディオ信号を取得する段階（段階５１０、段階７１０）、およびオーディオ信号からオーディオファイルをそれぞれ生成する段階（段階５２０、段階７２０）を含んでよい。

【0076】

多様な実施形態によると、メタデータを生成する段階（段階５３０、段階７４０）は、グラフィックインタフェースを出力する段階、グラフィックインタフェースを利用した少なくとも１つの入力に基づいて、客体に対して空間的特徴をそれぞれ設定する段階（段階７３０）、および空間的特徴に基づいてメタデータを生成する段階（段階７４０）を含んでよい。

【0077】

多様な実施形態によると、メタデータは、客体それぞれの位置情報、客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または現場の環境情報のうちの少なくとも１つを含んでよい。

【0078】

多様な実施形態によると、客体それぞれは、楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景のうちの１つを含んでよい。

【0079】

多様な実施形態によると、メタデータは、複数の音場（Ａｕｄｉｏ Ｓｃｅｎｅ）情報を含んでよい。すなわち、利用者の位置が舞台の中心であるときの音場、利用者の位置が観客席の１列目であるときの音場、ボーカリストが強調された音場、楽器が強調された音場、現場音が強調された音場、弦楽器が動的に動く音場などのメタデータは、多様な音場情報を含んでよい。

【0080】

多様な実施形態によると、複数の音場は、図４ｃに示すように、利用者がリアルタイムで選択可能なプリセット形態で提供されてよい。

【0081】

多様な実施形態によると、オーディオファイルとメタデータは、製作ツールを備える電子機器３１０で製作ツールを利用して生成され、メタデータは、電子装置１５０で選択可能なプリセット形態で生成されてよい。

【0082】

多様な実施形態によると、オーディオファイルとメタデータを電子装置１５０に送信する段階（段階５４０、段階５５０、段階７５０）は、サーバ３３０が第１通信プロトコルを利用して、電子機器３１０からオーディオファイルとメタデータを受信する段階（段階９１０）、およびサーバ３３０が第２通信プロトコルを利用して、電子装置１５０にオーディオファイルとメタデータを送信する段階（段階５５０、段階９２０）を含んでよい。

【0083】

多様な実施形態によると、サーバ３３０は、メタデータに基づいてオーディオファイルをレンダリングする段階（段階５６０）を実行することができない電子装置１５０を支援するために、電子装置１５０が再生可能なフォーマットに事前レンダリングした信号を送信してよい。再生可能なフォーマットは、ヘッドホン、ステレオスピーカ、マルチチャンネルスピーカ、サウンドバーのうちの１つを含んでよい。図４ｃに示すように、利用者がリアルタイムでプリセットを選択するための機能を提供する場合、プリセットごとに事前レンダリングを実行してよい。多様な実施形態によると、サーバ３３０は、ライブストリーミングサーバであってよい。

【0084】

多様な実施形態によると、電子装置１５０は、オーディオファイルとメタデータを受信し、メタデータからプリセット情報を抽出し、ユーザインタフェースを利用した少なくとも１つの入力に基づいて、プリセット情報によってオーディオファイルをレンダリングすることにより、現場の臨場感を実現することができる。

【0085】

多様な実施形態によると、電子装置１５０は、図４ｃに示すように、利用者がリアルタイムでプリセット（音場）を選択できるようにしてよい。プリセットを切り換える場合、利用者が選択した時点ではなく、音質歪曲が最小化する地点に切り換わるようにしてよい。音質歪曲が最小化する切り換え時点は、ルックアップデイブルを参照してよい。ルックアップテーブルは、時間による音質歪曲指標を含む。ルックアップテーブルは、電子機器製作スタジオ３１０、サーバ３３０、電子装置１５０のうちの少なくとも１つで生成されてよい。

【0086】

多様な実施形態に係るコンピュータシステム１１０は、現場で複数の客体それぞれが発生するオーディオ信号に基づいてオーディオファイルをそれぞれ生成し、客体に対してそれぞれ設定される現場の空間的特徴を含むメタデータを生成するように構成される電子機器３１０、および客体のオーディオファイルとメタデータを電子装置１５０に送信するように構成されるサーバ３３０を含んでよい。

【0087】

多様な実施形態によると、電子装置１５０は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングすることにより、現場の臨場感を実現することができる。

【0088】

多様な実施形態によると、電子機器３１０は、客体それぞれに付着されるか客体それぞれに隣接して設置されるマイクロホンによってオーディオ信号を取得し、オーディオ信号からオーディオファイルをそれぞれ生成するように構成されてよい。

【0089】

多様な実施形態によると、電子機器３１０は、グラフィックインタフェースを出力し、グラフィックインタフェースを利用した少なくとも１つの入力に基づいて客体に対して空間的特徴をそれぞれ設定し、空間的特徴に基づいてメタデータを生成するように構成されてよい。

【0090】

多様な実施形態によると、メタデータは、客体それぞれの位置情報、客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または現場の環境情報のうちの少なくとも１つを含んでよい。

【0091】

多様な実施形態によると、客体それぞれは、楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景のうちの１つを含んでよい。

【0092】

多様な実施形態によると、電子機器３１０は、製作ツールを備え、製作ツールを利用してオーディオファイルとメタデータを生成し、メタデータを電子装置で選択可能なプリセット形態で生成するように構成されてよい。

【0093】

多様な実施形態によると、サーバ３３０は、第１通信プロトコルを利用して、電子機器３１０からオーディオファイルとメタデータを受信し、第２通信プロトコルを利用して、電子装置１５０にオーディオファイルとメタデータを送信するように構成されてよい。

【0094】

多様な実施形態によると、サーバ３３０は、ライブストリーミングサーバであってよい。

【0095】

多様な実施形態によると、電子装置１５０は、オーディオファイルとメタデータを受信し、メタデータからプリセット情報を抽出し、ユーザインタフェースを利用した少なくとも１つの入力に基づいて、プリセット情報によってオーディオファイルをレンダリングすることにより、現場の臨場感を実現することができる。

【0096】

多様な実施形態によると、電子装置１５０は、第１プリセット情報と第２プリセット情報を抽出し、時間による第１プリセット情報から第２プリセット情報に切り換わるときに発生する音質歪曲指標を含むルックアップテーブル（Ｌｏｏｋ－ｕｐ ｔａｂｌｅ）を参照することで、第１プリセット情報から第２プリセット情報への切り換えを音質歪曲が最小化する地点に実行してよい。

【0097】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0098】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0099】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0100】

本文書の多様な実施形態とこれに使用した用語は、本文書に記載された技術を特定の実施形態に対して限定しようとするものではなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明に関し、類似の構成要素に対しては類似の参照符号を付与した。単数の表現は、文脈上で明らかに異なるように意味しない限り、複数の表現を含んでよい。本文書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、ともに羅列された項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「１番目」、または「２番目」などの表現は、該当の構成要素を順序または重要度に関係なく修飾してよく、ある構成要素を他の構成要素と区分するために使用されるものに過ぎず、該当の構成要素を限定するものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結されて」いるとか「接続されて」いると言及されるときには、前記ある構成要素が前記他の構成要素に直接的に連結されてもよいし、他の構成要素（例：第３構成要素）を経て連結されてもよい。

【0101】

本文書で使用された用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部となってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。

【0102】

多様な実施形態によると、上述した構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの１つ以上の構成要素または段階が省略されてもよいし、１つ以上の他の構成要素または段階が追加されてもよい。大体的にまたは追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてよい。この場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を、統合前に複数の構成要素のうちの該当の構成要素によって実行されることと同一または類似に実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的に、並列的に、反復的に、または発見的に実行されてもよいし、段階のうちの１つ以上が他の順序で実行されたり、省略されたり、または１つ以上の他の段階が追加されたりしてもよい。

【符号の説明】

【0103】

１１０：コンピュータシステム
３１０：電子機器（製作スタジオ）
３３０：サーバ

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】