特開 2023-39914 イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039914

(43)【公開日】2023-03-22

(54)【発明の名称】イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよび方法

(51)【国際特許分類】

   H04N 21/233 20110101AFI20230314BHJP

   H04N 21/84 20110101ALI20230314BHJP

   H04S 7/00 20060101ALI20230314BHJP

【ＦＩ】

H04N21/233

H04N21/84

H04S7/00 300

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022128606

(22)【出願日】2022-08-12

(31)【優先権主張番号】10-2021-0120507

(32)【優先日】2021-09-09

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ブルートゥース

３．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(71)【出願人】

【識別番号】518449353

【氏名又は名称】ガウディオ・ラボ・インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】キム ジョンシク

(72)【発明者】

【氏名】キム デファン

(72)【発明者】

【氏名】キム ドンファン

(72)【発明者】

【氏名】イ テギュ

(72)【発明者】

【氏名】ソ ジョンフン

(72)【発明者】

【氏名】オ ジウォン

【テーマコード（参考）】

5C164

5D162

【Ｆターム（参考）】

5C164GA07

5C164MB13P

5C164PA41

5C164SB04P

5C164SB08S

5D162AA15

5D162DA12

5D162DA17

5D162DA18

5D162DA45

5D162EG02

(57)【要約】

【課題】多様な実施形態は、イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよびこの方法を提供する。
【解決手段】多様な実施形態によると、コンピュータシステムは、複数のイベントに対するイベントリスト、前記イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信し、前記現在イベント状態に基づいて、前記イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力するように構成される。
【選択図】図１１

【特許請求の範囲】

【請求項1】

コンピュータシステムによる方法であって、
複数のイベントに対するイベントリスト、前記イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信する段階、および
前記現在イベント状態に基づいて、前記イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する段階
を含む、方法。

【請求項2】

前記現在オーディオコンテンツを出力する段階は、
前記現在イベント状態が前記イベントのうちの少なくとも２つと関連すれば、予め定められた優先順位に基づいて、前記関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階、および
前記決定されたオーディオレンダリング情報にしたがって前記現在オーディオコンテンツを出力する段階
を含む、請求項１に記載の方法。

【請求項3】

前記イベントのそれぞれは、
オーディオマッチングイベントまたは非オーディオマッチングイベントであり、
前記関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階は、
前記関連するイベントのうちの前記オーディオマッチングイベントに基づいて、前記関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階
を含む、請求項２に記載の方法。

【請求項4】

前記イベント状態情報は、
前記関連するイベントのレイヤ情報を含み、
前記関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階は、
前記レイヤ情報に基づいて、前記関連するイベントのうちの上位レイヤのイベントとマッチングするオーディオレンダリング情報を決定する段階
を含む、請求項２に記載の方法。

【請求項5】

前記イベント状態情報は、
前記イベントのうちの少なくとも１つを指示するタリー情報を含む、
請求項１に記載の方法。

【請求項6】

前記現在オーディオコンテンツを出力する段階は、
複数のイベントソースが連結されていれば、前記イベントソースの連結関係に基づいて、前記イベントソースのうちの１つを決定する段階、および
前記決定されたイベントソースからのイベントとマッチングするオーディオレンダリング情報にしたがって前記現在オーディオコンテンツを出力する段階
を含む、請求項１に記載の方法。

【請求項7】

前記イベントソースのうちの１つを決定する段階は、
予め定められた優先順位に基づいて、前記イベントソースのうちの１つを決定する段階、または
前記イベントソースのうちの１つをデフォルトとして決定する段階
を含む、請求項６に記載の方法。

【請求項8】

前記イベントは、
ビデオ場面、照明、火花、霧、またはマルチアンタクト画面のうちの少なくとも１つを含む、
請求項１に記載の方法。

【請求項9】

前記イベントのそれぞれとマッチングするオーディオレンダリング情報は、
該当のイベントと関連して、出力するためのオーディオコンテンツを空間的に処理するために利用される空間的オーディオ属性を示す、
請求項１に記載の方法。

【請求項10】

請求項１～９のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。

【請求項11】

請求項１～９のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。

【請求項12】

コンピュータシステムであって、
メモリ、
通信モジュール、および
前記メモリおよび前記通信モジュールとそれぞれ連結し、前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサを含み、
前記プロセッサは、
複数のイベントに対するイベントリスト、前記イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信し、
前記現在イベント状態に基づいて、前記イベントのうちの１つとマッチングされるオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力するように構成される、
コンピュータシステム。

【請求項13】

前記プロセッサは、
前記現在イベント状態が前記イベントのうちの少なくとも２つと関連すれば、予め定められた優先順位に基づいて、前記館連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定し、
前記決定されたオーディオレンダリング情報にしたがって前記現在オーディオコンテンツを出力するように構成される、
請求項１２に記載のコンピュータシステム。

【請求項14】

前記イベントのそれぞれは、
オーディオマッチングイベントまたは非オーディオマッチングイベントであり、
前記プロセッサは、
前記関連するイベントのうちの前記オーディオマッチングイベントに基づいて、前記関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定するように構成される、
請求項１３に記載のコンピュータシステム。

【請求項15】

前記イベント状態情報は、
前記関連するイベントのレイヤ情報を含み、
前記プロセッサは、
前記レイヤ情報に基づいて、前記関連するイベントのうちの上位レイヤのイベントとマッチングするオーディオレンダリング情報を決定するように構成される、
請求項１３に記載のコンピュータシステム。

【請求項16】

前記イベント状態情報は、
前記イベントのうちの少なくとも１つを指示するタリー情報を含む、
請求項１２に記載のコンピュータシステム。

【請求項17】

前記プロセッサは、
複数のイベントソースが連結されていれば、前記イベントソースの連結関係に基づいて、前記イベントソースのうちの１つを決定し、
前記決定されたイベントソースからのイベントとマッチングするオーディオレンダリング情報にしたがって前記現在オーディオコンテンツを出力するように構成される、
請求項１２に記載のコンピュータシステム。

【請求項18】

前記プロセッサは、
予め定められた優先順位に基づいて、前記イベントソースのうちの１つを決定するか、
前記イベントソースのうちの１つをデフォルトとして決定するように構成される、
請求項１７に記載のコンピュータシステム。

【請求項19】

前記イベントは、
ビデオ場面、照明、火花、霧、またはマルチアンタクト画面のうちの少なくとも１つを含む、
請求項１２に記載のコンピュータシステム。

【請求項20】

前記イベントのそれぞれとマッチングするオーディオレンダリング情報は、
該当のイベントと関連して、出力するためのオーディオコンテンツを空間的に処理するために利用される空間的オーディオ属性を示す、
請求項１２に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

多様な実施形態は、イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよび方法に関する。

【背景技術】

【0002】

一般的に、コンテンツ制作環境は、多様なビューからなる視覚的コンテンツに対して、固定的な音場で構成されたオーディオコンテンツを提供する。例えば、コンテンツ制作環境は、特定の現場に対してフルショットやクローズアップショットなどの多様なビデオ場面を繋げて視覚的コンテンツを制作しながら、該当の現場のオーディオ信号を予め定められた構成の固定的な音場でミキシングしてオーディオコンテンツを制作する。このような理由から、ユーザは、視覚的コンテンツとオーディオコンテンツを再生するときに、多様なビューを見ながら、オーディオコンテンツを基盤とする予め定められた構成の固定的なサウンドを聞くことしかできない。したがって、視覚的コンテンツに対するユーザの沒入感が低い。

【発明の概要】

【発明が解決しようとする課題】

【0003】

多様な実施形態は、ユーザの視覚的コンテンツに対する沒入感を高めることができる、コンピュータシステムおよびこの方法を提供する。

【0004】

多様な実施形態は、イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよび方法を提供する。

【課題を解決するための手段】

【0005】

多様な実施形態に係るコンピュータシステムによる方法は、複数のイベントに対するイベントリスト、前記イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信する段階、および前記現在イベント状態に基づいて、前記イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する段階を含んでよい。

【0006】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムは、前記方法を前記コンピュータシステムに実行させるためのものであってよい。

【0007】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体には、前記方法を前記コンピュータシステムに実行させるためのプログラムが記録されていてよい。

【0008】

多様な実施形態に係るコンピュータシステムは、メモリ、通信モジュール、および前記メモリおよび前記通信モジュールとそれぞれ連結し、前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、複数のイベントに対するイベントリスト、前記イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信し、前記現在イベント状態に基づいて、前記イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力するように構成されてよい。

【発明の効果】

【0009】

多様な実施形態によると、コンピュータシステムは、イベントカスタム型のオーディオコンテンツをレンダリングする。このために、コンテンツの各イベントに互いに異なるオーディオレンダリング情報をマッチングしてよい。この後、コンピュータシステムは、イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがってオーディオコンテンツをレンダリングする。このとき、コンピュータシステムは、現在中継されているイベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを空間的に処理することにより、ユーザのための臨場感を実現する。これにより、ユーザは、中継されるイベントとこれに合うようにレンダリングされたオーディオコンテンツを利用することにより、その現場にいるような臨場感を感じることができるようになる。すなわち、コンピュータシステムは、ユーザの視覚的コンテンツに対する沒入感を高めることができる。

【図面の簡単な説明】

【0010】

【図1】多様な実施形態における、コンピュータシステムの動作環境を示したブロック図である。

【図2】多様な実施形態における、コンピュータシステムの動作環境を説明するための例示図である。

【図3】一実施形態における、コンピュータシステムの動作特徴を説明するための例示図である。

【図4A】一実施形態における、コンピュータシステムの動作特徴を説明するための例示図である。

【図4B】一実施形態における、コンピュータシステムの動作特徴を説明するための例示図である。

【図5】一実施形態における、コンピュータシステムと関連する制作環境を示したブロック図である。

【図6】一実施形態における、コンピュータシステムと関連する制作環境の動作特徴を説明するための例示図である。

【図7A】一実施形態における、コンピュータシステムと関連する制作環境の動作特徴を説明するための例示図である。

【図7B】一実施形態における、コンピュータシステムと関連する制作環境の動作特徴を説明するための例示図である。

【図8A】一実施形態における、コンピュータシステムと関連する制作環境の動作特徴を説明するための例示図である。

【図8B】一実施形態における、コンピュータシステムと関連する制作環境の動作特徴を説明するための例示図である。

【図9A】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9B】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9C】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9D】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9E】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9F】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9G】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図9H】一実施形態における、コンピュータシステムのユーザインタフェースを説明するための例示図である。

【図10】多様な実施形態における、コンピュータシステムの内部構成を示したブロック図である。

【図11】多様な実施形態における、コンピュータシステムの動作の流れを示したフローチャートである。

【図12】現在オーディオコンテンツを出力する段階の詳細な流れを示したフローチャートである。

【発明を実施するための形態】

【0011】

以下、本文書の多様な実施形態について、添付の図面を参照しながら説明する。

【0012】

図１は、多様な実施形態における、コンピュータシステム１００の動作環境を示したブロック図である。図２は、多様な実施形態における、コンピュータシステム１００の動作環境を説明するための例示図である。

【0013】

図１を参照すると、コンピュータシステム１００は、制作環境１１０およびユーザ１２０と通信する。コンピュータシステム１００は、同じネットワークを介して制作環境１１０およびユーザ１２０と通信してもよいし、異なるネットワークを介して制作環境１１０およびユーザ１２０と通信してもよい。ここで、ユーザ１２０は、ユーザの電子装置と混用されてよい。例えば、電子装置は、スマートフォン、携帯電話、ナビゲーション、ＰＣ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、タブレット、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、家電機器、医療機器、ロボット、またはＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）装置のうちの少なくとも１つを含んでよい。

【0014】

制作環境１１０は、マルチメディアコンテンツを制作する。一実施形態において、制作環境１１０は、少なくとも１つの電子機器によって構成されてよい。マルチメディアコンテンツは、視覚的コンテンツおよび視覚的コンテンツと同期化するオーディオコンテンツを含んでよい。例えば、視覚的コンテンツは、バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：ＶＲ）コンテンツ、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）コンテンツ、またはエクステンデッドリアリティ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ：ＸＲ）コンテンツのうちの少なくとも１つを含んでよい。例えば、制作環境１１０は、図２に示すように実際の現場でマルチメディア信号を収集し、これに基づいてマルチメディアコンテンツを制作してよい。視覚的コンテンツは、特定の現場に対する複数のイベント、例えば、視覚的イベントまたは触覚的イベントのうちの少なくとも１つで構成されてよい。ここで、イベントは、同じ現場に対する互いに異なるビューをそれぞれ示してよい。言い換えれば、同じ現場に対して多数のイベントが同時に生成されてよい。視覚的イベントのタイプとしては、例えば、ビデオ場面、照明、火花、霧、またはマルチアンタクト（非対面）画面のうちの少なくとも１つであってよい。マルチアンタクト画面は、ブロードキャストプログラムの現場で異なるビューによりキャプチャされた全部のビデオシーンが一緒に表示される画面を表してよい。

【0015】

これにより、ユーザ１２０のためのマルチメディアコンテンツを提供する。このとき、マルチメディアコンテンツは、リアルタイムでストリーミングされてもよいし、ユーザ１２０が所望する時間に提供されてもよい（ＶＯＤ）。一実施形態によると、視覚的コンテンツのイベントのうちの少なくとも１つが中継され、中継されるイベントはイベント内で切り替わってよい。他の実施形態によると、ユーザ１２０の選択に応答して、視覚的コンテンツのイベントのうちの１つが中継されてよい。

【0016】

したがって、コンピュータシステム１００は、ユーザ１２０のためのオーディオコンテンツをレンダリングする。このとき、イベントのそれぞれに対して互いに異なるオーディオレンダリング情報がマッチングされてよい。オーディオレンダリング情報は、該当のイベントと関連する空間的オーディオ属性を示し、プリセット形態で構成されてよい。一実施形態において、イベントのそれぞれは、該当のイベントに対してオーディオコンテンツを再生するためのオーディオマッチングイベント、または該当のイベントに対してオーディオコンテンツを再生しないための非（ｎｏｎ）オーディオマッチングイベントが設定されてよい。コンピュータシステム１００は、イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがってオーディオコンテンツをレンダリングする。このとき、コンピュータシステム１００は、現在中継されているイベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを空間的に処理することにより、ユーザ１２０のために臨場感を実現してよい。これにより、ユーザ１２０は、中継されるイベントとこれに合うようにレンダリングされたオーディオコンテンツを利用することにより、その現場にいるような臨場感を感じることができるようになる。一例として、ユーザ１２０は、図２に示すように、２次元的に中継されるイベントをスマートフォンで見ながら、これに合ったサウンドを経験することができる。他の例として、ユーザ１２０は、図２に示すように、３次元的に中継されるイベントをＨＭＤ装置で見ながら、これに合ったサウンドを経験することができる。

【0017】

以下では、イベントが、放送プログラム現場で互いに異なるビューで撮影されたビデオ場面であるということを中心に、コンピュータシステム１００およびこの方法について説明する。ただし、これは説明の便宜のための一例に過ぎず、これに制限されてはならない。すなわち、多様なタイプのイベントに対して、コンピュータシステム１００およびこの方法を適用することができる。

【0018】

図３、図４Ａ、図４Ｂは、一実施形態における、コンピュータシステム１００の動作の特徴を説明するための例示図である。

【0019】

図３を参照すると、コンピュータシステム１００は、イベントによってオーディオコンテンツを互いに異なるようにレンダリングする。一実施形態によると、イベントは、放送プログラム現場で互いに異なるビューから撮影されたビデオ場面であってよい。例えば、各ビデオ場面は、図３（ａ）に示すようなフルショット、図３（ｂ）または（ｃ）に示すようなクローズアップショット（人物ショットとも呼ぶ）、または図３（ｄ）に示すような分割画面のうちのいずれか１つであってよい。ここで、ＡＡ、ＢＢ、ＣＣ、およびＤＤはそれぞれ人物を示してよい。図３（ａ）のようなフルショットに対して、コンピュータシステム１００は、ユーザ１２０が該当の放送プログラム現場の一隅でサウンドを聞くような経験ができるようにオーディオコンテンツをレンダリングしてよい。図３（ｂ）または（ｃ）に示すような特定の人物のクローズアップショットに対して、コンピュータシステム１００は、ユーザ１２０が該当の人物の正面でサウンドを聞くような経験ができるようにオーディオコンテンツをレンダリングしてよい。ここで、コンピュータシステム１００は、該当の人物と周辺の人物の位置関係が表現されるようにオーディオコンテンツをレンダリングしてよい。図３（ｄ）に示すように、複数の人物のクローズアップショットで構成される分割画面に対して、コンピュータシステム１００は、分割画面内でクローズアップショットの位置によって人物を個別に把握できるようにオーディオコンテンツをレンダリングしてよい。

【0020】

一実施形態によると、視覚的コンテンツのイベントのうちの少なくとも１つが中継され、中継されるイベントはイベント内で切り替わってよい。このような場合、コンピュータシステム１００は、中継されるイベントを自動で検出し、中継されるイベントに合うようにオーディオコンテンツをレンダリングしてよい。例えば、一般ストリーミングサービスにおいて、図４Ａに示すように、中継されるビデオ場面が、フルショット、特定の人物、例えば、ＢＢのクローズアップショット、および分割画面の順に切り替わり、コンピュータシステム１００はこれに対応してオーディオコンテンツをレンダリングしてよい。これにより、ユーザ１２０は、フルショットに対しては該当の放送プログラム現場の一隅でサウンドを聞くような経験ができ、クローズアップショットに対しては該当の人物の正面でサウンドを聞くような経験ができ、分割画面に対しては分割画面内でクローズアップショットの位置によって人物を個別に把握できるような経験ができるようになる。

【0021】

他の実施形態によると、ユーザ１２０の選択に応答して視覚的コンテンツのイベントのうちの１つを中継してよい。このような場合、コンピュータシステム１００は、中継されるイベントに合うようにオーディオコンテンツをレンダリングしてよい。例えば、マルチビューストリーミングサービスにおいて、図４Ｂに示すように、中継可能なビデオ場面がユーザ１２０に提供されてよい。このとき、ユーザ１２０の選択に応答して、フルショット、クローズアップショット、または分割画面のうちの１つが中継され、コンピュータシステム１００は、これに対応してオーディオコンテンツをレンダリングしてよい。または、コンピュータシステム１００は、フルショット、クローズアップショット、または分割画面のうちの少なくとも１つにそれぞれ対応してオーディオコンテンツをそれぞれレンダリングし、レンダリングされたすべてのオーディオコンテンツを同時に配信してもよい。この後、ユーザ１２０の選択に応答して、フルショット、クローズアップショット、または分割画面のうちの１つを再生しながら、これに対応してレンダリングされたオーディオコンテンツを提供する。これにより、ユーザ１２０は、中継されるビデオ場面を見ながら、これに合ったサウンドを経験することができるようになる。

【0022】

図５は、一実施形態における、コンピュータシステム１００と関連する制作環境１１０を示したブロック図である。図６、図７Ａ、図７Ｂ、図８Ａ、図８Ｂは、一実施形態における、コンピュータシステム１００と関連する制作環境１１０の動作の特徴を説明するための例示図である。

【0023】

図５を参照すると、制作環境１１０は、１つ以上の映像ソース５１１、５１５を含み、コンピュータシステム１００は、映像ソース５１１、５１５のうちの少なくとも一部と連結する。例えば、映像ソース５１１、５１５は、映像スタジオ５１１または映像ミキサー５１５のうちの少なくとも１つを含んでよい。ここで、映像スタジオ５１１と映像ミキサー５１５は、キャプチャボード５１３を間に置いて連結してよい。また、映像ソース５１１、５１５で制作される視覚的コンテンツは、配信プログラム５１９を通じてユーザ１２０に提供されてよい。

【0024】

映像スタジオ５１１は、視覚的コンテンツを制作するための電子機器である。例えば、映像スイッチャー（Ｖｉｄｅｏ Ｓｗｉｔｃｈｅｒ）のようなハードウェアであってもよいし、ＯＢＳ（Ｏｐｅｎ Ｂｒｏａｄｃａｓｔ Ｓｏｆｔｗａｒｅ）のようなソフトウェアであってもよい。このような映像スタジオ５１１は、複数のカメラと個別に連結し、カメラが撮影した映像に基づいてイベントをそれぞれ生成してよい。例えば、映像スタジオ５１１は、５台のカメラが撮影した映像から５つのビデオ場面＃１～＃５を生成してよい。

【0025】

また、映像スタジオ５１１は、制作者の選択にしたがってイベントのうちから中継するイベントを決定する。一例として、映像スタジオ５１１は、１つのビデオ場面＃１を中継画面として決定し、他のビデオ場面＃２を後続の中継画面として決定してよい。これにより、映像スタジオ５１１は、タリー（ｔａｌｌｙ）情報を生成する。タリー情報とは、中継するイベントを識別するための情報であって、一例として、中継画面として選択されたビデオ場面を識別するために利用されてよい。タリー情報は、現在中継するビデオイベント（プログラム）と次に中継するビデオイベント（プレビュー）形態で構成されてよい。

【0026】

映像ミキサー５１５は、映像スタジオ５１１とともに、視覚的コンテンツを制作するための電子機器である。このような映像ミキサー５１５も、カメラが撮影した映像と映像ミキサー５１５で支援するビデオ／イメージ入力、ビデオ効果に基づいてイベントをそれぞれ生成してよい。例えば、映像ミキサー５１５は、映像編集ソフトウェアを備えてよく、これを利用して少なくとも１つのイベントを生成してよい。このとき、映像ミキサー５１５は、キャプチャボード５１３によって、カメラが撮影した映像と映像スタジオ５１１からの中継画面を受信してよい。また、映像ミキサー５１５は、キャプチャボード５１３が受信した映像のうちの少なくとも２つを組み合わせるか、撮影した映像のうちの少なくとも１つと任意のイメージを組み合わせて少なくとも１つのイベントを生成してよい。図６を参照すると、例えば、映像ミキサー５１５は、映像スタジオ５１１で決定される中継画面から１つのビデオ場面＃１を生成し、カメラが撮影した映像のうちの一部から４つのビデオ場面＃２～＃５を生成し、撮影した映像のうちの少なくとも２つで構成される分割画面から１つのビデオ場面＃６を生成し、撮影した映像のうちの少なくとも１つにオーバーレイするための任意の個数のイメージから該当の個数のビデオ場面＃７～＃９を生成してよい。

【0027】

また、映像ミキサー５１５は、映像スタジオ５１１で決定された、中継するイベントを変更してよい。例えば、映像ミキサー５１５は、映像スタジオ５１１で決定された中継画面を映像ミキサー５１５で生成された分割画面に変更してよい。一実施形態によると、映像ミキサー５１５は、中継されるイベントをカット方式によって変更してよい。例えば、映像ミキサー５１５は、図７Ａに示すように、中継画面を切り替えて（切り取り（カット）、ディゾルブ、パターンワイプなど）、該当の中継画面の代わりに分割画面を挿入してよい。このような場合、図７Ｂに示すように、映像スタジオ５１１で決定された中継画面は中継されなくなる。他の実施形態によると、映像ミキサー５１５は、中継されるイベントをオーバーレイ方式によって変更してよい。例えば、映像ミキサー５１５は、図８Ａおよび図８Ｂに示すように、中継画面の上位レイヤ（Ｌａｙｅｒ１）に分割画面をオーバーレイしてよい。このような場合に、図８Ｂに示すように、映像スタジオ５１１で決定された中継画面に分割画面が重ねられて中継されるようになる。これにより、映像ミキサー５１５は、タリー情報を生成する。タリー情報とは、中継されるイベントを識別するための情報であって、一例として、どの映像が中継画面として選択されたかを識別するために利用されてよい。さらに、映像ミキサー５１５がオーバーレイ方式を利用する場合、映像ミキサー５１５は、レイヤ情報も生成する。レイヤ情報は、各ビデオイベントに対してオーバーレイベントが存在するレイヤがあるかを識別するための情報であって、一例として、中継画面において上位レイヤ（Ｌａｙｅｒ１）に分割画面がオーバーレイされているかを識別するために利用されてよい。

【0028】

一方、制作環境１１０は、オーディオコンソール５１７をさらに含み、コンピュータシステム１００は、オーディオコンソール５１７と連結する。オーディオコンソール５１７は、オーディオコンテンツを制作するための電子機器であってよい。オーディオコンソール５１７は、ある現場の複数の物体のそれぞれに直接的に付着するか隣接して設置される複数のマイクロフォンと個別に連結し、マイクロフォンが取得したオーディオ信号に基づいてオーディオコンテンツを制作してよい。また、コンピュータシステム１００は、配信プログラム５１９を通じてオーディオコンテンツをユーザ１２０に提供してよい。このとき、コンピュータシステム１００は、配信プログラム５１９を通じてユーザ１２０に中継されるイベントに対応してオーディオコンテンツをレンダリングしてよい。

【0029】

図９Ａ～図９Ｈは、一実施形態における、コンピュータシステム１００のユーザインタフェースを説明するための例示図である。

【0030】

図９Ａ～図９Ｈを参照すると、コンピュータシステム１００は、ユーザインタフェースを利用して少なくとも１つのイベントソースとの連結を樹立する。例えば、コンピュータシステム１００は、２つのイベントソース、例えば、映像スタジオ５１１および映像ミキサー５１５と連結してよい。このために、コンピュータシステム１００は、設定画面を表示する。例えば、設定画面には、イベントソースのそれぞれに対して割り当てられるソース領域、およびイベントソース間の連結性を活用するための連結領域を含んでよい。これにより、コンピュータシステム１００は、設定画面を利用してイベントソースとの連結を樹立することができる。

【0031】

具体的に、図９Ａに示すように、創作者が設定画面の１つのソース領域に１つのイベントソース、例えば、映像スタジオ５１１のアドレス情報を入力すれば、コンピュータシステム１００は、該当のイベントソースとの連結を樹立する。この後、コンピュータシステム１００は、該当のイベントソースで生成されるイベントに対するイベントリストを確認し、図９Ｂに示すように設定画面にイベントリストを表示する。例えば、イベントリストは、映像ミキサー５１５のビデオ入力リストであってよい。また、図９Ｃに示すように、創作者がイベントのそれぞれに対応してオーディオレンダリング情報、例えば、プリセットを入力すれば、コンピュータシステム１００は、イベントのそれぞれに対応して入力されたオーディオレンダリング情報をマッチングする。これにより、イベントリストに対応して、オーディオレンダリング情報に対するオーディオリストがマッチングされてよい。このとき、コンピュータシステム１００は、該当のイベントソースからのタリー情報に基づいて、イベントリストで中継されるイベントを表現してよい。例えば、映像ミキサー５１５のビデオ入力１にはフルショットが入力され、入力２にはＡＡが入力されるとき、図９ＣのＰｒｅｓｅｔ１には該当の放送プログラム現場の一隅で聞くようなオーディオレンダリング情報をマッチングし、Ｐｒｅｓｅｔ２にはＡＡの正面で聞くようなオーディオレンダリング情報をマッチングすることにより、映像ミキサー５１５の切替効果によってオーディオレンダリングが自動で切り替わるようになる。

【0032】

次に、図９Ｄに示すように、創作者が設定画面の他のソース領域に他のイベントソース、例えば、映像ミキサー５１５のアドレス情報を入力すれば、コンピュータシステム１００は、該当のイベントソースとの連結を樹立する。この後、コンピュータシステム１００は、該当のイベントソースで生成されるイベントに対するイベントリストを確認し、図９Ｅに示すように設定画面にイベントリストを表示する。この後、図９Ｆおよび図９Ｇに示すように、コンピュータシステム１００は、各イベントに対応して入力されたオーディオレンダリング情報をマッチングする。

【0033】

このとき、連結領域での創作者の要請にしたがい、コンピュータシステム１００は、イベントソース間の連結性を活用して、図９Ｆに示すように、例えば、連結スタジオ５１１の出力と映像ミキサー５１５の連結関係を設定する。図９Ｆは、左側イベントソースの出力が右側イベントソースのＩｎｐｕｔ１に連結されることを設定している。したがって、中継するイベントによってどのプリセットを選択しなければならないかを、連結性を基準として判断することができるようになる。例えば、右側イベントソースのＩｎｐｕｔ１が発生した場合、これは左側イベントソースの出力が配信されていることになるため、左側イベントソースのうちで発生したイベント（Ｉｎｐｕｔ１）に対応するオーディオレンダリング情報が処理されてよい。例えば、映像ミキサー５１５が映像スタジオ５１１に連結される場合、連結領域での創作者の要請にしたがい、コンピュータシステム１００は、映像スタジオ５１１からの中継画面に対応してオーディオレンダリング情報を自動でマッチングしてよい。この後、図９Ｇに示すように、創作者がイベントのそれぞれに対応してオーディオレンダリング情報、例えば、プリセットを入力すれば、コンピュータシステム１００は、イベントのそれぞれに対応して入力されたオーディオレンダリング情報をマッチングする。これにより、イベントリストに対応して、オーディオレンダリング情報に対するオーディオリストがマッチングされるようになる。この後、コンピュータシステム１００は、図９Ｇまたは図９Ｈに示すように、該当のイベントソースからのタリー情報およびレイヤ情報に基づいて、イベントリストで中継されるイベントを表現する。

【0034】

図１０は、多様な実施形態における、コンピュータシステム１００の内部構成を示したブロック図である。

【0035】

図１０を参照すると、コンピュータシステム１００は、接続端子１０１０、通信モジュール１０２０、入力モジュール１０３０、表示モジュール１０４０、オーディオモジュール１０５０、メモリ１０６０、またはプロセッサ１０７０のうちの少なくとも１つを含んでよい。一実施形態において、コンピュータシステム１００の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態において、コンピュータシステム１００の構成要素のうちの少なくともいずれか２つが１つの統合された回路で実現されてもよい。一実施形態において、コンピュータシステム１００の構成要素は、単一装置で実現されてもよいし、複数の装置に分散されて実現されてもよい。

【0036】

接続端子１０１０は、コンピュータシステム１００と外部装置を物理的に連結する。このために、接続端子１０１０は、少なくとも１つのコネクタを含んでよい。例えば、コネクタは、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ、またはオーディオコネクタのうちの少なくともいずれか１つを含んでよい。

【0037】

通信モジュール１０２０は、コンピュータシステム１００と外部装置との通信を実行する。通信モジュール１０２０は、コンピュータシステム１００と外部装置との間に通信チャネルを樹立し、通信チャネルを介して外部装置との通信を実行してよい。例えば、外部装置は、制作環境１１０の電子機器またはユーザ１２０うちの少なくとも１つを含んでよい。通信モジュール１０２０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、接続端子１０１０を介して外部装置と有線で接続し、外部装置と有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、Ｗｉ－Ｆｉダイレクト（Ｗｉ－Ｆｉ ｄｉｒｅｃｔ）、または赤外線通信（ＩｒＤＡ：ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラーネットワーク、インターネット、またはＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

【0038】

入力モジュール１０３０は、コンピュータシステム１００の少なくとも１つの構成要素に使用される信号を入力する。入力モジュール１０３０は、創作者がコンピュータシステム１００に信号を直接入力するように構成される入力装置、周辺環境を感知して信号を発生するように構成されるセンサ装置、または映像を撮影し、映像データを生成するように構成されるカメラモジュールのうちの少なくともいずれか１つを含んでよい。例えば、入力装置は、マイクロフォン、マウス、またはキーボードのうちの少なくともいずれか１つを含んでよい。一実施形態において、センサ装置は、タッチを感知するように設定されたタッチ回路、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含んでよい。

【0039】

表示モジュール１０４０は、情報を視覚的に表示する。例えば、表示モジュール１０４０は、ディスプレイ、ホログラム装置、またはプロジェクタのうちの少なくともいずれか１つを含んでよい。一例として、表示モジュール１０４０は、入力モジュール１０３０のタッチ回路またはセンサ回路のうちの少なくともいずれか１つと組み立てられ、タッチスクリーンで実現されてよい。

【0040】

オーディオモジュール１０５０は、情報を聴覚的に再生する。例えば、オーディオモジュール１０５０は、スピーカ、レシーバ、イヤフォン、またはヘッドフォン、オーディオインタフェース、ＩＰ基盤のオーディオネットワークシステムのうちの少なくともいずれか１つを含んでよい。

【0041】

メモリ１０６０は、コンピュータシステム１００の少なくとも１つの構成要素によって使用される多様なデータを記録する。例えば、メモリ１０６０は揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラムおよびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ１０６０に少なくとも１つの命令を含むソフトウェアとして記録されてよい。メモリ１０６０は、オーディオファイルとこれに対するメタデータを生成するための制作ツールを記録してよい。

【0042】

プロセッサ１０７０は、メモリ１０６０のプログラムを実行し、コンピュータシステム１００の少なくとも１つの構成要素を制御する。これにより、プロセッサ１０７０は、データ処理または演算を実行してよい。このとき、プロセッサ１０７０は、メモリ１０６０に記録された命令を実行してよい。

【0043】

多様な実施形態によると、プロセッサ１０７０は、イベントリスト、オーディオリスト、および現在イベント状態に関するイベント状態情報を受信する。イベントリストは、特定の現場に対する複数のイベントで構成されてよい。ここで、イベントは、同じ現場に対する互いに異なるビューそれぞれを示してよい。言い換えれば、同じ現場に対して多数のイベントが同時に生成されてよい。イベントのタイプとしては、例えば、ビデオ場面、照明、火花、霧、またはマルチアンタクト画面のうちの少なくとも１つであってよい。オーディオリストは、イベントのそれぞれとマッチングするオーディオレンダリング情報で構成されてよい。オーディオレンダリング情報は、該当のイベントと関連する空間的オーディオ属性を示し、プリセット形態で構成されてよい。一実施形態において、イベントのそれぞれは、該当のイベントに対してオーディオコンテンツを再生するためのオーディオマッチングイベント、または該当のイベントに対してオーディオコンテンツを再生しないための非（ｎｏｎ）オーディオマッチングイベントが設定されてよい。現在イベント状態は、現在中継されるイベントの状態を示してよい。例えば、イベント状態情報は、タリー情報またはレイヤ情報のうちの少なくとも１つを含んでよい。

【0044】

多様な実施形態によると、プロセッサ１０７０は、現在イベント状態に基づいて、イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する。このとき、プロセッサ１０７０は、制作環境１１０から現在オーディオコンテンツを受信し、これをレンダリングしてよい。現在イベント状態がイベントのうちの１つと関連すれば、プロセッサ１０７０は、現在イベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する。一方、現在イベントがイベントのうちの少なくとも２つと関連すれば、プロセッサ１０７０は、予め定められた優先順位に基づいて、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する。このとき、優先順位は、関連するイベントのそれぞれに対するオーディオマッチングの可否、レイヤ位置、またはイベントソースのうちの少なくとも１つによって定められてよい。

【0045】

一実施形態によると、プロセッサ１０７０は、関連するイベントのうちから、オーディオマッチングイベントに基づいてオーディオレンダリング情報を決定する。他の実施形態によると、プロセッサ１０７０は、レイヤ情報に基づいて、関連するイベントのうちで上位レイヤのイベントとマッチングするオーディオレンダリング情報を決定する。また他の実施形態によると、コンピュータシステム１００に複数のイベントソースが連結された場合、プロセッサ１０７０は、イベントソースの連結関係に基づいて、イベントソースのうちの１つを決定する。このとき、プロセッサ１０７０は、予め定められた優先順位に基づいて、またはデフォルトとして、イベントソースのうちの１つを決定してよい。これにより、プロセッサ１０７０は、決定されたイベントソースからのイベントとマッチングするオーディオレンダリング情報を決定することができる。

【0046】

図１１は、多様な実施形態における、コンピュータシステム１００の動作の流れを示したフローチャートである。

【0047】

図１１を参照すると、段階１１１０で、コンピュータシステム１００は、イベントリスト、オーディオリスト、および現在イベント状態に関するイベント状態情報を受信する。このとき、プロセッサ１０７０は、通信モジュール１０２０により、少なくとも１つのイベントソースからイベントリストを予め受信してよい。また、プロセッサ１０７０は、通信モジュール１０２０または入力モジュール１０３０により、創作者からオーディオリストを予め受信してよい。また、プロセッサ１０７０は通信モジュール１０２０を通じて、イベントソースからリアルタイムで現在イベント状態を受信してよい。

【0048】

イベントリストは、特定の現場に対する複数のイベントで構成される。ここで、イベントは、同じ現場に対する互いに異なるビューをそれぞれ示してよい。言い換えれば、同じ現場に対して多数のイベントが同時に生成されてよい。イベントのタイプとしては、例えば、ビデオ場面、照明、火花、霧、またはマルチアンタクト画面のうちの少なくとも１つであってよい。オーディオリストは、イベントのそれぞれとマッチングするオーディオレンダリング情報で構成されてよい。オーディオレンダリング情報は、該当のイベントと関連する空間的オーディオ属性を示し、プリセット形態で構成されてよい。一実施形態において、イベントのそれぞれは、該当のイベントに対してオーディオコンテンツを再生するためのオーディオマッチングイベント、または該当のイベントに対してオーディオコンテンツを再生しないための非（ｎｏｎ）オーディオマッチングイベントが設定されてよい。例えば、プロセッサ１０７０は、図９Ａ～図９Ｈに示すようなユーザインタフェースを利用してイベントソースとの連結を樹立し、イベントのそれぞれにオーディオレンダリング情報をマッチングしてよい。現在イベント状態は、現在中継されるイベントの状態を示してよい。例えば、イベント状態情報は、タリー情報またはレイヤ情報のうちの少なくとも１つを含んでよい。

【0049】

次に、段階１１２０で、コンピュータシステム１００は、現在イベント状態に基づいて、イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する。このとき、プロセッサ１０７０は、通信モジュール１０２０によって、制作環境１１０から現在オーディオコンテンツを受信し、これをレンダリングしてよい。現在イベント状態がイベントのうちの１つと関連すれば、プロセッサ１０７０は、現在イベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力してよい。一方、現在イベントがイベントのうちの少なくとも２つと関連すれば、プロセッサ１０７０は、予め定められた優先順位に基づいて、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力してよい。これについては、図１２を参照しながらより詳しく説明する。

【0050】

図１２は、図１１の現在オーディオコンテンツを出力する段階１１２０の詳しい流れを示したフローチャートである。

【0051】

図１２を参照すると、段階１２２１で、コンピュータシステム１００は、現在イベント状態を確認する。このとき、プロセッサ１０７０は、少なくとも１つのイベントソースから受信されるイベント状態情報を分析して、現在イベント状態を確認してよい。ここで、コンピュータシステム１００に複数のイベントソースが連結された場合、プロセッサ１０７０は、イベントソースのそれぞれから受信されるイベント状態情報をともに分析して、現在イベント状態を確認してよい。これにより、段階１１２３で、コンピュータシステム１００は、現在イベント状態が複数のイベントと関連するかどうかを判断する。

【0052】

このとき、プロセッサ１０７０は、現在中継されるイベントを識別する。例えば、コンピュータシステム１００が映像スタジオ５１１に連結された場合、プロセッサ１０７０は、映像スタジオ５１１からのタリー情報を利用して、映像スタジオ５１１で生成されるイベントのうちで現在中継されるイベントを識別してよい。この後、プロセッサ１０７０は、現在中継されるイベントの変更状況を確認する。例えば、コンピュータシステム１００が映像ミキサー５１５にも連結された場合、プロセッサ１０７０は、映像ミキサー５１５からのタリー情報またはレイヤ情報のうちの少なくとも１つを利用して、現在中継されるイベントの変更状況を確認してよい。一例として、プロセッサ１０７０は、映像ミキサー５１５からのタリー情報を利用して、現在中継されるイベントの代わりに、映像ミキサー５１５で生成される他のイベント、例えば、分割画面またはイメージが挿入されているかを確認してよい。他の例として、プロセッサ１０７０は、映像ミキサー５１５からのタリー情報およびレイヤ情報を利用して、現在中継されるイベントに映像ミキサー５１５で生成される他のイベント、例えば、分割画面またはイメージがオーバーレイされているかを確認してよい。

【0053】

段階１１２３で現在イベント状態が１つのイベントと関連があると判断されれば、段階１１２５で、コンピュータシステム１００は、現在イベントとマッチングするオーディオレンダリング情報を決定する。現在イベントが現在中継されるイベントの場合、プロセッサ１０７０は、中継されるイベントとマッチングするオーディオレンダリング情報を決定してよい。または、現在イベントが現在中継されるイベントの代わりに挿入された他のイベントの場合、プロセッサ１０７０は、他のイベントとマッチングするオーディオレンダリング情報を決定してよい。

【0054】

一方、段階１１２３で現在イベント状態が複数のイベントと関連があると判断されれば、段階１１２７で、コンピュータシステム１００は、予め定められた優先順位にしたがい、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する。一実施形態によると、プロセッサ１０７０は、関連するイベントのうちのオーディオマッチングイベントに基づいて、オーディオレンダリング情報を決定してよい。他の実施形態によると、プロセッサ１０７０は、レイヤ情報に基づいて、関連するイベントのうちの上位レイヤのイベントとマッチングするオーディオレンダリング情報を決定してよい。また他の実施形態によると、コンピュータシステム１００に複数のイベントソースが連結された場合、プロセッサ１０７０は、イベントソースの連結関係に基づいて、イベントソースのうちの１つを決定してよい。このとき、プロセッサ１０７０は、予め定められた優先順位に基づいて、またはデフォルトとして、イベントソースのうちの１つを決定してよい。これにより、プロセッサ１０７０は、決定されたイベントソースからのイベントとマッチングするオーディオレンダリング情報を決定することができる。

【0055】

これにより、段階１１２９で、コンピュータシステム１００は、決定されたオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する。すなわち、プロセッサ１０７０は、決定されたオーディオレンダリング情報にしたがって現在オーディオコンテンツをレンダリングしてよい。これにより、レンダリングされたオーディオコンテンツをユーザ１２０に提供することができるようになる。一実施形態によると、イベントは、放送プログラム現場で互いに異なるビューで撮影されるビデオ場面であってよい。図３（ａ）のようなフルショットに対して、プロセッサ１０７０は、ユーザ１２０が該当の放送プログラム現場の一隅でサウンドを聞くような経験ができるように、オーディオコンテンツをレンダリングしてよい。図３（ｂ）または（ｃ）に示すような特定の人物のクローズアップショットに対して、プロセッサ１０７０は、ユーザ１２０が該当の人物の正面でサウンドを聞くような経験ができるように、オーディオコンテンツをレンダリングしてよい。ここで、コンピュータシステム１００は、該当の人物と周辺の人物との位置関係が表現されるようにオーディオコンテンツをレンダリングしてよい。図３（ｄ）に示すような複数の人物のクローズアップショットで構成される分割画面に対して、プロセッサ１０７０は、分割画面内でクローズアップショットの位置によって人物を個別に把握できるようにオーディオコンテンツをレンダリングしてよい。他の実施形態によると、イベントは、照明または火花であってよく、このような場合、プロセッサ１０７０は、照明または火花の色とマッチングするオーディオレンダリング情報にしがたって現在オーディオコンテンツをレンダリングしてよい。

【0056】

多様な実施形態によると、コンピュータシステム１００は、イベントカスタム型オーディオコンテンツをレンダリングする。このために、視覚的コンテンツの各イベントに互いに異なるオーディオレンダリング情報がマッチングされてよい。これにより、コンピュータシステム１００は、イベントのうちの１つとマッチングされるオーディオレンダリング情報にしたがってオーディオコンテンツをレンダリングすることができる。このとき、コンピュータシステム１００は、現在中継されるイベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを空間的に処理することにより、ユーザ１２０のために臨場感を実現することができるようになる。これにより、ユーザ１２０は、中継されるイベントとこれに合うようにレンダリングされたオーディオコンテンツを利用することにより、その現場にいるような臨場感を感じることができるようになる。すなわち、コンピュータシステム１００は、ユーザ１２０の視覚的コンテンツに対する沒入感を高めることができる。

【0057】

多様な実施形態に係るコンピュータシステム１００による方法は、複数のイベントに対するイベントリスト、イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信する段階（１１１０段階）、および現在イベント状態に基づいて、イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する段階（１１２０段階）を含んでよい。

【0058】

多様な実施形態によると、現在オーディオコンテンツを出力する段階（１１２０段階）は、現在イベント状態がイベントのうちの少なくとも２つと関連すれば（１１２３段階）、予め定められた優先順位に基づいて、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階（１１２７段階）、および決定されたオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する段階（１１２９段階）を含んでよい。

【0059】

多様な実施形態によると、イベントのそれぞれは、オーディオマッチングイベントまたは非オーディオマッチングイベントであってよい。

【0060】

多様な実施形態によると、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階（１２２７段階）は、関連するイベントのうちのオーディオマッチングイベントに基づいて、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階を含んでよい。

【0061】

多様な実施形態によると、イベント状態情報は、関連するイベントのレイヤ情報を含んでよい。

【0062】

多様な実施形態によると、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定する段階（１２２７段階）は、レイヤ情報に基づいて、関連するイベントのうちの上位レイヤのイベントとマッチングするオーディオレンダリング情報を決定する段階を含んでよい。

【0063】

多様な実施形態によると、イベント状態情報は、イベントのうちの少なくとも１つを指示するタリー情報を含んでよい。

【0064】

多様な実施形態によると、現在オーディオコンテンツを出力する段階（１１２０段階）は、複数のイベントソースが連結されていれば、イベントソースの連結関係に基づいて、イベントソースのうちの１つを決定する段階、および決定されたイベントソースからのイベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力する段階を含んでよい。

【0065】

多様な実施形態によると、イベントソースのうちの１つを決定する段階は、予め定められた優先順位に基づいて、イベントソースのうちの１つを決定する段階、またはイベントソースのうちの１つをデフォルトとして決定する段階を含んでよい。

【0066】

多様な実施形態によると、イベントは、ビデオ場面、照明、火花、霧、またはマルチアンタクト画面のうちの少なくとも１つを含んでよい。

【0067】

多様な実施形態によると、イベントのそれぞれとマッチングするオーディオレンダリング情報は、該当のイベントと関連して、出力するためのオーディオコンテンツを空間的に処理するために利用される空間的オーディオ属性を示してよい。

【0068】

多様な実施形態に係るコンピュータシステム１００は、メモリ１０６０、通信モジュール１０２０、およびメモリ１０６０および通信モジュール１０２０とそれぞれ連結し、メモリ１０６０に記録された少なくとも１つの命令を実行するように構成されたプロセッサ１０７０を含んでよい。

【0069】

多様な実施形態によると、プロセッサ１０７０は、複数のイベントに対するイベントリスト、イベントのそれぞれとマッチングするオーディオレンダリング情報に対するオーディオリスト、および現在イベント状態に関するイベント状態情報を受信し、現在イベント状態に基づいて、イベントのうちの１つとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力するように構成されてよい。

【0070】

多様な実施形態によると、プロセッサ１０７０は、現在イベント状態がイベントのうちの少なくとも２つと関連すれば、予め定められた優先順位に基づいて、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定し、決定されたオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力するように構成されてよい。

【0071】

多様な実施形態によると、イベントのそれぞれは、オーディオマッチングイベントまたは非オーディオマッチングイベントであってよい。

【0072】

多様な実施形態によると、プロセッサ１０７０は、関連するイベントのうちのオーディオマッチングイベントに基づいて、関連するイベントのうちの１つとマッチングするオーディオレンダリング情報を決定するように構成されてよい。

【0073】

多様な実施形態によると、イベント状態情報は、関連するイベントのレイヤ情報を含んでよい。

【0074】

多様な実施形態によると、プロセッサ１０７０は、レイヤ情報に基づいて、関連するイベントのうちの上位レイヤのイベントとマッチングするオーディオレンダリング情報を決定するように構成されてよい。

【0075】

多様な実施形態によると、イベント状態情報は、イベントのうちの少なくとも１つを指示するタリー情報を含んでよい。

【0076】

多様な実施形態によると、プロセッサ１０７０は、複数のイベントソースが連結されていれば、イベントソースの連結関係に基づいて、イベントソースのうちの１つを決定し、決定されたイベントソースからのイベントとマッチングするオーディオレンダリング情報にしたがって現在オーディオコンテンツを出力するように構成されてよい。

【0077】

多様な実施形態によると、プロセッサ１０７０は、予め定められた優先順位に基づいて、イベントソースのうちの１つを決定するか、イベントソースのうちの１つをデフォルトとして決定するように構成されてよい。

【0078】

多様な実施形態によると、イベントは、ビデオ場面、照明、火花、霧、またはマルチアンタクト画面のうちの少なくとも１つを含んでよい。

【0079】

多様な実施形態によると、イベントのそれぞれとマッチングするオーディオレンダリング情報は、該当のイベントと関連して、出力するためのオーディオコンテンツを空間的に処理するために利用される空間的オーディオ属性を示してよい。

【0080】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0081】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0082】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスクのような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0083】

本文書の多様な実施形態およびここで使用した用語は、本文書に記載された技術を特定の実施形態に対して限定しようとするものでなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明に関し、類似の構成要素には類似の参照符号を使用した。単数の表現は、文脈において明らかに異なるように意味していない限り、複数の表現を含んでよい。本文書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、ともに羅列された項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「一番目」、または「二番目」などの表現は、該当の構成要素を順序または重要度に関係なく修飾してよく、ある構成要素を他の構成要素と区分するためだけに使用されるものであって、該当の構成要素を限定するものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結して」いるとか「接続して」いると言及された場合には、前記ある構成要素が前記他の構成要素に直接的に連結してもよいし、他の構成要素（例：第３構成要素）を介して連結してもよい。

【0084】

本文書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。

【0085】

多様な実施形態によると、記述した構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの１つ以上の構成要素または段階が省略されてもよし、１つ以上の他の構成要素または段階が追加されてもよい。代替または追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてもよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を、統合前に複数の構成要素のうちの該当の構成要素によって実行されるものと同一または類似に実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的、並列的、反復的、または発見的に実行されてもよいし、段階のうちの１つ以上が他の順序で実行されてもよいし、省略されてもよいし、１つ以上の他の段階が追加されてもよい。

【符号の説明】

【0086】

１００：コンピュータシステム
１１０：制作環境
１２０：ユーザ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図9D】

【図9E】

【図9F】

【図9G】

【図9H】

【図10】

【図11】

【図12】