特許 7613479 ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法

(51)【国際特許分類】

   G10K 15/02 20060101AFI20250107BHJP

   G10K 15/08 20060101ALI20250107BHJP

   H04R 3/00 20060101ALI20250107BHJP

   H04S 7/00 20060101ALI20250107BHJP

【ＦＩ】

G10K15/02

G10K15/08

H04R3/00 310

H04S7/00 300

【請求項の数】 30

(21)【出願番号】P 2022565035

(86)(22)【出願日】2021-03-19

(86)【国際出願番号】 JP2021011374

(87)【国際公開番号】W WO2022113393

(87)【国際公開日】2022-06-02

【審査請求日】2023-05-26

(31)【優先権主張番号】PCT/JP2020/044293

(32)【優先日】2020-11-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】白木原 太

(72)【発明者】

【氏名】森川 直

(72)【発明者】

【氏名】納戸 健太郎

(72)【発明者】

【氏名】石川 克己

(72)【発明者】

【氏名】奥村 啓

【審査官】堀 洋介

(56)【参考文献】

【文献】国際公開第２０１８／０９６９５４（ＷＯ，Ａ１）

【文献】特開２００７－０４１１６４（ＪＰ，Ａ）

【文献】特開２０２０－０５３７９１（ＪＰ，Ａ）

【文献】特開２０１９－１９２９７５（ＪＰ，Ａ）

【文献】特開２００３－３３０４７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／００－１５／１２

Ｈ０４Ｒ ３／００－ ３／１４

Ｈ０４Ｓ １／００－ ７／００

(57)【特許請求の範囲】

【請求項1】

第１会場で発生する音に係る音源情報、および前記音の位置に応じて変化する初期反射音に関する情報である空間の響き情報、を配信データとして配信し、
前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供する、
ライブデータ配信方法であって、
前記空間の響き情報は、間接音を生成するための情報を含み、
前記レンダリングは、前記音源の音の間接音を生成する処理を含み、
前記間接音を生成する処理は初期反射音を生成する処理を含み、
生成する前記初期反射音は、前記音の位置に応じて変化し、
前記空間の響き情報は、該空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報を含み、
前記レンダリングにおいて、前記空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報に基づいて該空間の響きに係る音の遅延量およびレベルを求めることで前記初期反射音を生成する、
ライブデータ配信方法。

【請求項2】

前記音源情報は、前記第１会場で発生する音の音信号および前記音の位置情報を含み、
前記レンダリングは、前記音の位置に応じた定位処理を含む、
請求項１に記載のライブデータ配信方法。

【請求項3】

前記空間の響き情報は、前記音の位置に応じて変化するインパルス応答を含む、
請求項１または請求項２に記載のライブデータ配信方法。

【請求項4】

前記空間の響き情報は、前記音の位置に応じて変化しない後部残響音に関する情報をさらに含み、
前記間接音を生成する処理は、前記後部残響音を生成する処理をさらに含む、
請求項１乃至請求項３のいずれか１項に記載のライブデータ配信方法。

【請求項5】

環境音に係るアンビエンス情報を前記配信データに含めて配信し、
前記レンダリングは、前記環境音をさらに提供する処理を含む
請求項１乃至請求項４のいずれか１項に記載のライブデータ配信方法。

【請求項6】

前記アンビエンス情報は、前記環境音の位置情報を含み、
前記レンダリングにおいて、前記アンビエンス情報に基づいて前記環境音を前記位置情報の位置に定位させる定位処理と、前記定位処理ではない空間的な拡がりを知覚させるエフェクト処理と、を行う、
請求項５に記載のライブデータ配信方法。

【請求項7】

前記空間の響き情報は、前記第１会場の響き以外の響きを再現するための仮想空間情報を含み、
前記レンダリングは、前記仮想空間情報に基づいて前記空間の響きに係る音を再生する、
請求項１乃至請求項６のいずれか１項に記載のライブデータ配信方法。

【請求項8】

前記第２会場の利用者から空間を指定する操作を受け付け、
前記レンダリングは、前記操作で受け付けた空間に対応する前記仮想空間情報に基づいて、前記空間の響きに係る音を再生する、
請求項７に記載のライブデータ配信方法。

【請求項9】

前記第２会場にライブ映像を提供し、
前記仮想空間情報は、前記ライブ映像の空間の響きに対応する、
請求項７または請求項８に記載のライブデータ配信方法。

【請求項10】

前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第３会場に提供し、
前記空間の響きに係る音は、前記第２会場および前記第３会場で共通する、
請求項１乃至請求項９のいずれか１項に記載のライブデータ配信方法。

【請求項11】

前記音源情報は、音響機器の音響特性を表現した第１デジタル信号処理モデルを含み、
前記第１デジタル信号処理モデルを用いて前記音源情報に係る音を前記第２会場に提供する、
請求項１乃至請求項１０のいずれか１項に記載のライブデータ配信方法。

【請求項12】

前記空間の響き情報は、部屋の音響特性を表現した第２デジタル信号処理モデルを含み、
前記第２デジタル信号処理モデルを用いて前記空間の響きに係る音を前記第２会場に提供する、
請求項１乃至請求項１１のいずれか１項に記載のライブデータ配信方法。

【請求項13】

前記第１会場内に設置された構造物の位置を示す位置情報を配信し、
前記音源情報は、前記第１会場で発生する音の音信号および前記音の位置情報を含み、
前記レンダリングは、前記構造物の位置を示す位置情報と、前記音の位置情報と、に基づいて行う信号処理を含む、
請求項１乃至請求項１２のいずれか１項に記載のライブデータ配信方法。

【請求項14】

第１会場で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信するライブデータ配信装置と、
前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供するライブデータ再生装置と、
を備えたライブデータ配信システムであって、
前記空間の響き情報は、間接音を生成するための情報を含み、
前記レンダリングは、前記音源の音の間接音を生成する処理を含む、
前記間接音を生成する処理は初期反射音を生成する処理を含み、
生成する前記初期反射音は、前記音の位置に応じて変化し、
前記空間の響き情報は、該空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報を含み、
前記レンダリングにおいて、前記空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報に基づいて該空間の響きに係る音の遅延量およびレベルを求めることで前記初期反射音を生成する、
ライブデータ配信システム。

【請求項15】

前記音源情報は、前記第１会場で発生する音の音信号および前記音の位置情報を含み、
前記レンダリングは、前記音の位置に応じた定位処理を含む、
請求項１４に記載のライブデータ配信システム。

【請求項16】

前記空間の響き情報は、前記音の位置に応じて変化するインパルス応答を含む、
請求項１４または請求項１５に記載のライブデータ配信システム。

【請求項17】

前記空間の響き情報は、前記音の位置に応じて変化しない後部残響音に関する情報をさらに含み、
前記間接音を生成する処理は、前記後部残響音を生成する処理をさらに含む、
請求項１４乃至請求項１６のいずれか１項に記載のライブデータ配信システム。

【請求項18】

前記ライブデータ配信装置は、環境音に係るアンビエンス情報を前記配信データに含めて配信し、
前記レンダリングは、前記環境音をさらに提供する処理を含む
請求項１４乃至請求項１７のいずれか１項に記載のライブデータ配信システム。

【請求項19】

前記アンビエンス情報は、前記環境音の位置情報を含み、
前記レンダリングにおいて、前記アンビエンス情報に基づいて前記環境音を前記位置情報の位置に定位させる定位処理と、前記定位処理ではない空間的な拡がりを知覚させるエフェクト処理と、を行う、
請求項１８に記載のライブデータ配信システム。

【請求項20】

前記空間の響き情報は、前記第１会場の響き以外の響きを再現するための仮想空間情報を含み、
前記レンダリングは、前記仮想空間情報に基づいて前記空間の響きに係る音を再生する、
請求項１４乃至請求項１９のいずれか１項に記載のライブデータ配信システム。

【請求項21】

前記ライブデータ再生装置は、前記第２会場の利用者から空間を指定する操作を受け付け、
前記レンダリングは、前記操作で受け付けた空間に応じた前記仮想空間情報に基づいて、前記空間の響きに係る音を再生する、
請求項２０に記載のライブデータ配信システム。

【請求項22】

前記ライブデータ再生装置は、前記第２会場にライブ映像を提供し、
前記仮想空間情報は、前記ライブ映像の空間の響きに対応する、
請求項２０または請求項２１に記載のライブデータ配信システム。

【請求項23】

前記ライブデータ再生装置は、前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第３会場に提供し、
前記空間の響きに係る音は、前記第２会場および前記第３会場で共通する、
請求項１４乃至請求項２２のいずれか１項に記載のライブデータ配信システム。

【請求項24】

前記音源情報は、音響機器の音響特性を表現した第１デジタル信号処理モデルを含み、
前記ライブデータ再生装置は、前記第１デジタル信号処理モデルを用いて前記音源情報に係る音を前記第２会場に提供する、
請求項１４乃至請求項２３のいずれか１項に記載のライブデータ配信システム。

【請求項25】

前記空間の響き情報は、部屋の音響特性を表現した第２デジタル信号処理モデルを含み、
前記ライブデータ再生装置は、前記第２デジタル信号処理モデルを用いて前記空間の響きに係る音を前記第２会場に提供する、
請求項１４乃至請求項２４のいずれか１項に記載のライブデータ配信システム。

【請求項26】

前記ライブデータ配信装置は、前記第１会場内に設置された構造物の位置を示す位置情報を配信し、
前記音源情報は、前記第１会場で発生する音の音信号および前記音の位置情報を含み、
前記レンダリングは、前記構造物の位置を示す位置情報と、前記音の位置情報と、に基づいて行う信号処理を含む、
請求項１４乃至請求項２５のいずれか１項に記載のライブデータ配信システム。

【請求項27】

第１会場で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信し、
再生装置に、前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供させる、
ライブデータ配信装置であって、
前記空間の響き情報は、間接音を生成するための情報を含み、
前記レンダリングは、前記音源の音の間接音を生成する処理を含む、
前記間接音を生成する処理は初期反射音を生成する処理を含み、
生成する前記初期反射音は、前記音の位置に応じて変化し、
前記空間の響き情報は、該空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報を含み、
前記レンダリングにおいて、前記空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報に基づいて該空間の響きに係る音の遅延量およびレベルを求めることで前記初期反射音を生成する、
ライブデータ配信装置。

【請求項28】

第１会場で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信するライブデータ配信装置から前記配信データを受信し、
前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供する、
ライブデータ再生装置であって、
前記空間の響き情報は、間接音を生成するための情報を含み、
前記レンダリングは、前記音源の音の間接音を生成する処理を含む、
前記間接音を生成する処理は初期反射音を生成する処理を含み、
生成する前記初期反射音は、前記音の位置に応じて変化し、
前記空間の響き情報は、該空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報を含み、
前記レンダリングにおいて、前記空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報に基づいて該空間の響きに係る音の遅延量およびレベルを求めることで前記初期反射音を生成する、
ライブデータ再生装置。

【請求項29】

第１会場で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信し、
再生装置に、前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供させる、
ライブデータ配信方法であって、
前記空間の響き情報は、間接音を生成するための情報を含み、
前記レンダリングは、前記音源の音の間接音を生成する処理を含む、
前記間接音を生成する処理は初期反射音を生成する処理を含み、
生成する前記初期反射音は、前記音の位置に応じて変化し、
前記空間の響き情報は、該空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報を含み、
前記レンダリングにおいて、前記空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報に基づいて該空間の響きに係る音の遅延量およびレベルを求めることで前記初期反射音を生成する、
ライブデータ配信方法。

【請求項30】

第１会場で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信するライブデータ配信装置から前記配信データを受信し、
前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供する、
ライブデータ再生方法であって、
前記空間の響き情報は、間接音を生成するための情報を含み、
前記レンダリングは、前記音源の音の間接音を生成する処理を含む、
前記間接音を生成する処理は初期反射音を生成する処理を含み、
生成する前記初期反射音は、前記音の位置に応じて変化し、
前記空間の響き情報は、該空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報を含み、
前記レンダリングにおいて、前記空間の大きさ、形状、および壁面の反射時のエネルギー損失に係る情報に基づいて該空間の響きに係る音の遅延量およびレベルを求めることで前記初期反射音を生成する、
ライブデータ再生方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法に関する。

【背景技術】

【0002】

特許文献１には、より没入的な空間的聴取体験を提供するため、聴取環境において空間的オーディオ・コンテンツをレンダリングするシステムが開示されている。

【0003】

特許文献１のシステムは、聴取環境においてスピーカから出力される音のインパルス応答を測定し、測定したインパルス応答に応じたフィルタ処理を行なうことが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１５－５３００４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のシステムは、ライブデータの配信システムではない。ライブデータを配信する場合に、ライブ会場の臨場感を配信先の会場にも提供することが望まれている。

【0006】

この発明の一実施形態は、ライブデータを配信する場合に、ライブ会場の臨場感を配信先の会場にも提供することができるライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

ライブデータ配信方法は、第１会場で発生する音に係る音源情報、および前記音の位置に応じて変化する空間の響き情報、を配信データとして配信し、前記配信データをレンダリングして、前記音源情報に係る音、および前記空間の響きに係る音を第２会場に提供する。

【発明の効果】

【0008】

ライブデータ配信方法は、ライブデータを配信する場合に、ライブ会場の臨場感を配信先の会場にも提供することができる。

【図面の簡単な説明】

【0009】

【図1】ライブデータ配信システム１の構成を示すブロック図である。

【図2】第１会場１０の平面模式図である。

【図3】第２会場２０の平面模式図である。

【図4】ミキサ１１の構成を示すブロック図である。

【図5】配信装置１２の構成を示すブロック図である。

【図6】配信装置１２の動作を示すフローチャートである。

【図7】再生装置２２の構成を示すブロック図である。

【図8】再生装置２２の動作を示すフローチャートである。

【図9】変形例１に係るライブデータ配信システム１Ａの構成を示すブロック図である。

【図10】変形例１に係るライブデータ配信システム１Ａにおける第２会場２０の平面概略図である。

【図11】変形例２に係るライブデータ配信システム１Ｂの構成を示すブロック図である。

【図12】ＡＶレシーバ３２の構成を示すブロック図である。

【図13】変形例３に係るライブデータ配信システム１Ｃの構成を示すブロック図である。

【図14】端末４２の構成を示すブロック図である。

【図15】変形例４に係るライブデータ配信システム１Ｄの構成を示すブロック図である。

【図16】各会場の再生装置で表示されるライブ映像７００の一例を示す図である。

【図17】再生装置で行う信号処理の応用例を示すブロック図である。

【図18】音源７０から壁面を反射して受音点７５に到来する音の経路を示す模式図である。

【発明を実施するための形態】

【0010】

図１は、ライブデータ配信システム１の構成を示すブロック図である。ライブデータ配信システム１は、第１会場１０および第２会場２０にそれぞれ設置された複数の音響機器および情報処理装置からなる。

【0011】

図２は、第１会場１０の平面模式図であり、図３は、第２会場２０の平面模式図である。この例では、第１会場１０は、演者がパフォーマンスを行うライブ会場である。第２会場２０は、遠隔地のリスナが演者のパフォーマンスを視聴するパブリックビューイング会場である。

【0012】

第１会場１０には、ミキサ１１、配信装置１２、複数のマイク１３Ａ～１３Ｆ、複数のスピーカ１４Ａ～１４Ｇ、複数のトラッカー１５Ａ～１５Ｃ、およびカメラ１６が設置されている。第２会場２０には、ミキサ２１、再生装置２２、表示器２３、および複数のスピーカ２４Ａ～２４Ｆが設置されている。配信装置１２および再生装置２２は、インターネット５を介して接続されている。なお、マイクの数、スピーカの数、およびトラッカーの数等は、本実施形態で示す数に限るものではない。また、マイクおよびスピーカの設置態様も、本実施形態で示す例に限らない。

【0013】

ミキサ１１は、配信装置１２、複数のマイク１３Ａ～１３Ｆ、複数のスピーカ１４Ａ～１４Ｇ、および複数のトラッカー１５Ａ～１５Ｃに接続されている。ミキサ１１、複数のマイク１３Ａ～１３Ｆ、および複数のスピーカ１４Ａ～１４Ｇは、ネットワークケーブルまたはオーディオケーブルを介して接続されている。複数のトラッカー１５Ａ～１５Ｃは、無線通信を介してミキサ１１に接続されている。ミキサ１１および配信装置１２は、ネットワークケーブルを介して接続されている。また、配信装置１２は、映像ケーブルを介してカメラ１６に接続されている。カメラ１６は、演者を含むライブ映像を撮影する。

【0014】

複数のスピーカ１４Ａ～スピーカ１４Ｇは、第１会場１０の壁面に沿って設置されている。この例の第１会場１０は、平面視して矩形状である。第１会場１０の前方にはステージが配置されている。ステージでは、演者が歌唱あるいは演奏等のパフォーマンスを行なう。スピーカ１４Ａは、ステージの左側に設置され、スピーカ１４Ｂは、ステージの中央に設置され、スピーカ１４Ｃは、ステージの右側に設置されている。スピーカ１４Ｄは、第１会場１０の前後中央の左側、スピーカ１４Ｅは、第１会場１０の前後中央の右側に設置されている。スピーカ１４Ｆは第１会場１０の後方左側に設置され、スピーカ１４Ｇは、第１会場１０の後方の右側に設置されている。

【0015】

マイク１３Ａは、ステージの左側に設置され、マイク１３Ｂはステージの中央に設置され、マイク１３Ｃは、ステージの右側に設置されている。マイク１３Ｄは、第１会場１０の前後中央の左側、マイク１３Ｅは、第１会場１０の後方中央に設置されている。マイク１３Ｆは、第１会場１０の前後中央の右側に設置されている。

【0016】

ミキサ１１は、マイク１３Ａ～１３Ｆから音信号を受信する。また、ミキサ１１は、スピーカ１４Ａ～１４Ｇに音信号を出力する。本実施形態ではミキサ１１に接続される音響機器の一例としてスピーカおよびマイクを示すが、実際にはミキサ１１には多数の音響機器が接続される。ミキサ１１は、マイク等の複数の音響機器から音信号を受信し、ミキシング等の信号処理を施して、スピーカ等の複数の音響機器に音信号を出力する。

【0017】

マイク１３Ａ～１３Ｆは、第１会場１０で発生する音として、それぞれ演者の歌唱音または演奏音を取得する。あるいは、マイク１３Ａ～１３Ｆは、第１会場１０の環境音を取得する。図２の例では、マイク１３Ａ～１３Ｃが演者の音を取得し、マイク１３Ｄ～１３Ｆが環境音を取得する。環境音は、リスナの声援、拍手、呼びかけ、歓声、合唱、またはざわめき等の音を含む。ただし、演者の音は、ライン入力してもよい。ライン入力とは、楽器等の音源から出力される音をマイクで収音して入力するのではなく、音源に接続されたオーディオケーブル等から音信号を入力することである。演者の音は、ＳＮ比の高い音で取得し、他の音は含まれていないことが好ましい。

【0018】

スピーカ１４Ａ～スピーカ１４Ｇは、演者の音を第１会場１０に出力する。また、スピーカ１４Ａ～スピーカ１４Ｇは、第１会場１０の音場を制御するための初期反射音または後部残響音を出力してもよい。

【0019】

第２会場２０のミキサ２１は、再生装置２２、および複数のスピーカ２４Ａ～２４Ｆに接続されている。これらの音響機器は、ネットワークケーブルまたはオーディオケーブルを介して接続されている。また、再生装置２２は、映像ケーブルを介して表示器２３に接続されている。

【0020】

複数のスピーカ２４Ａ～スピーカ２４Ｆは、第２会場２０の壁面に沿って設置されている。この例の第２会場２０は、平面視して矩形状である。第２会場２０の前方には表示器２３が配置されている。表示器２３には、第１会場１０で撮影されたライブ映像が表示される。スピーカ２４Ａは、表示器２３の左側に設置され、スピーカ２４Ｂは、表示器２３の右側に設置されている。スピーカ２４Ｃは、第２会場２０の前後中央の左側、スピーカ２４Ｄは、第２会場２０の前後中央の右側に設置されている。スピーカ２４Ｅは第２会場２０の後方左側に設置され、スピーカ２４Ｆは、第２会場２０の後方の右側に設置されている。

【0021】

ミキサ２１は、スピーカ２４Ａ～２４Ｆに音信号を出力する。ミキサ２１は、再生装置２２から音信号を受信し、ミキシング等の信号処理を施して、スピーカ等の複数の音響機器に音信号を出力する。

【0022】

スピーカ２４Ａ～スピーカ２４Ｆは、演者の音を第２会場２０に出力する。また、スピーカ２４Ａ～スピーカ２４Ｆは、第１会場１０の音場を再現するための初期反射音または後部残響音を出力する。また、スピーカ２４Ａ～スピーカ２４Ｆは、第１会場１０のリスナの歓声等の環境音を第２会場２０に出力する。

【0023】

図４は、ミキサ１１の構成を示すブロック図である。なお、ミキサ２１は、ミキサ１１と同様の構成および機能を有するため、図４では代表してミキサ１１の構成を示す。ミキサ１１は、表示器１０１、ユーザＩ／Ｆ１０２、オーディオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）１０３、信号処理部（ＤＳＰ）１０４、ネットワークＩ／Ｆ１０５、ＣＰＵ１０６、フラッシュメモリ１０７、およびＲＡＭ１０８を備えている。

【0024】

ＣＰＵ１０６は、ミキサ１１の動作を制御する制御部である。ＣＰＵ１０６は、記憶媒体であるフラッシュメモリ１０７に記憶された所定のプログラムをＲＡＭ１０８に読み出して実行することにより各種の動作を行なう。

【0025】

なお、ＣＰＵ１０６が読み出すプログラムは、自装置内のフラッシュメモリ１０７に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ１０６は、該サーバから都度プログラムをＲＡＭ１０８に読み出して実行すればよい。

【0026】

信号処理部１０４は、各種信号処理を行なうためのＤＳＰから構成される。信号処理部１０４は、オーディオＩ／Ｏ１０３またはネットワークＩ／Ｆ１０５を介してマイク等の音響機器から入力される音信号に、ミキシング処理およびフィルタ処理等の信号処理を施す。信号処理部１０４は、信号処理後のオーディオ信号を、オーディオＩ／Ｏ１０３またはネットワークＩ／Ｆ１０５を介して、スピーカ等の音響機器に出力する。

【0027】

また、信号処理部１０４は、パニング処理、初期反射音生成処理、および後部残響音生成処理を行ってもよい。パニング処理は、演者の位置に音像が定位する様に、複数のスピーカ１４Ａ～１４Ｇに分配する音信号の音量を制御する処理である。パニング処理を行うために、ＣＰＵ１０６は、トラッカー１５Ａ～１５Ｃを介して演者の位置情報を取得する。位置情報は、第１会場１０のある位置を基準とした２次元または３次元の座標を示す情報である。トラッカー１５Ａ～１５Ｃは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の電波を送受信するタグである。演者または楽器は、トラッカー１５Ａ～１５Ｃを取り付けている。第１会場１０には、予め少なくとも３つのビーコンが設置されている。それぞれのビーコンは、電波を送信してから受信するまでの時間差に基づいて、トラッカー１５Ａ～１５Ｃとの距離を計測する。ＣＰＵ１０６は、ビーコンの位置情報を予め取得しておき、少なくとも３つのビーコンからタグまでの距離をそれぞれ測定することで、トラッカー１５Ａ～１５Ｃの位置を一意に求めることができる。

【0028】

ＣＰＵ１０６は、この様にしてトラッカー１５Ａ～１５Ｃを介して各演者の位置情報、つまり第１会場１０で発生する音の位置情報を取得する。ＣＰＵ１０６は、取得した位置情報と、スピーカ１４Ａ～スピーカ１４Ｇの位置に基づいて、演者の位置に音像が定位する様にスピーカ１４Ａ～スピーカ１４Ｇに出力するそれぞれの音信号の音量を決定する。信号処理部１０４は、ＣＰＵ１０６の制御にしたがって、スピーカ１４Ａ～スピーカ１４Ｇに出力するそれぞれの音信号の音量を制御する。例えば、信号処理部１０４は、演者の位置に近いスピーカに出力する音信号の音量を大きくし、演者の位置から遠いスピーカに出力する音信号の音量を小さくする。これにより、信号処理部１０４は、演者の演奏音や歌唱音の音像を所定の位置に定位させることができる。

【0029】

初期反射音生成処理および後部残響音生成処理は、ＦＩＲフィルタにより演者の音にインパルス応答を畳み込む処理である。信号処理部１０４は、例えば予め所定の会場（第１会場１０以外の会場）で取得したインパルス応答を演者の音に畳み込む。これにより、信号処理部１０４は、第１会場１０の音場を制御する。あるいは、信号処理部１０４は、第１会場１０の天井や壁面近くに設置したマイクで取得した音をさらにスピーカ１４Ａ～スピーカ１４Ｇにフィードバックすることで、第１会場１０の音場を制御してもよい。

【0030】

信号処理部１０４は、演者の音および演者の位置情報を配信装置１２に出力する。配信装置１２は、ミキサ１１から演者の音および演者の位置情報を取得する。

【0031】

また、配信装置１２は、カメラ１６から映像信号を取得する。カメラ１６は、各演者または第１会場１０の全体等を撮影し、ライブ映像に係る映像信号を配信装置１２に出力する。

【0032】

さらに、配信装置１２は、第１会場１０の空間の響き情報を取得する。空間の響き情報は、間接音を生成するための情報である。間接音は、音源の音が会場内で反射してリスナに到達する音であり、少なくとも初期反射音および後部残響音を含む。空間の響き情報は、例えば第１会場１０の空間の大きさ、形状、壁面の材質を示す情報、および後部残響音に係るインパルス応答を含む。空間の大きさ、形状、壁面の材質を示す情報は、初期反射音を生成するための情報である。初期反射音を生成するための情報は、インパルス応答であってもよい。インパルス応答は、例えば第１会場１０において、予め測定する。また、空間の響き情報は、演者の位置に応じて変化する情報であってもよい。演者の位置に応じて変化する情報は、例えば第１会場１０において演者の位置毎に予め測定したインパルス応答である。配信装置１２は、例えば、第１会場１０のステージ正面で演者の音が発生した場合の第１インパルス応答、ステージ左側で演者の音が発生した場合の第２インパルス応答、およびステージの右側で演者の音が発生した場合の第３インパルス応答を取得する。ただし、インパルス応答は、３つに限らない。また、インパルス応答は、第１会場１０で実際に測定する必要はなく、例えば、第１会場１０の空間の大きさ、形状、および壁面の材質等からシミュレーションにより求めてもよい。

【0033】

なお、初期反射音は音の到来方向の定まる反射音であり、後部残響音は、音の到来方向の定まらない反射音である。後部残響音は、初期反射音に比べると演者の音の位置の変化による変化は小さい。したがって、空間の響き情報は、演者の位置に応じて変化する初期反射音のインパルス応答と、演者の位置に依らずに一定の後部残響音のインパルス応答と、からなる態様であってもよい。

【0034】

また、信号処理部１０４は、環境音に係るアンビエンス情報を取得して、配信装置１２に出力してもよい。環境音は、上述の様にマイク１３Ｄ～１３Ｆで取得した音であり、暗騒音、リスナの声援、拍手、呼びかけ、歓声、合唱、またはざわめき等の音を含む。ただし、環境音は、ステージのマイク１３Ａ～１３Ｃで取得してもよい。信号処理部１０４は、環境音に係る音信号をアンビエンス情報として配信装置１２に出力する。なお、アンビエンス情報は、環境音の位置情報を含んでいてもよい。環境音のうちリスナ各自の「がんばれー」等の声援、演者の個人名の呼びかけ、または「ブラボー」等の感嘆詞等は、聴衆に埋もれずに個別のリスナの声として認識できる音である。信号処理部１０４は、これらの個別の音の位置情報を取得してもよい。環境音の位置情報は、例えばマイク１３Ｄ～１３Ｆで取得した音から求めることができる。信号処理部１０４は、上記の個別の音を音声認識等の処理で認識した場合、マイク１３Ｄ～１３Ｆの音信号の相関を求め、マイク１３Ｄ～１３Ｆでそれぞれ個別の音を収音したタイミングの差を求める。信号処理部１０４は、マイク１３Ｄ～１３Ｆで収音したタイミングの差に基づいて、音の発生した第１会場１０内の位置を一意に求めることができる。また、環境音の位置情報は、各マイク１３Ｄ～１３Ｆの位置情報とみなしてもよい。

【0035】

配信装置１２は、第１会場１０で発生する音に係る音源情報、および空間の響き情報、を配信データとしてエンコードして配信する。音源情報は、少なくとも演者の音を含むが、演者の音の位置情報を含んでいてもよい。また、配信装置１２は、環境音に係るアンビエンス情報を配信データに含めて配信してもよい。配信装置１２は、演者の映像に係る映像信号を配信データに含めて配信してもよい。

【0036】

あるいは、配信装置１２は、少なくとも、演者の音および演者の位置情報に係る音源情報と、環境音に係るアンビエンス情報を配信データとして配信してもよい。

【0037】

図５は、配信装置１２の構成を示すブロック図である。図６は、配信装置１２の動作を示すフローチャートである。

【0038】

配信装置１２は、一般的なパーソナルコンピュータ等の情報処理装置からなる。配信装置１２は、表示器２０１、ユーザＩ／Ｆ２０２、ＣＰＵ２０３、ＲＡＭ２０４、ネットワークＩ／Ｆ２０５、フラッシュメモリ２０６、および汎用通信Ｉ／Ｆ２０７を備えている。

【0039】

ＣＰＵ２０３は、記憶媒体であるフラッシュメモリ２０６に記憶されているプログラムをＲＡＭ２０４に読み出して、所定の機能を実現する。なお、ＣＰＵ２０３が読み出すプログラムも、自装置内のフラッシュメモリ２０６に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ２０３は、該サーバから都度プログラムをＲＡＭ２０４に読み出して実行すればよい。

【0040】

ＣＰＵ２０３は、ネットワークＩ／Ｆ２０５を介してミキサ１１から演者の音および演者の位置情報（音源情報）を取得する（Ｓ１１）。また、ＣＰＵ２０３は、第１会場１０の空間の響き情報を取得する（Ｓ１２）。さらに、ＣＰＵ２０３は、環境音に係るアンビエンス情報を取得する（Ｓ１３）。また、ＣＰＵ２０３は、汎用通信Ｉ／Ｆ２０７を介してカメラ１６から映像信号を取得してもよい。

【0041】

ＣＰＵ２０３は、演者の音および音の位置情報（音源情報）に係るデータ、空間の響き情報に係るデータ、アンビエンス情報に係るデータ、および映像信号に係るデータを、配信データとしてエンコードして配信する（Ｓ１４）。

【0042】

再生装置２２は、インターネット５を介して配信装置１２から配信データを受信する。再生装置２２は、配信データをレンダリングして、演者の音および空間の響きに係る音を第２会場２０に提供する。あるいは、再生装置２２は、演者の音およびアンビエンス情報に含まれる環境音を第２会場２０に提供する。再生装置２２は、アンビエンス情報に対応する空間の響きに係る音を第２会場２０に提供してもよい。

【0043】

図７は、再生装置２２の構成を示すブロック図である。図８は、再生装置２２の動作を示すフローチャートである。

【0044】

再生装置２２は、一般的なパーソナルコンピュータ等の情報処理装置からなる。再生装置２２は、表示器３０１、ユーザＩ／Ｆ３０２、ＣＰＵ３０３、ＲＡＭ３０４、ネットワークＩ／Ｆ３０５、フラッシュメモリ３０６、および映像Ｉ／Ｆ３０７を備えている。

【0045】

ＣＰＵ３０３は、記憶媒体であるフラッシュメモリ３０６に記憶されているプログラムをＲＡＭ３０４に読み出して、所定の機能を実現する。なお、ＣＰＵ３０３が読み出すプログラムも、自装置内のフラッシュメモリ３０６に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ３０３は、該サーバから都度プログラムをＲＡＭ３０４に読み出して実行すればよい。

【0046】

ＣＰＵ３０３は、ネットワークＩ／Ｆ３０５を介して配信装置１２から配信データを受信する（Ｓ２１）。ＣＰＵ３０３は、配信データを音源情報、空間の響き情報、アンビエンス情報、および映像信号等にデコードし（Ｓ２２）、音源情報、空間の響き情報、アンビエンス情報、および映像信号等をレンダリングする。

【0047】

ＣＰＵ３０３は、音源情報のレンダリングの一例として、ミキサ２１に対して演者の音のパニング処理を行わせる（Ｓ２３）。パニング処理は、上述した様に演者の音を演者の位置に定位させる処理である。ＣＰＵ３０３は、音源情報に含まれる位置情報で示す位置に演者の音が定位する様に、スピーカ２４Ａ～２４Ｆに分配する音信号の音量を決定する。ＣＰＵ３０３は、演者の音に係る音信号、および当該演者の音に係る音信号のスピーカ２４Ａ～２４Ｆへの出力量を示す情報を、ミキサ２１に出力することで、ミキサ２１にパニング処理を行なわせる。

【0048】

これにより、第２会場２０のリスナは、演者の位置から音が発している様に知覚することができる。第２会場２０のリスナは、例えば第１会場１０のステージ右側にいる演者の音を第２会場２０においても前方右側から聴くことができる。また、ＣＰＵ３０３は、映像信号をレンダリングして、映像Ｉ／Ｆ３０７を介して表示器２３にライブ映像を表示してもよい。これにより、第２会場２０のリスナは、表示器２３に表示された演者の映像を見ながらパニング処理された演者の音を聴く。これにより、第２会場２０のリスナは、視覚情報と聴覚情報が一致するため、よりライブパフォーマンスに対する没入感を得ることができる。

【0049】

さらに、ＣＰＵ３０３は、空間の響き情報のレンダリングの一例として、ミキサ２１に対して間接音の生成処理を行なわせる（Ｓ２４）。間接音の生成処理は、初期反射音生成処理および後部残響音生成処理を含む。初期反射音は、音源情報に含まれる演者の音と、空間の響き情報に含まれる第１会場１０の空間の大きさ、形状、壁面の材質等を示す情報と、に基づいて生成する。ＣＰＵ３０３は、空間の大きさおよび形状に基づいて初期反射音の到来タイミングを決定し、壁面の材質に基づいて初期反射音のレベルを決定する。より具体的には、ＣＰＵ３０３は、空間の大きさおよび形状の情報に基づいて、音源の音が反射する壁面の座標を求める。そして、ＣＰＵ３０３は、音源の位置、壁面の位置、および受音点の位置に基づいて、音源の位置に対して壁面を鏡面として存在する仮想的な音源（虚音源）の位置を求める。ＣＰＵ３０３は、虚音源の位置から受音点の距離に基づいて、該虚音源の遅延量を求める。また、ＣＰＵ３０３は、壁面の材質の情報に基づいて、該虚音源のレベルを求める。材質の情報は、壁面の反射時のエネルギー損失に対応する。したがって、ＣＰＵ３０３は、音源の音信号に該エネルギー損失を考慮して虚音源のレベルを求める。ＣＰＵ３０３は、この様な処理を繰り返すことで、空間の響きに係る音の遅延量およびレベルを、計算により求めることができる。ＣＰＵ３０３は、計算した遅延量およびレベルをミキサ２１に出力する。ミキサ２１は、これらの遅延量およびレベルに応じたレベルタップ係数を演者の音に畳み込む。これにより、ミキサ２１は、第１会場１０の空間の響きを第２会場２０に再現する。また、空間の響き情報に初期反射音のインパルス応答が含まれている場合には、ＣＰＵ３０３は、ミキサ１１にＦＩＲフィルタにより演者の音にインパルス応答を畳み込む処理を実行させる。ＣＰＵ３０３は、配信データに含まれる空間の響き情報（インパルス応答）をミキサ２１に出力する。ミキサ２１は、再生装置２２から受信した空間の響き情報（インパルス応答）を演者の音に畳み込む。これにより、ミキサ２１は、第１会場１０の空間の響きを第２会場２０に再現する。

【0050】

さらに、空間の響き情報が演者の位置に応じて変化する場合、再生装置２２は、音源情報に含まれる位置情報に基づいて、演者の位置に対応する空間の響き情報をミキサ２１に出力する。例えば、第１会場１０のステージ正面にいた演者がステージ左側に移動した場合、演者の音に畳み込むインパルス応答は、第１インパルス応答から第２インパルス応答に変更する。あるいは、空間の大きさおよび形状の情報に基づいて虚音源を再現する場合には、移動後の演者の位置に応じて遅延量およびレベルを再計算する。これにより、演者の位置に応じた適切な空間の響きが第２会場２０においても再現される。

【0051】

また、再生装置２２は、アンビエンス情報および空間の響き情報に基づいて、ミキサ２１に環境音に対応する空間の響き音を生成させてもよい。つまり、空間の響きに係る音は、演者の音（第１音源の音）に対応した第１の響き音と、環境音（第２音源の音）に対応した第２の響き音と、を含んでいてもよい。これにより、ミキサ２１は、第１会場１０における環境音の響きを第２会場２０に再現する。また、アンビエンス情報に位置情報が含まれている場合、再生装置２２は、アンビエンス情報に含まれる位置情報に基づいて、環境音の位置に対応する空間の響き情報をミキサ１１に出力してもよい。ミキサ２１は、環境音の位置に基づいて、環境音の響き音を再現する。例えば、第１会場１０の左側後方にいた観客が右側後方に移動した場合、当該観客の歓声に畳み込むインパルス応答を変更する。あるいは、空間の大きさおよび形状の情報に基づいて虚音源を再現する場合には、移動後の観客の位置に応じて遅延量およびレベルを再計算する。このように、空間の響き情報は、演者の音（第１音源）の位置に応じて変化する第１響き情報と、環境音（第２音源）の位置に応じて変化する第２響き情報と、を含み、レンダリングは、第１響き情報に基づいて第１の響き音を生成する処理と、第２響き情報に基づいて第２の響き音を生成する処理と、を含んでいてもよい。

【0052】

また、後部残響音は、音の到来方向の定まらない反射音である。後部残響音は、初期反射音に比べると音の位置の変化による変化は小さい。したがって、再生装置２２は、演者の位置に応じて変化する初期反射音のインパルス応答のみを変更し、後部残響音のインパルス応答を固定としてもよい。

【0053】

なお、再生装置２２は、間接音の生成処理は省略し、第２会場２０の響きをそのまま利用してもよい。また、間接音の生成処理は、初期反射音生成処理だけでもよい。後部残響音は、第２会場２０の響きをそのまま利用してもよい。あるいは、ミキサ２１は、第２会場２０の天井や壁面近くに設置した不図示のマイクで取得した音をさらにスピーカ２４Ａ～スピーカ２４Ｆにフィードバックすることで、第２会場２０の制御を補強してもよい。

【0054】

そして、再生装置２２のＣＰＵ３０３は、アンビエンス情報に基づいて環境音の再生処理を行なう（Ｓ２５）。アンビエンス情報は、暗騒音、リスナの声援、拍手、呼びかけ、歓声、合唱、またはざわめき等の音の音信号を含む。ＣＰＵ３０３は、これらの音信号をミキサ２１に出力する。ミキサ２１は、再生装置２２から受信した音信号をスピーカ２４Ａ～２４Ｆへ出力する。

【0055】

ＣＰＵ３０３は、アンビエンス情報に環境音の位置情報が含まれている場合、ミキサ２１にパニング処理による環境音の定位処理を行わせる。この場合、ＣＰＵ３０３は、アンビエンス情報に含まれる位置情報の位置に環境音が定位する様に、スピーカ２４Ａ～２４Ｆに分配する音信号の音量を決定する。ＣＰＵ３０３は、環境音の音信号、および当該環境音に係る音信号のスピーカ２４Ａ～２４Ｆへの出力量を示す情報を、ミキサ２１に出力することで、ミキサ２１にパニング処理を行なわせる。また、環境音の位置情報が各マイク１３Ｄ～１３Ｆの位置情報である場合も同様である。ＣＰＵ３０３は、マイクの位置に環境音が定位する様に、スピーカ２４Ａ～２４Ｆに分配する音信号の音量を決定する。各マイク１３Ｄ～１３Ｆは、暗騒音、拍手、合唱、または「わー」等の歓声、ざわめき等の複数の環境音（第２音源）を収音している。それぞれの音源の音は、所定の遅延量およびレベルを含んでマイクに到達している。つまり、暗騒音、拍手、合唱、または「わー」等の歓声、ざわめき等も、個々の音源として所定の遅延量およびレベル（音源を定位させるための情報）を含んでマイクに到達している。ＣＰＵ３０３は、マイクで収音した音を当該マイクの位置に定位する様にパニング処理を行うことで、個々の音源の定位も簡易的に再現することができる。

【0056】

なお、ＣＰＵ３０３は、個別のリスナの声として認識できない、多くのリスナが同時に発する音には、ミキサ２１にリバーブ等のエフェクト処理を行なわせることで、空間的な拡がりを知覚させる処理を行ってもよい。例えば、暗騒音、拍手、合唱、または「わー」等の歓声、ざわめき等は、ライブ会場の全体で響く音である。ＣＰＵ３０３は、ミキサ２１にこれらの音に空間的な拡がりを知覚させるエフェクト処理を行なわせる。

【0057】

再生装置２２は、以上の様なアンビエンス情報に基づく環境音を第２会場２０に提供してもよい。これにより、第２会場２０のリスナは、第１会場１０でライブパフォーマンスを視聴している様な、より臨場感のあるライブパフォーマンスを視聴することができる。

【0058】

以上の様にして、本実施形態のライブデータ配信システム１は、第１会場１０で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信し、配信データをレンダリングして、音源情報に係る音、および空間の響きに係る音を第２会場２０に提供する。これにより、ライブ会場の臨場感を配信先の会場にも提供することができる。

【0059】

また、ライブデータ配信システム１は、第１会場１０のある第１の場所（例えばステージ）で発生する第１音源の音（例えば演者の音）および該第１音源の位置情報に係る第１音源情報、および第１会場１０の第２の場所（例えばリスナの居る場所）で発生する第２音源（例えば環境音）に係る第２音源情報、を配信データとして配信し、配信データをレンダリングして、第１音源の位置情報に基づく定位処理を施した第１音源の音と、第２音源の音と、を第２会場に提供する。これにより、ライブ会場の臨場感を配信先の会場にも提供することができる。

【0060】

次に、図９は、変形例１に係るライブデータ配信システム１Ａの構成を示すブロック図である。図１０は、変形例１に係るライブデータ配信システム１Ａにおける第２会場２０の平面概略図である。図１および図３と共通する構成は同一の符号を付し、説明を省略する。

【0061】

ライブデータ配信システム１Ａの第２会場２０には、複数のマイク２５Ａ～２５Ｃが設置されている。マイク２５Ａは、第２会場２０のステージ８０に向かって、前後中央の左側、マイク２５Ｂは、第２会場２０の後方中央に設置されている。マイク２５Ｃは、第２会場２０の前後中央の右側に設置されている。

【0062】

マイク２５Ａ～２５Ｃは、第２会場２０の環境音を取得する。ミキサ２１は、環境音の音信号をアンビエンス情報として再生装置２２に出力する。なお、アンビエンス情報は、環境音の位置情報を含んでいてもよい。環境音の位置情報は、上述の様に、例えばマイク２５Ａ～２５Ｃで取得した音から求めることができる。

【0063】

再生装置２２は、第２会場２０で発生する環境音に係るアンビエンス情報を第３音源として、他の会場に送信する。例えば、再生装置２２は、第２会場２０で発生する環境音を第１会場１０にフィードバックする。これにより、第１会場１０のステージの演者は、第１会場１０のリスナ以外の声や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを行うことができる。また、第１会場１０に居るリスナも、他の会場のリスナの声や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを視聴することができる。

【0064】

また、さらに他の会場の再生装置が配信データをレンダリングして、第１会場の音を当該他の会場に提供し、かつ第２会場２０で発生する環境音を当該他の会場に提供すれば、当該他の会場のリスナも多数のリスナの声や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを視聴することができる。

【0065】

次に、図１１は、変形例２に係るライブデータ配信システム１Ｂの構成を示すブロック図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0066】

ライブデータ配信システム１Ｂでは、配信装置１２は、インターネット５を介して第３会場２０ＡのＡＶレシーバ３２に接続されている。ＡＶレシーバ３２は、表示器３３、複数のスピーカ３４Ａ～３４Ｆ、およびマイク３５に接続されている。第３会場２０Ａは、例えばあるリスナ個人の自宅である。ＡＶレシーバ３２は、再生装置の一例である。ＡＶレシーバ３２の利用者は、第１会場１０のライブパフォーマンスを遠隔で視聴するリスナとなる。

【0067】

図１２は、ＡＶレシーバ３２の構成を示すブロック図である。ＡＶレシーバ３２は、表示器４０１、ユーザＩ／Ｆ４０２、オーディオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）４０３、信号処理部（ＤＳＰ）４０４、ネットワークＩ／Ｆ４０５、ＣＰＵ４０６、フラッシュメモリ４０７、ＲＡＭ４０８、および映像Ｉ／Ｆ４０９を備えている。

【0068】

ＣＰＵ４０６は、ＡＶレシーバ３２の動作を制御する制御部である。ＣＰＵ４０６は、記憶媒体であるフラッシュメモリ４０７に記憶された所定のプログラムをＲＡＭ４０８に読み出して実行することにより各種の動作を行なう。

【0069】

なお、ＣＰＵ４０６が読み出すプログラムも、自装置内のフラッシュメモリ４０７に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ４０６は、該サーバから都度プログラムをＲＡＭ４０８に読み出して実行すればよい。

【0070】

信号処理部４０４は、各種信号処理を行なうためのＤＳＰから構成される。信号処理部４０４は、オーディオＩ／Ｏ４０３またはネットワークＩ／Ｆ４０５を介して入力される音信号に信号処理を施す。信号処理部４０４は、信号処理後のオーディオ信号を、オーディオＩ／Ｏ４０３またはネットワークＩ／Ｆ４０５を介して、スピーカ等の音響機器に出力する。

【0071】

ＡＶレシーバ３２は、ミキサ２１および再生装置２２で行なわれた処理と同様の処理を行なう。ＣＰＵ４０６は、ネットワークＩ／Ｆ４０５を介して配信装置１２から配信データを受信する。ＣＰＵ４０６は、配信データをレンダリングして、演者の音および空間の響きに係る音を第３会場２０Ａに提供する。あるいは、ＣＰＵ４０６は、配信データをレンダリングして、第１会場１０で発生した環境音を第３会場２０Ａに提供する。あるいは、ＣＰＵ４０６は、配信データをレンダリングして、映像Ｉ／Ｆ３０７を介して表示器３３にライブ映像を表示してもよい。

【0072】

信号処理部４０４は、演者の音のパニング処理を行なう。また、信号処理部４０４は、間接音の生成処理を行なう。あるいは、信号処理部４０４は、環境音のパニング処理を行なってもよい。

【0073】

これにより、ＡＶレシーバ３２は、第１会場１０の臨場感を第３会場２０Ａにも提供することができる。

【0074】

また、ＡＶレシーバ３２は、マイク３５を介して、第３会場２０Ａの環境音（リスナの声援、拍手、または呼びかけ等の音）を取得する。ＡＶレシーバ３２は、第３会場２０Ａの環境音を他装置に送信する。例えば、ＡＶレシーバ３２は、第３会場２０Ａの環境音を第１会場１０にフィードバックする。

【0075】

この様にして、複数のリスナからの音を第１会場１０にフィードバックすれば、第１会場１０のステージの演者は、第１会場１０のリスナ以外の多数のリスナの声援や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを行うことができる。また、第１会場１０に居るリスナも、遠隔地の多数のリスナの声援や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを視聴することができる。

【0076】

あるいは、ＡＶレシーバ３２は、表示器４０１に「声援」、「拍手」、「呼びかけ」、および「ざわめき」等のアイコン画像を表示し、ユーザＩ／Ｆ４０２を介してリスナからこれらアイコン画像に対する選択操作を受け付けることで、リスナのリアクションを受け付けてもよい。ＡＶレシーバ３２は、これらリアクションの選択操作を受け付けると、それぞれのリアクションに対応する音信号を生成し、アンビエンス情報として他装置に送信してもよい。

【0077】

あるいは、ＡＶレシーバ３２は、リスナの声援、拍手、または呼びかけ等の環境音の種類を示す情報をアンビエンス情報として送信してもよい。この場合、受信側の装置（例えば配信装置１２およびミキサ１１）がアンビエンス情報に基づいて対応する音信号を生成し、リスナの声援、拍手、または呼びかけ等の音を会場内に提供する。この様に、アンビエンス情報は、環境音の音信号ではなく、生成すべき音を示す情報であり、予め録音した環境音等を配信装置１２およびミキサ１１が再生する処理であってもよい。

【0078】

また、第１会場１０のアンビエンス情報も、第１会場１０で発生する環境音ではなく、予め録音した環境音であってもよい。この場合、配信装置１２は、アンビエンス情報として、生成すべき音を示す情報を配信する。再生装置２２またはＡＶレシーバ３２は、アンビエンス情報に基づいて対応する環境音を再生する。また、アンビエンス情報のうち、暗騒音およびざわめき等は録音した音であり、他の環境音（例えばリスナの声援、拍手、呼びかけ等）は、第１会場１０で発生する音であってもよい。

【0079】

また、ＡＶレシーバ３２は、ユーザＩ／Ｆ４０２を介して、リスナの位置情報を受け付けてもよい。ＡＶレシーバ３２は、表示器４０１または表示器３３に第１会場１０の平面図または斜視図等を模した画像を表示し、ユーザＩ／Ｆ４０２を介して、リスナから位置情報を受け付ける（例えば図１６を参照）。位置情報は、第１会場１０内のうち任意の位置を指定した情報である。ＡＶレシーバ３２は、受け付けたリスナの位置情報を第１会場１０に送信する。第１会場の配信装置１２およびミキサ１１は、ＡＶレシーバ３２から受信した第３会場２０Ａの環境音およびリスナの位置情報に基づいて、指定された位置に第３会場２０Ａの環境音を定位させる処理を行なう。

【0080】

また、ＡＶレシーバ３２は、利用者から受け付けた位置情報に基づいて、パニング処理の内容を変更してもよい。例えば、リスナが第１会場１０のステージのすぐ前の位置を指定すれば、ＡＶレシーバ３２は、演者の音の定位位置をリスナのすぐ前の位置に設定して、パニング処理を行なう。これにより、第３会場２０Ａのリスナは、第１会場１０のステージのすぐ前に居るような臨場感を得ることができる。

【0081】

第３会場２０Ａのリスナの音は、第１会場１０ではなく、第２会場２０に送信してもよいし、さらに他の会場に送信してもよい。例えば、第３会場２０Ａのリスナの音は、友人の自宅（第４会場）にのみ送信してもよい。第４会場のリスナは、第３会場２０Ａのリスナの音を聞きながら、第１会場１０のライブパフォーマンスを視聴することができる。また、第４会場の不図示の再生装置は、第４会場のリスナの音を第３会場２０Ａに送信してもよい。この場合、第３会場２０Ａのリスナは、第４会場のリスナの音を聞きながら、第１会場１０のライブパフォーマンスを視聴することができる。これにより、第３会場２０Ａのリスナと、第４会場のリスナは、互いに会話しながら第１会場１０のライブパフォーマンスを視聴することができる。

【0082】

図１３は、変形例３に係るライブデータ配信システム１Ｃの構成を示すブロック図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0083】

ライブデータ配信システム１Ｃでは、配信装置１２は、インターネット５を介して第５会場２０Ｂの端末４２に接続されている。端末４２は、ヘッドフォン４３に接続されている。第５会場２０Ｂは、例えばあるリスナ個人の自宅である。ただし、端末４２が携帯型である場合、第５会場２０Ｂは、カフェ店内、自動車の中、あるいは公共交通機関の中等、どの様な場所であってもよい。この場合、あらゆる場所が第５会場２０Ｂになり得る。端末４２は、再生装置の一例である。端末４２の利用者は、第１会場１０のライブパフォーマンスを遠隔で視聴するリスナとなる。この場合も、端末４２は、配信データをレンダリングして、ヘッドフォン４３を介して音源情報に係る音、および空間の響きに係る音を第２会場（この例では第５会場２０Ｂ）に提供する。

【0084】

図１４は、端末４２の構成を示すブロック図である。端末４２は、パーソナルコンピュータ、スマートフォンまたはタブレット型コンピュータ等の情報処理装置である。端末４２は、表示器５０１、ユーザＩ／Ｆ５０２、ＣＰＵ５０３、ＲＡＭ５０４、ネットワークＩ／Ｆ５０５、フラッシュメモリ５０６、オーディオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）５０７、およびマイク５０８を備えている。

【0085】

ＣＰＵ５０３は、端末４２の動作を制御する制御部である。ＣＰＵ５０３は、記憶媒体であるフラッシュメモリ５０６に記憶された所定のプログラムをＲＡＭ５０４に読み出して実行することにより各種の動作を行なう。

【0086】

なお、ＣＰＵ５０３が読み出すプログラムも、自装置内のフラッシュメモリ５０６に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ５０３は、該サーバから都度プログラムをＲＡＭ５０４に読み出して実行すればよい。

【0087】

ＣＰＵ５０３は、ネットワークＩ／Ｆ５０５を介して入力される音信号に信号処理を施す。ＣＰＵ５０３は、信号処理後のオーディオ信号を、オーディオＩ／Ｏ５０７を介してヘッドフォン４３に出力する。

【0088】

ＣＰＵ５０３は、ネットワークＩ／Ｆ５０５を介して配信装置１２から配信データを受信する。ＣＰＵ５０３は、配信データをレンダリングして、演者の音および空間の響きに係る音を第５会場２０Ｂのリスナに提供する。

【0089】

具体的には、ＣＰＵ５０３は、演者の音に係る音信号に頭部伝達関数（以下、ＨＲＴＦと称する。）を畳み込んで、演者の位置に当該演者の音が定位する様に、音像定位処理（バイノーラル処理）を行なう。ＨＲＴＦは、所定位置とリスナの耳との間の伝達関数に対応する。ＨＲＴＦは、ある位置の音源からそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性等を表現した伝達関数である。ＣＰＵ５０３は、演者の位置に基づいて演者の音の音信号にＨＲＴＦを畳み込む。これにより、演者の音は、位置情報に応じた位置に定位する。

【0090】

また、ＣＰＵ５０３は、演者の音の音信号に、空間の響き情報に対応するＨＲＴＦを畳み込むバイノーラル処理により、間接音の生成処理を行なう。ＣＰＵ５０３は、空間の響き情報に含まれるそれぞれの初期反射音に対応する仮想音源の位置からそれぞれ左右の耳に至るＨＲＴＦを畳み込むことにより、初期反射音および後部残響音を定位させる。ただし、後部残響音は、音の到来方向の定まらない反射音である。したがって、ＣＰＵ５０３は、後部残響音には定位処理をせず、リバーブ等のエフェクト処理を行なってもよい。なお、ＣＰＵ５０３は、リスナの使用するヘッドフォン４３の音響特性の逆特性を再現するデジタルフィルタ処理（ヘッドフォン逆特性処理）を行ってもよい。

【0091】

また、ＣＰＵ５０３は、配信データのうちアンビエンス情報をレンダリングして、第１会場１０で発生した環境音を第５会場２０Ｂのリスナに提供する。ＣＰＵ５０３は、アンビエンス情報に環境音の位置情報が含まれている場合には、ＨＲＴＦによる定位処理を行ない、音の到来方向の定まらない音にはエフェクト処理を行なう。

【0092】

また、ＣＰＵ５０３は、配信データのうち映像信号をレンダリングして、表示器５０１にライブ映像を表示してもよい。

【0093】

これにより、端末４２は、第１会場１０の臨場感を第５会場２０Ｂのリスナにも提供することができる。

【0094】

また、端末４２は、マイク５０８を介して、第５会場２０Ｂのリスナの音を取得する。端末４２は、リスナの音を他装置に送信する。例えば、端末４２は、リスナの音を第１会場１０にフィードバックする。あるいは、端末４２は、表示器５０１に「声援」、「拍手」、「呼びかけ」、および「ざわめき」等のアイコン画像を表示し、ユーザＩ／Ｆ５０２を介してリスナからこれらアイコン画像に対する選択操作を受け付けて、リアクションを受け付けてもよい。端末４２は、受け付けたリアクションに対応する音を生成し、生成した音をアンビエンス情報として他の装置に送信する。あるいは、端末４２は、リスナの声援、拍手、または呼びかけ等の環境音の種類を示す情報をアンビエンス情報として送信してもよい。この場合、受信側の装置（例えば配信装置１２およびミキサ１１）がアンビエンス情報に基づいて対応する音信号を生成し、リスナの声援、拍手、または呼びかけ等の音を会場内に提供する。

【0095】

また、端末４２も、ユーザＩ／Ｆ５０２を介して、リスナの位置情報を受け付けてもよい。端末４２は、受け付けたリスナの位置情報を第１会場１０に送信する。第１会場の配信装置１２およびミキサ１１は、ＡＶレシーバ３２から受信した第３会場２０Ａのリスナの音および位置情報に基づいて、指定された位置にリスナの音を定位させる処理を行なう。

【0096】

また、端末４２は、利用者から受け付けた位置情報に基づいてＨＲＴＦを変更してもよい。例えば、リスナが第１会場１０のステージのすぐ前の位置を指定すれば、端末４２は、演者の音の定位位置をリスナのすぐ前の位置に設定して、当該位置に演者の音が定位する様なＨＲＴＦを畳み込む。これにより、第５会場２０Ｂのリスナは、第１会場１０のステージのすぐ前に居るような臨場感を得ることができる。

【0097】

第５会場２０Ｂのリスナの音は、第１会場１０ではなく、第２会場２０に送信してもよいし、さらに他の会場に送信してもよい。上述と同様に、第５会場２０Ｂのリスナの音は、友人の自宅（第４会場）にのみ送信してもよい。これにより、第５会場２０Ｂのリスナと、第４会場のリスナは、互いに会話しながら第１会場１０のライブパフォーマンスを視聴することができる。

【0098】

また、本実施形態のライブデータ配信システムでは、複数のユーザが同じ位置を指定することもできる。例えば、複数のユーザがそれぞれ第１会場１０のステージのすぐ前の位置を指定してもよい。この場合、それぞれのリスナが、ステージのすぐ前の位置に居るような臨場感を得ることができる。これにより、１つの位置（会場の座席）に対して、複数のリスナが同じ臨場感で演者のパフォーマンスを視聴することができる。この場合、ライブ運営者は、実在の空間の観客収容可能数を超えたサービスを提供することができる。

【0099】

図１５は、変形例４に係るライブデータ配信システム１Ｄの構成を示すブロック図である。図１と共通する構成は同一の符号を付し、説明を省略する。

【0100】

ライブデータ配信システム１Ｄは、サーバ５０および端末５５をさらに備えている。端末５５は第６会場１０Ａに設置されている。サーバ５０は配信装置の一例であり、サーバ５０のハードウェア構成は、配信装置１２と同様である。端末５５のハードウェア構成は、図１４に示した端末４２の構成と同様である。

【0101】

第６会場１０Ａは、遠隔で演奏等のパフォーマンスを行なう演者の自宅等である。第６会場１０Ａにいる演者は、第１会場の演奏または歌唱に合わせて、演奏または歌唱等のパフォーマンスを行なう。端末５５は、第６会場１０Ａの演者の音をサーバ５０に送信する。また、端末５５は、不図示のカメラにより、第６会場１０Ａの演者を撮影し、映像信号をサーバ５０に送信してもよい。

【0102】

サーバ５０は、第１会場１０の演者の音と、第６会場１０Ａの演者の音と、第１会場１０の空間の響き情報と、第１会場１０のアンビエンス情報と、第１会場１０のライブ映像と、第６会場１０Ａの演者の映像と、を含む配信データを配信する。

【0103】

この場合、再生装置２２は、配信データをレンダリングし、第１会場１０の演者の音と、第６会場１０Ａの演者の音と、第１会場１０の空間の響きと、第１会場１０の環境音と、第１会場１０のライブ映像と、第６会場１０Ａの演者の映像と、を第２会場２０に提供する。例えば、再生装置２２は、第１会場１０のライブ映像に第６会場１０Ａの演者の映像を重畳して表示する。

【0104】

第６会場１０Ａの演者の音は、定位処理を行なわなくてもよいが、表示器に表示される映像に合わせた位置に定位させてもよい。例えば、ライブ映像内の右側に第６会場１０Ａの演者を表示する場合には、第６会場１０Ａの演者の音は、右側に定位させる。

【0105】

また、第６会場１０Ａの演者、または配信データの配信者が、演者の位置を指定してもよい。この場合、配信データには、第６会場１０Ａの演者の位置情報が含まれる。再生装置２２は、第６会場１０Ａの演者の位置情報に基づいて、第６会場１０Ａの演者の音を定位させる。

【0106】

第６会場１０Ａの演者の映像は、カメラにより撮影した映像に限らない。例えば、２次元画像や３Ｄモデリングからなるキャラクター画像（仮想映像）を第６会場１０Ａの演者の映像として配信してもよい。

【0107】

なお、配信データには、録音データが含まれていてもよい。また、配信データには、録画データが含まれていてもよい。例えば、配信装置は、第１会場１０の演者の音と、録音データと、第１会場１０の空間の響き情報と、第１会場１０のアンビエンス情報と、第１会場１０のライブ映像と、録画データと、を含む配信データを配信してもよい。この場合、再生装置は、配信データをレンダリングし、第１会場１０の演者の音と、録音データに係る音と、第１会場１０の空間の響きと、第１会場１０の環境音と、第１会場１０のライブ映像と、録画データに係る映像と、を他の会場に提供する。再生装置２２は、第１会場１０のライブ映像に録画データに対応する演者の映像を重畳して表示する。

【0108】

また、配信装置は、録音データに係る音を録音する時に、楽器の種別を判断してもよい。この場合、配信装置は、配信データに、録音データと判別した楽器の種別を示す情報を含めて配信する。再生装置は、楽器の種別を示す情報に基づいて、対応する楽器の映像を生成する。再生装置は、第１会場１０のライブ映像に当該楽器の映像を重畳して表示してもよい。

【0109】

また、配信データは、第１会場１０のライブ映像に第６会場１０Ａの演者の映像を重畳する必要はない。例えば、配信データは、第１会場１０および第６会場１０Ａの個々の演者の映像と、背景映像と、を個別のデータとして配信してもよい。この場合、配信データは、各映像の表示位置を示す情報を含む。再生装置は、表示位置を示す情報に基づいて、各演者の映像をレンダリングする。

【0110】

また、背景映像は、第１会場１０等の実際にライブパフォーマンスが行なわれている会場の映像に限らない。背景映像は、ライブパフォーマンスが行なわれている会場とは異なる会場の映像であってもよい。

【0111】

さらに、配信データに含まれる空間の響き情報も、第１会場１０の空間の響きに対応する必要はない。例えば、空間の響き情報は、背景映像に対応する会場の空間の響きを仮想的に再現するための仮想空間情報（各会場の空間の大きさ、形状、壁面の材質等を示す情報、あるいは各会場の伝達関数を示すインパルス応答）であってもよい。各会場のインパルス応答は、予め測定してもよいし、各会場の空間の大きさ、形状、および壁面の材質等からシミュレーションにより求めてもよい。

【0112】

さらに、アンビエンス情報も、背景映像に応じた内容に変更してもよい。例えば、大きな会場の背景映像の場合には、アンビエンス情報は、多数のリスナの声援、拍手、歓声等の音を含む。また、野外会場は屋内会場と異なる暗騒音を含む。また、環境音の響きも、上記空間の響き情報に応じて変化してもよい。また、アンビエンス情報は、観客の数を示す情報、混み具合（人の密集度）を示す情報を含んでいてもよい。再生装置は、観客の数を示す情報に基づいてリスナの声援、拍手、歓声等の音の数を増減させる。また、再生装置は、混み具合を示す情報に基づいてリスナの声援、拍手、歓声等の音量を増減させる。

【0113】

あるいは、アンビエンス情報は、演者に応じて変更してもよい。例えば、女性ファンの多い演者がライブパフォーマンスを行なう場合、アンビエンス情報に含まれるリスナの声援、呼びかけ、歓声等の音は、女性の声に変更する。アンビエンス情報は、これらのリスナの声の音信号を含んでいてもよいが、男女比あるいは年齢比等の観客の属性を示す情報を含んでいてもよい。再生装置は、当該属性を示す情報に基づいてリスナの声援、拍手、歓声等の声質を変更する。

【0114】

また、各会場のリスナは、背景映像および空間の響き情報を指定してもよい。各会場のリスナは、再生装置のユーザＩ／Ｆを用いて、背景映像および空間の響き情報を指定する。

【0115】

図１６は、各会場の再生装置で表示されるライブ映像７００の一例を示す図である。ライブ映像７００は、第１会場１０あるいは他の会場を撮影した映像、あるいは各会場に対応する仮想映像（コンピュータグラフィック）等からなる。ライブ映像７００は、再生装置の表示器に表示される。ライブ映像７００には、会場の背景、ステージ、楽器を含む演者、および会場内のリスナの映像等が表示される。会場の背景、ステージ、楽器を含む演者、および会場内のリスナの映像は、全て実際に撮影した映像であってもよいし、仮想映像であってもよい。また、背景映像のみ実際に撮影した映像で、他の映像は仮想映像であってもよい。また、ライブ映像７００には、空間を指定するためのアイコン画像７５１およびアイコン画像７５２が表示されている。アイコン画像７５１は、ある会場であるＳｔａｇｅ Ａ（例えば第１会場１０）の空間を指定するための画像であり、アイコン画像７５２は、他の会場であるＳｔａｇｅ Ｂ（例えば別のコンサートホール等）の空間を指定するための画像である。さらに、ライブ映像７００には、リスナの位置を指定するためのリスナ画像７５３が表示されている。

【0116】

再生装置を利用するリスナは、再生装置のユーザＩ／Ｆを用いて、アイコン画像７５１またはアイコン画像７５２のいずれかを指定することで所望の空間を指定する。配信装置は、指定された空間に対応する背景映像および空間の響き情報を配信データに含めて配信する。あるいは、配信装置は、複数の背景映像および空間の響き情報を配信データに含めて配信してもよい。この場合、再生装置は、受信した配信データのうちリスナから指定された空間に対応する背景映像および空間の響き情報をレンダリングする。

【0117】

図１６の例では、アイコン画像７５１が指定されている。再生装置は、アイコン画像７５１のＳｔａｇｅ Ａに対応する背景映像（例えば第１会場１０の映像）を表示し、指定されたＳｔａｇｅ Ａに対応する空間の響きに係る音を再生する。リスナがアイコン画像７５２を指定すると、再生装置は、アイコン画像７５２に対応する別の空間であるＳｔａｇｅ Ｂの背景映像に切り替えて表示し、Ｓｔａｇｅ Ｂに対応する仮想空間情報に基づいて、対応する別の空間の響きに係る音を再生する。

【0118】

これにより、各再生装置のリスナは、所望の空間でライブパフォーマンスを視聴している様な臨場感を得ることができる。

【0119】

また、各再生装置のリスナは、ライブ映像７００内のリスナ画像７５３を移動させることで、会場内の所望の位置を指定することができる。再生装置は、利用者から指定された位置に基づく定位処理を行う。例えば、リスナがステージのすぐ前の位置にリスナ画像７５３を移動させれば、再生装置は、演者の音の定位位置をリスナのすぐ前の位置に設定して、当該位置に演者の音が定位する様な定位処理を行う。これにより、各再生装置のリスナは、ステージのすぐ前に居るような臨場感を得ることができる。

【0120】

また、上述したように、音源の位置およびリスナの位置（受音点の位置）が変わると、空間の響きに係る音も変化する。再生装置は、空間が変化した場合、音源の位置が変化した場合、あるいは受音点の位置が変化した場合でも、計算により初期反射音を求めることができる。したがって、実際の空間においてインパルス応答等の測定を行っていなくても、再生装置は、仮想空間情報に基づいて、空間の響きに係る音を求めることができる。よって、再生装置は、実在の空間も含めた空間で生じる響きを高精度に実現することができる。

【0121】

例えば、ミキサ１１は、配信装置として機能してもよいし、ミキサ２１は、再生装置として機能してもよい。また、再生装置は、各会場に設置されている必要はない。例えば、図１５に示すサーバ５０が、配信データをレンダリングして、信号処理後の音信号を各会場の端末等に配信してもよい。この場合、サーバ５０は再生装置として機能する。

【0122】

音源情報は、演者の姿勢（例えば演者の左右の向き）を示す情報を含んでいてもよい。再生装置は、演者の姿勢情報に基づいて音量または周波数特性の調整処理を行ってもよい。例えば、再生装置は、演者の向きが真正面である場合を基準として、左右の向きが大きくなるほど音量を低下させる処理を行う。また、再生装置は、左右の向きが大きくなるほど高域が低域に比べてより減衰する処理を行ってもよい。これにより、演者の姿勢に応じて音が変化するため、リスナはより臨場感のあるライブパフォーマンスを視聴することができる。

【0123】

次に、図１７は、再生装置で行う信号処理の応用例を示すブロック図である。この例では、図１３に示した端末４２およびヘッドフォン４３を用いてレンダリングを行う。再生装置（図１３の例では端末４２）は、機能的に、楽器モデル処理部５５１、アンプモデル処理部５５２、スピーカモデル処理部５５３、空間モデル処理部５５４、バイノーラル処理部５５５、およびヘッドフォン逆特性処理部５５６を備えている。

【0124】

楽器モデル処理部５５１、アンプモデル処理部５５２、およびスピーカモデル処理部５５３は、演奏音に係る音信号に音響機器の音響特性を付与する信号処理を行う。当該信号処理を行うための第１デジタル信号処理モデルは、例えば配信装置１２の配信する音源情報に含まれている。第１デジタル信号処理モデルは、それぞれ、楽器の音響特性、アンプの音響特性、およびスピーカの音響特性を模擬したデジタルフィルタである。第１デジタル信号処理モデルは、楽器の製造者、アンプの製造者、およびスピーカの製造者によって、シミュレーション等により予め作成されている。楽器モデル処理部５５１、アンプモデル処理部５５２、およびスピーカモデル処理部５５３は、それぞれ、楽器の音響特性、アンプの音響特性、およびスピーカの音響特性を模擬したデジタルフィルタ処理を行う。なお、楽器がシンセサイザ等の電子楽器である場合、楽器モデル処理部５５１は、音信号に代えてノートイベントデータ（発音すべき音の発音タイミング、音高等を示す情報）を入力し、シンセサイザ等の電子楽器の音響特性を有する音信号を生成する。

【0125】

これにより、再生装置は、任意の楽器等の音響特性を再現することができきる。例えば、図１６では、仮想映像（コンピュータグラフィック）のライブ映像７００が表示されている。ここで、再生装置を利用するリスナは、再生装置のユーザＩ／Ｆを用いて、他の仮想的な楽器の映像に変更してもよい。リスナがライブ映像７００に表示されている楽器を他の楽器の映像に変更した時、再生装置の楽器モデル処理部５５１は、変更後の楽器に対応する第１デジタル信号処理モデルに応じた信号処理を行う。これにより、再生装置は、ライブ映像７００に表示されている楽器の音響特性を再現した音を出力する。

【0126】

同様に、再生装置を利用するリスナは、再生装置のユーザＩ／Ｆを用いて、アンプの種類およびスピーカの種類を異なる種類に変更してもよい。アンプモデル処理部５５２およびスピーカモデル処理部５５３は、変更された種類のアンプの音響特性およびスピーカの音響特性を模擬したデジタルフィルタ処理を行う。なお、スピーカモデル処理部５５３は、スピーカの方向毎の音響特性を模擬してもよい。この場合、再生装置を利用するリスナは、再生装置のユーザＩ／Ｆを用いて、スピーカの向きを変更してもよい。スピーカモデル処理部５５３は、変更されたスピーカの向きに応じてデジタルフィルタ処理を行う。

【0127】

空間モデル処理部５５４は、ライブ会場の部屋の音響特性（例えば上述した空間の響き）を再現した第２デジタル信号処理モデルである。第２デジタル信号処理モデルは、例えば実際のライブ会場においてテスト音等を用いて取得してもよい。あるいは、第２デジタル信号処理モデルは、上述した様に仮想空間情報（各会場の空間の大きさ、形状、および壁面の材質等を示す情報）から計算により虚音源の遅延量およびレベルを求めてもよい。

【0128】

音源の位置およびリスナの位置（受音点の位置）が変わると、空間の響きに係る音も変化する。再生装置は、空間が変化した場合、音源の位置が変化した場合、および受音点の位置が変化した場合も、計算により虚音源の遅延量およびレベルを求めることができる。したがって、実際の空間においてインパルス応答等の測定を行っていなくても、再生装置は、仮想空間情報に基づいて、空間の響きに係る音を求めることができる。よって、再生装置は、実在の空間も含めた空間で生じる響きを高精度に実現することができる。

【0129】

なお、仮想空間情報は、柱等の構造物（音響的な障害物）の位置および材質の情報を含んでいてもよい。再生装置は、音源の定位および間接音の生成処理において、音源から到達する直接音および間接音の経路に障害物が存在する場合、当該障害物による反射、遮蔽、および回折の現象を再現する。

【0130】

図１８は、音源７０から壁面を反射して受音点７５に到来する音の経路を示す模式図である。図１８に示す音源７０は、演奏音（第１音源）または環境音（第２音源）のいずれであってもよい。再生装置は、音源７０の位置、壁面の位置、および受音点７５の位置に基づいて、音源７０の位置に対して壁面を鏡面として存在する虚音源７０Ａの位置を求める。そして、再生装置は、虚音源７０Ａから受音点７５までの距離に基づいて、該虚音源７０Ａの遅延量を求める。また、再生装置は、壁面の材質の情報に基づいて、該虚音源７０Ａのレベルを求める。さらに、再生装置は、図１８に示す様に、虚音源７０Ａの位置から受音点７５の経路に障害物７７が存在する場合、当該障害物７７の回折により生じる周波数特性を求める。回折は、例えば、高域の音が減衰する。したがって、再生装置は、図１８に示す様に、虚音源７０Ａの位置から受音点７５の経路に障害物７７が存在する場合、高域のレベルを低減するイコライザ処理を行う。回折により生じる周波数特性は、仮想空間情報に含まれていてもよい。

【0131】

また、再生装置は、障害物７７の左右の位置に新たな第２虚音源７７Ａおよび第３虚音源７７Ｂを設定してもよい。第２虚音源７７Ａおよび第３虚音源７７Ｂは、回折により生じる新たな音源に対応する。第２虚音源７７Ａおよび第３虚音源７７Ｂは、それぞれ虚音源７０Ａの音に対して回折により生じる周波数特性を付与した音である。再生装置は、第２虚音源７７Ａおよび第３虚音源７７Ｂの位置および受音点７５の位置に基づいて、遅延量およびレベルを再計算する。これにより、障害物７７の回折現象を再現することができる。

【0132】

再生装置は、虚音源７０Ａの音が障害物７７で反射し、さらに壁面に反射して受音点７５に到達する音の遅延量およびレベルを計算してもよい。また、再生装置は、障害物７７で虚音源７０Ａが遮蔽されると判断した場合、虚音源７０Ａを消去してもよい。遮蔽するか否かを決定する情報は、仮想空間情報に含まれていてもよい。

【0133】

再生装置は、以上の処理を行うことで、音響機器の音響特性を表現した第１デジタル信号処理および部屋の音響特性を表現した第２デジタル信号処理を行い、音源の音および空間の響きに係る音を生成する。

【0134】

そして、バイノーラル処理部５５５は、音信号に頭部伝達関数（以下、ＨＲＴＦと称する。）を畳み込んで、音源および各種の間接音の音像定位処理を行なう。ヘッドフォン逆特性処理部５５６は、リスナの使用するヘッドフォンの音響特性の逆特性を再現するデジタルフィルタ処理を行う。

【0135】

以上の処理により、ユーザは、所望の空間および所望の音響機器でライブパフォーマンスを視聴している様な臨場感を得ることができる。

【0136】

なお、再生装置は、図１７に示した楽器モデル処理部５５１、アンプモデル処理部５５２、スピーカモデル処理部５５３、空間モデル処理部５５４を全て備える必要はない。再生装置は、少なくとも１つのデジタル信号処理モデルを用いて信号処理を実行すればよい。また、再生装置は、ある１つの音信号（例えばある演者の音）に１つのデジタル信号処理モデルを用いた信号処理を行ってもよいし、複数の音信号にそれぞれ１つのデジタル信号処理モデルを用いた信号処理を行ってもよい。再生装置は、ある１つの音信号（例えばある演者の音）に複数のデジタル信号処理モデルを用いた信号処理を行ってもよいし、複数の音信号に複数のデジタル信号処理モデルを用いた信号処理を行ってもよい。再生装置は、環境音にデジタル信号処理モデルを用いた信号処理を行ってもよい。

【0137】

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0138】

１，１Ａ，１Ｂ，１Ｃ，１Ｄ…ライブデータ配信システム
５…インターネット
１０…第１会場
１０Ａ…第６会場
１１…ミキサ
１２…配信装置
１３Ａ～１３Ｆ…マイク
１４Ａ～１４Ｇ…スピーカ
１５Ａ～１５Ｃ…トラッカー
１６…カメラ
２０…第２会場
２０Ａ…第３会場
２０Ｂ…第５会場
２１…ミキサ
２２…再生装置
２３…表示器
２４Ａ～２４Ｆ…スピーカ
２５Ａ～２５Ｃ…マイク
３２…ＡＶレシーバ
３３…表示器
３４Ａ…スピーカ
３５…マイク
４２…端末
４３…ヘッドフォン
５０…サーバ
５５…端末
１０１…表示器
１０２…ユーザＩ／Ｆ
１０３…オーディオＩ／Ｏ
１０４…信号処理部
１０５…ネットワークＩ／Ｆ
１０６…ＣＰＵ
１０７…フラッシュメモリ
１０８…ＲＡＭ
２０１…表示器
２０２…ユーザＩ／Ｆ
２０３…ＣＰＵ
２０４…ＲＡＭ
２０５…ネットワークＩ／Ｆ
２０６…フラッシュメモリ
２０７…汎用通信Ｉ／Ｆ
３０１…表示器
３０２…ユーザＩ／Ｆ
３０３…ＣＰＵ
３０４…ＲＡＭ
３０５…ネットワークＩ／Ｆ
３０６…フラッシュメモリ
３０７…映像Ｉ／Ｆ
４０１…表示器
４０２…ユーザＩ／Ｆ
４０３…オーディオＩ／Ｏ
４０４…信号処理部
４０５…ネットワークＩ／Ｆ
４０６…ＣＰＵ
４０７…フラッシュメモリ
４０８…ＲＡＭ
４０９…映像Ｉ／Ｆ
５０１…表示器
５０３…ＣＰＵ
５０４…ＲＡＭ
５０５…ネットワークＩ／Ｆ
５０６…フラッシュメモリ
５０７…オーディオＩ／Ｏ
５０８…マイク
７００…ライブ映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】