(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006611
(43)【公開日】2024-01-17
(54)【発明の名称】音処理方法、音処理装置、およびプログラム
(51)【国際特許分類】
H04R 3/00 20060101AFI20240110BHJP
【ＦＩ】
H04R3/00
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022107675
(22)【出願日】2022-07-04
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】白木原 太
(72)【発明者】
【氏名】松田 遼
(72)【発明者】
【氏名】中村 吉就
(72)【発明者】
【氏名】竹中 雄耶
(72)【発明者】
【氏名】石川 克己
(72)【発明者】
【氏名】大谷 明央
(72)【発明者】
【氏名】山本 和彦
(72)【発明者】
【氏名】藤島 琢哉
【テーマコード（参考）】
5D220
【Ｆターム（参考）】
5D220EE21
5D220EE25
5D220EE27
5D220EE34
5D220EE47
(57)【要約】
【課題】仮想空間上の複数の演者の音量バランスを適切に調整することができる音処理方法を提供する。
【解決手段】音処理方法は、仮想空間内に複数の演者のオブジェクトと、前記複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置し、前記複数の演者にそれぞれ対応する複数の音信号を受信し、利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する。
【選択図】 図４
【解決手段】音処理方法は、仮想空間内に複数の演者のオブジェクトと、前記複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置し、前記複数の演者にそれぞれ対応する複数の音信号を受信し、利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する。
【選択図】 図４
【特許請求の範囲】
【請求項1】
仮想空間内に複数の演者のオブジェクトと、前記複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置し、
前記複数の演者にそれぞれ対応する複数の音信号を受信し、
利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、
前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、
前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する、
音処理方法。
前記複数の演者にそれぞれ対応する複数の音信号を受信し、
利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、
前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、
前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する、
音処理方法。
【請求項2】
前記訓練済モデルは、前記複数の音信号の各演者に対応する音信号と、該音信号に施すエフェクト処理のエフェクトパラメータと、の関係を訓練され、
前記訓練済モデルを用いて、前記複数の演者に対するそれぞれのエフェクトパラメータを求めて、
前記訓練済モデルで求めた該エフェクトパラメータに基づいて前記複数の音信号にエフェクト処理を施す、
請求項１に記載の音処理方法。
前記訓練済モデルを用いて、前記複数の演者に対するそれぞれのエフェクトパラメータを求めて、
前記訓練済モデルで求めた該エフェクトパラメータに基づいて前記複数の音信号にエフェクト処理を施す、
請求項１に記載の音処理方法。
【請求項3】
前記複数の演者でそれぞれ利用される複数の音響機器の情報を受信し、
受信した前記複数の音響機器の情報に基づいて前記複数の演者に対するそれぞれのエフェクトパラメータを求める、
請求項２に記載の音処理方法。
受信した前記複数の音響機器の情報に基づいて前記複数の演者に対するそれぞれのエフェクトパラメータを求める、
請求項２に記載の音処理方法。
【請求項4】
前記複数の演者でそれぞれ利用される複数の音響機器の情報を取得し、
取得した前記複数の音響機器の情報に基づいて、前記複数の音信号の音量を調整する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
取得した前記複数の音響機器の情報に基づいて、前記複数の音信号の音量を調整する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項5】
前記複数の演者のオブジェクトの第１位置情報と、視聴者の第２位置情報と、を取得し、
前記第１位置情報および前記第２位置情報に基づいて前記複数の音信号の音量を調整する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
前記第１位置情報および前記第２位置情報に基づいて前記複数の音信号の音量を調整する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項6】
前記複数の利用者は、演者を含む、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項7】
前記訓練済モデルで求めた前記音量調整パラメータは、受信した前記複数の音信号を混合する受信側機器で用いられる音量調整パラメータである、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項8】
前記訓練済モデルで求めた前記音量調整パラメータは、前記複数の演者でそれぞれ利用される複数の機器で用いられる音量調整パラメータであり、
前記複数の機器は、それぞれ、前記音量調整パラメータに基づいて前記複数の音信号の音量を調整し、
受信側の機器は、前記複数の機器で音量を調整された後の前記複数の音信号を受信して混合する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
前記複数の機器は、それぞれ、前記音量調整パラメータに基づいて前記複数の音信号の音量を調整し、
受信側の機器は、前記複数の機器で音量を調整された後の前記複数の音信号を受信して混合する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項9】
前記複数の演者にそれぞれ対応する複数の音信号を、ネットワークを介して受信する、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項10】
第１の利用者の第１の情報処理装置から、前記音量調整パラメータを受け付けて所定のモデルを訓練して前記訓練済モデルを生成し、
前記訓練済モデルを第２の利用者の第２の情報処理装置に送信し、
前記第２の情報処理装置が、前記訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求める、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
前記訓練済モデルを第２の利用者の第２の情報処理装置に送信し、
前記第２の情報処理装置が、前記訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求める、
請求項１乃至請求項３のいずれか１項に記載の音処理方法。
【請求項11】
前記第１の情報処理装置または前記第２の情報処理装置から前記音量調整パラメータを受け付けて、前記訓練済モデルを再訓練する、
請求項１０に記載の音処理方法。
請求項１０に記載の音処理方法。
【請求項12】
サーバが、前記第２の利用者に対して課金処理を行い、前記第１の利用者に対して報酬の支払い処理を行う、
請求項１０に記載の音処理方法。
請求項１０に記載の音処理方法。
【請求項13】
仮想空間内に複数の演者のオブジェクトと、前記複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置し、
前記複数の演者にそれぞれ対応する複数の音信号を受信し、
利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、
前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、
前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する、
プロセッサを備えた、
音処理装置。
前記複数の演者にそれぞれ対応する複数の音信号を受信し、
利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、
前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、
前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する、
プロセッサを備えた、
音処理装置。
【請求項14】
仮想空間内に複数の演者のオブジェクトと、前記複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置し、
前記複数の演者にそれぞれ対応する複数の音信号を受信し、
利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、
前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、
前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する、
音処理を情報処理装置に実行させるプログラム。
前記複数の演者にそれぞれ対応する複数の音信号を受信し、
利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、
前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、
前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する、
音処理を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、音処理方法、音処理装置、およびプログラムに関する。
【背景技術】
【0002】
特許文献１には、オーディオ・ミキサーＢ２，Ｃ３からネットワークを介してパフォーマンスに係る音信号を受信し、オーディオ・ミキサーＢ２，Ｃ３との間の通信遅延時間を測定し、測定された通信遅延時間に応じてオーディオ・ミキサーＢ２，Ｃ３の音信号をミキシングする、オーディオ・ミキサーが開示されている。
【0003】
特許文献２には、プリフェーダとポストフェーダの音量差を補正することで、プリフェーダとポストフェーダの切り替えをスムーズにする構成が開示されている。
【0004】
特許文献３には、スピーカからマイクに至るインパルス応答を測定し、間接音成分を考慮して音量調整を行うことで、間接音成分を考慮した適切な音量に調整する構成が開示されている。
【0005】
特許文献４には、近端側の直接音の音量測定結果とスピーカとマイクの距離を遠端側にフィードバックする構成が開示されている。これにより、遠端側ユーザは、自身の声が正しく拡声されていることを知ることができる。
【0006】
特許文献５には、近端側のマイクで取得した音響特徴量に基づいて遠端側から受信した音信号の音量調整を行う構成が開示されている。これにより特許文献５の発明は、聴取環境を考慮した音量調整を行うことができる。
【0007】
特許文献６には、ステージ上の異なる場所に位置する複数演者に複数のアンプを配置し、ミキサで各アンプの音信号の音量を調整して供給する構成が開示されている。これにより、特許文献６のミキサは、複数のモニタ用スピーカの音量バランスを一括して調整することができる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２００５－１２８２９６号公報
【特許文献2】国際公開第２０１８／２１４０２号公報
【特許文献3】特開２０２１－１２９１４５号公報
【特許文献4】特開２０１０－１０３８５３号公報
【特許文献5】特開２０２０－２０２４４８号公報
【特許文献6】特開２００９－１００１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
先行技術文献に開示された構成は、いずれも仮想空間上の複数の演者の音量バランスを調整するものではない。
【0010】
本発明の一実施形態は、仮想空間上の複数の演者の音量バランスを適切に調整することができる音処理方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の一実施形態に係る音処理方法は、仮想空間内に複数の演者のオブジェクトと、前記複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置し、前記複数の演者にそれぞれ対応する複数の音信号を受信し、利用者から、前記複数の音量調整用インタフェースに対応する、前記複数の演者に対するそれぞれの音量調整パラメータを受け付けて、前記複数の音信号の各演者に対応する音信号と、該音信号に対応する前記音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、前記複数の演者に対するそれぞれの音量調整パラメータを求めて、前記訓練済モデルで求めた該音量調整パラメータに基づいて前記複数の音信号の音量を調整して混合する。
【発明の効果】
【0012】
本発明の一実施形態によれば、仮想空間上の複数の演者の音量バランスを適切に調整することができる。
【図面の簡単な説明】
【0013】
【図1】音処理システム１の構成を示すブロック図である。
【図2】ＰＣ１２Ｃの構成を示すブロック図である。
【図3】ある仮想３次元空間Ｒ１の一例を示す斜視図である。
【図4】訓練段階におけるＰＣ１２Ｃおよびサーバ３０の動作を示すフローチャートである。
【図5】実行段階におけるＰＣ１２Ｃの動作を示すフローチャートである。
【図6】変形例１に係るＰＣ１２Ａ（またはＰＣ１２Ｂ）の動作を示すフローチャートである。
【図7】変形例２に係る仮想３次元空間Ｒ１の一例を示す斜視図である。
【図8】変形例４に係る音処理システム１Ａの構成を示すブロック図である。
【発明を実施するための形態】
【0014】
図１は、音処理システム１の構成を示すブロック図である。図１に係る音処理システム１は、第１会場３に設置されたＰＣ（パーソナルコンピュータ）１２Ａ、第２会場５に設置されたＰＣ１２Ｂ、第３会場７に設置されたＰＣ１２Ｃ、およびサーバ３０を含む。ＰＣ１２Ａ、ＰＣ１２Ｂ、ＰＣ１２Ｃ、およびサーバ３０は、ネットワーク９を介して接続される。ＰＣ１２Ａ、ＰＣ１２Ｂ、およびＰＣ１２Ｃは、本発明の音処理装置の一例である。
【0015】
第１会場３のＰＣ１２Ａは、ギターアンプ１１Ａおよびモーションセンサ１３Ａに接続される。ギターアンプ１１Ａは、エレキギター１０と接続される。
【0016】
エレキギター１０は、音響機器の一例である。ギターアンプ１１Ａは、オーディオケーブルを介してエレキギター１０に接続される。ギターアンプ１１Ａも音響機器の一例である。また、ギターアンプ１１Ａは、例えばＵＳＢケーブルによりＰＣ１２Ａに接続される。無論、ギターアンプ１１Ａは、無線通信によりＰＣ１２Ａに接続してもよい。エレキギター１０は、演奏音に係るアナログ音信号をギターアンプ１１Ａに出力する。
【0017】
ギターアンプ１１Ａは、アナログオーディオ端子を有する。ギターアンプ１１Ａは、オーディオケーブルを介してエレキギター１０からアナログ音信号を受け付ける。ギターアンプ１１Ａは、受け付けたアナログ音信号をデジタル音信号に変換する。ギターアンプ１１Ａは、当該デジタル音信号にエフェクト等の各種の信号処理を施す。ギターアンプ１１Ａは、信号処理後のデジタル音信号をアナログ音信号に変換する。ギターアンプ１１Ａは、当該アナログ音信号を増幅する。ギターアンプ１１Ａは、内蔵スピーカを介して増幅されたアナログ音信号に基づいて、エレキギター１０の演奏音を出力する。また、ギターアンプ１１Ａは、信号処理後のデジタル音信号を、ＰＣ１２Ａに送信する。
【0018】
ＰＣ１２Ａのユーザは、エレキギター１０の演奏者である。エレキギター１０の演奏者は、ＰＣ１２Ａを用いて、自身の演奏音を配信するとともに仮想空間内で仮想的に演奏を行う自身の分身となる３Ｄモデルのオブジェクトを動作させる。ただし、演奏音の配信を行うユーザと演奏者とは同じ人物である必要はない。ＰＣ１２Ａは、当該オブジェクトの動作を制御するためのモーションデータを制御する。
【0019】
モーションセンサ１３Ａは、演奏者のモーションをキャプチャするためのセンサであり、例えば光学式、慣性式、あるいは画像式等のセンサである。モーションセンサ１３Ａは、例えばＵＳＢケーブルによりＰＣ１２Ａに接続される。ＰＣ１２Ａは、モーションセンサ１３Ａから受け付けたセンサ情報に基づいてモーションデータを制御する。無論、モーションセンサ１３Ａは、無線通信によりＰＣ１２Ａに接続してもよい。
【0020】
ＰＣ１２Ａは、ギターアンプ１１Ａから受信したギター演奏音に係るデジタル音信号、およびモーションセンサ１３Ａのセンサ情報に基づいて制御したモーションデータをサーバ３０に送信する。
【0021】
第２会場５のＰＣ１２Ｂは、マイク１９およびモーションセンサ１３Ｂに接続される。
【0022】
マイク１９は、音響機器の一例である。マイク１９は、オーディオケーブルあるいはＵＳＢケーブル等を介してＰＣ１２Ｂに接続される。ＰＣ１２Ｂは、オーディオケーブルを介してマイク１９からアナログオーディオ信号を受信する。ＰＣ１２Ｂは、受信したアナログ音信号をデジタル音信号に変換する。あるいは、マイク１９は、ＵＳＢケーブル等を介してデジタルオーディオ信号をＰＣ１２Ｂに出力してもよい。
【0023】
ＰＣ１２Ｂのユーザは、歌唱者である。歌唱者は、ＰＣ１２Ｂを用いて、自身の歌唱音を配信するとともに仮想空間内で仮想的に歌唱を行う自身の分身となるオブジェクトを動作させる。ＰＣ１２Ｂは、当該オブジェクトの動作を制御するためのモーションデータを制御する。ただし、歌唱音の配信を行うユーザと歌唱者とは同じ人物である必要はない。
【0024】
モーションセンサ１３Ｂは、歌唱者のモーションをキャプチャするためのセンサであり、例えば光学式、慣性式、あるいは画像式等のセンサである。モーションセンサ１３Ｂは、例えばＵＳＢケーブルによりＰＣ１２Ｂに接続される。ＰＣ１２Ｂは、モーションセンサ１３Ｂから受け付けたセンサ情報に基づいてモーションデータを制御する。無論、モーションセンサ１３Ｂは、無線通信によりＰＣ１２Ｂに接続してもよい。
【0025】
ＰＣ１２Ｂは、マイク１９から受信した歌唱音に係るデジタル音信号、およびモーションセンサ１３Ｂのセンサ情報に基づいて制御したモーションデータをサーバ３０に送信する。
【0026】
第３会場７のＰＣ１２Ｃは、ヘッドフォン２０に接続される。ヘッドフォン２０も音響機器の一例である。ＰＣ１２Ｃのユーザは、仮想空間内で仮想的に行われる演者のパフォーマンスを視聴する視聴者である。
【0027】
【0028】
ＰＣ１２Ｃは、通信部１１、プロセッサ１２、ＲＡＭ１３、フラッシュメモリ１４、表示器１５、ユーザＩ／Ｆ１６、およびオーディオＩ／Ｆ１７を備えている。
【0029】
通信部１１は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の無線通信機能、ＵＳＢまたはＬＡＮ等の有線通信機能を有する。
【0030】
表示器１５は、ＬＣＤやＯＬＥＤ等からなる。表示器１５は、プロセッサ１２の出力した映像を表示する。
【0031】
ユーザＩ／Ｆ１６は、操作部の一例である。ユーザＩ／Ｆ１６は、マウス、キーボード、あるいはタッチパネル等からなる。ユーザＩ／Ｆ１６は、利用者の操作を受け付ける。なお、タッチパネルは、表示器１５に積層されていてもよい。
【0032】
オーディオＩ／Ｆ１７は、アナログオーディオ端子またはデジタルオーディオ端子等を有し、音響機器を接続するためのインタフェースである。本実施形態では、ＰＣ１２ＣのオーディオＩ／Ｆ１７は、音響機器の一例としてヘッドフォン２０を接続し、ヘッドフォン２０に音信号を出力する。
【0033】
プロセッサ１２は、ＣＰＵ、ＤＳＰ、またはＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等からなる。プロセッサ１２は、記憶媒体であるフラッシュメモリ１４からプログラムを読み出し、ＲＡＭ１３に一時記憶することで、種々の動作を行う。なお、プログラムは、フラッシュメモリ１４に記憶している必要はない。プロセッサ１２は、例えば、サーバ等の他装置から必要な場合にダウンロードしてＲＡＭ１３に一時記憶してもよい。
【0034】
プロセッサ１２は、通信部１１を介して、サーバ３０から音信号およびモーションデータを受信する。サーバ３０から受信する音信号は、第１会場３の演奏者の演奏音に係る第１音信号および第２会場５の歌唱者の歌唱音に係る第２音信号を含む。サーバ３０から受信するモーションデータは、第１会場３の演奏者のモーションおよび第２会場５の歌唱者のモーションを含む。また、プロセッサ１２は、通信部１１を介して、サーバ３０から空間情報、モデルデータ、および位置情報等も受信する。
【0035】
空間情報は、例えばライブハウスやコンサートホール等のライブ会場に対応する３次元空間の形状を示す情報であり、ある位置を原点とした３次元の座標で表される。空間情報は、実在のコンサートホール等のライブ会場の３ＤＣＡＤデータに基づく座標情報であってもよいし、ある架空のライブ会場の論理的な座標情報（０～１で正規化された情報）であってもよい。
【0036】
モデルデータは、３Ｄモデルのオブジェクトを構成するための３次元ＣＧ画像データであり、複数の画像パーツからなる。モデルデータは、演者毎に指定される。例えば第１会場３の演奏者は、自身の分身となるモデルデータを指定する。サーバ３０は、指定されたモデルデータを配信する。
【0037】
位置情報は、３次元空間内におけるモデルデータの位置を示す情報である。位置情報は、上記仮想空間内の３次元の座標で表される。位置情報は、スピーカ等の機器の様に位置変化のないモデルデータに対応する位置情報である場合もあるし、演者の様に位置変化するモデルデータに対応する位置情報である場合もある。
【0038】
【0039】
プロセッサ１２は、サーバ３０から受信した空間情報および位置情報に基づいて、図３に示す様な仮想３次元空間Ｒ１にオブジェクトを配置する。また、プロセッサ１２は、仮想３次元空間Ｒ１内に、ＰＣ１２Ｃの利用者の位置を設定する。ＰＣ１２Ｃの利用者の位置は、仮想３次元空間Ｒ１内の視点位置５０に対応する。図３では、仮想３次元空間Ｒ１を俯瞰して示すが、ＰＣ１２Ｃは、プロセッサ１２は、空間情報、モデルデータ、位置情報、およびオブジェクトのモーションデータ、および設定した視点位置の情報に基づいて、モデルデータをレンダリングして、設定した視点位置５０から仮想３次元空間Ｒ１を見た映像を生成する。生成した映像は、表示器１５を介して表示する。これにより、ＰＣ１２Ｃの視聴者は、設定した視点位置５０から仮想３次元空間Ｒ１を見た映像を視認することができる。ＰＣ１２Ｃのユーザは、ユーザＩ／Ｆ１６を介して、仮想３次元空間Ｒ１内の視点位置５０を変更することができる。プロセッサ１２は、変更された視点位置５０から仮想３次元空間Ｒ１を見た映像を生成する。これにより、ＰＣ１２Ｃのユーザは、仮想３次元空間Ｒ１内で自身が移動しているように知覚することができる。
【0040】
ＰＣ１２Ｃのプロセッサ１２は、サーバ３０から受信した複数の音信号の音量を調整して混合し、例えばステレオ（Ｌ，Ｒ）チャンネルの音信号を生成する。この例では、プロセッサ１２は、第１会場３の第１音信号および第２会場５の第２音信号を混合する。プロセッサ１２は、オーディオＩ／Ｆ１７を介してヘッドフォン２０にステレオチャンネルの音信号を出力する。
【0041】
なお、プロセッサ１２は、第１音信号および第２音信号のそれぞれにイコライザやリバーブ処理等のエフェクト処理を行ってもよい。また、プロセッサ１２は、第１音信号および第２音信号に対し、それぞれの対応するオブジェクトの位置に音が定位する様な定位処理を行ってもよい。
【0042】
ＰＣ１２Ｃは、各演者に対応する音信号と、該音信号に対応する音量調整パラメータと、の関係を訓練された訓練済モデルを用いて、複数の演者に対するそれぞれの音量調整パラメータを求めて、複数の音信号の音量を調整して混合する。
【0043】
図４は、訓練段階におけるＰＣ１２Ｃおよびサーバ３０の動作を示すフローチャートである。サーバ３０は、第１音信号および第２音信号を配信する（Ｓ２１）。ＰＣ１２Ｃのプロセッサ１２は、サーバ３０から第１音信号および第２音信号を受信する（Ｓ１１）。
【0044】
プロセッサ１２は、仮想空間内に複数の演者のオブジェクトと、複数の演者のオブジェクトに対応する複数の音量調整用インタフェースと、を配置する（Ｓ１２）。
【0045】
具体的には、プロセッサ１２は、図３に示す様に、遠隔地である第１会場３に存在する演奏者３１に対応する第１オブジェクト５１を配置する。プロセッサ１２は、別の遠隔地である第２会場５に存在する歌唱者３２に対応する第２オブジェクト５２を仮想３次元空間Ｒ１内に配置する。さらに、プロセッサ１２は、第１オブジェクト５１に対応する第１音量調整用インタフェース７１および第２オブジェクト５２に対応する第２音量調整用インタフェース７２を配置する。なお、本実施形態では、プロセッサ１２は、第１会場３および第２会場５の２つの会場の演者に対応するオブジェクトおよび音量調整用インタフェースを配置しているが、会場の数は２つに限らない。プロセッサ１２は、さらに多数の会場の演者のオブジェクトおよび音量調整用インタフェースを配置してもよい。
【0046】
次に、プロセッサ１２は、ＰＣ１２Ｃのユーザから、複数の音量調整用インタフェースに対応する、複数の演者に対するそれぞれの音量調整パラメータを受け付ける（Ｓ１３）。ＰＣ１２Ｃのユーザは、図３に示した様に、仮想３次元空間Ｒ１内に配置された第１音量調整用インタフェース７１および第２音量調整用インタフェース７２を操作して、音量調整操作を行う。ＰＣ１２Ｃのユーザは、例えば、第１オブジェクト５１に対応する演奏音が大きすぎると感じた場合に、第１音量調整用インタフェース７１を操作して音量を下げる操作を行う。図３の例では、第１音量調整用インタフェース７１および第２音量調整用インタフェース７２は、スライダの操作子になっている。したがって、ＰＣ１２Ｃのユーザは、第１オブジェクト５１に対応する演奏音が大きすぎると感じた場合に、第１音量調整用インタフェース７１を下方向に移動させる。また、ＰＣ１２Ｃのユーザは、例えば、第２オブジェクト５２に対応する歌唱音が小さすぎると感じた場合に、第２音量調整用インタフェース７２を上方向に移動させ、音量を上げる操作を行う。
【0047】
ＰＣ１２Ｃは、受け付けた音量調整パラメータをサーバ３０に送信する（Ｓ１４）。サーバ３０は、ＰＣ１２Ｃから音量調整パラメータを受信する（Ｓ２２）。この例では、サーバ３０は、ＰＣ１２Ｃから音量調整パラメータを受信しているが、他にも多数の情報処理装置から音量調整パラメータを受信する。サーバ３０は、受信した多数の音量調整パラメータを用いて、所定のモデルに、所定のアルゴリズムを用いて配信した複数の演者に対応する音信号と音量調整パラメータとの関係を訓練させる（Ｓ２３）。
【0048】
本実施形態において、モデルを訓練させるためのアルゴリズムは限定されず、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の任意の機械訓練アルゴリズムを用いることができる。機械訓練アルゴリズムは、教師あり訓練、教師なし訓練、半教師訓練、強化訓練、逆強化訓練、能動訓練、あるいは転移訓練等であってもよい。また、サーバ３０は、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の機械訓練モデルを用いてモデルを訓練させてもよい。
【0049】
例えば、ある特定の演者（例えば第１会場３の演奏者３１）の演奏音が、多数の視聴者で音量が大きすぎると感じられた場合、多数の視聴者が音量を下げる操作を行う。この場合、所定のモデルは、第１会場３の演奏音の音信号に対して、音量を下げる様な音量調整パラメータを出力するように訓練される。この様に、複数の演者のそれぞれの音信号と、それぞれの音量調整パラメータは、相関関係を有する。したがって、サーバ３０は、所定のモデルに、複数の演者のそれぞれの音信号と、それぞれの音量調整パラメータと、の関係を訓練させ、訓練済モデルを生成することができる。
【0050】
図５は、実行段階におけるＰＣ１２Ｃの動作を示すフローチャートである。ＰＣ１２Ｃのプロセッサ１２は、サーバ３０から第１音信号、第２音信号、および訓練済モデルを受信する（Ｓ３１）。なお、訓練済モデルは、第１音信号および第２音信号とは別に事前に受信してもよい。
【0051】
プロセッサ１２は、仮想空間内に複数の演者のオブジェクトを配置する（Ｓ３２）。具体的には、プロセッサ１２は、第１オブジェクト５１および第２オブジェクト５２を仮想３次元空間Ｒ１内に配置する。この例では、実行段階においてプロセッサ１２は第１音量調整用インタフェース７１および第２音量調整用インタフェース７２を配置しない。
【0052】
プロセッサ１２は、訓練済モデルを用いて、複数の演者に対するそれぞれの音量調整パラメータを求める（Ｓ３３）。上述の様に、訓練済モデルは、複数の演者のそれぞれの音信号と、それぞれの音量調整パラメータと、の関係を訓練されている。したがって、プロセッサ１２は、訓練済モデルを用いて、第１オブジェクト５１に対応する第１音信号および第２オブジェクト５２に対応する第２音信号にそれぞれ対応する第１音量調整パラメータおよび第２音量調整パラメータを求める。
【0053】
プロセッサ１２は、訓練済モデルで求めた音量調整パラメータに基づいて複数の音信号の音量を調整して混合する（Ｓ３４）。具体的には、プロセッサ１２は、第１音信号の音量を第１音量調整パラメータで調整し、第２音信号の音量を第２音量調整パラメータで調整し、音量調整後の第１音信号および第２音信号を混合する。
【0054】
この様に、ＰＣ１２Ｃは、複数の利用者から受け付けた音量調整パラメータで訓練された訓練済モデルを用いて複数の演者の音信号を適切な音量バランスに調整して混合することで、仮想３次元空間Ｒ１内で仮想的に歌唱または演奏を行う複数の演者の音量バランスを適切に調整することができる。これにより、仮想３次元空間Ｒ１で仮想的に行われる演者のパフォーマンスを視聴する視聴者は、音量バランスの調整操作を行う必要なく、仮想空間内における仮想的な演奏をより良い音量バランスで簡単に視聴できるという顧客体験を享受できる。
【0055】
なお、この例では、実行段階においてプロセッサ１２は、第１音量調整用インタフェース７１および第２音量調整用インタフェース７２を配置しなかったが、第１音量調整用インタフェース７１および第２音量調整用インタフェース７２を配置してもよい。この場合、ＰＣ１２Ｃのユーザは、プロセッサ１２が訓練済モデルを用いて求めた第１音量調整パラメータおよび第２音量調整パラメータをさらに微調整することができる。また、ＰＣ１２Ｃは、微調整を行った音量調整パラメータもサーバ３０に送信してもよい。サーバ３０は、微調整を行った音量調整パラメータも受信して、訓練済モデルをさらに再訓練してもよい。これにより、仮想３次元空間Ｒ１内で行われるパフォーマンスの進行に伴って音量調整パラメータが更新される。そのため、パフォーマンスを視聴する視聴者は、仮想３次元空間Ｒ１内で行われるパフォーマンスの進行に合わせて常に適切な音量バランスで視聴できるという顧客体験を享受できる。
【0056】
（変形例１）
図６は、変形例１に係るＰＣ１２Ａ（またはＰＣ１２Ｂ）の動作を示すフローチャートである。
図６は、変形例１に係るＰＣ１２Ａ（またはＰＣ１２Ｂ）の動作を示すフローチャートである。
【0057】
上記実施形態では、ＰＣ１２Ｃがサーバ３０から訓練済モデルを受信し、第１音信号の音量を第１音量調整パラメータで調整し、第２音信号の音量を第２音量調整パラメータで調整し、音量調整後の第１音信号および第２音信号を混合する例を示した。つまり、訓練済モデルで求めた音量調整パラメータは、受信した複数の音信号を混合する受信側機器で用いられる音量調整パラメータであった。
【0058】
変形例１の音処理システム１では、送信側の機器であるＰＣ１２ＡおよびＰＣ１２Ｂがそれぞれ訓練済モデルを受信し、第１音信号の音量を第１音量調整パラメータで調整し、第２音信号の音量を第２音量調整パラメータで調整する。
【0059】
具体的には、ＰＣ１２Ａは、まずサーバ３０から訓練済モデルを受信する（Ｓ４１）。ＰＣ１２Ａは、受信した訓練済モデルを用いて、送信する音信号の音量調整パラメータを求める（Ｓ４２）。上述の様に、訓練済モデルは、複数の演者のそれぞれの音信号と、それぞれの音量調整パラメータと、の関係を訓練されている。したがって、ＰＣ１２Ａは、訓練済モデルを用いて、第１音信号に対応する第１音量調整パラメータを求めることができる。ＰＣ１２Ａは、訓練済モデルで求めた第１音量調整パラメータに基づいて第１音信号の音量を調整する（Ｓ４３）。ＰＣ１２Ａは、調整後の第１音信号をサーバ３０に送信する（Ｓ４４）。ＰＣ１２Ｂも同様に、訓練済モデルに基づいて第２音信号の音量を第２音量調整パラメータで調整する。
【0060】
つまり、変形例１において、訓練済モデルで求めた音量調整パラメータは、複数の演者でそれぞれ利用される複数の機器で用いられる音量調整パラメータであり、複数の機器は、それぞれ、音量調整パラメータに基づいて複数の音信号の音量を調整し、受信側の機器は、複数の機器で音量を調整された後の複数の音信号を受信して混合する。
【0061】
これにより、変形例１の音処理システム１でも、仮想３次元空間Ｒ１で仮想的に行われる演者のパフォーマンスを視聴する視聴者は、音量バランスの調整操作を行う必要なく、仮想空間内における仮想的な演奏をより良い音量バランスで簡単に視聴できるという顧客体験を享受できる。
【0062】
なお、変形例１では、ＰＣ１２Ａ（またはＰＣ１２Ｂ）が音信号の音量を調整する例を示したが、例えばギターアンプ１１Ａが訓練済モデルに基づいて音信号の音量を調整してもよいし、エレキギター１０が訓練済モデルに基づいて音信号の音量を調整してもよい。あるいは、ＰＣ１２Ａが訓練済モデルに基づいてギターアンプ１１Ａにおける音量調整パラメータを求めて、該音量調整パラメータをギターアンプ１１Ａに入力し、ギターアンプ１１Ａが音信号の音量を調整してもよい。あるいは、ＰＣ１２Ａが訓練済モデルに基づいてエレキギター１０における音量調整パラメータを求めて、該音量調整パラメータをエレキギター１０に入力し、エレキギター１０が音信号の音量を調整してもよい。
【0063】
（変形例２）
訓練済モデルは、音量調整パラメータだけでなく、複数の音信号の各演者に対応する音信号と、該音信号に施すエフェクト処理のエフェクトパラメータとの関係を訓練されてもよい。
訓練済モデルは、音量調整パラメータだけでなく、複数の音信号の各演者に対応する音信号と、該音信号に施すエフェクト処理のエフェクトパラメータとの関係を訓練されてもよい。
【0064】
【0065】
ＰＣ１２Ｃのプロセッサ１２は、訓練段階として、仮想空間内に複数の演者のオブジェクトと、複数の演者のオブジェクトに対応する複数のエフェクト調整用インタフェースと、を配置する。具体的には、プロセッサ１２は、図７に示す様に、第１オブジェクト５１に対応する第１エフェクト調整用インタフェース７１Ａおよび第２オブジェクト５２に対応する第２エフェクト調整用インタフェース７２Ａと、を配置する。
【0066】
この例では、第１エフェクト調整用インタフェース７１Ａおよび第２エフェクト調整用インタフェース７２Ａは、それぞれイコライザのエフェクトパラメータを調整するための操作子である。第１エフェクト調整用インタフェース７１Ａおよび第２エフェクト調整用インタフェース７２Ａは、それぞれ高音域（Ｈｉｇｈ）、中音域（Ｍｉｄ）、および低音域（Ｌｏｗ）のレベルを調整する操作子を含む。
【0067】
ＰＣ１２Ｃのユーザは、第１エフェクト調整用インタフェース７１Ａおよび第２エフェクト調整用インタフェース７２Ａを操作して、エフェクトパラメータの調整操作を行う。
【0068】
ＰＣ１２Ｃは、受け付けたエフェクトパラメータをサーバ３０に送信する。サーバ３０は、ＰＣ１２Ｃを含む多数の情報処理装置からエフェクトパラメータを受信する。サーバ３０は、受信した多数のエフェクトパラメータを用いて、所定のモデルに、所定のアルゴリズムを用いて配信した複数の演者に対応する音信号とエフェクトパラメータとの関係を訓練させる。
【0069】
実行段階において、ＰＣ１２Ｃのプロセッサ１２は、サーバ３０から第１音信号、第２音信号、および訓練済モデルを受信する。プロセッサ１２は、訓練済モデルを用いて、複数の演者の音信号に施すそれぞれのエフェクトパラメータを求める。プロセッサ１２は、訓練済モデルで求めたエフェクトパラメータに基づいて複数の音信号にエフェクト処理を施す。また、プロセッサ１２は、エフェクト処理後の複数の音信号の音量を調整して混合する。
【0070】
この様に、変形例２のＰＣ１２Ｃは、複数の利用者から受け付けたエフェクトパラメータで訓練された訓練済モデルを用いて複数の演者の音信号に適切なエフェクト処理を施して混合することで、仮想３次元空間Ｒ１内で仮想的に歌唱または演奏を行う複数の演者の音質を適切に調整することができる。これにより、仮想３次元空間Ｒ１で仮想的に行われる演者のパフォーマンスを視聴する視聴者は、エフェクトパラメータの調整操作を行う必要なく、仮想空間内における仮想的な演奏をより良い音質で簡単に視聴できるという顧客体験を享受できる。
【0071】
なお、エフェクトは、上記の例で示したイコライザに限らない。エフェクトは、コンプレッサ、あるいはリバーブ等その他のエフェクトであってもよい。例えば、ＰＣ１２Ｃのユーザは、第１会場３の演奏音に響きがないと感じた場合に、第１会場３の演奏音に強いリバーブ処理をかけるように、エフェクトパラメータを調整する。サーバ３０は、ＰＣ１２Ｃを含む多数の情報処理装置からエフェクトパラメータを受信し、第１会場３の演奏音に強いリバーブ処理をかける様な訓練済モデルを生成する。これにより、第１会場３の演奏音には、自動的に強いリバーブ処理が施されるため、視聴者は、改めて第１会場３の演奏音に強いリバーブ処理をかけるエフェクトパラメータを調整する必要なく、仮想空間内における仮想的な演奏をより良い音質で簡単に視聴できるという顧客体験を享受できる。
【0072】
なお、エフェクト処理は、受信側のＰＣ１２Ｃではなく、送信側のＰＣ１２Ａ、ＰＣ１２Ｂ、あるいはギターアンプ１１Ａやエレキギター１０、マイク１９等で行ってもよい。この場合、送信側のＰＣ１２ＡおよびＰＣ１２Ｂが、訓練済モデルをサーバ３０から受信して、該訓練済モデルに基づいてエフェクトパラメータを求めて、エフェクト処理を施す。また、ギターアンプ１１Ａが訓練済モデルに基づいてエフェクトパラメータを求めてエフェクト処理を行ってもよいし、エレキギター１０が訓練済モデルに基づいてエフェクトパラメータを求めてエフェクト処理を行ってもよい。あるいは、ＰＣ１２Ａが訓練済モデルに基づいてギターアンプ１１Ａにおけるエフェクト処理のエフェクトパラメータを求めて、該エフェクトパラメータをギターアンプ１１Ａに入力し、ギターアンプ１１Ａが入力したエフェクトパラメータに基づいてエフェクト処理を行ってもよい。あるいは、ＰＣ１２Ａが訓練済モデルに基づいてエレキギター１０におけるエフェクト処理のエフェクトパラメータを求めて、該エフェクトパラメータをエレキギター１０に入力し、エレキギター１０がエフェクト処理を行ってもよい。
【0073】
（変形例３）
変形例３に係る音処理システム１は、複数の演者でそれぞれ利用される複数の音響機器の情報を取得し、取得した複数の音響機器の情報に基づいて、複数の音信号に施すエフェクト処理のエフェクトパラメータを調整する。
変形例３に係る音処理システム１は、複数の演者でそれぞれ利用される複数の音響機器の情報を取得し、取得した複数の音響機器の情報に基づいて、複数の音信号に施すエフェクト処理のエフェクトパラメータを調整する。
【0074】
例えば、ＰＣ１２Ａは、エレキギター１０およびギターアンプ１１Ａの情報をサーバ３０に送信する。エレキギター１０およびギターアンプ１１Ａの情報とは、例えばエレキギター１０およびギターアンプ１１Ａのそれぞれの機種名、あるいは製造番号等の情報を含む。同様に、ＰＣ１２Ｂは、マイク１９の情報をサーバ３０に送信し、ＰＣ１２Ｃは、ヘッドフォン２０の情報をサーバ３０に送信する。
【0075】
サーバ３０は、複数の音響機器の情報とそれぞれの音響機器に対応する適切なイコライザ等のエフェクトパラメータをテーブルとして記憶している。サーバ３０は、ＰＣ１２Ａ、ＰＣ１２Ｂ、またはＰＣ１２Ｃから受信した音響機器の情報に対応するエフェクトパラメータをテーブルから読み出して、読み出したエフェクトパラメータをＰＣ１２Ａ、ＰＣ１２Ｂ、またはＰＣ１２Ｃに送信する。
【0076】
ＰＣ１２Ａ、ＰＣ１２Ｂ、またはＰＣ１２Ｃは、サーバ３０からエフェクトパラメータを受信して、対応する音響機器の音信号に施すエフェクト処理のエフェクトパラメータを調整する。例えば、ＰＣ１２Ｃは、サーバ３０から受信したエフェクトパラメータに基づいて、ヘッドフォン２０に出力する音信号のイコライザのパラメータを調整する。
【0077】
これにより、各会場の利用者は、利用する音響機器のイコライザ等のエフェクトパラメータを手動で調整する必要なく、適切なエフェクトパラメータに簡単に調整できるという顧客体験を享受できる。例えば、ある演者がある音響機器（例えばあるマイク）を用いて歌唱音を配信する場合と、別のある音響機器（別のあるマイク）を用いて歌唱音を配信する場合と、で音質が異なる場合がある。この様に、音響機器の違いによる収録環境の差により、配信される歌唱音の音質が異なる場合がある。しかし、変形例３の音処理システム１では、この様な音響機器の違いによる収録環境の差を補正することができる。
【0078】
なお、サーバは、複数の音響機器の情報とそれぞれの音響機器に対応する適切なエフェクトパラメータとの関係を訓練した訓練済モデルを用いて、対応する音響機器のエフェクトパラメータを求めてもよい。
【0079】
（変形例４）
図８は、変形例４に係る音処理システム１Ａの構成を示すブロック図である。図１と同じ構成については同じ符号を付し、説明を省略する。音処理システム１Ａは、第１会場３の演者および第２会場５の演者が、互いに演奏音または歌唱音に係る音信号を送信し、リモートセッションを行う。
図８は、変形例４に係る音処理システム１Ａの構成を示すブロック図である。図１と同じ構成については同じ符号を付し、説明を省略する。音処理システム１Ａは、第１会場３の演者および第２会場５の演者が、互いに演奏音または歌唱音に係る音信号を送信し、リモートセッションを行う。
【0080】
ＰＣ１２Ａは、第２会場５の演者の歌唱音に係る音信号を受信し、音量を調整してヘッドフォン２０Ａに出力する。第１会場３の演者は、ヘッドフォン２０Ａを介して第２会場５の演者の歌唱音を聴く。また、第１会場３の演者は、ＰＣ１２Ａを用いて第２会場５の演者の歌唱音の音量を調整して、当該歌唱音に合わせた演奏を行う。
【0081】
ＰＣ１２Ｂは、第１会場３の演者の演奏音に係る音信号を受信し、音量を調整してヘッドフォン２０Ｂに出力する。第２会場５の演者は、ヘッドフォン２０Ｂを介して第１会場３の演者の演奏音を聴く。また、第２会場５の演者は、ＰＣ１２Ｂを用いて第１会場３の演者の演奏音の音量を調整して、当該演奏音に合わせた演奏を行う。
【0082】
サーバ３０は、ＰＣ１２ＡおよびＰＣ１２Ｂでそれぞれ調整された音量調整パラメータを受信し、所定のモデルを訓練する。これにより、サーバ３０は、
当該バンド用に訓練した訓練済モデルを生成することができる。バンドメンバーは、次にリモートセッションを行う場合、情報処理装置を用いてサーバ３０から訓練済モデルを受信し、訓練済モデルを用いて音量調整を行う。
当該バンド用に訓練した訓練済モデルを生成することができる。バンドメンバーは、次にリモートセッションを行う場合、情報処理装置を用いてサーバ３０から訓練済モデルを受信し、訓練済モデルを用いて音量調整を行う。
【0083】
これにより、ＰＣ１２ＡおよびＰＣ１２Ｂの演者は、音量の調整操作を行う必要なく、過去に調整したより良い音量でリモートセッションを行うことができるという顧客体験を享受できる。
【0084】
なお、上記の音処理システム１Ａは、第１会場３および第２会場５でリモートセッションを行う例である。しかし、音処理システム１Ａは、さらに多数の会場で演奏音または歌唱音に係る音信号を送受信し、それぞれの演者が他の演者に合わせて演奏を行う、リモート合奏を行うこともできる。
【0085】
（変形例５）
変形例５のＰＣ１２Ｃは、複数の演者のオブジェクトの第１位置情報と、視聴者の第２位置情報とに基づいて受信した複数の音信号の音量を調整して混合する。
変形例５のＰＣ１２Ｃは、複数の演者のオブジェクトの第１位置情報と、視聴者の第２位置情報とに基づいて受信した複数の音信号の音量を調整して混合する。
【0086】
例えば、ＰＣ１２Ｃのプロセッサ１２は、仮想３次元空間Ｒ１内のユーザの視点位置５０と第１オブジェクト５１の距離、および視点位置５０と第２オブジェクト５２の距離に基づいて、第１音信号および第２音信号の音量を調整する。ＰＣ１２Ｃのプロセッサ１２は、視点位置５０との距離の近いオブジェクトに対応する音信号の音量を大きくし、視点位置５０との距離の遠いオブジェクトに対応する音信号の音量を小さくする。
【0087】
これにより、仮想３次元空間Ｒ１で仮想的に行われる演者のパフォーマンスを視聴する視聴者は、仮想３次元空間Ｒ１における自身と演者との距離感を認識しながら視聴できるという顧客体験を享受できる。
【0088】
（変形例６）
変形例６のＰＣ１２Ｃは、視点位置５０、第１オブジェクト５１の位置、および第２オブジェクト５２の位置に基づいて視点位置５０を受聴点とした音響処理を施す。視点位置５０を受聴とした音響処理とは、例えば定位処理である。
変形例６のＰＣ１２Ｃは、視点位置５０、第１オブジェクト５１の位置、および第２オブジェクト５２の位置に基づいて視点位置５０を受聴点とした音響処理を施す。視点位置５０を受聴とした音響処理とは、例えば定位処理である。
【0089】
ＰＣ１２Ｃのプロセッサ１２は、例えば、視点位置５０から見て第１オブジェクト５１および第２オブジェクト５２の位置に第１オブジェクト５１および第２オブジェクト５２の音が定位する様な定位処理を行う。
【0090】
プロセッサ１２は、例えばＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づく定位処理を行う。ＨＲＴＦは、ある仮想の音源位置から利用者の右耳および左耳に至る伝達関数を表す。例えば、図３に示す様に、第１オブジェクト５１の位置は、視点位置５０から見て前方左側である。プロセッサ１２は、第１オブジェクト５１に対応する音信号に、ユーザの前方左側の位置に定位する様なＨＲＴＦを畳み込むバイノーラル処理を行う。これにより、ＰＣ１２Ｃのユーザは、仮想３次元空間Ｒ１内の視点位置５０に居て、自身の前方左側の第１オブジェクト５１の音を聴いている様に知覚することができる。
【0091】
（変形例７）
上記実施形態では、いずれも訓練段階において、サーバ３０が多数の情報処理装置から音量調整パラメータを受信し、所定のモデルを訓練する例を示した。しかし、サーバ３０は、ある１つの情報処理装置から音量調整パラメータを受信し、所定のモデルを訓練してもよい。例えば熟練のオペレータが音量バランスの調整操作を行った場合、サーバ３０は、当該熟練のオペレータの音量調整操作を訓練した訓練済モデルを生成し、当該訓練済モデルを配信する。これにより、当該訓練済モデルは、多数の情報処理装置で共有される。他の情報処理装置は、配信された訓練済モデルを用いて音量調整を行う。
上記実施形態では、いずれも訓練段階において、サーバ３０が多数の情報処理装置から音量調整パラメータを受信し、所定のモデルを訓練する例を示した。しかし、サーバ３０は、ある１つの情報処理装置から音量調整パラメータを受信し、所定のモデルを訓練してもよい。例えば熟練のオペレータが音量バランスの調整操作を行った場合、サーバ３０は、当該熟練のオペレータの音量調整操作を訓練した訓練済モデルを生成し、当該訓練済モデルを配信する。これにより、当該訓練済モデルは、多数の情報処理装置で共有される。他の情報処理装置は、配信された訓練済モデルを用いて音量調整を行う。
【0092】
これにより、仮想３次元空間Ｒ１で仮想的に行われる演者のパフォーマンスを視聴する視聴者は、音量バランスの調整操作を行う必要なく、熟練のオペレータにより調整されたより良い音量バランスで仮想的な演奏をより簡単に視聴できるという顧客体験を享受できる。
【0093】
また、サーバ３０は、あるバンドのメンバーでリモートセッションを行う場合に、当該バンドのメンバーで調整された音量調整パラメータを受信し、所定のモデルを訓練してもよい。これにより、サーバ３０は、当該バンド用に訓練した訓練済モデルを生成することができる。バンドメンバーは、次にリモートセッションを行う場合、情報処理装置を用いてサーバ３０から訓練済モデルを受信し、訓練済モデルを用いて音量調整を行う。
【0094】
これにより、リモートセッションを行うバンドのメンバーは、音量バランスの調整操作を行う必要なく、過去に調整されたより良い音量バランスでリモートセッションを行うことができるという顧客体験を享受できる。
【0095】
なお、サーバ３０は、ある１つの情報処理装置から受信した音量調整パラメータで訓練した訓練済モデルを再訓練してもよい。サーバ３０は、当該１つの情報処理装置から再度、音量調整パラメータを受信して訓練済モデルを再訓練してもよいし、別の情報処理装置から音量調整パラメータを受信して、訓練済モデルを再訓練してもよい。
【0096】
（その他の例）
ユーザは、スライダ等の操作子ではなく、「第１演者の音量を大きくする」等の音声入力により音量調整パラメータを入力してもよい。
ユーザは、スライダ等の操作子ではなく、「第１演者の音量を大きくする」等の音声入力により音量調整パラメータを入力してもよい。
【0097】
サーバ３０を含む音処理システムの運営者は、仮想３次元空間Ｒ１内のパフォーマンスの環境を提供するとともに、訓練済モデルを販売してもよい。例えば、サーバ３０は、特定の訓練済モデルに課金処理を行い、課金確認後に訓練済モデルをダウンロードするように構成する。課金処理は、サーバ３０ではなく、別の課金用のサーバで行ってもよい。サーバ３０は、あるユーザに所定の金額を課金した後、例えばある熟練のオペレータの音量調整操作により訓練された訓練済モデルを当該ユーザにダウンロードさせる。この場合、サーバ３０は、当該熟練のオペレータに、訓練済モデルがダウンロードされる毎に報酬を支払う支払い処理を行ってもよい。この様に、サーバ３０を含む音処理システムの運営者は、オペレータにインセンティブを与えてもよい。これにより、オペレータは、自身の音量調整の技術を販売することができる。したがって、運営者は、多数のユーザに対して音処理システムを利用するモチベーションを高めることができる。
【0098】
なお、サーバ３０は、複数のオペレータの音量調整パラメータで訓練した複数の訓練済モデルを蓄積してもよい。サーバ３０は、複数の訓練済モデルのうち、視聴者から指定された任意の訓練済モデルを該視聴者の利用する情報処理装置にダウンロードさせる。この場合、サーバ３０は、ダウンロードされた訓練済モデルを訓練したオペレータに対して報酬を支払う処理を行ってもよい。これにより、運営者は、多数のオペレータに対して音処理システムを利用するモチベーションを高めることができる。
【0099】
なお、課金処理は、ダウンロード毎の課金ではなく、１ヶ月あるいは１年単位の課金（サブスクリプション）であってもよい。
【0100】
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。
【符号の説明】
【0101】
１，１Ａ ：音処理システム
３ ：第１会場
５ ：第２会場
７ ：第３会場
９ ：ネットワーク
１０ ：エレキギター
１１ ：通信部
１１Ａ ：ギターアンプ
１２ ：プロセッサ
１３ ：ＲＡＭ
１３Ａ，１３Ｂ ：モーションセンサ
１４ ：フラッシュメモリ
１５ ：表示器
１６ ：ユーザＩ／Ｆ
１７ ：オーディオＩ／Ｆ
１９ ：マイク
２０，２０Ａ，２０Ｂ ：ヘッドフォン
３０ ：サーバ
３１ ：演奏者
３２ ：歌唱者
５０ ：視点位置
５１ ：第１オブジェクト
５２ ：第２オブジェクト
７１ ：第１音量調整用インタフェース
７１Ａ ：第１エフェクト調整用インタフェース
７２ ：第２音量調整用インタフェース
７２Ａ ：第２エフェクト調整用インタフェース
３ ：第１会場
５ ：第２会場
７ ：第３会場
９ ：ネットワーク
１０ ：エレキギター
１１ ：通信部
１１Ａ ：ギターアンプ
１２ ：プロセッサ
１３ ：ＲＡＭ
１３Ａ，１３Ｂ ：モーションセンサ
１４ ：フラッシュメモリ
１５ ：表示器
１６ ：ユーザＩ／Ｆ
１７ ：オーディオＩ／Ｆ
１９ ：マイク
２０，２０Ａ，２０Ｂ ：ヘッドフォン
３０ ：サーバ
３１ ：演奏者
３２ ：歌唱者
５０ ：視点位置
５１ ：第１オブジェクト
５２ ：第２オブジェクト
７１ ：第１音量調整用インタフェース
７１Ａ ：第１エフェクト調整用インタフェース
７２ ：第２音量調整用インタフェース
７２Ａ ：第２エフェクト調整用インタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】