特開2022-20625音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022020625
(43)【公開日】2022-02-01
(54)【発明の名称】音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム
(51)【国際特許分類】
H04R 3/00 20060101AFI20220125BHJP
G10K 15/02 20060101ALI20220125BHJP
【ＦＩ】
H04R3/00 320
G10K15/02
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2021155819
(22)【出願日】2021-09-24
(62)【分割の表示】P 2021549976の分割
【原出願日】2020-07-20
(71)【出願人】
【識別番号】506042645
【氏名又は名称】株式会社ウフル
(72)【発明者】
【氏名】古城 篤
(72)【発明者】
【氏名】栗原 洋介
【テーマコード（参考）】
5D208
5D220
【Ｆターム（参考）】
5D208BA10
5D208BB01
5D208BB05
5D208BB09
5D208BD02
5D208BD03
5D220BC01
5D220BC08
(57)【要約】 （修正有）
【課題】新たな体験を提供できる音声処理システム、音声処理装置、音声処理方法及び音声処理プログラムを提供する。
【解決手段】音声処理システム１は、イベントに参加するユーザＵが発する音を検出するマイクと、イベント会場ＡＥにおけるイベントの演者Ｐの位置を表す演者位置Ｐ１と、イベント会場ＡＥにおけるユーザＵの位置を表す観客位置Ｑとの関係に基づいて、マイクが検出した音を調整する音調整部と、ユーザである第１のユーザＵａに対応するマイクに検出されて音調整部に調整された音と、第１のユーザＵａと異なるユーザである第２のユーザＵｂに対応するマイクに検出されて音調整部に調整された音とを合成する合成部と、合成部が合成した音を表すデータを出力する出力部と、を備える。
【選択図】図１
【解決手段】音声処理システム１は、イベントに参加するユーザＵが発する音を検出するマイクと、イベント会場ＡＥにおけるイベントの演者Ｐの位置を表す演者位置Ｐ１と、イベント会場ＡＥにおけるユーザＵの位置を表す観客位置Ｑとの関係に基づいて、マイクが検出した音を調整する音調整部と、ユーザである第１のユーザＵａに対応するマイクに検出されて音調整部に調整された音と、第１のユーザＵａと異なるユーザである第２のユーザＵｂに対応するマイクに検出されて音調整部に調整された音とを合成する合成部と、合成部が合成した音を表すデータを出力する出力部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
イベントに参加するユーザが発する音を検出するマイクと、
前記イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記所定領域における前記ユーザの位置を表す観客位置との関係に基づいて、前記マイクが検出した音を調整する音調整部と、
前記ユーザである第１のユーザに対応する前記マイクに検出されて前記音調整部に調整された音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記マイクに検出されて前記音調整部に調整された音とを合成する合成部と、
前記合成部が合成した音を表すデータを出力する出力部と、を備える音声処理システム。
前記イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記所定領域における前記ユーザの位置を表す観客位置との関係に基づいて、前記マイクが検出した音を調整する音調整部と、
前記ユーザである第１のユーザに対応する前記マイクに検出されて前記音調整部に調整された音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記マイクに検出されて前記音調整部に調整された音とを合成する合成部と、
前記合成部が合成した音を表すデータを出力する出力部と、を備える音声処理システム。
【請求項2】
前記ユーザからの前記イベントへの参加申請に基づいて、前記観客位置を決定する位置決定部を備える
請求項１に記載の音声処理システム。
請求項１に記載の音声処理システム。
【請求項3】
前記ユーザから提供される前記参加申請を取得する申請取得部を備え、
前記位置決定部は、前記申請取得部が取得した前記参加申請に基づいて、前記観客位置を決定する、
請求項２に記載の音声処理システム。
前記位置決定部は、前記申請取得部が取得した前記参加申請に基づいて、前記観客位置を決定する、
請求項２に記載の音声処理システム。
【請求項4】
前記第１のユーザからの前記観客位置の変更申請に基づいて、前記第１のユーザに対応する前記観客位置を変更する位置決定部を備え、
前記音調整部は、前記位置決定部が変更した前記観客位置を用いて、前記第１のユーザに対応する前記マイクが検出した音を調整する、
請求項１から請求項３のいずれか一項に記載の音声処理システム。
前記音調整部は、前記位置決定部が変更した前記観客位置を用いて、前記第１のユーザに対応する前記マイクが検出した音を調整する、
請求項１から請求項３のいずれか一項に記載の音声処理システム。
【請求項5】
前記第１のユーザが過去の前記イベントに参加した履歴に基づいて、前記過去のイベントよりも後の前記イベントに前記第１のユーザが参加する際の前記観客位置を決定する位置決定部を備える
請求項１から請求項４のいずれか一項に記載の音声処理システム。
請求項１から請求項４のいずれか一項に記載の音声処理システム。
【請求項6】
前記音調整部と、前記音調整部が調整した音のデータを送信する第１の通信部とを備える第１音声処理装置と、
前記第１の通信部が送信した前記データを受信する第２の通信部と、前記第２の通信部が受信した前記データが表す音を合成する前記合成部とを備える第２音声処理装置と、を備える
請求項１から請求項５のいずれか一項に記載の音声処理システム。
前記第１の通信部が送信した前記データを受信する第２の通信部と、前記第２の通信部が受信した前記データが表す音を合成する前記合成部とを備える第２音声処理装置と、を備える
請求項１から請求項５のいずれか一項に記載の音声処理システム。
【請求項7】
前記第２音声処理装置は、前記観客位置を決定する位置決定部を備え、
前記第２の通信部は、前記演者位置と前記位置決定部が決定した前記観客位置との関係を示す位置情報を送信し、
前記第１の通信部は、前記第２の通信部が送信した前記位置情報を受信し、
前記第１音声処理装置の前記音調整部は、前記第１の通信部が受信した前記位置情報に基づいて、前記第１音声処理装置に対応する前記マイクが検出した音を調整する、
請求項６に記載の音声処理システム。
前記第２の通信部は、前記演者位置と前記位置決定部が決定した前記観客位置との関係を示す位置情報を送信し、
前記第１の通信部は、前記第２の通信部が送信した前記位置情報を受信し、
前記第１音声処理装置の前記音調整部は、前記第１の通信部が受信した前記位置情報に基づいて、前記第１音声処理装置に対応する前記マイクが検出した音を調整する、
請求項６に記載の音声処理システム。
【請求項8】
複数のグループに分けられた複数の前記第１音声処理装置を備え、
前記合成部は、
前記複数のグループの各グループに対応して設けられ、前記各グループにおいて、前記第１音声処理装置の前記音調整部が調整した音を合成する第１の合成部と、
前記複数のグループにおいて、前記第１の合成部が合成した音を合成する第２の合成部と、を備える、
請求項６または請求項７に記載の音声処理システム。
前記合成部は、
前記複数のグループの各グループに対応して設けられ、前記各グループにおいて、前記第１音声処理装置の前記音調整部が調整した音を合成する第１の合成部と、
前記複数のグループにおいて、前記第１の合成部が合成した音を合成する第２の合成部と、を備える、
請求項６または請求項７に記載の音声処理システム。
【請求項9】
前記所定領域は、各々が前記各グループに対応する複数の部分領域に区分され、
前記各グループは、前記各グループに対応する前記部分領域に含まれる前記観客位置に対応する前記第１音声処理装置の集合を含む、
請求項８に記載の音声処理システム。
前記各グループは、前記各グループに対応する前記部分領域に含まれる前記観客位置に対応する前記第１音声処理装置の集合を含む、
請求項８に記載の音声処理システム。
【請求項10】
前記演者と前記ユーザとの一方又は双方に対するアクションを指定する情報を前記ユーザから受け付けるアクション受付部と、
前記アクション受付部が受け付けた情報に予め関連付けられた処理を実行する処理部と、を備える
請求項１から請求項９のいずれか一項に記載の音声処理システム。
前記アクション受付部が受け付けた情報に予め関連付けられた処理を実行する処理部と、を備える
請求項１から請求項９のいずれか一項に記載の音声処理システム。
【請求項11】
前記演者が発する音と、前記音調整部によって調整された音とが合成された音のデータを出力する第３出力部を備える
請求項１から請求項１０のいずれか一項に記載の音声処理システム。
請求項１から請求項１０のいずれか一項に記載の音声処理システム。
【請求項12】
前記第１のユーザは、前記所定領域の外で前記イベントを視聴し、
前記第１のユーザに対応する前記マイクは、前記第１のユーザが発する音を検出する位置に配置される、
請求項１から請求項１１のいずれか一項に記載の音声処理システム。
前記第１のユーザに対応する前記マイクは、前記第１のユーザが発する音を検出する位置に配置される、
請求項１から請求項１１のいずれか一項に記載の音声処理システム。
【請求項13】
前記演者は、前記所定領域の外でパフォーマンスを行い、
前記合成部が合成した音のデータは、前記演者へ音が届く位置に配置される音声出力装置へ提供される、
請求項１から請求項１２のいずれか一項に記載の音声処理システム。
前記合成部が合成した音のデータは、前記演者へ音が届く位置に配置される音声出力装置へ提供される、
請求項１から請求項１２のいずれか一項に記載の音声処理システム。
【請求項14】
前記音調整部は、前記マイクが検出した第１の音を、前記第１の音が前記観客位置で発せられた場合に前記演者位置に届く第２の音に近づけるように調整する、
請求項１から請求項１３のいずれか一項に記載の音声処理システム。
請求項１から請求項１３のいずれか一項に記載の音声処理システム。
【請求項15】
前記音調整部は、前記観客位置と前記演者位置との距離を用いて、前記マイクが検出した音の大きさを調整する、
請求項１から請求項１４のいずれか一項に記載の音声処理システム。
請求項１から請求項１４のいずれか一項に記載の音声処理システム。
【請求項16】
前記第１のユーザに対応する前記観客位置と、前記第２のユーザに対応する前記観客位置との関係に基づいて、前記第２のユーザに対応する前記マイクが検出した音を調整する第２音調整部と、
前記第２音調整部によって調整された音を含む音のデータを、前記第１のユーザに音を伝える音声出力装置へ出力する第２出力部と、を備える
請求項１から請求項１５のいずれか一項に記載の音声処理システム。
前記第２音調整部によって調整された音を含む音のデータを、前記第１のユーザに音を伝える音声出力装置へ出力する第２出力部と、を備える
請求項１から請求項１５のいずれか一項に記載の音声処理システム。
【請求項17】
イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記イベントに参加するユーザの前記所定領域における位置を表す観客位置との関係を示す位置情報を受信する受信部と、
前記ユーザから発せられてマイクに検出された音を、前記位置情報に基づいて調整する音調整部と、
前記音調整部が調整した音を表すデータを送信する送信部と、を備える音声処理装置。
前記ユーザから発せられてマイクに検出された音を、前記位置情報に基づいて調整する音調整部と、
前記音調整部が調整した音を表すデータを送信する送信部と、を備える音声処理装置。
【請求項18】
イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記イベントに参加するユーザの前記所定領域における位置を表す観客位置との関係を示す位置情報を送信する送信部と、
前記ユーザから発せられて前記位置情報に基づいて調整された音のデータを、前記位置情報の送信先から受信する受信部と、
前記ユーザである第１のユーザに対応する前記送信先から受信したデータが表す音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記送信先から受信したデータが表す音と、を合成する合成部と、を備える音声処理装置。
前記ユーザから発せられて前記位置情報に基づいて調整された音のデータを、前記位置情報の送信先から受信する受信部と、
前記ユーザである第１のユーザに対応する前記送信先から受信したデータが表す音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記送信先から受信したデータが表す音と、を合成する合成部と、を備える音声処理装置。
【請求項19】
イベントに参加するユーザが発する音をマイクによって検出することと、
前記イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記前記所定領域における前記ユーザの位置を表す観客位置との関係に基づいて、前記マイクが検出した音を音調整部によって調整することと、
前記ユーザである第１のユーザに対応する前記マイクに検出されて前記音調整部に調整された音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記マイクに検出されて前記音調整部に調整された音とを合成部によって合成することと、
前記合成部が合成した音を表すデータを出力することと、を含む音声処理方法。
前記イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記前記所定領域における前記ユーザの位置を表す観客位置との関係に基づいて、前記マイクが検出した音を音調整部によって調整することと、
前記ユーザである第１のユーザに対応する前記マイクに検出されて前記音調整部に調整された音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記マイクに検出されて前記音調整部に調整された音とを合成部によって合成することと、
前記合成部が合成した音を表すデータを出力することと、を含む音声処理方法。
【請求項20】
コンピュータに、
イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記イベントに参加するユーザの前記所定領域における位置を表す観客位置との関係を示す位置情報を受信することと、
前記ユーザから発せられてマイクに検出された音を、前記位置情報に基づいて調整することと、
前記調整した音を表すデータを送信することと、を実行させる音声処理プログラム。
イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記イベントに参加するユーザの前記所定領域における位置を表す観客位置との関係を示す位置情報を受信することと、
前記ユーザから発せられてマイクに検出された音を、前記位置情報に基づいて調整することと、
前記調整した音を表すデータを送信することと、を実行させる音声処理プログラム。
【請求項21】
コンピュータに、
イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記イベントに参加するユーザの前記所定領域における位置を表す観客位置との関係を示す位置情報を送信することと、
前記ユーザから発せられて前記位置情報に基づいて調整された音のデータを、前記位置情報の送信先から受信することと、
前記ユーザである第１のユーザに対応する前記送信先から受信したデータが表す音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記送信先から受信したデータが表す音とを合成することと、実行させる音声処理プログラム。
イベントが開催される所定領域における前記イベントの演者の位置を表す演者位置と、前記イベントに参加するユーザの前記所定領域における位置を表す観客位置との関係を示す位置情報を送信することと、
前記ユーザから発せられて前記位置情報に基づいて調整された音のデータを、前記位置情報の送信先から受信することと、
前記ユーザである第１のユーザに対応する前記送信先から受信したデータが表す音と、前記第１のユーザと異なる前記ユーザである第２のユーザに対応する前記送信先から受信したデータが表す音とを合成することと、実行させる音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラムに関する。
【背景技術】
【0002】
下記特許文献１には、アーティストがファンの前に姿を見せることなく、あたかもアーティストがその場で歌ったり、あるいは演奏したりしているかのような印象をファンに与えることができる技術が提案されている。音楽や芸能、スポーツ等の各種イベントのコンテンツを配信する分野において、新たな体験を提供できる技術が望まれている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－１８５０２０号公報
【発明の概要】
【0004】
本発明の第１の態様に従えば、イベントに参加するユーザが発する音を検出するマイクと、イベントが開催される所定領域におけるイベントの演者の位置を表す演者位置と、所定領域におけるユーザの位置を表す観客位置との関係に基づいて、マイクが検出した音を調整する音調整部と、ユーザである第１のユーザに対応するマイクに検出されて音調整部に調整された音と、第１のユーザと異なるユーザである第２のユーザに対応するマイクに検出されて音調整部に調整された音とを合成する合成部と、合成部が合成した音を表すデータを出力する出力部と、を備える音声処理システムが提供される。
【0005】
本発明の第２の態様に従えば、イベントが開催される所定領域におけるイベントの演者の位置を表す演者位置と、イベントに参加するユーザの所定領域における位置を表す観客位置との関係を示す位置情報を受信する受信部と、ユーザから発せられてマイクに検出された音を、位置情報に基づいて調整する音調整部と、音調整部が調整した音を表すデータを送信する送信部と、を備える音声処理装置が提供される。
【0006】
本発明の第３の態様に従えば、イベントが開催される所定領域におけるイベントの演者の位置を表す演者位置と、イベントに参加するユーザの所定領域における位置を表す観客位置との関係を示す位置情報を送信する送信部と、ユーザから発せられて位置情報に基づいて調整された音のデータを、位置情報の送信先から受信する受信部と、ユーザである第１のユーザに対応する送信先から受信したデータが表す音と、第１のユーザと異なるユーザである第２のユーザに対応する送信先から受信したデータが表す音と、を合成する合成部と、を備える音声処理装置が提供される。
【0007】
本発明の第４の態様に従えば、イベントに参加するユーザが発する音をマイクによって検出することと、イベントが開催される所定領域におけるイベントの演者の位置を表す演者位置と、所定領域におけるユーザの位置を表す観客位置との関係に基づいて、マイクが検出した音を音調整部によって調整することと、ユーザである第１のユーザに対応するマイクに検出されて音調整部に調整された音と、第１のユーザと異なるユーザである第２のユーザに対応するマイクに検出されて音調整部に調整された音とを合成部によって合成することと、合成部が合成した音を表すデータを出力することと、を含む音声処理方法が提供される。
【0008】
本発明の第５の態様に従えば、コンピュータに、イベントが開催される所定領域におけるイベントの演者の位置を表す演者位置と、イベントに参加するユーザの所定領域における位置を表す観客位置との関係を示す位置情報を受信することと、ユーザから発せられてマイクに検出された音を、位置情報に基づいて調整することと、調整した音を表すデータを送信することと、を実行させる音声処理プログラムが提供される。
【0009】
本発明の第６態様に従えば、コンピュータに、イベントが開催される所定領域におけるイベントの演者の位置を表す演者位置と、イベントに参加するユーザの所定領域における位置を表す観客位置との関係を示す位置情報を送信することと、ユーザから発せられて位置情報に基づいて調整された音のデータを、位置情報の送信先から受信することと、ユーザである第１のユーザに対応する送信先から受信したデータが表す音と、第１のユーザと異なるユーザである第２のユーザに対応する送信先から受信したデータが表す音とを合成することと、実行させる音声処プログラムが提供される。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る音声処理システムを示す図である。
【図2】第１実施形態に係る端末を設定する処理を示す図である。
【図3】第１実施形態に係る音声処理システムを示す図である。
【図4】第１実施形態に係る音声の調整方法の例を示す図である。
【図5】第１実施形態に係る音声処理方法を示す図である。
【図6】第２実施形態に係る音声処理システムを示す図である。
【図7】第２実施形態に係る音声処理方法作を示す図である。
【図8】第３実施形態に係る音声処理システムを示す図である。
【図9】第３実施形態に係るグループの例を示す図である。
【図10】第４実施形態に係る音声処理システムを示す図である。
【発明を実施するための形態】
【0011】
［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る音声処理システムを示す図である。音声処理システム１は、例えば、各種イベントにおけるコンテンツを配信するサービス（適宜、コンテンツ配信サービスという）に利用される情報処理システムである。音声処理システム１は、演者Ｐのパフォーマンスが表現されたコンテンツを、観客であるユーザＵへ配信する。音声処理システム１は、コンテンツを視聴するユーザＵの反応を、演者Ｐに伝える。演者Ｐは、複数のユーザＵの反応を意識して、後のパフォーマンスを行うことができる。複数のユーザＵは、例えば、自身の反応によって変化するパフォーマンスを視聴することができる。複数のユーザＵは、例えば、リモート環境でイベントに参加する場合であっても、臨場感を味わうことができる。このように、音声処理システム１は、各種イベントのコンテンツを配信する分野において、ユーザＵへ新たな体験を提供できる。以下の説明において適宜、任意のユーザを符号Ｕで表し、ユーザＵを区別する場合、ユーザＵａ、ユーザＵｂのように符号Ｕにアルファベットａ、ｂ、・・・を追加した符号で表す。
第１実施形態について説明する。図１は、第１実施形態に係る音声処理システムを示す図である。音声処理システム１は、例えば、各種イベントにおけるコンテンツを配信するサービス（適宜、コンテンツ配信サービスという）に利用される情報処理システムである。音声処理システム１は、演者Ｐのパフォーマンスが表現されたコンテンツを、観客であるユーザＵへ配信する。音声処理システム１は、コンテンツを視聴するユーザＵの反応を、演者Ｐに伝える。演者Ｐは、複数のユーザＵの反応を意識して、後のパフォーマンスを行うことができる。複数のユーザＵは、例えば、自身の反応によって変化するパフォーマンスを視聴することができる。複数のユーザＵは、例えば、リモート環境でイベントに参加する場合であっても、臨場感を味わうことができる。このように、音声処理システム１は、各種イベントのコンテンツを配信する分野において、ユーザＵへ新たな体験を提供できる。以下の説明において適宜、任意のユーザを符号Ｕで表し、ユーザＵを区別する場合、ユーザＵａ、ユーザＵｂのように符号Ｕにアルファベットａ、ｂ、・・・を追加した符号で表す。
【0012】
音声処理システム１が利用される各種イベントは、例えば、音楽、演劇、娯楽、スポーツ、ｅスポーツ、競技、講演、講義、演説、対談、討論、及び実演販売の少なくとも１つに関するイベントを含む。音声処理システム１は、その他のイベントに利用されてもよい。イベントは、例えば、演者Ｐのスキルを観客に披露する場である。演者Ｐは、アーティスト、演奏者、歌手、俳優、芸人、話者、又は選手と呼ばれてもよい。観客は、聴衆、又は視聴者と呼ばれてもよい。イベントは、観客の少なくとも一部が有償で参加する形態でもよいし、観客の少なくとも一部が無償で参加する形態でもよい。イベントは、実空間で開催される形態でもよいし、仮想空間（適宜、サイバー空間と称す）で開催される形態でもよく、実空間および仮想空間で並行して開催される形態でもよい。
【0013】
図１の符号ＡＥは、イベントが開催される所定領域（適宜、イベント会場ＡＥと称す）である。イベント会場ＡＥは、実空間の領域でもよいし、仮想空間の領域でもよい。イベント会場ＡＥは、実空間に存在する施設をサイバー空間に再現または拡張したものでもよい。例えば、イベントの参加者は、演者Ｐがパフォーマンスを行う会場で参加する観客と、この会場をサイバー空間に再現した会場で参加する観客とを含んでもよい。図１の符号Ｐ１は、イベント会場ＡＥにおける演者の位置を表す演者位置である。演者位置Ｐ１は、例えば、イベント会場ＡＥのステージＡＥ１に対して予め設定される位置である。例えば、演者位置Ｐ１は、ステージＡＥ１の中心でもよい。
【0014】
図１の符号ＡＰは、演者Ｐがパフォーマンスを行う領域（適宜、実演領域という）である。実演領域ＡＰは、例えば、イベント会場ＡＥの外である。実演領域ＡＰは、実空間上の任意の領域である。実演領域ＡＰは、例えばスタジオである。実演領域ＡＰは、演者Ｐの住居内の領域でもよいし、商業施設内の領域でもよく、その他の領域でもよい。実演領域ＡＰは、屋内の領域でもよいし、屋外の領域（例、公園、建物の屋上）でもよい。
【0015】
演者Ｐは、１人でもよいし、複数人でもよい。複数の演者Ｐが存在する場合、第１の演者Ｐに対応する実演領域ＡＰは、第２の演者Ｐに対応する実演領域ＡＰと異なってもよい。１つの実演領域ＡＰに複数の演者Ｐが存在する場合、演者位置Ｐ１は、演者Ｐごとに定められてもよいし、複数の演者Ｐを代表する位置に定められてもよい。複数の演者Ｐの代表位置は、例えば、複数の演者Ｐのそれぞれの位置を座標で表し、複数の演者Ｐの座標の平均（例、複数の演者の位置の重心）でもよい。
【0016】
なお、実演領域ＡＰは、イベント会場ＡＥ内の領域でもよい。例えば、実演領域ＡＰは、実空間の会場におけるステージでもよい。演者位置Ｐ１は、固定でもよいし、可変でもよい。例えば、音声処理システム１は、実演領域ＡＰにおける演者Ｐの位置と移動との一方または双方を検出するセンサを備え、センサの検出結果に基づいて演者位置Ｐ１を決定してもよい。例えば、音声処理システム１は、演者Ｐが実演領域ＡＰの中央から外側へ向かって移動した場合、演者位置Ｐ１をステージＡＥ１の中央から外側へ向かうように変更してもよい。
【0017】
図１の符号Ｑは、イベント会場ＡＥにおける観客の位置を表す観客位置である。以下の説明において適宜、任意のユーザＵの観客位置を符号Ｑで表し、観客位置を区別する場合に観客位置Ｑａ、観客位置Ｑｂのように、符号Ｑにアルファベットａ、ｂ、・・・を追加した符号で表す。観客位置Ｑａは、観客であるユーザＵａの位置を表す。観客位置Ｑｂは、ユーザＵａと異なる観客であるユーザＵｂの位置を表す。観客位置Ｑｂは、観客位置Ｑａに比べて、演者位置Ｐ１から離れた位置である。演者位置Ｐ１と観客位置Ｑａとの距離Ｌａは、演者位置Ｐ１と観客位置Ｑｂとの距離Ｌｂよりも短い。
【0018】
図１の符号ＡＵは、観客であるユーザＵがイベントのコンテンツを視聴する領域（適宜、視聴領域ＡＵという）である。視聴領域ＡＵは、実空間の任意の領域である。視聴領域ＡＵは、例えば、イベント会場ＡＥの外である。視聴領域ＡＵは、例えば、ユーザＵの住居内の領域である。視聴領域ＡＵは、ユーザＵの住居内の領域と異なる領域でもよい。視聴領域ＡＵは、カラオケボックス、映画館、劇場、飲食店（例、スポーツバー）などの施設の領域でもよい。視聴領域ＡＵは、鉄道や航空機、船舶、車両などの移動体の領域でもよい。視聴領域ＡＵは、イベント会場ＡＥ内の領域でもよい。例えば、イベント会場ＡＥがドライブインシアターであって、視聴領域ＡＵは、イベント会場ＡＥに駐車した車両内の領域でもよい。視聴領域ＡＵは、屋内でもよいし、屋外でもよい。
【0019】
以下の説明において適宜、任意の視聴領域を符号ＡＵで表し、視聴領域ＡＵを区別する場合、視聴領域ＡＵａ、視聴領域ＡＵｂのように、符号ＡＵにアルファベットａ、ｂ、・・・を追加した符号で表す。例えば、視聴領域ＡＵａは、ユーザＵａがコンテンツを視聴する領域であり、視聴領域ＡＵｂは、ユーザＵｂがコンテンツを視聴する領域である。１つの視聴領域ＡＵに存在する視聴者の数は、ユーザＵのみの１人でもよいし、ユーザＵを含む複数人でもよい。
【0020】
音声処理システム１は、処理装置２と、端末３と、カメラ４と、マイク５と、スピーカ６とを備える。カメラ４、マイク５、及びスピーカ６は、実演領域ＡＰに配置される。カメラ４、マイク５、及びスピーカ６は、処理装置２と接続される。例えば、カメラ４、マイク５、及びスピーカ６は、通信部を備える情報処理装置（例、コンピュータ）と有線または無線で接続さる。この情報処理装置は、例えばインターネット回線を介して、処理装置２と通信可能に接続される。端末３は、視聴領域ＡＵに配置される。端末３は、例えばインターネット回線を介して、処理装置２と通信可能に接続される。
【0021】
カメラ４は、実演領域ＡＰでパフォーマンスを行う演者Ｐを撮影する。マイク５は、実演領域ＡＰでパフォーマンスを行う演者Ｐが発する音声を検出する。演者Ｐが発する音声は、例えば、演者Ｐが身体から発する音（例、声、手拍子）と、演者Ｐが道具（例、楽器）によって発する音との一方または双方を含む。カメラ４により撮影された映像のデータ、及びマイク５により検出された音声のデータは、処理装置２に提供される。スピーカ６は、演者Ｐに対して音声を出力する。スピーカ６は、処理装置２から提供される音声のデータに基づいて、音声を出力する。処理装置２は、実演領域ＡＰに設置された装置（例、カメラ４、マイク５）から提供されるデータ（例、映像のデータ、音声のデータ）を用いて、コンテンツを生成する。処理装置２は、生成したコンテンツのデータを、例えばインターネット回線を介して提供する。
【0022】
なお、音声処理システム１は、カメラ４と、マイク５と、スピーカ６との少なくとも１つを備えなくてもよい。例えば、カメラ４と、マイク５と、スピーカ６との少なくとも１つは、音声処理システム１の外部の装置でもよい。音声処理システム１は、上記外部の装置を利用する形態でもよい。実施形態に係るカメラは、撮像装置と呼ばれてもよい。実施形態に係るマイクは、音声検出装置と呼ばれてもよい。実施形態に係るスピーカは、音声出力装置と呼ばれてもよい。
【0023】
端末３は、例えば、視聴領域ＡＵごとに配置される。以下の説明において適宜、視聴領域ＡＵに配置される端末３を区別する場合、端末３ａ、端末３ｂのようにアルファベットを追加した符号で表す。例えば、端末３ａは、視聴領域ＡＵａに配置される端末であり、端末３ｂは、視聴領域ＡＵｂに配置される端末である。端末３ｂは、例えば、端末３ａと同様の処理を実行する。以下の説明において適宜、端末３ｂにおいて端末３ａと同様の構成については端末３ａと同じ符号を付け、端末３ｂについて端末３ａと重複する説明を省略あるいは簡略化する。
【0024】
端末３は、処理装置２が提供するコンテンツのデータを、例えばインターネット回線を介して取得する。端末３は、取得したデータを用いて、ユーザにコンテンツを提供する。また、端末３は、ユーザが発する音を検出する。ユーザが発する音は、例えば、ユーザが身体から発する音（例、声、手拍子）と、ユーザが道具（例、鳴り物）によって発する音との一方または双方を含む。以下の説明において適宜、ユーザが発する音を観客音という。端末３は、演者位置Ｐ１と自装置に関連付けられた観客位置Ｑとの関係に基づいて、観客音を調整する。例えば、端末３は、演者位置Ｐ１と観客位置Ｑとの距離が長いほど観客音の音量が小さくなるように、観客音を調整する。端末３は、調整した観客音のデータを、例えばインターネット回線を介して提供する。
【0025】
処理装置２は、複数の端末３から供給される観客音を合成し、合成した観客音のデータを提供する。実演領域ＡＰにおいて、スピーカ６は、処理装置２から供給される観客音のデータに基づいて、観客音を演者Ｐへ出力する。スピーカ６から出力される観客音Ｒは、例えば、ユーザＵａからの観客音に由来する成分Ｒａと、ユーザＵｂからの観客音に由来する成分Ｒｂとを含む。ユーザＵａに対応する観客位置Ｑａは、ユーザＵｂに対応する観客位置Ｑｂに比べて演者位置Ｐ１に近く、ユーザＵａの観客音に由来する成分Ｒａは、ユーザＵｂの観客音に由来する成分Ｒｂに比べて音量が大きい。
【0026】
スピーカ６から出力される観客音は、観客位置Ｑに基づいて調整された成分を含むので、例えば演者へライブ感を伝えることに寄与する。演者Ｐは、例えば、ライブ感がある観客音を聞くことで、複数のユーザＵの反応に応えるようにパフォーマンスを行うことができる。その結果、複数のユーザＵは、例えばライブ感のあるパフォーマンスのコンテンツを楽しむことができる。
【0027】
本実施形態において、ユーザＵは、イベントの開催前にイベント参加の申し込み（適宜、参加申請という）を行う。ここでは、参加申請の申請先は、イベント開催者であるとする。イベント開催者は、ユーザＵの参加を受け入れる場合、ユーザＵ向けに端末３を設定する。例えば、イベント開催者は、図１で説明したサービスの提供に用いる各種情報（例、データ、プログラム）を端末３に記憶させる。イベント開催者は、設定された端末３をユーザＵに提供する。ユーザＵは、イベント開催者から提供された端末３を利用して、イベントに参加してンテンツを視聴しつつ、反応を演者Ｐに伝えることができる。このように、本実施形態に係る端末３は、イベントへ参加する権利を示すチケットを兼ねる。
【0028】
図２は、第１実施形態に係る端末を設定する処理を示す図である。ユーザＵａは、イベントの開催に先立ち、イベントへの参加を申請する。ユーザＵａは、例えば、コンビニエンスストア等の店舗に設置される端末（適宜、予約端末７という）を操作し、参加申請に関する情報（適宜、エントリー情報という）を入力する。エントリー情報は、例えば、ユーザＵａを特定する情報と、ユーザＵａが参加を希望するイベントを特定する情報と、ユーザＵａが希望するイベント会場ＡＥの席の情報とを含む。
【0029】
ユーザを特定する情報は、例えば、ユーザの氏名や識別情報などである。以下の説明において適宜、ユーザを特定する情報を、ユーザＩＤという。イベントを特定する情報は、例えば、各イベントに割り付けられた識別情報（例、番号）やイベントの名称などである。以下の説明において適宜、イベントを特定する情報をイベントＩＤという。席の情報は、例えば、席のランク（Ｓ席、Ａ席）を指定する情報と、席の条件（例、二階席、アリーナ、通路側）を指定する情報と、席の番号を指定する情報との少なくとも１つを含む。
【0030】
予約端末７に入力されたエントリー情報は、申請先の端末（適宜、受付端末８という）へ提供される。例えば、予約端末７は、インターネット回線に接続され、エントリー情報を送信する。受付端末８は、予約端末７が送信したエントリー情報を受信する。
【0031】
受付端末８は、例えば、ユーザ情報を管理するサーバである。受付端末８は、記憶部１１と、通信部１２とを備える。通信部１２は、予約端末７と通信可能に接続され、予約端末７が送信したエントリー情報を受信する。受付端末８は、ユーザから提供される参加申請を取得する申請取得部を含む。受付端末８は、受信したエントリー情報に基づいて、ユーザＵａのイベント会場ＡＥにおける席を決定する。受付端末８は、例えば、抽選によって席を決定する。受付端末８は、抽選と異なる方法で席を決定してもよいし、抽選とその他の方法とを組み合わせた方法で席を決定してもよい。例えば、受付端末８は、エントリー情報を受信した順に、エントリー情報に対応するユーザＵに席を割り当ててもよいし、エントリー情報に示される席の情報に基づいて席を決定してもよい。
【0032】
受付端末８の記憶部１１は、ユーザ情報Ｄ１を記憶する。ユーザ情報Ｄ１は、例えば、ユーザＩＤと、ユーザＵａの席として決定された席を特定する識別情報と含む。以下の説明において適宜、席を特定する識別情報を席ＩＤという。ユーザ情報Ｄ１は、例えば、複数のユーザＵのそれぞれについて、ユーザＩＤと席ＩＤとを関連付けたテーブルデータを含む。ユーザ情報Ｄ１は、ユーザＩＤおよび席ＩＤと異なる情報を含んでもよい。例えば、ユーザ情報Ｄ１は、ユーザＵａが過去に参加したイベントの履歴を含んでもよい。ユーザ情報Ｄ１は、各ユーザＵの年齢、性別、及びその他の属性情報の少なくとも１つを含んでもよい。記憶部１１が記憶するユーザ情報Ｄ１の少なくとも一部は、処理装置２へ提供される。
【0033】
受付端末８は、第１のユーザが過去のイベントに参加した履歴に基づいて、過去のイベントよりも後のイベントに第１のユーザが参加する際の座席を決定してもよい。例えば、記憶部１１に記憶されるユーザ情報Ｄ１は、各ユーザが過去のイベントに参加した履歴（適宜、参加履歴という）を含む。受付端末８は、例えば、ユーザ情報Ｄ１に含まれる参加履歴を用いて、第１のユーザの今回の参加申請に対する席を決定する。例えば、実施形態に係るコンテンツ配信サービスのおいて、ユーザには、イベントに参加した回数に応じた属性（例、ランク）が付与される。例えば、ユーザのランク（例、シルバー、ゴールド、プラチナ）は、イベントの参加回数が増えるにつれて高くなる。受付端末８は、ユーザのランクが高いほど、今回のイベントにおける第１のユーザの席として、優遇された席を決定してもよい。優遇された席は、例えば、図1に示したイベント会場ＡＥにおいて相対的にステージＡＥ１に近い席である。ユーザのランクは、参加回数以外のパラメータにより決定されてもよく、例えば、イベントの参加に費やした金額に応じて決定されてもよい。ユーザのランクは、１つのパラメータによって決定されてもよいし、複数のパラメータによって決定されてもよく、抽選等によってランダムに決定されてもよい。
【0034】
処理装置２は、ユーザＵａの参加申請に基づいて、ユーザＵａの観客位置Ｑを決定する。処理装置２は、処理部２１と、記憶部２２と、通信部２３とを備える。通信部２３は、受付端末８と通信可能に接続される。通信部２３は、受付端末８が送信したユーザ情報を受信する。記憶部２２は、イベント会場ＡＥの演者位置Ｐ１（図１参照）の情報Ｄ２を記憶する。記憶部２２が記憶する演者位置Ｐ１の情報Ｄ２は、例えばサイバー空間における座標である。
【0035】
処理部２１は、位置決定部２４を含む。位置決定部２４は、ユーザからのイベントへの参加申請に基づいて、イベントが開催される所定領域（例、図１のイベント会場ＡＥ）におけるユーザの位置を表す観客位置Ｑを決定する。位置決定部２４は、例えば、申請取得部である受付端末８が取得した参加申請に基づいて、観客位置Ｑを決定する。例えば、位置決定部２４は、参加申請に基づいて決定される座席ＩＤに対応するサイバー空間上の座標を導出し、導出した座標を観客位置Ｑとして決定する。位置決定部２４は、座席ＩＤに対応する、演者位置Ｐ１と同じ座標系における座標を導出する。例えば、記憶部２２は、座席ＩＤと観客位置Ｑとを関連付けたマップデータを記憶する。位置決定部２４は、通信部２３が受信したユーザ情報に含まれる座席ＩＤを取得し、この座席ＩＤを上記マップデータと照合して観客位置Ｑを決定する。位置決定部２４は、例えば複数のユーザＵのそれぞれの観客位置Ｑを決定することによって、複数の観客位置Ｑの相対的な位置を決定する。
【0036】
位置決定部２４は、第１のユーザ（例、ユーザＵａ）が過去のイベントに参加した履歴に基づいて、過去のイベントよりも後のイベントに第１のユーザが参加する際の観客位置Ｑを決定してもよい。例えば、位置決定部２４は、受付端末８がユーザＵａの参加履歴に基づいて決定した今回のイベントにおけるユーザＵａの席に基づいて、この席に対応する観客位置Ｑを決定してもよい。
【0037】
処理部２１は、演者位置Ｐ１と、位置決定部２４が決定した観客位置Ｑとの関係を示す位置情報を生成する。位置情報は、例えば、演者位置Ｐ１と観客位置Ｑとの距離（例、図１の距離Ｌａ）を含む。位置情報は、演者位置Ｐ１から観客位置Ｑまでの距離と異なる情報を含んでもよい。例えば、位置情報は、演者位置Ｐ１と、観客位置Ｑとを一組にした情報を含んでもよい。位置情報は、演者位置Ｐ１と観客位置Ｑとを結ぶ方向の情報（例、ベクトル）を含んでもよい。位置情報は、演者位置Ｐ１と観客位置Ｑとの間の空間の情報（例、観客位置Ｑから演者位置Ｐ１へ向かう音の減衰のレベルを示す情報、障害物の有無）を含んでもよい。位置情報は、演者位置Ｐ１と観客位置Ｑとの距離、演者位置Ｐ１と観客位置Ｑとを一組にした情報、演者位置Ｐ１と観客位置Ｑとを結ぶ方向の情報、及び演者位置Ｐ１と観客位置Ｑとの間の空間の情報の少なくとも１つを含まなくてもよく、これら情報のいずれとも異なる情報を含んでもよい。
【0038】
処理装置２が生成した位置情報は、端末３ａに供給される。端末３は、記憶部３１と、通信部３２とを備える。通信部３２は、例えば、処理装置２の通信部２３と通信可能に接続される。通信部３２は、処理装置２の通信部２３が送信した位置情報を受信する。端末３は、通信部２３が受信した位置情報を、記憶部３１に記憶させる。端末３ａは、図１に示した演者位置Ｐ１と、ユーザＵａの参加申請に基づいて決定される観客位置Ｑａとの関係を示す位置情報Ｄ３ａを記憶する。端末３ａは、例えば郵送などによってユーザＵａに提供され、ユーザＵａがイベントに参加する際に利用される。
【0039】
端末３ｂは、端末３ａと同様の構成である。端末３ｂは、図１に示した演者位置Ｐ１と、ユーザＵｂの参加申請に基づいて決定される観客位置Ｑｂとの関係を示す位置情報Ｄ３ｂを記憶する。端末３ｂは、例えば宅配便などによってユーザＵｂに届けられ、ユーザＵｂがイベントに参加する際に利用される。以下の説明において適宜、任意のユーザＵに対応する観客位置Ｑと演者位置Ｐ１との関係を示す位置情報を符号Ｄ３で表す。
【0040】
なお、予約端末７は、音声処理システム１の一部でもよいし、音声処理システム１の外部の装置でもよい。予約端末７は、ユーザＵａが保有するスマートフォンやパーソナルコンピュータ等の端末でもよい。ユーザＵｂからのエントリー情報を受け付ける予約端末７は、ユーザＵａからのエントリー情報を受け付ける予約端末７と同じ装置でもよいし、異なる装置でもよい。エントリー情報の少なくとも一部を予約端末７へ入力する処理は、ユーザＵａと異なる者が実行してもよい。例えば、ユーザＵａは、参加申請を店舗または電話で受付担当者へ伝え、受付担当者が予約端末７にエントリー情報を入力してもよい。参加申請の申請先は、イベント開催者でなくてもよい。例えば、参加申請の申請先は、イベント開催者から委託された受託者でもよいし、イベントに関するコンテンツの配信者でもよく、イベントの管理者でもよい。
【0041】
なお、ユーザＵａの席を決定する処理は、申請先の担当者によって手動で実行されてもよい。例えば、ユーザＵａは、参加申請が記入された申込用紙を申請先へ郵送し、申請先の担当者は、申込用紙に記載された情報に基づいてユーザＵａの席を決定してもよい。申請先の担当者は、ユーザＵａの席として決定された席ＩＤをユーザＩＤとを関連付けて、受付端末８に入力してもよい。受付端末８または上記担当者は、イベントに参加する権利（適宜、参加権という）をユーザＵａへ付与するか否かを決定し、その後に、ユーザＵａの席を決定してもよい。例えば、定員を超える人数のユーザＵから参加申請があった場合、又は参加申請があると予測される場合、受付端末８は、抽選によって参加権を付与するか否かを決定してもよい。
【0042】
なお、受付端末８は、音声処理システム１の一部でもよいし、音声処理システム１の外部の装置でもよい。例えば、処理装置２は、受付端末８を備えてもよい。受付端末８は、予約端末７を兼ねてもよい。処理装置２の機能は、複数の装置に分かれて実現されてもよく、これら複数の装置は、包括して処理システムと称されてもよい。
【0043】
なお、端末３に位置情報を記憶させる方法は、有線又は無線による通信を用いない方法でもよい。例えば、位置情報は、ＵＳＢメモリ等の記録媒体を介して端末３に記憶されてもよい。端末３は、ユーザＵに届けられる前に、位置情報を予め記憶しなくてもよい。例えば、処理装置２は、端末３に関連付けられる宛先を記憶し、ユーザＵが端末３を受け取った後に、この宛先へ位置情報を送信してもよい。処理装置２は、上記宛先へ位置情報を送信することで、端末３に記憶される位置情報を更新させてもよい。
【0044】
図３は、第１実施形態に係る音声処理システムを示す図である。こでは、ユーザからの音を演者へ伝える際の音声処理システム１の各部の動作を説明する。処理装置２は、例えば、サーバコンピュータ等の情報処理装置を含む。処理装置２は、音声処理システム１の各部を管理する。処理装置２は、処理部２１と、通信部２３と、入力部２５と、出力部２６とを備える。処理装置２には、カメラ４と、マイク５と、スピーカ６とが接続されている。
【0045】
入力部２５は、処理装置２の外部から信号が入力されるインターフェスを含む。入力部２５には、カメラ４およびマイク５が接続される。処理装置２には、カメラ４によって撮影された映像のデータ、及びマイク５によって収集された音声のデータが入力される。出力部２６は、処理装置２の外部へ信号を出力するインターフェースを含む。出力部２６には、スピーカ６が接続される。カメラ４、マイク５、及びスピーカ６の少なくとも１つは、音声処理システム１の一部でもよいし、処理装置２の一部でもよい。カメラ４、マイク５、及びスピーカ６の少なくとも１つは、音声処理システム１の外部の装置でもよく、例えば図１に示した実演領域ＡＰの設備でもよい。
【0046】
処理部２１は、合成部２７と、コンテンツ生成部２８とを備える。コンテンツ生成部２８は、入力部２５に入力されるデータを用いて、コンテンツを生成する。コンテンツ生成部２８は、例えば、演者Ｐのパフォーマンスが映像および音声で表現されたコンテンツを生成する。例えば、コンテンツ生成部２８は、カメラ４から入力部２５に入力される映像のデータと、マイク５から入力部２５に入力される音声のデータを用いて、ユーザＵに配信されるコンテンツを生成する。コンテンツ生成部２８は、例えば、映像と音声との同期をとり、コンテンツとしてストリーミング動画を生成する。コンテンツ生成部２８は、映像処理、各種音響処理、フィルタリング、及び圧縮処理の少なくとも1つを実行してコンテンツを生成してもよい。通信部２３は、コンテンツ生成部２８が生成したコンテンツのデータを送信する。
【0047】
端末３ａは、記憶部３１と、通信部３２と、処理部３３とを備える。通信部３２は、処理装置２の通信部２３と通信可能に接続される。通信部３２は、通信部２３が送信したコンテンツのデータを受信する。端末３ａには、マイク４１と、スピーカ４２と、表示装置４３とが接続される。マイク４１およびスピーカ４２は、ヘッドセットでもよい。表示装置４３は、テレビジョンセット、ＰＣモニター、プロジェクター等の画像を表示する装置である。
【0048】
端末３ａの処理部３３は、通信部３２が受信したコンテンツのデータに基づいて、コンテンツの音声をスピーカ４２に出力させる。端末３ａの処理部３３は、通信部３２が受信したコンテンツのデータに基づいて、コンテンツの映像を表示装置４３に表示させる。ユーザＵａは、スピーカ４２から出力される音声、及び表示装置４３に表示される映像によって、演者Ｐのパフォーマンスを表現したコンテンツを視聴できる。マイク４１は、イベントの演者Ｐを視聴するユーザが発する音を検出する。例えば、マイク４１は、コンテンツを視聴するユーザＵａの歓声や拍手を検出する。マイク４１が検出した観客音のデータは、端末３ａに出力される。端末３ａの処理部３３は、音調整部３４を含む。音調整部３４は、マイク４１が検出した音を、演者位置Ｐ１と観客位置Ｑａとの関係に基づいて調整する。
【0049】
図４は、第１実施形態に係る音声の調整方法の例を示す図である。図４の符号Ｄ５は、音調整部３４に入力される音声のデータであり、符号Ｄ６は音調整部３４から出力される音声のデータである。データＤ５およびデータＤ６のそれぞれにおいて、横軸は周波数であり、縦軸は振幅である。周波数は音の高さに対応し、振幅は音量に対応する。符号Ｄ７は、データＤ５をデータＤ６へ変換することに利用される関数（例、フィルタ）である。関数Ｄ７は、距離とゲインとの関係を示す関数である。ゲインは、距離に対する音の減衰率に相当する。本例において、音調整部３４は、図１に示した観客位置Ｑａと演者位置Ｐ１との距離Ｌａを用いて、マイク４１が検出した音の大きさを調整する。ここでは、ゲインは、可聴音の周波数帯（例、２０Ｈｚ以上２０ｋＨｚ以下）において一定であるとする。
【0050】
ゲインは、距離に対して一意に定まる値である。例えば、図１に示した距離Ｌａに対して、ゲインはＧ１と定まる。音調整部３４は、ユーザＵａの観客音を表すデータＤ５の振幅にゲインＧ１を作用させることで、データＤ６を生成する。音調整部３４は、例えば、マイク４１が検出した第１の音を、第１の音が観客位置Ｑで発せられた場合に演者位置Ｐ１に届く第２の音に近づけるように調整する。マイク４１とユーザＵａとの距離は、例えば、図１に示した視聴領域ＡＵａの種類（例、自宅、映画館）、コンテンツの視聴に利用される装置の種類（例、スマートフォン、パソコン、テレビジョンセット）、装置の配置などによって概ね定まる。
【0051】
ここで、図１に示した演者位置Ｐ１と観客位置Ｑａとの距離Ｌａは、例えば２０メールであるとする。端末３ａがユーザＵａの自宅の居間に配置され、テレビジョンセットに接続されるものとし、マイク４１とユーザＵａとの距離が２メートルであるとする。この場合、演者位置Ｐ１と観客位置Ｑａとの距離Ｌａ（例２０メートル）は、マイク４１とユーザＵａとの距離（例、２メートル）よりも長い。音調整部３４は、例えばユーザＵａから２メートル離れたマイク４１によって検出された観客音が、観客位置Ｑａで発せられた場合に観客位置Ｑａから２０メートル離れた演者位置Ｐ１で聞こえる音へ近づくように、音量を調整する。例えば、データＤ６は、観客音が観客位置Ｑａで発せられた場合に演者位置Ｐ１で聞こえる観客音のデータに相当する。図４の例では、距離Ｌａに対応するゲインＧ１が１未満であり、データＤ６は、データＤ５に比べて振幅が減少する。データＤ６が表す音声は、データＤ５が表す音声に比べて音量が小さく、観客音が観客位置Ｑａで発せられた場合に演者位置Ｐ１で聞こえる観客音を表すデータに相当する。
【0052】
なお、音調整部３４は、周波数に対する振幅を表す波形を調整してもよい。例えば、音調整部３４は、周波数帯によって異なるゲインを用いて、観客音を調整してもよい。例えば、音調整部３４は、観客音のうち相対的に高音域の成分を、相対的に低音域の成分よりも減衰させてもよい。音調整部３４は、観客音を減衰させなくてもよく、観客音を増幅してもよい。音調整部３４は、マイク４１によって検出された観客音を、この観客音が観客位置Ｑで発せられた場合に演者位置Ｐ１に届く観客音に比べて音量が大きくなるように、調整してもよい。音調整部３４は、マイク４１によって検出された観客音が所定値を超える音量である場合に所定値を超える音量をカットし、音量がカットされた観客音を、観客位置Ｑと演者位置Ｐ１との関係に基づいて調整してもよい。音調整部３４は、調整された観客音の音量が所定値を超えないように、観客音を調整してもよい。
【0053】
音調整部３４は、マイク４１の位置とユーザＵの位置との関係を表す情報と、観客位置Ｑと演者位置Ｐ１との関係を表す情報とを用いて、観客音を調整してもよい。マイク４１の位置とユーザＵの位置との関係を表す情報は、例えば、マイク４１とユーザＵａとの距離である。音調整部３４は、マイク４１とユーザＵａとの距離として、センサーにより検出される値を用いてもよい。音調整部３４は、マイク４１とユーザＵａとの距離として、予め定められた値を用いてもよい。マイク４１とユーザＵａとの距離は、例えば、音声処理システム１により提供されるサービスの利用規約に定められる範囲内の値（例、推奨値）でもよい。
【0054】
図３の説明に戻り、本実施形態に係る音調整部３４は、記憶部３１に記憶された位置情報Ｄ３ａを用いて、観客音を調整する。位置情報Ｄ３ａは、例えば、図１に示した観客位置Ｑａと演者位置Ｐ１との距離Ｌａを含む。音調整部３４は、例えば、図４に示した関数Ｄ７を用いて、距離Ｌａに対するゲインＧ１を取得する。例えば関数Ｄ７は記憶部３１に記憶され、音調整部３４は、記憶部３１から関数Ｄ７および位置情報Ｄ３ａ（例、距離Ｌａ）を読出し、ゲインＧ１を導出する。音調整部３４は、マイク４１が検出した観客音を示すデータＤ５（図４参照）に対して、導出したゲインＧ１を作用させることで、データＤ６（図４参照）を生成する。以下の説明において適宜、音調整部３４によって調整された観客音を調整後の観客音という。データＤ６は、調整後の観客音を表すデータである。
【0055】
なお、位置情報Ｄ３ａは、例えばサイバー空間上の座標で表された観客位置Ｑａと演者位置Ｐ１とを一組にした情報を含んでもよい。この場合、音調整部３４は、観客位置Ｑａと演者位置Ｐ１とを用いて、観客位置Ｑａと演者位置Ｐ１との距離Ｌａを算出してもよい。関数Ｄ７は、端末３の外部に記憶されてもよく、音調整部３４は、関数Ｄ７を表す情報を、端末３の外部から通信部３２を介して取得してもよい。関数Ｄ７は、数式で表されてもよいし、テーブルデータで表されてもよい。位置情報Ｄ３ａは、観客位置Ｑａから演者位置Ｐ１へ伝わる音の変化を表す情報（例、ゲインＧ１）を含んでもよい。この場合、音調整部３４は、図４に示した関数Ｄ７を用いないで観客音を調整してもよい。
【0056】
端末３は、調整後の観客音のデータを端末３の外部へ提供する。例えば、端末３の処理部３３は、通信部３２を制御し、調整後の観客音のデータを送信させる。処理装置２は、端末３が提供した調整後の観客音のデータを取得する。例えば、処理装置２の通信部２３は、端末３の通信部３２が送信した調整後の観客音のデータを受信する。処理装置２は、ユーザＵａに対応する端末３ａから、ユーザＵａの調整後の観客音のデータを取得する。処理装置２は、ユーザＵｂに対応する端末３ｂから、ユーザＵｂの調整後の観客音のデータを取得する。
【0057】
合成部２７は、ユーザＵａに対応するマイク４１に検出されて端末３ａの音調整部３４に調整された観客音と、ユーザＵｂに対応するマイク４１に検出されて端末３ｂの音調整部３４に調整された観客音とを合成する。合成部２７は、端末３ａから取得した観客音のデータと、端末３ｂから取得した観客音のデータとを重畳し、合成された観客音を表すデータを生成する。以下の説明において適宜、合成部２７が合成した調整後の観客音を、合成後の観客音という。
【0058】
出力部２６は、合成部２７が合成した観客音を表すデータを出力する。例えば、出力部２６は観客音のデジタルデータを出力し、このデジタルデータはアンプによってアナログデータ（例、音声信号）へＤＡ変換されて、スピーカ６に入力される。スピーカ６は、アナログデータを振動へ変換して、合成後の観客音を出力する。上記アンプは、処理装置２が備えてもよいし、スピーカ６が備えてもよく、処理装置２とスピーカ６との間に接続される装置が備えてもよい。処理装置２が外部へ提供する合成後の観客音のデータは、デジタルデータでもよいし、アナログデータ（例、音声信号）でもよい。処理装置２は、通信部２３から通信によって観客音のデータを出力してもよい。この場合、通信部２３は、合成部２７が合成した音を表すデータを出力する出力部であってもよい。
【0059】
演者Ｐは、例えば、スピーカ６から出力された観客音を聞きながらパフォーマンスをすることができる。マイク５は、例えば、スピーカ６による観客音の出力と同期して、音を検出する。マイク５は、スピーカ６から出力される観客音と、演者Ｐが発する音とを合わせて検出する。カメラ４は、例えば、スピーカ６から観客音が出力されるタイミングに対して所定のタイミングで音を検出する。カメラ４は、マイク５による音の検出と同期して、演者Ｐを撮影する。スピーカ６から音が出力されるタイミングと、マイク４１が音を検出するタイミングと、カメラ４が演者Ｐを撮影するタイミングとのうち、少なくとも２つのタイミングは、処理装置２またはその他の装置によって制御されてもよい。
【0060】
処理装置２は、マイク５によって検出された音声、及びカメラ４によって撮影された映像を取得する。コンテンツ生成部２８は、マイク５によって検出された音声、及びカメラ４によって撮影された映像を用いてコンテンツのデータを生成する。処理装置２は、コンテンツ生成部２８が生成したコンテンツを配信する。例えば、通信部２３は、コンテンツ生成部２８が生成したコンテンツのデータを送信する。コンテンツ生成部２８が生成したコンテンツに含まれる音は、スピーカ６から出力された合成後の観客音と、演者Ｐが発した音とを含む。ユーザＵは、例えば、合成された観客音と演者Ｐが発する音とを含む音を聞きながら、演者Ｐの映像を視聴することができる。このように、通信部２３は、演者Ｐが発する音と、音調整部３４によって調整された音とが合成された音のデータを出力する出力部でもよい。
【0061】
なお、マイク５は、スピーカ６から出力される観客音を検出しなくてもよい。例えば、スピーカ６は、イヤホンやヘッドフォンでもよい。マイク５およびスピーカ６は、ヘッドセットでもよい。この場合、処理装置２のコンテンツ生成部２８は、マイク５が検出した音声（例、演者Ｐが発する音）と、合成部２７が合成した観客音とを合成して、コンテンツを生成してもよい。処理装置２が配信するコンテンツは、合成後の観客音を含まなくてもよい。この場合においても、演者Ｐは、例えば合成後の観客音に応じたパフォーマンスをすることができ、ユーザは、例えば観客に反応する演者Ｐのパフォーマンスを視聴することで、臨場感を味わうことができる。
【0062】
なお、コンテンツ生成部２８は、図３において合成部２７と同じ装置に設けられるが、合成部２７と別の装置に設けられてもよい。例えば、合成部２７は、複数の端末３から提供される観客音のデータを処理する第１のストリーミングサーバに設けられてもよい。コンテンツ生成部２８は、実演領域ＡＰに配置される装置（例、カメラ４、マイク５）から提供されるデータを処理する第２のストリーミングサーバに設けられてもよい。
【0063】
なお、端末３は、イベントの終了後にユーザからイベント開催者へ返還されてもよいし、返還されなくてもよい。端末３は、今回のイベント以降のイベントにおいて再利用されてもよい。例えば、ユーザＵａは、第１イベントの後の第２イベントへの参加申請を行う。処理装置２は、第２イベントへの参加申請に基づいて第２イベントにおける観客位置Ｑａを決定する。処理装置２は、第２イベントにおける観客位置Ｑａに対応する位置情報Ｄ３ａを端末３ａへ提供する。端末３ａの音調整部３４は、第２イベントに対応する位置情報Ｄ３ａを用いて、マイク４１が検出した観客音を調整してもよい。
【0064】
なお、図１から図３等では、ユーザＵとして、ユーザＵａおよびユーザＵｂの２人を代表的に示されている。ユーザＵの数は、図１から図３等では２人であるが、任意の数である。例えば、ユーザＵの数は、１００人でもよいし、１万人でもよく、１万人でもよい。
【0065】
次に、上述の音声処理システム１の構成に基づき、実施形態に係る音声処理方法について説明する。図５は、第１実施形態に係る音声処理方法を示す図である。音声処理システム１の構成については適宜、図１から図３を参照する。図５に示す各処理は、例えばイベントの開催中に音声処理システム１の各部によって実行される。図２を参照して説明したように、イベントの開催前に、位置決定部２４はユーザＵの参加申請に基づいて観客位置Ｑを決定し、観客位置Ｑに対応する位置情報を記憶した端末３がユーザに届けられる。
【0066】
図５において、第１ユーザは図１から図３のユーザＵａに相当し、第１ユーザ端末は、ユーザＵａに対応する端末３ａに相当する。第２ユーザは図１から図３のユーザＵｂに相当し、第２ユーザ端末は、ユーザＵｂに対応する端末３ｂに相当する。
【0067】
処理装置は、ステップＳ１においてコンテンツを送信する。例えば、図３の処理装置２の通信部２３は、コンテンツのデータを送信する。第１ユーザ端末は、処理装置が送信したコンテンツのデータを受信する。第１ユーザ端末は、受信したコンテンツのデータに基づいて、コンテンツを再生する。第１ユーザ端末は、ステップＳ２において、第１ユーザからの観客音を検出する。第１ユーザ端末は、ステップＳ３において、観客音を位置情報を用いて調整する。例えば、図３の端末３ａの音調整部３４は、記憶部３１に記憶された位置情報Ｄ３ａを用いて、ステップＳ２において検出された観客音を調整する。第１ユーザ端末は、ステップＳ４において調整後の観客音のデータを送信する。例えば、図３の端末３ａの通信部３２は、調整後の観客音のデータを送信する。処理装置は、第１ユーザ端末がステップＳ４において送信した調整後の観客音のデータを受信する。
【0068】
ステップＳ５からステップＳ７の処理は、ステップＳ２からステップＳ４の処理と同様である。第２ユーザ端末は、ステップＳ１において処理装置が送信したコンテンツのデータを受信する。第２ユーザ端末は、ステップＳ５において、第２ユーザからの観客音を検出する。第２ユーザ端末は、ステップＳ６において、観客音を、位置情報を用いて調整する。第２ユーザ端末は、ステップＳ７において調整後の観客音のデータを送信する。処理装置は、第２ユーザ端末がステップＳ７において送信した調整後の観客音のデータを受信する。
【0069】
処理装置は、ステップＳ８において、調整後の観客音を合成する。例えば、図３の処理装置２の合成部２７は、端末３ａから送信された観客音のデータと、端末３ｂから送信された観客音のデータとを合成する。処理装置は、ステップＳ９において、合成後の観客音を演者へ出力する。例えば、処理装置２は、合成後の観客音のデータをスピーカ６へ出力し、演者Ｐに対して、観客音をスピーカ６によって出力する。処理装置は、ステップＳ１０において、合成後の観客音を含むコンテンツを送信する。例えば、図３のマイク５は、演者Ｐが発する音と、スピーカ６から出力される音とを含む音を検出する。そして、処理装置２のコンテンツ生成部２８は、マイク５が検出した音を用いてコンテンツを生成する。処理装置２の通信部２３は、コンテンツ生成部２８が生成したコンテンツのデータを送信する。
【0070】
第１ユーザ端末および第２ユーザ端末は、それぞれ、処理装置が送信したコンテンツのデータを受信する。第１ユーザ端末および第２ユーザ端末は、受信したコンテンツのデータに基づいて、コンテンツを再生する。ステップＳ２からステップＳ１０の処理は、例えばイベントの開催中に繰り返し実行される。ステップＳ２からステップＳ１０の一連の処理が繰り返される周期は、任意に設定される。
【0071】
上述の実施形態に係る音声処理システム１おいて、位置決定部２４は、ユーザＵからのイベントへの参加申請に基づいて、イベントが開催される所定領域（例、イベント会場ＡＥ）におけるユーザＵの位置を表す観客位置Ｑを決定する。マイク４１は、イベントの演者Ｐ（例、コンテンツ）を視聴するユーザＵが発する音を検出する。音調整部３４は、マイク４１が検出した音を、所定領域におけるイベントの演者の位置を表す演者位置Ｐ１と観客位置Ｑとの関係に基づいて調整する。合成部２７は、ユーザＵである第１ユーザ（例、ユーザＵａ）に対応するマイク４１に検出されて音調整部３４に調整された音と、第１ユーザと異なるユーザＵである第２ユーザ（例、ユーザＵｂ）に対応するマイク４１に検出されて音調整部３４に調整された音とを合成する。出力部２６は、合成部２７が合成した音を表すデータを出力する。
【0072】
この音声処理システム１は、演者ＰにユーザＵの反応を伝えることができる。演者Ｐは、例えば、ユーザＵの反応を意識したパフォーマンスを行うことができる。ユーザＵは、例えば自身の反応によって影響を受けたパフォーマンスを視聴することができる。このように、実施形態に係る音声処理システム１は、新たな体験を提供できる。
【0073】
本実施形態において、申請取得部（例、受付端末８）は、ユーザＵから提供される参加申請を取得する。位置決定部２４は、申請取得部が取得した参加申請に基づいて、観客位置Ｑを決定する。この場合、例えば、参加申請の取得から観客位置Ｑの決定までの処理を自動で行うことができる。なお、音声処理システム１は、申請取得部（例、受付端末８）を備えなくてもよい。例えば、処理装置２には、イベントへ参加するユーザの情報が入力され、位置決定部２４は、この情報を用いて観客位置を決定してもよい。
【0074】
イベントに参加するユーザの少なくとも一部（例、第１ユーザ）は、例えば、所定領域（例、イベント会場ＡＥ）の外で演者Ｐを視聴する。第１ユーザ（例、ユーザＵａ）に対応するマイク４１は、第１ユーザが発する音を検出する位置（例、視聴領域ＡＵａ）に配置される。この形態によれば、イベントに参加可能なユーザの数は、実空間のみでイベントが開催される形態と比較して、イベント会場の広さの制約を受けにくくなる。例えば、この形態によれば、実空間の会場でイベントに参加する他、実空間の会場の外からイベントに参加することが可能になり、実空間の会場の収容人数を超える人数の観客がイベントに参加できる。この形態によれば、例えば、より多くの観客がイベントを楽しむことができる。この形態によれば、例えば実空間の会場から遠方に住むユーザに会場の外で参加する機会を創出し、ユーザの利便性を図ることができる。
【0075】
演者Ｐは、例えば、所定領域（例、イベント会場ＡＥ）の外でパフォーマンスを行う。合成部２７が合成した音のデータは、演者Ｐへ音が届く位置（例、実演領域ＡＰ）に配置される音声出力装置（例、スピーカ６）へ提供される。この形態によれば、演者Ｐが実空間のイベント会場でパフォーマンスを行う形態と比べて、演者Ｐが実在する位置がイベント会場の位置の制約を受けにくくなる。例えば、複数の演者Ｐが存在し、一部の演者Ｐが他の演者Ｐと離れている場合でもイベントを行うことができる。
【0076】
本実施形態において、端末３は、音調整部３４と、音調整部３４が調整した音のデータを送信する送信部（例、通信部３２）とを備える第１音声処理装置に相当する。処理装置２は、第１音声処理装置の送信部が送信したデータを受信する受信部（例、通信部２３）と、受信部が受信したデータが表す音を合成する合成部２７とを備える第２音声処理装置に相当する。この形態によれば、例えば、複数のユーザの観客を調整する処理が複数の第１音声処理装置に分散され、第２音声処理装置の負荷を軽減できる。第２音声処理装置の送信部は、演者位置と、位置決定部が決定した観客位置との関係を示す位置情報を送信してもよい。第１音声処理装置の受信部は、第２音声処理装置の送信部が送信した位置情報を受信してもよい。第１音声処理装置の音調整部は、第１音声処理装置の受信部が受信した位置情報に基づいて、第１音声処理装置のマイクが検出した音を調整してもよい。
【0077】
本実施形態において、音声処理システム１は、仮想的な情報と実体的な情報とを種々組み合わせてコンテンツを生成してもよい。例えば、イベント会場ＡＥは、実際の施設や場所（コンサートホール、球場、イベント用ステージ等）を含んでもよい。イベント会場ＡＥは、仮想的な施設や環境（仮想空間に構築されたステージや、海、山あるいは空等）を含んでもよい。音声処理システム１は、ユーザから発せられた観客音の他に、イベント用に生成された人工的な観客音と効果音を用いて、コンテンツを生成してもよい。
【0078】
本実施形態において、端末３と処理装置２との一方または双方は、コンピュータを含む。実施形態に係るコンピュータは、例えば、スマートフォン、タブレット、若しくはノートパソコンなどの携帯型の装置、又はサーバー装置、デスクトップ型パソコン、若しくはタワー型パソコン等の据置型の装置の少なくとも１つを含む。コンピュータは、例えば、処理部と、記憶部と、通信部と、入出力インターフェースとを備える。
【0079】
処理部は、例えば、汎用のプロセッサー（例、ＣＰＵ）を含む。記憶部は、例えば、不揮発性の記憶装置と、揮発性の記憶装置との一方または双方を含む。不揮発性の記憶装置は、例えばハードディスク、ソリッドステートドライブ等である。揮発性の記憶装置は、例えば、ランダムアクセスメモリ、キャッシュメモリ、ワークメモリなどのである。通信部は、所定の通信規格に準拠して、有線または無線の通信を行う。通信部は、通信規格が異なる２種以上の通信を組み合わせて通信を行ってもよい。所定の通信規格は、ＬＡＮを含んでもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信規格を含んでもよく、赤外線通信の規格又はその他の規格を含んでもよい。
【0080】
なお、端末３は、処理装置、情報処理装置、電子機器、又はその他の名称で呼ばれてもよい。端末３の少なくとも一部の処理は、デジタルシグナルプロセッサにより実行されてもよいし、特定用途向け集積回路によって実行されてもよい。処理装置２は、端末、情報処理装置、電子機器、又はその他の名称で呼ばれてもよい。処理装置２の少なくとも一部の処理は、デジタルシグナルプロセッサにより実行されてもよいし、特定用途向け集積回路によって実行されてもよい。
【0081】
端末３がコンピュータである場合、その処理部は、記憶部に記憶されているプログラムを読み出し、このプログラムに従って各種の処理を実行する。このプログラムは、例えば、コンピュータに、ユーザからのイベントへの参加申請に基づいて決定される、イベントが開催される所定領域におけるユーザの位置を表す観客位置と、所定領域におけるイベントの演者の位置を表す演者位置との関係を示す位置情報を受信することと、イベントの演者を視聴するユーザから発せられてマイクにより検出された音を、位置情報に基づいて調整することと、イベントに参加する複数のユーザについて音調整部が調整した音を合成部を備える処理装置に、音調整部が調整した音を表すデータを送信することと、を実行させる音声処理プログラムを含む。このプログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【0082】
処理装置２がコンピュータである場合、その処理部は、記憶部に記憶されているプログラムを読み出し、このプログラムに従って各種の処理を実行する。このプログラムは、例えば、コンピュータに、ユーザからのイベントへの参加申請に基づいて、イベントが開催される所定領域におけるユーザの位置を表す観客位置を決定することと、所定領域におけるイベントの演者の位置を表す演者位置と観客位置との関係を示す位置情報を、イベントの演者を視聴するユーザから発せられてマイクにより検出された音を位置情報に基づいて調整する音調整部を備える処理装置に送信することと、音調整部が調整した音を表し処理装置が送信するデータを受信することと、受信部が受信したデータに基づいて、ユーザである第１のユーザに対応するマイクに検出されて音調整部に調整された音と、第１のユーザと異なるユーザである第２のユーザに対応するマイクに検出されて音調整部に調整された音とを合成し、合成した音を表すデータを出力することと、を実行させる音声処プログラムを含む。
【0083】
実施形態に係るプログラムは、実施形態に係る機能を、コンピュータシステムに記録されているプログラムとの組み合わせで実現できるプログラム（例、差分ファイル、差分プログラム）でもよい。実施形態に係るプログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【0084】
［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図６は、第２実施形態に係る音声処理システムを示す図である。本実施形態において、端末３は、この端末３を使用するユーザＵと関連付けられた端末である。例えば、端末３ａは、ユーザＵａが所有する端末である。端末３ａは、例えば、スマートフォン、タブレット、パーソナルコンピュータ、又はその他の情報処理装置である。端末３ａは、例えば、端末３ａを特定する情報と、ユーザＵａを特定する情報とを記憶部３１に記憶する。以下の説明において適宜、端末３を特定する情報を端末ＩＤという。ユーザを特定する情報は、例えば、コンテンツ配信サービスにおけるアカウントの情報を含む。アカウントの情報は、例えば、ユーザＩＤおよびパスワードを含む。
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図６は、第２実施形態に係る音声処理システムを示す図である。本実施形態において、端末３は、この端末３を使用するユーザＵと関連付けられた端末である。例えば、端末３ａは、ユーザＵａが所有する端末である。端末３ａは、例えば、スマートフォン、タブレット、パーソナルコンピュータ、又はその他の情報処理装置である。端末３ａは、例えば、端末３ａを特定する情報と、ユーザＵａを特定する情報とを記憶部３１に記憶する。以下の説明において適宜、端末３を特定する情報を端末ＩＤという。ユーザを特定する情報は、例えば、コンテンツ配信サービスにおけるアカウントの情報を含む。アカウントの情報は、例えば、ユーザＩＤおよびパスワードを含む。
【0085】
端末３ａは、マイク４１、スピーカ４２、表示部４５、及び入力部４６を備える。表示部４５は、図３に示した表示装置４３に相当する。入力部４６は、各種情報の入力を受け付ける。入力部４６は、例えば、キーボード、マウス、及びタッチパッドの少なくとも一つを含む。入力部４６および表示部４５は、タッチパネルでもよい。ユーザＵａは、入力部４６を操作することによって、各種情報を端末３ａへ入力する。
【0086】
本実施形態において、端末３ａは、図２で説明した予約端末７を兼ねる。ユーザＵａは、端末３ａの入力部４６を操作することによってエントリー情報を入力し、参加申請を行うことができる。エントリー情報は、例えば、ユーザＩＤ、及びイベントを特定する情報を含む。端末３ａの通信部３２は、エントリー情報を送信する。本実施形態において、処理装置２は、図２で説明した受付端末８を兼ねる。処理装置２は、端末３ａの通信部３２が送信したエントリー情報を取得する。例えば、処理装置２の通信部３２は、端末３ａが送信したエントリー情報を受信する。
【0087】
処理装置２の記憶部２２は、図２で説明したユーザ情報Ｄ１を記憶する。処理装置２の処理部２１は、受付部２９を含む。受付部２９は、図２で説明した受付端末８による処理を実行する。受付部２９は、イベントにおけるユーザの席を決定する。例えば、受付部２９は、端末３ａが送信したエントリー情報に含まれるイベントＩＤを取得する。受付部２９は、イベントＩＤとイベントの情報とを関連付けて記憶するデータベースを参照し、イベントＩＤに対応するイベントの席の情報を取得する。受付部２９は、端末３ａが送信したエントリー情報に含まれるユーザＩＤを取得する。受付部２９は、記憶部２２に記憶されたユーザ情報Ｄ１から、ユーザＩＤに対応するユーザＵａの情報（例、ユーザのランク）を取得する。受付部２９は、イベントの席の情報（例、席のランク、空席の情報）と、ユーザＵａの情報とを用いて、イベントにおけるユーザＵａの席（例、席の番号）を決定する。
【0088】
処理装置２の位置決定部２４は、受付部２９が決定したユーザＵａの席の情報を用いて、ユーザＵａの観客位置Ｑａを決定する。処理部２１は、演者位置Ｐ１と、位置決定部２４が決定した観客位置Ｑａとの関係を示す位置情報を生成する。通信部２３は、処理部２１が生成した位置情報を送信する。ユーザＵａに対応する端末３ａの通信部３２は、処理装置２の通信部２３が送信した位置情報を受信する。端末３ａの処理部３３は、通信部３２が受信した位置情報を記憶部３１に記憶させる。
【0089】
端末３ａの通信部３２は、第１実施形態で説明したように、処理装置２が送信するコンテンツのデータを受信する。端末３ａは、通信部３２が受信したコンテンツのデータに基づいて、このコンテンツを再生する。例えば、処理部３３は、コンテンツのデータが表す映像を表示部４５に表示させる。処理部３３は、コンテンツのデータが表す音声を、スピーカ４２に出力させる。マイク４１は、ユーザＵａが発する観客音を検出する。音調整部３４は、記憶部３１に記憶されている位置情報Ｄ３ａを用いて、マイク４１が検出した観客音を調整する。通信部３２は、調整後の観客音のデータを送信する。処理装置２の通信部２３は、端末３ａの通信部２３が送信した調整後の観客音のデータを受信する。合成部２７は、ユーザＵａに対応する調整後の観客音と、ユーザＵｂに対応する調整後の観客音とを合成する。出力部２６は、合成後の観客音のデータを出力し、スピーカ４２に合成後の観客音を出力させる。
【0090】
本実施形態において、ユーザＵは、観客位置Ｑを変更可能である。例えば、ユーザＵａは、観客位置Ｑａの変更を、イベントの開催中に申請できる。ユーザＵａは、例えば、端末３ａを操作することによって、観客位置Ｑａの変更を要求する情報（適宜、変更申請という）を端末３ａによって送信できる。端末３ａの入力部４６は、変更申請、又は変更申請のもとになる情報（適宜、変更申請等という）の入力を受け付ける。変更申請等は、ユーザＵが希望する変更先の席の情報（適宜、変更先席情報という）を含む。
【0091】
端末３ａの通信部３２は、入力部４６に入力された変更申請等に基づいて、変更申請を送信する。変更申請は、例えば、ユーザＵａを特定する情報（例、ユーザＩＤ）とユーザＵａと関連付けられた端末３ａを特定する情報（例、端末ＩＤ）との一方または双方と、変更先席情報とを含む。記憶部３１は、ユーザＩＤと端末ＩＤとの一方または双方を予め記憶してもよい。ユーザＵａは、席の変更を申請する際に、変更先席情報を入力し、ユーザＩＤと端末ＩＤとの一方または双方を端末３ａに入力しなくてもよい。この場合、端末３ａの処理部３３は、記憶部３１に記憶されたユーザＩＤと端末ＩＤとの一方または双方と、入力部４６に入力された変更先席情報とを用いて変更申請を生成してもよい。通信部３２は、処理部３３が生成した変更申請を送信してもよい。
【0092】
処理装置２の通信部２３は、端末３ａの通信部３２が送信した変更申請を受信する。位置決定部２４は、ユーザＵａからの観客位置Ｑの変更申請に基づいて、ユーザＵａに対応する観客位置Ｑａを変更する。例えば、位置決定部２４は、通信部２３が受信した変更申請に基づいて、ユーザＵａの観客位置Ｑａの変更先を決定する。例えば、位置決定部２４は、変更申請に含まれる変更先席情報に示される席を利用可能か否かを判定する。例えば、位置決定部２４は、変更先席情報に示される席がユーザＵに割り当てられていない場合、この席を利用可能と判定する。位置決定部２４は、例えば、変更先席情報に示される席に対応するイベント会場ＡＥのサイバー空間上の座標を導出し、導出した座標を変更先の観客位置Ｑ（適宜、変更後の観客位置という）として決定する。通信部２３は、更新後の観客位置Ｑに対応する位置情報を送信する。例えば、処理部２１は、端末３ａが送信した変更申請に含まれるユーザＩＤと端末ＩＤとの一方または双方に基づいて、位置情報の送信先として端末３ａを特定する。通信部２３は、処理部２１が特定した送信先へ位置情報を送信する。
【0093】
端末３ａの通信部３２は、処理装置２が送信した更新後の位置情報を受信する。端末３ａの処理部３３は、記憶部３１に記憶されている位置情報Ｄ３ａを、通信部３２が受信した更新後の位置情報へ更新する。音調整部３４は、位置決定部２４が変更した観客位置Ｑａを用いて、ユーザＵａに対応するマイク４１が検出した音を調整する。例えば、記憶部３１に記憶されている位置情報Ｄ３ａが更新された後、音調整部３４は、マイク４１が検出した観客音を、更新後の位置情報Ｄ３ａを用いて調整する。
【0094】
なお、観客位置を変更する処理は、トークンを消費して実行されてもよい。トークンは、例えば、各国の通貨と互換性がある電子マネーを含んでもよいし、暗号資産を含んでもよい。トークンは、例えば、コンテンツ配信サービスにおいてユーザが使用できるポイントでもよく、コンテンツ配信サービスと提携するサービスにおいてユーザが使用できるポイントでもよい。ユーザＵが所有するトークンの情報は、ユーザ情報Ｄ１に含まれてもよい。消費するトークンの値は、例えば、予め定められた固定値でもよいし、ユーザが指定する値でもよく、変更先の席によって定まる値でもよい。処理装置２は、例えばユーザが指定するトークンの値を用いたオークションによって、変更先の席を決定してもよい。観客位置を変更する処理においてトークンが消費される場合、トークンが消費されるタイミングは任意である。例えば、トークンは、処理装置２が変更申請を受け付けた際に消費されてもよいし、変更申請によって観客位置が変更される際に消費されてもよい。
【0095】
位置決定部２４は、例えばユーザから指定された席が使用中であるか否かによってこの席を利用可能であるか否かを判定するが、その他の基準あるいは条件で席を利用可能であるか否かを判定してもよい。例えば、位置決定部２４は、ユーザが保有するトークンの値が、観客位置を変更する処理で消費されるトークンの値以上である場合に、席を利用可能と判定してもよい。サイバー空間上の席は、１人のユーザのみに割り当てられてもよいし、複数のユーザに割り当てられてもよい。例えば、複数のユーザの観客位置が同一でもよく、任意のユーザの観客位置は、他のユーザの観客位置と同じでもよい。
【0096】
なお、音声処理システム１は、演者ＰとユーザＵとの一方又は双方に対するアクションを指定する情報をユーザＵから受け付けるアクション受付部と、アクション受付部が受け付けた情報に予め関連付けられた処理を実行する処理部と、を備えてもよい。上記アクションは、観客音と異なる形態のコンテンツ上の動作（例、映像、音声）を含む。上記アクションは、例えば、コンテンツにおける映像と音声との一方または双方に関する作用を含む。上記アクションは、例えば、ユーザの入力をコンテンツ上の映像と音声との一方または双方で表現する作用を含む。以下の説明において適宜、アクションを指定する情報をアクション要求と称し、アクション受付部が受け付けた情報に予め関連付けられた処理を、アクション追加処理という。
【0097】
上記アクション受付部は、例えば端末３ａの入力部４６を含む。上記処理部は、例えば処理装置２のコンテンツ生成部２８を含む。ユーザＵａは、例えば、アクション要求として、イベントに関するコメントをテキスト形式で入力部４６に入力する。端末３ａの通信部３２は、入力部４６に入力されたテキスト情報を送信する。処理装置２の通信部２３は、端末３ａの通信部３２が送信したテキスト情報を受信する。コンテンツ生成部２８は、例えば、通信部２３が受信したテキスト情報に含まれるテキストを映像として含むコンテンツを生成する。例えば、ユーザが入力したテキストは、コンテンツの映像上で移動しながら表示されてもよいし、その他の形態で表示されてもよい。
【0098】
上記アクション受付部は、端末３ａのマイク４１を含んでもよい。例えば、ユーザは、テキストを入力する代わりに音声を入力してもよく、マイク４１は、アクション要求として、ユーザが発する音声を受け付けてもよい。この場合、端末３ａの処理部３３は、マイク４１に入力された音声を音声認識によってテキスト情報へ変換してもよい。端末３ａの通信部３２は、処理部３３が音声認識によって生成したテキスト情報を送信してもよい。
【0099】
アクション要求情報は、テキストまたは音声と異なる形式で入力されてもよい。例えば、端末３ａは、所定のアクション追加処理に関連付けられたアイコンを表示部４５に表示させ、このアイコンに対するユーザの操作が検出された場合に、アイコンに関連付けられたアクション追加処理の実行を要求してもよい。例えば、端末３ａは、拍手の音の追加を表すアイコンを表示部４５に表示する。端末３ａは、このアイコンに対するユーザからの操作を検出した場合、拍手の音をコンテンツに追加する要求を通信部３２によって送信する。処理装置２は通信部３２が送信した要求を受信し、コンテンツ生成部２８は、例えば、予めサンプリングされた拍手の音を追加したコンテンツを生成する。
【0100】
上記アクション追加処理は、音調整部３４によって調整された観客音に追加の調整を施す処理を含んでもよい。例えば、アクション追加処理は、調整後の観客音の音量を変更する処理を含んでもよいし、エコーを利かせる等のエフェクトを加える処理を含んでもよい。上記アクション追加処理は、映像を追加する処理でもよく、映像効果を追加する処理でもよい。例えば、上記アクション追加処理は、コンテンツの映像に花火の映像を追加する処理を含んでもよい。上記アクション追加処理は、演者に対してチップ、投げ銭に相当する価値を譲渡する処理を含んでもよい。例えば、処理装置２の処理部２１は、ユーザＵａから指定された値のトークンを、ユーザＵａのアカウントから演者Ｐのアカウントへ移す処理を実行してもよいし、トークンを管理する装置にトークンを譲渡する処理を実行させてもよい。コンテンツ生成部２８は、トークンを譲渡する処理が実行される際に、トークンの譲渡を表す映像をコンテンツに追加してもよい。例えば、コンテンツ生成部２８は、ＣＧで表現された投げ銭をコンテンツの映像に追加してもよい。上記アイコンは、１種類のアイコンでもよいし、アクション追加処理が異なる複数種類のアイコンでもよい。
【0101】
なお、アクション要求に関連付けられた処理は、トークンを消費して実行されてもよい。消費するトークンの値は、例えば、予め定められた固定値でもよいし、ユーザが指定する値でもよい。消費するトークンの値は、アクション追加処理の種類によって定まる値でもよい。例えば、消費するトークンの値は、コンテンツの映像にテキストを追加する処理と、コンテンツの音声に効果音を追加する処理とで異なってもよい。
【0102】
消費するトークンの値は、アクション追加処理によるエフェクトのレベルによって定まる値でもよい。例えば、アクション追加処理は、拍手の効果音を追加する処理を含むとする。コンテンツ生成部２８は、消費するトークンが第１の値である場合、拍手の効果音を第１の音量でコンテンツに追加し、消費するトークンが第１の値よりも大きい第２の値である場合、拍手の効果音を第１の音量よりも大きい第２の音量でコンテンツに追加してもよい。アクション追加処理は、映像にテキストを追加する処理を含むとする。コンテンツ生成部２８は、消費するトークンが第１の値である場合、テキストを第１のフォントサイズでコンテンツに追加し、消費するトークンが第１の値よりも大きい第２の値である場合、テキストを第１のフォントサイズよりも大きい第２のフォントサイズでコンテンツに追加してもよい。
【0103】
なお、端末３ａの音調整部３４または端末３ｂの音調整部３４は、ユーザＵａに対応する観客位置Ｑａと、ユーザＵｂに対応する観客位置Ｑｂとの関係に基づいて、ユーザＵｂに対応するマイクが検出した音を調整してもよい。例えば、ユーザＵｂの観客位置Ｑｂは、ユーザＵｂの観客音が観客位置Ｑｂで発せられた場合に、この観客音がユーザＵａの観客位置Ｑａに届く範囲であるとする。端末３ａは、観客位置Ｑａの周囲の観客位置Ｑで発せられた観客音を強調する処理（適宜、周囲強調処理という）を実行可能である。端末３は、例えば、周囲強調処理を実行しない第１の動作モードと、周囲強調処理を実行する第２の動作モードとを切替可能である。例えば、端末３は、ユーザＵからモード切替の入力を受け付け、この入力があったと判定した場合に第１の動作モードと第２の動作モードとを切り替える。
【0104】
第１の動作モードにおいて、ユーザＵｂの調整後の観客音は、処理装置２の合成部２７によって合成される。合成された観客音は、演者Ｐに対してスピーカ６から出力される。スピーカ６から出力された観客音は、演者Ｐが発する音とともにマイク５によって検出される。コンテンツ生成部２８は、マイク５によって検出された音を用いてコンテンツを生成し、ユーザＵｂの観客音は、コンテンツの音声に含まれる。
【0105】
第２の動作モードにおいて、処理装置２の通信部２３は、ユーザＵａの観客位置ＱａとユーザＵｂの観客位置Ｑｂとの関係を示す位置情報（適宜、第２位置情報、観客間位置情報という）を送信する。観客間位置情報は、例えば、端末３ｂの音調整部３４によって調整された観客音を、ユーザＵｂに対応するマイク４１によって検出された観客音が観客位置Ｑｂで発せられた場合にユーザＵａの観客位置Ｑａに届く音へ変換するゲインを含む。処理装置２の通信部２３は、ユーザＵｂに対応する調整後の観客音のデータを送信する。端末３ａの通信部３２は、処理装置２の通信部２３が送信した調整後の観客音のデータを受信する。端末３ａの処理部３３は、観客間位置情報を用いて、ユーザＵｂに対応する調整後の観客音を、観客音が観客位置Ｑｂで発せられた場合にユーザＵａの観客位置Ｑａに届く音へ変換する。処理部３３は、変換したユーザＵｂの観客音を、コンテンツの音声と合成して、スピーカ４２から出力させる。このような形態の音声処理システム１は、例えばサイバー空間において第１のユーザの周囲に居る第２のユーザの観客音が第１のユーザにリアルに伝わり、イベントの臨場感が高められる。
【0106】
端末３ａは、第１の動作モードから第２の動作モードへ切り替える際に、動作を切り替えることを処理装置２に通知する。処理装置２の処理部２１は、上記通知を受けた場合、端末３ａに対応するユーザＵａの観客位置Ｑａを特定する。処理部２１は、観客位置Ｑａの周囲の所定の範囲に含まれる少なくとも１つの観客位置Ｑを抽出する。処理部Ａは、抽出した観客位置Ｑの各々について観客間位置情報を生成する。処理装置２は、生成した観客間位置情報を端末３ａに提供する。処理装置２は、観客間位置情報に対応する調整後の観客音のデータを、観客間位置情報と関連付けて端末３ａに提供する。例えば、処理装置２の処理部２１は、観客間位置情報ごとに識別情報を割り付け、調整音のデータを識別情報と一組にして送信する。
【0107】
次に、上述の音声処理システム１の構成に基づき、実施形態に係る音声処理方法について説明する。図７は、第２実施形態に係る音声処理方法を示す図である。音声処理システム１の構成については適宜、図６を参照する。図５と同様の処理については、適宜、図５と同じ符号を付してその説明を省略あるいは簡略化する。
【0108】
第１ユーザ端末は、図６に示したユーザＵａから参加申請に関する情報の入力を受け付ける。第１ユーザ端末は、ステップＳ２１において、エントリー情報を送信する。例えば、図６の端末３ａの処理部３３は、入力部４６に入力された情報に基づいて、エントリー情報を通信部３２に送信させる。処理装置は、ステップＳ２１において送信されたエントリー情報を受信する。処理装置は、ステップＳ２２において、第１ユーザの観客位置を決定する。例えば、図６の処理装置２の位置決定部２４は、通信部２３が受信したユーザＵａに対応するエントリー情報に基づいて、ユーザＵａの観客位置Ｑａを決定する。処理装置は、ステップＳ２３において位置情報を送信する。例えば、図６の処理装置２の処理部２１は、位置決定部２４が決定した観客位置Ｑａを用いて、観客位置Ｑａと演者位置Ｐ１との関係を示す位置情報を生成する。通信部２３は、処理部２１が生成した位置情報を送信する。
【0109】
ステップＳ２４からステップＳ２６の処理は、ステップＳ２１からステップＳ２３の処理と同様であり、その説明を簡略化する。第２ユーザ端末は、図６に示したユーザＵｂから参加申請に関する情報の入力を受け付ける。第２ユーザ端末は、ステップＳ２４において、エントリー情報を送信する。例処理装置は、ステップＳ２４において送信されたエントリー情報を受信する。処理装置は、ステップＳ２５において、第２ユーザ（例、図６のユーザＵｂ）の観客位置を決定する。処理装置は、ステップＳ２６において位置情報を送信する。
【0110】
以上のステップＳ２１からステップＳ２６の処理は、例えば、イベントの開始前に実行される。なお、ステップＳ２１からステップＳ２６の処理の少なくとも一部は、イベントの開始後に実行されてもよい。例えば、ユーザは、コンテンツの配信が開始された後で、イベントの参加申請を行って、イベントに参加してもよい。ステップＳ２６の後のステップＳ１からステップＳ１１の処理は、図３と同様である。ステップＳ１からステップＳ１１の処理は繰り返し実行され、観客位置を変更する処理およびアクション追加処理は、それぞれ、ステップＳ１からステップＳ１１の処理が繰り返し実行される期間に、実行される。観客位置を変更する処理は、ステップＳ１の処理が実行される前に、実行されてもよい。例えば、ユーザＵは、参加申請を行った後、コンテンツの配信が開始される前に、端末３を操作して観客位置の変更処理を実行させてもよい。
【0111】
［第３実施形態］
第３実施形態について説明する。図８は、第３実施形態に係る音声処理システムを示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態に係る音声処理システム１は、複数のグループに分けられた複数の第１音声処理装置を備え、合成部は、複数のグループの各グループに対応して設けられ、各グループにおいて、第１音声処理装置の音調整部が調整した音を合成する第１の合成部と、複数のグループにおいて、第１の合成部が合成した音を合成する第２の合成部と、を備える。
第３実施形態について説明する。図８は、第３実施形態に係る音声処理システムを示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態に係る音声処理システム１は、複数のグループに分けられた複数の第１音声処理装置を備え、合成部は、複数のグループの各グループに対応して設けられ、各グループにおいて、第１音声処理装置の音調整部が調整した音を合成する第１の合成部と、複数のグループにおいて、第１の合成部が合成した音を合成する第２の合成部と、を備える。
【0112】
本実施形態において、複数の端末３は、複数のグループに分かれている。以下の説明において適宜、任意のグループを符号Ｇで表し、グループＧを区別する場合、グループＧａ、グループＧｂのように符号Ｇにアルファベットａ、ｂ、・・・を追加した符号で表す。
【0113】
本実施形態において、音声処理システム１は、複数の処理装置５１と、処理装置５２とを備える。処理装置５１は、グループＧごとに設けられる。以下の説明において適宜、任意の処理装置５１を符号５１で表し、処理装置５１を区別する場合、処理装置５１ａ、処理装置５１ｂのように符号５１にアルファベットａ、ｂ、・・・を追加した符号で表す。
【0114】
処理装置５１は、図３などで説明した合成部２７を備える。処理装置５１は、対応するグループに含まれる２以上の端末３から調整後の観客音のデータを取得する。例えば、処理装置５１ａは、グループＧａに含まれる端末３の各々が送信する調整後の観客音のデータを受信する。処理装置５１ａの合成部２７は、受信した観客音のデータを用いて、グループＧａに含まれる端末３の各々から取得した調整後の観客音を合成する。以下の説明において適宜、処理装置５１が合成した調整後の観客音を、１次合成後の観客音という。
【0115】
処理装置５２は、２以上の処理装置５１に対応して設けられる。図８において、処理装置５２は、処理装置５１ａと、処理装置５１ｂとに対応する。処理装置５２は、対応する２以上の処理装置５１の各々から、各処理装置５１から１次合成後の観客音のデータを取得する。処理装置５２は、合成部５３と、コンテンツ生成部２８とを備える。合成部５３は、２以上の処理装置５１の各々から取得された１次合成後の観客音のデータを用いて、これら観客音のデータが表す観客音を合成する。合成部５３の処理は、例えば合成部２７の処理と同様の処理でよい。処理装置５２は、合成部５３が合成した観客音のデータを出力する。処理装置５２は、合成部５３が合成した観客音を、スピーカ６に出力させる。
【0116】
コンテンツ生成部２８は、図３等で説明したように、カメラ４によって撮影された映像と、マイク５によって検出された音声とを用いてコンテンツを生成する。処理装置５２は、生成したコンテンツのデータを提供する。処理装置５１は、処理装置５２が提供するコンテンツのデータを取得する。処理装置５１は、対応するグループＧに含まれる端末３にコンテンツのデータを提供する。例えば、処理装置５１ａは、対応するグループＧａに含まれる２以上の端末３の各々に、コンテンツのデータを提供する。グループＧａに含まれる２以上の端末３は、それぞれ、処理装置５１ａから提供されるコンテンツのデータを用いて、コンテンツを再生する。
【0117】
以上のように、本実施形態に係る音声処理システム１は、複数の端末３が複数のグループに分かれており、各グループに含まれる２以上の端末３から提供される調整後の観客音を合成する処理装置５１を備える。音声処理システム１は、調整後の観客音を合成する処理を複数の装置で分散して実行するので、各装置の処理の負荷を軽減することができ、例えば処理の遅延が発生することを減らすことができる。
【0118】
なお、音声処理システム１は、２以上の処理装置５１から提供される１次合成後の観客音を合成する処理装置（適宜、上位処理装置という）を複数備え、処理装置５２は、複数の上位処理装置から各上位処理装置が合成した観客音（適宜、２次合成後の観客音という）を取得し、これら２次合成後の観客を合成してそのデータを出力してもよい。例えば、各端末３と処理装置５２との間で中間データを生成する装置のレイヤーは、図８において処理装置５１の１層であるが、処理装置５１と上位処理装置との２層でもよい。このように、中間データを生成する装置のレイヤーの数は任意であり、図３のように０層でもよいし、図８のように１層でもよく、複数層でもよい。コンテンツ生成部２８は、処理装置５２と異なる装置に設けられてもよく、例えば、端末３と処理装置５２との間で中間データを生成する装置（例、処理装置５１）に設けられてもよい。
【0119】
図９は、第３実施形態に係るグループの例を示す図である。図９の符号ＥＸ１からＥＸ３は、それぞれ、グループの例を表す。第１の例ＥＸ１において、複数のグループＧは、それぞれ、イベント会場ＡＥにおける演者位置Ｐ１までの距離が所定の範囲である観客位置Ｑに対応する端末の集合である。例えば、グループＧａは、演者位置Ｐ１までの距離がＬ１未満である観客位置に対応する端末の集合である。グループＧｂは、演者位置Ｐ１までの距離がＬ１以上Ｌ２未満である観客位置に対応する端末の集合である。
【0120】
第２の例ＥＸ２において、複数のグループＧは、それぞれ、イベント会場ＡＥにおける演者位置Ｐ１からの向きが所定の範囲である観客位置Ｑに対応する端末の集合である。例えば、例えば、グループＧａは、演者位置Ｐ１を基準とする方位角が範囲θ１にある観客位置Ｑに対応する端末のグループである。グループＧｂは、演者位置Ｐ１を基準とする方位角が範囲θ２にある観客位置Ｑに対応する端末のグループである。
【0121】
なお、グループ分けのルールは、第１の例又は第２の例に限定されず、任意に定められる事項である。例えば、第３の例ＥＸ３は、第１の例のグループ分けのルールと第２の例のグループ分けのルールとを組み合わせたグループ分けの例である。第３の例において、複数のグループＧは、演者位置Ｐ１からの距離と、演者位置Ｐ１を基準とする方位角とに基づいて、決定される。
【0122】
なお、複数のグループＧは、観客位置Ｑが決定された順番に基づいて、決定されてもよい。例えば、複数の端末３は、観客位置Ｑが決定された順番に基づいて、グループ分けされてもよい。例えば、グループＧａに含まれる端末３は、観客位置Ｑが決定された順番が１番から１００番までの観客位置Ｑに対応する端末でもよい。グループＧｂに含まれる端末３は、観客位置Ｑが決定された順番が１０１番から２００番までの観客位置Ｑに対応する端末でもよい。
【0123】
なお、複数のグループＧは、イベント会場ＡＥにおける席の優先度（例、席のランク）に基づいて、決定されてもよい。例えば、グループＧａに含まれる端末３は、イベント会場ＡＥにおいて第１ランクの席（例、Ｓ席）に相当する観客位置Ｑに対応する端末でもよい。グループＧｂに含まれる端末３は、イベント会場ＡＥにおいて第１ランクよりも優先度が低い第２ランクの席（例、Ａ席）に相当する観客位置Ｑに対応する端末でもよい。第１ランクの席は、第２ランクの席に比べてユーザが支払う参加費用が高い席でもよいし、予め選択されたユーザ（例、招待客）に割り当てられる席でもよい。複数のグループＧは、各グループＧに含まれる端末３を、複数の端末３から無作為に選択することで決定されてもよい。上述したグループ分けのルールは、２種類以上のルール（例、条件）を組み合わせたルールでもよい。
【0124】
なお、複数のグループＧにおいて、各グループに含まれる端末３の数は、同一でもよいし、異なってもよい。各グループＧに含まれる端末３の数は、例えば、各グループＧに対応する処理装置５１が処理を担当する端末３の数でもよい。ここで、グループＧａに含まれる端末３は、上記第１ランクの席に相当する観客位置Ｑに対応する端末であるとする。また、グループＧｂに含まれる端末３は、上記第２ランクの席に相当する観客位置Ｑに対応する端末であるとする。グループＧａに含まれる端末３の数は、グループＧｂに含まれる端末３の数よりも少なくてもよい。この場合、グループＧａに対応する処理装置５１ａは、グループＧｂに対応する処理装置５１ｂに比べて処理の負荷が軽減され、例えば処理の遅延が発生する可能性が低下する。
【0125】
なお、複数の処理装置５１において、各処理装置５１の性能は、同一でもよいし異なってもよい。ここで、グループＧａに含まれる端末３は、上記第１ランクの席に相当する観客位置Ｑに対応する端末であるとする。また、グループＧｂに含まれる端末３は、上記第２ランクの席に相当する観客位置Ｑに対応する端末であるとする。グループＧａに対応する処理装置５１ａは、グループＧｂに対応する処理装置５１ｂに比べてハードウェアの性能（例、ＣＰＵの処理速度、記憶部の読み書き速度、通信速度）が高くてもよい。この場合、グループＧａに対応する処理装置５１ａは、グループＧｂに対応する処理装置５１ｂに比べて、例えば処理の遅延が発生する可能性が低下する。
【0126】
複数の端末３を複数のグループに分ける処理（適宜、グループ分け処理という）は、例えば、図３の受付端末８によって実行される。グループ分け処理は、受付端末８と異なる装置によって実行されてもよい。例えば、グループ分け処理は、処理装置２によって実行されてもよいし、その他の装置によって実行されてもよい。グループ分け処理は、音声処理システム１の外部の装置によって実行されてもよい。
【0127】
［第４実施形態］
第４実施形態について説明する。図１０は、第４実施形態に係る音声処理システムを示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、所定領域（例、イベント会場ＡＥ）は、各々が各グループに対応する複数の部分領域に区分され、各グループは、各グループに対応する部分領域に含まれる観客位置に対応する第１音声処理装置の集合を含む。複数の部分領域は、それぞれ、複数のグループのいずれかと対応する。例えば、複数の端末３（図８参照）は、複数のグループＧに分かれている。複数のグループＧは、図９の第２の例ＥＸ２で説明したように、観客位置Ｑに対する演者位置の向きに基づいて決定されている。
第４実施形態について説明する。図１０は、第４実施形態に係る音声処理システムを示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、所定領域（例、イベント会場ＡＥ）は、各々が各グループに対応する複数の部分領域に区分され、各グループは、各グループに対応する部分領域に含まれる観客位置に対応する第１音声処理装置の集合を含む。複数の部分領域は、それぞれ、複数のグループのいずれかと対応する。例えば、複数の端末３（図８参照）は、複数のグループＧに分かれている。複数のグループＧは、図９の第２の例ＥＸ２で説明したように、観客位置Ｑに対する演者位置の向きに基づいて決定されている。
【0128】
図１０の音声処理システム１は、複数の処理装置２を備える。以下の説明において適宜、任意の処理装置を符号２で表し、処理装置２を区別する場合、処理装置２ａ、処理装置２ｂのように符号２にアルファベットａ、ｂ、・・・を追加した符号で表す。複数の処理装置２は、それぞれ、１つのグループＧと対応する。例えば、処理装置２ａはグループＧａと対応し、処理装置２ｂはグループＧｂと対応する。
【0129】
各処理装置２は、対応するグループＧに含まれる端末３にコンテンツのデータを提供する。例えば、処理装置２ａは、グループＧａに含まれる各端末３にコンテンツのデータを提供する。各処理装置２は、対応するグループＧに含まれる端末３から調整後の観客音のデータを取得する。例えば、処理装置２ａは、グループＧａに含まれる各端末３が送信した調整後の観客音のデータを受信する。各処理装置２は、対応するグループＧに含まれる端末３から取得した調整後の観客音を合成し、合成後の観客音のデータを出力する。例えば、処理装置２ａは、グループＧａに含まれる各端末３から取得した調整後の観客音を合成し、合成後の観客音のデータを出力する。
【0130】
本実施形態において、音声処理システム１は、複数の音声出力装置（例、スピーカ６）を備える。以下の説明において適宜、任意のスピーカを符号６で表し、スピーカ６を区別する場合、スピーカ６ａ、スピーカ６ｂのように符号６にアルファベットａ、ｂ、・・・を追加した符号で表す。複数のスピーカ６は、実演領域ＡＰに配置される。複数のスピーカ６は、それぞれ、処理装置２と対応関係がある。ここでは、スピーカ６は、処理装置２と１対１の関係で設けられるものとする。例えば、スピーカ６ａは処理装置２ａに対応し、スピーカ６ｂは処理装置２ｂと対応する。
【0131】
複数のスピーカ６は、それぞれ、対応する処理装置２が担当するグループＧと対応する。例えば、スピーカ６ａはグループＧａに対応し、スピーカ６ｂはグループＧｂと対応する。ここで、各グループＧに含まれる端末３に対応する観客位置Ｑが分布する領域をグループの領域という。
【0132】
実演領域ＡＰにおける演者Ｐと複数のスピーカ６との配置は、イベント会場ＡＥにおける演者位置Ｐ１と複数のグループ領域との配置と対応するように、設定される。ここで、実演領域ＡＰにおいて、演者Ｐを中心とし、演者Ｐの鉛直方向の周りの回転方向を考える。この回転方向は、イベント会場ＡＥにおいて、演者位置Ｐ１を中心とし、演者位置Ｐ１の鉛直方向の周りの回転方向と対応する。実演領域ＡＰにおいて、複数のスピーカ６は、回転方向の時計回りに、スピーカ６ａ、スピーカ６ｂ、スピーカ６ｃ、スピーカ６ｄ、スピーカ６ｅの順に配列されている。イベント会場ＡＥにおいて、複数のグループＧの領域は、回転方向の時計回りに、グループＧａの領域、グループＧｂの領域、グループＧｃの領域、グループＧｄの領域、グループＧｅの領域の順に配列されている。このように、複数のスピーカ６は、演者Ｐに対する方位角の関係が、演者位置Ｐ１に対する複数のグループＧの領域の相互の関係を保持するように、配置される。
【0133】
本実施形態において、音声処理システム１は、複数のカメラ４を備える。以下の説明において適宜、任意のカメラを符号４で表し、カメラ４を区別する場合、カメラ４ａ、カメラ４ｂのように符号４にアルファベットａ、ｂ、・・・を追加した符号で表す。複数のカメラ４は、実演領域ＡＰに配置される。複数のカメラ４は、それぞれ、処理装置２と対応関係がある。ここでは、カメラ４は、処理装置２と１対１の関係で設けられるものとする。例えば、カメラ４ａは処理装置２ａに対応し、カメラ４ｂは処理装置２ｂと対応する。複数のカメラ４は、それぞれ、対応する処理装置２が担当するグループＧと対応する。例えば、カメラ４ａはグループＧａに対応し、カメラ４ｂはグループＧｂと対応する。
【0134】
実演領域ＡＰにおける演者Ｐと複数のカメラ４との配置は、イベント会場ＡＥにおける演者位置Ｐ１と複数のグループＧの領域との配置と対応するように、設定される。ここで、実演領域ＡＰにおいて、演者Ｐを中心とし、演者Ｐの鉛直方向の周りの回転方向を考える。この回転方向は、イベント会場ＡＥにおいて、演者位置Ｐ１を中心とし、演者位置Ｐ１の鉛直方向の周りの回転方向と対応する。実演領域ＡＰにおいて、複数のカメラ４は、回転方向の時計回りに、カメラ４ａ、カメラ４ｂ、カメラ４ｃ、カメラ４ｄ、カメラ４ｅの順に配列されている。イベント会場ＡＥにおいて、複数のグループＧの領域は、回転方向の時計回りに、グループＧａの領域、グループＧｂの領域、グループＧｃの領域、グループＧｄの領域、グループＧｅの領域の順に配列されている。このように、複数のカメラ４は、演者Ｐに対する方位角の関係が、演者位置Ｐ１に対する複数のグループＧ領域の互いの位置関係を保持するように、配置される。各カメラ４は、演者位置Ｐ１に演者Ｐが居るとした場合に、対応するグループＧの領域から演者位置Ｐ１を見た状態に相当する映像を撮影するように、演者Ｐに対する向きが設定されている。
【0135】
処理装置２は、マイク５が検出した音と、処理装置２と対応するカメラ４が撮影した映像とを用いて、コンテンツを生成する。例えば、処理装置２ａは、マイク５が検出した音と、カメラ４ａが撮影した映像とを用いてコンテンツを生成する。処理装置２ａは、生成したコンテンツを、対応するグループＧａに含まれる端末３に提供する。
【0136】
本実施形態において、演者Ｐは、演者位置Ｐ１に対するグループＧの方位角と同様の方向から、このグループＧに対応する合成後の観客音を聞くことができる。例えば、イベント会場ＡＥにおいて、グループＧａは、演者位置Ｐ１の正面に対して左側の領域である。演者Ｐは、コンテンツの中でグループＧａの領域を向いて、ユーザに拍手等の反応を要求したとする。グループＧａに含まれる端末３によってコンテンツを視聴するユーザＵは、自分の方を向いて反応を呼びかける演者Ｐを見ることができる。このユーザＵが拍手や歓声などの反応を行うと、反応に相当する観客音は、端末３によって調整されて処理装置２ａによって合成され、スピーカ６ａから出力される。演者Ｐは、例えば、ユーザＵへ反応を呼びかけた方向から、反応に相当する観客音を聞くことができる。ユーザＵは、例えば、実空間におけるイベントの会場と異なる場所でイベントに参加する場合でも、臨場感を味わうことができ、実施形態に係る音声処理システム１は、新たな体験を提供できる。
【0137】
なお、図１０において、スピーカ６は、処理装置２と１対１の対応で設けられるが、１つの処理装置２に対応するスピーカ６の数は１でもよいし、複数でもよい。音声処理システム１は、少なくとも１つのスピーカ６を備えなくてもよい。例えば、複数のスピーカ６は、音声処理システム１と異なるシステム（例、音響システム）が備える装置であって、音声処理システムは、複数のグループＧの領域の配列と対応するように配列された複数のスピーカ６に対して、合成後の観客音のデータを出力するシステムでもよい。
【0138】
なお、図１０において、カメラ４は、処理装置２と１対１の対応で設けられるが、１つの処理装置２に対応するカメラ４の数は１でもよいし、複数でもよい。音声処理システム１は、少なくとも１つのカメラ４を備えなくてもよい。例えば、複数のカメラ４は、音声処理システム１と異なるシステム（例、撮影システム）が備える装置であって、音声処理システムは、複数のグループＧの領域の配列と対応するように配列された複数のカメラ４から、演者Ｐの映像を取得するシステムでもよい。カメラ４の数は１つでもよく、例えば、音声処理システム１は、複数のグループＧで共通のコンテンツを配信するシステムでもよい。
【0139】
実施形態に係る音声処理システム１は、予め作成された演者Ｐのコンピュータグラフィックス（適宜、ＣＧという）を利用して、コンテンツを生成してもよい。例えば、演者Ｐがポリゴン等の３次元ＣＧで表されており、音声処理システム１は、モーションキャプチャ等で検出される演者Ｐの動作を用いて、３次元ＣＧを動かすことでコンテンツを生成してもよい。音声処理システム１は、カメラ４によって取得される映像と、ＣＧとを組み合わせてコンテンツを生成してもよい。
【0140】
なお、実施形態に係る音声処理システム１は、ユーザからのイベントへの参加申請に基づいて、イベントが開催される所定領域におけるユーザの位置を表す観客位置を決定する位置決定部を備えなくてもよい。例えば、観客位置は、参加申請と無関係に決定されてもよいし、イベントの開催者によって決定されてもよい。このような形態であっても、音声処理システム１は、ユーザＵの反応を演者Ｐに伝えることができ、例えば演者ＰのパフォーマンスにユーザＵの反応が影響を及ぼすことによって、ユーザＵに新たな体験を提供できる。
【0141】
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本明細書の記載の一部とする。
【符号の説明】
【0142】
１ 音声処理システム、２ 処理装置、３ 端末、４ カメラ、５ マイク、６ スピーカ、７ 予約端末、８ 受付端末、Ｇ グループ、Ｐ 演者、Ｑ 観客位置、Ｒ 観客音、Ｕ ユーザ、２４ 位置決定部、２７ 合成部、２８ コンテンツ生成部、３４ 音調整部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】