特許 7593018 再生制御方法、制御システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】再生制御方法、制御システムおよびプログラム

(51)【国際特許分類】

   G10L 19/00 20130101AFI20241126BHJP

   H04N 21/233 20110101ALI20241126BHJP

   H04N 21/239 20110101ALI20241126BHJP

【ＦＩ】

G10L19/00 312E

G10L19/00 312F

H04N21/233

H04N21/239

【請求項の数】 9

(21)【出願番号】P 2020155484

(22)【出願日】2020-09-16

(65)【公開番号】P2022049333

(43)【公開日】2022-03-29

【審査請求日】2023-07-21

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】瀬戸 優樹

【審査官】土井 悠生

(56)【参考文献】

【文献】特開２０２１－１７０７０７（ＪＰ，Ａ）

【文献】国際公開第２０１７／００２６４２（ＷＯ，Ａ１）

【文献】特開２０１２－１２９８００（ＪＰ，Ａ）

【文献】特開２０１１－１９９５５０（ＪＰ，Ａ）

【文献】特開２０１０－１０３７５１（ＪＰ，Ａ）

【文献】特開２００３－１１６１１９（ＪＰ，Ａ）

【文献】特表２０１５－５０７８５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－９９／００

Ｈ０４Ｎ ２１／２３３

Ｈ０４Ｎ ２１／２３９

(57)【特許請求の範囲】

【請求項1】

相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信し、
前記複数の入力データの一部である１以上の第１入力データを選択し、
前記複数の入力データのうち前記１以上の第１入力データ以外の１以上の第２入力データについて、明瞭度を低下させる第２音響処理を実行し、
前記１以上の第１入力データに応じた第１音と、前記第２音響処理後の第２音とを、前記イベントの進行に並行して再生させる
コンピュータにより実現される再生制御方法。

【請求項2】

前記第１音と前記第２音との再生においては、前記イベントの動画の視聴者が使用する装置に前記第１音と前記第２音とを再生させる
請求項１の再生制御方法。

【請求項3】

前記第１音と前記第２音との再生においては、前記イベントが実施される場所に設置された再生システムに前記第１音と前記第２音とを再生させる
請求項１の再生制御方法。

【請求項4】

前記１以上の第１入力データは、２以上の第１入力データであり、
前記再生システムは、第１再生部と第２再生部とを含み、
前記第１音と前記第２音との再生においては、
前記２以上の第１入力データのうち一部の第１入力データに応じた前記第１音と前記第２音とを前記第１再生部に再生させ、
前記２以上の第１入力データのうち他の一部の第１入力データに応じた前記第１音と前記第２音とを前記第２再生部に再生させる
請求項３の再生制御方法。

【請求項5】

前記１以上の第１入力データは、２以上の第１入力データであり、
前記２以上の第１入力データについて、加工処理および混合処理を含む第１音響処理を実行し、
前記第１音と前記第２音との再生においては、前記第１音響処理後の前記第１音と前記第２音とを再生させる
請求項１から請求項３の何れかの再生制御方法。

【請求項6】

前記１以上の第１入力データの選択においては、前記複数の入力データから前記１以上の第１入力データをランダムに選択する
請求項１から請求項５の何れかの再生制御方法。

【請求項7】

前記１以上の第１入力データの選択においては、前記複数の入力データのうち、登録文字列に相関または相違する発話内容の音を表す前記１以上の第１入力データを選択する
請求項１から請求項５の何れかの再生制御方法。

【請求項8】

相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信する受信処理部と、
前記複数の入力データの一部である１以上の第１入力データを選択する選択処理部と、
前記複数の入力データのうち前記１以上の第１入力データ以外の１以上の第２入力データについて、明瞭度を低下させる第２音響処理を実行し、前記１以上の第１入力データに応じた第１音と、前記第２音響処理後の第２音とを、前記イベントの進行に並行して再生させる再生制御部と
を具備する制御システム。

【請求項9】

相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信する受信処理部、
前記複数の入力データの一部である１以上の第１入力データを選択する選択処理部、および、
前記複数の入力データのうち前記１以上の第１入力データ以外の１以上の第２入力データについて、明瞭度を低下させる第２音響処理を実行し、前記１以上の第１入力データに応じた第１音と、前記第２音響処理後の第２音とを、前記イベントの進行に並行して再生させる再生制御部
としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音の再生を制御する技術に関する。

【背景技術】

【0002】

例えばスポーツイベントまたは音楽イベント等の各種のイベントに、遠隔地の多数の利用者が関与するためのシステムが、従来から提案されている。例えば特許文献１には、遠隔地の利用者が端末装置に入力した音声を、イベントが実施される場所（以下「実施場所」という）に設置された出力装置に再生させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１５－５０７８５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術においては、遠隔地にいる多数の利用者の音声が混合された状態で実施場所の出力装置により再生される。したがって、各利用者の音声をイベントの観覧者が明瞭に聴取できないという課題がある。以上の事情を考慮して、本開示のひとつの態様は、複数の端末装置から受信したデータに応じた音をイベントにおいて聴取し易くすることを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る再生制御方法は、相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信し、前記複数の入力データの一部である１以上の第１入力データを選択し、前記１以上の第１入力データに応じた第１音を前記イベントの進行に並行して再生させる。

【0006】

本開示のひとつの態様に係る制御システムは、相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信する受信処理部と、前記複数の入力データの一部である１以上の第１入力データを選択する選択処理部と、前記１以上の第１入力データに応じた第１音を前記イベントの進行に並行して再生させる再生制御部とを具備する。

【0007】

本開示のひとつの態様に係るプログラムは、相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信する受信処理部、前記複数の入力データの一部である１以上の第１入力データを選択する選択処理部、および、前記１以上の第１入力データに応じた第１音を前記イベントの進行に並行して再生させる再生制御部、としてコンピュータを機能させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態における情報システムの構成を例示するブロック図である。

【図2】再生装置の構成を例示するブロック図である。

【図3】端末装置の構成を例示するブロック図である。

【図4】制御システムの構成を例示するブロック図である。

【図5】制御システムの機能的な構成を例示するブロック図である。

【図6】再生制御処理の具体的な手順を例示するフローチャートである。

【図7】第２実施形態における制御システムの機能的な構成を例示するブロック図である。

【図8】第２実施形態における再生制御処理の具体的な手順を例示するフローチャートである。

【図9】第３実施形態における再生制御部の動作に関する説明図である。

【図10】第４実施形態における再生制御部の構成を例示するブロック図である。

【図11】第５実施形態における情報システムの部分的な構成を例示するブロック図である。

【図12】第５実施形態における再生制御処理の具体的な手順を例示するフローチャートである。

【図13】第６実施形態における制御システムの機能的な構成を例示するブロック図である。

【図14】第６実施形態における再生制御処理の具体的な手順を例示するフローチャートである。

【発明を実施するための形態】

【0009】

Ａ：第１実施形態
図１は、第１実施形態に係る情報システム１００の構成を例示するブロック図である。情報システム１００は、施設２００内で実施されるイベントに関するサービスを複数の利用者Ｕaに提供するコンピュータシステムである。

【0010】

例えば、１以上の出場者が出場するスポーツイベント、または１以上の出演者が音楽を演奏または歌唱する音楽イベント、等の各種のイベントが施設２００内で実施される。スポーツイベントが実施される施設２００は、例えば競技場または体育館である。音楽イベントが実施される施設２００は、例えば音響ホール、ライブハウスまたは野外ステージである。

【0011】

施設２００を利用する複数の利用者Ｕbが施設２００内に所在する。複数の利用者Ｕbは、例えば、スポーツイベントに出場する出場者、音楽イベントに出演する出演者、イベントを管理および運営する運営者、またはイベントを観覧する観覧者を含む。なお、感染症の蔓延の防止等の種々の事情により、施設２００内に観覧者が存在しない状況でイベントが実施される場合もある。

【0012】

複数の利用者Ｕaの各々は、施設２００の外側に所在する。具体的には、利用者Ｕaは、施設２００から遠隔の地点（例えば自宅）に位置する。ただし、利用者Ｕaが施設２００内に所在してもよい。各利用者Ｕaは、再生装置２１および端末装置２２を利用可能である。端末装置２２は、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末である。なお、据置型のパーソナルコンピュータを端末装置２２として利用してもよい。

【0013】

再生装置２１は、施設２００内で実施されるイベントの状況を表すコンテンツＣを再生する。図２は、再生装置２１の構成を例示するブロック図である。コンテンツＣは、映像を表す映像データＣ1と、音を表す音響データＣ2とで構成される。再生装置２１は、映像データＣ1が表す映像を表示する表示装置３１と、音響データＣ2が表す音を再生する放音装置３２とを具備する。例えば、放送電波により伝送されるテレビ番組をコンテンツＣとして再生するテレビジョン受像機が、再生装置２１として利用される。また、例えばスマートフォンまたはタブレット端末等の情報端末も再生装置２１として利用される。多数の利用者Ｕaが視聴可能な大型の映像機器（パブリックビューイング）を再生装置２１として利用してもよい。なお、コンテンツＣは、音のみで構成されるラジオ番組でもよい。

【0014】

図１に例示される通り、情報システム１００は、収録システム１１と配信システム１２と再生システム１３と制御システム１４とを具備する。収録システム１１および再生システム１３は、施設２００内に設置される。収録システム１１は、配信システム１２と通信する。再生システム１３は、制御システム１４と通信する。なお、配信システム１２と制御システム１４とを単体の装置として構成してもよい。

【0015】

収録システム１１は、施設２００内で実施されるイベントの動画を収録する。具体的には、収録システム１１は、イベントの映像を撮像する撮像装置と、当該イベントの音を収音する収音装置とを具備する（図示略）。撮像装置が撮像する映像と収音装置が収音する音とで構成される動画が収録システム１１により生成される。

【0016】

配信システム１２は、収録システム１１が収録した動画を含むコンテンツＣを複数の再生装置２１の各々に配信する。配信システム１２は、各端末装置２２にもコンテンツＣを配信可能である。具体的には、配信システム１２は、施設２００内のイベントの進行に並行して実時間的にコンテンツＣを配信（すなわちライブ配信）する。各再生装置２１は、配信システム１２から通信網３００を介してコンテンツＣを受信し、当該コンテンツＣをイベントの進行に並行して再生する。利用者Ｕaは、再生装置２１が再生するコンテンツＣを視聴することで、イベントの状況を実時間的に把握できる。以上の説明から理解される通り、利用者Ｕaは、施設２００内で実施されるイベントの観覧者（具体的にはコンテンツＣの視聴者）である。

【0017】

再生システム１３は、施設２００内に音を再生する。再生システム１３は、例えば施設２００内の相異なる場所に設置された複数の放音装置（例えばスピーカ装置）を具備する。施設２００内の利用者Ｕbは、再生システム１３が再生する音を施設２００内において聴取可能である。制御システム１４は、再生システム１３による音の再生を制御するコンピュータシステムである。制御システム１４は、通信網３００を介して複数の端末装置２２の各々と通信可能である。

【0018】

図３は、各端末装置２２の構成を例示するブロック図である。端末装置２２は、制御装置４１と記憶装置４２と通信装置４３と操作装置４４と再生装置４５と収音装置４６とを具備する。なお、端末装置２２は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0019】

制御装置４１は、端末装置２２の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置４１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。

【0020】

記憶装置４２は、制御装置４１が実行するプログラムと制御装置４１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置４２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体により構成される。なお、複数種の記録媒体の組合せにより記憶装置４２を構成してもよい。通信装置４３は、通信網３００を介して制御システム１４と通信する。

【0021】

操作装置４４は、利用者Ｕaからの指示を受付ける入力機器である。操作装置４４は、例えば、利用者Ｕaが操作する複数の操作子、または、利用者Ｕaによる接触を検知するタッチパネルである。

【0022】

再生装置４５は、動画を再生する。例えば、再生装置４５は、再生装置２１と同様にコンテンツＣを再生可能である。例えば、再生装置４５は、図２に例示した再生装置２１と同様に、映像データＣ1が表す映像を表示する表示装置３１と、音響データＣ2が表す音を再生する放音装置３２とを具備する。なお、通信装置４３が配信システム１２から受信するコンテンツＣを再生装置４５が再生してもよい。すなわち、再生装置２１は省略されてもよい。

【0023】

収音装置４６は、利用者Ｕaが発音した音声（以下「入力音声」という）を収音するマイクロホンである。具体的には、収音装置４６は、入力音声の波形を表す音響信号Ｖを生成する。利用者Ｕaは、再生装置２１または再生装置４５を利用してコンテンツＣを視聴しながら、所望の時点で収音装置４６に対して入力音声を発音する。入力音声は、例えば、イベントの出場者または出演者を応援する音声、イベントの進行に対する歓声、またはイベントに対する不満を表す罵声等である。なお、音響信号Ｖをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略されている。なお、第１実施形態においては収音装置４６が端末装置２２に搭載された構成を例示するが、端末装置２２とは別体の収音装置４６を有線または無線により端末装置２２に接続してもよい。

【0024】

制御装置４１は、収音装置４６が生成する音響信号Ｖから入力データＤを生成する。第１実施形態の入力データＤは、入力音声の波形を表すサンプル列で構成される音響データである。すなわち、入力データＤは、利用者Ｕaによる入力（すなわち音声入力）に応じたデータである。制御装置４１は、操作装置４４に対する利用者Ｕaからの操作を契機として入力データＤを生成する。例えば、操作装置４４の操作が継続されている期間、または、操作装置４４に対する操作で指示された２個の時点間の期間において、音響信号Ｖから入力データＤが生成される。なお、端末装置２２を利用者Ｕaが振動させる動作等を契機として、当該端末装置２２が入力データＤを送信してもよい。

【0025】

通信装置４３は、制御装置４１が生成した入力データＤを制御システム１４に送信する。以上の説明から理解される通り、イベントの進行に並行して、複数の端末装置２２の各々から制御システム１４に対して入力データＤが並列または順次に送信される

【0026】

図４は、制御システム１４の構成を例示するブロック図である。制御システム１４は、制御装置５１と記憶装置５２と通信装置５３とを具備する。なお、制御システム１４は、単体の装置として実現されるほか、相互に別体で構成された複数の装置の集合としても実現される。

【0027】

制御装置５１は、制御システム１４の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置５１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。

【0028】

記憶装置５２は、制御装置５１が実行するプログラムと制御装置５１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置５２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体により構成される。なお、複数種の記録媒体の組合せにより記憶装置５２を構成してもよい。

【0029】

通信装置５３は、通信網３００を介して複数の端末装置２２の各々と通信する。通信装置５３は、複数の端末装置２２の各々から送信された入力データＤを受信する。

【0030】

図５は、制御システム１４の機能的な構成を例示するブロック図である。制御装置５１は、記憶装置５２に記憶されたプログラムを実行することで複数の機能（受信処理部６１、選択処理部６２および再生制御部６３）として機能する。

【0031】

受信処理部６１は、各端末装置２２から送信された入力データＤを通信装置５３により受信する。すなわち、受信処理部６１は、相異なる端末装置２２の利用者Ｕaによる入力音声を表す複数の入力データＤを受信する。受信処理部６１による複数の入力データＤの受信は、イベントの進行に並行して所定の周期で反復される。

【0032】

選択処理部６２は、受信処理部６１が受信した複数の入力データＤのうちＮ個の入力データＤ（以下「選択データＤ1」という）を選択する。第１実施形態における選択データＤ1の個数Ｎは、２以上の自然数である。個数Ｎは、例えば、事前に指定された固定値に設定される。Ｎ個の選択データＤ1は、複数の入力データＤのうちの一部である。すなわち、選択処理部６２は、複数の入力データＤの一部を選択データＤ1として選択する。第１実施形態の選択処理部６２は、複数の入力データＤからランダムにＮ個の選択データＤ1を選択する。以上の構成によれば、選択処理部６２がＮ個の選択データＤ1を選択する処理の負荷が軽減される。選択処理部６２によるＮ個の選択データＤ1の選択は、受信処理部６１による入力データＤの受信毎に反復される。なお、選択データＤ1は「第１入力データ」の一例である。

【0033】

なお、入力データＤをランダムに選択する処理は、複数の入力データＤからＮ個の選択データＤ1を直接的に選択する処理のほか、利用者Ｕaを選択する第１処理、または、端末装置２２を選択する第２処理としても実現される。第１処理は、選択処理部６２が、事前に登録された複数の利用者ＵaからＮ人の利用者Ｕaをランダムに選択し、当該Ｎ人の利用者Ｕaにそれぞれ対応するＮ個の入力データＤを選択データＤ1として選択する処理である。第２処理は、選択処理部６２が、事前に登録された複数の端末装置２２からＮ個の端末装置２２をランダムに選択し、当該Ｎ個の端末装置２２から受信したＮ個の入力データＤを選択データＤ1として選択する処理である。

【0034】

図５の再生制御部６３は、選択処理部６２が選択したＮ個の選択データＤ1に応じた音（以下「選択音」という）を、施設２００内の再生システム１３に再生させる。選択音は、イベントの進行に並行して再生される。したがって、施設２００内の利用者Ｕb（出場者，出演者，運営者または観覧者）は選択音を聴取する。以上の説明から理解される通り、再生制御部６３は、イベントの観覧者に対して選択音を再生させる。選択音は「第１音」の一例である。

【0035】

他方、受信処理部６１が受信した複数の入力データＤのうち選択処理部６２により選択されないＭ個の入力データＤ（以下「非選択データＤ2」という）に応じた音は再生されない（Ｍは１以上の自然数）。すなわち、Ｍ個の非選択データＤ2は、再生システム１３による再生に寄与しない。以上の通り、複数の入力データＤのうちＮ個の選択データＤ1以外のＭ個の非選択データＤ2は、選択音の再生において無視される。したがって、Ｍ個の非選択データＤ2に応じた音も再生する構成と比較して、再生制御部６３による処理の負荷を軽減できる。

【0036】

第１実施形態の再生制御部６３は、Ｎ個の選択データＤ1に対する音響処理により音響信号Ｘを生成し、音響信号Ｘを再生システム１３に供給することで再生システム１３に選択音を再生させる。すなわち、相異なる選択データＤ1が表すＮ個の入力音声に対する音響処理で生成された選択音が再生システム１３により再生される。

【0037】

音響処理は、加工処理と混合処理とを含むミキシング処理である。加工処理は、Ｎ個の選択データＤ1の各々が表す入力音声を加工する信号処理である。具体的には、加工処理は、各入力音声の音色を調整する処理、各入力音声の定位を制御する処理、各入力音声に各種の音響効果を付与する処理、または、Ｎ個の入力音声の相互間の音量比を調整する処理を含む。混合処理は、加工処理後のＮ個の入力音声を混合する信号処理である。以上に例示した音響処理により、受聴者がＮ個の入力音声の各々を明瞭に識別可能な選択音の音響信号Ｘが生成される。

【0038】

図６は、制御装置５１が実行する処理（以下「再生制御処理」という）Ｓaの具体的な手順を例示するフローチャートである。再生制御処理Ｓaは、例えば所定の周期で反復される。

【0039】

再生制御処理Ｓaが開始されると、制御装置５１（受信処理部６１）は、相異なる端末装置２２から送信された複数の入力データＤを通信装置５３により受信する（Ｓa1）。制御装置５１（選択処理部６２）は、複数の入力データＤからランダムにＮ個の選択データＤ1を選択する（Ｓa2）。制御装置５１（再生制御部６３）は、Ｎ個の選択データＤ1に応じた選択音を再生システム１３に再生させる（Ｓa3）。

【0040】

以上の説明から理解される通り、第１実施形態においては、相異なる端末装置２２の利用者Ｕaによる入力に応じた複数の入力データＤからＮ個の選択データＤ1が選択され、Ｎ個の選択データＤ1に応じた選択音がイベントの進行に並行して再生される。したがって、受信処理部６１が受信した全部の入力データＤに応じた音が再生される構成と比較して、受聴者が選択音（さらには各入力音声）を聴感的に識別し易い。また、第１実施形態においては、Ｎ個の選択データＤ1に応じた再生音が、イベントが実施される施設２００内に再生される。したがって、施設２００から遠隔に所在する端末装置２２の利用者Ｕaが、施設２００内におけるイベントの雰囲気に関与できる。

【0041】

第１実施形態においては、Ｎ個の選択データＤ1に対して加工処理と混合処理とを含む音響処理が実行される。したがって、Ｎ個の選択データＤ1が表す入力音声の混合音を再生する構成と比較して、各端末装置２２の利用者Ｕaが発音した入力音声を受聴者が明瞭に聴取し易いという利点がある。

【0042】

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。

【0043】

図７は、第２実施形態における制御システム１４の機能的な構成を例示するブロック図である。第２実施形態の記憶装置５２は条件データＱを記憶する。条件データＱは、選択処理部６２がＮ個の選択データＤ1を選択するための条件を規定するデータである。具体的には、条件データＱは、複数の登録文字列Ｗr（Ｗr1，Ｗr2，…）が登録されたリストである。

【0044】

第２実施形態の制御装置５１は、第１実施形態と同様の要素（受信処理部６１，選択処理部６２および再生制御部６３）に加えて音声認識部６４として機能する。音声認識部６４は、受信処理部６１が受信した複数の入力データＤの各々について音声認識を実行することで発話文字列Ｗiを特定する。発話文字列Ｗiは、入力データＤが表す入力音声の発話内容に対応する文字列である。入力データＤから発話文字列Ｗiを特定するための音声認識処理には、公知の技術が任意に採用される。

【0045】

第２実施形態の選択処理部６２は、条件データＱにより規定される条件のもとで複数の入力データＤからＮ個の選択データＤ1を選択する。具体的には、選択処理部６２は、条件データＱに登録された複数の登録文字列Ｗrの何れかに相関する発話文字列Ｗiが特定された入力データＤを、選択データＤ1として複数の入力データＤから選択する。登録文字列Ｗrと発話文字列Ｗiとの相関とは、登録文字列Ｗrと発話文字列Ｗiとが相互に類似または一致する関係である。すなわち、選択処理部６２は、複数の登録文字列Ｗrの何れかに類似または一致する発話文字列Ｗiが特定された入力データＤを、選択データＤ1として選択する。したがって、選択データＤ1の個数Ｎは、各利用者Ｕaによる発話内容に応じた可変値である。すなわち、登録文字列Ｗrに類似または一致する語句を発音した利用者Ｕaが多いほど、選択データＤ1の個数Ｎは増加する。

【0046】

選択処理部６２が選択したＮ個の選択データＤ1に応じた選択音を再生システム１３に再生させる動作は、第１実施形態と同様である。以上の説明から理解される通り、再生システム１３による再生が許容される発話内容が条件データＱに登録される。すなわち、条件データＱは、再生が許容される入力音声の発話内容について条件を規定する。

【0047】

図８は、第２実施形態における再生制御処理Ｓbの具体的な手順を例示するフローチャートである。再生制御処理Ｓbは、例えば所定の周期で反復される。

【0048】

再生制御処理Ｓbが開始されると、制御装置５１（受信処理部６１）は、第１実施形態と同様に、複数の入力データＤを通信装置５３により受信する（Ｓb1）。制御装置５１（音声認識部６４）は、複数の入力データＤの各々に対する音声認識処理により、各入力データＤの発話文字列Ｗiを特定する（Ｓb2）。制御装置５１（選択処理部６２）は、登録文字列Ｗrに相関する発話文字列Ｗiが特定された入力データＤを、選択データＤ1として選択する（Ｓb3）。制御装置５１（再生制御部６３）は、第１実施形態と同様に、Ｎ個の選択データＤ1に応じた選択音を再生システム１３に再生させる（Ｓb4）。

【0049】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、登録文字列Ｗrに相関する発話内容の入力音声を表す入力データＤが選択データＤ1として選択される。したがって、不適切な文字列を含む選択音が再生される可能性を低減できる。

【0050】

なお、以上の説明においては、登録文字列Ｗrに相関する発話内容の入力データＤを選択したが、選択処理部６２は、条件データＱに登録された複数の登録文字列Ｗrとは相違する発話内容の入力データＤを選択データＤ1として選択してもよい。すなわち、選択処理部６２は、条件データＱの登録文字列Ｗrとは相違する発話文字列Ｗiが特定された入力データＤを、選択データＤ1として選択する。したがって、登録文字列Ｗrに相関する発話文字列Ｗiに対応する入力データＤは選択されない。以上の説明から理解される通り、条件データＱには、選択処理部６２による選択が許容される入力データＤの条件と、選択処理部６２による選択が禁止される入力データＤの条件との何れかが規定される。

【0051】

Ｃ：第３実施形態
図９は、第３実施形態における再生制御部６３の動作に関する説明図である。図９に例示される通り、第３実施形態の再生システム１３は、施設２００内の相異なる場所に設置されたＫ個の再生部１６_1～１６_Kを含む。各再生部１６_k（ｋ＝１～Ｋ）は、音響信号Ｘ_kが表す選択音を再生するスピーカ装置である。

【0052】

第３実施形態の再生制御部６３は、選択処理部６２が選択したＮ個の選択データＤ1からＫチャネルの音響信号Ｘ_1～Ｘ_Kを生成する。各音響信号Ｘ_kは、Ｎ個の選択データＤ1を区分したＫ個の組（以下「選択データ組」という）の何れかに対応する。例えば、選択データＤ1の個数Ｎが音響信号Ｘ_kの総数Ｋの整数倍（ｚ倍）である場合を想定すると（Ｎ＝ｚ・Ｋ）、Ｋ個の選択データ組の各々は、ｚ個の選択データＤ1で構成される。再生制御部６３は、第ｋ番目の選択データ組を構成するｚ個の選択データＤ1から音響信号Ｘ_kを生成する。具体的には、再生制御部６３は、第ｋ番目の選択データ組のｚ個の選択データＤ1に対して音響処理（加工処理および混合処理）を実行することで、選択音を表す音響信号Ｘ_kを生成する。なお、各音響信号Ｘ_kの生成に使用される選択データＤ1の個数ｚを、音響信号Ｘ_k毎に相違させてもよい。

【0053】

各音響信号Ｘ_kは、Ｋ個の再生部１６_1～１６_Kのうち１個の再生部１６_kに供給される。各再生部１６_kは、音響信号Ｘ_kが表す選択音を再生する。具体的には、再生部１６_kは、Ｋ個の選択データ組のうち第ｋ番目の選択データ組を構成するｚ個の選択データＤ1に応じた選択音を再生する。選択データＤ1の個数Ｎが音響信号Ｘ_kの総数Ｋと一致する場合（ｚ＝１）を想定すると、Ｋ個の再生部１６_1～１６_Kの各々が、相異なる１個の選択データＤ1に応じた選択音を再生する。

【0054】

いま、任意の２個の再生部１６_k1および再生部１６_k2に着目する（ｋ1，ｋ2＝１～Ｋ，ｋ1≠ｋ2）。再生部１６_k1には音響信号Ｘ_k1が供給され、再生部１６_k2には音響信号Ｘ_k2が供給される。再生部１６_k1は、第ｋ1番目の選択データ組を構成するｚ個の選択データＤ1に応じた選択音を再生する。同様に、再生部１６_k2は、第ｋ2番目の選択データ組を構成するｚ個の選択データＤ1に応じた選択音を再生する。すなわち、再生制御部６３は、Ｎ個の選択データＤ1のうち一部（第ｋ1番目の選択データ組）の選択データＤ1に応じた選択音を、再生部１６_k1に再生させる。また、再生制御部６３は、Ｎ個の選択データＤ1のうち他の一部（第ｋ2番目の選択データ組）の選択データＤ1に応じた選択音を、再生部１６_k2に再生させる。再生部１６_k1は「第１再生部」の一例であり、再生部１６_k2は「第２再生部」の一例である。

【0055】

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、Ｎ個の選択データＤ1のうち一部の選択データＤ1に応じた選択音と、他の一部の選択データＤ1に応じた選択音とが、別個の再生部１６により再生される。したがって、Ｎ個の選択データＤ1に応じた選択音が１個の再生部１６により再生される構成と比較して、各端末装置２２の利用者Ｕaが発音した入力音声を受聴者が明瞭に聴取し易いという利点がある。なお、Ｎ個の選択データＤ1の選択に条件データＱを利用する第２実施形態の構成は、第３実施形態に適用されてもよい。

【0056】

Ｄ：第４実施形態
第１実施形態から第３実施形態においては、Ｎ個の選択データＤ1に応じた選択音を再生システム１３に再生させる構成を例示した。第４実施形態の再生制御部６３は、Ｎ個の選択データＤ1に応じた選択音に加えて、Ｍ個の非選択データＤ2に応じた音（以下「非選択音」という）を再生システム１３に再生させる。Ｍ個の非選択データＤ2は、前述の通り、受信処理部６１が受信した複数の入力データＤのうちＮ個の選択データＤ1以外の入力データＤである。なお、Ｍ個の非選択データＤ2は、Ｎ個の選択データＤ1以外の複数の入力データＤのうちの一部でもよい。非選択データＤ2は、「第２入力データ」の一例である。

【0057】

図１０は、第４実施形態における再生制御部６３の構成を例示するブロック図である。第４実施形態の再生制御部６３は、第１処理部６３１と第２処理部６３２と混合部６３３とを具備する。

【0058】

第１処理部６３１は、Ｎ個の選択データＤ1に対する第１音響処理により音響信号Ｙ1を生成する。第１音響処理は、第１実施形態において例示した音響処理と同様に、加工処理と混合処理とを含むミキシング処理である。したがって、第４実施形態の音響信号Ｙ1は、第１実施形態における音響信号Ｘに相当する。すなわち、第１処理部６３１による第１音響処理により、受聴者がＮ個の入力音声の各々を明瞭に識別可能な選択音の音響信号Ｙ1が生成される。

【0059】

第２処理部６３２は、Ｍ個の非選択データＤ2に対する第２音響処理により音響信号Ｙ2を生成する。第２音響処理は、各非選択データＤ2が表す入力音声の明瞭度を低下させる信号処理である。すなわち、音響信号Ｙ2が表す非選択音は、受聴者が音韻（すなわち発話内容）を聴感的に識別できない音声である。具体的には、第２音響処理は、入力音声の音量を低減する処理、音韻が識別されない雑音成分（例えば白色雑音）を入力音声に混合する処理、音韻が識別されない雑音成分に入力音声を変換または置換する処理、または、入力音声の複数の調波成分を低減する処理、等の各種の処理を含む。すなわち、第２処理部６３２による第２音響処理により、受聴者がＭ個の入力音声の各々を明瞭に識別できない非選択音の音響信号Ｙ2が生成される。

【0060】

混合部６３３は、第１処理部６３１が生成した音響信号Ｙ1と第２処理部６３２が生成した音響信号Ｙ2とを混合することで音響信号Ｘを生成する。例えば、混合部６３３は、音響信号Ｙ1と音響信号Ｙ2との加重和により音響信号Ｘを生成する。音響信号Ｙ2の加重値を音響信号Ｙ1の加重値よりも小さい数値に設定してもよい。

【0061】

混合部６３３により生成された音響信号Ｘが再生システム１３に供給される。すなわち、音響信号Ｙ1が表す明瞭な選択音と音響信号Ｙ2が表す不明瞭な非選択音とが施設２００内に再生される。以上の説明から理解される通り、第４実施形態の再生制御部６３は、Ｎ個の選択データＤ1に応じた選択音と、Ｍ個の非選択データＤ2に応じた非選択音とを、再生システム１３に再生させる。

【0062】

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態においては、Ｎ個の選択データＤ1に応じた選択音とともに、Ｍ個の非選択データＤ2に応じた非選択音が再生される。したがって、施設２００内のイベントの雰囲気に関与できる利用者Ｕaを増加させることが可能である。また、Ｍ個の非選択データＤ2については明瞭度を低下させる第２音響処理が実行されるから、Ｎ個の選択データＤ1に応じた選択音を受聴者が聴取し易い状態は維持される。なお、第２実施形態または第３実施形態の構成を第４実施形態に適用してもよい。

【0063】

Ｅ：第５実施形態
図１１は、第５実施形態における情報システム１００の部分的な構成を例示するブロック図である。第５実施形態における受信処理部６１および選択処理部６２の構成および動作は、第１実施形態と同様である。例えば、選択処理部６２は、受信処理部６１が受信した複数の入力データＤからＮ個の選択データＤ1を選択する。

【0064】

第５実施形態における制御システム１４の再生制御部６３は、選択処理部６２が選択したＮ個の選択データＤ1から音響信号Ｘを生成し、音響信号Ｘを配信システム１２に送信する。音響信号Ｘは、例えば通信網３００を介して制御システム１４から配信システム１２に送信される。Ｎ個の選択データＤ1から音響信号Ｘを生成するための音響処理は第１実施形態と同様である。なお、再生制御部６３は、再生システム１３に対する音響信号Ｘの供給に並行して当該音響信号Ｘを配信システム１２に送信する。ただし、再生システム１３に対する音響信号Ｘの供給は省略されてもよい。すなわち、再生システム１３は省略されてもよい。

【0065】

配信システム１２は、制御システム１４から受信した音響信号ＸをコンテンツＣの音響データＣ2に合成する。混合後の音響データＣ2は、収録システム１１が施設２００内で収音した音と、Ｎ個の選択データＤ1に応じた選択音との混合音を表す。再生装置２１または再生装置４５の放音装置３２は、配信システム１２から受信した音響データＣ2が表す音を再生する。すなわち、施設２００内で収音された音とともに、Ｎ個の選択データＤ1に応じた選択音が放音装置３２から再生される。以上の説明から理解される通り、第５実施形態の再生制御部６３は、コンテンツＣの視聴者が使用する装置（再生装置２１または再生装置４５）に選択音を再生させる。すなわち、利用者Ｕaが発音した入力音声が、当該利用者Ｕaの放音装置３２（再生装置２１または再生装置４５）により再生される。

【0066】

図１２は、第５実施形態における再生制御処理Ｓcの具体的な手順を例示するフローチャートである。第１実施形態と同様に、再生制御処理Ｓcは、例えば所定の周期で反復される。

【0067】

再生制御処理Ｓcが開始されると、制御装置５１（受信処理部６１）は、第１実施形態と同様に、相異なる端末装置２２から送信された複数の入力データＤを通信装置５３により受信する（Ｓc1）。制御装置５１（選択処理部６２）は、第１実施形態と同様に、複数の入力データＤからＮ個の選択データＤ1を選択する（Ｓc2）。制御装置５１（再生制御部６３）は、Ｎ個の選択データＤ1に応じた音響信号Ｘを配信システム１２に送信することで、Ｎ個の選択データＤ1に応じた選択音を再生装置２１または再生装置４５に再生させる（Ｓc3）。

【0068】

以上に例示した通り、第５実施形態においては、相異なる端末装置２２の利用者Ｕaによる入力に応じた複数の入力データＤからＮ個の選択データＤ1が選択され、Ｎ個の選択データＤ1に応じた選択音がイベントの進行に並行して再生される。したがって、第１実施形態と同様に、受信処理部６１が受信した全部の入力データＤに応じた音が再生される構成と比較して、受聴者が選択音を聴感的に識別し易い。また、第５実施形態においては、Ｎ個の選択データＤ1に応じた再生音が、コンテンツＣの視聴者が使用する装置（再生装置２１または再生装置４５）により再生される。したがって、施設２００から遠隔に所在する端末装置２２の利用者Ｕaが、再生装置２１または再生装置３４が再生するコンテンツＣの雰囲気に関与できる。

【0069】

なお、以上の説明においては、第１実施形態の構成を基礎として第５実施形態を例示したが、第２実施形態から第４実施形態の構成が第５実施形態に適用されてもよい。例えば、選択処理部６２が条件データＱを参照してＮ個の選択データＤ1を選択する第２実施形態の構成は、第５実施形態にも同様に適用される。また、再生制御部６３がＫチャネルの音響信号Ｘ_1～Ｘ_Kを生成する第３実施形態の構成も第５実施形態に適用される。各音響信号Ｘ_kが表す選択音が、再生装置２１または再生装置４５に搭載されたＫ個の再生部（例えばスピーカ装置）の何れかにより再生される。また、第４実施形態の構成を第５実施形態に適用してもよい。例えば、Ｎ個の選択データＤ1に応じた選択音とＭ個の非選択データＤ2に応じた非選択音との混合音を表す音響信号Ｘが配信システム１２に送信され、当該音響信号Ｘが音響データＣ2に合成される。再生装置２１または再生装置４５の放音装置３２は、Ｎ個の選択データＤ1に応じた選択音とＭ個の非選択データＤ2に応じた非選択音とを再生する。

【0070】

Ｆ：第６実施形態
図１３は、第６実施形態における制御システム１４の機能的な構成を例示するブロック図である。第６実施形態の制御システム１４における制御装置５１は、記憶装置５２に記憶されたプログラムを実行することで、選択処理部７１と受信処理部７２と再生制御部７３とを実現する。

【0071】

選択処理部７１は、情報システム１００によるサービスの提供先として登録された複数の端末装置２２のうちＮ個の端末装置（以下「選択端末」という）２２を選択する。Ｎ個の選択端末２２は、複数の端末装置２２のうちの一部である。選択処理部７１がＮ個の選択端末２２を選択する方法は任意である。例えば、選択処理部７１は、複数の端末装置２２からランダムにＮ個の選択端末２２を選択する。また、選択処理部７１は、複数の端末装置２２のうち所定の条件を充足するＮ個の選択端末２２を選択する。所定の条件は任意であるが、例えば、通信速度が閾値を上回ること等、通信環境に関する条件が想定される。選択処理部７１は、選択／非選択を表す制御データＧを複数の端末装置２２の各々に送信する。なお、複数の端末装置２２のうちＮ個の選択端末２２のみに限定して、選択を意味する制御データＧを送信してもよい。

【0072】

Ｎ個の選択端末２２の各々は、第１実施形態と同様に、利用者Ｕaによる入力に応じた入力データＤを制御システム１４に送信する。具体的には、利用者Ｕaによる入力音声の波形を表す音響データが、入力データＤとして各選択端末２２から制御システム１４に送信される。各選択端末２２による入力データＤの送信は、施設２００内のイベントの進行に並行して順次に実行される。

【0073】

他方、複数の端末装置２２のうちＮ個の選択端末２２以外のＭ個の端末装置（以下「非選択端末」という）２２から入力データＤは送信されない。すなわち、各非選択端末２２は、利用者Ｕaによる音声の入力を受付けた場合でも入力データＤの送信を実行しない。したがって、相異なる選択端末２２に対応するＮ個の入力データＤが、イベントの進行に並行して制御システム１４に順次に送信される。すなわち、第６実施形態においては、複数の端末装置２２のうちの一部である１以上の端末装置２２（選択端末２２）から入力データＤが送信される。

【0074】

受信処理部７２は、Ｎ個の選択端末２２の各々から送信された入力データＤを通信装置５３により受信する。受信処理部６１によるＮ個の入力データＤの受信は、イベントの進行に並行して所定の周期で反復される。

【0075】

再生制御部７３は、受信処理部７２が受信したＮ個の入力データＤに応じた選択音を再生システム１３に再生させる。具体的には、再生制御部７３は、Ｎ個の入力データＤに対する音響処理により音響信号Ｘを生成し、音響信号Ｘを再生システム１３に供給することで選択音を再生させる。すなわち、相異なる入力データＤが表すＮ個の入力音声に対する音響処理で生成された選択音が再生システム１３により再生される。音響処理は、第１実施形態と同様に、加工処理と混合処理とを含むミキシング処理である。施設２００内の利用者Ｕbは、イベントの進行に並行して選択音を聴取する。

【0076】

図１４は、制御装置５１が実行する再生制御処理Ｓdの具体的な手順を例示するフローチャートである。選択処理部７１による選択端末２２の選択と制御データＧの送信との実行後に、例えば所定の周期で再生制御処理Ｓdが反復される。

【0077】

再生制御処理Ｓdが開始されると、制御装置５１（受信処理部７２）は、相異なる選択端末２２から送信されたＮ個の入力データＤを通信装置５３により受信する（Ｓd1）。制御装置５１（再生制御部７３）は、Ｎ個の入力データＤに応じた選択音を再生システム１３に再生させる（Ｓd2）。

【0078】

以上の説明から理解される通り、第６実施形態においては、複数の端末装置２２の一部であるＮ個の選択端末２２の各々から入力データＤが受信され、Ｎ個の入力データＤに応じた選択音がイベントの進行に並行して再生される。したがって、複数の端末装置２２の全部から送信された入力データＤに応じた選択音が再生される構成と比較して、受聴者が選択音を聴感的に識別し易い。また、非選択端末２２は入力データＤを送信しないから、選択音の再生に必要な通信量を削減できるという利点もある。

【0079】

なお、第３実施形態と同様の構成は、第６実施形態にも適用される。すなわち、再生制御部７３は、受信処理部７２が受信したＮ個の入力データＤからＫチャネルの音響信号Ｘ_1～Ｘ_Kを生成する。音響信号Ｘ_1～Ｘ_Kの生成には第３実施形態と同様の処理が採用される。各音響信号Ｘ_kは、再生システム１３に含まれるＫ個の再生部１６_1～１６_Kのうち１個の再生部１６_kに供給される。すなわち、各再生部１６_kは、音響信号Ｘ_kが表す選択音を再生する。

【0080】

また、第５実施形態と同様の構成は、第６実施形態にも適用される。すなわち、再生制御部７３は、Ｎ個の入力データＤから生成した音響信号Ｘを配信システム１２に送信する。配信システム１２は、制御システム１４から受信した音響信号ＸをコンテンツＣの音響データＣ2に合成する。したがって、再生装置２１または再生装置４５の放音装置３２は、Ｎ個の入力データＤに応じた選択音を再生する。すなわち、第６実施形態の再生制御部７３は、コンテンツＣの視聴者が使用する装置（再生装置２１または再生装置４５）に選択音を再生させる。以上の説明から理解される通り、利用者Ｕaが発音した入力音声が、当該利用者Ｕaの放音装置３２（再生装置２１または再生装置４５）により再生される。

【0081】

Ｇ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0082】

（１）選択処理部６２が複数の入力データＤからＮ個の選択データＤ1を選択する方法は、前述の各形態において例示した方法に限定されない。選択処理部６２がＮ個の選択データＤ1を選択する方法としては、例えば以下の態様１Ａから態様１Ｄが例示される。

【0083】

［態様１Ａ］
態様１Ａにおいては、複数の利用者Ｕaのうち特定の利用者Ｕaの入力データＤを選択処理部６２が選択する。具体的には、複数の利用者Ｕaのうち特定の条件を充足する利用者Ｕaの識別情報（または当該利用者Ｕaの端末装置２２の識別情報）が記憶装置５２に記憶される。例えば、電子決済処理により所定額の支払が完了した利用者Ｕaの識別情報、または、情報システム１００によるサービスに利用されるポイントの所定量を消費した利用者Ｕaの識別情報が、記憶装置５２に記憶される。選択処理部６２は、受信処理部６１が受信した複数の入力データＤのうち、記憶装置５２に識別情報が記憶された利用者Ｕaの端末装置２２から受信した入力データＤを選択データＤ1として選択する。また、電子決済処理による支払額またはポイントの消費量に応じて、利用者Ｕaの入力データＤが単位時間内に選択データＤ1として選択される回数を利用者Ｕa毎に変更してもよい。

【0084】

［態様１Ｂ］
態様１Ｂにおいては、各利用者Ｕaの属性に応じて選択処理部６２が各利用者Ｕaの入力データＤを選択する。例えば、複数の利用者Ｕaの各々について複数種の属性が記憶装置５２に記憶される。利用者Ｕaの属性は、例えば年齢または性別等である。スポーツイベントにおいては利用者Ｕaが応援するチームを当該利用者Ｕaの属性として登録してもよい。選択処理部６２は、複数の利用者Ｕaのうち特定の属性が登録された利用者Ｕaの入力データＤを選択データＤ1として選択する。スポーツイベントにおけるホームチームおよびアウェイチームの何れかを応援する利用者Ｕaの入力データＤを選択処理部６２が選択してもよい。入力データＤの選択対象となる利用者Ｕaの属性を選択処理部６２が経時的に変化させてもよい。

【0085】

また、第１属性の利用者Ｕaの複数の入力データＤから選択される選択データＤ1の個数と、第２属性の利用者Ｕaの複数の入力データＤから選択される選択データＤ1の個数とが所定の比率になるように、選択処理部６２がＮ個の選択データＤ1を選択してもよい。例えばホームチームを応援する利用者Ｕaに対応する選択データＤ1の個数と、アウェイチームを応援する利用者Ｕaに対応する選択データＤ1の個数とが所定の比率となるように、選択処理部６２がＮ個の選択データＤ1を選択する。

【0086】

［態様１Ｃ］
態様１Ｃにおいては、各利用者Ｕaの端末装置２２から入力データＤを受信した時点に応じて選択処理部６２がＮ個の選択データＤ1を選択する。例えば、時間軸上の複数の期間の各々において、受信処理部６１が受信した複数の入力データＤのうち当該期間内における受信の順番でＮ個の選択データＤ1を選択処理部６２が選択する。

【0087】

［態様１Ｄ］
態様１Ｄにおいては、複数の入力データＤのうち管理者が手動で指示した入力データＤを、選択処理部６２が選択データＤ1として選択する。管理者は、例えばイベントの運営者または情報システム１００の運営者である。例えば、各入力データＤから特定された発話文字列Ｗiを管理者が視認し、複数の入力データＤのうち発話文字列Ｗiが特定の条件を充足する入力データＤを管理者が指示する。例えば適切な発話文字列Ｗiに対応する入力データＤが指示される。選択処理部６２は、複数の入力データＤのうち管理者が指示した入力データＤを選択データＤ1として選択する。

【0088】

なお、以上の各形態（第１実施形態から５実施形態および態様１Ａから態様１Ｄ）から選択された２以上の方法の組合せによりＮ個の選択データＤ1を選択してもよい。例えば、選択処理部６２は、態様１Ａから態様１Ｄのうち１以上の方法により選択された複数の選択データＤ1からＮ個の選択データＤ1をランダムに選択してもよい。また、第６実施形態におけるＮ個の選択端末２２の選択にも、以上の各形態において例示した選択データＤ1の選択と同様の方法が適用される。

【0089】

（２）前述の各形態においては、収音装置４６に対する入力音声の波形を表す音響データを入力データＤとして例示したが、入力データＤ（選択データＤ1または非選択データＤ2）の形式は以上の例示に限定されない。前述の各形態において例示した形式以外の入力データＤの形式としては、例えば以下の態様２Ａから態様２Ｃが例示される。

【0090】

［態様２Ａ］
態様２Ａにおける入力データＤは、利用者Ｕaが指示した文字列を表す文字列データである。例えば、操作装置４４に対する操作で利用者Ｕaが指示した文字列を表す入力データＤが、端末装置２２から制御システム１４に送信される。制御システム１４の再生制御部６３は、選択データＤ1に対する音声合成処理により合成信号を生成し、相異なる選択データＤ1から生成したＮチャネルの合成信号から音響信号Ｘを生成する。音声合成処理には公知の技術が任意に採用される。態様２Ａによれば、各利用者Ｕaが指示した文字列を表す選択音が再生される。

【0091】

［態様２Ｂ］
態様２Ｂにおける入力データＤは、事前に登録された複数の音（以下「登録音」という）のうちの何れかを指示する指示データである。登録音は、歓声または罵声等、イベントにおいて発音され得る各種の音声である。例えば、操作装置４４に対する操作で利用者Ｕaが選択した登録音を示す入力データＤが端末装置２２から制御システム１４に送信される。制御システム１４の再生制御部６３は、相異なる登録音の波形を表す複数の登録信号のうち選択データＤ1が示す登録音の登録信号を記憶装置５２から取得し、相異なる選択データＤ1について取得したＮチャネルの登録信号から音響信号Ｘを生成する。態様２Ｂによれば、各利用者Ｕaが指示した登録音が再生される。

【0092】

［態様２Ｃ］
前述の各形態においては、イベントの進行に並行して利用者Ｕaが発話した入力音声を表す入力データＤを端末装置２２から制御システム１４に送信した。態様２Ｃにおいては、例えばイベントの開始前に収音装置４６による収音で生成された音響データを、イベントの進行に並行して入力データＤとして利用する。例えば、相異なる入力音声を表す音響データが端末装置２２の記憶装置４２に記憶される。制御装置４１は、操作装置４４に対する操作で利用者Ｕaが選択した音響データを入力データＤとして通信装置４３から制御システム１４に送信する。なお、記憶装置４２に記憶された音響データを、制御装置４１が利用者Ｕaからの指示に応じて編集または加工してもよい。公知の音響処理技術により制御装置４１が音響データを自動的に編集または加工してもよい。

【0093】

前述の各形態において例示した入力データＤと、態様２Ａから態様２Ｃに例示した入力データＤとは、利用者Ｕaによる入力に応じた音声を示すデータとして包括的に表現される。利用者Ｕaによる入力は、例えば、収音装置４６を利用した音声入力、または操作装置４４を利用した手動入力である。ただし、入力データＤが示す音は、音声（すなわち人間の肉声）に限定されない。例えば、入力データＤが示す音は、拍手音、指笛音または楽器音等の音声以外の音でもよい。したがって、入力データＤは、利用者Ｕaによる入力に応じた音を示すデータとして包括的に表現される。

【0094】

（３）第５実施形態においては、Ｎ個の選択データＤ1に応じた音響信号ＸをコンテンツＣの音響データＣ2に合成したが、音響信号Ｘを音響データＣ2に合成する構成および動作は必須ではない。例えば、制御システム１４の再生制御部６３は、通信網３００を介して音響信号Ｘを端末装置２２に直接的に送信してもよい。端末装置２２の制御装置４１は、通信装置４３が受信した音響信号Ｘが表す選択音を再生装置４５の放音装置３２に再生させる。第５実施形態および変形例３を包含するひとつの態様における再生制御部６３は、コンテンツＣ（すなわちイベントの動画）の視聴者が使用する装置が選択音を再生するように動作すれば足り、当該装置による選択音の再生のための具体的な構成および動作は任意である。再生装置２１および再生装置４５は、視聴者が使用する装置の一例である。

【0095】

（４）前述の各形態においては、再生システム１３により選択音を再生したが、選択音を表す文字列（以下「選択文字列」という）を、例えば施設２００内の表示装置（図示略）に表示してもよい。例えば、再生制御部６３は、音響信号Ｘに対する音声認識処理により選択文字列を推定し、当該選択文字列を表示装置に表示させる。第１言語で表現された選択文字列を公知の機械翻訳処理により第２言語に翻訳したうえで表示装置に表示してもよい。また、選択文字列（第１言語または第２言語）を表す文字列データを制御システム１４から端末装置２２に送信することで、端末装置２２における再生装置４５の表示装置３１（または再生装置２１の表示装置３１）に選択文字列を表示させてもよい。なお、以上の説明においては、選択音を表す選択文字列を表示させる形態を例示したが、選択音に応じて変化する画像（例えばアイコン）を、再生制御部６３が、施設２００内の表示装置または表示装置３１に表示させてもよい。

【0096】

（５）受信処理部６１による入力データＤの受信の回数（以下「受信回数」という）を、施設２００内の表示装置または利用者Ｕaの表示装置３１に表示させてもよい。受信回数は、複数の利用者Ｕaが入力音声を発話した回数の合計とも換言される。受信処理部６１は、入力データＤの受信に並行して受信回数を計数し、再生制御部６３は、当該受信回数を施設２００内の表示装置または利用者Ｕaの表示装置３１に表示させる。

【0097】

（６）第２実施形態において、Ｎ個の選択データＤ1の選択に使用される条件データＱを順次に切替えてもよい。具体的には、選択処理部６２は、記憶装置５２に記憶された複数の条件データＱの各々をイベントの進行に並行して順番に選択し、選択状態の条件データＱを利用してＮ個の選択データＤ1を選択する。以上の構成によれば、選択音としての再生が許容される発話文字列Ｗiが経時的に変化する。

【0098】

具体的には、選択処理部６２は、イベントのシーン毎に条件データＱを変更する。例えば、第１チームと第２チームとが競技するスポーツイベントを想定する。選択処理部６２は、第１チームが攻撃している期間内においては、第１チームの選手名が登録文字列Ｗrとして登録された条件データＱを有効化する。したがって、利用者Ｕaが発音した第１チームの選手名が、選択音として再生され易い。他方、第２チームが攻撃している期間内においては、第２チームの選手名が登録文字列Ｗrとして登録された条件データＱを有効化する。したがって、利用者Ｕaが発音した第２チームの選手名が、選択音として再生され易い。

【0099】

以上の例示から理解される通り、条件データＱを経時的に変更することで、イベントのシーン毎に適切な選択音を再生できる。なお、選択処理部６２は、収録システム１１が収録した映像を解析する公知のシーン識別技術によりイベントのシーンを識別する。また、制御システム１４の管理者がイベントの進行に並行して手動でシーンを指示してもよい。

【0100】

（７）前述の各形態においては、選択処理部６２が複数（Ｎ≧２）の選択データＤ1を選択したが、選択処理部６２が１個（Ｎ＝１）の選択データＤ1を選択してもよい。また、前述の第１実施形態においては、選択データＤ1の個数Ｎを固定値としたが、第２実施形態の例示からも理解される通り、個数Ｎは可変値でもよい。例えば、受信処理部６１が受信した入力データＤの総数に対して所定の係数（例えば１未満の数値）を乗算した数値を選択データＤ1の個数Ｎとして設定してもよい。

【0101】

（８）前述の各形態においてはスポーツイベントおよび音楽イベントを例示したが、前述の各形態が適用されるイベントは以上の例示に限定されない。例えば、ダンサーが実現するダンスイベント、俳優が出演する演劇イベント、講演者が講演する講演イベント、学校や学習塾等の各種の教育機関が生徒に授業を提供する教育イベント等、特定の目的で実施される各種のイベントに、前述の各形態は適用される。

【0102】

（９）以上に例示した制御システム１４の機能は、前述の通り、制御装置５１を構成する単数または複数のプロセッサと、記憶装置５２に記憶されたプログラムとの協働により実現される。プログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。

【0103】

Ｈ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0104】

本開示のひとつの態様（態様１）に係る再生制御方法は、相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信し、前記複数の入力データの一部である１以上の第１入力データを選択し、前記１以上の第１入力データに応じた第１音を前記イベントの進行に並行して再生させる。以上の態様においては、相異なる端末装置から受信した複数の入力データのうち１以上の第１入力データが選択され、当該１以上の第１入力データに応じた第１音がイベントの進行に並行して再生される。したがって、複数の端末装置から受信した全部の入力データに応じた第１音が再生される構成と比較して、受聴者が第１音を聴感的に識別し易い。

【0105】

「入力データ」は、利用者による入力に応じた任意のデータである。具体的には、入力データは、利用者による入力に応じた音を示すデータである。例えば、収音装置が利用者から収音した音響の波形を表す音響データ、利用者が指示した文字列を表す文字列データ、または、複数の音のうち利用者が選択した音を表す選択データが、「入力データ」の具体例である。文字列データを入力データとして端末装置から受信する態様においては、例えば当該文字列データに対する音声合成処理で生成される第１音が再生される。また、選択データを入力データとして端末装置から受信する態様においては、例えば事前に登録された複数の音のうち当該選択データが示す音が第１音として再生される。

【0106】

「複数の入力データの一部である１以上の第１入力データを選択する処理」は、複数の入力データの一部を第１入力データとして直接的に選択する態様のほか、複数の端末装置から１以上の端末装置を選択し、複数の入力データのうち選択された１以上の端末装置から受信した入力データを第１入力データとして選択する態様（すなわち端末装置を選択することで入力データを間接的に選択する態様）も包含する。

【0107】

第１音が再生される対象は、例えばイベントの観覧者または関係者である。イベントの関係者は、例えばイベントを管理および運営する運営者、または、イベントに参加する参加者（例えば音楽イベントの出演者またはスポーツイベントの出場者）である。また、「イベントの観覧者」は、イベントが実施される場所（以下「実施場所」という）に実際に所在する観覧者、または、当該イベントの動画を視聴する観覧者（すなわち動画の視聴者）である。実施場所に所在する観覧者または関係者に対する第１音の再生は、例えば実施場所に設置された再生システムに第１音を再生させる動作、または、観覧者または関係者が使用する端末装置に第１音を再生させる動作を含む。また、イベントの動画を視聴する観覧者に対する第１音の再生は、当該観覧者が使用する装置に第１音を再生させる動作を含む。なお、動画の視聴に使用される装置と第１音を再生する装置との異同は不問である。

【0108】

「１以上の第１入力データに応じた第１音を再生させる」処理は、１以上の第１入力データに応じた第１音を、第１入力データ以外の第２入力データに応じた第２音と比較して優先的に再生させることを意味する。したがって、「第１音の再生」は、複数の入力データのうち１以上の第１入力データに応じた第１音のみを選択的に再生させる動作のほか、１以上の第１入力データに応じた第１音を、第１入力データ以外の１以上の第２入力データに応じた第２音と比較して優先的に（例えば第２音と比較して大きい音量で）再生させる動作を含む。

【0109】

態様１の具体例（態様２）において、前記第１音の再生においては、前記イベントの動画の視聴者が使用する装置に前記第１音を再生させる。以上の態様においては、複数の入力データから選択された１以上の第１入力データに応じた第１音が、動画の視聴者が使用する装置により再生される。したがって、例えば実施場所から遠隔に所在する端末装置の利用者が、イベントの動画の雰囲気に関与できる。

【0110】

「イベントの動画の視聴者が使用する装置に第１音を再生させる」処理の具体例は、例えば、第１音を表す音響データを観覧者の装置に送信することで当該装置に第１音を再生させる動作である。観覧者の装置に音響データを送信する方法は任意である。例えば、観覧者が視聴する動画を表す動画データに音響データを混合して当該装置に送信してもよいし、動画データとは独立に音響データを送信してもよい。

【0111】

態様１の具体例（態様３）において、前記第１音の再生においては、前記イベントが実施される場所に設置された再生システムに前記第１音を再生させる。以上の態様においては、複数の入力データから選択された１以上の第１入力データに応じた第１音がイベントの実施場所にて再生されるから、例えば実施場所から遠隔に所在する端末装置の利用者が、当該実施場所におけるイベントの雰囲気に関与できる。

【0112】

態様３の具体例（態様４）において、前記１以上の第１入力データは、２以上の第１入力データであり、前記再生システムは、第１再生部と第２再生部とを含み、前記第１音の再生においては、前記２以上の第１入力データのうち一部の第１入力データに応じた前記第１音を前記第１再生部に再生させ、前記２以上の第１入力データのうち他の一部の第１入力データに応じた前記第１音を前記第２再生部に再生させる。以上の態様においては、複数の入力データから選択された２以上の第１入力データのうち一部の第１入力データに応じた第１音と、他の一部の第１入力データに応じた第１音とが、別個の再生部により再生される。したがって、各端末装置の利用者による入力に応じた音を、受聴者が明瞭に聴取し易いという利点がある。

【0113】

態様１から態様３の何れかの具体例（態様５）において、前記１以上の第１入力データは、２以上の第１入力データであり、前記２以上の第１入力データについて、加工処理および混合処理を含む第１音響処理を実行し、前記第１音の再生においては、前記第１音響処理後の前記第１音を再生させる。以上の態様においては、２以上の第１入力データに応じた音について、加工処理と混合処理とを含む第１音響処理が実行される。したがって、各端末装置の利用者による入力に応じた音を、受聴者が明瞭に聴取し易いという利点がある。

【0114】

態様１から態様５の何れかの具体例（態様６）において、前記複数の入力データのうち前記１以上の第１入力データ以外の１以上の第２入力データに応じた音は再生されない。以上の態様においては、複数の入力データのうち第１入力データ以外の第２入力データは、第１音の再生において無視される。したがって、音を再生する処理の負荷を軽減できる。

【0115】

態様１から態様５の何れかの具体例（態様７）において、前記複数の入力データのうち前記１以上の第１入力データ以外の１以上の第２入力データについて、明瞭度を低下させる第２音響処理を実行し、前記第１音の再生においては、当該第１音と、前記第２音響処理後の第２音とを再生させる。以上の態様においては、複数の入力データのうち１以上の第１入力データに応じた第１音とともに、第１入力データ以外の１以上の第２入力データに応じた第２音が再生される。したがって、イベントの雰囲気に関与できる利用者を増加させることが可能である。また、１以上の第２入力データについては明瞭度を低下させる第２音響処理が実行される。したがって、第１音と第２音とが並列に再生される構成にも関わらず、受聴者が第１音を聴取し易い状態は維持される。

【0116】

第２音響処理は、１以上の第２入力データに応じた第２音の発話内容の識別性（受聴者が発話内容を聴感的に識別できる可能性）を低下させる処理である。具体的には、第２音響処理は、第２入力データが表す音の音量を低下させる処理、音韻が識別されない雑音成分（例えば白色雑音）を混合する処理、または、入力音声の複数の調波成分を低減する処理、等の各種の処理を含む。

【0117】

態様１から態様７の何れかの具体例（態様８）において、前記１以上の第１入力データの選択においては、前記複数の入力データから前記１以上の第１入力データをランダムに選択する。以上の態様によれば、複数の入力データから１以上の第１データを選択する処理の負荷が軽減される。

【0118】

態様１から態様７の何れかの具体例（態様９）において、前記１以上の第１入力データの選択においては、前記複数の入力データのうち、登録文字列に相関または相違する発話内容の音を表す前記１以上の第１入力データを選択する。以上の態様によれば、不適切な文字列を含む第１音が再生される可能性を低減できる。

【0119】

本開示のひとつの態様（態様１０）に係る制御システムは、相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信する受信処理部と、前記複数の入力データの一部である１以上の第１入力データを選択する選択処理部と、前記１以上の第１入力データに応じた第１音を前記イベントの進行に並行して再生させる再生制御部とを具備する。

【0120】

本開示のひとつの態様（態様１１）に係るプログラムは、相異なる端末装置の利用者による入力に応じた複数の入力データをイベントの進行に並行して受信する受信処理部、前記複数の入力データの一部である１以上の第１入力データを選択する選択処理部、および、前記１以上の第１入力データに応じた第１音を前記イベントの進行に並行して再生させる再生制御部、としてコンピュータを機能させる。

【符号の説明】

【0121】

１００…情報システム、２００…施設、３００…通信網、１１…収録システム、１２…配信システム、１３…再生システム、１４…制御システム、２１…再生装置、２２…端末装置、３１…表示装置、３２…放音装置、４１，５１…制御装置、４２，５２…記憶装置、４３，５３…通信装置、４４…操作装置、４５…再生装置、４６…収音装置、６１，７２…受信処理部、６２，７１…選択処理部、６３，７３…再生制御部、６３１…第１処理部、６３２…第２処理部、６３３…混合部、６４…音声認識部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】