特許 7533600 信号処理システム、信号処理装置、及び信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】信号処理システム、信号処理装置、及び信号処理方法

(51)【国際特許分類】

   G10K 15/02 20060101AFI20240806BHJP

【ＦＩ】

G10K15/02

【請求項の数】 9

(21)【出願番号】P 2022553371

(86)(22)【出願日】2020-10-01

(86)【国際出願番号】 JP2020037409

(87)【国際公開番号】W WO2022070379

(87)【国際公開日】2022-04-07

【審査請求日】2023-04-05

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100134359

【弁理士】

【氏名又は名称】勝俣 智夫

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100206391

【弁理士】

【氏名又は名称】柏野 由布子

(72)【発明者】

【氏名】入山 達也

【審査官】渡邊 正宏

(56)【参考文献】

【文献】特開２０１２－１２９８００（ＪＰ，Ａ）

【文献】特開２００６－０４７７５５（ＪＰ，Ａ）

【文献】特開２０１５－１８５０１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １３／００

Ｇ１０Ｋ １５／００－１５／１２

Ｇ１０Ｌ １５／００－１７／２６

Ｈ０４Ｍ ３／００

Ｈ０４Ｍ ３／１６－ ３／２０

Ｈ０４Ｍ ３／３８－ ３／５８

Ｈ０４Ｍ ７／００－ ７／１６

Ｈ０４Ｍ ９／００－ ９／１０

Ｈ０４Ｍ １１／００－１１／１０

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４－ ７／１７３

Ｈ０４Ｎ ７／２０－ ７／５６

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

ストリーミングデータを受信する第１の端末装置及び第２の端末装置を少なくとも含む複数の装置と、前記複数の装置との間で通信可能なコミュニケーションシステムと、に接続する信号処理システムであって、
前記ストリーミングデータを受信した前記第１の端末装置から得られる第１音データの指定と、前記ストリーミングデータを受信した前記第２の端末装置から得られる第２音データの指定とを受け付ける受付部と、
前記第１音データと前記第２音データとを取得し、前記第１音データに基づく第１音信号と、前記第２音データに基づく第２音信号とを混合した第３音信号を生成する信号処理部と、
前記コミュニケーションシステムと前記第１の端末装置とが接続された通信回線を通じて、前記第３音信号を前記コミュニケーションシステムに送信する送信部と
を備える信号処理システム。

【請求項2】

前記信号処理部は、前記第１の端末装置と接続された収音部が収音した第４音信号と、前記第３音信号とを混合して、第５音信号を生成し、
前記送信部は、前記第５音信号を、前記コミュニケーションシステムの前記ストリーミングデータの配信元に送信する
請求項１に記載の信号処理システム。

【請求項3】

前記信号処理部は、前記受付部が前記第１の端末装置及び前記第２の端末装置のうちの同一の端末装置から重複して複数の音データの指定を受け付けた場合に、指定された前記複数の音データに基づく複数の音信号を混合した前記第３音信号を生成する
請求項１又は請求項２に記載の信号処理システム。

【請求項4】

前記受付部によって指定可能な音データを記憶する音データ記憶部を備え、
前記信号処理部は、前記音データ記憶部から前記第１音データと前記第２音データとを取得する
請求項１から請求項３のいずれか一項に記載の信号処理システム。

【請求項5】

前記受付部は、音データの指定を受け付けた場合に、当該指定の音データを取得し、取得した当該指定の音データに基づく指定の音信号を、前記第１の端末装置及び前記第２の端末装置のうちの指定元の端末装置に送信して、前記指定元の端末装置に当該指定の音信号を出力させる
請求項１から請求項４のいずれか一項に記載の信号処理システム。

【請求項6】

前記受付部を備え、前記受付部が前記第１音データの指定、又は前記第２音データの指定を受け付けた場合に、前記第１音データ又は前記第２音データが指定されたことを示すコマンドを生成するサーバ装置を備え、
前記信号処理部は、前記サーバ装置が生成した前記コマンドを取得し、取得した前記コマンドに基づいて、前記第１音データと前記第２音データとを取得し、前記第１音データに基づく第１音信号と、前記第２音データに基づく第２音信号とを混合した第３音信号を生成する
請求項１から請求項５のいずれか一項に記載の信号処理システム。

【請求項7】

前記受付部は、
指定可能な音データを示す音データ情報と、当該音データの再生時間を視認可能に示す再生バーであって、前記再生時間に対応した長さの再生バーとを含む指定メニュー画像を、前記第１の端末装置及び前記第２の端末装置に表示させる
請求項１から請求項６のいずれか一項に記載の信号処理システム。

【請求項8】

ストリーミングデータを受信する第１の端末装置及び第２の端末装置を少なくとも含む複数の装置と、前記複数の装置との間で通信可能なコミュニケーションシステムと、に接続する信号処理装置であって、
前記ストリーミングデータを受信した前記第１の端末装置から得られる第１音データの指定と、前記ストリーミングデータを受信した前記第２の端末装置から得られる第２音データの指定とを受け付ける受付部と、
前記第１音データと前記第２音データとを取得し、前記第１音データに基づく第１音信号と、前記第２音データに基づく第２音信号とを混合した第３音信号を生成する信号処理部と、
前記コミュニケーションシステムと前記第１の端末装置とが接続された通信回線を通じて、前記第３音信号を前記コミュニケーションシステムに送信する送信部と
を備える信号処理装置。

【請求項9】

ストリーミングデータを受信する第１の端末装置及び第２の端末装置を少なくとも含む複数の装置と、前記複数の装置との間で通信可能なコミュニケーションシステムと、に接続する信号処理システムの信号処理方法であって、
受付部が、前記ストリーミングデータを受信した前記第１の端末装置から得られる第１音データの指定と、前記ストリーミングデータを受信した前記第２の端末装置から得られる第２音データの指定とを受け付け、
信号処理部が、前記第１音データと前記第２音データとを取得し、前記第１音データに基づく第１音信号と、前記第２音データに基づく第２音信号とを混合した第３音信号を生成し、
送信部が、前記コミュニケーションシステムと前記第１の端末装置とが接続された通信回線を通じて、前記第３音信号を前記コミュニケーションシステムに送信する
信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理システム、信号処理装置、及び信号処理方法に関する。

【背景技術】

【0002】

近年、Ｗｅｂアプリケーションを利用した電子会議システムなどのコミュニケーションシステムが知られている（例えば、特許文献１を参照）。このようなコミュニケーションシステムでは、例えば、講演やプレゼンテーションなどのストリーミングデータをネットワークを経由して複数の利用者に配信して、複数の利用者の間でコミュニケーションを行うことが可能である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－２７７４９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のようなコミュニケーションシステムでは、例えば、プレゼンテーションなどのストリーミングデータを、配信先の利用者からの音信号などの通信を行わずに、利用者に配信した場合に、配信元では、配信先の利用者のリアクションなどの反応がわからずに、話し難く感じることがある。
そのため、上述のようなコミュニケーションシステムでは、ストリーミングデータを配信する場合に、配信先の利用者の反応を適切に知ることが困難であった。
また、コミュニケーションシステムには、「拍手」ボタンを押すことで、拍手の絵の表示ができるシステムがある。しかし、絵の表示では臨場感に欠ける。

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、ストリーミングデータを配信する場合に、配信先の利用者の反応を適切に知ることができる信号処理システム、信号処理装置、及び信号処理方法を提供することにある。さらに、利用者が臨場感を感じる信号処理システム、信号処理装置、及び信号処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一態様は、ストリーミングデータを受信する第１の端末装置及び第２の端末装置を少なくとも含む複数の装置と、前記複数の装置との間で通信可能なコミュニケーションシステムと、に接続する信号処理システムであって、前記ストリーミングデータを受信した前記第１の端末装置から得られる第１音データの指定と、前記ストリーミングデータを受信した前記第２の端末装置から得られる第２音データの指定とを受け付ける受付部と、前記第１音データと前記第２音データとを取得し、前記第１音データに基づく第１音信号と、前記第２音データに基づく第２音信号とを混合した第３音信号を生成する信号処理部と、前記コミュニケーションシステムと前記第１の端末装置とが接続された通信回線を通じて、前記第３音信号を前記コミュニケーションシステムに送信する送信部とを備える信号処理システムである。

【発明の効果】

【0007】

本発明によれば、ストリーミングデータを配信する場合に、配信先の利用者の反応を適切に知ることができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態による信号処理システムの一例を示すブロック図である。

【図2】第１の実施形態における音データ記憶部のデータ例を示す図である。

【図3】第１の実施形態における履歴情報記憶部のデータ例を示す図である。

【図4】第１の実施形態における音データの指定のための指定メニュー画面の一例を示す図である。

【図5】第１の実施形態による信号処理システムの動作の一例を説明する図である。

【図6】第１の実施形態による信号処理システムの複数の端末装置から音データを指定する動作の一例を示す図である。

【図7】第１の実施形態おける指定される音データの一例を示す図である。

【図8】第１の実施形態おける指定された音データを混合した混合音信号の一例を示す図である。

【図9】第１の実施形態による信号処理システムの１つの端末装置から複数の音データを指定する動作の一例を示す図である。

【図10】第２の実施形態による信号処理システムの一例を示すブロック図である。

【図11】第２の実施形態による信号処理システムの動作の一例を説明する図である。

【図12】第２の実施形態による信号処理システムの複数の端末装置から音データを指定する動作の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態による信号処理システム、信号処理装置、及び信号処理方法について、図面を参照して説明する。

【0010】

［第１の実施形態］
図１は、本実施形態による信号処理システム１の一例を示すブロック図である。
信号処理システム１は、コミュニケーションシステム２００と、端末装置２０及び端末装置３０とを少なくとも含む複数の装置と、に接続するシステムであって、アプリホスト装置１０を備える。

【0011】

コミュニケーションシステム２００は、通信回線を通じて複数の装置の間で通信を行うシステムであり、例えば、電子会議システムや動画配信システムなどである。コミュニケーションシステム２００は、例えば、ネットワークＮＷ１を介して、信号処理システム１に接続される。本実施形態では、コミュニケーションシステム２００は、配信者ＰＵが、プレゼンテーションや講演などのストリーミングデータを、ネットワークＮＷ１を介して、端末装置２０及び端末装置３０に配信する例について説明する。
コミュニケーションシステム２００は、コミュニケーションシステムサーバ２１０と、配信元装置２２０と、マイク２３０と、スピーカ２４０とを備え、端末装置２０及び端末装置３０を少なくとも含む複数の装置と接続可能である。

【0012】

コミュニケーションシステムサーバ２１０は、例えば、コミュニケーションシステム２００を管理するサーバ装置である。コミュニケーションシステムサーバ２１０は、ネットワークＮＷ１を介して、ストリーミングデータ、画像データ、音信号などの情報を、各種装置から受信し、ネットワークＮＷ１を介して、接続先の装置に、ストリーミングデータなどの情報を送信（配信）する。

【0013】

配信元装置２２０は、例えば、配信者ＰＵがプレゼンテーションや講演などのストリーミングデータをリアルタイムで配信する端末装置である。配信元装置２２０は、マイク２３０及びスピーカ２４０が接続されている。また、配信元装置２２０は、例えば、ストリーミングデータをライブ配信するためのカメラ（不図示）を内蔵しているものとする。ここで、配信者ＰＵとは、例えば、ストリーミングデータを配信するコミュニケーションシステム２００の利用者である。配信元装置２２０は、ネットワークＮＷ１を介して、コミュニケーションシステムサーバ２１０に、ストリーミングデータを送信する。

【0014】

マイク２３０は、配信元装置２２０の周辺の音を収音し、音信号を配信元装置２２０に出力する。
スピーカ２４０は、コミュニケーションシステムサーバ２１０から配信される音信号を出力する。また、スピーカ２４０は、例えば、後述する端末装置２０及び端末装置３０から指定された拍手などの音データに基づく音信号を出力する。

【0015】

端末装置２０（第１の端末装置の一例）は、通信回線を通じてコミュニケーションシステム２００に接続され、コミュニケーションシステム２００からストリーミングデータが配信される。端末装置２０は、例えば、パーソナルコンピュータや、タブレット端末装置、スマートフォンなどである。端末装置２０は、コミュニケーションシステム２００により、配信元装置２２０から配信されたストリーミングデータを受信して、ストリーミングデータに基づく映像信号及び音信号を、利用者ＡＵ１に対して出力する。

【0016】

また、端末装置２０は、例えば、拍手などの音データを、配信元装置２２０に送信するためのアプリケーション（以下、アプリということがある）を実行することで、アプリホスト装置１０に対して、音データの指定を行う。
また、端末装置２０は、ＮＷ（ネットワーク）通信部２１と、入力部２２と、表示部２３と、マイク２４と、スピーカ２５と、端末制御部２６とを備える。

【0017】

ＮＷ通信部２１は、ネットワークＮＷ１に接続可能なインターフェース部であり、ネットワークＮＷ１を介して、コミュニケーションシステム２００やアプリホスト装置１０との間の通信を行う。

【0018】

入力部２２は、例えば、キーボードやマウス、タッチパネルなどの入力装置であり、利用者ＡＵ１からの各種入力を受け付ける。入力部２２は、例えば、コミュニケーションシステム２００を使用する際の各種操作や、拍手などの音データの指定に用いられる。
表示部２３は、例えば、液晶ディスプレイなどの表示装置であり、コミュニケーションシステム２００により配信された画像や映像、及び、各種操作画面の画像などを表示する。

【0019】

マイク２４（収音部の一例）は、端末装置２０の周辺の音を収音して、音信号を生成し、端末制御部２６に出力する。なお、マイク２４は、端末装置２０に内蔵された内蔵マイクであってもよいし、外付けマイクであってもよい。
スピーカ２５は、コミュニケーションシステム２００により配信された音データなどの音信号を出力する。なお、スピーカ２５は、端末装置２０に内蔵された内蔵スピーカであってもよいし、外付けスピーカであってもよい。

【0020】

端末制御部２６は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、端末装置２０を制御する。端末制御部２６は、コミュニケーション処理部２６１と、アプリ処理部２６２とを備える。
コミュニケーション処理部２６１は、ＮＷ通信部２１を介して、コミュニケーションシステム２００に接続し、他の装置との間で通信を行う。コミュニケーション処理部２６１は、配信元装置２２０が配信したストリーミングデータを、ＮＷ通信部２１を介して受信し、ストリーミングデータに基づく映像信号を表示部２３に表示させ、ストリーミングデータに基づく音信号をスピーカ２５に出力させる。

【0021】

また、コミュニケーション処理部２６１は、後述するアプリホスト装置１０からＮＷ通信部２１を介して受信した音信号（混合音信号）を、マイク３４が収音した音データとミキシング（混合）して、ＮＷ通信部２１を介して、コミュニケーションシステム２００に送信する。

【0022】

アプリ処理部２６２は、ＮＷ通信部２１を介して、アプリホスト装置１０に接続し、拍手などの音データの指定を行う処理を実行する。アプリ処理部２６２は、アプリホスト装置１０から送信された指定メニュー画面の画像を表示部２３に表示させる。ここで、指定メニュー画面は、例えば、複数の音データの中から、コミュニケーションシステム２００に送信する音データを選択して指定するためのメニュー画面である。また、アプリ処理部２６２は、入力部２２を用いて、利用者ＡＵ１によって、指定メニュー画面から指定された音データの指定情報を、ＮＷ通信部２１を介して、アプリホスト装置１０に送信する。

【0023】

端末装置３０（第２の端末装置の一例）は、通信回線を通じてコミュニケーションシステム２００に接続され、コミュニケーションシステム２００からストリーミングデータが配信される。端末装置３０は、例えば、パーソナルコンピュータや、タブレット端末装置、スマートフォンなどである。端末装置３０は、コミュニケーションシステム２００により、配信元装置２２０から配信されたストリーミングデータを受信して、ストリーミングデータに基づく映像信号及び音信号を、利用者ＡＵ２に対して出力する。

【0024】

端末装置３０は、例えば、拍手などの音データを、配信元装置２２０に送信するためのアプリケーションを実行することで、アプリホスト装置１０に対して、音データの指定を行う。端末装置３０は、ＮＷ通信部３１と、入力部３２と、表示部３３と、マイク３４と、スピーカ３５と、端末制御部３６とを備える。

【0025】

ＮＷ通信部３１は、ＮＷ通信部２１と同様の構成及び機能を含む。入力部３２は、入力部２２と同様の構成及び機能を含む。表示部３３は、表示部２３と同様の構成及び機能を有する。マイク３４は、マイク２４と同様の構成及び機能を有する。スピーカ３５は、スピーカ２５と同様の構成及び機能を有する。
端末制御部３６は、端末制御部２６と同様の構成及び機能を有する。端末制御部３６は、コミュニケーション処理部３６１と、アプリ処理部３６２とを備える。
コミュニケーション処理部３６１は、コミュニケーション処理部２６１と同様の構成及び機能を有する。
アプリ処理部３６２は、アプリ処理部２６２と同様の構成及び機能を有する。

【0026】

なお、本実施形態において、端末装置２０が、アプリホスト装置１０が生成した混合音信号を、コミュニケーションシステム２００に送信するのに対して、端末装置３０は、混合音信号を、コミュニケーションシステム２００に送信しない点が異なる。
また、図１では、端末装置３０が１つである場合を記載しているが、信号処理システム１が、複数の端末装置３０を備えるようにしてもよい。

【0027】

アプリホスト装置１０は、ネットワークＮＷ１に接続されたサーバ装置であり、例えば、拍手などの音データの指定を行うＷｅｂサイトを実現するＷｅｂサーバである。アプリホスト装置１０は、音データの指定を行うＷｅｂサイトを利用して、端末装置２０及び端末装置３０によって指定された音データを混合した混合音信号を生成する。アプリホスト装置１０は、端末装置２０の接続回線を通じて、コミュニケーションシステム２００に混合音信号を送信する。
アプリホスト装置１０は、ＮＷ通信部１１と、記憶部１２と、アプリ制御部１３とを備える。

【0028】

ＮＷ通信部１１（送信部の一例）は、ネットワークＮＷ１に接続可能なインターフェース部であり、ネットワークＮＷ１を介して、端末装置２０及び端末装置３０との間の通信を行う。
記憶部１２は、アプリホスト装置１０が利用する各種情報を記憶する。記憶部１２は、音データ記憶部１２１と、履歴情報記憶部１２２とを備える。

【0029】

音データ記憶部１２１は、端末装置２０及び端末装置３０から指定可能な音データを記憶する。ここで、図２を参照して、音データ記憶部１２１のデータ例について説明する。

【0030】

図２は、本実施形態における音データ記憶部１２１のデータ例を示す図である。
音データ記憶部１２１は、音データ名と、音データとを対応付けて記憶する。ここで、音データ名は、アプリホスト装置１０において、指定可能な音データの名称であり、音データを識別する識別情報である。また、音データは、音データのファイル名を示している。このように、音データ記憶部１２１は、音データの識別情報と、音データとを対応付けて記憶する。

【0031】

例えば、図２に示す例では、音データ記憶部１２１には、音データ名が、“拍手０１”の音データとして、“ｃｌａｐ－０１．ｗａｖ”が記憶されていることを示している。また、音データ記憶部１２１には、音データ名が、“拍手０２”の音データとして、“ｃｌａｐ－０２．ｗａｖ”が記憶されていることを示している。

【0032】

なお、音データは、例えば、種類の異なる拍手の音データの他に、“へえー”、“音が聞こえません”などの音声データ、プレゼンテーションの終了時刻を示すベルの音データなどであってもよい。

【0033】

図１の説明に戻り、履歴情報記憶部１２２は、端末装置２０及び端末装置３０から指定された音データの履歴情報を記憶する。ここで、図３を参照して、履歴情報記憶部１２２のデータ例について説明する。

【0034】

図３は、本実施形態における履歴情報記憶部１２２のデータ例を示す図である。
履歴情報記憶部１２２は、日時と、端末情報と、音データ名とを対応付けて記憶する。ここで、日時は、端末装置２０及び端末装置３０によって、音データが指定された日付及び時刻を示し、端末情報は、端末装置２０及び端末装置３０の識別情報を示している。また、音データ名は、端末装置２０及び端末装置３０によって指定された音データ名を示している。

【0035】

図３に示す例では、日時が“２０２０／７／２０ １０：００：００”に、“端末Ａ”から音データ名“拍手０１”の音データが指定されたことを示している。また、日時が“２０２０／７／２０ １０：００：１５”に、“端末Ｂ”から音データ名“拍手０２”の音データが指定されたことを示している。

【0036】

再び、図１の説明に戻り、アプリ制御部１３は、例えば、ＣＰＵなどを含むプロセッサであり、アプリホスト装置１０を制御する。アプリ制御部１３は、音データ受付部１３１と、信号処理部１３２とを備える。

【0037】

音データ受付部１３１（受付部の一例）は、端末装置２０及び端末装置３０からの音データの指定を受け付ける。音データ受付部１３１は、例えば、ストリーミングデータを受信した端末装置２０から得られる第１音データの指定と、ストリーミングデータを受信した端末装置３０から得られる第２音データの指定とを受け付ける。

【0038】

音データ受付部１３１は、例えば、音データを指定する指定メニュー画面を端末装置２０及び端末装置３０に表示させ、音データの指定を受け付ける。音データ受付部１３１は、例えば、図４に示すような指定メニュー画面の画像を、ＮＷ通信部１１を介して、端末装置２０及び端末装置３０に送信して表示させる。

【0039】

図４は、本実施形態における音データの指定のための指定メニュー画面の一例を示す図である。
音データ受付部１３１は、図４に示すように、指定可能な音データを示す音データ情報と、当該音データの再生時間（再生期間）を視認可能に示す再生バーとを含む指定メニュー画面の画像（指定メニュー画像Ｇ１）を、端末装置２０及び端末装置３０に表示させる。ここで、再生バーは、再生時間（再生期間）に対応した長さになっている。なお、再生バーは、同一の長さにして、再生時間（再生期間）に応じて再生バーの移動速度（例えば、再生時間の逆数など）を変更するようにしてもよい。

【0040】

利用者ＡＵ１～ＡＵ３は、端末装置２０の入力部２２又は端末装置３０の入力部３２を操作して、指定メニュー画像Ｇ１における音データの部分を押下（クリック）することで、音データを指定する。

【0041】

音データ受付部１３１は、端末装置２０及び端末装置３０から音データの指定を受け付けた場合に、図３に示すように、日時と、端末情報と、音データ名とを対応付けて履歴情報記憶部１２２に記憶させる。

【0042】

また、音データ受付部１３１は、音データの指定を受け付けた場合に、当該指定の音データを取得する。この場合、音データ受付部１３１は、指定の音データを音データ記憶部１２１から取得する。音データ受付部１３１は、取得した当該指定の音データに基づく指定の音信号を、端末装置２０及び端末装置３０のうちの指定元の端末装置に送信して、指定元の端末装置に当該指定の音信号を出力させる。

【0043】

信号処理部１３２は、音データ受付部１３１が端末装置２０及び端末装置３０から指定を受け付けた音データを、音データ記憶部１２１から取得し、指定された複数の音データに基づく音信号を混合（ミキシング）して混合音信号を生成する。信号処理部１３２は、例えば、端末装置２０から指定された第１音データと、端末装置３０から指定された第２音データとを音データ記憶部１２１から取得し、第１音データに基づく第１音信号と、第２音データに基づく第２音信号とを混合した混合音信号（第３音信号）を生成する。

【0044】

なお、信号処理部１３２は、履歴情報記憶部１２２が記憶する履歴情報を読み出すことで、音データ受付部１３１が受け付けた音データの指定を取得する。信号処理部１３２は、履歴情報記憶部１２２が記憶する履歴情報の音データ名を取得し、取得した音データ名に対応する音データを、音データ記憶部１２１から取得する。

【0045】

また、信号処理部１３２は、音データ受付部１３１が端末装置２０及び端末装置３０のうちの同一の端末装置から重複して複数の音データの指定を受け付けた場合に、指定された複数の音データに基づく複数の音信号を混合した混合音信号（第３音信号）を生成する。この場合、信号処理部１３２は、指定された複数の音データを音データ記憶部１２１から取得し、複数の音データを複数の音信号に変換して、当該複数の音信号を混合して混合音信号を生成する。

【0046】

信号処理部１３２は、生成した混合音信号（第３音信号）を、ＮＷ通信部１１を介して、端末装置２０に送信する。ＮＷ通信部１１は、コミュニケーションシステム２００と端末装置２０とが接続された通信回線を通じて、混合音信号（第３音信号）をコミュニケーションシステム２００に送信する。

【0047】

次に、図面を参照して、本実施形態による信号処理システム１について説明する。
図５は、本実施形態による信号処理システム１の動作の一例を説明する図である。また、図６は、本実施形態による信号処理システム１の複数の端末装置（２０、３０）から音データを指定する動作の一例を示す図である。

【0048】

コミュニケーションシステム２００及び信号処理システム１に、１台の端末装置２０と、２台の端末装置３０（３０－１、３０－２）とが接続されている場合の一例を示している。また、利用者ＡＵ１は、配信元装置２２０から配信されたストリーミングデータを視聴している端末装置２０の利用者を示し、利用者ＡＵ２は、配信元装置２２０から配信されたストリーミングデータを視聴している端末装置３０－１の利用者を示している。また、利用者ＡＵ３は、配信元装置２２０から配信されたストリーミングデータを視聴している端末装置３０－２の利用者を示している。

【0049】

端末装置２０は、通信回線ＲＴ１を通じて、コミュニケーションシステム２００に接続されており、端末装置３０－１は、通信回線ＲＴ２を通じて、コミュニケーションシステム２００に接続されている。また、端末装置３０－２は、通信回線ＲＴ３を通じて、コミュニケーションシステム２００に接続されている。

【0050】

図６に示すように、まず、配信元装置２２０が、ストリーミングデータの収録を開始する（ステップＳ１０１）。配信元装置２２０は、接続されているマイク２３０及び内蔵カメラ（不図示）により、配信者ＰＵの講演やプレゼンテーションなどのストリーミングデータを収録する。

【0051】

次に、配信元装置２２０は、収録したストリーミングデータを、コミュニケーションシステムサーバ２１０に送信する（ステップＳ１０２）。配信元装置２２０は、収録したストリーミングデータを、リアルタイムにコミュニケーションシステムサーバ２１０に送信する。

【0052】

次に、コミュニケーションシステムサーバ２１０は、端末装置２０及び端末装置３０（３０－１、３０－２）に、ストリーミングデータを配信する（ステップＳ１０３）。

【0053】

端末装置２０は、コミュニケーションシステムサーバ２１０から配信されたストリーミングデータを再生開始する（ステップＳ１０４）。コミュニケーション処理部２６１は、通信回線ＲＴ１を通じて、ストリーミングデータを受信し、受信したストリーミングデータに基づく映像信号を表示部２３に表示させ、ストリーミングデータに基づく音信号をスピーカ２５に出力させる。

【0054】

また、端末装置３０－１は、コミュニケーションシステムサーバ２１０から配信されたストリーミングデータを再生開始する（ステップＳ１０５）。端末装置３０－１のコミュニケーション処理部３６１は、通信回線ＲＴ２を通じて、ストリーミングデータを受信し、受信したストリーミングデータに基づく映像信号を表示部３３に表示させ、ストリーミングデータに基づく音信号をスピーカ３５に出力させる。

【0055】

また、端末装置３０－２は、コミュニケーションシステムサーバ２１０から配信されたストリーミングデータを再生開始する（ステップＳ１０６）。端末装置３０－２のコミュニケーション処理部３６１は、通信回線ＲＴ２を通じて、ストリーミングデータを受信し、受信したストリーミングデータに基づく映像信号を表示部３３に表示させ、ストリーミングデータに基づく音信号をスピーカ３５に出力させる。

【0056】

次に、端末装置２０は、音データの指定をアプリホスト装置１０に送信する（ステップＳ１０７）。端末装置２０のアプリ処理部２６２は、利用者ＡＵ１による入力部２２の操作に応じて、拍手などの音データの指定を、アプリホスト装置１０に送信する。

【0057】

また、端末装置３０－１は、音データの指定をアプリホスト装置１０に送信する（ステップＳ１０８）。端末装置３０－１のアプリ処理部３６２は、利用者ＡＵ２による入力部２２の操作に応じて、拍手などの音データの指定を、アプリホスト装置１０に送信する。

【0058】

また、端末装置３０－２は、音データの指定をアプリホスト装置１０に送信する（ステップＳ１０９）。端末装置３０－２のアプリ処理部３６２は、利用者ＡＵ３による入力部２２の操作に応じて、拍手などの音データの指定を、アプリホスト装置１０に送信する。

【0059】

次に、アプリホスト装置１０は、音データの受け付け処理を実行する（ステップＳ１１０）。アプリホスト装置１０の音データ受付部１３１は、端末装置２０から指定された音データ（第１音データ）と、端末装置３０－１及び端末装置３０－２から指定された音データ（第２音データ）とを受け付ける。音データ受付部１３１は、音データの指定を受け付けた場合に、日時と、端末情報と、音データ名とを対応付けて履歴情報記憶部１２２に記憶させる。

【0060】

次に、アプリホスト装置１０の音データ受付部１３１は、指定の音信号を端末装置２０に送信する（ステップＳ１１１）。音データ受付部１３１は、端末装置２０が指定した音データを、音データ記憶部１２１から取得し、取得した音データに基づく指定の音信号を端末装置２０に送信する。これにより、端末装置２０のアプリ処理部２６２は、受信した指定の音信号を、スピーカ２５に出力する（図５参照）。

【0061】

また、アプリホスト装置１０の音データ受付部１３１は、指定の音信号を端末装置３０－１に送信する（ステップＳ１１２）。音データ受付部１３１は、端末装置３０－１が指定した音データを、音データ記憶部１２１から取得し、取得した音データに基づく指定の音信号を端末装置３０－１に送信する。これにより、端末装置３０－１のアプリ処理部３６２は、受信した指定の音信号を、スピーカ３５に出力する（図５参照）。

【0062】

また、アプリホスト装置１０の音データ受付部１３１は、指定の音信号を端末装置３０－２に送信する（ステップＳ１１３）。音データ受付部１３１は、端末装置３０－２が指定した音データを、音データ記憶部１２１から取得し、取得した音データに基づく指定の音信号を端末装置３０－２に送信する。これにより、端末装置３０－２のアプリ処理部３６２は、受信した指定の音信号を、スピーカ３５に出力する（図５参照）。

【0063】

次に、アプリホスト装置１０は、指定の全音信号を混合する（ステップＳ１１４）。アプリホスト装置１０の信号処理部１３２は、履歴情報記憶部１２２から、指定された音データ名を全て取得し、取得した全ての音データ名に対応する全ての音データを音データ記憶部１２１から取得する。信号処理部１３２は、取得した全ての音データに基づく音信号を混合（ミキシング）して、混合音信号（第３音信号）を生成する。

【0064】

例えば、端末装置２０が、“ｃｌａｐ－０１．ｗａｖ”の音データを指定し、端末装置３０－１が、“ｃｌａｐ－０２．ｗａｖ”の音データを指定し、端末装置３０－２が、“ｃｌａｐ－０３．ｗａｖ”の音データを指定したとする。この場合、信号処理部１３２は、図７に示すような、“ｃｌａｐ－０１．ｗａｖ”、“ｃｌａｐ－０２．ｗａｖ”、及び“ｃｌａｐ－０３．ｗａｖ”の音信号を生成して書く音信号を混合して、図８に示すような混合音信号を生成する。

【0065】

なお、信号処理部１３２は、図８に示すように、混合音信号をモノラル音信号として生成してもよいし、ステレオ音信号として生成してもよい。また、信号処理部１３２は、例えば、所定の間隔（例えば、０．５秒間隔）でリアルタイムに混合処理を実行する。また、信号処理部１３２は、同一の音データが複数、且つ同時に指定された場合には、同一の音データを所定の期間ずらして音信号を生成して、混合音信号を生成してもよいし、同一の音データのテンポを変換して、音信号を生成して、混合音信号を生成してもよい。

【0066】

図６の説明に戻り、アプリホスト装置１０は、混合音信号を端末装置２０に送信する（ステップＳ１１５）。アプリホスト装置１０のＮＷ通信部１１は、信号処理部１３２が生成した混合音信号を、端末装置２０から通信回線ＲＴ１を通じて、コミュニケーションシステム２００に送信させるために、端末装置２０に送信する。

【0067】

次に、端末装置２０は、受信した混合音信号と、マイク入力信号（入力音信号）とを混合する（ステップＳ１１６）。端末装置２０のコミュニケーション処理部２６１は、図５に示すように、ミキシング部２６３（混合部の一例）を備えており、ミキシング部２６３は、アプリホスト装置１０から受信した混合音信号（第３音信号）と、マイク２４が収音した入力音信号（第４音信号）とを混合(ミキシング)して、混合音信号（第５音信号）を生成する。なお、ミキシング部２６３は、マイク２４から入力された音信号がない場合には、アプリホスト装置１０から受信した混合音信号（第３音信号）を出力する。
なお、端末装置２０は、マイク２４が収音した入力音信号（第４音信号）との混合を行わない構成であってもよい。例えば、端末装置２０は、マイク２４から入力された音信号と混合音信号（第３音信号）とをスイッチで切り替える構成であってもよい。

【0068】

次に、端末装置２０は、混合音信号を、コミュニケーションシステムサーバ２１０に送信する（ステップＳ１１７）。すなわち、コミュニケーション処理部２６１は、通信回線ＲＴ１を通じて、ミキシング部２６３から出力された混合音信号（第３音信号又は第５音信号）をコミュニケーションシステム２００に送信する。ここで、通信回線ＲＴ１は、コミュニケーションシステム２００と端末装置２０とが接続された通信回線である。

【0069】

次に、コミュニケーションシステムサーバ２１０は、混合音信号を配信元装置２２０に送信する（ステップＳ１１８）。コミュニケーションシステムサーバ２１０は、端末装置２０から受信した混合音信号（第３音信号又は第５音信号）を配信元装置２２０に送信する。

【0070】

次に、配信元装置２２０は、受信した混合音信号を再生する（ステップＳ１１９）。すなわち、配信元装置２２０は、端末装置２０及び端末装置３０（３０－１、３０－２）によって、利用者ＡＵ１～利用者ＡＵ３が指定した拍手などの混合音信号を、スピーカ２４０に出力する。
これにより、利用者ＡＵ１～利用者ＡＵ３の拍手などの反応を、講演やプレゼンテーションなど配信している配信者ＰＵにリアルタイムで伝えることができる。

【0071】

次に、図９を参照して、本実施形態による信号処理システム１の１つの端末装置から複数の音データを指定する動作について説明する。
図９は、本実施形態による信号処理システム１の１つの端末装置から複数の音データを指定する動作の一例を示す図である。

【0072】

図９において、ステップＳ２０１からステップＳ２０６までの処理は、上述した図６に示すステップＳ１０１からステップＳ１０６までの処理と同様であるため、ここではその説明を省略する。

【0073】

ステップＳ２０７において、端末装置３０－１は、音データの複数の指定をアプリホスト装置１０に送信する。端末装置３０－１のアプリ処理部３６２は、利用者ＡＵ２による入力部２２の操作に応じて、例えば、“拍手０１”～“拍手０３”の３つの音データの指定を、アプリホスト装置１０に送信する。

【0074】

次に、アプリホスト装置１０は、音データの受け付け処理を実行する（ステップＳ２０８）。アプリホスト装置１０の音データ受付部１３１は、端末装置３０－１から指定された３つの音データ（第２音データ）とを受け付ける。音データ受付部１３１は、３つの音データの指定を受け付けた場合に、図３に示すように、日時と、端末情報と、音データ名（例えば、“拍手０１”～“拍手０３”）とを対応付けて履歴情報記憶部１２２に記憶させる。

【0075】

次に、アプリホスト装置１０の音データ受付部１３１は、指定の３つの音信号を端末装置２０に送信する（ステップＳ２０９）。音データ受付部１３１は、端末装置３０－１が指定した３つの音データ（例えば、“拍手０１”～“拍手０３”）を、音データ記憶部１２１から取得し、取得した３つの音データに基づく３つの指定の音信号を端末装置３０－１に送信する。これにより、端末装置３０－１のアプリ処理部３６２は、受信した３つの指定の音信号を、スピーカ２５に出力する。

【0076】

次に、アプリホスト装置１０は、指定の全音信号を混合する（ステップＳ２１０）。アプリホスト装置１０の信号処理部１３２は、履歴情報記憶部１２２から、指定された３つの音データ名を全て取得し、取得した３つの音データ名に対応する３つの音データを音データ記憶部１２１から取得する。信号処理部１３２は、取得した３つの音データに基づく３つの音信号を混合（ミキシング）して、混合音信号（第３音信号）を生成する。

【0077】

次に、アプリホスト装置１０は、混合音信号を端末装置２０に送信する（ステップＳ２１１）。ステップＳ２１１からステップＳ２１５までの処理は、上述した図６に示すステップＳ１１５からステップＳ１１９までの処理と同様であるため、ここではその説明を省略する。ステップＳ１１９において、配信元装置２２０は、端末装置３０－１によって、利用者ＡＵ２が指定した３つの音データ（例えば、“拍手０１”～“拍手０３”）の混合音信号を、スピーカ２４０に出力する。

【0078】

以上説明したように、本実施形態による信号処理システム１は、ストリーミングデータを受信する端末装置２０（第１の端末装置）及び端末装置３０（第２の端末装置）を少なくとも含む複数の装置と、複数の装置との間で通信可能なコミュニケーションシステム２００と、に接続するシステムであって、音データ受付部１３１（受付部）と、信号処理部１３２と、ＮＷ通信部１１（送信部）とを備える。音データ受付部１３１は、ストリーミングデータを受信した端末装置２０から得られる第１音データの指定と、ストリーミングデータを受信した端末装置３０から得られる第２音データの指定とを受け付ける。信号処理部１３２は、第１音データと第２音データとを取得し、第１音データに基づく第１音信号と、第２音データに基づく第２音信号とを混合した第３音信号（混合音信号）を生成する。ＮＷ通信部１１は、コミュニケーションシステム２００と端末装置２０とが接続された通信回線ＲＴ１を通じて、第３音信号をコミュニケーションシステム２００に送信する。なお、送信部は、ＮＷ通信部１１の代わりに、コミュニケーション処理部２６１又はＮＷ通信部２１であってもよい。

【0079】

このような構成により、本実施形態による信号処理システム１は、音データ受付部１３１により、端末装置２０が指定した第１音データに基づく第１音信号と、端末装置３０が指定した第２音データに基づく第１音信号とを混合した第３音信号（混合音信号）を、端末装置２０が接続された通信回線ＲＴ１を通じて、コミュニケーションシステム２００に送信する。そのため、本実施形態による信号処理システム１は、既存のコミュニケーションシステム２００を変更せずに、端末装置２０及び端末装置３０が指定した音データ（拍手など）を、端末装置２０が、他の端末装置が指定した音データも含めて取りまとめて、一か所から、例えば、ストリーミングデータの配信元などに送信することができる。これにより、本実施形態による信号処理システム１は、ストリーミングデータに対する利用者の反応を伝えることができる。よって、本実施形態による信号処理システム１は、ストリーミングデータを配信する場合に、配信先の利用者の反応を適切に知ることができる。本実施形態による信号処理システム１は、例えば、リアルに拍手が起こっている雰囲気をストリーミングデータの配信元（例えば、配信者ＰＵ）に伝えることができる。

【0080】

また、本実施形態による信号処理システム１は、音データ受付部１３１により指定した音データに基づく音信号を混合して送信するため、マイク（２４、３４）からの入力と異なり、ハウリングやエコーの発生を抑制することができる。

【0081】

また、本実施形態による信号処理システム１は、端末装置２０と接続されたマイク２４（収音部）が収音した第４音信号（入力音信号）と、第３音信号（混合音信号）とを混合して、第５音信号（混合音信号）を生成するミキシング部２６３（混合部）を備える。ＮＷ通信部１１は、第５音信号（混合音信号）を、コミュニケーションシステム２００のストリーミングデータの配信元（例えば、配信元装置２２０）を送信先にして送信させる。なお、ミキシング部２６３が、信号処理部１３２に含まれるものとしてもよい。すなわち、信号処理部１３２は、端末装置２０と接続されたマイク２４（収音部）が収音した第４音信号と、第３音信号とを混合して、第５音信号を生成し、コミュニケーション処理部２６１又はＮＷ通信部２１（送信部の一例）が、第５音信号を、コミュニケーションシステム２００のストリーミングデータの配信元に送信するようにしてもよい。

【0082】

これにより、本実施形態による信号処理システム１は、１つの通信回線ＲＴ１でマイク入力（第４音信号）と指定した音データ（第１音信号及び第２音信号）とを混合して、送信できるとともに、ストリーミングデータに対する利用者の反応を、リアルタイムで配信元（例えば、配信元装置２２０）に伝えることができる。

【0083】

また、本実施形態では、信号処理部１３２は、音データ受付部１３１が端末装置２０及び端末装置３０のうちの同一の端末装置から重複して複数の音データの指定を受け付けた場合に、指定された複数の音データに基づく複数の音信号を混合した第３音信号（混合音信号）を生成する。

【0084】

これにより、本実施形態による信号処理システム１は、１つの端末装置（端末装置２０又は端末装置３０）から指定した複数の音データに基づく複数の音信号を混合して、ストリーミングデータの配信元に送信できるので、ストリーミングデータに対する拍手などの利用者の反応を、よりリアルに伝えることができ、臨場感を演出することができる。

【0085】

また、本実施形態による信号処理システム１は、音データ受付部１３１によって指定可能な音データを記憶する音データ記憶部１２１を備える（図２参照）。信号処理部１３２は、音データ記憶部１２１から第１音データと第２音データとを取得する。

【0086】

これにより、音データ記憶部１２１に様々な音データを記憶することで、本実施形態による信号処理システム１は、様々な音データに基づく音信号をストリーミングデータの配信元に送信できることが可能になり、状況に応じた利用者の多様な反応を、ストリーミングデータの配信元に送信することができる。

【0087】

また、音データ受付部１３１は、音データの指定を受け付けた場合に、当該指定の音データを取得し、取得した当該指定の音データに基づく指定の音信号を、端末装置２０及び端末装置３０のうちの指定元の端末装置に送信して、指定元の端末装置に当該指定の音信号を出力させる。
これにより、本実施形態による信号処理システム１は、指定した音データを、指定した端末装置において、音信号で確認することができる。

【0088】

また、本実施形態では、音データ受付部１３１は、指定可能な音データを示す音データ情報と、当該音データの再生時間を視認可能に示す再生バーであって、再生時間に対応した長さの再生バーとを含む指定メニュー画像Ｇ１（指定メニュー画面の画像）を、端末装置２０及び端末装置３０に表示させる（図４参照）。
これにより、本実施形態による信号処理システム１は、利用者が、音データの再生時間を考慮して、音データを選択することができる。よって、本実施形態による信号処理システム１は、利用者の利便性を向上させることができる。

【0089】

［第２の実施形態］
次に、第２の実施形態による信号処理システム１ａについて説明する。第２の実施形態では、第１の実施形態におけるアプリホスト装置１０の機能が、アプリホスト装置１０ａと、アプリ処理装置４０とに分割されている点が、第１の実施形態と異なる。

【0090】

図１０は、本実施形態による信号処理システム１ａの一例を示すブロック図である。
信号処理システム１ａは、コミュニケーションシステム２００と、端末装置２０及び端末装置３０とを少なくとも含む複数の装置と、に接続するシステムであって、アプリホスト装置１０ａと、アプリ処理装置４０とを備える。
なお、図１０において、上述した図１と同一の構成には同一の符号を付与してその説明を省略する。

【0091】

アプリホスト装置１０ａは、ネットワークＮＷ１に接続されたサーバ装置であり、例えば、拍手などの音データの指定を行うＷｅｂサイトを実現するＷｅｂサーバである。アプリホスト装置１０ａは、音データの指定を行うＷｅｂサイトを利用して、端末装置２０及び端末装置３０から、例えば、拍手などの音データの指定を受け付ける。アプリホスト装置１０ａは、音データ受付部１３１が端末装置２０からの第１音データの指定、又は、端末装置３０からの第２音データの指定を受け付けた場合に、第１音データ又は第２音データが指定されたことを示すコマンドを生成し、後述するアプリ処理装置４０に送信する。
アプリホスト装置１０ａは、ＮＷ通信部１１と、記憶部１２と、アプリ制御部１３ａとを備える。

【0092】

アプリ制御部１３ａは、例えば、ＣＰＵなどを含むプロセッサであり、アプリホスト装置１０ａを制御する。アプリ制御部１３ａは、音データ受付部１３１と、コマンド処理部１３３とを備える。

【0093】

コマンド処理部１３３は、音データ受付部１３１が端末装置２０からの第１音データの指定、又は、端末装置３０からの第２音データの指定を受け付けた場合に、第１音データ又は第２音データが指定されたことを示すコマンドを生成する。コマンド処理部１３３は、例えば、履歴情報記憶部１２２が記憶する情報に基づいて、指定された音データを示す情報（例えば、音データ名など）を含むコマンドを生成する。コマンド処理部１３３は、生成したコマンドを、ＮＷ通信部１１を介して、アプリ処理装置４０に送信する。

【0094】

アプリ処理装置４０は、指定された音データを取得して、取得した音データに基づく音信号を混合した混合音信号（第３信号）を生成する。アプリ処理装置４０は、上述したアプリホスト装置１０ａのコマンド処理部１３３が生成したコマンドに基づいて、指定された音データ（例えば、第１音データ及び第２音データ）を取得し、取得した音データに基づく音信号（例えば、第１音信号及び第２音信号）を混合して、混合音信号（第３信号）を生成する。
アプリ処理装置４０は、ＮＷ通信部４１と、音データ記憶部４２と、信号処理部４３とを備える。

【0095】

ＮＷ通信部４１（送信部の一例）は、ネットワークＮＷ１に接続可能なインターフェース部であり、ネットワークＮＷ１を介して、アプリホスト装置１０ａ、及び端末装置２０との間の通信を行う。ＮＷ通信部４１は、コミュニケーションシステム２００と端末装置２０とが接続された通信回線ＲＴ１を通じて、混合音信号（第３音信号）をコミュニケーションシステム２００に送信する。

【0096】

音データ記憶部４２は、音データ記憶部１２１と同様に、音データ名と、音データとを対応付けて記憶する。
信号処理部４３は、アプリホスト装置１０ａから受信したコマンドに基づいて、音データ受付部１３１が端末装置２０及び端末装置３０から指定を受け付けた音データを、音データ記憶部４２から取得し、指定された複数の音データに基づく音信号を混合（ミキシング）して混合音信号を生成する。信号処理部４３は、例えば、端末装置２０から指定された第１音データと、端末装置３０から指定された第２音データとを音データ記憶部１２１から取得し、第１音データに基づく第１音信号と、第２音データに基づく第２音信号とを混合した混合音信号（第３音信号）を生成する。

【0097】

また、信号処理部４３は、アプリホスト装置１０ａから受信したコマンドに基づいて、音データ受付部１３１が端末装置２０及び端末装置３０のうちの同一の端末装置から重複して複数の音データの指定を受け付けた場合に、指定された複数の音データに基づく複数の音信号を混合した混合音信号（第３音信号）を生成する。

【0098】

信号処理部４３は、生成した混合音信号（第３音信号）を、ＮＷ通信部４１を介して、端末装置２０に送信して、コミュニケーションシステム２００と端末装置２０とが接続された通信回線ＲＴ１を通じて、混合音信号（第３音信号）をコミュニケーションシステム２００に送信させる。すなわち、ＮＷ通信部４１は、コミュニケーションシステム２００と端末装置２０とが接続された通信回線ＲＴ１を通じて、混合音信号（第３音信号）をコミュニケーションシステム２００に送信する。

【0099】

次に、図１１を参照して、本実施形態による信号処理システム１ａの動作について説明する。

【0100】

図１１において、アプリホスト装置１０ａ及びアプリ処理装置４０の動作が、第１の実施形態と異なる。その他の構成の動作は、図５に示す第１の実施形態と同様である。

【0101】

アプリホスト装置１０ａのコマンド処理部１３３は、例えば、履歴情報記憶部１２２が記憶する情報に基づいて、指定された音データを示す情報（例えば、音データ名など）を含むコマンドを生成する。コマンド処理部１３３は、生成したコマンドを、ＮＷ通信部１１を介して、アプリ処理装置４０に送信する。

【0102】

また、アプリ処理装置４０の信号処理部４３は、アプリホスト装置１０ａから受信したコマンドに基づいて、指定された音データを、音データ記憶部４２から取得し、取得した音データに基づく音信号を混合した混合音信号を生成する。そして、ＮＷ通信部４１は、生成した混合音信号を、端末装置２０に送信して、通信回線ＲＴ１を通じて、混合音信号（第３音信号）をコミュニケーションシステムサーバ２１０に送信させる。

【0103】

図１２は、信号処理システム１ａの複数の端末装置（２０、３０）から音データを指定する動作の一例を示す図である。
図１２において、ステップＳ３０１からステップＳ３１３までの処理は、上述した図６に示すステップＳ１０１からステップＳ１１３までの処理と同様であるため、ここではその説明を省略する。

【0104】

次に、ステップＳ３１４において、アプリホスト装置１０ａは、指定の音信号の混合のコマンドを送信する。アプリホスト装置１０ａのコマンド処理部１３３は、履歴情報記憶部１２２が記憶する情報に基づいて、例えば、端末装置２０、端末装置３０－１、及び端末装置３０－２のそれぞれが指定した音データに対応する音データ名を含むコマンドを、指定の音信号の混合のコマンドとして生成する。コマンド処理部１３３は、生成したコマンドを、ＮＷ通信部１１を介して、アプリ処理装置４０に送信する。

【0105】

次に、アプリ処理装置４０は、指定の全音信号を混合する（ステップＳ３１５）。アプリ処理装置４０の信号処理部４３は、受信したコマンドに基づいて、指定された全ての音データ名に対応する全ての音データを音データ記憶部４２から取得する。信号処理部４３は、取得した全ての音データに基づく音信号を混合（ミキシング）して、混合音信号（第３音信号）を生成する。

【0106】

次に、アプリ処理装置４０は、混合音信号を端末装置２０に送信する（ステップＳ３１６）。アプリ処理装置４０のＮＷ通信部４１は、信号処理部４３が生成した混合音信号を、端末装置２０から通信回線ＲＴ１を通じて、コミュニケーションシステム２００に送信させるために、端末装置２０に送信する。

【0107】

続く、ステップＳ３１７からステップＳ３２０までの処理は、上述した図６に示すステップＳ１１６からステップＳ１１９までの処理と同様であるため、ここではその説明を省略する。

【0108】

以上説明したように、本実施形態による信号処理システム１ａは、アプリホスト装置１０ａ（サーバ装置）と、アプリ処理装置４０とを備える。アプリホスト装置１０ａは、音データ受付部１３１を備え、音データ受付部１３１が第１音データの指定、又は第２音データの指定を受け付けた場合に、第１音データ又は第２音データが指定されたことを示すコマンドを生成する。また、アプリ処理装置４０は、信号処理部４３とＮＷ通信部４１（送信部）とを備える。信号処理部４３は、アプリホスト装置１０ａが生成したコマンドを取得し、取得したコマンドに基づいて、端末装置２０が指定した第１音データと、端末装置３０が指定した第２音データとを取得し、第１音データに基づく第１音信号と、第２音データに基づく第２音信号とを混合した混合音信号（第３音信号）を生成する。ＮＷ通信部４１は、コミュニケーションシステム２００と端末装置２０とが接続された通信回線ＲＴ１を通じて、混合音信号（第３音信号）をコミュニケーションシステム２００に送信する．

【0109】

これにより、本実施形態による信号処理システム１ａは、上述した第１の実施形態の信号処理システム１と同様の効果を奏し、ストリーミングデータを配信する場合に、配信先の利用者の反応を適切に知ることができる。また、本実施形態による信号処理システム１ａは、アプリホスト装置１０ａでコマンドを生成して、アプリ処理装置４０と処理を分割することで、アプリホスト装置１０ａの処理負荷を軽減することができる。

【0110】

なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、信号処理システム１（１ａ）は、音データ記憶部１２１（４２）を備え、音データ記憶部１２１（４２）から音データを取得する例を説明したが、これに限定されるものではなく、例えば、外部のファイルサーバなどから音データを取得するようにしてもよい。

【0111】

また、上記の第１及び第２の実施形態において、端末装置２０が、ミキシング部２６３を備える例を説明したが、これに限定されるものではなく、端末装置２０の外部にミキシング部２６３を備えるようにしてもよい。また、信号処理システム１（１ａ）は、信号処理部１３２（４３）の一部として、ミキシング部２６３を備えるようにしてもよいし、ミキシング部２６３を備えない構成であってもよい。

【0112】

また、上記の第１及び第２の実施形態において、ストリーミングデータを受信する端末装置２０が、混合音信号をコミュニケーションシステム２００に送信する例を説明したが、例えば、ストリーミングデータを受信しない専用端末が混合音信号をコミュニケーションシステム２００に送信するようにしてもよい。また、コミュニケーションシステム２００におけるストリーミングデータを受信するアカウント（例えば、所定のユーザＩＤ）を利用して、アプリホスト装置１０又はアプリ処理装置４０から混合音信号をコミュニケーションシステム２００に直接送信するようにしてもよい。

【0113】

また、上記の各実施形態において、信号処理システム１（１ａ）は、指定された音信号の混合音信号を生成する際に、モノラル音信号で生成する例を説明したが、これに限定されるものではなく、例えば、ステレオ音信号のような多チャンネル信号により生成するようにしてもよい。また、この場合、信号処理システム１（１ａ）は、例えば、ユーザＩＤごとに拍手などの音信号を温蔵定位させてもよい。また、信号処理システム１（１ａ）は、会議に参加しているユーザＩＤと会議室ＩＤとの関連付けをしておき、会議室ＩＤに基づいて音場調整してもよい。

【0114】

また、上記の各実施形態において、信号処理システム１（１ａ）は、指定された音信号の混合音信号を生成する際に、単純に音信号を混合（ミキシング）する例を説明したが、これに限定されるものではなく、例えば、テンポ変換、イコライザによる音色変換、音量の変更、ＰＡＮ（パン：定位）の変更、リバーブなどの音響効果の付与、予め作成した多人数用の音信号への差し替えなどを行って、混合音信号を生成するようにしてもよい。

【0115】

また、上記の各実施形態において、アプリホスト装置１０（１０ａ）は、例えば、図６のステップＳ１１１からステップＳ１１３にように、音データの指定を受け付けた際に、指定の音信号を端末装置（２０、３０）に送信する例を説明したが、各端末装置（２０、３０）がアプリを起動した際に、アプリホスト装置１０（１０ａ）が、音データを予め送信するようにしてもよい。

【0116】

なお、上述の信号処理システム１（１ａ）が備える各構成は内部に、コンピュータシステムを有している。そして、上述した信号処理システム１（１ａ）が備える各構成の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【符号の説明】

【0117】

１，１ａ…信号処理システム、１０，１０ａ…アプリホスト装置、１１，２１，３１，４１…ＮＷ通信部、１２…記憶部、１３，１３ａ…アプリ制御部、２０，３０，３０－１，３０－２，３０ａ，３０ａ―１，３０ａ－２…端末装置、２２，３２…入力部、２３，３３…表示部、２４，３４，２３０…マイク、２５，３５，２４０…スピーカ、２６，３６…端末制御部、４０…アプリ処理装置、４２，１２１，１２１ａ…音データ記憶部、４３，１３２…信号処理部、１２２…履歴情報記憶部、１３１…音データ受付部、１３３…コマンド処理部、２００…コミュニケーションシステム、２１０…コミュニケーションシステムサーバ、２２０…配信元装置、２６１，３６１…コミュニケーション処理部、２６２，３６２…アプリ処理部、２６３…ミキシング部、ＰＵ…配信者、ＡＵ１，ＡＵ２，ＡＵ３…利用者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】