特許 5966531 通信システム、端末装置、再生制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5966531

(24)【登録日】2016年7月15日

(45)【発行日】2016年8月10日

(54)【発明の名称】通信システム、端末装置、再生制御方法およびプログラム

(51)【国際特許分類】

   G10K 15/04 20060101AFI20160728BHJP

   G10K 15/02 20060101ALI20160728BHJP

   H04N 7/173 20110101ALI20160728BHJP

【ＦＩ】

   G10K15/04 302D

   G10K15/02

   H04N7/173 630

【請求項の数】13

【全頁数】18

(21)【出願番号】特願2012-84128(P2012-84128)

(22)【出願日】2012年4月2日

(65)【公開番号】特開2013-213931(P2013-213931A)

(43)【公開日】2013年10月17日

【審査請求日】2015年2月20日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】畑 紀行

【審査官】 下林 義明

(56)【参考文献】

【文献】 特開平０２−２０２２７５（ＪＰ，Ａ）

【文献】 特開平０１−０７１３９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／００ − １５／０６

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ − ７／１７３

Ｈ０４Ｎ ７／２０ − ７／５６

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｇ１０Ｈ １／００ − ７／００

Ｈ０４Ｒ ３／００ − ３／１４

(57)【特許請求の範囲】

【請求項1】

第１空間に設置された第１端末装置と第２空間に設置された第２端末装置とが相互に通信することで、前記第１空間および前記第２空間の各々で収録された音響を他方の空間で再生する通信システムであって、
前記第１空間のうち第１収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部
を具備する通信システム。

【請求項2】

前記再生制御部は、前記第１動作では、前記第１収録範囲内の音響を示す第１音響信号を選択して前記再生信号を生成し、前記第２動作では、前記第２収録範囲内の音響を示す第２音響信号を選択して前記再生信号を生成する
請求項１の通信システム。

【請求項3】

前記再生制御部は、前記第１動作では、前記第１収録範囲内の音響を示す第１音響信号のゲインが、前記第２収録範囲内の音響を示す第２音響信号のゲインを上回るように前記第１音響信号と前記第２音響信号とを混合して前記再生信号を生成し、前記第２動作では、前記第２音響信号のゲインが前記第１音響信号のゲインを上回るように前記第１音響信号と前記第２音響信号とを混合して前記再生信号を生成する
請求項１の通信システム。

【請求項4】

前記再生制御部は、前記第１動作において、前記第２収録範囲内の音響を示す第２音響信号の強度が閾値を上回る場合に、前記第１収録範囲内の音響を示す第１音響信号のゲインが前記第２音響信号のゲインを上回るように前記第１音響信号と前記第２音響信号とを混合して前記再生信号を生成し、前記第２音響信号の強度が前記閾値を下回る場合に、前記第１音響信号を選択して前記再生信号を生成する
請求項１の通信システム。

【請求項5】

第１空間に設置された第１端末装置と第２空間に設置された第２端末装置とが相互に通信することで、前記第１空間および前記第２空間の各々で収録された画像を他方の空間で再生する通信システムであって、
前記第１空間のうち第１収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部を具備し、
前記再生制御部は、前記第１動作では、前記第２収録範囲内の画像を示す第２画像信号の画像の表示サイズが、前記第１収録範囲内の画像を示す第１画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成し、前記第２動作では、前記第１画像信号の画像の表示サイズが前記第２画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成する
通信システム。

【請求項6】

第１空間に設置された第１端末装置と第２空間に設置された第２端末装置とが相互に通信することで、前記第１空間および前記第２空間の各々で収録された音響または画像を他方の空間で再生する通信システムであって、
前記第１空間のうち第１収録範囲について収録された音響または画像を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された音響または画像を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部を具備し、
前記再生制御部は、前記第１端末装置および前記第２端末装置が再生する楽曲の演奏の開始に対応した時点で前記第１動作を開始し、前記楽曲の終了に対応した時点で前記第２動作を開始する
通信システム。

【請求項7】

第１空間に設置された第１端末装置と第２空間に設置された第２端末装置とが相互に通信することで、前記第１空間および前記第２空間の各々で収録された音響または画像を他方の空間で再生する通信システムであって、
前記第１空間のうち第１収録範囲について収録された音響または画像を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された音響または画像を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部を具備し、
前記再生制御部は、前記第１端末装置および前記第２端末装置が再生する楽曲のうち歌唱区間内で前記第１動作を開始し、前記楽曲のうち前記歌唱区間外で前記第２動作を開始する
通信システム。

【請求項8】

第１空間に設置され、第２空間に設置された他端末と通信可能な端末装置であって、
前記第１空間のうち第１収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部
を具備する端末装置。

【請求項9】

第１空間に設置され、第２空間に設置された他端末と通信可能な端末装置であって、
前記第１空間のうち第１収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部を具備し、
前記再生制御部は、前記第１動作では、前記第２収録範囲内の画像を示す第２画像信号の画像の表示サイズが、前記第１収録範囲内の画像を示す第１画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成し、前記第２動作では、前記第１画像信号の画像の表示サイズが前記第２画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成する
端末装置。

【請求項10】

第１空間に設置された第１端末装置と第２空間に設置された第２端末装置とが相互に通信することで、前記第１空間および前記第２空間の各々で収録された音響を他方の空間で再生する通信システムの再生制御部が、
前記第１空間のうち第１収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する
再生制御方法。

【請求項11】

第１空間に設置された第１端末装置と第２空間に設置された第２端末装置とが相互に通信することで、前記第１空間および前記第２空間の各々で収録された画像を他方の空間で再生する通信システムの再生制御部が、
前記第１空間のうち第１収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行し、
前記第１動作では、前記第２収録範囲内の画像を示す第２画像信号の画像の表示サイズが、前記第１収録範囲内の画像を示す第１画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成し、前記第２動作では、前記第１画像信号の画像の表示サイズが前記第２画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成する
再生制御方法。

【請求項12】

第１空間に設置され、第２空間に設置された他端末と通信可能なコンピュータを、
前記第１空間のうち第１収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された音響を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部
として機能させるプログラム。

【請求項13】

第１空間に設置され、第２空間に設置された他端末と通信可能なコンピュータを、
前記第１空間のうち第１収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第１動作と、前記第１空間のうち前記第１収録範囲と比較して広い第２収録範囲について収録された画像を優先的に前記第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部として機能させるプログラムであって、
前記再生制御部は、前記第１動作では、前記第２収録範囲内の画像を示す第２画像信号の画像の表示サイズが、前記第１収録範囲内の画像を示す第１画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成し、前記第２動作では、前記第１画像信号の画像の表示サイズが前記第２画像信号の画像の表示サイズを下回るように前記第１画像信号と前記第２画像信号とを合成して前記再生信号を生成する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の端末装置の間で音声や画像を相互に授受する技術に関する。

【背景技術】

【0002】

地理的に離間した各空間に設置された複数の端末装置が音響や画像を相互に送受信することで遠隔地の利用者間のデュエットや利用者のオーディションを実現する通信システムが例えば特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−３６６１６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術のように、空間内で歌唱している１人の利用者の音声や画像を他の端末装置に送信するだけでは、空間内の他の利用者（歌唱の受聴者）の音声や画像が他の空間内の利用者に伝達されないから、各空間内の利用者が他の空間内の雰囲気を把握し難いという問題がある。空間内の広範囲にわたる音響を収音する収音装置や広範囲を撮像する撮像装置を利用すれば、空間内の広範囲にわたる雰囲気を他の空間内の利用者に伝達することも可能であるが、今度は歌唱中の特定の利用者の音声や画像を各空間にて明確に把握することが困難となる。以上の事情を考慮して、本発明は、空間内の広範囲にわたる様子と特定の範囲内の様子とを他の空間にて把握できるようにすることを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の各要素と後述の各実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

【0006】

本発明の通信システムは、第１空間（例えば空間ＲA）に設置された第１端末装置（例えば端末装置１０A）と第２空間（例えば空間ＲB）に設置された第２端末装置（例えば端末装置１０B）とが相互に通信することで、第１空間および第２空間の各々で収録された音響または画像を他方の空間で再生する通信システムであって、第１空間のうち第１収録範囲について収録された音響または画像を優先的に第２空間内で再生させる再生信号（例えば再生信号Ｙ[A]，再生信号Ｚ[A]）を生成する第１動作と、第１空間のうち第１収録範囲と比較して広い第２収録範囲について収録された音響または画像を優先的に第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部（例えば音響処理部６２および制御処理部４６，画像処理部８２および制御処理部４６）を具備する。以上の構成では、第１空間内の第１収録範囲について収録された音響または画像を優先的に第２空間内で再生させる第１動作と、第１収録範囲と比較して広い第２収録範囲について第１空間内で収録された音響または画像を優先的に第２空間内で再生させる第２動作とが実行されるから、第１空間内の第１収録範囲内の音響または画像（例えば特定の歌唱者の音響や画像）と第２収録範囲内の音響または画像（例えば複数の受聴者の音響や画像）とを第２空間にて把握することが可能である。

【0007】

本発明の好適な態様において、第１端末装置は、第１収録範囲内の音響または画像を示す第１収録信号（例えば音響信号Ｓ1，画像信号Ｖ1）と、第２収録範囲内の音響または画像を示す第２収録信号（例えば音響信号Ｓ2，画像信号Ｖ2）とを、第１空間内の収録装置から取得する信号取得部（例えば音響取得部５２，画像取得部５４）を具備し、再生制御部は、第１動作では、第１収録信号を選択して再生信号を生成し、第２動作では、第２収録信号を選択して再生信号を生成する。以上の態様では、第１収録信号が第１動作にて選択され、第２収録信号が第２動作にて選択されるから、制御処理部の動作が簡素化されるとともに、第１収録範囲内の音響および画像と第２収録範囲内の音響および画像とを明確に把握できるという利点がある。なお、以上の態様の具体例は、例えば第１実施形態や第４実施形態として後述される。

【0008】

本発明の好適な態様において、第１端末装置は、第１収録範囲内の音響を示す第１音響信号（例えば音響信号Ｓ1）と、第２収録範囲内の音響を示す第２音響信号（例えば音響信号Ｓ2）とを、第１空間内の収音装置から取得する音響取得部（例えば音響取得部５２）を具備し、再生制御部は、第１動作では、第１音響信号のゲイン（例えば調整値ＧA1）が第２音響信号のゲイン（例えば調整値ＧA2）を上回るように第１音響信号と第２音響信号とを混合して再生信号を生成し、第２動作では、第２音響信号のゲインが第１音響信号のゲインを上回るように第１音響信号と第２音響信号とを混合して再生信号を生成する。以上の態様では、第１音響信号と第２音響信号との混合で再生信号が生成されるから、第１音響信号および第２音響信号の何れかを選択して再生信号を生成する構成と比較して、第１空間の全体的な音響を反映した聴感的に自然な印象の音響を第２空間にて再生することが可能である。なお、以上の態様の具体例は、例えば第２実施形態として後述される。

【0009】

本発明の好適な態様において、第１端末装置は、第１収録範囲内の音響を示す第１音響信号（例えば音響信号Ｓ1）と、第２収録範囲内の音響を示す第２音響信号（例えば音響信号Ｓ2）とを、第１空間内の収音装置から取得する音響取得部（例えば音響取得部５２）を具備し、再生制御部は、第１動作において、第２音響信号の強度（例えば強度Ｐ）が閾値を上回る場合に、第１音響信号のゲインが第２音響信号のゲインを上回るように第１音響信号と第２音響信号とを混合して再生信号を生成し、第２音響信号の強度が閾値を下回る場合に、第１音響信号を選択して再生信号を生成する。以上の態様では、第２音響信号の強度が閾値を下回る場合には第１音響信号の選択で再生信号が生成され、第２音響信号の強度が閾値を上回る場合には第１音響信号と第２音響信号との混合で再生信号が生成される。すなわち、第２音響信号の強度が増加した場合には第２収録範囲内の音響が第２空間内での再生音に反映される。したがって、例えば第２収録範囲内の利用者の音響が増大した場合に、その雰囲気を第２空間に適切に伝達することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。

【0010】

本発明の好適な態様において、第１端末装置は、第１収録範囲内の画像を示す第１画像信号（例えば画像信号Ｖ1）と、第２収録範囲内の画像を示す第２画像信号（例えば画像信号Ｖ2）とを、第１空間内の撮像装置から取得する画像取得部（例えば画像取得部５４）を具備し、再生制御部は、第１動作では、第２画像信号の画像（例えば画像ＦU2）の表示サイズが第１画像信号の画像（例えば画像ＦU1）の表示サイズを下回るように第１画像信号と第２画像信号とを合成して再生信号を生成し、第２動作では、第１画像信号の画像の表示サイズが第２画像信号の画像の表示サイズを下回るように第１画像信号と第２画像信号とを合成して再生信号を生成する。以上の態様では、第１画像信号と第２画像信号との合成で再生信号が生成されるから、第１画像信号および第２画像信号の何れかを選択して再生信号を生成する構成と比較して、第１収録範囲および第２収録範囲の双方の画像を第２空間内の利用者が視認できるという利点がある。なお、以上の態様の具体例は、例えば第５実施形態として後述される。

【0011】

なお、以上の各態様において、第１動作と第２動作との切替の契機は任意である。例えば、第１端末装置および第２端末装置が同一の楽曲を再生する構成では、楽曲の演奏の開始に対応した時点で第１動作を開始し、楽曲の終了に対応した時点で第２動作を開始する構成や、楽曲のうち歌唱区間内で第１動作を実行し、楽曲のうち歌唱区間外で第２動作を実行する構成が好適である。

【0012】

本発明は、前述の各形態に係る通信システムに利用される端末装置としても特定される。本発明の端末装置は、第１空間に設置され、第２空間に設置された他端末と通信可能な端末装置であって、第１空間のうち第１収録範囲について収録された音響または画像を優先的に第２空間内で再生させる再生信号を生成する第１動作と、第１空間のうち第１収録範囲と比較して広い第２収録範囲について収録された音響または画像を優先的に第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部を具備する。以上の端末装置によれば、本発明に係る通信システムと同様の作用および効果が実現される。

【0013】

以上の各態様に係る構成は、専用のＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、第１空間に設置され、第２空間に設置された第２端末装置と通信可能なコンピュータを、第１空間および第２空間の各々で収録された音響または画像を他方の空間で再生するために、第１空間のうち第１収録範囲について収録された音響または画像を優先的に第２空間内で再生させる再生信号を生成する第１動作と、第１空間のうち第１収録範囲と比較して広い第２収録範囲について収録された音響または画像を優先的に第２空間内で再生させる再生信号を生成する第２動作とを実行する再生制御部として機能させる。以上のプログラムによれば、本発明に係る通信システムと同様の作用および効果が実現される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１実施形態に係る通信システムのブロック図である。

【図2】第１実施形態における端末装置のブロック図である。

【図3】端末装置の機能的な構成を示すブロック図である。

【図4】制御処理部の動作のフローチャートである。

【図5】第３実施形態における制御処理部の動作のフローチャートである。

【図6】第４実施形態における端末装置のブロック図である。

【図7】第４実施形態における端末装置の機能的な構成を示すブロック図である。

【図8】第５実施形態の動作の説明図である。

【発明を実施するための形態】

【0015】

＜第１実施形態＞
図１は、本発明の第１実施形態に係る通信システム１００のブロック図である。図１に示すように、第１実施形態の通信システム１００は、地理的に相互に離間した各空間Ｒ（ＲA，ＲB）内に設置された複数の端末装置１０（１０A，１０B）を含んで構成される。各端末装置１０は、通信網２００を介して相互に通信する。通信網２００は、例えば伝送遅延が充分に小さい広帯域通信網である。なお、空間ＲA内の端末装置１０Aと空間ＲB内の端末装置１０Bとを図１では便宜的に図示したが、実際には多数の端末装置１０が通信網２００に接続されて相互に通信する。

【0016】

第１実施形態の通信システム１００は、各端末装置１０がカラオケ装置として機能するカラオケシステムである。端末装置１０が設置された各空間Ｒ（ＲA，ＲB）には、楽曲を歌唱する歌唱者Ｕ1と歌唱者Ｕ1の歌唱を聴取する複数の受聴者（聴衆）Ｕ2とが存在する。端末装置１０Aと端末装置１０Bとは同一の楽曲を再生し、端末装置１０Aと端末装置１０Bとが相互に通信することで、空間ＲAおよび空間ＲBの各々で収録された音響および画像が他方の空間Ｒ内で再生される。したがって、空間ＲA内の歌唱者Ｕ1と空間ＲB内の歌唱者Ｕ1とは遠隔地に所在しながら例えばデュエットすることが可能である。

【0017】

図２は、各端末装置１０のブロック図である。図２に示すように、各端末装置１０は、演算処理装置２０と記憶装置２２と入力装置２４と信号処理回路２６と通信装置２８とを具備するコンピュータシステムで実現される。なお、相互に別体の複数の装置として端末装置１０を実現することも可能である。例えば、通信装置２８は、端末装置１０の他の要素とは別体の装置として構成され得る。

【0018】

演算処理装置２０は、記憶装置２２に記憶されたプログラムの実行で各種の制御処理および演算処理を実行する。記憶装置２２は、演算処理装置２０が実行するプログラムや演算処理装置２０が使用する各種のデータを記憶する。例えば記憶装置２２は、楽曲の伴奏音や歌詞を指定する楽曲データを楽曲毎に記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置２２として任意に採用される。

【0019】

入力装置２４は、端末装置１０に対する利用者（歌唱者Ｕ1や受聴者Ｕ2）からの指示を受付ける操作機器であり、例えば利用者が操作可能な複数の操作子を含んで構成される。例えば端末装置１０の筐体に設置された操作パネルや端末装置１０とは別体のリモコン装置が入力装置２４として採用される。

【0020】

信号処理回路２６は、音響の波形を示す音響信号ＳOUTおよび再生信号Ｙと、画像（動画像）を示す画像信号ＶOUTおよび再生信号Ｚとを生成する。なお、信号処理回路２６の具体的な構成については後述する。通信装置２８は、通信網２００を介して他の端末装置１０と通信する。具体的には、通信装置２８は、信号処理回路２６が生成した再生信号Ｙおよび再生信号Ｚを他の端末装置１０との間で授受する。例えば、空間ＲA内の端末装置１０Aと空間ＲB内の端末装置１０Bとの通信を想定すると、図２に示すように、端末装置１０Aの信号処理回路２６が生成した再生信号Ｙ[A]および再生信号Ｚ[A]を端末装置１０Aの通信装置２８が端末装置１０Bに送信し、端末装置１０Bの信号処理回路２６が生成した再生信号Ｙ[B]および再生信号Ｚ[B]を端末装置１０Aの通信装置２８が端末装置１０Bから受信する。

【0021】

図１および図２に示すように、収録装置１２と再生装置１４とが各端末装置１０に接続される。収録装置１２は、空間Ｒ内の音響および画像を収録する機器であり、収音装置３２-1と収音装置３２-2と撮像装置３４とを含んで構成される。撮像装置３４は、空間Ｒ内を撮像した画像（動画像）の画像信号Ｖを端末装置１０に供給する。第１実施形態の撮像装置３４は、空間Ｒ内の歌唱者Ｕ1の画像を撮像する。

【0022】

収音装置３２-1は、周囲の音響を収音した音響信号Ｓ1を端末装置１０に供給し、収音装置３２-2は、周囲の音響を収音した音響信号Ｓ2を端末装置１０に供給する。収音装置３２-1と収音装置３２-2とは、空間Ｒ内の収音範囲（収録範囲）が相違する。具体的には、収音装置３２-2は、収音装置３２-1と比較して広範囲にわたる音響を収音する。例えば、指向性（典型的には単一指向性）のマイクが収音装置３２-1として採用され、無指向性のマイク（例えばバウンダリーマイク）が収音装置３２-2として採用される。収音装置３２-1は、空間Ｒ内の歌唱者Ｕ1の歌唱音の収音に利用され、収音装置３２-2は、空間Ｒ内の全体的な音響（以下では「背景音」と表記する）の収音に利用される。空間Ｒ内の背景音は、例えば各受聴者Ｕ2の発声音（会話音や掛け声）または拍手音等の音響である。以上に説明した通り、収音装置３２-1が生成する音響信号Ｓ1は歌唱者Ｕ1の歌唱音に対応し、収音装置３２-2が生成する音響信号Ｓ2は空間Ｒ内の背景音（すなわち空間Ｒ内の全体的な雰囲気）に対応する。

【0023】

再生装置１４は、音響および画像を空間Ｒ内に再生する要素であり、放音装置１４２と表示装置１４４とを含んで構成される。放音装置１４２（スピーカ）は、信号処理回路２６が生成した音響信号ＳOUTに応じた音響を再生する。なお、音響信号ＳOUTをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。表示装置１４４（例えば液晶表示パネル）は、信号処理回路２６が生成した画像信号ＶOUTに応じた画像を表示する。

【0024】

図３は、第１実施形態の端末装置１０の機能的な構成を示すブロック図である。なお、以下の説明では、空間ＲA内の端末装置１０Aの構成を説明するが、通信システム１００内の各端末装置１０（端末装置１０B）の構成も同様である。端末装置１０Aと端末装置１０Bとが相互に通信する場合、端末装置１０Aおよび端末装置１０Bの一方が主端末（マスター）に指定されて他方が副端末（スレーブ）に指定される。

【0025】

図３に示すように、端末装置１０Aの演算処理装置２０は、記憶装置２２に記憶されたプログラムを実行することで複数の要素（伴奏再生部４２，歌詞再生部４４，制御処理部４６）として機能する。また、端末装置１０Aの信号処理回路２６は、音響取得部５２と画像取得部５４と音響処理部６２と音響処理部６４と画像処理部８４とを含んで構成される。なお、演算処理装置２０の機能の一部または全部を信号処理回路２６で実現する構成や信号処理回路２６の機能の一部または全部を演算処理装置２０で実現する構成も採用され得る。また、信号処理回路２６の各機能を複数の集積回路に分散させることも可能である。

【0026】

音響取得部５２は、収音装置３２-1が生成した音響信号Ｓ1と収音装置３２-2が生成した音響信号Ｓ2とを取得する。また、音響取得部５２は、音響信号Ｓ1および音響信号Ｓ2をアナログからデジタルに変換するＡ/Ｄ変換器や、音響信号Ｓ1および音響信号Ｓ2の強度を所定の範囲に制限するリミッタを包含し得る。音響信号Ｓ1や音響信号Ｓ2に発生するエコーを除去するエコーキャンセラを音響取得部５２に搭載することも可能である。画像取得部５４は、撮像装置３４が生成した画像信号Ｖを取得する。画像取得部５４が取得した画像信号Ｖは再生信号Ｚ[A]として通信装置２８から端末装置１０Bに送信される。また、端末装置１０Aの通信装置２８は、端末装置１０Bから送信された再生信号Ｚ[B]を受信する。

【0027】

記憶装置２２に記憶された楽曲データは、伴奏データＤM1と歌詞データＤM2とを含んで構成される。伴奏データＤM1は、楽曲の伴奏音を時系列に指定する。歌詞データＤM2は、楽曲の歌詞を時系列に指定する。伴奏データＤM1および歌詞データＤM2は、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式で記述された時系列データである。図３の伴奏再生部４２は、利用者が選択した楽曲（以下「選択曲」という）の伴奏音を生成する。具体的には、伴奏再生部４２は、選択曲の伴奏データＤM1を順次に処理することで伴奏音の音響信号ＳXを生成する。なお、伴奏再生部４２による伴奏音の生成は、端末装置１０Aが主端末に指定された場合に実行される。端末装置１０Aが副端末に指定された場合には、端末装置１０Bの伴奏再生部４２が生成した音響信号ＳXに応じて空間ＲA内で選択曲の伴奏音が再生される。歌詞再生部４４は、選択曲の歌詞データＤM2を順次に処理することで画像信号ＶXを生成する。画像信号ＶXは、選択曲の歌詞の画像（歌詞の文字列が経時的にワイプされる画像）を示す。伴奏再生部４２による音響信号ＳXの生成（伴奏音の再生）や歌詞再生部４４による画像信号ＶXの生成（歌詞の再生）には公知の技術が任意に採用される。

【0028】

画像処理部８４は、通信装置２８が端末装置１０Bから受信した再生信号Ｚ[B]と、歌詞再生部４４が生成した画像信号ＶXとの合成で画像信号ＶOUTを生成する。画像処理部８４が生成した画像信号ＶOUTが表示装置１４４に供給されることで、空間ＲB内の画像に選択曲の歌詞を合成した画像が空間ＲA内の表示装置１４４に表示される。したがって、空間ＲA内の歌唱者Ｕ1や受聴者Ｕ2は、空間ＲB内の様子を視覚的に確認することが可能である。

【0029】

音響処理部６２は、空間ＲB内での音響の再生を制御する再生信号Ｙ[A]を生成する。具体的には、音響処理部６２は、音響取得部５２が取得した音響信号Ｓ1および音響信号Ｓ2に応じた再生信号Ｙ[A]を生成する。第１実施形態の音響処理部６２は、端末装置１０Aが主端末に指定された場合（伴奏再生部４２が音響信号ＳXを生成した場合）には音響信号ＳXを再生信号Ｙ[A]に混合する。

【0030】

第１実施形態の音響処理部６２は、音響信号Ｓ1と音響信号Ｓ2と音響信号ＳXとを可変の混合比で混合する混合器であり、３個の調整部７２（７２-1〜７２-3）と加算部７４とを含んで構成される。調整部７２-1は音響信号Ｓ1の強度を調整値（ゲイン）ＧA1に応じて調整する。同様に、調整部７２-2は音響信号Ｓ2の強度を調整値ＧA2に応じて調整し、調整部７２-3は音響信号ＳXの強度を調整値ＧA3に応じて調整する。加算部７４は、各調整部７２による調整後の信号の加算で再生信号Ｙ[A]を生成する。音響処理部６２が生成した再生信号Ｙ[A]が通信装置２８から端末装置１０Bに送信される。

【0031】

音響処理部６４は、空間ＲA内で再生される音響の音響信号ＳOUTを生成する。第１実施形態の音響処理部６４は、音響取得部５２が取得した音響信号Ｓ1および音響信号Ｓ2と、通信装置２８が端末装置１０Bから受信した再生信号Ｙ[B]と、伴奏再生部４２が生成した音響信号ＳXとを可変の混合比で混合する混合器であり、４個の調整部７６（７６-1〜７６-4）と加算部７８とを含んで構成される。調整部７６-1は音響信号Ｓ1の強度を調整値ＧB1に応じて調整する。同様に、調整部７６-2は音響信号Ｓ2の強度を調整値ＧB2に応じて調整し、調整部７６-3は音響信号ＳXの強度を調整値ＧB3に応じて調整し、調整部７６-4は再生信号Ｙ[B]の強度を調整値ＧB4に応じて調整する。加算部７８は、各調整部７６による調整後の信号の加算で音響信号ＳOUTを生成する。音響処理部６４が生成した音響信号ＳOUTに応じた音響が放音装置１４２から空間ＲA内に再生される。以上の説明から理解されるように、空間ＲAおよび空間ＲBの各々において、空間ＲA内の音響と空間ＲB内の音響と伴奏音との混合音が再生される。したがって、空間ＲAおよび空間ＲBの各々の歌唱者Ｕ1は、他方の空間Ｒの歌唱者Ｕ1の歌唱音を聴取しながら選択曲を歌唱する（すなわちデュエットする）ことが可能である。

【0032】

図３の制御処理部４６は、音響処理部６２および音響処理部６４に適用される各調整値Ｇ（ＧA1〜ＧA3，ＧB1〜ＧB4）を可変に制御する。具体的には、制御処理部４６は、音響信号ＳOUTの生成（音響処理部６４）に適用される各調整値ＧB（ＧB1〜ＧB4）を、例えば入力装置２４に対する利用者からの指示に応じて制御する。また、制御処理部４６は、選択曲が演奏される期間（以下「楽曲演奏期間」という）内では、収音装置３２-1が空間ＲA内で収音した歌唱者Ｕ1の歌唱音（音響信号Ｓ1）が空間ＲA内の受聴者Ｕ2の音響と比較して優先的に空間ＲB内で再生され、楽曲演奏期間外では、収音装置３２-2が空間ＲA内で収音した背景音（音響信号Ｓ2）が空間ＲA内の歌唱者Ｕ1の歌唱音と比較して優先的に空間ＲB内で再生されるように、再生信号Ｙ[A]の生成（音響処理部６２）に適用される各調整値ＧA（ＧA1，ＧA2）を調整する。なお、調整値ＧA3は例えば利用者からの指示に応じて設定される。

【0033】

図４は、再生信号Ｙ[A]の生成に関連して制御処理部４６が実行する動作のフローチャートである。端末装置１０Aの作動中の所定の時間毎に図４の処理が実行される。図４の処理を開始すると、制御処理部４６は、現時点が楽曲演奏期間内であるか否かを判定する（ＱA1）。具体的には、制御処理部４６は、選択曲の演奏の開始に対応した時点（例えば演奏の開始点や演奏の開始点の前後の時点）から選択曲の演奏の終了に対応した時点（例えば演奏の終了点や演奏の終了点の前後の時点）までの期間を楽曲演奏期間としてステップＱA1の判定を実行する。

【0034】

現時点が楽曲演奏期間内である場合（ＱA1：YES）、制御処理部４６は、調整値ＧA1を１（すなわち、調整部７２-1が音響信号Ｓ1を通過させる数値）に設定するとともに調整値ＧA2を０（すなわち、調整部７２-2が音響信号Ｓ2を阻止する数値）に設定する（ＱA2）。すなわち、空間ＲA内の歌唱者Ｕ1の歌唱音を収音した音響信号Ｓ1が選択的に再生信号Ｙ[A]の生成に適用され、空間ＲA内の背景音を収音した音響信号Ｓ2は再生信号Ｙ[A]の生成に適用されない。したがって、端末装置１０Bの音響処理部６４が再生信号Ｙ[A]から生成する音響信号ＳOUTに応じて空間ＲB内に再生される音響は、空間ＲA内の背景音を包含せず、空間ＲA内の歌唱者Ｕ1の歌唱音を明確に聴取可能な音響となる。

【0035】

他方、現時点が楽曲演奏期間外である場合（ＱA1：NO）、制御処理部４６は、調整値ＧA1を０に設定するとともに調整値ＧA2を１に設定する（ＱA3）。すなわち、空間ＲA内の背景音を収音した音響信号Ｓ2が選択的に再生信号Ｙ[A]の生成に適用され、空間ＲA内の歌唱者Ｕ1の歌唱音を収音した音響信号Ｓ1は再生信号Ｙ[A]の生成に適用されない。したがって、端末装置１０Bの音響処理部６４が再生信号Ｙ[A]から生成する音響信号ＳOUTに応じて空間ＲB内に再生される音響は、空間ＲA内の歌唱者Ｕ1の歌唱音を包含せず、空間ＲA内の背景音を充分に聴取可能な音響となる。以上の説明から理解されるように、第１実施形態の音響処理部６２および制御処理部４６は、収音装置３２-1が収音した空間ＲA内の音響（歌唱音）を優先的に空間ＲB内で再生させる再生信号Ｙ[A]を生成する第１動作（ＱA2）と、収音装置３２-2が収音した空間ＲA内の音響（背景音）を優先的に空間ＲB内で再生させる再生信号Ｙ[A]を生成する第２動作（ＱA3）とを実行する要素（再生制御部）として機能する。

【0036】

以上に説明した通り、第１実施形態では、空間ＲA内の歌唱音を背景音に対して優先的に空間ＲB内で再生させる第１動作（ＱA2）と、空間ＲA内の背景音を歌唱音に対して優先的に空間ＲB内で再生させる第２動作（ＱA3）とが選択的に実行される。したがって、空間ＲA内の歌唱者Ｕ1の歌唱音と空間ＲA内の広範囲にわたる雰囲気（背景音）との双方を空間ＲB内の歌唱者Ｕ1や受聴者Ｕ2が把握できるという利点がある。また、楽曲演奏期間内で第１動作が実行されるとともに楽曲演奏期間外で第２動作が実行されるから、楽曲演奏期間内では選択曲の歌唱音を確実に充分に聴取しながら、楽曲演奏期間外では受聴者Ｕ2の発声音（例えば掛け声や会話音）や拍手音を聴取することが可能である。

【0037】

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。第１実施形態では、音響信号Ｓ1および音響信号Ｓ2の一方を選択して再生信号Ｙ[A]を生成した。第２実施形態では、音響信号Ｓ1および音響信号Ｓ2を混合することで再生信号Ｙ[A]を生成する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

【0038】

第２実施形態の制御処理部４６は、図４のステップＱA2（第１動作）において、調整値ＧA1を第１実施形態と同様に１に設定する一方、調整値ＧA2を所定値Ｃに設定する。所定値Ｃは、調整値ＧA1を下回る正数（１未満の正数）に設定される。例えば所定値Ｃは０.２５に設定される。以上の制御の結果、音響処理部６２は、音響信号Ｓ1のゲイン（ＧA1）が音響信号Ｓ2のゲイン（ＧA2）を上回るように音響信号Ｓ1と音響信号Ｓ2とを混合する（音響信号Ｓ1と音響信号Ｓ2とを４：１の混合比で混合する）ことで再生信号Ｙ[A]を生成する。したがって、空間ＲB内では、空間ＲA内の背景音が小音量で空間ＲA内の歌唱者Ｕ1の歌唱音とともに再生される。以上の説明から理解されるように、第２実施形態においても、第１実施形態と同様に、空間ＲA内の歌唱音を背景音に対して優先的に空間ＲB内で再生させる第１動作（ＱA2）が実行される。

【0039】

また、第２実施形態の制御処理部４６は、図４のステップＱA3（第２動作）において、調整値ＧA2を第１実施形態と同様に１に設定する一方、調整値ＧA1を所定値Ｃに設定する。所定値Ｃは、調整値ＧA2を下回る正数（例えば０.２５）に設定される。以上の制御の結果、音響処理部６２は、音響信号Ｓ2のゲイン（ＧA2）が音響信号Ｓ1のゲイン（ＧA1）を上回るように音響信号Ｓ1と音響信号Ｓ2とを混合する（音響信号Ｓ2と音響信号Ｓ1とを４：１の混合比で混合する）ことで再生信号Ｙ[A]を生成する。したがって、空間ＲB内では、空間ＲA内の歌唱者Ｕ1の歌唱音が小音量で空間ＲA内の背景音とともに再生される。以上の説明から理解されるように、第２実施形態においても、第１実施形態と同様に、空間ＲA内の背景音を歌唱音に対して優先的に空間ＲB内で再生させる第２動作（ＱA3）が実行される。

【0040】

以上に説明した第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、第１動作の実行時に背景音が小音量で歌唱音に混合され、第２動作の実行時に歌唱音が小音量で背景音に混合される。したがって、空間ＲA内の全体的な音響を反映した聴感的に自然な印象の音響を空間ＲB内で再生できるという利点がある。

【0041】

＜第３実施形態＞
本発明の第３実施形態を説明する。第３実施形態の制御処理部４６は、図４の処理に代えて図５の処理を所定の時間毎に実行する。図５の処理を開始すると、制御処理部４６は、第１実施形態と同様に、現時点が楽曲演奏期間内であるか否かを判定する（ＱA1）。現時点が楽曲演奏期間内である場合（ＱA1：YES）、制御処理部４６は、音響取得部５２が収音装置３２-2から取得した音響信号Ｓ2の強度（例えばパワーの平均値）Ｐを算定する（ＱA4）。そして、制御処理部４６は、ステップＱA4で算定した強度Ｐが所定の閾値ＰTHを上回るか否かを判定する（ＱA5）。

【0042】

音響信号Ｓ2の強度Ｐが閾値ＰTHを上回る場合（ＱA5：YES）、制御処理部４６は、音響処理部６２の調整値ＧA1を１に設定するとともに調整値ＧA2を所定値Ｃに設定する（ＱA6）。所定値Ｃは、第２実施形態と同様に、１未満の正数（例えば０.２５）に設定される。すなわち、音響処理部６２は、音響信号Ｓ1のゲイン（ＧA1）が音響信号Ｓ2のゲイン（ＧA2）を上回るように音響信号Ｓ1と音響信号Ｓ2とを混合することで再生信号Ｙ[A]を生成する。以上の条件で生成された再生信号Ｙ[A]に応じた音響信号ＳOUTが空間ＲB内で再生されるから、空間ＲA内の背景音が小音量で空間ＲA内の歌唱者Ｕ1の歌唱音とともに空間ＲB内で再生される。

【0043】

他方、音響信号Ｓ2の強度Ｐが閾値ＰTHを下回る場合（ＱA5：NO）、制御処理部４６は、第１実施形態と同様のステップＱA2を実行する。以上に説明した通り、第３実施形態では、音響信号Ｓ2の強度Ｐが閾値ＰTHを上回る場合には音響信号Ｓ1と音響信号Ｓ2との混合で再生信号Ｙ[A]が生成され（ＱA6）、強度Ｐが閾値ＰTHを下回る場合には音響信号Ｓ1の選択により再生信号Ｙ[A]が生成される（ＱA2）。なお、現時点が楽曲演奏期間外である場合（ＱA1：NO）、第１実施形態と同様に、音響信号Ｓ2の選択により再生信号Ｙ[A]が生成される（ＱA3）。

【0044】

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、空間ＲA内の背景音を収録した音響信号Ｓ2の強度Ｐが閾値ＰTHを上回る場合（例えば各受聴者Ｕ2の雰囲気が盛上がった場合）には、楽曲演奏期間内でも背景音が空間ＲB内に再生されるから、例えば楽曲演奏期間内に空間ＲAで発生する受聴者Ｕ2の音声（例えば掛け声や拍手音）を空間ＲB内の歌唱者Ｕ1や受聴者Ｕ2も聴取できる。したがって、空間ＲA内の雰囲気を空間ＲB内の歌唱者Ｕ1や受聴者Ｕ2が把握できるという効果は格別に顕著である。他方、背景音は小音量で再生されるから、空間ＲA内の歌唱者Ｕ1の歌唱音を空間ＲB内で聴取することは阻害されない。

【0045】

＜第４実施形態＞
図６は、第４実施形態における各端末装置１０（端末装置１０A）のブロック図である。図６に示すように、第４実施形態の端末装置１０に接続される収録装置１２は、収音装置３２と撮像装置３４-1と撮像装置３４-2とを含んで構成される。撮像装置３４-1は、空間ＲA内を撮像した画像信号Ｖ1を生成し、撮像装置３４-2は、空間ＲA内を撮像した画像信号Ｖ2を生成する。撮像装置３４-1と撮像装置３４-2とは、空間Ｒ内の撮像範囲（収録範囲）が相違する。具体的には、撮像装置３４-2は、撮像装置３４-1と比較して広い範囲を撮像する。以下の説明では、撮像装置３４-1が空間Ｒ内の歌唱者Ｕ1を撮像し、撮像装置３４-2が空間Ｒ内の複数の受聴者Ｕ2を撮像する場合を想定する。収音装置３２は、第１実施形態の収音装置３２-1と同様に、空間ＲA内の歌唱者Ｕ1の歌唱音を収音して音響信号Ｓを生成する。

【0046】

図７は、第４実施形態における端末装置１０（端末装置１０A）の機能的な構成のブロック図である。図７に示すように、第４実施形態の信号処理回路２６は、音響取得部５２と画像取得部５４と音響処理部６２と音響処理部６４と画像処理部８２と画像処理部８４とを含んで構成される。なお、信号処理回路２６の機能の一部または全部を演算処理装置２０で実現することも可能である。音響取得部５２は、第１実施形態と同様に、収音装置３２が生成した音響信号Ｓを取得する。画像取得部５４は、撮像装置３４-1が生成した画像信号Ｖ1と撮像装置３４-2が生成した画像信号Ｖ2とを取得する。

【0047】

音響処理部６２は、空間ＲB内での音響の再生を制御する再生信号Ｙ[A]を生成する。具体的には、音響処理部６２は、端末装置１０Aが主端末に指定された場合には、音響取得部５２が取得した音響信号Ｓと伴奏再生部４２が生成した音響信号ＳXとを混合することで再生信号Ｙ[A]を生成し、端末装置１０Aが副端末に指定された場合には、音響取得部５２が取得した音響信号Ｓを再生信号Ｙ[A]として出力する。音響処理部６２が生成した再生信号Ｙ[A]が通信装置２８から端末装置１０Bに送信される。

【0048】

音響処理部６４は、空間ＲA内で再生される音響の音響信号ＳOUTを生成する。具体的には、端末装置１０Aが主端末に指定された場合、音響処理部６４は、音響取得部５２が取得した音響信号Ｓと通信装置２８が端末装置１０Bから受信した再生信号Ｙ[B]と伴奏再生部４２が生成した音響信号ＳXとを混合することで音響信号ＳOUTを生成する。また、端末装置１０Aが副端末に指定された場合、音響処理部６４は、音響取得部５２が取得した音響信号Ｓと通信装置２８が端末装置１０Bから受信した再生信号Ｙ[B]とを混合することで音響信号ＳOUTを生成する。音響処理部６４が生成した音響信号ＳOUTに応じた音響が放音装置１４２から空間ＲA内に再生される。したがって、空間ＲAおよび空間ＲBの双方において、空間ＲA内の歌唱者Ｕ1の歌唱音と空間ＲB内の歌唱者Ｕ1の歌唱音と選択曲の伴奏音との混合音が再生される。

【0049】

図７の画像処理部８２は、空間ＲB内の画像の再生を制御する再生信号Ｚ[A]を生成する。第１実施形態の画像処理部８２は、画像取得部５４が取得した画像信号Ｖ1および画像信号Ｖ2の一方を再生信号Ｚ[A]として選択する。また、画像処理部８４は、空間ＲA内の画像の再生を制御する画像信号ＶOUTを生成する。具体的には、画像処理部８４は、通信装置２８が端末装置１０Bから受信した再生信号Ｚ[B]と、歌詞再生部４４が生成した画像信号ＶXとの合成で画像信号ＶOUTを生成する。画像処理部８４が生成した画像信号ＶOUTが表示装置１４４に供給されることで、空間ＲB内の画像に選択曲の歌詞を合成した画像が空間ＲA内の表示装置１４４に表示される。

【0050】

図７の制御処理部４６は、画像処理部８２の動作（画像信号Ｖ1または画像信号Ｖ2の選択）を制御する。具体的には、制御処理部４６は、楽曲演奏期間内では画像信号Ｖ1を選択するように画像処理部８２を制御し、楽曲演奏期間外では画像信号Ｖ2を選択するように画像処理部８２を制御する。以上の説明から理解されるように、第４実施形態の画像処理部８２および制御処理部４６は、撮像装置３４-1が撮像した空間ＲA内の歌唱者Ｕ1の画像を優先的に空間ＲB内で再生させる第１動作（画像信号Ｖ1の選択）と、撮像装置３４-2が撮像した空間ＲA内の複数の受聴者Ｕ2の画像を優先的に空間ＲB内で再生させる第２動作（画像信号Ｖ2の選択）とを実行する要素（再生制御部）として機能する。

【0051】

以上に説明した通り、第４実施形態では、空間ＲA内の歌唱者Ｕ1の画像を優先的に空間ＲB内で再生させる第１動作と、空間ＲA内の各受聴者Ｕ2の画像を優先的に空間ＲB内で再生させる第２動作とが実行される。したがって、空間ＲA内の歌唱者Ｕ1の画像と空間ＲA内の受聴者Ｕ2（空間ＲA内の全体的な雰囲気）との双方を空間ＲB内の歌唱者Ｕ1や受聴者Ｕ2が把握できるという利点がある。また、楽曲演奏期間内で第１動作が実行されるとともに楽曲演奏期間外で第２動作が実行されるから、楽曲演奏期間内では歌唱者Ｕ1が歌唱する様子を視認しながら、楽曲演奏期間外では例えば受聴者Ｕ2が盛上がる様子を視認することが可能である。

【0052】

＜第５実施形態＞
第４実施形態の画像処理部８２は、画像信号Ｖ1および画像信号Ｖ2の一方を再生信号Ｚ[A]として選択した。第５実施形態の画像処理部８２は、画像信号Ｖ1と画像信号Ｖ2とを合成することで再生信号Ｚ[A]を生成する。第４実施形態と同様に、端末装置１０Aにて生成された再生信号Ｚ[A]に応じた画像が空間ＲB内で表示され、端末装置１０Bにて生成された再生信号Ｚ[B]に応じた画像が空間ＲA内で表示される。

【0053】

図８は、第５実施形態における画像処理部８２および制御処理部４６の動作の説明図である。図８に示すように、画像処理部８２は、画像ＦAおよび画像ＦBの一方を示す再生信号Ｚ[A]を画像信号Ｖ1と画像信号Ｖ2との合成により生成する。画像ＦAおよび画像ＦBの各々は、画像信号Ｖ1が示す歌唱者Ｕ1の画像ＦU1と画像信号Ｖ2が示す受聴者Ｕ2の画像ＦU2とを合成した画像（ピクチャーインピクチャー）である。画像ＦAでは、画像ＦU2の表示サイズが画像ＦU1の表示サイズを下回る。すなわち、歌唱者Ｕ1の画像ＦU1が受聴者Ｕ2の画像ＦU2と比較して優先的に表示される。他方、画像ＦBでは、画像ＦU1の表示サイズが画像ＦU2の表示サイズを下回る。すなわち、受聴者Ｕ2の画像ＦU2が歌唱者Ｕ1の画像ＦU1と比較して優先的に表示される。制御処理部４６は、第１動作の実行時（例えば楽曲演奏期間内）に画像ＦAの再生信号Ｚ[A]が生成され、第２動作の実行時（例えば楽曲演奏期間外）に画像ＦBの再生信号Ｚ[A]が生成されるように画像処理部８２を制御する。

【0054】

第５実施形態においても第４実施形態と同様の効果が実現される。また、第４実施形態では、空間ＲA内の歌唱者Ｕ1の画像ＦU1と空間ＲA内の受聴者Ｕ2の画像ＦU2とを合成した画像（ＦA，ＦB）が空間ＲB内で表示されるから、空間ＲA内の歌唱者Ｕ1および受聴者Ｕ2の全体的な様子を空間ＲB内で確認できるという利点がある。

【0055】

＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

【0056】

（１）第１実施形態から第３実施形態では、収録装置１２が収音装置３２-1と収音装置３２-2とを含む構成を例示したが、単体の収音装置３２の収音範囲（指向性）を可変に制御することで、相異なる収音範囲に対応する音響信号Ｓ1および音響信号Ｓ2を生成することも可能である。また、第４実施形態および第５実施形態では、収録装置１２が撮像装置３４-1と撮像装置３４-2とを含む構成を例示したが、単体の撮像装置３４の撮像範囲を可変に制御する（例えば撮像レンズの焦点距離を制御する）ことで、相異なる撮像範囲に対応する画像信号Ｖ1および画像信号Ｖ2を生成することも可能である。

【0057】

（２）前述の各形態では、再生信号Ｙ[A]を生成する再生制御部（音響処理部６２および制御処理部４６）や再生信号Ｚ[A]を生成する再生制御部（画像処理部８２および制御処理部４６）を端末装置１０A内に設置したが、再生制御部の位置は適宜に変更される。例えば、端末装置１０Aや端末装置１０Bとは別個に通信網２００に接続された管理装置（例えばサーバ装置）に再生制御部を設置することも可能である。例えば音響信号Ｓ1および音響信号Ｓ2を端末装置１０Aから管理装置に送信し、管理装置内の再生制御部が再生信号Ｙ[A]を生成して端末装置１０Bに送信する構成や、画像信号Ｖ1および画像信号Ｖ2を端末装置１０Aから管理装置に送信し、管理装置内の再生制御部が再生信号Ｚ[A]を生成して端末装置１０Bに送信する構成が採用される。以上の説明から理解されるように、再生制御部は、通信システム１００内に設置された要素として包括され、通信システム１００内での具体的な位置は任意である。

【0058】

（３）前述の各形態では、楽曲演奏期間内に第１動作を実行するとともに楽曲演奏期間外に第２動作を実行したが、第１動作と第２動作とを切替える条件は以上の例示に限定されない。例えば、選択曲のうち歌唱パートが存在する歌唱区間内で第１動作を実行するとともに歌唱区間外（例えば前奏や間奏や後奏の区間内）で第２動作を実行する構成も採用され得る。以上の構成によれば、例えば選択曲のうち前奏や間奏や後奏の区間で空間ＲA内に発生する受聴者Ｕ2の拍手音等の音響を空間ＲB内でも受聴することが可能である。また、第１動作と第２動作との切替の時点を時系列に指定する動作指定データ（例えば動作切替を指示するイベントデータを時系列に配列したＭＩＤＩデータ）を各楽曲の楽曲データに内包し、動作指定データで指定される時点で第１動作および第２動作の一方から他方に切替えることも可能である。以上の構成によれば、歌唱者Ｕ1の音響や画像に注目すべき期間と各受聴者Ｕ2の音響や画像に注目すべき期間とを楽曲毎に個別に設定できるという利点がある。また、入力装置２４に対する利用者からの指示に応じて第１動作と第２動作とを切替える構成も採用される。

【0059】

（４）第１動作および第２動作の何れを実行中であるかを各空間Ｒ内の歌唱者Ｕ1や受聴者Ｕ2に報知する構成も好適である。例えば、第１動作の実行中には、空間ＲA内の歌唱者Ｕ1の音声または画像が優先的に空間ＲB内で再生されていることが空間ＲA内の表示装置１４４に表示され、第２動作の実行中には、空間ＲA内の背景音または各受聴者Ｕ2の画像が優先的に空間ＲB内で再生されていることが空間ＲA内の表示装置１４４に表示される。

【0060】

（５）前述の各形態では、音響信号Ｓ1や音響信号Ｓ2のエコーを除去するエコーキャンセラを音響取得部５２に搭載した構成を例示したが、端末装置１０Aと端末装置１０Bとの間の伝送遅延が充分に小さい場合には、音響信号Ｓ1や音響信号Ｓ2にエコーは発生し難いから、エコーキャンセラを省略することが可能である。

【0061】

（６）第１実施形態から第３実施形態では、調整値ＧA1や調整値ＧA2を不連続に変更すると再生音に雑音が発生して音質が低下する可能性がある。そこで、調整値ＧA1や調整値ＧA2をクロスフェードさせる構成が好適である。例えば、第１動作から第２動作に変更する場合、所定長の期間内で調整値ＧA1を１から０に経時的に変化させるとともに調整値ＧA2を０から１に経時的に変化させる。また、第２動作から第１動作に変更する場合、所定長の期間内で調整値ＧA2を１から０に経時的に変化させるとともに調整値ＧA1を０から１に経時的に変化させる。以上の構成によれば、調整値ＧA1や調整値ＧA2の不連続な変化に起因した音質の低下が抑制されるという利点がある。

【0062】

（７）前述の各形態では、端末装置１０をカラオケ装置として利用したカラオケシステムを例示したが、通信システム１００の用途はカラオケに限定されない。例えば、空間ＲA内の利用者と空間ＲB内の利用者とが楽器の合奏（セッション）を実行する場合にも、以上の各形態と同様の通信システム１００を利用できる。すなわち、前述の各形態のうちカラオケに特有の伴奏再生部４２や歌詞再生部４４は省略され得る。空間ＲA内の利用者と空間ＲB内の利用者とが合奏する場合には、例えば、各空間Ｒ内の利用者が入力装置２４を操作して第１動作と第２動作とを切替える構成が採用される。また、各利用者による合奏の開始が検知された場合に第２動作を第１動作に切替えることも可能である。例えば、特定の楽器（例えば楽曲の冒頭に登場し易い打楽器音）の音量が閾値を上回った場合に合奏の開始と判定する構成や、特定のリズムや旋律の演奏音が発生した場合（例えば楽曲の冒頭における打楽器でのカウントが発生した場合）に合奏の開始と判定する構成が採用される。

【0063】

（８）第１実施形態から第３実施形態に例示した音響の制御と第４実施形態および第５実施形態に例示した画像の制御とは併合され得る。また、前述の各形態では、端末装置１０Aと端末装置１０Bとの通信に着目したが、相異なる空間Ｒに設置された３個以上の端末装置１０が相互に通信する場合にも前述の各形態と同様の構成が採用される。例えば、端末装置１０Aが生成した再生信号Ｙ[A]および再生信号Ｚ[A]は、端末装置１０Aの通信相手となる２個以上の端末装置１０に送信される。

【符号の説明】

【0064】

１００……通信システム、２００……通信網、１０（１０A，１０B）……端末装置、１２……収録装置、１４……再生装置、２０……演算処理装置、２２……記憶装置、２４……入力装置、２６……信号処理回路、２８……通信装置、３２（３２-1，３２-2）……収音装置、３４（３４-1，３４-2）……撮像装置、４２……伴奏再生部、４４……歌詞再生部、４６……制御処理部、５２……音響取得部、５４……画像取得部、６２，６４……音響処理部、８２，８４……画像処理部、１４２……放音装置、１４４……表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】