特許 5767004 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5767004

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム

(51)【国際特許分類】

   H04R 27/00 20060101AFI20150730BHJP

   H04Q 9/00 20060101ALI20150730BHJP

   H04M 11/00 20060101ALI20150730BHJP

   G10K 15/04 20060101ALI20150730BHJP

   H04R 3/02 20060101ALI20150730BHJP

   H04R 3/00 20060101ALI20150730BHJP

   H04S 7/00 20060101ALI20150730BHJP

   G10L 15/28 20130101ALI20150730BHJP

   G10L 15/10 20060101ALI20150730BHJP

【ＦＩ】

   H04R27/00 F

   H04Q9/00 301E

   H04M11/00 301

   G10K15/04 302D

   H04R3/02

   H04R3/00 310

   H04S7/00 C

   G10L15/28 500

   G10L15/10 500N

   H04R27/00 D

【請求項の数】14

【全頁数】21

(21)【出願番号】特願2011-93263(P2011-93263)

(22)【出願日】2011年4月19日

(65)【公開番号】特開2012-227712(P2012-227712A)

(43)【公開日】2012年11月15日

【審査請求日】2014年4月18日

(73)【特許権者】

【識別番号】507268695

【氏名又は名称】李 鳳俊

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】李 鳳俊

【審査官】 下林 義明

(56)【参考文献】

【文献】 特開昭６２−１６７６７０（ＪＰ，Ａ）

【文献】 特開２００５−１５９９７２（ＪＰ，Ａ）

【文献】 特開２００２−０６２８９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００ − ３／１４

Ｈ０４Ｒ ２７／００ − ２７／０４

Ｈ０４Ｓ １／００ − ７／００

Ｇ１０Ｋ １５／００ − １５／０６

Ａ６３Ｊ １／００ − ９９／００

Ａ６３Ｋ １／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

会場機器を制御する視聴覚システムにおいて、
前記会場機器の制御の指示入力を受け付けて指示情報として送信する指示手段と、
ユーザの声を取得するマイク部と、
前記会場機器を制御する会場機器制御装置とを備え、
前記会場機器は、
会場の音声信号を取得する集音マイク部と、
音声を出力するスピーカ部とを備え、
前記会場機器制御装置は、
前記指示情報により、前記会場の音声信号を音声フィードバックして前記スピーカ部から出力させる音声フィードバック部を備え、
前記音声フィードバック部は、
ディレイによりハウリングを起こさないように前記音声フィードバックを行うディレイ手段と、
前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させる音量変化手段とを備え、
前記音量変化手段は、
前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させる
ことを特徴とする視聴覚システム。

【請求項2】

前記ディレイ手段は、
前記音声信号の大きさに従って、前記ディレイの時間を変化させる
ことを特徴とする請求項１に記載の視聴覚システム。

【請求項3】

前記ディレイ手段は、
前記音声信号が小さい場合には、録音された音声をランダムな音量とパンニングで付加する
ことを特徴とする請求項１又は２に記載の視聴覚システム。

【請求項4】

前記会場機器制御装置は、
前記集音マイク部により取得された前記会場の音声信号から、観客の気分を分析して観客気分情報を算出する観客気分分析部を備える
ことを特徴とする請求項１乃至３のいずれか１項に記載の視聴覚システム。

【請求項5】

前記会場機器制御装置は、前記観客気分情報により、
前記音声フィードバックの出力又は前記ディレイを変化させる
ことを特徴とする請求項４に記載の視聴覚システム。

【請求項6】

前記会場機器制御装置は、
前記指示情報を送信し、音声通話の接続を行う合図送受信部を備える
ことを特徴とする請求項１乃至５のいずれか１項に記載の視聴覚システム。

【請求項7】

前記会場機器制御装置は、
前記指示情報により、効果音を前記スピーカ部から出力させる効果音制御部と、
前記指示情報により、照明や特殊効果を制御する照明・効果制御部と、
前記指示情報により、背景機器に表示する画像を変更する背景制御部とを備える
ことを特徴とする請求項１乃至６のいずれか１項に記載の視聴覚システム。

【請求項8】

前記会場機器制御装置は、前記観客気分情報により、
前記効果音、前記照明や特殊効果、前記背景機器に表示する画像のいずれかを変化させる
ことを特徴とする請求項７に記載の視聴覚システム。

【請求項9】

前記指示手段は、
ユーザの声又は会場の音声を音声信号として取得するマイク部と、
前記音声信号と前記指示情報とを送信する送受信部とを備える
ことを特徴とする請求項１乃至８のいずれか１項に記載の視聴覚システム。

【請求項10】

前記指示手段は、
前記音声信号から前記ユーザの声の音声認識を行い前記指示情報として取得する音声認識部と、
前記音声信号と前記指示情報とを送信する送受信部とを備える
ことを特徴とする請求項１乃至９のいずれか１項に記載の視聴覚システム。

【請求項11】

視聴覚システムの会場機器の制御の指示情報を送信する指示手段であるリモコン端末において、
ユーザの声又は会場の音声を音声信号として取得するマイク部と、
コンサートの進行に関する指示を前記指示情報として検知する入力部と、
前記音声信号から前記ユーザの声の音声認識を行い前記指示情報として取得する音声認識部と、
前記音声信号と前記指示情報とを送信する送受信部と、
前記指示情報により、会場の前記音声信号を音声フィードバックしてスピーカ部から出力させる音声フィードバック部とを備え、
前記音声フィードバック部は、
ディレイによりハウリングを起こさないように前記音声フィードバックを行うディレイ手段と、
前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させる音量変化手段とを備え、
前記音量変化手段は、
前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させる
ことを特徴とするリモコン端末。

【請求項12】

視聴覚システムの会場機器を制御する会場機器制御装置において、
会場の音声信号をスピーカ部へ音声フィードバックして出力させる音声フィードバック部を備え、
前記音声フィードバック部は、
ディレイによりハウリングを起こさないように前記音声フィードバックを行うディレイ手段と、
前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させる音量変化手段とを備え、
前記音量変化手段は、
前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させる
ことを特徴とする会場機器制御装置。

【請求項13】

会場機器の制御の指示情報を送信する指示手段と、
前記指示手段の前記指示情報により、前記会場機器を制御する会場機器制御装置とを備える視聴覚システムの制御方法において、
前記指示手段により、前記会場機器の制御の指示を検知して指示情報として送信し、
マイク部により、会場の音声信号を取得し、
前記会場機器制御装置により、前記音声信号を音声フィードバックしてスピーカ部から出力させ、
ディレイによりハウリングを起こさないように前記音声フィードバックを行い、
前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させ、
前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させる
ことを特徴とする視聴覚システムの制御方法。

【請求項14】

会場機器の制御の指示情報を送信する指示手段と、
前記指示手段の前記指示情報により、前記会場機器を制御する会場機器制御装置とを備える視聴覚システムの制御を実行する制御プログラムにおいて、
前記指示手段により、前記会場機器の制御の指示を検知して指示情報として送信し、
マイク部により、会場の音声信号を取得し、
前記会場機器制御装置により、前記音声信号を音声フィードバックしてスピーカ部から出力させ、
ディレイによりハウリングを起こさないように前記音声フィードバックを行い、
前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させ、
前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させる
ことを特徴とする視聴覚システムの制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラムに係り、特にユーザのリモコンの指示により会場機器を制御する視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラムに関する。

【背景技術】

【0002】

現代においては、コンサートホール等の会場で、アーティスト（歌手、演奏者）等の行うコンサートが頻繁に開催されている。
このようなコンサートでは、音響エンジニアを始めとする多数の関係者が視聴覚機器の操作等を行う必要があり、大規模なものとなっている。

【0003】

ここで、従来の会場で用いる視聴覚機器の遠隔制御方法として、特許文献１を参照すると、赤外線制御信号を出力するリモコン端末と、赤外線制御信号を受信する受光部と、この受光部に接続されているシステム制御器と、このシステム制御器からの制御信号で切換操作されるスイッチャーと、このスイッチャーに接続されている複数種の視聴覚機器と、各視聴覚機器の電源制御器とを有し、使用する視聴覚機器を選択するとともに、選択された視聴覚機器の操作をリモコン端末で行うように構成した視聴覚機器の遠隔制御方法が開示されている（以下、従来技術１とする。）。
従来技術１によれば、一つのリモコン端末に複数の視聴覚機器を選択・操作する機能を持たせたので、発表者は発表内容にあわせて視聴覚機器を簡単に操作することができることになる。また、同じリモコン端末に音響機器や照明機器等の会場環境整備機器類の操作スイッチを組み込んだ場合には、視聴覚機器の操作にあわせて会場環境を整備することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−５８７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術１によれば、アーティスト等のユーザが、コンサート中に会場機器を操作することは想定されていなかった。
このため、コンサート等の進行に従って、会場機器を操作することにより、コンサート等の観客を「盛り上げる」ことができなかった。

【0006】

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。

【課題を解決するための手段】

【0007】

本発明の視聴覚システムは、会場機器を制御する視聴覚システムにおいて、前記会場機器の制御の指示入力を受け付けて指示情報として送信する指示手段と、ユーザの声を取得するマイク部と、前記会場機器を制御する会場機器制御装置とを備え、前記会場機器は、会場の音声信号を取得する集音マイク部と、音声を出力するスピーカ部とを備え、前記会場機器制御装置は、前記指示情報により、前記会場の音声信号を音声フィードバックして前記スピーカ部から出力させる音声フィードバック部を備え、前記音声フィードバック部は、ディレイによりハウリングを起こさないように前記音声フィードバックを行うディレイ手段と、前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させる音量変化手段とを備え、前記音量変化手段は、前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させることを特徴とする。
本発明の視聴覚システムは、前記ディレイ手段は、前記音声信号の大きさに従って、前記ディレイの時間を変化させることを特徴とする。
本発明の視聴覚システムは、前記ディレイ手段は、前記音声信号が小さい場合には、録音された音声をランダムな音量とパンニングで付加することを特徴とする。
本発明の視聴覚システムは、前記会場機器制御装置は、前記集音マイク部により取得された前記会場の音声信号から、観客の気分を分析して観客気分情報を算出する観客気分分析部を備えることを特徴とする。
本発明の視聴覚システムは、前記会場機器制御装置は、前記観客気分情報により、前記音声フィードバックの出力又は前記ディレイを変化させることを特徴とする。
本発明の視聴覚システムは、前記会場機器制御装置は、前記指示情報を送信し、音声通話の接続を行う合図送受信部を備えることを特徴とする。
本発明の視聴覚システムは、前記会場機器制御装置は、前記指示情報により、効果音を前記スピーカ部から出力させる効果音制御部と、前記指示情報により、照明や特殊効果を制御する照明・効果制御部と、前記指示情報により、背景機器に表示する画像を変更する背景制御部とを備えることを特徴とする。
本発明の視聴覚システムは、前記会場機器制御装置は、前記観客気分情報により、前記効果音、前記照明や特殊効果、前記背景機器に表示する画像のいずれかを変化させることを特徴とする。
本発明の視聴覚システムは、前記指示手段は、ユーザの声又は会場の音声を音声信号として取得するマイク部と、前記音声信号と前記指示情報とを送信する送受信部とを備えることを特徴とする。
本発明の視聴覚システムは、前記指示手段は、前記音声信号から前記ユーザの声の音声認識を行い前記指示情報として取得する音声認識部と、前記音声信号と前記指示情報とを送信する送受信部とを備えることを特徴とする。
本発明のリモコン端末は、視聴覚システムの会場機器の制御の指示情報を送信する指示手段であるリモコン端末において、ユーザの声又は会場の音声を音声信号として取得するマイク部と、コンサートの進行に関する指示を前記指示情報として検知する入力部と、前記音声信号から前記ユーザの声の音声認識を行い前記指示情報として取得する音声認識部と、前記音声信号と前記指示情報とを送信する送受信部と、前記指示情報により、会場の前記音声信号を音声フィードバックしてスピーカ部から出力させる音声フィードバック部とを備え、前記音声フィードバック部は、ディレイによりハウリングを起こさないように前記音声フィードバックを行うディレイ手段と、前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させる音量変化手段とを備え、前記音量変化手段は、前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させることを特徴とする。
本発明の会場機器制御装置は、視聴覚システムの会場機器を制御する会場機器制御装置において、会場の音声信号をスピーカ部へ音声フィードバックして出力させる音声フィードバック部を備え、前記音声フィードバック部は、ディレイによりハウリングを起こさないように前記音声フィードバックを行うディレイ手段と、前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させる音量変化手段とを備え、前記音量変化手段は、前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させることを特徴とする。
本発明の視聴覚システムの制御方法は、会場機器の制御の指示情報を送信する指示手段と、前記指示手段の前記指示情報により、前記会場機器を制御する会場機器制御装置とを備える視聴覚システムの制御方法において、前記指示手段により、前記会場機器の制御の指示を検知して指示情報として送信し、マイク部により、会場の音声信号を取得し、前記会場機器制御装置により、前記音声信号を音声フィードバックしてスピーカ部から出力させ、ディレイによりハウリングを起こさないように前記音声フィードバックを行い、前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させ、前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させることを特徴とする。
本発明の視聴覚システムの制御プログラムは、会場機器の制御の指示情報を送信する指示手段と、前記指示手段の前記指示情報により、前記会場機器を制御する会場機器制御装置とを備える視聴覚システムの制御を実行する制御プログラムにおいて、前記指示手段により、前記会場機器の制御の指示を検知して指示情報として送信し、マイク部により、会場の音声信号を取得し、前記会場機器制御装置により、前記音声信号を音声フィードバックしてスピーカ部から出力させ、ディレイによりハウリングを起こさないように前記音声フィードバックを行い、前記音声フィードバックの大きさに従って前記音声フィードバックの出力を変化させ、前記音声信号の大きさに従って、出力する音量が小さくなるよう前記音声フィードバックの前記出力を変化させることを特徴とする。

【発明の効果】

【0008】

本発明によれば、リモコン端末の指示情報により、集音マイク部で取得した音声をスピーカ部から音声フィードバックして出力させる音声フィードバックを行うことで、コンサート等を盛り上げることができる視聴覚システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態に係る視聴覚システムＸのシステム構成図である。

【図2】本発明の実施の形態に係るサーバ１０の制御構成例を示すブロック図である。

【図3】本発明の実施の形態に係るリモコンマイク２０の外観を示す概念図である。

【図4】本発明の実施の形態に係るリモコンマイク２０の制御構成例を示すブロック図である。

【図5】本発明の実施の形態に係る会場機器３０の例を示す概念図である。

【図6】本発明の実施の形態に係る会場機器３０の制御構成例を示すブロック図である。

【図7】本発明の実施の形態に係るコンサート処理のフローチャートである。

【図8】本発明の実施の形態に係るリモコンマイク２０の画面例を示す概念図である。

【図9】本発明の実施の形態に係る音声フィードバックの内容を示す概念図である。

【発明を実施するための形態】

【0010】

＜実施の形態＞
〔視聴覚システムＸのシステム構成〕
まず、図１を参照して、本発明の実施の形態に係る視聴覚システムＸのシステム構成について説明する。
視聴覚システムＸは、コンサートホール等の多目的ホールや視聴覚部屋やカラオケルームやアミューズメント施設等を含む会場の制御を行うためのシステムであり、サーバ１０（会場機器制御装置）と、リモコンマイク２０（リモコン端末）と、会場機器３０とが、ネットワーク５にて接続されて構成されている。
より具体的には、ネットワーク５は、ＬＡＮ、無線ＬＡＮ、ＩＥＥＥ１３９４、ＭＩＤＩ、ｍＬＡＮ、光ファイバ回線、専用の回線等、又は、携帯電話網、ＰＨＳ網、有線電話回線、電灯線ＬＡＮ、ｃＬｉｎｋ等、制御信号と音声映像信号のネットワークを用いることができる。また、ネットワーク５の形態としては、ＩＰネットワークやその他のスター状やリング状のネットワーク等を用いることができる。
サーバ１０は、ＰＣ／ＡＴ互換機等のＰＣと各種制御機器とミキシングコントロール等を用いたサーバであり、リモコンマイク２０の指示により、会場機器３０を制御する機能を備えている。
リモコンマイク２０は、会場にて行われるコンサート等において、歌手、演奏者、司会者等のユーザが持ち、マイクとして用い、会場機器を制御するための指示を行うためのリモートコントローラ（リモコン）として用いる機器である。
会場機器３０は、会場において用いられる、視聴覚機器と照明機器と舞台装置と特殊効果等を行うための機器である。会場機器３０は、コンサート等の進行に従って、リモコンマイク２０の指示情報やサーバ１０の管理者の指示情報により制御される。

【0011】

〔サーバ１０の制御構成〕
図２を参照して、サーバ１０の制御構成についてより詳しく説明する。サーバ１０は、観客気分分析部１１０、合図送受信部１２０、会場機器制御部１３０、音声フィードバック部１４０、効果音制御部１５０、照明・効果制御部１６０、背景制御部１７０、データベース１８０、送受信部１９０を含んで構成される。各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）等の制御部が、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等の記憶部に記憶された制御プログラムを実行し、各種回路を制御することでハードウェア資源を用いて実現することができる。

【0012】

より具体的に、観客気分分析部１１０は、リモコンマイク２０のマイク２４０（図４）や、会場機器３０の集音マイク部３１４（図５、図６）からの音声信号を基に、観客（聴衆、視聴者、会場のコンサート出席者等）の「気分」を分析する部位である。
この「気分」としては、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）により周波数を分析し、コンサートの観客の声等の周波数を取得し、所定周波数帯域の変化等について、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ、隠れマルコフモデル）等の各種人工知能や統計的手法を用いて判断する。
これにより、観客気分分析部１１０は、観客がコンサートに興奮している、すなわち「盛り上がっている」気分であるか否かを判別できる。

【0013】

合図送受信部１２０は、指示情報を送受信し、主に電波によるトランシーバ等の音声通信を機器同士で行うために接続等する部位である。
合図送受信部１２０は、この指示情報の状態や音声通話の接続等の情報については、コンソール部１３５のモニタに表示させることができる。

【0014】

会場機器制御部１３０は、会場機器３０を制御するための各種Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）、スイッチャー、制御回路等を備える部位である。
会場機器制御部１３０は、リモコンマイク２０からの指示やコンソール部１３５からの指示により、会場機器３０の各種機器を制御し、例えば出力等を変化させ、電源等のオン／オフをすることができる。
また、会場機器制御部１３０は、送受信部１９０から、ネットワーク５に接続されている会場機器３０の各機器を制御するコマンド等を送信することもできる。

【0015】

コンソール部１３５は、会場機器３０の各機器の状態を制御するためのポインティングデバイスやスライダーを備えた専用のコンソール等を含む入力部と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の表示部とを含む部位である。
コンソール部１３５は、レコーディングエンジニアや会場係等の専用の管理者が、サーバ１０を管理し、またコンサートの進行に従って制御するために用いる。
さらに、コンソール部１３５は、管理者からユーザへの指示を検知することもできる。コンソール部１３５は、この指示を指示情報に変換して、送受信部２９０からリモコンマイク２０へ送信することができる。
また、コンソール部１３５は、コンサート等の進行に従った指示情報や、音声フィードバックや効果音等の設定情報をリモコンマイク２０へ送信することができる。

【0016】

音声フィードバック部１４０は、観客の音声を取得して増幅する音声フィードバックの処理を行う部位である。音声フィードバック部１４０は、音声フィードバックの処理として、まず、集音マイク部３１４（図５、図６）からコンプレッサ等により所定の音量レベルにされＡ／Ｄ変換された音声情報を取得する。音声フィードバック部１４０は、この音声情報から、所定の周波数成分を抜き出しディレイやスペクトラム拡散等をかけ、ハウリングを起こさないようにして、スピーカ部３１５（図５、図６）から出力させる。このため、音声フィードバック部１４０は、デジタルディレイを行うディレイ部１４２（ディレイ手段）と、出力する音声のレベルを変化させる出力レベル調整部１４５（音量変化手段）とを備える。
これにより、会場の歓声の音量を上げることができ、コンサートの観客の気分を盛り上げることができる。また、録音した歓声音声を、会場の音響特性に合わせて自然に聞こえるように出力することもできる。

【0017】

効果音制御部１５０は、効果音を作成し出力するサンプラーやシンセサイザー等の部位である。
この効果音としては、例えばコンサートのドラマーが演奏するのとは別に、所定のドラムフレーズを用意しておき、出力することができる。
また、歌手等のリモコンマイク２０の持ち手が作成して入力部２６０（図６）にて入力した情報を基に、効果音のフレーズを作成することもできる。

【0018】

照明・効果制御部１６０は、会場機器３０の照明機器３７０の照明パターンや、特殊効果機器３５０の動作パターン等を作成し制御する部位である。
この特殊効果機器３５０の動作パターン等としては、複数の機器のオンオフや時系列による変化、効果音や背景データと合わせた変化等を用いることができる。

【0019】

背景制御部１７０は、会場機器３０の背景機器３６０の背景画像等の背景データを作成し表示等の制御をする部位である。
この背景画像としては、動画像や所定の静止画像等を選択してＬＥＤマトリックス等に合わせた画像に変換し、出力することができる。

【0020】

データベース１８０は、効果音、背景、照明や特殊効果の動作パターンの元データ等を記憶し、各種データを記憶するデータベースである。
データベース１８０のデータは、各部が必要に応じて読み出し、書き込みして使用する。

【0021】

送受信部１９０は、ネットワーク５に接続するためのネットワークカード、ルータ、ハブ等である。
送受信部１９０は、ロードバランシングやＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）のような機能も備えられており、統合的に音声と映像と各種制御信号を含む情報を送受信できる。

【0022】

〔リモコンマイク２０の外観と制御構成〕
まず、図３の外観図を参照すると、リモコンマイク２０は、例えば、センサ部２２０（指示手段）、マイク２４０、入力部２６０（指示手段）、表示部２７０を含んで構成される。

【0023】

次に、図４のブロック図を参照して、リモコンマイク２０の制御構成について詳しく説明する。リモコンマイク２０は、上述の外観構成の他にも、制御部２００、記憶部２１０、音声認識部２３０（指示手段）、出力部２５０を備えている。

【0024】

制御部２００は、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、専用プロセッサ等を備えている。制御部２００は、記憶部２１０に記憶されたプログラムを実行し、各種演算を行い、各部を制御する。

【0025】

記憶部２１０は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＨＤＤ等である記憶部位である。記憶部２１０には、制御部２００で実行する制御プログラム２１５と、各種データとを備えている。

【0026】

センサ部２２０（センサ）は、加速度センサ、圧力センサ等の各種センサを用いて、ユーザの指示やリモコンマイク２０の状態を把握するためのセンサである。加速度センサとしては、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）を用いた３次元加速度センサ等を用いることができる。圧力センサとしてはは、圧電素子を用いたセンサ、静電容量センサ等を用いることができる。
センサ部２２０で取得した情報は、リモコンマイク２０を用いたコンサート処理の指示入力として受け付け、指示情報として使用し、サーバ１０を介して会場機器３０を制御する。
なお、センサ部２２０は、生体センサを備えることもできる。生体センサとしては、身体の緊張度を電気抵抗や赤外線透過量等で測定する発汗センサ、赤外線脈拍センサ、血流量センサ、血糖値センサ、温度センサ等の生体センサを用いることができ、これによりユーザが自分の緊張状態や心理状態を知る手助けになる。

【0027】

音声認識部２３０（音声認識手段）は、ＤＳＰや音声認識用の専用プロセッサ等とこのプロセッサで実行するプログラムを備える部位である。
音声認識部２３０は、ＨＭＭ等の公知のアルゴリズムを使用して、音声信号から単語等を認識し、指示入力として受け付ける。音声認識部２３０は、この際に、会場の音声とユーザの音声とを、公知の音声フィルタ等の処理により分離して、ユーザの音声のみを音声認識することができる。これにより、音声認識部２３０も、会場機器３０を制御する指示情報を得ることができる。
また、音声認識部２３０は、歌や声のトーンの変化や話すスピードやピッチの変化等により、音声からユーザの感情状態を認識し、これにより指示情報を得ることもできる。

【0028】

マイク２４０は、コンデンサマイク等と他のＩＣ等を備える部位である。マイク部２４０は、主にユーザの声や楽器の演奏等の音声を入力する。これに加えて、マイク２４０は、会場の観客の音声を入力してもよい。
マイク２４０から入力された音声信号は、電気信号に変換され、さらにＡ／Ｄコンバータでデジタル信号に変換されて入力される。
なお、マイク２４０は、複数備えることができ、ユーザの声を入力する指向性のマイクと、会場の音声を入力する無指向性のマイクを組み合わせることができる。この際に、それぞれのマイクで入力した音声信号は、分離可能にして、別々に送信することができる。

【0029】

出力部２５０は、ダイナミックスピーカやピエゾ素子等の音声出力手段と、振動モータ（バイブレータ）や電磁アクチュエータやピエゾ素子等のフォースフィードバック手段等を備える部位である。
出力部２５０は、Ｄ／Ａ変換された電気信号を音声信号として出力し、振動を出力する。これにより、ユーザは、各指示についての確認を表示部２７０を見ることなく取得できる。

【0030】

入力部２６０は、「上」「下」「選択」等のボタン、テンキー、カーソルキー（十字キー）、キャンセルボタン、その他の各種ボタン、タッチパッドやタッチパネル等の入力手段を備えている入力部位である。
また、入力部２６０は、ユーザインターフェイスに係る、その他の入力手段も備えている。
たとえば、入力部２６０は、入力部２６０のボタンやタッチパネルを用いてユーザが指示入力した信号を検知して、電気信号に変換する。これにより、指示入力を受け付け、指示情報を得ることができる。

【0031】

表示部２７０は、液晶ディスプレイや有機ＥＬディスプレイやプラズマディスプレイやプロジェクタ等を備える部位である。表示部２７０は、制御部２００のＧＰＵ等で描画された画像を表示することができる。
また、表示部２７０と入力部２６０とは、タッチパネル付きのディスプレイとして、一体的に構成することもできる。
なお、表示部２７０を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）として、別途、有線又は無線で接続するように構成してもよい。また、会場の舞台のみから見える箇所に、アーティストだけ見えるモニタやプロジェクタの画面等を用意して、表示部２７０と同様に構成することもできる。

【0032】

送受信部２９０は、ネットワーク５に接続するための部位である。送受信部２９０は、ＤＳＰやＲＦモジュレータやアンテナ等を備えており、主に無線接続を用いてネットワーク５と接続して、指示情報を含む各種信号を送受信する。
送受信部２９０は、サーバ１０に指示情報と、ユーザの音声情報とを送信する。また、送受信部２９０は、サーバ１０の管理者からの指示情報も受信する。このサーバ１０の管理者からの指示情報は、表示部２７０に表示したり、出力部２５０にて振動等にて出力することができる。

【0033】

〔会場機器３０の外観と制御構成〕
次に、図５の外観図と図６のブロック図を参照すると、会場機器３０は、例えば、音響機器３１０となる集音マイク部３１４及びスピーカ部３１５、舞台制御機器３３０、特殊効果機器３５０、背景機器３６０、照明機器３７０を含んで構成される。
会場機器３０の各機器は、サーバ１０から出力、動作、稼働範囲、スピード等を制御可能である。

【0034】

音響機器３１０は、マイクロフォン（マイク）、アンプ、スピーカ、ＰＡ（Ｐｕｂｌｉｃ Ａｄｄｒｅｓｓ、音響拡声装置）機器、及びこれらの音量や出力を制御するミキシング機器等を含む機器である。
集音マイク部３１４は、会場の観客の音声を取得するためのマイクである。集音マイク部３１４により、ユーザの音声や演奏についても取得するように構成してもよい。
スピーカ部３１５は、コンサートの際のユーザの音声や演奏、他の演奏者の演奏、録音音声に加えて、後述する効果音やフィードバックされた音声等も出力するスピーカである。

【0035】

舞台制御機器３３０は、例えば、緞帳や暗転幕等の幕類、せり舞台や回転舞台や吊り物等、又はアミューズメント施設の舞台制御機器等の部位である。舞台制御機器３３０により、コンサート等の進行に従って、観客に見た目等の変化を感じさせることができる。
特殊効果機器３５０は、スモーク、霧、噴水、シャワー、爆竹、フラッシュ（閃光）、回転灯、サイレン、放電、臭い物質放出、観客座席駆動等の機器である。この特殊効果機器３５０により、観客への演出を行い、舞台効果を高めることができる。
背景機器３６０は、背景画像を作成してステージ後方やステージ面等に表示する機器である。背景機器３６０としては、ＬＥＤアレイ、ＬＥＤ動画スクリーン、プロジェクタ等を用いることができうる。この背景機器３６０は、画素の光の波長毎の光量等を変化させることで、観客に背景等の動画像を見せることができる。
照明機器３７０は、会場で用いられる制御可能な照明システムの機器である。スポットライト、シーリングライト、サスペンションライト、特殊効果器等を用いる。この照明機器３７０は、コンサートの進行に従って照明や効果等を各種変化させることができる。

【0036】

〔視聴覚システムＸによる舞台機器制御処理〕
次に、図７〜図９を参照して、本発明の実施の形態に係る視聴覚システムＸによる舞台機器制御処理について説明する。
この処理においては、例えば、コンサートの会場で、サーバ１０にて、観客の「盛り上がり」を分析したり、会場機器３０の制御を行ったりする。
この際、進行に従って、アーティストであるユーザがリモコンマイク２０により、各種指示を行い、この指示情報をサーバ１０に送信する。サーバ１０は、受信した指示情報により、会場機器３０の各機器を制御する。すなわち、ユーザの主導により、会場機器３０の制御を行い、コンサート等を盛り上げることができる。
以下で、図７のフローチャートを参照して、この舞台機器制御処理の各ステップの詳細について説明する。

【0037】

（ステップＳ１０１）
まず、サーバ１０の観客気分分析部１１０は、観客気分分析処理を行う。
この処理においては、まず、観客気分分析部１１０は、会場機器３０の音響機器３１０の集音マイク部３１４から、観客の座席付近等の音声を取得してＤ／Ａ変換して音声信号（観客音声情報）として取得する。
観客気分分析部１１０は、この観客音声情報をＦＦＴ等により、各周波数帯域に分け、話し声等の音声の大きさ、口笛等の大きさを算出する。また、観客の拍手のレベル等も算出することができる。
観客気分分析部１１０は、この算出された情報から、観客の数と会場の音響等の影響も考慮して、ＨＭＭ等を用いて「盛り上がっている」状態であるか判断する。
具体的には、観客気分分析部１１０は、コンサートの観客の声等の周波数帯域を取得し、観客の歓声となる音声や歌の音声、口笛、拍手等が大きければ、観客がコンサートに興奮している、すなわち「盛り上がっている」気分であると判断する。
この際、観客がブーイングをしている等の「盛り下がっている」気分である場合等も、観客音声情報から判別するように構成することもできる。
観客気分分析部１１０は、判別した観客の気分情報を、所定単位の閾値により数レベル等に分類して、観客気分情報として出力し、送受信部１９０からリモコンマイク２０に送信する。

【0038】

図８を参照すると、リモコンマイク２０の制御部２００は、送受信部２９０から観客気分情報を受信すると、表示部２７０に表示することができる。図８の例では、制御部２００は、例えばグラフ５００のように、観客気分情報を「盛り上がり度」として０％〜１００％の範囲で描画することができる。
なお、この観客気分分析処理については、リモコンマイク２０のマイク２４０から取得した背景音声等の情報を観客音声情報として取得してもよい。また、リモコンマイク２０の制御部２００が、観客音声情報から観客の気分情報を算出するように構成することもできる。

【0039】

（ステップＳ１０２）
次に、サーバ１０の音声フィードバック部１４０は、音声フィードバック処理を行う。
具体的には、例えば、ユーザは、リモコンマイク２０（図４）の入力部２６０にて、観客の音声を取得して増幅する音声フィードバックの処理を実行するよう指示する。
図８の画面例を参照して、この処理について説明する。
制御部２００は、入力部２６０にてユーザがボタン５１０を、例えば１回タッチすると、カーソル４００をボタン５１０に移動する。この際に、ボタン６１０、６２０、６３０を用いて、処理の種類や程度を選択することができる。たとえば、音声フィードバックの場合、どの程度観客の声を取得するのかを「レベル１〜レベル５」のような範囲で、ボタン６１０とボタン６２０を用いて設定できる。また、セレクトのボタン６３０により、ディレイやスペクトラム拡散等の音声フィードバックの方式を選択できる。
また、制御部２００は、カーソル４００がボタン５１０にある際に、ユーザが２回以上タッチ等したことを検知して、「音声フィードバック」の指示をしたと検知し、指示入力として受け付ける。
この受け付けを行った場合、例えば「音声フィードバック実行」といったポップアップ等を表示することもできる。さらに、出力部２５０を振動させたり、電子音等を出力させたりして指示を検知したことを通知することもできる。

【0040】

なお、「音声フィードバック」の指示としては、ユーザが観客に「声が出てない。歌って！」といった呼びかけを行った際に、音声認識部２３０がユーザの音声信号から、指示を認識してもよい。このような指示と音声との関連については、所定の単語やフレーズ等を認識するように設定して記憶部２１０に記憶しておくことができる。
また、制御部２００が、センサ部２２０の加速度センサにより、所定の方向に所定パターンでリモコンマイク２０が振られたことを、指示として認識してもよい。また、制御部２００が、センサ部２２０の圧力センサをスイッチとして用いて、指示を認識してもよい。この際、無意識にユーザが興奮してマイクを強く掴んでいる場合、自動的に指示として検出することもできる。さらに、制御部２００は、センサ部２２０が生体センサであった場合に、発汗や体温の上昇や脈拍の上昇等、ユーザの興奮状態を認識して、これを基に指示として検出することもできる。
上述のような各部を用いたユーザの指示については、以下のステップでも同様に検知し、指示入力として受け付けることができる。
また、ユーザの指示情報については、表示部２７０だけではなく、音声指示やアーティストだけ見えるモニタ等に表示することもできる。
さらに、制御部２００は、このような入力部２６０以外による指示についても、出力部２５０により指示の検知を通知することができる。

【0041】

制御部２００は、ユーザによる音声フィードバック実行の指示を検知した場合、この指示情報を送受信部２９０から送信する。
サーバ１０の送受信部１９０にて、この指示情報を受信すると、音声フィードバック部１４０は、音声フィードバックを行う。
なお、ユーザは、音声フィードバック実行の「待機」指示を与えておくこともできる。この「待機」の場合、上述の観客気分分析部１１０により分析された観客気分情報が所定値以下の場合に音声フィードバックを行うようにすることができる。

【0042】

この処理において、まず、音声フィードバック部１４０は、観客席の集音マイク部３１４をオンにするよう指示する。
次に、音声フィードバック部１４０は、会場機器３０の音響機器３１０の集音マイク部３１４から、観客の声を、観客音声情報として取得する。
音声フィードバック部１４０は、この観客音声情報を、そのまま出力せず、例えば、ディレイ部１４２により、数ミリ〜数百ミリ秒程度のディレイ（遅れ）やスペクトル拡散等の処理を行って、加工する。
このディレイとしては、単に観客音声情報の波形を単純に遅らせるのではなく、複数のスピーカ部３１５に対応するよう、左右や上下のパンニング（位置）をずらす加工についても行う。これにより、目立つ歓声が同じ方向から来て不自然な感じを与えるのを防ぐことができる。また、観客音声情報を複数のディレイにて重ね合わせる「コーラス」エフェクトのような加工を行うこともできる。
スペクトル拡散としては、観客音声情報の音声を周波数帯域に分解した後、この周波数を、例えば所定系列でランダムに変換して再合成することができる。また、より単純に、観客音声情報を数ミリ秒といったウィンドウの音声信号に分解し、この音声信号をランダムなパンで足し合わせることができる。
また、音声フィードバック部１４０は、予め録音してデータベース１８０に記憶しておいた、歓声等の波形データを取得して、観客音声情報に加えて加工する録音音声付加を行ってもよい。この際に、この歓声等の波形データも、上下左右のパンをずらし、複数の位置から聞こえるように重ね合わせて付加することができる。

【0043】

ここで、図９を参照して、この音声フィードバックを行う際の各方式と観客音声情報の音量のレベルとの関係について説明する。
ユーザが音声フィードバック実行の「待機」指示を行った場合、音声フィードバック部１４０は、自動にて音声フィードバックを行う。
この際、音声フィードバック部１４０は、ディレイ部１４２と出力レベル調整部１４５とを用いて、音声フィードバックの出力を調整する。
たとえば、音声フィードバック部１４０は、歓声の大きさが小さい場合には、特定の小数人の叫び声等が目立たないように、スペクトラム拡散と録音音声付加を行うことができる。この際、音声フィードバックにより再生する加工された音声のレベルを大きくすることで、より観客を盛り上げることができる。音声フィードバック部１４０は、例えば、最大音量をレベル５とした場合、４／５程度の音量であるレベル４程度の音量で再生する。
また、音声フィードバック部１４０は、歓声の大きさが中程度である場合には、例えば、５０〜５００ｍｓ程度の長めのディレイとなるようにディレイ部１４２に指定する。この上で、中程度の音声のレベル、例えば最大音量の２／５程度のレベル２で音声フィードバックを行うように出力レベル調整部１４５を指示する。この際、録音音声付加を行うこともできる。このように構成することで、既に歓声が高まっている際に、音量フィードバックにより歓声がさらに高まることを邪魔することがなくなる。よって、観客が盛り上がり始めた際に、より盛り上がるように仕向けることができる。
さらに、音声フィードバック部１４０は、歓声の大きさが大きくなった場合には、既に歓声が雑音に近くなっているため、ディレイの時間を短くすることができる。このような場合、例えば、音声フィードバック部１４０は、２〜４９ｍｓ程度のディレイをディレイ部１４２に指定する。この上で、音声フィードバック部１４０は、例えば、レベル１で音声フィードバックを行うように出力レベル１４５に指示する。これにより、観客がかなり盛り上がっている際でも、更にに盛り上げることができる。
このように、観客の歓声の大きさに従って、音声フィードバックのレベルを変更することで、単にハウリングを防止するだけでなく、観客に不自然さを感じさせず、より観客を盛り上げることが可能となる。
また、会場の観客音声情報の音量に従ってディレイの時間を変化させることで、観客の歓声を盛り上げるために、より自然な音声フィードバックが可能になる。
さらに、取得された観客音声情報に加えて、録音音声付加を行うことで、歓声がほとんどないような状態でも、不自然さを感じさせずに観客を盛り上げることが可能になる。

【0044】

なお、音声フィードバック部１４０は、歓声の大きさが更に大きくなり、ユーザの演奏や歌がかき消されるような状態になった場合には、音声フィードバックを止めることもできる。これに加えて、観客音声情報の歓声の逆位相の音声を発生させて、歓声の音量を抑えるような処理を行うこともできる。
また、この音声フィードバックの量は、ユーザが適宜調整することができる。これにより、例えば、歓声の大きさが中程度のときにより音声フィードバックの量を増やし、コンサートの曲の進行に従って早く盛り上げるといった調整を行うことができる。
また、音声フィードバック部は、歓声の大きさにより音声フィードバックを制御するだけではなく、上述の観客気分分析部１１０により分析された観客気分情報を用いて音声フィードバックすることも可能である。これにより、例えば、より観客が「盛り上がって」いる気分の際に、音声フィードバックをさらに高めることができる。また、「盛り下がって」いる場合に、音声フィードバックのレベルを低くして、観客の気分と乖離した音声フィードバックをしないように調整することもできる。逆に、「盛り下がった」際に、より大きな音声フィードバックレベルとして、盛り上げを意図することもできる。

【0045】

その後、音声フィードバック部１４０は、加工された観客音声情報を音声に変換し、会場機器３０の音響機器３１０のスピーカ部３１５から出力する。この際、舞台側にあるフロントのスピーカだけではなく、観客を回り込むように配置されているサラウンドスピーカ（図示せず）から音声を出力してもよい。
これにより、スピーカ部３１５から、ハウリングしないように観客の音声を出力することができ、歓声等を大きくさせることができる。このような演出により、観客の気分を盛り上げることができる。
なお、特に観客音声情報の音量が小さい場合、よりサラウンド側のスピーカから出力させることで、不自然さを減らすことができる。

【0046】

（ステップＳ１０３）
次に、サーバ１０の効果音制御部１５０は、効果音付加処理を行う。
具体的には、ユーザがリモコンマイク２０の入力部２６０や他の部位にて、効果音を付加するよう指示した場合、制御部２００は指示情報として検知し、送受信部２９０から送信する。図８の例では、ボタン５２０により効果音付加の指示を検知し、この効果音等の種類をボタン６１０〜６３０にて選択し、音量レベル等を設定できる。
サーバ１０の送受信部１９０にて、この指示情報を受信すると、効果音制御部１５０は、演奏等の音声に効果音を付加する処理を行う。
具体的には、効果音制御部１５０は、例えば、予め収録しておいた太鼓の音等を付加して、会場機器３０のスピーカ部３１５から出力する。この際に、効果音制御部１５０は、演奏の伴奏と、例えばＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のタイムコード等により同期させられる。また、リズムパターン演奏するように出力することもできる。さらに、効果音制御部１５０は、効果音として気分を盛り上げるようなホイッスルやシンバル音、拍手音等を出力することもできる。この際、ユーザは、リモコンマイク２０の入力部２６０にて、複数の種類の効果音やリズム等を選択して指示することができ、これに対応した指示情報へ切り換えることが可能である。
このように効果音を付加することで、舞台上に太鼓等が設置不可能であっても、ユーザ主導で効果音を制御して鳴らすことができ、よりコンサート等を盛り上げることができる。
さらに、効果音制御部１５０は、観客気分分析部１１０で分析された観客気分情報が、あまり盛り上がっていない場合や「盛り下がって」いた場合、及び／又は取得された観客音声情報の音量のレベルが低い場合には、効果音の音量を高めることができる。また、効果音制御部１５０は、この際に、より「派手」な効果音に変化させて用いることができる。たとえば、太鼓の音であれば、雷の音を付加するといった効果音に変化させて、より観客を盛り上げることが可能である。

【0047】

（ステップＳ１０４）
次に、サーバ１０の照明・効果制御部１６０は、照明効果処理を行う。
具体的には、ユーザがリモコンマイク２０の入力部２６０や他の部位にて、照明効果について指示した場合、制御部２００は指示情報として検知し、送受信部２９０から送信する。図８の例では、ボタン５３０により照明効果についての指示を検知し、この照明効果の種類等をボタン６１０〜６３０にて選択できる。
サーバ１０の送受信部１９０にて、この指示情報を受信すると、照明・効果制御部１６０は、舞台等の照明を制御する処理を行う。
具体的に、照明・効果制御部１６０は、会場機器３０の照明機器３７０を制御する。これにより、照明・効果制御部１６０は、例えば、舞台上の所定の位置を、所定の色合い等で照らしたり、所定のパターンで照らすことができる。また、照明・効果制御部１６０は、照明機器３７０の特殊効果機器等によりミラーボールのような照明を行うこともできる。さらに、照明・効果制御部１６０は、観客の座席の照明を暗くしたり、明るくしたりといった制御も行うことができる。
また、照明・効果制御部１６０は、ユーザがリモコンマイク２０を向けた方向をセンサ部２２０の加速度センサ等の情報から認識して、照明を当てる位置を制御することもできる。この際、ユーザの指示する位置が観客席等、舞台の上以外であっても、照明を当てるよう制御することができる。
また、照明・効果制御部１６０は、観客気分情報が盛り上がっていない場合や「盛り下がって」いた場合、及び／又は観客音声情報の音量のレベルが低い場合には、照明をより派手な所定のパターン等に変化させたり、光量を強くしたりといった処理を行うことができる。このような処理により、不自然に感じさせずに、観客を盛り上げることができる。

【0048】

（ステップＳ１０５）
次に、サーバ１０の背景制御部１７０は、背景効果処理を行う。
具体的に、ユーザがリモコンマイク２０の入力部２６０や他の部位にて、背景効果について指示をした場合、制御部２００はこれを指示情報として検知し、送受信部２９０から送信する。図８の例では、ボタン５４０により背景の映像等の指示を検知し、背景の種類をボタン６１０〜６３０にて選択できる。
サーバ１０の送受信部１９０にて、この指示情報を受信すると、背景制御部１７０は、舞台の背景を変化させるように制御する背景効果の処理を行う。
具体的には、背景制御部１７０は、データベース１８０から、ユーザにより選択された背景の静止画や動画の画像データを取得し、会場機器３０の背景機器３６０に表示する。この際に、背景制御部１７０は、照明機器３７０も連動させるように制御してもよい。また、背景制御部１７０は、演奏と背景とを同期するように制御することもできる。さらに、背景制御部１７０は、センサ部２２０の入力情報からユーザの気分等の感情を検知し、これを基に背景画像を選択することもできる。
また、背景制御部１７０は、ユーザの指示情報を複数受けとった際に、例えば、波紋のような画像効果が広がるような効果映像をリアルタイム（実時間）で作成して背景として背景機器３６０に表示することもできる。
さらに、背景制御部１７０は、ユーザがリモコンマイク２０を向けた方向に図示しないカメラを向けて、観客席等を撮像した画像を背景として背景機器３６０に表示することもできる。
また、背景制御部１７０は、観客気分情報が盛り上がっていない場合や「盛り下がって」いた場合、及び／又は観客音声情報の音量のレベルが低い場合には、背景画像をより派手なものに変化させ、効果の付加を大きくするといった処理を行うことができる。これにより、観客を盛り上げることができる。

【0049】

（ステップＳ１０６）
次に、サーバ１０の照明・効果制御部１６０は、特殊効果処理を行う。
具体的には、ユーザがリモコンマイク２０の入力部２６０や他の部位にて、特殊効果を実行するよう指示した場合、制御部２００は指示情報として検知し、送受信部２９０から送信する。図８の例では、ボタン５５０により特殊効果の指示を検知し、種類等をボタン６１０〜６３０にて選択する。
サーバ１０の送受信部１９０にて、この指示情報を受信すると、照明・効果制御部１６０は、会場機器３０の特殊効果機器３５０を制御したり、舞台制御機器３３０を制御したりする処理を行う。
特殊効果機器３５０を制御する場合、照明・効果制御部１６０は、例えば、特殊効果機器３５０のスモークマシンを稼働させ、ドライアイス等を用いたドライスモークを発生させる。また、爆竹や花火の発破、閃光の所定パターンでの発生、噴水やシャワーによる放水、回転灯を点灯させてサイレンを鳴らすこと等ができる。さらに、背景と合わせて、放電したり、臭い物質を放出したり、観客の座席を動かしたりすることもできる。
また、舞台制御機器３３０を制御する場合、照明・効果制御部１６０は、舞台に係る制御を行う。たとえば、照明・効果制御部１６０は、舞台制御機器３３０により、ユーザやバックダンサー等を「せり」にて出現させたり、舞台背景の幕類を開閉し、せり舞台や回転舞台や吊り物を稼働させて特殊な効果を体現させることができる。
このような特殊効果を、ユーザの主導のタイミングで制御することにより、コンサート等を盛り上げることができる。
また、照明・効果制御部１６０は、客気分情報が盛り上がっていない場合や「盛り下がって」いた場合、及び／又は観客音声情報の音量のレベルが低い場合には、特殊効果の効果レベルを大きくするといった制御を行うこともできる。たとえば、スモークを派手にしたり、シャワーを大きくしたり、通常は回転しない回転灯を回転させたりといった処理を行い、より観客を盛り上げることができる。

【0050】

（ステップＳ１０７）
次に、サーバ１０の合図送受信部１２０は、合図送受信処理を行う。
具体的には、ユーザがリモコンマイク２０にて、他の演奏者やサーバ１０の管理者等にコンサートの進行等に係る「合図」の指示を送受信したい場合、入力部２６０や他の部位による指示を行う。この指示としては、送信相手と送信方法を特定したスイッチ等にて指示できる。図８の例では、ボタン５６０にて選択し、ボタン６１０〜６３０にて合図する相手、音声送受信の有無等を指示できる。
この指示情報を検知したリモコンマイク２０の制御部２００は、送受信部２９０を用いて、サーバ１０に送信する。
サーバ１０の送受信部１９０にてこの合図の指示情報を受信すると、合図送受信部１２０は、ユーザが送信したい相手の機器に送信する。この相手の機器としては、例えば、サーバ１０の管理者のコンソール部１３５、他の演奏者のトランシーバ（図示せず）、観客に拍手や歓声等の指示を出す支持者の端末（図示せず）等を指定できる。
また、合図の指示情報の送信時に、トランシーバによる音声通話を行うように当該相手の機器と接続することもできる。
この接続の状態や、指示の内容等については、サーバ１０のコンソール部１３５で確認することもできる。
以上によりコンサート処理を終了する。

【0051】

以上のように構成することで以下のような効果を得ることができる。
まず、本発明の視聴覚システムＸを用いることで、アーティストのようなユーザが、盛り上がりが低い場合に、音声フィードバックや各種効果音や特殊効果等にて盛り上げることができる。この際に、リモコンマイク２０を用いて、自ら主導して、音声フィードバック、効果音の発生、照明の制御、背景変更、特殊効果等の指示を行うことができるため、コンサート等をより盛り上げ、エンターテイメント性を高めることができる。
さらに、ユーザは、演出や集音等についても、自ら主導して行うことができる。つまり、コンサート等の開催時に、従来よりも少人数で運営することが可能になる。また、リハーサル等の負荷を軽減することができる。これにより、コストを低減できる。
さらに、主に電波によるトランシーバや指示の信号等を送受信することもできるため、コンサートの進行についてメンバー同士で連携して進めることができる。これにより、アーティストの意図に沿ったコンサート等を行うことができるようになる。
また、コンサート等において、例えば観客が舞台に上がったり、一部の楽器の故障や特殊効果機器が作動しなかったりといった不測事態が起こった際にも、すぐユーザが管理者等に伝えたり、管理者がユーザに伝える等の対処ができる。このため、コンサートの安全性を高めることもできる。
また、本発明の視聴覚システムＸでは、観客の歓声等の音声信号を集音マイク部３１４で別途取得して記憶しておき、フィードバックした歓声や効果音とは別途分けて収録することができる。このため、音楽ＤＶＤやＣＤ等の作成時にも、音声の分離性能がよく、高品質の録音物を提供可能になる。

【0052】

なお、サーバ１０を備えず、リモコンマイク２０のみで会場機器３０の各部を制御するような構成も可能である。
また、リモコンマイク２０には、スイッチ等の入力部２６０と、無線信号や光信号を送信する送受信部１９０のみを備えるような簡易的な構成も可能である。さらに、リモコンマイク２０と、入力部２６０とを分離して構成することもできる。

【0053】

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

【産業上の利用可能性】

【0054】

本発明によれば、会場機器をアーティスト等のユーザにより能動的に制御可能にする視聴覚システムを提供するため、産業上利用可能である。

【符号の説明】

【0055】

５ ネットワーク
１０ サーバ
２０ リモコンマイク
３０ 会場機器
１１０ 観客気分分析部
１２０ 合図送受信部
１３０ 会場機器制御部
１３５ コンソール部
１４０ 音声フィードバック部
１４２ ディレイ部
１４５ 出力レベル調整部
１５０ 効果音制御部
１６０ 照明・効果制御部
１７０ 背景制御部
１８０ データベース
１９０、２９０ 送受信部
２００ 制御部
２１０ 記憶部
２１５ 制御プログラム部
２２０ センサ部
２３０ 音声認識部
２４０ マイク
２５０ 出力部
２６０ 入力部
２７０ 表示部
３１０ 音響機器
３１４ 集音マイク部
３１５ スピーカ部
３３０ 舞台制御機器
３５０ 特殊効果機器
３６０ 背景機器
３７０ 照明機器
４００ カーソル
５００ グラフ
５１０、５２０、５３０、５４０、５５０、５６０、６１０、６２０、６３０ ボタン
Ｘ 視聴覚システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】