特許 6501344 聴取者評価を考慮したカラオケ採点システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6501344

(24)【登録日】2019年3月29日

(45)【発行日】2019年4月17日

(54)【発明の名称】聴取者評価を考慮したカラオケ採点システム

(51)【国際特許分類】

   G10K 15/04 20060101AFI20190408BHJP

   G10L 25/51 20130101ALI20190408BHJP

【ＦＩ】

   G10K15/04 302D

   G10L25/51 100

【請求項の数】3

【全頁数】12

(21)【出願番号】特願2014-242362(P2014-242362)

(22)【出願日】2014年11月28日

(65)【公開番号】特開2016-102961(P2016-102961A)

(43)【公開日】2016年6月2日

【審査請求日】2017年9月28日

(73)【特許権者】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】100130362

【弁理士】

【氏名又は名称】小川 嘉英

(72)【発明者】

【氏名】矢吹 豪

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開２００８−１７０６８５（ＪＰ，Ａ）

【文献】 特開２００８−０２６６２２（ＪＰ，Ａ）

【文献】 特開平１０−０７８７４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／０４

Ｇ１０Ｌ ２５／５１

(57)【特許請求の範囲】

【請求項1】

聴取者の評価を適切に反映して歌唱採点を行うことが可能なカラオケ採点システムであって、
歌唱音声の入力に基づいて歌唱音声信号を出力する歌唱者用マイクロホンと、
聴取者の動作を検知する動作検知手段と、
各カラオケ楽曲について、演奏区間毎に聴取者の反応に対する評価を規定した聴取者評価リファレンスデータと、
各カラオケ楽曲について、少なくとも主旋律データを含む歌唱採点リファレンスデータと、
任意のカラオケ楽曲の演奏に際して、前記歌唱者用マイクロホンから出力される歌唱音声信号と、当該カラオケ楽曲の前記歌唱採点リファレンスデータとを比較して歌唱採点値を算出するとともに、前記検知した聴取者の動作と、当該カラオケ楽曲の前記聴取者評価リファレンスデータとを比較して聴取者の評価値を算出し、当該カラオケ楽曲について定めた合格点と当該聴取者の評価値とに基づいて、前記歌唱採点値に対する修正割合を算出し、当該修正割合により前記歌唱採点値を修正して総合歌唱採点値を算出する歌唱採点手段と、
を備えたことを特徴とする聴取者評価を考慮したカラオケ採点システム。

【請求項2】

前記聴取者評価リファレンスデータは、演奏区間毎に動作に対する重み付けを行うことを特徴とする請求項１に記載の聴取者評価を考慮したカラオケ採点システム。

【請求項3】

前記動作検知手段は、カメラ、聴取者用マイクロホン、生体センサの少なくとも１つであることを特徴とする請求項１または２に記載の聴取者評価を考慮したカラオケ採点システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はカラオケ採点システムに関するものであり、詳しくは、採点基準となる歌唱採点リファレンスデータを用いた歌唱採点に加えて、聴取者の評価を適切に反映することが可能なカラオケ採点システムに関するものである。

【背景技術】

【0002】

カラオケ演奏装置における歌唱採点とは、マイクロホンから入力された歌唱音声から音高データ、音量データ、リズムを抽出し、この抽出された歌唱音声データと演奏楽曲の主旋律等からなる歌唱採点リファレンスデータを比較し、比較結果である得点にて、歌唱者と他の歌唱者との歌唱力の優劣の判断を行うものである。

【0003】

しかし、このような従来の歌唱採点方法では、当然に、採点基準となる歌唱採点リファレンスデータに近い歌唱を行うことができる歌唱者が高得点を得ることができる。しかし、例えば、歌唱者以外の聴取者は、実際には、算出された得点よりもあまり上手くないと感じる場合がある一方、算出された得点よりも上手いと感じる場合もある。すなわち、採点基準となる歌唱採点リファレンスデータを用いた採点結果と、実際に聴取者が感じる歌唱の巧拙とが異なっていることがある。

【0004】

このような問題に対して、種々の提案がなされている。例えば、特許文献１には、聴取者がカラオケリモコン装置に歌唱評価点を入力することにより、歌唱者の歌唱を評価することができる技術が開示されている。また、特許文献２には、楽曲を予約する際に、歌唱楽曲の楽曲ＩＤと予約した携帯端末の端末ＩＤとを紐付けて予約待ち行列に登録することにより、演奏楽曲に紐付けられている以外の携帯端末すなわち歌唱者が所持するものではなく同席者の所有する携帯端末に、採点入力許可情報を送信する技術が開示されている。

【0005】

また、カラオケ演奏装置に関する技術分野ではないが、特許文献３には、コンサートホールに設置されたカメラやマイクロホンを用いて、聴取者の拍手や手拍子、喝采等と、その時の動作の速さや、声の大きさについて分析することにより、聴取者の興奮度、集中度、盛り上がり度等を検出し、演奏されている電子楽器やコンサートホールの照明等を制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平８−１１５０９１号公報

【特許文献2】特開２００９−２８８６８４号公報

【特許文献3】特開平４−１７４６９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１及び特許文献２に開示された技術は、歌唱者が楽曲の歌唱を終了した時に、聴取者が評価値を入力するものであるため、実際に聴取者が歌唱者の歌唱を聴いて盛り上がった区間や、逆にあまり盛り上がらず、あるいは関心がなかった区間などを、聴取者による歌唱評価として適切に反映することができない。

【0008】

また、特許文献３に開示されている技術を用いて、歌唱者以外の聴取者の盛り上がりに応じて歌唱採点を行うことも考えられる。しかし、様々な楽曲が歌唱されるカラオケシステムでは、楽曲により盛り上がる区間が異なるため、特許文献３に記載された技術のように、単にカメラやマイクロホンから入力された映像や音声から聴取者の盛り上がり度等を検出し、歌唱評価として反映した場合には、たまたま、聴取者がやかましいだけとか、歌唱者が挑発的なポーズをとっただけでも、聴取者が盛り上がっているとして判断され、現実とは異なる高い歌唱採点が算出されてしまうという欠点がある。

【0009】

本発明は、上述した事情に鑑み提案されたもので、採点基準となる歌唱採点リファレンスデータを用いた歌唱採点に加えて、聴取者の評価を適切に反映することが可能なカラオケ採点システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明に係る聴取者評価を考慮したカラオケ採点システム（以下、カラオケ採点システムと略記する）は、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明に係るカラオケ採点システムは、聴取者の評価を適切に反映して歌唱採点を行うことが可能なカラオケ採点システムであって、歌唱者用マイクロホンと、動作検知手段と、聴取者評価リファレンスデータと、歌唱採点リファレンスデータと、歌唱採点手段とを備えている。

【0011】

歌唱者用マイクロホンは、歌唱音声の入力に基づいて歌唱音声信号を出力するための装置である。動作検知手段は、聴取者の動作を検知するための手段である。聴取者評価リファレンスデータは、各カラオケ楽曲について、演奏区間毎に聴取者の反応に対する評価を規定したデータである。歌唱採点リファレンスデータは、各カラオケ楽曲について、少なくとも主旋律データを含むデータである。

【0012】

歌唱採点手段は、任意のカラオケ楽曲の演奏に際して、歌唱者用マイクロホンから出力される歌唱音声信号と、当該カラオケ楽曲の歌唱採点リファレンスデータとを比較して歌唱採点値を算出するとともに、検知した聴取者の動作と、当該カラオケ楽曲の聴取者評価リファレンスデータとを比較して聴取者の評価値を算出し、当該カラオケ楽曲について定めた合格点と当該聴取者の評価値とに基づいて、歌唱採点値に対する修正割合を算出し、当該修正割合により歌唱採点値を修正して総合歌唱採点値を算出するための手段である。

【0013】

また、上述した構成に加えて、聴取者評価リファレンスデータは、演奏区間毎に動作に対する重み付けを行うことが可能である。

【0014】

また、上述した構成に加えて、動作検知手段は、カメラ、聴取者用マイクロホン、生体センサの少なくとも１つにより構成することが可能である。

【発明の効果】

【0015】

本発明のカラオケ採点システムでは、従来技術のように、聴取者が歌唱者の歌唱終了後にカラオケリモコン装置や携帯端末を用いて歌唱評価を行うのではなく、カラオケ楽曲の区間毎に聴取者の反応を分析して、聴取者の盛り上がりを評価する。このため、聴取者が歌唱者の歌唱を聴いて盛り上がった事実や、反対に盛り上がらなかった事実などを歌唱評価に反映することが可能となる。

【0016】

また、従来の歌唱採点のように、歌唱リファレンスデータと歌唱音声信号との比較による評価だけではなく、聴取者の反応も交えて歌唱評価を行い総合歌唱採点値を算出することができるので、聴取者の評価を反映した適切な評価を行うことが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係るカラオケ採点システムの概略構成を示すブロック図。

【図2】カラオケ楽曲の演奏区間データの一例を示す説明図。

【図3】聴取者評価リファレンスデータの一例を示す説明図。

【図4】聴取者評価リファレンスデータの他の例を示す説明図。

【図5】評価項目の評価基準を示す説明図。

【図6】動作検出手段の検出結果と評価値の関係を示す説明図。

【図7】歌唱採点方法を示す説明図。

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明のカラオケ採点システムの実施形態について説明する。図１〜図７は本発明の実施形態に係るカラオケ採点システムを説明するもので、図１はカラオケ採点システムの概略構成を示すブロック図、図２はカラオケ楽曲の演奏区間データの一例を示す説明図、図３及び図４は聴取者評価リファレンスデータを示す説明図、図５は評価項目の評価基準を示す説明図、図６は動作検出手段の検出結果と評価値の関係を示す説明図、図７は歌唱採点方法を示す説明図である。

【0019】

＜カラオケ採点システムの概要＞
本発明の実施形態に係るカラオケ採点システム１００は、歌唱採点リファレンスデータを用いた歌唱採点に加えて、聴取者の評価を適切に反映することが可能なシステムであり、図１に示すように、カラオケ演奏装置１０に適用するシステムである。このカラオケ採点システム１００は、動作検知手段として機能する聴取者用マイクロホン１４、生体センサ１５、カメラ１６と、歌唱採点手段２７とを備えており、歌唱採点手段２７では、歌唱採点リファレンスデータ及び聴取者評価リファレンスデータに基づいて、総合的な歌唱採点値を算出する。

【0020】

本実施形態では、歌唱採点リファレンスデータ及び聴取者評価リファレンスデータ等の各種データをカラオケ演奏装置１０に記憶しているが、これらのデータをサーバ（図示せず）に記憶し、ルータ及びデータ通信回線を介して、カラオケ演奏装置１０とサーバとの間でデータの送受信を行うことにより、本発明の機能を発揮させてもよい。また、サーバを備えた場合には、利用者の個人情報や歌唱履歴等を総合的に管理することができる。

【0021】

以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

【0022】

＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケ採点システム１００を適用するカラオケ演奏装置１０は、図１に示すように、カラオケ本体１１、カラオケリモコン装置１２、歌唱者用マイクロホン１３、聴取者用マイクロホン１４、生体センサ１５、カメラ１６、表示装置１７、ミキシングアンプ１８、スピーカ１９を備えている。聴取者用マイクロホン１４、生体センサ１５、カメラ１６は、動作検知手段として機能する装置であり、これらの装置の全てを備えていてもよいが、いずれか１つ以上の装置により動作検知手段を構成してもよい。

【0023】

＜カラオケリモコン装置＞
カラオケリモコン装置１２は、ユーザインタフェース機能を備えており、ルータ４０及びデータ通信回線５０を介して、カラオケ本体１１との間でデータの送受信を行うようになっている。なお、カラオケリモコン装置１２とルータ４０との間は、赤外線通信等の無線通信によりデータの送受信を行う。このカラオケリモコン装置１２は、楽曲検索手段１２ａとして機能するプログラム、楽曲索引データベース１２ｂ、種々のデータを記憶するためのデータ記憶部１２ｃ、データの入出力を行うための入出力表示部１２ｄを備えている。

【0024】

このカラオケリモコン装置１２に付帯するスイッチ類や、入出力表示部１２ｄに表示される各種のアイコン等を操作することにより、ログイン操作、選曲操作、演奏制御操作等、カラオケ演奏に必要な制御が実行される。なお、カラオケリモコン装置１２を用いて行われる操作は、これらに限定されるものではなく、カラオケ演奏装置１０における各種操作を行うことが可能である。

【0025】

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段１２ａは、利用者の指示に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース１２ｂは、カラオケ演奏装置１０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル・デュエット曲か否かなど、種々の属性情報がこれに含まれている。楽曲検索手段１２ａは、利用者による指示入力に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索する。

【0026】

＜歌唱者用マイクロホン／スピーカ＞
歌唱者用マイクロホン１３は、歌唱音声の入力に基づいて歌唱音声信号を出力するための装置である。歌唱者用マイクロホン１３から入力された歌唱音声は歌唱音声信号として出力され、ミキシングアンプ１８により、音楽再生制御手段３０から送出されるカラオケ演奏信号とミキシングされるとともに増幅され、スピーカ１９へ出力される。また、歌唱者用マイクロホン１３からの音声入力信号は、Ａ／Ｄコンバータ３１によりデジタル変換し、歌唱採点手段２７における採点値の生成等に使用される。

【0027】

＜聴取者用マイクロホン＞
聴取者用マイクロホン１４は、聴取者の声援や歓声の入力に基づいて聴取者音声信号を出力するための装置である。聴取者用マイクロホン１４から入力された声援や歓声は聴取者音声信号として出力され、無線通信または有線通信によりカラオケ本体１１の聴取者動作データ受信手段２８に送信される。聴取者用マイクロホン１４は、例えばカラオケルームの天井や壁面上部などに設置され、指向性マイクであれば聴取者が座っている客席等に向けて固定されるのが望ましい。

【0028】

＜生体センサ＞
生体センサ１５は、聴取者の身体に装着する腕時計型のセンサや、聴取者から非接触で情報を取得することが可能なサーモグラフィ等を使用して、聴取者の心拍数、呼吸数、体温、重力加速度（身体の動き）等、聴取者の動作に関連する種々のデータをリアルタイムに取得するための装置である。生体センサ１５により取得したデータは、無線通信または有線通信によりカラオケ本体１１の聴取者動作データ受信手段２８に送信される。

【0029】

＜カメラ＞
カメラ１６は、聴取者の動作を撮影するための装置であり、例えば、ビデオカメラにより構成することができる。カメラ１６から出力される映像信号は、無線通信または有線通信によりカラオケ本体１１の聴取者動作データ受信手段２８に送信される。なお、カメラ１６は、聴取者の動作検出等の解析用映像を撮影するための装置であるため、聴取者エリア全体を俯瞰して撮影できるように、撮影方向を固定するとともに、焦点距離の調整を行わない固定焦点式であることが好ましい。

【0030】

＜表示装置＞
表示装置１７は、カラオケ楽曲に関連した背景映像や歌詞テロップ、歌唱採点結果等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

【0031】

＜カラオケ本体＞
カラオケ本体１１は、中央制御手段２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、送受信制御手段２５、予約楽曲管理手段２６、歌唱採点手段２７、聴取者動作データ受信手段２８、映像再生制御手段２９、音楽再生制御手段３０、Ａ／Ｄコンバータ３１を備えている。

【0032】

＜中央制御手段＞
中央制御手段２１は、カラオケ本体１１を総合的に制御するための電子機器であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ２２等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

【0033】

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ２２は、カラオケ本体１１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための電子機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ２３は、プログラムや各種データを一時的に記憶する一時記憶領域として機能する電子機器で、例えば半導体メモリ等で構成される。本実施形態では、ＲＡＭ２３に予約楽曲管理テーブル２３ａが記憶される。

【0034】

＜ＨＤＤ＞
ＨＤＤ２４は、大容量記憶装置として機能する電子機器で、楽曲データベース２４ａ、背景映像データベース２４ｂ、聴取者評価リファレンスデータベース２４ｃ、歌唱採点リファレンスデータベース２４ｄが記憶されている。なお、ＨＤＤ２４に替えて、あるいはＨＤＤ２４と共に、データを書き替え可能なＤＶＤやＳＳＤ等の大容量記憶手段を用いてもよい。

【0035】

＜楽曲データベース／背景映像データベース＞
楽曲データベース２４ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞描出データが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けしてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。背景映像データベース２４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた背景映像ファイルとして所定数記憶したデータベースである。

【0036】

また、楽曲データベース２４ａを構成する各楽曲データは、演奏区間を表す演奏区間データを含んでいる。この演奏区間データは、図２に示すように、演奏の進行に伴い変化する曲調を表したもので、Ａメロ、Ｂメロ、サビ、間奏、ラスト等からなる。図２に示す例では、聴取者評価リファレンスデータと関係がある演奏区間のみを記載しているが、他の演奏区間として前奏等がある。

【0037】

＜聴取者評価リファレンスデータベース＞
聴取者評価リファレンスデータベース２４ｃは、各カラオケ楽曲の聴取者評価リファレンスデータにより構成されるデータベースである。聴取者評価リファレンスデータベース２４ｃを構成する聴取者評価リファレンスデータは、各カラオケ楽曲の演奏区間毎に、聴取者の反応に対する評価を規定したデータである。すなわち、聴取者評価リファレンスデータは、聴取者による評価基準となるデータであり、歌唱採点手段２７の機能により、動作検知手段（聴取者用マイクロホン１４、生体センサ１５、カメラ１６）で検知した聴取者の動作と、当該カラオケ楽曲の聴取者評価リファレンスデータとを比較して聴取者の評価値が算出される。

【0038】

聴取者評価リファレンスデータは、図３に示すように、カラオケ楽曲毎に、演奏区間に対する評価項目（聴取者の反応）を規定したデータである。評価項目は、例えば、声援、集中度、興奮度、拍手等であり、聴取者用マイクロホン１４やカメラ１６にて入力された聴取者の声の大きさ、音質、動作等や、生体センサ１５を用いて、聴取者の心拍数、体温血圧等を検知し、図５の評価基準に従い各項目毎に判定する。なお、各評価項目の判定に関しては、５段階評価等にて判定してもよいし、項目毎に異なる判定方法を用いてもよい。

【0039】

図５に示すように、声援は、聴取者マイクロホン１４の入力値が規定値を超えた場合に評価対象とする。集中度は、聴取者の動きが一致している、または無駄な動作がない場合に評価対象とする。興奮度は、聴取者の動きと聴取者マイクロホン１４の入力値が規定値を超えた場合、または生体センサ１５にて検知した聴取者の平均体温が上昇した場合に評価対象とする。拍手は、聴取者の拍手音を検知して、聴取者マイクロホン１４の入力値が規定値を超えた場合に評価対象とする。なお、各評価項目を評価する際には、現在ログインしている歌唱者以外の利用者を聴取者の人数とし、この聴取者の人数を考慮し各評価項目を評価してもよい。

【0040】

図３に示す各演奏区間における評価項目は、Ａメロから徐々に盛り上がってゆくカラオケ楽曲を例にしたもので、最初のＡメロに対しては、声援と集中度を評価し、次のＢメロに対しては、サビの手前ということで集中度を評価し、サビでは、集中度、興奮度を評価し、間奏では、拍手、声援、興奮度を評価する。他の演奏区間についても、同様にカラオケ楽曲の曲調に合わせて評価項目を設定すればよい。

【0041】

さらに、演奏区間の種類に応じて、評価項目に重み付けを行ってもよい。例えば、図４に示す聴取者評価リファレンスデータは、サビの演奏区間で集中度及び興奮度のみに評価点を与えると共に他の演奏区間の評価項目よりも大きくなるように設定を行い、じっくり聴かせる演奏区間では集中度のみに評価点を与え、声援や興奮度が検出された場合には、雑音として評価しないか、あるいは減点を行う設定としてもよい。また、図６にサビの演奏区間のみを示したが、他の評価項目より集中度及び興奮度に対する評価点が大きくなるような重み付けの設定の行ってもよい。

【0042】

なお、聴取者評価リファレンスデータをカラオケ楽曲毎に作成するのではなく、演奏区間と評価項目とを関連付けて、楽曲共通の聴取者評価リファレンスデータを作成してもよい。

【0043】

＜歌唱採点リファレンスデータベース＞
歌唱採点リファレンスデータベース２４ｄは、各カラオケ楽曲の歌唱採点リファレンスデータにより構成されるデータベースである。歌唱採点リファレンスデータベース２４ｄを構成する歌唱採点リファレンスデータは、少なくともカラオケ楽曲の主旋律データを含んだデータである。この歌唱採点リファレンスデータは、歌唱採点の基本データとなるデータであり、歌唱採点手段２７の機能により、歌唱者用マイクロホン１３から出力される歌唱音声信号をＡ／Ｄコンバータ３１によりデジタル変換し、この歌唱音声信号と歌唱採点リファレンスデータとを比較して歌唱採点値を算出する。

【0044】

＜送受信制御手段＞
送受信制御手段２５は、カラオケリモコン装置１２やサーバ（図示せず）との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。この送受信制御手段２５の機能により、カラオケリモコン装置１２やサーバ（図示せず）との間で送受信するデータ及び信号の同期や誤り制御等を行う。また、送受信制御手段２５の機能として、ログイン操作におけるデータの送受信制御を行わせることができる。

【0045】

ログイン操作とは、例えば、利用者が所持する携帯情報端末を用いてシステムログインするためのデータ（例えば、カラオケ演奏装置１０や携帯情報端末の識別情報）をサーバに送信する操作のことである。システムログインするためのデータを受信したサーバは、該当するカラオケ演奏装置１０に対して、当該利用者の利用者ＩＤ等を送信する。なお、ログイン操作は、このような態様に限られず、システムログインした利用者を特定して、利用者ＩＤを取得するための操作であれば、どのような態様であってもよく、例えば、カラオケリモコン装置１２を用いてログイン操作を行ってもよい。

【0046】

＜予約楽曲管理手段／予約楽曲管理テーブル＞
予約楽曲管理手段２６は、任意の利用者がカラオケ楽曲の予約を行う際に、当該利用者の利用者ＩＤと予約楽曲の楽曲ＩＤとを対応付けして、予約楽曲管理テーブル２３ａで管理するためのプログラムからなる。すなわち、予約楽曲管理手段２６は予約楽曲管理テーブル２３ａを作成し、この予約楽曲管理テーブル２３ａをＲＡＭ２３に格納して管理する。予約楽曲管理テーブル２３ａは、利用者により楽曲検索手段１２ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて作成したデータテーブルである。

【0047】

＜聴取者動作データ受信手段＞
聴取者動作データ受信手段２８は、動作検知手段として機能する聴取者用マイクロホン１４、生体センサ１５、カメラ１６からの動作信号を受信するためのインターフェースからなる。図１に示す例では、聴取者動作データ受信手段２８により、聴取者用マイクロホン１４、生体センサ１５、カメラ１６から動作信号を受信しているが、それぞれ別個のデータ受信手段によりデータを受信するように構成してもよい。動作信号の送受信は、無線通信で行ってもよいし、有線通信で行ってもよいが、特に生体センサ１５との間における通信は無線通信であることが好ましい。

【0048】

＜歌唱採点手段＞
歌唱採点手段２７は、基本的に、カラオケ演奏時に入力される歌唱音声から歌唱の巧拙を評価して採点値（採点データ）を生成するためのプログラムからなり、本発明では、歌唱採点が指示されたカラオケ楽曲の演奏に際して、例えば１５ｍｓｅｃといった微小区間毎に、歌唱用マイクロホン１３から入力された歌唱音声信号から、音高データ、音量データ、等の歌唱音声データを抽出し、現在演奏しているカラオケ楽曲の主旋律からなる歌唱採点リファレンスデータと、抽出した歌唱音声データとを比較することにより、歌唱採点値を算出するとともに、検知した聴取者の動作と、当該カラオケ楽曲の聴取者評価リファレンスデータとを比較して聴取者の評価値を算出し、歌唱採点値と評価値とに基づいて総合歌唱採点値を算出するようになっている。

【0049】

すなわち、歌唱採点手段２７は、歌唱採点リファレンスデータと歌唱音声を所定の歌唱区間ごとに比較することにより歌唱の巧拙を評価し、さらに、聴取者評価リファレンスデータと聴取者の動作を所定の演奏区間ごとに比較することにより聴取者の評価を加味して、総合的な歌唱採点結果データを出力する。歌唱採点手段２７による採点結果は、総合的な歌唱採点結果として表示装置１７の表示画面やカラオケリモコン装置１２の入出力表示部１２ｄ等に表示される。

【0050】

例えば、聴取者の評価とは、図７に示すように、各演奏区間における実際の聴取者の評価値の合計（本実施形態では７３６点、８００点満点で合格点が７２０点とする）と、歌唱採点値より、総合的な歌唱採点値を算出する。本実施形態では、歌唱採点値９０点に聴取者の評価である７３６／７２０＝１．０２２を乗算することにより総合的な歌唱採点値として、９２．０点が算出されることになる。すなわち、聴取者の反応を加味した場合には、単純な歌唱採点値と比較して（反応が良かったために）総合的な歌唱採点値が高くなる。逆に、聴取者の評価値の合計が合格点の７２０点を下回れば、総合的な歌唱採点値は低くなる。

【0051】

聴取者の動作に基づく評価、歌唱リファレンスデータとの比較に基づく歌唱採点結果、総合的な歌唱採点結果は、例えば、演奏区間毎に表示するとともに、演奏終了後にすべての演奏区間における平均値を表示する。また、聴取者の動作に基づく評価、歌唱リファレンスデータとの比較に基づく歌唱採点結果の表示を省略して、総合的な歌唱採点結果のみを表示してもよいし、演奏区間毎の表示を省略して、演奏終了後に各評価の表示を行ってもよい。

【0052】

この歌唱採点手段２７における歌唱採点は、利用者がカラオケリモコン装置１２の入出力表示部１２ｄを用いて歌唱採点指示入力を行った場合にのみ実施してもよいし、歌唱採点リファレンスデータまたは聴取者評価リファレンスデータが用意されているカラオケ楽曲についてのみ行ってもよい。歌唱採点を行うための指示入力は、例えば、楽曲の予約時に行うが、演奏の楽曲が開始するまでの間であれば、選曲予約後に歌唱採点を行うための指示入力を行ってもよい。

【0053】

＜音楽再生制御手段＞
音楽再生制御手段３０は、楽曲ＩＤに対応する楽曲データから抽出された演奏制御データに基づいて、音源（シンセサイザ）を駆動しカラオケ演奏信号を構成する楽音信号を生成するとともにアナログ変換してミキシングアンプ１８に出力するための電子機器である。また、ミキシングアンプ１８は、歌唱者用マイクロホン１３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段３０から送出されるカラオケ演奏信号とをミキシングすると共に、アンプ機能により増幅してスピーカ１９より出力するための装置である。

【0054】

＜映像再生制御手段＞
映像再生制御手段２９は、カラオケ楽曲の演奏中に、背景映像データベース２４ｂから抽出した背景映像データと、楽曲データに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させて表示装置１７に出力するための電子機器である。

【符号の説明】

【0055】

１００ カラオケ採点システム
１０ カラオケ演奏装置
１１ カラオケ本体
１２ カラオケリモコン装置
１２ａ 楽曲検索手段
１２ｂ 楽曲索引データベース
１２ｃ データ記憶部
１２ｄ 入出力表示部
１３ 歌唱者用マイクロホン
１４ 聴取者用マイクロホン（動作検知手段）
１５ 生体センサ（動作検知手段）
１６ カメラ（動作検知手段）
１７ 表示装置
１８ ミキシングアンプ
１９ スピーカ
２１ 中央制御手段
２２ ＲＯＭ
２３ ＲＡＭ
２３ａ 予約楽曲管理テーブル
２４ ＨＤＤ
２４ａ 楽曲データベース
２４ｂ 背景映像データベース
２４ｃ 聴取者評価リファレンスデータベース
２４ｄ 歌唱採点リファレンスデータベース
２５ 送受信制御手段
２６ 予約楽曲管理手段
２７ 歌唱採点手段
２８ 聴取者動作データ受信手段
２９ 映像再生制御手段
３０ 音楽再生制御手段
３１ Ａ／Ｄコンバータ
４０ ルータ
５０ データ通信回線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】