特許 6144593 歌唱採点システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6144593

(24)【登録日】2017年5月19日

(45)【発行日】2017年6月7日

(54)【発明の名称】歌唱採点システム

(51)【国際特許分類】

   G10K 15/04 20060101AFI20170529BHJP

   G10L 25/90 20130101ALI20170529BHJP

   G10L 25/51 20130101ALI20170529BHJP

【ＦＩ】

   G10K15/04 302D

   G10L25/90

   G10L25/51 100

【請求項の数】3

【全頁数】16

(21)【出願番号】特願2013-201797(P2013-201797)

(22)【出願日】2013年9月27日

(65)【公開番号】特開2015-68932(P2015-68932A)

(43)【公開日】2015年4月13日

【審査請求日】2016年7月5日

(73)【特許権者】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】100130362

【弁理士】

【氏名又は名称】小川 嘉英

(72)【発明者】

【氏名】橘 聡

【審査官】 下林 義明

(56)【参考文献】

【文献】 特開平１１−３０５７８６（ＪＰ，Ａ）

【文献】 特開２００８−０１５１９５（ＪＰ，Ａ）

【文献】 特開２００８−２２５１１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／００ − １５／０６

Ｇ１０Ｌ １９／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムにおいて、
マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点手段と、
歌詞テロップ情報に基づき、子音が発生する採点区間を特定する子音採点区間特定手段と、
前記特定された子音採点区間において、前記入力された歌唱音声信号からピッチ検出を行うピッチ検出手段と、
前記ピッチ検出手段がピッチを検出できなかった時間が所定時間以上であるか否かを判定するピッチ検出判定手段と、
子音の発音態様を変更して歌唱する複数の特徴的な歌唱態様を記憶する特徴的歌唱態様記憶手段と、
前記子音採点区間において、マイクロホンから入力された歌唱音声信号に基づいて歌唱態様を特定する歌唱態様特定手段と、
前記特定した歌唱態様と、前記特徴的歌唱態様記憶手段に記憶された特徴的な歌唱態様とを比較する歌唱態様比較手段と、を備え、
前記歌唱採点手段は、マイクロホンから歌唱音声信号の入力があるにもかかわらず、前記ピッチ検出判定手段により、前記ピッチを検出できなかった時間が所定時間以上であると判定され、かつ前記歌唱態様特定手段で特定された歌唱態様が前記特徴的な歌唱態様のいずれか一つと一致する場合に、前記ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出する、
ことを特徴とする歌唱採点システム。

【請求項2】

前記歌唱採点手段は、マイクロホンから歌唱音声信号の入力があるにもかかわらず、前記ピッチ検出判定手段により、前記ピッチを検出できなかった時間が所定時間以上であると判定され、かつ前記歌唱態様特定手段で特定された歌唱態様が前記特徴的な歌唱態様のいずれか一つと一致する場合に、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較してリズム評価を行い、ピッチ検出に基づく歌唱採点値を採用せずに、リズム評価に基づく歌唱採点値を基準とした補正を行って修正歌唱採点値を算出する、
ことを特徴とする請求項１に記載の歌唱採点システム。

【請求項3】

前記歌唱採点手段は、マイクロホンから歌唱音声信号の入力があるにもかかわらず、前記ピッチ検出判定手段により、前記ピッチを検出できなかった時間が所定時間以上であると判定され、かつ前記歌唱態様特定手段で特定された歌唱態様が前記特徴的な歌唱態様のいずれか一つと一致する場合に、ボーナス点を加算して、修正歌唱採点値を算出する、
ことを特徴とする請求項１または２に記載の歌唱採点システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歌唱採点システムに関するものであり、特に、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点システムに関するものである。

【背景技術】

【0002】

現在普及しているカラオケシステムでは、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点機能を備えている。このような歌唱採点機能に関する技術は、例えば、特許文献１に記載されている。

【0003】

特許文献１に記載されたカラオケ装置は、シーケンサがカラオケ演奏用データを読み出して楽音発生部に入力することによってカラオケ演奏が行われる。カラオケ歌唱者は、カラオケ演奏に合わせて歌唱し、その歌唱音声信号はマイクを介してアンプに入力されるとともにＡ／Ｄコンバータにも入力され、デジタルデータに変換される。

【0004】

そして、データ抽出部により、デジタル化された歌唱音声信号から音高データ、音量データを抽出し、抽出した音高データ、音量データ（歌唱音声）を比較部に入力する。シーケンサはカラオケ演奏用データに並行して比較用データであるガイドメロディを読み出してこれを比較部に入力する。比較部では、抽出した音高データ、音量データと、ガイドメロディとを比較して、歌唱者の歌唱の巧拙を採点評価するようになっている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１０−６９２１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように、マイクロホンから入力され、Ａ／Ｄコンバータによりデジタル変換された歌唱音声信号と、ガイドメロディ等の歌唱採点用リファレンスデータとを比較することにより、歌唱採点値を算出することができる。しかし、特に、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出する歌唱採点システムでは、歌詞の単語の種類によっては、音高データ（ピッチデータ）を抽出できない場合がある。

【0007】

そして、音高データ（ピッチデータ）を抽出できない採点区間においては、歌唱者が上手に歌唱しているにも拘わらず、採点リファレンスデータと比較するデータを抽出できないため歌唱採点値が低くなってしまい、正確な歌唱採点を行うことができないという問題があった。

【0008】

すなわち、現在のカラオケシステムで利用されているピッチ検出方法では、歌詞に含まれる単語の中の子音部分（ｓ、ｔ、ｋ等）は、原則としてピッチを検出することができない。また、子音の種類に応じて、発音する時間的な長さが異なる。具体的には、同じ長さの「す」と「き」を比較すると、「す」における子音部分「ｓ」の方が、「き」における子音部分「ｋ」よりも発音時間が長い。したがって、採点区間毎にピッチ検出を行うと、サ行の発音は当該区間で子音部分「ｓ」が占める時間が長くなり、カ行の発音よりもピッチ検出の精度が低下してしまう。一方、カ行の発音は当該区間で子音部分「ｋ」が占める時間が短いため、ピッチ検出の精度が低下することは殆どない。

【0009】

図面を参照して、「す」及び「き」を発音する際の子音部分の長さ、「す」における子音「ｓ」のＦＦＴによる周波数特性の解析結果（以下、ＦＦＴと略す、図面も同様）及び母音「ｕ」のＦＦＴ、「き」における子音「ｋ」のＦＦＴ及び母音「ｉ」のＦＦＴについて説明する。なお、通常の歌唱において、子音部分すなわち「す」の発音における「ｓ」及び「き」の発音における「ｋ」の長さは、それぞれほぼ一定であると考えてよい。一方、母音部分すなわち「す」の発音における「ｕ」及び「き」の発音における「ｉ」の長さに関しては、「す」と「きー」など全体の発音を短く歌唱するか長く歌唱するかで変化する。図５は「す（ｓｕ）」の発音における子音の長さを示す説明図、図６は子音「ｓ」のＦＦＴを示す説明図、図７は母音「ｕ」のＦＦＴを示す説明図、図８は「き（ｋｉ）」の発音における子音の長さを示す説明図、図９は子音「ｋ」のＦＦＴを示す説明図、図１０は母音「ｉ」のＦＦＴを示す説明図である。

【0010】

図５に示すように、「す（ｓｕ）」を発音すると、子音「ｓ」の発音部分は約１１０ｍｓｅｃ続く。また、図６に示すように、子音「ｓ」を発音した場合にははっきりとした基音や倍音列が認められず、ピッチを検出することは困難である。一方、図７に示すように、母音「ｕ」を発音した場合には、周波数が約３１０Ｈｚで相対的に高いレベルを持つ基音とその略整数倍の周波数を持つ倍音列を含んでおり、ピッチを検出することが可能となる。このように、サ行の発音（例えば「す」の発音）では、採点区間において子音部分「ｓ」が占める時間が長いため、正確なピッチ検出を行うことができない。したがって、サ行の音声を含む採点区間において採点の精度を上げるためには、採点方法に工夫を施す必要がある。

【0011】

これに対して、図８に示すように、「き（ｋｉ）」を発音すると、子音「ｋ」の発音部分は約２５ｍｓｅｃであり、子音「s」の発音部分の４分の１以下である。また、図９に示すように、子音「ｋ」を発音した場合には、はっきりとした基音や倍音列が認められず、ピッチを検出することは困難である。一方、図１０に示すように、母音「ｉ」を発音した場合には、周波数が約３００Ｈｚで相対的に高いレベルを持つ基音とその略整数倍の周波数を持つ倍音列を含んでおり、ピッチを検出することが可能となる。このように、カ行の発音（例えば、「き」の発音）では、所定時間長の採点区間において子音部分「ｋ」が占める時間が極めて短いため、当該子音部分「ｋ」でピッチ検出を行うことができなくても、母音部分「ｉ」において、歌唱採点に必要なピッチ検出を行うことができる。したがって、カ行の音声を含む採点区間では、採点方法の精度が極端に低下することはない。

【0012】

図５〜図１０から明らかなように、サ行及びカ行のいずれの場合であっても、母音部分は整数倍音のピークがきれいに出ており、基音でピッチ検出が可能であるのに対して、子音部分は基音の周波数域でピッチ検出しようとしてもピークが無いため、ピッチ検出（一波長の測定）ができない。さらに、カ行はサ行と比較して、子音部分「ｋ」の発音時間が短いため、子音部分「ｋ」を無視してピッチ検出を行うことができる。

【0013】

ところで、上述したように、子音部分「ｓ」を発音した場合のように、ピッチを検出することができない時間が比較的長いと、歌唱採点において音程の評価値が下がる原因となる。一方、ピッチを検出することができない子音部分「ｓ」を含む採点区間であっても、子音の発音態様を変更する等、特徴的な歌唱方法を行うことにより、聴者にとって上手に歌唱しているように聞こえる歌唱テクニックが存在する。

【0014】

しかし、このような特徴的な歌唱方法を行った場合であっても、ピッチを検出することができなければ歌唱採点値が低くなってしまい、実際の歌唱採点値と聴者の感覚とに乖離が生じることになり、歌唱採点に対して聴者が違和感を覚える原因となる。

【0015】

したがって、特徴的な歌唱方法を行っている場合に、歌唱採点値が高くなるような補正を行うことにより、実際の歌唱採点値と聴者の感覚とが一致し、聴者に対する違和感を与えないだけではなく、特徴的な歌唱テクニックを有している歌唱者にとっても歌唱の楽しさを十分に味わうことができる。

【0016】

本発明は、上述した事情に鑑み提案されたもので、歌詞の単語が含む子音の種類に応じて音高データ（ピッチデータ）を抽出できない採点区間が存在する場合であっても、聴者にとって違和感を与えない特徴的な歌唱テクニックを行っている場合には、歌唱採点値に対する補正を行って、歌唱者及び聴者双方がカラオケを楽しむことが可能な歌唱採点システムを提供することを目的とする。

【課題を解決するための手段】

【0017】

本発明の歌唱採点システムは、上述した事情に鑑み提案されたもので、以下の特徴点を有している。すなわち、本発明の歌唱採点システムは、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出する歌唱採点システムであって、歌唱採点手段と、子音採点区間特定手段と、ピッチ検出手段と、ピッチ検出判定手段と、特徴的歌唱態様記憶手段と、歌唱態様特定手段と、歌唱態様比較手段とを備えたことを特徴とするものである。

【0018】

子音採点区間特定手段は、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するための手段である。歌唱採点手段は、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するための手段である。ピッチ検出手段は、特定された子音採点区間において、入力された歌唱音声信号からピッチ検出を行うための手段である。ピッチ検出判定手段は、ピッチ検出手段がピッチを検出できなかった時間が所定時間以上であるか否かを判定するための手段である。

【0019】

特徴的歌唱態様記憶手段は、子音の発音態様を変更して歌唱する複数の特徴的な歌唱態様を記憶するための手段である。歌唱態様特定手段は、子音採点区間において、マイクロホンから入力された歌唱音声信号に基づいて歌唱態様を特定するための手段である。歌唱態様比較手段は、特定した歌唱態様と、特徴的歌唱態様記憶手段に記憶された特徴的な歌唱態様とを比較するための手段である。

【0020】

そして、歌唱採点手段は、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチ検出判定手段により、ピッチを検出できなかった時間が所定時間以上であると判定され、かつ特定した歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出する。

【0021】

また、上述した構成において、歌唱採点手段は、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチ検出判定手段により、ピッチを検出できなかった時間が所定時間以上であると判定され、かつ歌唱態様特定手段で特定された歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、マイクロホンから入力された歌唱音声信号と採点リファレンスデータとを比較してリズム評価を行い、ピッチ検出に基づく歌唱採点値を採用せずに、リズム評価に基づく歌唱採点値を基準とした補正を行って修正歌唱採点値を算出することが可能である。

【0022】

また、上述した構成において、歌唱採点手段は、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチ検出判定手段により、ピッチを検出できなかった時間が所定時間以上であると判定され、かつ歌唱態様特定手段で特定された歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、ボーナス点を加算して、修正歌唱採点値を算出することが可能である。

【0023】

このような構成からなる歌唱採点システムでは、カラオケ楽曲の演奏に合わせて利用者が歌唱を行うと、マイクロホンから入力された歌唱音声信号をＡ／Ｄコンバータによりデジタル変換して、歌唱採点対象となる採点対象データを生成する。そして、歌唱採点手段により、所定の歌唱採点区間毎に、採点対象データと採点リファレンスデータとを比較して歌唱採点値を算出する。

【0024】

また、カラオケ楽曲の進行に伴い出力される歌詞テロップ情報に基づき、子音が発生する採点区間を逐次特定して、当該子音採点区間においてピッチを検出できたか否かで歌唱採点値を修正する。すなわち、ピッチ検出手段により、子音が発生する採点区間として特定された子音採点区間において、歌唱音声信号からピッチ検出を行い、ピッチ検出判定手段により、ピッチを検出できなかった時間が所定時間以上であるか否かを判定する。ここで、子音採点区間において、聴者が違和感を覚えるようなイレギュラーな歌唱方法で歌唱していない限り、所定時間（例えば、２００ｍｓｅｃ）以上、ピッチを検出できないことになる。

【0025】

ところで、子音の発音態様を変更する等、特徴的な歌唱方法を行うことにより、聴者にとって上手に歌唱しているように聞こえる歌唱テクニックが存在するため、この歌唱テクニックに相当する特徴的な歌唱態様を記憶しておき、歌唱態様特定手段により、子音採点区間において、マイクロホンから入力された歌唱音声信号に基づいて歌唱態様を特定し、歌唱態様比較手段により、特定した歌唱態様と、特徴的な歌唱態様とを比較することにより、特徴的な歌唱方法で歌唱しているか否かを特定することができる。このため、特徴的歌唱態様記憶手段により、子音の発音態様を変更して歌唱する複数の特徴的な歌唱態様を記憶しておく。具体的には、一般的発音と、特徴的な歌唱態様における特徴的発音とを紐付けしたデータテーブル（特徴的歌唱態様データテーブル）を作成し、これをＨＤＤ等の記憶手段に記憶する。

【0026】

そして、歌唱採点手段は、実際に歌唱が行われており、マイクロホンから歌唱音声信号の入力があるにもかかわらず、ピッチが検出できなかった時間が所定時間以上あり、かつ、子音の発音態様を変更する等、特徴的な歌唱方法を行うことにより、聴者にとって上手に歌唱しているように聞こえる歌唱テクニックを用いて歌唱を行っていると判定した場合に、ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出する。

【発明の効果】

【0027】

本発明の歌唱採点システムによれば、子音が発生する採点区間として特定された子音採点区間において、マイクロホンから入力された歌唱音声信号からピッチを検出することができない時間が所定時間以上の場合であっても、予め定めた特徴的な歌唱方法により歌唱を行っている場合には、ピッチを検出することができない時間が所定時間以上であったことに対する減点を行わずに修正歌唱採点値を算出する。

【0028】

したがって、ピッチを検出することができない時間が所定時間以上の子音採点区間であっても、歌唱者が自らの歌唱テクニックを駆使して、聴者にとって上手に歌唱していると認識できる特徴的な歌唱方法で歌唱を行っている場合には、歌唱採点値に対する補正を行って歌唱採点値を減点せず、あるいは、さらに加点を行うことにより、聴者に違和感を与えることなく、歌唱者及び聴者双方がカラオケを楽しむことが可能となる。

【0029】

また、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定すると、音高データ（ピッチデータ）を抽出できない場合があるが、本発明の歌唱採点システムでは、このような歌唱採点区間が存在した場合であっても、歌唱者が特徴的な歌唱方法（歌唱テクニック）を駆使して歌唱を行っている場合には、歌唱者の歌唱テクニックを評価して、聴者の感覚と乖離していない歌唱採点を行うことができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係る歌唱採点システムを適用したカラオケシステムの構成を示すブロック図。

【図2】本発明の実施形態に係る歌唱採点システムにおける特徴的歌唱態様データテーブルの構成を示す説明図。

【図3】本発明の実施形態に係る歌唱採点システムにおける歌唱採点方法の実施例１を示す説明図。

【図4】本発明の実施形態に係る歌唱採点システムにおける歌唱採点方法の実施例２を示す説明図。

【図5】「す（ｓｕ）」の発音における子音の長さを示す説明図。

【図6】子音「ｓ」のＦＦＴを示す説明図。

【図7】母音「ｕ」のＦＦＴを示す説明図。

【図8】「き（ｋｉ）」の発音における子音の長さを示す説明図。

【図9】子音「ｋ」のＦＦＴを示す説明図。

【図10】母音「ｉ」のＦＦＴを示す説明図。

【発明を実施するための形態】

【0031】

図面を参照して、本発明の歌唱採点システムの実施形態について説明する。図１〜図４は本発明の実施形態に係る歌唱採点システムを示すもので、図１は歌唱採点システムを適用したカラオケシステムの構成を示すブロック図、図２は特徴的歌唱態様データテーブルの構成を示す説明図、図３及び図４は歌唱採点方法の実施例を示す説明図である。

【0032】

＜歌唱採点システムの概要＞
本発明の実施形態に係る歌唱採点システムは、カラオケ楽曲の歌詞である各単語の歌唱時間よりも短い時間となるように、歌唱採点の対象となる採点区間を設定し、各採点区間において歌唱採点値を算出するシステムに関するものである。この歌唱採点システム１０は、図１に示すようにカラオケシステム（カラオケ演奏装置２０を含むシステム）に組み込まれてその機能を実現するものであり、歌唱採点機能の一部として構成される。

【0033】

本実施形態の歌唱採点システム１０では、図１に示すように、歌唱採点機能を実現するための機能手段として、歌唱採点手段３７と、子音採点区間特定手段３８と、ピッチ検出手段３９と、ピッチ検出判定手段４０と、特徴的歌唱態様記憶手段（特徴的歌唱態様データテーブル３５ｃ）と、歌唱態様特定手段４１と、歌唱態様比較手段４２とを備えている。

【0034】

なお、以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

【0035】

＜カラオケ演奏装置＞
本発明の実施形態に係る歌唱採点システム１０を適用するカラオケ演奏装置２０は、図１に示すように、カラオケ本体２１、スピーカ２２、マイクロホン２３、表示装置２４、ミキシングアンプ２５、カラオケリモコン装置２６を備えている。また、カラオケ演奏装置２０は、ルータ５０及びデータ通信回線６０を介して、管理サーバ７０とネットワーク接続されている。

【0036】

＜カラオケリモコン装置＞
カラオケリモコン装置２６は、ユーザインタフェース機能を備えており、ルータ５０を介してカラオケ本体２１とデータ通信を行うようになっている。このカラオケリモコン装置２６は、楽曲検索手段２６ａとして機能するプログラム、楽曲索引データベース２６ｂ、種々のデータを記憶するためのデータ記憶部２６ｃ、データの入出力を行うための入出力表示部２６ｄ等を備えている。このカラオケリモコン装置２６に付帯するスイッチ類や、入出力表示部２６ｄに表示される各種のアイコン等を操作することにより、選曲操作等が行われる。

【0037】

なお、カラオケ本体２１にローカル送受信手段（図示せず）を設け、このローカル送受信手段とカラオケリモコン装置２６との間で有線方式又は無線方式（例えば、赤外線通信）によりデータの送受信を行うようにしてもよい。さらに、利用者が所持する携帯情報端末（例えば、スマートフォン）等に、選曲プログラムをインストールすることにより、携帯情報端末に選曲装置としての機能を持たせ、管理サーバ７０を経由して、携帯情報端末とペアリングしたカラオケ演奏装置２０に対して選曲情報を送信するようにしてもよい。

【0038】

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２６ａは、利用者の指示に基づき、楽曲索引データベース２６ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２６ｂは、カラオケ演奏装置２０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。

【0039】

＜マイクロホン＞
マイクロホン２３は、歌唱音声の入力を行うための装置である。マイクロホン２３から入力された歌唱音声信号は、ミキシングアンプ２５により、音楽再生制御手段４３から送出される演奏音声信号とミキシングされると共に増幅され、スピーカ２２へ出力される。なお、マイクロホン２３からの音声入力信号は、Ａ／Ｄコンバータ４４によりデジタル変換され、歌唱採点手段３７における歌唱採点等に使用される。

【0040】

＜表示装置＞
表示装置２４は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

【0041】

＜カラオケ本体＞
カラオケ本体２１は、図１に示すように、ネットワーク送受信手段３１、中央制御手段３２、ＲＯＭ３３、ＲＡＭ３４、ＨＤＤ３５、予約管理手段３６、歌唱採点手段３７、子音採点区間特定手段３８、ピッチ検出手段３９、ピッチ検出判定手段４０、特徴的歌唱態様記憶手段（特徴的歌唱態様データテーブル３５ｃ）、歌唱態様特定手段４１、歌唱態様比較手段４２、音楽再生制御手段４３、Ａ／Ｄコンバータ４４、映像再生制御手段４５を備えている。

【0042】

＜ネットワーク送受信手段＞
ネットワーク送受信手段３１は、ルータ５０及びデータ通信回線６０を介して管理サーバ７０、カラオケリモコン装置２６、他のカラオケ演奏装置２０との間でデータの送受信を行うための電子回路及びプログラムからなる。データ通信回線６０は、データの送受信を行うことができればどのような回線であってもよいが、例えば、光回線、専用電話回線、一般電話回線、インターネット等を利用することができる。本実施形態では、光回線、専用電話回線、一般電話回線等の通信回線と、インターネットとを組み合わせて、データ通信回線６０を構成している。

【0043】

＜中央制御手段＞
中央制御手段３２は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ３３等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

【0044】

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ３３は、カラオケ本体２１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ３４は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。

【0045】

本実施形態では、ＲＡＭ３４に、予約待ち行列３４ａが記憶されるようになっている。なお、予約待ち行列３４ａは、選曲予約されたカラオケ楽曲について、演奏順に楽曲ＩＤを並べて構成されたデータテーブルであり、選曲予約者の利用者ＩＤ等、他の識別データが紐付けされている場合もある。また、ＲＡＭ３４に、歌唱採点値を記憶するようにしてもよい。

【0046】

＜ＨＤＤ＞
ＨＤＤ３５は、大容量記憶装置として機能するもので、楽曲データベース３５ａ、映像データベース３５ｂ、特徴的歌唱態様データテーブル３５ｃが格納されている。なお、ＨＤＤ３５に替えて、あるいはＨＤＤ３５と共に、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。

【0047】

＜楽曲データベース／映像データベース＞
楽曲データベース３５ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞テロップ情報が同期されて構成される楽曲データと、歌唱採点に用いる採点リファレンスデータとが、楽曲ＩＤと対応付けてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞テロップ情報は演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。採点リファレンスデータは、歌唱採点手段３７における歌唱採点において、マイクロホン２３から入力された歌唱音声信号と比較することにより、歌唱採点値を算出するためのデータである。また、子音採点区間特定手段３８は、歌詞テロップ情報に基づいて、子音を含む歌唱区間及び子音の種類を特定する。

【0048】

映像データベース３５ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。特徴的歌唱態様データテーブル３５ｃについては、後述する。

【0049】

＜予約管理手段＞
予約管理手段３６は、任意の利用者が選曲予約する際に、当該選曲されたカラオケ楽曲の楽曲ＩＤを含む予約待ち行列３４ａを作成して管理するためのプログラムからなる。すなわち、予約管理手段３６は、利用者により楽曲検索手段２６ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて予約待ち行列３４ａを作成し、この予約待ち行列３４ａをＲＡＭ３４に格納して管理する。また、予約待ち行列３４ａに選曲者の利用者ＩＤを含める場合には、利用者ＩＤの取得が必要となる。

【0050】

利用者ＩＤは、利用者ＩＤカードに記憶された利用者ＩＤをカードリーダにより読み取り、あるいは、カラオケリモコン装置２６の入出力表示部２６ｄを用いて入力された利用者ＩＤ及びパスワードに基づいて取得すればよい。さらに、利用者が携帯する携帯情報端末を用いて予約を行う機能を有する場合には、当該携帯情報端末の機器ＩＤに紐付けされた利用者ＩＤを取得してもよい。また、カラオケ演奏装置２０を使用する際に、利用者に対して一時的に利用者ＩＤを付与してもよい。

【0051】

＜音楽再生制御手段＞
音楽再生制御手段４３は、楽曲ＩＤに基づいて演奏データから抽出された演奏制御データに基づいて、音源データをデジタル再生すると共にアナログ変換してミキシングアンプ２５に出力するための電子回路である。上述したように、ミキシングアンプ２５は、マイクロホン２３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段４３から送出される演奏音声信号とをミキシングすると共に、アンプ機能により増幅してスピーカ２２より出力するための装置である。

【0052】

＜映像再生制御手段＞
映像再生制御手段４５は、カラオケ楽曲の演奏中に、映像データベース３５ｂから抽出した背景映像データと、演奏データに含まれる歌詞テロップ情報に基づいて作成される歌詞文字とを、当該カラオケ楽曲の演奏データに同期させて表示装置２４に出力する。

【0053】

＜歌唱採点手段＞
歌唱採点手段３７は、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較して歌唱採点値を算出するためのプログラムからなる。そして、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチが検出できなかった時間が所定時間（例えば、２００ｍｓｅｃ）以上であり、かつ特定した歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、ピッチが検出できなかったことに対する減点を行わずに修正歌唱採点値を算出する。

【0054】

マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチが検出できなかった時間が所定時間（例えば、２００ｍｓｅｃ）以上であるという条件は、歌唱者が歌唱している場合であっても、子音採点区間であるためピッチを検出できず、さらに、本来の歌唱方法とは異なるイレギュラーな歌唱方法で、無理矢理ピッチを検出させるような歌唱をしていないことを確認するためである。

【0055】

イレギュラーな歌唱方法とは、子音の発音時間を極端に短くしたり、子音を発音せずに母音のみを発音したりすることにより、聴者の感覚とかけ離れて歌唱採点値が高くなってしまう歌唱方法のことである。このようなイレギュラーな歌唱方法を許して歌唱採点値が高くなった場合には、歌唱採点値と聴者の感覚とが乖離してしまい、聴者が違和感を覚えることになる。この場合には、イレギュラーな歌唱方法により歌唱採点値が上昇することを防止する工夫が必要となる。イレギュラーな歌唱方法に対応するには、例えば、子音採点区間であるにもかかわらずピッチを検出できた場合に、減点を行えばよい。

【0056】

また、歌唱採点手段３７は、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチ検出判定手段４０により、ピッチを検出できなかった時間が所定時間（例えば、２００ｍｓｅｃ）以上であると判定され、かつ歌唱態様特定手段４１で特定された歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較してリズム評価を行い、ピッチ検出に基づく歌唱採点値を採用せずに、リズム評価に基づく歌唱採点値を基準とした補正を行って修正歌唱採点値を算出してもよい。

【0057】

さらに、歌唱採点手段３７は、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチ検出判定手段４０により、ピッチを検出できなかった時間が所定時間（例えば、２００ｍｓｅｃ）以上であると判定され、かつ歌唱態様特定手段４１で特定された歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、ボーナス点を加算して、修正歌唱採点値を算出してもよい。

【0058】

＜子音採点区間特定手段＞
子音採点区間特定手段３８は、歌詞テロップ情報に基づき、子音が発生する採点区間を特定するためのプログラムからなる。すなわち、歌詞テロップ情報には、表示装置２４に表示する歌詞文字情報が含まれており、この歌詞文字情報に基づいて、子音が発生する採点区間を特定することができる。

【0059】

＜ピッチ検出手段＞
ピッチ検出手段３９は、特定された子音採点区間において、入力された歌唱音声信号からピッチ検出を行うためのプログラムからなる。

【0060】

＜ピッチ検出判定手段＞
ピッチ検出判定手段４０は、ピッチ検出手段３９がピッチを検出できなかった時間が所定時間以上であるか否かを判定するためのプログラムからなる。すなわち、子音採点区間では、子音の種類にもよるが、本来の歌唱方法で歌唱するとピッチを検出できないことが一般的である。しかし、子音採点区間においてピッチを検出できない場合であっても、歌唱者の歌唱テクニックにより、子音の発音態様を変更して歌唱する特徴的な歌唱態様で歌唱している場合には、これを評価することにより、カラオケの楽しさを高めることができる。そこで、本実施形態では、子音の発音態様を変更して歌唱する特徴的な歌唱態様で歌唱しているためピッチを検出できない場合と、本来の歌唱方法とは異なるイレギュラーな歌唱方法で、無理矢理ピッチを検出させるような歌唱をしている場合を区別するため、ピッチを検出できなかった時間が所定時間以上であるか否かを判定する。

【0061】

＜特徴的歌唱態様記憶手段＞
特徴的歌唱態様記憶手段は、子音の発音態様を変更して歌唱する複数の特徴的な歌唱態様を記憶するための手段であり、例えば、特徴的歌唱態様データテーブル３５ｃを作成して、ＨＤＤ３５等の記憶手段に記憶する。

【0062】

子音の発音態様を変更して歌唱する特徴的な歌唱態様とは、一般的な発音とは相違するが、聴者にとって上手に歌唱しているように聞こえる歌唱テクニックのことである。具体的には、「待ってて」を「ンマッテテ」と発音するように「マ」の発音前に「ン」を発音することにより歌い始めを強調する歌唱態様、「乾いた」を「クァワイタ」と発音するように「カ」をカ行の別音及び母音で発音する歌唱態様、「眠っていた」を「ネムッテイツァ」と発音するように「タ」をタ行の別音及び母音で発音する歌唱態様、「揺られて」を「ユラレツェ」と発音するように「テ」をタ行の別音及び母音で発音する歌唱態様、「誇らしげ」を「ホコゥラシゲ」と発音するように「ラ」の発音前に「ゥ」を発音したり、「ラ」を巻き舌で発音したりする歌唱態様、「マシーン」の「シ」の発音前に歯擦音等を発音する歌唱態様等のことである。なお、特徴的な歌唱態様は上述したものに限られず、子音の発音態様を変更する等、特徴的な歌唱方法を行うことにより、一般的な発音とは相違するが、聴者にとって上手に歌唱しているように聞こえる歌唱態様であれば、どのような態様であってもよい。

【0063】

特徴的歌唱態様データテーブル３５ｃは、図２に示すように、一般的発音と、特徴的な歌唱態様における特徴的発音とを紐付けしたデータテーブルであり、例えば、上述したような一般的発音に対応する特徴的な歌唱態様が述されている。

【0064】

子音の発音態様を変更して歌唱する歌唱方法（特徴的歌唱態様）は、聴者に対してインパクトを与えたり、アタック感を弱めてメロディーを強調したりする等、聴者にとって違和感を生じさせるものではなく、歌唱者の歌唱テクニックを評価する必要がある。したがって、本発明では、このような特徴的歌唱態様に対して、たとえピッチを検出できない時間が所定時間以上であっても減点を行わず、あるいは、さらにボーナス点を与えるようにしている。

【0065】

＜歌唱態様特定手段＞
歌唱態様特定手段４１は、子音採点区間において、マイクロホン２３から入力された歌唱音声信号に基づいて歌唱態様を特定するためのプログラムからなる。歌唱態様とは、歌詞文字の発音態様のことであり、歌詞文字を一般的な発音で歌唱する場合と、上述したように、一般的な発音とは相違するが、聴者にとって上手に歌唱しているように聞こえる発音で歌唱する場合と、イレギュラーな方法で歌唱することにより、歌唱採点値は高くなるが、聴者にとって違和感を覚える場合とがある。歌唱態様特定手段４１は、一般的な歌唱態様、特徴的な歌唱態様、イレギュラーな歌唱態様を区別するために、マイクロホン２３から入力された歌唱音声信号に基づいて歌唱態様を特定する。

【0066】

歌唱態様を特定するには、例えば、子音採点区間において、ピッチが検出されていなかった時間と歌唱音量の変化を確認したり、音声認識技術を適用したりすることができる。すなわち、マイクロホン２３から入力された歌唱音声信号に基づいて、ピッチが検出されていなかった時間と歌唱音量の変化を判定したり、音声認識を行ったりすることにより、歌唱態様を特定する。

【0067】

＜歌唱態様比較手段＞
歌唱態様比較手段４２は、特定した歌唱態様と、特徴的歌唱態様記憶手段（特徴的歌唱態様データテーブル３５ｃ）に記憶された特徴的な歌唱態様とを比較するためのプログラムからなる。上述したように、歌唱態様には、一般的な歌唱態様、特徴的な歌唱態様、イレギュラーな歌唱態様とがあり、歌唱態様比較手段４２は、歌唱態様特定手段４１で特定した歌唱態様と、予め設定されている特徴的な歌唱態様とを比較して、比較結果を歌唱採点手段３７における歌唱採点に反映させる。

【0068】

歌唱態様比較手段４２では、子音採点区間特定手段３８により特定した子音の一般的発音に対応する特徴的発音と、歌唱態様特定手段４１で特定した歌唱態様による発音とを比較する。すなわち、図２に示す特徴的歌唱態様データテーブル３５ｃを参照して、子音採点区間において、歌唱態様特定手段４１で特定した歌唱態様による発音が、子音採点区間特定手段３８により特定した子音に対応する特徴的発音であるか否かを比較する。そして、両者が一致した場合には、歌唱採点手段３７において、特徴的歌唱態様に対する優遇採点処理を行う。

【0069】

＜採点方法（実施例１）＞
図３を参照して、採点方法の実施例１を説明する。採点方法の実施例１は、マイクロホン２３から歌唱音声信号の入力があるにもかかわらず、ピッチ検出判定手段４０により、ピッチを検出できなかった時間が所定時間（例えば、２００ｍｓｅｃ）以上であると判定され、かつ特定した歌唱態様が特徴的な歌唱態様のいずれか一つと一致する場合に、ピッチが検出できなかったことに対する減点を行わない採点方法である。さらに、歌唱者が歌唱テクニックを駆使して、聴者にとって上手に歌唱しているように聞こえる特徴的歌唱態様であるため、ボーナス点を加算する。なお、加算するボーナス点は、特徴的歌唱態様の種類に応じて増減してもよい。

【0070】

すなわち、図３に示すように、子音採点区間（１）において、マイクロホン２３から歌唱音声信号の入力があり、ピッチ検出判定手段４０により、ピッチを検出できなかった時間が２００ｍｓｅｃ以上であると判定され、かつ特徴的な歌唱態様で歌唱している場合に、ピッチを検出できなかったことに対する減点を行わない。例えば、ピッチ検出に対する採点値の満点が３０点の場合に、ピッチを検出できなければ３０点の減点となるが、実施例１の子音採点区間（１）では、３０点の減点を行わずに、実際の歌唱採点値に対して補正値としての３０点と、ボーナス点としての５点を加算した９０点が修正歌唱採点値となる。

【0071】

また、ピッチを検出した子音採点区間（２）、あるいはピッチを検出できない場合であっても、ピッチを検出できなかった時間が所定値（例えば、２００ｍｓｅｃ）未満であり、または特徴的な歌唱態様を行っていない子音採点区間（３）では、実際の歌唱採点値を修正歌唱採点値とする。

【0072】

＜採点方法（実施例２）＞
図４を参照して、採点方法の実施例２を説明する。採点方法の実施例２は、子音採点区間において、マイクロホン２３から入力された歌唱音声信号と採点リファレンスデータとを比較してリズム評価を行い、ピッチ検出に基づく歌唱採点値を採用せずに、リズム評価に基づく歌唱採点値を基準とした補正を行って修正歌唱採点値を算出する採点方法である。さらに、歌唱者が歌唱テクニックを駆使して、聴者にとって上手に歌唱しているように聞こえる特徴的な歌唱態様であるため、ボーナス点を加算する。なお、加算するボーナス点は、特徴的歌唱態様の種類に応じて増減してもよい。

【0073】

すなわち、図４に示すように、子音採点区間において、マイクロホン２３から歌唱音声信号の入力があり、ピッチが検出できなかった時間が２００ｍｓｅｃ以上であり、さらに、特徴的な歌唱態様である場合に、ピッチ検出に基づく歌唱採点値を採用せずに、リズム評価に基づく歌唱採点を行い、ピッチ検出に基づく歌唱採点値を補うために、リズム評価に基づく歌唱採点値を基準とした補正値を加算して、修正歌唱採点値を算出する。

【0074】

ここで、例えば、歌唱採点値の総合満点が１００点であり、ピッチ検出に基づく歌唱採点値の満点が３０点であり、リズム評価に基づく歌唱採点値の満点が４０点であり、その他の基準に基づく歌唱採点値の満点が３０点であったとする。

【0075】

図４に示す例では、子音歌唱区間（１）において、ピッチが検出できなかった時間が２００ｍｓｅｃ以上であり、さらに、特徴的な歌唱態様で歌唱している。そして、子音歌唱区間（１）では、ピッチを検出できないため、ピッチ検出に基づく歌唱採点値は０点であるが、リズム評価に基づく歌唱採点値が３５点であり、その他の基準に基づく歌唱採点値が２５点である。そこで、ピッチ検出に基づく歌唱採点値を補正するため、リズム評価を基準として算出した補正値を加算する。

【0076】

すなわち、リズム評価については４０点満点中３５点を獲得していることになり、その得点比率は３５／４０である。そこで、ピッチ検出に基づく歌唱採点値の満点である３０点に対して、リズム評価に基づく得点比率である３５／４０を乗算して、ピッチ検出に基づく歌唱採点値に対する補正値を算出し、さらに、歌唱者が歌唱テクニックを駆使して、聴者にとって上手に歌唱しているように聞こえる特徴的な歌唱態様であるため、ボーナス点として加点を行う。この場合、リズム評価に基づく歌唱採点値が３５点であり、その他の基準に基づく歌唱採点値が２５点であり、補正値が２６点であり、ボーナス点が５点であるため、修正歌唱採点値は９１点となる。

【0077】

また、ピッチを検出した子音採点区間（２）、あるいはピッチを検出できない場合であっても、ピッチを検出できなかった時間が所定値（例えば、２００ｍｓｅｃ）未満であり、または特徴的な歌唱態様ではない子音歌唱区間（３）では、実際の歌唱採点値を修正歌唱採点値とする。

【0078】

＜他の実施形態＞
本発明のシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。

【符号の説明】

【0079】

１０ 歌唱採点システム
２０ カラオケ演奏装置
２１ カラオケ本体
２２ スピーカ
２３ マイクロホン
２４ 表示装置
２５ ミキシングアンプ
２６ カラオケリモコン装置
２６ａ 楽曲検索手段
２６ｂ 楽曲索引データベース
２６ｃ データ記憶部
２６ｄ 入出力表示部
３１ ネットワーク送受信手段
３２ 中央制御手段
３３ ＲＯＭ
３４ ＲＡＭ
３４ａ 予約待ち行列
３５ ＨＤＤ
３５ａ 楽曲データベース
３５ｂ 映像データベース
３５ｃ 特徴的歌唱態様データテーブル
３６ 予約管理手段
３７ 歌唱採点手段
３８ 子音採点区間特定手段
３９ ピッチ検出手段
４０ ピッチ検出判定手段
４１ 歌唱態様特定手段
４２ 歌唱態様比較手段
４３ 音楽再生制御手段
４４ Ａ／Ｄコンバータ
４５ 映像再生制御手段
５０ ルータ
６０ データ通信回線
７０ 管理サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】