(58)【調査した分野】(Int.Cl.,DB名)
前記アクセント歌唱判定部は、更に、前記第1の歌唱ピッチと前記第2の歌唱ピッチの差分が所定条件を満たすと判断した場合、前記一のノートの歌唱がアクセント歌唱であると判定することを特徴とする請求項2記載のカラオケ装置。
前記一のノートの歌唱がアクセント歌唱であると判定された場合、前記第3の時刻を当該一のノートの発音開始タイミングとして採点を行う採点処理部を有することを特徴とする請求項2または3記載のカラオケ装置。
【発明を実施するための形態】
【0013】
後述する明細書及び図面の記載から、上記の主たる発明の他、少なくとも以下の事項が明らかとなる。
【0014】
すなわち、前記アクセント歌唱判定部が、前記所定の期間の開始時刻以降において、前記歌唱ピッチが下降した後、上昇する区間があるかを判断し、前記区間がある場合、前記歌唱ピッチの上昇率が閾値以下になり、その後、前記歌唱ピッチが前記一のノートに近似したピッチになっているかどうかを判断し、前記歌唱ピッチが前記一のノートに近似したピッチになっている場合、前記歌唱ピッチの上昇率が閾値以下になった時刻を第1の時刻として特定し、前記開始時刻から前記第1の時刻までの歌唱ピッチを解析し、その間で最も低い第1の歌唱ピッチ及び当該第1の歌唱ピッチを検出した第2の時刻を特定し、前記第1の歌唱ピッチと前記一のノートとの差分が所定範囲内であると判断し、前記カラオケ楽曲中の前記一のノートの位置に基づいて、前記歌唱ピッチが下降し始めた第3の時刻及び当該第3の時刻における第2の歌唱ピッチを特定し、前記第3の時刻から前記第1の時刻までの第1の経過時間が所定範囲内であるかを判断し、前記第1の経過時間が所定範囲内である場合、前記第1の時刻から、前記第1の経過時間に応じて決定される第4の時刻までの第2の経過時間に含まれる前記歌唱ピッチが、前記第1のノートに近似したピッチになっていると判断することにより、前記一のノートの歌唱がアクセント歌唱であると判定するカラオケ装置が明らかとなる。このようなカラオケ装置によれば、あるノートの歌唱にアクセント歌唱が含まれるかどうかを判定することができる。
【0015】
また、前記アクセント歌唱判定部が、更に、前記第1の歌唱ピッチと前記第2の歌唱ピッチの差分が所定条件を満たすと判断した場合、前記一のノートの歌唱がアクセント歌唱であると判定するカラオケ装置が明らかとなる。このようなカラオケ装置によれば、あるノートの歌唱にアクセント歌唱が含まれるかどうかをより正確に判定することができる。
【0016】
前記一のノートの歌唱がアクセント歌唱であると判定された場合、前記第3の時刻を当該一のノートの発音開始タイミングとして採点を行う採点処理部を有するカラオケ装置が明らかとなる。このようなカラオケ装置によれば、聴衆にとって巧く聞こえるにもかかわらず、それが反映されない採点結果となることを回避できる。
【0017】
<実施形態>
図1〜
図5Bを参照して、実施形態に係るカラオケ装置1について説明する。
【0018】
==カラオケ装置==
カラオケ装置1は、カラオケ演奏及び歌唱者がカラオケ歌唱を行うための装置である。カラオケ装置1は、歌唱者が選曲したカラオケ楽曲を予約待ち行列に登録し、順番にカラオケ演奏を行う。
図1に示すように、カラオケ装置1は、カラオケ本体10、スピーカ20、表示装置30、マイク40、及びリモコン装置50を備える。
【0019】
スピーカ20はカラオケ本体10からの放音信号に基づいて放音するための構成である。表示装置30はカラオケ本体10からの信号に基づいて映像や画像を画面に表示するための構成である。マイク40は歌唱者の歌唱音声(マイク40への入力音声)をアナログの歌唱音声信号に変換してカラオケ本体10に入力するための構成である。リモコン装置50は、カラオケ本体10に対する各種操作をおこなうための装置である。歌唱者はリモコン装置50を用いて歌唱を希望するカラオケ楽曲の選曲(予約)等を行うことができる。リモコン装置50の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。
【0020】
カラオケ本体10は、選曲されたカラオケ楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク40を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。
図1に示すように、カラオケ本体10は、制御部11、通信部12、記憶部13、音響処理部14、表示処理部15及び操作部16を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0021】
制御部11は、CPU11aおよびメモリ11bを備える。CPU11aは、メモリ11bに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
【0022】
通信部12は、ルーター(図示なし)を介してカラオケ本体10を通信回線に接続するためのインターフェースを提供する。
【0023】
記憶部13は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶部13は、カラオケ装置1によりカラオケ演奏を行うための複数の楽曲データを記憶する。
【0024】
楽曲データは、個々のカラオケ楽曲を特定するための楽曲IDが付与されている。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。伴奏データはカラオケ演奏をする際のテンポを示す情報を含む。テンポは、楽曲毎に所定の値が設定されている。リファレンスデータは、歌唱者によるカラオケ歌唱を採点する際の基準として用いられるデータである。リファレンスデータは、複数のノート(音符)から構成され、ノート毎に所定のピッチ(基準ピッチ)が設定されている。
【0025】
また、記憶部13は、各カラオケ楽曲に対応する歌詞を表示装置30等に表示させるための歌詞テロップデータ、カラオケ演奏時に表示装置30等に表示される背景画像等の背景画像データ、楽曲毎のカラオケ演奏時間を示す演奏時間データ及び楽曲の属性情報(歌手名、作詞・作曲者名、ジャンル等の当該楽曲に関する情報)を記憶する。
【0026】
音響処理部14は、制御部11の制御に基づき、カラオケ楽曲に対する演奏の制御およびマイク40を通じて入力された歌唱音声信号の処理を行う。表示処理部15は、制御部11の制御に基づき、表示装置30やリモコン装置50における各種表示に関する処理を行う。たとえば、表示処理部15は、カラオケ楽曲の演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置30に表示させる制御を行う。或いは、表示処理部15は、リモコン装置50の表示画面に操作入力用の各種アイコンを表示させる。操作部16は、パネルスイッチおよびリモコン受信回路などからなり、歌唱者によるカラオケ装置1のパネルスイッチあるいはリモコン装置50の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部11に対して出力する。制御部11は、操作部16からの操作信号を検出し、対応する処理を実行する。
【0027】
(ソフトウェア構成)
図2はカラオケ本体10のソフトウェア構成例を示す図である。カラオケ本体10は、歌唱ピッチ検出部100、アクセント歌唱判定部200、提示部300、及び採点処理部400を備える。歌唱ピッチ検出部100、アクセント歌唱判定部200、提示部300、及び採点処理部400は、CPU11aがメモリ11bに記憶されるプログラムを実行することにより実現される。
【0028】
[歌唱ピッチ検出部]
歌唱ピッチ検出部100は、カラオケ楽曲の歌唱により得られた歌唱音声信号から、歌唱ピッチを検出する。
【0029】
具体的に、歌唱ピッチ検出部100は、カラオケ楽曲XのノートNに対応する歌唱が完了した後、当該歌唱により得られた歌唱音声信号を解析し、歌唱ピッチを検出する。歌唱ピッチは、たとえば所定時間長(たとえば20msec)のフレーム単位で1サンプルずつ検出する。この場合、歌唱ピッチ検出部100は、検出した歌唱ピッチを、ノート毎にアクセント歌唱判定部200に出力する。なお、歌唱ピッチの検出は、カラオケ楽曲の歌唱に伴って順次行ってもよいし、一のカラオケ楽曲の歌唱が全て終了した後にまとめて行ってもよい。
【0030】
[アクセント歌唱判定部]
アクセント歌唱判定部200は、検出された歌唱ピッチが、カラオケ楽曲のリファレンスデータに含まれる一のノートの発音開始タイミングを含む所定の期間内にて下降した後、上昇し、且つ当該所定の期間以降は当該一のノートに近似したピッチに一定時間保たれている場合に、当該一のノートに対する歌唱がアクセント歌唱であると判定する。
【0031】
発音開始タイミングは、ノートを歌唱する際に発音を開始すべき時刻を示す。一のノートの発音開始タイミングは、カラオケ楽曲の演奏開始時点を0とした場合の、当該一のノートまでの経過時間に相当する。所定の期間は、ノート毎に設定される値であり、発音開始タイミングを含む期間である。所定の期間は、開始時刻Ts及び終了時刻Teにより決定される。開始時刻Tsは、たとえばノートの開始タイミング(ノートオンのタイミング)やその近傍のタイミングである。終了時刻Teは、固定されたタイミング(開始時刻から一律の時間経過後)であってもよいし、開始時刻Tsによって適宜変更されるタイミングであってもよい。たとえば、あるノートが四分音符であれば、終了時刻Teは、当該あるノートの先頭時刻に十六分音符の発音時間を加えた時刻である。
【0032】
ここで、
図3A〜
図5Bを参照して、アクセント歌唱の判定処理について詳細に説明を行う。この例において、ノートNのピッチをピッチPnで示す。また、開始時刻Tsは、ノートの開始タイミングであるとする。
図3A〜
図3Eは、カラオケ楽曲Xに含まれる一のノートに相当するノートNの歌唱に対する歌唱ピッチを示した図である。
図4A〜
図4Cは、ノートN、ノートNのひとつ前のノートN−1、及び当該ノートの歌唱に対する歌唱ピッチを示した図である。
図3A〜
図4Cにおける縦軸はピッチを示し、横軸は時刻を示す。
図5A及び
図5Bは、アクセント歌唱の判定処理を示すフローチャートである。
図5A及び
図5Bに示した「S●●」は、以下に記載する「ステップ●●」に対応する。
【0033】
ノートNに対して
図3Aに示すような歌唱ピッチが検出された場合(ステップ10)、アクセント歌唱判定部200は、まず所定の期間の開始時刻Ts以降において、歌唱ピッチが下降した後、上昇する区間があるかを判断する(ステップ11)。この判断は、あるフレームにおける歌唱ピッチと次のフレームの歌唱ピッチとを比較することにより行われる。アクセント歌唱判定部200は、歌唱ピッチの値が徐々に減少する場合、歌唱ピッチが下降していると判断し、歌唱ピッチの値が徐々に増加する場合、歌唱ピッチが上昇していると判断する。
図3Aの例では、歌唱ピッチが一旦下降した後、上昇に転じている。従って、アクセント歌唱判定部200は、歌唱ピッチが下降した後、上昇する区間があると判断する(ステップ11でYの場合)。逆に、アクセント歌唱判定部200は、歌唱ピッチがこのような変化を示さない場合、ノートNの歌唱にはアクセント歌唱が含まれていないと判断し(ステップ11でNの場合)、これ以降の処理は行わない。
【0034】
上記区間があると判断した場合(ステップ11でYの場合)、アクセント歌唱判定部200は、その後の歌唱ピッチを引き続き解析し、歌唱ピッチの上昇率が閾値以下になり、その後、歌唱ピッチがノートNに近似したピッチになっているかどうかを判断する(ステップ12)。
【0035】
具体的には、アクセント歌唱判定部200は、あるフレームにおける歌唱ピッチの値と次のフレームの歌唱ピッチの値とから歌唱ピッチの上昇率を求める。アクセント歌唱判定部200は、上昇率が閾値以下である場合、歌唱ピッチの上昇が止まっている、或いは上昇が緩やかになっていると判断する。歌唱ピッチの上昇が止まっている、或いは緩やかになっていると判断した場合、アクセント歌唱判定部200は、ノートNのピッチPnに対し、検出された歌唱ピッチが近似しているかどうかを判断する。なお、近似しているかどうかは、ノート毎のピッチの許容範囲(たとえば、±100cent。
図3A等では一点鎖線で示した範囲)に含まれるかどうかにより判断する。
図3Aの例では、歌唱ピッチの上昇が止まり、その後、歌唱ピッチはノートNのピッチPnの許容範囲に含まれている。従って、アクセント歌唱判定部200は、歌唱ピッチの上昇が止まり、その後、歌唱ピッチがノートNに近似したピッチになっていると判断する(ステップ12でYの場合)。逆に、アクセント歌唱判定部200は、歌唱ピッチの上昇が止まっていると判断した場合であっても、歌唱ピッチがノートNのピッチPnに近似しない場合、ノートNの歌唱にはアクセント歌唱が含まれていないと判断し(ステップ12でNの場合)、これ以降の処理は行わない。
【0036】
歌唱ピッチがノートNに近似したピッチになっている場合(ステップ12でYの場合)、アクセント歌唱判定部200は、歌唱ピッチの上昇率が閾値以下になった時刻を第1の時刻T1として特定する(
図3B参照。ステップ13)。
【0037】
次に、アクセント歌唱判定部200は、開始時刻Tsから第1の時刻T1までの歌唱ピッチを解析し、その間で最も低い第1の歌唱ピッチP1及び当該第1の歌唱ピッチP1を検出した第2の時刻T2を特定する(
図3B参照。ステップ14)。第2の時刻T2は、開始時刻Tsから終了時刻Teの範囲に含まれている。
【0038】
そして、アクセント歌唱判定部200は、第1の歌唱ピッチP1とノートNとの差分Paが所定範囲内にあるかどうかを判断する(ステップ15)。差分Paは、第1の歌唱ピッチP1とノートNとの差である(
図3B参照)。差分Paの所定範囲は、たとえば1音〜2音半(200cent〜500cent)である。この例では、アクセント歌唱判定部200は、差分Paが所定範囲内にあると判断したとする(ステップ15でYの場合)。逆に、アクセント歌唱判定部200は、差分Paが所定範囲内に無いと判断した場合(ステップ15でNの場合)、これ以降の処理は行わない。
【0039】
差分Paが所定範囲内である場合(ステップ15でYの場合)、アクセント歌唱判定部200は、カラオケ楽曲X中のノートNの位置に基づいて、歌唱ピッチが下降し始めた第3の時刻T3及び第3の時刻T3における第2の歌唱ピッチP2を特定する(ステップ16)。
【0040】
たとえば、
図3Cは、ノートNがカラオケ楽曲Xに含まれるあるフレーズの先頭のノートである例を示している。この場合、アクセント歌唱判定部200は、ノートNにおいて最初に検出された歌唱ピッチを第2の歌唱ピッチP2とし、第2の歌唱ピッチP2が検出されたタイミングを第3の時刻T3として特定する(
図3C参照)。
【0041】
なお、ノートNがカラオケ楽曲Xに含まれるあるフレーズの先頭のノートであっても、その前のフレーズ(ノートNのひとつ前のノートN−1)の最後の歌唱方法による影響を受ける場合がある。この場合、アクセント歌唱判定部200は、ノートN−1の歌唱ピッチとノートNの歌唱ピッチを連続して解析した場合に、第1の歌唱ピッチP1の直前における最も高い歌唱ピッチを第2の歌唱ピッチP2とすることも可能である。
【0042】
また、ノートNがあるフレーズの先頭のノートでない場合、ノートNとひとつ前のノートN−1とのピッチの違いにより、第2の歌唱ピッチP2及び第3の時刻T3の特定方法を変えることが望ましい。
【0043】
たとえば、ノートNのピッチよりノートN−1のピッチの方が高い場合、アクセント歌唱判定部200は、第2の時刻T2から、第1の時刻T1から第2の時刻T2までの時間T
1-2だけ遡った時刻を第3の時刻T3とし、その時刻の歌唱ピッチを第2の歌唱ピッチP2と特定することができる(
図4A参照)。
【0044】
また、ノートNのピッチよりノートN−1のピッチの方が低い場合、アクセント歌唱判定部200は、ノートN−1の歌唱ピッチから上昇した後に下降を開始した時刻を第3の時刻とし、その時刻の歌唱ピッチを第2の歌唱ピッチP2と特定することができる(
図4B参照)。
【0045】
或いは、ノートNのピッチとノートN−1のピッチが同じ場合、アクセント歌唱判定部200は、ノートN−1の歌唱ピッチから下降を開始した時刻を第3の時刻とし、その時刻の歌唱ピッチを第2の歌唱ピッチP2と特定することができる(
図4C参照)。なお、ノートNがあるフレーズの先頭のノートでない場合であっても、ノートNに対応する音節が子音を含む場合、あるいは歌唱者がノートN−1とノートNの間に無音区間を含むような歌唱を行った場合は、子音の発音区間や無音区間ではピッチが検出できないため、フレーズの先頭のノートと同様に、ノートNにおいて最初に検出された歌唱ピッチを第2の歌唱ピッチP2とし、第2の歌唱ピッチP2が検出されたタイミングを第3の時刻T3として特定することができる。
【0046】
第3の時刻T3及び第3の時刻T3における第2の歌唱ピッチP2を特定した後(ステップ16の後)、アクセント歌唱判定部200は、第3の時刻T3から第1の時刻T1までの経過時間Taが所定範囲内にあるかどうかを判断する(
図3D参照。ステップ17)。経過時間Taの所定範囲は、たとえばカラオケ楽曲のテンポに応じた32〜16分音符の範囲である。経過時間Taは「第1の経過時間」に相当する。この例では、アクセント歌唱判定部200は、経過時間Taが所定範囲内にあると判断したとする(ステップ17でYの場合)。逆に、アクセント歌唱判定部200は、経過時間Taが所定範囲内に無いと判断した場合(ステップ17でNの場合)、これ以降の処理は行わない。
【0047】
経過時間Taが所定範囲内である場合(ステップ17でYの場合)、アクセント歌唱判定部200は、第1の時刻T1から、経過時間Taに応じて決定される第4の時刻T4までの経過時間Tbに含まれる歌唱ピッチが、ノートNに近似したピッチになっているかを判断する(
図3E参照。ステップ18)。近似しているかどうかは、ノート毎のピッチの許容範囲(たとえば、±100cent)に含まれるかどうかにより判断する。経過時間Tbに含まれる歌唱ピッチが、ノートNに近似したピッチになっている場合、歌唱ピッチは、一のノートに近似したピッチに保たれているといえる。経過時間Tbは「第2の経過時間」に相当する。
【0048】
アクセント歌唱判定部200は、経過時間Tbに含まれる歌唱ピッチが、ノートNに近似したピッチになっていると判断した場合(ステップ18でYの場合)、ノートNの歌唱はアクセント歌唱であると判定する(ステップ19)。アクセント歌唱判定部200は、判定結果を提示部300及び採点処理部400に出力する。逆に、アクセント歌唱判定部200は、経過時間Tbに含まれる歌唱ピッチがノートNに近似したピッチになっていないと判断した場合(ステップ18でNの場合)には、ノートNの歌唱はアクセント歌唱でないと判定する。
【0049】
なお、上記ステップの順番は適宜変更可能である。たとえば、ステップ15をステップ18の後に実行することも可能である。この場合、ステップ18でY、且つステップ15でYの場合、アクセント歌唱判定部200は、ノートNの歌唱はアクセント歌唱であると判定する。
【0050】
また、アクセント歌唱判定部200は、上記の判断に加え、第1の歌唱ピッチP1と前記第2の歌唱ピッチP2の差分Pb(
図3E参照)が所定条件を満たすと判断した場合、ノートNの歌唱がアクセント歌唱であるかどうかを判定することでもよい。所定条件は、たとえば差分Pb未満且つ(差分Pb÷2)以上の値である。たとえば、
図5Bのステップ18の後、アクセント歌唱判定部200は、差分Pbが所定条件を満たすかどうかを判断する。差分Pbが所定条件を満たす場合、アクセント歌唱判定部200は、ノートNの歌唱がアクセント歌唱であると判定する。
【0051】
[提示部]
提示部300は、アクセント歌唱判定部200による判定結果を歌唱者に提示する。ノートNの歌唱にアクセント歌唱があるとの判定結果が入力された場合、提示部300は、たとえば、表示装置30に表示されるノートNに対応するガイドメロディ画像近傍にアクセント歌唱が行われた旨のアイコンを表示させることができる。ガイドメロディ画像は、歌唱者のカラオケ歌唱を支援するために、カラオケ楽曲のメロディを画像として表示させたものである。ガイドメロディ画像の表示については公知の手法を用いることが可能である(たとえば特開2004−205817号公報参照)。
【0052】
なお、提示部300は、ガイドメロディ画像と関係なく、アクセント歌唱が行われた旨のアイコンのみを表示させることもできる。或いは、提示部300は、アクセント歌唱が行われた旨のアイコンを表示させる代わりにスピーカ20を介して音声(拍手、歓声等)でアクセント歌唱が行われた旨を報知することでもよい。
【0053】
[採点処理部]
採点処理部400は、カラオケ楽曲の歌唱により得られる歌唱音声信号を当該カラオケ楽曲のリファレンスデータと比較し、採点値を算出する。採点値を算出する処理は公知の手法を用いることができる。たとえば、採点処理部400は、マイク40から入力された歌唱音声信号に基づく歌唱ピッチと、リファレンスデータに基づく基準ピッチにより、歌唱音程の正確さについての採点処理を行う。
【0054】
ここで、本実施形態に係る採点処理部400は、一のノートの歌唱がアクセント歌唱であると判定された場合、第3の時刻T3を当該一のノートの発音開始タイミングとして採点を行う。上記例において、採点処理部400は、ノートNの採点を行う場合、第3の時刻T3からの歌唱ピッチとリファレンスデータのピッチの比較を開始することにより採点を行う。
【0055】
<その他>
上記実施形態で説明したアクセント歌唱の判定処理をプログラムとして提供することも可能である。この場合、当該プログラムは、コンピューター(たとえば、カラオケ装置)に、所定の期間の開始時刻以降において、歌唱ピッチが下降した後、上昇する区間があるかを判断させ、区間がある場合、歌唱ピッチの上昇率が閾値以下になり、その後、歌唱ピッチが一のノートに近似したピッチになっているかどうかを判断させ、歌唱ピッチが一のノートに近似したピッチになっている場合、歌唱ピッチの上昇率が閾値以下になった時刻を第1の時刻として特定させ、開始時刻から第1の時刻までの歌唱ピッチを解析し、その間で最も低い第1の歌唱ピッチ及び当該第1の歌唱ピッチを検出した第2の時刻を特定させ、第1の歌唱ピッチと一のノートとの差分が所定範囲内であると判断させ、カラオケ楽曲中の一のノートの位置に基づいて、歌唱ピッチが下降し始めた第3の時刻及び当該第3の時刻における第2の歌唱ピッチを特定させ、第3の時刻から第1の時刻までの第1の経過時間が所定範囲内であるかを判断させ、第1の経過時間が所定範囲内である場合、第1の時刻から、第1の経過時間に応じて決定される第4の時刻までの第2の経過時間に含まれる歌唱ピッチが、第1のノートに近似したピッチになっていると判断させることにより、一のノートの歌唱がアクセント歌唱であると判定させる。
【0056】
また、上記プログラムが記憶された非一時的なコンピューター可読媒体(non-transitory computer readable medium with an executable program thereon)を用いて、コンピューターにプログラムを供給することも可能である。なお、非一時的なコンピューターの可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、CD−ROM(Read Only Memory)等がある。
【0057】
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。