(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023122012
(43)【公開日】2023-09-01
(54)【発明の名称】カラオケ装置
(51)【国際特許分類】
G10K 15/04 20060101AFI20230825BHJP
【FI】
G10K15/04 302D
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022025428
(22)【出願日】2022-02-22
(71)【出願人】
【識別番号】390004710
【氏名又は名称】株式会社第一興商
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】永沼 宇将
(72)【発明者】
【氏名】金子 幸裕
【テーマコード(参考)】
5D208
【Fターム(参考)】
5D208CD06
5D208CE01
(57)【要約】
【課題】歌唱者に対して適当な息継ぎのタイミングを提示することが可能なカラオケ装置を提供する。
【解決手段】楽曲のリファレンスデータに基づいて、当該楽曲における息継ぎが可能なタイミングを抽出する抽出部、歌唱者の歌唱音声に対応する音声信号及び/または当該歌唱者を撮影して得られた映像信号に基づいて、当該歌唱者が行った息継ぎのタイミングを含む息継ぎ情報を検出する検出部、抽出された楽曲における息継ぎが可能なタイミング、及び検出された息継ぎ情報に基づいて、歌唱者が、次の息継ぎを行うことが可能なタイミングを特定する特定部と、特定された次の息継ぎを行うことが可能なタイミングを前記歌唱者に対して提示する提示部を有するカラオケ装置。
【選択図】
図2
【特許請求の範囲】
【請求項1】
楽曲のリファレンスデータに基づいて、当該楽曲における息継ぎが可能なタイミングを抽出する抽出部と、
前記楽曲のカラオケ歌唱を行う歌唱者の歌唱音声に対応する音声信号及び/または当該歌唱者を撮影して得られた映像信号に基づいて、当該歌唱者が行った息継ぎのタイミングを含む息継ぎ情報を検出する検出部と、
抽出された前記楽曲における息継ぎが可能なタイミング、及び検出された前記息継ぎ情報に基づいて、前記歌唱者が、次の息継ぎを行うことが可能なタイミングを特定する特定部と、
特定された前記次の息継ぎを行うことが可能なタイミングを前記歌唱者に対して提示する提示部と、
を有するカラオケ装置。
【請求項2】
前記提示部は、前記楽曲の歌詞の表示に対応させて、特定された前記次の息継ぎを行うことが可能なタイミングを表示させることを特徴とする請求項1記載のカラオケ装置。
【請求項3】
前記抽出部は、前記楽曲の歌詞データに基づいて、前記楽曲における息継ぎが可能なタイミングを抽出することを特徴とする請求項1または2記載のカラオケ装置。
【請求項4】
前記検出部は、前記歌唱者が行った息継ぎの長さを含む前記息継ぎ情報を検出することを特徴とする請求項1から3のいずれか一つに記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカラオケ装置に関する。
【背景技術】
【0002】
カラオケ装置が提供する歌唱支援の機能として、息継ぎのタイミングを歌唱者に対して提示するものがある。
【0003】
たとえば、特許文献1には、リファレンスデータに含まれる息継ぎタイミングを示す情報に基づいて、息継ぎタイミングの前後の音を離散させて表示することにより、息継ぎのタイミングを直感的に把握可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術によると、一の楽曲については、予め決められた息継ぎのタイミングしか提示できない。
【0006】
本発明の目的は、歌唱者に対して適当な息継ぎのタイミングを提示することが可能なカラオケ装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するための一の発明は、楽曲のリファレンスデータに基づいて、当該楽曲における息継ぎが可能なタイミングを抽出する抽出部と、前記楽曲のカラオケ歌唱を行う歌唱者の歌唱音声に対応する音声信号及び/または当該歌唱者を撮影して得られた映像信号に基づいて、当該歌唱者が行った息継ぎのタイミングを含む息継ぎ情報を検出する検出部と、抽出された前記楽曲における息継ぎが可能なタイミング、及び検出された前記息継ぎ情報に基づいて、前記歌唱者が、次の息継ぎを行うことが可能なタイミングを特定する特定部と、特定された前記次の息継ぎを行うことが可能なタイミングを前記歌唱者に対して提示する提示部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【0008】
本発明によれば、歌唱者に対して適当な息継ぎのタイミングを提示することができる。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係るカラオケ装置を示す図である。
【
図2】実施形態に係るカラオケ本体を示す図である。
【
図3】実施形態に係る提示部が、次の息継ぎのタイミングを提示する例を示す図である。
【
図4】実施形態に係るカラオケ装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
<実施形態>
図1~
図4を参照して、実施形態に係るカラオケ装置について説明する。
【0011】
==カラオケ装置==
カラオケ装置Kは、楽曲のカラオケ演奏、及び歌唱者がカラオケ歌唱を行うための装置である。
図1に示すように、カラオケ装置Kは、カラオケ本体10、スピーカ20、表示装置30、マイク40、リモコン装置50、及び撮影手段60を備える。
【0012】
カラオケ本体10は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク40を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ20はカラオケ本体10からの信号に基づいてカラオケ演奏音や歌唱音声を放音するための構成である。表示装置30はカラオケ本体10からの信号に基づいて映像や画像を画面に表示するための構成である。マイク40は歌唱者のカラオケ歌唱に伴う歌唱音声をアナログの音声信号に変換してカラオケ本体10に入力するための構成である。リモコン装置50は、カラオケ本体10に対する各種操作をおこなうための装置である。撮影手段60は、歌唱者を撮影するためのカメラである。
【0013】
図2に示すように、本実施形態に係るカラオケ本体10は、記憶手段10a、通信手段10b、入力手段10c、演奏手段10d、及び制御手段10eを備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0014】
[記憶手段]
記憶手段10aは、各種のデータを記憶する大容量の記憶装置である。記憶手段10aは、楽曲データを記憶する。
【0015】
楽曲データは、個々の楽曲を特定するための楽曲識別情報が付与されている。楽曲識別情報は、楽曲を識別するための楽曲ID等、各楽曲に固有の情報である。楽曲データは、伴奏データ、リファレンスデータ等を含む。
【0016】
伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、カラオケ演奏された楽曲の歌唱すべき主旋律を示すデータである。各楽曲(各楽曲のリファレンスデータ)は、複数のノートから構成されている。各ノートは、所定の音高、発声開始タイミング、及び発声終了タイミング等が設定されている。発声開始タイミングは、あるノートに対応する文字の発声を開始すべきタイミングであり、発声終了タイミングは、あるノートに対する文字の発声を終了すべきタイミングである。発声開始タイミング及び発声終了タイミングは、楽曲の演奏が開始されるタイミングを基準とした経過時間で示すことができる。
【0017】
また、記憶手段10aは、楽曲のカラオケ演奏に合わせて当該楽曲に対応する歌詞を表示装置30等に表示させるための歌詞データを記憶する。歌詞データは、楽曲の歌詞を構成する文字の情報を含む。一の文字は、一のノートに対応付けられている。また、歌詞データは、文字毎に、表示するタイミングを示すタイミング情報を含んでいる。一の文字を表示するタイミングは、楽曲の演奏が開始されるタイミングを基準とした経過時間で示すことができる。
【0018】
更に、記憶手段10aは、カラオケ演奏時に表示装置30等に表示される背景映像等の背景映像データ、及び楽曲の属性情報を記憶する。属性情報は、たとえば、歌手名、楽曲の音楽ジャンル情報、楽曲のテンポ情報等を含む。
【0019】
[通信手段・入力手段・演奏手段]
通信手段10bは、リモコン装置50との通信を行うためのインターフェースを提供する。入力手段10cは、歌唱者が各種の指示入力を行うための構成である。入力手段10cは、カラオケ本体10に設けられたボタン等である。或いは、リモコン装置50が入力手段10cとして機能してもよい。演奏手段10dは、制御手段10eの制御に基づき、楽曲のカラオケ演奏、及びマイク40を通じて入力された歌唱音声に基づく信号の処理を行う。
【0020】
[制御手段]
制御手段10eは、カラオケ装置Kにおける各種の制御を行う。制御手段10eは、CPUおよびメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
【0021】
本実施形態においてはCPUがメモリに記憶されるプログラムを実行することにより、制御手段10eは、抽出部100、検出部200、特定部300、及び提示部400として機能する。
【0022】
(抽出部)
抽出部100は、楽曲のリファレンスデータに基づいて、当該楽曲における息継ぎが可能なタイミングを抽出する。
【0023】
息継ぎが可能なタイミングは、歌唱者が無理のない(余裕を持って)息継ぎが可能となるタイミングである。たとえば、非歌唱区間(前奏、間奏、後奏のような、ある楽曲において歌唱すべき歌詞が設定されていない区間)や、歌唱区間(Aメロやサビのような、ある楽曲において歌唱すべき歌詞が設定されている区間)において一の文字の発声終了タイミングと次の文字の発声開始タイミングが一定時間以上空いている場合、歌唱者は無理のない息継ぎが可能となる。息継ぎが可能なタイミングは、楽曲の演奏が開始されるタイミングを基準とした経過時間で示すことができる。
【0024】
具体的に、抽出部100は、歌唱者が選曲した楽曲について、リファレンスデータにおける一のノートNnの発声終了タイミングTEnと、次のノートNn+1の発声開始タイミングTSn+1との時間差(TSn+1-TEn)を求める。抽出部100は、求めた時間差が第1の所定条件を満たすかどうかを確認する。第1の所定条件を満たす場合、抽出部100は、ノートNnの発声終了タイミングTEnを息継ぎが可能なタイミングとして抽出する。抽出部100は、歌唱者が選曲した楽曲に含まれる各ノート(楽曲の最後のノートを除く)について、ノートの順番に沿って上記処理を行うことで、当該楽曲における息継ぎが可能なタイミングを複数抽出する。第1の所定条件は、250msec以上、300msecより長い等、無理のない息継ぎが可能な時間を想定して予め設定されている条件である。
【0025】
(検出部)
検出部200は、楽曲のカラオケ歌唱を行う歌唱者の歌唱音声に対応する音声信号及び/または当該歌唱者を撮影して得られた映像信号に基づいて、当該歌唱者が行った息継ぎのタイミングを含む息継ぎ情報を検出する。歌唱者が行った息継ぎのタイミングは、楽曲のカラオケ歌唱中に実際に行われた息継ぎのタイミングである。歌唱者が行った息継ぎのタイミングは、楽曲の演奏が開始されるタイミングを基準とした経過時間で示すことができる。
【0026】
具体的に、検出部200は、マイク40を通じて入力された歌唱者の歌唱音声に対応する音声信号の周波数特性を公知の手法により解析する。検出部200は、解析結果に基づいて、呼気による音声信号(倍音成分に相当する音声信号)が含まれず、且つ息継ぎに特有の吸気ノイズに相当する音声信号が含まれていると判定した場合、当該音声信号に対応する歌唱音声が入力された時間を、歌唱者が行った息継ぎのタイミングとして検出する。
【0027】
また、検出部200は、特開2007-271977号公報記載の技術を応用し、歌唱者音声信号のパワー(上記周波数特性に相当)と楽譜音データ(上記リファレンスデータに相当)に基づいて、歌唱者が行った息継ぎのタイミングを検出することができる。
【0028】
一方、検出部200は、撮影手段60により歌唱者を撮影して得られた映像信号を公知の手法により解析する。検出部200は、解析結果に基づいて、息継ぎに特有の動作(たとえば、肩や頭部の上下動、口の開閉)が含まれると判定した場合、当該動作が撮影された時間を、歌唱者が行った息継ぎのタイミングとして検出する。
【0029】
或いは、検出部200は、音声信号に基づいて検出した歌唱者が行った息継ぎのタイミングと、映像信号に基づいて検出した歌唱者が行った息継ぎのタイミングとを比較し、一致または近似するタイミングのみを歌唱者が行った息継ぎのタイミングとして検出してもよい。また、検出部200は、音声信号に基づいて検出した歌唱者が行った息継ぎのタイミングと、映像信号に基づいて検出した歌唱者が行った息継ぎのタイミングとを比較し、より早い方(楽曲の演奏が開始されるタイミングを基準とした経過時間が短い方)を歌唱者が行った息継ぎのタイミングとして検出してもよい。
【0030】
(特定部)
特定部300は、抽出された楽曲における息継ぎが可能なタイミング、及び検出された息継ぎ情報に基づいて、歌唱者が、次の息継ぎを行うことが可能なタイミングを特定する。次の息継ぎを行うことが可能なタイミングは、楽曲の演奏が開始されるタイミングを基準とした経過時間で示すことができる。
【0031】
具体的に、特定部300は、検出された息継ぎ情報に含まれる歌唱者が行った息継ぎのタイミングBTと、抽出された楽曲における息継ぎが可能なタイミングのうち、タイミングBTより後のタイミングTEmとの時間差(TEm-BT)を求める。特定部300は、求めた時間差が第2の所定条件を満たすかどうかを判断する。第2の所定条件を満たす場合、特定部300は、タイミングTEmを、次の息継ぎを行うことが可能なタイミングとして特定する。第2の所定条件は、10秒以下、15秒未満等、息が続かなくなる可能性が高い時間(息継ぎなしでカラオケ歌唱が可能な時間)を想定して予め設定されている条件である。
【0032】
なお、息継ぎをしてから一定時間は息継ぎなしでもカラオケ歌唱を行うことができる。すなわち、タイミングBTよりも後の息継ぎが可能なタイミングの中には、次の息継ぎを行うことが可能なタイミングとして敢えて特定する必要がないものも含まれる。そこで、第2の所定条件は、10秒以上15秒以下、9秒より長く且つ13秒未満等、息が続かなくなる可能性が高い時間(息継ぎなしでカラオケ歌唱が可能な時間)だけでなく、息継ぎが不要である可能性が高い時間を想定して設定されていてもよい。
【0033】
(提示部)
提示部400は、特定された次の息継ぎを行うことが可能なタイミングを歌唱者に対して提示する。
【0034】
具体的に、提示部400は、楽曲の歌詞の表示に対応させて、特定された次の息継ぎを行うことが可能なタイミングを表示させることができる。
【0035】
提示部400は、楽曲の歌詞データに含まれるタイミング情報を参照し、特定された次の息継ぎを行うことが可能なタイミングと一致するタイミングが設定されている文字を抽出する。提示部400は、抽出した文字が表示装置30の表示画面に表示される際、歌唱者が、次の息継ぎが可能なタイミングが分かるような表示を行う。たとえば、
図3に示すように、提示部400は、抽出した文字「が」の後に「息継ぎ」の文字を表示させることで、歌唱者に対して次の息継ぎのタイミングを提示することができる。なお、提示部400は、「息継ぎ」の文字の代わりに、息継ぎを促すアイコン(たとえば、ブレス記号)を表示させてもよい。
【0036】
一方、提示部400は、楽曲の演奏開始からの経過時間を測定し、特定された次の息継ぎを行うことが可能なタイミングに応じてカウントダウンの表示を行い、特定された次の息継ぎを行うことが可能なタイミングが到来した場合に「息継ぎ」の文字を表示させてもよい。
【0037】
或いは、提示部400は、カウントダウンの表示の代わりにスピーカ20からカウントダウンに対応する音声を放音させることにより、特定された次の息継ぎを行うことが可能なタイミングを歌唱者に対して提示することも可能である。
【0038】
==カラオケ装置Kの動作について==
次に、
図4を参照して本実施形態におけるカラオケ装置Kの動作の具体例について述べる。
図4は、カラオケ装置Kの動作例を示すフローチャートである。
【0039】
歌唱者Sは、リモコン装置50を操作し、楽曲Xを選曲する。カラオケ装置Kは、楽曲Xの楽曲IDを予約待ち行列に登録することにより、楽曲Xのカラオケ演奏の予約を行う(楽曲Xのカラオケ演奏を予約。ステップ10)。
【0040】
抽出部100は、記憶手段10aから読み出した楽曲Xのリファレンスデータに基づいて、楽曲Xにおける息継ぎが可能なタイミングを抽出する(楽曲Xにおける息継ぎが可能なタイミングを抽出。ステップ11)。
【0041】
具体的に、抽出部100は、楽曲Xについて、最初のノートN1の発声終了タイミングTE1と、次のノートN2の発声開始タイミングTS2との時間差(TS2-TE1)を求める。抽出部100は、求めた時間差が第1の所定条件を満たすかどうかを確認する。この例では、第1の所定条件が250msec以上であるとする。すなわち、あるノートの発声終了タイミングから次のノートの発声開始タイミングまでの間隔が250msec以上あれば、無理のない息継ぎが可能であるとする。
【0042】
抽出部100は、楽曲Xに含まれるノートの順番に上記処理を繰り返し行うことにより、楽曲Xにおける息継ぎが可能なタイミングを複数抽出する。この例では、息継ぎが可能なタイミングとして、ノートN4の発声終了タイミングTE4(3,000msec)、ノートN8の発声終了タイミングTE8(7,500msec)、・・・・、ノートNnの発声終了タイミングTEn(38,000msec)、ノートNoの発声終了タイミングTEo(42,000msec)、ノートNpの発声終了タイミングTEp(46,500msec)、ノートNqの発声終了タイミングTEq(49,000msec)、ノートNrの発声終了タイミングTEr(52,500msec)、ノートNsの発声終了タイミングTEs(55,500msec)、ノートNtの発声終了タイミングTEt(61,500msec)、・・・を抽出したとする。なお、上記タイミングの数値は、楽曲Xの演奏が開始されるタイミング(0msec)を基準とした値である。
【0043】
その後、カラオケ装置Kは、楽曲Xのカラオケ演奏を開始する(楽曲Xのカラオケ演奏を開始。ステップ12)。歌唱者Sは、マイク40を用いて楽曲Xのカラオケ歌唱を行う。
【0044】
検出部200は、楽曲Xのカラオケ歌唱を行う歌唱者Sの歌唱音声に対応する音声信号に基づいて、歌唱者Sが行った息継ぎのタイミングを含む息継ぎ情報を検出する(息継ぎ情報を検出。ステップ13)。
【0045】
具体的に、検出部200は、マイク40を通じて入力された歌唱者Sの歌唱音声に対応する音声信号の周波数特性を公知の手法により解析する。検出部200は、解析結果に基づいて、呼気による音声信号が含まれず、且つ息継ぎに特有の吸気ノイズに相当する音声信号が含まれていると判定した場合、当該音声信号に対応する歌唱音声が入力された時間を歌唱者Sが行った息継ぎのタイミングBTとして検出する。この例では、楽曲Xの演奏が開始されるタイミング(0msec)を基準として40秒後に息継ぎが行われたとする。この場合、検出部200は、タイミングBTとして40,000msecを検出する。
【0046】
特定部300は、ステップ11で抽出された楽曲における息継ぎが可能なタイミング、及びステップ13で検出された息継ぎ情報に基づいて、歌唱者Sが、次の息継ぎを行うことが可能なタイミングを特定する(次の息継ぎを行うことが可能なタイミングを特定。ステップ14)。
【0047】
具体的に、特定部300は、検出された息継ぎ情報に含まれる歌唱者Sが行った息継ぎのタイミングBT(40,000msec)と、ステップ11で抽出された楽曲Xにおける息継ぎが可能なタイミングのうち、タイミングBTより後のタイミングとの時間差を求める。特定部300は、求めた時間差が第2の所定条件を満たすかどうかを判断する。この例では、第2の所定条件が10秒以上15秒以下であるとする。すなわち、実際に行った息継ぎから10秒までは息継ぎなしでもカラオケ歌唱が可能であり、15秒を超えると息が続かなくなる可能性が高いとする。
【0048】
ここで、ステップ11で抽出された楽曲Xにおける息継ぎが可能なタイミングのうち、ノートNnの発声終了タイミングTEn(38,000msec)以前のタイミングは、タイミングBTよりも前のタイミングである。よって、特定部300は、ノートNoの発声終了タイミングTEo(42,000msec)から順に、歌唱者Sが行った息継ぎのタイミングBT(40,000msec)との時間差を求め、第2の所定条件を満たすかどうかを判断する。
【0049】
タイミングBT(40,000msec)と、ノートNoの発声終了タイミングTEn(42,000msec)との時間差は、2,000msecである。よって、特定部300は、第2の所定条件を満たさないと判断する。同様に、タイミングBT(40,000msec)と、ノートNpの発声終了タイミングTEp(46,500msec)との時間差は、6,500msecであり、タイミングBT(40,000msec)と、ノートNqの発声終了タイミングTEq(49,000msec)との時間差は、9,000msecである。よって、特定部300は、第2の所定条件を満たさないと判断する。
【0050】
一方、タイミングBT(40,000msec)と、ノートNrの発声終了タイミングTEr(52,500msec)との時間差は、12,500msecである。よって、特定部300は、第2の所定条件を満たすと判断する。
【0051】
なお、タイミングBT(40,000msec)と、ノートNsの発声終了タイミングTEs(55,500msec)との時間差は、15,500msecである。よって、特定部300は、第2の所定条件を満たさないと判断する。これ以降の発声終了タイミングは、第2の所定条件を満たさないことが明らかであるため、特定部300は処理を終了する。
【0052】
特定部300は、第2の所定条件を満たすと判断したノートNrの発声終了タイミングTEr(52,500msec)を、次の息継ぎを行うことが可能なタイミングとして特定する。特定部300は、特定した次の息継ぎを行うことが可能なタイミングを提示部400に出力する。
【0053】
提示部400は、ステップ14で特定された次の息継ぎを行うことが可能なタイミングを歌唱者Sに対して提示する(次の息継ぎを行うことが可能なタイミングを提示。ステップ15)。
【0054】
具体的に、提示部400は、楽曲Xの歌詞データに含まれるタイミング情報を参照し、ノートNrの発声終了タイミングTEr(52,500msec)と一致するタイミングが設定されている文字(すなわち、ノートNrに対応する文字)を抽出する。提示部400は、抽出したノートNrに対応する文字が表示装置30の表示画面に表示される際、歌唱者Sが、次の息継ぎが可能なタイミング(ノートNrの発声終了タイミングTEr)が分かるような表示を行う。
【0055】
カラオケ装置Kは、楽曲Xのカラオケ演奏が終了するまで(ステップ16でYの場合)、ステップ13からステップ15の処理を繰り返し行う。なお、次の息継ぎを行うことが可能なタイミングが複数特定された場合には、歌詞の表示にそれぞれ対応させて表示する。
【0056】
以上から明らかなように、本実施形態に係るカラオケ装置Kは、楽曲のリファレンスデータに基づいて、当該楽曲における息継ぎが可能なタイミングを抽出する抽出部100と、楽曲のカラオケ歌唱を行う歌唱者の歌唱音声に対応する音声信号及び/または当該歌唱者を撮影して得られた映像信号に基づいて、当該歌唱者が行った息継ぎのタイミングを含む息継ぎ情報を検出する検出部200と、抽出された楽曲における息継ぎが可能なタイミング、及び検出された息継ぎ情報に基づいて、歌唱者が、次の息継ぎを行うことが可能なタイミングを特定する特定部300と、特定された次の息継ぎを行うことが可能なタイミングを歌唱者に対して提示する提示部400と、を有する。
【0057】
このようなカラオケ装置Kによれば、ある楽曲のカラオケ歌唱を行っている歌唱者が実際に行った息継ぎのタイミングに応じて、当該ある楽曲における息継ぎが可能なタイミングの中から、次の息継ぎのタイミングを特定し、歌唱者に提示することができる。よって、歌唱者は、次の息継ぎのタイミングとして適当なタイミングを把握できる。すなわち、本実施形態に係るカラオケ装置Kによれば、歌唱者に対して適当な息継ぎのタイミングを提示することができる。
【0058】
また、本実施形態に係るカラオケ装置Kにおいて、提示部400は、楽曲の歌詞の表示に対応させて、特定された次の息継ぎを行うことが可能なタイミングを表示させることができる。このようなカラオケ装置Kによれば、歌唱者に対して息継ぎのタイミングを視覚的に提示することができる。
【0059】
なお、上記例では、次の息継ぎが可能なタイミングとしてノートNrの発声終了タイミングTErのみを特定した。一方、第2の所定条件は、歌唱者毎に設定されているものではない。従って、歌唱者の歌唱力や歌唱の仕方によっては、第2の所定条件に基づいて特定した次の息継ぎが可能なタイミングよりも前に息が続かなくなる可能性がある。
【0060】
そこで、特定部300は、抽出された楽曲における息継ぎが可能なタイミングのうち、第2の所定条件を満たすタイミングと併せて、第2の所定条件よりも早いタイミングを次の息継ぎが可能なタイミングとして特定してもよい。
【0061】
たとえば上記例において、特定部300は、第2の所定条件を満たすと判断したノートNrの発声終了タイミングTEr(52,500msec)と併せて、第2の所定条件の範囲(10秒以上15秒以下)よりも早いノートNqの発声終了タイミングTEq(49,000msec)を、次の息継ぎを行うことが可能なタイミングとして特定する。
【0062】
このような構成によれば、歌唱者の歌唱力等による差がある場合を想定したうえで、適当な息継ぎのタイミングを提示することができる。
【0063】
<変形例1>
抽出部100は、楽曲のリファレンスデータ及び楽曲の歌詞データに基づいて、楽曲における息継ぎが可能なタイミングを抽出してもよい。
【0064】
まず、抽出部100は、実施形態で述べた処理を実行することにより、第1の所定条件を満たすノートの発声終了タイミングを抽出する。次に、抽出部100は、抽出されたノートの発声終了タイミングの中から、歌詞データに基づいて、楽曲における息継ぎが可能なタイミングの絞り込みを行う。
【0065】
具体的に、抽出部100は、公知の技術(たとえば、特開2004-070634号公報)を用いて、歌詞データに対応する歌詞を解析し、読点を挿入可能な文節を特定する。抽出部100は、第1の所定条件を満たすノートの発声終了タイミングの中から、特定した文節の最後の文字が表示されるタイミングと一致するタイミングを、楽曲における息継ぎが可能なタイミングとして抽出する。
【0066】
一般的な会話文においても、読点を挿入可能な文節に含まれる最後の文字の発声終了から、次の文節に含まれる最初の文字の発声開始までは、話が区切られるので息を継ぐことが多い。すなわち、読点を挿入可能な文節に含まれる最後の文字に対応するノートの発声終了タイミングから、次の文節に含まれる最初の文字に対応するノートの発声開始タイミングまでの間は、自然に聴こえる息継ぎが可能である。よって、楽曲のリファレンスデータと合わせて歌詞データに基づいて抽出した息継ぎが可能なタイミングは、歌唱者にとってより息継ぎがしやすく、且つ息継ぎが自然に聴こえるタイミングとなる。
【0067】
なお、上記例では、歌詞データに対応する歌詞を解析して読点を挿入可能な文節を特定したが、歌詞データが予め読点のタイミングに相当する情報を含んでいてもよい。この場合、抽出部100は、歌詞データに含まれる読点のタイミングに基づいて、楽曲における息継ぎが可能なタイミングの絞り込みを行う。
【0068】
以上から明らかなように、本変形例に係るカラオケ装置Kにおいて、抽出部100は、楽曲の歌詞データに基づいて、楽曲における息継ぎが可能なタイミングを抽出する。このようなカラオケ装置Kによれば、歌唱者に対してより適当な息継ぎのタイミングを提示することができる。
【0069】
<変形例2>
検出部200が検出する息継ぎ情報としては、歌唱者が行った息継ぎのタイミング及び歌唱者が行った息継ぎの長さを含んでいてもよい。
【0070】
たとえば、検出部200は、マイク40を通じて入力された歌唱者の歌唱音声に対応する音声信号の周波数特性を公知の手法により解析する。検出部200は、解析結果に基づいて、呼気による音声信号(倍音成分に相当する音声信号)が含まれず、且つ息継ぎに特有の吸気ノイズに相当する音声信号が含まれていると判定した場合、当該音声信号に対応する歌唱音声が入力された時間を、歌唱者が行った息継ぎのタイミングとして検出する。この際、検出部200は、息継ぎに特有の吸気ノイズに相当する音声信号が含まれている持続時間を求め、当該持続時間を、歌唱者が行った息継ぎの長さとして検出する。
【0071】
また、検出部200は、撮影手段60により歌唱者を撮影して得られた映像信号を公知の手法により解析する。検出部200は、解析結果に基づいて、息継ぎに特有の動作(たとえば、肩や頭部の上下動、口の開閉)が含まれると判定した場合、当該動作が撮影された時間を、歌唱者が行った息継ぎのタイミングとして検出する。この際、検出部200は、息継ぎに特有の動作の持続時間を求め、当該持続時間を、歌唱者が行った息継ぎの長さとして検出する。
【0072】
或いは、検出部200は、音声信号に基づいて検出した歌唱者が行った息継ぎの長さと、映像信号に基づいて検出した歌唱者が行った息継ぎの長さとを比較し、一致または近似する長さのみを歌唱者が行った息継ぎの長さとして検出してもよい。また、検出部200は、音声信号に基づいて検出した歌唱者が行った息継ぎの長さと、映像信号に基づいて検出した歌唱者が行った息継ぎの長さとを比較し、より長いほうを歌唱者が行った息継ぎの長さとして検出してもよい。
【0073】
ここで、本変形例において、特定部300が参照する第2の所定条件は、歌唱者が行った息継ぎの長さに応じて複数設定されている。歌唱者が行った息継ぎの長さが短い場合、息が続かなくなる可能性が高い時間(息継ぎなしでカラオケ歌唱が可能な時間)も短くなることが想定される。一方、歌唱者が行った息継ぎの長さが長い場合、息が続かなくなる可能性が高い時間(息継ぎなしでカラオケ歌唱が可能な時間)も長くなることが想定される。従って、第2の所定条件は、息継ぎの長さに応じた複数のパターンを含んでいることが好ましい。
【0074】
たとえば、第2の所定条件が、息継ぎの長さが500msec未満の場合は10秒以上15秒未満、息継ぎの長さが500msec以上750msec未満の場合は11秒以上16秒未満、息継ぎの長さが750msec以上1,000msec未満の場合は12秒以上17秒未満、息継ぎの長さが1,000msec以上の場合は13秒以上18秒未満であるとする。
【0075】
また、第1実施形態で述べたように、特定部300は、ノートNoの発声終了タイミングTEo(42,000msec)から順に、歌唱者Sが行った息継ぎのタイミングBT(40,000msec)との時間差を求め、第2の所定条件を満たすかどうかを判断するとする。
【0076】
タイミングBT(40,000msec)と、ノートNoの発声終了タイミングTEo(42,000msec)との時間差は、2,000msecである。よって、特定部300は、息継ぎの長さに関わらず、第2の所定条件を満たさないと判断する。同様に、タイミングBT(40,000msec)と、ノートNpの発声終了タイミングTEp(46,500msec)との時間差は、6,500msecであり、タイミングBT(40,000msec)と、ノートNqの発声終了タイミングTEq(49,000msec)との時間差は、9,000msecである。よって、特定部300は、息継ぎの長さに関わらず、いずれも第2の所定条件を満たさないと判断する。
【0077】
一方、タイミングBT(40,000msec)と、ノートNrの発声終了タイミングTEr(52,500msec)との時間差は、12,500msecである。よって、特定部300は、息継ぎの長さが500msec未満の場合、息継ぎの長さが500msec以上750msec未満の場合、及び息継ぎの長さが750msec以上1,000msec未満の場合、第2の所定条件を満たすと判断し、息継ぎの長さが1,000msec以上の場合、第2の条件を満たさないと判断する。
【0078】
また、タイミングBT(40,000msec)と、ノートNsの発声終了タイミングTEs(55,500msec)との時間差は、15,500msecである。よって、特定部300は、息継ぎの長さが500msec未満の場合、第2の所定条件を満たさないと判断し、息継ぎの長さが500msec以上750msec未満の場合、息継ぎの長さが750msec以上1,000msec未満の場合、及び息継ぎの長さが1,000msec以上の場合、第2の条件を満たすと判断する。
【0079】
更に、タイミングBT(40,000msec)と、ノートNtの発声終了タイミングTEt(61,500msec)との時間差は、21,500msecである。よって、特定部300は、息継ぎの長さに関わらず、第2の所定条件を満たさないと判断する。これ以降の発声終了タイミングは、息継ぎの長さに関わらず、第2の所定条件を満たさないことが明らかであるため、特定部300は処理を終了する。
【0080】
このように、本変形例に係る検出部200は、歌唱者が行った息継ぎの長さを含む息継ぎ情報を検出することができる。次の息継ぎを行うことが可能なタイミングを特定する際に、歌唱者が行った息継ぎの長さを考慮することにより、歌唱者に対してより適当な息継ぎのタイミングを提示することができる。
【0081】
<その他>
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0082】
100 抽出部
200 検出部
300 特定部
400 提示部
K カラオケ装置