特許 6864571 歌詞テロップ色替えデータ作成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6864571

(24)【登録日】2021年4月6日

(45)【発行日】2021年4月28日

(54)【発明の名称】歌詞テロップ色替えデータ作成装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20210419BHJP

【ＦＩ】

   G10K15/04 302D

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2017-127259(P2017-127259)

(22)【出願日】2017年6月29日

(65)【公開番号】特開2019-12115(P2019-12115A)

(43)【公開日】2019年1月24日

【審査請求日】2020年4月22日

(73)【特許権者】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】鎌田 政之

【審査官】 中村 天真

(56)【参考文献】

【文献】 特開２０１５−１７６３７９（ＪＰ，Ａ）

【文献】 特開２００８−２１０５００（ＪＰ，Ａ）

【文献】 特開２００６−０５８５７７（ＪＰ，Ａ）

【文献】 特開平１０−２６８８７８（ＪＰ，Ａ）

【文献】 特開平０９−２１８６９１（ＪＰ，Ａ）

【文献】 実開平０６−０２３３８０（ＪＰ，Ｕ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／００−１５／１２

Ｇ１０Ｈ １／００− １／４６

(57)【特許請求の範囲】

【請求項1】

あるカラオケ楽曲を歌唱することにより得られた歌唱音声信号に基づいて、発声された複数の仮名に相当する発声テキスト情報、及び当該複数の仮名それぞれを発声したタイミングに相当する仮名発声タイミング情報を含む発声データを取得する取得部と、
取得された前記発声データ、及び前記あるカラオケ楽曲の歌詞に相当する歌詞テキストデータに基づいて、当該あるカラオケ楽曲の歌詞を表示した際の色替えに要する時間または色替えの速度に相当する色替え情報を、前記歌詞に含まれる文字毎に算出する算出部と、
前記色替えを開始する時間を設定する設定部と、
算出された前記色替え情報及び設定された前記色替えを開始する時間を関連付けることにより、前記あるカラオケ楽曲の演奏時に前記歌詞テキストデータに基づいて表示される歌詞の色替えを制御するための歌詞テロップ色替えデータを作成する作成部と、
を有する歌詞テロップ色替えデータ作成装置。

【請求項2】

前記設定部は、前記仮名を発声したタイミングよりも所定値だけ早い時間を、前記色替えを開始する時間として設定することを特徴とする請求項１記載の歌詞テロップ色替えデータ作成装置。

【請求項3】

前記所定値は、２００ｍｓｅｃ〜３００ｍｓｅｃの範囲であることを特徴とする請求項２記載の歌詞テロップ色替えデータ作成装置。

【請求項4】

前記設定部は、前記仮名を発声したタイミングよりも所定値だけ早い時間を、前記色替えを開始する時間として設定する際、前記あるカラオケ楽曲の演奏テンポが所定のテンポより速い場合には、２００ｍｓｅｃ〜３００ｍｓｅｃの範囲内で前記所定値がより長くなるよう変更し、前記あるカラオケ楽曲の演奏テンポが所定のテンポより遅い場合には、２００ｍｓｅｃ〜３００ｍｓｅｃの範囲内で前記所定値がより短くなるよう変更することを特徴とする請求項１〜３のいずれか一つに記載の歌詞テロップ色替えデータ作成装置。

【請求項5】

前記歌詞テキストデータに基づく歌詞を、前記あるカラオケ楽曲の演奏に合わせて表示させる表示制御部と、
表示された前記歌詞に含まれるある文字を視認する歌唱者の視線検出結果に基づいて、当該歌唱者が当該ある文字を視認したタイミングを特定する特定部と、
を有し、
前記設定部は、特定された前記ある文字を視認したタイミングに基づいて、当該ある文字の前記色替えを開始する時間を設定することを特徴とする請求項１記載の歌詞テロップ色替えデータ作成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歌詞テロップ色替えデータ作成装置に関する。

【背景技術】

【0002】

カラオケ装置においては、歌唱支援のため、歌唱するカラオケ楽曲の歌詞を背景映像に重畳して表示させることができる。

【0003】

更にカラオケ装置においては、歌唱者がある時点において歌唱すべき歌詞を把握し易いように、表示された歌詞（歌詞テロップ）の色をカラオケ楽曲の演奏に伴って順次変化させる（色替え）ことが行われている。

【0004】

歌詞テロップの色替えは、予め作成された、歌詞の色替えを制御するためのデータ（以下、「歌詞テロップ色替えデータ」）を用いて行われる。

【0005】

このような歌詞テロップ色替えデータは、作業者が、再生された音楽を聴きつつ対応する歌詞を見ながら、入力手段（たとえば、パソコンのマウス）を用いて歌詞に変化を加える作業（オーサリング）に基づいて作成することが一般的である。

【0006】

たとえば、特許文献１には、歌詞の色替えタイミングのデータを、簡単な操作で入力できるデジタルカラオケソフト編集装置が開示されている。また、特許文献２には、作業者による手作業を容易にするために、タッチパネルに歌詞を表示し、取得したタッチ情報に基づいて色変えタイミングを示す表示制御データを生成、編集する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１０−２６８８７８号公報

【特許文献2】特開２０１５−１７６３７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、オーサリングは、非常に高度な技量を必要とするため、専門家で無ければ実施することが難しい。また、仮に特許文献１や２に開示されている技術を用いたとしても、作業者による手作業が必要となるため、歌詞テロップ色替えデータを簡便に作成することは困難である。

【0009】

本発明の目的は、カラオケ楽曲の演奏時に表示される歌詞の色替えを制御するためのデータを容易に生成することが可能な歌詞テロップ色替えデータ作成装置を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するための主たる発明は、あるカラオケ楽曲を歌唱することにより得られた歌唱音声信号に基づいて、発声された複数の仮名に相当する発声テキスト情報、及び当該複数の仮名それぞれを発声したタイミングに相当する仮名発声タイミング情報を含む発声データを取得する取得部と、取得された前記発声データ、及び前記あるカラオケ楽曲の歌詞に相当する歌詞テキストデータに基づいて、当該あるカラオケ楽曲の歌詞を表示した際の色替えに要する時間または色替えの速度に相当する色替え情報を、前記歌詞に含まれる文字毎に算出する算出部と、前記色替えを開始する時間を設定する設定部と、算出された前記色替え情報及び設定された前記色替えを開始する時間を関連付けることにより、前記あるカラオケ楽曲の演奏時に前記歌詞テキストデータに基づいて表示される歌詞の色替えを制御するための歌詞テロップ色替えデータを作成する作成部と、を有する歌詞テロップ色替えデータ作成装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

【発明の効果】

【0011】

本発明によれば、カラオケ楽曲の演奏時に表示される歌詞の色替えを制御するためのデータを容易に生成することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係るカラオケ装置のハードウェア構成例を示す図である。

【図2】第１実施形態に係るカラオケ本体のソフトウェア構成例を示す図である。

【図3A】第１実施形態に係る歌唱音声及び発声テキスト情報の例を示す図である。

【図3B】第１実施形態に係る発声テキスト情報及び仮名発声タイミング情報の例を示す図である。

【図3C】第１実施形態に係る発声テキスト情報及び歌詞テキストデータの例を示す図である。

【図3D】第１実施形態に係る歌詞テキストデータ及び色替え情報の例を示す図である。

【図3E】第１実施形態に係る歌詞テキストデータ及び色替えを開始する時間の例を示す図である。

【図4】第１実施形態に係るカラオケ装置の処理を示すフローチャートである。

【図5】第２実施形態に係るカラオケ装置のハードウェア構成例を示す図である。

【図6】第２実施形態に係るカラオケ本体のソフトウェア構成例を示す図である。

【図7】第２実施形態に係るカラオケ装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0013】

後述する明細書及び図面の記載から、上記の主たる発明の他、少なくとも以下の事項が明らかとなる。

【0014】

すなわち、前記設定部が、前記仮名を発声したタイミングよりも所定値だけ早い時間を、前記色替えを開始する時間として設定する歌詞テロップ色替えデータ作成装置が明らかとなる。また、前記所定値は、略２００ｍｓｅｃ〜略３００ｍｓｅｃの範囲であることが好ましい。このような装置によれば、実際のカラオケ歌唱に適した歌詞テロップ色替えデータを作成できる。

【0015】

また、前記設定部が、前記仮名を発声したタイミングよりも早い時間を、前記色替えを開始する時間として設定する際、前記あるカラオケ楽曲の演奏テンポが所定のテンポより速い場合には、前記仮名を発声したタイミングよりも早い時間を略２００ｍｓｅｃ〜略３００ｍｓｅｃの範囲内で所定値よりも長く設定し、前記あるカラオケ楽曲の演奏テンポが所定のテンポより遅い場合には、前記仮名を発声したタイミングよりも早い時間を略２００ｍｓｅｃ〜略３００ｍｓｅｃの範囲内で所定値よりも短く設定する歌詞テロップ色替えデータ作成装置が明らかとなる。このような装置によれば、色替えを開始する時間を楽曲のテンポに合わせて設定することができる。

【0016】

更に、前記歌詞テキストデータに基づく歌詞を、前記あるカラオケ楽曲の演奏に合わせて表示させる表示制御部と、表示された前記歌詞に含まれるある文字を視認する歌唱者の視線検出結果に基づいて、当該歌唱者が当該ある文字を視認したタイミングを特定する特定部と、を有し、前記設定部が、特定された前記ある文字を視認したタイミングに基づいて、当該ある文字の前記色替えを開始する時間を設定する歌詞テロップ色替えデータ作成装置。このような装置によれば、視線検出結果を利用して、実際のカラオケ歌唱に適した歌詞テロップ色替えデータを作成できる。

【0017】

＜第１実施形態＞
図１〜図４を参照して、第１実施形態に係るカラオケ装置１について説明する。

【0018】

＝＝カラオケ装置＝＝
カラオケ装置１は、カラオケ演奏及び歌唱者がカラオケ歌唱を行うための装置である。カラオケ装置１は、歌唱者が選曲したカラオケ楽曲を予約待ち行列に登録し、順番にカラオケ演奏を行う。図１に示すように、カラオケ装置１は、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、及びリモコン装置５０を備える。

【0019】

スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は歌唱者の歌唱音声（マイク４０への入力音声）をアナログの歌唱音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。歌唱者はリモコン装置５０を用いて歌唱を希望するカラオケ楽曲の選曲（予約）等を行うことができる。リモコン装置５０の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。

【0020】

カラオケ本体１０は、選曲されたカラオケ楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図１に示すように、カラオケ本体１０は、制御部１１、通信部１２、記憶部１３、音響処理部１４、表示処理部１５及び操作部１６を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

【0021】

制御部１１は、ＣＰＵ１１ａおよびメモリ１１ｂを備える。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。

【0022】

通信部１２は、ルーター（図示なし）を介してカラオケ本体１０を通信回線に接続するためのインターフェースを提供する。

【0023】

記憶部１３は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶部１３は、カラオケ装置１によりカラオケ演奏を行うための複数の楽曲データを記憶する。

【0024】

楽曲データは、個々のカラオケ楽曲を特定するための楽曲ＩＤが付与されている。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。伴奏データはカラオケ演奏をする際のテンポを示す情報を含む。テンポは、楽曲毎に所定の値が設定されている。リファレンスデータは、歌唱者によるカラオケ歌唱を採点する際の基準として用いられるデータである。

【0025】

また、記憶部１３は、各カラオケ楽曲に対応する歌詞を表示装置３０等に表示させるための歌詞テロップデータ、カラオケ演奏時に表示装置３０等に表示される背景画像等の背景画像データ、楽曲毎のカラオケ演奏時間を示す演奏時間データ及び楽曲の属性情報（歌手名、作詞・作曲者名、ジャンル等の当該楽曲に関する情報）を記憶する。

【0026】

歌詞テロップデータは、歌詞テキストデータ、及び歌詞テロップ色替えデータを含む。

【0027】

歌詞テキストデータは、表示装置３０等に表示される歌詞（歌詞に含まれる文字）に相当するデータである。具体的に、歌詞テキストデータは、歌唱区間毎（たとえば「カモメなぜ鳴くの」、「カモメは海に」、・・・）に歌詞を順次表示するためのデータである。すなわち、歌詞テキストデータは、歌唱区間毎に表示を開始するタイミング及び表示を消去するタイミングを示すタイミング情報や表示画面中におけるテキストの位置を示すレイアウト情報を含んでいる。また、歌詞テキストが漢字や外国語を含む場合（たとえば「鳴く」、「海」）、歌詞テキストデータは、ルビデータ（たとえば「海」に対して「うみ」）を含む。

【0028】

歌詞テロップ色替えデータは、カラオケ楽曲の演奏時に歌詞テキストデータに基づいて表示される歌詞の色替えを制御するためのデータである。色替えは、たとえば、歌詞テキストデータに基づいて表示された歌詞の色（たとえば白色）を、カラオケ楽曲の演奏に伴って順次変化させる（たとえば、白色から赤色）ことをいう。歌詞テロップ色替えデータは、カラオケ楽曲の歌詞を表示した際の色替えに要する時間または色替えの速度に相当する色替え情報、及び色替えを開始する時間を含む（詳細は後述）。

【0029】

音響処理部１４は、制御部１１の制御に基づき、カラオケ楽曲に対する演奏の制御およびマイク４０を通じて入力された歌唱音声信号の処理を行う。表示処理部１５は、制御部１１の制御に基づき、表示装置３０やリモコン装置５０における各種表示に関する処理を行う。たとえば、表示処理部１５は、カラオケ楽曲の演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置３０に表示させる制御を行う。或いは、表示処理部１５は、リモコン装置５０の表示画面に操作入力用の各種アイコンを表示させる。操作部１６は、パネルスイッチおよびリモコン受信回路などからなり、歌唱者によるカラオケ装置１のパネルスイッチあるいはリモコン装置５０の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部１１に対して出力する。制御部１１は、操作部１６からの操作信号を検出し、対応する処理を実行する。

【0030】

ここで、本実施形態に係るカラオケ装置１は、歌詞テロップ色替えデータを作成する「歌詞テロップ色替えデータ作成装置」に相当する。歌詞テロップ色替えデータは、たとえば新たなカラオケ楽曲を配信する際に任意のカラオケ装置で作成される。また、歌詞テロップ色替えデータは、カラオケ楽曲を実際に歌唱するプロの歌手やプロの歌手と同等の歌唱能力を有する者（以下、「模範歌唱者」）の歌唱により得られた歌唱音声信号を利用して作成される。模範歌唱者の歌唱音声信号を利用することにより、カラオケ楽曲に合った歌詞テロップ色替えデータを作成することができる。なお、模範歌唱者によるカラオケ楽曲の歌唱は、未だ歌詞テロップ色替えデータが作成されていない段階で行われる。そのため、模範歌唱者は、たとえば歌詞入りの楽譜や歌詞カードを見ながらカラオケ楽曲の歌唱を行う。

【0031】

以下の例では、カラオケ楽曲Ｘの複数の歌唱区間のうち「カモメなぜ鳴くの」、「カモメは海に」の２つの区間に対する処理について説明を行うが、カラオケ楽曲Ｘの歌詞テロップ色替えデータを作成する際には、カラオケ楽曲Ｘに含まれる全歌唱区間に対して同様の処理を行う。カラオケ楽曲Ｘは「あるカラオケ楽曲」の一例である。

【0032】

また、マイク４０で入力された歌唱音声信号を用い、他のコンピュータ（たとえば、作業者が所有するパーソナルコンピュータ）で歌詞テロップ色替えデータを作成することも可能である。この場合、他のコンピュータが「歌詞テロップ色替えデータ作成装置」に相当する。

【0033】

（ソフトウェア構成）
図２はカラオケ本体１０のソフトウェア構成例を示す図である。カラオケ本体１０は、取得部１００、算出部２００、設定部３００、及び作成部４００を備える。取得部１００、算出部２００、設定部３００、及び作成部４００は、ＣＰＵ１１ａがメモリ１１ｂに記憶されるプログラムを実行することにより実現される。

【0034】

［取得部］
取得部１００は、カラオケ楽曲Ｘを歌唱することにより得られた歌唱音声信号に基づいて発声データを取得する。歌唱音声信号は、上述の通り模範歌唱者の歌唱により得られたものである。発声データは、発声テキスト情報、及び仮名発声タイミング情報を含む。

【0035】

発声テキスト情報は、模範歌唱者の歌唱において実際に発声された複数の仮名（テキスト）に相当する。取得部１００は、歌唱音声信号に対して公知の音声認識処理を施すことにより、歌唱音声信号をテキスト化する。たとえば、取得部１００は、模範歌唱者によるカラオケ楽曲Ｘの歌唱により得られた「カモメなぜ鳴くの」、「カモメは海に」という歌詞の歌唱音声信号を処理することで、それらの歌詞をテキスト化した情報（発声テキスト情報）を取得する（図３Ａ参照）。図３Ａの例において、発声テキスト情報は、ローマ字の仮名でテキスト化されている。

【0036】

仮名発声タイミング情報は、発声テキスト情報に含まれる複数の仮名それぞれを発声したタイミングに相当する。取得部１００は、歌唱音声信号に対して公知の波形解析処理を施すことにより、各仮名を発声したタイミングを取得する。上記例において、取得部１００は、「カモメなぜ鳴くの」、「カモメは海に」という歌詞の歌唱により得られた歌唱音声信号を処理することで、各仮名を発声したタイミングを取得する（図３Ｂ参照）。図３Ｂの例において、各仮名の仮名発声タイミング情報は、最初の仮名（図３Ａの「ｋａ」）を歌唱した時間（０．０ｓｅｃ）からある仮名を歌唱するまでの経過時間に相当する。なお、このときの歌唱のテンポはＢＰＭ＝６０（１分間に四分音符で６０拍の速度）である。

【0037】

取得部１００は、取得した発声データを算出部２００に出力する。

【0038】

［算出部］
算出部２００は、取得された発声データ、及びカラオケ楽曲Ｘの歌詞に相当する歌詞テキストデータに基づいて、色替え情報を歌詞に含まれる文字毎に算出する。

【0039】

歌詞テキストデータは、上述の通り記憶部１３に記憶されているものを利用する。或いは、サーバ装置（図示無し）から歌詞テキストデータを取得することでもよい。色替え情報は、カラオケ楽曲Ｘの歌詞を表示した際の色替えに要する時間または色替えの速度に相当する。

【0040】

具体例として、算出部２００は、色替え情報を算出する際、カラオケ楽曲Ｘの歌詞テキストデータを記憶部１３から読み出す。カラオケ楽曲Ｘは、取得された発声データの元となった歌唱音声信号を得る際に歌唱した楽曲に相当する。算出部２００は、発声データに含まれる発声テキスト情報と、記憶部１３から読み出したカラオケ楽曲Ｘの歌詞テキストデータとを照合する。この際、歌詞に漢字または外国語を含む場合、算出部２００は、歌詞テキストデータに含まれるルビデータと、発声テキスト情報を照合する。たとえば、カラオケ楽曲Ｘは、歌詞に「海」の文字が含まれている。この場合、算出部２００は、「海」のルビ「うみ」と発声テキスト情報とを照合する（図３Ｃ参照）。また同様に、歌詞に含まれる助詞「は」と、発声テキスト情報とを照合する。

【0041】

次に、算出部２００は、発声テキスト情報と歌詞テキストデータとの照合結果、及び発声データに含まれる仮名発声タイミング情報に基づいて、各文字の色替えに要する時間を求める。

【0042】

たとえば、図３Ｂ及び図３Ｃの例において、「く（ｋｕ）」の文字は、仮名発声タイミング情報が示す経過時間が５．５ｓｅｃ、次の文字「の（ｎｏ）」の仮名発声タイミング情報が示す経過時間が６．０ｓｅｃである。よって、「く（ｋｕ）」の文字は、次の文字を歌唱するまでに０．５ｓｅｃの時間を要する。従って、算出部２００は、「く（ｋｕ）」の文字の色替え情報として「０．５ｓｅｃ」を算出する。一方、「うみ（ｕ、ｍｉ）」の文字について仮名発声タイミング情報が示す経過時間は、「ｕ」が１０．０ｓｅｃであり、「ｍｉ」が１１．０ｓｅｃである。また、「うみ（ｕ、ｍｉ）」の次の文字「に（ｎｉ）」の仮名発声タイミング情報が示す経過時間は１２．０ｓｅｃである。従って、算出部２００は、「海」の文字の色替え情報として、２つの仮名の経過時間を合わせた「２．０ｓｅｃ」を算出する。

【0043】

このように、算出部２００は、歌詞テキストデータに含まれる文字毎に色替え情報を算出する（図３Ｄ参照）。算出部２００は、算出した色替え情報を作成部４００に出力する。なお、算出部２００は、算出した文字毎の時間とカラオケ楽曲Ｘのテンポに基づいて、文字毎の色替えの速度を算出し、当該速度を色替え情報としてもよい。

【0044】

［設定部］
設定部３００は、色替えを開始する時間を設定する。色替えを開始する時間は、たとえば仮名発声タイミング情報をそのまま用いることが可能である。たとえば、上記例において、設定部３００は、仮名発声タイミング情報に基づいて、最初の文字「カ」の色替えを開始する時間を「０．０ｓｅｃ」とし、次の文字「モ」の色替えを開始する時間を「１．０ｓｅｃ」後、文字「メ」の色替えを開始する時間を「２．０ｓｅｃ」後・・・・文字「海」の色替えを開始する時間を「１０．０ｓｅｃ」後と設定することができる（図３Ｅ参照）。

【0045】

色替えを開始する時間の設定は、文字毎に行ってもよいし、歌唱区間毎や文節毎におこなってもよい。設定を歌唱区間や文節毎に行う場合、設定部３００は、当該歌唱区間や文節の最初の文字を特定し、当該文字を基準として色替えを開始する時間を設定する必要がある。歌唱区間や文節の最初の文字の特定は、予め楽曲データに最初の文字を特定できる情報を含めていてもよいし、公知の自動翻訳機能を用いて都度特定することでもよい。設定部３００は、設定した色替えを開始する時間を作成部４００に出力する。

【0046】

一方、実際のカラオケ歌唱においては、表示装置３０に表示された文字の色替えを参照しながら歌唱のタイミングを把握しようとする場合が多い。従って、文字の色替えは、実際の歌唱タイミングよりも少し前に開始されることが好ましい。そこで、設定部３００は、実際の歌唱タイミングよりも少し前に文字の色替えを始めることができるよう、色替えを開始する時間を設定することができる。

【0047】

具体的には、設定部３００は、模範歌唱者が仮名を発声したタイミングよりも所定値だけ早い時間を、色替えを開始する時間として設定する。

【0048】

所定値は、カラオケ歌唱のし易さ（色替えされる文字の視認し易さ）やカラオケ楽曲の演奏全体のバランスを考慮して設定される閾値である。具体的に、所定値は２００ｍｓｅｃ〜３００ｍｓｅｃの範囲であることが好ましい。

【0049】

たとえば、図３Ｂの例において、「ｎｏ（の）」の仮名を発声したタイミングは、６．０ｓｅｃである。このままのタイミングで色替えを開始した場合、一般的な歌唱者は実際の発声が遅れる結果、カラオケ演奏に合った歌唱ができない可能性がある。そこで、設定部３００は、６．０ｓｅｃよりも２５０ｍｓｅｃだけ早い時間「５．７５ｓｅｃ」を「の（ｎｏ）」の文字の色替えを開始する時間として設定する。

【0050】

或いは、各カラオケ楽曲の演奏テンポを考慮して、色替えを開始する時間を設定することも可能である。一般に、カラオケ楽曲の演奏テンポが速い場合には、色替えのスピードが遅く感じられ、演奏テンポが遅い場合には、色替えのスピードが速く感じられるため、カラオケ楽曲の種類（或いは歌唱者）によっては、色替えを参照し難い場合がある。そこで、仮名を発声したタイミングよりも早い時間を色替えを開始する時間として設定する際、演奏テンポが速いカラオケ楽曲については仮名を発声したタイミングよりも早い時間を長めに設定し、演奏テンポが遅いカラオケ楽曲については仮名を発声したタイミングよりも早い時間を短めに設定することで、歌唱者は色替えを参照しながらカラオケ歌唱を行い易くなる。

【0051】

そこで、設定部３００は、仮名を発声したタイミングよりも早い時間を、色替えを開始する時間として設定する際、あるカラオケ楽曲の演奏テンポが所定のテンポより速い場合には、仮名を発声したタイミングよりも早い時間を略２００ｍｓｅｃ〜略３００ｍｓｅｃの範囲内で所定値よりも長く設定し、あるカラオケ楽曲の演奏テンポが所定のテンポより遅い場合には、仮名を発声したタイミングよりも早い時間を略２００ｍｓｅｃ〜略３００ｍｓｅｃの範囲内で所定値よりも短く設定する。

【0052】

たとえば、所定のテンポがＢＰＭ＝１００、所定値が２５０ｍｓｅｃの例で説明を行う。設定部３００は、あるカラオケ楽曲の演奏テンポと所定のテンポとの比較を行う。演奏テンポが所定のテンポよりも遅い場合（たとえば、ＢＰＭ＝６０）、色替え開始時間設定部３００は、仮名を発声したタイミングよりも早い時間を所定値よりも短く設定する（たとえば、２００ｍｓｅｃ）。逆に、演奏テンポが所定のテンポよりも速い場合（たとえば、ＢＰＭ＝１４０）、設定部３００は、仮名を発声したタイミングよりも早い時間を所定値よりも長く設定する（たとえば、３００ｍｓｅｃ）。

【0053】

なお、所定のテンポ及び所定値は、色替えされる文字の大きさ、フォントの種類、表示の明るさ等の表示条件や、カラオケ楽曲毎に想定される歌唱者の年齢層等によって、所定の値を設定することが可能である。但し、いずれの場合であっても、歌唱し易さの観点から、所定値は、２００〜３００ｍｓｅｃの範囲内に収まるように設定することが好ましい。

【0054】

［作成部］
作成部４００は、算出された色替え情報及び設定された色替えを開始する時間を関連付けることにより、歌詞テロップ色替えデータを作成する。

【0055】

歌詞テロップ色替えデータは、あるカラオケ楽曲の演奏時に歌詞テキストデータに基づいて表示される歌詞の色替えを制御するためのデータである。

【0056】

作成部４００は、算出部２００から出力された色替え情報と、設定部３００から出力された色替えを開始する時間を関連付けることにより、カラオケ楽曲毎の歌詞テロップ色替えデータを作成する。作成部４００は、作成した歌詞テロップ色替えデータを記憶部１３に記憶されている歌詞テキストデータ（色替え情報の算出の際に利用したデータ）と関連付けることで、歌詞テロップデータとして記憶させることができる。

【0057】

或いは、作成部４００は、歌詞テキストデータと、作成した歌詞テロップ色替えデータとを関連付けた歌詞テロップデータをサーバ装置に送信してもよい。サーバ装置は、受信した歌詞テロップデータを他のカラオケ装置に配信することができる。

【0058】

＝＝カラオケ装置１の動作について＝＝
次に、図４を参照して本実施形態におけるカラオケ装置１の動作の具体例について述べる。図４は、カラオケ装置１の動作例を示すフローチャートである。ここでは、カラオケ楽曲Ｘの歌詞テロップ色替えデータを作成する例について述べる。

【0059】

カラオケ装置１は、伴奏データに基づいて、カラオケ楽曲Ｘの演奏を行う。模範歌唱者は、カラオケ楽曲Ｘの演奏に合わせて歌唱を行う。カラオケ装置１は、模範歌唱者の歌唱音声信号を取得する（歌唱音声信号の取得。ステップ１０）。

【0060】

取得部１００は、ステップ１０で得られた歌唱音声信号に基づいて、発声された複数の仮名に相当する発声テキスト情報、及び当該複数の仮名それぞれを発声したタイミングに相当する仮名発声タイミング情報を含む発声データを取得する（発声データの取得。ステップ１１）。

【0061】

算出部２００は、ステップ１１で取得した発声データ、及びカラオケ楽曲Ｘの歌詞に相当する歌詞テキストデータに基づいて、カラオケ楽曲Ｘの歌詞を表示した際の色替えに要する時間に相当する色替え情報を文字毎に算出する（色替え情報の算出。ステップ１２）。

【0062】

設定部３００は、仮名発声タイミング情報に基づいて、色替えを開始する時間を設定する（色替えを開始する時間の設定。ステップ１３）。

【0063】

作成部４００は、ステップ１２で算出された色替え情報、及びステップ１３で設定された色替えを開始する時間を関連付けることにより、カラオケ楽曲Ｘの演奏時に歌詞テキストデータに基づいて表示される歌詞の色替えを制御するための歌詞テロップ色替えデータを作成する（歌詞テロップ色替えデータの作成。ステップ１４）。

【0064】

更に、作成部４００は、歌詞テキストデータにステップ１４で作成された歌詞テロップ色替えデータを関連付けることにより、カラオケ楽曲Ｘの歌詞テロップデータを作成する（歌詞テロップデータの作成。ステップ１５）。

【0065】

このように、本実施形態に係るカラオケ装置１は、取得部１００、算出部２００、設定部３００、及び作成部４００を有する。取得部１００は、発声テキスト情報及び仮名発声タイミング情報を含む発声データを取得する。算出部２００は、発声データ、及び歌詞テキストデータに基づいて、カラオケ楽曲の歌詞を表示した際の色替えに要する時間に相当する色替え情報を歌詞に含まれる文字毎に算出する。設定部３００は、仮名発声タイミング情報に基づいて、色替えを開始する時間を設定する。作成部４００は、算出された色替え情報及び設定された色替えを開始する時間を関連付けることにより、歌詞テロップ色替えデータを作成する。

【0066】

このようなカラオケ装置１によれば、未だ、歌詞テロップ色替えデータが作成されていないカラオケ楽曲に対し、模範歌唱者の歌唱による歌唱音声信号を取得するだけで、歌詞テロップ色替えデータを自動的に作成することができる。従って、従来のように専門家が手作業で歌詞テロップ色替えデータを作成する必要がない。すなわち、本実施形態に係るカラオケ装置１によれば、カラオケ楽曲の演奏時に表示される歌詞の色替えを制御するためのデータを容易に生成することができる。

【0067】

＜第２実施形態＞
次に、図５〜図７を参照して、第２実施形態に係るカラオケ装置１について説明する。本実施形態においては、公知の視線検出技術を利用して、色替えを開始する時間を設定する構成について述べる。第１実施形態と同様の構成については詳細な説明を省略する。

【0068】

＝＝カラオケ装置＝＝
図５に示すように、本実施形態に係るカラオケ装置１は、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び視線検出器６０を備える。

【0069】

視線検出器６０は、カラオケ楽曲を歌唱する歌唱者の視線を検出する装置である。視線検出器６０は、公知の非接触小型視線検出システム（たとえば、小型視線検出システム「ＥｙｅＥｘｐｅｒｔ（登録商標）」、富士通株式会社）や、ゴーグル型のアイトラッキングシステム（モバイルアイトラッキングシステム「ＶｉｅｗＰｏｉｎｔ」、株式会社クレアクト）を用いることができる。カラオケ楽曲を歌唱する際、歌唱者は、表示された歌詞のうち、自らが歌唱しようとする文字に視線を向ける。視線検出器６０は、このような歌唱者の視線を検出する。なお、本実施形態における歌唱者は、第１実施形態で述べた模範歌唱者である。また、視線検出器６０は、カラオケ装置１から独立して設けられていてもよい。この場合、視線検出器６０は検出結果をカラオケ装置１に送信する。また、たとえば、視線検出器６０として小型視線検出システムを利用する場合、公知のシステムと同様、表示装置３０にシステム用の光源及び光学センサを配置する。

【0070】

（ソフトウェア構成）
図６はカラオケ本体１０のソフトウェア構成例を示す図である。カラオケ本体１０は、取得部１００、算出部２００、設定部３００、作成部４００、表示制御部５００、及び特定部６００を備える。取得部１００、算出部２００、設定部３００、表示制御部５００、及び特定部６００は、ＣＰＵ１１ａがメモリ１１ｂに記憶されるプログラムを実行することにより実現される。

【0071】

［表示制御部］
表示制御部５００は、歌詞テキストデータに基づく歌詞を、あるカラオケ楽曲の演奏に合わせて表示させる。

【0072】

歌詞テキストデータは、歌詞テロップ色替えデータとは別に作成される。従って、歌詞テロップ色替えデータが未だ作成されていない場合であっても、カラオケ楽曲の演奏に合わせて歌詞テキストデータに基づく歌詞を表示させることができる。従って、歌唱者は、表示された歌詞を参照しながら、カラオケ歌唱を行うことが可能である。但し、表示される歌詞の色替えはなされない。

【0073】

たとえば、カラオケ楽曲Ｘについて歌詞テロップ色替えデータを作成する場合、表示制御部５００は、カラオケ楽曲Ｘの歌詞テキストデータを記憶部１３から読み出し、カラオケ楽曲Ｘの演奏に合わせて歌詞を歌唱区間毎（たとえば「カモメなぜ鳴くの」、「カモメは海に」、・・・）に順次表示させる。なお、表示制御部５００は、歌詞テキストデータに含まれるタイミング情報に基づいて、歌詞の表示切り替えを行う。

【0074】

［特定部］
特定部６００は、表示された歌詞に含まれるある文字を視認する歌唱者の視線検出結果に基づいて、当該歌唱者が当該ある文字を視認したタイミングを特定する。

【0075】

上述のように、表示制御部５００が表示装置３０等にカラオケ楽曲Ｘの歌詞を表示させた場合、歌唱者は歌詞を参照することができる。一方、色替えは行われないため、歌唱者は、自らが歌唱しようとする文字に対して視線を向けることになる。特定部６００は、視線検出器６０による検出結果に基づいて、歌唱者がある文字に視線を向けたタイミング（すなわち、ある文字を視認したタイミング）を特定する。

【0076】

具体例として、「カモメは海に」という歌詞が表示装置３０に表示された場合、歌唱者は、歌唱すべき「カ」の文字を視認した後、「カ」の文字の歌唱を行う。この場合、視線検出器６０は、「カ」の文字に対する視線を検出する。視線検出器６０は、視線を検出した旨の信号を特定部６００に出力する。特定部６００は、当該信号を受信した時間（最初の文字を歌唱してからの経過時間）を「カ」の文字を視認したタイミングとして特定する。視線の検出は、歌詞に含まれる文字毎に行ってもよいし、歌唱区間毎や文節毎（先頭の文字）であってもよい。

【0077】

［設定部］
本実施形態に係る設定部３００は、特定されたある文字を視認したタイミングに基づいて、当該ある文字の色替えを開始する時間を設定する。

【0078】

たとえば、上記例において、「カ」の文字を視認したタイミングが最初の文字を歌唱してから７．７５ｓｅｃであったとする。この場合、色替え開始時間設定部３００は、当該時間を「カ」の文字の色替えを開始する時間として設定する。

【0079】

＝＝カラオケ装置１の動作について＝＝
次に、図７を参照して本実施形態におけるカラオケ装置１の動作の具体例について述べる。図７は、カラオケ装置１の動作例を示すフローチャートである。ここでは、カラオケ楽曲Ｘの歌詞テロップ色替えデータを作成する例について述べる。

【0080】

カラオケ装置１は、伴奏データに基づいて、カラオケ楽曲Ｘの演奏を行う。表示制御部５００は、カラオケ楽曲Ｘの伴奏データに合わせて表示装置３０にカラオケ楽曲Ｘの歌詞を表示させる（演奏に合わせて歌詞を表示。ステップ２０）。模範歌唱者は、表示された歌詞を参照しながら、カラオケ楽曲Ｘの演奏に合わせて歌唱を行う。カラオケ装置１は、模範歌唱者の歌唱音声信号を取得する（歌唱音声信号の取得。ステップ２１）。また、視線検出器６０は、表示された歌詞を参照する模範歌唱者の視線を検出し、検出結果を設定部３００に出力する（視線の検出。ステップ２２）。

【0081】

取得部１００は、ステップ２１で得られた歌唱音声信号に基づいて、発声された複数の仮名に相当する発声テキスト情報、及び当該複数の仮名それぞれを発声したタイミングに相当する仮名発声タイミング情報を含む発声データを取得する（発声データの取得。ステップ２３）。

【0082】

算出部２００は、ステップ２３で取得した発声データ、及びカラオケ楽曲Ｘの歌詞に相当する歌詞テキストデータに基づいて、カラオケ楽曲Ｘの歌詞を表示した際の色替えに要する時間に相当する色替え情報を文字毎に算出する（色替え情報の算出。ステップ２４）。

【0083】

一方、特定部６００は、ステップ２２における視線検出結果に基づいて、模範歌唱者がある文字を視認したタイミングを特定する（視認したタイミングの特定。ステップ２５）。

【0084】

設定部３００は、ステップ２５で特定されたある文字を視認したタイミングに基づいて、色替えを開始する時間を設定する（色替えを開始する時間の設定。ステップ２６）。

【0085】

作成部４００は、ステップ２４で算出された色替え情報、及びステップ２６で設定された色替えを開始する時間を関連付けることにより、カラオケ楽曲Ｘの演奏時に歌詞テキストデータに基づいて表示される歌詞の色替えを制御するための歌詞テロップ色替えデータを作成する（歌詞テロップ色替えデータの作成。ステップ２７）。

【0086】

更に、作成部４００は、歌詞テキストデータにステップ２７で作成された歌詞テロップ色替えデータを関連付けることにより、カラオケ楽曲Ｘの歌詞テロップデータを作成する（歌詞テロップデータの作成。ステップ２８）。

【0087】

このように、本実施形態に係るカラオケ装置１は、歌詞テキストデータに基づく歌詞を、あるカラオケ楽曲のカラオケ演奏に合わせて表示させる表示制御部５００、及び表示された歌詞に含まれるある文字を視認する歌唱者の視線検出結果に基づいて、当該歌唱者が当該ある文字を視認したタイミングを特定する特定部６００を有する。また、設定部３００は、特定されたある文字を視認したタイミングに基づいて、当該ある文字の色替えを開始する時間を設定する。

【0088】

上述の通り、歌唱者は自らが歌唱しようとする文字に対して視線を向ける。つまり、視線を向けたタイミングは、文字の色替えを開始するのに適したタイミングであるといえる。そこで、本実施形態に係るカラオケ装置１は、その視線を検出して、色替えを開始する時間を設定する。従って、実際のカラオケ歌唱に適した歌詞テロップ色替えデータを作成できる。

【0089】

＜その他＞
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0090】

１ カラオケ装置
１０ カラオケ本体
１１ 制御部
１００ 取得部
２００ 算出部
３００ 設定部
４００ 作成部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4】

【図5】

【図6】

【図7】