(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-27
(45)【発行日】2025-06-04
(54)【発明の名称】カラオケシステム
(51)【国際特許分類】
G10K 15/04 20060101AFI20250528BHJP
【FI】
G10K15/04 302D
(21)【出願番号】P 2021161950
(22)【出願日】2021-09-30
【審査請求日】2024-07-17
(73)【特許権者】
【識別番号】390004710
【氏名又は名称】株式会社第一興商
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】岡田 勇太
【審査官】冨澤 直樹
(56)【参考文献】
【文献】特開2007-264569(JP,A)
【文献】特開2000-181466(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10K 15/04
(57)【特許請求の範囲】
【請求項1】
サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、
前記サーバ装置は、
楽曲の楽曲識別情報、当該楽曲を歌唱した歌唱者の歌唱者識別情報、当該歌唱者が当該楽曲を歌唱した歌唱音声に対応する歌唱音声データ、及び当該歌唱音声データから抽出された特徴情報を紐付けて記憶する情報記憶部と、
前記カラオケ装置の利用者により、ある楽曲及び特定の歌唱者が選択された場合、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者の歌唱者識別情報に紐付けられている特徴情報と、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者とは異なる他の歌唱者の歌唱者識別情報に紐付けられている特徴情報とを比較することにより求めた、類似度に基づいて、他の歌唱者の歌唱音声に対応する歌唱音声データを少なくとも一つ特定する特定部と、
前記特定の歌唱者の歌唱音声に対応する歌唱音声データ、及び特定した前記他の歌唱者の歌唱音声に対応する歌唱音声データを前記カラオケ装置に送信する送信処理部と、
を有し、
前記カラオケ装置は、
前記ある楽曲の歌唱区間の少なくとも1つに対し、前記特定の歌唱者の当該歌唱区間に対応する歌唱音声データを割り当て、それ以外の他の歌唱区間に対し、特定した前記他の歌唱者の当該他の歌唱区間に対応する歌唱音声データを割り当てることにより、コンテンツデータを生成するコンテンツ生成部と、
前記ある楽曲のカラオケ演奏に併せて前記コンテンツデータを再生することにより歌唱音声を放音させ、且つ再生終了後、前記特定の歌唱者の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させるコンテンツ実行部と、
を有するカラオケシステム。
【請求項2】
前記コンテンツ生成部は、前記他の歌唱区間に前記他の歌唱者の歌唱音声データを割り当てる場合に、当該他の歌唱区間における類似度が最も高い歌唱音声データを割り当てることを特徴とする請求項1記載のカラオケシステム。
【請求項3】
前記コンテンツ生成部は、前記他の歌唱区間に前記他の歌唱者の歌唱音声データを割り当てる場合に、当該他の歌唱区間における特定の歌唱者の特徴情報に応じて補正した歌唱音声データを割り当てることを特徴とする請求項1または2に記載のカラオケシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカラオケシステムに関する。
【背景技術】
【0002】
カラオケシステムは、カラオケ装置を利用した様々なコンテンツを提供することができる。たとえば、利用者がカラオケ歌唱を行う際、アーティストの歌唱を真似ることがある(所謂、歌まね)。このような歌まねを評価するコンテンツを実施可能なカラオケシステムが提案されている。
【0003】
たとえば、特許文献1には、模範歌唱及び模範歌唱に対する歌い手の歌唱の音声信号から抽出したそれぞれの音声の特徴点に対する特定話者単語音声認識処理を行い、この処理で得られる音質、発生単語の長さを比較し、この比較での離れ状態である距離値から模範歌唱と歌唱との類似度を示す採点信号を出力、表示する技術が開示されている。また、特許文献2には、歌唱基準リファレンスデータ記憶手段が、カラオケ楽曲毎に、その歌唱基準である歌唱基準リファレンスデータを記憶し、歌まねリファレンスデータ記憶手段が、原アーティスト毎に、その歌唱特徴、発現位置及び発現区間を含んだ歌まねリファレンスデータを記憶し、歌唱採点手段が、利用者が任意のカラオケ楽曲を歌唱した際に、マイクロホンより入力された当該利用者の音声信号から抽出した歌唱評価データと、当該カラオケ楽曲の歌唱基準リファレンスデータと、当該カラオケ楽曲の原アーティストに対応した歌まねリファレンスデータとに基づいて、歌まねの巧拙を採点する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平11-259081号公報
【文献】特開2013-231881号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、特定の歌唱者の歌唱音声が放音された歌唱区間を当てる新規なコンテンツを実施可能なカラオケシステムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するための一の発明は、サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、前記サーバ装置は、楽曲の楽曲識別情報、当該楽曲を歌唱した歌唱者の歌唱者識別情報、当該歌唱者が当該楽曲を歌唱した歌唱音声に対応する歌唱音声データ、及び当該歌唱音声データから抽出された特徴情報を紐付けて記憶する情報記憶部と、前記カラオケ装置の利用者により、ある楽曲及び特定の歌唱者が選択された場合、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者の歌唱者識別情報に紐付けられている特徴情報と、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者とは異なる他の歌唱者の歌唱者識別情報に紐付けられている特徴情報とを比較することにより求めた、類似度に基づいて、他の歌唱者の歌唱音声に対応する歌唱音声データを少なくとも一つ特定する特定部と、前記特定の歌唱者の歌唱音声に対応する歌唱音声データ、及び特定した前記他の歌唱者の歌唱音声に対応する歌唱音声データを前記カラオケ装置に送信する送信処理部と、を有し、前記カラオケ装置は、前記ある楽曲の歌唱区間の少なくとも1つに対し、前記特定の歌唱者の当該歌唱区間に対応する歌唱音声データを割り当て、それ以外の他の歌唱区間に対し、特定した前記他の歌唱者の当該他の歌唱区間に対応する歌唱音声データを割り当てることにより、コンテンツデータを生成するコンテンツ生成部と、前記ある楽曲のカラオケ演奏に併せて前記コンテンツデータを再生することにより歌唱音声を放音させ、且つ再生終了後、前記特定の歌唱者の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させるコンテンツ実行部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【0007】
本発明によれば、特定の歌唱者の歌唱音声が放音された歌唱区間を当てるコンテンツを実施できる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係るカラオケシステムを示す図である。
【
図3】実施形態に係るカラオケ装置を示す図である。
【
図4】実施形態に係るカラオケ本体を示す図である。
【
図5】実施形態に係るカラオケシステムの処理を示すフローチャートである。
【
図6】実施形態に係るリモコン装置の表示画面を示す図である。
【
図7】実施形態における楽曲Xの各歌唱区間における類似度を示す図である。
【
図8】実施形態における楽曲Xの各歌唱区間に対して割り当てた歌唱音声データを示す図である。
【
図9A】実施形態に係る表示装置に表示される解答画面を示す図である。
【
図9B】実施形態に係る表示装置に表示される解答画面を示す図である。
【発明を実施するための形態】
【0009】
<実施形態>
図1~
図9Bを参照して、実施形態に係るカラオケシステムについて説明する。
【0010】
==カラオケシステム==
図1に示すように、カラオケシステム1は、カラオケ装置K及びサーバ装置Sを含む。カラオケ装置Kは、ネットワークNを介してサーバ装置Sと通信可能に接続されている。ネットワークNは、たとえば公衆電話回線網やインターネット回線等の伝送路である。
【0011】
サーバ装置Sは、各種情報を管理するコンピュータである。サーバ装置Sは、ネットワークNを介してカラオケ装置K以外の他のカラオケ装置(図示なし)とも通信可能となっている。
【0012】
==サーバ装置==
図2に示すように、サーバ装置Sは、記憶手段10、通信手段20、及び制御手段30を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0013】
[記憶手段]
記憶手段10は、各種のデータを記憶する大容量の記憶装置である。本実施形態において、記憶手段10の記憶領域の一部は、情報記憶部100として機能する。
【0014】
(情報記憶部)
情報記憶部100は、楽曲の楽曲識別情報、当該楽曲を歌唱した歌唱者の歌唱者識別情報、当該歌唱者の歌唱音声に対応する歌唱音声データ、及び当該歌唱音声データから抽出された特徴情報を紐付けて記憶する。
【0015】
楽曲識別情報は、個々の楽曲を識別するための楽曲ID等、各楽曲に固有の情報である。歌唱者識別情報は、個々の歌唱者を識別するための歌唱者ID等、各歌唱者に固有の情報である。歌唱者は、サーバ装置Sと通信可能に接続されているカラオケ装置においてカラオケ歌唱を行った利用者、またはカラオケ歌唱可能な楽曲を歌唱するアーティスト本人である。歌唱音声データは、楽曲を歌唱した歌唱音声に対応するデータである。
【0016】
特徴情報は、歌唱音声データから抽出した情報である。すなわち、ある楽曲を歌唱した歌唱音声に対応する歌唱音声データと、当該歌唱音声データから抽出した特徴情報とは一対一に対応している。
【0017】
特徴情報は、具体的には、歌唱音声データの時系列におけるピッチ及び/または音量の推移である。また、特徴情報は、特殊な歌唱方法等に関する情報を含んでもよい。特殊な歌唱方法の種別は、ビブラートタイプ(上昇型、下降型、ペナント型)、シャープ傾向(リファレンスデータの音高に対してシャープする傾向の弱・強)、フラット傾向(リファレンスデータの音高に対してフラットする傾向の弱・強)、伴奏に対する発音位置のずれ(伴奏に対してカラオケ歌唱のタイミングを遅くする手法(所謂タメ)、伴奏に対してカラオケ歌唱のタイミングを早める手法(所謂走り))、フォール、ヒーカップ、シャクリ、ファルセット、コブシ、声質(ブレッシー、ハスキー、クリア等)等である。
【0018】
たとえば、利用者がカラオケ装置Kを介して自己の歌唱者IDを入力し、カラオケシステム1にログインしたとする。そして、利用者は、カラオケ装置Kにおいて選曲した、ある楽曲のカラオケ歌唱を行ったとする。この場合、カラオケ装置Kは、カラオケ歌唱の歌唱音声に対応する歌唱音声データを公知の手法を用いて解析する。具体的に、カラオケ装置Kは、歌唱音声データから、所定時間長(たとえば10~20msec)のフレーム単位で1サンプルずつ時系列にピッチ及び/または音量を抽出し、ある楽曲の演奏開始を基準とするフレーム単位の経過時間に関連付けることにより、特徴情報を求める。或いは、カラオケ装置Kは、公知の歌唱採点機能を利用することにより、カラオケ歌唱中に特殊な歌唱方法を検知し、その歌唱方法の種別、及び検知した際の経過時間(ある楽曲の演奏開始を基準とするフレーム単位の経過時間)、歌唱方法を検知している継続時間等を特徴情報に含めてもよい。
【0019】
カラオケ装置Kは、ある楽曲の楽曲ID、利用者の歌唱者ID、当該利用者の歌唱音声に対応する歌唱音声データ、及び当該歌唱音声データから抽出された特徴情報を紐付けてサーバ装置Sに送信する。サーバ装置Sは、受信した各種情報を情報記憶部100に記憶させる。
【0020】
一方、アーティスト本人の歌唱音声データは、たとえば、ガイドボーカルの音声を録音する際に取得した歌唱音声データを流用することができる。特徴情報の抽出は、カラオケ歌唱の歌唱音声データから抽出する場合と同様の手法を用いることができる。
【0021】
[通信手段]
通信手段20は、カラオケ装置Kとの通信を行うためのインターフェースを提供する。
【0022】
[制御手段]
制御手段30は、サーバ装置Sにおける各種の制御を行う。制御手段30は、CPUおよびメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
【0023】
本実施形態においては、メモリに記憶される歌唱区間当てコンテンツのプログラムをCPUが実行することにより、制御手段30は、特定部200及び送信処理部300として機能する。歌唱区間当てコンテンツは、特定の歌唱者の歌唱音声が放音された歌唱区間を当てるコンテンツである。
【0024】
(特定部)
特定部200は、カラオケ装置の利用者により、ある楽曲及び特定の歌唱者が選択された場合、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者の歌唱者識別情報に紐付けられている特徴情報と、当該ある楽曲の楽曲識別情報及び他の歌唱者の歌唱者識別情報に紐付けられている特徴情報とを比較することにより求めた、類似度に基づいて、他の歌唱者の歌唱音声に対応する歌唱音声データを少なくとも一つ特定する。
【0025】
通常、歌唱区間当てコンテンツは、複数の利用者により実施される。以下、楽曲及び特定の歌唱者を選択する利用者を「出題者」といい、歌唱区間を当てるゲームを行う利用者を「解答者」という場合がある。出題者は、カラオケ装置Kのリモコン装置50を操作し、歌唱区間当てコンテンツで使用する楽曲、及び特定の歌唱者を選択する。カラオケ装置Kは、選択された楽曲の楽曲識別情報、及び特定の歌唱者の歌唱者識別情報をサーバ装置Sに送信する。
【0026】
特定の歌唱者は、選択された楽曲を過去に歌唱したことがある歌唱者(すなわち、選択された楽曲を歌唱した歌唱音声に対応する歌唱音声データが情報記憶部100に記憶されている歌唱者)のうちの一人である。他の歌唱者は、特定の歌唱者とは異なる歌唱者であって、選択された楽曲を過去に歌唱したことがある歌唱者である。
【0027】
類似度は、特定の歌唱者の歌唱音声データから抽出した特徴情報と、他の歌唱者の歌唱音声データから抽出した特徴情報との一致度合いを示すものである。類似度は、特徴情報を構成するピッチ及び/または音量の推移を対比することにより求めることができる。
【0028】
たとえば、特定の歌唱者の歌唱音声データから抽出した特徴情報のフレームF1からフレームF20におけるピッチの平均値と、他の歌唱者の歌唱音声データから抽出した特徴情報のフレームF1からフレームF20におけるピッチの平均値とが所定のピッチ範囲内(たとえば、±30cent以内)であるとする。この場合、特定部200は、フレームF1からフレームF20における特徴情報が一致する(類似度が高い)と判断する。一方、特定の歌唱者の歌唱音声データから抽出した特徴情報のフレームF1からフレームF20におけるピッチの平均値と、他の歌唱者の歌唱音声データから抽出した特徴情報のフレームF1からフレームF20におけるピッチの平均値とが所定のピッチ範囲外であるとする。この場合、特定部200は、フレームF1からフレームF20における特徴情報が一致しない(類似度が低い)と判断する。
【0029】
或いは、特定の歌唱者の歌唱音声データから抽出した特徴情報の複数のフレームF100からF150において、歌唱方法の種別として上昇型のビブラートが検知されており、他の歌唱者の歌唱音声データから抽出した特徴情報の複数のフレームF90からF140において、歌唱方法の種別として上昇型のビブラートが検知されているとする。この場合、特定部200は、複数のフレームF100からF140における特徴情報が一致すると判断する。一方、特定の歌唱者の歌唱音声データから抽出した特徴情報の複数のフレームF100からF150において、歌唱方法の種別として上昇型のビブラートが検知されており、他の歌唱者の歌唱音声データから抽出した特徴情報の複数のフレームF90からF140において、歌唱方法の種別として下降型のビブラートが検知されているとする。この場合、特定部200は、複数のフレームF100からF140における特徴情報が一致しないと判断する。
【0030】
特定部200は、楽曲を構成する全ての歌唱区間(全てのフレーム)において特徴情報が一致するかどうかの判断を行うことにより、特定の歌唱者の歌唱音声データから抽出した特徴情報と他の歌唱者の歌唱音声データから抽出した特徴情報との類似度を求める。特徴情報が一致するフレームの数が多いほど、特徴情報全体の類似度が高くなる。類似度は、たとえば、「0%(全てのフレームで特徴情報が一致しない)~100%(全てのフレームで特徴情報が一致する)」の割合で示すことができる。
【0031】
特定部200は、類似度に基づいて、他の歌唱者の歌唱音声に対応する歌唱音声データを特定する。
【0032】
特定する歌唱音声データの数は、少なくとも一つあればよい。たとえば、特定部200は、類似度が予め設定した基準値(たとえば、80%以上)を満たす歌唱音声データを特定することができる。
【0033】
或いは、特定部200は、楽曲を構成する演奏区間、より具体的には歌唱区間の種類に応じて、歌唱音声データを特定することができる。演奏区間は、カラオケ演奏が行われる区間である。演奏区間は、歌唱区間及び非歌唱区間を含む。歌唱区間は、たとえば、Aメロ、Bメロ、Cメロ、サビ等のような、ある楽曲において歌唱すべき歌詞が設定されている区間である。非歌唱区間は、たとえば前奏、間奏、後奏を構成する1小節のような、ある楽曲において歌唱すべき歌詞が設定されていない区間である。
【0034】
ここで、ある楽曲が、前奏、1番のAメロ、1番のBメロ、1番のサビ、間奏、2番のAメロ、2番のBメロ、2番のサビ、間奏、サビ、後奏の演奏区間で構成されているとする。この場合、歌唱区間の種類は、3種類(Aメロ、Bメロ、サビ)となる。このうち、少なくとも1つの歌唱区間に対しては、特定の歌唱者の歌唱音声に対応する歌唱音声データを割り当てる必要がある(詳細は後述)。そこで、特定部200は、他の歌唱者の歌唱音声に対応する歌唱音声データとして、類似度が高い順に2つの歌唱音声データを特定することができる。
【0035】
(送信処理部)
送信処理部300は、特定の歌唱者の歌唱音声に対応する歌唱音声データ、及び特定した他の歌唱者の歌唱音声に対応する歌唱音声データをカラオケ装置に送信する。
【0036】
上記例において、送信処理部300は、カラオケ装置Kから受信した特定の歌唱者の歌唱者識別情報に基づいて、情報記憶部100から、当該歌唱者識別情報に紐付けられている歌唱音声データを読み出す。また、送信処理部300は、情報記憶部100から、特定部200により特定された他の歌唱者の歌唱音声に対応する歌唱音声データを読み出す。送信処理部300は、読み出した歌唱音声データをカラオケ装置Kに送信する。
【0037】
==カラオケ装置==
カラオケ装置Kは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。
図3に示すように、カラオケ装置Kは、カラオケ本体40、スピーカ50、表示装置60、マイク70、及びリモコン装置80を備える。
【0038】
カラオケ本体40は、選曲された楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク70を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ50は、カラオケ本体40からの信号に基づいて放音するための構成である。表示装置60は、カラオケ本体40からの信号に基づいて映像や画像を画面に表示するための構成である。マイク70は、歌唱者のカラオケ歌唱に基づく歌唱音声をアナログの音声信号に変換してカラオケ本体40に入力するための構成である。リモコン装置80は、カラオケ本体40に対する各種操作をおこなうための装置である。
【0039】
図4に示すように、カラオケ本体40は、記憶手段40a、通信手段40b、入力手段40c、演奏手段40d、及び制御手段40eを備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0040】
[記憶手段]
記憶手段40aは、各種のデータを記憶する大容量の記憶装置である。記憶手段40aは、楽曲データを記憶する。
【0041】
楽曲データは、楽曲識別情報が付与されている。楽曲データは、伴奏データ、リファレンスデータ、演奏区間情報を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、楽曲の主旋律を示すデータである。演奏区間情報は、楽曲を構成する演奏区間の順番及び種類を示す情報である。また、記憶手段40aは、カラオケ演奏に合わせて楽曲の歌詞を表示装置60等に表示させるための歌詞テロップデータや、カラオケ演奏時に表示装置60等に表示される背景映像等の背景映像データを楽曲毎に記憶する。
【0042】
[通信手段・入力手段]
通信手段40bは、リモコン装置80やサーバ装置Sとの通信を行うためのインターフェースを提供する。入力手段40cは、利用者が各種の指示入力を行うための構成である。入力手段40cは、カラオケ本体40に設けられたボタン等である。或いは、リモコン装置80が入力手段40cとして機能してもよい。
【0043】
[演奏手段]
演奏手段40dは、制御手段40eの制御に基づき、楽曲のカラオケ演奏及びマイク70を通じて入力された歌唱音声に基づく信号の処理を行う。演奏手段40dは、音源、ミキサ、アンプ等を含む(いずれも図示なし)。
【0044】
[制御手段]
制御手段40eは、カラオケ装置Kにおける各種の制御を行う。制御手段40eは、CPUおよびメモリ(いずれも図示なし)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
【0045】
本実施形態においては、メモリに記憶される歌唱区間当てコンテンツのプログラムをCPUが実行することにより、制御手段40eは、コンテンツ生成部400及びコンテンツ実行部500として機能する。
【0046】
(コンテンツ生成部)
コンテンツ生成部400は、ある楽曲の歌唱区間の少なくとも1つに対し、特定の歌唱者の当該歌唱区間に対応する歌唱音声データを割り当て、それ以外の他の歌唱区間に対し、特定した他の歌唱者の当該他の歌唱区間に対応する歌唱音声データを割り当てることにより、コンテンツデータを生成する。
【0047】
コンテンツデータは、歌唱区間当てコンテンツを実施する際に用いるデータである。
【0048】
コンテンツ生成部400は、選曲された楽曲の歌唱区間の少なくとも1つに対し、特定の歌唱者の当該歌唱区間に対応する歌唱音声データを割り当てる。一方、コンテンツ生成部400は、それ以外の他の歌唱区間に対しては、特定した他の歌唱者の当該他の歌唱区間に対応する歌唱音声データを割り当てる。コンテンツ生成部400は、選曲された楽曲の全ての歌唱区間それぞれに対して一つずつ歌唱音声データを割り当てることにより、コンテンツデータを完成させる。
【0049】
ここで、コンテンツ生成部400は、ある歌唱区間に対して割り当てる歌唱音声データの選択をランダムに行うことができる。たとえば、ある楽曲の歌唱区間がAメロ、Bメロ、サビの3種類あり、他の歌唱者の歌唱音声に対応する歌唱音声データとして、2つの歌唱音声データ(歌唱音声データSD1及びSD2)が特定されたとする。
【0050】
この場合、コンテンツ生成部400は、ある楽曲のAメロの歌唱区間に対し、特定の歌唱者の歌唱音声データのうち、Aメロの歌唱区間に対応する歌唱音声データを割り当てる。一方、コンテンツ生成部400は、ある楽曲のBメロの歌唱区間に対し、歌唱音声データSD1のうち、Bメロの歌唱区間に対応する歌唱音声データを割り当て、ある楽曲のサビの歌唱区間に対し、歌唱音声データSD2のうち、サビの歌唱区間に対応する歌唱音声データを割り当てる。
【0051】
また、コンテンツ生成部400は、他の歌唱区間に他の歌唱者の歌唱音声データを割り当てる場合に、当該他の歌唱区間における類似度が最も高い歌唱音声データを割り当てることができる。
【0052】
たとえば、上記例において、コンテンツ生成部400は、Bメロの歌唱区間において、他の歌唱者の歌唱音声データSD1及びSD2について、特定部200で求められた特徴情報の類似度を参照する。コンテンツ生成部400は、類似度が高い方の特徴情報に対応する他の歌唱者の歌唱音声データを、Bメロの歌唱区間に対して割り当てる。同様に、コンテンツ生成部400は、類似度が高い方の特徴情報に対応する他の歌唱者の歌唱音声データを、サビの歌唱区間に対して割り当てる。
【0053】
なお、上記例において、異なる歌唱区間に対して、同じ他の歌唱者の歌唱音声データが割り当てられる場合もありうる。たとえば、Bメロの歌唱区間とサビの歌唱区間で同じ他の歌唱者の歌唱音声データSD1が割り当てられる場合もありうる。
【0054】
(コンテンツ実行部)
コンテンツ実行部500は、ある楽曲のカラオケ演奏に併せてコンテンツデータを再生することにより歌唱音声を放音させ、且つ再生終了後、特定の歌唱者の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させる。
【0055】
コンテンツデータが完成した後、コンテンツ実行部500は、記憶手段40aからある楽曲の伴奏データを読み出し、演奏手段40dを制御して、ある楽曲のカラオケ演奏を開始させる。また、コンテンツ実行部500は、演奏手段40dを制御して、カラオケ演奏に併せてコンテンツデータを再生させる。スピーカ50からは、カラオケ演奏に合わせて歌唱音声データに基づく歌唱音声が放音される。解答者は、放音される歌唱音声を聴きながら誰の歌唱であるかを予想する。
【0056】
再生終了後、コンテンツ実行部500は、表示装置60の表示画面に、特定の歌唱者の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させる。
【0057】
解答者は、リモコン装置80を操作して、正解と考える歌唱区間を選択する。コンテンツ実行部500は、選択された歌唱区間が特定の歌唱者の歌唱音声が放音された歌唱区間である場合に「正解」を報知し、選択された歌唱区間が特定の歌唱者の歌唱音声が放音された歌唱区間でない場合に「不正解」を報知する。
【0058】
たとえば、コンテンツ実行部500は、表示装置60の表示画面に「正解」または「不正解」の文字を表示させることにより、正誤の報知を行う。或いは、コンテンツ実行部500は、スピーカ50から「正解」または「不正解」の音声を放音させることにより、正誤の報知を行う。
【0059】
なお、解答者が所有するスマートフォン等の携帯端末に、歌唱区間当てコンテンツ用のアプリケーションソフトウェアが予めインストールされている場合、解答者は、携帯端末を操作して正解と考える歌唱区間を選択することも可能である。この場合、コンテンツ実行部500は、携帯端末から送信された選択結果に応じて、「正解」または「不正解」の判定結果を携帯端末に送信する。携帯端末は、受信した判定結果を表示画面に表示させる。
【0060】
==カラオケシステムにおける処理について==
次に、
図5から
図9Bを参照して本実施形態に係るカラオケシステム1における処理について述べる。
図5は、カラオケシステム1における処理を示すフローチャートである。
図6は、リモコン装置80の表示画面を示す。
図7は、楽曲X(後述)の各歌唱区間における類似度を示す。
図8は、楽曲X(後述)の各歌唱区間に対して割り当てた歌唱音声データを示す。
図9A及び
図9Bは、表示装置60に表示される解答画面を示す。この例では、利用者U1及び利用者U2の2名がカラオケ装置Kを利用するとする。また、情報記憶部100は、楽曲の楽曲識別情報、当該楽曲を歌唱した歌唱者の歌唱者識別情報、当該歌唱者が当該楽曲を歌唱した歌唱音声に対応する歌唱音声データ、及び当該歌唱音声データから抽出された特徴情報を紐付けて記憶しているとする。
【0061】
一の利用者がカラオケ装置Kのリモコン装置80を操作し、歌唱区間当てコンテンツを選択した場合、カラオケ装置Kは、歌唱当てコンテンツを開始する(歌唱区間当てコンテンツを開始。ステップ10)。
【0062】
一の利用者は、リモコン装置80を操作し、歌唱区間当てコンテンツで使用する楽曲を選曲する。カラオケ装置Kは、選曲された楽曲の楽曲IDをサーバ装置Sに送信する(選曲された楽曲の楽曲IDを送信。ステップ11)。
【0063】
サーバ装置Sは、受信した楽曲の楽曲IDに紐付けられている歌唱者IDに基づいて、歌唱者のリストを作成する。サーバ装置Sは、作成した歌唱者のリストをカラオケ装置Kに送信する(歌唱者のリストを送信。ステップ12)。
【0064】
一の利用者は、リモコン装置80を操作し、特定の歌唱者を選択する。カラオケ装置Kは、選択された特定の歌唱者の歌唱者IDをサーバ装置Sに送信する(選択された特定の歌唱者の歌唱者IDを送信。ステップ13)。
【0065】
具体的に、リモコン装置80は、楽曲の検索リストを表示する。利用者U1は、検索リストを使用して楽曲Xを選曲する。楽曲Xは、前奏、1番のAメロ、1番のBメロ、1番のサビ、間奏、2番のAメロ、2番のBメロ、2番のサビ、間奏、Cメロ、サビ、後奏の演奏区間で構成されているとする。
【0066】
カラオケ装置Kは、リモコン装置80を介して利用者U1が選曲した楽曲Xの楽曲IDをサーバ装置Sに送信する。サーバ装置Sは、情報記憶部100を参照し、楽曲Xの楽曲IDに紐付けられている歌唱者IDに基づいて、歌唱者のリストを作成する。サーバ装置Sは、作成した歌唱者のリストをカラオケ装置Kに送信する。カラオケ装置Kのリモコン装置80は、歌唱者のリストを表示させる(
図6参照)。利用者U1は、歌唱者のリストの中から利用者U1自身を選択し、歌唱区間当てコンテンツの実行アイコンを選択する。カラオケ装置Kは、選択された利用者U1の歌唱者IDをサーバ装置Sに送信する。この例において、利用者U1は「出題者」及び「特定の歌唱者」に相当する。
【0067】
次に、サーバ装置Sの特定部200は、ステップ11で送信された楽曲の楽曲ID及びステップ13で送信された歌唱者の歌唱者IDに紐付けられている特徴情報と、楽曲の楽曲ID及び歌唱者とは異なる他の歌唱者の歌唱者IDに紐付けられている特徴情報とを比較することにより求めた、類似度に基づいて、他の歌唱者の歌唱音声に対応する歌唱音声データを少なくとも一つ特定する(他の歌唱者の歌唱音声に対応する歌唱音声データを特定。ステップ14)。
【0068】
サーバ装置Sの送信処理部300は、特定の歌唱者の歌唱音声に対応する歌唱音声データ、及びステップ14で特定した他の歌唱者の歌唱音声に対応する歌唱音声データをカラオケ装置Kに送信する(歌唱音声データを送信。ステップ15)。
【0069】
具体的に、特定部200は、情報記憶部100を参照し、楽曲Xの楽曲ID及び利用者U1の歌唱者IDに紐付けられている特徴情報CU1を読み出す。同様に、特定部200は、楽曲Xの楽曲ID及び楽曲Xの楽曲IDが紐付けられている利用者U1とは異なる他の歌唱者(アーティストP、及び利用者U3~利用者Un)の歌唱者IDに紐付けられている特徴情報CP、CU3~CUnを読み出す。
【0070】
特定部200は、読み出した特徴情報CU1と、特徴情報CP、CU3~CUnそれぞれとを比較し、類似度を求める。この例において、特定部200は、類似度に基づいて、他の歌唱者である利用者U7~U9の歌唱音声に対応する歌唱音声データSD7~SD9を特定したとする。
【0071】
送信処理部300は、カラオケ装置Kから受信した利用者U1の歌唱者IDに基づいて、情報記憶部100から、当該歌唱者IDに紐付けられている歌唱音声データを読み出す。また、送信処理部300は、情報記憶部100から、特定部200により特定された利用者U7~U9の歌唱音声に対応する歌唱音声データSD7~SD9を読み出す。送信処理部300は、読み出した歌唱音声データをカラオケ装置Kに送信する。
【0072】
次に、コンテンツ生成部400は、楽曲の歌唱区間の少なくとも1つに対し、歌唱者の当該歌唱区間に対応する歌唱音声データを割り当て、それ以外の他の歌唱区間に対し、ステップ14で特定した他の歌唱者の当該他の歌唱区間に対応する歌唱音声データを割り当てることにより、コンテンツデータを生成する(コンテンツデータを生成。ステップ16)。
【0073】
具体的に、コンテンツ生成部400は、他の歌唱区間に利用者U7~U9の歌唱音声データSD7~SD9を割り当てる場合に、当該他の歌唱区間における類似度が最も高い歌唱音声データを割り当てる。
【0074】
図7は、特定部200が求めた、楽曲Xの各歌唱区間における類似度を示したものである。この例において、類似度は5段階(数字が大きいほど類似度が高い)で示している。
【0075】
たとえば、Aメロの歌唱区間において、歌唱音声データSD7に対応する類似度は「2」であり、歌唱音声データSD8に対応する類似度は「3」であり、歌唱音声データSD9に対応する類似度は「5」である。この場合、コンテンツ生成部400は、Aメロの歌唱区間に対して、歌唱音声データSD9のうち、Aメロの歌唱区間に対応する歌唱音声データを割り当てる。なお、
図7に示したサビの歌唱区間のように、同じ類似度を示す歌唱音声データが複数存在する場合もありうる。この場合、コンテンツ生成部400は、いずれか一つの歌唱音声データを選択して割り当てる。
【0076】
また、コンテンツ生成部400は、いずれかの歌唱区間に対して、利用者U1の歌唱音声データを割り当てる必要がある。ここで、
図7に示したように、Bメロの歌唱区間においては、歌唱音声データSD7~SD9いずれの類似度も低くなっている。よって、コンテンツ生成部400は、Bメロの歌唱区間に対して、利用者U1の歌唱音声データのうち、Bメロの歌唱区間に対応する歌唱音声データを割り当てる。
【0077】
図8は、楽曲Xの各歌唱区間に対して割り当てた歌唱音声データを示している。この例において、楽曲XのAメロの歌唱区間に対しては、歌唱音声データSD9が割り当てられ、楽曲XのBメロの歌唱区間に対しては、利用者U1の歌唱音声データが割り当てられ、楽曲XのCメロの歌唱区間に対しては、歌唱音声データSD7が割り当てられ、楽曲Xのサビの歌唱区間に対しては、歌唱音声データSD8が割り当てられている。
【0078】
次に、コンテンツ実行部500は、楽曲のカラオケ演奏に併せてコンテンツデータを再生することにより歌唱音声を放音させる(コンテンツデータに基づく歌唱音声を放音。ステップ17)。再生終了後(ステップ18でYの場合)、コンテンツ実行部500は、特定の歌唱者の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させる(解答画面を表示。ステップ19)。解答者の選択に基づいて、コンテンツ実行部500は、解答の正誤を表示させる(解答の正誤を表示。ステップ20)。
【0079】
具体的に、コンテンツ実行部500は、演奏手段40dを制御して、楽曲Xのカラオケ演奏に併せてステップ16で生成したコンテンツデータを再生させる。スピーカ50からは、カラオケ演奏に合わせて歌唱音声データに基づく歌唱音声が放音される。
【0080】
再生終了後、コンテンツ実行部500は、表示装置60の表示画面に、利用者U1の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させる(
図9A参照)。利用者U2は、リモコン装置80を操作して、正解と考える歌唱区間を選択する。この例において、利用者U2は「解答者」に相当する。
【0081】
選択された歌唱区間が特定の歌唱者の歌唱音声が放音された歌唱区間である場合、コンテンツ実行部500は、「正解」の文字を解答画面に表示させる(
図9B参照)。
【0082】
以上から明らかなように、本実施形態に係るカラオケシステム1は、サーバ装置Sとカラオケ装置Kとが通信可能に接続されている。サーバ装置Sは、楽曲の楽曲識別情報、当該楽曲を歌唱した歌唱者の歌唱者識別情報、当該歌唱者が当該楽曲を歌唱した歌唱音声に対応する歌唱音声データ、及び当該歌唱音声データから抽出された特徴情報を紐付けて記憶する情報記憶部100と、カラオケ装置Kの利用者により、ある楽曲及び特定の歌唱者が選択された場合、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者の歌唱者識別情報に紐付けられている特徴情報と、当該ある楽曲の楽曲識別情報及び当該特定の歌唱者とは異なる他の歌唱者の歌唱者識別情報に紐付けられている特徴情報とを比較することにより求めた、類似度に基づいて、他の歌唱者の歌唱音声に対応する歌唱音声データを少なくとも一つ特定する特定部200と、特定の歌唱者の歌唱音声に対応する歌唱音声データ、及び特定した他の歌唱者の歌唱音声に対応する歌唱音声データをカラオケ装置Kに送信する送信処理部300と、を有する。カラオケ装置Kは、ある楽曲の歌唱区間の少なくとも1つに対し、特定の歌唱者の当該歌唱区間に対応する歌唱音声データを割り当て、それ以外の他の歌唱区間に対し、特定した他の歌唱者の当該他の歌唱区間に対応する歌唱音声データを割り当てることにより、コンテンツデータを生成するコンテンツ生成部400と、ある楽曲のカラオケ演奏に併せてコンテンツデータを再生することにより歌唱音声を放音させ、且つ再生終了後、特定の歌唱者の歌唱音声が放音された歌唱区間を選択するための解答画面を表示させるコンテンツ実行部500とを有する。
【0083】
このようなカラオケ装置Kによれば、ある楽曲の歌唱区間の少なくとも1つに対し、特定の歌唱者の歌唱音声データを割り当て、それ以外の他の歌唱区間に対し、類似度に基づいて特定した他の歌唱者の歌唱音声データを割り当てることにより生成したコンテンツデータを用いて、歌唱区間当てコンテンツを楽しむことができる。すなわち、本実施形態に係るカラオケ装置Kによれば、特定の歌唱者の歌唱音声が放音された歌唱区間を当てる新規なコンテンツを実施できる。
【0084】
また、本実施形態に係るカラオケ装置Kにおけるコンテンツ生成部400は、他の歌唱区間に他の歌唱者の歌唱音声データを割り当てる場合に、当該他の歌唱区間における類似度が最も高い歌唱音声データを割り当てることができる。このようなカラオケ装置Kによれば、特定の歌唱者の歌唱音声と似ている、他の歌唱者の歌唱音声に対応する歌唱音声データを用いてコンテンツデータを生成することができる。
【0085】
<変形例>
上記実施形態において、特定された他の歌唱者の歌唱音声に対応する歌唱音声データの類似度がいずれも低い可能性もありうる。この場合、当該歌唱音声データを用いてコンテンツデータを作成したとしても、特定した歌唱者の歌唱音声との差が明確であるため、コンテンツを十分に楽しむことができない恐れがある。
【0086】
そこで、コンテンツ生成部400は、他の歌唱区間に他の歌唱者の歌唱音声データを割り当てる場合に、当該他の歌唱区間における特定の歌唱者の特徴情報に応じて補正した歌唱音声データを割り当てることができる。補正は、公知の技術(たとえば特開平10-187187号公報)を用いることができる。
【0087】
たとえば実施形態の例において、コンテンツ生成部400は、ある楽曲のBメロの歌唱区間に対して歌唱音声データSD1を割り当てる場合に、特定の歌唱者の歌唱音声データから抽出された特徴情報を用い、歌唱音声データSD1のピッチ及び/または音量を特定の歌唱者の歌唱音声データのピッチ及び/または音量に近似させる補正を行う。コンテンツ生成部400は、補正した歌唱音声データSD1をBメロの歌唱区間に対して割り当てる。
【0088】
このようなカラオケ装置Kによれば、特定された他の歌唱者の歌唱音声に対応する歌唱音声データの類似度がいずれも低い場合であっても、特定の歌唱者の歌唱音声に似た歌唱音声からなるコンテンツデータを生成することができる。よって、解答者は、歌唱区間当てコンテンツをより楽しむことができる。
【0089】
なお、コンテンツ生成部400は、類似度が予め設定されている基準値を満たすかどうかを判定し、基準値を満たさないと判定した場合にのみ、補正を行うことでもよい。
【0090】
また、カラオケ装置Kにおいて、コンテンツを選択する際に、難易度を設定できるようにしてもよい。高い難易度が設定された場合、コンテンツ生成部400は、類似度が低い歌唱音声データに対しては上述の補正を行い、補正した歌唱音声データを用いてコンテンツデータを生成する。一方、低い難易度が設定された場合、コンテンツ生成部400は、類似度が低い場合であっても歌唱音声データの補正を行わず、特定された歌唱音声データをそのまま用いてコンテンツデータを生成する。このようなカラオケ装置Kによれば、難易度に応じたコンテンツデータを生成することができる。よって、解答者は、歌唱区間当てコンテンツを様々な難易度で楽しむことができる。
【0091】
<その他>
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0092】
1 カラオケシステム
100 情報記憶部
200 特定部
300 送信処理部
400 コンテンツ生成部
500 コンテンツ実行部
K カラオケ装置
S サーバ装置