特許 6954780 カラオケ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6954780

(24)【登録日】2021年10月4日

(45)【発行日】2021年10月27日

(54)【発明の名称】カラオケ装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20211018BHJP

   G10L 25/51 20130101ALI20211018BHJP

   G10L 25/63 20130101ALI20211018BHJP

【ＦＩ】

   G10K15/04 302D

   G10L25/51 100

   G10L25/63

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2017-147475(P2017-147475)

(22)【出願日】2017年7月31日

(65)【公開番号】特開2019-28251(P2019-28251A)

(43)【公開日】2019年2月21日

【審査請求日】2020年4月22日

(73)【特許権者】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】鎌田 政之

【審査官】 渡邊 正宏

(56)【参考文献】

【文献】 特開２００７−２３３０７８（ＪＰ，Ａ）

【文献】 特開２００４−２４００６６（ＪＰ，Ａ）

【文献】 特開平０９−２１２４８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １５／００−１５／１２

Ｇ１０Ｌ ２５／５１

Ｇ１０Ｌ ２５／６３

(57)【特許請求の範囲】

【請求項1】

カラオケ楽曲を歌唱する際に表現すべき感情を示す感情リファレンスデータを歌唱区間毎に取得する感情リファレンスデータ取得部と、
前記カラオケ楽曲を歌唱することにより得られた歌唱音声を感情分析した歌唱感情データを前記歌唱区間毎に生成する歌唱感情データ生成部と、
前記感情リファレンスデータと前記歌唱感情データとを比較することにより、前記歌唱区間毎の感情表現の評価を行う感情表現評価部と、
を有し、
前記感情リファレンスデータは、前記歌唱感情データ生成部が生成可能な種類の歌唱感情データに対応する感情を示し、
前記感情リファレンスデータ及び前記歌唱感情データは、共通する複数の感情タイプで構成され、
前記感情表現評価部は、前記感情タイプ毎に前記感情リファレンスデータと前記歌唱感情データとの比較を行うカラオケ装置。

【請求項2】

前記歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する採点処理部と、
前記カラオケ楽曲の歌唱に基づく前記感情表現の評価及び前記採点値に基づいて、前記カラオケ楽曲の歌唱の評価を行うカラオケ歌唱評価部と、
を有することを特徴とする請求項１記載のカラオケ装置。

【請求項3】

前記感情リファレンスデータ取得部は、前記カラオケ楽曲の歌詞及び曲調の少なくとも一方に基づいて、前記感情リファレンスデータを取得することを特徴とする請求項１または２に記載のカラオケ装置。

【請求項4】

カラオケ楽曲の原曲歌手の歌唱音声を感情分析した歌唱感情データに基づく感情リファレンスデータを記憶する感情リファレンスデータ記憶部を有し、
前記感情リファレンスデータ取得部は、前記感情リファレンスデータ記憶部から前記感情リファレンスデータを取得することを特徴とする請求項１または２に記載のカラオケ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はカラオケ装置に関する。

【背景技術】

【0002】

カラオケ装置は、マイクにより入力された歌唱音声から抽出した歌唱音声データと、カラオケ演奏された楽曲の主旋律を示すリファレンスデータとを比較することにより、カラオケ歌唱の採点を行うことができる。

【0003】

たとえば、特許文献１には、カラオケ演奏に合わせてマイクから入力される歌唱音声信号から音高データ及び音長データを抽出し、カラオケ演奏に並行して読み出されるガイドメロディと比較することによって歌唱の巧拙を採点評価する技術が開示されている。

【0004】

一方、歌唱者の歌唱スキルには差があるため、一生懸命歌っていてもリファレンスデータとの乖離が大きい場合には十分な採点評価を得ることができない。そこで、特許文献２には、歌唱に相当する音声から感情の込め方と相関のある感情特徴量を抽出し、当該感情特徴量に基づいて歌唱に込められた感情を分析する技術が開示されている。このような技術によれば、歌唱者の感情表現を評価することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１０−６９２１６号公報

【特許文献2】特開平１０−１８７１７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、カラオケ楽曲（カラオケ楽曲に含まれる各歌唱区間）は、歌詞や曲調等により、楽しい雰囲気や哀しい雰囲気等、様々な雰囲気が表現されている。従って、カラオケ楽曲毎の雰囲気を考慮した感情表現を伴う歌唱は巧いカラオケ歌唱であるといえる。

【0007】

ここで、特許文献２に開示されている技術では、カラオケ楽曲の雰囲気に関わらず、一生懸命歌えば（たとえば音量や熱唱度が高くなれば）高評価になってしまう。すなわち、特許文献２に開示されている技術では、カラオケ楽曲の雰囲気を考慮した感情表現の評価を行うことができない。

【0008】

本発明の目的は、カラオケ楽曲の雰囲気にふさわしい感情表現で歌唱が行われているかを適切に評価可能なカラオケ装置を提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するための主たる発明は、カラオケ楽曲を歌唱する際に表現すべき感情を示す感情リファレンスデータを歌唱区間毎に取得する感情リファレンスデータ取得部と、前記カラオケ楽曲を歌唱することにより得られた歌唱音声を感情分析した歌唱感情データを前記歌唱区間毎に生成する歌唱感情データ生成部と、前記感情リファレンスデータと前記歌唱感情データとを比較することにより、前記歌唱区間毎の感情表現の評価を行う感情表現評価部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

【発明の効果】

【0010】

本発明によれば、カラオケ楽曲の雰囲気にふさわしい感情表現で歌唱が行われているかを適切に評価できる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係るカラオケ装置のハードウェア構成例を示す図である。

【図2】実施形態に係る装置本体のソフトウェア構成例を示す図である。

【図3】実施形態に係る単語−感情タイプデータベースに記憶されるデータ例を示す図である。

【図4】実施形態に係る曲調−感情タイプデータベースに記憶されるデータ例を示す図である。

【図5】実施形態に係るカラオケ楽曲に含まれる歌唱区間毎の歌詞及び曲調を示した図である。

【図6A】実施形態に係るカラオケ楽曲に含まれる歌唱区間毎の合計スコアを示した図である。

【図6B】実施形態に係る感情リファレンスデータを示した図である。

【図7】実施形態に係る歌唱感情データを示した図である。

【図8】実施形態に係る感情表現の評価を示した図である。

【図9】実施形態に係るカラオケ装置の処理を示すフローチャートである。

【図10】変形例に係る装置本体のソフトウェア構成例を示す図である。

【図11】変形例に係る感情リファレンスデータを示した図である。

【発明を実施するための形態】

【0012】

＜実施形態＞
図１〜図９を参照して、本実施形態に係るカラオケ装置１について説明する。

【0013】

＝＝カラオケ装置＝＝
カラオケ装置１は、歌唱者が選曲した楽曲のカラオケ演奏及び歌唱者がカラオケ歌唱を行うための装置である。図１に示すように、カラオケ装置１は、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、及びリモコン装置５０を備える。

【0014】

スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は歌唱者の歌唱音声（マイク４０からの入力音声）をアナログの歌唱音声信号に変換してカラオケ本体１０に入力するための構成である。

【0015】

（カラオケ本体のハードウェア）
図１に示すように、カラオケ本体１０は、制御部１１、通信部１２、記憶部１３、音響処理部１４、表示処理部１５及び操作部１６を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

【0016】

カラオケ本体１０は、選曲された楽曲のカラオケ演奏制御、歌詞や背景画像等の表示制御、マイク４０を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。

【0017】

制御部１１は、ＣＰＵ１１ａおよびメモリ１１ｂを備える。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。

【0018】

通信部１２は、ルーター（図示なし）を介してカラオケ本体１０を通信回線に接続するためのインターフェースを提供する。

【0019】

記憶部１３は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶部１３は、カラオケ装置１によりカラオケ演奏を行うための複数の楽曲データを記憶する。

【0020】

楽曲データは、個々のカラオケ楽曲を特定するための識別情報（楽曲ＩＤ）が付与されている。楽曲データは、伴奏データ、リファレンスデータ、背景画像データ、歌詞データ及び属性情報を含む。伴奏データは、カラオケ演奏音の元となるＭＩＤＩ形式のデータである。リファレンスデータは、歌唱者によるカラオケ歌唱を採点する際の基準として用いられるデータである。リファレンスデータは、ピッチ（音高）データ、音長データ、タイミングデータ等を含む。背景画像データは、カラオケ演奏時に合わせて表示装置３０等に表示される背景画像に対応するデータである。歌詞データは、表示装置３０等に表示させる歌詞（歌詞テロップ）に関するデータである。属性情報は、曲名、歌手名、作詞・作曲者名、及びジャンル等の当該楽曲に関する情報である。

【0021】

音響処理部１４は、制御部１１の制御に基づき、カラオケ楽曲に対する演奏の制御およびマイク４０を通じて入力された歌唱音声信号の処理を行う。音響処理部１４は、たとえばＭＩＤＩ音源、ミキサ、アンプ（いずれも図示なし）を含む。制御部１１は、予約された楽曲の伴奏データを、テンポクロック信号に基づいて順次読み出し、ＭＩＤＩ音源に入力する。ＭＩＤＩ音源は、当該伴奏データに基づいて楽音信号を生成する。ミキサは、当該音楽信号およびマイク４０から出力される歌唱音声信号を適当な比率でミキシングしてアンプに出力する。アンプは、ミキサからのミキシング信号を増幅し、放音信号としてスピーカ２０へ出力する。これにより、スピーカ２０からは放音信号に基づくカラオケ演奏音およびマイク４０からの歌唱音声が放音される。

【0022】

表示処理部１５は、制御部１１の制御に基づき、表示装置３０における各種表示に関する処理を行う。たとえば、表示処理部１５は、カラオケ演奏時における背景画像に歌詞や各種アイコンが重ねられた映像を表示装置３０に表示させる制御を行う。

【0023】

操作部１６は、パネルスイッチおよびリモコン受信回路などからなり、歌唱者によるカラオケ装置１のパネルスイッチあるいはリモコン装置５０の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部１１に対して出力する。制御部１１は、操作部１６からの操作信号を検出し、対応する処理を実行する。

【0024】

リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。歌唱者はリモコン装置５０を用いて歌唱を希望するカラオケ楽曲の選曲（予約）等を行うことができる。

【0025】

（カラオケ本体のソフトウェア）
図２はカラオケ本体１０のソフトウェア構成例を示す図である。カラオケ本体１０は、単語−感情タイプデータベース１００、曲調−感情タイプデータベース２００、感情リファレンスデータ取得部３００、歌唱感情データ生成部４００、感情表現評価部５００、採点処理部６００、及びカラオケ歌唱評価部７００を備える。単語−感情タイプデータベース１００、及び曲調−感情タイプデータベース２００は、記憶部１３の記憶領域の一部として提供される。感情リファレンスデータ取得部３００、歌唱感情データ生成部４００、感情表現評価部５００、採点処理部６００、及びカラオケ歌唱評価部７００は、ＣＰＵ１１ａがメモリ１１ｂに記憶されるプログラムを実行することにより実現される。

【0026】

［単語−感情タイプデータベース］
単語−感情タイプデータベース１００は、様々なカラオケ楽曲の歌詞に含まれる単語それぞれに対し、感情タイプを関連付けたものである。感情タイプは、喜怒哀楽等の一般的な感情表現に相当する。図３は、単語−感情タイプデータベース１００に記憶されるデータの一部を示したものである。この例では、感情タイプとして、「喜び」、「怒り」、「哀しみ」の３つが設定されている。各単語には、感情タイプ毎に所定のスコア（この例では１〜５点の５段階）が付与されている。たとえば、単語「いない」に対しては、感情タイプ毎に「喜び：１点、怒り：３点、哀しみ：５点」のスコアが付与されている。

【0027】

［曲調−感情タイプデータベース］
曲調−感情タイプデータベース２００は、カラオケ楽曲に使用される曲調と感情タイプとを関連付けたものである。図４は、曲調−感情タイプデータベース２００に記憶されるデータの一部を示したものである。この例では、図３と同様、感情タイプとして、「喜び」、「怒り」、「哀しみ」の３つのタイプが設定されている。図４の例では、複数のコードで曲調を分類している。各コードには、感情タイプ毎に所定のスコア（この例では１〜５点の５段階）が付与されている。たとえば、メジャーコードに対しては、感情タイプ毎に「喜び：５点、怒り：１点、哀しみ：１点」のスコアが付与されている。また「メジャー」とは、例えばＣ、Ｅ、Ｆ、Ｇなどのメジャーコード（長調の和音）であり、「マイナー」とは、例えばＤｍ、Ｅｍ、Ａｍなどのマイナーコード（短調の和音）である。

【0028】

なお、一の単語または一の曲調に対しては、少なくとも一つの感情タイプが関連付けられていればよい。たとえば、ある単語（ある曲調）に対して最も支配的な感情タイプを一つだけ関連付けることも可能であるし、逆に４つ以上の感情タイプを関連付けることでもよい。また、単語−感情タイプデータベース１００に登録されていない単語が歌詞の中で使われている可能性もありうる。そこで、単語−感情タイプデータベース１００は、「その他」として「喜び：１点、怒り：１点、哀しみ：１点」のようなスコアを記憶してもよい。

【0029】

［感情リファレンスデータ取得部］
感情リファレンスデータ取得部３００は、カラオケ楽曲を歌唱する際に表現すべき感情を示す感情リファレンスデータを歌唱区間毎に取得する。

【0030】

カラオケ楽曲の各歌唱区間は、それぞれ歌唱にふさわしい雰囲気がある。すなわち、カラオケ楽曲を歌唱する際には、歌唱区間毎に表現すべき適切な感情が存在する。たとえば、哀しい雰囲気を持ったカラオケ楽曲に対しては、哀しみの感情表現を行うことが適切である。感情リファレンスデータは、このような感情表現が適切に行われているかどうかを判断する際に参照するデータである。感情リファレンスデータの取得は、カラオケ楽曲の歌詞及び曲調の少なくとも一方に基づいて行われる。

【0031】

図５は、カラオケ楽曲Ｘに含まれる歌唱区間毎の歌詞、及び曲調を示したものである。各歌詞は複数の単語から構成されている。感情リファレンスデータ取得部３００は、図５に示した歌唱区間毎に、感情リファレンスデータを取得する。

【0032】

たとえば、歌唱区間Ａの歌詞は「あなたは」及び「いない」の２つの単語を含む。また、歌唱区間Ａのコードは「Ａｍ」である（図５参照）。

【0033】

この場合、感情リファレンスデータ取得部３００は、単語−感情タイプデータベース１００から単語「あなたは」及び単語「いない」それぞれについて、感情タイプ毎のスコアを読み出す。図３の例を参照すると、単語「あなたは」は「喜び：５点、怒り：３点、哀しみ：５点」のスコアであり、単語「いない」は「喜び：１点、怒り：３点、哀しみ：５点」のスコアである。

【0034】

感情リファレンスデータ取得部３００は、歌唱区間Ａの歌詞（２つの単語）について読み出したスコアを感情タイプ毎に加算する。歌唱区間Ａの例では、「喜び：６点、怒り：６点、哀しみ：１０点」となる。

【0035】

また、感情リファレンスデータ取得部３００は、曲調−感情タイプデータベース２００からコード「Ａｍ」について、感情タイプ毎のスコアを読み出す。図４の例を参照すると、コード「Ａｍ」はマイナーであるので「喜び：１点、怒り：３点、哀しみ：５点」のスコアである。

【0036】

感情リファレンスデータ取得部３００は、歌唱区間Ａの歌詞に基づくスコア（喜び：６点、怒り：６点、哀しみ：１０点）と、歌唱区間Ａの曲調に基づくスコア（喜び：１点、怒り：３点、哀しみ：５点）とを感情タイプ毎に加算した合計スコア（喜び：７点、怒り：９点、哀しみ：１５点）を求める。本実施形態においては、一の歌唱区間に含まれる複数の単語から成る歌詞に基づくスコアと、一の曲調に基づくスコアを単純に加算したが、歌唱区間の長さや単語及び曲調の数などに応じて、重み付けをして加算してもよい。

【0037】

感情リファレンスデータ取得部３００は、残りの歌唱区間Ｂ〜Ｈについても同様に感情タイプ毎の合計スコアを求める（図６Ａ参照）。そして、感情リファレンスデータ取得部３００は、感情タイプ毎に加算した合計スコアの比率を歌唱区間毎に算出することで感情リファレンスデータを取得する（図６Ｂ参照）。このように、感情リファレンスデータは、感情タイプ毎の数値として取得することができる。

【0038】

なお、本実施形態では、歌詞（単語）及び曲調に基づいて感情リファレンスデータを取得する例について述べたが、いずれか一方のみ（たとえば、単語のみ）に基づいて感情リファレンスデータを取得してもよい。また、感情リファレンスデータは、感情タイプの比率に基づく数値でなくてもよい。たとえば、感情リファレンスデータは、ある歌唱区間について、最もスコアが高い感情タイプを１００点とし、それ以外の感情タイプを０点としてもよい。図６Ｂの歌唱区間Ａの例でいえば、最もスコアが高い「哀しみ」を１００点とし、「喜び」及び「怒り」を０点とすることでもよい。また、本実施形態においては、一の歌唱区間に一のコード（曲調）が含まれている例で説明したが、一の歌唱区間に複数のコードが含まれている場合もありうる。その場合、感情リファレンスデータ取得部３００は、複数のコードのスコアを感情タイプ毎に合計したものを一の歌唱区間のスコアとして取得してもよい。

【0039】

［歌唱感情データ生成部］
歌唱感情データ生成部４００は、カラオケ楽曲を歌唱することにより得られた歌唱音声を感情分析した歌唱感情データを歌唱区間毎に生成する。

【0040】

歌唱感情データは、実際のカラオケ歌唱に込められた感情表現を示すデータである。本実施形態において、歌唱感情データは数値で示される。歌唱感情データは歌唱音声を感情分析することにより得られる。感情分析は、公知の技術（たとえば、特許文献２や「音声こころ分析サービス」（株式会社日立システムズ））を利用することができる。具体例として、歌唱感情データ生成部４００は、歌唱音声から感情の込め方と相関のある感情特徴量を抽出する。また、歌唱感情データ生成部４００は、抽出された感情特徴量に基づいて、歌唱に込められた感情を分析する。感情分析は、所定の歌唱区間毎に行われる。そして、歌唱感情データ生成部４００は、感情分析により得られた情報を数値化し、所定の感情タイプに分類することで、歌唱区間毎の歌唱感情データを生成する。

【0041】

或いは、公知の人工知能技術を利用して歌唱感情データを生成することも可能である。たとえば、音声感情認識エンジンＳＴにより、会話音声から喜び、怒り、哀しみなどの感情状態と１０段階の興奮の強さを検出する機能を有するＰＣ用開発支援キット「ＳＴ Ｅｍｏｔｉｏｎ ＳＤＫ」（株式会社ＡＧＩ）が存在する。歌唱感情データ生成部４００がこのようなキットと同様の機能を備え、歌唱音声の感情分析を機械学習させることで歌唱者の感情を検出することが可能となる。この場合、歌唱感情データ生成部４００は、検出した情報を数値化し、所定の感情タイプに分類することで、歌唱区間毎の歌唱感情データを生成することができる。

【0042】

図７は、歌唱者が図５に示したカラオケ楽曲Ｘの歌詞を歌唱した場合の歌唱感情データを示す。この例では、歌唱区間毎に感情分析結果を３つの感情タイプに分類した歌唱感情データを生成している。また、図７の例では、３つの感情タイプの合計スコアが１００点以下になるように調整されている。なお、歌唱感情データは、ある歌唱区間について、最もスコアが高い感情タイプを１００点とし、それ以外の感情タイプを０点としてもよい。また、一の歌唱区間に対しては、少なくとも一つの感情タイプが関連付けられていればよい。たとえば、歌唱区間に対して最も支配的な感情タイプを一つだけ関連付けることも可能であるし、逆に４つ以上の感情タイプを関連付けることでもよい。

【0043】

［感情表現評価部］
感情表現評価部５００は、感情リファレンスデータと歌唱感情データとを比較することにより、歌唱区間毎の感情表現の評価を行う。

【0044】

感情表現の評価は、カラオケ歌唱に感情がどれだけ込められているかを数値化することにより行う。具体的に、感情表現評価部５００は、感情タイプ毎に感情リファレンスデータと歌唱感情データとの比較を行い、感情タイプ毎に得られたスコアを合計した値により感情表現の評価を行う。この場合、感情リファレンスデータ及び歌唱感情データは、共通する複数の感情タイプで構成されていることが好ましい。

【0045】

たとえば、感情リファレンスデータ取得部３００が図６Ｂに示す感情リファレンスデータを取得し、歌唱感情データ生成部４００が図７に示す歌唱感情データを生成したとする。

【0046】

この場合、感情表現評価部５００は、歌唱区間Ａについて、感情タイプ毎に感情リファレンスデータのスコアと歌唱感情データのスコアとのＡＮＤを取る。具体的には、「喜び：２３点＆１０点＝１０点」、「怒り：２９点＆０点＝０点」、「哀しみ：４８点＆２０点＝２０点」となる。そして、感情表現評価部５００は、各感情タイプのスコアを合計した値（１０点＋２０点＝３０点）を歌唱区間Ａの評価とする。感情表現評価部５００は、歌唱区間Ｂ〜Ｈについても同様の処理を行い、歌唱区間毎に感情表現を評価する（図８参照）。なお、ある歌唱区間における感情リファレンスデータのスコアが１００点を満点とし、ある歌唱区間における歌唱感情データのスコアの最大値が１００点であるため、歌唱区間毎の評価は１００点が満点となる。

【0047】

感情表現評価部５００は、評価結果を歌唱者に提示することができる。たとえば、感情表現評価部５００は、図８に示す評価結果を表示装置３０に表示させることが可能である。或いは、感情表現評価部５００は、歌唱区間毎のスコアの平均値（図８の例であれば、５３．１２５点）を算出し、当該平均値を提示することも可能である。

【0048】

なお、感情リファレンスデータにおいて、最もスコアの高い感情タイプを１００点とし、それ以外を０点とし、歌唱感情データにおいて最もスコアの高い感情タイプ以外を０点とした場合、感情表現評価部５００においては実質的に、歌唱区間毎に支配的な感情タイプが一致するか否かという観点で評価がなされる事になる。

【0049】

［採点処理部］
採点処理部６００は、歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する。

【0050】

カラオケ歌唱の採点は、公知の技術を利用することができる。たとえば、採点処理部６００は、マイク４０から入力された歌唱音声信号から、ピッチ（音高）データ、音量データ等の歌唱音声データを抽出し、カラオケ楽曲のリファレンスデータと比較することにより、採点値を算出する。

【0051】

［カラオケ歌唱評価部］
カラオケ歌唱評価部７００は、カラオケ楽曲の歌唱に基づく感情表現の評価及び採点値に基づいて、カラオケ楽曲の歌唱の評価を行う。

【0052】

本実施形態におけるカラオケ歌唱の評価は、リファレンスデータに沿ったカラオケ歌唱が行われたか、及び適切な感情表現が行われたかを総合的に評価することにより行う。

【0053】

たとえば、カラオケ楽曲Ｘ全体の感情表現評価部５００による各歌唱区間の感情表現の評価の平均値が６０点であり、採点処理部６００による採点結果が８５点であったとする。

【0054】

この場合、カラオケ歌唱評価部７００は、これらのスコアを用いてカラオケ楽曲Ｘの歌唱評価を行う。たとえば、「採点結果：感情表現の評価＝９：１」の重み付けが設定されている場合、カラオケ歌唱評価部７００は、（８５点×０．９）＋（６０点×０．１）＝８２．５点をカラオケ楽曲Ｘの歌唱評価のスコアとして算出する。

【0055】

或いは、感情表現の評価を採点結果に対する１０％のボーナス点として加算する場合、カラオケ歌唱評価部７００は、８５点＋（６０点×０．１）＝９１点をカラオケ楽曲Ｘの歌唱評価のスコアとして算出する。なお、このように加算方式を採用する場合、上限は、カラオケ装置１の採点機能が備える最大値（たとえば１００点）とすることが好ましい。

【0056】

カラオケ歌唱評価部７００は、評価結果を歌唱者に提示することができる。たとえば、カラオケ歌唱評価部７００は、算出したスコアを表示装置３０に表示させることが可能である。

【0057】

＝＝カラオケ装置１の動作について＝＝
次に、図９を参照して本実施形態におけるカラオケ装置１の動作の具体例について述べる。図９は、カラオケ装置１の動作例を示すフローチャートである。

【0058】

カラオケ装置１は、歌唱者が選曲したカラオケ楽曲Ｘの伴奏データに基づいてカラオケ演奏を行う（カラオケ演奏。ステップ１０）。歌唱者はカラオケ演奏に合わせてカラオケ歌唱を行う。

【0059】

カラオケ楽曲Ｘのカラオケ歌唱が終了した後、感情リファレンスデータ取得部３００は、カラオケ楽曲Ｘを歌唱する際に表現すべき感情を示す感情リファレンスデータを歌唱区間毎に取得する（感情リファレンスデータの取得。ステップ１１）。

【0060】

歌唱感情データ生成部４００は、カラオケ楽曲Ｘを歌唱することにより得られた歌唱音声を感情分析し、歌唱区間毎に歌唱感情データを生成する（歌唱感情データの生成。ステップ１２）。

【0061】

感情表現評価部５００は、ステップ１１で取得した感情リファレンスデータと、ステップ１２で生成した歌唱感情データとを比較することにより、歌唱区間毎の感情表現の評価を行う（感情表現の評価。ステップ１３）。

【0062】

採点処理部６００は、カラオケ楽曲Ｘを歌唱することにより得られた歌唱音声から抽出した歌唱音声データをリファレンスデータと比較することで、採点値を算出する（採点値の算出。ステップ１４）。

【0063】

カラオケ歌唱評価部７００は、ステップ１３で行われた感情表現の評価、及びステップ１４で算出された採点値に基づいて、カラオケ楽曲Ｘの歌唱評価を行う（カラオケ歌唱の評価。ステップ１５）。

【0064】

なお、上記例では、カラオケ楽曲Ｘのカラオケ歌唱が終了した後に処理する例について述べたが、感情表現の評価は、少なくとも一の歌唱区間のカラオケ歌唱が終了した後に行われることでもよい。たとえば、歌唱区間Ａの歌唱終了後に上記ステップ１１〜１４の処理を行い、歌唱区間Ｂの歌唱終了後に上記ステップ１１〜１４の処理を行い、歌唱区間Ｃの歌唱終了後に・・・・というように、カラオケ楽曲Ｘの終了までステップ１１〜１４の処理を繰り返し行い、最後に各歌唱区間における感情表現の評価と採点値に基づいて、カラオケ楽曲Ｘの歌唱評価を行ってもよい。

【0065】

また、感情リファレンスデータは、カラオケ楽曲の歌詞や曲調に基づいて生成したものを記憶部１３に記憶しておくことでもよい。この場合、感情リファレンスデータ取得部３００は、記憶部１３から感情リファレンスデータを直接取得する。

【0066】

このように本実施形態に係るカラオケ装置１は、カラオケ楽曲を歌唱する際に表現すべき感情を示す感情リファレンスデータを歌唱区間毎に取得する感情リファレンスデータ取得部３００と、カラオケ楽曲を歌唱することにより得られた歌唱音声を感情分析した歌唱感情データを歌唱区間毎に生成する歌唱感情データ生成部４００と、感情リファレンスデータと歌唱感情データとを比較することにより、歌唱区間毎の感情表現の評価を行う感情表現評価部５００とを有する。

【0067】

歌唱音声を感情分析した歌唱感情データと感情リファレンスデータとを比較することにより、カラオケ楽曲の雰囲気を考慮した感情表現がなされている場合には評価が高くなる。一方、単に大きな声で歌唱した場合のように、雰囲気を考慮しない歌唱は評価が低くなる。すなわち、本実施形態に係るカラオケ装置１によれば、カラオケ楽曲の雰囲気にふさわしい感情表現で歌唱が行われているかを適切に評価できる。

【0068】

また、本実施形態に係るカラオケ装置１において、感情リファレンスデータ及び歌唱感情データは、共通する複数の感情タイプで構成され、感情表現評価部５００は、感情タイプ毎に感情リファレンスデータと歌唱感情データとの比較を行う。このように、複数の感情タイプ毎に感情リファレンスデータと歌唱感情データとの比較を行うことにより、カラオケ楽曲の雰囲気にふさわしい感情表現がなされているかどうかをより正確に判断できる。

【0069】

また、本実施形態に係るカラオケ装置１は、歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する採点処理部６００と、カラオケ楽曲の歌唱に基づく感情表現の評価及び採点値に基づいて、カラオケ楽曲の歌唱の評価を行うカラオケ歌唱評価部７００と、を有する。このようなカラオケ装置１によれば、感情表現の評価を含むカラオケ歌唱の総合評価を行うことができる。

【0070】

また、感情リファレンスデータ取得部３００は、カラオケ楽曲の歌詞及び曲調の少なくとも一方に基づいて、感情リファレンスデータを取得する。このように、カラオケ楽曲の歌詞及び曲調の少なくとも一方を用いることにより、カラオケ楽曲の雰囲気を反映した感情リファレンスデータの取得が可能となる。

【0071】

＜変形例＞
上記実施形態では、感情リファレンスデータ取得部３００が、カラオケ楽曲の歌詞及び曲調に基づいて、感情リファレンスデータを取得する例について述べた。

【0072】

図１０は、本変形例に係るカラオケ本体１０のソフトウェア構成例を示す図である。カラオケ本体１０は、感情リファレンスデータ取得部３００、歌唱感情データ生成部４００、感情表現評価部５００、採点処理部６００、カラオケ歌唱評価部７００、及び感情リファレンスデータ記憶部８００を備える。感情リファレンスデータ記憶部８００は、記憶部１３の記憶領域の一部として提供される。

【0073】

［感情リファレンスデータ記憶部］
感情リファレンスデータ記憶部８００は、カラオケ楽曲の原曲歌手の歌唱音声を感情分析した歌唱感情データに基づく感情リファレンスデータを記憶する。原曲歌手は、カラオケ楽曲を歌唱するプロの歌手等であり、カラオケ楽曲の歌唱を最も上手く歌える者である。すなわち、各歌唱区間における感情表現も正確に再現することができる。

【0074】

感情リファレンスデータの記憶は、たとえば新たなカラオケ楽曲が配信される都度行われる。具体的に、歌唱感情データ生成部４００は、新たなカラオケ楽曲の原曲歌手の歌唱分析を行い、複数の感情タイプからなる歌唱感情データを生成する。歌唱感情データ生成部４００は、歌唱感情データを元に、複数の感情タイプの比率を１００点満点で正規化し、感情リファレンスデータとして記憶する。図１１は、上記実施形態における歌唱区間Ａ〜Ｈの感情リファレンスデータの例を示した図である。図１１から明らかなように、いずれの歌唱区間においても感情タイプの合計スコアが１００点満点になるように設定されている。

【0075】

［感情リファレンスデータ取得部］
本変形例に係る感情リファレンスデータ取得部３００は、カラオケ楽曲を歌唱する際に表現すべき感情を示す感情リファレンスデータを歌唱区間毎に取得する。

【0076】

感情リファレンスデータ取得部３００は、感情リファレンスデータ記憶部８００から感情リファレンスデータを取得する。たとえば、カラオケ楽曲Ｘが選曲された場合、感情リファレンスデータ取得部３００は、感情リファレンスデータ記憶部８００からカラオケ楽曲Ｘの感情リファレンスデータを読み出す。

【0077】

このように、本変形例に係るカラオケ装置１によれば、感情表現の評価を行う都度、感情リファレンスデータを算出する必要が無い。また、原曲歌手の歌唱音声から感情リファレンスデータを作成することで、原曲歌手の歌唱に沿った適切な感情表現の評価が可能となる。

【0078】

＜その他＞
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0079】

１ カラオケ装置
１００ 単語−感情タイプデータベース
２００ 曲調−感情タイプデータベース
３００ 感情リファレンスデータ取得部
４００ 歌唱感情データ生成部
５００ 感情表現評価部
６００ 採点処理部
７００ カラオケ歌唱評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】