特許 7502921 カラオケ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-11

(45)【発行日】2024-06-19

(54)【発明の名称】カラオケ装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20240612BHJP

   G10L 25/63 20130101ALI20240612BHJP

【ＦＩ】

G10K15/04 302D

G10L25/63

【請求項の数】 5

(21)【出願番号】P 2020128232

(22)【出願日】2020-07-29

(65)【公開番号】P2022025421

(43)【公開日】2022-02-10

【審査請求日】2023-04-20

(73)【特許権者】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】鎌田 政之

【審査官】渡邊 正宏

(56)【参考文献】

【文献】特開２０１６－１８８９７８（ＪＰ，Ａ）

【文献】特開２０１６－１９１７９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／００－１５／１２

Ｇ１０Ｌ １３／００－１３／１０

Ｇ１０Ｌ １９／００－１９／２６

Ｇ１０Ｌ ２１／００－２１／１８

Ｇ１０Ｌ ２５／００－２５／９３

Ｇ１０Ｌ ９９／００

(57)【特許請求の範囲】

【請求項1】

楽曲のカラオケ歌唱を行う歌唱者の感情を示す歌唱者感情データを当該楽曲の所定の演奏区間毎に取得する歌唱者感情データ取得部と、
前記歌唱者のカラオケ歌唱を聴取する聴衆の感情を示す聴衆感情データを前記所定の演奏区間毎に取得する聴衆感情データ取得部と、
取得した前記歌唱者感情データ及び前記聴衆感情データに基づいて、前記歌唱者及び前記聴衆の感情の一致度を示す共感度の評価を行う評価部と、
を有し、
前記歌唱者感情データ取得部は、前記歌唱者の歌唱音声信号に基づいて前記歌唱者感情データを取得し、
前記聴衆感情データ取得部は、撮影手段から出力された前記聴衆の顔画像信号に基づいて前記聴衆感情データを取得するカラオケ装置。

【請求項2】

楽曲のカラオケ歌唱を行う歌唱者の感情を示す歌唱者感情データを当該楽曲の所定の演奏区間毎に取得する歌唱者感情データ取得部と、
前記歌唱者のカラオケ歌唱を聴取する聴衆の感情を示す聴衆感情データを前記所定の演奏区間毎に取得する聴衆感情データ取得部と、
取得した前記歌唱者感情データ及び前記聴衆感情データに基づいて、前記歌唱者及び前記聴衆の感情の一致度を示す共感度の評価を行う評価部と、
を有し、
前記歌唱者感情データ取得部は、前記歌唱者の歌唱音声信号に基づいて前記歌唱者感情データを取得し、
前記聴衆感情データ取得部は、前記聴衆の音声に基づいて前記聴衆感情データを取得するカラオケ装置。

【請求項3】

前記歌唱者感情データ及び前記聴衆感情データは、共通する複数の感情のタイプで構成され、
前記評価部は、前記感情のタイプ毎に前記共感度の評価を行うことを特徴とする請求項１または２記載のカラオケ装置。

【請求項4】

前記聴衆感情データ取得部は、複数の聴衆毎に前記聴衆感情データを取得し、
前記評価部は、取得した前記歌唱者感情データ及び前記複数の聴衆毎の聴衆感情データに基づいて、当該複数の聴衆それぞれに対する共感度の評価を行うことを特徴とする請求項１から３のいずれか一つに記載のカラオケ装置。

【請求項5】

前記歌唱者のカラオケ歌唱に伴う歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する採点処理部と、
前記共感度の評価及び前記採点値に基づいて、前記楽曲のカラオケ歌唱の評価を行うカラオケ歌唱評価部と、
を有することを特徴とする請求項１から４のいずれか一つに記載のカラオケ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はカラオケ装置に関する。

【背景技術】

【0002】

カラオケ装置は、マイクにより入力された歌唱音声から抽出した歌唱音声データと、カラオケ演奏された楽曲の主旋律を示すリファレンスデータとを比較することにより、音高やリズムの正確性を点数化したり、歌唱音声データから歌唱技法（ビブラート、こぶし等）を検出して評価することができる。

【0003】

ここで、特許文献１には、動作検知手段により検知した聴取者の動作と、カラオケ楽曲の聴取者評価リファレンスデータとを比較して聴取者の盛り上がりに関する評価値を算出し、歌唱採点値と評価値とに基づいて総合歌唱採点値を算出する技術が開示されている。

【0004】

また、特許文献２には、カラオケ楽曲を歌唱する際に表現すべき感情を示す感情リファレンスデータと、歌唱音声を感情分析した歌唱感情データとを比較することにより、歌唱者による感情表現の評価を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１０２９６１号公報

【文献】特開２０１９－０２８２５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、カラオケ歌唱において歌唱者が示した感情により、当該カラオケ歌唱を聴取する聴衆をどれだけ共感させることができたかを評価可能なカラオケ装置を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するための一の発明は、楽曲のカラオケ歌唱を行う歌唱者の感情を示す歌唱者感情データを当該楽曲の所定の演奏区間毎に取得する歌唱者感情データ取得部と、前記歌唱者のカラオケ歌唱を聴取する聴衆の感情を示す聴衆感情データを前記所定の演奏区間毎に取得する聴衆感情データ取得部と、取得した前記歌唱者感情データ及び前記聴衆感情データに基づいて、前記歌唱者及び前記聴衆の感情の一致度を示す共感度の評価を行う評価部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

【発明の効果】

【0008】

本発明によれば、カラオケ歌唱において歌唱者が示した感情により、当該カラオケ歌唱を聴取する聴衆をどれだけ共感させることができたかを評価できる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係るカラオケ装置を示す図である。

【図2】第１実施形態に係るカラオケ本体を示す図である。

【図3】第１実施形態に係る歌唱者感情データを示す図である。

【図4】第１実施形態に係る聴衆感情データを示す図である。

【図5】第１実施形態に係る共感度を示す図である。

【図6】第１実施形態に係るカラオケ装置の処理を示すフローチャートである。

【図7】第２実施形態に係る聴衆感情データを示す図である。

【図8】第２実施形態に係る共感度を示す図である。

【図9】第２実施形態に係る共感度を示す図である。

【発明を実施するための形態】

【0010】

＜第１実施形態＞
図１～図６を参照して、第１実施形態に係るカラオケ装置について説明する。

【0011】

＝＝カラオケ装置＝＝
カラオケ装置Ｋは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。図１に示すように、カラオケ装置Ｋは、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影手段６０を備える。

【0012】

カラオケ本体１０は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は利用者のカラオケ歌唱の歌唱音声をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。撮影手段６０は、カラオケ装置Ｋを利用する利用者を撮影可能なカメラである。撮影手段６０は複数設けられていてもよい。

【0013】

図２に示すように、本実施形態に係るカラオケ本体１０は、記憶手段１０ａ、通信手段１０ｂ、入力手段１０ｃ、演奏手段１０ｄ、及び制御手段１０ｅを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

【0014】

［記憶手段］
記憶手段１０ａは、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶手段１０ａは、楽曲データを記憶する。

【0015】

楽曲データは、個々の楽曲を特定するための楽曲識別情報が付与されている。楽曲識別情報は、楽曲を識別するための楽曲ＩＤ等、各楽曲に固有の情報である。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、カラオケ演奏された楽曲の主旋律を示すデータであって、利用者によるカラオケ歌唱を採点するためのデータである。

【0016】

記憶手段１０ａは、各楽曲に対応する歌詞テロップをカラオケ演奏に合わせて表示装置３０等に表示させるための歌詞テロップデータ、カラオケ演奏時に表示装置３０等に表示される背景映像等の背景映像データ、及び楽曲の属性情報を記憶する。

【0017】

また、楽曲データは、演奏区間に関する情報を含む。演奏区間は、カラオケ演奏が行われる区間である。演奏区間は、歌唱区間及び非歌唱区間を含む。歌唱区間は、Ａメロ、Ｂメロ、サビのように、ある楽曲において歌唱すべき歌詞が設定されている区間である。非歌唱区間は、前奏、間奏、後奏のように、ある楽曲において歌唱すべき歌詞が設定されていない区間である。また、各演奏区間は、複数の小節により構成される。

【0018】

［通信手段・入力手段］
通信手段１０ｂは、リモコン装置５０との通信を行うためのインターフェースを提供する。入力手段１０ｃは、利用者が各種の指示入力を行うための構成である。入力手段１０ｃは、カラオケ本体１０に設けられたボタン等である。或いは、リモコン装置５０が入力手段１０ｃとして機能してもよい。

【0019】

［演奏手段］
演奏手段１０ｄは、制御手段１０ｅの制御に基づき、楽曲のカラオケ演奏、及びマイク４０を通じて入力された歌唱音声に基づく信号の処理を行う。演奏手段１０ｄは、音源、ミキサ、アンプ等を含む（いずれも図示なし）。

【0020】

［制御手段］
制御手段１０ｅは、カラオケ装置Ｋにおける各種の制御を行う。制御手段１０ｅは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。

【0021】

本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、演奏制御部１００、歌唱者感情データ取得部２００、聴衆感情データ取得部３００、評価部４００、採点処理部５００、及びカラオケ歌唱評価部６００として機能する。

【0022】

（演奏制御部）
演奏制御部１００は、カラオケ装置Ｋにおける楽曲のカラオケ演奏制御を行う。

【0023】

たとえば、演奏制御部１００は、予約待ち行列に登録されている楽曲ＩＤを元に、対応する伴奏データを記憶手段１０ａから取得する。そして、演奏制御部１００は、取得した伴奏データを演奏手段１０ｄに出力し、カラオケ演奏を行わせる。

【0024】

（歌唱者感情データ取得部）
歌唱者感情データ取得部２００は、歌唱者の感情を示す歌唱者感情データを当該楽曲の所定の演奏区間毎に取得する。

【0025】

歌唱者は、カラオケ装置Ｋの利用者のうち、楽曲のカラオケ歌唱を行う者である。以下の説明では、利用者Ｕ１～利用者Ｕ３がカラオケ装置Ｋを利用するとする。また、利用者Ｕ１が楽曲Ｘを予約し、カラオケ歌唱を行うとする。すなわち、利用者Ｕ１は「歌唱者」に相当する。

【0026】

歌唱者感情データは、歌唱者の感情を示すデータである。歌唱者の感情は、喜怒哀楽等である。歌唱者感情データは、１つの感情のタイプ（たとえば、「喜び」）で構成されていてもよいし、２以上の感情のタイプ（たとえば、「喜び」、「哀しみ」、「怒り」の３つのタイプ）で構成されていてもよい。

【0027】

所定の演奏区間は、予め任意の区間が設定されている。所定の演奏区間は、たとえば、歌唱区間における一小節や、一歌唱区間（Ａメロ、Ｂメロ、サビそれぞれ）、或いは一コーラス（Ａメロ、Ｂメロ、サビ全体）である。

【0028】

以下の説明では、楽曲Ｘが、前奏８小節、第１コーラス１６小節、第２コーラス１６小節、間奏８小節、第３コーラス１６小節、後奏８小節（計７２小節）で構成されているとする。また、楽曲Ｘの演奏区間のうち、歌唱区間を構成する各小節を「所定の演奏区間」とする。すなわち、楽曲Ｘは４８の所定の演奏区間（第１コーラス１６小節、第２コーラス１６小節、及び第３コーラス１６小節。歌唱区間Ｓ０１～歌唱区間Ｓ４８に相当）を有することとなる。

【0029】

本実施形態において、歌唱者感情データ取得部２００は、歌唱者の歌唱音声信号に基づいて歌唱者感情データを取得することができる。具体的に、歌唱者感情データ取得部２００は、歌唱音声信号を感情分析することにより歌唱者感情データを取得できる。感情分析は、公知の技術（たとえば、特開平１０－１８７１７８号公報や「音声こころ分析サービス」（株式会社日立システムズ））を利用することができる。歌唱者感情データは感情のタイプ毎に数値（たとえば、０．０～１０．０の値）で示すことができる。

【0030】

ここで、演奏制御部１００が、利用者Ｕ１が選曲した楽曲Ｘの伴奏データを取得し、演奏手段１０ｄに出力して楽曲Ｘのカラオケ演奏が開始されたとする。

【0031】

楽曲Ｘの前奏が終了した後、利用者Ｕ１は、マイク４０を用いてカラオケ歌唱を行う。マイク４０は、利用者Ｕ１の歌唱音声を集音し、音声信号に変換してカラオケ本体１０に入力する。なお、演奏制御部１００は、所定の演奏区間毎の始まりを示す信号を歌唱者感情データ取得部２００に出力する。

【0032】

歌唱者感情データ取得部２００は、音声信号から感情の込め方と相関のある感情特徴量を抽出する。また、歌唱者感情データ取得部２００は、抽出された感情特徴量に基づいて、カラオケ歌唱に込められた感情を分析する。感情分析は、所定の演奏区間毎に行われる。そして、歌唱者感情データ取得部２００は、感情分析により得られた情報を数値化し、感情のタイプ毎に分類することで、所定の演奏区間毎の歌唱者感情データを取得する。

【0033】

図３は、利用者Ｕ１が楽曲Ｘのカラオケ歌唱を行った際に取得された歌唱者感情データを示す。この例では、歌唱区間Ｓ０１～歌唱区間Ｓ４８毎に２つの感情のタイプ（「喜び」、「哀しみ」）に分類した歌唱者感情データを取得している（すなわち、歌唱者感情データは、２つの感情のタイプで構成されている）。

【0034】

たとえば、歌唱区間Ｓ０１においては、「喜び」の数値が「０．０」であるのに対し、「哀しみ」の数値が「３．０」となっている。すなわち、利用者Ｕ１は、歌唱区間Ｓ０１において、哀しみの感情を込めてカラオケ歌唱を行ったといえる。一方、歌唱区間Ｓ４８においては、「喜び」の数値が「８．０」であるのに対し、「哀しみ」の数値が「０．０」となっている。すなわち、利用者Ｕ１は、歌唱区間Ｓ４８において、喜びの感情を込めてカラオケ歌唱を行ったといえる。

【0035】

なお、歌唱者感情データ取得部２００は、公知の人工知能技術を利用して歌唱者感情データを取得することも可能である。たとえば、音声感情認識エンジンＳＴにより、会話音声から喜び、怒り、哀しみなどの感情状態と１０段階の興奮の強さを検出する機能を有するＰＣ用開発支援キット「ＳＴ Ｅｍｏｔｉｏｎ ＳＤＫ」（株式会社ＡＧＩ）が存在する。歌唱者感情データ取得部２００がこのようなキットと同様の機能を備え、音声信号の感情分析を機械学習させることで歌唱者の感情を検出することが可能となる。この場合、歌唱者感情データ取得部２００は、検出した感情を数値化し、感情のタイプ毎に分類することで、所定の演奏区間毎の歌唱者感情データを取得できる。

【0036】

（聴衆感情データ取得部）
聴衆感情データ取得部３００は、聴衆の感情を示す聴衆感情データを所定の演奏区間毎に取得する。

【0037】

聴衆は、カラオケ装置Ｋの利用者のうち、歌唱者のカラオケ歌唱を聴取する者である。本実施形態では、利用者Ｕ１のカラオケ歌唱を聴取する利用者Ｕ２及び利用者Ｕ３が「聴衆」に相当する。聴衆感情データは、聴衆の感情を示すデータである。聴衆感情データを構成する感情のタイプは、歌唱者感情データを構成する感情のタイプと一致していることが好ましい。また、聴衆感情データを取得する所定の演奏区間は、歌唱者感情データを取得する所定の演奏区間と一致していることが好ましい。

【0038】

本実施形態において、聴衆感情データ取得部３００は、撮影手段６０から出力された聴衆の顔画像信号に基づいて聴衆感情データを取得する。具体的に、聴衆感情データ取得部３００は、顔画像信号に基づいて感情分析を行うことにより聴衆感情データを取得できる。感情分析は、公知の技術（たとえば、感情認識ソフトウェア「Ａｆｆｄｅｘ」。Ａｆｆｅｃｔｉｖａ社）を利用することができる。聴衆感情データは感情のタイプ毎に数値（たとえば、０．０～１０．０の値）で示すことができる。

【0039】

たとえば、撮影手段６０は、利用者Ｕ１のカラオケ歌唱を聴取している利用者Ｕ２及び利用者Ｕ３の顔を撮影し、顔画像データを取得する。撮影手段６０は、顔画像データに対応する顔画像信号をカラオケ本体１０に出力する。なお、演奏制御部１００は、所定の演奏区間毎の始まりを示す信号を聴衆感情データ取得部３００に出力する。

【0040】

聴衆感情データ取得部３００は、顔画像信号から、聴衆の顔の筋肉の僅かな動きを捉え、予め取得してある感情データベースを参照し、感情をデータ化することで、カラオケ歌唱を聴取している際の感情を分析する。感情分析は、所定の演奏区間毎に行われる。そして、聴衆感情データ取得部３００は、感情分析により得られた情報を数値化し、感情のタイプ毎に分類することで、所定の演奏区間毎の聴衆感情データを取得する。なお、上記例のように複数の聴衆がいる場合、聴衆感情データ取得部３００は、複数の聴衆毎に聴衆感情データの取得を行う。

【0041】

図４は、利用者Ｕ２及び利用者Ｕ３が利用者Ｕ１のカラオケ歌唱を聴取した際に取得された聴衆感情データを示す。この例では、歌唱区間Ｓ０１～歌唱区間Ｓ４８毎に２つの感情のタイプ（「喜び」、「哀しみ」）に分類した聴衆感情データを取得している（すなわち、聴衆感情データは、歌唱者感情データと共通する２つの感情のタイプで構成されている）。また、この例において、聴衆感情データ取得部３００は、利用者Ｕ２及び利用者Ｕ３の聴衆感情データの平均値を、所定の演奏区間毎に求めている。

【0042】

たとえば、歌唱区間Ｓ０３において、利用者Ｕ２は、「喜び」の数値が１．０であり、「哀しみ」の数値が２．０となっている。また、歌唱区間Ｓ０３において、利用者Ｕ３は、「喜び」の数値が０．０であり、「哀しみ」の数値が３．０となっている。この場合、聴衆感情データ取得部３００は、利用者Ｕ２及び利用者Ｕ３の感情のタイプ毎の平均値（喜び：０．５、哀しみ：２．５）を求め、歌唱区間Ｓ０３の聴衆感情データとして取得する。この例から明らかなように、利用者Ｕ２及び利用者Ｕ３は、歌唱区間Ｓ０３において、哀しみの感情をもって利用者Ｕ１のカラオケ歌唱を聴取していたといえる。

【0043】

一方、歌唱区間Ｓ４８において、利用者Ｕ２は、「喜び」の数値が３．０であり、「哀しみ」の数値が０．０となっている。また、歌唱区間Ｓ４８において、利用者Ｕ３は、「喜び」の数値が７．０であり、「哀しみ」の数値が０．０となっている。この場合、聴衆感情データ取得部３００は、利用者Ｕ２及び利用者Ｕ３の感情のタイプ毎の平均値（喜び：５．０、哀しみ：０．０）を求め、歌唱区間Ｓ４８の聴衆感情データとして取得する。この例から明らかなように、利用者Ｕ２及び利用者Ｕ３は、歌唱区間Ｓ４８において、喜びの感情をもって利用者Ｕ１のカラオケ歌唱を聴取していたといえる。

【0044】

なお、聴衆感情データ取得部３００は、ある演奏区間における複数の聴衆の聴衆感情データのうち、数値が最も高いものを当該ある演奏区間における聴衆感情データとして取得してもよい。たとえば、図４の例において、聴衆感情データ取得部３００は、歌唱区間Ｓ０３における聴衆感情データとして（喜び：１．０、哀しみ：３．０）を取得できる。或いは、聴衆感情データ取得部３００は、ある演奏区間における歌唱者感情データの数値に近いものを聴衆感情データとして取得してもよい。たとえば、図３及び図４の例において、聴衆感情データ取得部３００は、歌唱区間Ｓ０３における聴衆感情データとして（喜び：０．０、哀しみ：３．０）を取得できる。

【0045】

（評価部）
評価部４００は、取得した歌唱者感情データ及び聴衆感情データに基づいて、共感度の評価を行う。

【0046】

共感度は、歌唱者及び聴衆の感情の一致度を示すものである。共感度の評価は、歌唱者感情データ及び聴衆感情データが示す数値に基づいて行うことができる。具体的に、評価部４００は、歌唱者感情データの数値と聴衆感情データの数値との差の絶対値を所定の値（たとえば、１０．０）から減じた数値を共感度とすることができる。なお、歌唱者感情データ及び聴衆感情データが共通する複数の感情のタイプで構成されている場合、評価部４００は、感情のタイプ毎に共感度の評価を行う。

【0047】

たとえば、歌唱者感情データ取得部２００が図３に示す歌唱者感情データを取得し、聴衆感情データ取得部３００が図４に示す聴衆感情データを取得したとする。

【0048】

この場合、評価部４００は、歌唱区間Ｓ０１における歌唱者感情データを構成する感情のタイプのうち、数値が大きい「哀しみ」の感情のタイプの数値（３．０）と、歌唱区間Ｓ０１における聴衆感情データの「哀しみ」の感情のタイプの数値（平均値０．０）との差の絶対値（３．０）を求める。評価部４００は、所定の値（１０．０）から絶対値（３．０）を減じた値（７．０）を歌唱区間Ｓ０１における共感度の評価とする（図５参照）。

【0049】

同様に、評価部４００は、歌唱区間Ｓ４８における歌唱者感情データを構成する感情のタイプのうち、数値が大きい「喜び」の感情のタイプの数値（８．０）と、歌唱区間Ｓ４８における聴衆感情データの「喜び」の感情のタイプの数値（平均値５．０）との差の絶対値（３．０）を求める。評価部４００は、所定の値（１０．０）から絶対値（３．０）を減じた値（７．０）を歌唱区間Ｓ４８における共感度の評価とする（図５参照）。

【0050】

評価部４００は、楽曲Ｘの歌唱区間のカラオケ演奏が終了した後（或いは、楽曲Ｘのカラオケ演奏が全て終了した後）、歌唱区間Ｓ０１～歌唱区間Ｓ４８における共感度の評価の平均値を求める。この例では、評価部４００が、「喜び」の共感度の評価として平均値（７．４）を求め、「哀しみ」の共感度の評価として平均値（７．１）を求めたとする。評価部４００は、これら２つの共感度の平均値（７．３）を楽曲Ｘにおける共感度の評価とする。

【0051】

評価部４００は、評価結果を利用者に提示することができる。たとえば、評価部４００は、上述の共感度の評価（７．３）に基づいて、「只今の歌唱者が聴衆を共感させた感情表現は、「７．３点／１０点満点」です」といったメッセージを表示装置３０に表示させることができる。或いは、評価部４００は、「喜び」の共感度の評価の平均値（７．４）、及び「哀しみ」の共感度の評価の平均値（７．１）を表示装置３０に表示させてもよいし、図５に示した歌唱区間毎の共感度の評価をそのまま表示装置３０に表示させてもよい。

【0052】

また、各利用者がリモコン装置５０を介して自己の利用者ＩＤを入力した場合、カラオケ装置Ｋは、各利用者のログイン処理を実行する。この場合、歌唱者である利用者Ｕ１が楽曲Ｘを予約した際に利用者Ｕ１の利用者ＩＤが楽曲Ｘの楽曲ＩＤと紐付けられて予約待ち行列に登録されているので、評価部４００は、各利用者の利用者ＩＤにより歌唱者と聴衆を区別することができる。従って、上記例において、評価部４００は、「利用者Ｕ１が利用者Ｕ２及び利用者Ｕ３を共感させた感情表現は、「７．３点／１０点満点」です」といったメッセージを表示装置３０に表示させることができる。

【0053】

なお、複数の所定の演奏区間のうち、一部の演奏区間についてのみ共感度の評価を行ってもよい。具体的に、評価部４００は、歌唱者感情データが所定条件を満たす演奏区間のみ共感度を評価できる。所定条件は、共感度の評価を行うかどうかを判断するための基準である。歌唱者感情データが数値で示される場合、所定条件は、「５．０以上」のような数値で設定される。歌唱者感情データの数値が高い場合、歌唱者がしっかりと感情を込めてカラオケ歌唱を行った可能性が高いといえる。

【0054】

たとえば、所定条件が「５．０以上」と設定されているとする。この場合、図３の例において歌唱区間Ｓ０１及び歌唱区間Ｓ０２については、歌唱者感情データを構成する「喜び」及び「哀しみ」の感情のタイプの数値がいずれも「５．０」より小さい。よって、評価部４００は、共感度の評価を行わない。一方、歌唱区間Ｓ０３、歌唱区間Ｓ４７、及び歌唱区間Ｓ４８については、歌唱者感情データを構成する「喜び」及び「哀しみ」の感情のタイプの数値のいずれかが「５．０」以上である。よって、評価部４００は、共感度の評価を行う。

【0055】

このように、歌唱者がしっかりと感情を込めてカラオケ歌唱を行った演奏区間のみで共感度を評価することにより、全ての演奏区間について共感度を評価するよりも精度の高い評価を行うことができる。

【0056】

（採点処理部）
採点処理部５００は、歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する。

【0057】

カラオケ歌唱の採点は、公知の技術を利用することができる。たとえば、採点処理部５００は、マイク４０から入力された歌唱音声信号から、ピッチ（音高）データ、音量データ等の歌唱音声データを抽出し、楽曲のリファレンスデータと比較することにより、採点値を算出する。また、歌唱技法については、たとえば、特開２００５－１０７０８７号公報（ビブラートの検出）や特開２００８－２６８３７０号公報（こぶしの検出）に記載された技術を利用することができる。

【0058】

（カラオケ歌唱評価部）
カラオケ歌唱評価部６００は、共感度の評価及び採点値に基づいて、楽曲のカラオケ歌唱の評価を行う。

【0059】

本実施形態におけるカラオケ歌唱の評価は、採点値、及び共感度を総合的に評価することにより行う。たとえば、楽曲Ｘのカラオケ歌唱について、評価部４００による共感度の評価が（７．３）であり、採点処理部５００による採点結果が８１．３点であったとする。この場合、カラオケ歌唱評価部６００は、これらの値を加算した８８．６点を楽曲Ｘのカラオケ歌唱の評価として算出することができる。

【0060】

カラオケ歌唱評価部６００は、評価結果を歌唱者に提示することができる。たとえば、カラオケ歌唱評価部６００は、算出した値（８８．６点）を表示装置３０に表示させる。

【0061】

＝＝カラオケ装置Ｋの動作について＝＝
次に、図６を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図６は、カラオケ装置Ｋの動作例を示すフローチャートである。

【0062】

演奏制御部１００は、歌唱者が選曲した楽曲の伴奏データを演奏手段１０ｄに出力し、カラオケ演奏を行わせる（カラオケ演奏開始。ステップ１０）。歌唱者はカラオケ演奏に合わせてカラオケ歌唱を行う。

【0063】

歌唱者感情データ取得部２００は、楽曲のカラオケ歌唱を行う歌唱者の感情を示す歌唱者感情データを当該楽曲の所定の演奏区間毎に取得する（歌唱者感情データを取得。ステップ１１）。

【0064】

また、聴衆感情データ取得部３００は、歌唱者のカラオケ歌唱を聴取する聴衆の感情を示す聴衆感情データを所定の演奏区間毎に取得する（聴衆感情データを取得。ステップ１２）。なお、ステップ１１とステップ１２は同時に行われてもよい。

【0065】

評価部４００は、ステップ１１で取得した歌唱者感情データ及びステップ１２で取得した聴衆感情データに基づいて、歌唱者及び聴衆の感情の一致度を示す共感度の評価を行う（共感度を評価。ステップ１３）。なお、ステップ１１～ステップ１３の処理は、所定の演奏区間のカラオケ演奏が終了した後にまとめて行ってもよいし、一の演奏区間のカラオケ演奏が終了する都度行ってもよい。

【0066】

カラオケ演奏が終了した場合（ステップ１４）、採点処理部５００は、カラオケ歌唱に伴う歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する（採点値を算出。ステップ１５）。

【0067】

カラオケ歌唱評価部６００は、ステップ１３で求めた共感度の評価、及びステップ１５で求めた採点値に基づいて、楽曲のカラオケ歌唱の評価を行う（カラオケ歌唱を評価。ステップ１６）。

【0068】

以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、楽曲のカラオケ歌唱を行う歌唱者の感情を示す歌唱者感情データを当該楽曲の所定の演奏区間毎に取得する歌唱者感情データ取得部２００と、歌唱者のカラオケ歌唱を聴取する聴衆の感情を示す聴衆感情データを所定の演奏区間毎に取得する聴衆感情データ取得部３００と、取得した歌唱者感情データ及び聴衆感情データに基づいて、歌唱者及び聴衆の感情の一致度を示す共感度の評価を行う評価部４００と、を有する。

【0069】

このようなカラオケ装置Ｋによれば、歌唱者がカラオケ歌唱中に示した感情により聴衆が同様の感情を持った場合には、共感度が高い評価となる。一方、歌唱者がカラオケ歌唱中にある感情を示したにも関わらず聴衆が異なる感情を持った場合には、共感度が低い評価となる。すなわち、本実施形態に係るカラオケ装置Ｋによれば、カラオケ歌唱において歌唱者が示した感情により、当該カラオケ歌唱を聴取する聴衆をどれだけ共感させることができたかを評価できる。

【0070】

また、本実施形態に係るカラオケ装置Ｋにおいて、所定の演奏区間は、楽曲の歌唱区間であり、歌唱者感情データ取得部２００は、歌唱者の歌唱音声信号に基づいて歌唱者感情データを取得し、聴衆感情データ取得部３００は、撮影手段６０から出力された聴衆の顔画像信号に基づいて聴衆感情データを取得する。このようなカラオケ装置Ｋによれば、歌唱者がカラオケ歌唱に込めた感情を歌唱音声に基づいて取得することができる。また、歌唱者のカラオケ歌唱に対する聴衆の感情を聴衆の表情に基づいて取得することができる。

【0071】

また、本実施形態に係るカラオケ装置Ｋにおいて、歌唱者感情データ及び聴衆感情データは、共通する複数の感情のタイプで構成され、評価部４００は、感情のタイプ毎に共感度の評価を行う。このように、複数の感情のタイプ毎に共感度の評価を行うことにより、カラオケ歌唱において歌唱者が示した個々の感情に対して、当該カラオケ歌唱を聴取する聴衆がどれだけ共感したかを評価できる。

【0072】

また、本実施形態に係るカラオケ装置Ｋは、歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点することにより採点値を算出する採点処理部５００と、共感度の評価及び採点値に基づいて、楽曲のカラオケ歌唱の評価を行うカラオケ歌唱評価部６００と、を有する。このようなカラオケ装置Ｋによれば、共感度の評価を含むカラオケ歌唱の総合評価を行うことができる。

【0073】

なお、歌唱者感情データ及び聴衆感情データの取得は上記例に限られない。たとえば、撮影手段６０で歌唱者を撮影して取得した顔画像データに基づいて歌唱者感情データを取得することができる。

【0074】

具体例として、撮影手段６０は、カラオケ歌唱を行う利用者Ｕ１の顔を撮影し、顔画像データを取得する。撮影手段６０は、顔画像データに対応する顔画像信号をカラオケ本体１０に出力する。歌唱者感情データ取得部２００は、顔画像信号から、カラオケ歌唱を行っている際の感情を分析する。そして、歌唱者感情データ取得部２００は、感情分析により得られた情報を数値化し、感情のタイプ毎に分類することで、歌唱者感情データを取得する。なお、処理の詳細は、上記例の聴衆感情データ取得部３００における処理と同様である。このように聴衆の顔画像信号だけでなく、歌唱者の顔画像信号を利用することにより、非歌唱区間においても共感度の評価を行うことが可能となる。すなわち、所定の演奏区間として非歌唱区間（或いは非歌唱区間を構成する小節）を設定することができる。なお、歌唱者感情データ取得部２００は、歌唱者の音声信号及び顔画像信号の両方を用いて歌唱者感情データを取得してもよい。

【0075】

また、歌唱者が使用するマイク４０とは別のマイクを設け、当該別のマイクで集音した聴衆の音声に基づいて聴衆感情データを取得することができる。

【0076】

具体例として、聴衆である利用者Ｕ２または利用者Ｕ３は、利用者Ｕ１のカラオケ歌唱に合わせて声援やブーイングを行ったとする。別のマイクは、利用者Ｕ２または利用者Ｕ３の音声を集音し、音声信号に変換してカラオケ本体１０に入力する。聴衆感情データ取得部３００は、音声信号から感情特徴量を抽出し、声援やブーイングに込められた感情を分析する。なお、処理の詳細は、上記例の歌唱者感情データ取得部２００における処理と同様である。また、この例のように別のマイクに対して複数の聴衆の音声が入力された場合、聴衆感情データ取得部３００は、公知の技術（たとえば、「ディープクラスタリングを用いた音声分離技術」、三菱電機株式会社）を利用して各聴衆の音声信号を分離することができる。このように聴衆の音声信号を利用することによっても感度の評価を行うことが可能となる。なお、聴衆感情データ取得部３００は、聴衆の音声信号及び顔画像信号の両方を用いて聴衆感情データを取得してもよい。

【0077】

＜第２実施形態＞
次に、図７から図９を参照して、第２実施形態に係るカラオケ装置について説明する。本実施形態では、複数の聴衆がいる場合に、聴衆毎に共感度の評価を行う例について述べる。第１実施形態と同様の構成については説明を省略する。

【0078】

（聴衆感情データ取得部）
本実施形態に係る聴衆感情データ取得部３００は、複数の聴衆毎に聴衆感情データを取得する。聴衆データの取得方法は、第１実施形態と同様の方法を用いることができる。

【0079】

図７は、利用者Ｕ２及び利用者Ｕ３が利用者Ｕ１のカラオケ歌唱を聴取した際に取得された聴衆感情データを示す。この例では、歌唱区間Ｓ０１～歌唱区間Ｓ４８毎に２つの感情のタイプ（「喜び」、「哀しみ」）に分類した聴衆感情データを取得している（すなわち、聴衆感情データは、歌唱者感情データと共通する２つの感情のタイプで構成されている）。なお、この例において、各聴衆感情データには、感情分析に用いた顔画像信号が紐付けられている。

【0080】

（評価部）
本実施形態に係る評価部４００は、取得した歌唱者感情データ及び複数の聴衆毎の聴衆感情データに基づいて、当該複数の聴衆それぞれに対する共感度の評価を行う。

【0081】

たとえば、歌唱者感情データ取得部２００が第１実施形態の図３に示す歌唱者感情データを取得し、聴衆感情データ取得部３００が図７に示す聴衆感情データを取得したとする。

【0082】

この場合、評価部４００は、利用者Ｕ２及び利用者Ｕ３それぞれに対する共感度の評価を行う。

【0083】

具体的に、評価部４００は、歌唱区間Ｓ０１における歌唱者感情データを構成する感情のタイプのうち、数値が大きい「哀しみ」の感情のタイプの数値（３．０）と、歌唱区間Ｓ０１における利用者Ｕ２の聴衆感情データの「哀しみ」の感情のタイプの数値（０．０）との差の絶対値（３．０）を求める。評価部４００は、所定の値（１０．０）から絶対値（３．０）を減じた値（７．０）を歌唱区間Ｓ０１における利用者Ｕ２の共感度の評価とする（図８参照）。

【0084】

同様に、評価部４００は、歌唱区間Ｓ４８における歌唱者感情データを構成する感情のタイプのうち、数値が大きい「喜び」の感情のタイプの数値（８．０）と、歌唱区間Ｓ４８における利用者Ｕ２の聴衆感情データの「喜び」の感情のタイプの数値（３．０）との差の絶対値（５．０）を求める。評価部４００は、所定の値（１０．０）から絶対値（５．０）を減じた値（５．０）を歌唱区間Ｓ４８における利用者Ｕ２の共感度の評価とする（図８参照）。

【0085】

評価部４００は、楽曲Ｘの歌唱区間のカラオケ演奏が終了した後（或いは、楽曲Ｘのカラオケ演奏が全て終了した後）、歌唱区間Ｓ０１～歌唱区間Ｓ４８における利用者Ｕ２の共感度の評価の平均値を求める。この例では、評価部４００が、「喜び」の共感度の評価として平均値（６．０）を求め、「哀しみ」の共感度の評価として平均値（６．８）を求めたとする。評価部４００は、これら２つの共感度の平均値（６．４）を利用者Ｕ１のカラオケ歌唱に対する利用者Ｕ２の共感度の評価とする。

【0086】

一方、評価部４００は、歌唱区間Ｓ０１における歌唱者感情データを構成する感情のタイプのうち、数値が大きい「哀しみ」の感情のタイプの数値（３．０）と、歌唱区間Ｓ０１における利用者Ｕ３の聴衆感情データの「哀しみ」の感情のタイプの数値（０．０）との差の絶対値（３．０）を求める。評価部４００は、所定の値（１０．０）から絶対値（３．０）を減じた値（７．０）を歌唱区間Ｓ０１における利用者Ｕ３の共感度の評価とする（図９参照）。

【0087】

同様に、評価部４００は、歌唱区間Ｓ４８における歌唱者感情データを構成する感情のタイプのうち、数値が大きい「喜び」の感情のタイプの数値（８．０）と、歌唱区間Ｓ４８における利用者Ｕ３の聴衆感情データの「喜び」の感情のタイプの数値（７．０）との差の絶対値（１．０）を求める。評価部４００は、所定の値（１０．０）から絶対値（１．０）を減じた値（９．０）を歌唱区間Ｓ４８における利用者Ｕ３の共感度の評価とする（図９参照）。

【0088】

評価部４００は、楽曲Ｘの歌唱区間のカラオケ演奏が終了した後（或いは、楽曲Ｘのカラオケ演奏が全て終了した後）、歌唱区間Ｓ０１～歌唱区間Ｓ４８における利用者Ｕ３の共感度の評価の平均値を求める。この例では、評価部４００が、「喜び」の共感度の評価として平均値（８．８）を求め、「哀しみ」の共感度の評価として平均値（７．５）を求めたとする。評価部４００は、これら２つの共感度の平均値（８．１）を利用者Ｕ１のカラオケ歌唱に対する利用者Ｕ３の共感度の評価とする。

【0089】

評価部４００は、各利用者の評価結果を別々に提示する。たとえば、評価部４００は、上述の共感度の評価、及び聴衆感情データに紐付けられた顔画像信号に基づいて、各聴衆の評価を当該聴衆の顔画像と併せて表示装置３０に表示させる。具体例として、評価部４００は、「只今の歌唱者が顔画像Ｆ１（利用者Ｕ２の顔画像）を共感させた感情表現は、「６．４点／１０点満点」です。只今の歌唱者が顔画像Ｆ２（利用者Ｕ３の顔画像）を共感させた感情表現は、「８．８点／１０点満点」です。」といったメッセージを表示装置３０に表示させることができる。

【0090】

なお、各利用者が予め自己の利用者ＩＤと併せて自己の顔画像をカラオケ装置Ｋに登録しておくことも可能である。聴衆感情データ取得部３００は、聴衆感情データを取得した場合、当該聴衆感情データの取得に用いた一の顔画像を選択する。聴衆感情データ取得部３００は、登録されている顔画像の中から選択した一の顔画像と一致する顔画像を特定する。聴衆感情データ取得部３００は、特定した顔画像を、聴衆感情データと紐付けて記憶しておく。この場合、評価部４００は、聴衆の評価を、当該評価に用いた聴衆感情データに紐付けられた顔画像と併せて表示装置３０に表示させることができる。

【0091】

或いは、第１実施形態で述べたように、歌唱者が使用するマイク４０とは別のマイクを設け、当該別のマイクで集音した聴衆の音声に基づいて聴衆感情データを取得する場合、各利用者が予め自己の利用者ＩＤと併せて登録した声紋を用いて歌唱者と聴衆を区別することができる。聴衆感情データ取得部３００は、聴衆感情データを取得した場合、当該聴衆感情データの取得に用いた音声から声紋を特定する。聴衆感情データ取得部３００は、特定した声紋から対応する利用者ＩＤを特定し、聴衆感情データと紐付けて記憶しておく。この場合、評価部４００は、聴衆の評価を、当該評価に用いた聴衆感情データに紐付けられた聴衆の利用者ＩＤ（或いは利用者ＩＤに基づく利用者名）と併せて表示装置３０に表示させることができる。

【0092】

以上から明らかなように、本実施形態に係るカラオケ装置Ｋにおける聴衆感情データ取得部３００は、複数の聴衆毎に聴衆感情データを取得する。評価部４００は、取得した歌唱者感情データ及び複数の聴衆毎の聴衆感情データに基づいて、当該複数の聴衆それぞれに対する共感度の評価を行う。このようなカラオケ装置Ｋによれば、カラオケ歌唱において歌唱者が示した感情により、聴衆毎にどれだけ共感させることができたかを評価できる。たとえば、利用者Ｕ１及び利用者Ｕ２が男性で利用者Ｕ３は女性であり、楽曲Ｘは男性の原曲歌手が歌唱するラブソングであったとする。この場合、カラオケ歌唱評価部６００は、利用者Ｕ１とは性別が異なる利用者Ｕ３に対する共感度を採用することにより、利用者Ｕ１の感情表現をより適切にカラオケ歌唱の評価に反映させることができる。或いは、カラオケ歌唱評価部６００（または評価部４００）は、共感度を歌唱者と聴衆それぞれとの相性という見せ方をすることもできる。

【0093】

＜その他＞
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0094】

１００ 演奏制御部
２００ 歌唱者感情データ取得部
３００ 聴衆感情データ取得部
４００ 評価部
５００ 採点処理部
６００ カラオケ歌唱評価部
Ｋ カラオケ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】