特開 2023-162962 カラオケ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023162962

(43)【公開日】2023-11-09

(54)【発明の名称】カラオケ装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20231101BHJP

【ＦＩ】

G10K15/04 302D

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022073702

(22)【出願日】2022-04-27

(71)【出願人】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】佐々木 優太

【テーマコード（参考）】

5D208

【Ｆターム（参考）】

5D208CA09

5D208CB04

(57)【要約】

【課題】利用者の動作に基づいて、カラオケ歌唱を推奨する楽曲を提示可能なカラオケ装置を提供する。
【解決手段】楽曲の属性情報と、当該楽曲の楽曲識別情報とを対応付けて記憶する情報記憶部、利用者の動作を撮影して得られた動作映像に基づいて、楽曲の属性情報に対応する特徴情報を抽出する抽出部、抽出された特徴情報と一致する属性情報が対応付けられた楽曲識別情報を特定する特定部、特定された楽曲識別情報が示す楽曲を、レコメンド楽曲として利用者に対して提示する提示部を有するカラオケ装置。
【選択図】図２

【特許請求の範囲】

【請求項1】

楽曲の属性情報と、当該楽曲の楽曲識別情報とを対応付けて記憶する情報記憶部と、
利用者の動作を撮影して得られた動作映像に基づいて、楽曲の属性情報に対応する特徴情報を抽出する抽出部と、
抽出された前記特徴情報と一致する属性情報が対応付けられた楽曲識別情報を特定する特定部と、
特定された前記楽曲識別情報が示す楽曲を、レコメンド楽曲として前記利用者に対して提示する提示部と、
を有するカラオケ装置。

【請求項2】

前記抽出部は、利用者からの要求に応じて当該利用者の動作を撮影して得られる動作映像に基づいて、前記特徴情報を抽出し、
前記特定部は、抽出された前記特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定することを特徴とする請求項１記載のカラオケ装置。

【請求項3】

前記抽出部は、利用者がカラオケ装置を利用している間に当該利用者の動作を撮影して得られた動作映像に基づいて、前記特徴情報を複数抽出し、
前記特定部は、カラオケ演奏が行われていない状態が所定時間継続した場合、カラオケ装置の利用開始からその時点までに抽出された複数の特徴情報に基づいて一の特徴情報を決定し、当該一の特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定することを特徴とする請求項１記載のカラオケ装置。

【請求項4】

前記情報記憶部は、前記属性情報として、楽曲のジャンルを示すジャンル情報を記憶することを特徴とする請求項１から３のいずれか一つに記載のカラオケ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はカラオケ装置に関する。

【背景技術】

【0002】

一般に、カラオケ装置の利用者は、カラオケ装置に付属するリモコン装置を操作し、カラオケ歌唱を行う楽曲を選曲する。

【0003】

一方、利用者に対してカラオケ歌唱を行う楽曲を推奨するカラオケ装置が提案されている。

【0004】

たとえば、特許文献１には、利用者が発声したハミングやスキャットを含む歌声の音声に基づいて楽曲を検索し、利用者に対して曲名を提示する技術が開示されている。また、特許文献２には、利用者がＢＧＭを聴取した際の集中度から嗜好情報を決定し、決定した嗜好情報に基づいて、利用者に対してレコメンド楽曲を提示する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３－１０８１６５号公報

【特許文献2】特開２０２１－１３５３８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、利用者の動作に基づいて、カラオケ歌唱を推奨する楽曲を提示可能なカラオケ装置を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するための一の発明は、楽曲の属性情報と、当該楽曲の楽曲識別情報とを対応付けて記憶する情報記憶部と、利用者の動作を撮影して得られた動作映像に基づいて、楽曲の属性情報に対応する特徴情報を抽出する抽出部と、抽出された前記特徴情報と一致する属性情報が対応付けられた楽曲識別情報を特定する特定部と、特定された前記楽曲識別情報が示す楽曲を、レコメンド楽曲として前記利用者に対して提示する提示部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

【発明の効果】

【0008】

本発明によれば、利用者の動作に基づいて、カラオケ歌唱を推奨する楽曲を提示できる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係るカラオケ装置を示す図である。

【図2】第１実施形態に係るカラオケ本体を示す図である。

【図3】第１実施形態に係る情報記憶部に記憶されているテーブルを示した図である。

【図4】第１実施形態に係るカラオケ装置の処理を示すフローチャートである。

【図5】第２実施形態において抽出した利用者毎の特徴情報の割合を示した図である。

【図6】第２実施形態に係るカラオケ装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

＜第１実施形態＞
図１～図４を参照して、第１実施形態に係るカラオケ装置について説明する。

【0011】

＝＝カラオケ装置＝＝
カラオケ装置Ｋは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。図１に示すように、カラオケ装置Ｋは、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影手段６０を備える。

【0012】

カラオケ本体１０は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ２０は、カラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０は、カラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は、利用者のカラオケ歌唱の歌唱音声をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。撮影手段６０は、カラオケ装置Ｋを利用する利用者を撮影可能なカメラである。

【0013】

図２に示すように、本実施形態に係るカラオケ本体１０は、記憶手段１０ａ、通信手段１０ｂ、入力手段１０ｃ、演奏手段１０ｄ、及び制御手段１０ｅを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

【0014】

［記憶手段］
記憶手段１０ａは、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶手段１０ａは、楽曲データを記憶する。

【0015】

楽曲データは、個々の楽曲を特定するための楽曲識別情報が付与されている。楽曲識別情報は、楽曲を識別するための楽曲ＩＤ等、各楽曲に固有の情報である。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、カラオケ演奏された楽曲の主旋律を示すデータであって、利用者によるカラオケ歌唱を採点する際に用いられるデータである。

【0016】

記憶手段１０ａは、各楽曲に対応する歌詞テロップをカラオケ演奏に合わせて表示装置３０等に表示させるための歌詞テロップデータ、及びカラオケ演奏時に表示装置３０等に表示される背景映像等の背景映像データを記憶する。

【0017】

（情報記憶部）
本実施形態において、記憶手段１０ａの記憶領域の一部は、情報記憶部１００として機能する。情報記憶部１００は、楽曲の属性情報と、当該楽曲の楽曲識別情報とを対応付けて記憶する。

【0018】

属性情報は、楽曲に付帯する様々な情報である。具体的に、属性情報は、楽曲のジャンルを示すジャンル情報、楽曲のテンポを示すテンポ情報、楽曲のビートを示すビート情報等である。本実施形態においては、属性情報がジャンル情報である場合を例に説明を行う。

【0019】

図３は、情報記憶部１００が記憶している属性情報と楽曲識別情報とのテーブルを示している。この例では、４つのジャンル情報（「バラード」、「ロック」、「アイドル」、「その他」）それぞれに対し、当該ジャンル情報が示すジャンルに区分できる楽曲の楽曲識別情報が対応づけられている。具体的に、ジャンル情報「バラード」には、楽曲Ｘ１～楽曲Ｘｐの楽曲ＩＤであるＩＤ＊＊＊Ｘ１～ＩＤ＊＊＊Ｘｐが対応付けられている。すなわち、楽曲Ｘ１～楽曲Ｘｐのジャンルは「バラード」である。また、ジャンル情報「ロック」には、楽曲Ｙ１～楽曲Ｙｑの楽曲ＩＤであるＩＤ＊＊＊Ｙ１～ＩＤ＊＊＊Ｙｑが対応付けられている。すなわち、楽曲Ｙ１～楽曲Ｙｑのジャンルは「ロック」である。また、ジャンル情報「アイドル」には、楽曲Ｚ１～楽曲Ｚｒの楽曲ＩＤであるＩＤ＊＊＊Ｚ１～ＩＤ＊＊＊Ｚｒが対応付けられている。すなわち、楽曲Ｚ１～楽曲Ｚｒのジャンルは「アイドル」である。一方、ジャンル情報「その他」には、「バラード」、「ロック」、及び「アイドル」以外のジャンルの楽曲の楽曲ＩＤが対応付けられている。すなわち、楽曲Ｘ１～楽曲Ｘｐ、楽曲Ｙ１～楽曲Ｙｑ、楽曲Ｚ１～楽曲Ｚｒ以外の楽曲のジャンルは「その他」である。

【0020】

なお、属性情報の種類や数は、上記例に特に限定されるものではない。たとえば、情報記憶部１００は、ジャンル情報として、「バラード」、「ロック」、「アイドル」、「演歌」、「その他」の５つを記憶していてもよい。

【0021】

［通信手段・入力手段］
通信手段１０ｂは、リモコン装置５０との通信を行うためのインターフェースを提供する。入力手段１０ｃは、利用者が各種の指示入力を行うための構成である。入力手段１０ｃは、カラオケ本体１０に設けられたボタン等である。或いは、リモコン装置５０が入力手段１０ｃとして機能してもよい。

【0022】

［演奏手段］
演奏手段１０ｄは、制御手段１０ｅの制御に基づき、楽曲のカラオケ演奏、及びマイク４０を通じて入力された歌唱音声に基づく信号の処理を行う。演奏手段１０ｄは、音源、ミキサ、アンプ等を含む（いずれも図示なし）。

【0023】

［制御手段］
制御手段１０ｅは、カラオケ装置Ｋにおける各種の制御を行う。制御手段１０ｅは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。

【0024】

本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、抽出部２００、特定部３００、及び提示部４００として機能する。

【0025】

（抽出部）
抽出部２００は、利用者の動作を撮影して得られた動作映像に基づいて、楽曲の属性情報に対応する特徴情報を抽出する。

【0026】

特徴情報は、動作映像を解析した結果として得られる情報であって、楽曲の属性情報に対応する情報である。たとえば、属性情報がジャンル情報の場合、楽曲のジャンルが特徴情報として抽出される。

【0027】

特徴情報の抽出は、様々な方法を用いることができる。たとえば、抽出部２００は、構築済みの学習モデルを用いて特徴情報を抽出することができる。

【0028】

学習済みモデルは、動作映像を解析して求めた利用者の動作の特徴と、所定の属性情報とを紐付けた教師データで構成される。動作映像を解析し、利用者の動作の特徴を求める方法は公知の技術を用いることができる。

【0029】

たとえば、動作映像を解析した結果、「利用者の姿勢や位置の変化が少なく、上半身だけがゆったり動く」という動作の特徴が求められた場合、カラオケ装置Ｋは、当該動作の特徴に対して、ジャンル情報「バラード」を紐付けて学習させる。同様に、「ヘッドバンギング及びこぶしを挙げるような大きな動きがある」という動作の特徴が求められた場合、カラオケ装置Ｋは、当該動作の特徴に対して、ジャンル情報「ロック」を紐付けて学習させる。また、「全体的にダンサンブルな動きであって、肘から先を軽く動かす動作がある」という動作の特徴が求められた場合、カラオケ装置Ｋは、当該動作の特徴に対して、ジャンル情報「アイドル」を紐付けて学習させる。一方、「動きに統一感がなくランダムである」という動作の特徴が求められた場合、カラオケ装置Ｋは、当該動作の特徴に対して、ジャンル情報「その他」を紐付けて学習させる。カラオケ装置Ｋは、このような処理を繰り返し行うことにより学習済みモデルを構築する。なお、学習済みモデルの構築は、カラオケ装置Ｋとは別の外部サーバ装置（図示なし）で行われてもよい。この場合、外部サーバ装置は、カラオケ装置Ｋに対して学習済みモデルを提供することができる。

【0030】

学習済みモデルが構築された後、抽出部２００が、撮影手段６０から新たな動作映像を取得したとする。この場合、抽出部２００は、新たな動作映像を解析し、当該動作映像に含まれる動作の特徴を求める。抽出部２００は、求めた動作の特徴を学習済みモデルに入力する。学習済みモデルは、入力された動作の特徴と一致または類似する動作の特徴に紐付けられている属性情報を出力する。抽出部２００は、学習済みモデルから出力された属性情報を、特徴情報として抽出する。

【0031】

ここで、本実施形態に係る抽出部２００は、利用者からの要求に応じて当該利用者の動作を撮影して得られる動作映像に基づいて、特徴情報を抽出する。

【0032】

たとえば、カラオケ装置Ｋを利用する利用者は、リモコン装置５０を操作して「動作検索モード」を選択することにより、撮影手段６０による撮影の要求を行う。リモコン装置５０は、動作検索モードの選択に応じて、撮影手段６０に利用者の撮影を開始するよう指示する。

【0033】

利用者は、撮影手段６０に向かってカラオケ歌唱を行いたい楽曲の属性情報に対応付けられている可能性のある特徴的な動作を行う。撮影手段６０は、当該利用者の動作を撮影して動作映像を取得する。撮影手段６０は、取得した動作映像のデータを抽出部２００に出力する。抽出部２００は、学習済みモデルを利用して上述の処理を行うことにより、特徴情報を抽出する。

【0034】

（特定部）
特定部３００は、抽出された特徴情報と一致する属性情報が対応付けられた楽曲識別情報を特定する。

【0035】

特定部３００は、情報記憶部１００に記憶されている複数の属性情報の中から、抽出された特徴情報と一致する属性情報を選択する。更に、特定部３００は、情報記憶部１００を参照し、選択した属性情報に対応付けられた楽曲識別情報を特定する。たとえば、選択した属性情報に対応付けられた楽曲識別情報が１０個の場合、特定部３００は、当該１０個の楽曲識別情報を特定する。

【0036】

一方、本実施形態に係る特定部３００は、抽出された特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定することができる。

【0037】

所定条件は、複数の楽曲識別情報の中から、一部の楽曲識別情報を選択するための条件である。たとえば、「全国のカラオケ装置においてカラオケ演奏がされた合計回数の多い順から５曲」、「利用者の歌唱履歴の中でカラオケ歌唱の回数が多い順から３曲」、または「利用者の採点履歴の中で採点値が高い順から１０曲」を所定条件とすることができる。所定条件は、カラオケ装置毎に予め一の条件が設定されていてもよいし、利用者が動作検索モードを選択する際に任意の条件を選択してもよい。

【0038】

ここで、所定条件が「全国のカラオケ装置においてカラオケ演奏がされた合計回数の多い順から５曲」であるとする。また、カラオケ装置Ｋは、各楽曲のカラオケ演奏がされた合計回数を予め記憶しているとする。

【0039】

特定部３００は、情報記憶部１００に記憶されている複数の属性情報の中から、抽出された特徴情報と一致する属性情報を選択する。更に、特定部３００は、情報記憶部１００を参照し、選択した属性情報に対応付けられた楽曲識別情報のうち、カラオケ演奏がされた合計回数の多い順から５曲を選択し、当該５曲の楽曲識別情報を特定する。

【0040】

（提示部）
提示部４００は、特定された楽曲識別情報が示す楽曲を、レコメンド楽曲として利用者に対して提示する。

【0041】

レコメンド楽曲は、利用者に対してカラオケ歌唱を推奨する楽曲である。レコメンド楽曲の提示は様々な方法で行うことができる。たとえば、提示部４００は、特定された楽曲識別情報が示す楽曲の曲名を表示装置３０やリモコン装置５０に表示させることができる。或いは、提示部４００は、スピーカ２０を介して特定された楽曲識別情報が示す楽曲の曲名を放音させてもよい。

【0042】

＝＝カラオケ装置Ｋの動作について＝＝
次に、図４を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図４は、カラオケ装置Ｋの動作例を示すフローチャートである。この例では、利用者Ｕがカラオケ装置Ｋを利用するとする。また、情報記憶部１００は、図３に示すテーブルを記憶しているとする。また、この例における属性情報はジャンル情報であり、所定条件は「全国のカラオケ装置においてカラオケ演奏がされた合計回数の多い順から５曲」であるとする。

【0043】

利用者Ｕは、リモコン装置５０を操作して「動作検索モード」を選択することにより、撮影手段６０による撮影の要求を行う（動作の撮影を要求。ステップ１０）。リモコン装置５０は、撮影手段６０に利用者Ｕの撮影を開始するよう指示する。撮影手段６０は、利用者Ｕの動作を撮影して動作映像を取得する（動作映像を取得。ステップ１１）。撮影手段６０は、取得した動作映像のデータを抽出部２００に出力する。

【0044】

抽出部２００は、ステップ１１で取得した動作映像に基づいて、特徴情報を抽出する（動作映像に基づいて特徴情報を抽出。ステップ１２）。

【0045】

特定部３００は、ステップ１２で抽出された特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定する（所定条件を満たす楽曲識別情報を特定。ステップ１３）。

【0046】

提示部４００は、ステップ１３で特定された楽曲識別情報が示す楽曲を、レコメンド楽曲として利用者に対して提示する（レコメンド楽曲を提示。ステップ１４）。

【0047】

具体的に、抽出部２００は、利用者Ｕの動作を撮影して得られた動作映像を解析し、動作の特徴Ｆを求める。抽出部２００は、求めた動作の特徴Ｆを学習済みモデルに入力する。学習済みモデルは、入力された動作の特徴Ｆと一致または類似する動作の特徴Ｆｓに紐付けられているジャンル情報「ロック」を出力する。抽出部２００は、学習済みモデルから出力されたジャンル情報「ロック」を、一の特徴情報として抽出する。

【0048】

特定部３００は、情報記憶部１００に記憶されている複数のジャンル情報の中から、抽出された特徴情報と一致するジャンル情報「ロック」を選択する。特定部３００は、情報記憶部１００に記憶されている図３のテーブルを参照し、選択したジャンル情報「ロック」に対応付けられた楽曲ＩＤとしてＩＤ＊＊＊Ｙ１～ＩＤ＊＊＊Ｙｑを特定する。

【0049】

ここで、全国のカラオケ装置においてカラオケ演奏がされた、楽曲Ｙ１～楽曲Ｙｑそれぞれの合計回数が、楽曲Ｙ１、楽曲Ｙ２、楽曲Ｙ３、楽曲Ｙ４、楽曲Ｙ５、楽曲Ｙ６、・・・・の順で多いとする。この場合、特定部３００は、特定した楽曲ＩＤのうち、所定条件を満たす楽曲ＩＤとして、楽曲Ｙ１～楽曲Ｙ５の楽曲ＩＤ（ＩＤ＊＊＊Ｙ１～ＩＤ＊＊＊Ｙ５）を特定する。

【0050】

提示部４００は、特定されたＩＤ＊＊＊Ｙ１～ＩＤ＊＊＊Ｙ５が示す５曲（楽曲Ｙ１～楽曲Ｙ５）の曲名を表示装置３０に表示させることにより、それらの楽曲をレコメンド楽曲として利用者Ｕに対して提示する。

【0051】

以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、楽曲の属性情報と、当該楽曲の楽曲識別情報とを対応付けて記憶する情報記憶部１００と、利用者の動作を撮影して得られた動作映像に基づいて、楽曲の属性情報に対応する特徴情報を抽出する抽出部２００と、抽出された特徴情報と一致する属性情報が対応付けられた楽曲識別情報を特定する特定部３００と、特定された楽曲識別情報が示す楽曲を、レコメンド楽曲として利用者に対して提示する提示部４００と、を有する。

【0052】

このようなカラオケ装置Ｋによれば、動作映像に基づいて抽出した特徴情報と一致する属性情報が対応付けられた楽曲識別情報を特定することができる。そして、カラオケ装置Ｋは、特定された楽曲識別情報が示す楽曲を利用者に対して提示することができる。利用者は、カラオケ歌唱を行いたい楽曲の属性情報に対応付けられた特徴的な動き（または特徴的な動きに類似する動き）を行うだけで、リモコン装置５０等を操作して楽曲を選曲することなく、適当なレコメンド楽曲の提示を受けることができる。すなわち、本実施形態に係るカラオケ装置Ｋによれば、利用者の動作に基づいて、カラオケ歌唱を推奨する楽曲を提示できる。

【0053】

また、本実施形態に係るカラオケ装置Ｋにおける抽出部２００は、利用者からの要求に応じて当該利用者の動作を撮影して得られる動作映像に基づいて、特徴情報を抽出し、特定部３００は、抽出された特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定することができる。このようなカラオケ装置Ｋによれば、利用者からの要求に応じて、複数の楽曲識別情報のうち、所定条件を満たす楽曲識別情報が示す楽曲をレコメンド楽曲として提示できる。

【0054】

なお、属性情報がテンポ情報の場合、情報記憶部１００は、楽曲のテンポ情報と当該楽曲の楽曲識別情報とを対応付けて記憶し、楽曲のテンポが特徴情報として抽出される。具体的に、抽出部２００は、動作映像を解析して、利用者の反復動作の周期からテンポ（たとえば「ＢＰＭ＝１２０」）を抽出することができる。特定部３００は、情報記憶部１００に記憶されている複数のテンポ情報の中から、抽出された特徴情報と一致するテンポ情報（たとえば「ＢＰＭ＝１１６～１２３」）を選択し、選択したテンポ情報に対応付けられた楽曲識別情報を特定する。

【0055】

＜第２実施形態＞
次に、図５及び図６を参照して、第２実施形態に係るカラオケ装置について説明する。本実施形態では、カラオケ演奏が行われていない状態が所定時間継続した場合に、所定条件を満たす楽曲識別情報を特定する例について説明を行う。なお、第１実施形態と同様の構成については詳細な説明を省略する。

【0056】

（抽出部）
本実施形態に係る抽出部２００は、利用者がカラオケ装置Ｋを利用している間に当該利用者の動作を撮影して得られた動作映像に基づいて、特徴情報を複数抽出する。特徴情報を抽出する処理は第１実施形態と同様である。

【0057】

本実施形態において、撮影手段６０は、利用者がカラオケ装置Ｋを利用している間、常に利用者の撮影を行い、動作映像を取得する。たとえば、撮影手段６０は、利用者がリモコン装置５０を操作して自己の利用者識別情報の入力を行った場合（後述）に撮影を開始する。撮影手段６０は、取得した動作映像のデータを、順次抽出部２００に出力する。

【0058】

抽出部２００は、所定のタイミング毎（たとえば、３０秒毎）に動作映像を解析し、当該動作映像に含まれる動作の特徴を求める。抽出部２００は、求めた動作の特徴を学習済みモデルに入力する。学習済みモデルは、入力された動作の特徴と一致または類似する動作の特徴に紐付けられている属性情報を出力する。抽出部２００は、学習済みモデルから出力された属性情報を、特徴情報として抽出する。なお、本実施形態においては、利用者が常に特徴的な動作を行っているとは限らない。よって、抽出部２００が動作映像を解析した結果、特徴的な動作が含まれないとなる場合もありうる。

【0059】

また、複数の利用者でカラオケ装置Ｋを利用する場合もありうる。この場合、抽出部２００は、抽出した特徴情報と利用者との対応付けを行う。

【0060】

たとえば、カラオケ装置Ｋを利用する際、各利用者は、リモコン装置５０を操作し、自己の利用者識別情報を入力する。利用者識別情報は、利用者を識別するための利用者ＩＤ等、各利用者に固有の情報である。カラオケ装置Ｋは、入力された利用者の利用者ＩＤを記憶手段１０ａに記憶させることにより（すなわち、ログイン処理を行うことにより）、カラオケ装置Ｋに対する利用者のログインを完了させる。カラオケ装置Ｋは、ログイン処理を行った利用者の利用者ＩＤを外部のサーバ装置に送信し、当該利用者の履歴情報を取得する。履歴情報は歌唱履歴や採点履歴といった過去に行ったカラオケ歌唱の記録の他、利用者の名前、年齢、性別、住所、顔画像等の情報を含む。

【0061】

ここで、利用者が複数いる場合、抽出部２００は、動作映像に含まれる動作の特徴を求める際、当該動作を行った利用者の顔画像も併せて抽出する。抽出部２００は、抽出した顔画像と履歴情報に含まれる顔画像とを対比することにより、当該動作を行った利用者を特定することができる。抽出部２００は、抽出した特徴情報を、特定した利用者の利用者識別情報と対応付けて記憶手段１０ａに記憶させる。

【0062】

（特定部）
本実施形態に係る特定部３００は、カラオケ演奏が行われていない状態が所定時間継続した場合、カラオケ装置の利用開始からその時点までに抽出された複数の特徴情報に基づいて一の特徴情報を決定し、当該一の特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定する。

【0063】

所定時間は、たとえば５分、１０分のように予め一の値が設定されている。特定部３００は、カラオケ演奏が行われていない状態が発生した後、経過時間のカウントを開始する。

【0064】

カラオケ演奏が行われていない状態が所定時間継続した場合、特定部３００は、カラオケ装置の利用開始からその時点までに抽出された複数の特徴情報に基づいて一の特徴情報を決定する。

【0065】

一の特徴情報の決定は、様々な方法により行うことができる。たとえば、特定部３００は、カラオケ装置Ｋの利用開始から、カラオケ演奏が行われていない状態が所定時間継続した時点までに抽出された複数の特徴情報を種類毎に分類し、最も数が多い特徴情報を、一の特徴情報として決定することができる。

【0066】

或いは、特定部３００は、複数の特徴情報それぞれの割合に基づいて、一の特徴情報を決定してもよい。

【0067】

たとえば、特定部３００は、複数の利用者それぞれについて、抽出した特徴情報の割合を求めたテーブルを作成する。図５は、利用者Ｕ１～利用者Ｕ４によるカラオケ装置Ｋの利用開始から、カラオケ演奏が行われていない状態が所定時間継続した時点までに抽出された、利用者毎の特徴情報の割合を示したテーブルである。たとえば、利用者Ｕ１の動作を解析した結果得られた特徴情報は、「バラード」が３０％であり、「アイドル」が４０％であり、「その他」が３０％である。また、利用者Ｕ１～利用者Ｕ４のいずれも「アイドル」の特徴情報が抽出されている一方、「ロック」の特徴情報は、利用者Ｕ２のみとなっている。

【0068】

特定部３００は、特徴情報毎に割合の平均を求める。図５のテーブルに基づく場合、「バラード」は１７．５％であり、「ロック」は１２．５％であり、「アイドル」は３７．５％であり、「その他」は３２．５％となる。特定部３００は、たとえば、割合の平均が最も高い「アイドル」を一の特徴情報として決定する。なお、「その他」の割合の平均が最も高くなる場合、特定部３００は、「その他」の次に割合の平均が高いジャンルを一の特徴情報として決定してもよい。

【0069】

所定条件は、第１実施形態と同様の条件を設定することができる。また、利用者が複数の場合、たとえば、「各利用者の歌唱履歴の中でカラオケ歌唱の回数の合計値が多い順から３曲」、または「各利用者の採点履歴の中で採点値の平均が高い順から１０曲」を所定条件とすることができる。

【0070】

ここで、利用者が複数であり、所定条件が「各利用者の歌唱履歴の中でカラオケ歌唱の回数の合計値が多い順から３曲」であるとする。また、カラオケ装置Ｋは、各利用者の歌唱履歴を含む履歴情報を外部のサーバ装置から取得しているとする。

【0071】

特定部３００は、情報記憶部１００に記憶されている複数の属性情報の中から、抽出された特徴情報と一致する属性情報を選択する。また、特定部３００は、各利用者の歌唱履歴を参照し、楽曲毎のカラオケ歌唱の合計回数を求める。更に、特定部３００は、情報記憶部１００を参照し、選択した属性情報に対応付けられた楽曲識別情報のうち、カラオケ歌唱の回数の合計回数の多い順から３曲を選択し、当該３曲の楽曲識別情報を特定する。

【0072】

＝＝カラオケ装置Ｋの動作について＝＝
次に、図６を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図６は、カラオケ装置Ｋの動作例を示すフローチャートである。この例では、利用者Ｕ１～利用者Ｕ４がカラオケ装置Ｋを利用するとする。また、情報記憶部１００は、図３に示すテーブルを記憶しているとする。また、この例における属性情報はジャンル情報であり、所定条件は「全国のカラオケ装置においてカラオケ演奏がされた合計回数の多い順から５曲」であるとする。

【0073】

利用者Ｕ１～利用者Ｕ４がカラオケ装置Ｋの利用を開始した場合（カラオケ装置の利用開始。ステップ２０）、撮影手段６０は各利用者の撮影を開始する（利用者の撮影を開始。ステップ２１）。撮影手段６０は、取得した動作映像のデータを抽出部２００に出力する。

【0074】

抽出部２００は、利用者Ｕ１～利用者Ｕ４がカラオケ装置Ｋを利用している間に当該利用者の動作を撮影して得られた動作映像に基づいて、特徴情報を複数抽出する（動作映像に基づいて特徴情報を複数抽出。ステップ２２）。

【0075】

カラオケ演奏が行われていない状態が所定時間継続した場合（ステップ２３でＹの場合）、特定部３００は、カラオケ装置Ｋの利用開始からその時点までに抽出された複数の特徴情報に基づいて一の特徴情報を決定する（複数の特徴情報に基づいて一の特徴情報を決定。ステップ２４）。

【0076】

特定部３００は、ステップ２４で決定した一の特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定する（所定条件を満たす楽曲識別情報を特定。ステップ２５）。

【0077】

提示部４００は、ステップ２５で特定された楽曲識別情報が示す楽曲を、レコメンド楽曲として利用者に対して提示する（レコメンド楽曲を提示。ステップ２６）。カラオケ装置Ｋは、利用者Ｕ１～利用者Ｕ４がカラオケ装置Ｋの利用を終了するまで（ステップ２７でＹの場合）、ステップ２１からステップ２６の処理を繰り返し行う。

【0078】

具体的に、たとえば抽出部２００は、利用者Ｕ１がカラオケ歌唱中に行った動作を撮影して得られた動作映像を解析し、利用者Ｕ１の動作の特徴Ｆ１を求める。抽出部２００は、求めた動作の特徴Ｆ１を学習済みモデルに入力する。学習済みモデルは、動作の特徴Ｆ１と一致または類似する動作の特徴Ｆｓ１に紐付けられているジャンル情報「アイドル」を出力する。抽出部２００は、学習済みモデルから出力されたジャンル情報「アイドル」を、一の特徴情報として抽出し、利用者Ｕ１の利用者ＩＤと対応付けて記憶手段１０ａに記憶させる。

【0079】

同様に、抽出部２００は、利用者Ｕ２によるカラオケ歌唱を聴きながら利用者Ｕ３が行った動作を撮影して得られた動作映像を解析し、利用者Ｕ３の動作の特徴Ｆ３を求める。抽出部２００は、求めた動作の特徴Ｆ３を学習済みモデルに入力する。学習済みモデルは、動作の特徴Ｆ３と一致または類似する動作の特徴Ｆｓ１に紐付けられているジャンル情報「アイドル」を出力する。抽出部２００は、学習済みモデルから出力されたジャンル情報「アイドル」を、一の特徴情報として抽出し、利用者Ｕ３の利用者ＩＤと対応付けて記憶手段１０ａに記憶させる。

【0080】

また、抽出部２００は、曲間において、利用者Ｕ４がＢＧＭに合わせて行った動作を撮影して得られた動作映像を解析し、利用者Ｕ４の動作の特徴Ｆ４を求める。抽出部２００は、求めた動作の特徴Ｆ４を学習済みモデルに入力する。学習済みモデルは、動作の特徴Ｆ４と一致また類似する動作の特徴Ｆｓ２に紐付けられているジャンル情報「バラード」を出力する。抽出部２００は、学習済みモデルから出力されたジャンル情報「バラード」を、一の特徴情報として抽出し、利用者Ｕ４の利用者ＩＤと対応付けて記憶手段１０ａに記憶させる。

【0081】

抽出部２００は、所定のタイミング毎に同様の処理を繰り返し行う。なお、一のタイミングにおける動作映像中において複数の利用者がそれぞれ特徴的な動作を行っている場合もありうる。この場合、抽出部２００は、利用者毎に動作映像の解析を行い、それぞれの特徴情報を抽出する。

【0082】

一方、カラオケ演奏が行われていない状態が所定時間継続した場合、特定部３００は、カラオケ装置Ｋの利用開始からその時点までに抽出された複数の特徴情報に基づいて一の特徴情報を決定する。この例では、特定部３００が、図５に示したテーブルを作成し、割合の平均が最も高い「アイドル」を一の特徴情報として決定したとする。

【0083】

この場合、特定部３００は、情報記憶部１００に記憶されている図３のテーブルを参照し、選択したジャンル情報「アイドル」に対応付けられた楽曲ＩＤとしてＩＤ＊＊＊Ｚ１～ＩＤ＊＊＊Ｚｒを特定する。

【0084】

ここで、全国のカラオケ装置においてカラオケ演奏がされた、楽曲Ｚ１～楽曲Ｚｒそれぞれの合計回数が、楽曲Ｚ１、楽曲Ｚ２、楽曲Ｚ３、楽曲Ｚ４、楽曲Ｚ５、楽曲Ｚ６、・・・・の順で多いとする。この場合、特定部３００は、特定した楽曲ＩＤのうち、所定条件を満たす楽曲ＩＤとして、楽曲Ｚ１～楽曲Ｚ５の楽曲ＩＤ（ＩＤ＊＊＊Ｚ１～ＩＤ＊＊＊Ｚ５）を特定する。

【0085】

提示部４００は、特定されたＩＤ＊＊＊Ｚ１～ＩＤ＊＊＊Ｚ５が示す５曲（楽曲Ｚ１～楽曲Ｚ５）の曲名を表示装置３０に表示させることにより、それらの楽曲をレコメンド楽曲として利用者Ｕ１～利用者Ｕ４に対して提示する。

【0086】

なお、提示部４００は、利用者Ｕ１～利用者Ｕ４のうち、特徴情報「アイドル」の割合が最も高い利用者Ｕ４に対して、レコメンド楽曲を提示してもよい。たとえば、提示部４００は、「利用者Ｕ４にお勧めの楽曲は、楽曲Ｚ１～楽曲Ｚ５です」といった文章を表示装置３０に表示させることができる。

【0087】

以上から明らかなように、本実施形態に係るカラオケ装置Ｋにおける抽出部２００は、利用者がカラオケ装置Ｋを利用している間に当該利用者の動作を撮影して得られた動作映像に基づいて、特徴情報を複数抽出し、特定部３００は、カラオケ演奏が行われていない状態が所定時間継続した場合、カラオケ装置Ｋの利用開始からその時点までに抽出された複数の特徴情報に基づいて一の特徴情報を決定し、当該一の特徴情報と一致する属性情報が対応付けられた楽曲識別情報のうち、所定条件を満たす楽曲識別情報を特定する。

【0088】

このようなカラオケ装置Ｋによれば、カラオケ演奏が行われていない状態が所定時間継続した場合に、カラオケ装置Ｋの利用開始からその時点までに抽出された複数の特徴情報に基づいて、楽曲識別情報を特定することができる。すなわち、本実施形態に係るカラオケ装置Ｋによれば、利用者の動作に基づいて、カラオケ歌唱を推奨する楽曲を提示できる。

【0089】

＜その他＞
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0090】

１００ 情報記憶部
２００ 抽出部
３００ 特定部
４００ 提示部
Ｋ カラオケ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】