特許 6137935 身体動作評価装置、カラオケシステム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6137935

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】身体動作評価装置、カラオケシステム、及びプログラム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20170522BHJP

   A63B 71/06 20060101ALI20170522BHJP

【ＦＩ】

   A63B69/00 514

   A63B71/06 M

【請求項の数】10

【全頁数】23

(21)【出願番号】特願2013-99564(P2013-99564)

(22)【出願日】2013年5月9日

(65)【公開番号】特開2014-217627(P2014-217627A)

(43)【公開日】2014年11月20日

【審査請求日】2016年4月4日

(73)【特許権者】

【識別番号】512031013

【氏名又は名称】株式会社モバダイ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】三木 直哉

(72)【発明者】

【氏名】呉島 孟倉

【審査官】 吉田 英一

(56)【参考文献】

【文献】 特開２００１−２２４７３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ７１／０６

Ｇ１０Ｋ １５／０４

(57)【特許請求の範囲】

【請求項1】

楽曲に合わせたユーザの動作の手本を定義した複数の手本データであって、少なくとも身体動作の手本及び合いの手の手本を含む複数の手本データを、それぞれ対応する楽曲の再生位置の情報と共に記憶する、手本データ記憶部と、
前記楽曲の再生と同期して、前記複数の手本データの少なくとも一部を映像として再生する、手本データ映像再生部と、
前記ユーザの動作を、前記楽曲の再生位置と対応付けて取得する動作取得部であって、身体動作を取得し、携帯端末を介して合いの手を取得する動作取得部と、
前記複数の手本データと、前記複数の手本データの楽曲再生位置を含む所定の楽曲再生時間間隔において取得された前記ユーザの動作との一致度から、前記複数の手本データに対する前記ユーザの動作の一致度を特定する、一致度特定部と、
前記複数の手本データの各々に対応する前記特定された一致度を用いて、所定の規則に基づいて、前記ユーザの動作の評価値であって、身体動作の評価値と合いの手の評価値とを含む評価値を算出する、動作評価値算出部と、
を有する動作評価装置。

【請求項2】

前記一致度特定部は、
前記複数の手本データと、前記ユーザの動作との一致度のうち、最も高い一致度を、前記複数の手本データに対応するユーザの動作及び一致度として選択する、一致度選択部、を含む、
請求項１記載の動作評価装置。

【請求項3】

前記取得されたユーザの動作に基づいて、所定の効果映像又は所定の効果音を再生する、効果表現部、
を更に有する、請求項１又は２記載の動作評価装置。

【請求項4】

前記所定の規則は、前記複数の手本データの各々に対応する前記一致度の加重平均であり、前記複数の手本データの各々に対して、前記加重平均のための所定の重みが定められている、
請求項１ないし３のうちいずれか１項に記載の動作評価装置。

【請求項5】

前記身体動作の手本において、所定の数の関節が所定の時間停止することに応じて、又は関節の移動方向の変化の角度が所定の角度よりも大きくなることに応じて、前記重みを変化させる請求項４記載の動作評価装置。

【請求項6】

前記複数の手本データと、前記ユーザの動作の楽曲再生位置とを用いて、ユーザの動作をキャラクタの映像表現としてシミュレートし再生する、シミュレート再生部、
を更に有する、請求項１ないし５のうちいずれか１項に記載の動作評価装置。

【請求項7】

前記身体動作の評価値及び／又は前記合いの手の評価値は、カラオケの歌唱評価値に影響を与える、請求項１ないし６のうちいずれか１項に記載の動作評価装置を含む、カラオケシステム。

【請求項8】

請求項７記載のカラオケシステムが複数接続された中央管理装置であって、少なくとも、前記身体動作の評価値及び／又は前記合いの手の評価値を複数の前記動作評価装置から収集する収集部と、
前記収集された前記身体動作の評価値及び／又は前記合いの手の評価値に基づいて、ユーザに順位を付与する、順位付与部と、
前記順位、前記身体動作の評価値及び／又は前記合いの手の評価値を所定のカラオケシステムに提供する、情報提供部と、
を有する、中央管理装置。

【請求項9】

コンピュータを、請求項７記載のカラオケシステムとして機能させるためのプログラム。

【請求項10】

コンピュータを、請求項８記載の中央管理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、身体動作評価装置、カラオケシステム、及びプログラムに関する。

【背景技術】

【0002】

歌唱をする者の伴奏を行うカラオケなどでは、歌唱者及びその他のユーザに対して、様々な付加機能が提供されている。例えば、楽曲の演奏、歌唱をする者の歌唱に合わせて変化する映像表示、キー、テンポの調整などが挙げられる。

【0003】

また、歌唱に対する採点機能は、カラオケにおける重要な付加機能の１つとなっている。このような歌唱に対する評価をカラオケシステムに行わせることで、より客観的な数値としての評価値を提供することができる。

【0004】

今日のカラオケにおいては、ユーザを楽しませる要素は、歌唱者の歌唱のみにとどまるものではない。すなわち、歌唱者、ユーザなどによる身体動作（振付）、身振りなどの身体動作、かけ声、コーラスなどの各種の動作（合いの手）がなされる。例えば、歌唱者の身体動作（振付）は、ヒット曲の多くに振付が付けられるようになった今日において、楽曲を愉しむ上での重要な要素になっている。また、合いの手は、ユーザ（視聴者）が、受動的な聞き手から、楽曲への能動的な参加者になることができ、カラオケにおける楽しみをより高めることができる。

【0005】

なお、聴取者が「合いの手」を入れるタイミングを表示するカラオケプレイを提供する技術が存在する。すなわち、歌唱の進行を補助するためにその表示態様を逐次変化させる拍子表示画像についての一連の画像データを格納する拍子表示メモリと、音響制御データに含まれるタイミング情報を検出するタイミング検出手段と、タイミング検出手段により検出されたタイミング情報に基づいて、複数の画像データを切り換えるためのタイミングを決定するタイミング決定手段と、タイミング決定手段により決定されたタイミングに同期させて拍子表示メモリから表示形態の異なる拍子表示画像の画像データを逐次読出し、ディスプレイの所定の位置に当該被表示画像を表示するための映像信号を生成する映像信号生成手段とを備えている（例えば特許文献１参照）。

【0006】

また、利用者の身体の少なくとも一部を評価対象としてその動作を検出するためのセンサと、そのセンサによる検出結果に基づいて前記評価対象の動作を判定する動作判定手段と、その動作判定手段による判定結果と予め定められた前記評価対象の模範動作とを比較することにより前記評価対象の動作を評価する動作評価手段とを含み、演奏曲の演奏における振り付け等の身体動作を評価することを可能とする技術が存在する（例えば特許文献２参照）。

【0007】

また、モニタ装置の第２の分割画面に手本となるキャラクタの３Ｄ画像を表示すると共に、モニタ装置の下側の補助画面にダンスの流れを示す連続写真的な補助画像を表示する。プレーヤはこの補助画像でダンスの流れを認識し、キャラクタの３Ｄ画像を真似てダンスを踊る。この姿は、前面カメラ装置により撮像され、第１の分割画面１１ａに表示される。ステージ１に設けられた複数の赤外線レーザ及び赤外線センサはプレーヤのステップの位置及びステップタイミングを検出する。背面カメラ装置は、プレーヤの背面画像を撮像する。この背面画像は、キャラクタの画像とマッチング処理される。そして、赤外線センサからの検出出力と、このマッチング誤差に基づいてプレーヤのダンスを総合的に評価する技術が存在する（例えば特許文献３参照）。

【0008】

歌唱者の身体表面に設けられた動作検出マーカの動きをカメラにて検出し、その検出情報に基づいて振付動作等の歌唱者動作データを、カラオケ演奏に合わせてリアルタイム作成・出力するようにし、その出力される歌唱者動作データを活用することで、カラオケシステムの利用者自身の動作を、装置側の機能に種々の形態にて反映させる技術が存在する（例えば特許文献４参照）。

【0009】

また、プレーヤに対する所与の出題動作を記憶する記憶手段と、前記出題動作を表示するための出題動作表示手段と、前記プレーヤの動作を検出するための動作検出手段と、前記動作検出手段によって検出された前記プレーヤの動作を表示するためのプレーヤ動作表示手段と、前記出題動作と、前記動作検出手段によって検出された前記プレーヤの動作とを比較して類似度を判定するための類似度判定手段と、前記類似度判定手段による判定結果に基づく得点処理を行うゲーム演算手段と、を備える技術が存在する（例えば特許文献５参照）。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開平０９−２９７５９４号公報

【特許文献2】特開２００６−１６２９１６号公報

【特許文献3】特開２００１−２９９９７５号公報

【特許文献4】特開２０００−２０００８８号公報

【特許文献5】特開２００１−２２４７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の一側面は、カラオケなどの環境において、歌唱者を含めたユーザに対して、振付及び合いの手を楽しむ環境を与えると共に、振付及び合いの手などに対する新たな評価機能を提供することを目的とする。

【課題を解決するための手段】

【0012】

一実施例においては、楽曲に合わせた身体の動作の手本を定義した複数の手本データを、それぞれ対応する楽曲の再生位置の情報と共に記憶する、手本データ記憶部と、前記楽曲の再生と同期して、前記複数の手本データの映像を再生する、手本データ映像再生部と、ユーザの身体動作を、前記楽曲の再生位置と対応付けて取得する身体動作取得部と、前記手本データと、前記手本データの楽曲再生位置を含む所定の楽曲再生時間間隔において取得された複数の前記身体動作の各々との一致度から、前記手本データに対する前記身体動作の一致度を特定する、一致度特定部と、前記複数の手本データの各々に対応する前記特定された一致度を用いて、所定の規則に基づいて、前記ユーザの身体動作の評価値を算出する、身体動作評価値算出部と、を有する身体動作評価装置が提供される。

【発明の効果】

【0013】

カラオケなどの環境において、歌唱者を含めたユーザに対して、振付及び合いの手を楽しむ環境を与えると共に、振付及び合いの手などに対する新たな評価機能を提供することができる。

【図面の簡単な説明】

【0014】

【図1】一実施例の機能ブロック図である。

【図2】一実施例の動作のフローチャートを示す図である。

【図3】カラオケシステムの利用形態の例を示す図である。

【図4】表示装置に表示されるユーザインタフェースの例を示す図である。

【図5】別の時刻において表示されるユーザインタフェースの例を示す図である。

【図6】離散的な手本映像の複数の表示方式を示す図である。

【図7】１つの手本データに含まれる複数のポーズに関するデータの例を示す図である。

【図8】手本データと対応させた、身体動作のデータを示す図である。

【図9】一致度特定部の動作の例を示す図である。

【図10】順位付与部の入出力を示す図である。

【図11】実施例のハードウエア構成の例を示す図である。

【発明を実施するための形態】

【0015】

以下、図面を参照しながら実施例を説明する。なお、以下の実施例は、発明を理解するためのものであり、本発明の範囲を限定するためのものではない点に留意すべきである。また、以下の複数の実施例は、相互に排他的なものではない。したがって、矛盾が生じない限り、実施例の各要素を組み合わせることも意図されていることに留意すべきである。また、請求項に記載された方法やプログラムに係る発明は、矛盾のない限り処理の順番を入れ替えてもよく、あるいは、複数の処理を同時に実施してもよい。そして、これらの実施形態も、請求項に記載された発明の技術的範囲に包含されることは言うまでもない。

【0016】

カラオケシステムは、後述の各装置と有線または無線で接続され、画像データ・映像データ・文字データ・音声データを記録することができる。歌唱者の歌唱・振付及び視聴者の合いの手の情報を検出して解析し、その結果に応じて採点を行ったり、画像データ・映像データ・文字データや音声データを再生したりすることができる。

【0017】

本実施例で使用される画像データ・映像データ・文字データ及び音声データは該データを再生する際に電子機器に記録されていればよい。いわゆるストリーミング再生のように、再生を行う都度必要なデータを、ネットワーク回線を介してカラオケシステムが受信してもよい。カラオケシステムに内蔵されているハードディスクやフラッシュメモリ等に常時データを蓄積しておいてもよい。

【0018】

本実施例では、かけ声などの音声による合いの手の情報を収集するため、マイク等の音声入力装置が使用される。音声入力装置は視聴者の発した音声を情報として収集できるものであればよい。あるいは、カラオケで歌唱者の歌唱を情報として収集するために一般的に使用されるマイクであってもよい。また、本実施例では歌唱者用と視聴者用とで別個の音声入力装置を使用させることができる。或いは、歌唱者と視聴者とで１台の音声入力装置を共有させ使用させてもよい。

【0019】

本実施例では、歌唱者が行った振付及び視聴者が行った合いの手の情報を収集するための入力部（以下「身体動作取得部」という）が使用される。身体動作取得部が収集する情報には、身体動作取得部自体によって収集された情報だけでなく、音声入力装置が収集した音声情報が含まれてもよい。身体動作取得部は歌唱者や視聴者が行った動作の情報を収集し何らかの振付または合いの手として検知できるものであればよい。人体の動作を撮影し解析して動作内容を検出するカメラ、人体に装着してその位置の変化や移動速度・方向等から人体の動作内容を検出するセンサが用いられてもよい。視聴者がどのタイミングでどのボタンを押したかのみを検出するボタン装置が入力装置として利用されてもよい。入力装置は、形態を問わない。身体動作取得部は、歌唱者及び視聴者で１台の装置を共有させてもよい。歌唱者と視聴者とのそれぞれに複数の身体動作取得部が割り当られてもよい。ユーザ一人一人に対して個別に身体動作取得部が割り当てられてもよい。

【0020】

本実施例では、ユーザが映像・画像・文字・音声等の再生方法や各種機能の実施方法等についてカラオケ機器に対し指示を行うための指示入力装置が使用される。指示入力装置は例えばタッチパネル装置や操作ボタン付入力装置などが典型であるが、これらに限定されない。

【0021】

本実施例が使用する表示装置は、カラオケシステムから送信された画像データ・映像データ・文字データを表示できる画面を備えたものであればよい。例えば液晶ディスプレイなどが典型であるが、これに限定されない。

【0022】

本実施例が使用する音声再生装置はカラオケシステムから送信された音声データを音として再生できるものであればよく、例えばスピーカなどが典型であるが、これに限定されない。

【0023】

本実施例が使用する画像データは、例えば、ビットマップ、JPEG、JPEG2000、GIF、TIFF等のデータ形式が利用され得る。その他の独自のデータ形式であってもよい。また、カラオケシステムにおいてレンダリングにより表示する画像のデータをその都度生成するためのパラメータ情報が包含されたデータでもよい。

【0024】

本実施例が使用する音声データは、例えば、MP3、WAV、AAC等のデータ形式が含まれる。また、MIDIデータのようにカラオケシステムに内蔵された音源装置によって再生する音声のデータをその都度生成するためのパラメータ情報が包含されたデータでもよい。

【0025】

本実施例では、カラオケ楽曲を記録した音声データを演奏する際に、楽曲再生位置が利用され得る。すなわち該音声データに含まれるある特定の音声が該音声データの再生が開始されてからどの程度の時間が経過したか（又はビート回数）で、楽曲の位置情報が算出され得る。

【0026】

手本データには、視聴者に対し振付や合いの手の内容の解説として示す画像・映像・文字・音声の内容のデータ情報、及びそれらの内容ごとの理想の楽曲再生位置についての情報などを記録したデータが含まれる。

【0027】

カラオケシステムは手本データを読み込み、楽曲の演奏に合わせて読み出すことで、ユーザが行うべき振付や合いの手を解説した画像・映像・文字・音声をカラオケ楽曲の演奏に合わせて再生することができる。

【0028】

身体動作データとは、ユーザが楽曲に対して実演した振付や合いの手の内容に関する情報及びこれに付随する情報を包含したデータである。具体的には、身体動作取得部が検知した、ユーザがどの楽曲に対してどのような内容の振付や合いの手を楽曲再生時間上のどの箇所において行ったのかの情報が含まれる。加えて、これに付随する情報（たとえば該振付や該合いの手の内容に対してカラオケ機器が行った評価の内容や、振付や合いの手を行ったユーザの人数や性別や年齢等の個人情報など）などの情報が含まれる。

【0029】

カラオケシステムは受信した情報に基づいてユーザによる振り付けや合いの手の実演と同時進行で該振り付けや該合いの手の身体動作データを生成することができる。

【0030】

カラオケシステムは、身体動作データを参照し、歌唱者が行ったとされる振付や視聴者が行ったとされる合いの手の内容に応じた画像データ・映像データ・文字データや音声データを歌唱者や視聴者がその振付や合いの手を行ったのと同じ楽曲再生位置で再生することで、歌唱者や視聴者が行った振付や合いの手の内容を、該歌唱者及び視聴者が振付や合いの手を行うのと同時に表現し、あるいは事後に再現することができる。

【0031】

カラオケシステムに設定される評価基準は必ずしも単一である必要は無く、振付や合いの手を行うユーザの技量に合わせて、複数の評価基準（たとえば手本に対する厳密さの程度や評価上重視される要素等が異なる等）から選択できるようにすることもできる。

【0032】

本実施例の評価機能による身体動作データと手本データとの比較・評価は、楽曲の演奏終了後に行うだけでなく、楽曲の演奏途中に随時行うこともできる。評価の内容を表示装置や音声再生装置を介してユーザに知らせることができる。これにより、歌唱者や視聴者は自らの振付や合いの手に対する評価を、振り付けや合いの手を実演するのと同時進行で知ることができ、振付や合いの手への熱中度をより高めることができる。

【0033】

身体動作データに記録されたユーザの実演した振付や合いの手の内容の情報、及び手本データに記録された手本となる振付や合いの手の内容の情報には、それぞれ振付や合いの手の内容に関する複数の項目を含めることができる。かかる項目の内容は人間の身体動作を指し示したものであればよい。具体例としては、特定の楽曲再生位置における振付や合いの手のポーズの態様が含まれる。また、人体の全体像としてどのようなポーズかという情報でもよい。また、一定の時間の範囲における振付や合いの手の動作の態様（たとえば「時計回りに回転する」「飛び跳ねる」など）、及びこれらのポーズや動作がいかなる楽曲再生位置におけるものかの情報などが含まれる。なお、これらに限られるものではない。

【0034】

本実施例の評価機能は、身体動作データにおけるある項目の情報が手本データにおける該項目の情報とどの程度整合しているかを比較することで、ユーザの振付や合いの手に対して手本との整合性を評価することが可能となる。

【0035】

本実施例の評価機能によってユーザの振付や合いの手を評価するにあたって、身体動作データと手本データに含まれる振付や合いの手の内容に関する情報のうちどの項目を比較するかは、あらかじめカラオケシステムに設定しておくことができる。

【0036】

また、使用される検出装置に関わらず同じ手本データで評価を行うことができる。

【0037】

本実施例の評価機能においては、振付や合いの手に対する評価と歌唱に対する評価とを、それぞれ別個に行うだけでなく、予めカラオケシステムに設定されまたはユーザから指定された条件に従って定める評価方法の一内容として、これらを総合して評価を行うよう定めることもできる。

【0038】

たとえば、歌唱者の歌唱と歌唱者の振付や視聴者の合いの手とで、どれだけタイミングを合わせて実演することができたかを評価基準の一つとすることができる。この機能は、歌唱者に対して歌唱と一体となって振付を実演できたかを評価できるようにするための工夫である。また。歌唱者と視聴者とがどれだけ息を合わせて実演することができたかを評価の対象とすることで歌唱者と視聴者との一体感がより高まる演出を提供するための工夫である。また、たとえば視聴者が合いの手を行った後に歌唱者が高く評価される歌唱をした場合には、合いの手が歌唱者の心理に好影響を及ぼしてより良い歌唱をもたらしたものとして、歌唱だけでなく合いの手に対しても高い評価を行うことができる。これによって、本来抽象的なものにとどまる合いの手の心理的効果を具体的なものとしてユーザに提示し、より強くユーザに認識させることで、視聴者が合いの手を行う意欲がより高まる演出を提供することもできる。

【0039】

中央管理装置は、カラオケシステムから送信された身体動作データに記録されている振付や合いの手の実演に対する評価の結果を楽曲ごとに集計し、順位を付けてカラオケシステムに送信することができる。順位情報を受信したカラオケシステムはユーザに対して自分の実演した振付や合いの手のユーザ全体における順位を示すこともできる。かかる評価の集計は、振付や合いの手が行われた楽曲の身体動作データの全てを対象とすることができる。また、身体動作データの付随情報に含まれる属性情報（例えば振り付けや合いの手の難易度別、ユーザの性別・年齢別、カラオケシステムの設置地域別など）を条件として対象を絞り込み、各属性情報における順位を示すこともできる。これにより、ユーザは自分の実演した振付や合いの手が全体においてどのような位置づけにあるのかを多角的な観点から知ることができる。

【0040】

本実施例の評価機能は、ユーザが実演した振付や合いの手に対する評価に応じて、手本データの再生方法や再生内容を、予めカラオケシステムに設定されまたはユーザから指定された条件に従い、随時変更していくことができる。たとえばカラオケ楽曲の演奏中に、歌唱者が手本として表示されている振付通りに実演できていると評価した場合には手本の画像の色を変えて表示することで手本通り実演できていることを歌唱者が一見して理解できるようにしたり、視聴者の合いの手のタイミングが手本よりも早い傾向があると評価した場合には「もうちょっとゆっくり！」という音声を音声再生装置で再生させて視聴者を手本通りの合いの手に誘導したりすることができる。

【0041】

本実施例では、手本データに記録された振付や合いの手の情報に対し、振付や合いの手のどの動作が人体の動作を理解・評価するうえで重要な箇所（以下「節目」という）にあたるのかを特定することができる。

【0042】

節目の動作の箇所ないし範囲の情報を自動的に定める方法としては、たとえば経験則的に楽曲が盛り上がると思われる箇所があげられる。一例として「一定の時間動作が静止する振付や合いの手が手本として定められている箇所」「楽曲の音声の音圧が特に高くなる箇所」「歌詞の同じフレーズが繰り返される範囲や楽曲のタイトルと同じフレーズが用いられている箇所」等が挙げられる。また、手本データが手本の内容を表現した３Ｄモーションデータ（３次元コンピュータグラフィックで制作されたモデルデータを画面上でどのように動かすかを指示した情報）を含んでいる場合には、モーションデータに規定されたモデルデータの関節の座標位置の変移に基づき動作の特徴となるポーズの箇所が挙げられる。具体例として、関節の全部または大半が一定の時間静止した場合や、関節の移動方向が大きく変わった場合、関節の位置が節目のポーズの例としてあらかじめ登録された情報に近似した場合などを検知して該箇所を節目とすることができる。

【0043】

カラオケシステムが手本データに含まれる画像データ・映像データ・文字データ・音声データを再生するにあたっては、必ずしもそれらに含まれるすべての情報を再生する必要は無い。予めカラオケシステムに設定されまたはユーザから指示があった場合には、手本データに含まれる節目の情報に基づき、振付や合いの手の手本のうち、節目の動作にあたる箇所の全部または一部分のみ手本の内容を再生することもできる。これにより、ユーザは振付や合いの手を習得する上で特に重要となるポイントである節目の動作のみに絞って実演を行うことができ、振付や合いの手の習得を効率的に行うことができる。

【0044】

本実施例では、手本データに含まれる節目の情報を活用することで、手本データに記録された振付や合いの手の内容をさまざまな表現方法で再生することが可能である。たとえば、振付や合いの手の手本を再生したり、ユーザが行った振付や合いの手を映像、音声で表現したりするにあたって、節目にあたる部分の振り付けや合いの手を示す画像・映像・文字や音声を強調することができる。たとえば画像・映像・文字のサイズや音声の音圧を大きくしたり、画像・映像・文字の色調や表示色を変えたり、手本の画像・映像・文字を強調するための画像・映像・文字を追加して表示することができる。

【0045】

振付や合いの手に対して評価を行うにあたって、節目にあたる部分の振り付けや合いの手が手本に適合していたかに関して、節目の情報をどう使用するかは、予め手本データに定めておくこともできる。

【0046】

一つの楽曲に対して使用される手本データは必ずしも一つである必要は無く、ユーザが振付や合いの手を実演するにあたってカラオケシステムに記録されている複数の手本データのうちどれを使用して手本の動作を再生するかを、予めカラオケシステムに設定し、またはユーザから指定された条件に従って決定することもできる。これにより、例えば歌唱者や視聴者が振付、合いの手に熟練している者の場合にはより細かく実演が難しい振付や合いの手を記録した手本データを使用することができる。また、歌唱者や視聴者が振付や合いの手の初心者の場合にはより簡略で実演が容易な振付や合いの手を記録した手本データを使用することができ、歌唱者や視聴者がそれぞれの技量に応じた最適な難易度で振付や合いの手を楽しめるようにすることが可能となる。

【0047】

身体動作データが集積した中央管理装置に接続されたカラオケシステムは、カラオケ楽曲を再生するにあたり、該楽曲に対して行われた振付や合いの手を記録した身体動作データを送信するよう中央管理装置に対し依頼することができる。該中央管理装置から身体動作データを受信した該カラオケシステムは、該身体動作データに記録された情報に基づき、振付や合いの手に対応した画像データや映像データや文字データや音声データを再生することで、ユーザが実演した振付や合いの手を再現することができる。これにより、たとえば歌唱者が振付を行うのに合わせて他の歌唱者が行った振付を再現して歌唱者が再現された振付の評価を超えられるかを競う擬似的な対戦ゲームや、視聴者が行った合いの手を歌唱者が歌唱や振付を行うのに合わせて再現することであたかも面前に視聴者がいて自らの歌唱に合わせて合いの手を送っているかのような高揚感を歌唱者に与える演出を実現することができる。なお、中央管理装置が集積する身体動作データは必ずしも実際にユーザが実演した振付や合いの手の情報に基づくものでなくてもよく、制作者の意図した演出通りに振付や合いの手の映像・画像・文字・音声が再生されるようデータ数値を人為的に調整して制作されたデータであってもよい。

【0048】

身体動作データの候補が複数存在し、どの身体動作データを使用するかをユーザの選択に委ねる場合であっても、カラオケシステムに予め設定することで、身体動作データの選択にあたってユーザが満たすべき一定の条件を設けることができる。これにより、たとえばある楽曲を所定の回数歌唱した履歴のあるユーザのみが使用できる振付ないし合いの手や、別途使用の権利を購入したユーザのみが使用できる振り付けや合いの手を提供することができ、より多彩なビジネスモデルに対応することが可能となる。

【0049】

カラオケシステムが、身体動作データに記録されているユーザの実演した振付や合いの手の内容に応じて再生する映像・画像・文字ないし音声をどのように表現するかは、ユーザからの指定に応じて変更することができる。再生方法の変更の具体例としては、ユーザにカラオケシステムに記録されている映像データ・画像データ・文字データ・音声データの候補の中から再生を希望するデータを指定させる方法、ユーザに映像データ・画像データ・文字データ・音声データに対して実施したい加工処理の種類（たとえば、映像・画像・文字であれば表示サイズの拡縮や色調変更やアニメーション効果の付与が、また音声であれば音量や音程の変更など）を指定させる方法などが想定されるが、これらに限られない。また、ユーザにこれらの方法を複数同時に組み合わせて指定させることで、より多様な再生方法を提供することもできる。

【実施例】

【0050】

図１は、一実施例の機能ブロック図を示している。

【0051】

図１では、カラオケシステム１５０内に、身体動作評価装置１００が含まれた実施例を示している。なお、身体動作評価装置１００は、必ずしもカラオケシステム１５０内に存在する必要はない。したがって、身体動作評価装置１００が、単体で用いられてもよい。

【0052】

また、本実施例は、サーバなどで構成される中央管理装置１７０を有する。カラオケシステム１５０は、中央管理装置１７０と、ネットワーク（不図示）を介して接続される。ネットワークとしては、例えばインターネットが用いられてもよい。

【0053】

身体動作評価装置１００は、手本データ映像再生部１０２と、手本データ記憶部１０６と、効果表現部１０８と、身体動作取得部１１０と、一致度特定部１１２と、身体動作評価値算出部１１６と、シミュレート再生部１１８とを有する。

【0054】

まず、手本データ映像再生部１０２は、例えばカラオケの楽曲に合わせた振付の手本データに適合した手本映像を、表示装置（不図示）に表示する。カラオケの楽曲に合わせた振付には、例えば以下のものが挙げられる。本明細書では、「歌唱者」と「視聴者」とを包括して「ユーザ」という。
（１）ユーザ（主に歌唱者）の踊るダンスなどの身体動作（以下「振付」という）
（２）ユーザ（主に視聴者）のかけ声、コーラス、拍手など（以下「合いの手」という）。

【0055】

本明細書では、上記振付及び合いの手を定義するデータを「手本データ」と呼ぶ。
手本データ映像再生部１０２が再生する手本映像の詳細な例は、図４及び図５を用いて後述する。

【0056】

手本データ映像再生部１０２は、手本データ映像生成部１０４を含んでもよい。手本データ映像生成部１０４は、手本データ記憶部１０６に記憶された手本データ１０７を用いて、楽曲と同期させて、手本映像を表示させることができる。手本映像は、以下の２つの映像の両者または、いずれかであってもよい。
（ａ）ユーザが行う動作を楽曲再生に同期して滑らかに動く映像。
（ｂ）ユーザが行う動作のうち特徴的な動作部分、又は真似るポイントとなる動作部分を表現した映像であって、楽曲再生に同期させて離散的に表示される映像。

【0057】

上記（ａ）の手本映像は、予め映像データとして生成し、楽曲と結合させておいてもよい。楽曲と手本映像とが合体した映像データのフォーマットの例としては、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどが挙げられるが、これらに限られない。

【0058】

手本データ１０７は、楽曲に合わせた身体の動作を定義したデータである。手本データは、後述する一致度特定部１１２において、ユーザの身体動作と比較されることにより、身体動作の評価値を算出するためにも用いられ得る。手本データの詳細な具体例については、図７を用いて後述する。

【0059】

手本データ１０７は、映像データにおけるフレームのように、所定の時間間隔で作成されていなくてもよい。たとえば、振付における動作の転換点（以下「節目」という）におけるポーズなどを、楽曲再生位置と紐付けたデータであってもよい。また、拍手のタイミングを楽曲再生位置として定義したデータであってもよい。

【0060】

手本データ映像生成部１０４は、上記（ａ）の手本映像を再生するために、手本データ１０７を読み込んで、各節目の中間の楽曲再生位置での振付を補間して、滑らかな映像データを生成してもよい。生成された映像データは、楽曲の再生と同期して、再生される。

【0061】

上記（ｂ）の手本映像の表示は、手本データ１０７に記憶されたデータを、補間をすることなく、楽曲と同期させて表示することによって実現できる。

【0062】

以上のように、ユーザは、滑らかな手本映像（ａ）または、離散的に表示される手本映像（ｂ）のいずれか、又は両方を見て、身体動作を適切に行うことができる。このような形で、表示される手本映像は、カラオケシステムへの応用以外にも、体操教育などにも利用できる。

【0063】

身体動作取得部１１０は、カメラなどによって撮像されたユーザの映像から、ユーザの身体のモデルのデータを取得する。モデルのデータとしては、身体の骨と関節によって構成された骨格モデルが利用されてもよい。例えば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）は、オブジェクトの画像と共に、オブジェクトの奥行き情報も取得することができる。例えば、このＫｉｎｅｃｔを利用することにより、特殊なマーカ付きスーツを着用することなく、ユーザのモーションキャプチャを簡便に行うことができる。Ｋｉｎｅｃｔを利用することにより、ユーザの身体動作の骨格モデルの動きをリアルタイムで取得することができる。なお、本実施例は、Ｋｉｎｅｃｔを利用することを必須とするものではない。他のモーションキャプチャ技術が利用されてもよい。

【0064】

一致度特定部１１２は、たとえば、手本データに含まれる１つの手本ポーズと、その手本ポーズの楽曲再生位置を含む所定の時間間隔（比較のための楽曲再生間隔）内で取得された複数のユーザの身体動作のモーションキャプチャデータとを比較することができる。この比較動作の詳細については、図８及び図９を用いて後述する。

【0065】

したがって、１つの手本データに対して、比較のための所定の楽曲再生間隔内に含まれる複数のモーションキャプチャデータとが比較される。この比較のための所定の楽曲再生間隔は、予めデフォルトで設定されていてもよく、或いはユーザにより指定されてもよい。そして、例えば、この複数の比較結果のうち、一番一致度の高い比較結果を、一致度として採用してもよい。このように、比較のための所定の楽曲再生間隔内で取得されたユーザの複数のモーションキャプチャデータを用いることにより、ユーザの身体動作が、正しい楽曲再生位置からのズレを吸収することに利用することができる。すなわち、比較のための所定の楽曲再生間隔を調節することによって、ユーザの動作が、その比較のための所定の楽曲再生間閣内で、手本データと高い一致度を示していれば、手本映像と、ユーザの身体動作が一致していると判断することができる。このため、比較のための所定の楽曲再生間隔は、その後に計算される身体動作評価値における動作タイミングのズレの評価の厳しさを調節することができる。

【0066】

たとえば、ダンスが得意でないユーザに対しては、比較のための所定の楽曲再生間隔を長くすることによって、手本映像と、ユーザの身体動作にズレが大きい場合であっても、両者が一致していると判断される確率が高くなる。すなわち、比較のための所定の楽曲再生間隔を調節することで、ユーザ毎に、評価に対してハンディキャップの調節を行うことができる。

【0067】

身体動作評価値算出部１１６は、一致度特定部１１２からの、手本データの１つの節目における複数の比較結果のうち、たとえば、一番一度の高い比較結果を選択する。この選択された一致度が、その節目における手本データと、身体動作との一致度として採用される。或いは、１つの節目における複数の比較結果の平均値を算出して、節目における手本データと、身体動作との一致度としてもよい。

【0068】

そして、身体動作評価値算出部１１６は、例えば、各節目において選択された一致度の加重平均値を算出する。この重み付けの算出の詳細については、図７を用いて後述する。重み付けをして、一致度の平均値を計算することによって、動作の節目ごとに、その動作の重要度を定義することができる。たとえば、身体動作（ダンス）において、決めのポーズの節目においては、重みを大きくすることによって、その決めのポーズの評価に与える影響度を高めることができる。

【0069】

なお、評価値としては、身体動作（ポーズ）の評価値、合いの手の評価値などが含まれる。合いの手の評価においては、合いの手の身体動作の評価値、拍手などのタイミングに関する評価値が含まれる。拍手などのタイミングに関する評価値については、単純に、手本データの各節目の楽曲再生位置と、拍手の楽曲再生位置との差異を（重み付け）平均することで、合いの手の評価値を算出することができる。

【0070】

また、ユーザが所持している携帯端末３７０のボタン、加速度センサ等により、合いの手のタイミングを身体動作評価装置１００に伝えてもよい。そして、一致度特定部は、手本データの各節目の楽曲再生位置と、伝送された合いの手のタイミングにおける楽曲再生位置との差異を（重み付け）平均することで、合いの手の評価値を算出してもよい。なお、携帯端末３７０と、身体動作評価装置１００との接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＩＦＩなどの無線ネットワークを用いることができる。或いは、カラオケの楽曲の入力装置を用いて、合いの手のタイミングを身体動作評価装置１００に伝えてもよい。

【0071】

身体動作評価値算出部１１６は、算出された評価値を中央管理装置１７０にネットワークを介して送ることができる。

【0072】

効果表現部１０８は、身体動作取得部１１０から、身体動作の情報を受け取る。受け取った身体動作に応じて、予め定めた映像表現、音などを再生することができる。例えば、ユーザの合いの手の身体動作が、拍手の動作であれば、効果表現部１０８は、両手が触れたタイミングにおいて、拍手の音又は、その他の音をスピーカ（不図示）から発生させるようにしてもよい。

【0073】

また、効果表現部１０８は、身体動作が特定の姿勢になった場合に、所定の効果映像を再生したり、画面の背景映像を変更するなどの映像効果を、表示装置に表示したりするようにしてもよい。

【0074】

シミュレート再生部１１８は、例えば、一致度特定部で特定された一致度に対応する身体動作のモーションキャプチャデータと、その楽曲再生位置とを利用して、ユーザの動作をキャラクタがシミュレートする映像を生成することができる。このため、一致度特定部１１２は、各節目でのユーザの身体動作のモーションキャプチャデータと、その時の楽曲再生位置とをユーザの身体動作データとして、記憶装置に保存しておくことが望ましい。また、保存されたユーザの身体動作データは、中央管理装置１７０を経由して、他のカラオケシステム１５０に転送してもよい。他のカラオケシステム１５０に、身体動作データを転送することによって、他人の身体動作を、楽曲再生位置と共にカラオケシステム１５０で再生することが可能となる。

【0075】

中央管理装置１７０は、サーバなどのコンピュータで実現され得る。中央管理装置１７０は、収集部１７２と、順位付与部１７４と、情報提供部１７６とを有する。

【0076】

中央管理装置１７０は、複数のカラオケシステム１５０と、ネットワークを介して接続される。

【0077】

収集部１７２は、身体動作の評価値、合いの手の評価値、などを収集する。また、収集部１７２は、歌唱に関する評価値を、カラオケシステム１５０から収集してもよい。なお、歌唱に関する評価値は、歌唱における、音程の一致度、リズムに対する一致度、歌唱の強弱による歌唱表現とテンプレートとの一致度などを総合して、算出される。歌唱に関する評価技術は、当業者に周知であるため、本明細書は、説明を省略する。また、袖手部は、ユーザの身体動作データを収集してもよい。

【0078】

順位付与部１７４は、収集部１７２から、身体動作の評価値、合いの手の評価値、歌唱の評価値などを受け取る。順位付与部１７４は、たとえば、これらの評価値に所定の重み付けをして平均値を算出し、総合評価を算出する。所定の重みは、デフォルト値が定められていてもよい。或いは、ユーザの設定によって、重みが決定されてもよい。

【0079】

そして、順位付与部１７４は、総合評価値に基づいて、ユーザに対して、或いは、ユーザのグループに対して、順位付けを行い、情報的要部に提供する。また、順位付与部１７４は、身体動作の評価値、合いの手の評価値、歌唱の評価値のそれぞれに対して、順位付を行ってもよい。

【0080】

情報提供部１７６は、順位付与部１７４から得られた順位を、複数のカラオケシステム１５０のうち、適切なカラオケシステム１５０に、送信する。また、情報提供部１７６は、収集部１７２が、収集したユーザの身体動作データを、必要とするカラオケシステム１５０に送信してもよい。

【0081】

以上のようにして、図１に示す実施例では、身体動作の評価値、合いの手の評価値を適切に算出すると共に、これらの評価値を利用して、より娯楽性の高いカラオケシステムを提供することができる。

【0082】

図２は、一実施例の動作のフローチャートを示している。図２（Ａ）は、一実施例の動作のノ概要を示している。

【0083】

ステップＳ２０２で、手本データ映像生成部１０４は、ユーザのための手本映像を再生する。ユーザは、この手本映像を見ることによって、適切なタイミングで適切な動作を行うことができる。なお、上述のように、手本映像は、（ａ）ユーザが行う動作を楽曲再生に同期させて滑らかに動く映像、及び、（ｂ）ユーザが行う動作のうち特徴的な動作部分、又は真似るポイントとなる動作部分を表現した映像であって、楽曲再生に同期させて離散的に表示される映像のいずれか、又は両方である。

【0084】

ステップＳ２０４で、身体動作取得部１１０は、ユーザの身体動作を取得する。取得された身体動作は、例えば骨と関節とで構成される骨格モデルのモーションキャプチャデータとして取得され得る。モーションキャプチャデータを取得するシステムとしては、例えば、上述ように、Ｋｉｎｅｃｔ（登録商標）を使用したシステムが挙げられる。なお、本実施例における身体動作の取得は、これに限定されるものではない。

【0085】

ステップＳ２０６で、一致度特定部１１２は、手本データと、取得された身体動作とを比較する。この比較の際には、手本データに含まれる１つのデータの楽曲再生位置（節目）の前後の比較のための楽曲再生間隔内で取得された複数の身体動作のデータを用いることができる。このようにして、比較する範囲を拡げることにより、身体動作のタイミングのズレを考慮した比較が可能である。手本データに含まれる１つのデータと、比較のための楽曲再生間隔内で取得された複数の身体動作のデータとを比較し、最も一致度の高いものを一致度として選択する。そして、この選択された一致度に対応する身体動作と、その身体動作の音楽再生位置が記憶される。記憶された身体動作とその音楽再生位置に関する身体動作データは、後にユーザの身体動作をキャラクタにシミュレートさせる場合に利用することができる。記憶された身体動作とその音楽再生位置に関する身体動作データは、離散的なデータであるため、ビデオデータなどと比して、データ量が小さくなる。このため、この身体動作データは、ネットワークを介して他のカラオケシステムに点素する際にも、転送コストを削減することができる。また、記憶のためのコストも削減することができる。

【0086】

ステップＳ２０８で、身体動作評価値算出部１１６は、身体動作の評価値、及び／又は合いの手の評価値を算出する。評価値の算出においては、各節目における所定の重みを用いて、重み付き平均値を算出することで、より適切な評価値が算出できる。例えば、決めのポーズに対応する節目の重みを大きくすることによって、決めのポーズを重要視した評価値を算出することができる。

【0087】

なお、身体動作評価値算出部１１６は、評価値を、楽曲の途中においても随時算出することができ、また、表示することができる。

【0088】

ステップＳ２１０で、例えば、中央管理装置１７０の収集部１７２において、各種の評価値が収集される。中央管理装置１７０の順位付与部１７４は、収集した各種の評価値を用いて、ユーザの順位付け、または、ユーザグループの順位付を行う。

【0089】

ステップS２１２で、カラオケシステム１５０は、中央管理装置１７０から取得した順位、及び各種の評価値を、表示する。

【0090】

以上の動作によって、例えば歌唱者であるユーザは、楽曲合わせて、ダンスの動作を楽しむことができる。また、視聴者であるユーザは、合いの手を楽しむことができる。また、評価値及び／又は順位の情報を得ることができ、歌唱者と視聴者の両者が一体となって、カラオケを楽しむことができる。

【0091】

図２（B）は、一致度選択部１１４が行う動作を示すフローチャートである。

【0092】

ステップＳ２５２で、一致度選択部１１４は、一致度α、及び楽曲再生位置βの初期化を行う。例えば、α及びβには、０を代入して初期化してもよい。

【0093】

ステップＳ２５４は、ステップＳ２６０との間で、ループ処理を形成する。なお、ユーザの動作のうち、ユーザポーズを取り上げて以下説明する。ループは、１つの節目の前後におけるΔｔの比較のための音楽再生間隔において取得されたＮ個のユーザポーズの各々に対して、ループ処理が行われる。

【0094】

ＳテップＳ２５６で、一致度選択部１１４は、αよりも、手本ポーズとの一致度が高いユーザポーズがあるか否かが判断される。「はい」であれば、ステップＳ２５８に進む。「いいえ」であれば、ステップＳ２６０に進む。

【0095】

ステップＳ２５８で、一致度選択部１１４は、ユーザポーズ一致度をαに代入する。βには、そのユーザポーズの楽曲再生位置が代入される。

【0096】

以上の動作を繰り返すことにより、手本ポーズとユーダーポーズとが最も一致度の高いユーザポーズの一致度がαの値として取得できる。また、最も一致度の高いユーザポーズの楽曲再生位置が、βの値から取得することができる。

【0097】

図３は、カラオケシステムの利用形態の例を示している。なお、異なる図において、同じ参照番号が付されている要素は、同じ要素を示す。

【0098】

カラオケシステム１５０は、カメラ３０２と、表示装置３１０と、身体動作評価装置１００とを含んでいる。カメラ３０２は、身体動作評価装置１００に接続されている。

【0099】

また、マイク３２２及びマイク３２４が、身体動作評価装置１００に接続されている。

【0100】

表示装置３１０には、手本映像３１２と、合いの手映像３１４が表示されている。

【0101】

歌唱者３５２と、視聴者３５４が、それぞれ、マイク３２２及びマイク３２４の前に存在している。カメラ３０２は、歌唱者３５２、及び視聴者３５４の動作を撮像している。

【0102】

携帯端末３７０が、無線通信によって身体動作評価装置１００と通信できる状態になっている。

【0103】

身体動作評価装置１００は、ネットワーク３６０を介して中央管理装置１７０に接続されている。

【0104】

図３において、歌唱者３５２は、手本映像３１２を見ることによって、手本映像３１２の動作を真似ることができる。視聴者３５４は、合いの手映像３１４の動作を真似ることによって、合いの手の動作を真似ることができる。

【0105】

歌唱者３５２の動作は、カメラ３０２によって撮像されているため、身体動作評価装置１００は、歌唱者３５２の動作が、手本映像３１２と、どの程度一致しているかの評価値を算出することができる。

【0106】

視聴者３５４の動作は、カメラ３０２によって撮像されているため、身体動作評価装置１００は、視聴者３５４の動作が、合いの手映像３１４と、どの程度一致しているかの評価値を算出することができる。

【0107】

また、視聴者３５４の合いの手の動作に応じて、効果表現部１０８は、効果音をスピーカ（不図示）から出力することができる。

【0108】

また、他の視聴者（不図示）が、合いの手映像３１４を真似て、携帯端末３７０を振ることによって、携帯端末３７０に内蔵された加速度センサからの情報が、無線通信を介して身体動作評価装置１００に転送される。身体動作評価装置１００は、この加速度センサからの信号を合いの手の動作として認識する。そして、携帯端末３７０からの信号に基づいて、合いの手の評価が行われる。このように、複数の視聴者が合いの手の動作を行っている場合には、合いの手に関し２つの評価値が算出され得る。これらの２つの合いの手の評価値は、例えば、平均値として算出され、１つの合いの手の評価値に集約されてもよい。

【0109】

以上のようにして、身体動作評価装置１００によって、身体動作の評価値と、合いの手の評価値が取得され、中央管理装置１７０に送信される。

【0110】

中央管理装置１７０は、少なくとも、受信した身体動作の評価値と、合いの手の評価値に基づいて、総合評価を行う。なお、この総合評価の算出の際に、歌唱評価値がさらに用いられてもよい。中央管理装置１７０は、複数のカラオケシステム１５０から取得した情報を基に、歌唱者３５２の順位を算出する。また、歌唱者３５２及び視聴者３５４を含む、ユーザグループの順位を算出してもよい。中央管理装置１７０は、これらの順位及び総合評価値をカラオケシステム１５０に送信する。

【0111】

カラオケシステム１５０は、受信した順位及び総合評価値を、表示装置３１０に表示する（不図示）。

【0112】

以上のようにして、歌唱評価値だけでなく、歌唱者の身体動作の評価値、及び／又は合いの手の評価値をも考慮した、総合評価を行うことができるカラオケシステムが実現される。

【0113】

図４は、表示装置３１０に表示されるユーザインタフェース４００の例を示している。

【0114】

表示４１０は、離散的な手本映像である。例えば、キャラクタ４１２ａは、キャラクタ４１６ａよりも濃く表示されている。濃く表示されているキャラクタは、過去の手本ポーズを示している。薄く表示されているキャラクタは、将来の手本ポーズを示している。キャラクタ４１４ａは、濃い部分と薄い部分が存在する。すなわち、キャラクタ４１４ａは、現在の手本ポーズを示している。このように、キャラクタの濃さが、時間の経過と共に変化してゆく。この変化を追うことによって、ユーザは、現在のポーズと未来のポーズを容易に強いることができる。このような表示によって、ユーザは、手本動作を容易に真似ることができる。

【0115】

キャラクタ４５０ａは、滑らかな動作を行う手本映像である。この手本映像４５０は、予め生成されたものであってもよい。或いは、上述のように、手本データを補間して、リアルタイムに三次元キャラクタを動作させて表示させてもよい。ユーザは、滑らかな手本映像を真似ることで、自己の身体動作を行うこともできる。

【0116】

表示４２０は、合いの手の滑らかな手本映像である。キャラクタ４４０ａは、手を合わせていることを示している。視聴者は、この合いの手の滑らかな手本映像を真似ることによって、合いの手の身体動作を行うことができる。

【0117】

図５は、図４よりも後の時刻において表示されるユーザインタフェースの例を示している。

【0118】

表示４１０には、キャラクタ４１２ｂ、４１４ｂ、が濃く表示されている。キャラクタ４１６ｂは、一部分が濃く表示されている。したがって、現在の手本ポーズは、キャラクタ４１６ｂであることが分かる。

【0119】

キャラクタ５４０ｂは、キャラクタ顔図４１６ｂのポーズをとっている。

【0120】

表示４２０は、合いの手の滑らかな手本映像である。キャラクタ４４０ｂは、両手を離している瞬間を示している。視聴者は、この合いの手の滑らかな手本映像を真似ることによって、合いの手の身体動作を行うことができる。

【0121】

図６は、離散的な手本映像の複数の表示方式を示している。

【0122】

図６（Ａ１）では、キャラクタ６１０−Ａ１が濃く表示されている。したがって、キャラクタ６１０−Ａ１は、既に終了したポーズを示している。キャラクタ６１２−Ａ１は、薄く表示されており、キャラクタ６１０−Ａ１からかなり離れた位置に存在しているため、将来のポーズであることが分かる。

【0123】

また、６２０−Ａ１に示されるように、歌詞のうち、歌い終えた部分が濃く表示されている。この表示から、現在歌うべき歌詞の部分が分かる
図６（Ａ２）は、図６（Ａ１）と、キャラクタの位置は変化しておらず、キャラクタの濃さが変化している。すなわち、図６（Ａ２）と図６（Ａ１）とで示される映像は、キャラクタの濃さの変化を用いて、過去、現在、未来のポーズを識別することができる表示方式である。キャラクタ６１０−Ａ１は、同様に濃く表示されている。そして、キャラクタ６１２−Ａ２も濃く表示されており、このポーズは現在時刻の直前に終了したことが分かる。

【0124】

また、歌詞６２０−Ａ２に示されるように、歌詞のうち、歌い終えた部分が濃く表示さレテいる。この表示から、現在歌うべき歌詞の部分が分かる。

【0125】

図６（Ｂ１）及び図６（Ｂ２）は、キャラクタの濃さではなく、キャラクタの列が、左方向に移動することにより、現在のキャラクタのポーズを知ることができる表示方式を示している。最も左に位置するキャラクタが、直前に終了したポーズを示している。キャラクタ６１０−Ｂ１は、直前に終了したポーズを示す。キャラクタ６１２−Ｂ１は、キャラクタ６１０−Ｂ１からかなり離れた位置に存在しているため、将来のポーズであることが分かる。

【0126】

図６（Ｂ２）は、図６（Ｂ１）と比して、キャラクタの位置が、時間の経過に依存して右に移動している。キャラクタ６１２−Ｂ２が、直前に終了したポーズを示している。

【0127】

図６（Ｂ２）と図６（Ｂ１）とで示される映像は、キャラクタ左方向への移動を用いて、過去、現在、未来のポーズを識別することができる表示方式である。

【0128】

歌詞６２０−Ｂ１及び歌詞６２０−Ｂ２は、歌詞６２０−Ａ１及び歌詞６２０−Ａ２の表示方式と同じである。

【0129】

以上のようにして、ポーズの変化を分かりやすく表示できる。

【0130】

図７は、１つの手本データに含まれる複数のポーズに関するデータの例を示している。

【0131】

楽曲再生位置軸７１０は、音楽再生における位置の軸を示すものであり、時間軸に対応するものである。楽曲の場合には、楽曲のテンポを変更して再生する場合がある。このため、時間軸の代わりに、テンポを替えても不変である楽曲再生位置を基準とした軸を用いることが有利である。

【0132】

数値７０２は、例えば、楽曲の先頭からのビートカウントを示している。

【0133】

手本ポーズ７２０は、手本データに含まれる複数の手本ポーズの１つを示している。手本ポーズは、例えば、骨と、骨を結合する関節の組合せによって作られる骨格モデルを採用することができる。

【0134】

楽曲再生位置７２２は、手本ポーズ７２０に対応する楽曲再生位置を示している。本明細書では、節目の位置と同義である。

【0135】

重み７２４は、手本ポーズ７２０に対応する重みを示している。重み７２４は、複数の手本ポーズ（７２０、７３０、７４０、７４９）に対応する一致度の重み平均を計算する際の重みとして利用される。

【0136】

以上のようにして、手本データが構成される。また、手本データは、どの楽曲に対応する手本データであるかの情報を持つ。また、図７の例では、ポーズに関するデータを簡略化して説明した。ポーズは、主に歌唱者が利用するダンスのポーズと、視聴者が利用する合いの手のポーズが存在する。ダンスのポーズと、合いの手のポーズの楽曲再生位置は、必ずしも同じである必要はない。また、手拍子のタイミングに関するデータが手本データに含まれてもよい。したがって、手本データには、様々なデータを含ませることができる。

【0137】

図８は、手本データと対応させた、身体動作のデータ７５０を示している。

【0138】

身体動作取得部１１０で取得される身体動作のデータ７５０は、所定のインターバルで、取得される。取得された動作は、例えば骨格モデルの形で認識される。そして、それぞれの手本ポーズ（７２０、７３０、７４０、７４９）に対応させて、節目の位置の前後の比較のための楽曲再生位置間隔Δｔの間に取得された複数の身体動作のデータが比較候補として選択される。

【0139】

例えば、手本ポーズ７３０に対しては、比較のための楽曲再生位置間隔Δｔの間に取得された、身体動作のデータ（７５１、７５２、７５３、７５４、７５５）が選択される。

【0140】

図９は、一致度特定部１１２の動作の例を示している。

【0141】

図９は、図８に示した手本ポーズ７３０と、Δｔの比較のための楽曲再生地間隔に取得された身体動作のデータ（７５１、７５２、７５３、７５４、７５５）が示されている。

【0142】

一致度特定部１１２は、まず、手本ポーズ７２０と、身体動作のデータ７５１との一致度を計算する。一致度の計算は、当業者に周知のパターン認識の技術を用いることができる。本明細書の実施例の場合には、骨格モデル同士の一致度の計算を行う。具体的には、対応する関節同士の距離、関節における骨の角野の差異を、それぞれ計算し、例えば差異の絶対値を合計することによって一致度を計算することができる。この絶対値の逆数を一致度と定義すれば、一致度の値が大きいほど、一致の度合いが高いことになる。

【0143】

一致度特定部１１２は、身体動作のデータ７５２、７５３、７５４、７５５についても、同様に、手本ポーズ７３０との間の一致度を算出する。

【0144】

そして、一致度選択部１１４は、身体動作のデータ（７５１、７５２、７５３、７５４、７５５）にそれぞれ対応する一致度のうち、最も高い一致度を示す身体動作のデータを選択する。最も高い一度を、選択された一致度として採用する。また、選択された身体動作のデータ、及び、選択された身体動作のデータの音楽再生位置を保存しておく。

【0145】

以上のようにして、複数の手本ポーズの各々に対応して、一致度が選択される。上述のように各手本ポーズには、重みが定められている。この重みを用いて、複数の手本ポーズに対応する複数の一致度の重み付き平均値を求める。重み付き平均値は、音楽が始まってから、現在時刻までの途中段階でも計算できる。したがって、現在時刻における重み月平均値を現在時点の評価値として、表示装置に表示させてもよい。楽曲が終了した時点で、最終的な評価値を計算する。評価値には、身体動作の評価値、合いの手の評価値が含まれ得る。

【0146】

以上のようにして、身体動作評価値算出部１１６は、身体動作の評価値、合いの手の評価値を算出することができる。

【0147】

図１０は、順位付与部１７４の入出力を示している。

【0148】

順位付与部１７４には、身体動作の評価値１００２、合いの手の評価値１００４、歌唱評価値１００６が入力される。順位付与部１７４は、たとえば、入力された複数の評価値を単純平均してもよい。或いは、所定の重みを付けて平均値を計算してもよい。或いは、特定の入力値を無視して、評価値を所定の算出アルゴリズムで計算してもよい。算出された評価値は、総合評価値１０１０として出力される。また、楽曲毎に集計して、順位１０１２が算出され出力される。

【0149】

なお、カラオケシステム１５０から、絞り込み指示１００８が入力されてもよい。たとえば、東京都などの都道府県を特定して、順位を得たい場合は、カラオケシステム１５０から、その旨の絞り込み指示１００８が送信される。順位付与部１７４は、絞り込み指示に基づいて、順位を算出して、出力する。

【0150】

図１１は、実施例のハードウエア構成の例を示している。

【0151】

ハードウエアは、ＣＰＵ１１０２と、ＲＯＭ１１０４と、ＲＡＭ１１０５と、ドライブ装置１１１０と、入出力インターフェース１１２０と、ディスプレイユニット１１３０と、音響制御ユニット１１４０と、通信ユニット１１５０とを含む。そして、それぞれの構成要素は、バス１１７０で接続されている。

【0152】

入出力インターフェース１１２０には、例えば、キーボードなどの入力装置１１２１、マイク１１２２、カメラ１１２３、距離センサ１１２４が接続され得る。

【0153】

ディスプレイユニット１１３０には、ディスプレイが接続され得る。音響制御ユニット１１４０には、スピーカが接続され得る。通信ユニット１１５０には、携帯端末３７０、パッド（タブレット端末）、有線・無線ＬＡＮが接続され得る。

【0154】

また、ドライブ装置１１１０には、可搬記憶媒体１１１２が挿入され得る。

【0155】

なお、本実施例の全部又は一部はプログラムによってインプリメントされ得る。このプログラムは、可搬記憶媒体９６１に格納することができる。例示として、可搬記憶媒体９６１としては、磁気記録媒体、光ディスク、光磁気記録媒体、不揮発性メモリなどがある。磁気記録媒体には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。また、光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）などがある。不揮発性メモリには、ＵＳＢメモリ、ＳＤメモリなどがある。可搬記憶媒体９６１に格納されたプログラムが読み込まれ、ＣＰＵによって実行されることにより、本発明の実施例の全部又は一部が実施され得る。

【0156】

また、本実施例が提供される電子機器は単一の機器で構成される必要は無く、有線または無線により他の電子機器と情報をやりとりできる機能を備えた複数の電子機器の集合であってもよい。

【0157】

また、本実施例は画像・映像・文字及び音声のデータを記録し再生する機能を持つ電子機器に提供される。

【0158】

本実施例による振付や合いの手への評価機能は、従来から存在する歌唱者の歌唱に対する評価機能と一緒にカラオケシステムに搭載し、同時に使用することができる。

【符号の説明】

【0159】

１００ 身体動作評価装置
１０２ 手本データ映像再生部
１０４ 手本データ映像生成部
１０６ 手本データ記憶部
１０７ 手本データ
１０８ 効果表現部
１１０ 身体動作取得部
１１２ 一致度特定部
１１４ 一致度選択部
１１６ 身体動作評価値算出部
１１８ シミュレート再生部
１５０ カラオケシステム
１７０ 中央管理装置
１７２ 収集部
１７４ 順位付与部
１７６ 情報提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】