特開 2024-98683 ダンスパフォーマンス評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098683

(43)【公開日】2024-07-24

(54)【発明の名称】ダンスパフォーマンス評価システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240717BHJP

   G06V 40/20 20220101ALI20240717BHJP

   A63B 69/00 20060101ALI20240717BHJP

   A61B 5/11 20060101ALI20240717BHJP

【ＦＩ】

G06T7/20 300A

G06V40/20

A63B69/00 B

A63B69/00 A

A61B5/11 200

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023002314

(22)【出願日】2023-01-11

(71)【出願人】

【識別番号】320005501

【氏名又は名称】株式会社電通

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】越前 康

(72)【発明者】

【氏名】出張 宏明

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB01

4C038VC05

4C038VC09

5L096AA06

5L096CA04

5L096DA01

5L096FA59

5L096FA67

5L096FA69

5L096HA04

5L096HA07

5L096JA18

(57)【要約】

【課題】 ダンスのフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することのできるダンスパフォーマンス評価システムを提供する。
【解決手段】 ダンスパフォーマンス評価システム１は、評価基準人物がダンスをしている動画と評価対象人物がダンスをしている動画から骨格推定により得られる骨格データ（評価基準骨格データと評価対象骨格データ）に基づいて、面積スコアと角度スコアと動きベクトルスコアを算出する。そして、ダンスパフォーマンス評価システム１は、面積スコアと角度スコアと動きベクトルスコアからフォーム評価値とタイミング評価値を算出し、フォーム評価値とタイミング評価値から総合評価値を算出する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

ダンスパフォーマンスの評価の基準となる評価基準人物がダンスをしている動画である評価基準ダンス動画と、ダンスパフォーマンスの評価の対象となる評価対象人物がダンスをしている動画である評価対象ダンス動画に基づいて、前記評価対象人物のダンスパフォーマンスを評価するダンスパフォーマンス評価システムであって、
前記ダンスパフォーマンス評価システムは、
前記評価基準ダンス動画から骨格推定により得られる評価基準骨格データと、前記評価対象ダンス動画から骨格推定により得られる評価対象骨格データを取得する骨格データ取得部と、
前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の身体部分に相当する評価基準面の面積と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する身体部分に相当する評価対象面の面積とを比較して、互いの面積の一致度を表す面積スコアを算出する面積スコア算出部と、
前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の骨格に相当する評価基準線分の角度と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する骨格に相当する評価対象線分の角度とを比較して、互いの角度の一致度を表す角度スコアを算出する角度スコア算出部と、
前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の関節点に相当する評価基準点の動きベクトルと、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する関節点に相当する評価対象点の動きベクトルとを比較して、互いの動きベクトルの一致度を表す動きベクトルスコアを算出する動きベクトルスコア算出部と、
前記面積スコアと前記角度スコアと前記動きベクトルスコアに基づいて、前記評価対象人物のダンスパフォーマンスのフォーム評価値を算出するフォーム評価値算出部と、
前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値に基づいて、前記評価対象人物のダンスパフォーマンスのタイミング評価値を算出するタイミング評価値算出部と、
前記フォーム評価値と前記タイミング評価値に基づいて、前記評価対象人物のダンスパフォーマンスの総合評価値を算出する総合評価値算出部と、
を備える、ダンスパフォーマンス評価システム。

【請求項2】

前記面積スコア算出部は、
前記評価基準人物の上半身部分に相当する評価基準面の面積と、前記評価対象人物の上半身部分に相当する評価対象面の面積とを比較して、上半身部分の面積スコアを算出するとともに、前記評価基準人物の下半身部分に相当する評価基準面の面積と、前記評価対象人物の下半身部分に相当する評価対象面の面積とを比較して、下半身部分の面積スコアを算出し、
前記角度スコア算出部は、
前記評価基準人物の上半身部分の骨格に相当する評価基準線分の角度と、前記評価対象人物の上半身部分の骨格に相当する評価対象線分の角度とを比較して、上半身部分の角度スコアを算出するとともに、前記評価基準人物の下半身部分の骨格に相当する評価基準線分の角度と、前記評価対象人物の下半身部分の骨格に相当する評価対象線分の角度とを比較して、下半身部分の角度スコアを算出し、
前記動きベクトルスコア算出部は、
前記評価基準人物の上半身部分の関節点に相当する評価基準点の動きベクトルと、前記評価対象人物の上半身部分の関節点に相当する評価対象点の動きベクトルとを比較して、上半身部分の動きベクトルスコアを算出するとともに、前記評価基準人物の下半身部分の関節点に相当する評価基準点の動きベクトルと、前記評価対象人物の下半身部分の関節点に相当する評価対象点の動きベクトルとを比較して、下半身部分の動きベクトルスコアを算出し、
前記フォーム評価値算出部は、
前記上半身部分の面積スコアと前記上半身部分の角度スコアと前記上半身部分の動きベクトルスコアに基づいて、上半身部分のフォーム評価値を算出するとともに、前記下半身部分の面積スコアと前記下半身部分の角度スコアと前記下半身部分の動きベクトルスコアに基づいて、下半身部分のフォーム評価値を算出し、
前記タイミング評価値算出部は、
前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で前記所定時間ずらして再生した場合に算出される前記上半身部分のフォーム評価値に基づいて、上半身部分のタイミング評価値を算出するとともに、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で前記所定時間ずらして再生した場合に算出される前記下半身部分のフォーム評価値に基づいて、下半身部分のタイミング評価値を算出する、請求項１に記載のダンスパフォーマンス評価システム。

【請求項3】

前記面積スコア算出部は、
前記評価基準人物の左肩、左肘、左手首、左尻、右肩、右肘、右手首、右尻に相当する関節点で構成される８角形の面積を、前記評価基準人物の上半身部分に相当する評価基準面の面積として算出し、前記評価対象人物の左肩、左肘、左手首、左尻、右肩、右肘、右手首、右尻に相当する関節点で構成される８角形の面積を、前記評価対象人物の上半身部分に相当する評価基準面の面積として算出し、
前記評価基準人物の左尻、左膝、左足首、右尻、右膝、右足首に相当する関節点で構成される６角形の面積を、前記評価基準人物の下半身部分に相当する評価基準面の面積として算出し、前記評価対象人物の左尻、左膝、左足首、右尻、右膝、右足首に相当する関節点で構成される６角形の面積を、前記評価対象人物の下半身部分に相当する評価基準面の面積として算出する、請求項２に記載のダンスパフォーマンス評価システム。

【請求項4】

前記角度スコア算出部は、
前記評価基準人物の鼻－首、左肩－左肘、左肘－左手首、左肩－左尻、右肩－右肘、右肘－右手首、右肩－右尻、右肩－左肩で構成される骨格に相当する評価基準線分の角度を、前記評価基準人物の上半身部分の骨格に相当する評価基準線分の角度として算出し、前記評価対象人物の鼻－首、左肩－左肘、左肘－左手首、左肩－左尻、右肩－右肘、右肘－右手首、右肩－右尻、右肩－左肩で構成される骨格に相当する評価対象線分の角度を、前記評価対象人物の上半身部分の骨格に相当する評価対象線分の角度として算出し、
前記評価基準人物の左尻－左膝、左膝－左足首、右尻－右膝、右膝－右手首、右尻－左尻で構成される骨格に相当する評価基準線分の角度を、前記評価基準人物の下半身部分の骨格に相当する評価基準線分の角度として算出し、前記評価対象人物の左尻－左膝、左膝－左足首、右尻－右膝、右膝－右手首、右尻－左尻で構成される骨格に相当する評価基準線分の角度を、前記評価対象人物の下半身部分の骨格に相当する評価対象線分の角度として算出する、請求項２に記載のダンスパフォーマンス評価システム。

【請求項5】

前記動きベクトルスコア算出部は、
前記評価基準人物の鼻、左肩、左肘、左手首、右肩、右肘、右手首の関節点に相当する評価基準点の動きベクトルを、前記評価基準人物の上半身部分の関節点に相当する評価基準点の動きベクトルとして算出し、前記評価対象人物の鼻、左肩、左肘、左手首、右肩、右肘、右手首の関節点に相当する評価対象点の動きベクトルを、前記評価対象人物の上半身部分の関節点に相当する評価対象点の動きベクトルとして算出し、
前記評価基準人物の左尻、左膝、左足首、右尻、右膝、右足首の関節点に相当する評価基準点の動きベクトルを、前記評価基準人物の下半身部分の関節点に相当する評価基準点の動きベクトルとして算出し、前記評価対象人物の左尻、左膝、左足首、右尻、右膝、右足首の関節点に相当する評価対象点の動きベクトルを、前記評価対象人物の下半身部分の関節点に相当する評価対象点の動きベクトルとして算出する、請求項２に記載のダンスパフォーマンス評価システム。

【請求項6】

前記フォーム評価値算出部は、
前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値が最も高くなるフォーム評価値を、前記評価対象人物のダンスパフォーマンスのフォーム評価値として決定する、請求項１に記載のダンスパフォーマンス評価システム。

【請求項7】

前記タイミング評価値算出部は、
前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値が最も高くなる時間ずらし量に基づいて、当該時間ずらし量が小さいほど前記タイミング評価値が大きくなるように、前記評価対象人物のダンスパフォーマンスのタイミング評価値を算出する、請求項１に記載のダンスパフォーマンス評価システム。

【請求項8】

前記総合評価算出部は、
前記フォーム評価値と前記タイミング評価値との和の値を、前記評価対象人物のダンスパフォーマンスの総合評価値として算出する、請求項１に記載のダンスパフォーマンス評価システム。

【請求項9】

ダンスパフォーマンスの評価の基準となる評価基準人物がダンスをしている動画である評価基準ダンス動画と、ダンスパフォーマンスの評価の対象となる評価対象人物がダンスをしている動画である評価対象ダンス動画に基づいて、前記評価対象人物のダンスパフォーマンスを評価するダンスパフォーマンス評価システムで実行される方法あって、
前記方法は、
前記評価基準ダンス動画から骨格推定により得られる評価基準骨格データと、前記評価対象ダンス動画から骨格推定により得られる評価対象骨格データを取得する骨格データ取得ステップと、
前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の身体部分に相当する評価基準面の面積と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する身体部分に相当する評価対象面の面積とを比較して、互いの面積の一致度を表す面積スコアを算出する面積スコア算出ステップと、
前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の骨格に相当する評価基準線分の角度と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する骨格に相当する評価対象線分の角度とを比較して、互いの角度の一致度を表す角度スコアを算出する角度スコア算出ステップと、
前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の関節点に相当する評価基準点の動きベクトルと、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する関節点に相当する評価対象点の動きベクトルとを比較して、互いの動きベクトルの一致度を表す動きベクトルスコアを算出する動きベクトルスコア算出ステップと、
前記面積スコアと前記角度スコアと前記動きベクトルスコアに基づいて、前記評価対象人物のダンスパフォーマンスのフォーム評価値を算出するフォーム評価値算出ステップと、
前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値に基づいて、前記評価対象人物のダンスパフォーマンスのタイミング評価値を算出するタイミング評価値算出ステップと、
前記フォーム評価値と前記タイミング評価値に基づいて、前記評価対象人物のダンスパフォーマンスの総合評価値を算出する総合評価値算出ステップと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価基準人物がダンスをしている動画（評価基準ダンス動画）と、評価対象人物がダンスをしている動画（評価対象ダンス動画）から、評価対象人物のダンスパフォーマンスを評価するダンスパフォーマンス評価システムに関する。

【背景技術】

【0002】

従来、被験者の運動する姿勢を映像化し、その姿勢の良否を評価する運動姿勢評価装置が提案されている（例えば、特許文献１参照）。従来の装置では、被験者の運動する姿勢を断続的に特徴データに変換し、特徴データと予め格納された基準特徴データとが類似する程度（類似率）が導出され、類似率の値に基づいて、被験者の運動する姿勢（例えば、ゴルフのスイングフォーム）が採点される。

【0003】

この従来の装置では、ゴルフのスイングにおける「トップ」「スイングスタート」「インパクト」「インパクト後」「フォロースルー」などの段階別に、被験者の特徴データと基準特徴データとを対比することにより、スイングスピードや「ための時間」とは無関係に、被験者のゴルフのスイングが評価される。すなわち、従来の装置では、被験者の運動する姿勢（ゴルフのスイングフォーム）を採点する際に、フォームのみを考慮しており、タイミングについては考慮されていない。むしろ、従来の装置では、タイミングについては、あえて考慮しない（無視する）ようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－１８８１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ダンスパフォーマンスを評価するうえでは、フォームとタイミングを総合的に考慮することが重要である。従来の装置では、フォームのみが考慮され、タイミングについては考慮されていないため、ダンスパフォーマンスを適切に評価することができない。

【0006】

本発明は、上記の課題に鑑みてなされたもので、ダンスのフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することのできるダンスパフォーマンス評価システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のダンスパフォーマンス評価システムは、ダンスパフォーマンスの評価の基準となる評価基準人物がダンスをしている動画である評価基準ダンス動画と、ダンスパフォーマンスの評価の対象となる評価対象人物がダンスをしている動画である評価対象ダンス動画に基づいて、前記評価対象人物のダンスパフォーマンスを評価するダンスパフォーマンス評価システムであって、前記ダンスパフォーマンス評価システムは、前記評価基準ダンス動画から骨格推定により得られる評価基準骨格データと、前記評価対象ダンス動画から骨格推定により得られる評価対象骨格データを取得する骨格データ取得部と、前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の身体部分に相当する評価基準面の面積と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する身体部分に相当する評価対象面の面積とを比較して、互いの面積の一致度を表す面積スコアを算出する面積スコア算出部と、前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の骨格に相当する評価基準線分の角度と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する骨格に相当する評価対象線分の角度とを比較して、互いの角度の一致度を表す角度スコアを算出する角度スコア算出部と、前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の関節点に相当する評価基準点の動きベクトルと、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する関節点に相当する評価対象点の動きベクトルとを比較して、互いの動きベクトルの一致度を表す動きベクトルスコアを算出する動きベクトルスコア算出部と、前記面積スコアと前記角度スコアと前記動きベクトルスコアに基づいて、前記評価対象人物のダンスパフォーマンスのフォーム評価値を算出するフォーム評価値算出部と、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値に基づいて、前記評価対象人物のダンスパフォーマンスのタイミング評価値を算出するタイミング評価値算出部と、前記フォーム評価値と前記タイミング評価値に基づいて、前記評価対象人物のダンスパフォーマンスの総合評価値を算出する総合評価値算出部と、を備えている。

【0008】

この構成によれば、評価基準人物がダンスをしている動画（評価基準ダンス動画）と、評価対象人物がダンスをしている動画（評価対象ダンス動画）から、評価対象人物のダンスパフォーマンスを評価することができる。この場合、評価基準ダンス動画から取得した骨格データ（評価基準骨格データ）と、評価対象ダンス動画から取得した骨格データ（評価対象骨格データ）を用いて、面積・角度・動きベクトルという３つの観点で両者の骨格データ（評価基準骨格データと評価対象骨格データ）を比較して、それぞれの観点でスコア（面積スコア・角度スコア・動きベクトルスコア）を算出する。そして、両者のダンスのフォームの一致度を数値化したフォーム評価値（面積スコアと角度スコアと動きベクトルスコアから算出される）と、両者のダンスのタイミングの一致度を数値化したタイミング評価値から、評価対象人物のダンスの巧拙を総合的に数値化した総合評価値が算出される。このようにして、ダンスパフォーマンスを評価するうえで重要なフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することが可能となる。

【0009】

また、本発明のダンスパフォーマンス評価システムでは、前記面積スコア算出部は、前記評価基準人物の上半身部分に相当する評価基準面の面積と、前記評価対象人物の上半身部分に相当する評価対象面の面積とを比較して、上半身部分の面積スコアを算出するとともに、前記評価基準人物の下半身部分に相当する評価基準面の面積と、前記評価対象人物の下半身部分に相当する評価対象面の面積とを比較して、下半身部分の面積スコアを算出し、前記角度スコア算出部は、前記評価基準人物の上半身部分の骨格に相当する評価基準線分の角度と、前記評価対象人物の上半身部分の骨格に相当する評価対象線分の角度とを比較して、上半身部分の角度スコアを算出するとともに、前記評価基準人物の下半身部分の骨格に相当する評価基準線分の角度と、前記評価対象人物の下半身部分の骨格に相当する評価対象線分の角度とを比較して、下半身部分の角度スコアを算出し、前記動きベクトルスコア算出部は、前記評価基準人物の上半身部分の関節点に相当する評価基準点の動きベクトルと、前記評価対象人物の上半身部分の関節点に相当する評価対象点の動きベクトルとを比較して、上半身部分の動きベクトルスコアを算出するとともに、前記評価基準人物の下半身部分の関節点に相当する評価基準点の動きベクトルと、前記評価対象人物の下半身部分の関節点に相当する評価対象点の動きベクトルとを比較して、下半身部分の動きベクトルスコアを算出し、前記フォーム評価値算出部は、前記上半身部分の面積スコアと前記上半身部分の角度スコアと前記上半身部分の動きベクトルスコアに基づいて、上半身部分のフォーム評価値を算出するとともに、前記下半身部分の面積スコアと前記下半身部分の角度スコアと前記下半身部分の動きベクトルスコアに基づいて、下半身部分のフォーム評価値を算出し、前記タイミング評価値算出部は、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で前記所定時間ずらして再生した場合に算出される前記上半身部分のフォーム評価値に基づいて、上半身部分のタイミング評価値を算出するとともに、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で前記所定時間ずらして再生した場合に算出される前記下半身部分のフォーム評価値に基づいて、下半身部分のタイミング評価値を算出してもよい。

【0010】

この構成によれば、評価基準人物と評価対象人物の上半身・下半身ごとに、両者の骨格データ（評価基準骨格データと評価対象骨格データ）を比較して、面積スコア・角度スコア・動きベクトルスコアを算出し、フォーム評価値とタイミング評価値から総合評価値が算出される。このようにして、評価基準人物と評価対象人物のダンスの一致度を上半身・下半身ごとに数値化することができ、評価対象人物のダンスの巧拙を適切に評価することが可能となる。

【0011】

また、本発明のダンスパフォーマンス評価システムでは、前記面積スコア算出部は、前記評価基準人物の左肩、左肘、左手首、左尻、右肩、右肘、右手首、右尻に相当する関節点で構成される８角形の面積を、前記評価基準人物の上半身部分に相当する評価基準面の面積として算出し、前記評価対象人物の左肩、左肘、左手首、左尻、右肩、右肘、右手首、右尻に相当する関節点で構成される８角形の面積を、前記評価対象人物の上半身部分に相当する評価基準面の面積として算出し、前記評価基準人物の左尻、左膝、左足首、右尻、右膝、右足首に相当する関節点で構成される６角形の面積を、前記評価基準人物の下半身部分に相当する評価基準面の面積として算出し、前記評価対象人物の左尻、左膝、左足首、右尻、右膝、右足首に相当する関節点で構成される６角形の面積を、前記評価対象人物の下半身部分に相当する評価基準面の面積として算出してもよい。

【0012】

この構成によれば、両者の骨格データ（評価基準骨格データと評価対象骨格データ）のうち、左肩、左肘、左手首、左尻、右肩、右肘、右手首、右尻に相当する関節点で構成される８角形の面積のデータを用いて、上半身の面積スコアを適切に算出することができる。また、左尻、左膝、左足首、右尻、右膝、右足首に相当する関節点で構成される６角形の面積のデータを用いて、下半身の面積スコアを適切に算出することができる。

【0013】

また、本発明のダンスパフォーマンス評価システムでは、前記角度スコア算出部は、前記評価基準人物の鼻－首、左肩－左肘、左肘－左手首、左肩－左尻、右肩－右肘、右肘－右手首、右肩－右尻、右肩－左肩で構成される骨格に相当する評価基準線分の角度を、前記評価基準人物の上半身部分の骨格に相当する評価基準線分の角度として算出し、前記評価対象人物の鼻－首、左肩－左肘、左肘－左手首、左肩－左尻、右肩－右肘、右肘－右手首、右肩－右尻、右肩－左肩で構成される骨格に相当する評価対象線分の角度を、前記評価対象人物の上半身部分の骨格に相当する評価対象線分の角度として算出し、前記評価基準人物の左尻－左膝、左膝－左足首、右尻－右膝、右膝－右手首、右尻－左尻で構成される骨格に相当する評価基準線分の角度を、前記評価基準人物の下半身部分の骨格に相当する評価基準線分の角度として算出し、前記評価対象人物の左尻－左膝、左膝－左足首、右尻－右膝、右膝－右手首、右尻－左尻で構成される骨格に相当する評価基準線分の角度を、前記評価対象人物の下半身部分の骨格に相当する評価対象線分の角度として算出してもよい。

【0014】

この構成によれば、両者の骨格データ（評価基準骨格データと評価対象骨格データ）のうち、鼻－首、左肩－左肘、左肘－左手首、左肩－左尻、右肩－右肘、右肘－右手首、右肩－右尻、右肩－左肩で構成される骨格に相当する線分の角度のデータを用いて、上半身の角度スコアを適切に算出することができる。また、左尻－左膝、左膝－左足首、右尻－右膝、右膝－右手首、右尻－左尻で構成される骨格に相当する線分の角度のデータを用いて、下半身の角度スコアを適切に算出することができる。

【0015】

また、本発明のダンスパフォーマンス評価システムでは、前記動きベクトルスコア算出部は、前記評価基準人物の鼻、左肩、左肘、左手首、右肩、右肘、右手首の関節点に相当する評価基準点の動きベクトルを、前記評価基準人物の上半身部分の関節点に相当する評価基準点の動きベクトルとして算出し、前記評価対象人物の鼻、左肩、左肘、左手首、右肩、右肘、右手首の関節点に相当する評価対象点の動きベクトルを、前記評価対象人物の上半身部分の関節点に相当する評価対象点の動きベクトルとして算出し、前記評価基準人物の左尻、左膝、左足首、右尻、右膝、右足首の関節点に相当する評価基準点の動きベクトルを、前記評価基準人物の下半身部分の関節点に相当する評価基準点の動きベクトルとして算出し、前記評価対象人物の左尻、左膝、左足首、右尻、右膝、右足首の関節点に相当する評価対象点の動きベクトルを、前記評価対象人物の下半身部分の関節点に相当する評価対象点の動きベクトルとして算出してもよい。

【0016】

この構成によれば、両者の骨格データ（評価基準骨格データと評価対象骨格データ）のうち、鼻、左肩、左肘、左手首、右肩、右肘、右手首の関節点に相当する基準点の動きベクトルのデータを用いて、上半身の動きベクトルスコアを適切に算出することができる。また、左尻、左膝、左足首、右尻、右膝、右足首の関節点に相当する基準点の動きベクトルのデータを用いて、下半身の動きベクトルスコアを適切に算出することができる。

【0017】

また、本発明のダンスパフォーマンス評価システムでは、前記フォーム評価値算出部は、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値が最も高くなるフォーム評価値を、前記評価対象人物のダンスパフォーマンスのフォーム評価値として決定してもよい。

【0018】

この構成によれば、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が変化することを利用して、フォーム評価値を適切に算出することができる。

【0019】

また、本発明のダンスパフォーマンス評価システムでは、前記タイミング評価値算出部は、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値が最も高くなる時間ずらし量に基づいて、当該時間ずらし量が小さいほど前記タイミング評価値が大きくなるように、前記評価対象人物のダンスパフォーマンスのタイミング評価値を算出してもよい。

【0020】

この構成によれば、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が、両者のダンスのタイミングの一致度と相関することを利用して、タイミング評価値を適切に算出することができる。

【0021】

また、本発明のダンスパフォーマンス評価システムでは、前記総合評価算出部は、前記フォーム評価値と前記タイミング評価値との和の値を、前記評価対象人物のダンスパフォーマンスの総合評価値として算出してもよい。

【0022】

この構成によれば、ダンスパフォーマンスを評価するうえで重要なフォームとタイミングを総合的に考慮して、フォーム評価値とタイミング評価値から総合評価値を適切に算出することができる。

【0023】

本発明の方法は、ダンスパフォーマンスの評価の基準となる評価基準人物がダンスをしている動画である評価基準ダンス動画と、ダンスパフォーマンスの評価の対象となる評価対象人物がダンスをしている動画である評価対象ダンス動画に基づいて、前記評価対象人物のダンスパフォーマンスを評価するダンスパフォーマンス評価システムで実行される方法あって、前記方法は、前記評価基準ダンス動画から骨格推定により得られる評価基準骨格データと、前記評価対象ダンス動画から骨格推定により得られる評価対象骨格データを取得する骨格データ取得ステップと、前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の身体部分に相当する評価基準面の面積と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する身体部分に相当する評価対象面の面積とを比較して、互いの面積の一致度を表す面積スコアを算出する面積スコア算出ステップと、前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の骨格に相当する評価基準線分の角度と、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する骨格に相当する評価対象線分の角度とを比較して、互いの角度の一致度を表す角度スコアを算出する角度スコア算出ステップと、前記評価基準骨格データに基いて算出される、前記評価基準人物の所定の関節点に相当する評価基準点の動きベクトルと、前記評価対象骨格データに基いて算出される、前記評価対象人物の対応する関節点に相当する評価対象点の動きベクトルとを比較して、互いの動きベクトルの一致度を表す動きベクトルスコアを算出する動きベクトルスコア算出ステップと、前記面積スコアと前記角度スコアと前記動きベクトルスコアに基づいて、前記評価対象人物のダンスパフォーマンスのフォーム評価値を算出するフォーム評価値算出ステップと、前記評価基準ダンス動画に対して前記評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される前記フォーム評価値に基づいて、前記評価対象人物のダンスパフォーマンスのタイミング評価値を算出するタイミング評価値算出ステップと、前記フォーム評価値と前記タイミング評価値に基づいて、前記評価対象人物のダンスパフォーマンスの総合評価値を算出する総合評価値算出ステップと、を含んでいる。

【0024】

この方法によっても、上記のシステムと同様に、評価基準人物がダンスをしている動画（評価基準ダンス動画）と、評価対象人物がダンスをしている動画（評価対象ダンス動画）から、評価対象人物のダンスパフォーマンスを評価することができる。この場合、評価基準ダンス動画から取得した骨格データ（評価基準骨格データ）と、評価対象ダンス動画から取得した骨格データ（評価対象骨格データ）を用いて、面積・角度・動きベクトルという３つの観点で両者の骨格データ（評価基準骨格データと評価対象骨格データ）を比較して、それぞれの観点でスコア（面積スコア・角度スコア・動きベクトルスコア）を算出する。そして、両者のダンスのフォームの一致度を数値化したフォーム評価値（面積スコアと角度スコアと動きベクトルスコアから算出される）と、両者のダンスのタイミングの一致度を数値化したタイミング評価値から、評価対象人物のダンスの巧拙を総合的に数値化した総合評価値が算出される。このようにして、ダンスパフォーマンスを評価するうえで重要なフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することが可能となる。

【発明の効果】

【0025】

本発明によれば、ダンスのフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施の形態におけるダンスパフォーマンス評価システムのブロック図である。

【図2】骨格推定により取得される評価基準骨格データ／評価対象骨格データの一例を示す図である。

【図3】面積スコアの算出に用いられる評価基準面／評価対象面の一例を示す図である。

【図4】角度スコアの算出に用いられる評価基準線分／評価対象線分の一例を示す図である。

【図5】動きベクトルスコアの算出に用いられる評価基準点／評価対象点の一例を示す図である。

【図6】ユーザ装置における表示画面の一例を示す図である。

【図7】本発明の実施の形態におけるダンスパフォーマンス評価システムの動作説明のためのフロー図である。

【発明を実施するための形態】

【0027】

以下、本発明の実施の形態のダンスパフォーマンス評価システムについて、図面を用いて説明する。本実施の形態では、オンラインでのダンストレーニングシステム等として用いられるシステムの場合を例示する。

【0028】

本発明の実施の形態のダンスパフォーマンス評価システムの構成を、図面を参照して説明する。図１は、本実施の形態のダンスパフォーマンス評価システムの構成を示すブロック図である。図１に示すように、ダンスパフォーマンス評価システム１は、スマートフォンなどで構成されるユーザ装置２と、クラウドサーバなどで構成されるサーバ装置３を備えている。ユーザ装置２とサーバ装置３は、インターネット網などのネットワークＮを介して通信可能とされている。また、サーバ装置３は、ダンスパフォーマンス評価に用いられる種々のデータを記憶するデータベース部４を備えている。データベース部４には、例えば、予め撮影されたダンスパフォーマンスの評価の基準となる評価基準人物（例えば、手本となるダンサーなど）がダンスをしている動画（評価基準ダンス動画）のデータが記憶される。

【0029】

ユーザ装置２は、サーバ装置３との間でデータの送受信を行う機能を備える送受信部２０と、動画や静止画を撮影する機能を備えるカメラ部２１と、画面表示や画面入力を行う機能を備えるタッチパネル部２２と、ダンスパフォーマンス評価に用いられる種々のデータを記憶するメモリ部２３を備えている。ユーザ装置２のカメラ部２１の機能を用いて、ダンスパフォーマンスの評価の対象となる評価対象人物（例えば、ユーザ本人など）がダンスをしている動画（評価対象ダンス動画）が撮影される。ユーザ装置２のメモリ部２３は、撮影された評価対象ダンス動画のデータを記憶することができる。撮影された評価対象ダンス動画のデータは、ユーザ装置２の送受信部２０の機能を用いて、ネットワークＮを介してサーバ装置３へ送信される。

【0030】

サーバ装置３は、送受信部３０と、骨格推定部３１と、骨格データ取得部３２と、面積スコア算出部３３と、角度スコア算出部３４と、動きベクトルスコア算出部３５と、フォーム評価値算出部３６と、タイミング評価値算出部３７と、総合評価値算出部３８を備えている。

【0031】

サーバ装置３の送受信部３０は、ユーザ装置２との間いでデータの送受信を行う機能を備えている。例えば、サーバ装置３の送受信部３０は、ユーザ装置２からネットワークＮを介して送信された評価対象ダンス動画のデータを受信することができる。骨格推定部３１は、データベース部４に記憶されている評価基準ダンス動画や、ユーザ装置２から受信した評価対象ダンス動画に対して骨格推定の処理を施す機能を備えている。この骨格推定の処理は、公知の技術を利用することができる。

【0032】

骨格データ取得部３２は、評価基準ダンス動画から骨格推定により得られる評価基準骨格データと、評価対象ダンス動画から骨格推定により得られる評価対象骨格データを取得する機能を備えている。図２は、骨格推定により取得される骨格データ（評価基準骨格データ、評価対象骨格データ）の一例を示す図である。本実施の形態では、例えば、図２に示すように、左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、左尻Ｐ４、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７、右尻Ｐ８、左膝Ｐ９、左足首Ｐ１０、右膝Ｐ１１、右足首Ｐ１２、鼻Ｐ１３、首Ｐ１４（左肩Ｐ１と右肩Ｐ５の中点）に相当する関節点のデータと、鼻－首Ｌ１、左肩－左肘Ｌ２、左肘－左手首Ｌ３、左肩－左尻Ｌ４、右肩－右肘Ｌ５、右肘－右手首Ｌ６、右肩－右尻Ｌ７、右肩－左肩Ｌ８、左尻－左膝Ｌ９、左膝－左足首Ｌ１０、右尻－右膝Ｌ１１、右膝－右手首Ｌ１２、右尻－左尻Ｌ１３で構成される骨格に相当する線分のデータが、骨格データとして取得される（図４もあわせて参照）。

【0033】

面積スコア算出部３３は、評価基準骨格データに基いて、評価基準人物の所定の身体部分に相当する評価基準面の面積を算出するとともに、評価対象骨格データに基いて、評価対象人物の対応する身体部分に相当する評価対象面の面積を算出し、評価基準面の面積と評価対象面の面積とを比較して、互いの面積の一致度を表す面積スコアを算出する機能を備えている。図３は、面積スコアの算出に用いられる評価基準面／評価対象面の一例を示す図である。本実施の形態では、図３に示すように、面積スコア算出部３３は、評価基準人物の上半身部分に相当する評価基準面の面積と、評価対象人物の上半身部分に相当する評価対象面の面積とを比較して、上半身部分の面積スコアを算出するとともに、評価基準人物の下半身部分に相当する評価基準面の面積と、評価対象人物の下半身部分に相当する評価対象面の面積とを比較して、下半身部分の面積スコアを算出する。

【0034】

具体的には、面積スコア算出部３３は、評価基準人物の左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、左尻Ｐ４、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７、右尻Ｐ８に相当する関節点で構成される８角形の面積を、評価基準人物の上半身部分に相当する評価基準面の面積として算出し、評価対象人物の左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、左尻Ｐ４、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７、右尻Ｐ８に相当する関節点で構成される８角形の面積を、評価対象人物の上半身部分に相当する評価基準面の面積として算出する。また、面積スコア算出部３３は、評価基準人物の左尻Ｐ４、左膝Ｐ９、左足首Ｐ１０、右尻Ｐ８、右膝Ｐ１１、右足首Ｐ１２に相当する関節点で構成される６角形の面積を、評価基準人物の下半身部分に相当する評価基準面の面積として算出し、評価対象人物の左尻Ｐ４、左膝Ｐ９、左足首Ｐ１０、右尻Ｐ８、右膝Ｐ１１、右足首Ｐ１２に相当する関節点で構成される６角形の面積を、評価対象人物の下半身部分に相当する評価基準面の面積として算出する（図３参照）。

【0035】

角度スコア算出部３４は、評価基準骨格データに基いて、評価基準人物の所定の骨格に相当する評価基準線分の角度を算出するとともに、評価対象骨格データに基いて、評価対象人物の対応する骨格に相当する評価対象線分の角度を算出し、評価基準線分の角度と評価対象線分の角度とを比較して、互いの角度の一致度を表す角度スコアを算出する機能を備えている。図４は、角度スコアの算出に用いられる評価基準線分／評価対象線分の一例を示す図である。本実施の形態では、図４に示すように、角度スコア算出部３４は、評価基準人物の上半身部分の骨格に相当する評価基準線分の角度と、評価対象人物の上半身部分の骨格に相当する評価対象線分の角度とを比較して、上半身部分の角度スコアを算出するとともに、評価基準人物の下半身部分の骨格に相当する評価基準線分の角度と、評価対象人物の下半身部分の骨格に相当する評価対象線分の角度とを比較して、下半身部分の角度スコアを算出する。

【0036】

具体的には、角度スコア算出部３４は、評価基準人物の鼻－首Ｌ１、左肩－左肘Ｌ２、左肘－左手首Ｌ３、左肩－左尻Ｌ４、右肩－右肘Ｌ５、右肘－右手首Ｌ６、右肩－右尻Ｌ７、右肩－左肩Ｌ８で構成される骨格に相当する評価基準線分の角度を、評価基準人物の上半身部分の骨格に相当する評価基準線分の角度として算出し、評価対象人物の鼻－首Ｌ１、左肩－左肘Ｌ２、左肘－左手首Ｌ３、左肩－左尻Ｌ４、右肩－右肘Ｌ５、右肘－右手首Ｌ６、右肩－右尻Ｌ７、右肩－左肩Ｌ８で構成される骨格に相当する評価対象線分の角度を、評価対象人物の上半身部分の骨格に相当する評価対象線分の角度として算出する。また、角度スコア算出部３４は、評価基準人物の左尻－左膝Ｌ９、左膝－左足首Ｌ１０、右尻－右膝Ｌ１１、右膝－右手首Ｌ１２、右尻－左尻Ｌ１３で構成される骨格に相当する評価基準線分の角度を、評価基準人物の下半身部分の骨格に相当する評価基準線分の角度として算出し、評価対象人物の左尻－左膝Ｌ９、左膝－左足首Ｌ１０、右尻－右膝Ｌ１１、右膝－右手首Ｌ１２、右尻－左尻Ｌ１３で構成される骨格に相当する評価基準線分の角度を、評価対象人物の下半身部分の骨格に相当する評価対象線分の角度として算出する（図４参照）。

【0037】

動きベクトルスコア算出部３５は、評価基準骨格データに基いて、評価基準人物の所定の関節点に相当する評価基準点の動きベクトルを算出するとともに、評価対象骨格データに基いて、評価対象人物の対応する関節点に相当する評価対象点の動きベクトルを算出し、評価基準点の動きベクトルと評価対象点の動きベクトルとを比較して、互いの動きベクトルの一致度を表す動きベクトルスコアを算出する機能を備えている。動きベクトルは、移動速度ベクトル（速さおよび方向）と呼ぶこともできる。動きベクトルの算出は、公知の技術を利用することができる。図５は、動きベクトルスコアの算出に用いられる評価基準点／評価対象点の一例を示す図である。本実施の形態では、図５に示すように、動きベクトルスコア算出部３５は、評価基準人物の上半身部分の関節点に相当する評価基準点の動きベクトルと、評価対象人物の上半身部分の関節点に相当する評価対象点の動きベクトルとを比較して、上半身部分の動きベクトルスコアを算出するとともに、評価基準人物の下半身部分の関節点に相当する評価基準点の動きベクトルと、評価対象人物の下半身部分の関節点に相当する評価対象点の動きベクトルとを比較して、下半身部分の動きベクトルスコアを算出する。

【0038】

具体的には、動きベクトルスコア算出部３５は、評価基準人物の鼻Ｐ１３、左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７の関節点に相当する評価基準点の動きベクトルを、評価基準人物の上半身部分の関節点に相当する評価基準点の動きベクトルとして算出し、評価対象人物の鼻Ｐ１３、左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７の関節点に相当する評価対象点の動きベクトルを、評価対象人物の上半身部分の関節点に相当する評価対象点の動きベクトルとして算出する。また、動きベクトルスコア算出部３５は、評価基準人物の左尻Ｐ４、左膝Ｐ９、左足首Ｐ１０、右尻Ｐ８、右膝Ｐ１１、右足首Ｐ１２の関節点に相当する評価基準点の動きベクトルを、評価基準人物の下半身部分の関節点に相当する評価基準点の動きベクトルとして算出し、評価対象人物の左尻Ｐ４、左膝Ｐ９、左足首Ｐ１０、右尻Ｐ８、右膝Ｐ１１、右足首Ｐ１２の関節点に相当する評価対象点の動きベクトルを、評価対象人物の下半身部分の関節点に相当する評価対象点の動きベクトルとして算出する（図５参照）。

【0039】

フォーム評価値算出部３６は、面積スコアと角度スコアと動きベクトルスコアに基づいて、評価対象人物のダンスパフォーマンスのフォーム評価値を算出する機能を備えている。本実施の形態では、フォーム評価値算出部３６は、上半身部分の面積スコアと上半身部分の角度スコアと上半身部分の動きベクトルスコアに基づいて、上半身部分のフォーム評価値を算出するとともに、下半身部分の面積スコアと下半身部分の角度スコアと下半身部分の動きベクトルスコアに基づいて、下半身部分のフォーム評価値を算出する。

【0040】

また、フォーム評価値算出部３６は、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が最も高くなるフォーム評価値を、評価対象人物のダンスパフォーマンスのフォーム評価値として決定する。例えば、フォーム評価値算出部３６は、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で０．１秒ずつずらして再生した場合のフォーム評価値（例えば、－０．２秒ずらして再生した場合のフォーム評価値、－０．１秒ずらして再生した場合のフォーム評価値、０秒ずらして再生した場合のフォーム評価値、０．１秒ずらして再生した場合のフォーム評価値、０．２秒ずらして再生した場合のフォーム評価値）を算出し、その中で最も値の高いフォーム評価値を、評価対象人物のダンスパフォーマンスのフォーム評価値として決定する。

【0041】

タイミング評価値算出部３７は、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値に基づいて、評価対象人物のダンスパフォーマンスのタイミング評価値を算出する機能を備えている。本実施の形態では、タイミング評価値算出部３７は、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される上半身部分のフォーム評価値に基づいて、上半身部分のタイミング評価値を算出するとともに、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出される下半身部分のフォーム評価値に基づいて、下半身部分のタイミング評価値を算出する。

【0042】

また、タイミング評価値算出部３７は、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が最も高くなる時間ずらし量に基づいて、その時間ずらし量が小さいほどタイミング評価値が大きくなるように、評価対象人物のダンスパフォーマンスのタイミング評価値を算出する。例えば、タイミング評価値算出部３７は、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が最も高くなる時間ずらし量（例えば、－０．１秒）を算出する。タイミング評価値算出部３７は、この時間ずらし量（例えば、－０．１秒）の絶対値が小さいほど、タイミング評価値の値が大きくなるように、タイミング評価値を算出する。

【0043】

総合評価値算出部３８は、フォーム評価値とタイミング評価値に基づいて、評価対象人物のダンスパフォーマンスの総合評価値を算出する機能を備えている。本実施の形態では、総合評価値算出部３８は、フォーム評価値とタイミング評価値との和の値を、評価対象人物のダンスパフォーマンスの総合評価値として算出する。この場合、総合評価値算出部３８は、上半身部分のフォーム評価値とタイミング評価値との和の値を、評価対象人物のダンスパフォーマンスの上半身部分の総合評価値として算出し、下半身部分のフォーム評価値とタイミング評価値との和の値を、評価対象人物のダンスパフォーマンスの下半身部分の総合評価値として算出する。

【0044】

図６は、ユーザ装置２における表示画面の一例を示す図である。図６に示すように、本実施の形態では、ユーザ装置２の表示画面（タッチパネル部２２）は、評価対象ダンス動画が表示される第１表示エリアＡ１と、ダンスパフォーマンスの評価値が表示される第２表示エリアを備えている。図６の例では、第１表示エリアＡ１に、面積スコアの算出に用いられる評価対象面が評価対象ダンス動画に重畳して表示されているが、角度スコアの算出に用いられる評価対象線分や、動きベクトルスコアの算出に用いられる評価対象点が重畳して表示されてもよい。また、重畳表示は行われずに、評価対象ダンス動画のみが表示されてもよい。

【0045】

また、図６の例では、第２表示エリアＡ２に、総合評価値（総合得点）が「６９．３ポイント」として表示されるとともに、上半身部分の総合評価値（上半身）が「６３．２ポイント」、上半身部分のフォーム評価値（フォーム）が「４９．０」、上半身部分のタイミング評価値（タイミング）が「８１．７」として表示され、下半身部分の総合評価値（下半身）が「８１．１ポイント」、下半身部分のフォーム評価値（フォーム）が「８４．６」、下半身部分のタイミング評価値（タイミング）が「７７．８」として表示されている。

【0046】

以上のように構成されたダンスパフォーマンス評価システム１について、図７のフロー図を参照してその動作を説明する。

【0047】

図７に示すように、本実施の形態のダンスパフォーマンス評価システム１を用いて、評価対象人物のダンスパフォーマンスを評価する場合には、まず、ユーザ装置２のカメラ部２１を用いて、評価対象ダンス動画を撮影する（Ｓ１）。撮影された評価対象ダンス動画のデータは、ユーザ装置２からサーバ装置３へ送信される（Ｓ２）。サーバ装置３では、データベース部４から評価基準ダンス動画が取得される（Ｓ３）。そして、評価基準ダンス動画と評価対象ダンス動画に骨格推定の処理が施され（Ｓ４）、評価基準骨格データと評価対象骨格データが取得される（Ｓ５）。

【0048】

つぎに、評価基準骨格データに基いて算出される評価基準面の面積と、評価対象骨格データに基いて算出される評価対象面の面積とを比較して、互いの面積の一致度を表す面積スコアを算出する（Ｓ６）。また、評価基準骨格データに基いて算出される評価基準線分の角度と、評価対象骨格データに基いて算出される評価対象線分の角度とを比較して、互いの角度の一致度を表す角度スコアを算出する（Ｓ７）。さらに、評価基準骨格データに基いて算出される評価基準点の動きベクトルと、評価対象骨格データに基いて算出される評価対象点の動きベクトルとを比較して、互いの動きベクトルの一致度を表す動きベクトルスコアを算出する（Ｓ８）。

【0049】

つぎに、面積スコアと角度スコアと動きベクトルスコアに基づいて、評価対象人物のダンスパフォーマンスのフォーム評価値を算出し（Ｓ９）、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値に基づいて、評価対象人物のダンスパフォーマンスのタイミング評価値を算出する（Ｓ１０）。そして、フォーム評価値とタイミング評価値に基づいて、評価対象人物のダンスパフォーマンスの総合評価値を算出する（Ｓ１１）。このようにして算出された評価値のデータは、サーバ装置３からユーザ装置２へ送信され（Ｓ１２）、図６に示すように、ユーザ装置２のタッチパネル部２２に画面表示される（Ｓ１３）。

【0050】

このような本実施の形態のダンスパフォーマンス評価システム１によれば、評価基準人物がダンスをしている動画（評価基準ダンス動画）と、評価対象人物がダンスをしている動画（評価対象ダンス動画）から、評価対象人物のダンスパフォーマンスを評価することができる。この場合、評価基準ダンス動画から取得した骨格データ（評価基準骨格データ）と、評価対象ダンス動画から取得した骨格データ（評価対象骨格データ）を用いて、面積・角度・動きベクトルという３つの観点で両者の骨格データ（評価基準骨格データと評価対象骨格データ）を比較して、それぞれの観点でスコア（面積スコア・角度スコア・動きベクトルスコア）を算出する。そして、両者のダンスのフォームの一致度を数値化したフォーム評価値（面積スコアと角度スコアと動きベクトルスコアから算出される）と、両者のダンスのタイミングの一致度を数値化したタイミング評価値から、評価対象人物のダンスの巧拙を総合的に数値化した総合評価値が算出される。このようにして、ダンスパフォーマンスを評価するうえで重要なフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することが可能となる。

【0051】

また、本実施の形態では、評価基準人物と評価対象人物の上半身・下半身ごとに、両者の骨格データ（評価基準骨格データと評価対象骨格データ）を比較して、面積スコア・角度スコア・動きベクトルスコアを算出し、フォーム評価値とタイミング評価値から総合評価値が算出される。このようにして、評価基準人物と評価対象人物のダンスの一致度を上半身・下半身ごとに数値化することができ、評価対象人物のダンスの巧拙を適切に評価することが可能となる（図６参照）。

【0052】

また、本実施の形態では、両者の骨格データ（評価基準骨格データと評価対象骨格データ）のうち、左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、左尻Ｐ４、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７、右尻Ｐ８に相当する関節点で構成される８角形の面積のデータを用いて、上半身の面積スコアを適切に算出することができる。また、左尻Ｐ４、左膝Ｐ９、左足首Ｐ１０、右尻Ｐ８、右膝Ｐ１１、右足首Ｐ１２に相当する関節点で構成される６角形の面積のデータを用いて、下半身の面積スコアを適切に算出することができる（図３参照）。

【0053】

また、本実施の形態では、両者の骨格データ（評価基準骨格データと評価対象骨格データ）のうち、鼻－首Ｌ１、左肩－左肘Ｌ２、左肘－左手首Ｌ３、左肩－左尻Ｌ４、右肩－右肘Ｌ５、右肘－右手首Ｌ６、右肩－右尻Ｌ７、右肩－左肩Ｌ８で構成される骨格に相当する線分の角度のデータを用いて、上半身の角度スコアを適切に算出することができる。また、左尻－左膝Ｌ９、左膝－左足首Ｌ１０、右尻－右膝Ｌ１１、右膝－右手首Ｌ１２、右尻－左尻Ｌ１３で構成される骨格に相当する線分の角度のデータを用いて、下半身の角度スコアを適切に算出することができる（図４参照）。

【0054】

また、本実施の形態では、両者の骨格データ（評価基準骨格データと評価対象骨格データ）のうち、鼻Ｐ１３、左肩Ｐ１、左肘Ｐ２、左手首Ｐ３、右肩Ｐ５、右肘Ｐ６、右手首Ｐ７の関節点に相当する基準点の動きベクトルのデータを用いて、上半身の動きベクトルスコアを適切に算出することができる。また、左尻Ｐ４、左膝Ｐ９、左足首Ｐ１０、右尻Ｐ８、右膝Ｐ１１、右足首Ｐ１２の関節点に相当する基準点の動きベクトルのデータを用いて、下半身の動きベクトルスコアを適切に算出することができる。

【0055】

また、本実施の形態では、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が変化することを利用して、フォーム評価値を適切に算出することができる。

【0056】

また、本実施の形態では、評価基準ダンス動画に対して評価対象ダンス動画を時間軸上で所定時間ずらして再生した場合に算出されるフォーム評価値が、両者のダンスのタイミングの一致度と相関することを利用して、タイミング評価値を適切に算出することができる。

【0057】

また、本実施の形態では、ダンスパフォーマンスを評価するうえで重要なフォームとタイミングを総合的に考慮して、フォーム評価値とタイミング評価値から総合評価値を適切に算出することができる。

【0058】

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

【0059】

例えば、以上の説明では、ダンスパフォーマンス評価システム１を、ユーザ装置２とサーバ装置３という２つの装置で構成した例について説明したが、ダンスパフォーマンス評価システム１を、ユーザ装置２のみで（すなわち１つの装置で）構成しても、同様に実施可能である。

【産業上の利用可能性】

【0060】

以上のように、本発明にかかるダンスパフォーマンス評価システムは、ダンスのフォームとタイミングを総合的に考慮して、評価基準人物と評価対象人物のダンスの一致度を数値化することができ、評価対象人物のダンスの巧拙を定量的に評価することができるという効果を有し、オンラインでのダンストレーニングシステム等として用いられ、有用である。

【符号の説明】

【0061】

１ ダンスパフォーマンス評価システム
２ ユーザ装置
３ サーバ装置
４ データベース部
２０ 送受信部
２１ カメラ部
２２ タッチパネル部
２３ メモリ部
３０ 送受信部
３１ 骨格推定部
３２ 骨格データ取得部
３３ 面積スコア算出部
３４ 角度スコア算出部
３５ 動きベクトルスコア算出部
３６ フォーム評価値算出部
３７ タイミング評価値算出部
３８ 総合評価値算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】