(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066646
(43)【公開日】2024-05-16
(54)【発明の名称】動作評価装置、方法及びプログラム
(51)【国際特許分類】
A63B 69/00 20060101AFI20240509BHJP
A63B 71/06 20060101ALI20240509BHJP
【FI】
A63B69/00 A
A63B69/00 514
A63B71/06 T
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022176181
(22)【出願日】2022-11-02
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 刊行物名 シンポジウム:スポーツ工学・ヒューマンダイナミクス2022 講演論文集、Vol.31、No.22(2022)、B-7-2 発行者名 日本機械学会 発行日 令和4年10月28日 刊行物名 シンポジウム:スポーツ工学・ヒューマンダイナミクス2022 講演論文集、Vol.31、No.22(2022)、B-7-4 発行者名 日本機械学会 発行日 令和4年10月28日
(71)【出願人】
【識別番号】000183233
【氏名又は名称】住友ゴム工業株式会社
(71)【出願人】
【識別番号】503027931
【氏名又は名称】学校法人同志社
(74)【代理人】
【識別番号】100104134
【弁理士】
【氏名又は名称】住友 慎太郎
(74)【代理人】
【識別番号】100156225
【弁理士】
【氏名又は名称】浦 重剛
(74)【代理人】
【識別番号】100168549
【弁理士】
【氏名又は名称】苗村 潤
(74)【代理人】
【識別番号】100200403
【弁理士】
【氏名又は名称】石原 幸信
(74)【代理人】
【識別番号】100206586
【弁理士】
【氏名又は名称】市田 哲
(72)【発明者】
【氏名】岡崎 弘祐
(72)【発明者】
【氏名】植田 勝彦
(72)【発明者】
【氏名】辻内 伸好
(72)【発明者】
【氏名】伊藤 彰人
(57)【要約】
【課題】 第1プレーヤの第1動作と第2プレーヤの第2動作との比較により、第2動作を定量的に評価することが可能な動作評価装置を提供する。
【解決手段】 第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するための装置である。この装置は、第2動作を計測した第2動作値を取得する取得部と、第2動作値を特異値分解することにより、第2動作の特徴的な挙動を示す第2協調動作データを抽出する抽出部と、第1動作の特徴的な挙動を示す第1協調動作データを記憶する第1協調動作データ記憶部と、第1協調動作データと、第2協調動作データとを比較した第1比較結果31を取得する比較部と、第1比較結果31を表示装置12に出力する出力部とを含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するための装置であって、
前記第2動作を計測した第2動作値を取得する取得部と、
前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する抽出部と、
前記第1動作の特徴的な挙動を示す第1協調動作データを記憶する第1協調動作データ記憶部と、
前記第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する比較部と、
前記第1比較結果を表示装置に出力する出力部とを含む、
動作評価装置。
【請求項2】
前記第1動作は、前記第2動作の模範動作である、請求項1に記載の動作評価装置。
【請求項3】
前記第1動作を計測した第1動作値は、前記第1プレーヤの身体各部位の位置データを含み、
前記第2動作値は、前記第2プレーヤの身体各部位の位置データを含む、請求項1又は2に記載の動作評価装置。
【請求項4】
前記第1協調動作データは、前記第1動作を計測した第1動作値を、特異値分解することで得られる空間基底を含み、
前記第2協調動作データは、前記第2動作値を特異値分解することで得られる空間基底を含む、請求項1又は2に記載の動作評価装置。
【請求項5】
前記比較部は、前記第1比較結果として、前記第1協調動作データの空間基底と、前記第2協調動作データの空間基底との類似度を取得する、請求項4に記載の動作評価装置。
【請求項6】
前記類似度は、コサイン類似度又は相関係数を含む、請求項5に記載の動作評価装置。
【請求項7】
前記類似度は、前記第1協調動作データ及び前記第2協調動作データに含まれる複数のモード毎に取得される、請求項5に記載の動作評価装置。
【請求項8】
前記比較部は、前記複数のモードのうち、前記類似度が相対的に小さいモードを選択し、
前記出力部は、選択されたモードの前記第1動作の動画データをさらに出力する、請求項7に記載の動作評価装置。
【請求項9】
前記比較部は、前記第1協調動作データと、前記第1比較結果を見て学習した前記第2プレーヤの動作の特徴的な挙動を示す第3協調動作データとを比較した第2比較結果をさらに取得し、
前記出力部は、前記第2比較結果をさらに出力する、請求項1又は2に記載の動作評価装置。
【請求項10】
前記第1動作及び前記第2動作は、エクササイズ動作を含む、請求項1又は2に記載の動作評価装置。
【請求項11】
第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するための方法であって、
コンピュータが、前記第2動作を計測した第2動作値を取得する工程と、
前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する工程と、
前記第1動作の特徴的な挙動を示す第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する工程と、
前記第1比較結果を表示装置に出力する工程とを実行する、
動作評価方法。
【請求項12】
第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するためのコンピュータプログラムであって、
コンピュータを、
前記第2動作を計測した第2動作値を取得する手段と、
前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する手段と、
前記第1動作の特徴的な挙動を示す第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する手段と、
前記第1比較結果を表示装置に出力する手段として機能させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作評価装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、ゴルフスイングなどの動作の解析に用いられる動作解析装置が、種々提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、健康志向の高まりにより、様々なエクササイズ等が広く行われている。一般的なエクササイズのレッスンは、インストラクターが模範動作を示し、受講者がそれを模擬するとうものである。一方、受講者の動作の評価は、もっぱら、インストラクター個人の感覚で行われており、定量的ではなく、動作の改善点を把握が困難であった。
【0005】
本発明は、以上のような実状に鑑み案出されたもので、第1プレーヤの第1動作と第2プレーヤの第2動作との比較により、第2動作を定量的に評価することが可能な装置を提供することを主たる目的としている。
【課題を解決するための手段】
【0006】
本発明は、第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するための装置であって、前記第2動作を計測した第2動作値を取得する取得部と、前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する抽出部と、前記第1動作の特徴的な挙動を示す第1協調動作データを記憶する第1協調動作データ記憶部と、前記第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する比較部と、前記第1比較結果を表示装置に出力する出力部とを含む、動作評価装置である。
【発明の効果】
【0007】
本発明の動作評価装置は、第1プレーヤの第1動作と第2プレーヤの第2動作との比較により、第2動作を定量的に評価することが可能となる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の動作評価装置を含む動作評価システムを概念的に示す構成図である。
【
図2】本実施形態の動作評価装置を示すブロック図である。
【
図3】本実施形態の動作評価方法の処理手順を示すフローチャートである。
【
図4】第2プレーヤの身体各部位の位置データを説明する図であり、(a)は、X軸方向(正面)からみた位置データであり、(b)は、Y軸方向(側面)からみた位置データである。
【
図5】第1協調動作データの空間基底の大きさと、第2協調動作データの空間基底の大きさとを比較したグラフである。
【
図6】表示装置に表示された第1比較結果の一例を示す図である。
【
図7】本発明の他の実施形態の動作評価方法の処理手順を示すフローチャートである。
【
図8】第1協調動作データの空間基底の大きさと、第3協調動作データの空間基底の大きさとを比較したグラフである。
【
図9】表示装置に表示された第2比較結果の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態が図面に基づき説明される。図面は、発明の内容の理解を助けるために、誇張表現や、実際の構造の寸法比とは異なる表現が含まれることが理解されなければならない。また、各実施形態を通して、同一又は共通する要素については同一の符号が付されており、重複する説明が省略される。さらに、実施形態及び図面に表された具体的な構成は、本発明の内容理解のためのものであって、本発明は、図示されている具体的な構成に限定されるものではない。
【0010】
[動作解析システム]
本実施形態の動作評価システム(動作評価装置)では、第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作が評価される。
図1は、本実施形態の動作評価装置2を含む動作評価システム1を概念的に示す構成図である。
【0011】
動作(第1動作及び第2動作)は、プレーヤ(人体)による動作であれば、特に限定されない。動作の一例には、エクササイズを行っているプレーヤの動作(エクササイズ動作)や、スポーツ等を行っているプレーヤの動作(スポーツ動作)等が挙げられる。本実施形態の動作には、エクササイズ動作が含まれる。このエクササイズ動作には、例えば、体操、ダンス、ヨガ及び太極拳等での動作が含まれる。本実施形態のエクササイズ動作として、体操での動作が例示される。
【0012】
第1プレーヤ(図示省略)は、第2動作と比較される第1動作を行うプレーヤであれば、特に限定されない。本実施形態の第1プレーヤは、エクササイズ動作のレッスンを行うインストラクターである場合が例示される。この場合、本実施形態の第1動作は、第2プレーヤP2による第2動作の模範動作である。
【0013】
第1プレーヤは、インストラクターに限定されるわけではなく、例えば、第2プレーヤP2に比べて、エクササイズ動作の熟練者(上級者)等であってもよいし、第2プレーヤP2とエクササイズ動作の優劣を競うプレーヤであってもよい。
【0014】
第2プレーヤP2は、動作評価システム1(動作評価装置2)によって、第2動作が評価されるプレーヤである。本実施形態では、第2プレーヤP2として、エクササイズ動作のレッスンの受講者(例えば、初級者や中級者)である場合が例示される。この場合、第2動作は、第1プレーヤ(インストラクター)による第1動作を模擬した動作である。なお、第2プレーヤP2は、受講者に限定されるわけではなく、例えば、第1プレーヤとエクササイズ動作の優劣を競うプレーヤであってもよい。
【0015】
本実施形態の動作評価システム1は、動作評価装置2と、計測装置3とを含んで構成される。動作評価システム1(動作評価装置2)は、後述の動作評価方法を実行するのに用いられる。
【0016】
[計測装置]
計測装置3は、第2プレーヤP2による第2動作を計測するためのものである。本実施形態の計測装置3は、モーションキャプチャシステム3Aとして構成されている。本実施形態では、第1プレーヤによる第1動作の計測にも、計測装置3(モーションキャプチャシステム3A)が用いられる。なお、計測装置3は、第1動作及び第2動作を計測できれば、モーションキャプチャシステム3Aに限定されるわけではなく、種々の装置が採用されうる。
【0017】
本実施形態のモーションキャプチャシステム3Aには、複数台のカメラ4が含まれる。これらのカメラ4は、第2プレーヤP2による第2動作を様々な方向から撮影することができる位置に配置されており、第2動作の三次元計測が可能とされている。モーションキャプチャシステム3Aには、例えば、VICON社製の三次元動作分析システムが好適に採用されうる。
【0018】
計測装置3は、有線又は無線の通信線(図示省略)を介して、動作評価装置2と通信可能に接続されている。これにより、計測装置3で計測された計測値が、動作評価装置2に送信されうる。なお、計測値の送信は、このような通信線に限定されるわけではなく、例えば、通信ネットワークを介して送信されてもよい。通信ネットワークには、例えば、WAN(Wide Area Network)やLAN(Local Area Network)等が含まれる。また、計測装置3が動作評価装置2に接続されない場合には、例えば、フラッシュメモリ等の記憶メディア(図示省略)等を介して、位置データが動作評価装置2に入力されてもよい。
【0019】
[動作評価装置]
動作評価装置2は、例えば、コンピュータ5によって構成される。コンピュータ5の一例には、デスクトップ型コンピュータ、ノート型コンピュータ、タブレットコンピュータ、スマートフォン、及び、クラウドサーバ等が挙げられる。本実施形態のコンピュータ5には、デスクトップ型コンピュータが採用される。
図2は、本実施形態の動作評価装置2を示すブロック図である。
【0020】
本実施形態の動作評価装置2は、例えば、入力装置11と、表示装置12と、通信装置13と、演算処理装置14とを含んで構成されている。
【0021】
[入力装置・表示装置]
入力装置11には、例えば、
図1に示したキーボード11aやマウス11b等が用いられる。表示装置12には、例えば、
図1に示したディスプレイ12a等が用いられる。
【0022】
[通信装置]
図2に示されるように、本実施形態の通信装置13は、通信線23を介して、計測装置3(モーションキャプチャシステム3A)と通信可能に接続されている。これにより、通信装置13(動作評価装置2)は、計測装置3の計測値を、通信線23を介して取得(受信)することが可能となる。また、本実施形態の通信装置13(動作評価装置2)は、例えば、計測装置3を制御するための信号を、通信線を介して計測装置3に送信しうる。
【0023】
[演算処理装置]
本実施形態の演算処理装置14は、例えば、各種の演算を行う演算部(CPU)15、データやプログラム等が記憶される記憶部16、及び、作業用メモリ17を含んで構成されている。
【0024】
[記憶部]
記憶部16は、例えば、磁気ディスク、光ディスク又はSSD等からなる不揮発性の情報記憶装置である。本実施形態の記憶部16には、データ部18及びプログラム部19が含まれる。
【0025】
[データ部]
データ部18は、
図1に示した第2プレーヤP2による第2動作の評価に必要なデータ(情報)や、評価結果等を記憶するためのものである。本実施形態のデータ部18には、第1動作値記憶部18a、第2動作値入力部18b、協調動作データ入力部18c、及び、比較結果入力部18dが含まれる。なお、データ部18は、このような態様に限定されるわけではなく、これらの一部が省略されてもよいし、その他のデータが記憶されるデータ部が含まれてもよい。これらのデータ部18に入力されるデータの詳細は、後述される。
【0026】
[プログラム部]
プログラム部19は、
図1に示した第2プレーヤP2による第2動作の評価に必要なプログラム(コンピュータプログラム)である。プログラム部(プログラム)19は、演算部15によって実行されることにより、コンピュータ5を、特定の手段として機能させることができる。
【0027】
本実施形態のプログラム部19には、取得部19a、抽出部19b、比較部19c、出力部19d及び評価部19eが含まれる。なお、プログラム部19は、このような態様に限定されるわけではなく、その他の機能を有するプログラム部が含まれてもよい。これらのプログラム部19の機能の詳細は、後述される。
【0028】
[動作評価方法(第1実施形態)]
次に、本実施形態の動作評価方法が説明される。本実施形態の動作評価方法では、第1プレーヤの動作である第1動作に基づいて、
図1に示した第2プレーヤP2の動作である第2動作が評価される。
図3は、本実施形態の動作評価方法の処理手順を示すフローチャートである。本実施形態では、動作評価方法の各工程が、
図1及び
図2に示した動作評価装置2(コンピュータ5)によって実行される。
【0029】
[第2プレーヤの第2動作値を取得]
本実施形態の動作評価方法では、先ず、
図1に示した第2プレーヤP2の第2動作を計測した第2動作値が取得される(工程S1)。第2動作値は、第2動作を定量的に表すことができれば、適宜取得されうる。本実施形態の第2動作値には、第2プレーヤP2の身体各部位の位置データが含まれる。
【0030】
本実施形態の工程S1では、先ず、
図2に示したプログラム部19に含まれる取得部19aが、作業用メモリ17に読み込まれる。取得部19aは、第2動作値を取得するためのプログラムである。この取得部19aが、演算部15によって実行されることで、コンピュータ5を、第2動作値を取得するための手段として機能させることができる。
【0031】
本実施形態の工程S1では、先ず、
図1に示した第2プレーヤP2による第2動作が計測される。本実施形態の第2動作の計測には、計測装置3(モーションキャプチャシステム3A)が用いられる。計測装置3による計測の開始及び終了などの制御は、動作評価装置2(コンピュータ5)が行ってもよいし、オペレータ等が行ってもよい。
【0032】
本実施形態では、第2動作の計測に先立ち、
図1に示した第2プレーヤP2の身体の所定の部位に、複数のマーカー(図示省略)が取り付けられる。本実施形態の複数のマーカーは、例えば、光反射性の球体に形成されている。このようなマーカーにより、第2プレーヤP2の身体の挙動が、複数台のカメラ4によって精度良く捉えられうる。
【0033】
本実施形態のマーカー(図示省略)は、例えば、上記特許文献1と同様に、第2プレーヤP2の身体各部位(例えば、頭、手首、手の指先、肘、肩、腰、膝、踝、及び、脚の指先等)にそれぞれ取り付けられる。本実施形態では、53個のマーカーが取り付けられているが、このような態様に限定されるわけではなく、例えば、第2動作による体の動き等に応じて、一部のマーカーが省略されてもよいし、他のマーカーが追加されてもよい。各マーカーには、予め定められた識別番号(例えば、第1番~第53番)が設定されている。
【0034】
次に、
図1に示した第2プレーヤP2による第2動作が開始されてから終了するまでの間、第2動作が、複数台のカメラ4で連続撮影される。これにより、第2動作が時系列(複数の時刻)で連続的に撮影された複数の画像を含む画像群(動画)が取得される。第2動作は、予め定められたサンプリング周波数に対応する時間間隔で撮影される。サンプリング周波数は、適宜設定することができ、例えば、500Hzに設定される。
【0035】
画像群(動画)に含まれる各画像は、例えば、計測装置3(モーションキャプチャシステム3A)に含まれる画像処理ソフトウェア等で画像処理される。これにより、第2動作の時系列の第2動作値が取得される。
【0036】
本実施形態では、第2動作値として、複数のマーカー(図示省略)の位置データがそれぞれ取得される。これらの位置データにより、複数のマーカーが取り付けられた第2プレーヤP2の身体各部位の位置(身体各部位の位置データ)がそれぞれ特定される。なお、複数のマーカー(本例では、53個のマーカー)の位置データは、例えば、それらで特定される身体各部位20の関節中心を平均化することで、一部のマーカー(本例では、23個のマーカー)の位置データに集約されてもよい。これにより、位置データが少なくなり、後述の特異値分解によって得られる協調動作データのモードの個数の増大が抑制される。なお、このような集約を行わなくても、例えば、複数のマーカー(本例では、53個のマーカー)の位置データのうち、第2動作の評価をする際に注目すべき身体各部位に取り付けられたマーカーの位置データが限定されてもよい。
【0037】
図4は、第2プレーヤP2の身体各部位20の位置データを説明する図である。
図4において、(a)は、X軸方向(第2プレーヤP2の正面)からみた位置データであり、(b)は、Y軸方向(第2プレーヤP2の側面)からみた位置データである。
【0038】
第2プレーヤP2の身体各部位20の位置データは、三次元(直交座標系)の座標値として取得される。三次元の座標値は、例えば、
図4(a)に示した第2プレーヤP2の正面視において、奥行方向(X軸方向)、左右方向(Y軸方向)、及び、高さ方向(Z軸方向)に基づいて特定される。このような第2プレーヤP2の身体各部位20の位置データが時系列で特定されることによって第2動作値が取得される。
【0039】
第2プレーヤP2の身体各部位20の座標値(位置データ)は、例えば、複数の身体各部位20から選択された一つの身体各部位20の座標値が、予め定められた基準位置21に一致するように、座標変換(移動)されてもよい。これにより、基準位置21に基づいて、身体各部位20の座標値が揃えられた第2動作値が取得されうる。このような第2動作値により、例えば、体格が異なる他のプレーヤの動作値(本例では、第1プレーヤーの第1動作値)との比較や、動作が計測された位置が異なる他のプレーヤの動作値との比較が容易となる。基準位置21は、例えば、X軸、Y軸及びZ軸の原点に設定されているが、特に限定されるわけではなく、任意の位置に設定されうる。また、基準位置21に一致させる部位20は、左足先20aに設定されているが、特に限定されるわけではなく、任意の身体各部位20が選択されうる。
【0040】
第2プレーヤP2の身体各部位20の座標値(位置データ)は、例えば、第2プレーヤP2の右足先20bの位置から左足先20aの位置に向かうベクトル(図示省略)が、Y軸方向(左右方向)と平行となるように、座標変換されてもよい。これにより、第2プレーヤP2の体の向きが揃えられた第2動作値が取得され、例えば、他のプレーヤの動作値(第1プレーヤーの第1動作値)との比較が容易となる。
【0041】
第2動作値は、例えば、以下の式(1)~(3)で定義される。先ず、式(1)では、第1時刻から第N時刻までの任意の時刻tにおいて、第i番のマーカー(身体各部位20)の位置データ(原点を基準とする位置ベクトル)が特定される。本実施形態において、第1時刻は、第2動作が開始された時刻である。また、第N時刻は、第2動作が終了した時刻である。
【0042】
【数1】
ここで、
i:マーカー(身体各部位)の識別番号
t:時刻
【0043】
上記の式(1)において、xi(t)、yi(t)及びzi(t)は、時刻tにおいて、第i番のマーカー(身体各部位20)のX軸方向の座標、Y軸方向の座標、及び、Z軸方向の座標を示している。この位置データri(t)について、第1時刻から第N時刻まで作成し、これらを行ごとに並べた行列[ri]が、下記の式(2)で定義される。
【0044】
【0045】
上記の式(2)の行列[ri]では、N行3列の行列であり、第1行から第N行に、時系列に沿って順に、上記の式(1)で定義される三次元座標ri(1),ri(2),・・・,ri(N)が並べられている。そして、全てのマーカー(身体各部位20)に対する23個の行列[r1]、[r2]…[r23]を、この順に列方向(横方向)に並べた行列[R]が、下記の式(3)で定義される。行列[R]は、N行69(=3×23)列の行列である。
【0046】
【0047】
上記の式(3)の行列[R]は、第1時刻から第N時刻までの23個のマーカー(身体各部位20)の位置を時系列に表す時系列の挙動データである。なお、行例[R]の第t行には、第t時刻での第2プレーヤP2の身体における23個のマーカー(身体各部位20)の三次元座標が含まれている。
【0048】
この行列[R]の第t行において、第t時刻の第2プレーヤP2の身体各部位20の位置データ(第2プレーヤP2の姿勢)が表される。このような行列[R]により、第2動作値が特定されうる。
【0049】
本実施形態の工程S1では、行列[R]で特定される複数の身体各部位20をジョイントとし、これらのジョイントを連結するボーン(骨)24を含む人体モデル(スティックピクチャー)M2が設定される。これらの第2動作値及び人体モデルM2は、第2動作値入力部18b(
図2に示す)に記憶される。
【0050】
[第2動作値から第2協調動作データを抽出]
次に、本実施形態の動作評価方法では、第2動作の特徴的な挙動を示す第2協調動作データが抽出される(工程S2)。本実施形態の工程S2では、第2動作値を特異値分解することで、第2協調動作データが抽出される。
【0051】
本実施形態の工程S2では、先ず、
図2に示した第2動作値入力部18bに入力されている第2動作値が、作業用メモリ17に読み込まれる。さらに、プログラム部19に含まれる抽出部19bが、作業用メモリ17に読み込まれる。抽出部19bは、第2協調動作データを抽出するためのプログラムである。この抽出部19bが、演算部15によって実行されることで、コンピュータ5を、第2協調動作データを抽出する手段として機能させることができる。
【0052】
本実施形態の工程S2では、特異値分解に先立ち、上記の式(3)の行列が拡張される。この行列の拡張は、特異値分解の基準点を、第2動作(エクササイズ動作)の初期姿勢に近づけるためのものである。
【0053】
行列の拡張は、先ず、第i番のマーカー(
図4に示した身体各部位20)の初期姿勢の座標値(位置ベクトル)r
i(1)が、上記の式(1)に基づいて求められる。次に、求められた座標値(位置ベクトル)r
i(1)の行ごとに、第1時刻から第2N時刻まで並べた行列([r
i(1)])が作成される。このとき、[r
i(1)]の行ごとの要素は、すべてr
i(1)となる。
【0054】
次に、上記の行列([ri(1)])が第1番~第23番のマーカー(身体各部位20)について作成され、それらを列ごとに並べた行列([R(1)])が、以下の式(4)で定義される。
【0055】
【0056】
さらに、行列のデータ点数を増やして分解能を向上させるために、上記の式(3)の行列を時系列方向に反転した行列[Rt]が、以下の式(5)で定義される。そして、上記の式(3)の行列[R]に上記の式(4)の行列[R(1)]、及び、下記の式(5)の行列[Rt]を結合した行列である観測行列[Ra]が、以下の式(6)で定義される。
【0057】
【0058】
次に、本実施形態の工程S2では、23個のマーカー(身体各部位20)の位置の時系列データを上記の式(6)の観測行列[Ra]とし、基準となる初期姿勢を示す行列[R0]として、下記の式(7)を用いて特異値分解が行われる。なお、行列[R0]は、観測行列[Ra]の時間方向(行方向)に平均をとり、その平均を行ごとに6N個並べた行列(6N行69(=3×23)列)として定義される。
【0059】
【0060】
上記の式(7)に基づいて、観測行列[Ra]と初期姿勢の行列[R0]との差分である[Ra]-[R0]が特異値分解され、n=1,2,・・・,J(Jは、69以下の整数)に対し、U(n)、Γ(n)及びV(n)が得られる。
【0061】
Γ(n)は、第nモード(第n番目)の特異値であり、[Ra]-[R0]に対する第nモード(第n番目)の割合を表している。U(n)は、観測行列[Ra]の左特異ベクトルであり、6N行69(=3×23)列となる。V(n)は、観測行列[Ra]の右特異ベクトルであり、69次元である。
【0062】
左特異ベクトルU(n)は、右特異ベクトルV(n)の時間情報を表す基底である時間基底である。一方、右特異ベクトルV(n)は、第2プレーヤP2の身体における各マーカー(身体各部位20)の位置情報を表す基底である空間基底である。この空間基底は、基準となる初期姿勢の行列[R0]に対し,第nモード(第n番目)の動作の方向を示すベクトルである。このような空間基底の値により、第2動作での第2プレーヤP2の動き(身体各部位20の動き)を、モード毎に数値化することが可能となる。
【0063】
本実施形態の工程S2では、第2動作値を特異値分解することで得られる空間基底(右特異ベクトルV
(n))が、第2動作の特徴的な挙動を示す第2協調動作データとして抽出される。これらの第2協調動作データは、モードごと(本例では、第1モードから第69モードごと)に、
図2に示した協調動作データ入力部18cに記憶される。
【0064】
[第1比較結果を取得]
次に、本実施形態の評価方法では、第1協調動作データと、第2協調動作データとを比較した第1比較結果が取得される(工程S3)。
【0065】
第1協調動作データは、図示しない第1プレーヤの動作である第1動作(本例では、第2動作の模範動作)の特徴的な挙動を示す指標である。この第1協調動作データは、評価方法の実施に先立って抽出されているのが好ましい。
【0066】
第1協調動作データは、第2強調動作データと同様の手順(工程S1及び工程S2)で抽出されうる。この第1協調動作データの抽出には、先ず、第1動作を計測した第1動作値が取得される。この第1動作値には、第1プレーヤの身体各部位の位置データが含まれており、
図2に示した第1動作値記憶部18aに予め記憶されている。
【0067】
次に、第1動作値が特異値分解されることで、第1協調動作データが抽出されうる。この第1協調動作データには、空間基底(右特異ベクトルV
(n))が含まれる。本実施形態の第1協調動作データは、モードごと(本例では、第1モードから第69モードごと)に、
図2に示した協調動作データ入力部18cに予め記憶されている。
【0068】
本実施形態の工程S3では、先ず、
図2に示した協調動作データ入力部18cに入力されている第1協調動作データ、及び、第2協調動作データが、作業用メモリ17に読み込まれる。さらに、プログラム部19に含まれる比較部19cが、作業用メモリ17に読み込まれる。比較部19cは、第1協調動作データと、第2協調動作データとを比較した第1比較結果を取得するためのプログラムである。この比較部19cが、演算部15によって実行されることで、コンピュータ5を、第1比較結果を取得する手段として機能させることができる。
【0069】
第1協調動作データと第2協調動作データとの比較は、適宜実施されうる。本実施形態では、これらの協調動作データに含まれる複数のモード(本例では、第1モード~第69モード)ごとに、第1協調動作データと第2協調動作データとが比較されるのが好ましい。
【0070】
本実施形態では、第1協調動作データの空間基底(右特異ベクトルV
(n))と、第2協調動作データの空間基底(右特異ベクトルV
(n))との類似度が、複数のモード毎に取得される。このような類似度が、第1比較結果として取得されることで、図示しない第1プレーヤの第1動作(身体各部位の動き)に対して、
図4に示した第2プレーヤP2の第2動作(身体各部位20の動き)がどの程度似ているかを定量的に評価することが可能となる。
【0071】
類似度は、第1協調動作データと第2協調動作データとを比較することができれば、適宜取得される。本実施形態の類似度には、コサイン類似度又は相関係数が含まれる。第nモードのコサイン類似度は、下記の式(8)で取得される。
【0072】
【数8】
ここで、
V’
ins(n) :第1協調動作データの第nモードにおける各部位の空間基底をノルム化したベクトル(以下、「空間ベクトルノルム」ということがある。)
V’
1(n) :第2協調動作データの第nモードにおける各部位の空間基底をノルム化したベクトル
|V’
ins(n)|:第1協調動作データの第nモードにおける全部位の空間基底における
ノルム
|V’
1(n)| :第2協調動作データの第nモードにおける全部位の空間基底における
ノルム
n:モード特定するための変数
【0073】
上記の式(8)において、V’ins(n)は、第nモードにおける第1協調動作データの空間基底(右特異ベクトルV(n))を身体各部位のx,y,z軸成分でノルム化したベクトル(すなわち、V’ins_1(n)~V’ins_23(n)の成分)である。V’1(n)は、第nモードにおける第2協調動作データの空間基底(右特異ベクトルV(n))を身体各部位のx,y,z軸成分でノルム化したベクトル(すなわち、V1_1(n)~V1_23(n)の成分)である。
【0074】
上記の式(8)において、|V’ins(n)|は、第nモードについて、第1協調動作データの全部位及び全成分の空間基底(右特異ベクトルV(n))におけるノルムである。このノルム|V’ins(n)|は、第1協調動作データの空間基底(右特異ベクトルV(n))を二乗した値の総和を求め、その総和の平方根を取った値である。このようなノルム|V’ins(n)|により、図示しない第1動作での第1プレーヤの動き(身体各部位20の動き)の大きさを数値化することが可能となる。
【0075】
上記の式(8)において、|V’
1(n)|は、第nモードについて、第2協調動作データの全部位及び全成分の空間基底(右特異ベクトルV
(n))におけるノルムである。このノルム|V’
1(n)|は、第2協調動作データの空間基底(右特異ベクトルV
(n))を二乗した値の総和を求め、その総和の平方根をとった値である。このようなノルム|V’
1(n)|により、
図4に示した第2動作での第2プレーヤP2の動き(身体各部位20の動き)の大きさを数値化することが可能となる。
【0076】
本実施形態の工程S3では、上記の式(8)のコサイン類似度により、全てのモード(本例では、第1モードから第69モード)を対象として、第1協調動作データの第nモードにおける各部位の空間基底をノルム化したベクトル(V’ins(n))と、第2協調動作データの第nモードにおける各部位の空間基底をノルム化したベクトル(V’1(n))との類似度が、身体各部位20ごとに計算されうる。このようなコサイン類似度が、第1比較結果として取得されることで、第1動作を模擬した第2動作が評価されうる。
【0077】
また、コサイン類似度は、下記の式(9)に基づいて、身体各部位20から選択される複数の部位を対象に計算されてもよい。
【0078】
【数9】
ここで、
V’
ins(n)_k :第1協調動作データの第nモードでの部位範囲(k)における各部位の空間基底をノルム化したベクトル
V’
1(n)_k :第2協調動作データの第nモードでの部位範囲(k)における各部位の空間基底をノルム化したベクトル
|V’
ins(n)_k |:第1協調動作データの第nモードでの部位範囲(k)の全体におけるノルム
|V’
1(n)_k | :第2協調動作データの第nモードでの部位範囲(k)の全体におけるノルム
k:部位を特定するための変数
n:モード特定するための変数
【0079】
上記の式(9)では、身体の特定の部位範囲(例えば、下半身)を構成する複数の部位について、変数m1で特定される部位のコサイン類似度から、変数m2で特定される部位のコサイン類似度までが足し合わされる。このようなコサイン類似度により、特定の部位範囲での類似度が求められる。
【0080】
相関係数C(n)は、下記の式(10)で取得される。
【0081】
【数10】
ここで、
V’
ins(n):第1協調動作データの第nモードにおける各部位の空間基底を
ノルム化したベクトル
V’
1(n) :第2協調動作データの第nモードにおける各部位の空間基底を
ノルム化したベクトル
n:モード特定するための変数
【0082】
上記の式(9)では、第nモード(本例では、第1モード~第69モード)ごとに、第1協調動作データの各部位の空間基底をノルム化したベクトル(V’ins(n))と、第2協調動作データの各部位の空間基底をノルム化したベクトル(V’1(n))との相関係数がそれぞれ求められる。そして、これらの全てのモードの相関係数が平均処理されることで、相関係数の平均値が求められてもよいし、モードごとに異なる重みを設定した加重平均等した値が求められてもよい。
【0083】
また、相関係数は、下記の式(11)に基づいて、身体各部位20から選択される複数の部位を対象に計算されてもよい。
【0084】
【数11】
ここで、
V’
ins(n)_k :第1協調動作データの第nモードでの部位範囲(k)における各部位の空間基底をノルム化したベクトル
V’
1(n)_k :第2協調動作データの第nモードでの部位範囲(k)における各部位の空間基底をノルム化したベクトル
|V’
ins(n)_k |:第1協調動作データの第nモードでの部位範囲(k)の全体におけるノルム
|V’
1(n)_k | :第2協調動作データの第nモードでの部位範囲(k)の全体におけるノルム
k:部位を特定するための変数
n:モード特定するための変数
【0085】
上記の式(11)では、身体の特定の部位範囲(例えば、下半身)を構成する複数の部位について、変数m1で特定される部位の相関係数から、変数m2で特定される部位の相関係数までが足し合わされる。このような相関係数により、特定の部位範囲での類似度が求められる。これらの相関係数が求められることで、第1動作と第2動作との線形な相関関係の強さが求められ、第1動作を模擬した第2動作が評価されうる。
【0086】
本実施形態では、第1比較結果として、コサイン類似度が取得されるが、コサイン類似度に代えて、相関係数が取得されても良いし、これらの双方が取得されてもよい。また、第1比較結果には、コサイン類似度や相関係数とは異なる他のパラメータ等が取得されてもよい。また、本実施形態では、コサイン類似度及び相関係数の計算に、空間ベクトルノルムが用いられたが、このような態様に限定されない。例えば、空間ベクトル(右特異ベクトル)に基づいて、コサイン類似度や相関係数が計算されてもよい。
【0087】
本実施形態では、複数のモード(本例では、第1モード~第69モード)のうち、類似度が相対的に小さいモードが選択されてもよい。このようなモードは、第2プレーヤP2が重点的に改善すべきモードとして特定されうる。このモードは、第1比較結果として取得される。
【0088】
第1比較結果には、例えば、マーカー(身体各部位20)ごとに、第1協調動作データの空間ベクトルノルムと、第2協調動作データの空間ベクトルノルムとを比較したグラフが含まれてもよい。
図5は、第1協調動作データの空間ベクトルノルムと、第2協調動作データの空間ベクトルノルムとを比較したグラフ25である。
【0089】
図5において、横軸は、
図4に示した身体各部位(マーカー)20を示している。この横軸の「(L)」は、左側の部位(マーカー)を示しており、「(R)」は、左側の部位(マーカー)を示している。一方、縦軸は、空間ベクトルノルムを示しており、身体各部位(マーカー)20の動きの大きさを示している。また、
図5において、「Instructor」は、第1プレーヤ(第1協調動作データ)の身体各部位の動きの大きさを示しており、「Participant」は、第2プレーヤ(第2協調動作データ)の身体各部位の動きの大きさを示している。
【0090】
図5のグラフ25により、第1プレーヤによる動きの大きさと、第2プレーヤP2による動きの大きさとを、身体各部位20ごとに比較することが可能となる。なお、
図5では、第1モードのグラフ25が示されている。第1比較結果は、
図2に示した比較結果入力部18dに記憶される。
【0091】
[第1比較結果を表示]
次に、本実施形態の評価方法では、
図1及び
図2に示した表示装置12に、第1比較結果が出力される(工程S4)。本実施形態の工程S4では、先ず、
図2に示した比較結果入力部18dに入力されている第1比較結果が、作業用メモリ17に読み込まれる。さらに、プログラム部19に含まれる出力部19dが、作業用メモリ17に読み込まれる。出力部19dは、第1比較結果を表示装置12に出力するためのプログラムである。この出力部19dが、演算部15によって実行されることで、コンピュータ5を、第1比較結果を出力する手段として機能させることができる。
【0092】
図6は、表示装置12に表示された第1比較結果31の一例を示す図である。本実施形態の工程S4では、第1比較結果31として、第1協調動作データの空間基底と、第2協調動作データの空間基底との類似度26が、表示装置12に表示される。本実施形態では、類似度26として、コサイン類似度が表示されているが、相関係数であってもよいし、その他の類似度が表示されてもよい。また、本実施形態の類似度26には、第1モードのコサイン類似度が示されているが、特に限定されるわけではなく、複数のモードごとにコサイン類似度が表示されてもよい。
【0093】
このように、本実施形態の動作評価方法(動作評価装置2)では、第2プレーヤP2(
図1に示す)の第2動作の特徴的な挙動を示す第2協調動作データが抽出され、その第2協調動作データと、第1プレーヤの第1協調動作データとが比較される。そして、第1動作と第2動作とを比較した第1比較結果31が表示装置12に出力される。これにより、第2動作を評価する者(本例では、インストラクターである第1プレーヤ)の感覚に依存することなく、第2プレーヤ(本例では、受講者)P2の第2動作が定量的に評価されうる。これにより、第2プレーヤP2の第2動作の改善点が容易に把握され、例えば、第2プレーヤP2への第2動作の適切な指導が可能となり、第2動作がさらに上達(エクササイズ動作が定着)されうる。
【0094】
本実施形態の工程S4では、表示装置12に、第1比較結果31として取得されたグラフ25(
図5に示す)が表示されてもよい。グラフ25の詳細は、上述のとおりである。このようなグラフ25により、第1プレーヤ及び第2プレーヤP2の身体各部位ごとに、第1動作の動きの大きさと、第2動作の動きの大きさとを比較することでき、重点的に改善すべき身体各部位の動きの把握が可能となる。
【0095】
本実施形態では、例えば、プルダウンメニュー27等により、複数のモード(第1モード~第69モード)ごとに、グラフ25の切り替えが可能とされるのが好ましい。これにより、複数のモードごとに、身体各部位の動きの大きさを比較することが可能となる。
【0096】
本実施形態の工程S4では、表示装置12に、第1プレーヤの人体モデルM1と、第2プレーヤP2の人体モデルM2とが表示されてもよい。このような人体モデルM1、M2により、第1動作と第2動作とを視覚的に比較することが可能となる。
【0097】
本実施形態の人体モデルM1、M2は、第1時刻から第N時刻までのうち、4つの時刻での第1動作及び第2動作が表現されているが、このような態様に限定されない。例えば、1つの時刻の第1動作及び第2動作が表現されてもよいし、5つ以上の時刻の第1動作及び第2動作が表現されてもよい。
【0098】
本実施形態では、人体モデルM1、M2について、
図4(a)、(b)に示されるように、複数の身体各部位20から選択された一つの部位20(本例では、左足先20a)の座標値が、基準位置21に一致されている。これにより、
図6に示されるように、第1プレーヤと第2プレーヤP2との体格差や、第1動作及び第2動作が計測された位置にズレがあったとしても、第1動作と第2動作との比較が容易となる。本実施形態では、例えば、プルダウンメニュー28等により、複数のモード(第1モード~第69モード)ごとに、人体モデルM1、M2の切り替えが可能とされるのが好ましい。これにより、複数のモードごとに、第1動作と第2動作とを視覚的に比較することが可能となる。
【0099】
本実施形態の工程S4では、表示装置12に、アドバイスデータ29が表示されてもよい。このようなアドバイスデータ29により、第2動作の改善点が具体的に把握され、第2プレーヤP1(
図1に示す)による適切な学習が可能となる。
【0100】
アドバイスデータ29の作成には、先ず、
図5に示したグラフ25において、第1協調動作データの空間基底の大きさと、第2協調動作データの空間基底の大きさと差が大きいマーカー(身体各部位)が特定される。そして、この特定された部位が、例えば、下半身に集中している場合には、下半身の動きを大きくする(又は小さくする)ことを示すアドバイスデータ29が作成される。これにより、第2動作の改善点がより具体的に把握されうる。なお、アドバイスデータ29の作成は、このような態様に限定されない。
【0101】
本実施形態の工程S4では、表示装置12に、第1動作の動画データ(図示省略)がさらに出力されてもよい。これにより、第2プレーヤP2は、重点的に改善すべき第1動作を学習することができ、第2動作の改善が可能となる。この動画データは、複数のモード(本例では、第1モード~第69モード)のうち、類似度が相対的に小さいモードの動画データであるのが好ましい。これにより、第2プレーヤP2は、重点的に改善すべきモードの第1動作を学習することが可能となる。本実施形態の表示装置12には、動画データへのリンク30が表示されている。これにより、動画データへのアクセスが容易となる。
【0102】
本実施形態の工程S4では、例えば、
図5に示したグラフ25において、第1協調動作データの空間基底の大きさと、第2協調動作データの空間基底の大きさと差が大きい身体各部位の動きを部分的に抽出した動画データ(図示省略)が表示されてもよい。これにより、第2プレーヤP2は、第2動作の改善に必要な第1動作を重点的に確認でき、その動作を集中的に実践(練習)することが可能となる。
【0103】
[動作評価方法(第2実施形態)]
これまでの実施形態では、第1協調動作データと第2協調動作データとを比較した第1比較結果31が出力されることで、動作評価方法の一連の処理が終了したが、このような態様に限定されない。例えば、第1協調動作データと、第1比較結果31を見て学習した第2プレーヤP2(
図1に示す)の動作の特徴的な挙動を示す第3協調動作データとを比較した第2比較結果がさらに出力されてもよい。
図7は、本発明の他の実施形態の動作評価方法の処理手順を示すフローチャートである。
【0104】
[第2動作を評価]
この実施形態の動作評価方法では、第3協調動作データの出力に先立ち、第2プレーヤP2(
図1に示す)による第2動作が、良好か否かが評価される(工程S5)。第2動作は、適宜評価することができる。例えば、第1比較結果31が予め定められた基準を満たすか否かに基づいて、第2動作が評価されうる。基準は、例えば、第2プレーヤP2の熟練度等に応じて適宜設定されうる。
【0105】
この実施形態の工程S5では、先ず、
図2に示した比較結果入力部18dに入力されている第1比較結果31(
図6に示した類似度26など)が、作業用メモリ17に読み込まれる。さらに、プログラム部19に含まれる評価部19eが、作業用メモリ17に読み込まれる。評価部19eは、第2動作が良好か否かを評価するためのプログラムである。この評価部19eが、演算部15によって実行されることで、コンピュータ5を、第2動作を評価するための手段として機能させることができる。
【0106】
この実施形態の工程S5では、
図6に示した第1比較結果31として取得された類似度26(本例では、コサイン類似度)が、予め定められた閾値以上である場合に、第2動作が良好であると評価される。閾値は、第2プレーヤP2(
図2に示す)の熟練度等に応じて適宜設定されうる。
【0107】
工程S5において、類似度が閾値以上である場合(工程S5で「Yes」)、第2プレーヤP2(
図1に示す)による第2動作が、要求された熟練度に達している。このため、動作評価方法の一連の処理が終了する。一方、工程S5において、類似度が閾値未満であると判断された場合(工程S5で「No」)、第2プレーヤP2による第2動作が、要求された熟練度に達していない。この場合、次の工程S6~工程S9が実施される。
【0108】
[第3協調動作データを抽出]
次に、この実施形態の動作評価方法では、
図6に示した第1比較結果31を見て学習した第2プレーヤP2(
図1に示す)の動作の特徴的な挙動を示す第3協調動作データが抽出される(工程S6)。第3協調動作データは、これまでの実施形態の工程S1~工程S2と同様の手順に基づいて抽出される。したがって、
図2に示したプログラム部19に含まれる取得部19a及び抽出部19bが、演算部15によって実行されることで、コンピュータ5を、第3協調動作データを抽出するための手段として機能させることができる。
【0109】
第3協調動作データの抽出には、先ず、
図6に示した第1比較結果31を見て学習した第2プレーヤP2(
図1に示す)の動作である第3動作が計測された第3動作値が取得される。そして、第3動作値が特異値分解されることで、第3協調動作データが抽出される。この第3協調動作データには、空間基底(右特異ベクトルV
(n))が含まれる。第3協調動作データは、
図2に示した協調動作データ入力部18cに記憶される。
【0110】
[第2比較結果を取得]
次に、この実施形態の動作評価方法では、第1協調動作データと、第3協調動作データとを比較した第2比較結果が取得される(工程S7)。この実施形態の工程S7では、先ず、
図2に示した協調動作データ入力部18cに入力されている第1協調動作データ、及び、第3協調動作データが、作業用メモリ17に読み込まれる。さらに、プログラム部19に含まれる比較部19cが、作業用メモリ17に読み込まれる。比較部19cは、第1協調動作データと、第3協調動作データとを比較した第2比較結果を取得するためのプログラムである。この比較部19cが、演算部15によって実行されることで、コンピュータ5を、第2比較結果を取得する手段として機能させることができる。
【0111】
この実施形態の第2比較結果には、第1協調動作データの空間基底と、第3協調動作データの空間基底との類似度(本例では、コサイン類似度)が含まれる。さらに。第2比較結果には、例えば、マーカー(身体各部位20)ごとに、第1協調動作データの空間基底の大きさと、第3協調動作データの空間基底の大きさとを比較したグラフが含まれてもよい。
図8は、第1協調動作データの空間基底の大きさと、第3協調動作データの空間基底の大きさとを比較したグラフ34である。
【0112】
図8において、横軸は、
図5のグラフ25と同様に、身体各部位(マーカー)20を示している。縦軸は、空間ベクトルノルムを示しており、身体各部位(マーカー)20の動きの大きさを示している。また、
図8において、「Instructor」は、第1プレーヤ(第1協調動作データ)の身体各部位の動きの大きさを示している。「Before」は、学習前の第2プレーヤ(第2協調動作データ)の身体各部位の動きの大きさを示している。「After」は、学習後の第2プレーヤ(第3協調動作データ)の身体各部位の動きの大きさを示している。
【0113】
図8のグラフ34により、第1プレーヤによる第1動作の動きの大きさと、学習後の第2プレーヤP2による動きの大きさとを、身体各部位20ごとに比較することが可能となる。さらに、グラフ34には、学習前の第2プレーヤP2の第2動作の動きの大きさが示されているため、学習前後の第2プレーヤP2の動きの変化を、身体各部位20ごとに比較することが可能となる。第2比較結果は、
図2に示した比較結果入力部18dに記憶される。
【0114】
[第2比較結果を表示]
次に、この実施形態の動作評価方法では、
図1に示した表示装置12に、第2比較結果が出力される(工程S8)。この実施形態の工程S8では、先ず、
図2に示した比較結果入力部18dに入力されている第2比較結果が、作業用メモリ17に読み込まれる。さらに、プログラム部19に含まれる出力部19dが、作業用メモリ17に読み込まれる。出力部19dは、第2比較結果を表示装置12に出力するためのプログラムである。この出力部19dが、演算部15によって実行されることで、コンピュータ5を、第2比較結果を出力する手段として機能させることができる。
【0115】
図9は、表示装置12に表示された第2比較結果32の一例を示す図である。この実施形態の工程S8では、第2比較結果32として、第1協調動作データの空間基底と、第3協調動作データの空間基底との類似度33が、表示装置12に表示される。この実施形態では、類似度33として、コサイン類似度が表示されているが、相関係数であってもよいし、その他の類似度が表示されてもよい。
【0116】
このように、この実施形態の動作評価方法(動作評価装置2)では、表示装置12に第2比較結果32が表示されることで、
図6に示した第1比較結果31を見て学習した第2プレーヤP2の第3動作を定量的に評価することが可能となる。これにより、第3動作の改善効果等が容易に把握されるため、例えば、第2プレーヤP2への第3動作の適切な指導や、第3動作のさらなる上達が可能となる。
【0117】
第1協調動作データの空間基底と、第2協調動作データの空間基底との類似度26が併せて表示されてもよい。これにより、学習前(Before)の類似度26と学習後(After)の類似度33とを比較することができ、第3動作の改善効果が正確に把握されうる。
【0118】
この実施形態の工程S8では、表示装置12に、第2比較結果32として取得されたグラフ34が表示されてもよい。グラフ34の詳細は、上述のとおりである。このようなグラフ34により、第1プレーヤ及び第2プレーヤP2の身体各部位ごとに、第1動作~第3動作の動きの大きさを比較することができ、第3動作の改善効果が正確に把握されうる。
【0119】
この実施形態では、例えば、プルダウンメニュー35等により、複数のモード(第1モード~第69モード)ごとに、グラフ34が切り替え可能とされるのが好ましい。これにより、複数のモードごとに、各身体各部位の動きの大きさの比較が可能となり、改善効果の把握が可能となる。
【0120】
この実施形態の工程S8では、表示装置12に、第1プレーヤの人体モデルM1と、第2プレーヤの人体モデルM2とが表示されてもよい。このような人体モデルM1、M2により、第1動作と第3動作とを視覚的に比較して、改善効果の把握が可能となる。人体モデルM1、M2は、プルダウンメニュー36等により、複数のモード(第1モード~第69モード)ごとに切り替えが可能とされるのが好ましい。
【0121】
この実施形態の工程S4では、表示装置12に、アドバイスデータ29が表示されてもよい。アドバイスデータ29の詳細は、上述のとおりである。この実施形態のように、全てのモードにおいて、類似度33が良好である場合には、改善点の指摘が省略されてもよいし、良好であることを伝えるメッセージが表示されてもよい。
【0122】
[第3動作を評価]
次に、この実施形態の動作評価方法では、第2プレーヤP2(
図1に示す)による第3動作が、良好か否かが評価される(工程S9)。第3動作の評価は、これまでの実施形態の工程S5と同様の手順に基づいて、第3動作の良否が評価される。そして、第3動作が良好でないと判断された場合(工程S9で「No」)、工程S6~工程S9が再度実施される。
【0123】
このように、この実施形態の動作評価方法(動作評価装置2)では、第2プレーヤP2(
図1に示す)による動作が、要求された熟練度に達するまで、反復学習(実践)が実施される。これにより、動作評価方法は、第2プレーヤP2にエクササイズ動作を確実に上達(定着)させることが可能となる。
【0124】
以上、本発明の特に好ましい実施形態について詳述したが、本発明は図示の実施形態に限定されることなく、種々の態様に変形して実施しうる。
【0125】
[付記]
本発明は以下の態様を含む。
【0126】
[本発明1]
第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するための装置であって、
前記第2動作を計測した第2動作値を取得する取得部と、
前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する抽出部と、
前記第1動作の特徴的な挙動を示す第1協調動作データを記憶する第1協調動作データ記憶部と、
前記第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する比較部と、
前記第1比較結果を表示装置に出力する出力部とを含む、
動作評価装置。
[本発明2]
前記第1動作は、前記第2動作の模範動作である、本発明1に記載の動作評価装置。
[本発明3]
前記第1動作を計測した第1動作値は、前記第1プレーヤの身体各部位の位置データを含み、
前記第2動作値は、前記第2プレーヤの身体各部位の位置データを含む、本発明1又は2に記載の動作評価装置。
[本発明4]
前記第1協調動作データは、前記第1動作を計測した第1動作値を、特異値分解することで得られる空間基底を含み、
前記第2協調動作データは、前記第2動作値を特異値分解することで得られる空間基底を含む、本発明1ないし3のいずれかに記載の動作評価装置。
[本発明5]
前記比較部は、前記第1比較結果として、前記第1協調動作データの空間基底と、前記第2協調動作データの空間基底との類似度を取得する、本発明4に記載の動作評価装置。
[本発明6]
前記類似度は、コサイン類似度又は相関係数を含む、本発明5に記載の動作評価装置。
[本発明7]
前記類似度は、前記第1協調動作データ及び前記第2協調動作データに含まれる複数のモード毎に取得される、本発明5又は6に記載の動作評価装置。
[本発明8]
前記比較部は、前記複数のモードのうち、前記類似度が相対的に小さいモードを選択し、
前記出力部は、選択されたモードの前記第1動作の動画データをさらに出力する、本発明7に記載の動作評価装置。
[本発明9]
前記比較部は、前記第1協調動作データと、前記第1比較結果を見て学習した前記第2プレーヤの動作の特徴的な挙動を示す第3協調動作データとを比較した第2比較結果をさらに取得し、
前記出力部は、前記第2比較結果をさらに出力する、本発明1ないし8のいずれかに記載の動作評価装置。
[本発明10]
前記第1動作及び前記第2動作は、エクササイズ動作を含む、本発明1ないし9のいずれかに記載の動作評価装置。
[本発明11]
第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するための方法であって、
コンピュータが、前記第2動作を計測した第2動作値を取得する工程と、
前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する工程と、
前記第1動作の特徴的な挙動を示す第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する工程と、
前記第1比較結果を表示装置に出力する工程とを実行する、
動作評価方法。
[本発明12]
第1プレーヤの動作である第1動作に基づいて、第2プレーヤの動作である第2動作を評価するためのコンピュータプログラムであって、
コンピュータを、
前記第2動作を計測した第2動作値を取得する手段と、
前記第2動作値を特異値分解することにより、前記第2動作の特徴的な挙動を示す第2協調動作データを抽出する手段と、
前記第1動作の特徴的な挙動を示す第1協調動作データと、前記第2協調動作データとを比較した第1比較結果を取得する手段と、
前記第1比較結果を表示装置に出力する手段として機能させる、
コンピュータプログラム。
【符号の説明】
【0127】
12 表示装置
31 第1比較結果