特許 7007330 トレーニング評価装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-11

(45)【発行日】2022-01-24

(54)【発明の名称】トレーニング評価装置、方法およびプログラム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20220117BHJP

   A63B 71/06 20060101ALI20220117BHJP

   G06T 7/20 20170101ALI20220117BHJP

【ＦＩ】

A63B69/00 C

A63B69/00 A

A63B71/06 G

G06T7/20 300Z

【請求項の数】 7

(21)【出願番号】P 2019103433

(22)【出願日】2019-06-03

(65)【公開番号】P2020195573

(43)【公開日】2020-12-10

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】田坂 和之

(72)【発明者】

【氏名】村上 裕介

(72)【発明者】

【氏名】徐 建鋒

【審査官】槙 俊秋

(56)【参考文献】

【文献】国際公開第２０１６／０５６４４９（ＷＯ，Ａ１）

【文献】特開２０１５－２７４３７（ＪＰ，Ａ）

【文献】特開２００９－２１３７８２（ＪＰ，Ａ）

【文献】特開２０１９－２４５５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ７１／０６

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

ユーザ端末から受信したトレーニング要求およびトレーニング映像に基づいてトレーニングを評価するトレーニング評価装置において、
トレーニングのお手本映像を記憶する手段と、
トレーニング要求に対応したお手本映像を選択する手段と、
トレーニング映像から人物の骨格情報を抽出する手段と、
トレーニングの有効性を前記骨格情報に基づいて評価する手段と、
選択されたお手本映像および有効と評価されたトレーニングの回数をトレーニング映像と共にユーザ端末のディスプレイに表示させる手段とを具備し、
前記評価する手段は、
骨格情報から計算されるユーザの姿勢変化が、その変化の前後において所定の姿勢条件をそれぞれ充足しているか否かを評価する姿勢評価部と、
ユーザの姿勢変化とお手本映像の姿勢変化との同期性を、各姿勢が所定の姿勢条件を充足した時刻の差分に基づいて評価する同期性評価部とを含み、
前記姿勢変化および同期性の評価結果に基づいてトレーニングの有効性を評価することを特徴とするトレーニング評価装置。

【請求項2】

前記姿勢条件が、ユーザの所定部位の角度が所定の角度条件を充足していることを含むことを特徴とする請求項１に記載のトレーニング評価装置。

【請求項3】

前記姿勢条件が、ユーザの所定部位と地面との角度が所定の角度条件を充足していることを含むことを特徴とする請求項１または２に記載のトレーニング評価装置。

【請求項4】

前記骨格情報をトレーニング映像に重畳表示させる手段を更に具備したことを特徴とする請求項１ないし３のいずれかに記載のトレーニング評価装置。

【請求項5】

前記お手本映像がアニメーションであることを特徴とする請求項１ないし４のいずれかに記載のトレーニング評価装置。

【請求項6】

コンピュータが、ユーザ端末から受信したトレーニング要求およびトレーニング映像に基づいてトレーニングを評価するトレーニング評価方法において、
お手本映像のデータベースからトレーニング要求に対応したお手本映像を選択する手順と、
トレーニング映像から人物の骨格情報を抽出する手順と、
トレーニングの有効性を前記骨格情報に基づいて評価する手順と、
選択されたお手本映像および有効と評価されたトレーニングの回数をトレーニング映像と共にユーザ端末のディスプレイに表示させる手順とを含み、
前記評価する手順は、
骨格情報から計算されるユーザの姿勢変化が、その変化の前後において所定の姿勢条件をそれぞれ充足しているか否かを評価する手順と、
ユーザの姿勢変化とお手本映像の姿勢変化との同期性を、各姿勢が所定の姿勢条件を充足した時刻の差分に基づいて評価する手順とを含み、
前記姿勢変化および同期性の評価結果に基づいてトレーニングの有効性を評価することを特徴とするトレーニング評価方法。

【請求項7】

ユーザ端末から受信したトレーニング要求およびトレーニング映像に基づいてトレーニングを評価するトレーニング評価プログラムにおいて、
お手本映像のデータベースからトレーニング要求に対応したお手本映像を選択する手順と、
トレーニング映像から人物の骨格情報を抽出する手順と、
トレーニングの有効性を前記骨格情報に基づいて評価する手順と、
選択されたお手本映像および有効と評価されたトレーニングの回数をトレーニング映像と共にユーザ端末のディスプレイに表示させる手順と、
をコンピュータに実行させ、
前記評価する手順は、
骨格情報から計算されるユーザの姿勢変化が、その変化の前後において所定の姿勢条件をそれぞれ充足しているか否かを評価する手順と、
ユーザの姿勢変化とお手本映像の姿勢変化との同期性を、各姿勢が所定の姿勢条件を充足した時刻の差分に基づいて評価する手順とを含み、
前記姿勢変化および同期性の評価結果に基づいてトレーニングの有効性を評価することを特徴とするトレーニング評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、トレーニング評価装置、方法およびプログラムに係り、特に、ユーザが所望するトレーニングのお手本映像とユーザの実際のトレーニング映像とをディスプレイ上で見比べることができ、客観的、定量的な評価結果をリアルタイムでユーザへ提供できるトレーニング評価装置、方法およびプログラムを提供することにある。

【背景技術】

【0002】

健康の維持あるいは促進を目的として、自宅やトレーニングジムなどの施設でトレーニングを実施することがある。安全かつ有効なトレーニングには専門家の指導が不可欠となるが、自宅でのトレーニングでは専門家の指導を受けることが難しく、自己流のトレーニングになることになる。

【0003】

トレーニングジムにはトレーニング機器が揃い、専門の指導員が常駐する。しかしながら、トレーニングジムまで出向かなければならないので手軽さに欠ける。また、マンツーマンで指導を受けるためには相応のコスト負担を強いられ、時間的な拘束も増すことになる。

【0004】

このような技術課題に対して、特許文献１には、カメラ画像から各部位の動きを認識し、お手本の映像と追随できていない部位を表示する技術が開示されている。

【0005】

特許文献２には、所定動作の複数のタイミングの動作状態を示した手本静止画像を表示し、プレーヤが所定動作を実演しているところを撮影した撮影動画像から抜き出した複数の撮影静止画像を表示し、操作者により撮影静止画像から、手本静止画像に対応する対応静止画像として選択された画像を、手本静止画像と並べて表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2009-213782号公報

【文献】特許第6180011号公報

【非特許文献】

【0007】

【文献】Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

【発明の概要】

【発明が解決しようとする課題】

【0008】

ユーザがお手本を参照しながら個人的にトレーニングを行う方式では、トレーニングが効果的に行われているか否かをユーザが自ら判断することは難しい。そのため。トレーニング効果の低い姿勢や速度でのトレーニングを繰り返してしまい、トレーニング時間に見合ったトレーニング効果を得られないという問題があった。

【0009】

そのため、ユーザのトレーニングをその姿勢変化やお手本との同期性に基づいて客観的に評価し、評価結果をリアルタイムでユーザに提供して姿勢補正や速度補正等の改善を促すことのできるトレーニング評価装置、方法およびプログラムの出現が望まれている。

【0010】

本発明の目的は、上記の技術課題を解決し、ユーザが所望するトレーニングのお手本映像とユーザの実際のトレーニング映像とをディスプレイ上で見比べることができ、客観的、定量的な評価結果をリアルタイムでユーザへ提供できるトレーニング評価装置、方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記の目的を達成するために、本発明は、ユーザ端末から受信したトレーニング要求およびトレーニング映像に基づいてトレーニングを評価するトレーニング評価装置において、以下の構成を具備した点に特徴がある。

【0012】

(1) トレーニングのお手本映像を記憶する手段と、トレーニング要求に対応したお手本映像を選択する手段と、トレーニング映像から人物の骨格情報を抽出する手段と、トレーニングの有効性を前記骨格情報に基づいて評価する手段と、選択されたお手本映像および有効と評価されたトレーニングの回数をトレーニング映像と共にユーザ端末のディスプレイに表示させる手段とを具備し、評価する手段は、骨格情報から計算されるユーザの姿勢変化が、その変化の前後において所定の姿勢条件をそれぞれ充足しているか否かに基づいてトレーニングの有効性を評価する姿勢評価部を含むことを特徴とする。

【0013】

(2) トレーニングの有効性を評価する手段は、ユーザの姿勢変化とお手本映像の姿勢変化との同期性を評価する同期性評価部を含むことを特徴とする。

【0014】

(3) 姿勢条件が、ユーザの所定部位の角度が所定の角度条件を充足していることを含むことを特徴とする。

【0015】

(4) 姿勢条件が、ユーザの所定部位と地面との角度が所定の角度条件を充足していることを含むことを特徴とする。

【発明の効果】

【0016】

本発明によれば、以下のような効果が達成される。

【0017】

(1) ユーザ端末のディスプレイに、お手本映像I2および骨格情報に基づき精度よく有効と評価されたトレーニング回数I3がユーザのトレーニング映像I1と共に表示されるので、ユーザはお手本映像I2と自身のトレーニング映像I1とを見比べることができる。そのため、適正な姿勢や速度を簡単に把握できるようになる。加えて、トレーニングが有効と評価されなければトレーニング回数表示が更新されないので、トレーニング効果の高い姿勢や速度を試行錯誤的に把握、学習できるようになる。

【0018】

(2) トレーニングの有効性を評価する手段が、ユーザの姿勢変化とお手本映像の姿勢変化との同期性を評価する同期性評価部を含むので、トレーニング効果の高い速度、ピッチを把握、学習できるようになる。

【0019】

(3) 姿勢条件が、ユーザの所定部位の角度が所定の角度条件を充足していることを含むので、トレーニング効果の高い相対姿勢を把握、学習できるようになる。

【0020】

(4) 姿勢条件が、ユーザの所定部位と地面との角度が所定の角度条件を充足していることを含むので、トレーニング効果の高い絶対姿勢を把握、学習できるようになる。

【図面の簡単な説明】

【0021】

【図1】本発明のトレーニング評価装置が適用されるネットワークの構成を示した図である。

【図2】トレーニング評価装置の主要部の構成を示したブロック図である。

【図3】お手本映像および有効と評価されたトレーニング回数がトレーニング映像と共に表示される例を示した図である。

【図4】トレーニングを無効と評価する根拠となった部位の指導例を示した図である。

【図5】トレーニング評価部の評価方法を説明するための図（その１）である。

【図6】トレーニング評価部の評価方法を説明するための図（その２）である。

【図7】本発明の一実施形態に係るトレーニング評価方法を示したシーケンスフローである。

【発明を実施するための形態】

【0022】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用されるネットワークの構成を示した図であり、トレーニングするユーザを撮影してトレーニング映像をアップロードするユーザ端末１、およびアップロードされたトレーニング映像を分析してユーザのトレーニングを評価するトレーニング評価装置２を主要な構成としている。

【0023】

ユーザ端末１は、動画撮影機能、無線通信機能およびディスプレイを備え、例えばスマートフォンやタブレット端末で代替できる。トレーニング評価装置２には、トレーニング種別ごとにお手本動作のアニメーションがお手本映像として登録されており、ユーザ端末１が撮影したトレーニング映像を、Wi-Fi、基地局BSおよびネットワークNW経由で取得し、お手本映像と比較することでトレーニングを評価する。トレーニング結果はユーザ端末１へ提供される。

【0024】

図２は、前記トレーニング評価装置２の主要部の構成を示したブロック図である。トレーニング映像取得部１０１は、ユーザのトレーニング風景を撮影したトレーニング映像をユーザ端末１から取得する。人物領域推定部１０２は、トレーニング映像の各フレーム画像から人物領域を推定する。人物領域の推定には、例えばSSD (Single Shot Multibox Detector) を用いることができる。

【0025】

骨格情報抽出部１０３は、トレーニング映像の各フレーム画像から骨格点を抽出し、その位置や他の骨格点との連結状態を骨格情報として登録する。骨格情報の抽出には、既存の骨格抽出技術 (Cascaded Pyramid Network) を用いることができる。

【0026】

なお、骨格の抽出手法は、上記のように予め抽出した人物領域を対象とする方法に限定されない。例えば、非特許文献１に開示されるように、フレーム画像から抽出した特徴マップに対して、身体パーツの位置をエンコードするConfidence Mapおよび身体パーツ間の連結性をエンコードするPart Affinity Fields（PAFs）を用いた二つの逐次予測プロセスを順次に適用し、フレーム画像から抽出した人物オブジェクト（ユーザ）の身体パーツの位置および連結性をボトムアップ的アプローチにより一回の推論で推定することでスケルトンモデルを構築してもよい。

【0027】

このとき、異なる部分領域から抽出した身体パーツの連結性を推定対象外とする処理を実装することで、身体パーツの位置および連結性を部分領域ごとに、すなわちユーザごとにオブジェクトのスケルトンモデルを推定できるようになる。

【0028】

お手本データベース（DB）１０６は、トレーニング種別ごとにお手本となるトレーニング映像I2を記憶するお手本映像記憶部１０６ａおよびトレーニング評価条件を記憶する評価条件記憶部１０６ｂを含む。

【0029】

リクエスト受付部１０５は、ユーザ端末１からトレーニング種別の指定を含むトレーニング要求を取得すると、指定されたトレーニング種別に対応するお手本映像I2およびトレーニング評価条件をお手本DB１０６から読み出す。お手本映像I2は表示制御部１０７へ提供され、トレーニング評価条件はトレーニング評価部１０４へ提供される。

【0030】

トレーニング評価部１０４は、姿勢評価部１０４ａおよび同期性評価部１０４ｂを含み、後に図５，６を参照して詳述するように、骨格情報抽出部１０３が抽出した骨格情報の動きを分析し、リクエスト受付部１０５から提供されるトレーニング評価条件を充足するか否かに基づいて、トレーニング映像中のトレーニングを評価する。

【0031】

表示制御部１０７は、図３に示したように、お手本映像I2および後述するトレーニング回数I3を、ユーザのトレーニング映像I1と共にユーザ端末２のディスプレイに表示させる。前記表示制御部１０７において、お手本映像配信部１０７ａは、お手本DB１０６から取得したお手本映像I2をユーザ端末２に配信し、そのディスプレイに表示させる。骨格情報配信部１０７ｂは、前記骨格情報抽出部１０３がトレーニング映像から抽出した骨格情報をユーザ端末２に配信し、ユーザのトレーニング映像I1に重畳表示させる。

【0032】

トレーニング回数配信部１０７ｃは、トレーニング評価条件を充足したトレーニング回数の画像I3をユーザ端末２に配信し、そのディスプレイに表示させる。メッセージ配信部１０７ｄは、図４に一例を示したように、トレーニング評価条件を充足できていない部位（図では、右膝）をユーザに通知するメッセージとして、例えば当該部位を特定するマーカ（ここでは、丸印）を配信し、ユーザのトレーニング映像I1に重畳表示させる。

【0033】

図５，６は、前記トレーニング評価部１０４によるトレーニングの評価方法を説明するための図であり、姿勢評価部１０４ａは、骨格情報から計算されるユーザの姿勢変化が、その変化の前後において所定の姿勢条件をそれぞれ充足しているか否かに基づいてトレーニングの有効性を評価する。同期生評価部１０４ｂは、ユーザの姿勢変化とお手本映像の姿勢変化との同期性に基づいてトレーニングの有効性を評価する。

【0034】

本実施形態では、トレーニング種別ごとに姿勢変化の前後における姿勢条件が予め設定されている。トレーニング種別が膝の屈伸を繰り返すスクワットであれば、膝を曲げた時の姿勢が変化前姿勢条件F1を満たし、かつ膝を伸ばした時の姿勢が変化後姿勢条件F2を満たしていれば、有効なスクワットトレーニングと評価される。

【0035】

スクワットでは、変化前姿勢条件F1および変化後姿勢条件F2が膝角度θkneeを基準に設定される。膝角度θkneeは、足の付け根P1および膝P2で定義される大腿部B1と、膝P2および足首P3で定義される下腿部B2とがなす角度として定義される。

【0036】

変化前姿勢条件F1は、図５に示したように、膝角度θkneeの最小値が基準角度範囲内であって、かつその際の下腿部B2と地面との角度θlegが下限値を下回っていないことである。変化後姿勢条件F2は、前記変化前姿勢条件F1が充足された後、図６に示したように、膝角度θkneeの最大値が基準角度以下となっていることである。姿勢評価部１０４ａは、変化前姿勢条件F1および変化後姿勢条件F2のいずれもが充足されると、姿勢変化に関して正しいスクワットトレーニングが行われていると具体的かつ精度よく評価する。

【0037】

同期性評価部１０４ｂは、ユーザの姿勢が変化前姿勢条件F1を充足した時刻とお手本映像が変化前姿勢条件F1を充足する時刻との差分、およびユーザの姿勢が変化後姿勢条件F2を充足した時刻とお手本映像が変化後姿勢条件F2を充足する時刻との差分を求める。その結果、各差分が基準値以下であれば、ユーザの姿勢変化とお手本映像の姿勢変化とが十分に同期しており、同期性に関して正しいスクワットトレーニングが行われていると具体的かつ精度よく評価する。

【0038】

トレーニング評価部１０４は、姿勢評価部１０４ａおよび同期生評価部１０４ｂのいずれもが、あるいは少なくとも一方が、正しいスクワットトレーニングが行われていると評価すると、トレーニングを有効と評価する。これに対して姿勢評価部１０４ａおよび同期生評価部１０４ｂのいずれもが、あるいは少なくとも一方が、正しいスクワットトレーニングが行われていないと評価すると、トレーニングを有効ではないと評価する。

【0039】

トレーニングが有効ではない評価されると試行回数がカウントアップされない。前記メッセージ配信部１０７ｄは、前記図４に一例を示したように、トレーニングが有効ではないと評価される根拠となったトレーニング映像I1上の部位に、丸印等の目印を重畳表示させることでユーザに注意を促す。

【0040】

図７は、本発明の一実施形態に係るトレーニング評価方法の手順を示したシーケンスフローであり、時刻t1では、ユーザ端末１からトレーニング評価装置２へトレーニング種別の指定を含むトレーニング要求が送信される。

【0041】

トレーニング評価装置２は、前記トレーニング要求を受信すると、時刻t2において、指定されたトレーニング種別に対応するお手本映像I2をお手本DB１０６から読み出し、時刻t3においてユーザ端末２へ配信する。時刻t4では、指定されたトレーニング種別に対応したトレーニング評価条件をお手本DB１０６から読み出してトレーニング評価部１０４へ提供する。

【0042】

ユーザ端末１は、前記お手本映像を受信すると、時刻t5において、お手本映像I2をディスプレイに表示して再生を開始する。時刻t6では、お手本映像I2を真似てトレーニングするユーザの撮影が開始される。時刻t7では、撮影されたトレーニング映像I1がトレーニング評価装置２へアップロードされる。

【0043】

トレーニング評価装置２は、前記トレーニング映像I1を受信すると、時刻t8において人物領域推定部１０２が人物領域を推定する。時刻t9では、骨格情報抽出部１０３が人物領域から骨格情報を抽出し、時刻t10においてユーザ端末１へ配信する。ユーザ端末１は、前記骨格情報を受信すると、時刻t12においてトレーニング映像I1へ重畳表示する。

【0044】

トレーニング評価装置２では、時刻t11において、トレーニング評価部１０４がトレーニング映像I1から抽出した骨格情報を分析し、お手本DB１０６から読み出したトレーニング評価条件と比較することで、その姿勢変化や同期性に基づいてトレーニングを評価する。

【0045】

トレーニングが有効と評価されると、時刻t13においてトレーニング回数を更新する情報I3がユーザ端末１へ配信される。これに対して、トレーニングが有効ではないと評価されると、時刻t14においてエラー箇所を特定する目印がユーザ端末１へ配信される。ユーザ端末１は、時刻t15で表示内容を更新する。

【0046】

本実施形態によれば、ユーザ端末１のディスプレイに、お手本映像I2および有効と評価されたトレーニング回数I3がユーザのトレーニング映像I1と共に表示されるので、ユーザはお手本映像I2と自身のトレーニング映像I1とを見比べることができる。そのため、適正な姿勢や速度を簡単に把握できるようになる。

【0047】

加えて、トレーニングが有効と評価されなければトレーニング回数表示I3が更新されないので、トレーニング効果の高い姿勢や速度を試行錯誤的に把握、学習できるようになる。

【0048】

さらに、トレーニング評価部１０４が、姿勢評価部１０４ａに加えて、ユーザの姿勢変化とお手本映像の姿勢変化との同期性を評価する同期性評価部１０４ｂを含むので、トレーニング効果の高い速度、ピッチを把握、学習できるようになる。

【符号の説明】

【0049】

１...ユーザ端末，２...トレーニング評価装置，１０１...トレーニング映像取得部，１０２...人物領域推定部，１０３...骨格情報抽出部，１０４...トレーニング評価部，１０４ａ...姿勢評価部，１０４ｂ...同期生評価部，１０５...リクエスト受付部，１０６...お手本DB，１０６ａ...お手本映像記憶部，１０６ｂ...評価条件記憶部，１０７...表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】