特開 2022-74582 運動評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022074582

(43)【公開日】2022-05-18

(54)【発明の名称】運動評価システム

(51)【国際特許分類】

   A63B 71/06 20060101AFI20220511BHJP

   A63B 69/00 20060101ALI20220511BHJP

   A61B 5/11 20060101ALI20220511BHJP

   A61B 5/117 20160101ALI20220511BHJP

【ＦＩ】

A63B71/06 G

A63B71/06 T

A63B69/00 A

A61B5/11 230

A61B5/117 100

A61B5/117 200

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020184730

(22)【出願日】2020-11-04

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】318006033

【氏名又は名称】山下 克宏

(72)【発明者】

【氏名】山下克宏

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038VA04

4C038VA07

4C038VB01

(57)【要約】

【課題】
フィットネスジムやリハビリ施設での運動実施支援、効果検証をデータに基づいて実施するためのサポートシステムの開発
【解決手段】
画像情報を元に人体の骨格位置を推定するシステムが報告されてきている。この骨格位置を時系列で取得し、パターニングすることで特定動作の実施有無を評価するとともに、複数人の実施者が存在する場合に、誰がその動作を実施したのかを同時に判別することができるようにすることで、誰がどんな動作をどのくらい実施したかを定量的に把握できるようにするシステム。またそのデータをリアルタイムあるいは訓練後にフィードバックすること、訓練計画に反映させることなどもトータルで含むシステム
【選択図】なし

【特許請求の範囲】

【請求項1】

（A)画像データを元に動作を分類し、かつその動作の回数を判定する機構、および（B)動作実施者を判定する機構、を有することを特徴とする運動評価システム

【請求項2】

判定した動作の質を評価することを特徴とする請求項１の運動評価システム

【請求項3】

動作実施者の判定を画像情報を元に実施することを特徴とする請求項１の運動評価システム

【請求項4】

動作実施者の判定を動作実施者が身につけた無線電子機器との通信で実施することを特徴とする請求項１の運動評価システム

【請求項5】

動作実施回数や動作の質の結果を画像情報または音声情報で動作実施者にリアルタイムに伝達することを特徴とする請求項２の運動評価システム

【請求項6】

心拍数や飽和酸素濃度などのバイタルデータを取得する機能を有することを特徴とする請求項１の運動評価システム

【請求項7】

画像データを元に動作実施者が保持または着用した機器を判定する機構を有することを特徴とする請求項１の運動評価システム

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フィットネスやリハビリなどの運動動作の訓練サービスを提供する場面において、動作実施者の特定と実施した運動・動作の内容を解析し、実施者にフィードバックすること、および訓練の計画立案者に訓練遂行の状態を管理するためのシステムを提供する。

【背景技術】

【0002】

フィットネスやリハビリを実施する場面において、どの様な動作を何度実施したかを記録し、どの程度その動作を適切に実施できたかを記録することは訓練の成果を得るために非常に重要である。しかしながら、従来はその実施回数や動作の質に関しての評価は人に頼らざるを得ず、特に動作の質に関しては、定量的かつ客観的な指標で現すことも難しかった。
近年、ディープラーニング手法を使って、人物画像から骨格位置情報を取得する手法が報告され、その骨格位置情報からさらにディープラーニング手法で、動作者が何の動作を行なっているかを判別する試みが行われている。

【特許文献1】特許第4802330号

【非特許文献1】Z.Cao,T.Simon,S-E Wei,Y.Sheikh,“Realtime Multi-Person 2D Pose Estimation usingPart Affinity Fields”,https://arxiv.org/abs/1611.08050,2016.

【非特許文献2】Build an Action Classifier with Create ML(WWDC2020)https://developer.apple.com/videos/play/wwdc2020/10043

【0003】

一方、動作の種類を判別できたとしても、その動作を誰が実施しているかが分からなければ、その動作の質について評価することは難しいが、多数の動作者が評価される対象になる可能性のあるフィットネスジムやリハビリの場面では、動作の種類判別と動作者の判別を同時に実施することが極めて重要になるということは全く予想できなかった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、フィットネスやリハビリなど運動・動作の訓練をサービスとして提供する場面で、動作実施者の特定と動作種類の判別を自動で行い、動作の結果を実施者にフィードバックするシステムを提供することで、効率的な訓練をサポートすることにある。

【課題を解決するための手段】

【0005】

本発明では、画像情報から推定される骨格位置の時間変化のパターンをディープラーニングで解析することにより得られる動作判定アルゴリズムと、その動作実施者を特定する仕組みの2つを基本構成とする。

【0006】

骨格位置の推定については、一般に公開されているOpenPoseなどの手法を使うことができる。骨格位置の情報については、画像解析から得られる２次元の骨格位置情報を用いることもできるし、単眼カメラの画像から３次元情報を得る方法もあり、その情報を使うこともできる。また複数台のカメラで得られる骨格情報を元に３次元化した骨格位置情報を用いても良い。
骨格位置情報の時間間隔については、好ましくは１０ミリ秒から１秒が好ましく、さらに好ましくは２０ミリ秒から１００ミリ秒である。
動作種類を判定するための時間スケールは、動作実施に必要な時間を基準に決定する必要があるが、フィットネスやリハビリの基本訓練動作の場合は１回の動作は１秒から５秒程度が好ましい。これより長い時間の動作・運動の場合には単一動作の繰り返しか、複数の基本動作の組み合わせである場合が多く、それを前提に解析していくことができる。

【0007】

実施者を特定する方法としては、動作実施場所に置ける実施者が所持する電子機器等との通信で実施者を特定する方法が挙げられる。例えば実施者の所持するスマホ等とのBLE通信である。さらに好ましい方法としては、RFIDチップを搭載したリストバンドやネックレスなどを利用して動作実施者を特定する方法である。別の好ましい方法としては動作種類を判別するための画像を動作者特定にも用いる方法である。動作者はQRコード（登録商標）等の識別用情報を身につけることも可能であるが、さらに好ましい方法は、顔認識のディープラーニング手法で人物特定する方法である。

【0008】

動作を特定する方法としては、特定の動作を１回実施した動画を特定時間記録し、ディープラーニングに必要な数十から数百の動画を用意し、骨格推定及び動作推定をするためのディープラーニングを実施しモデルを取得する方法が好ましい。骨格推定にはオープンソースのOpenPoseなど如何なるものも使用できる。推定した骨格の時系列データをディープラーニングするモデルも如何なる方法を用いても良い。
動作の質の判定方法は、例えば判定した動作の確率値で表すことができる。また特定骨格位置の座標角度や相対関係などから好ましい動作の規定を行い、それに基づいて動作の質を判定することがより好ましい。

【0009】

動作の実施回数および動作の質等の情報は、リアルタイムに、あるいは実施終了直後に動作実施者にフィードバックすることが好ましい。実施者にフィードバックする方法としては動作実施者の視界に入る位置に画像や文字で表示することが好ましい。さらに好ましくは、音声情報で伝達することが好ましく、最も好ましくは、イヤホーンや耳元のスピーカーを用いて実施者にのみ聞こえるような仕組みの音響設備にて伝達することが最も好ましい。

【0010】

フィットネス及びリハビリを実施する際には、動作実施種類や回数、動作の質等を画像解析で得ることと並行して、心拍数、呼吸数、酸素飽和度などのバイタルデータを同時に取得することが好ましい。バイタルデータは所定の動作実施時だけでなく常時取得し、動作実施時の変化などの解析、評価に用いることが好ましい。バイタルセンサーで得られたデータは通信機能で収集できるようにしておくことが好ましい。

【0011】

フィットネスジムなどでウエイトトレーニングを行う場合には、ダンベルやバーベルなどの器具を用いることがあるが、その際には骨格の動きに加えてどんな重量のバーベルを使用しているかなどが訓練の重要な要素となる。画像解析により何を持って運動しているかを判別することが好ましい。

【産業上の利用可能性】

【0012】

本発明はフィットネスやリハビリなど、運動や動作の反復等の訓練により目的の効果、例えば体重減、筋力増強、運動速度、動作の滑らかさなどの獲得をサービスとして提供する場面に置いて、動作者の特定と動作内容の特定を同時に実施するためのシステムを提供する。
またその訓練の結果を動作実施者にリアルタイムに情報提供するためのシステムも含む。

【実施例0013】

本発明にて採用した構成は以下の通りであるが、当然この構成には限定されない。
（１）コンピュータ：NVIDIA製Jetson Nano。OSはJetPack4.4
（２）カメラ：SainSmart IMX219カメラモジュール
以下は動作内容の判別方法
（３）骨格推定方法：オープンソースのtf-pose estimationを用いて２次元骨格推定を行う。推定する骨格（特徴点）点数はデフォルトの１８点。各点画像上の２次元座標で取得。時間フレームは1/30秒。
（４）動作判別学習用骨格時系列データ取得：判別する動作１回分を２秒間（60フレーム）とし、判別する動作ごとに１００データ準備する。この実施例では、（A)腕立て伏せ、（B)スクワット、（C)ダンベル上げ下ろし、(D)腹筋（上体起こし）、の４種。
（５）ニューラルネットワークモデル：単層ニューラルネットワークモデル
（６）動作の実施回数評価：動画解析で特定の動作と判別している状態で、各動作に特徴的な骨格点の位置関係を複数個規定し、その位置関係を遷移した回数で計測。
（７）動作の質の評価：（６）の骨格位置で好ましい位置関係を規定し点数づけ
以下は動作実施者の特定方法
（８）動作実施者の顔写真を様々な角度から３０枚測定し、データ拡張の手法を用いて１００枚分に拡張し、ディープラーニングを実施。モデルは、畳み込み層４層、プーリング層２層を含む。
（９）特定動作を検出した際に、動作実施者を判定するアルゴリズムを走らせ、動作実施者を特定する。
（１０）撮影角度等の角度の関係で動作実施者の判定がうまく行かない場合、あるいは信頼性が低い場合を考えて、動作実施者の測定は別の方法も用意しておく。この実施例では、運動実施者にRFIDチップを搭載したリストバンドをつけてもらっておき、動作実施場所にてその信号を検出することで人物特定をできるようにしておいた。RFIDリストバンドなどでなくとも、登録したスマホとのBlueTooth通信（BLE)で特定場所の信号を取得し、動作実施者の判定に利用することも、別の方法として実施した。
（１１）バイタルデータ：ウエアラブルセンサーで、心拍数、体温、飽和酸素濃度、血圧を測定し、記録した。
以下は動作内容のフィードバック方法
（１１）特定動作および動作実施者を検知した際に、動作実施者のいる場所近傍のスピーカーで、動作実施者の名前、動作実施回数を合成音声で伝える。
（１２）登録された人物がその訓練時間内に実施した動作内容、回数、動作の質、実施にかかった時間などとともにバイタルデータを統合整理し、訓練全体について訓練を計画する管理者からフィードバックする。次回の訓練内容、目標なども共有する。