(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-20
(54)【発明の名称】定量化された運動のフィードバックシステム
(51)【国際特許分類】
A61B 5/11 20060101AFI20221213BHJP
【FI】
A61B5/11 200
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022519722
(86)(22)【出願日】2020-09-26
(85)【翻訳文提出日】2022-05-27
(86)【国際出願番号】 US2020052957
(87)【国際公開番号】W WO2021062330
(87)【国際公開日】2021-04-01
(32)【優先日】2019-09-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522122846
【氏名又は名称】ローゼンバーグ, エリック
【氏名又は名称原語表記】ROSENBERG, Eric
【住所又は居所原語表記】311 Branham Ln E San Jose, CA 95111 (US)
(74)【代理人】
【識別番号】100105131
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】ローゼンバーグ, エリック
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB01
4C038VC05
(57)【要約】
動画、慣性、位置などさまざまな種類の情報の検知および同期による動作フィードバックを提供するための分析システムおよび方法
体重移動に関する情報、音声および音楽に関する情報などつの情報同期情報は、動作に関連する分析情報の計算と提示とともに、動作の同時表示が可能な方法でユーザーのために再生される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
定量的動作評価を提供するための全身動作分析システム
であって、
個人の動作中に動画、音声、圧力データ及びモーションデータを記録並びにキャプチャするためのデータキャプチャシステムと、
キャプチャされた動画、モーションデータ、圧力データが、音声内の共通のタイムベースのタイムスタンプを使用して音声と同期され、そこでは同期された動画、音声、モーションデータ、圧力データが通信システムを介して転送される。
中央コンピューティングエンティティには以下を含む:
命令が格納されるメモリ。
保存された命令を実行し、次のように設定されたプロセッサ:
前記通信システムから送信されたデータをデータベース内に受信し、
前記受信したデータをモデルデータと比較して、前記受信したデータの全身動作分析を行い、
ビジュアルデータを含む、前記動作分析の結果を判定し、
前記結果をスマートデバイスに転送し、前記スマートデバイスのディスプレイ画面に前記結果を表示するように構成された、プロセッサとを備えた、中央コンピューティングエンティティとを備える、全身動作分析システム。
【請求項2】
前記プロセッサは、前記個人の動作の前記受信した圧力データ及び前記受信した動画を利用して、足重量移動を分析するようにさらに構成された、請求項1に記載の動作分析システム。
【請求項3】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を利用して、肩又は腰の臼状関節、車軸関節、及び脊柱内での動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項4】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を利用して、肩、腰、肘、膝、手首、中手指節関節、中足指節関節、指節間関節及び脊柱の矢状(前後)面での動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項5】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を使用して、肩、腰、手首、中手指節関節及び中足指節関節での動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項6】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を利用して、足関節での動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項7】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を利用して、前腕上の動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項8】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を利用して、肩領域での動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項9】
前記プロセッサは、前記個人の動作の3次元慣性計測データ、反射マーカーデータ及び前記受信した動画を利用して、後足の足根骨のうちの複数の平面関節(足根間関節)での動作での動作を分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項10】
前記プロセッサは、前記受信した動画を用いてキャプチャした前記音声と同期した、圧力データ、3次元慣性計測データ及び反射マーカーデータを利用してダンス音楽タイミングを分析するように更に構成された、請求項1に記載の動作分析システム。
【請求項11】
前記プロセッサは、前記個人の動作の前記受信した動画の上に重ねられた動作フィードバック結果の、同期され、詳細化され、カラーコード化されたグラフィック及びテキスト注釈、アニメーション並びにコメントの視覚的表示のためのデータを生成することを含む動作評価を実行するように更に構成された、請求項1に記載の動作分析システム。
【請求項12】
前記動作評価は、個人のデータログの情報に関するユーザー入力コメントを含む、請求項11に記載の動作分析システム。
【請求項13】
動作評価は、前記個人のパフォーマンスの経時的な進行の視覚的表示のためのデータを生成することを含む、請求項11に記載の動作分析システム。
【請求項14】
前記動作評価は、個人のためのフィードバック分析の各カテゴリのパフォーマンスについての数値スコアの視覚的表示を含む、請求項11に記載の動作分析システム。
【請求項15】
動作評価は、他の個人に対する個人のパフォーマンスの経時的な進行の視覚的表示を含む、請求項11に記載の動作分析システム。
【請求項16】
動作評価は、少なくとも2人の個人のフィードバック分析の各カテゴリのパフォーマンスについての数値スコアを比較する視覚的表示を含む、請求項11に記載の動作分析システム。
【請求項17】
前記プロセッサは、前記結果が表示される第2のスマートデバイスに個人の動作フィードバックを通信するように更に構成された、請求項1に記載の動作分析システム。
【請求項18】
前記動作評価は、個人の動作フィードバック結果にアクセスできるユーザーによって入力デバイスを使用して作成されたコメントを含む、請求項12に記載の動作分析システム。
【請求項19】
定量的動作評価を提供するための全身動作分析方法であって、
(a)個人の動作トレーニング中に動画、圧力データ及びモーションデータを記録並びにキャプチャするステップと、
(b)音声の共通タイムベースのタイムスタンプを使用した、キャプチャされた動画、圧力データ、モーションデータの音声との同期。
(c)収集されたデータの通信システムを介した中央コンピューティングエンティティへの転送。
(d)前記伝送されたデータを中央コンピューティングエンティティデータベース内に受信するステップと、
(e)前記伝送されたデータを使用して前記個人の全身動作分析を行うステップであって、前記動作分析は、
受信して同期された足圧データポイントとモデル足圧データポイントとの比較と、
肩又は腰の臼状関節、車軸関節、及び脊柱、
肩、腰、肘、膝、手首、中手指節関節、中足指節関節、及び指節間関節の矢状(前後)面、
足関節、前腕、肩領域、並びに
後足の足根骨のうちの複数の平面関節(足根間関節)を含む領域での動作の分析
と、
タイミング分析とを含む、全身動作分析を行うステップと、
(f)動作分析結果の決定。
(g)前記結果をスマートデバイスへ通信するステップと、
(h)前記スマートデバイスのディスプレイモニター上に前記全身結果を表示するステップとを含む、全身動作分析方法。
【請求項20】
前記動作分析の前記全身結果は、前記個人の動作の前記受信した動画の上に重ねられた動作フィードバック結果の、同期され、詳細化され、カラーコード化されたグラフィック及びテキスト注釈、アニメーション並びにコメントの視覚的表示のためのデータを生成することを含む、請求項19に記載の動作分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連申請
本特許出願は、2019年9月27日に出願された「規則に基づく動作分析のための方法およびシステム」と題された仮特許出願62/907、365の優先権を主張し、参照によりその全体が組み込まれるものである。
本発明は、一般的な動作分析システムを示しており、より具体的には、個人の運動能力および性能に関する迅速かつ正確な評価および分析を提供するための、定量的でルールに基づく動作分析システムに関するものである。
【背景技術】
【0002】
動作分析システムとデバイスは、動画分析からモーションキャプチャ、床反力計、ウェアラブルまで、何年にもわたり使用されてきた。ただし、各種の動作分析システムには欠点がある。
【0003】
動画分析は観察者の目により実施されるため、主観性が残る。スローモーション、「フレームのフリーズ」、その他の動画に加える変更は、動作を分解するのに役立つのみである。動画へのこれらの変更は、動作分析と評価の表面をなぞるに過ぎない。それらは動作の広範な分析を行っていない。上記の動画分析は、主にスポーツで使用されている。
【0004】
数多くの動画分析システムやデバイスが使用されている。例えば、米国特許第5,616,089号(Miller)、米国特許第5,363,297号(Larson)、米国特許第9,744,421号(Chan)、米国特許第10,380,409号(Thombrue)、米国特許第8,228,372号(Griffin)、米国特許第10,025,986号(Grieb)など、米国特許第8,848,058号(Ayer)などは、すべてが先行技術の実例である。
【0005】
Chan(米国特許第9,744,421号)は、スポーツする際の動きの動画画像を分析するための方法、装置、システム、およびコンピュータプログラムを開示している。Chanは、スポーツの動きを含む動画のセグメントを自動で抽出するプログラムを具体的に示している。スポーツの動作セグメントは、動画内の主要な動作位置を示す2つの動画画像フレーム間にある。
【0006】
Griffin(米国特許第8,228,372号)は、デジタル動画の編集および再生システムおよびデジタル動画の編集および再生方法を開示している。Griffinは、システムの動画プロセッサが、複数のソースから動画セグメントを受信し、処理することについて具体的に示している。動画プロセッサには、動画セグメントの同期情報を評価し、一般的なイベントに対応するさまざまなソースからの動画セグメントを関連付けするためのソフトウェア命令が含まれている。
【0007】
対照的に、モーションキャプチャと床反力計は、客観的な生体力学分析において有益である。90年代以降、モーションキャプチャは、ビデオゲーム、シミュレーション、振り付け、映画撮影で利用されてきた。ダンスの動作はこれまで、モーションキャプチャシステムでキャプチャおよびシミュレーションされることで、他の形式のアートを生成し、ダンスのクリエイションと振り付けに役立てられてきた。近年、モーションキャプチャは、動作を研究し、生体力学の原理から動作に関する洞察を得るために利用されている。モーションキャプチャ装置でも、特にマーカーレスカメラを備えた装置は非常に高価である。平均的なケースでは、モーションキャプチャは高価で堅牢であり、機動性に欠け、設定と計算に長い時間がかかる。モーションキャプチャは高度に調査主導型であり、コーチングやフィードバックツールとして実際に利用されていない。しかし、センサーが小型化、安価、低電力になるにつれて、ウェアラブルセンサーのモーションキャプチャシステムの人気は高まっている。ウェアラブルシステムのデータ水準は低いが、システム自体はほとんどのモーションキャプチャシステムよりも手頃な価格で、機動性も高い。
【0008】
ウェアラブルセンサーから、マーカーレスカメラシステムを備えた堅牢なシステムに至るまで、多数のモーションキャプチャシステムおよびデバイスが使用されている。例えば、米国特許第9,981,193号(Adams)など、米国特許第6,685,480号(Nishimoto)など、WO2015139145(Comeau)など、米国特許第10,249,213号(Liu)など、米国特許第6,437,820号(Josefsson)、米国特許第6,415,043号(Josefsson)、米国特許第9,885,623号(Drueding)など、米国特許第9,679,392号(Richardson)、米国特許第9,427,179号(Mestrovic)など、米国特許第7,264,554号(Bentley)、米国特許第8,165号、第844号(Luinge)など、米国特許第5,344,323号(Burns)、米国特許第6,315,571号(Lee)、米国特許第9,033,712号(Vasin)、米国特許第6,567,536号(McNitt)などは、すべてが先行技術の実例である。
【0009】
Bentley(米国特許第7,264,554号)は、ゴルフスイングなど運動競技の運動能力を分析および改善するためのシステムおよび方法を開示している。Bentleyは、モーションデータからの動画、色分け、ステップフレームアニメーション、データや時間のグラフなど、複数の同期形式で結果をリアルタイムに、情報豊富なグラフィック表示で提供するシステムを具体的に示している。結果に基づいて、練習を伴うユーザー固有のトレーニング計画が選択される。この結果を出すために、ユーザーの動作は、計装された慣性センサーとビデオカメラで監視される。
【0010】
Luingeなど(米国特許第8,165,844号)は、対象の動作をキャプチャするために様々な身体セグメントに配置されるモーションセンサーモジュールのシステムを開示している。センサーモジュールは、それぞれの身体セグメントに関連する3次元慣性データをキャプチャする。Luingeなどは、センサーモジュールが、デジタル信号処理フィルターと生体力学の制約によりセンサーデータを処理し、対応する身体セグメントの方向と位置を推定する方法を具体的に示している。
【0011】
Vasin(米国特許第9,033,712号)は、デジタル化された動作を参照動作と比較するための発明およびトレーニング方法を開示している。Vasinは特に、デジタル化された動作を専門家またはコンピューターシミュレーションによる参照動作と比較し、触覚フィードバック要素を制御して修正アクションを実行するコンピューターについて示している。訓練者が参照動作から逸脱した場合、触覚アクションを受信する。このデバイスには、オンラインの動作デジタル化用センサーが搭載されている。
【0012】
McNittなど(米国特許第6,567,536号)は、運動トレーニングと指導のための分析システムと方法を開示している。McNittなどは、具体的には、動画、位置情報、体重移動情報などの同期情報をユーザーが感知して再生し、運動競技の動きに関する計算結果、分析とともに同時に表示できるようにするシステムについて、具体的に示している。
【0013】
これらの発明は、ある特定の目的に適している可能性があるが、個人の技術向上のために、正しい動作モデルに基づき個人の動作を正確に評価および分析するのには適していない。現在の動作フィードバックシステムは、特定の具体的な動作のみを分析し、同期、リズム、タイミングについては分析しない。
【0014】
この点で、提案された動作分析システムは、従来技術の使用方法および構成から実質的に逸脱している。そうすることで、本発明は、個人の動作の迅速かつ正確な評価および分析を提供することを主な目的として開発された構成と、その使用方法を提供する。
【発明の開示】
【発明が解決しようとする課題】
【0015】
本発明は、ダンス、特に社交ダンスの分野から着想を得ているが、提案された発明は1つの分野、産業、または用途に限定されないことをご理解いただきたい。本発明は、選択した分野における個人の専門知識に制限されない。あらゆるレベルの専門知識を持つ人物なら誰でも、提案する発明から利益を得ることができる。本発明は、他の実施形態が可能であり、様々な方法で実施および遂行することができる。また、記載の表現および用語は限定するものと見なされるべきではないことをご理解いただきたい。
【0016】
ダンスを例にとると、提案する発明のインスピレーションとして、社交ダンサーなどのアスリートは、その理由や目標にかかわらず、完璧となるため、技術向上に取り組んでいる。コーチがアスリートに「練習すれば完璧になれる」というのは、控えめな表現ではない。完璧とは何かを味わうためだけにでも、人は自分自身を克服する必要がある。それが同じ動作を何度も繰り返すという、大変な努力に耐えるために必要なことだ。特にダンサーは、音楽に合わせて同じ基本的な動作を何度も繰り返すことで、最高の演技ができるようになる。
【0017】
動きというのは前の世代の模倣により伝わったものであり、それは将来世代に受け継がれる。ダンスにおいては、ダンスのインストラクターが生徒に教え指導し、生徒はそれを模倣する。人間は模倣するのが非常に上手いが、動きを模倣することは非常に困難だ。リズムのある動きやダンスの動きは、技術的要件と芸術的要件の両方が必要なため、模倣が特に困難だ。
【0018】
動きを明確化することはさらに困難となる。運動の専門家の説明する情報は同じかもしれない。しかし、違いは情報の表現方法にあるのだ。動きは視覚的だ。動きに関する情報を伝え、知覚することは、視覚的学習と言語的学習の組み合わせだが、ダンスには、第3の学習スタイルとも言うべき聴覚学習がある。情報を受け取る個人は、かつて情報を受け取る個人の立場にあった運動の専門家が明確化したメッセージを明確化し、理解するためには、自分自身の想像力に頼る必要がある。運動トレーニングには非常に奥深いものがあり、指導者と被指導者には、優れたコミュニケーションスキルが必要だ。
【0019】
指導者と被指導者の間には、誤解の永続的なサイクルが存在する。その結果、個人が自分の動きに関して受け取るフィードバックは、曖昧で、矛盾し、誤って解釈され、個人が自分の動きの可能性と能力を知り、改善するのに十分ではない可能性がある。
【0020】
また、被指導者は指導者が見ているものを見ることができず、指導者でさえ、被指導者のすべての微細な動きと推移をあらゆる方向からリアルタイムで分析することはできない。そこに人為的ミスの余地がある。今後、ダンスや動作に基づく活動は、評価と判断がますます困難になっていく。
【0021】
判断に関連する対処すべき課題もある。社交ダンスには、世界ダンス評議会(WDC)と世界ダンススポーツ連盟(WDSF)という、2つの国際的な運営組織がある。今からおよそ10年前、WDSFは「ジャッジングシステム」と呼ばれる新しい審査システムを導入した。この新しい審査システムは、1~10の基準に基づいている。基準1は非常に劣っており、基準10は優れている。「ジャッジングシステム」は、世界選手権大会でのみ実施される。地方、地域、全国大会では、この審査制度は実施されていない。WDSF組織で新しく導入された「ジャッジングシステム」は、基準が主観的であるため、フィードバックは提供しない。社交ダンス業界の誰も、ダンス動作の不十分で主観的な評価に関する問題を評価していない。ただし、ボローニャ州立大学は、モーションキャプチャを使用して動作を評価するために、イタリアのダンススタジオおよびダンスチームのDiabloチームと協力して調査を行っている。ただ、社交ダンサーがパフォーマンスを向上させるための動作分析システムはまだ存在しない。審査はコーチングと同等の主観性がある。
【0022】
練習中、ダンサーは自身のパフォーマンスを評価するために鏡や動画の録画を使用する。評価は非常に主観的だ。ダンスのコーチが生徒を指導するとき、生徒は自分のダンスの特定の次元に合わせる。そして、目は見えるものだけを見る。ダンサーが鏡の前に立つと、ダンサーは鏡からダンサーの目に反射される身体の部分だけを見ることができる。ダンサーは、コーチと同じように、自分のダンスを評価する方法に制限がある。ダンス業界の一般的なコーチは、生徒とそれほど違いはない。彼らは経験豊富な生徒であるというだけだ。
【0023】
動作に基づく活動を実践する個人には、「時間をかけてパフォーマンスを改善し、完成させる」という共通の目標がある。個人の技術向上には、正しい動作モデルに基づき動作を正確に評価および分析するための、ルールに基づく定量的な動作分析システムが必要なのは明らかだ。
【0024】
前述した、従来技術に存在する既知の動作分析装置およびシステムに固有の不利な点を考慮しつつ、本発明は、同一のものを利用し、迅速かつ正確な評価および個人の動作分析が可能な、新しい定量的およびルールに基づく動作分析システムを提供する。
【0025】
以下でより詳細に説明する本発明の一般的な目的は、これまでに述べた動作分析システムの多くの利点と、新しい動作分析およびフィードバックシステムをもたらす多くの新しい特徴および機能を有する新しい動作分析およびフィードバックシステムを提供することであり、これは単独で、またはそれらの任意の組み合わせのいずれかで、先行技術の動作分析システムのいずれかによって予期されず、明白にされず、示唆されず、暗示されることもない。
【課題を解決するための手段】
【0026】
これを達成するために、本発明は、一般に、個人の運動訓練中に同期して動画およびデータを記録およびキャプチャし、収集されたデータをリアルタイムでまたはデータ収集後に通信システムを介して中央コンピューティングエンティティに転送し、データを中央コンピューティングエンティティデータベースに入力し、リアルタイムまたは中央コンピューティングエンティティでのデータ収集後に収集されたデータの動作分析を実行し、リアルタイムまたはデータ収集後に動作分析の結果を決定し、リアルタイムまたは通信システムを介したデータ収集後に結果をスマートデバイスに転送し、リアルタイムまたは動作記録およびデータ収集後にスマートデバイスのディスプレイモニターに結果を表示するプロセスを含む。表示された結果に基づき、個人は自分の動作の向上に必要な改善を加えることができる。動作分析の結果には、動作の同期され、詳細で色分けされた注釈、アニメーション、コメント、および動画上に重ねられた音声フィードバックが含まれる場合がある。動作分析結果は、生体力学の原理と新しい動作解釈アルゴリズムを利用して計算される。本発明は、任意の動作の分析に利用されると理解され得る。本発明は、個人が、追加で相談するために、世界中の任意の個人に動作分析による結果へのアクセスを与えることを可能にする。中央コンピューティングエンティティと通信可能なスマートデバイスの総数は事実上無制限であるため、ユーザーはアクセス時に、動作フィードバック情報に無制限にアクセスできる。
【0027】
このようにして、詳細な説明をより良く理解するために、また当技術分野への現在の貢献をより良く把握するために、本発明の重要な特徴を幅広く概説した。本書に添付した特許請求の主題を形成する本発明の追加の特徴が存在し、以下に説明する。
【0028】
この点に関して、本発明の少なくとも1つの実施形態を詳細に説明する前に、本発明は、その適用において、構造の詳細、および以下の説明で言及されるか図面に示される構成要素の配置に限定されないことを理解すべきである。本発明は、他の実施形態が可能であり、様々な方法で実施および遂行することができる。また、本書で使用される表現および用語は、説明の目的のために使用するものであり、限定するものと見なされるべきではないことを理解すべきである。
【0029】
本発明の主な目的は、従来技術の欠点を克服する動作分析およびフィードバックシステムを提供することである。
【0030】
もう1つの目的は、個人の動作を正確に評価および分析する動作分析とフィードバックシステムを提供することである。
【0031】
他の目的は、任意の個人が、追加の相談のために世界中の任意の個人に運動分析の結果へのアクセスを与えることができる動作分析およびフィードバックシステムを提供することである。
【0032】
さらなる目的は、個人の動作の評価の精度を向上させる動作分析およびフィードバックシステムを提供することである。
【0033】
他の目的は、データ収集の最初から最後までデータを同期する動作分析およびフィードバックシステムを提供することである。
【0034】
さらなる目的は、リアルタイムでまたはデータ収集の終了直後に収集されたデータに基づき評価する動作分析およびフィードバックシステムを提供することである。
【0035】
さらなる目的は、動作のフィードバックおよび評価を理解しやすい形式で即座に表示し、個人が自身の動作を改善できる動作分析およびフィードバックシステムを提供することである。
【0036】
本発明の他の目的および利点が読者にとって自明となり、これらの目的および利点が本発明の範囲内にあることが意図されている。
【0037】
上記の、および関連する目的を達成するために、本発明は、添付の図面に示される形式で具体化することができるが、図面は例示にすぎず、添付の特許請求の範囲内で図解および説明されている特定の用途に変更を加えることができるという事実に注意を向けるべきである。
【図面の簡単な説明】
【0038】
本発明の様々な他の目的、特徴および付随する利点は、同様の参照文字が、複数の視点全体で同一または類似の部分を示す添付の図面と併せて検討すると、同一のものの理解を助けるため、完全に理解されるだろう。また、そこでは:
【
図2】動作分析、特に動的な足圧分析の基準のサンプルである。
【
図4】本発明の実施形態による無線ボディセンサーモジュールを使用する、分析システムの移動可能な実施形態である。
【
図5】社交ダンサーのルンバウォークのタイミング分析結果を含む、動的な足圧分析結果の概要のサンプルである。
【
図6】社交ダンサーのルンバウォークの動的な足圧分析結果のスコアリングのサンプルである。
【
図7】動作フィードバック結果の表示のサンプルである。
【
図8】本発明のデータ収集の管理に関連する動作特性を示すフローチャートである。
【
図9】本発明の処理および分析段階の機能的構成要素を示す簡易フローチャートである。
【
図10】圧力データを利用する本発明の任意の分析カテゴリのフローチャートである。
【
図11】モーションキャプチャデータおよび動画データを利用する本発明の任意の分析カテゴリのフローチャートである。
【
図12】本発明のタイミング分析のフローチャートである。
【
図13】本発明の結果を表示するためのフローチャートである。
【発明を実施するための形態】
【0039】
ここで、図面および実施形態の詳細な説明に目を向け、類似の参照文字が、複数の視点全体で類似の要素を示すことに留意していただきたい。
図1~13は、本発明の好ましい実施形態による動作分析システムおよび方法を示す。
図1は、本発明の動作分析システム(100)の概要を示している。
図1の例示的な動作分析システム(100)の説明は、例えば、
図4、7、8、13の他の場所に示される要素への参照を含み、これらの要素および図は、さらなる詳細を提供する。動作分析システム(100)は、個人の運動トレーニング中に同期的に(
図8に示すように同期モジュール(830)を使用して)、慣性測定データ(143)、圧力データ(144)、および反射マーカーデータ(143)を備えた(130)動画(141)および音声(142)を含む、動作データを記録および捕捉するプロセスを含む。これに続いて、収集されたデータ(141,142,143,144)がリアルタイム(891)で、またはデータ収集(885)後に、通信システムまたはインターネットなどのネットワークを介して中央コンピューティングエンティティ(150)に転送され、収集されたデータ(141,142,143,144)がユーザーの生の収集データ(141,142,143,144)の中央コンピューティングエンティティデータベース(151)に入力され、中央コンピューティングエンティティ(150)で生の収集データ(141,142,143,144)を処理(152)し、リアルタイム(890)または中央コンピューティングエンティティ(150)でのデータ収集(820)後、収集されたデータ(141,142,143,144)の動作分析(153)を実行し、動作分析の結果(1320)をリアルタイム(890)またはデータ収集(820)後にユーザーの動作フィードバックの中央コンピューティングエンティティデータベース(155)に保存し、ユーザーの移動フィードバックを行い、結果(1320)をリアルタイム(890)またはデータ収集(820)後にスマートデバイス(410)に転送(893,1310)し、スマートデバイス(410)のディスプレイモニター(160)にリアルタイム(890)または動作記録およびデータ収集(820)後に結果(1320)を表示(1330,894)する。
【0040】
表示された結果(1320)に基づき、個人は必要な改善を行い、動作を向上させられる。
図7に示される動作フィードバック結果表示のサンプルを参照すると、動作分析(153)の結果(1320)は、動画再生(720)の上に重ねられたスクラバー(722)での動作と音声フィードバック(723)の、同期され、詳細で、色分けされた注釈(723,731)、アニメーション(720,730)、コメント(734)を含むことができる。動作分析の結果(1320)は、生体力学の原理と新しい動作解釈アルゴリズム(154)を利用して計算される。
【0041】
本発明は、任意の動作の分析に利用されると理解され得る。本発明は、個人が、追加で相談するために、世界中の任意の個人に動作分析による結果へのアクセスを与えることを可能にする。中央コンピューティングエンティティ(150)と通信することができるスマートデバイスの総数は事実上無制限であるため、ユーザアクセス時に動作フィードバック情報への無制限のアクセスが可能である。次に、上記のプロセスについてさらに詳述する。
【0042】
例示的な動作データキャプチャおよび分析システム
【0043】
図4は、本発明の様々な様態を実施するための例示的な移動動作データキャプチャおよび分析システム(400)のブロック図である。可能であれば、衣服(440)やボディスーツは、カメラ映像(480)からの動画データ(141)および音声データ(142)とともに、ユーザー(420)の動き(143)および圧力データ(144)を収集するために着用されることが意図されている。しかしながら、他の実施形態では、センサーモジュール(441)は、衣服(440)またはボディスーツと関連付けられる必要はない。
【0044】
センサーモジュール(441)はまた、靴底または靴下の底(440)に圧力センサーを含めることができ、これにより圧力データ(144)を収集する。センサーモジュール(441)はまた、身体セグメントに関して3次元慣性測定センサーから3次元(3D)位置、向き、および慣性データをキャプチャすることもでき、それにより、身体に固定されない調整システムに関して6つの自由度を有する運動データ(143)を収集することができる。追加の実施形態は、3Dモーションデータ(143)、動画データ(141)、音声データ(142)の取得、動画(141)上での動作分析結果(1320)の視覚化を助けるために、複数のカメラ(480)を使用することができる。
【0045】
例示的な同期モジュール(830)は、センサーモジュール(441)およびカメラ(480)から受信した物理的動作(143)、圧力(144)、動画(141)、音声(142)データを同期し、ネットワークインターフェースを介して通信し、結果として同期された情報(861,862,863)が中央コンピューティングエンティティ(150)の処理モジュール(152)に送られる。中央コンピューティングエンティティ(150)のデータ処理モジュール(153)は、記憶した命令を実行するためのプロセッサと、プロセッサにより実行される命令を記憶するためのメモリとを含む。
【0046】
一部の実施形態では、収集されたすべてのデータサンプルは、動画(141)、音声(142)、モーション(143)、圧力(144)、または分析される動作に関連する他のサンプルであるかどうかにかかわらず、同一のタイムベースでタイムスタンプが付けられる。この実施形態では、信号の対応するサンプルが同一のタイムスタンプにより識別されるように、タイムスタンプは各情報信号および事前設定された間隔で管理される。別の実施形態では、内部クロック機構を使用して情報信号にタイムスタンプが付けることができる。したがって、最初の情報信号からの各サンプルは、次の、および他のすべての情報信号からのサンプルに対応する。情報信号にタイムスタンプを付けると、同期情報が作成され、処理モジュール(152)に送信されて、センサー(441)、マーカー、カメラ(480)により取得した情報に関連する、同期された動作分析(153)が提供される。
【0047】
例示的な処理モジュール(152)は、同期モジュール(830)から同期情報(861,862,863)を受信した後、動作分析(153)からの動作フィードバック結果(1320)をエンドユーザー(420)に提供するために、同期情報(861,862,863)を処理する。この実施形態によれば、中央コンピューティングエンティティのデータベース(151,155)は、各タイムスタンプの値を各データサンプル(141,142,143,144)とともに格納する。
【0048】
次に、例示的な運動分析(153)を使用して、動作フィードバック結果(1320)を提供する。動作フィードバック結果(1320)は、ユーザー(420)によるレビューに適した形式である。好ましい実施形態としては、そのような動作フィードバック結果(1320)は、ネットワークチャネルを介してユーザー(420)に転送され、ユーザーのスマートデバイス(410)のディスプレイ(415)上で動作するグラフィカルユーザーインターフェース(160)に送られる。
【0049】
ネットワークインターフェース回路(図示せず)を利用すると、他のスマートデバイス(410)に接続されたネットワークを介してデータを送受信することができる。インターフェースカードまたは同様のデバイス(図示せず)およびユーザーのスマートデバイス(410)のマイクロプロセッサにより実装される適切なソフトウェアを利用して、スマートデバイス(410)を既存のネットワークに接続し、Wi-Fiなどの標準プロトコルによりデータを転送することができる。
【0050】
本発明は、インターネットなどのグローバルコンピューターネットワーク上で動作させるのが望ましい。インターネットは、標準化された通信プロトコルを使用し、相互接続されたネットワークにより、さまざまな情報および通信機能を提供するグローバルコンピューターネットワークを構成すると理解されている。このように、世界中の複数のコンピューターシステムは、本グローバルコンピューターネットワークを介して相互に通信している。本発明は、インターネットおよび関連する通信プロトコル、ならびにスマートフォン、コンピューター、他の電子デバイスの短距離無線相互接続のための基準であるブルートゥース(登録商標)を利用することが望ましい。ただし将来、新たな技術が生まれれば、本発明の様々な態様を、かかる改善された技術で実施できることが理解される。具体的には、無線技術は、本発明を操作するための適切な媒体となる。
【0051】
表示画面(415)は、周辺バスを介しマイクロプロセッサによって、またはスマートデバイス(410)の他のコンポーネントによって提供される、データの画像、コメント、動画、注釈、アニメーションを表示する出入力デバイスであることが望ましい。他の種類のユーザー入力デバイスもまた、本発明と併せて使用することができる。
【0052】
しかしながら将来、新しい技術が作成されれば、拡張現実または仮想現実デバイスのような様々な他の入力デバイスを本発明で使用することは理解できる。
【0053】
ステップla.データ収集
【0054】
個人が自身または他の個人の動作フィードバックを取得したい場合、その個人の動作に、カメラ(480)付きモーションキャプチャ装置および圧力感知装置を装着することができる。
図1のシステム全体および
図8のプロセスも参照しながら、例示的な移動動作データキャプチャおよび分析システム(400)は、動作に関するデータをキャプチャ(130)し、そのデータを処理(152)および分析(153)する手段をユーザー(420)に提供する。個人ユーザー(420)は、すべてのセンサー(441)が正しく機能し、すべての接続(120)と通信が損なわれておらず、データキャプチャ(130)用のスマートデバイス(410)の初期設定(110)で提供されていることを確認する。また、ユーザー(420)の環境に複数のカメラ(480)が設定されている場合は、すべてのカメラ(480)が正しく機能し、すべての接続(120)と通信が損なわれていないことを確認するためにカメラ(480)も確認する必要がある。ユーザー(420)が、デスクトップまたはラップトップコンピューターではなく、移動のためにスマートフォンやタブレットなどのスマートデバイス(410)の使用を選択した場合、別のユーザーがスマートデバイス(410)を制御する必要がある。設定(110)が完了すると、ユーザー(420)は、カスタムカウントダウンにするか、データ収集(820)の手動による開始または停止にするかを選択できる。また、どのカテゴリにするか、あるいはユーザーが分析したい動作フィードバックのカテゴリ(810)を選択することもできる。
【0055】
スマートデバイス(410)のディスプレイ(415)で、ユーザー(420)または別の個人が記録ボタン(430)をクリックまたはタッチし、同期モジュール(830)を介して、タイムスタンプ方式で、
図8に示すように、データ収集を同期させつつ、データの収集(820)つまり、動画キャプチャシステム(842)からのデータ、モーションキャプチャシステム(841)からのデータ、および圧力センサーシステム(843)からのデータ収集を開始する。データキャプチャ(130)中に、同期およびタイムスタンプ付きの動画データ(862)、モーションデータ(861)、圧力データ(863)は、データ取得モジュール(852,853,851)を介して処理され、データキャプチャ(130)が終了するまで一時データアレイまたはバッファ(870)に保存される。カスタムカウントダウンが設定されている場合、カウントダウンが終了すると記録は停止する。カスタムカウントダウンが選択されていない場合、ユーザー(420)または別の個人は、記録/停止ボタン(430)を手動でクリックまたはタッチして、記録(880)を停止し、データ収集を終了する必要がある。
【0056】
記録が終了すると、ユーザー(420)は、動作の動画(881)を再生し、ユーザが格納(883)し、転送(885)する収集され同期されたデータ(141, 142, 143, 144)を安全なネットワークチャネルを介して中央コンピューティングエンティティ(150)に送信するか、データを削除(886)してプロセスを完了(887)し、新しいデータの収集(820)に戻るかを決定する機会がある。
【0057】
スマートデバイス(410)のディスプレイ(415)には、データ収集後、動画再生(881)用に再生(472)、巻き戻し(471)、早送り(473)、一時停止(474)ボタン、また保存(883)、ゴミ箱(886)のアイコン/ボタンが表示される。ゴミ箱(886)アイコンを選択すると、ディスプレイ(415)にユーザーのダッシュボードが表示され、ユーザー(420)はデータキャプチャ(130)モードを選択し、データ収集(800)のプロセスを繰り返すことができる。保存(883)アイコンが選択されている場合、ユーザー(420)はログにタイトルを付けることができる。またはシステム(100、400)により、ログデータのタイムスタンプがログタイトルとして自動で提供される。ログに記録されたデータ(141,142,143,144)にタイトルを付けた後、ログに記録されたデータ(141,142,143,144)はアップロードされ、通信チャネルを介して中央コンピューティングエンティティデータベース(151)のユーザーのフォルダーで直接ソートされる。その後すぐに、ディスプレイ(415)がユーザーのダッシュボードに戻ると、ユーザーはここでデータキャプチャ(130)モードを選択し、以前の結果のデータ収集(800)またはレビュー(1300)を繰り返したり、結果を待ったりすることができる。
【0058】
動作分析が音楽を伴う場合、分析のために記録動画から音声(142)が抽出(1200)される。
【0059】
ステップlb. データの取得と結果のリアルタイム表示
【0060】
個人が、個人または他の個人の動作フィードバックをリアルタイム(890)で取得したい場合、その個人の動作に、カメラ(480)付きモーションキャプチャ装置および圧力感知装置を装着することができる。個人は、すべてのセンサー(441)が正しく機能し、すべての接続(120)と通信が損なわれておらず、データキャプチャ(130)用のスマートデバイス(410)の初期設定(110)で提供されていることを確認する。また、ユーザー(420)の環境に複数のカメラ(480)が設定されている場合は、すべてのカメラ(480)が正しく機能し、すべての接続(120)と通信が損なわれていないことを確認するためにカメラ(480)も確認する必要がある。ユーザー(420)が、デスクトップまたはラップトップコンピューターではなく、移動のためにスマートフォンやタブレットなどのスマートデバイス(410)の使用を選択した場合、別のユーザーがスマートデバイス(410)を制御する必要がある。設定(110)が完了すると、ユーザー(420)は、カスタムカウントダウンにするか、データ収集(820)を手動で停止するかを選択できる。また、どのカテゴリにするか、あるいはユーザー(420)が分析したい動作フィードバックのカテゴリ(810)を選択することもできる。
【0061】
スマートデバイス(410)のディスプレイ(415)で、ユーザー(420)または別の個人がリアルタイム記録ボタン(430)をクリックまたはタッチして、
図8に示すように、タイムスタンプにより、同期モジュール(830)、動画キャプチャシステム(842)、モーションキャプチャシステム(841)、圧力センサーシステム(843)を介して同期するデータ収集プログラム(820)を開始する。データキャプチャ(130)中に、同期およびタイムスタンプ付きの動画データ(861)、モーションデータ(862)、圧力データ(863)は、データ取得モジュール(852)を介して処理され、一時データアレイまたはバッファ(870)に保存され、すぐに中央コンピューティングエンティティ(891)に転送され、フィードバック分析プログラムはデータ(892)を即座に処理、分析し、即座に転送(893)し、
図13に示すように、動的な動作フィードバック結果(894)を、データ記録が終了(895)するまで、ユーザーのスマートデバイス(410)のディスプレイ(415)上の現在の動画記録と共に、リアルタイムで表示する。カスタムカウントダウンが設定されている場合、カウントダウンが終了すると録音は停止する。カスタムカウントダウンが選択されていない場合、ユーザー(420)または別の個人は、手動で開始/停止ボタン(430)をクリックするか、タッチして、記録を停止する必要がある。記録が終了(895)すると、ユーザー(420)は、動作(882)フィードバックの動画を再生し、ユーザー(420)が格納(884)し、転送(885)する収集されたデータ(141,142,143,144)を安全なネットワークチャネルを介して中央コンピューティングエンティティ(150)に送信するか、データを削除(886)してプロセスを完了(887)し、新しいデータ(820)の収集に戻るかを決定する機会がある。
【0062】
スマートデバイス(410)のディスプレイ(415)には、動画再生と同期データ(460)の再生のために、データ収集(820)後、再生(472)、巻き戻し(471)、早送り(473)、一時停止ボタン(474)、および再生タイムスクローラー(450)、および保存(884)とゴミ箱(886)のアイコン/ボタンが表示される。ゴミ箱(886)アイコンを選択すると、ディスプレイ(415)にユーザーのダッシュボードが表示され、ユーザー(420)はデータキャプチャモード(130)を選択し、データ収集(800)のプロセスを繰り返すことができる。保存アイコン(884)アイコンが選択されている場合、ユーザー(420)はログにタイトルを付けることができる。またはシステム(100, 400)により、ログデータ(141,142,143,144)のタイムスタンプがログタイトルとして自動で提供される。ログに収集されたデータ(141,142,143,144)にタイトルを付けた後、ログに収集されたデータ(141,142,143,144)はアップロード(885)され、通信チャネルを介して生データ(141,142,143,144)用の中央コンピューティングエンティティデータベース(151)のユーザーのフォルダーで直接ソートされる。その後すぐに、ディスプレイ(415)がユーザーのダッシュボードに戻ると、ユーザー(420)はここでデータキャプチャモード(130)を選択し、以前の結果のデータ収集(800)またはレビュー(1300)を繰り返したり、結果を待ったりすることができる。
【0063】
動作分析が音楽を伴う場合、分析のために記録動画(141)から音声(142)が抽出(1200)される。
【0064】
ステップ2.データ入力
【0065】
収集されたデータ(141,142,143,144)が取得された後、ユーザー(420)はログにタイトルを付けることができる。またはシステム(100、400)により、ログ収集データ(141,142,143,144)のタイムスタンプがログタイトルとして自動で提供される。ログに収集されたデータ(141,142,143,144)にタイトルを付けた後、ログに収集されたデータ(141,142,143,144)はアップロード(885)され、通信チャネルを介して生データ(141,142,143,144)用の中央コンピューティングエンティティ(150)データベース(151)のユーザーのプライベートフォルダーでタイムスタンプにより直接ソートされる。
【0066】
多くの実施形態では、収集されたデータ(141,142,143,144)は、ユーザーのスマートデバイス(410)に保存されない。収集されたすべてのデータ(141,142,143,144)は、中央コンピューティングエンティティ(150)に保存される。ユーザー(420)の収集されたデータ(141,142,143,144)は、中央コンピューティングエンティティのデータベース(151,155)に保存され、ソートされる。
【0067】
ステップ3.収集されたデータの中央コンピューティングエンティティへの転送
【0068】
ユーザー(420)が収集データ(141,142,143,144)の保存(883,884)を選択した後、収集されたデータ(141,142,143,144)は、通信チャネルを介して中央コンピューティングエンティティ(150)(クラウドストレージ)に転送(885)される。中央コンピューティングエンティティ(150)は、生の収集データ(141,142,143,144)を格納するためのデータベース(151)、データ処理モジュール(152)、動作分析プログラム(153)、動作分析規則および制約(154)、動作フィードバック結果(951,952,953)を保存するためのデータベース(155)を含む。
【0069】
収集されたデータ(141,142,143,144)の転送に適した通信システムはインターネットである。収集されたデータ(141,142,143,144)を中央コンピューティングエンティティ(150)に転送するために、他の様々な既知の通信システムが利用されると理解することができる。
【0070】
ステップ4.収集データの分析
【0071】
図9は、本発明の処理および分析段階(900)の機能的構成要素を示す。収集されたデータ(141,142,143,144)が中央コンピューティングエンティティ(150)に転送(885,891)された後、中央コンピューティングエンティティ(150)は、処理(921,922,923)用にタイムスタンプ付きモーションデータアレイ(911)、タイムスタンプ付き動画データアレイ(912)、処理用のタイムスタンプ付き圧力データアレイ(913)を取得する。各データタイプ(モーション、圧力、動画)には、分析実行のための独自の処理方法(931,932,933)がある。処理が完了すると、データ収集プロセスの開始時にユーザー(811)により選択された特定のフィードバック分析(940)が、
図9に示すように、新しいアルゴリズム、確立された生体力学式、動作、音声、圧力の制約と規則(941)により計算され、運動分析結果(951,952,953)が提供される。
【0072】
圧力感知装置、慣性測定ユニット感知装置、または反射マーカーからの処理データ(931,932,933)が、内部の身体活動のフィードバックまたは洞察を提供できると想定されない。ただし、圧力検知装置、慣性測定ユニット検知機器、または反射マーカーからの処理済みデータ(931,932,933)は、個人の体内筋骨格活動のモデルとシミュレーションを提供することもできる。
【0073】
中央コンピューティングエンティティ(150)は、1つ以上の動作フィードバックプログラム(1000, 1100, 1200)を使用して収集されたデータ(141,142,143,144)の分析(153)のために構成される命令を格納するための、少なくとも1つのメモリおよび命令を実行するための1つのプロセッサを含む。動作フィードバックプログラムは、以下の8つの異なる動作カテゴリに分けられる:(A)動的足圧分析、(B)回転動作分析、(C)屈曲/伸展動作分析、(D)外転/内転/循環動作分析、(E)背屈/足底屈曲動作分析、(F)回外/回内動作分析、(G)伸展/収縮/下降/上昇/上下動作分析、(H)反転/外転動作分析。これらの個人の分析カテゴリおよびその組み合わせにより、個人の動作を正確に評価し、改善につなげることができる。ダンスなど、身体の特定の動作では複数の領域を使用する必要があるため、動作および動作フィードバックと分析取得の目的によっては、すべての分析カテゴリが必要になるわけではなく、動作の完全な評価のため、分析カテゴリを組み合わせることが必要となる。
【0074】
図11は、動画(141)およびモーションキャプチャデータ(143)による分析カテゴリ(B-H)のフローチャートを示している。これらの分析カテゴリ(B-H)の概要については、タイムスタンプ付きモーションフィードバック結果(1150)は、タイムスタンプ付きモーションデータアレイ(1110)の個人のモーションデータポイント(1111)を、タイムスタンプ付き動画データアレイ(1120)の個人の動画フレーム(1121)から3次元動作のルールと制約(1141)を持つモデルまでの、計算された角度および測定値(1130)と比較(1140)することによって生成され、これは、特定動作のカテゴリまたは特定のアクティビティのカテゴリの理想的で物理的な3次元動作を表す。
【0075】
また、動作に音楽が伴う場合は、以下の追加のカテゴリとして、(I)タイミング(1200)が分析され、動作分析(1242,1243)と比較(1240)され、個人の音楽を伴う動作の正確な評価(1250)が提供される。
図12に、タイミング分析プロセスのフローチャートの概要を示す。
【0076】
A.動的足圧分析
【0077】
図10は、圧力データ(144)を利用した動作分析のプロセスを示している。詳細については、本分析で使用した動的足圧分析結果(600)のサンプルスコアである
図6、および動作分析、特に動的足圧分析の基準サンプルを詳述する
図2および3を参照していただきたい。動的足圧分析プログラム(1000)は、(i)データ収集(1010)による各規定タイムスタンプ(1020)での動作中の足裏の圧力の位置(310,320,330,340,350)、さらに(ii)動作に応じて、運動フィードバック分析を取得する個人が着用する圧力感知装置(センサー441)の処理された圧力データ(1010)を利用して、足裏の圧力の位置(310,320,330,340,350)により定義されるフットワークと推移(620)の正(610)誤(630)を評価するために設計される。
【0078】
たとえば、動作がダンスの場合、特にラテンダンスの場合、動的な足圧の規則と制約(1031)は、動作中の足の裏の圧力が常に足の内側の端にかかるように指定し、足の母指球とつま先は地面から離れてはならない。
図2は、
図3に示す足(300)の5つの位置(310,320,330,340,350)に基づき、適切な(610)動的な足の技を緑(210)で、不適切な足(630)の技を赤(220)で、体重の移動する/曖昧な(620)動的な足の動きを灰色(230)で32のすべての組み合わせ(200)を示している。必要に応じて、動的足圧分析プログラムで対処できる組み合わせの数は上下する。圧力検出要素の数が決定要因となる。5つの圧力検知要素により、32の組み合わせが生成される。動的な足圧動作の可能な組み合わせの総数は、圧力感知要素の数(n)の2の累乗(2n)として計算することができる。
図10に圧力データ(144)を利用した解析フローチャートを示している。動的な足圧フィードバック結果(1040)は、処理されたタイムスタンプ付き圧力データアレイ(1010)の各個人のデータポイント(1020)を取得し、各タイムスタンプ付きデータポイント(1020)を、動作中の特定の瞬間における特定の活動に対する適切な(610)動的足技、不適切な足(630)技、および運動中の特定の瞬間における特定の活動に対し体重が移動する/曖昧な(620)動的な足の動作を含むまたは表す、所定の動的足圧規則および制約(1031)を含む、中央コンピューティングエンティティ(150)に格納された足圧モデルに関連付けられたデータポイントと比較(1030)することにより生成される。
【0079】
動的足圧分析フィードバック(1040)の例は、
図5(520,530)にグラフで表されている。グラフの緑(542)色は、正しい(610)動的な足の圧力を示し、赤(543)色は、誤った(630)動的な足の圧力を示し、灰(541)色は、ユーザーが片方の足を地面から持ち上げて、体重(620)をもう一方の足(520,530)に移していることを示している。
図5の動的足圧分析フィードバック(1040)のグラフ表示は、
図6で、適切な技(610)、推移(620)、不適切な技(630)について、各足(641,642)に対して、割合(つまり、フィードバックのデータフレーム数をフレームの総数で割った値に100%を掛けたもの)としてテキスト表示されている。各動的足圧分析フィードバックカテゴリの両足の平均(643)の割合も、全体的な動的足圧分析スコアに対して計算される。フィードバックは1つの表現に限定されない。
【0080】
B.回転動作分析
【0081】
回転動作分析プログラム(1100に含まれる)は、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、車軸関節または球関節での脊柱の回転動作を評価するように設計されている。回転は、車軸関節で発生する唯一の動作である。したがって、車軸関節は単軸関節であり、単一平面でのみ動作が発生する関節である。このような関節の例は、首を回転させる近位橈尺関節、および前腕の回内および回外運動中に橈骨を回転させる環軸関節である。車軸関節とは異なり、球関節は多軸関節である。したがって、肩や股関節などの球関節において、発生する動作は回転だけではない。
【0082】
回転動作が発生する身体の対応する領域に3次元慣性測定検知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することにより、これらの領域から収集された処理済みモーションデータ(1110)と複数の角度でキャプチャされた動画(1120)は、回転動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの、モーションフィードバック(1150)とは、(i)回転動作の範囲と能力、および(ii)規定の各タイムスタンプでの動作に応じた回転動作の品質を含む。
【0083】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の回転動作の理想的な物理的、3次元的運動を表す。
【0084】
C.屈曲および伸展動作分析
【0085】
屈曲および伸展運動分析(1100に含まれる)は、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、矢状面内で発生し、体または手足の前後動作を伴う動作を評価するように設計されている。屈曲と伸展が発生する身体の領域は、肩、股関節、肘、膝、手首、中手指節関節、中足指節関節、指節間関節である。頭または脊柱の前方への動きは屈曲であり、後方への動きは伸展である。
【0086】
手足では、関節が曲がるとき、または骨の間の角度が狭まるときに屈曲が発生し、関節がまっすぐになるとき、または骨の間の角度が広がるときに伸展が発生する。
【0087】
例示的な実施形態では、屈曲および伸展動作が発生する身体の対応する領域に3次元慣性測定感知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することによって、これらの領域から収集された処理済みモーションデータ(1110)は、複数の角度でキャプチャされた動画(1120)とともに、屈曲および伸展動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの動作フィードバック(1150)は、(i)屈曲および伸展動作の範囲および能力、および(ii)各所定タイムスタンプでの動作に応じた屈曲および伸展動作の品質を含む。
【0088】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の屈曲および伸展動作の理想的な物理的、3次元的運動を表す。
【0089】
外転、内転、回旋動作の分析
【0090】
外転、内転、および回旋分析プログラム(1100に含まれる)は、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、内側-外側面での手足、手、指、またはつま先の動作を評価するように設計されている。外転、内転、回旋が発生する身体の領域は、肩、股関節、手首、中手指節関節、中足指節関節である。
【0091】
外転は、手足が身体の正中線から横方向に離れるときに発生し、内転は、手足が身体に向かう、または正中線を横切って移動するときに発生する。外転および内転動作は、顆状関節、鞍関節、球関節で発生する。
【0092】
回旋は、関節の屈曲、内転、伸展、外転の連続した組み合わせによる動作であるという意味で、かなり興味深い。回旋とは、身体の部位の円形の動きである。回旋は、二軸顆状関節、鞍関節、多軸球関節で発生する。
【0093】
外転、内転、回旋運動が発生する身体の対応する領域に3次元慣性測定検知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することにより、これらの領域から収集された処理済みモーションデータ(1110)と複数の角度でキャプチャされた動画(1120)は、外転、内転、回旋動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの、モーションフィードバック(1150)とは、(i)外転、内転、回旋動作の範囲と能力、および(ii)規定の各タイムスタンプでの動作に応じた外転、内転、回旋動作の品質を含む。
【0094】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の外転、内転、回旋動作の理想的な物理的、3次元的運動を表す。
【0095】
背屈および足底屈動作分析
【0096】
背屈および足底屈動作分析プログラム(1100に含まれる)は、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、足首関節、蝶番関節での動作を評価するように設計されている。足首関節で可能な動作は、背屈と足底屈の2つしかない。足首関節での足の背屈は足の上部を脚に向かって動かし、足底屈はかかとを持ち上げてつま先を先に向ける。
【0097】
足首関節の対応する領域に3次元慣性測定検知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することにより、これらの領域から収集された処理済みモーションデータ(1110)と複数の角度でキャプチャされた動画(1120)は、背屈および足底屈動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの、モーションフィードバック(1150)とは、(i)足首関節における動作の範囲と能力、および(ii)規定の各タイムスタンプでの動作に応じた足首関節における動作の品質を含む。
【0098】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の背屈および足底屈動作の理想的な物理的、3次元的運動を表す。
【0099】
回外および回内動作分析
【0100】
例示的な回外および回内動作分析プログラム(1100に含まれる)は、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、前腕の動作を評価するように設計されている。前腕で可能な動作は、回外と回内の2つがある。回内とは、前腕を回外(解剖学的)位置から回内(手のひら後方)位置に移動させる動作である。回外はその逆の動きとなる。
【0101】
前腕の対応する領域に3次元慣性測定検知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することにより、これらの領域から収集された処理済みモーションデータ(1110)と複数の角度でキャプチャされた動画(1120)は、回外および回内動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの、モーションフィードバック(1150)とは、(i)回外および回内動作の範囲と能力、および(ii)規定の各タイムスタンプでの動作に応じた前腕動作の品質を含む。
【0102】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の回外および回内動作の理想的な物理的、3次元的運動を表す。
【0103】
伸展、収縮、下降、上昇、上回転、下回転動作分析
【0104】
例示的な伸展、収縮、下降、上昇、上回転、下回転動作分析プログラム(1100に含まれる)は、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、肩甲骨の動作を評価するように設計されている。肩甲骨が可能な動作は、伸展、収縮、下降、上昇、上回転、下回転の6つである。
【0105】
伸展と収縮は前後の動きである。肩が前方に移動すると伸展が発生し、肩が脊柱に向かって後方および内側に引っ張られると収縮が発生する。
【0106】
下降と上昇は、肩甲骨の上下の動作、または一般の言葉で言えば、肩をすくめることを言う。
【0107】
上回転は、脊柱から離れる肩甲骨の上昇と横方向の回転の組み合わせである。上肢の外転には、上回転が非常に重要である。上回転がなければ、肩の高さを超える腕の外転は発生しない。
【0108】
下回転は、脊柱に向かう肩甲骨の下降と内側回転の組み合わせである。手足の内転中に下回転が発生する。
【0109】
肩甲骨の対応する領域に3次元慣性測定検知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することにより、これらの領域から収集された処理済みモーションデータ(1110)と複数の角度でキャプチャされた動画(1120)は、伸展、収縮、下降、上昇、上回転、下回転動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの、モーションフィードバック(1150)とは、(i)肩甲骨における動作の範囲と能力、および(ii)規定の各タイムスタンプでの肩甲骨における動作の品質を含む。
【0110】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の伸展、収縮、下降、上昇、上回転、下回転動作の理想的な物理的、3次元的運動を表す。
【0111】
内反および回外動作分析
【0112】
例示的な内反および回外動作分析プログラム(1100に含まれる)は新規の技術であり、カメラ(480)、3次元慣性測定検知装置、またはモーションフィードバック(1150)を取得する個人の反射マーカーからの処理済み動画データ(932)および動作データ(931)を利用し、後足の足根骨(足根間関節)の間の複数の平面関節の動きを評価するように設計されている。可能な動作は、内反と回外の2つである。内反は、足が正中線に向かって内側に曲がったときに発生し、回外は、足が正中線から離れたときに発生する。これらの動きは、凹凸のある路面を歩いたり走ったりするときや、サッカーなどのスポーツ中のカッティング動作で足を安定させるのに役立つため、特に重要である。
【0113】
回転動作が発生する身体の対応する領域に3次元慣性測定検知装置および反射マーカーを配置し、各軸にカメラ(480)を配置することにより、これらの領域から収集された処理済みモーションデータ(1110)と複数の角度でキャプチャされた動画(1120)は、回転動作分析プログラムがモーションフィードバック(1150)を評価および比較(1140)するために必要な情報を提供する。ここでの、モーションフィードバック(1150)とは、(i)回転動作の範囲と能力、および(ii)規定の各タイムスタンプでの動作に応じた内反と回外動作の品質を含む。
【0114】
比較のステップ(1140)は、以下の方法で進められる。タイムスタンプ付き動画データアレイ(1120)の各個人の動画フレーム(1121)から計算された角度と測定値(1130)と共に、タイムスタンプ付きモーションデータアレイ(1110)の各個人のモーションデータポイント(1111)が、所定の3次元動作規則および制約(1141)を表す中央コンピューティングエンティティ(150)に格納された一連の動画および動作モデルデータと比較され、ここでは、前述の動作規則および制約(1141)は、動作中の特定の瞬間における特定活動の内反と回外動作の理想的な物理的、3次元的運動を表す。
【0115】
タイミング分析
【0116】
動きに音楽が伴う場合、
図12のタイミング分析プログラム(1200)は、正しい動的足圧動作(1242)、上記のカテゴリー(B-H)からの正しい動作(1243)(正しい回転動作、正しい屈曲および伸展動作、正しい外転、正しい内転、正しい回旋動作、正しい背屈と足底屈、正しい回外と回内動作、正しい反転と外転動作、正しい内反と回外動作、肩甲骨の正しい動作)の組み合わせの評価及び比較(1240)が設計されており、これは音楽のオーディオサンプル(1210)のビート(1230)と相関する動作データ(1242, 1243)の各タイムスタンプにおけるものであり、タイムスタンプ付き圧力データアレイ(913)、タイムスタンプ付きビデオデータアレイ(912)、モーションデータアレイ(9H)からの処理されたすべてのデータを利用する。
【0117】
タイミング分析は、他の分析カテゴリとは完全に異なるものである。これは、本カテゴリが特にダンス動作向けに作成されたものであり、本カテゴリの分析が他の動作分析カテゴリ(A-H)のフィードバック(1242, 1243)に依存しているためである。ダンス動作の場合、タイミング(1250)を音楽の音声サンプル(1210)のビート(1230)のフットストライクと一致させるように定義するだけでは、個人がビート(1230)および音楽の音声サンプル(1210)のリズムに応じて動作を一致させる能力を向上させるのに十分ではない。
【0118】
両方の動作(1242,1243)が特定のタイムスタンプで正しく、動作のタイムスタンプ(1242,1243)が、動作ビデオ(141)からの音楽の音声サンプル(1210)による個人のビート(1230)のタイムスタンプと一致する場合、その特定のタイムスタンプとビート(1230)での正しいタイミング(1250)のルール(1241)は真である。
【0119】
処理された動画データアレイ(912)から抽出された(922)音声サンプル(1210)のビート(1230)および他の音楽情報は、ビート検出アルゴリズムおよび中央コンピューティングエンティティ(150)に格納される他の音楽情報検索ツール(1220)を使用して抽出される。
【0120】
タイミング分析比較(1240)のグラフ表示(500)の例を
図5に示す。抽出された(1220)ビート(1230)は、左右の圧力データ(510)上に配置される。
図5(510)のタイミングフィードバック(1250)は、特定の各タイムスタンプでのビート(1230)と動圧フィードバック結果(1242)の比較(1240)により評価される。
【0121】
個人のタイミング結果(1250)は、以下のステップ6で説明するフォーマットと表現に加えて、音楽の音声サンプル(1210)における総ビート数(1230)に対する、動画(141)の音楽の音声サンプル(1210)のビート(1230)の正しい同期されたダンス動作の数値比率として表すことができる。
【0122】
ステップ5.スマートデバイスへの転送結果
【0123】
上記の分析が中央コンピューティングエンティティ(150)によって実行された後、分析(940)結果(1320)は、フィードバック表示(710)のためにユーザーのスマートデバイスに、または通信チャネルを介したユーザーの移動結果(1320)へのアクセス権を有する他の任意のユーザーに転送される(1310)。インターネットなどの適切な通信システムについては、前述した。
【0124】
ステップ6.結果の表示
【0125】
図13は、本発明の動作分析システムの結果表示のための例示的なプロセス(1300)を示すフローチャートである。そして、
図7は、本発明の動作分析システムにより提供される動作フィードバック結果のサンプル表示(700)を示す。動作フィードバック分析(940)の結果(1320)が中央コンピューティングエンティティ(150)からユーザーの表示用スマートデバイス(710)に転送(1310)された後、
図7に示すように、表示用スマートデバイス(710)は結果(1320)をかりやすい形式で表示する(1330)。結果(1320)には、動作と音声フィードバック(723)のデータログのタイトル、タイムスタンプ、同期され、詳細で色分けされた注釈(731,723)、アニメーション(720,730)、コメント(734)などの情報が含まれ、動画(720)の上に重ねられたスクラバー(722)上に表示される。個人または個人の分析結果(1320)にアクセスできる他の個人は、個人の動作をよりよく理解するために、動画再生(721)とフィードバック結果(1320)、注釈(1320)、コメント(1320)の追加ビュー(1340,1350,1360)およびサブセット表示(732,1341)を選択し、戻る(740)ことで、動作を改善し、時間の経過に伴う個人の進行状況(1351)と、他の個人と比較した時間の経時的な進行状況(1361)を示すことができる。動作フィードバック分析(940)の結果(1320)は、表示用スマートデバイス(710)上にテキストおよびグラフィック形式で表示される(1330)。ユーザーの動作フィードバック結果(1320)にアクセスできる個人は、動作フィードバック結果(1320)の特定のタイムスタンプにコメント(733)を投稿することができる。また、フィードバック(1320)は、特定の結果を示す特定の色(731,723)として提示することができる。
【0126】
上記の分析ツールにより、物理的な動作分析と、適切な動作を学習するための全体的な学習プロセスが大幅に改善される。実際、同期信号を再生すると、ユーザーが自身の動作と提供されたフィードバックを視覚化できるという点で、貴重な教育ツールとなる。これらの信号の組み合わせにより、問題のある領域とその問題の程度の特定に関し、当て推量を避けられる。さらに、本発明は、多数の信号(動画、音声、モーションキャプチャ、圧力など)の組み合わせ、多数の表示オプションや多数の再生オプションを可能にするなど、学習プロセスにおいて多くの改善をもたらす。
【産業上の利用可能性】
【0127】
したがって、使用方法に関し、さらなる議論は提供しない。本発明の使用方法のさらなる議論に関しては、同様のことが上記の説明から明らかであるものとする。
【0128】
上記の説明に関して、比率および使用方法の変化を含む、本発明の構成要素の最適な関係性は、技術習得者に容易に明快かつ明白であると見なされることが理解されるものとする。
【0129】
したがって、前述の内容は、本発明の原理の例示にすぎないと見なされる。さらに、多くの修正および変更が技術習得者に容易に生じるため、本発明を、示され、説明された正確な組成および使用に限定することは望ましくなく、したがって、本発明の範囲内に入る、すべての適切な変更物および同等物に依拠することができる。
【0130】
下記は、本願の出願当初に記載の発明である。
<請求項1>
定量的な動作の評価のための動作分析システムであり、以下を構成する:
個人の動作中に動画、音声、圧力データ、モーションデータを記録およびキャプチャするためのデータキャプチャシステム。
キャプチャされた動画、モーションデータ、圧力データが、音声内の共通のタイムベースのタイムスタンプを使用して音声と同期され、そこでは同期された動画、音声、モーションデータ、圧力データが通信システムを介して転送される。
中央コンピューティングエンティティには以下を含む:
命令が格納されるメモリ。
保存された命令を実行し、次のように設定されたプロセッサ:
データベース内の通信システムから送信されたデータを受信する。
受信データの動作分析を行い、受信データをモデルデータと比較する。
結果に視覚データが含まれる動作分析結果を決定する。
結果をスマートデバイスに転送し、スマートデバイスの表示画面にその結果を表示する。
<請求項2>
プロセッサが受信した圧力データおよび受信した個人の動作の動画を利用し、動的な足圧を分析するように設定される、請求1に記載の動作分析システム。
<請求項3>
プロセッサが3次元慣性測定データ、反射マーカーデータ、個人の動作の受信動画を利用して回転動作を分析するように設定される、請求1に記載の動作分析システム。
<請求項4>
プロセッサが3次元慣性測定データ、反射マーカーデータ、個人の動作の受信動画を利用して屈曲および伸展動作を分析するように設定される、請求1に記載の動作分析システム。
<請求項5>
プロセッサが、3次元慣性測定データ、反射マーカーデータ、および個人の動作の受信動画を使用して、外転、内転、回旋動作を分析するように設定される、請求1に記載の動作分析システム。
<請求項6>
プロセッサが、3次元慣性測定データ、反射マーカーデータ、および個人の動作の受信動画を利用して、背屈および足底屈の動作を分析するように設定される、請求1に記載の動作分析システム。
<請求項7>
プロセッサが、3次元慣性測定データ、反射マーカーデータ、個人の動作の受信動画を利用して、回外および回内動作を分析するようにされる、請求1に記載の動作分析システム。
<請求項8>
プロセッサが、3次元慣性測定データ、反射マーカーデータ、個人の動作の受信動画を利用して、伸展、収縮、下降、上昇、上回転、下回転動作を分析するように設定される、請求1に記載の動作分析システム。
<請求項9>
プロセッサが、3次元慣性測定データ、反射マーカーデータ、個人の動作の受信動画を利用して、反転および反転動作を分析するように設定される、請求1に記載の動作分析システム。
<請求項10>
プロセッサが、受信動画でキャプチャされた音声と同期された圧力データ、3次元慣性測定データ、反射マーカーデータを利用してタイミングを分析するように設定される、請求1に記載の動作分析システム。
<請求項11>
プロセッサが、受信した個人の動作の動画の上に重ねられた動作のフィードバック結果の、同期され、詳細で、色分けされたグラフィックおよびテキストの注釈、アニメーション、コメントの視覚的表示のためのデータ生成を含む動作評価を実行するように設定される、請求1に記載の動作分析システム。
<請求項12>
動作評価が個人のデータログの情報に関するコメントを含む、請求11に記載の動作分析システム。
<請求項13>
動作評価が経時的な個人の進歩を視覚的に表示するためのデータ生成を含む、請求11に記載の動作分析システム。
<請求項14>
動作評価が個人のフィードバック分析の各カテゴリの数値スコアの視覚的表示を含む、請求項11に記載の動作分析システム。
<請求項15>
動作評価が個人のフィードバック分析の各カテゴリの数値スコアの視覚的表示を含む、請求11に記載の動作分析システム。
<請求項16>
動作評価が少なくとも2人の個人のフィードバック分析の各カテゴリの数値スコアを比較する視覚的表示を含む、請求11に記載の動作分析システム。
<請求項17>
プロセッサが、結果が表示される第2のスマートデバイスに個人の動作フィードバックを通信するように設定される、請求1に記載の動作分析システム。
<請求項18>
動作評価が個人の動作フィードバック結果にアクセスできるユーザーにより、入力デバイスを使用して作成されたコメントを含む、請求12に記載の動作分析システム。
<請求項19>
以下のステップを含む、定量的な動作評価を提供するための動作分析方法:
(a)個人の運動トレーニング中の動画、圧力データ、モーションデータの記録とキャプチャ。
(b)音声の共通タイムベースのタイムスタンプを使用した、キャプチャされた動画、圧力データ、モーションデータの音声との同期。
(c)収集されたデータの通信システムを介した中央コンピューティングエンティティへの転送。
(d)転送されたデータの中央コンピューティングエンティティデータベースにおける受信。
(e)転送されたデータを使用した個人の動作分析の実施。ここで、動作分析は以下を含む:
受信し、同期された足圧データポイントとモデル足圧データポイントの比較。
回転動作の分析。
タイミング分析。
(f)動作分析結果の決定。
(g)結果のスマートデバイスへの通信。
(h)スマートデバイスのディスプレイモニターへの結果表示。
<請求項20>
動作分析結果の決定。
結果のスマートデバイスへの通信。
スマートデバイスのディスプレイモニターへの結果表示。
動作分析の結果が受信した個人の動画の上に重ねられた動作フィードバック結果の、同期され、詳細で、色分けされたグラフィックおよびテキストの注釈、アニメーション、コメントの視覚的表示のためのデータ生成を含む、請求19に記載の動作分析方法つの動作。
【国際調査報告】