特表 2024-534962 アクティビティを実行するためにユーザを訓練するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-26

(54)【発明の名称】アクティビティを実行するためにユーザを訓練するための方法およびシステム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20240918BHJP

   A63B 71/06 20060101ALI20240918BHJP

   G06N 20/00 20190101ALI20240918BHJP

【ＦＩ】

A63B69/00 A

A63B71/06 M

A63B69/00 C

G06N20/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024515360

(86)(22)【出願日】2022-08-25

(85)【翻訳文提出日】2024-05-01

(86)【国際出願番号】 IB2022057970

(87)【国際公開番号】W WO2023047212

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】17/467,381

(32)【優先日】2021-09-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524087002

【氏名又は名称】ラジーヴ トレハン

【氏名又は名称原語表記】ＴＲＥＨＡＮ， Ｒａｊｉｖ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100149249

【弁理士】

【氏名又は名称】田中 達也

(72)【発明者】

【氏名】ラジーヴ トレハン

(57)【要約】

本開示は、身体活動を行うようにユーザを訓練するための方法およびシステムに関する。本方法は、ユーザによって選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオをキャプチャすることと、活性選択肢に基づいてＡＩモデルを抽出することと、ユーザの現在の活性性能に基づいてユーザ性能パラメータのセットを決定するためにユーザのリアルタイムビデオをＡＩモデルによって、リアルタイムで処理することと、リアルタイムビデオ内のユーザをポーズ骨格モデルとオーバーレイすることと、ユーザ性能パラメータのセットをターゲット活性性能パラメータのセットと比較することと、ユーザ性能パラメータのセットとターゲット活性性能パラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することと、レンダリングデバイス上でフィードバックをレンダリングすることとを含む。
【選択図】図１Ｂ

【特許請求の範囲】

【請求項1】

身体活動を行うようにユーザを訓練するための方法であって、
レンダリング装置のグラフィカル・ユーザ・インターフェース（ＧＵＩ）を介して、複数の活性・タイプ・オプションの各々が、複数の活性を備える、複数の活性・タイプ・オプションをユーザにレンダリングすることと、
ユーザ入力に応答して複数の活性選択肢からユーザによって選択された活性選択肢を受信することであって、ユーザ入力が、ジェスチャ、タッチ、オーディオコマンド、または入力装置から生成された信号のうちの少なくとも１つを備える、受信することと、
少なくとも１つのカメラによって、選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオを捕捉することであって、少なくとも１つのカメラの各々が関連付けられた事前定義された角度からユーザのリアルタイムビデオを捕捉し、リアルタイムビデオが、活性を実行するためにユーザによって行われた姿勢および動きの気流を備える、捕捉することと、
ユーザによって選択された活性選択肢に基づいてＡＩモデルを抽出することであって、ＡＩモデルは、活性エキスパートのターゲット活性パフォーマンスに基づいて、活性選択肢に対応する活性に関連する複数の正しい動きからのユーザの偏差を決定するように構成される、抽出することと、
ユーザによって選択された活性選択肢に基づいてＡＩモデルを抽出することであって、ＡＩモデルは、活性エキスパートのターゲット活性パフォーマンスに基づいて、活性選択肢に対応する活性に関連する複数の正しい動きからのユーザの偏差を決定するように構成される、抽出することと、
ＡＩモデルによって、リアルタイムビデオ内のユーザにポーズ骨格モデルをオーバーレイし、ポーズ骨格モデルはアクティビティに基づく複数のキーポイントを備え、複数のキーポイントの各々はリアルタイムビデオ内のユーザの対応する関節の上にオーバーレイされることと、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットを、ターゲット活性パフォーマンスパラメータのセットは活性エキスパートに対応するターゲット活性パフォーマンスパラメータのセットと比較することと、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、フィードバックは是正措置または警告のうちの少なくとも１つを備え、フィードバックは視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを備える、ユーザについてのフィードバックを生成することと、
レンダリングはＡＩモデルによって、レンダリングデバイス上のフィードバックをレンダリングすることを含み、フィードバックをレンダリングすることと、
ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上の少なくとも１つの是正措置のうちの１つをオーバーレイすることと、
レンダリングデバイスのＧＵＩ上にアラートを表示することと、
スピーカを介してユーザに聴覚フィードバックを出力することと、を含む方法。

【請求項2】

前記リアルタイムビデオ内の前記ユーザを前記姿勢骨格モデルと重ね合わせることが、
レンダリングデバイスに対するユーザの現在の姿勢および推定された将来の距離、ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルを自動的に調整および正規化することを含む、請求項１に記載の方法。

【請求項3】

前記フィードバックはユーザの現在の姿勢を補正するための指示と、
ユーザの現在の姿勢に関連するユーザの動きを補正するための指示と、
ユーザが少なくとも部分的に少なくとも１つのカメラの視野の外側にいるとき、ユーザの現在位置を補正するための指示とを含む、
前記ユーザへの警告を生成することを含む、請求項２に記載の方法。

【請求項4】

前記レンダリングデバイスの前記ＧＵＩを通して、前記ユーザ性能パラメータのセット、前記ターゲット活性能パラメータのセット、および前記活エキスパートの前記ターゲット活性能を表示することをさらに備える、請求項１に記載の方法。

【請求項5】

前記リアルタイムビデオにおける前記ユーザの前記現在のアクティビティ性能にわたって前記ターゲットアクティビティ性能をリアルタイムでオーバーレイすることをさらに備える、請求項４に記載の方法。

【請求項6】

前記ユーザ性能パラメータのセットは前記現在の活性能の速度、終了した繰り返し回数、活回路の全体的な終了、サードパーティスマートデバイス情報、前記ユーザの脈拍数、前記ユーザの血圧、および前記ユーザの動きを含み、前記目標活性能パラメータのセットは、前記目標活性能の速度、反復の目標数、前記ユーザの目標脈拍数、および前記ユーザの目標運動を含む、請求項１に記載の方法。

【請求項7】

少なくとも１つのカメラを介してリアルタイムビデオをキャプチャする際に、活性エキスパートのターゲット活性性能に対応するトレーナーアバターと、ユーザの現在の活性性能に対応するユーザアバターとのうちの少なくとも１つをレンダリングすることであって、トレーナーアバターは活性エキスパートの３次元（３Ｄ）モデルであり、ユーザアバターは、ユーザの多次元モデルでレンダリングすることをさらに含む、
請求項１記載の方法。

【請求項8】

目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザーアバターの少なくとも一方と、アクティビティタイプおよびアクティビティに基づくユーザーの現在のアクティビティパフォーマンスとを比較することと、
前記レンダリングデバイスを介して、前記ＧＵＩを介して、前記ユーザーパフォーマンスパラメータのセット、前記目標アクティビティパフォーマンスに対応するトレーナーアバターおよび前記ユーザーアバターの少なくとも一方、ならびに前記ユーザーの現在のアクティビティパフォーマンスを表示するステップであって、前記現在のアクティビティパフォーマンスが、前記目標アクティビティパフォーマンスに対応するトレーナーアバターおよび前記ユーザーアバターの少なくとも一方の上にリアルタイムでオーバーレイ表示することとをさらに含む、
請求項7に記載の方法。

【請求項9】

前記少なくとも１つのカメラから受信されたリアルタイムビデオをデータベースに格納することと、
前記ユーザの１つ以上のユーザコマンドに基づいて前記リアルタイムビデオを編集するステップであって、前記ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または視覚ジェスチャのうちの少なくとも１つであり、前記１つ以上のユーザコマンドは、
リアルタイムビデオの開始点を設定することと、
リアルタイムビデオの終了点を設定することと、
リアルタイムビデオから背景を除去することと、
リアルタイムビデオに１つ以上のタグを割り当てること、および
リアルタイムビデオを他のユーザーと共有することのうちの少なくとも1つを含む、
請求項1に記載の方法。

【請求項10】

ユーザの現在の活性能に応じて、ターゲット活性能に対応する活エキスパートからリアルタイムビデオをリアルタイムで受信することと、
レンダリングデバイスを介してＧＵＩを通して、ユーザ性能パラメータのセットおよび活性エキスパートのターゲット活性性能をリアルタイムで表示することであって、ここで、ターゲット活性性能はリアルタイムビデオにおけるユーザの現在の活性性能にわたってオーバーレイされることと、ターゲットアクティビティ性能が、リアルタイムビデオ内のユーザの現在のアクティビティ性能の上にオーバーレイされることとを、さらに備える、
請求項１に記載の方法。

【請求項11】

現在の活性・パフォーマンスが比較に基づいて事前定義されたしきい値時間の事前定義されたしきい値パフォーマンスを超えてターゲット・活性・パフォーマンスから逸脱した場合に、ユーザー・パフォーマンス・パラメーターのセットとターゲット・活性・パフォーマンスの表示装置を一時停止することと、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいてユーザのためのフィードバックを生成することとをさらに含む、
請求項１に記載の方法。

【請求項12】

少なくとも１つのカメラを介してユーザの初期位置を検出することと、
検出されたユーザの初期位置が少なくとも１つの活性にマッピングされた初期位置と一致するかどうかを判定することと、
検出された初期位置が初期位置と一致しない場合に、初期位置を修正するようにユーザに指示することとをさらに含む、
請求項１記載の方法。

【請求項13】

前記ユーザコマンドは、音声コマンド、タッチジェスチャ、エアジェスチャ、アイジェスチャ、または入力装置によって生成された信号のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項14】

身体活動を実行するようにユーザを訓練するためのレンダリングデバイスであって、
ＧＵＩ(グラフィカルユーザインターフェース)を含む表示装置であって、前記ＧＵＩは
複数の活性型オプションをユーザにレンダリングし、複数の活性型オプションの各々は複数の活性を備え、ユーザ入力に応答して複数の活性オプションからユーザによって選択された活性オプションを受信し、ユーザ入力は、ジェスチャ、タッチ、オーディオコマンド、または
選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオをキャプチャするように構成された少なくとも１つのカメラであって、少なくとも１つのカメラの各々がユーザのリアルタイムビデオを、関連する事前定義された角度からキャプチャし、リアルタイムビデオが、活性を実行するためにユーザが行ったポーズと動きの気流を含む、カメラと、
プロセッサと、
プロセッサに通信的に結合されたメモリであって、プロセッサによって実行されたときにプロセッサを引き起こすプロセッサ命令を格納するメモリを備える、入力装置から生成された信号のうちの少なくとも１つを備え、
前記プロセッサは、ユーザによって選択された活性選択肢に基づいてＡＩモデルを抽出し、ＡＩモデルは、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連する複数の正しい動きからのユーザの偏差を決定するように構成され
ユーザの現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定するためにユーザのリアルタイムビデオをＡＩモデルによってリアルタイムで処理され、
オーバレイにより、ＡＩモデルにより、ポーズ骨格モデルを有するリアルタイムビデオ内のユーザはポーズ骨格モデルが活動に基づく複数のキーポイントを備え、複数のキーポイントの各々はリアルタイムビデオ内のユーザの対応するジョイントの上にオーバレイされ、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットを、ターゲット活性パフォーマンスパラメータのセットは活性エキスパートに対応するターゲット活性パフォーマンスパラメータのセットと比較し、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成し、フィードバックは是正措置または警告のうちの少なくとも１つを備え、フィードバックは視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを備え、
ＡＩモデルによって、レンダリングデバイス上のフィードバックをレンダリングし、ここで、フィードバックをレンダリングすることは、
ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上の少なくとも１つの是正措置のうちの１つのオーバーレイすることと、
レンダリングデバイスのGUI上にアラートを表示することと、
スピーカを介してユーザに聴覚フィードバックを出力することと、を含むレンダリングデバイス。

【請求項15】

前記リアルタイムビデオ内の前記ユーザを前記ポーズスケルタルモデルと重ね合わせるために、前記プロセッサ命令は実行時に、前記プロセッサにレンダリング装置に対するユーザの現在の姿勢および推定された将来の距離と、ユーザの現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデルを自動的に調整および正規化することを含み、
フィードバックはユーザの現在の姿勢を補正するための指示と、
ユーザの現在の姿勢に関連するユーザの動きを補正するための指示と、ユーザが少なくとも部分的に少なくとも１つのカメラの視野の外側にいるとき、ユーザの現在位置を補正するための指示と、を含むユーザへの警告を生成することを含む、
請求項１４に記載のレンダリングデバイス。

【請求項16】

前記プロセッサ命令は、前記プロセッサにレンダリングデバイスのＧＵＩを通して、ユーザ性能パラメータのセット、ターゲット活性能パラメータのセット、および活エキスパートのターゲット活性能を表示することと、
リアルタイムビデオにおけるユーザの現在のアクティビティパフォーマンスに対するターゲットアクティビティパフォーマンスのリアルタイムオーバーレイとを実行させる、
請求項１４に記載のレンダリングデバイス。

【請求項17】

前記プロセッサ命令は、実行時に、前記プロセッサに、
少なくとも1つのカメラを介してリアルタイムビデオをキャプチャする際に、活動エキスパートの目標活動パフォーマンスに対応するトレーナーアバターおよびユーザの現在の活動パフォーマンスに対応するユーザアバターの少なくとも一方をレンダリングすることであって、トレーナーアバターは活動エキスパートの３次元（３Ｄ）モデルであり、ユーザアバターはユーザの多次元モデルである、レンダリングすることと、
目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザーアバターの少なくとも一方を、アクティビティタイプおよびアクティビティに基づいて、ユーザーの現在のアクティビティパフォーマンスと比較することと、
レンダリングデバイスを介して、ＧＵＩを介して、ユーザパフォーマンスパラメータセット、目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザアバターの少なくとも一方、ならびにユーザの現在のアクティビティパフォーマンスを表示するステップであって、現在のアクティビティパフォーマンスが、目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザアバターの少なくとも一方の上にリアルタイムでオーバーレイ表示されることを行わせる、請求項１４に記載のレンダリングデバイス。

【請求項18】

プロセッサ命令が、実行時に、プロセッサに、
前記少なくとも１つのカメラから受信されたリアルタイムビデオをデータベースに格納することと、
前記ユーザの１つまたは複数のユーザコマンドに基づいて前記リアルタイムビデオを編集するステップであって、前記ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または視覚ジェスチャのうちの少なくとも１つであり、前記１つまたは複数のユーザコマンドは、
リアルタイムビデオの開始点を設定すること、
リアルタイムビデオの終了点を設定すること、
リアルタイムビデオから背景を除去すること、
リアルタイムビデオに１つ以上のタグを割り当てること、および
リアルタイムビデオを他のユーザーと共有することのうちの少なくとも１つを含む、ステップとを行わせる、請求項１４に記載のレンダリングデバイス。

【請求項19】

前記プロセッサ命令は、実行時に、前記プロセッサに、
ユーザの現在の活動パフォーマンスに応答して、目標活動パフォーマンスに対応する活動エキスパートからリアルタイムビデオをリアルタイムで受信することと、
前記レンダリングデバイスを介して、前記ＧＵＩを介して、前記ユーザパフォーマンスパラメータセットおよび前記アクティビティエキスパートの前記目標アクティビティパフォーマンスをリアルタイムで表示し、前記目標アクティビティパフォーマンスは、前記リアルタイムビデオ内の前記ユーザの現在のアクティビティパフォーマンスの上にオーバーレイ表示することを実行させる、請求項１４に記載のレンダリング装置。

【請求項20】

前記プロセッサ命令は実行時に、前記プロセッサに、
少なくとも１つのカメラを介して、ユーザの初期位置を検出することと、
検出されたユーザの初期位置が少なくとも１つの活性にマッピングされた初期位置と一致するかどうかを決定することと、
検出された初期位置が初期位置と一致しない場合、初期位置を修正するようにユーザに指示することを実行させる、請求項１４に記載のレンダリングデバイス。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は２０２０年９月４日に出願された米国仮出願第６３／０７４５３９号に対する３５Ｕ．Ｓ．Ｃ§１１９（ｅ）に基づく優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は一般に、活性トレーニングに関し、より詳細には、身体活性を実行するようにユーザをトレーニングするための方法およびシステムに関する。

【背景技術】

【0003】

急速な都市化と急速な生活の時代において、多くの場所で、人々は、身体的幸福のために日常的な時間を割くこと、および適切なワーク・ライフ・バランスを見つけることを困難にすることがある。さらに、パンデミック時にはロックダウンが課せられると、体育館や駐車場は通常、公衆のアクセスのために閉鎖される。そのような場合、人が家でトレーニングすることがはるかに便利である。

【0004】

多くのエクササイズマシンおよび訓練方法は、ユーザによって所望される能力、目標、および特定の訓練方法に基づいて、調整可能なパラメータ設定を用いて監視および構成される。しかしながら、最良の結果のために、および筋肉損傷、損傷の可能性を低減するために、多くの運動は、運動ルーチン中のユーザによる複雑な動作の正確な性能、および重量または力抵抗の熟練した調整を必要とする。

【0005】

従来のワークアウトマシンに関連する欠点は、使用される設定パラメータと、ワークアウトセッション中の経時変化とが異なり得ることである。別の欠点は、エクササイズマシンが以前に入力されたカスタマイズ設定またはプリファレンスを記憶していないことである。別の問題は、ワークアウト履歴が保存されないことである。また、従来のエクササイズマシンは、すべてのユーザに適切ではない場合がある、事前に構成されたプログラムのセットを含む場合がある。従来のエクササイズマシンに関連する別の問題は、その事前に構成されたプログラムが姿勢、身体の動き、および他の部分などの他のパラメータを考慮しないことである。

【0006】

さらに、多くてもジムには、典型的には適切な姿勢および移動を考慮するために、人が彼らの姿勢および移動を見て確認または調整することを可能にするミラーのセットが存在する。しかしながら、人が姿勢および運動を分析する専門家を有していない限り、人は、不適切な姿勢および運動で動作し得、潜在的な傷害をもたらし得る。さらに、エクササイズトレーナーは、エクササイズ中は毎回存在することができない。また、トレーナーはグループエクササイズを行っている間、すべてのエクササイズ担当者を同時に監視し、案内することができない。さらに、ほとんどの場合、トレーナーは、運動者を動機付け／奨励するために利用することができない。

【0007】

さらに、センサは人体に関する様々な情報を記録することが知られている。例えば、筋電図（ＥＭＧ）電極は、人の筋肉によって生成される電気的活動を測定することができる。同様に、人の動き／動きを記録する動きセンサがある。したがって、個々の訓練に関連して、特に、自己訓練または個々的訓練または遠隔訓練に関連して、現在の技術は、コーチング／訓練エンティティが個々のコーチング／訓練中の個々の生理学的状態を監視すること、および／または個々のための運動レジメンを個々化されたリアルタイム方式で効率的に管理することを可能にしない。個人は、性能向上に関して個人化されたニーズを有し得るので、システムが生理学的状態を考慮することによって、測定基準および命令を自動的に調整することが望ましい。

【0008】

一方、エクササイズ／フィットネスのモニタリング及び評価、エクササイズ配列のマッチング、配列のカウント、インストラクターの存在を通じたエクササイズのリアルタイム進行の追跡は時間がかかる可能性があり、結果の信頼性はインストラクターの主観的評価基準に従って低い可能性があるので、このような問題を解決するためにビデオディスプレイ、人工知能（ＡＩ）、及び拡張現実（ＡＲ）技術を使用することは有益である。

【0009】

したがって、ユーザの姿勢および体動を追跡し、運動を表示および管理するための対話型レンダリングデバイスをさらに提供するためのセンサを使用する対話型エクササイズマシンは、多くのユーザにとって健康およびフィットネスの観点から非常に望ましい。フィットネスに加えて、インタラクティブレンダリングデバイスは様々な他のシナリオ、例えば、リハブ、理学療法、ヨガ、ダンス、劇場、及び、落ち着き及び観察に関するフィードバックが重要である他の活動においても望ましい場合がある。

【発明の概要】

【0010】

一実施形態では、身体活動を行うようにユーザを訓練するための方法が開示される。一例では、方法がレンダリングデバイスのグラフィカルユーザインターフェース（ＧＵＩ）を介して、複数のアクティビティタイプオプションをユーザにレンダリングすることを含む。複数の活性タイプオプションの各々は、複数の活性を含む。本方法は、ユーザ入力に応答して、複数の活性選択肢からユーザによって選択された活性選択肢を受信することをさらに含む。ユーザ入力は、ジェスチャ、タッチ、またはオーディオコマンドのうちの少なくとも１つを含む。本方法は、少なくとも１つのカメラによって、選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオを捕捉することをさらに含む。少なくとも１つのカメラの各々は、関連する所定の角度からユーザのリアルタイムビデオをキャプチャする。リアルタイムビデオは、アクティビティを実行するためにユーザによって行われる姿勢および動きの気流を含む。本方法は、ユーザによって選択された活性選択肢に基づいてＡＩモデルを抽出することをさらに含む。ＡＩモデルは、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連付けられた複数の正しい動きからのユーザの偏差を決定するように構成される。本方法はユーザの現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定するために、ＡＩモデルによってユーザのリアルタイムビデオをリアルタイムで処理することをさらに含む。本方法は、ＡＩモデルによって、リアルタイムビデオ内のユーザをポーズ骨格モデルと重ね合わせることをさらに含む。姿勢骨格モデルは、活動に基づく複数のキーポイントを含む。複数のキーポイントの各々は、リアルタイムビデオにおいてユーザの対応するジョイントの上にオーバーレイされる。本方法は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較することをさらに含む。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。本方法は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することをさらに含む。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。本方法は、ＡＩモデルによって、レンダリングデバイス上でフィードバックをレンダリングすることをさらに含む。フィードバックをレンダリングすることは、ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含む。フィードバックをレンダリングすることは、レンダリングデバイスのＧＵＩ上にアラートを表示することをさらに含む。フィードバックをレンダリングすることは、スピーカを介してユーザに聴覚フィードバックを出力することをさらに含む。

【0011】

一実施形態では、身体活動を実行するようにユーザを訓練するためのレンダリングデバイスが開示される。一例では、レンダリングデバイスは表示装置を含む。表示装置は、複数の活動タイプオプションをユーザにレンダリングするように構成されたＧＵＩを含む。複数の活性タイプオプションの各々は、複数の活性を含む。ＧＵＩは、ユーザ入力に応答して、複数の活性選択肢からユーザによって選択された活性選択肢を受信するようにさらに構成される。ユーザ入力は、ジェスチャ、タッチ、またはオーディオコマンドのうちの少なくとも１つを含む。レンダリングデバイスは、選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオをキャプチャするように構成された少なくとも１つのカメラをさらに含む。少なくとも１つのカメラの各々は、関連する所定の角度からユーザのリアルタイムビデオをキャプチャする。リアルタイムビデオは、アクティビティを実行するためにユーザによって行われる姿勢および動きの気流を含む。レンダリングデバイスは、プロセッサと、プロセッサに通信可能に結合されたメモリとをさらに含む。メモリはプロセッサ命令を格納し、プロセッサ命令はプロセッサによって実行されると、プロセッサに、ユーザによって選択された活性選択肢に基づいてＡＩモデルを抽出させる。ＡＩモデルは、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連付けられた複数の正しい動きからのユーザの偏差を決定するように構成される。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、ユーザの現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定するために、ユーザのリアルタイムビデオをＡＩモデルによってリアルタイムで処理させる。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、ＡＩモデルによって、リアルタイムビデオ内のユーザをポーズ骨格モデルと重ね合わせさせる。姿勢骨格モデルは、活動に基づく複数のキーポイントを含む。複数のキーポイントの各々は、リアルタイムビデオにおいてユーザの対応するジョイントの上にオーバーレイされる。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較させる。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。プロセッサ実行可能命令は実行時に、さらに、プロセッサに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザのためのフィードバックを生成させる。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、ＡＩモデルによって、レンダリングデバイス上のフィードバックをレンダリングさせる。フィードバックをレンダリングすることは、ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含む。フィードバックをレンダリングすることは、レンダリングデバイスのＧＵＩ上にアラートを表示することをさらに含む。フィードバックをレンダリングすることは、スピーカを介してユーザに聴覚フィードバックを出力することをさらに含む。

【0012】

当然ながら、上記の一般的記載と下記の詳細な記載単に例示的かつ説明的なものであり、主張されているように発明を制限するものではない。

【図面の簡単な説明】

【0013】

本開示に組み込まれ、本開示の一部を構成する添付の図面は例示的な実施形態を示し、説明と共に、開示された原理を説明するのに役立つ。

【図1】図１Ａ～１Ｅは、いくつかの実施形態による、身体活動を実行するようにユーザを訓練するための例示的なレンダリングデバイスのブロック図を示す。

【図2】いくつかの実施形態による、身体活動を実行するようにユーザを訓練するための例示的なシステムの機能ブロック図を示す。

【図3】図３Ａおよび図３Ｂは、いくつかの実施形態による、身体活動を行うようにユーザを訓練するための例示的なプロセスの流れ図を示す。

【図4】いくつかの実施形態による、ユーザの初期位置を補正するための例示的なプロセスの流れ図を示す。

【図5】いくつかの実施形態による、ターゲットアクティビティ性能に対応するトレーナアバターと、ユーザの現在のアクティビティ性能に対応するユーザアバターとを比較するための例示的なプロセスのフロー図を示す。

【図6】いくつかの実施形態による、複数のエクササイズを表示する例示的なグラフィカルユーザインターフェース（ＧＵＩ）を示す。

【図7】いくつかの実施形態による、フィットネスアプリケーションのホームページを表示する例示的なＧＵＩを示す。

【図8】いくつかの実施形態による、エクササイズパラメータを表示する例示的ＧＵＩを図示する。

【図9】いくつかの実施形態による、ユーザの現在の活動パフォーマンスおよび姿勢骨格モデルを表示する例示的なＧＵＩを示す。

【図10】いくつかの実施形態による、ユーザの現在の活動パフォーマンスおよび姿勢骨格モデルを表示する例示的なＧＵＩを示す。

【図11】いくつかの実施形態による、ユーザの現在の活動パフォーマンスおよび姿勢骨格モデルを表示する例示的なＧＵＩを示す。

【図12】本開示と一致する実施形態を実装するための例示的なコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0014】

添付の図面を参照して、例示的な実施形態を説明する。便宜上、図面全体を通して、同じまたは同様の部分を指すために同じ参照番号が使用される。開示される原理の例および特徴が本明細書で説明されるが、開示される実施形態の趣旨および範囲から逸脱することなく、修正、適応、および他の実装形態が可能である。以下の詳細な説明は例示的なものに過ぎないと見なされ、真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

【0015】

ここで図１Ａ～Ｅを参照すると、いくつかの実施形態による、身体活動を実行するようにユーザ１０２を訓練するための例示的なレンダリングデバイス１００が示されている。一例として、レンダリングデバイスはスマートテレビジョン（ＴＶ）、デスクトップ、ラップトップ、パーソナルコンピュータ、スマートフォン、スマートミラー、音声アシスタント、または任意のコンピューティング装置を含み得るが、これらに限定されない。例示的なシナリオでは、ユーザ１０２が部屋１０４内のレンダリングデバイス１００を使用することができる。部屋１０４は例えば、体育館、理学療法施設、リハブ施設、ヨガ撮影所、ダンス撮影所、ドジョ、武道センター、劇場コーチングセンターなどの一部であってもよい。体育館は、複数のユーザの活動パフォーマンスを分析するように構成された複数のスマートミラーを含むことができる。さらに別の実施形態では、レンダリングデバイス１００が屋外環境（たとえば、公園）で使用され得る。いくつかの実施形態では、レンダリングデバイス１００がリハブまたは理学療法を受けている患者の進行を監視するために使用され得る。

【0016】

レンダリングデバイス１００は、表示装置１０６と、少なくとも１つのカメラ１０８と、少なくとも１つの外部カメラ１１０と、１つまたは複数のプロセッサ（図示せず）と、１つまたは複数のプロセッサと通信可能に結合された記憶部（図示せず）とを含み得る。表示装置１０６は、グラフィカルユーザインターフェース（ＧＵＩ）を含むことができる。少なくとも１つのカメラ１０８は、スマートミラー１００の中心、縁部に沿って、または底部に配置され得ることに留意されたい。レンダリングデバイス１００は、少なくとも１つのカメラ１０８および少なくとも１つの外部カメラ１１０によってキャプチャされたリアルタイムビデオを使用して、リアルタイムで身体活動を実行するようにユーザを訓練することができる。

【0017】

図２～図１１に関連してより詳細に説明するように、レンダリング装置１００は、レンダリング装置のグラフィカルユーザインターフェース（ＧＵＩ）を介して、複数のアクティビティタイプオプションをユーザにレンダリングする。複数の活性タイプオプションの各々は、複数の活性を含む。レンダリングデバイス１００は、ユーザ入力に応答して、複数の活性選択肢からユーザによって選択された活性選択肢をさらに受信する。ユーザ入力は、ジェスチャ、タッチ、またはオーディオコマンドのうちの少なくとも１つを含む。レンダリングデバイス１００はさらに、少なくとも１つのカメラによって、選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオを捕捉する。少なくとも１つのカメラの各々は、関連する所定の角度からユーザのリアルタイムビデオをキャプチャする。リアルタイムビデオは、アクティビティを実行するためにユーザによって行われる姿勢および動きの気流を含む。レンダリングデバイス１００は、ユーザによって選択された活性選択肢に基づいて、ＡＩモデルをさらに抽出する。ＡＩモデルは、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連付けられた複数の正しい動きからのユーザの偏差を決定するように構成される。レンダリングデバイス１００はさらに、ＡＩモデルによって、ユーザのリアルタイムビデオをリアルタイムで処理して、ユーザの現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定する。レンダリングデバイス１００はさらに、ＡＩモデルによって、リアルタイムビデオ内のユーザをポーズ骨格モデルでオーバーレイする。姿勢骨格モデルは、活動に基づく複数のキーポイントを含む。複数のキーポイントの各々は、リアルタイムビデオにおいてユーザの対応するジョイントの上にオーバーレイされる。レンダリングデバイス１００はさらに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較する。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。レンダリングデバイス１００はさらに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザのためのフィードバックを生成する。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。さらに、レンダリング装置１００はＡＩモデルにより、レンダリング装置に対するフィードバックをレンダリングする。フィードバックをレンダリングすることは、ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含む。フィードバックをレンダリングすることは、レンダリングデバイスのＧＵＩ上にアラートを表示することをさらに含む。フィードバックをレンダリングすることは、スピーカを介してユーザに聴覚フィードバックを出力することをさらに含む。

【0018】

メモリは、ＡＩモデルを含むことができる。さらに、メモリは本開示の態様に従って、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、ユーザ１０２にリアルタイムで身体活動を実行するように訓練させる命令を記憶し得る。メモリはまた、レンダリングデバイス１００によってキャプチャ、処理、および／または要求され得る様々なデータ（たとえば、リアルタイムビデオＡＩモデルデータ、複数の活性型、複数の活性、リアルタイムビデオ、ユーザパフォーマンスパラメータのセット、ターゲット活性パフォーマンスデータなど）を記憶し得る。

【0019】

レンダリングデバイス１００は、表示装置１０６を介してアクセス可能なＧＵＩを介してユーザ１０２と対話することができる。一例として、ディスプレイ１０６は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）バックライトＬＣＤ、薄膜トランジスタ(ＴＦＴ)ＬＣＤ、ＬＥＤディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機ＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、プラズマディスプレイパネル（ＰＤＰ）ディスプレイ、量子ドットＬＥＤ（ＱＬＥＤ）ディスプレイなどであり得る。レンダリングデバイス１００はまた、１つまたは複数の外部機器（図示せず）を含み得る。いくつかの実施形態では、レンダリングデバイス１００が様々なデータを送信または受信するために、通信ネットワーク（たとえば、ユニバーサルシリアルバス（ＵＳＢ）データケーブル、高精細マルチメディアインタフェース（ＨＤＭＩ）ケーブル、ワイヤレス忠実度（Ｗｉ－Ｆｉ）、光忠実度（Ｌｉ－Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および他の同様の通信ネットワーク）を介して１つまたは複数の外部機器と対話し得る。外部デバイスはリモートサーバ、デジタルデバイス、または別のコンピューティングシステムを含み得るが、これらに限定されない。

【0020】

ＧＵＩは、ユーザ１０２に対して複数の活動型をレンダリングする。複数の活性型の各々は、複数の活性を含む。ユーザ１０２は複数の活性型から活性型を選択し、ユーザコマンドを介して活性型に関連付けられた複数の活性から活性を選択することができる。さらに、レンダリングデバイス１００は、アクティビティを開始する。ＧＵＩは、活性エキスパートに対応するターゲット活性能１１２を画面上に表示する。ターゲット活性能１１２は、活性エキスパートのビデオ記録、活性エキスパートの３次元（３Ｄ）モデル、２次元（２Ｄ）モデル、または活性エキスパートの４次元（４Ｄ）であってもよい。ユーザ１０２は、現在のアクティビティ性能でターゲットアクティビティ性能１１２をフォローすることができる。表示装置１０６は、ユーザ１０２の現在の活動パフォーマンスのリアルタイムビデオを示す。

【0021】

さらに、少なくとも１つのカメラ１０８および少なくとも１つの外部カメラ１１０は、ユーザ１０２の現在の活動パフォーマンスに関連付けられたリアルタイムビデオを捕捉する。少なくとも１つの外部カメラ１１０はユーザ１０２の頭部の姿勢、動き、視線、および方位の判定の精度を高める。加えて、少なくとも１つのカメラ１０８は、ユーザ１０２の顔認識のために使用され得る。ユーザ１０２に対応する顔データは、ユーザプロファイルに関連付けられる。ユーザプロファイルはデータベースに記憶され、履歴、カスタム設定、活性エキスパートからのメッセージ、プロファイルデータ、および他の同様のデータなどであるが、これらに限定されない、電流および履歴ユーザデータに関連付けられ得る。

【0022】

また、レンダリング装置１００は、ユーザ１０２により選択された活性選択肢に基づいて、ＡＩモデルを抽出する。ＡＩモデルは、活性エキスパートのターゲット活性性能１１２に基づいて、活性選択肢に対応する活性に関連する複数の正しい動きからのユーザ１０２の偏差を決定するように構成される。さらに、ＡＩモデルはリアルタイムビデオを受信し、リアルタイムビデオを処理して、ユーザ１０２の現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定する。一実施形態では、レンダリングデバイス１００がユーザ１０２の頭部の推定された将来の方位に基づいて、ある角度で自動的に調整するように構成される。例えば、ユーザ１０２が横たわった位置で現在の活動を実行しているとき、レンダリングデバイス１００は、現在の活動パフォーマンスの即興追跡を提供するために約９０度回転することができる。

【0023】

さらに、ＡＩモデルは、リアルタイムビデオ内のユーザ１０２をポーズ骨格モデル１１４と重ね合わせる。いくつかの構成では、ＡＩモデルがＡＩ予測モデルであり得る。ある実施形態では、姿勢骨格モデル１１４がユーザ１０２の推定された将来の姿勢および運動に基づいて決定され得る。姿勢骨格モデル１１４は、活性タイプおよび活性に基づいて、複数のキーポイントを含む。複数のキーポイントの各々は、ユーザ１０２の継手に対応する。加えて、複数のキーポイントは、ユーザ１０２の骨を表す線と接続されて、姿勢骨格モデル１１４を完成させることができる。

【0024】

レンダリングデバイス１００の表示装置１０６は、ユーザ１０２のリアルタイムビデオの上にオーバーレイされた姿勢骨格モデル１１４と、ユーザ１０２のリアルタイムビデオ上にオーバーレイされた活性エキスパートのターゲット活性パフォーマンス１１２と、現在の活性パフォーマンスに関連するユーザパフォーマンスパラメータのセットと、ターゲット活性パフォーマンス１１２に関連するターゲット活性パラメータのセットとを示す。ポーズ骨格モデル１１４は、レンダリングデバイス１００に対するユーザ１０２の推定された将来の距離と、ユーザ１０２の推定された将来のポーズおよび運動とに基づいて、ユーザ１０２のリアルタイムビデオに対して自動的に調整および正規化されることに留意されたい。いくつかの実施形態では、ポーズ骨格モデル１１４の透明性がユーザ１０２によって調整可能であり得る。一実施形態では、姿勢骨格モデル１１４が完全に透明であり、ユーザ１０２にとって不可視である。そのような実施形態では、姿勢骨格モデル１１４が計算目的のためだけにＡＩモデルによって使用され得る。

【0025】

ＡＩモデルは、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較する。さらに、ＡＩモデルは、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザ１０２に対するフィードバックを生成する。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つであってもよい。さらに、ＡＩモデルはフィードバックをレンダリングする。レンダリングは、ユーザ１０２のリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル１１４上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含み得る。さらに、レンダリングは、レンダリングデバイス１００のＧＵＩ上にアラートを表示することを含むことができる。さらに、レンダリングは、レンダリングデバイス１００で構成されたスピーカを介して、ユーザ１０２に聴覚フィードバックを出力することを含み得る。フィードバックはユーザ１０２が少なくとも１つのカメラ１０８の視野外に少なくとも部分的にあるとき、ユーザ１０２の現在の姿勢を修正するための指示、ユーザ１０２の現在の姿勢に関連するユーザの動きを修正するための指示、およびユーザ１０２の現在の位置を修正するための指示を含む、ユーザ１０２への警告を生成することを含み得る。

【0026】

図１Ａでは、ユーザ１０２が表示装置１０６上に示されるように、目標活性能１１２に従う。例示的なシナリオではユーザ１０２の現在の活性能、および関連する姿勢骨格モデル１１４は活エキスパートのターゲット活性能１１２に従う。活性エキスパートのターゲット活性性能１１２は、ユーザ１０２のリアルタイムビデオと完全に重複する。そのようなシナリオでは、レンダリングデバイス１００が現在の活性能がターゲット活性能１１２に従っている限り、ターゲット活性能１１２を表示し続けることができる。いくつかの実施形態では、レンダリングデバイス１００がターゲットアクティビティ性能１１２に従って現在のアクティビティ性能を維持することをユーザ１０２に促す動機付けオーディオメッセージを出力することができる。

【0027】

別の例示的なシナリオでは、ユーザ１０２が表示装置１０６上に示されるように、ターゲットアクティビティ性能１１２を正確にたどることができない。ユーザ１０２の現在の活性能、および関連する姿勢骨格モデル１１４は、活エキスパートのターゲット活性能１１２からの偏差を示す。そのようなシナリオでは、レンダリングデバイス１００が現在のアクティビティ性能がターゲットアクティビティ性能１１２に従っていることを保証するために、ユーザ１０２のためのフィードバックを生成し得る。現在のアクティビティ性能の偏差が所定の閾値性能を上回り、所定の閾値時間にわたって継続するとき、レンダリングデバイス１００は、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能１１２の表示装置を一時停止することができる。

【0028】

図１Ｂでは、ユーザ１０２が表示装置１０６上に示されるように、目標活性能１１２に従う。一実施形態では、ターゲットアクティビティ性能１１２が表示装置１０６の左上の挿入フレームに表示される。例示的なシナリオではユーザ１０２の現在の活動パフォーマンスのリアルタイムビデオ１１６、および関連する姿勢骨格モデル１１４は活動エキスパートのターゲット活動パフォーマンス１１２に従う。活性エキスパートのターゲット活性性能１１２は、ユーザ１０２のリアルタイムビデオ１１６と完全に重複する。そのようなシナリオでは、レンダリングデバイス１００が現在の活性能がターゲット活性能１１２に従っている限り、ターゲット活性能１１２を表示し続けることができる。いくつかの実施形態では、レンダリングデバイス１００がターゲットアクティビティ性能１１２に従って現在のアクティビティ性能を維持することをユーザ１０２に促す動機付けオーディオメッセージを出力することができる。

【0029】

別の例示的なシナリオでは、ユーザ１０２が表示装置１０６上に示されるように、ターゲットアクティビティ性能１１２を正確にたどることができない。ユーザ１０２の現在の活性能のリアルタイムビデオ１１６、および関連する姿勢骨格モデル１１４は、活エキスパートのターゲット活性能１１２からの偏差を示す。そのようなシナリオでは、レンダリングデバイス１００が現在のアクティビティ性能がターゲットアクティビティ性能１１２に従っていることを保証するために、ユーザ１０２のためのフィードバックを生成し得る。現在のアクティビティ性能の偏差が所定の閾値性能を上回り、所定の閾値時間にわたって継続するとき、レンダリングデバイス１００は、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能１１２の表示装置を一時停止することができる。

【0030】

図１Ｃにおいて、レンダリングデバイス１００の正面図は表示装置１０６上に示されるように、ユーザ１０２が目標活動パフォーマンス１１２に従うときに示される。ユーザ１０２の現在の活動パフォーマンスに対応するリアルタイムビデオは、少なくとも１つのカメラ１０８によってリアルタイムでキャプチャされ得る。さらに、レンダリングデバイス１００のＡＩモデルはリアルタイムビデオを処理し、姿勢骨格モデル１１４を生成し得る。例示的なシナリオでは、ユーザ１０２の現在の活性能はターゲット活性能１１２に従い、レンダリングデバイス１００は現在の活性能がターゲット活性能１１２に従う限り、ターゲット活性能１１２を表示し続けることができる。いくつかの実施形態では、レンダリングデバイス１００がターゲットアクティビティ性能１１２に従って現在のアクティビティ性能を維持することをユーザ１０２に促す動機付けオーディオメッセージを出力することができる。

【0031】

別の例示的なシナリオでは、ユーザ１０２が表示装置１０６上に示されるように、ターゲットアクティビティ性能１１２を正確にたどることができない。ユーザ１０２の現在の活性能が、所定の性能閾値を上回る目標活性能１１２から逸脱すると、レンダリングデバイス１００は現在の活性能が目標活性能１１２に従っていることを確実にするために、ユーザ１０２に対するフィードバック（ビデオ、グラフィカル、聴覚、または触覚）を生成することができる。現在のアクティビティ性能の偏差が所定の閾値性能を上回り、所定の閾値時間にわたって継続するとき、レンダリングデバイス１００は、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能１１２の表示装置を一時停止することができる。

【0032】

図１Ｄでは、レンダリングデバイス１００がリアルタイムで同時に身体活動を実行するように、ユーザ１０２およびユーザ１１８の各々を訓練する。レンダリングデバイス１００は、複数のユーザの各々の活性能を同時に分析することができることに留意されたい。例えば、レンダリングデバイス１００は、家庭の家族、ジムメンバー、リハブ治療および／または病院での理学療法を受けている患者などによって共有され得る。ユーザ１０２の現在の活動パフォーマンスは、ユーザ１１８の現在の活動パフォーマンスとは異なる。レンダリングデバイス１００は、ユーザ１０２およびユーザ１１８の各々によって選択された活動に対応する目標活動パフォーマンスを表示する。また、レンダリング装置１００は、ユーザ１０２及びユーザ１１８のリアルタイム映像に重畳された姿勢骨格モデルを表示することができる。いくつかの実施形態では、レンダリングデバイス１００がユーザ１０２およびユーザ１１８の各々のリアルタイムビデオ上にオーバーレイされた目標活動パフォーマンスを表示する。いくつかの実施形態では、レンダリングデバイス１００が表示装置１０６上の挿入フレームにターゲット活動パフォーマンスを表示する。代替として、レンダリングデバイス１００は複数のユーザ（例えば、ユーザ１０２およびユーザ１１８）の各々のための複数のディスプレイまたは画面を含み得る。そのようなレンダリングデバイス１００内の単一のディスプレイまたは画面は、一度に１人のユーザによって使用され得る。

【0033】

図１Ｅにおいて、レンダリングデバイス１００はユーザ１０２の活動パフォーマンスを分析し、スマートミラー１２０は、ユーザ１１８の活動パフォーマンスを分析する。スマートミラー１２０は、カメラ及びＧＵＩを含む。スマートミラー１２０の機能は、レンダリングデバイス１００と同様である。レンダリング装置１００はユーザ１０２に対応するリアルタイムビデオを表示し、スマートミラー１２０は、ユーザ１１８に対応する反射又はリアルタイムビデオを表示する。スマートミラー１２０は、レンダリングデバイス１００と通信可能に結合され得る。一実施形態では、複数のデバイス（レンダリングデバイス１００およびスマートミラー１２０など）の組み合わせは複数のユーザのための公共環境（たとえば、体育館または公園）で使用され得る。

【0034】

ここで図２を参照すると、いくつかの実施形態による、リアルタイムで身体活動を実行するようにユーザ２０２を訓練するための例示的なシステム２００の機能ブロック図が示されている。システム２００は、レンダリングデバイス２０４を含む。いくつかの実施形態では、システム２００のレンダリング装置２０４がレンダリング装置１００に類似している。レンダリングデバイス２０４は、表示装置２０６と、カメラ２０８と、マイクロフォン２１０と、スピーカ２１２と、プロセッサ２１４と、メモリ２１６とを含む。メモリ２１６は、ＧＵＩモジュール２１８と、ＡＩモデル２２０と、データベース２２２とを含む。１つまたは複数のウェアラブルセンサ２２４は、ユーザ２０２によって装着され得る。一例として、１つまたは複数のウェアラブルセンサ２２４は、心電図（ＥＣＧ）センサ、脳波（ＥＥＧ）センサ、筋電図（ＥＭＧ）センサ、パルスオキシメータなどを含む。１つまたは複数のウェアラブルセンサ２２４の各々は、通信ネットワークを介してレンダリングデバイス２０４と通信可能に結合される。さらに、レンダリングデバイス２０４は１つまたは複数の内蔵センサ（たとえば、近接センサ、オーディオセンサ、光検出および測距（ＬＩＤＡＲ）センサ、赤外線（ＩＲ）センサ、および他のモーションベースのセンサ）を含み、ユーザ２０２のために処理および分析され得る追加のデータを受信し得る。

【0035】

さらに、表示装置２０６は、ユーザ２０２のリアルタイムビデオを表示するように構成される。ＧＵＩモジュール２１８は、表示装置２０６を介してユーザ２０２にアクセス可能である。ＧＵＩモジュール２１８は、複数の活動型をユーザ２０２に提供する。一例として、複数の活動型は限定されるものではないが、身体運動、指導されたメディテーション、ヨガ、理学療法、花配列、オリガミ、ダンス、劇場、演技芸術、武術、スピーチセラピー、リハビリ、描画、描画、理学療法およびリハビリテーションの任意の形態、クロスフィット、レスミルズ、Ｆ４５、ザンバ、ビクラムヨガ、オレンジ理論などを含むことができる。複数の活性型の各々は、複数の活性を含む。ユーザ２０２は、ユーザコマンドを介して、複数の活性型からの活性型と、活性型に関連付けられた複数の活性からの活性とのうちの少なくとも１つを選択し得る。ユーザコマンドは（マイクロフォン２１０を介して受信される）音声コマンド、タッチジェスチャ、エアジェスチャ、アイジェスチャ、または入力装置（たとえば、マウス、タッチパッド、スタイラス、キーボード、関連する接続されたデバイスまたはコントローラ（ゲームコントローラなど）など）によって生成される信号のうちの少なくとも１つ得る。レンダリングデバイス２０４は複数のユーザを同時に処理するために、複数のディスプレイおよび複数のカメラを含み得る。

【0036】

さらに、カメラ２０８は、活性タイプおよび活性に対応するユーザ２０２の現在の活性性能のリアルタイムビデオをリアルタイムで取り込む。いくつかの実施形態では、レンダリングデバイス２０４が１つまたは複数の追加のカメラ（少なくとも１つの外部カメラ１１０など）を含み得る。カメラ２０８から受信したリアルタイムビデオは、データベース２２２に格納される。いくつかの実施形態では、ユーザが１つまたは複数のユーザコマンドに基づいてリアルタイムビデオを編集することができる。ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または表示ジェスチャのうちの少なくとも１ち得る。１つまたは複数のユーザコマンドは、リアルタイムビデオの開始点を設定すること、リアルタイムビデオの終了点を設定すること、リアルタイムビデオから背景を除去すること、リアルタイムビデオに１つまたは複数のタグを割り当てること、および他のユーザのセットとリアルタイムビデオを共有することのうちの少なくとも１つを含む。

【0037】

さらに、レンダリングデバイス２０４は、ユーザ２０２によって選択された活性選択肢に基づいて、ＡＩモデル２２０を抽出することができる。ＡＩモデル２２０は、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連付けられた複数の正しい動きからのユーザ２０２の偏差を決定するように構成される。さらに、ＡＩモデル２２０はプロセッサ２１４を介してカメラ２０８からリアルタイムビデオを受信し、リアルタイムビデオを処理して、ユーザ２０２の現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定する。

【0038】

さらに、ＡＩモデル２２０はリアルタイムビデオ内のユーザ２０２をポーズ骨格モデル（例えば、ポーズ骨格モデル１１４）と重ね合わせる。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、リアルタイムビデオにおけるユーザ２０２の継手または特徴に対応する。加えて、複数のキーポイントはポーズ骨格モデルを完成させるために、ユーザ２０２の骨を表す線と接続され得る。一実施形態では、ユーザ２０２の３Ｄレンダリングが姿勢骨格モデルとして生成され得る。ポーズ骨格モデルは、レンダリングデバイス２０４に対するユーザ２０２の電流ポーズおよび推定された将来の距離および視聴位置、電流ポーズおよび推定された将来の視野、ならびにユーザ２０２の電流ポーズおよび推定された将来のポーズおよび動きに基づいて、ユーザ２０２のリアルタイムビデオに対して自動的に調整され、正規化されることに留意されたい。いくつかの実施形態では、ポーズ骨格モデル１１４の透明性がユーザ２０２によって調整可能であり得る。一実施形態では、姿勢骨格モデルが完全に透明であり、ユーザ２０２には不可視である。そのような実施形態では、姿勢骨格モデルが計算目的のためだけにＡＩモデル２２０によって使用され得る。

【0039】

ＡＩモデル２２０は、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較する。さらに、ユーザに対するフィードバックは、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ポーズおよびＡＩ偏差処理を介して生成される。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つであってもよい。さらに、ＡＩモデル２２０は、フィードバックをレンダリングする。レンダリングは、レンダリングデバイス２０４上のユーザ２０２のリアルタイムビデオ上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含み得る。さらに、レンダリングは、レンダリングデバイス２０４のＧＵＩ上にアラートを表示することを含むことができる。さらに、レンダリングは、スピーカ２１２を介してユーザ２０２に聴覚フィードバックを出力することを含むことができる。一実施形態では、スピーカ２１２がユーザ２０２により個人化されたトレーニング経験を提供する指向性スピーカであってもよい。いくつかの実施形態では、システム２００が部屋の別領域に設置された複数のスピーカ（例えば、ホームシアターシステム）を含む。いくつかの実施形態では、レンダリングデバイス２０４がＢｌｕｅｔｏｏｔｈヘッドセットまたはスピーカを介してオーディオフィードバックを出力するように構成される。フィードバックはユーザ２０２が少なくとも部分的にカメラ２０８の視野外にあるとき、ユーザ２０２の現在の姿勢を補正するための指示、ユーザ２０２の現在の姿勢に関連するユーザの動きを補正するための指示、およびユーザ２０２の現在の位置を補正するための指示を含む、ユーザ２０２への警告を生成することを含み得る。いくつかの実施形態では、ＡＩモデル２２０がリアルタイムで身体活動を実行するようにユーザを訓練するための上記ステップを実行するように組み合わせて機能する複数のサブモジュールを含むことができる。一実施形態では、レンダリングデバイス２０４のＡＩモデル２２０がユーザ２０２のパフォーマンスデータに基づいて活動の提案を提供するための提案エンジンを含むことができる。一例として、パフォーマンスデータは、実行されたエクササイズ、実行された回路、エクササイズの継続時間、活性パフォーマンス、個人目標、ユーザプロファイル、年齢、体重、ボディマスインデックス（ＢＭＩ）などを含むことができる。

【0040】

レンダリングデバイス２０４は現在の活性能がターゲット活性能に従う限り、ターゲット活性能を表示し続けてもよい。しかしながら、ユーザ２０２の現在の活性能、および関連するポーズ骨格モデルが活エキスパートのターゲット活性能からの逸脱を示すとき、レンダリングデバイス２０４は現在の活性能がターゲット活性能に従っていることを保証するために、ユーザ２０２のためのフィードバックを生成し得る。現在のアクティビティ性能の偏差が所定閾値性能を上回り、所定閾値時間にわたって継続するとき、レンダリングデバイス２０４は、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能の表示装置を一時停止することができる。

【0041】

理解され得るように、ユーザ１０２によって実行されている活動に基づくフィードバックは、是正措置を実行するための命令に限定されなくてもよい。フィードバックはまた、生体計測フィードバックまたは警告、たとえば、ユーザ１０２の脈拍数または心拍、ユーザ１０２の体温、筋肉の痙攣、瞳孔拡張、および他の同様の健康問題のうちの１つまたは複数における任意の不規則性または問題を含み得る。いくつかの実施形態では、フィードバックがアクティビティを実行している間、またはアクティビティの完了後にユーザ１０２に提供されるモチベーションまたは励ましの形態であり得る。一例として、オーディオフィードバックの形成では、「素晴らしい仕事」、「素晴らしい」、「素晴らしい行動」、「完璧に行われた」、「プロのように行われた」、「あなたが最高である」、「私が見た最高である」などのメッセージ、および他の同様のメッセージがユーザ１０２に提供され得る。拍手、歓声、または各種感嘆の音も、フィードバックとしてユーザ１０２に提供され得る。これらのメッセージはメッセージがレンダリングデバイス１００のＧＵＩ上にテキスト形式で表示され得るように、視覚的フィードバックの形成で提供されてもよい。加えて、または代替として、グラフィック要素、たとえば、破裂クラッカー、飛行バルーン、スタジアムクラウドの音、またはチェアリーダー、インストラクター、有名人（たとえば、Kai Greene、Phil Health、Ronnie Coleman、Arnold、および他の有名なパーソナリティ）のアバターも、ユーザ１０２に表示され得る。いくつかの構成では、ユーザによって実行されるアクティビティのゲーム化および報酬メカニズムもまた、ユーザに提供されるフィードバックとして使用され得る。そのようなフィードバックの結果として、ユーザ１０２は、絶えず動機付けされ得、サイロで任意の所与の活性を行っていると感じないことがある。

【0042】

いくつかの構成では、ユーザ１０２はまた、様々な活動に関連する目標を設定することが可能であり得る。そのような場合、フィードバックは、ユーザ１０２によって達成された目標の割合に関するステータスを含むことができる。

【0043】

いくつかの実施形態ではユーザ１０２に自身の個人スマートフォンデバイス、すなわち、サードパーティスマートフォンデバイス上でフィードバックを提供するために、レンダリングデバイス１００はオープンアプリケーションプログラミングインタフェース（ＡＰＩ）を用いて構成され得、それはそのような統合をシームレスに可能にし得る。さらに、サードパーティスマートデバイスから受信されたデータはまた、オープンＡＰＩを介してレンダリングデバイス１００に取り込まれてもよく、視覚的要素（グラフまたはチャートなど）、言語およびオーディオキュー、または触覚キューを使用して、レンダリングデバイス１００を介してユーザ１０２にさらに提供されてもよい。データはまた、サードパーティのスマートデバイスによって生成された警告および警告に対応し得る。一例として、ユーザ１０２の血圧を感知するように構成されたスマートウォッチは、高血圧を有するユーザ１０２に関するデータをレンダリングデバイス１００に送信することができる。したがって、レンダリングデバイス１００は、メッセージ「あなたの血圧が高すぎ、リラックスして破断する」をユーザ１０２に口頭または視覚的にレンダリングすることができる。したがって、レンダリングデバイス１００は、フィードバックの照合器およびすべてのフィードバックを見るための単一点スマートデバイスとして働くことができる。言い換えれば、スマートミラー１００はそれ自体でフィードバックを生成し、他のスマートデバイスからのフィードバックも受信するので、レンダリングデバイス１００はすべてのフィードバックを同化し、それを精緻化し、それをレンダリングデバイス１００を介してユーザ１０２に提示する。したがって、ユーザは、様々なタイプのフィードバックを受信するために複数のデバイスに頼る必要がない。

【0044】

さらに、ユーザ１０２は、様々なソーシャルネットワーク上で、またはスマートミラー１００を使用することもできる他のリモートユーザと活動パフォーマンスを友人と共有することを望むことができる。この目的のために、レンダリングデバイス１００は、ソーシャルメディアアプリケーションとの様々な統合を用いて構成され得る。これらのソーシャルメディアアプリケーションの実例はＦＡＣＥＢＯＯＫ（登録商標）、ＷＨＡＴＳＡＰＰ（登録商標）、ＹＯＵＴＵＢＥ（登録商標）、および／またはＩＮＳＴＡＧＲＡＭ（登録商標）を含み得るが、これらに限定されない。いくつかの実施形態では、スマートミラー１００が既にインストールされているこれらのソーシャルメディアアプリケーションを有することができる。また、レンダリング装置１００に特有であり、他のレンダリング装置１００および／またはスマートミラーのユーザのみを接続するように構成されたソーシャルメディアアプリケーションがあってもよい。

【0045】

したがって、これらのソーシャルメディアアプリケーションとの統合によって、ユーザパフォーマンスは、これらのソーシャルメディアプラットフォームのうちの１つまたは複数に投稿および公開され得、他のユーザがアクセスするためのオンラインコンテンツとして利用可能にされ得る。前述の報酬メカニズムはまた、ソーシャルメディアプラットフォーム上で共有媒体使用され得る。いくつかの構成では、ユーザ活動に関連するスコアがスマートミラー１００および／または表示装置２００を使用する様々なユーザのためのポイントとして、リーダーボード上に提示され得る。バッジはまた、それらによって実行されるアクティビティのレベルに基づいて様々なユーザに割り当てられてもよく、ソーシャルメディアプラットフォーム上に表示されてもよい。加えて、実行されたエクササイズに関連する記録も表示され得る。さらに、活動のために様々なユーザによって設定された目標および目標のそれぞれの割合終了も、ソーシャルメディアプラットフォーム上に表示され得る。理解され得るように、ユーザに提供されるフィードバックはまた、リアルタイムで接続され得る友人、社会的円、およびクラスを含む、社会的メディア上のユーザのグループ内で共有され得る。

【0046】

いくつかの実施形態では、レンダリングデバイス２０４がスピーカ２１２を介して、音声形態のユーザ２０２のための音声メッセージ（音声形態のレップの数、ユーザ２０２への聴覚フィードバック、新しい成果、個人的最良、他のユーザからのメッセージ、広告、課題、誤差、警告など）を生成することができる。オーディオメッセージを生成するとき、音声出力のタイミングおよび持続時間が重要であり得ることに留意されたい。たとえば、ユーザ２０２が高速で運動しているとき、オーディオメッセージのいくつかは、生成前に陳腐化することがある。さらに、オーディオメッセージのいくつかは、反復的になり、不自然になることがある。さらに、オーディオメッセージのいくつかは、より高い優先度（たとえば、警告およびエラー）のものであり得る。そのようなシナリオでは、オーディオメッセージが優先待ち行列に基づく機構を介して生成され得る。一実施形態では、オーディオメッセージがより自然な対話を生成するために、ＡＩベースのアプローチを使用することができる。ＡＩによるポーズおよびエクササイズマッチングはリモートサーバ上で実行されてもよく、キーポイントの認識はエッジノード上で実行されてもよいことに留意されたい。したがって、サーバへの重いビデオデータの転送を回避することができる。加えて、ポーズおよびエクササイズのマッチングがエンドエッジデバイス上で知られていないので、全体的なセキュリティが強化され得る。

【0047】

全てのそのようなモジュール２０６～２２４は、単一のモジュールまたは異なるモジュールの組合せとして表され得ることに留意されたい。さらに、当業者によって理解されるように、モジュール２０６～２２４の各々は全体的にまたは部分的に、互いに通信する１つのデバイスまたは複数のデバイス上に常駐し得る。いくつかの実施形態では、モジュール２０６～２２４の各々がカスタム特定用途向け集積回路（ＡＳＩＣ）またはゲートアレイを備える専用ハードウェア回路、論理チップなどの既製の半導体、トランジスタ、または他の個別構成要素として実装され得る。モジュール２０６～２２４の各々はまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのプログラム可能なハードウェアデバイスにおいて実装され得る。代替として、モジュール２０６～２２４の各々は様々なタイプのプロセッサ（たとえば、プロセッサ２１４）による実行のためのソフトウェアで実装され得る。実行可能コードの識別されたモジュールはたとえば、コンピュータ命令の１つまたは複数の物理ブロックまたは論理ブロックを含み得、コンピュータ命令はたとえば、目的、プロシージャ、機能、または他の構築物として編成され得る。それにもかかわらず、識別されたモジュールまたは構成要素の実行可能体は物理的に一緒に配置される必要はないが、論理的に一緒に結合されると、モジュールを含み、モジュールの指定された目的を達成する、異なる位置に記憶された異なる命令を含み得る。実際、実行可能コードのモジュールは単一の命令、または多くの命令とすることができ、いくつかの異なるコードセグメントにわたって、異なるアプリケーション間で、およびインターネット、クラウド、および並列のいくつかのメモリデバイスにわたって、分散させることさえできる。

【0048】

当業者によって理解されるように、身体活動を実行するためにユーザを訓練するために、様々なプロセスが使用され得る。たとえば、例示的なシステム２００および関連するレンダリングデバイス２０４は、本明細書で説明するプロセスによって身体活動をリアルタイムで実行するようにユーザを訓練することができる。特に、当業者によって理解されるように、本明細書で説明される技術および工程を実行するための制御ロジックおよび／または自動ルーチンは、ハードウェア、ソフトウェア（ニューラルネットワークまたは他の計算モデルなど）、またはハードウェアとソフトウェアとの組合せのいずれかによって、システム２００および関連するレンダリングデバイス２０４によって実装され得る。例えば、好適なコードは、レンダリングデバイス２０４上の１つまたは複数のプロセッサによってアクセスされ、実行されて、本明細書で説明する技術の一部または全部を実行することができる。同様に、本明細書で説明するプロセスの一部または全部を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）は、レンダリングデバイス２０４上の１つまたは複数のプロセッサに含まれ得る。

【0049】

ここで図３Ａおよび図３Ｂを参照すると、いくつかの実施形態による、身体活動を実行するようにユーザを訓練するための例示的なプロセス３００が、フローチャートを介して示されている。一実施形態では、処理３００が部屋１０４内のレンダリングデバイス１００によって実装され得る。処理３００は、ステップ３０２において、レンダリングデバイスのグラフィカルユーザインターフェース（ＧＵＩ）を介して、ユーザに複数の活動タイプオプションをレンダリングすることを含む。複数の活性タイプオプションの各々は複数の活性を含み、一実施形態では、ＧＵＩがＧＵＩモジュール２１８を介して表示装置２０６上にレンダリングされ得る。

【0050】

さらに、処理３００は、ステップ３０４において、ユーザ入力に応答して複数の活性選択肢からユーザによって選択された活性選択肢を受信することを含む。ユーザ入力は、ジェスチャ、タッチ、オーディオコマンド、または入力装置（キーボード、マウス、スタイラス、グラフィックペンなど）によって生成される信号のうちの少なくとも１つを含む。一実施形態では、オーディオコマンドがマイクロフォン２１０によって受信され得る。

【0051】

さらに、処理３００はステップ３０６において、少なくとも１つのカメラ（例えば、少なくとも１つのカメラ１０８）によって、選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオを捕捉することを含む。少なくとも１つのカメラの各々は、関連する所定の角度からユーザのリアルタイムビデオをキャプチャする。リアルタイムビデオは、アクティビティを実行するためにユーザによって行われる姿勢および動きの気流を含む。いくつかの実施形態では、ユーザが１つまたは複数のユーザコマンドに基づいてリアルタイムビデオを編集することができる。ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または表示ジェスチャのうちの少なくとも１つからなる。一例として、１つまたは複数のユーザコマンドは、リアルタイムビデオの開始点を設定すること、リアルタイムビデオの終了点を設定すること、リアルタイムビデオから背景を除去すること、リアルタイムビデオに１つまたは複数のタグを割り当てること、およびリアルタイムビデオを活性エキスパートまたは他のユーザのセットと共有することのうちの少なくとも１つを含む。あるいは、活性エキスパートがユーザと共有されるべきターゲット活性性能に対応するリアルタイムビデオを記録および編集することができる。

【0052】

さらに、処理３００は、ステップ３０８において、ユーザによって選択された活性選択肢に基づいてＡＩモデル（ＡＩモデル２２０など）を抽出することを含む。ＡＩモデルは、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連付けられた複数の正しい動きからのユーザの偏差を決定するように構成される。さらに、プロセス３００はステップ３１０において、ユーザの現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定するために、ユーザのリアルタイムビデオをＡＩモデルによってリアルタイムで処理することを含む。

【0053】

さらに、処理３００はステップ３１２において、ＡＩモデルによって、リアルタイムビデオ内のユーザをポーズ骨格モデル（例えば、ポーズ骨格モデル１１４）と重ね合わせることを含む。姿勢骨格モデルは、活動に基づく複数のキーポイントを含む。複数のキーポイントの各々は、リアルタイムビデオにおいてユーザの対応するジョイントの上にオーバーレイされる。一実施形態では、ＡＩモデル２２０がユーザ２０２の現在の活動パフォーマンスに対応するリアルタイムビデオに基づいて姿勢骨格モデルを生成するように構成される。そのような実施形態では、ＡＩモデル２２０がリアルタイムでユーザ２０２の様々な継手または特徴を識別し、継手または特徴の各々に重要な点を割り当てるように構成される。いくつかの実施形態では、ＡＩモデル２２０がレンダリングデバイス２０４に対するユーザ２０２の将来の距離、ならびにユーザの将来の姿勢および運動を推定するように構成される。さらに、処理３００のステップ３１２は、ステップ３１４において、レンダリングデバイスに対するユーザの現在の姿勢および推定された将来の距離と、ユーザの現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデルを自動的に調整および正規化することを含む。

【0054】

さらに、処理３００は、ステップ３１６において、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較することを含む。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。一例として、ユーザ性能パラメータのセットは現在の活性能の速度、完了した繰り返し回数、活回路の全体的な完了、サードパーティスマートデバイス情報、ユーザの脈拍数、ユーザの血圧、およびユーザの動きを含むが、これらに限定されない。一例として、目標活動性能パラメータのセットは目標活動性能の速度、目標繰り返し回数、ユーザの目標脈拍数、及びユーザの目標運動を含むが、これらに限定されない。

【0055】

さらに、処理３００は、ステップ３１８において、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することを含む。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。フィードバックはユーザの現在の姿勢を修正するための指示と、ユーザの現在の姿勢に関連付けられたユーザの動きを修正するための指示と、ユーザが少なくとも部分的に少なくとも１つのカメラの視野の外側にあるとき、ユーザの現在の位置を修正するための指示とを含む、ユーザへの警告を生成することを含み得る。

【0056】

さらに、処理３００は、ステップ３２０において、ＡＩモデルによって、レンダリングデバイスに対するフィードバックをレンダリングすることを含む。さらに、処理３００のステップ３２０は、ステップ３２２において、ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含む。さらに、処理３００のステップ３２０は、ステップ３２４において、レンダリングデバイスのＧＵＩ上に警告を表示することを含む。さらに、処理３００のステップ３２０は、ステップ３２６において、スピーカを介してユーザに聴覚フィードバックを出力することを含む。

【0057】

いくつかの実施形態では、処理３００が現在の活性能が比較に基づいて事前定義された閾値時間の間、事前定義された閾値性能を上回る目標活性能から変化する場合に、一連のユーザ性能パラメータおよび目標活性能の表示装置を一時停止することを含む。さらに、そのような実施形態では、処理３００がＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することを含む。予め定義された閾値性能と予め定義された閾値時間とが相関されることに留意されたい。例えば、ユーザが短い時間隔の間、ターゲットアクティビティパフォーマンスからのアライメントが外れている場合でも、スマートミラー１００は、表示装置を一時停止してもよい。いくつかの実施形態では、ＡＩモデルがユーザのスキルレベルに基づいて、事前定義された閾値性能および事前定義された閾値時間の各々についての値を動的に決定する。いくつかの実施形態では、ＡＩモデルが性能および時間以外の様々なパラメータを使用することができる。

【0058】

さらに、処理３００は、工程３２８において、レンダリングデバイスのＧＵＩを通して、ユーザ性能パラメータのセット、ターゲット活性能パラメータのセット、および活エキスパートのターゲット活性能を表示することを含む。一実施形態では、リアルタイムビデオがユーザの現在の活性能に応答して、ターゲット活性能に対応する活エキスパートからリアルタイムで受信され得る。そのような実施形態では、ユーザ性能パラメータのセットおよび活性エキスパートの目標活性性能がレンダリングデバイスを介してＧＵＩを介してリアルタイムで表示される。ターゲットアクティビティ性能は、ユーザの現在のアクティビティ性能のリアルタイムビデオ上にオーバーレイされる。さらに、処理３００は、ステップ３３０において、リアルタイムビデオにおけるユーザの現在のアクティビティパフォーマンスに対するターゲットアクティビティパフォーマンスをリアルタイムでオーバーレイすることを含む。

【0059】

次に図４を参照すると、いくつかの実施形態による、ユーザの初期位置を補正するための例示的なプロセス４００が、フローチャートを介して示されている。一実施形態では、プロセス４００がレンダリングデバイス１００によって実装される。プロセス４００はステップ４０２において、少なくとも１つのカメラ（例えば、少なくとも１つのカメラ１０８）を介して、ユーザの初期位置を検出することを含む。さらに、プロセス４００は、ステップ４０４において、検出されたユーザの初期位置が少なくとも１つの活性にマッピングされた初期位置と一致するかどうかを決定することを含む。さらに、プロセス４００は、ステップ４０６において、検出された初期位置が初期位置と一致しない場合、初期位置を修正するようにユーザに指示することを含む。工程４０２～４０６は、ユーザの現在のアクティビティパフォーマンス全体にわたって反復的に実行され得ることに留意されたい。

【0060】

ここで図５を参照すると、いくつかの実施形態による、ターゲットアクティビティ性能に対応するトレーナアバターと、ユーザの現在のアクティビティ性能に対応するユーザアバターとを比較するための例示的なプロセス５００が、フローチャートを介して示されている。一実施形態では、処理５００がレンダリングデバイス１００によって実装される。処理５００は、ステップ５０２において、少なくとも１つのカメラを通してリアルタイムビデオをキャプチャすると、活性エキスパートの目標活性パフォーマンスに対応するトレーナーアバターと、ユーザの現在の活性パフォーマンスに対応するユーザアバターとのうちの少なくとも１つをレンダリングすることを含む。トレーナーアバターは活性エキスパートの３Dモデルであり、ユーザアバターは、ユーザの多次元モデルである。

【0061】

さらに、処理５００は、ステップ５０４において、目標活動パフォーマンスに対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つを、活動タイプおよび活動に基づいて、ユーザの現在の活動パフォーマンスと比較することを含む。さらに、処理５００は、ステップ５０６において、ユーザ性能パラメータのセット、目標活性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つ、ならびにレンダリングデバイスを介したＧＵＩを通じたユーザの現在の活性能を表示することを含む。現在のアクティビティ性能は、リアルタイムで、ターゲットアクティビティ性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つの上にオーバーレイされる。工程５０２～５０６は、ユーザの現在のアクティビティパフォーマンス全体にわたって反復的に実行され得ることに留意されたい。

【0062】

ここで図６を参照すると、いくつかの実施形態による、複数のエクササイズ６０２を表示する例示的なＧＵＩ６００が示されている。一実施形態によると、複数の運動６０２は限定されるものではないが、側部スクワット、肺側、スクワット側、バーピー側、プッシュアップ側、前部三頭筋頭頂部、プッシュアップ前部、ダンベルスクワットプレス、スクワット前部、および肺前部を含むことができる。複数のエクササイズ６０２の各々は複数の活性型６０４から選択された活性の型に基づいてフィルタリングされてもよいが、これに限定されない。一例として、複数の活動型６０４は「アーム」、「胸」、「ランジ」、「脚」、「クワッド」、「ショルダー」、「スクワット」、及び「三頭筋」を含むことができるが、これらに限定されない。複数のエクササイズ６０２は、ソート基準６０６のうちの１つに基づいてソートされ得る。一例として、分類基準６０６は新しいエクササイズ、実行された最新のエクササイズ、実行された最も頻繁なエクササイズ、およびエクササイズの継続時間を含むことができるが、これらに限定されない。ＧＵＩ６００は、フィットネスに限定されず、ユーザ要件およびユースケースに基づいてカスタマイズされ得ることに留意されたい。例えば、ＧＵＩ６００は、リハブの場合の特定の治療、ヨガのためのメディテーション、医療専門家によって推奨される理学療法などのための活動を含むことができる。

【0063】

ここで図７を参照すると、いくつかの実施形態による、フィットネスアプリケーションのホームページを表示する例示的なＧＵＩ７００が示されている。ＧＵＩ７００は、メニュー７０２、カスタマイズ７０４、および複数の言語７０６を含むことができる。一例として、メニュー７０２は「エクササイズ」、「回路」、「ダッシュボード」、「目標」、「接続」、および「カレンダー」などのユーザのための選択肢を含むことができるが、これらに限定されない。さらに、カスタマイズ７０４は、テーマカラーの選択肢をユーザに提供することができる。一例として、テーマカラーは青鋼板、ダーク鋼板、炭素、チャコール、パステルレディ、パステルガール、ゼオン、およびザナドであってもよいが、これらに限定されない。一例として、複数の言語７０６は英語、日本語、またはヒンディを含むことができるが、これらに限定されない。

【0064】

次に図８を参照すると、いくつかの実施形態による、エクササイズパラメータ８０２を表示する例示的なＧＵＩ８００が示されている。エクササイズのためのユーザ選択を受信すると、ＧＵＩ ８００は、エクササイズパラメータ８０２をユーザに要求することができる。一例として、エクササイズパラメータ８０２はレップの数、セットの数、間隔、およびエクササイズのレベル（例えば、初級者または上級者）を含み得るが、これらに限定されない。一実施形態では、予め定義されたパラメータグループ（ＣｒｏｓｓＦｉｔなど）をユーザに提供することができる。

【0065】

ここで図９を参照すると、いくつかの実施形態による、ユーザの現在の活動パフォーマンス９０２および姿勢骨格モデル９０４を表示する例示的なＧＵＩ９００が示されている。一実施形態では、ＧＵＩ９００がレンダリングデバイス（レンダリングデバイス１００など）によってユーザのリアルタイムビデオ上にオーバーレイされたユーザの姿勢骨格モデル９０４を表示することができる。さらに、ＧＵＩ９００は、活性エキスパートに対応するターゲット活性性能９０６を、表示装置の右下の挿入フレームに表示する。さらに、ＧＵＩ９００は、ユーザがエクササイズの準備をするためのメッセージ９０８を表示する。メッセージ９０８はまた、音声出力として提供され得る。さらに、ＧＵＩ９００はレップ／ステップカウンタ９１０、レップ数９１２、エクササイズ９１４、心拍数９１６、およびカロリー９１８などの、これらに限定されない、ユーザパフォーマンスパラメータのセットを表示する。ｒｅｐ／ｓｔｅｐカウンタ９１０は、ユーザが従うべきターゲットアクティビティパフォーマンスにおけるターゲットポーズのシーケンスであることに留意されたい。

【0066】

ここで図１０を参照すると、いくつかの実施形態による、ユーザの現在の活動パフォーマンス１００２および姿勢骨格モデル１００４を表示する例示的なＧＵＩ１０００が示されている。ユーザがメッセージ９０８を確認し、エクササイズのための初期ポーズに入ると、スマートミラーのＡＩモデル（例えば、レンダリングデバイス１００）は、初期ポーズが正しいかどうかを判定することができる。さらに、ＧＵＩ１０００は、エクササイズについてポーズが成功裏に認識されたことをユーザに示すメッセージ１００８を表示する。メッセージ１００８はまた、音声出力として提供され得る。ユーザはエクササイズを開始するために、テキスト、グラフィックス、ビジュアル、ハプティック、または音声出力を介して通知され得る。例示的なシナリオでは、ユーザの初期姿勢が正しくないとき、ターゲットアクティビティパフォーマンスからの逸脱がメッセージ（テキスト、グラフィックス、オーディオ、ビジュアル、またはハプティック）を介してユーザに提示される。

【0067】

ここで図１１を参照すると、いくつかの実施形態による、ユーザの現在の活動パフォーマンス１１０２を表示する例示的なＧＵＩ １１００が示されている。ユーザがエクササイズの実行を開始すると、ユーザの現在のアクティビティ性能１１０２に関連付けられたリアルタイムビデオが、スマートミラー（レンダリングデバイス１００など）のＡＩモデルによって分析される。現在の活性能１１０２のリアルタイムビデオは、活エキスパートのターゲット活性能１１０４と比較される。一例として、ＧＵＩ１１００は、レップ／ステップカウンタ、完了したレップのパーセンテージ、完了した運動のパーセンテージ、ユーザの心拍数、ユーザによって燃焼されたカロリー、または任意の他のユーザパフォーマンスパラメータを表示することができる。ユーザが初期ポーズから後続のポーズにうまく移動すると、ステップカウンタは値が「１」から「２」に変化し、ユーザが第２のステップに入っていることを示す。多くの活動は、複数のステップを有することに留意されたい。例えば、バーピーのレップは、８つのステップを有する。現在の活性能１１０２が、所定の閾値能を上回る目標活性能１１０４から逸脱すると、メッセージ１１０６がユーザのための是正措置と共にディスプレイ上に表示される（例えば、「背中をまっすぐにする」）。メッセージ１１０６はまた、オーディオ出力およびグラフィック表示として提供されてもよい。さらに、活性エキスパートのターゲット活性性能１１０４は、ユーザが現在の活性性能１１０２に従うために表示される。

【0068】

本開示のいくつかの実施形態は、体育館、リハブ、病院内の理学療法、ダンススタジオ、劇場、または任意の他のユースケースシナリオにおいて使用され得る。体育館は例えば、ユーザによる複数の活性を実行するための複数のエクササイズマシン及び機器を含むことができる。ユーザはレンダリングデバイス（たとえば、レンダリングデバイス１００）または任意の他の表示装置（たとえば、スマートミラー）を使用して、活性カテゴリから活性を選択することができ、活性に関連付けられた活性属性を対応して選択することができる。複数のカメラはユーザの活性をキャプチャすることができ、実行されている活性を改善するための関連する指示およびフィードバックをユーザに提供することができる。カメラはまた、ユーザを識別し、履歴、カスタマイズされた設定、トレーナからのメッセージ、プロファイルデータ、および他の同様のデータをユーザに提供するために、ユーザの顔認識のために使用され得る。体育館では、単一のレンダリングデバイスが複数のユーザにエクササイズトレーニングを提供するために、複数の画面およびＧＵＩを含み得る。さらに、レンダリングデバイス１００は、Ｂｌｕｅｔｏｏｔｈヘッドセットまたはスピーカを介してオーディオフィードバックを出力するように構成される。

【0069】

カメラは、ユーザが様々な活動を行うために１つの領域から又は１つの機械から別の機械に移動するときに体育館におけるユーザの活動を追跡及び記録するために使用されてもよい。レンダリングデバイス１００は、ユーザが体育館のあるエリアから別のエリアに移動することにつれて、カメラを使用するユーザの現在の進行を追跡することができる。カメラは、監視にわたってユーザのコンテキストおよび情報の連続性を可能にすることができる。体育館（または任意の他のユースケースシナリオ）は、パーソナルコーチ、トレーナー、体育活動エキスパート、理学療法士、作業療法士、身体教育教師、武道教師、ダンスおよび振付学、スポーツパーソナリティ、チームコーチ、ならびに健康およびフィットネスにおけるデモンストレーターおよび他のトレーナーなどの様々なタイプの活動エキスパートを有し得る。

【0070】

体育館で行われる活動およびユーザによって達成される目標は、体育館で実践している１人または複数の他のユーザと、または１人または複数の遠隔ユーザと、活動エキスパートまたはユーザによって共有され得る。

【0071】

加えて、ユーザパフォーマンスは、ソーシャルメディアプラットフォーム上で投稿および公開されてもよく、１人または複数のリモートユーザがアクセスするためのオンラインコンテンツとして利用可能にされてもよい。これは、ユーザによって実行されるアクティビティのゲーム化を介して、および報酬メカニズムを使用して行うことができる。ユーザ活動に関連するスコアは、点としてリーダーボード上に提示され得る。バッジは、実行されるアクティビティのレベルに基づいてユーザに割り当てられ得る。加えて、実行されたアクティビティに関連する記録は例えば、実行されたエクササイズの精度、総数、エクササイズ間の休憩などを含み得、１人以上のユーザに提供され得、レンダリング装置およびスマートミラー上に表示され得る。さらに、レンダリングデバイス１００は、ロック解除特徴、追加のアクティビティ、設計、および他の同様の特徴などの追加の特徴を含むことができる。

【0072】

一実施形態では、レンダリングデバイス１００がコンテンツメディアを作成するために使用することができ、例えば、ユーザの現在の健康状態、運動ルーチン、運動能力、およびソーシャルメディアプラットフォーム上のユーザについての以前の記録および獲得された報酬に関連する情報を含むコンテンツメディアを共有することができる。これは、レンダリングデバイス１００と統合されたアプリケーションプログラミングインターフェース（ＡＰＩ）を通して行われ得る。

【0073】

レンダリングデバイス１００は、新しいフィットネスコンテンツを作成するための記録ツールとして、および音声ベースの入力を介して受信されたユーザによって実行されるべきアクティビティのための関連する命令として使用され得る。さらに、体育館（または任意の他のユースケースシナリオ）で使用されるような表示装置およびスマートミラーの両方は、ユーザによって選択されている活動に関連する新しいコンテンツを編集およびレビューするために使用され得、活動エキスパートによってユーザのセッションをレビューするために使用され得る。さらに、レンダリング装置１００は、ユーザがレンダリング装置１００にログインすることができる健康およびフィットネスアプリケーションに接続することができる。健康およびフィットネスアプリケーション上で受信されるフィードバックは、社会的関与のためにソーシャルプラットフォーム上で共有され得、リーダーボードの形成で他の社会的に接続された当事者またはグループに活動関連データを提供し得る。

【0074】

さらに、レンダリングデバイス１００は、ユーザまたは活性エキスパートによって記録デバイスとして使用され得る。理解され得るように、レンダリングデバイス１００を使用するユーザおよび活性エキスパートは、スマートミラー上で、クロップ、ハイライト、音声の追加、音声テキストフィードバックを行うことができる。さらに、ユーザおよび活性エキスパートはスマートミラーで使用されるように、背景画像を追加または除去することを許可され得る。さらに、活性エキスパートは、メタデータ、命令、しきい値パラメータ、およびそれらの組合せを作成することができる。記録されたビデオは、他のユーザと共有することができる。さらに、レンダリングデバイスによって収集されたパラメータは、メタデータ、命令、しきい値パラメータ、およびそれらの組合せを作成するために処理され得る。

【0075】

レンダリングデバイス１００は、１つまたは複数のカメラおよび他の１つまたは複数のセンサを使用して、アクティビティの実行中にユーザの位置をキャプチャすることができる。ユーザによって実行されているアクティビティに基づくフィードバックは、ターゲットモーションのビデオなど、表示および他のメディアコンポーネントを減速させることに関連する命令に限定されず、メトロノームなど、拍動およびリズムオーディオキューなどの他のフィードバックを含むこともできる。正確かつタイムリーなフィードバックを生成するために、性能ガイダンスの手がかり、ターゲットの動き、媒体および音声およびオーディオのフィードバックを提供するために、ユーザの動きの緊密な結合が行われ得る。レンダリングデバイス１００はユーザの実際の移動とともに提供される媒体および情報をマッピングおよび同期させることができ、したがって、関連する対応するフィードバックを提供することができる。

【0076】

一実施形態では、ユーザが複数の活動カテゴリから活動をナビゲートし、選択し、スケジュールし、配列することを可能にするために、多言語音声ベースのインターフェースが提供され得る。音声ベースの入力はプレイリストを作成および保存し、メタデータをプレイリストに追加し、音声－文字機構および音声フィードバックを使用して、プレイリストおよびアクティビティにコメントを追加し、新しいアクティビティカテゴリを記録し、実行されるアクティビティを編集およびクリップし、ハッシュタグを用いてエクササイズをタグ付けし、例えば、エクササイズの型、筋肉群または難易度レベルをタグ付けし、エクササイズクリップを代替バージョンに置き換え、プレイリストおよびエクササイズを他のユーザと共有し、プレイリストを共有するときに別のユーザのためのメッセージを指示するために使用され得る。

【0077】

本開示のいくつかの実施形態は、ＡＩベースの健康およびフィットネスシステム訓練方法として実装され得る。本方法はユーザを検出することと、カメラを使用してユーザの姿勢および体動を決定することと、センサを使用して身体またはユーザの動き、動き、位置、および／または動きをさらに感知することと、スマートミラー上のユーザの姿勢決定および体動を通して運動を指向および監視することと、ユーザのミラー反射にわたって姿勢および動きをオーバーレイすることと、リアルタイムフィードバックを提供することと、活性エキスパートのビデオストリーム上に姿勢をオーバーレイすることと、トレーニングビデオおよびユーザと併せて姿勢位置を示すことと、リアルタイムで運動を追跡することと、自動再計算することと、運動シーケンスにおけるターゲット相関および精度と、グループ、友人、および他の人々へのリアルタイムソーシャルメディア共有とを含む。
代替の実施形態では、人工知能ベースの健康およびフィットネストレーニング方法がユーザの姿勢および体動を決定するためのカメラと、ユーザの音声命令を聴取するためのマイクロフォンと、ユーザの動きに関するフィードバックをユーザに提供するためのスピーカとを含み、それによって、方法はエクササイズ配列において、自動再計算のために、自動再計算のために、エクササイズをリアルタイムで追跡するためにユーザの姿勢および体動を決定することを提供する。

【0078】

一実施形態では、リアルタイムライブフィードバックが音声制御命令、運動のための命令に基づくビデオまたはテキストまたはグラフィック要素を含むビジュアル、スクリプト、運動の配列、および／または活動の実行中のユーザのパフォーマンスを使用して提供され得る。レンダリングデバイス１００は例えば、ユーザのアカウントアクセスに関連する詳細、ユーザのワークアウト履歴、およびユーザに関連する他の情報関連情報に関連する情報を含むことができる。レンダリングデバイス１００はユーザのポーズおよび体動を決定し、ユーザのミラーリフレクション上でユーザのポーズおよび動きをオーバーレイし、活性エキスパートのビデオストリーム上でポーズをオーバーレイし、トレーニングビデオおよびユーザと連動してポーズ位置を示すことができる。ＡＩモデルに基づいて、レンダリングデバイス１００は例えば、エクササイズ／アクティビティ、スクリプト、エクササイズのシーケンスおよび／またはエクササイズ中のユーザのパフォーマンスに関連する命令に基づいて、オーディオフィードバック／ビデオフィードバック／テキストフィードバック／グラフィックフィードバックを介して、ユーザにライブフィードバックを提供することができる。

【0079】

一実施形態では、案内ステップの効率的な表示および案内ステップに関連する視覚情報の配置のために、レンダリングデバイスの画面上に提示され得る。レンダリングデバイスＧＵＩはユーザの目の位置に基づいて調整されてもよく、その結果、情報はユーザのビデオストリームのキャプチャではなく、反射に適切に配置されるか、または何らかの固定された位置に配置される。

【0080】

さらに、スマートミラー上のユーザの姿勢および動きの３Dモデルが提供される。これは提供された３Dモデルを反射の上にオーバーレイすることを伴い、次いで、３Dモデルはスマートミラーを介した表示のための分析と共にレンダリングされ得る。理解され得るように、ミラーの長辺に沿った途中でユーザの姿勢および運動をキャプチャする１つまたは複数のカメラは、ユーザの姿勢のより良好なアスペクト比を可能にするために調整され得る。

【0081】

ビデオ記録は、分散された場所に配置された少なくとも１つのカメラを使用して作成することができる。レンダリングデバイス１００は、新しいトレーニングコンテンツを作成するための、活性エキスパート、理学療法士、教師、振付師によって後でレビューされるコンテンツを記録するための、および活性エキスパートまたはユーザのライブストリームのリアルタイム共有のための、記録デバイスを含み得る。

【0082】

また、理解されるように、上述の技法は、コンピュータまたはコントローラによって実施される、それらの処理を実施するための処理および装置の形成をとることができる。本開示はまた、フロッピーディスクドライブ（登録商標）ディスケット、ソリッドステートドライブ、ＣＤ－ＲＯＭ、ハードドライブ、または任意の他のコンピュータ可読記憶媒体などの有形媒体に具現化される命令を含むコンピュータプログラムコードの形成で具現化することができ、コンピュータプログラムコードがコンピュータまたはコントローラにロードされて実行されると、コンピュータは、本発明を実施するための装置になる。本開示はまた、例えば、記憶媒体に記憶されているか、コンピュータもしくはコントローラにロードされ、かつ／もしくは実行されているかどうか、または電気配線もしくはケーブルを介して、光ファイバを介して、もしくは電磁放射を介してなど、何らかの伝送媒体を介して伝送されているかどうかにかかわらず、コンピュータプログラムコードもしくは信号の形態で具現化されてもよく、コンピュータプログラムコードがコンピュータにロードされ、コンピュータによって実行されるとき、コンピュータは、本発明を実施するための装置になる。汎用マイクロプロセッサで実施されるとき、コンピュータ・プログラム・コードのセグメントが、特定の論理回路を作り出すようにマイクロプロセッサを構成する。

【0083】

開示される方法およびシステムは、パーソナルコンピュータ（ＰＣ）またはサーバコンピュータなどの従来のまたは汎用コンピュータシステム上で実装され得る。ここで図１２を参照すると、（例えば、ＳＩＭＤデバイス、クライアント装置、サーバデバイス、１つまたは複数のプロセッサなどとして）様々な実施形態のための処理機能を実装するために採用され得る例示的なコンピューティングシステム１２００が示されている。当業者は、他のコンピュータシステムまたはアーキテクチャを使用して本発明を実施する方法も認識するのであろう。コンピューティングシステム１２００はたとえば、デスクトップ、ラップトップ、携帯電話、パーソナルエンターテインメントデバイス、ＤＶＲなどのユーザ装置、または所与のアプリケーションもしくは環境に望ましいかもしくは適切であり得る任意の他の種類の特殊もしくは汎用コンピューティングデバイスを表し得る。コンピューティングシステム１２００は例えば、マイクロプロセッサ、マイクロコントローラ、または他の制御ロジックなどの特定目的処理エンジンを使用して実装され得るプロセッサ１２０２などの１つまたは複数のプロセッサを含み得る。この実施例では、プロセッサ１２０２がバス１２０４または他の通信媒体に接続される。いくつかの実施形態では、プロセッサ１２０２がテンソルプロセッサユニット（ＴＰＵ）、またはグラフィカルプロセッサユニット、またはカスタムプログラマブルソリューションフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装され得る、人工知能（ＡＩ）プロセッサであり得る。

【0084】

コンピューティングシステム１２００はまた、プロセッサ１２０２によって実行されるべき情報および命令を記憶するための、メモリ１２０６（メインメモリ）、たとえば、ランダムアクセスメモリ（ＲＡＭ）または他のダイナミックメモリを含み得る。記憶部１２０６はまた、プロセッサ１２０２によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。コンピューティングシステム１２００は同様に、プロセッサ１２０２のための静的情報および命令を記憶するための、バス１２０４に結合された読取り専用メモリ（「ＲＯＭ」）または他の静的記憶デバイスを含み得る。
コンピューティングシステム１２００はまた、例えば、媒体ドライブ１２１０およびリムーバブルストレージインターフェースを含むことができる記憶装置１２０８を含むことができる。メディアドライブ１２１０は、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、磁気テープＤＲＩＶＥ、ＳＤカードポート、ＵＳＢポート、マイクロＵＳＢ、光ディスクドライブ、ＣＤまたはＤＶＤドライブ（ＲまたはＲＷ）、または他のリムーバブルまたは固定メディアドライブなど、固定または取り外し可能記憶媒体をサポートするためのドライブまたは他の機構を含み得る。記憶媒体１２１２は例えば、ハードディスク、磁気テープ、フラッシュドライブ、または媒体ドライブ１２１０によって読み書きされる他の固定または取り外し可能媒体を含むことができる。これらの例が示すように、記憶媒体１２１２は、特定のコンピュータソフトウェアまたはデータを記憶したコンピュータ可読記憶媒体を含むことができる。

【0085】

代替実施形態では、記憶装置１２０８がコンピュータプログラムまたは他の命令もしくはデータがコンピューティングシステム１２００にロードされることを可能にするための他の同様の手段を含み得る。そのような手段は例えば、取り外し可能記憶ユニット１２１４と、プログラムカートリッジおよびカートリッジインターフェースなどの記憶ユニットインターフェース１２１６と、取り外し可能メモリ（例えば、フラッシュメモリまたは他の取り外し可能メモリモジュール）およびメモリスロットと、ソフトウェアおよびデータが取り外し可能記憶ユニット１２１４からコンピューティングシステム１２００に転送されることを可能にする他の取り外し可能記憶ユニットおよびインターフェースとを含み得る。

【0086】

コンピューティングシステム１２００はまた、通信インターフェース１２１８を含み得る。通信インターフェース１２１８は、ソフトウェアおよびデータがコンピューティングシステム１２００と外部機器との間で転送されることを可能にするために使用され得る。通信インターフェース１２１８の実施例はネットワークインターフェース（イーサネット（登録商標）または他のＮＩＣカードなど）、通信ポート（たとえば、ＵＳＢポート、マイクロＵＳＢポートなど）、近距離無線通信（ＮＦＣ）、および他の同様の通信インターフェースを含み得る。通信インターフェース１２１８を介して転送されるソフトウェアおよびデータは、電子、電磁気、光学、または通信インターフェース１２１８によって受信されることが可能な他の信号であり得る信号の形成である。これらの信号は、チャネル１２２０を介して通信インターフェース１２１８に提供される。チャネル１２２０は、信号を搬送し得、ワイヤレス媒体、ワイヤもしくはケーブル、光ファイバ、または他の通信媒体を使用して実装され得る。チャネル１２２０のいくつかの実施例は、電話回線、セルラー電話リンク、RFリンク、ブルートゥースリンク、ネットワークインターフェース、ローカルまたはワイドエリアネットワーク、および他の通信チャンネルを含み得る。

【0087】

コンピューティングシステム１２００は、入力／出力（Ｉ／Ｏ）装置１２２２をさらに含み得る。例としてはディスプレイ、キーパッド、マイクロフォン、オーディオスピーカ、振動モータ、ＬＥＤライト、および他の同様のＩ／Ｏ装置が挙げられるが、これらに限定されない。Ｉ／Ｏ装置１２２２はユーザからの入力を受信し、プロセッサ１２０２によって実行される計算の出力を表示することもできる。本明細書では、「コンピュータプログラム製品」および「コンピュータ可読媒体」という用語が一般に、たとえば、記憶部１２０６、記憶装置１２０８、リムーバブル記憶ユニット１２１４、またはチャネル１２２０上の信号などの媒体を指すために使用され得る。コンピュータ可読媒体のこれらおよび他の形態は、実行のために１つまたは複数の命令の１つまたは複数の配列をプロセッサ１２０２に提供することに関与し得る。一般に「コンピュータプログラムコード」（コンピュータプログラムまたは他のグループの形態でグループ化され得る）と呼ばれるそのような命令は、実行されると、コンピューティングシステム１２００が本発明の実施形態の特徴または機能を実行することを可能にする。

【0088】

要素がソフトウェアを使用して実装される実施形態では、ソフトウェアがコンピュータ可読媒体に記憶され、例えば、リムーバブル記憶ユニット１２１４、メディアドライブ１２１０、または通信インターフェース１２１８を使用してコンピューティングシステム１２００にロードされ得る。制御ロジック（この実施例では、ソフトウェア命令またはコンピュータプログラムコード）がプロセッサ１２０２によって実行されると、プロセッサ１２０２に、本明細書で説明する本発明の機能を実行させる。

【0089】

当業者には理解されるように、上述の様々な実施形態に記載された技術は、日常的ではなく、従来的ではなく、または当技術分野において十分に理解されていない。上述の技術は、身体活動を実行するための訓練ユーザを提供する。本技術は最初に、レンダリングデバイスのグラフィカルユーザインターフェース（ＧＵＩ）を介して、複数のアクティビティタイプオプションをユーザにレンダリングする。複数の活性タイプオプションの各々は、複数の活性を含む。本技術は、次いで、ユーザ入力に応答して、複数の活性選択肢からユーザによって選択された活性選択肢を受信し得る。ユーザ入力は、ジェスチャ、タッチ、またはオーディオコマンドのうちの少なくとも１つを含む。次いで、本技術は、少なくとも１つのカメラによって、選択された活性選択肢に基づいて活性を実行するユーザのリアルタイムビデオをキャプチャし得る。少なくとも１つのカメラの各々は、関連する所定の角度からユーザのリアルタイムビデオをキャプチャする。リアルタイムビデオは、アクティビティを実行するためにユーザによって行われる姿勢および動きの気流を含む。次いで、本技術は、ユーザによって選択された活性選択肢に基づいてＡＩモデルを抽出することができる。ＡＩモデルは、活性エキスパートのターゲット活性性能に基づいて、活性選択肢に対応する活性に関連付けられた複数の正しい動きからのユーザの偏差を決定するように構成される。次いで、本技術はユーザの現在のアクティビティ性能に基づいてユーザ性能パラメータのセットを決定するために、ＡＩモデルによってユーザのリアルタイムビデオをリアルタイムで処理し得る。次いで、本技術は、ＡＩモデルによって、リアルタイムビデオ内のユーザをポーズ骨格モデルとオーバーレイし得る。姿勢骨格モデルは、活動に基づく複数のキーポイントを含む。複数のキーポイントの各々は、リアルタイムビデオにおいてユーザの対応するジョイントの上にオーバーレイされる。次いで、本技術は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較し得る。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。次いで、本技術は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することができる。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。本技術は、次いで、ＡＩモデルによって、レンダリングデバイス上でフィードバックをレンダリングし得る。フィードバックをレンダリングすることは、ユーザのリアルタイムビデオ上にオーバーレイされた姿勢骨格モデル上に少なくとも１つの是正措置のうちの１つをオーバーレイすることを含む。フィードバックをレンダリングすることは、レンダリングデバイスのＧＵＩ上にアラートを表示することをさらに含む。フィードバックをレンダリングすることは、スピーカを介してユーザに聴覚フィードバックを出力することをさらに含む。

【0090】

上記の利点および開示された方法およびシステムによって提供される技術的進歩に照らして、上記で論じられた特許請求された工程は、特許請求された工程が従来の技術における既存の問題に対する以下の解決策を可能にするので、日常的ではなく、従来のものではなく、または当技術分野において十分に理解されていない。さらに、請求される工程は、請求される工程が技術的問題に対する技術的解決法を提供するので、装置自体の機能の向上を明確にもたらす。

【0091】

本明細書は、身体活動を実行するためにユーザを訓練するための方法およびシステムを説明している。図示された工程は図示された例示的な実施形態を説明するために提示されており、進行中の技術開発が、特定の機能が実行される方法を変更することが予期されるべきである。これらの実施例は、限定ではなく説明の目的で本明細書に提示される。さらに、機能的構成要素の境界は、説明の便宜上、本明細書では任意に定義されている。指定された機能およびその関係が適切に実行される限り、代替的な境界を定義することができる。代替（本明細書に記載されるもの等価物、拡張、変形、および逸脱を含む）は、本明細書に含まれる教示に基づいて、当業者には明らかであろう。そのような代替形態は、開示された実施形態の範囲および趣旨に含まれる。

【0092】

さらに、本開示と一致する実施形態を実装する際に、１つまたは複数のコンピュータ可読記憶媒体が利用され得る。コンピュータ可読記憶媒体は、プロセッサによって可読な情報またはデータが記憶され得る任意の種類の物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書で説明される実施形態と一致するステップまたはステージをプロセッサに実行させるための命令を含む、１つまたは複数のプロセッサによる実行のための命令を記憶し得る。「コンピュータ可読媒体」という用語は有形のアイテムを含み、搬送波および過渡信号を除外する、すなわち非一時的であると理解されるべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤＲＯＭ、ＤＶＤ、フラッシュドライブ、ハードディスク、および任意の他の既知の物理記憶媒体が挙げられる。

【0093】

本開示および実施例は例示的なものに過ぎず、開示された実施形態の真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【誤訳訂正書】

【提出日】2024-06-03

【誤訳訂正1】

【訂正対象書類名】図面

【訂正対象項目名】図６

【訂正方法】変更

【訂正の内容】

【図6】

【誤訳訂正2】

【訂正対象書類名】図面

【訂正対象項目名】図７

【訂正方法】変更

【訂正の内容】

【図7】

【誤訳訂正3】

【訂正対象書類名】図面

【訂正対象項目名】図８

【訂正方法】変更

【訂正の内容】

【図8】

【誤訳訂正4】

【訂正対象書類名】図面

【訂正対象項目名】図９

【訂正方法】変更

【訂正の内容】

【図9】

【誤訳訂正5】

【訂正対象書類名】図面

【訂正対象項目名】図１０

【訂正方法】変更

【訂正の内容】

【図10】

【誤訳訂正6】

【訂正対象書類名】図面

【訂正対象項目名】図１１

【訂正方法】変更

【訂正の内容】

【図11】

【誤訳訂正7】

【訂正対象書類名】図面

【訂正対象項目名】図１２

【訂正方法】変更

【訂正の内容】

【図12】

【国際調査報告】