特表 2024-535947 スマートミラーを介してユーザの活性能を分析するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-03

(54)【発明の名称】スマートミラーを介してユーザの活性能を分析するための方法およびシステム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20240925BHJP

   A63B 71/06 20060101ALI20240925BHJP

【ＦＩ】

A63B69/00 A

A63B71/06 T

A63B69/00 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024515359

(86)(22)【出願日】2022-08-25

(85)【翻訳文提出日】2024-05-01

(86)【国際出願番号】 IB2022057971

(87)【国際公開番号】W WO2023047213

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】17/467,374

(32)【優先日】2021-09-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】524087002

【氏名又は名称】ラジーヴ トレハン

【氏名又は名称原語表記】ＴＲＥＨＡＮ， Ｒａｊｉｖ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100149249

【弁理士】

【氏名又は名称】田中 達也

(72)【発明者】

【氏名】ラジーヴ トレハン

(57)【要約】

本開示は、スマートミラーを介してリアルタイムでユーザの活性能を分析するための方法およびシステムに関する。本方法は、ユーザの現在の活動性能のリアルタイムマルチメディアデータをキャプチャすることと、キャプチャされたマルチメディアデータをリアルタイムで処理して、スマートミラーに対するユーザのユーザ性能パラメータのセットおよび推定された将来の視野を決定することと、推定された将来の視野およびユーザの推定された将来の姿勢および運動に基づいて、姿勢骨格モデルをリアルタイムで生成することと、姿勢骨格モデルのうちの１つと、反射の上に重ね合わされた複数のキーポイントとを用いて、スマートミラー上のユーザの反射を増強することと、ユーザ性能パラメータのセットを、ターゲット活動性能パラメータのセットと比較することと、比較に基づいて、ユーザのためのフィードバックを生成することとを含む。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

スマートミラーを介してリアルタイムでユーザの活動成績を分析する方法であって、レンダリングはスマートミラーのグラフィカルユーザインターフェース（ＧＵＩ）を介して、複数の活性型の各々は複数の活性を備える、複数の活性型をレンダリングすることと、
ユーザコマンドを介して、複数の活性型からの活性型および活性型に関連付けられた複数の活性からの活性のうちの少なくとも１つのユーザ選択を受信することと、
活性タイプおよび活性に対応するユーザの現在の活性性能のマルチメディアデータを少なくとも１つのカメラを介してリアルタイムでキャプチャすることと、
人工知能（ＡＩ）モデルによるリアルタイムでのプロセッシングであって、キャプチャされたマルチメディアは、
ユーザの視線およびユーザの頭部の方位のうちの少なくとも１つに基づく、スマートミラーに対するユーザの現在の視野、
スマートミラーに対するユーザの向きおよび位置に基づく、ユーザの現在のポーズおよび運動、
ＡＩモデルによって、活エキスパートのターゲット活性能と、現在の活に関連付けられた複数の正しいおよび誤った運動とに基づいて構成されるユーザの現在の活性能に基づくユーザ性能パラメータのセット、
ユーザの現在の視野、ユーザの推定された将来の視線、ユーザの推定された将来の頭部の向き、ならびにユーザの推定された将来の姿勢および運動に基づいてスマートミラーに対するユーザの推定された将来の視野を含む、セットを決定し、
リアルタイムで、ＡＩモデルによって、現在の姿勢および推定された将来の視野と、ユーザの現在の姿勢および推定された将来の姿勢および運動とに基づいて姿勢骨格モデルを生成し、姿勢骨格モデルは活性タイプおよび活性に基づいて複数のキーポイントを備え、複数のキーポイントの各々はユーザの継手または特徴に対応することと、
ＡＩモデルによって、現在の姿勢および推定された将来の視野ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび反射の上に重ね合わされた複数の重要な点のうちの１つを有するスマートミラー上でのユーザの反射をリアルタイムで増強し、複数の重要な点の各々が、反射においてユーザの対応する関節の上に重ね合わされることと、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲット活性パフォーマンスパラメータのセットと比較し、ターゲット活性パフォーマンスパラメータのセットは活性エキスパートに対応することと、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成し、フィードバックは是正措置または警告のうちの少なくとも１つを備え、フィードバックは視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを備え、
ＡＩモデルによるフィードバックのレンダリングであって、フィードバックをレンダリングすることは、
スマートミラー上のユーザの反射に対する少なくとも１つの是正措置のうちの１つの重ね合わせることと、
スマートミラーのＧＵＩ上に警告を表示することと、
スマートミラーで構成されたスピーカを介して、ユーザに聴覚フィードバックを出力することとを含む、方法。

【請求項2】

前記ポーズ骨格モデルを生成することは、
スマートミラーに対するユーザの推定された将来の距離、現在の姿勢および推定された将来の視野、ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルを自動的に調整および正規化することを含む、請求項１に記載の方法。

【請求項3】

前記フィードバックは、
ユーザの現在の姿勢を補正するための指示と、
ユーザの現在の姿勢に関連するユーザの動きを補正するための指示と、
ユーザが少なくとも部分的に少なくとも１つのカメラの視野の外側にいるとき、ユーザの現在位置を補正するための指示と、を含む前記ユーザへの警告を生成することを含む、請求項２に記載のシステム。

【請求項4】

前記スマートミラーの前記ＧＵＩを通して、前記ユーザ性能パラメータのセット、前記ターゲット活性能パラメータのセット、および前記活エキスパートの前記ターゲット活性能を表示することをさらに含む、請求項１に記載の方法。

【請求項5】

前記スマートミラー上の前記ユーザの前記現在のアクティビティ性能の前記反射にわたって、前記ターゲットアクティビティ性能をリアルタイムでオーバーレイすることをさらに含む、請求項４に記載の方法。

【請求項6】

前記ユーザ性能パラメータのセットは前記現在の活性能の速度、終了した繰り返し回数、活回路の全体的な終了、サードパーティスマートデバイス情報、前記ユーザの脈拍数、前記ユーザの血圧、および前記ユーザの動きを含み、前記目標活性能パラメータのセットは、前記目標活性能の速度、血圧、反復の目標数、前記ユーザの目標脈拍数、および前記ユーザの目標運動を含む、請求項１に記載の方法。

【請求項7】

少なくとも１つのカメラを介してマルチメディアデータをキャプチャする際に、活性エキスパートのターゲット活性性能に対応するトレーナーアバターと、ユーザの現在の活性性能に対応するユーザアバターとのうちの少なくとも１つをレンダリングすることであって、トレーナーアバターは活性エキスパートの３次元（３Ｄ）モデルであり、ユーザアバターは、ユーザの多次元モデルでレンダリングをさらに含む、
請求項１に記載の方法。

【請求項8】

目標活動性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つを、活動タイプおよび活動に基づいてユーザの現在の活動性能と比較することと、
ユーザ性能パラメータのセットおよび、ターゲット活性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つと、スマートミラーを介したＧＵＩを通じたユーザの現在の活性能およびを表示し、現在の活性能はリアルタイムで、ターゲット活性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つの上にオーバーレイされることとを、さらに備える、
請求項７に記載の方法。

【請求項9】

前記少なくとも１つのカメラから受信されたマルチメディアデータをデータベースに格納することと、
ユーザの１つまたは複数のユーザコマンドに基づいてマルチメディアデータを編集するステップであって、ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または視覚ジェスチャのうちの少なくとも１つであり、１つまたは複数のユーザコマンドは、
マルチメディアデータの開始点を設定すること、
マルチメディアデータの終了点を設定すること、
マルチメディアデータから背景を除去すること、
マルチメディアデータに１つまたは複数のタグを割り当てること、および
マルチメディアデータを他のユーザーと共有することのうちの少なくとも１つを含む、ステップをさらに含む、
請求項１に記載の方法。

【請求項10】

ユーザの現在の活性能に応答して、リアルタイムでターゲット活性能に対応する活エキスパートからマルチメディアデータを受信することと、
スマートミラーを介してＧＵＩを介して、ユーザ性能パラメータのセットおよび活性エキスパートのターゲット活性性能をリアルタイムで表示し、ここで、ターゲット活性性能はユーザの現在の活性性能の反射にわたってリアルタイムでオーバーレイされることをさらに備える、
請求項１に記載の方法。

【請求項11】

現在の活動パフォーマンスが、比較することに基づいて予め定義された閾値時間の間、予め定義された閾値パフォーマンスを超えて目標活動パフォーマンスから変化する場合に、ユーザパフォーマンスパラメータのセットおよび目標活動パフォーマンスの表示を一時停止することと、
ＡＩモデルによって、ユーザーパフォーマンスパラメータセットと目標アクティビティパフォーマンスパラメータセットとの比較に基づいて、ユーザーに対するフィードバックを生成するステップとをさらに含む、
請求項１に記載の方法。

【請求項12】

少なくとも１つのカメラを介してユーザの初期位置を検出することと、
検出されたユーザの初期位置が少なくとも１つの活性にマッピングされた初期位置と一致するかどうかの判定することと、
検出された初期位置が初期位置と一致しない場合に、初期位置を修正するようにユーザに指示することとをさらに含む、
請求項１に記載の方法。

【請求項13】

前記ユーザコマンドは、音声コマンド、タッチジェスチャ、エアジェスチャ、アイジェスチャ、または入力装置によって生成された信号のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項14】

スマートミラーを介してユーザの活動性能をリアルタイムで分析するためのスマートミラーであって、
一方向鏡、
前記一方向鏡に結合された表示装置であって、前記表示装置がグラフィカルユーザインターフェース（ＧＵＩ）を備え、前記ＧＵＩが、
複数の活性型の各々が、複数の活性を含む、複数の活性型をレンダリングし、
ユーザコマンドを介して、複数の活性型からの活性型および活性型に関連付けられた複数の活性からの活性のうちの少なくとも１つのユーザ選択を受信するよう構成された表示装置、
活性タイプおよび活性に対応するユーザの現在の活性性能のデータをリアルタイムで取り込むように構成された少なくとも１つのカメラ、
プロセッサ、および、
プロセッサに通信的に結合されたメモリであって、プロセッサによって実行されたときにプロセッサに、
人工知能（ＡＩ）モデルによってリアルタイムで処理され、捕捉されたマルチメディアデータが、
ユーザの視線およびユーザの頭部の方位のうちの少なくとも１つに基づく、スマートミラーに対するユーザの現在の視野、
スマートミラーに対するユーザの向きおよび位置に基づく、ユーザの現在のポーズおよび運動、
ＡＩモデルが、活エキスパートのターゲット活性能と、現在の活に関連付けられた複数の正しいおよび誤った運動とに基づいて構成されるユーザの現在の活性能に基づくユーザ性能パラメータのセットと、ユーザの現在の視野、ユーザの推定された将来の視線、ユーザの推定された将来の頭部の向き、ならびにユーザの推定された将来の姿勢および運動に基づいてスマートミラーに対するユーザの推定された将来の視野とを含む、セットを決定し、
リアルタイムで、ＡＩモデルによって、現在の姿勢および推定された将来の視野と、ユーザの現在の姿勢および推定された将来の姿勢および運動とに基づいて姿勢骨格モデルを生成し、姿勢骨格モデルは活性タイプおよび活性に基づいて複数のキーポイントを備え、複数のキーポイントの各々はユーザの継手に対応し、
ＡＩモデルによって、現在の姿勢および推定された将来の視野ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび反射の上に重ね合わされた複数の重要な点のうちの１つを有するスマートミラー上でのユーザの反射をリアルタイムで増強し、複数の重要な点の各々は、反射においてユーザの対応する関節の上に重ね合わされ、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲット活性パフォーマンスパラメータのセットと比較し、ターゲット活性パフォーマンスパラメータのセットは活性エキスパートに対応し、
ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成し、フィードバックは是正措置または警告のうちの少なくとも１つを備え、フィードバックは視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを備え、
ＡＩモデルによってフィードバックをレンダリングし、フィードバックをレンダリングすることは、
スマートミラー上のユーザの反射に対する少なくとも１つの是正措置のうちの１つの重ね合わせることと、
スマートミラーのＧＵＩ上に警告を表示することを含む、スマートミラー。

【請求項15】

前記ポーズ骨格モデルを生成するために、前記プロセッサ命令は、実行時に、前記プロセッサに、
スマートミラーに対するユーザの推定された将来の距離、推定された将来の視野、および推定された将来のユーザのポーズおよび動きに基づいて、ポーズ骨格モデルを自動的に調整し、正規化するステップであって、フィードバックは、
ユーザの現在の姿勢を修正するための指示、
ユーザの現在のポーズに関連するユーザの動きを修正するための指示、および
ユーザが少なくとも部分的に少なくとも１つのカメラの視野外にいる場合に、ユーザの現在位置を修正するための指示を含むユーザへの警告を生成することを含む、請求項１４に記載のスマートミラー。

【請求項16】

前記プロセッサ命令が、実行時に、前記プロセッサにさらに
ユーザパフォーマンスパラメータのセット、目標アクティビティパフォーマンスパラメータのセット、およびアクティビティエキスパートの目標アクティビティパフォーマンスを表示することと、
リアルタイムで、目標活動実績を、スマートミラー上のユーザの現在の活動実績の反射の上に重ねることを行わせる、請求項１４に記載のスマートミラー。

【請求項17】

前記プロセッサ命令は、実行時に、前記プロセッサにさらに、
少なくとも1つのカメラを介してマルチメディアデータをキャプチャする際に、活動エキスパートの目標活動パフォーマンスに対応するトレーナーアバターおよびユーザの現在の活動パフォーマンスに対応するユーザアバターの少なくとも一方をレンダリングすることであって、トレーナーアバターは活動エキスパートの３次元（３Ｄ）モデルであり、ユーザアバターはユーザの多次元モデルである、レンダリングすることと、
目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザーアバターの少なくとも一方を、アクティビティタイプおよびアクティビティに基づいて、ユーザーの現在のアクティビティパフォーマンスと比較することと、
ユーザパフォーマンスパラメータのセット、目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザアバターの少なくとも一方、およびユーザの現在のアクティビティパフォーマンスを、スマートミラーを介してＧＵＩを介して表示し、現在のアクティビティパフォーマンスが、目標アクティビティパフォーマンスに対応するトレーナーアバターおよびユーザアバターの少なくとも一方の上にリアルタイムでオーバーレイ表示されることを行わせる、請求項１４に記載のスマートミラー。

【請求項18】

前記プロセッサ命令が、実行時に、前記プロセッサにさらに、
前記少なくとも１つのカメラから受信されたマルチメディアデータをデータベースに格納することと、
ユーザの1つまたは複数のユーザコマンドに基づいてマルチメディアデータを編集するステップであって、ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または視覚ジェスチャのうちの少なくとも１つであり、１つまたは複数のユーザコマンドは、
マルチメディアデータの開始点を設定すること、
マルチメディアデータの終了点を設定すること、
マルチメディアデータから背景を除去すること、
マルチメディアデータに１つまたは複数のタグを割り当てること、および
マルチメディアデータを他のユーザーと共有することのうちの少なくとも１つを含む、ステップを行わせる、請求項１４に記載のスマートミラー。

【請求項19】

請前記プロセッサ命令が、実行時に、前記プロセッサにさらに、
ユーザの現在の活動性能に応答して、目標活動性能に対応するマルチメディアデータを活動エキスパートからリアルタイムで受信することと、
前記スマートミラーを介して、前記ＧＵＩを介して、前記ユーザパフォーマンスパラメータセットと前記活動エキスパートの前記目標活動パフォーマンスとをリアルタイムで表示し、前記目標活動パフォーマンスが、前記ユーザの現在の活動パフォーマンスの反射の上にリアルタイムでオーバーレイされる、請求項１４に記載のスマートミラー。

【請求項20】

前記プロセッサ命令は実行時に、前記プロセッサにさらに、
少なくとも１つのカメラを介して、ユーザの初期位置を検出することと、
検出されたユーザの初期位置が少なくとも１つの活性にマッピングされた初期位置と一致するかどうかを決定することと、
検出された初期位置が初期位置と一致しない場合、初期位置を修正するようにユーザに指示する、請求項１４に記載のスマートミラー。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は２０２０年９月４日に出願された米国仮出願第６３／０７４５３９号に対する３５Ｕ．Ｓ．Ｃ§１１９（ｅ）に基づく優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は概して、スマートミラーに関し、より詳細には、スマートミラーを介してユーザの活動性能を分析するための方法およびシステムに関する。

【背景技術】

【0003】

急速な都市化と急速な生活の時代において、多くの場所で、人々は、身体的幸福のために日常的な時間を割くこと、および適切なワーク・ライフ・バランスを見つけることを困難にすることがある。さらに、パンデミック時にはロックダウンが課せられると、体育館や駐車場は通常、公衆のアクセスのために閉鎖される。そのような場合、人が家でトレーニングすることがはるかに便利である。

【0004】

多くのエクササイズマシンおよび訓練方法は、ユーザによって所望される能力、目標、および特定の訓練方法に基づいて、調整可能なパラメータ設定を用いて監視および構成される。しかしながら、最良の結果のために、および筋肉損傷、損傷の可能性を低減するために、多くの運動は、運動ルーチン中のユーザによる複雑な動作の正確な性能、および重量または力抵抗の熟練した調整を必要とする。

【0005】

従来のワークアウトマシンに関連する欠点は、使用される設定パラメータと、ワークアウトセッション中の経時変化とが異なり得ることである。別の欠点は、エクササイズマシンが以前に入力されたカスタマイズ設定またはプリファレンスを記憶していないことである。別の問題は、ワークアウト履歴が保存されないことである。また、従来のエクササイズマシンは、すべてのユーザに適切ではない場合がある、事前に構成されたプログラムのセットを含む場合がある。従来のエクササイズマシンに関連する別の問題は、その事前に構成されたプログラムが姿勢、身体の動き、および他の部分などの他のパラメータを考慮しないことである。

【0006】

さらに、多くてもジムには、典型的には適切な姿勢および移動を考慮するために、人が彼らの姿勢および移動を見て確認または調整することを可能にするミラーのセットが存在する。しかしながら、人が姿勢および運動を分析する専門家を有していない限り、人は、不適切な姿勢および運動で動作し得、潜在的な傷害をもたらし得る。さらに、エクササイズトレーナーは、エクササイズ中は毎回存在することができない。また、トレーナーはグループエクササイズを行っている間、すべてのエクササイズ担当者を同時に監視し、案内することができない。さらに、ほとんどの場合、トレーナーは、運動者を動機付け／奨励するために利用することができない。

【0007】

さらに、センサは人体に関する様々な情報を記録することが知られている。例えば、筋電図（ＥＭＧ）電極は、人の筋肉によって生成される電気的活動を測定することができる。同様に、人の動き／動きを記録する動きセンサがある。したがって、個々の訓練に関連して、特に、自己訓練または個々的訓練または遠隔訓練に関連して、現在の技術は、コーチング／訓練エンティティが個々のコーチング／訓練中の個々の生理学的状態を監視すること、および／または個々のための運動レジメンを個々化されたリアルタイム方式で効率的に管理することを可能にしない。個人は、性能向上に関して個人化されたニーズを有し得るので、システムが生理学的状態を考慮することによって、測定基準および命令を自動的に調整することが望ましい。

【0008】

一方、エクササイズ／フィットネスのモニタリングおよび評価、エクササイズ配列のマッチング、配列のカウント、インストラクターの存在を通じたエクササイズのリアルタイム進行の追跡は時間がかかる可能性があり、結果の信頼性はインストラクターの主観的評価基準に従って低い可能性があるので、このような問題を解決するためにミラーディスプレイ、人工知能（ＡＩ）、および拡張現実（ＡＲ）技術を使用することは有益である。

【0009】

したがって、ユーザの姿勢および体動を追跡し、さらに、表示するための対話型スマートミラーを提供するためのセンサを使用する対話型エクササイズマシンは、多くのユーザにとって健康およびフィットネスの観点から非常に望ましい。フィットネスに加えて、対話型スマートミラーは様々な他のシナリオ、例えば、リハブ、理学療法、ヨガ、ダンス、劇場、および、落ち着きおよび観察に関するフィードバックが重要である他の活動においても望ましい場合がある。

【発明の概要】

【0010】

一実施形態では、スマートミラーを介してリアルタイムでユーザの活動パフォーマンスを分析するための方法が開示される。一例では、方法がスマートミラーのグラフィカルユーザインターフェース（ＧＵＩ）を介して複数のアクティビティ型をレンダリングすることを含む。複数の活性型の各々は、複数の活性を含む。方法は、ユーザコマンドを介して、複数の活性型からの活性型および活性型に関連付けられた複数の活性からの活性型のうちの少なくとも１つのユーザ選択を受信することをさらに含む。本方法は、少なくとも１つのカメラを介して、活性タイプおよび活性に対応するユーザの現在の活性パフォーマンスのマルチメディアデータをリアルタイムでキャプチャすることをさらに含む。本方法は、人工知能（ＡＩ）モデルによって、キャプチャされたマルチメディアデータをリアルタイムで処理して、スマートミラーに対するユーザの現在の視野を決定することと、ユーザの視野とユーザの頭部の方位とのうちの少なくとも１つと、スマートミラーに対するユーザの方位と位置とに基づいて、ユーザの現在の姿勢と運動と、ユーザの現在の活性能に基づいて、ユーザの現在の活性能パラメータのセットであって、活エキスパートのターゲット活性能と、現在の活に関連付けられた複数の正しくかつ誤った運動とに基づいて構成される、ユーザ性能パラメータと、ユーザの現在の視野と、ユーザの推定された将来の視野と、ユーザの推定された将来の頭部の方位と、ユーザの推定された将来の姿勢と運動とに基づいて、スマートミラーに対するユーザの推定された将来の視野とを含む。本方法は、ＡＩモデルによって、現在の姿勢および推定された将来の視野ならびに現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルをリアルタイムで生成することをさらに含む。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、ユーザの継手に対応する。本方法は、ＡＩモデルによって、現在の姿勢および推定された将来の視野ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび複数の重要な点のうちの１つが反射の上に重ね合わされたスマートミラー上のユーザの反射をリアルタイムで増強することをさらに含む。複数のキーポイントの各々は、反射におけるユーザの対応する関節の上にオーバーレイされる。本方法は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較することをさらに含む。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。本方法は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することをさらに含む。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。本方法は、ＡＩモデルによってフィードバックをレンダリングすることをさらに含む。フィードバックをレンダリングすることは、スマートミラー上のユーザの反射の上に、少なくとも１つの是正措置のうちの１つを重ねることを含む。フィードバックをレンダリングすることは、スマートミラーのＧＵＩ上に警告を表示することをさらに含む。フィードバックをレンダリングすることは、スマートミラーで構成されたスピーカを介して、ユーザに聴覚フィードバックを出力することをさらに含む。

【0011】

一実施形態では、スマートミラーを介してリアルタイムでユーザの活性能を分析するためのスマートミラーが開示される。一例では、スマートミラーが方法ミラーと、方法ミラーに結合されたディスプレイとを含む。表示装置はＧＵＩを含む。ＧＵＩは、複数の活動型をレンダリングするように構成される。複数の活性型の各々は、複数の活性を含む。ＧＵＩは、ユーザコマンドを介して、複数の活性型からの活性型および活性型に関連付けられた複数の活性からの活性型のうちの少なくとも１つのユーザ選択を受信するようにさらに構成される。スマートミラーは、活性タイプおよび活性に対応するユーザの現在の活性性能のデータをリアルタイムでキャプチャするように構成された少なくとも１つのカメラをさらに含む。スマートミラーは、プロセッサと、プロセッサに通信可能に結合されたメモリとをさらに含む。プロセッサ命令はプロセッサによって実行されると、プロセッサに、プロセッサが、ＡＩモデルによって、キャプチャされたマルチメディアデータをリアルタイムで処理させて、ユーザの現在の視野を、ユーザの視野およびユーザの頭部の方位と、スマートミラーに対するユーザの方位および位置と、ユーザの現在の活性能に基づくユーザ性能パラメータのセットであって、活エキスパートのターゲット活性能と、現在の活に関連付けられた複数の正しいおよび誤った運動とに基づいて構成される、ユーザ性能パラメータのセットと、ユーザの現在の視野、ユーザの推定された将来の視野、ユーザの推定された将来の視野、ユーザの推定された将来の方位、ならびにユーザの推定された将来の姿勢および運動とのうちの少なくとも１つに基づいて決定させる。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、ＡＩモデルによって、現在の姿勢および推定された将来の視野と、ユーザの現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデルをリアルタイムで生成させる。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、ユーザの継手に対応する。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、現在の姿勢および推定された将来の視野ならびに現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび複数の重要な点のうちの１つが反射の上に重ね合わされたスマートミラー上のユーザの反射を、ＡＩモデルによってリアルタイムで増強させる。複数のキーポイントの各々は、反射におけるユーザの対応する関節の上にオーバーレイされる。プロセッサ実行可能命令はさらに、実行時に、プロセッサに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較させる。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。プロセッサ実行可能命令は実行時に、さらに、プロセッサに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザのためのフィードバックを生成させる。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。プロセッサ実行可能命令は実行時に、プロセッサに、ＡＩモデルによってフィードバックをレンダリングさせる。フィードバックをレンダリングするために、プロセッサ実行可能命令は実行時に、さらに、プロセッサに、スマートミラー上でのユーザの反射にわたって、少なくとも１つの是正措置のうちの１つをオーバーレイさせる。フィードバックをレンダリングするために、プロセッサ実行可能命令は実行時に、プロセッサに、スマートミラーのＧＵＩ上に警告を表示させる。フィードバックをレンダリングするために、プロセッサ実行可能命令は実行時に、さらに、プロセッサに、スマートミラーを用いて構成されたスピーカを介して、ユーザに聴覚フィードバックを出力させる。

【0012】

当然ながら、上記の一般的記載と下記の詳細な記載単に例示的かつ説明的なものであり、主張されているように発明を制限するものではない。

【図面の簡単な説明】

【0013】

本開示に組み込まれ、本開示の一部を構成する添付の図面は例示的な実施形態を示し、説明と共に、開示された原理を説明するのに役立つ。

【図1】図１Ａ～１Ｉは、いくつかの実施形態による、スマートミラーを介してリアルタイムでユーザの活性能を分析するための例示的なスマートミラーのブロック図を示す。

【図2】いくつかの実施形態による、スマートミラーを介してリアルタイムでユーザの活性能を分析するための例示的なシステムの機能ブロック図を示す。

【図3】図３Ａおよび図３Ｂは、いくつかの実施形態による、スマートミラーを介してリアルタイムでユーザの活性能を分析するための例示的なプロセスのフロー図を示す。

【図4】いくつかの実施形態による、ユーザの初期位置を補正するための例示的なプロセスの流れ図を示す。

【図5】いくつかの実施形態による、ターゲットアクティビティ性能に対応するトレーナアバターと、ユーザの現在のアクティビティ性能に対応するユーザアバターとを比較するための例示的なプロセスのフロー図を示す。

【図6】いくつかの実施形態による、複数のエクササイズを表示する例示的なグラフィカルユーザインターフェース（ＧＵＩ）を示す。

【図7】いくつかの実施形態による、フィットネスアプリケーションのホームページを表示する例示的なＧＵＩを示す。

【図8】いくつかの実施形態による、エクササイズパラメータを表示する例示的なグラフィカルユーザインターフェース（ＧＵＩ）を示す。

【図9】いくつかの実施形態による、ユーザの現在の活動パフォーマンスおよび姿勢骨格モデルを表示する例示的なＧＵＩを示す。

【図10】いくつかの実施形態による、ユーザの現在の活動パフォーマンスおよび姿勢骨格モデルを表示する例示的なＧＵＩを示す。

【図11】いくつかの実施形態による、ユーザの現在の活動パフォーマンスおよび姿勢骨格モデルを表示する例示的なＧＵＩを示す。

【図12】本開示と一致する実施形態を実装するための例示的なコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0014】

添付の図面を参照して、例示的な実施形態を説明する。便宜上、図面全体を通して、同じまたは同様の部分を指すために同じ参照番号が使用される。開示される原理の例および特徴が本明細書で説明されるが、開示される実施形態の趣旨および範囲から逸脱することなく、修正、適応、および他の実装形態が可能である。以下の詳細な説明は例示的なものに過ぎないと見なされ、真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

【0015】

ここで図１Ａ～１Ｉを参照する。いくつかの実施形態による、ユーザ１０２の活動パフォーマンスをリアルタイムで分析するための例示的なスマートミラー１００が示されている。例示的なシナリオでは、ユーザ１０２が部屋１０４内のスマートミラー１００を使用することができる。部屋１０４は例えば、体育館、理学療法施設、リハブ施設、ヨガ撮影所、身体リハビリテーションセンター、ドジョ、武道センター、ダンス撮影所、劇場コーチングセンターなどの一部であってもよい。体育館は、複数のユーザの活動パフォーマンスを分析するように構成された複数のスマートミラーを含むことができる。さらに別の実施形態では、スマートミラー１００が屋外環境（例えば、公園）で使用されてもよい。いくつかの実施形態では、スマートミラー１００がリハブまたは理学療法を受けている患者の進行を監視するために使用され得る。

【0016】

スマートミラー１００は、方法ミラー１０６と、方法ミラー１０６と結合された表示装置と、少なくとも１つのカメラ１０８と、少なくとも１つの外部カメラ１１０と、１つまたは複数のプロセッサ（図示せず）と、１つまたは複数のプロセッサと通信可能に結合された記憶部（図示せず）とを含み得る。一実施形態では、表示装置が一方向ミラー１０６の後ろに配置される。表示装置は一方向ミラー１０６と等しい、またはほぼ等しい寸法であり得ることに留意されたい。表示装置は、グラフィカルユーザインターフェース（ＧＵＩ）を含み得る。少なくとも１つのカメラ１０８は、スマートミラー１００の中心、縁部に沿って、または底部に配置され得ることに留意されたい。スマートミラー１００は、少なくとも１つのカメラ１０８および少なくとも１つの外部カメラ１１０によってキャプチャされたマルチメディアデータを使用して、ユーザの活動パフォーマンスをリアルタイムで分析することができる。

【0017】

図２～図１１に関連してより詳細に説明するように、スマートミラー１００は、スマートミラー１００のＧＵＩを介して、複数のアクティビティ型をレンダリングする。複数の活性型の各々は、複数の活性を含む。スマートミラー１００は、ユーザコマンドを介して、複数の活性型からの活性型および活性型に関連付けられた複数の活性からの活性型のうちの少なくとも１つのユーザ選択をさらに受信する。スマートミラー１００はさらに、少なくとも１つのカメラを介して、活性タイプおよび活性に対応するユーザ１０２の現在の活性性能のマルチメディアデータをリアルタイムで取り込む。スマートミラー１００はリアルタイムで、人工知能（ＡＩ）モデルによって、撮影されたマルチメディアデータをさらに処理し、スマートミラーに関するユーザ１０２の現在の視野を、ユーザ１０２の視野およびユーザ１０２の頭部の方位、スマートミラー１００に対するユーザ１０２の現在の位置および方位に基づくユーザ１０２の現在の位置および運動、ユーザ１０２の現在の活動性能に基づく一組のユーザ性能パラメータ、ここで、ＡＩモデルは活動専門家の目標活動性能、および現在の活動に関連する複数の正しいおよび不正な運動に基づいて構成され、および、ユーザ１０２の現在の視野に基づくスマートミラーに対するユーザ１０２の推定された未来の視野、ユーザ１０２の推定された未来の視野、ユーザ１０２の頭部の推定された未来の方位、およびユーザ１０２の推定された未来の位置および運動のうちの少なくとも１つに基づいて決定する。スマートミラー１００はさらに、ＡＩモデルによって、現在の姿勢および推定された将来の視野と、ユーザ１０２の現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデルをリアルタイムで生成する。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、ユーザ１０２の継手に対応する。スマートミラー１００はさらに、ＡＩモデルによって、現在の姿勢および推定された将来の視野ならびにユーザ１０２の現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび反射の上に重ね合わされた複数の重要な点のうちの１つを用いた、スマートミラー上のユーザ１０２の反射をリアルタイムで増強する。複数のキーポイントの各々は、反射において、ユーザ１０２の対応する関節の上にオーバーレイされる。スマートミラー１００はさらに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較する。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。スマートミラー１００はさらに、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザ１０２に対するフィードバックを生成する。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。スマートミラー１００はさらに、ＡＩモデルによってフィードバックをレンダリングする。フィードバックをレンダリングすることは、スマートミラー１００上のユーザ１０２の反射の上に、少なくとも１つの是正措置のうちの１つを重ねることを含む。フィードバックをレンダリングすることは、スマートミラー１００のＧＵＩ上に警告を表示することをさらに含む。フィードバックをレンダリングすることは、スマートミラー１００で構成されたスピーカを介して、ユーザ１０２に聴覚フィードバックを出力することをさらに含む。

【0018】

メモリは、ＡＩモデルを含むことができる。さらに、メモリは本開示の態様によれば、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、スマートミラー１００を通してリアルタイムでユーザ１０２の活性能を分析させる命令を記憶することができる。メモリはまた、スマートミラー１００によってキャプチャ、処理、および／または要求され得る様々なデータ（たとえば、ＡＩモデルデータ、複数の活性型、複数の活性、マルチメディアデータ、ユーザパフォーマンスパラメータのセット、ターゲット活性パフォーマンスデータなど）を記憶し得る。

【0019】

スマートミラー１００は、表示装置を介してアクセス可能なＧＵＩを介してユーザ１０２と対話することができる。一例として、ディスプレイは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）バックライトＬＣＤ、薄膜トランジスタ（ＴＦＴ）ＬＣＤ、ＬＥＤディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機ＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、プラズマディスプレイパネル（ＰＤＰ）ディスプレイ、量子ドットＬＥＤ（ＱＬＥＤ）ディスプレイなどであり得る。スマートミラー１００はまた、１つまたは複数の外部機器（図示せず）を含み得る。いくつかの実施形態では、スマートミラー１００が様々なデータを送信または受信するために、通信ネットワーク（たとえば、ユニバーサルシリアルバス（ＵＳＢ）データケーブル、高精細マルチメディアインタフェース（ＨＤＭＩ）ケーブル、ワイヤレス忠実度（Ｗｉ－Ｆｉ）、光忠実度（Ｌｉ－Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および他の同様の通信ネットワーク）を介して１つまたは複数の外部機器と対話し得る。外部デバイスはリモートサーバ、デジタルデバイス、または別のコンピューティングシステムを含み得るが、これらに限定されない。

【0020】

ＧＵＩは、ユーザ１０２に対して複数の活動型をレンダリングする。複数の活性型の各々は、複数の活性を含む。ユーザ１０２は複数の活性型から活性型を選択し、ユーザコマンドを介して活性型に関連付けられた複数の活性から活性を選択することができる。さらに、スマートミラー１００は、アクティビティを開始する。ＧＵＩは、活性エキスパートに対応するターゲット活性能１１２を画面上に表示する。ターゲット活性能１１２は、活性エキスパートのビデオ記録、活性エキスパートの３次元（３Ｄ）モデル、２次元（２Ｄ）モデル、または活性エキスパートの４次元（４Ｄ）であってもよい。ユーザ１０２は、現在のアクティビティ性能でターゲットアクティビティ性能１１２をフォローすることができる。一方向ミラー１０６は、ユーザ１０２の現在の活動パフォーマンスの反射１１４を示す。

【0021】

さらに、少なくとも１つのカメラ１０８および少なくとも１つの外部カメラ１１０は、ユーザ１０２の現在の活動パフォーマンスに関連付けられたマルチメディアデータを捕捉する。少なくとも１つの外部カメラ１１０はユーザ１０２の頭部の姿勢、動き、視線、および方位の判定の精度を高める。加えて、少なくとも１つのカメラ１０８は、ユーザ１０２の顔認識のために使用され得る。ユーザ１０２に対応する顔データは、ユーザプロファイルに関連付けられる。ユーザプロファイルはデータベースに記憶され、履歴、カスタム設定、活性エキスパートからのメッセージ、プロファイルデータ、および他の同様のユーザデータなどであるが、これらに限定されない、電流および履歴ユーザデータに関連付けられ得る。

【0022】

さらに、ＡＩモデルはマルチメディアデータを受信し、マルチメディアデータを処理して、スマートミラー１００に対するユーザ１０２の現在の視野、ユーザ１０２の現在の姿勢および動き、ユーザパフォーマンスパラメータのセット、およびスマートミラー１００に対するユーザ１０２の推定される将来の視野を決定する。ＡＩモードは例えば、ＡＩ予測モデルであってもよい。スマートミラー１００に対するユーザ１０２の現在の視野は、ユーザ１０２の視線およびユーザ１０２の頭部の方位の少なくとも一方に基づいて決定される。ユーザ１０２の現在の姿勢および運動は、スマートミラー１００に対するユーザ１０２の向きおよび位置に基づいて決定される。ユーザ性能パラメータのセットは、ユーザ１０２の現在の活動性能に基づいて決定される。ＡＩモデルは、活性エキスパートのターゲット活性性能１１２と、現在の活性に関連付けられた複数の正確で不正確な動きとに基づいて構成される。スマートミラー１００に対するユーザ１０２の推定される将来の視野はユーザ１０２の現在の視野、ユーザ１０２の推定される将来の視線、ユーザ１０２の頭部の推定される将来の向き、およびユーザ１０２の推定される将来の姿勢および運動に基づいて決定される。一実施形態では、スマートミラー１００がユーザ１０２の頭部の推定された将来の方位に基づいて、ある角度で自動的に調整するように構成される。例えば、ユーザ１０２が横たわった位置で現在の活動を行っているとき、スマートミラー１００は、現在の活動パフォーマンスの即興追跡を提供するために約９０度回転することができる。

【0023】

さらに、ＡＩモデルは、現在の姿勢および推定された将来の視野と、ユーザ１０２の現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデル１１６を生成する。姿勢骨格モデル１１６は、活性タイプおよび活性に基づいて、複数のキーポイントを含む。複数のキーポイントの各々は、ユーザ１０２の継手または特徴に対応する。加えて、複数のキーポイントは、ユーザ１０２の骨を表す線と接続されて、姿勢骨格モデル１１６を完成させることができる。

【0024】

さらに、ＡＩモデルは、現在の姿勢および推定された将来の視野ならびにユーザ１０２の現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデル１１６のうちの１つと、反射１１４の上に重ね合わされた複数のキーポイントとを有する一方向ミラー１０６上のユーザ１０２の反射１１４をリアルタイムで増強する。複数のキーポイントの各々は、反射１１４において、ユーザ１０２の対応する継手または特徴の上にオーバーレイされる。したがって、一方向ミラー１０６は、ユーザ１０２の現在の活動パフォーマンスの反射１１４を示す。スマートミラー１００のディスプレイは、ユーザの反射１１４の上に重ねられた姿勢骨格モデル１１６、ユーザの反射１１４に重ねられた活性エキスパートの目標活性パフォーマンス１１２、現在の活性パフォーマンスに関連付けられたユーザパフォーマンスパラメータのセット、および目標活性パフォーマンス１１２に関連付けられた目標活性パラメータのセットを示す。ポーズ骨格モデル１１６は、スマートミラー１００に対するユーザ１０２の推定された将来の距離、現在のポーズおよび推定された将来の視野、ならびにユーザ１０２の現在のポーズおよび推定された将来のポーズおよび動きに基づいて、ユーザ１０２の反射１１４に対して自動的に調整され、正規化され得ることに留意されたい。いくつかの実施形態では、ポーズ骨格モデル１１６の透明性がユーザ１０２によって調整可能であり得る。一実施形態では、姿勢骨格モデル１１６が完全に透明であり、ユーザ１０２にとって不可視である。そのような実施形態では、姿勢骨格モデル１１６が計算目的のためだけにＡＩモデルによって使用され得る。

【0025】

ＡＩモデルは、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較する。さらに、ＡＩモデルは、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザ１０２に対するフィードバックを生成する。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、グラフィックスフィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つであってもよい。さらに、ＡＩモデルはフィードバックをレンダリングする。レンダリングは、スマートミラー１００上のユーザ１０２の反射の上に少なくとも１つの是正措置のうちの１つを重ねることを含むことができる。さらに、レンダリングは、スマートミラー１００のＧＵＩ上に警告を表示することを含むことができる。さらに、レンダリングは、スマートミラー１００で構成されたスピーカを介して、ユーザ１０２に聴覚フィードバックを出力することを含み得る。フィードバックはユーザ１０２が少なくとも１つのカメラ１０８の視野外に少なくとも部分的にあるとき、ユーザ１０２の現在の姿勢を修正するための指示、ユーザ１０２の現在の姿勢に関連するユーザの動きを修正するための指示、およびユーザ１０２の現在の位置を修正するための指示を含む、ユーザ１０２への警告を生成することを含み得る。

【0026】

図１Ａでは、ユーザ１０２がディスプレイ上に示されるように、ターゲットアクティビティ性能１１２を正確に追跡する。ユーザ１０２の現在の活性能、および関連する姿勢骨格モデル１１６は、活エキスパートのターゲット活性能１１２に従っている。したがって、スマートミラー１００は現在の活動パフォーマンスが目標活動パフォーマンス１１２に従う限り、目標活動パフォーマンス１１２を表示し続けることができる。いくつかの実施形態では、スマートミラー１００がターゲットアクティビティ性能１１２に従って現在のアクティビティ性能を維持することをユーザ１０２に促す動機付けオーディオメッセージを出力することができる。

【0027】

図１Ｂにおいて、スマートミラー１００の正面図は、ユーザ１０２がディスプレイ上に示されるように、目標活動パフォーマンス１１２を正確に追従するときに示される。ターゲットアクティビティ性能１１２は、スマートミラー１００のディスプレイ上の挿入フレームに示される。さらに、ユーザ１０２の反射１１４は、一方向ミラー１０６によって示され得る。ユーザ１０２の現在の活動パフォーマンスに対応するマルチメディアデータは、少なくとも１つのカメラ１０８によってリアルタイムでキャプチャされ得る。さらに、スマートミラー１００のＡＩモデルはマルチメディアデータを処理し、姿勢骨格モデル１１６を生成することができる。ユーザ１０２の現在の活性能は、ターゲット活性能１１２に従うので、スマートミラー１００は現在の活性能がターゲット活性能１１２に従う限り、挿入フレーム内にターゲット活性能１１２を表示し続けることができる。いくつかの実施形態では、スマートミラー１００がターゲットアクティビティ性能１１２に従って現在のアクティビティ性能を維持することをユーザ１０２に促す動機付けオーディオメッセージを出力することができる。

【0028】

図１Ｃでは、スマートミラー１００の正面図がユーザ１０２がディスプレイ上に示されるように、目標活動パフォーマンス１１２を正確に追従するときに示される。ターゲットアクティビティ性能１１２は、スマートミラー１００のディスプレイ上に示される。さらに、ユーザ１０２の反射１１４は、一方向ミラー１０６によって示され得る。ターゲットアクティビティ性能１１２は、一方向ミラー１０６によって示されるユーザ１０２の反射１１４上に重ねられる。ユーザ１０２の現在の活動パフォーマンスに対応するマルチメディアデータは、少なくとも１つのカメラ１０８によってリアルタイムでキャプチャされ得る。さらに、スマートミラー１００のＡＩモデルはマルチメディアデータを処理し、姿勢骨格モデル１１６を生成することができる。いくつかの実施形態では、ＡＩモデルがスマートミラー１００からのユーザ１０２の距離、ユーザ１０２の現在の姿勢および推定される将来の視線、ならびにユーザ１０２の現在の姿勢および推定される将来の姿勢および移動を決定することができる。ＡＩモデルは視差の問題および誤差を回避するために、ユーザ１０２の現在の姿勢および推定された将来の視線に従って、ターゲットアクティビティ性能１１２および姿勢骨格モデル１１６の表示装置を調整および正規化し得る。ユーザ１０２の現在の活性能はターゲット活性能１１２に従うので、スマートミラー１００は現在の活性能がターゲット活性能１１２に従う限り、ターゲット活性能１１２を表示し続けることができる。いくつかの実施形態では、スマートミラー１００がターゲットアクティビティ性能１１２に従って現在のアクティビティ性能を維持することをユーザ１０２に促す動機付けオーディオメッセージを出力することができる。

【0029】

図１Ｄでは、ユーザ１０２がディスプレイ上に示されるように、目標活性能１１２を正確にたどることができない。ユーザ１０２の現在の活性能、および関連する姿勢骨格モデル１１６は、活エキスパートのターゲット活性能１１２からの偏差を示す。活性エキスパートのターゲット活性能１１２は、ユーザが横になった位置にいる間、座った位置にある。したがって、スマートミラー１００は現在のアクティビティ性能がターゲットアクティビティ性能１１２に従っていることを保証するために、ユーザ１０２のためのフィードバックを生成することができる。現在のアクティビティ性能の偏差が所定閾値性能を上回り、所定閾値時間にわたって継続するとき、スマートミラー１００は、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能１１２の表示装置を一時停止することができる。

【0030】

図１Ｅでは、スマートミラー１００の正面図がユーザ１０２がディスプレイ上に示されるように、目標活性能１１２に正確に従わないときに示される。活性エキスパートのターゲット活性能１１２は、ユーザが横になった位置にいる間、座った位置にある。ユーザ１０２の現在の活性能が、所定の性能閾値を上回る目標活性能１１２から逸脱すると、スマートミラー１００は現在の活性能が目標活性能１１２に従っていることを確実にするために、ユーザ１０２のためのフィードバック（ビデオ、グラフィカル、聴覚、または触覚）を生成することができる。現在のアクティビティ性能の偏差が所定閾値性能を上回り、所定閾値時間にわたって継続するとき、スマートミラー１００は、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能１１２の表示装置を一時停止することができる。

【0031】

図１Ｆにおいて、スマートミラー１００は、ユーザ１０２に関連付けられたマルチメディアデータを表示する。上記実施形態では、ディスプレイによって示されるユーザ１０２のマルチメディアデータが一方向ミラー１０６によるユーザ１０２の反射よりもユーザ１０２に目立つように見える。ポーズおよび情報データは、空間（２Ｄまたは３Ｄ）、時間、およびパフォーマンスインジケータに基づいて、ユーザ１０２のビデオストリーム、２Ｄモデル、３Ｄモデル、またはモデルとして示され得る。ユーザ１０２はユーザ１０２のマルチメディアデータ上にオーバーレイされたディスプレイ上に示されるように、ターゲットアクティビティ性能１１２を正確にたどる。ユーザ１０２の現在の活性能、および関連する姿勢骨格モデル１１６は、活エキスパートのターゲット活性能１１２に従っている。したがって、スマートミラー１００は現在の活動パフォーマンスが目標活動パフォーマンス１１２に従う限り、目標活動パフォーマンス１１２を表示し続けることができる。一実施形態では、ユーザ１０２のマルチメディアデータがディスプレイ上に示されていない。そのような実施形態では、ユーザ１０２の姿勢骨格モデル１１６が目標活動パフォーマンス１１２上にオーバーレイされる。別の実施形態では、ターゲットアクティビティ性能１１２に対応するポーズ骨格モデルがユーザ１０２の現在のアクティビティ性能のマルチメディアデータおよび関連するポーズ骨格モデル１１６上に重ねられたディスプレイ上に示される。

【0032】

図１Ｇにおいて、スマートミラー１００は、ユーザ１０２に関連付けられたマルチメディアデータを表示する。そのような実施形態では、ディスプレイによって示されるユーザ１０２のマルチメディアデータが一方向ミラー１０６によるユーザの反射よりもユーザに目立つように見える。ユーザがディスプレイ上に示されるように、目標活動パフォーマンス１１２を正確にたどることができない。ユーザの現在の活性能、および関連する姿勢骨格モデル１１６は、活エキスパートのターゲット活性能１１２からの偏差を示す。したがって、スマートミラーは現在のアクティビティ性能がターゲットアクティビティ性能１１２に従っていることを保証するために、ユーザのためのフィードバックを生成することができる。現在のアクティビティ性能の偏差が所定閾値性能を上回り、所定閾値時間にわたって継続するとき、スマートミラーは、ユーザ性能パラメータのセットおよびターゲットアクティビティ性能１１２の表示装置を一時停止することができる。一実施形態では、ユーザ１０２のマルチメディアデータがディスプレイ上に示されていない。そのような実施形態では、ユーザ１０２の姿勢骨格モデル１１６が目標活動パフォーマンス１１２上にオーバーレイされる。別の実施形態では、ターゲットアクティビティ性能１１２に対応するポーズ骨格モデルがユーザ１０２の現在のアクティビティ性能のマルチメディアデータおよび関連するポーズ骨格モデル１１６上に重ねられたディスプレイ上に示される。

【0033】

図１Ｈでは、スマートミラー１００がユーザ１０２およびユーザ１１８の各々の活性能を同時にリアルタイムで分析する。スマートミラー１００は、複数のユーザの各々の活性能を同時に分析することができることに留意されたい。例えば、スマートミラー１００は、家庭の家族、ジムメンバー、リハブ治療および／または病院での理学療法を受けている患者などによって共有され得る。ユーザ１０２の現在の活動パフォーマンスは、ユーザ１１８の現在の活動パフォーマンスとは異なる。スマートミラー１００は、ユーザ１０２およびユーザ１１８のそれぞれによって選択された活動に対応する目標活動成績を表示する。さらに、スマートミラー１００は、ユーザ１０２およびユーザ１１８の各々の反射に重ね合わされた姿勢骨格モデルを表示することができる。いくつかの実施形態では、スマートミラー１００がユーザ１０２およびユーザ１１８の各々の反射に重ね合わされた目標活動パフォーマンスを表示する。いくつかの実施形態では、スマートミラー１００がディスプレイ上の挿入フレーム内に目標活動性能を表示する。代替的に、スマートミラー１００は複数のユーザ（例えば、ユーザ１０２およびユーザ１１８）の各々のための複数のディスプレイまたは画面を含み得る。そのようなスマートミラー１００内の単一のディスプレイまたはスクリーンは、一度に１人のユーザによって使用され得る。

【0034】

図１Ｉでは、スマートミラー１００がユーザ１０２および表示装置１２０（たとえば、スマートテレビジョン（ＴＶ）、プロジェクタスクリーン、デスクトップモニタ、および他の同様の表示装置）の活動パフォーマンスを分析し、ユーザ１１８の活動パフォーマンスを分析する。表示装置１２０は、カメラおよびＧＵＩを含む。表示装置１２０の機能は、スマートミラー１００と同様である。スマートミラー１００はユーザ１０２に対応する反射またはマルチメディアデータを示し、ディスプレイ装置１２０は、ユーザ１１８に対応するマルチメディアデータを表示する。表示装置１２０は、スマートミラー１００と通信可能に結合され得る。一実施形態では、複数のデバイス（スマートミラーおよび表示装置１２０など）の組み合わせは複数のユーザのための公共環境（例えば、体育館または公園）において使用され得る。

【0035】

次に図２を参照すると、いくつかの実施形態による、スマートミラー２０４を介してリアルタイムでユーザ２０２の活性能を分析するための例示的なシステム２００の機能ブロック図が示されている。いくつかの実施形態では、システム２００のスマートミラー２０４がスマートミラー１００に類似している。スマートミラー２０４は、一方向ミラー２０６と、カメラ２０８と、マイクロフォン２１０と、スピーカ２１２と、表示装置２１４と、プロセッサ２１６と、メモリ２１８とを含む。メモリ２１８は、ＧＵＩモジュール２２０と、ＡＩモデル２２２と、データベース２２４とを含む。１つまたは複数のウェアラブルセンサ２２６は、ユーザ２０２によって装着され得る。一例として、１つまたは複数のウェアラブルセンサ２２６は、心電図（ＥＣＧ）センサ、脳波（ＥＥＧ）センサ、筋電図（EMG）センサ、パルスオキシメータなどを含む。１つまたは複数のウェアラブルセンサ２２６の各々は、通信ネットワークを介してスマートミラー２０４と通信可能に結合される。さらに、スマートミラー２０４は１つまたは複数の内蔵センサ（たとえば、近接センサ、オーディオセンサ、光検出測距（ＬＩＤＡＲ）センサ、赤外線（ＩＲ）センサ、および他の同様の運動ベースのセンサ）を含み、ユーザ２０２のために処理および分析され得る追加のデータを受信し得る。

【0036】

表示装置２１４は、一方向ミラー２０６に結合される。一方向ミラー２０６は、表示装置２１４を覆う。さらに、一方向ミラー２０６はユーザ２０２の画像を部分的に反射し、表示装置２１４をユーザ２０２に部分的に示すように構成される。したがって、一方向ミラー２０６はユーザ２０２のための半反射面として働き、表示装置２１４のための半透明面として働く。表示装置２１４は、一方向ミラー２０６と同じ寸法であってもよい。一実施形態では、方法ミラー２０６の長さは方法ミラー２０６の幅よりも大きくてもよい。スマートミラー２０４は、複数のユーザを同時に扱うための複数のディスプレイおよび複数のカメラを含むことができる。

【0037】

ＧＵＩモジュール２２０は、表示装置２１４を介してユーザ２０２にアクセス可能である。ＧＵＩモジュール２２０は、複数の活動型をユーザ２０２に提供する。一例として、複数の活動型は限定されるものではないが、身体運動、指導されたメディテーション、ヨガ、理学療法、花配列、オリガミ、ダンス、劇場、演技芸術、武術、会話療法、リハビリテーション、理学療法およびリハビリテーション、クロスフィット、レスミルズ、F４５、ザンバ、ビクラムヨガ、オレンジ理論、描画、絵画などの任意の形態を含むことができる。複数の活性型の各々は、複数の活性を含む。ユーザ２０２は、ユーザコマンドを介して、複数の活性型からの活性型と、活性型に関連付けられた複数の活性からの活性とのうちの少なくとも１つを選択し得る。ユーザコマンドは（マイクロフォン２１０を介して受信される）音声コマンド、タッチジェスチャ、エアジェスチャ、アイジェスチャ、または入力装置（たとえば、マウス、タッチパッド、スタイラス、キーボード、関連する接続されたデバイスまたはコントローラ（ゲームコントローラなど）など）によって生成される信号のうちの少なくとも１つ得る。

【0038】

さらに、カメラ２０８は、活性タイプおよび活性に対応するユーザ２０２の現在の活性性能のマルチメディアデータをリアルタイムで取り込む。いくつかの実施形態では、スマートミラー２０４が１つまたは複数の追加のカメラを含むことができる。カメラ２０８から受信したマルチメディアデータは、データベース２２４に格納される。いくつかの実施形態では、ユーザが１つまたは複数のユーザコマンドに基づいてマルチメディアデータを編集することができる。ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または表示ジェスチャのうちの少なくとも１つ得る。１つまたは複数のユーザコマンドは、マルチメディアデータの開始点を設定すること、マルチメディアデータの終了点を設定すること、マルチメディアデータからバックグラウンドを除去すること、１つまたは複数のタグをマルチメディアデータに割り当てること、およびマルチメディアデータを他のユーザのセットと共有することのうちの少なくとも１つを含む。

【0039】

さらに、ＡＩモデル２２２はプロセッサ２１６を介してカメラ２０８からマルチメディアデータを受信し、マルチメディアデータを処理して、スマートミラーに対するユーザ２０２の現在の視野、ユーザ２０２の現在の姿勢および動き、ユーザパフォーマンスパラメータのセット、およびスマートミラー２０４に対するユーザ２０２の推定される将来の視野を決定する。スマートミラーに対するユーザ２０２の現在の視野は、ユーザ２０２の視線およびユーザ２０２の頭部の方位の少なくとも一方に基づいて決定される。ユーザ２０２の現在の姿勢および運動は、スマートミラー２０４に対するユーザ２０２の向きおよび位置に基づいて決定される。ユーザ性能パラメータのセットは、ユーザ２０２の現在の活動性能に基づいて決定される。ＡＩモデル２２２は、活性エキスパートのターゲット活性性能と、現在の活性に関連付けられた複数の正しいおよび誤った動きとに基づいて構成される。スマートミラーに対するユーザ２０２の推定された将来の視野はユーザ２０２の現在の視野、ユーザ２０２の推定された将来の視線、ユーザ２０２の推定された将来の頭部の向き、およびユーザ２０２の推定された将来の姿勢および運動に基づいて決定される。

【0040】

さらに、ＡＩモデル２２２は現在の姿勢および推定された将来の視野と、ユーザ２０２の現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデル（例えば、姿勢骨格モデル１１６）を生成する。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、ユーザ２０２の継手または特徴に対応する。加えて、複数のキーポイントはポーズ骨格モデルを完成させるために、ユーザ２０２の骨を表す線と接続され得る。一実施形態では、ユーザ２０２の３Ｄレンダリングが姿勢骨格モデルとして生成され得る。

【0041】

さらに、ＡＩモデル２２２は、現在の姿勢および推定された将来の視野ならびにユーザ２０２の現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび複数の重要な点のうちの１つが反射の上に重ね合わされた、一方向ミラー２０６上のユーザ２０２の反射をリアルタイムで増強する。複数のキーポイントの各々は、反射において、ユーザ２０２の対応する関節の上にオーバーレイされる。したがって、一方向ミラー２０６は、ユーザ２０２の現在のアクティビティ性能の反射を示す。スマートミラー２０４のディスプレイは、ユーザ２０２の反射の上に重ね合わされた姿勢骨格モデル、ユーザ２０２の反射に重ね合わされた活性エキスパートの目標活性パフォーマンス、現在の活性パフォーマンスに関連付けられたユーザパフォーマンスパラメータのセット、および目標活性パフォーマンスに関連付けられた目標活性パラメータのセットを示す。ポーズ骨格モデルは、スマートミラー２０４に対するユーザ２０２の電流ポーズおよび推定された将来の距離および視認位置、電流ポーズおよび推定された将来の視野、ならびにユーザ２０２の電流ポーズおよび推定された将来のポーズおよび動きに基づいて、ユーザ２０２の反射に対して自動的に調整され、正規化され得ることに留意されたい。いくつかの実施形態では、ポーズ骨格モデルの透明性がユーザ２０２によって調整可能であり得る。一実施形態では、姿勢骨格モデルが完全に透明であり、ユーザ２０２には不可視である。そのような実施形態では、姿勢骨格モデルが計算目的のためだけにＡＩモデル２２２によって使用され得る。

【0042】

ＡＩモデル２２２は、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較する。さらに、ユーザに対するフィードバックは、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ポーズおよびＡＩ偏差処理を介して生成される。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つであってもよい。さらに、ＡＩモデル２２２は、フィードバックをレンダリングする。レンダリングはスマートミラー上のユーザ２０２の反射の上に、少なくとも１つの是正措置のうちの１つを重ねることを含み得る。さらに、レンダリングは、スマートミラーのＧＵＩ上に警告を表示することを含むことができる。さらに、レンダリングは、スピーカ２１２を介してユーザ２０２に聴覚フィードバックを出力することを含むことができる。一実施形態では、スピーカ２１２がユーザ２０２により個人化されたトレーニング経験を提供する指向性スピーカであってもよい。いくつかの実施形態では、システム２００が部屋の別領域に設置された複数のスピーカ（例えば、ホームシアターシステム）を含む。いくつかの実施形態では、スマートミラー２０４がＢｌｕｅｔｏｏｔｈヘッドセットまたはスピーカを介してオーディオフィードバックを出力するように構成される。フィードバックはユーザ２０２が少なくとも部分的にカメラ２０８の視野外にあるとき、ユーザ２０２の現在の姿勢を補正するための指示、ユーザ２０２の現在の姿勢に関連するユーザの動きを補正するための指示、およびユーザ２０２の現在の位置を補正するための指示を含む、ユーザ２０２への警告を生成することを含み得る。いくつかの実施形態では、ＡＩモデル２２２がユーザの活性能を分析するための上述のステップを実行するように組み合わせて機能する複数のサブモジュールを含むことができる。一実施形態では、スマートミラー２０４のＡＩモデル２２２がユーザ２０２のパフォーマンスデータに基づいて活動の提案を提供するための提案エンジンを含むことができる。一例として、パフォーマンスデータは、実行されたエクササイズ、実行された回路、エクササイズの継続時間、活性パフォーマンス、個人目標、ユーザプロファイル、年齢、体重、ボディマスインデックス（ＢＭＩ）などを含むことができる。

【0043】

理解され得るように、ユーザ１０２によって実行されている活動に基づくフィードバックは、是正措置を実行するための命令に限定されなくてもよい。フィードバックはまた、生体計測フィードバックまたは警告、たとえば、ユーザ１０２の脈拍数または心拍、ユーザ１０２の体温、筋肉の痙攣、または瞳孔拡張のうちの１つまたは複数における任意の不規則性または問題、ならびに他の同様の健康問題を含み得る。いくつかの実施形態では、フィードバックがアクティビティを実行している間、またはアクティビティの完了後にユーザ１０２に提供されるモチベーションまたは励ましの形態であり得る。一例として、オーディオフィードバックの形成では、「素晴らしい仕事」、「素晴らしい」、「素晴らしい行動」、「完璧に行われた」、「プロのように行われた」、「あなたが最高である」、「私が見た最高である」などのメッセージ、および他の同様のメッセージがユーザ１０２に提供され得る。拍手、歓声、または各種感嘆の音も、フィードバックとしてユーザ１０２に提供され得る。これらのメッセージはメッセージがスマートミラー１００のＧＵＩ上にテキスト形式で表示され得るように、視覚的フィードバックの形成で提供されてもよい。加えて、または代替として、グラフィック要素、たとえば、破裂クラッカー、飛行バルーン、スタジアムクラウドの音、またはチェアリーダー、インストラクター、有名人（たとえば、Kai Greene、Phil Health、Ronnie Coleman、Arnold、および他の有名なパーソナリティ）のアバターも、ユーザ１０２に表示され得る。いくつかの構成では、ユーザによって実行されるアクティビティのゲーム化および報酬メカニズムもまた、ユーザに提供されるフィードバックとして使用され得る。そのようなフィードバックの結果として、ユーザ１０２は、絶えず動機付けされ得、サイロで任意の所与の活性を行っていると感じないことがある。

【0044】

いくつかの構成では、ユーザ１０２はまた、様々な活動に関連する目標を設定することが可能であり得る。そのような場合、フィードバックは、ユーザ１０２によって達成された目標の割合に関するステータスを含むことができる。

【0045】

いくつかの実施形態ではユーザ１０２に個人のスマートデバイス、すなわちサードパーティスマートデバイス上でフィードバックを提供するために、スマートミラー１００はオープンアプリケーションプログラミングインタフェース（ＡＰＩ）を用いて構成され得、それはそのような統合をシームレスに可能にし得る。さらに、サードパーティスマートデバイスから受信されたデータはまた、オープンＡＰＩを介してスマートミラー１００に取り込まれてもよく、視覚的要素（グラフまたはチャートなど）、言語および音声キュー、または触覚キューを使用して、スマートミラー１００を介してユーザ１０２にさらに提供されてもよい。データはまた、サードパーティのスマートデバイスによって生成された警告および警告に対応し得る。一例として、ユーザ１０２の血圧を感知するように構成されたスマートウォッチは、高血圧を有するユーザ１０２に関するデータをスマートミラー１００に送信することができる。したがって、スマートミラー１００は、ユーザ１０２に「あなたの血圧が高すぎます、リラックスして破断する」というメッセージを口頭または視覚的にレンダリングすることができる。したがって、スマートミラー１００は、フィードバックの照合器およびすべてのフィードバックを見るための単一点スマートデバイスとして働くことができる。言い換えれば、スマートミラー１００はそれ自体でフィードバックを生成し、他のスマートデバイスからのフィードバックも受信するので、スマートミラー１００はすべてのフィードバックを同化し、それを精緻化し、スマートミラーを介してユーザ１０２にそれを提示する。したがって、ユーザは、様々なタイプのフィードバックを受信するために複数のデバイスに頼る必要がない。

【0046】

さらに、ユーザ１０２は、様々なソーシャルネットワーク上で、またはスマートミラー１００を使用することもできる他のリモートユーザと活動パフォーマンスを友人と共有することを望むことができる。この目的のために、スマートミラー１００は、ソーシャルメディアアプリケーションとの様々な統合を用いて構成され得る。これらのソーシャルメディアアプリケーションの実例はＦＡＣＥＢＯＯＫ（登録商標）、ＷＨＡＴＳＡＰＰ（登録商標）、ＹＯＵＴＵＢＥ（登録商標）、および／またはＩＮＳＴＡＧＲＡＭ（登録商標）を含み得るが、これらに限定されない。いくつかの実施形態では、スマートミラー１００が既にインストールされているこれらのソーシャルメディアアプリケーションを有することができる。また、スマートミラー１００に特有であり、他のスマートミラー１００および／またはディスプレイデバイスのユーザのみを接続するように構成されたソーシャルメディアアプリケーションがあってもよい。

【0047】

したがって、これらのソーシャルメディアアプリケーションとの統合によって、ユーザパフォーマンスは、これらのソーシャルメディアプラットフォームのうちの１つまたは複数に投稿および公開され得、他のユーザがアクセスするためのオンラインコンテンツとして利用可能にされ得る。前述の報酬メカニズムはまた、ソーシャルメディアプラットフォーム上で共有媒体使用され得る。いくつかの構成では、ユーザ活動に関連するスコアがスマートミラー１００および／または表示装置を使用する様々なユーザのためのポイントとして、リーダーボード上に提示され得る。バッジはまた、それらによって実行されるアクティビティのレベルに基づいて様々なユーザに割り当てられてもよく、ソーシャルメディアプラットフォーム上に表示されてもよい。加えて、実行されたエクササイズに関連する記録も表示され得る。さらに、活動のために様々なユーザによって設定された目標および目標のそれぞれの割合終了も、ソーシャルメディアプラットフォーム上に表示され得る。理解され得るように、ユーザに提供されるフィードバックはまた、リアルタイムで接続され得る友人、社会的円、およびクラスを含む、社会的メディア上のユーザのグループ内で共有され得る。

【0048】

スマートミラー２０４は現在の活動パフォーマンスが目標活動パフォーマンスに従う限り、目標活動パフォーマンスを表示し続けることができる。しかしながら、ユーザ２０２の現在の活性能と、ターゲットポーズおよび関連するポーズ骨格モデルとが、活エキスパートのターゲット活性能からの逸脱を示すとき、スマートミラー２０４はユーザ２０２に対して、現在の活性能がターゲット活性能に従っていることを保証するようにユーザに指示し、指示するためのフィードバックを生成し得る。現在の活性能の偏差が所定の閾値性能を上回り、所定の閾値時間にわたって継続するとき、スマートミラー２０４は、ユーザ性能パラメータのセットおよび目標活性能の表示装置を一時停止することができる。

【0049】

いくつかの実施形態では、スマートミラー２０４がスピーカ２１２を介して、音声形態のユーザ２０２のための音声メッセージ（音声形態のレップの数、ユーザ２０２への聴覚フィードバック、新しい成果、個人的最良、他のユーザからのメッセージ、広告、課題、誤差、警告など）を生成することができる。オーディオメッセージを生成するとき、音声出力のタイミングおよび持続時間が重要であり得ることに留意されたい。たとえば、ユーザ２０２が高速で運動しているとき、オーディオメッセージのいくつかは、生成前に陳腐化することがある。さらに、オーディオメッセージのいくつかは、反復的になり、不自然になることがある。さらに、オーディオメッセージのいくつかは、より高い優先度（たとえば、警告およびエラー）のものであり得る。そのようなシナリオでは、オーディオメッセージが優先待ち行列に基づく機構を介して生成され得る。一実施形態では、オーディオメッセージがより自然な対話を生成するために、ＡＩベースのアプローチを使用することができる。ＡＩによるポーズおよびエクササイズマッチングはリモートサーバ上で実行されてもよく、キーポイントの認識はエッジノード上で実行されてもよいことに留意されたい。したがって、サーバへの重いビデオデータの転送を回避することができる。加えて、ポーズおよびエクササイズのマッチングがエンドエッジデバイス上で知られていないので、全体的なセキュリティが強化され得る。

【0050】

全てのそのようなモジュール２０６～２２４は、単一のモジュールまたは異なるモジュールの組合せとして表され得ることに留意されたい。さらに、当業者によって理解されるように、モジュール２０６～２２４の各々は全体的にまたは部分的に、互いに通信する１つのデバイスまたは複数のデバイス上に常駐し得る。いくつかの実施形態では、モジュール２０６～２２４の各々がカスタム特定用途向け集積回路（ＡＳＩＣ）またはゲートアレイを備える専用ハードウェア回路、論理チップなどの既製の半導体、トランジスタ、または他の個別構成要素として実装され得る。モジュール２０６～２２４の各々はまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのプログラム可能なハードウェアデバイスにおいて実装され得る。代替として、モジュール２０６～２２４の各々は様々なタイプのプロセッサ（たとえば、プロセッサ２１６）による実行のためのソフトウェアで実装され得る。実行可能コードの識別されたモジュールはたとえば、コンピュータ命令の１つまたは複数の物理ブロックまたは論理ブロックを含み得、コンピュータ命令はたとえば、目的、プロシージャ、機能、または他の構築物として編成され得る。それにもかかわらず、識別されたモジュールまたは構成要素の実行可能体は物理的に一緒に配置される必要はないが、論理的に一緒に結合されると、モジュールを含み、モジュールの指定された目的を達成する、異なる位置に記憶された異なる命令を含み得る。実際、実行可能コードのモジュールは単一の命令、または多くの命令とすることができ、いくつかの異なるコードセグメントにわたって、異なるアプリケーション間で、およびインターネット、クラウド、および並列のいくつかのメモリデバイスにわたって、分散させることさえできる。

【0051】

当業者によって理解されるように、スマートミラーを介してリアルタイムでユーザの活性能を分析するために、様々なプロセスが使用され得る。例えば、例示的なシステム２００および関連するスマートミラー２０４は、本明細書で説明するプロセスによって、ユーザの活動パフォーマンスをリアルタイムで分析することができる。特に、当業者によって理解されるように、本明細書で説明される技術および工程を実行するための制御ロジックおよび／または自動ルーチンは、ハードウェア、ソフトウェア（ニューラルネットワークまたは他の計算モデルなど）、またはハードウェアとソフトウェアとの組合せのいずれかによって、システム２００および関連するスマートミラー２０４によって実装され得る。例えば、適切なコードは、スマートミラー２０４上の１つまたは複数のプロセッサによってアクセスされ、実行されて、本明細書で説明する技術の一部または全部を実行することができる。同様に、本明細書で説明するプロセスの一部または全部を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）は、スマートミラー２０４上の１つまたは複数のプロセッサに含まれ得る。

【0052】

ここで図３Ａおよび図３Ｂを参照すると、いくつかの実施形態による、スマートミラー（例えば、スマートミラー１００）を介してリアルタイムでユーザの活性能を分析するための例示的なプロセス３００が、フローチャートを介して示されている。一実施形態では、処理３００が部屋１０４内のスマートミラー１００によって実装され得る。処理３００は、ステップ３０２において、スマートミラーのグラフィカルユーザインターフェース（ＧＵＩ）を介して、複数の活動型をレンダリングすることを含む。複数の活性型の各々は、複数の活性を含む。一実施形態では、ＧＵＩがＧＵＩモジュール２２０を介して表示装置２１４上にレンダリングされ得る。

【0053】

さらに、処理３００は、ステップ３０４において、ユーザコマンドを介して、複数の活性型からの活性型および活性型に関連する複数の活性からの活性型のうちの少なくとも１つのユーザ選択を受信することを含む。ユーザコマンドは、音声コマンド、タッチジェスチャ、エアジェスチャ、アイジェスチャ、または入力装置によって生成された信号のうちの少なくとも１つを含む。一実施形態では、音声コマンドがマイクロフォン２１０によって受信され得る。

【0054】

さらに、処理３００はステップ３０６において、少なくとも１つのカメラ（例えば、少なくとも１つのカメラ１０８）を介して、活性タイプおよび活性に対応するユーザの現在の活性性能のマルチメディアデータをリアルタイムで取り込むことを含む。少なくとも１つのカメラから受信されたマルチメディアデータは、データベース（データベース２２４など）に記憶される。いくつかの実施形態では、ユーザが１つまたは複数のユーザコマンドに基づいてマルチメディアデータを編集することができる。ユーザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または表示ジェスチャのうちの少なくとも１つである。一例として、１つまたは複数のユーザコマンドは、マルチメディアデータの開始点を設定すること、マルチメディアデータの終了点を設定すること、マルチメディアデータから背景を除去すること、マルチメディアデータに１つまたは複数のタグを割り当てること、および活性エキスパートまたは他のユーザのセットとマルチメディアデータを共有することのうちの少なくとも１つを含む。あるいは、活性エキスパートがユーザと共有されるべきターゲット活性性能に対応するマルチメディアデータを記録および編集することができる。

【0055】

さらに、プロセス３００は、ステップ３０８において、ＡＩモデル（ＡＩモデル２２２など）によるリアルタイム処理、スマートミラーに対するユーザの現在の視野を決定するためのキャプチャされたマルチメディアデータ（３０８ａ）、ユーザの現在の姿勢および運動（３０８ｂ）、ユーザパフォーマンスパラメータのセット（３０８ｃ）、およびスマートミラーに対するユーザの推定された将来の視野（３０８ｄ）を含む。スマートミラー（３０８ａ）に対するユーザの現在の視野は、ユーザの視線およびユーザの頭部の方位のうちの少なくとも１つに基づいて決定される。ユーザの現在の姿勢および運動（３０８ｂ）は、スマートミラーに対するユーザの向きおよび位置に基づいて決定される。ユーザ性能パラメータのセット（３０８ｃ）は、ユーザの現在の活動性能に基づいて決定される。ＡＩモデルは、活性エキスパートのターゲット活性性能と、現在の活性に関連付けられた複数の正しいおよび誤った動きとに基づいて構成される。ユーザ性能パラメータのセットは、現在の活性能の速度、完了した繰り返し回数、活回路の全体的な完了、サードパーティスマートデバイス情報、ユーザの脈拍数、ユーザの血圧、およびユーザの動きを含む。スマートミラー（３０８ｄ）に対するユーザの推定された将来の視野はユーザの現在の視野、ユーザの推定された将来の視線、ユーザの推定された将来の頭部の向き、およびユーザの推定された将来の姿勢および運動に基づいて決定される。

【0056】

さらに、処理３００はステップ３１０において、現在の姿勢および推定された将来の視野ならびに現在の姿勢および推定された将来の姿勢および運動に基づいて、ＡＩモデルによって姿勢骨格モデル（たとえば、姿勢骨格モデル１１６）をリアルタイムで生成することを含む。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、ユーザの継手に対応する。さらに、処理３００のステップ３１０は、ステップ３１２において、スマートミラーに対するユーザの推定された将来の距離、現在の姿勢および推定された将来の視野、ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルを自動的に調整および正規化することを含む。

【0057】

さらに、処理３００は、ステップ３１４において、現在の姿勢および推定された将来の視野ならびに現在の姿勢および推定された将来の姿勢および運動に基づいて、ＡＩモデルによって、姿勢骨格モデルおよび複数の重要な点のうちの１つが反射の上に重ね合わされたスマートミラー上のユーザの反射をリアルタイムで増強することを含む。複数のキーポイントの各々は、反射におけるユーザの対応する継手または特徴の上に重ねられる。

【0058】

さらに、処理３００は、ステップ３１６において、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較することを含む。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。目標活動性能パラメータのセットは、目標活動性能の速度、目標繰り返し回数、ユーザの目標脈拍数、およびユーザの目標運動を含む。

【0059】

さらに、処理３００は、ステップ３１８において、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することを含む。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。フィードバックはユーザの現在の姿勢を修正するための指示と、ユーザの現在の姿勢に関連付けられたユーザの動きを修正するための指示と、ユーザが少なくとも部分的に少なくとも１つのカメラの視野の外側にあるとき、ユーザの現在の位置を修正するための指示とを含む、ユーザへの警告を生成することを含み得る。

【0060】

さらに、処理３００は、ステップ３２０において、ＡＩモデルによってフィードバックをレンダリングすることを含む。さらに、処理３００のステップ３２０はステップ３２２において、スマートミラー上のユーザの反射の上に、少なくとも１つの是正措置のうちの１つを重ねることを含む。さらに、処理３００のステップ３２０は、ステップ３２４において、スマートミラーのＧＵＩ上に警告を表示することを含む。さらに、処理３００のステップ３２０は、ステップ３２６において、スマートミラーで構成されたスピーカを介して、ユーザに聴覚フィードバックを出力することを含む。

【0061】

いくつかの実施形態では、処理３００が現在の活性能が比較に基づいて事前定義された閾値時間の間、事前定義された閾値性能を上回る目標活性能から変化する場合に、一連のユーザ性能パラメータおよび目標活性能の表示装置を一時停止することを含む。さらに、そのような実施形態では、処理３００がＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することを含む。予め定義された閾値性能と予め定義された閾値時間とが相関されることに留意されたい。例えば、ユーザが短い時間隔の間、ターゲットアクティビティパフォーマンスからのアライメントが外れている場合でも、スマートミラー１００は、表示装置を一時停止してもよい。いくつかの実施形態では、ＡＩモデルがユーザのスキルレベルに基づいて、事前定義された閾値性能および事前定義された閾値時間の各々についての値を動的に決定する。いくつかの実施形態では、ＡＩモデルが性能および時間以外の様々なパラメータを使用することができる。

【0062】

さらに、処理３００は、工程３２８において、スマートミラーのＧＵＩを通して、ユーザ性能パラメータのセット、ターゲット活性能パラメータのセット、および活エキスパートのターゲット活性能を表示することを含む。一実施形態では、マルチメディアデータがユーザの現在の活性能に応答して、ターゲット活性能に対応する活エキスパートからリアルタイムで受信され得る。そのような実施形態では、ユーザ性能パラメータのセットおよび活性エキスパートの目標活性性能がスマートミラーを介してＧＵＩを介してリアルタイムで表示される。ターゲットアクティビティ性能は、リアルタイムでユーザの現在のアクティビティ性能の反射上にオーバーレイされる。さらに、処理３００は、ステップ３３０において、スマートミラー上にユーザの現在のアクティビティ性能の反射にわたって、ターゲットアクティビティ性能をリアルタイムでオーバーレイすることを含む。

【0063】

次に図４を参照すると、いくつかの実施形態による、ユーザの初期位置を補正するための例示的なプロセス４００が、フローチャートを介して示されている。一実施形態では、プロセス４００がスマートミラー１００によって実装される。プロセス４００は、ステップ４０２において、少なくとも１つのカメラを介して、ユーザの初期位置を検出することを含む。さらに、プロセス４００は、ステップ４０４において、検出されたユーザの初期位置が少なくとも１つの活性にマッピングされた初期位置と一致するかどうかを決定することを含む。さらに、プロセス４００は、ステップ４０６において、検出された初期位置が初期位置と一致しない場合、初期位置を修正するようにユーザに指示することを含む。工程４０２～４０６は、ユーザの現在のアクティビティパフォーマンス全体にわたって反復的に実行され得ることに留意されたい。

【0064】

ここで図５を参照すると、いくつかの実施形態による、ターゲットアクティビティ性能に対応するトレーナーアバターと、ユーザの現在のアクティビティ性能に対応するユーザアバターとを比較するための例示的なプロセス５００が、フローチャートを介して示されている。一実施形態では、処理５００がスマートミラー１００によって実装される。処理５００は、ステップ５０２において、少なくとも１つのカメラを通してマルチメディアデータをキャプチャすると、活性エキスパートのターゲット活性性能に対応するトレーナーアバターと、ユーザの現在の活性性能に対応するユーザアバターとのうちの少なくとも１つをレンダリングすることを含む。トレーナーアバターは活性エキスパートの３Ｄモデルであり、ユーザアバターは、ユーザの多次元モデルである。

【0065】

さらに、処理５００は、ステップ５０４において、目標活動パフォーマンスに対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つを、活動タイプおよび活動に基づいて、ユーザの現在の活動パフォーマンスと比較することを含む。さらに、処理５００は、ステップ５０６において、ユーザ性能パラメータのセットと、ターゲットアクティビティ性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つと、スマートミラーを介したＧＵＩを介したユーザの現在のアクティビティ性能とを表示することを含む。現在のアクティビティ性能は、リアルタイムで、ターゲットアクティビティ性能に対応するトレーナーアバターおよびユーザアバターのうちの少なくとも１つの上にオーバーレイされる。工程５０２～５０６は、ユーザの現在のアクティビティパフォーマンス全体にわたって反復的に実行され得ることに留意されたい。

【0066】

ここで図６を参照すると、いくつかの実施形態による、複数のエクササイズ６０２を表示する例示的なＧＵＩ６００が示されている。一実施形態によると、複数の運動６０２は限定されるものではないが、側部スクワット、肺側、スクワット側、バーピー側、プッシュアップ側、前部三頭筋頭頂部、プッシュアップ前部、ダンベルスクワットプレス、スクワット前部、および肺前部を含むことができる。複数のエクササイズ６０２の各々は複数の活性型６０４から選択された活性の型に基づいてフィルタリングされてもよいが、これに限定されない。一例として、複数の活動型６０４は「アーム」、「胸」、「ランジ」、「脚」、「クワッド」、「ショルダー」、「スクワット」、および「三頭筋」を含むことができるが、これらに限定されない。複数のエクササイズ６０２は、ソート基準６０６のうちの１つに基づいてソートされ得る。一例として、分類基準６０６は新しいエクササイズ、実行された最新のエクササイズ、実行された最も頻繁なエクササイズ、およびエクササイズの継続時間を含むことができるが、これらに限定されない。ＧＵＩ６００は、フィットネスに限定されず、ユーザ要件およびユースケースに基づいてカスタマイズされ得ることに留意されたい。例えば、ＧＵＩ６００は、リハブの場合の特定の治療、ヨガのためのメディテーション、医療専門家によって推奨される理学療法などのための活動を含むことができる。

【0067】

ここで図７を参照すると、いくつかの実施形態による、フィットネスアプリケーションのホームページを表示する例示的なＧＵＩ７００が示されている。ＧＵＩ７００は、メニュー７０２、カスタマイズ７０４、および複数の言語７０６を含むことができる。一例として、メニュー７０２は「エクササイズ」、「回路」、「ダッシュボード」、「目標」、「接続」、および「カレンダー」などのユーザのための選択肢を含むことができるが、これらに限定されない。さらに、カスタマイズ７０４は、テーマカラーの選択肢をユーザに提供することができる。一例として、テーマカラーは青鋼板、ダーク鋼板、炭素、チャコール、パステルレディ、パステルガール、ゼオン、およびザナドであってもよいが、これらに限定されない。一例として、複数の言語７０６は英語、日本語、またはヒンディを含むことができるが、これらに限定されない。

【0068】

次に図８を参照すると、いくつかの実施形態による、エクササイズパラメータ８０２を表示する例示的なＧＵＩ８００が示されている。エクササイズのためのユーザ選択を受信すると、ＧＵＩ８００は、エクササイズパラメータ８０２をユーザに要求することができる。一例として、エクササイズパラメータ８０２はレップの数、セットの数、間隔、およびエクササイズのレベル（例えば、初級者または上級者）を含み得るが、これらに限定されない。一実施形態では、予め定義されたパラメータグループ（ＣｒｏｓｓＦｉｔなど）をユーザに提供することができる。

【0069】

ここで図９を参照すると、いくつかの実施形態による、ユーザの現在の活動パフォーマンス９０２および姿勢骨格モデル９０４を表示する例示的なＧＵＩ９００が示されている。一実施形態では、ＧＵＩ９００がスマートミラー（スマートミラー１００など）によるユーザの反射に重畳されたユーザの姿勢骨格モデル９０４を表示することができる。さらに、ＧＵＩ９００は、活性エキスパートに対応するターゲット活性性能９０６を、表示装置の右下の挿入フレームに表示する。さらに、ＧＵＩ９００は、ユーザがエクササイズの準備をするためのメッセージ９０８を表示する。メッセージ９０８はまた、音声出力として提供され得る。さらに、ＧＵＩ９００はレップ／ステップカウンタ９１０、レップ数９１２、エクササイズ９１４、心拍数９１６、およびカロリー９１８などの、これらに限定されない、ユーザパフォーマンスパラメータのセットを表示する。ｒｅｐ／ｓｔｅｐカウンタ９１０は、ユーザが従うべきターゲットアクティビティパフォーマンスにおけるターゲットポーズのシーケンスであることに留意されたい。

【0070】

ここで図１０を参照すると、いくつかの実施形態による、ユーザの現在の活動パフォーマンス１００２および姿勢骨格モデル１００４を表示する例示的なＧＵＩ １０００が示されている。ユーザがメッセージ９０８を確認し、エクササイズのための初期ポーズに入ると、スマートミラー（スマートミラー１００など）のＡＩモデルは、初期ポーズが正しいかどうかを判定することができる。さらに、ＧＵＩ１０００は、エクササイズについてポーズが成功裏に認識されたことをユーザに示すメッセージ１００８を表示する。メッセージ１００８はまた、音声出力として提供され得る。ユーザはエクササイズを開始するために、テキスト、グラフィックス、ビジュアル、ハプティック、または音声出力を介して通知され得る。例示的なシナリオでは、ユーザの初期姿勢が正しくないとき、ターゲットアクティビティパフォーマンスからの逸脱がメッセージ（テキスト、グラフィックス、オーディオ、ビジュアル、またはハプティック）を介してユーザに提示される。

【0071】

ここで図１１を参照すると、いくつかの実施形態による、ユーザの現在の活動パフォーマンス１１０２を表示する例示的なＧＵＩ１１００が示されている。ユーザがエクササイズの実行を開始すると、ユーザの現在のアクティビティ性能１１０２に関連付けられたマルチメディアデータが、スマートミラー（スマートミラー１００など）のＡＩモデルによって分析される。現在の活性能１１０２のマルチメディアデータは、活性エキスパートのターゲット活性能１１０４と比較される。一例として、ＧＵＩ１１００は、レップ／ステップカウンタ、完了したレップのパーセンテージ、完了した運動のパーセンテージ、ユーザの心拍数、ユーザによって燃焼されたカロリー、または任意の他のユーザパフォーマンスパラメータを表示することができる。ユーザが最初のポーズから後続のポーズにうまく移動すると、ｒｅｐ／ｓｔｅｐカウンタは値が「１」から「２」に変化し、ユーザが第２のステップに入っていることを示す。多くの活動は、複数のステップを有することに留意されたい。例えば、バーピーのレップは、８つのステップを有する。現在の活性能１１０２が、所定の閾値能を上回る目標活性能１１０４から逸脱すると、メッセージ１１０６がユーザのための是正措置と共にディスプレイ上に表示される（例えば、「背中をまっすぐにする」）。メッセージ１１０６はまた、オーディオ出力およびグラフィック表示として提供されてもよい。さらに、活性エキスパートのターゲット活性性能１１０４は、ユーザが現在の活性性能１１０２に従うために表示される。

【0072】

本開示のいくつかの実施形態は、体育館、リハブ、病院内の理学療法、ダンススタジオ、劇場、または任意の他のユースケースシナリオにおいて使用され得る。体育館は例えば、ユーザによる複数の活性を実行するための複数のエクササイズマシンおよび機器を含むことができる。ユーザは活動カテゴリから活動を選択するためにスマートミラー（例えば、スマートミラー１００）または任意の他の表示装置を使用することができ、それに応じて、活動に関連付けられた活動属性を選択することができる。複数のカメラはユーザの活性をキャプチャすることができ、実行されている活性を改善するための関連する指示およびフィードバックをユーザに提供することができる。カメラはまた、ユーザを識別し、履歴、カスタマイズされた設定、トレーナーからのメッセージ、プロファイルデータ、および他の同様の情報をユーザに提供するために、ユーザの顔認識のために使用され得る。体育館では、単一のスマートミラーが複数のユーザにエクササイズトレーニングを提供するために、一方向ミラーの後ろに配置された複数のスクリーンおよびＧＵＩを含むことができる。さらに、スマートミラー１００は、Ｂｌｕｅｔｏｏｔｈヘッドセットまたはスピーカを介してオーディオフィードバックを出力するように構成される。

【0073】

カメラは、ユーザが様々な活動を行うために１つの領域から又は１つの機械から別の機械に移動するときに体育館におけるユーザの活動を追跡および記録するために使用されてもよい。スマートミラー１００はユーザが体育館のある領域から別の領域に移動するときに、カメラを使用するユーザの現在の進行を追跡することができる。カメラは、監視にわたってユーザのコンテキストおよび情報の連続性を可能にすることができる。体育館（または任意の他のユースケースシナリオ）は、パーソナルコーチ、トレーナー、体育活動エキスパート、理学療法士、作業療法士、身体教育教師、武道教師、ダンスおよび振付学、スポーツパーソナリティ、チームコーチ、ならびに健康およびフィットネスにおけるデモンストレーターおよび他のトレーナーなどの様々なタイプの活動エキスパートを有し得る。

【0074】

体育館で行われる活動およびユーザによって達成される目標は、体育館で実践している１人または複数の他のユーザと、または１人または複数の遠隔ユーザと、活動エキスパートまたはユーザによって共有され得る。

【0075】

加えて、ユーザパフォーマンスは、ソーシャルメディアプラットフォーム上で投稿および公開されてもよく、１人または複数のリモートユーザがアクセスするためのオンラインコンテンツとして利用可能にされてもよい。これは、ユーザによって実行されるアクティビティのゲーム化を介して、および報酬メカニズムを使用して行うことができる。ユーザ活動に関連するスコアは、点としてリーダーボード上に提示され得る。バッジは、実行されるアクティビティのレベルに基づいてユーザに割り当てられ得る。加えて、例えば、実行された運動の精度、総数、運動間の休憩などを含み得る、実行された活動に関連する記録が、１人または複数のユーザに提供されてもよく、表示装置およびスマートミラー上に表示されてもよい。さらに、スマートミラー１００は、ロック解除特徴、追加のアクティビティ、設計、および他の同様の特徴などの追加の特徴を含むことができる。

【0076】

一実施形態では、スマートミラー１００がコンテンツメディアを作成するために使用することができ、例えば、ユーザの現在の健康状態、運動ルーチン、運動能力、および過去の記録、ならびにソーシャルメディアプラットフォーム上のユーザのための獲得された報酬に関する情報を含むコンテンツメディアを共有することができる。これは、スマートミラー１００に統合されたアプリケーションプログラミングインターフェース（ＡＰＩ）を介して行うことができる。

【0077】

スマートミラー１００は、新しいフィットネスコンテンツを作成するための記録ツールとして、および音声ベース入力を介して受信されたユーザによって実行されるアクティビティのための関連する命令として使用され得る。さらに、体育館（または任意の他のユースケースシナリオ）で使用されるような表示装置およびスマートミラーの両方は、ユーザによって選択されている活動に関連する新しいコンテンツを編集およびレビューするために使用され得、活動エキスパートによってユーザのセッションをレビューするために使用され得る。さらに、スマートミラー１００は、ユーザがスマートミラー１００にログインすることができる健康およびフィットネスアプリケーションに接続することができる。健康およびフィットネスアプリケーション上で受信されるフィードバックは、社会的関与のためにソーシャルプラットフォーム上で共有され得、リーダーボードの形成で他の社会的に接続された当事者またはグループに活動関連データを提供し得る。

【0078】

さらに、スマートミラー１００は、ユーザまたは活性エキスパートによって記録デバイスとして使用されてもよい。理解され得るように、スマートミラー１００を使用するユーザおよび活性エキスパートは、スマートミラー上で、クロップ、ハイライト、音声、音声テキストフィードバックを追加することができる。さらに、ユーザおよび活性エキスパートはスマートミラーで使用されるように、背景画像を追加または除去することを許可され得る。記録されたビデオは、他のユーザと共有することができる。さらに、スマートミラーによって収集されたパラメータは、メタデータ、命令、しきい値パラメータ、およびそれらの組合せを作成するために処理され得る。

【0079】

スマートミラー１００は、１つまたは複数のカメラおよび他の１つまたは複数のセンサを使用して、アクティビティの実行中にユーザの位置をキャプチャすることができる。ユーザによって実行されているアクティビティに基づくフィードバックは、ターゲットモーションのビデオなど、表示および他のメディアコンポーネントを減速させることに関連する命令に限定されず、メトロノームなど、拍動およびリズムオーディオキューなどの他のフィードバックを含むこともできる。正確かつタイムリーなフィードバックを生成するために、性能ガイダンスの手がかり、ターゲットの動き、媒体および音声およびオーディオのフィードバックを提供するために、ユーザの動きの緊密な結合が行われ得る。スマートミラー１００はユーザの実際の移動とともに提供される媒体および情報をマッピングおよび同期させることができ、したがって、関連する対応するフィードバックを提供することができる。

【0080】

一実施形態では、ユーザが複数の活動カテゴリから活動をナビゲートし、選択し、スケジュールし、配列することを可能にするために、多言語音声ベースのインターフェースが提供され得る。音声ベースの入力はプレイリストを作成および保存し、メタデータをプレイリストに追加し、音声－文字機構および音声フィードバックを使用して、プレイリストおよびアクティビティにコメントを追加し、新しいアクティビティカテゴリを記録し、実行されるアクティビティを編集およびクリップし、ハッシュタグを用いてエクササイズをタグ付けし、例えば、エクササイズの型、筋肉群または難易度レベルをタグ付けし、エクササイズクリップを代替バージョンに置き換え、プレイリストおよびエクササイズを他のユーザと共有し、プレイリストを共有するときに別のユーザのためのメッセージを指示するために使用され得る。

【0081】

本開示のいくつかの実施形態は、ＡＩベースの健康およびフィットネスシステム訓練方法として実装され得る。本方法はユーザを検出することと、カメラを使用してユーザの姿勢および体動を決定することと、センサを使用して身体またはユーザの動き、動き、位置、および／または動きをさらに感知することと、スマートミラー上のユーザの姿勢決定および体動を通して運動を指向および監視することと、ユーザのミラー反射にわたって姿勢および動きをオーバーレイすることと、リアルタイムフィードバックを提供することと、活性エキスパートのビデオストリーム上に姿勢をオーバーレイすることと、トレーニングビデオおよびユーザと併せて姿勢位置を示すことと、リアルタイムで運動を追跡することと、自動再計算することと、運動シーケンスにおけるターゲット相関および精度と、グループ、友人、および他の人々へのリアルタイムソーシャルメディア共有とを含む。

【0082】

代替の実施形態では、人工知能ベースの健康およびフィットネストレーニング方法がユーザの姿勢および体動を決定するためのカメラと、ユーザの音声命令を聴取するためのマイクロフォンと、ユーザの動きに関するフィードバックをユーザに提供するためのスピーカとを含み、それによって、方法はエクササイズ配列において、自動再計算のために、自動再計算のために、エクササイズをリアルタイムで追跡するためにユーザの姿勢および体動を決定することを提供する。

【0083】

一実施形態では、リアルタイムライブフィードバックが音声制御命令、運動のための命令に基づくビデオまたはテキストまたはグラフィック要素を含むビジュアル、スクリプト、運動の配列、および／または活動の実行中のユーザのパフォーマンスを使用して提供され得る。スマートミラー１００は例えば、ユーザのアカウントアクセスに関連する詳細、ユーザのワークアウト履歴、およびユーザに関連する他の情報関連情報に関連する情報を含むことができる。スマートミラー１００はユーザのポーズおよび体動を決定し、ユーザのミラーリフレクション上でユーザのポーズおよび動きをオーバーレイし、活性エキスパートのビデオストリーム上でポーズをオーバーレイし、トレーニングビデオおよびユーザと連動してポーズ位置を示すことができる。ＡＩモデルに基づいて、スマートミラー１００は例えば、エクササイズ／アクティビティ、スクリプト、エクササイズのシーケンスおよび／又はエクササイズ中のユーザのパフォーマンスに関連する命令に基づいて、オーディオフィードバック／ビデオフィードバック／テキストフィードバック／グラフィックフィードバックを介して、ユーザにライブフィードバックを提供することができる。

【0084】

一実施形態では、誘導工程の効率的な表示装置および誘導工程に関連する視覚情報の配置のために、スマートミラーのスクリーン上に提示されてもよい。スマートミラーＧＵＩはユーザの目の位置に基づいて調整されてもよく、その結果、情報はユーザのビデオストリームのキャプチャではなく、反射に適切に配置されるか、または何らかの固定された位置に配置される。

【0085】

さらに、スマートミラー上のユーザの姿勢および動きの３Ｄモデルが提供される。これは提供された３Ｄモデルを反射の上にオーバーレイすることを伴い、次いで、３Ｄモデルはスマートミラーを介した表示のための分析と共にレンダリングされ得る。理解され得るように、ミラーの長辺に沿った途中でユーザの姿勢および運動をキャプチャする１つまたは複数のカメラは、ユーザの姿勢のより良好なアスペクト比を可能にするために調整され得る。

【0086】

ビデオ記録は、分散された場所に配置された少なくとも１つのカメラを使用して作成することができる。スマートミラー１００は、新しいトレーニングコンテンツを作成するための、活性エキスパート、理学療法士、教師、振付師によって後でレビューされるコンテンツを記録するための、および活性エキスパートまたはユーザのライブストリームのリアルタイム共有のための記録装置を含むことができる。

【0087】

また、理解されるように、上述の技法は、コンピュータまたはコントローラによって実施される、それらの処理を実施するための処理および装置の形成をとることができる。本開示はまた、フロッピーディスクドライブ（登録商標）ディスケット、ソリッドステートドライブ、ＣＤ－ＲＯＭ、ハードドライブ、または任意の他のコンピュータ可読記憶媒体などの有形媒体に具現化される命令を含むコンピュータプログラムコードの形成で具現化することができ、コンピュータプログラムコードがコンピュータまたはコントローラにロードされて実行されると、コンピュータは、本発明を実施するための装置になる。本開示はまた、例えば、記憶媒体に記憶されているか、コンピュータもしくはコントローラにロードされ、かつ／もしくは実行されているかどうか、または電気配線もしくはケーブルを介して、光ファイバを介して、もしくは電磁放射を介してなど、何らかの伝送媒体を介して伝送されているかどうかにかかわらず、コンピュータプログラムコードもしくは信号の形態で具現化されてもよく、コンピュータプログラムコードがコンピュータにロードされ、コンピュータによって実行されるとき、コンピュータは、本発明を実施するための装置になる。汎用マイクロプロセッサで実施されるとき、コンピュータ・プログラム・コードのセグメントが、特定の論理回路を作り出すようにマイクロプロセッサを構成する。

【0088】

開示される方法およびシステムは、パーソナルコンピュータ（ＰＣ）またはサーバコンピュータなどの従来のまたは汎用コンピュータシステム上で実装され得る。ここで図１２を参照すると、（例えば、ＳＩＭＤデバイス、クライアント装置、サーバデバイス、１つまたは複数のプロセッサなどとして）様々な実施形態のための処理機能を実装するために採用され得る例示的なコンピューティングシステム１２００が示されている。当業者は、他のコンピュータシステムまたはアーキテクチャを使用して本発明を実施する方法も認識するのであろう。コンピューティングシステム１２００はたとえば、デスクトップ、ラップトップ、携帯電話、パーソナルエンターテインメントデバイス、ＤＶＲなどのユーザ装置、または所与のアプリケーションもしくは環境に望ましいかもしくは適切であり得る任意の他の種類の特殊もしくは汎用コンピューティングデバイスを表し得る。コンピューティングシステム１２００は例えば、マイクロプロセッサ、マイクロコントローラ、または他の制御ロジックなどの特定目的処理エンジンを使用して実装され得るプロセッサ１２０２などの１つまたは複数のプロセッサを含み得る。この実施例では、プロセッサ１２０２がバス１２０４または他の通信媒体に接続される。いくつかの実施形態では、プロセッサ１２０２がテンソルプロセッサユニット（ＴＰＵ）、またはグラフィカルプロセッサユニット、またはカスタムプログラマブルソリューションフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装され得る、人工知能（ＡＩ）プロセッサであり得る。

【0089】

コンピューティングシステム１２００はまた、プロセッサ１２０２によって実行されるべき情報および命令を記憶するための、メモリ１２０６（メインメモリ）、たとえば、ランダムアクセスメモリ（ＲＡＭ）または他のダイナミックメモリを含み得る。記憶部１２０６はまた、プロセッサ１２０２によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。コンピューティングシステム１２００は同様に、プロセッサ１２０２のための静的情報および命令を記憶するための、バス１２０４に結合された読取り専用メモリ（「ＲＯＭ」）または他の静的記憶デバイスを含み得る。

【0090】

コンピューティングシステム１２００はまた、例えば、媒体ドライブ１２１０およびリムーバブルストレージインターフェースを含むことができる記憶装置１２０８を含むことができる。メディアドライブ１２１０は、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、ＳＤカードポート、ＵＳＢポート、マイクロＵＳＢ、光ディスクドライブ、ＣＤまたはＤＶＤドライブ（ＲまたはＲＷ）、または他のリムーバブルまたは固定メディアドライブなど、固定または取り外し可能記憶媒体をサポートするためのドライブまたは他の機構を含み得る。記憶媒体１２１２は例えば、ハードディスク、磁気テープ、フラッシュドライブ、または媒体ドライブ１２１０によって読み書きされる他の固定または取り外し可能媒体を含むことができる。これらの例が示すように、記憶媒体１２１２は、特定のコンピュータソフトウェアまたはデータを記憶したコンピュータ可読記憶媒体を含むことができる。

【0091】

代替実施形態では、記憶装置１２０８がコンピュータプログラムまたは他の命令もしくはデータがコンピューティングシステム１２００にロードされることを可能にするための他の同様の手段を含み得る。そのような手段は例えば、取り外し可能記憶ユニット１２１４と、プログラムカートリッジおよびカートリッジインターフェースなどの記憶ユニットインターフェース１２１６と、取り外し可能メモリ（例えば、フラッシュメモリまたは他の取り外し可能メモリモジュール）およびメモリスロットと、ソフトウェアおよびデータが取り外し可能記憶ユニット１２１４からコンピューティングシステム１２００に転送されることを可能にする他の取り外し可能記憶ユニットおよびインターフェースとを含み得る。

【0092】

コンピューティングシステム１２００はまた、通信インターフェース１２１８を含み得る。通信インターフェース１２１８は、ソフトウェアおよびデータがコンピューティングシステム１２００と外部機器との間で転送されることを可能にするために使用され得る。通信インターフェース１２１８の実施例はネットワークインターフェース（イーサネット（登録商標）または他のＮＩＣカードなど）、通信ポート（たとえば、ＵＳＢポート、マイクロＵＳＢポートなど）、近距離無線通信（ＮＦＣ）、および他の同様の通信インターフェースを含み得る。通信インターフェース１２１８を介して転送されるソフトウェアおよびデータは、電子、電磁気、光学、または通信インターフェース１２１８によって受信されることが可能な他の信号であり得る信号の形成である。これらの信号は、チャネル１２２０を介して通信インターフェース１２１８に提供される。チャネル１２２０は、信号を搬送し得、ワイヤレス媒体、ワイヤもしくはケーブル、光ファイバ、または他の通信媒体を使用して実装され得る。チャネル１２２０のいくつかの実施例は、電話回線、セルラー電話リンク、ＲＦリンク、ブルートゥースリンク、ネットワークインターフェース、ローカルまたはワイドエリアネットワーク、および他の通信チャンネルを含み得る。

【0093】

コンピューティングシステム１２００は、入力／出力（Ｉ／Ｏ）装置１２２２をさらに含み得る。例としてはディスプレイ、キーパッド、マイクロフォン、オーディオスピーカ、振動モータ、ＬＥＤライト、および他の同様のＩ／Ｏ装置が挙げられるが、これらに限定されない。Ｉ／Ｏ装置１２２２はユーザからの入力を受信し、プロセッサ１２０２によって実行される計算の出力を表示することもできる。本明細書では、「コンピュータプログラム製品」および「コンピュータ可読媒体」という用語が一般に、たとえば、記憶部１２０６、記憶装置１２０８、リムーバブル記憶ユニット１２１４、またはチャネル１２２０上の信号などの媒体を指すために使用され得る。コンピュータ可読媒体のこれらおよび他の形態は、実行のために１つまたは複数の命令の１つまたは複数の配列をプロセッサ１２０２に提供することに関与し得る。一般に「コンピュータプログラムコード」（コンピュータプログラムまたは他のグループの形態でグループ化され得る）と呼ばれるそのような命令は、実行されると、コンピューティングシステム１２００が本発明の実施形態の特徴または機能を実行することを可能にする。

【0094】

要素がソフトウェアを使用して実装される実施形態では、ソフトウェアがコンピュータ可読媒体に記憶され、例えば、リムーバブル記憶ユニット１２１４、メディアドライブ１２１０、または通信インターフェース１２１８を使用してコンピューティングシステム１２００にロードされ得る。制御ロジック（この実施例では、ソフトウェア命令またはコンピュータプログラムコード）がプロセッサ１２０２によって実行されると、プロセッサ１２０２に、本明細書で説明する本発明の機能を実行させる。

【0095】

当業者には理解されるように、上述の様々な実施形態に記載された技術は、日常的ではなく、従来的ではなく、または当技術分野において十分に理解されていない。上述の技術は、スマートミラーを介してリアルタイムでユーザの活性能を分析することを提供する。本技術は最初に、ＧＵＩを介して複数のアクティビティ型をレンダリングする。複数の活性型の各々は、複数の活性を含む。本技術は、次いで、ユーザコマンドを介して、複数の活性型からの活性型と、活性型に関連付けられた複数の活性からの活性とのうちの少なくとも１つのユーザ選択を受信し得る。次いで、本技術は、活性タイプおよび活性に対応するユーザの現在の活性性能のデータをリアルタイムでキャプチャすることができる。次いで、本技術は、ＡＩモデルによって、キャプチャされたマルチメディアデータをリアルタイムで処理して、スマートミラーに対するユーザの現在の視野を、ユーザの視野およびユーザの頭部の方位と、スマートミラーに対するユーザの方位および位置と、ユーザの現在の活性能に基づくユーザ性能パラメータのセットであって、活エキスパートのターゲット活性能と、現在の活に関連付けられた複数の正しいおよび誤った運動とに基づいて構成される、ユーザの現在の性能パラメータのセットと、ユーザの現在の視野、ユーザの推定された将来の視野、ユーザの推定された将来の視野、ユーザの推定された将来の方位、ならびにユーザの推定された将来の姿勢および運動とのうちの少なくとも１つに基づいて決定する。次いで、本技術は、ＡＩモデルによって、現在の姿勢および推定された将来の視野と、ユーザの現在の姿勢および推定された将来の姿勢および運動とに基づいて、姿勢骨格モデルをリアルタイムで生成し得る。ポーズ骨格モデルは、活性タイプおよび活性に基づいて複数のキーポイントを含む。複数のキーポイントの各々は、ユーザの継手に対応する。次いで、本技術は、ＡＩモデルによって、現在の姿勢および推定された将来の視野ならびにユーザの現在の姿勢および推定された将来の姿勢および運動に基づいて、姿勢骨格モデルおよび複数の重要な点のうちの１つが反射の上に重ね合わされたスマートミラー上のユーザの反射をリアルタイムで増強することができる。複数のキーポイントの各々は、反射におけるユーザの対応する関節の上にオーバーレイされる。次いで、本技術は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットをターゲットアクティビティパフォーマンスパラメータのセットと比較し得る。ターゲット活性パフォーマンスパラメータのセットは、活性エキスパートに対応する。次いで、本技術は、ＡＩモデルによって、ユーザパフォーマンスパラメータのセットとターゲットアクティビティパフォーマンスパラメータのセットとの比較に基づいて、ユーザについてのフィードバックを生成することができる。フィードバックは、是正措置または警告のうちの少なくとも１つを含む。フィードバックは、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのうちの少なくとも１つを含む。次いで、これらの技法は、ＡＩモデルによってフィードバックをレンダリングすることができる。フィードバックをレンダリングするために、技法は、次いで、スマートミラー上でのユーザの反射にわたって、少なくとも１つの是正措置のうちの１つをオーバーレイし得る。フィードバックをレンダリングするために、技法は、次いで、スマートミラーのＧＵＩ上に警告を表示し得る。フィードバックをレンダリングするために、技法は、次いで、スマートミラーを用いて構成されたスピーカを介して、ユーザに聴覚フィードバックを出力し得る。

【0096】

上記の利点および開示された方法およびシステムによって提供される技術的進歩に照らして、上記で論じられた特許請求された工程は、特許請求された工程が従来の技術における既存の問題に対する以下の解決策を可能にするので、日常的ではなく、従来のものではなく、または当技術分野において十分に理解されていない。さらに、請求される工程は、請求される工程が技術的問題に対する技術的解決法を提供するので、装置自体の機能の向上を明確にもたらす。

【0097】

本明細書は、スマートミラーを介してリアルタイムでユーザの活性能を分析するための方法およびシステムを説明した。図示された工程は図示された例示的な実施形態を説明するために提示されており、進行中の技術開発が、特定の機能が実行される方法を変更することが予期されるべきである。これらの実施例は、限定ではなく説明の目的で本明細書に提示される。さらに、機能的構成要素の境界は、説明の便宜上、本明細書では任意に定義されている。指定された機能およびその関係が適切に実行される限り、代替的な境界を定義することができる。代替（本明細書に記載されるもの等価物、拡張、変形、および／または偏差を含む）は、本明細書に含まれる教示に基づいて、当業者には明らかであろう。そのような代替形態は、開示された実施形態の範囲および趣旨に含まれる。

【0098】

さらに、本開示と一致する実施形態を実装する際に、１つまたは複数のコンピュータ可読記憶媒体が利用され得る。コンピュータ可読記憶媒体は、プロセッサによって可読な情報またはデータが記憶され得る任意の種類の物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書で説明される実施形態と一致するステップまたはステージをプロセッサに実行させるための命令を含む、１つまたは複数のプロセッサによる実行のための命令を記憶し得る。「コンピュータ可読媒体」という用語は有形のアイテムを含み、搬送波および過渡信号を除外する、すなわち非一時的であると理解されるべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤＲＯＭ、ＤＶＤ、フラッシュドライブ、ハードディスク、および任意の他の既知の物理記憶媒体が挙げられる。

【0099】

本開示および実施例は例示的なものに過ぎず、開示された実施形態の真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図1I】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【誤訳訂正書】

【提出日】2024-06-03

【誤訳訂正1】

【訂正対象書類名】図面

【訂正対象項目名】図６

【訂正方法】変更

【訂正の内容】

【図6】

【誤訳訂正2】

【訂正対象書類名】図面

【訂正対象項目名】図７

【訂正方法】変更

【訂正の内容】

【図7】

【誤訳訂正3】

【訂正対象書類名】図面

【訂正対象項目名】図８

【訂正方法】変更

【訂正の内容】

【図8】

【誤訳訂正4】

【訂正対象書類名】図面

【訂正対象項目名】図９

【訂正方法】変更

【訂正の内容】

【図9】

【誤訳訂正5】

【訂正対象書類名】図面

【訂正対象項目名】図１０

【訂正方法】変更

【訂正の内容】

【図10】

【誤訳訂正6】

【訂正対象書類名】図面

【訂正対象項目名】図１１

【訂正方法】変更

【訂正の内容】

【図11】

【誤訳訂正7】

【訂正対象書類名】図面

【訂正対象項目名】図１２

【訂正方法】変更

【訂正の内容】

【図12】

【国際調査報告】