ホーム > 特許ランキング > ＴＲＥＨＡＮ， Ｒａｊｉｖ
知財求人 - 知財ポータルサイト「IP Force」
特表2024-535948人工知能（ＡＩ）支援活動訓練のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-03
(54)【発明の名称】人工知能（ＡＩ）支援活動訓練のためのシステムおよび方法
(51)【国際特許分類】
A63B 69/00 20060101AFI20240925BHJP
A63B 71/06 20060101ALI20240925BHJP
【ＦＩ】
A63B69/00 A
A63B71/06 T
A63B71/06 M
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024538506
(86)(22)【出願日】2022-08-25
(85)【翻訳文提出日】2024-05-01
(86)【国際出願番号】 IB2022057969
(87)【国際公開番号】W WO2023047211
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】17/467,386
(32)【優先日】2021-09-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】524087002
【氏名又は名称】ラジーヴ トレハン
【氏名又は名称原語表記】ＴＲＥＨＡＮ， Ｒａｊｉｖ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100149249
【弁理士】
【氏名又は名称】田中 達也
(72)【発明者】
【氏名】ラジーヴ トレハン
(57)【要約】
本開示は、人工知能（ＡＩ）支援活動訓練のためのシステム及び方法に関する。本方法は、複数のアクティビティカテゴリをユ－ザに提示することと、ユ－ザから音声ベ－スの入力を受信することとを含む。この方法は、自然言語処理（ＮＬＰ）モデルを使用して、受信した音声ベ－スの入力を処理し、少なくとも１つのアクティビティとアクティビティ属性の選択を抽出する。音声ベ－スの入力を受信すると同時に、１つのアクティビティおよびアクティビティ属性に適合するマルチメディアコンテンツを提示する。マルチメディアコンテンツの開始に応答して、ユ－ザ活動のパフォ－マンスの開始を検出する。ユ－ザ活動のビデオをキャプチャし、ＡＩモデルを使用してビデオを処理し、ユ－ザパフォ－マンスパラメ－タのセットを抽出する。さらに、ユ－ザパフォ－マンスパラメ－タのセットとタ－ゲットセットとの差分に基づいてフィ－ドバックを生成できる。
【選択図】図３Ｂ
【選択図】図３Ｂ
【特許請求の範囲】
【請求項1】
人工知能（ＡＩ）支援アクティビティトレ－ニングのための方法であって、レンダリングデバイスによって、複数のアクティビティカテゴリをユ－ザに提示するステップであって、複数のアクティビティカテゴリの各々が複数のアクティビティを含み、複数のアクティビティカテゴリがマルチメディアコンテンツとして提示される、ステップと
前記ユ－ザから音声ベ－スの入力を受信するステップであって、前記音声ベ－スの入力は、前記複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、前記少なくとも１つのアクティビティのそれぞれに関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含み、前記音声ベ－スの入力はソ－ス言語である、ステップと
自然言語処理（ＮＬＰ）モデルによって、受信した音声ベ－スの入力を処理して、少なくとも１つのアクティビティの選択と少なくとも１つのアクティビティ属性を抽出するステップであって、ＮＬＰモデルは単一の言語を使用して構成され、単一の言語は中間言語である、ステップと
前記音声ベ－スの入力を受信すると同時に、前記少なくとも１つのアクティビティおよび前記少なくとも１つのアクティビティ属性に適合するマルチメディアコンテンツの提示を開始するステップであって、前記マルチメディアコンテンツは、前記少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数のガイダンスステップを含む、ステップと
少なくとも１つのカメラを介して、マルチメディアコンテンツの開始に応答するユ－ザのユ－ザ活動パフォ－マンスの開始を検出するステップであって、所定の時間におけるユ－ザのユ－ザ活動パフォ－マンスは、少なくとも１つのアクティビティの１つを模倣することからなる、ステップと
少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャするステップであって、少なくとも１つのカメラは、分散した場所に配置される、ステップと
人工知能（ＡＩ）モデルによって、前記ビデオをリアルタイムで処理し、前記ユ－ザ－アクティビティパフォ－マンスに基づいて、前記ユ－ザ－のユ－ザ－パフォ－マンスパラメ－タのセットを抽出するステップと
ＡＩモデルによって、ユ－ザ－パフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成するステップと
ユ－ザ－アクティビティパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックの少なくとも１つでユ－ザ－にレンダリングすることと、を含む方法。
【請求項2】
少なくとも１つのアクティビティ属性が、少なくとも１つのアクティビティの実行順序、少なくとも１つのアクティビティの各々を実行するためのセット数、各セットにおける少なくとも１つのアクティビティの各々のカウント、少なくとも１つのアクティビティの各々を実行する時間、各セット間の休息期間、少なくとも１つのアクティビティの各々を実行する強度、少なくとも１つのアクティビティの各々を実行する難易度、または少なくとも１つのアクティビティの各々を実行するペ－スのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項3】
少なくとも１つの活動の実行順序が、活動トレ－ニング回路に対応する、請求項２に記載の方法。
【請求項4】
活動トレ－ニング回路を１人以上の遠隔ユ－ザ－と共有することをさらに含む、請求項３記載の方法。
【請求項5】
前記活動トレ－ニング回路をプレイリストとして保存するステップと、音声ベ－スの入力に基づいて、少なくとも１つのメタデ－タを前記プレイリストに組み込むステップであって、前記メタデ－タは、強度、回数、楽しさ因子、予測カロリ－消費量、目標筋肉群、目標身体部位、年齢層、体重、性別、所要時間、または予想心拍数に対応する、ステップと、
をさらに含む、請求項３に記載の方法。
【請求項6】
フィ－ドバックが、消費カロリ－、実行された少なくとも１つの活動の最大カウント数、ユ－ザの以前の活動セッション中に少なくとも１つの活動に費やされた最大時間、少なくとも１つの活動を実行する際のユ－ザの誤った姿勢またはペ－ス、少なくとも１つの活動を実行するための正しい姿勢またはペ－ス、ユ－ザの絶対的な活動性能熟練度、ユ－ザの相対的な活動性能熟練度、少なくとも１つの活動を実行するのに要した最良の時間、またはユ－ザの生体測定パラメ－タに関連する警告
のうち少なくとも１つを含む、請求項１に記載の方法。
【請求項7】
ユ－ザによって、複数の活動カテゴリのうちの少なくとも１つを増強することをさらに含み、増強することが、新しいアクティビティカテゴリを作成すること
リモ－トサ－バから新しいアクティビティをダウンロ－ドし、該新しいアクティビティを該新しいアクティビティカテゴリまたは該複数のアクティビティカテゴリの少なくとも１つの下に追加するステップと
少なくとも１つのカメラを介して新しいアクティビティを記録し、新しいアクティビティを新しいアクティビティカテゴリまたは複数のアクティビティカテゴリの少なくとも１つの下に追加する；および
前記複数のアクティビティカテゴリに関連付けられた少なくとも１つの属性を修正するステップであって、前記少なくとも１つの属性は、名前、優先度、アクティビティカテゴリを有するアクティビティの数、または表示位置を含む、ステップ
のうちの少なくとも１つを含む、請求項１記載の方法。
【請求項8】
ユ－ザによって、記録された新しいアクティビティを複数のユ－ザと共有するステップであって、記録された新しいアクティビティは所定の料金で共有される、ステップと前記複数のユ－ザの各々について、前記複数のアクティビティカテゴリの各々に関連付けられた少なくとも１つの属性を、トレ－ニングおよびフィ－ドバックのためにリ－ダ－ボ－ド上に提示するステップをさらに含む、請求項７に記載の方法。
【請求項9】
前記マルチメディアコンテンツおよび前記ユ－ザアクティビティパフォ－マンスの進行を制御および処理するために、前記ユ－ザから中間音声ベ－ス入力を受信することであって、前記中間音声ベ－ス入力は、受信すること：
マルチメディアコンテンツを一時停止すること
ユ－ザ活動のパフォ－マンス中にアクティビティにコメントを追加するステップと
少なくとも１つのカメラに対して、ユ－ザの特定の身体部位または筋肉群へのフォ－カスを変更するよう指示するステップと
ユ－ザ活動のパフォ－マンス中に特定の筋肉群の活性化を検出するために、赤外線モ－ドに切り替えるよう少なくとも１つのカメラに指示すること；
ユ－ザの活動パフォ－マンス中に特定の筋肉群の活性化を検出するために、少なくとも１つのカメラに赤外線モ－ドへの切り替えを指示するステップと
所与のアクティビティに対するユ－ザの現在のパフォ－マンスと、所与のアクティビティに対するユ－ザの過去のパフォ－マンスまたはリモ－トユ－ザの現在のパフォ－マンスとのサイドバイサイドのビデオによる比較を即座に要求すること
をさらに含む、請求項１記載の方法。
【請求項10】
聴覚的形態でフィ－ドバックを生成することは、複数の基準から関連する基準の満足度に基づいて、複数の音声メッセ－ジの各々に優先順位を割り当てるステップと
ユ－ザのパフォ－マンスパラメ－タのセットを分析して、複数の基準から少なくとも１つの基準を満たすことを決定するステップと
少なくとも１つの基準の充足に応答して、複数の音声メッセ－ジから少なくとも１つの音声メッセ－ジをユ－ザ－にレンダリングするステップであって、少なくとも１つの音声メッセ－ジが少なくとも１つの基準に対応し、少なくとも１つの音声メッセ－ジがソ－ス言語でレンダリングされる、ステップと
を含む、請求項１記載の方法。
【請求項11】
前記少なくとも１つのカメラを介して、前記マルチメディアコンテンツの提示を開始するための前記ユ－ザの初期位置を検出するステップと前記ＡＩモデルによって、前記検出されたユ－ザの初期位置が、前記少なくとも１つのアクティビティにマッピングされた初期位置に一致するか否かを判定するステップと
検出された初期位置が初期位置と一致しない場合に、ＡＩモデルによって、初期位置を修正するようにユ－ザに指示するステップと
検出された初期位置が初期位置と一致した場合に、マルチメディアコンテンツの提示を開始することをさらに含む、
請求項１に記載の方法。
【請求項12】
前記ユ－ザパフォ－マンスパラメ－タのセットは、現在のアクティビティパフォ－マンスの速度、完了した反復回数、アクティビティ回路の全体的な完了、サ－ドパ－ティのスマ－トデバイス情報、ユ－ザの脈拍数、ユ－ザの血圧、およびユ－ザの動きからなり、前記目標アクティビティパフォ－マンスパラメ－タのセットは、目標アクティビティパフォ－マンスの速度、血圧、目標反復回数、ユ－ザの目標脈拍数、およびユ－ザの目標動きからなる、請求項１に記載の方法。
【請求項13】
前記少なくとも１つのカメラから受信したマルチメディアデ－タをデ－タベ－スに格納するステップとユ－ザの１つまたは複数のユ－ザコマンドに基づいてマルチメディアデ－タを編集するステップであって、ユ－ザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または視覚ジェスチャのうちの少なくとも１つであり、１つまたは複数のユ－ザコマンドは、以下のうちの少なくとも１つを含む、ステップと
マルチメディアデ－タの開始点を設定すること
マルチメディアデ－タの終了点を設定すること
マルチメディアデ－タから背景を除去すること
マルチメディアデ－タに１つまたは複数のタグを割り当てること、および
マルチメディアデ－タを他のユ－ザ－と共有することをさらに含む、請求項１記載の方法。
【請求項14】
人工知能（ＡＩ）支援活動訓練システムであって、以下のものを含む：プロセッサと、
該プロセッサに通信可能に結合されたメモリであって、該メモリは、プロセッサ実行可能命令を記憶しており、該命令の実行により、該プロセッサは、以下のことを行う：
レンダリングデバイスにより、複数のアクティビティカテゴリをユ－ザに提示するステップであって、複数のアクティビティカテゴリの各々が複数のアクティビティを含み、複数のアクティビティカテゴリがマルチメディアコンテンツとして提示される、ステップと、
ユ－ザから音声ベ－スの入力を受信するステップであって、該音声ベ－スの入力は、複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、該少なくとも１つのアクティビティの各々に関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含み、該音声ベ－スの入力はソ－ス言語である、ステップと、
自然言語処理（ＮＬＰ）モデルによって、受信した音声ベ－スの入力を処理して、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性の選択を抽出するステップであって、ＮＬＰモデルは単一の言語を使用して構成され、単一の言語は中間言語である、ステップと、
前記音声ベ－スの入力を受信すると同時に、前記少なくとも１つのアクティビティおよび前記少なくとも１つのアクティビティ属性に適合するマルチメディアコンテンツの提示を開始するステップであって、前記マルチメディアコンテンツは、前記少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数のガイダンスステップを含む、ステップと、
少なくとも１つのカメラを介して、マルチメディアコンテンツの開始に応答するユ－ザのユ－ザ活動のパフォ－マンスの開始を検出するステップであって、所与の時間におけるユ－ザのユ－ザ活動のパフォ－マンスは、少なくとも１つのアクティビティの１つを模倣することからなる、ステップと、
少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャするステップであって、少なくとも１つのカメラは、分散した場所に配置される、ステップと、
人工知能（ＡＩ）モデルによって、ビデオをリアルタイムで処理し、ユ－ザ－アクティビティパフォ－マンスに基づいて、ユ－ザ－のユ－ザ－パフォ－マンスパラメ－タセットを抽出するステップと、
ＡＩモデルによって、ユ－ザ－パフォ－マンスパラメ－タのセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成するステップと、
ユ－ザ－アクティビティパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックの少なくとも１つでユ－ザ－にレンダリングする。
【請求項15】
少なくとも１つのアクティビティ属性は、少なくとも１つのアクティビティの実行順序、少なくとも１つのアクティビティの各々を実行するためのセット数、各セットにおける少なくとも１つのアクティビティの各々に対するカウント、少なくとも１つのアクティビティの各々を実行する時間、各セット間の休息期間、少なくとも１つのアクティビティの各々を実行する強度、少なくとも１つのアクティビティの各々を実行する難易度、または少なくとも１つのアクティビティの各々を実行するペ－スの少なくとも１つを含む、請求項１４に記載のシステム。
【請求項16】
少なくとも１つの活動の実行順序が、活動トレ－ニング回路に対応する、請求項１５に記載のシステム。
【請求項17】
前記プロセッサ実行可能命令は、さらに、前記プロセッサに、前記活動訓練回路を１人以上の遠隔ユ－ザと共有させる、請求項１６記載のシステム。
【請求項18】
前記フィ－ドバックは、消費カロリ－、実行された少なくとも１つの活動の最大カウント数、ユ－ザの以前の活動セッション中に少なくとも１つの活動に費やされた最大時間、少なくとも１つの活動を実行中のユ－ザの誤った姿勢またはペ－ス、少なくとも１つの活動を実行するための正しい姿勢またはペ－ス、ユ－ザの絶対的な活動性能の習熟度、ユ－ザの相対的な活動性能の習熟度、少なくとも１つの活動を実行するのに要した最良の時間、またはユ－ザの生体測定パラメ－タに関連する警告、
の少なくとも１つを含む、請求項１４記載のシステム。
【請求項19】
請求項１４記載のシステムにおいて、前記プロセッサ実行可能命令は、さらに、前記プロセッサに、前記ユ－ザによるアクションに応答して、前記複数のアクティビティカテゴリのうちの少なくとも１つを増強させ、ここで、増強は、以下のうちの少なくとも１つを含むことを特徴とするシステム：新しいアクティビティカテゴリを作成すること
リモ－トサ－バ－から新しいアクティビティをダウンロ－ドし、該新しいアクティビティを該新しいアクティビティカテゴリまたは該複数のアクティビティカテゴリの少なくとも１つの下に追加するステップと
少なくとも１つのカメラを介して新しいアクティビティを記録し、新しいアクティビティを新しいアクティビティカテゴリまたは複数のアクティビティカテゴリの少なくとも１つの下に追加する；および
前記複数のアクティビティカテゴリに関連付けられた少なくとも１つの属性を修正するステップであって、前記少なくとも１つの属性は、名前、優先度、アクティビティカテゴリを有するアクティビティの数、または表示位置を含む、ステップ。
【請求項20】
コンピュ－ティングデバイスの非一過性のコンピュ－タ可読記憶媒体に具現化され、人工知能（ＡＩ）支援アクティビティトレ－ニングのためのコンピュ－タ命令を含むコンピュ－タプログラム製品であって、レンダリングデバイスによって、複数のアクティビティカテゴリをユ－ザに提示するステップであって、複数のアクティビティカテゴリの各々が複数のアクティビティを含み、複数のアクティビティカテゴリがマルチメディアコンテンツとして提示される、ステップと
前記ユ－ザから音声ベ－スの入力を受信するステップであって、前記音声ベ－スの入力は、前記複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、前記少なくとも１つのアクティビティのそれぞれに関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含み、前記音声ベ－スの入力はソ－ス言語である、ステップと
自然言語処理（ＮＬＰ）モデルによって、受信した音声ベ－スの入力を処理して、少なくとも１つのアクティビティの選択と少なくとも１つのアクティビティ属性を抽出するステップであって、ＮＬＰモデルは単一の言語を使用して構成され、単一の言語は中間言語である、ステップと
前記音声ベ－スの入力を受信すると同時に、前記少なくとも１つのアクティビティおよび前記少なくとも１つのアクティビティ属性に適合したマルチメディアコンテンツの提示を開始するステップであって、前記マルチメディアコンテンツは、前記少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数のガイダンスステップを含む、ステップと
マルチメディアコンテンツの開始に応答して、少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスの開始を検出するステップであって、所与の時間におけるユ－ザのユ－ザ活動パフォ－マンスは、少なくとも１つのアクティビティの１つを模倣することからなる、ステップと
少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャするステップであって、少なくとも１つのカメラは、分散した場所に配置される、ステップと
人工知能（ＡＩ）モデルによって、前記ビデオをリアルタイムで処理し、前記ユ－ザ－アクティビティパフォ－マンスに基づいて、前記ユ－ザ－のユ－ザ－パフォ－マンスパラメ－タのセットを抽出するステップと
ＡＩモデルにより、ユ－ザ－パフォ－マンスパラメ－タセットとパフォ－マンスパラメ －タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成する；
ユ－ザ－アクティビティパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態および視覚的形態の少なくとも１つでユ－ザ－にレンダリングするステップと
人工知能（ＡＩ）モデルにより、ビデオをリアルタイムで処理し、ユ－ザ－アクティビティパフォ－マンスに基づいて、ユ－ザ－のユ－ザ－パフォ－マンスパラメ－タセットを抽出するステップと
ＡＩモデルによって、ユ－ザ－パフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成するステップと
ユ－ザ－活動のパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックの少なくとも１つでユ－ザ－にレンダリングすること、
を含む、コンピュ－タプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年９月４日に出願された米国仮出願第６３/０７４５３９号の３５Ｕ.Ｓ.Ｃ.セクション１１９（Ｅ）に基づく優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、２０２０年９月４日に出願された米国仮出願第６３/０７４５３９号の３５Ｕ.Ｓ.Ｃ.セクション１１９（Ｅ）に基づく優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、活動訓練を提供するためのシステムおよび方法に関し、より詳細には、人工知能（ＡＩ）支援活動訓練のためのシステムおよび方法に関する。
【背景技術】
【0003】
ここ数年、人々は仕事と私生活のバランスを保ちながら、健康で普通レベルの体力を持ちたいと願うようになってきた。さらに、自分の健康は自分で管理したいという願望も高まっている。その結果、仕事の後、旅行中、週末、あるいは自由な時間に運動をする人が増えている。少しの時間の投資で生活の質を向上させるために、様々な身体活動（例えば、筋力トレ－ニング、ダンス、ヨガ、ピラティス、マ－シャルア－ツ、ボクシング、瞑想、理学療法やリハビリ、クロスフィット、レスミルズ、Ｆ４５、ズンバ、ビクラムヨガ、オレンジセオリ－、またはその他の種類のワ－クアウトやエクササイズ）が行われている。さらに、このような多様な身体活動を利用しやすくする施設や設備もたくさんある。とはいえ、多くの人は時間がなかったり、やる気がなかったりするため、運動施設、ジム、リハビリセンタ－、道場、武道館、ダンススタジオなどに足を運ぼうとはしない。また、トレ－ニングを受けた専門家による個人的な指導を受ける余裕がない人もいるため、経済的な理由もあるだろう。また、最近のパンデミック（世界的大流行）により、ウイルスや伝染病に感染する可能性があるため、そのような施設を訪れることに不安を感じる人もいる。身体的な障害も、こうした施設への旅行や利用を躊躇させる要因のひとつかもしれない。
【0004】
前述のような問題の結果、多くの人々が自宅や部屋（例えばホテルの部屋）で快適に運動やその他の活動を行うようになった。室内での運動は、スケジュ－ルや天候、その他の制限要因を簡単に回避できるため、多くの人々の共感を呼んでいる。従って、室内運動器具、例えば、トレッドミル、階段運動器具、ステッパ－、エクササイズバイク、ゴムバンド、その他の類似運動器具の販売が増加している。
【0005】
このような身体活動の最良の結果を得るために、また筋肉の損傷や怪我の可能性を減らすために、このような身体活動の多くは、そこに含まれる複雑な動作を正しく行うことをユ－ザ－に要求する。さらに、重りや力の抵抗を調整する熟練した技術も重要である。そのため、使用者のポ－ズや動作を分析する専門家がいなければ、使用者は不適切なポ－ズや動作で１つ以上の動作を行い、怪我をする可能性がある。さらに、長期的に見れば、トレ－ナ－や仲間がいないため、ユ－ザ－にやる気を起こさせたり、励ましたりすることができず、室内でそのような身体活動を行うことは、平凡で退屈になるかもしれない。その結果、利用者は落胆し、不規則な生活になるか、身体活動を完全にやめてしまうかもしれない。
【0006】
そのため、専門家の指導と監視のもとで、ユ－ザ－が屋内で身体活動を行うのを支援し、便利で費用対効果の高い方法とシステムが必要とされている。
【発明の概要】
【0007】
一実施形態では、人工知能（ＡＩ）支援活動訓練のための方法が開示される。本方法は、 、レンダリングデバイスを介して、複数のアクティビティカテゴリをユ－ザ に提示することができる。複数のアクティビティカテゴリの各々は、複数のアクティビティを含むことができる。複数のアクティビティカテゴリは、マルチメディアコンテンツとして提示されてもよい。本方法は、ユ－ザから音声ベ－スの入力を受けてもよい。音声ベ－スの入力は、複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、少なくとも１つのアクティビティの各々に関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含んでもよい。さらに、音声ベ－スの入力は、ソ－ス言語であってもよい。本方法は、自然言語処理（ＮＬＰ）モデルを用いて受信した音声ベ－スの入力を処理し、少なくとも１つのアクティビティの選択及び少なくとも１つのアクティビティ属性を抽出してもよい。ＮＬＰモデルは、単一の言語を使用して構成されてもよく、単一の言語は、ユ－ザの指示を処理するために方法によって使用され得る中間言語であってもよい。音声ベ－スの入力を受信すると同時に、本方法は、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性に適合したマルチメディアコンテンツの提示を開始してもよい。マルチメディアコンテンツは、少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数の案内ステップを含んでもよい。さらに、マルチメディアコンテンツの開始に応答して、ユ－ザのユ－ザ活動実績の開始が検出されてもよい。所与の時間におけるユ－ザのユ－ザ活動パフォ－マンスは、少なくとも１つの活動のうちの１つの模倣を含んでもよい。本方法は、少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャしてもよい。少なくとも１つのカメラは、分散配置されてもよい。さらに、本方法は、人工知能（ＡＩ）モデルを用いて、ビデオをリアルタイムで処理し、ユ－ザ活動のパフォ－マンスに基づいて、ユ－ザのユ－ザパフォ－マンスパラメ－タのセットを抽出してもよい。本方法は、ＡＩモデルにより、ユ－ザパフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成してもよい。さらに、本方法は、ユ－ザ活動のパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのうちの少なくとも１つでユ－ザにレンダリングしてもよい。
【0008】
別の実施形態では、人工知能（ＡＩ）支援活動訓練のためのシステムが開示される。このシステムは、プロセッサと、プロセッサに通信可能に結合されたメモリとを含み得る。メモリは、プロセッサ命令を含み、プロセッサによって実行されると、プロセッサに、レンダリングデバイスによって、複数のアクティビティカテゴリをユ－ザに提示させる。複数のアクティビティカテゴリの各々は、複数のアクティビティを含み得る。複数のアクティビティカテゴリは、マルチメディアコンテンツとして提示されてもよい。プロセッサ命令は、ユ－ザから音声ベ－スの入力を受信してもよい。音声ベ－スの入力は、複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、少なくとも１つのアクティビティの各々に関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含むことができる。音声ベ－スの入力は、ソ－ス言語であってもよい。さらに、プロセッサ命令は、自然言語処理（ＮＬＰ）モデルを用いて受信した音声ベ－スの入力を処理し、少なくとも１つのアクティビティの選択と少なくとも１つのアクティビティ属性とを抽出することができる。ＮＬＰモデルは、単一の言語を使用して構成されてもよく、単一の言語は、ユ－ザ指示を処理するためにシステムによって使用され得る中間言語であってもよい。音声ベ－スの入力を受信すると同時に、プロセッサ命令は、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性に適合したマルチメディアコンテンツの提示を開始してもよい。マルチメディアコンテンツは、少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数の案内ステップを含んでもよい。さらに、マルチメディアコンテンツの開始に応答して、ユ－ザのユ－ザ活動実績の開始が検出されてもよい。所与の時間におけるユ－ザのユ－ザ活動パフォ－マンスは、少なくとも１つの活動のうちの１つの模倣を含んでもよい。プロセッサ命令は、少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャしてもよい。少なくとも１つのカメラは、分散配置されてもよい。さらに、プロセッサ命令は、人工知能（ＡＩ）モデルを用いて、ビデオをリアルタイムで処理し、ユ－ザ活動のパフォ－マンスに基づいて、ユ－ザのユ－ザパフォ－マンスパラメ－タのセットを抽出してもよい。プロセッサ命令は、ＡＩモデルによって、ユ－ザパフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成してもよい。さらに、プロセッサ命令は、ユ－ザ活動のパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのうちの少なくとも１つでユ－ザにレンダリングしてもよい。
【0009】
さらに別の実施形態では、人工知能（ＡＩ）支援活動訓練のためのコンピュ－タプログラム製品が開示される。コンピュ－タプログラム製品は、非一過性のコンピュ－タ可読記憶媒体に具現化され、レンダリングデバイスによって、複数のアクティビティカテゴリをユ－ザに提示するためのコンピュ－タ命令を備える。複数のアクティビティ・カテゴリの各々は、複数のアクティビティを含み得る。複数のアクティビティ・カテゴリは、マルチメディア・コンテンツとして提示されてもよい。コンピュ－タ命令は、ユ－ザからの音声ベ－スの入力を受信してもよい。音声ベ－スの入力は、複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、少なくとも１つのアクティビティの各々に関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含んでもよい。さらに、音声ベ－スの入力は、ソ－ス言語であってもよい。コンピュ－タ命令は、少なくとも１つのアクティビティの選択および少なくとも１つのアクティビティ属性を抽出するために、ＮＬＰモデルを用いて受信した音声ベ－スの入力を処理してもよい。ＮＬＰモデルは、単一の言語を使用して構成されてもよく、単一の言語は、コンピュ－タプログラム製品がユ－ザ指示を処理するために使用してもよい中間言語であってもよい。音声ベ－スの入力を受信すると同時に、コンピュ－タ命令は、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性に適合したマルチメディアコンテンツの提示を開始してもよい。マルチメディアコンテンツは、少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数の案内ステップを含んでもよい。さらに、マルチメディアコンテンツの開始に応答して、ユ－ザのユ－ザ活動実績の開始が検出されてもよい。所与の時間におけるユ－ザのユ－ザ活動パフォ－マンスは、少なくとも１つの活動のうちの１つの模倣を含んでもよい。コンピュ－タ命令は、少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャしてもよい。少なくとも１つのカメラは、分散配置されてもよい。さらに、コンピュ－タ命令は、人工知能（ＡＩ）モデルを用いて、ビデオをリアルタイムで処理し、ユ－ザ活動のパフォ－マンスに基づいて、ユ－ザのユ－ザパフォ－マンスパラメ－タのセットを抽出してもよい。コンピュ－タ命令は、ＡＩモデルによって、ユ－ザパフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成してもよい。さらに、コンピュ－タ命令は、ユ－ザ活動のパフォ－マンスと同時に、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのうちの少なくとも１つでユ－ザにレンダリングしてもよい。
【0010】
前述の一般的な説明も以下の詳細な説明も、例示的かつ説明的なものに過ぎず、特許請求の範囲に記載された本発明を制限するものではないことを理解されたい。
【図面の簡単な説明】
【0011】
【0012】
本開示に組み込まれ、本開示の一部を構成する添付図面は、例示的な実施形態を示し、本明細書と共に、開示された原理を説明するのに役立つ。
【発明の詳細な説明】
【0013】
例示的な実施形態を添付図面を参照して説明する。便宜上、図面全体を通して、同じ参照番号は、同じまたは同様の部品を参照するために使用される。開示された原理の例および特徴が本明細書に記載されているが、開示された実施形態の精神および範囲から逸脱することなく、修正、適合、および他の実施が可能である。以下の詳細な説明は例示的なものとしてのみ考慮されることが意図され、真の範囲および精神は以下の特許請求の範囲によって示される。追加の例示的な実施形態を以下に列挙する。
【0014】
ここで図１を参照すると、いくつかの実施形態に従って、人工知能（ＡＩ）支援活動訓練をユ－ザ－１０２に提供するためのスマ－トミラ－１００が示されている。ユ－ザ１０２は、自分の部屋で快適にＡＩ支援活動訓練を受けている場合がある。スマ－トミラ－１００は、隠された又は部分的に隠されたディスプレイを有するハ－フミラ－であってもよいし、一体型ディスプレイスクリ－ンを有する一方向ミラ－であってもよい。スマ－トミラ－１００は、ディスプレイスクリ－ンが内部に統合された実際の鏡の外観を有していてもよい。スマ－トミラ－１００は、少なくとも部分的に覆われた半反射コ－ティング又は一体化されたミラ－を有してもよい。半反射コ－ティング又は一体型ミラ－は、ユ－ザ１０２の画像を反射すると同時に、スマ－トミラ－１００のディスプレイスクリ－ンを介して提示されるビデオ又は情報の表示及び閲覧を可能にすることができる。
【0015】
スマ－トミラ－１００は、ＡＩ支援活動訓練をユ－ザ１０２に提供するように構成されたシステムを含むことができる。システム及びシステム内の様々な構成要素については、図４と併せて詳細に説明した。ユ－ザ１０２がスマ－トミラ－１００を起動又は開始すると、ユ－ザ１０２には複数の活動カテゴリが提示されることがある。複数のアクティビティカテゴリの各々は、複数のアクティビティをさらに含むことができる。複数のアクティビティカテゴリまたはアクティビティには、エクササイズ、瞑想、ヨガ、ピラティス、武道、生け花、折り紙、絵画、彫刻、陶芸、身体リハビリテ－ション、料理、ダンス、ボクシング、理学療法およびリハビリテ－ション、クロスフィット、レスミルズ、Ｆ４５、ズンバ、ビクラムヨガ、オレンジセオリ－などが含まれるが、これらに限定されない。複数のアクティビティカテゴリとそれに続くアクティビティは、スマ－トミラ－１００のグラフィカルユ－ザインタフェ－ス（ＧＵＩ）上に提示することができる。ユ－ザ１０２は、複数のアクティビティから１つ以上を選択することができ、そのアクティビティは、マルチメディアコンテンツとしてＧＵＩを介してユ－ザに提示される。図１に描かれているように、ユ－ザ１０２は、所望のアクティビティとしてクランチを選択した可能性があり、次いで、マルチメディアコンテンツとしてＧＵＩを介してユ－ザに提示される。次に、ユ－ザ１０２は、マルチメディアコンテンツで指示されたステップに従って、または模倣して、クランチを実行することができる。
【0016】
同様に、図２に描かれているようなスマ－トミラ－１００の代わりに、ＡＩ支援活動訓練を提供するように構成された表示装置２００を使用してもよい。ディスプレイ装置２００はまた、ＡＩ支援活動訓練を提供するように構成されたシステムを含んでもよい。ディスプレイ装置２００は、例えば、スマ－トテレビ、携帯電話、ラップトップ、タブレット、またはカメラ内蔵のスマ－トプロジェクタ－であってもよい。表示装置２００は、複数のアクティビティカテゴリと、それに続いてマルチメディアコンテンツとして提示される１つ以上のアクティビティとをユ－ザに提示するために使用され得る表示スクリ－ンを含み得る。
【0017】
スマ－トミラ－１００とディスプレイ装置２００との相違点の１つは、スマ－トミラ－１００がユ－ザ１０２の反射の上に情報を増強またはオ－バ－レイするのに対し、ディスプレイ装置１００はユ－ザのビデオ（ライブまたは録画）の上に情報を増強またはオ－バ－レイすることである。この違い以外は、スマ－トミラ－１００もディスプレイ装置２００も同様の機能を同様の方法で実行する。スマ－トミラ－１００及びディスプレイ装置２００は、１つ以上のカメラ（それぞれカメラ１０４及びカメラ２０２）、ディスプレイスクリ－ン、１つ以上のプロセッサ（図示せず）、メモリ（図示せず）、マイクロフォン（図示せず）、１つ以上のセンサ（図示せず）、及びスピ－カ（図示せず）を含むことができる。つ以上のカメラは、例えば、赤外線カメラ、動体検知カメラ等であってもよい。内蔵カメラ１０４及び２０２に加えて、スマ－トミラ－１００及び／又は表示装置２００と一体化され得る外部カメラ１０６も提供され得る。外部カメラ１０６は、ユ－ザ１０２及びユ－ザ環境に関するより多くの情報を捕捉することを可能にし得る。つ又は複数のセンサの例としては、光検出及び測距（ＬｉＤＡＲ）、赤外線センサ、モ－ションセンサ、近接センサ、温度センサ、又は湿度センサが挙げられるが、これらに限定されない。
【0018】
スマ－トミラ－１００及び表示装置２００の表示画面は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオ－ド（ＬＥＤ）バックライトＬＣＤ、薄膜トランジスタ（ＴＦＴ）ＬＣＤ、ＬＥＤディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機ＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、プラズマディスプレイパネル（ＰＤＰ）ディスプレイ、量子ドットＬＥＤ（QＬＥＤ）ディスプレイ等を含むことができるが、これらに限定されない。
【0019】
スマ－トミラ－１００及びディスプレイ装置２００は、音声ベ－スの入力を用いてユ－ザ１０２によって操作又は制御される場合がある。マイクを介してユ－ザから受信した音声ベ－スの入力は、スマ－トミラ－１００及びディスプレイデバイス２００内に構成された自然言語処理（ＮＬＰ）モデルによって処理されてもよい。ＮＬＰモデルの例としては、ＢＥＲＴ（ＢｉＤｉＲＥＣＴｉＯｎＡＬ ＥｎＣＯＤＥＲ ＲＥＰＲＥｓＥｎＴＡＴｉＯｎｓ ＦＲＯｍ ＴＲＡｎｓＦＯＲｍＥＲｓ）、ＲＯＢＥＲＴＡ（ＲＯＢｕｓＴＬｙ ＯＰＴｉｍｉｚＥＤ ＢＥＲＴ ＰＲＥＴＲＡＩｎｉｎｇ ＡＰＰＲＯＡＣｈ）、ＡＬＢＥＲＴ ＸＬＮＥＴなどが挙げられるが、これらに限定されない。
【0020】
ＮＬＰモデルは、音声ベ－スの入力を処理して、１つまたは複数のアクティビティおよび関連するアクティビティ属性のユ－ザ－選択を抽出することができる。ＮＬＰモデルは、単一の言語を使用して構成されることがあり、したがって、単一言語モデルとも呼ばれることがある。単一言語は、例えば、英語であってもよい。したがって、ユ－ザ－１０２がソ－ス言語（たとえば日本語）で音声ベ－スの入力を提供すると、ＮＬＰモデルはまず、ソ－ス言語を、ＮＬＰを構成するために使用された中間言語（この場合は英語）に変換または翻訳する。次に、ＮＬＰモデルは、中間言語に翻訳された音声ベ－スの入力を処理し、ユ－ザ－によって要求または要求されたコンテンツをレンダリングし、また、（必要であれば）フィ－ドバックをソ－ス言語のみでユ－ザ－にレンダリングしてもよい。言い換えれば、スマ－トミラ－１００とディスプレイデバイス２００は言語にとらわれず、世界中のどのユ－ザ－でも、話す言語に関係なく使用することができる。また、ＮＬＰモデルは、ユ－ザ－がスマ－トミラ－１００とディスプレイデバイス２００を使い始める前に、スマ－トミラ－１００とディスプレイデバイス２００が言語ベ－スの学習を必要としないことを保証する。
【0021】
さらに、ＮＬＰモデルは、特定の単語や語句（音韻的に似ている可能性がある）が使用されている文脈に基づいて、ユ－ザ－の意図を正しく理解するように構成されることもある。言い換えれば、ＮＬＰモデルは文脈に基づいて構成されるため、それらが使用される文脈に基づいて、競合する可能性のある発話を明確に区別することができる。例として、音声コマンドに基づいてビデオを制御するための「スタ－ト」と「ストップ」という単語の使用は、コンテキストに大きく依存します。さらに、単一の単語としての「ｓＴＯＰ」と「ｓＴＡＲＴ」は音韻的に類似して聞こえることがあるため、正しい意図を捉えるためのＮＬＰモデルによる文脈の理解は非常に重要である。本発明におけるＮＬＰモデルは、サイトセクション、編集やアクティビティワ－クアウトなどのユ－ザ－モ－ド、現在のポ－ズ、目標ポ－ズ、アクティビティの進行状況などを含むが、これらに限定されない様々なソ－スからコンテキストを導出する。さらに、コンテキストは単一言語モデル内で構成されることに留意されたい。
【0022】
音声ベ－スの入力に加えて、また音声ベ－スの入力と組み合わせて、スマ－トミラ－１００およびディスプレイ装置２００は、タッチジェスチャ－、エアジェスチャ－、アイジェスチャ－、生体認証入力、ゲ－ムコントロ－ラ、キ－ボ－ド、マウス、またはその他の入力装置のうちの１つまたは複数（ただし、これらに限定されない）を使用して操作または制御することもできることに留意されたい。
【0023】
また、スマ－トミラ－１００および表示装置２００の使用を開始または開始するために、権限のないユ－ザがスマ－トミラ－１００および表示装置２００にアクセスできないようにするために、様々なセキュリティ機構を使用することができる。このようなセキュリティ機構の例としては、英数字パスワ－ド、パタ－ンに基づくパスワ－ド、音声認識、生体デ－タ（例えば、網膜スキャン、指紋、顔認識、または心拍署名）、ワンタイムパスワ－ド（ＯＴＰ）、秘密鍵のペアリング、ＲＦＩＤタグ、ＮＦＣタグ、または登録されたスマ－トデバイスの近接が挙げられるが、これらに限定されない。
【0024】
スマ－トミラ－１００及びディスプレイ装置２００は、通信ネットワ－ク（例えば、セルラ－ネットワ－ク、WｉＦｉブル－トゥ－ス、インタ－ネット等）を介して、他のコンピュ－ティング装置（例えば、携帯電話、ラップトップ、デスクトップ、又はＰＤＡ（ＰＥＲｓＯｎＡＬ ＤｉｇｉＴＡＬ ＡｓｓｉｓＴＡｎＴｓ）等）、スマ－トウォッチ、フィットネストラッカ－、フィットネスバンド、ユ－ザに装着された生体センサ、他のスマ－トミラ－及びディスプレイ装置と接続し、通信することもできる。スマ－トミラ－１００及びディスプレイ装置２００は、通信ネットワ－クを介して中央サ－バ（図１及び図２には図示せず）に通信可能に結合されることもある。このような場合、及びいくつかの実施形態では、ＡＩ支援活動訓練を提供するように構成されたシステム（スマ－トミラ－１００及びディスプレイ装置２００の背後にあるインテリジェンスである）は、中央サ－バに存在してもよい。したがって、いくつかの実施形態では、複数のスマ－トミラ－１００及び／又はディスプレイ装置２００は、中央サ－バからの同じ記録されたアクティビティのブロ－ドキャストによって可能になるそれぞれのユ－ザに、同じアクティビティを同時に提示することができる。この機能は、複数のユ－ザによってグル－プトレ－ニングセッションが計画される場合に有用である。これについては、以降の段落でさらに詳しく説明する。
【0025】
いくつかの代替実施形態では、中央サ－バは、人間のトレ－ナ－によって行われるライブトレ－ニングセッションを複数のスマ－トミラ－１００および／またはディスプレイ装置２００に同時にブロ－ドキャストすることができる。図１および図２に関連する説明の文脈において、および説明を容易にするために、以下ではスマ－トミラ－１００への言及はディスプレイデバイス２００も含み、逆もまた同様である。さらに、スマ－トミラ－１００の機能性を説明するために使用される様々な例は、異なるタイプのエクササイズに関連しているが、本発明はこれらに限定されないことに留意されたい。また、実施例は単一のユ－ザ１０２のために描かれてきたが、単一のスマ－トミラ－１００又はディスプレイ装置２００は、同時に複数のユ－ザにＡＩ支援活動訓練を提供するために装備されてもよいことが当業者には明らかであろう。
【0026】
前述したように、ユ－ザがスマ－トミラ－１００を開始又は起動すると、スマ－トミラ－１００は、マルチメディアコンテンツとして複数の活動カテゴリを提示することができる。例示的かつ非限定的な実施形態において、複数のアクティビティカテゴリは、「全て」のアクティビティカテゴリ、「腕」のアクティビティカテゴリ、「胸」のアクティビティカテゴリ、「肺活量」のアクティビティカテゴリ、「脚」のアクティビティカテゴリ、「大腿四頭筋」のアクティビティカテゴリ、「肩」のアクティビティカテゴリ、「スクワット」のアクティビティカテゴリ、及び「上腕三頭筋」のアクティビティカテゴリを含み得るが、これらに限定されない。すべて」の活動カテゴリの下で、提示された複数の活動には、例えば、横スクワット、横ランジ、横スクワット、横バ－ピ－、横腕立て伏せ、フロント・オ－バ－ヘッド三頭筋、フロント腕立て伏せ、ダンベル・スクワット・プレス、フロント・スクワット、および／またはフロント・ランジが含まれ得る。さらに、複数のアクティビティカテゴリの各々に含まれる複数のアクティビティが、アクティビティカテゴリのユ－ザ選択に基づいて、スマ－トミラ－１００のＧＵＩ上に提示されることもある。
【0027】
提示されたマルチメディアコンテンツに基づいて、ユ－ザ１０２は、ソ－ス言語による音声ベ－スの入力により、アクティビティまたはアクティビティトレ－ニングプランを選択することができる。ユ－ザ入力は、タッチジェスチャ、エアジェスチャ、アイジェスチャ、生体認証入力、ゲ－ムコントロ－ラ、キ－ボ－ド、マウス、またはその他の入力装置を介した入力を介して受け取ることもできることに留意されたい。一例として、アクティビティトレ－ニングプランは、「すべて」のアクティビティカテゴリからの横スクワットアクティビティおよび横腕立て伏せアクティビティの選択、ならびに「スクワット」および「肺活量」のアクティビティカテゴリからの１つまたは複数の他のアクティビティの選択を含むことができる。音声ベ－スの入力を使用して、ユ－ザ－１０２は、１つ以上の選択された活動のそれぞれに関連する活動属性を追加的に選択することができる。活動属性は、１つまたは複数の選択された活動の実行順序、１つまたは複数の選択された活動の各々を実行するためのセット数、各セットにおける１つまたは複数の選択された活動の各々のカウント、１つまたは複数の選択された活動の各々を実行する時間、各セット間の休息期間、１つまたは複数の選択された活動の各々を実行する強度、１つまたは複数の選択された活動の各々を実行する難易度レベル、または１つまたは複数の選択された活動の各々を実行するペ－スのうちの１つまたは複数を含み得るが、これらに限定されない。難易度レベルに関して、例えば、ユ－ザ－１０２は、初心者レベルまたは上級者レベルのいずれかを選択するオプションを有することができる。
【0028】
ユ－ザ１０２が１つ以上の活動及び１つ以上の関連する活動属性を選択すると、ユ－ザの選択に応じたマルチメディアコンテンツが、スマ－トミラ－１００のＧＵＩを介してユ－ザ１０２に提示される。マルチメディアコンテンツは、仮想アシスタントによって実行され得る１つ以上のアクティビティのための複数の案内ステップを含み得る。仮想アシスタントは、例えば、所定の活動に関与する複数のガイダンスステップを実行するトレ－ナ－又は専門家のアバタ－（３Ｄ又は２Ｄ）であってもよい。ガイダンスステップは、正しい姿勢、ポ－ズ、および／または活動を行うペ－スに関する指示を含むことができる。一例として、活動がフロントスクワットである場合、指導ステップまたは指示には、足と足の間のスペ－スの維持、足に対する膝の曲げ位置と角度、スクワットの深さ、手の配置、ダンベルまたはケトルベルの正しい向き、および／または背中の傾斜角度が含まれる。
【0029】
ユ－ザ１０２がユ－ザ活動の実行を開始すると、スマ－トミラ－１００と共に構成された１つ以上のカメラは、ユ－ザ活動の実行の開始を検出することができる。検出されたユ－ザ活動実績は、提示されたガイダンスステップに応答したユ－ザ１０２による一連の活動ステップの実行を含む場合がある。また、１つ以上のカメラ（分散して配置されてもよい）は、ユ－ザ活動実績のビデオを撮像してもよい。一実施形態では、ユ－ザ活動のパフォ－マンス中に、スマ－トミラ－１００は、ユ－ザ活動のパフォ－マンスに対応するポ－ズ骨格モデルを、スマ－トミラ－１００上のユ－ザの反射の上にオ－バ－レイしてもよい。これにより、所定のアクティビティに関するユ－ザ１０２のパフォ－マンスに関するリアルタイムのフィ－ドバックをユ－ザ１０２に提供することができる。また、スマ－トミラ－１００は、インストラクタ－のビデオストリ－ム上またはトレ－ニング中に実行されるバ－チャルアシスタントのガイダンスステップ上にユ－ザのポ－ズをオ－バ－レイすることもできる。
【0030】
ＡＩ支援アクティビティトレ－ニングを提供するために、スマ－トミラ－１００は、ＡＩモデルを使用して、１つ以上のカメラによって捕捉されたユ－ザアクティビティパフォ－マンスのビデオを処理して、ユ－ザパフォ－マンスパラメ－タのセットを抽出することができる。一般に、ＡＩモデルは、ビデオを処理して、ユ－ザ１０２の姿勢、ポ－ズ、及び身体の動きを決定することができる。つ又は複数のカメラに加えて、ユ－ザ１０２の動き及び／又はバイオメトリクスパラメ－タは、スマ－トミラ－１００と共に構成されてもよく、又はユ－ザ１０２によって着用されてもよい、１つ又は複数のセンサを用いて決定されてもよい。スマ－トミラ－１００と共に構成されるセンサの例は、ＬｉＤＡＲ、赤外線、モ－ションセンサ、近接センサ、又は温度センサを含み得る。ＡＩモデルは、キャプチャされたビデオを処理することに加えて、これらのセンサのうちの１つ以上によってキャプチャされたデ－タを処理することもできる。いくつかの構成では、１つまたは複数のセンサは、ユ－ザ１０２によって装着される様々な健康監視デバイス（例えば、フィットネスバンド、スマ－トウォッチ、および他の同様のスマ－トウェアラブル）の一部であってもよい。つまたは複数のセンサによって捕捉された情報は、ユ－ザ活動の実行中にユ－ザ１０２の様々なバイオメトリックパラメ－タを決定するために使用されてもよい。バイオメトリックパラメ－タはまた、ユ－ザパフォ－マンスパラメ－タの一部であってもよい。ユ－ザパフォ－マンスパラメ－タは、ユ－ザ１０２が使用するスマ－トウェイトや筋力バ－から受け取ることもできる。このため、スマ－トミラ－１００は、このような外部スマ－トデバイスと結合するための適切なプログラミングおよび通信インタ－フェ－スを備えて構成されることがある。
【0031】
いくつかの構成では、ＡＩモデルはさらに、それぞれが異なる機能を実行するように構成された、異なる部分のＡＩモデルを含むことができる。例えば、あるＡＩモデルはポ－ズマッチング用に構成され、他のＡＩモデルはキ－ポイント（または骨格点）認識用に構成される場合がある。このような場合、ポ－ズマッチング用に構成されたＡＩモデルはリモ－トサ－バ－に存在し、キ－ポイント認識用に構成されたＡＩモデルはエッジデバイス、例えばスマ－トミラ－１００に存在することができる。このような異なる機能を異なるＡＩモデルに割り当てる結果、重いデ－タ（例えば、ビデオデ－タ）をリモ－トサ－バに転送する要件が不要になる可能性がある。このようなＡＩモデルの区別は、デ－タセキュリティを強化するためにも行われる。複数の人によって共有されるエッジデバイス（例えば、スマ－トミラ－１００）よりも、リモ－トサ－バでポ－ズ認識とマッチングを実行する方が安全だからである。
【0032】
ユ－ザ－パフォ－マンスパラメ－タには、現在の活動パフォ－マンスの速度、完了した反復回数、活動回路の全体的な完了、第三者のスマ－トデバイス情報、ユ－ザ－１０２の脈拍／心拍数、ユ－ザ－１０２の心拍パタ－ン、ユ－ザ－１０２の血圧、ユ－ザ－１０２の消費カロリ－、心電図（ＥＣＧ）パラメ－タ、ユ－ザ－１０２の発汗レベル、およびユ－ザ－１０２の動きが含まれるが、これらに限定されない。
【0033】
ユ－ザ－パフォ－マンスパラメ－タのセットが抽出されると、ＡＩモデルは、ユ－ザ－パフォ－マンスパラメ－タのセットと目標パフォ－マンスパラメ－タのセットとを比較することができる。ユ－ザ－パフォ－マンスパラメ－タのセットと同様の方法で、目標アクティビティパフォ－マンスパラメ－タのセットには、目標アクティビティパフォ－マンスの速度、血圧、目標反復回数、ユ－ザ－の目標脈拍数、およびユ－ザ－の目標動作が含まれるが、これらに限定されない。２つのパラメ－タのセット（すなわち、ユ－ザ－対タ－ゲット）の間の差または偏差を観察すると、ＡＩモデルはユ－ザ－に対するフィ－ドバックを生成することができる。
【0034】
フィ－ドバックは、ユ－ザ１０２が所定のアクティビティを実行する際に、リアルタイムまたは同時期に即座に提供されてもよい。正しくタイムリ－なフィ－ドバックが生成され、共有されることを確実にするために、利用可能なパフォ－マンスガイダンスの手がかり、目標動作、メディア、および音声・音声フィ－ドバックと、ユ－ザの動作の緊密な結合が行われてもよい。さらに、または代替的に、フィ－ドバックは、ユ－ザが所定のアクティビティを完了した後に提供されてもよい。フィ－ドバックは、消費カロリ－量、実行された活動の最大カウント数、ユ－ザ－１０２の以前の活動セッション中に活動に費やされた最大時間、活動実行中のユ－ザ－１０２の誤った姿勢またはペ－ス、活動を実行するための正しい姿勢またはペ－ス、ユ－ザ－１０２の絶対的な活動性能熟練度、ユ－ザ－１０２の相対的な活動性能熟練度、活動を実行するために要した最良の時間、またはユ－ザ－１０２の生体測定パラメ－タに関連する警告のうちの１つ以上を含み得るが、これらに限定されない。
【0035】
フィ－ドバックは、次に、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのいずれかで、ユ－ザ１０２にレンダリングされ得る。視覚的形態は、ＧＵＩを介して表示される様々なグラフィックと組み合わせたテキストを含むことができる。一例として、フィ－ドバックは、インストラクタ－または専門家に対応し得る期待されるポ－ズ、運動パタ－ン、および速度に一致するように、ユ－ザ１０２の活動のポ－ズ、運動パタ－ン、および速度を調整することに対応し得る。
【0036】
一方、聴覚又は音声フィ－ドバックは、スマ－トミラ－１００のスピ－カ又はユ－ザ１０２が装着するヘッドホン／イヤホンを介してユ－ザ１０２と共有される音声指示であってもよい。指示は、所定の活動を適切に行うためにユ－ザ１０２が取り得る姿勢、ペ－ス、または運動パタ－ンに関する修正動作に関連することがある。一例として、"バ－ベルカ－ル "を行っている間のユ－ザ－１０２への指示は、"肘を低い位置に調整する"、"肘の位置を固定する"、"カ－ル中に肘を動かさない"、および／または "バ－ベルをゆっくり離す "であってもよい。別の例として、"フロントスクワット "をしている間のユ－ザ－１０２への指示は、"足の間隔を広げる／狭める"、"膝を床に対して９０度に保つ"、"腰を下げて膝の高さまで持ってくる"、および／または "体幹を鍛え続ける "であってもよい。音声フィ－ドバックは、メトロノ－ムなどのリズム音声合図も含むことができ、これは、活動の繰り返しや活動を行うペ－スについてユ－ザ－をガイドするために使用することができる。
【0037】
視覚的フィ－ドバックは、スマ－トミラ－１００のＧＵＩを介してユ－ザ１０２に表示されるのと同じ指示を含むことができる。したがって、視覚的フィ－ドバックは、例えば、様々なグラフィック要素と共にスマ－トミラ－１００に表示され得るテキスト形式の指示を含み得る。グラフィック要素には、静的要素と、動きに基づくグラフィックを含む動的要素の両方が含まれることに留意されたい。例えば、スマ－トミラ－１００のＧＵＩ上にレンダリングされた方向矢印は、バ－ベルカ－ルを行う際に肘を下げる必要があること、またはフロントスクワットを行う際に背中をまっすぐに保つ必要があることをユ－ザ１０２に示すために、テキスト指示とともに使用されることがある。グラフィックの指標、アニメ－ション、ハイライト、または明るい領域や暗い領域、色のついたシンボルなどの追加のグラフィック要素も、フィ－ドバックを提供するために使用することができる。
【0038】
いくつかの実施形態では、視覚的フィ－ドバックは、スマ－トミラ－１００に映るユ－ザ１０２の反射上にオ－バ－レイされた骨格ポ－ズモデルまたは骨格点の形態であってもよい。骨格点は、例えば膝、股関節、肘、手首、足、その他の関節など、ユ－ザ－１０２の対応する関節にオ－バ－レイされることがある。ユ－ザ－１０２が間違ったポ－ズや動きを使って活動をしているときはいつでも、これらの骨格ポイントの１つ以上が活性化または強調表示され、ユ－ザ－１０２に同じことを即座に示すことができる。ディスプレイ装置 ２００ の場合、骨格ポ－ズモデルまたは骨格ポイントは、ユ－ザ １０２ がアクティビティを実行している間にキャプチャされたビデオストリ－ム上にオ－バ－レイされてもよい。他のいくつかの実施形態では、ユ－ザ１０２または仮想アシスタントの多次元（３Ｄまたは２Ｄ）モデルをＧＵＩを介して表示し、ユ－ザにフィ－ドバックを提供することもできる。
【0039】
場合によっては、多次元モデルは、ユ－ザ１０２の反射または所定のアクティビティを実行中のユ－ザ１０２のビデオにオ－バ－レイされることがある。上述した緊密な結合は、骨格ポ－ズモデル、骨格ポイント、または多次元アバタ－が正しくタイムリ－にオ－バ－レイされることを保証する上で重要な役割を果たす。視覚的フィ－ドバックに関して、フィ－ドバックは、インストラクタ－が特定のフィ－ドバックを提供することを含むインストラクタ－のビデオに組み込まれた挿入ビデオクリップ、およびユ－ザ－１０２に対する指示として、追加のビデオクリップとして提供することもできる。システム１００は、提供されるマルチメディアコンテンツおよび情報を、ユ－ザ１０２の実際の動きと対応付け、同期させることができ、その結果、関連する対応するフィ－ドバックを提供することができる。
【0040】
ハプティックフィ－ドバックに関して、ユ－ザ－１０２は、ハプティックデバイスまたはインタ－フェ－スをユ－ザ－１０２の特定の身体部分（関節または筋肉）に配置することができる。ハプティックフィ－ドバックは、ユ－ザ－１０２に力、振動、または運動を加えることによって、触覚の体験を提供するために使用されることがある。この場合、フィ－ドバックは、ユ－ザ１０２が活動を適切に実行していないことを示すために、ユ－ザの特定の身体部位への特定の振動または力の印加の形で生成されてもよい。例えば、肘や膝の位置が間違っている場合、これらの身体部位に配置されたハプティックデバイスを作動させて振動や力を発生させることができる。いくつかの実施形態では、特定の振動パタ－ンを事前に定義して、問題が動作、ポ－ズ、または動作パタ－ンのいずれにあるかを示すことができる。他のいくつかの実施形態では、あるタイプの振動（継続時間が長い）は誤ったパフォ－マンスを示し、他のタイプの振動（継続時間が短いバ－スト）は正しいパフォ－マンスを示すことがある。一連の触覚フィ－ドバックは、姿勢、ペ－ス、および／または運動パタ－ンを徐々に修正するようにユ－ザ１０２を指示または誘導するために使用することもできる。
【0041】
理解され得るように、ユ－ザ１０２によって実行されている活動に基づくフィ－ドバックは、修正行動を実行するための指示に限定されない。フィ－ドバックはまた、例えば、ユ－ザ１０２の脈拍数または心拍、ユ－ザ１０２の体温、筋肉の痙攣、瞳孔散大、および他の同様の健康問題のうちの１つまたは複数における不規則性または問題などの、生体測定フィ－ドバックまたは警告を含むことができる。
【0042】
いくつかの実施形態では、フィ－ドバックは、活動の実行中または活動の完了後にユ－ザ１０２に提供される動機付けまたは励ましの形態であってもよい。一例として、音声フィ－ドバックの形態では、以下のようなメッセ－ジがある：「よくやった」、「あなたはすごい」、「よくやった」、「完璧にやった」、「プロのようにやった」、「あなたは最高だ」、「私が見た中で最高だ」、および他の同様のメッセ－ジが、ユ－ザ－１０２に提供され得る。拍手、歓声、または様々な感嘆詞の音も、フィ－ドバックとしてユ－ザ－１０２に提供されてもよい。これらのメッセ－ジは、スマ－トミラ－１００のＧＵＩ上にテキスト形式で表示されるなど、視覚的フィ－ドバックの形で提供されることもある。加えて、又は代替的に、グラフィック要素、例えば、破裂するクラッカ－、飛ぶ風船、スタジアムの群衆の音、又は応援リ－ダ－、インストラクタ－、有名人（例えば、KＡＩ ＧＲＥＥｎＥ、ＰｈｉＬ ＨＥＡＬＴｈ、ＲＯｎｎｉＥ ＣＯＬＥｍＡｎ、ＡＲｎＯＬＤ、又は他の有名人）のアバタ－も、ユ－ザ１０２に表示することができる。いくつかの構成では、ユ－ザ－によって実行された活動のゲ－ミフィケ－ションおよび報酬メカニズムが、ユ－ザ－に提供されるフィ－ドバックとして使用されることもある。このようなフィ－ドバックの結果、ユ－ザ１０２は常に動機付けられ、任意の活動をサイロで行っていると感じなくなる可能性がある。
【0043】
いくつかの構成では、ユ－ザ１０２は、様々な活動に関連する目標を設定することもできる。そのような場合、フィ－ドバックは、ユ－ザ－１０２によって達成された目標のパ－センテ－ジに関するステ－タスを含むことができる。
【0044】
いくつかの実施形態では、個人用スマ－トデバイス、すなわちサ－ドパ－ティスマ－トデバイス上のユ－ザ１０２にフィ－ドバックを提供するために、スマ－トミラ－１００は、そのような統合をシ－ムレスに可能にし得るオ－プンアプリケ－ションプログラミングインタフェ－ス（ＡＰＩ）を用いて構成され得る。さらに、サ－ドパ－ティのスマ－トデバイスから受信したデ－タも、オ－プンＡＰＩを介してスマ－トミラ－１００に取り込まれ、視覚的要素（グラフまたはチャ－トなど）、口頭および音声による合図、または触覚による合図を使用して、スマ－トミラ－１００を介してユ－ザ１０２に提供される。デ－タはまた、サ－ドパ－ティのスマ－トデバイスによって生成された警告やアラ－トに対応することもある。一例として、ユ－ザ１０２の血圧を感知するように構成されたスマ－トウォッチは、ユ－ザ１０２が高血圧であることに関するデ－タをスマ－トミラ－１００に送信することができる。したがって、スマ－トミラ－１００は、「血圧が高すぎます、リラックスして休んでください」というメッセ－ジを口頭または視覚的にユ－ザ１０２に表示することができる。このように、スマ－トミラ－１００は、フィ－ドバックの照合器として、また、すべてのフィ－ドバックを見るための一点スマ－トデバイスとして機能することができる。言い換えれば、スマ－トミラ－１００はそれ自身でフィ－ドバックを生成し、他のスマ－トデバイスからもフィ－ドバックを受信するので、スマ－トミラ－１００は全てのフィ－ドバックを同化し、洗練し、スマ－トミラ－を介してユ－ザ１０２に提示する。したがって、ユ－ザは、様々な種類のフィ－ドバックを受け取るために複数のデバイスに依存する必要がない。
【0045】
さらに、ユ－ザ１０２は、様々なソ－シャルネットワ－ク上の友人や、同じくスマ－トミラ－１００を使用している他の遠隔ユ－ザと活動実績を共有したいと思うかもしれない。この目的のために、スマ－トミラ－１００は、ソ－シャルメディアアプリケ－ションと統合する様々な構成とすることができる。これらのソ－シャルメディアアプリケ－ションの例には、ＦＡＣＥＢＯＯKＴＭ 、WＨＡＴＳＡＰＰＴＭ 、ＹＯＵＴＵＢＥＴＭ 、および／またはＩＮＳＴＡＧＲＡＭＴＭ が含まれるが、これらに限定されない。一部の実施形態では、スマ－トミラ－１００にこれらのソ－シャルメディアアプリケ－ションがすでにインスト－ルされている場合がある。また、スマ－トミラ－１００に特有であり、他のスマ－トミラ－１００および/またはディスプレイデバイス２００のユ－ザ－のみを接続するように構成されたソ－シャルメディアアプリケ－ションがあってもよい。
【0046】
したがって、これらのソ－シャルメディアアプリケ－ションとの統合により、ユ－ザ－のパフォ－マンスは、これらのソ－シャルメディアプラットフォ－ムの１つまたは複数に投稿および公開され、他のユ－ザ－がアクセスできるオンラインコンテンツとして利用可能になる可能性がある。前述したような報奨メカニズムも、ソ－シャルメディアプラットフォ－ム上で共有または使用することができる。いくつかの構成では、スマ－トミラ－１００および／またはディスプレイ装置２００を使用する様々なユ－ザに対して、ユ－ザの活動に関連するスコアをポイントとしてリ－ダ－ボ－ド上に提示することができる。また、バッジまたはメダルが、様々なユ－ザが行った活動のレベル、量、または質に基づいて様々なユ－ザに割り当てられ、ソ－シャルメディアプラットフォ－ム上に表示されることもある。さらに、実行されたエクササイズに関する記録も表示することができる。
【0047】
さらに、様々なユ－ザ－によって設定された活動の目標や、それぞれの目標の達成率も、ソ－シャルメディアプラットフォ－ム上に表示されることがある。理解されるかもしれないが、ユ－ザに提供されるフィ－ドバックは、リアルタイムで接続され得る友人、ソ－シャルサ－クル、およびクラスを含む、ソ－シャルメディア上のユ－ザのグル－プ内で共有されることもある。さらに、実施形態では、ユ－ザ１０２がアクティビティを実行しているとき、アクティビティ実行に関連するコンテンツ・メディアを作成し、ソ－シャル・メディア・アプリケ－ションを介して１人または複数のユ－ザと共有することができる。コンテンツメディアはまた、ユ－ザ－の現在の健康状態、運動ル－チン、運動能力、過去の記録、および様々なソ－シャル・メディア・プラットフォ－ム上でユ－ザ－が獲得した報酬を含むがこれらに限定されない情報で補強されてもよい。
【0048】
前述のように、バ－チャルアシスタントが様々な活動を行うための指示や指導ステップを提供する代わりに、本物のトレ－ナ－やインストラクタ－が指示や指導ステップを提供してもよい。インストラクタ－としては、例えば、パ－ソナルコ－チ、トレ－ナ－、スポ－ツジムのインストラクタ－、理学療法士、作業療法士、体育教師、武道教師、ダンス・振付教師、スポ－ツタレント、チ－ムコ－チ、デモンストレ－タ－など、健康やフィットネスに関するトレ－ナ－が考えられる。このような指示がライブで提供される場合、実際のトレ－ナ－またはインストラクタ－は、その人のビデオが録画され、同時に複数のスマ－トミラ－１００にライブで放送される場所にいる可能性がある。バ－チャルアシスタントの場合と同様に、ライブ放送の場合にも、アクティビティを実行するための指示と、生成されたそれぞれのフィ－ドバックがスマ－トミラ－１００に表示されることがある。さらに、別のスマ－トミラ－１００またはディスプレイデバイス２００を使用している他のユ－ザに対しても、同様の指示およびフィ－ドバックがインストラクタによって生成される場合がある。いくつかの実施形態では、スマ－トミラ－１００を使用しているユ－ザは、インストラクタから受信した指示およびフィ－ドバックを、それぞれのデバイスを使用している遠隔地にいる１人または複数のユ－ザと共有することができる。
【0049】
次に、図３Ａおよび図３Ｂを参照する。３Ａ及び３Ｂは、いくつかの実施形態に従って、体育館３００においてＡＩ支援活動訓練を提供することを図示する。図示されるように、複数のユ－ザ（例えば、ユ－ザ１０２）が体育館３００に存在してもよく、複数のユ－ザの各々が類似の又は異なる活動を実行してもよい。図示されているように、体育館３００は、利用者が複数の活動を行うための複数の運動機械及び装置を有していてもよい。体育館３００は、体育館３００内の分散した場所に設置された複数のカメラ３０２を有していてもよく、それらは、ＡＩ支援活動トレ－ニングを提供するように構成されたシステムを含む中央サ－バに通信可能に結合されている。このシステムは、スマ－トミラ－１００およびディスプレイ装置２００に電力を供給する、図１および図２で述べたものと同じである。このシステムは、図４と併せてさらに詳細に説明される。
【0050】
中央サ－バは、体育館３００内に配置されてもよいし、遠隔地に配置されてもよい。幾つかの実施形態では、スマ－トミラ－１００及び／又はディスプレイ装置２００は使用されなくてもよい。そのような実施形態では、ユ－ザは、ユ－ザが入った瞬間に中央サ－バに自動的に接続されるヘッドホンを持っていてもよい。代替的または追加的に、体育館３００に指向性スピ－カ－３０４を設置してもよく、この指向性スピ－カ－は、特定のタ－ゲットとなる利用者に指向性のある音ビ－ムを送信してもよい。さらに、カメラ３０２は、顔認識技術を使用して各利用者を識別・認識することができる。ユ－ザは、シナリオによっては、モバイル・アプリケ－ションをモバイル機器にインスト－ルし、モバイル・アプリケ－ションを中央サ－バに接続する。この場合、ユ－ザが体育館３００に入り、モバイル・アプリケ－ションを開いた瞬間に、体育館３００におけるユ－ザの存在が識別される。
【0051】
体育館３００内の中央サ－バ－と接続するために使用される方法に関係なく、カメラ３０２はユ－ザ－の活動を捕捉することができ、それは中央サ－バ－に設置されたシステムによって処理されることができる。従って、システムは、実行中の活動を改善するために、関連する指示やフィ－ドバックを利用者に提供することができる。これについては、図１および図２に関連して既に詳細に説明した。カメラ３０２はまた、体育館３００内の利用者が様々な活動を行うためにあるエリアから他のエリアへ、またはあるマシンから他のマシンへ移動する際に、利用者の活動を追跡し記録することができることに留意されたい。カメラ３０２は、体育館３００内の様々なエリアにわたるユ－ザのコンテキストおよび情報の連続性を可能にすることができる。さらに、いくつかの実施形態では、１つまたは複数のスマ－トミラ－１００およびディスプレイ装置２００も体育館３００内に配置することができることに留意されたい。これは図３Ｂに描かれている。スマ－トミラ－１００のこの構成では、大きなサイズの１つの連続するスマ－トミラ－１００があってもよく、連続するスマ－トミラ－１００の背後に複数のディスプレイがあってもよい。したがって、複数のユ－ザが同時に１つのスマ－トミラ－１００を使用することができる場合がある。したがって、このような実施形態では、ユ－ザは、パ－ソナルトレ－ナ－やインストラクタ－のサ－ビスを利用することなく、ジム３００内でワ－クアウトを行うことができ、なおかつ、任意の所与の活動に対して実行されるべき改善および是正措置に関する継続的なフィ－ドバックを得ることができる。
【0052】
次に図４を参照すると、いくつかの実施形態による、ユ－ザ－４０２にＡＩ支援活動訓練を提供するためのシステム４００の機能ブロック図が示されている（ ）。システム４００は、一方向ミラ－４０４、カメラ４０６、スピ－カ４０８、マイクロフォン４１０、ディスプレイ４１２、プロセッサ４１４、１つまたは複数のセンサ４１６、およびメモリ４１８を含み得る。メモリ４１８はさらに、グラフィカルユ－ザ－インタ－フェ－ス（ＧＵＩ）モジュ－ル４２６、自然言語処理（ＮＬＰ）モデル４２０、ＡＩモデル４２２、およびデ－タベ－ス４２４を含む。理解されるように、システム４００は、システム４００がディスプレイデバイス２００をサポ－トしているときまたはディスプレイデバイス２００に電力を供給しているときには、一方向ミラ－４０４を含まなくてもよい。
【0053】
スマ－トミラ－１００の構成では、ディスプレイ４１２は、一方向ミラ－４０４がディスプレイ４１２を覆うように、一方向ミラ－４０４と結合されてもよい。さらに、一方向ミラ－４０４は、ユ－ザ４０２の画像を部分的に反射し、ディスプレイ４１２をユ－ザ４０２に部分的に見せるように構成されてもよい。したがって、一方向ミラ－４０４は、ユ－ザ－４０２に対しては半反射面として機能し、ディスプレイ４１２に対しては半透過面として機能する場合がある。ディスプレイ４１２は、一方向ミラ－４０４と同じ寸法であってもよい。一実施形態では、一方向ミラ－４０４は、化粧台の鏡、全身鏡、またはテレビの大きさであってもよい。前述したように、ディスプレイ装置２００の構成では、ディスプレイ４１２はユ－ザ４０２によって直接見ることができる。
【0054】
ＧＵＩモジュ－ル４２６は、ディスプレイ４１２を介してユ－ザ４０２にアクセス可能であってもよい。ＧＵＩモジュ－ル４２６は、複数の活動カテゴリをユ－ザ１０２に提供してもよい。一例として、複数のアクティビティカテゴリは、エクササイズ、瞑想、ヨガ、ピラティス、武道、生け花、折り紙、絵画、彫刻、陶芸、料理、ダンス、ボクシング、理学療法およびリハビリテ－ション、クロスフィット、レスミルズ、Ｆ４５、ズンバ、ビクラムヨガ、オレンジセオリ－などを含み得るが、これらに限定されない。複数のアクティビティカテゴリのそれぞれは、複数のアクティビティをさらに含むことができる。複数のアクティビティカテゴリからアクティビティカテゴリを選択し、その後、アクティビティカテゴリに関連付けられた複数のアクティビティから１つ以上のアクティビティを選択するために、ユ－ザ４０２は、マイク４１０を介して音声ベ－スの入力を提供することができる。代替的または追加的に、ユ－ザ４０２は、タッチジェスチャ、エアジェスチャ、アイジェスチャ、バイオメトリックデ－タ入力、または入力デバイス（例えば、マウス、タッチパッド、スタイラス、キ－ボ－ドなど）によって生成された信号を介して入力を提供してもよい。
【0055】
音声ベ－スの入力（または任意の他の形式のユ－ザ入力）は、１つまたは複数のアクティビティのそれぞれに関連付けられるアクティビティ属性をさらに含むことができる。ユ－ザ４０２は、ソ－ス言語で音声ベ－スの入力を生成してもよいことに留意されたい。ソ－ス言語による音声ベ－スの入力を受信すると、ＮＬＰモデル４２０は、受信した音声ベ－スの入力を処理して、１つまたは複数のアクティビティおよび１つまたは複数の関連するアクティビティ属性の選択を抽出することができる。ＮＬＰモデル４２０の例としては、トランスフォ－マ－からの双方向エンコ－ダ表現（ＢＥＲＴ）、ロバスト最適化ＢＥＲＴプレトレ－ニングアプロ－チ（ＲＯＢＥＲＴＡ）、ＡＬＢＥＲＴ ＸＬＮＥＴなどが挙げられるが、これらに限定されない。）ＮＬＰモデル４２０は、単一の言語を用いて構成することができる。単一言語は、例えば、英語であってもよい。したがって、ユ－ザ４０２がソ－ス言語（たとえば日本語）で音声ベ－スの入力を提供すると、ＮＬＰモデル４２０はまず、ソ－ス言語を、ＮＬＰを構成するために使用された中間言語（この場合は英語）に変換または翻訳する。次に、ＮＬＰモデル４２０は、中間言語に翻訳された音声ベ－スの入力を処理し、ユ－ザ４０２によって要求または要求されたコンテンツをレンダリングし、また、ユ－ザ４０２へのフィ－ドバック（必要な場合）をソ－ス言語のみでレンダリングしてもよい。
【0056】
ユ－ザ４０２から受信した音声入力（または他の形式のユ－ザ入力）に基づいて、ディスプレイ４１２は、マルチメディアコンテンツの提示を開始することができる。提示されるマルチメディアコンテンツは、１つまたは複数のアクティビティおよび１つまたは複数の関連するアクティビティ属性に適合していてもよい。マルチメディアコンテンツは、１つ以上のアクティビティに対応する仮想アシスタントによって実行される複数の案内ステップを含んでもよい。これについては、図１及び図２に関連して既に詳細に説明した。１および２に関連して既に詳細に説明した。マルチメディア・コンテンツの提示が開始されると、カメラ４０６は、ユ－ザ４０２のユ－ザ・アクティビティ・パフォ－マンスの開始をリアルタイムで検出し、その後、ユ－ザ・アクティビティ・パフォ－マンスのビデオをキャプチャすることができる。
【0057】
次に、ＡＩモデル４２２は、リアルタイムで、キャプチャされたビデオを処理して、ユ－ザ活動のパフォ－マンスに基づいてユ－ザ１０２のユ－ザパフォ－マンスパラメ－タのセットを抽出することができる。さらに、ＡＩモデル４２２は、ユ－ザパフォ－マンスパラメ－タのセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づいてフィ－ドバックを生成してもよい。フィ－ドバックは、その後、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのうちの１つまたは複数でユ－ザにレンダリングされ得る。フィ－ドバックは、消費されたカロリ－量、実行された少なくとも１つの活動の最大カウント数、ユ－ザの以前の活動セッション中に少なくとも１つの活動に費やされた最大時間、少なくとも１つの活動を実行している間のユ－ザの誤った姿勢又はペ－ス、少なくとも１つの活動を実行するための正しい姿勢又はペ－ス、ユ－ザの絶対的な活動性能熟練度、ユ－ザの相対的な活動性能熟練度、少なくとも１つの活動を実行するのに要した最良の時間、又はユ－ザの生体測定パラメ－タに関連する警告を含むことができるが、これらに限定されない。フィ－ドバックは、ユ－ザの励ましや動機付けに関連する内容を含むこともできる。可聴形式のフィ－ドバックは、スピ－カ４０８を介してユ－ザ４０２にレンダリングされてもよく、可聴形式のフィ－ドバックは、ディスプレイ４１２を介してユ－ザ４０２にレンダリングされてもよいことに留意されたい。最後に、触覚フィ－ドバックは、ユ－ザ４０２上に配置された触覚デバイスを介してユ－ザ４０２にレンダリングされてもよい。これについては、図１および図２に関連して既に詳細に説明した。１および２
【0058】
網羅的なフィ－ドバックを生成するために、ユ－ザの活動実績は、ユ－ザ４０２に配置され得るセンサ４１６によっても測定され得る。センサ４１６はまた、ユ－ザ４０２によって装着される様々な健康またはフィットネス監視装置の一部であってもよい。センサ－４１６は、例えば、３軸加速度計、ジャイロスコ－プ、モ－ションセンサ－、歩数計、温度センサ－、脈拍センサ－、近接センサ－、またはＳＰＯ２を含むことができるが、これらに限定されない。これについては、図１および図２に関連して既に詳細に説明した。１ および ２
【0059】
このような前述のモジュ－ル４０４～４２４はすべて、単一のモジュ－ルとして表されてもよいし、異なるモジュ－ルの組み合わせとして表されてもよいことに留意されたい。さらに、当業者には理解されるように、モジュ－ル４０４～４２４の各々は、全体または部分的に、互いに通信する１つのデバイスまたは複数のデバイス上に存在してもよい。いくつかの実施形態では、モジュ－ル４０４～４２４の各々は、カスタム特定用途向け集積回路（ＡＳＩＣ）またはゲ－トアレイ、論理チップ、トランジスタ、または他のディスクリ－ト構成要素などの市販の半導体からなる専用ハ－ドウェア回路として実装され得る。モジュ－ル４０４～４２４の各々は、フィ－ルドプログラマブルゲ－トアレイ（ＦＰＧＡ）、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのプログラマブルハ－ドウェアデバイスに実装することもできる。あるいは、モジュ－ル４０４～４２４の各々は、様々なタイプのプロセッサ（例えば、プロセッサ４１４）による実行のためにソフトウェアで実装されてもよい。実行可能コ－ドの特定されたモジュ－ルは、例えば、コンピュ－タ命令の１つまたは複数の物理的または論理的ブロックを含み、これらは、例えば、オブジェクト、プロシ－ジャ、関数、または他の構成要素として編成されてもよい。とはいえ、特定されたモジュ－ルまたはコンポ－ネントの実行可能コ－ドは、物理的に一緒に配置されている必要はなく、論理的に結合されたときにモジュ－ルを含み、モジュ－ルの明示された目的を達成する、異なる場所に格納された異種の命令を含んでいてもよい。実際、実行可能コ－ドのモジュ－ルは、単一の命令であることもあれば、多数の命令であることもあり、複数の異なるコ－ドセグメントにまたがって、異なるアプリケ－ション間で、複数のメモリデバイスにまたがって分散されていることさえある。
【0060】
図５を参照すると、いくつかの例示的な実施形態に従って、ＡＩ支援活動訓練のための複数の活動カテゴリのＧＵＩ５００が示されている。図５に関して、特定の時間枠に基づく一連の活動が、スマ－トミラ－１００のＧＵＩ５００上に提示される。５０２において、複数のオプションがユ－ザ１０２に提示され、これには、設定されたアクティビティカテゴリの新しいもの、ユ－ザ１０２によって実行されたアクティビティカテゴリの最後のセット、ユ－ザ１０２によって頻繁にアクセスされたアクティビティカテゴリ、および特定の使用期間に基づいてソ－トされたエクササイズがＧＵＩ５００上に提示されてもよいが、これらに限定されない。
【0061】
５０４では、活動カテゴリのセットが提示され、この活動カテゴリには、「全部」活動カテゴリ、「腹筋」カテゴリ、「腕」カテゴリ、「背中」カテゴリ、「胸」カテゴリ、「大臀筋」カテゴリ、「脚」カテゴリ、「パンチ」カテゴリ、「大腿四頭筋」カテゴリ、「肩」カテゴリ、「スクワット」カテゴリ、および「上腕三頭筋」カテゴリが含まれ得る。前述したように、活動カテゴリの各々は、複数の活動をさらに含むことができる。
【0062】
５０６では、１つ以上のアクティビティカテゴリの下にある複数のアクティビティが提示される。一例として、「腹筋」カテゴリには、以下のアクティビティが含まれる：コアシザ－ス、エルボ－ニ－；「腕」カテゴリには、以下のアクティビティが含まれる：バンドラテラルレイズ、バンドラテラルサイドストレッチ、フロントフック、フロントアッパ－カット、サイドボクシング；「背中」カテゴリには、以下のアクティビティが含まれる：フロントケトルベル、サイドデッドリフト、デッドバグ、スクワットスラスタ－；「胸」カテゴリには、以下のアクティビティが含まれる：胸」カテゴリ－には、次の種目が含まれる：サイド・バ－ピ－、サイド・プッシュアップ、フロント・プッシュアップ；「臀筋」カテゴリ－には、次の種目が含まれる：ラテラル・スクワット、サイド・スクワット、サイド・バ－ピ－、ダンベル・スクワット・プレス、フロント・スクワット。
【0063】
さらに、「脚」カテゴリ－には、以下の活動を含めることができる：立位股関節伸展、立位股関節屈曲、股関節外転、クイックフット外転、バ－ドドッグ、クロスビハインドランジ、フロントケトルベル、サイドデッドリフト、デッドバグ、スクワットスラスタ－、ドロップスクワット、およびフロントランジ；「パンチ」カテゴリ－には、以下の活動を含めることができる：フロントフック、フロントアッパ－カット、およびサイドボクシング活動；「大腿四頭筋」カテゴリ－には、以下の活動を含めることができる：ラテラル・スクワット、サイド・スクワット、サイド・バ－ピ－、ダンベル・スクワット・プレス、フロント・スクワット；「ショルダ－」カテゴリ－には、以下の種目を含めることができる：肩の脱臼、バンド・ラテラル・レイズ、バンド・ラテラル・サイド・ストレッチ、フロント・フック、フロント・アッパ－カット、サイド・ボクシング、サイド・ランジ、サイド・バ－ピ－、フロント・プッシュアップ、ダンベル・スクワット・プレス；「スクワット」カテゴリ－には、以下の種目を含めることができる：上腕三頭筋」カテゴリ－には、上腕三頭筋フロント・オ－バ－ヘッド、上腕三頭筋フロント・シッティング、上腕三頭筋フロント・シッティングが含まれる。
【0064】
ＧＵＩ５００に描かれているように、ユ－ザ１０２は、上記の説明で説明したように、音声ベ－スのユ－ザ入力または任意の他のタイプのユ－ザ入力に基づいて、「ＡＬＬ」アクティビティカテゴリを選択した可能性がある。したがって、「すべて」アクティビティカテゴリのユ－ザ選択に基づいて、様々なアクティビティのミックスがＧＵＩ５００を介してユ－ザ１０２に提示される可能性がある。次に、ユ－ザは、これらの活動のうちの１つまたは複数を選択することができ、また、１つまたは複数の活動のそれぞれについて活動属性を提供することができる。これについては、図６と併せてさらに説明する。
【0065】
いくつかの構成では、ユ－ザ１０２は、新しいアクティビティカテゴリ及び１つ以上の新しいアクティビティを作成することもできる。新しいアクティビティカテゴリと１つ以上の新しいアクティビティは、リモ－トサ－バからダウンロ－ドしてもよいし、スマ－トミラ－１００のカメラを使ってユ－ザ１０２自身が録画してもよい。新しいアクティビティカテゴリと１つ以上の新しいアクティビティは、ＧＵＩ５００に追加される。
【0066】
図６を参照すると、いくつかの例示的な実施形態に従って、ユ－ザ－入力に応答して、選択されたアクティビティのアクティビティおよび対応するアクティビティ属性を選択するためのＧＵＩ６００が示されている。ユ－ザ１０２は、複数の活動カテゴリから活動訓練計画を選択することができる。例えば、ユ－ザ１０２は、音声ベ－スのコマンドを生成することができる：腕」活動カテゴリを選択するために「腕を選択する」と言い、「腕」カテゴリ内にリストされたいくつかの活動を選択するために、「バンド側方挙上を選択する」と言い、続いて「バンド側方伸張を選択する」と言ってもよい。その後、ユ－ザ１０２は、ユ－ザ１０２によって選択された活動のそれぞれについて活動属性を提供することができる。先に説明したように、活動属性の１つ以上には、活動の実行順序、活動の各々を実行するためのセット数、セットの各々における活動の各々に対するカウント、活動の各々を実行する時間、セットの各々間の休息期間、活動の各々を実行する強度、活動の各々を実行する難易度レベル、または活動の各々を実行するペ－スが含まれるが、これらに限定されない。さらに、アクティビティ属性には、アクティビティを実行するための専門知識レベルも含めることができる。ユ－ザ－１０２によって選択される専門知識のレベルには、例えば、初心者レベル、中級者レベル、または上級者レベルが含まれる。
【0067】
図５を参照してさらに続けると、ＧＵＩ６００に描かれているように、ユ－ザ－１０２が「すべて」の活動カテゴリ－を選択すると、ユ－ザ－１０２はさらに側臥位腕立て伏せ活動を選択することができる。その後、描かれているように、ユ－ザ１０２は、アクティビティ属性部６０２において、側臥位腕立て伏せアクティビティのアクティビティ属性を次のように定義することもできる："レップ数＝５"、"セット数＝２"、"インタ－バル＝１０秒"、および専門知識レベルは "初心者 "である。ユ－ザ１０２がアクティビティ属性を提供したら、ユ－ザ１０２はアクティビティ属性部６０２の開始ボタンをアクティブにし、アクティビティは、ユ－ザによって定義されたアクティビティ属性に適合したマルチメディア・コンテンツとしてユ－ザ１０２に提示される。これについては、図７と併せてさらに説明する。
【0068】
次に図７を参照すると、いくつかの実施形態に従って、アクティビティに関連するガイダンス・ステップの提示に応答したユ－ザ・アクティビティ・パフォ－マンスの開始および監視を描写するＧＵＩ７００が図示されている。図６を参照すると、ユ－ザ１０２が側臥位腕立て伏せアクティビティを選択し、アクティビティ属性部６０２を介してアクティビティ属性を提供すると、ユ－ザ１０２は、仮想アシスタント７０２によって実行される複数のガイダンスステップ（マルチメディアコンテンツとして）を提示される場合がある。複数のガイダンス・ステップは、ユ－ザ１０２が側臥位腕立て伏せ活動を適切に行うようにガイドすることができる。
【0069】
複数の誘導ステップを開始する前に、仮想アシスタント７０２は、ビデオメッセ－ジおよび／または音声メッセ－ジを介して、ユ－ザ１０２に "準備をする "ように指示してもよい。その後、ユ－ザ１０２は、活動を開始するための初期ポ－ズをとることができる。ユ－ザ１０２は、活動を開始するためにタッチまたは他の入力手段によってスマ－トミラ－のＧＵＩと対話することができない可能性があるため、音声ベ－スの指示は、ユ－ザ１０２が初期ポ－ズを設定しているときに本質的に重要になる。例えば、ある方法でゴムバンドを保持している間、または重りを保持している間、ユ－ザ１０２はスマ－トミラ－１００と物理的に対話できない可能性があり、音声ベ－スの指示が対話するための最も効果的な方法である。ユ－ザ－／トレ－ナ－の３Ｄモデル、骨格ポ－ズモデル７１４、または骨格ポイントにオ－バ－レイされたユ－ザ－１０２のビデオ／反射がＧＵＩ７００上に提供されることがある。オ－バ－レイは、カメラで撮影され、さらにＡＩモデルによってリアルタイムで処理されたユ－ザ－１０２のビデオに基づいて可能になる。これについては、図１および図２において既に前に説明した。理解され得るように、スマ－トミラ－１００の途中または長辺に沿ってユ－ザ１０２のポ－ズおよび動きをキャプチャするカメラは、ユ－ザ１０２のポ－ズのより良い縦横比を可能にするために調整されてもよい。
【0070】
ユ－ザ－１０２が初期位置およびポ－ズをとって側臥位腕立て伏せを開始すると、ＡＩモデルは、検出されたポ－ズおよび位置が側臥位腕立て伏せ活動にマッピングされた初期ポ－ズおよび位置と一致するかどうかを判定することができる。検出されたポ－ズが初期ポ－ズおよび位置と一致しない場合、ＡＩモデルは、初期ポ－ズおよび位置を修正するようにユ－ザ－１０２に指示することができる。一例として、ＡＩモデルは、"ポ－ズが正しくない "というメッセ－ジによってユ－ザ－１０２に指示することができる。
【0071】
ユ－ザ１０２によって取られた最初のポ－ズ及び位置が正しい場合にのみ、例えば「ポ－ズが認識された」といったフィ－ドバックがユ－ザ１０２にレンダリングされ得る。その後、ユ－ザ１０２は、仮想アシスタント７０２によって複数の誘導ステップを提示される。その後、ユ－ザ１０２は、側臥位腕立て伏せ活動を実行するために、指示されたように複数の誘導ステップに従う必要がある場合がある。さらに、ユ－ザ１０２が側臥位腕立て伏せ活動を行っている間、ユ－ザパフォ－マンスパラメ－タもＧＵＩ７００上に表示される。ＧＵＩ７００に描かれているように、セクション７０４は、ユ－ザ１０２によって選択されたレップ数の合計および実行されたレップ数の現在を表示し、セクション７０６は、ユ－ザ１０２によって完了されたレップ数の特定の割合を表示し、セクション７０８は、ユ－ザ１０２によって完了されたアクティビティの特定の割合を表示し、セクション７１０は、ユ－ザ１０２の心拍数を表示し、セクション７１２は、アクティビティを実行している間にユ－ザによって消費されたカロリ－を表示する。
【0072】
上述したように、複数の誘導ステップの表示および視覚情報の配置に関連する配置は、誘導ステップおよび関連情報がユ－ザ１０２の視野角および現在位置に対して適切に配置されるように、視線の動き、音声ベ－スの入力、ハンドジェスチャ、またはユ－ザの位置に基づいて調整され得ることに留意されたい。
【0073】
ここで図８を参照すると、いくつかの例示的な実施形態に従って、ユ－ザ１０２による活動の実行中にユ－ザにレンダリングされるフィ－ドバックを描写するＧＵＩ８００が図示されている。図７を参照すると、ユ－ザ１０２が側臥位腕立て伏せアクティビティを実行し始めると、ＡＩモ－ドは、リアルタイムで、ユ－ザ１０２のアクティビティ実行をキャプチャするライブビデオを処理することができる。その後、ＡＩモデルは、リアルタイムで、ユ－ザパフォ－マンスパラメ－タを決定し、これらを目標パフォ－マンスパラメ－タと比較して、その偏差を決定してもよい。現在の例示的な実施形態では、逸脱は、側腕立て伏せを行っている間のユ－ザ－１０２の現在のポ－ズが正しくないことに対応し得る。より具体的には、ユ－ザ－１０２の背中が、側腕立て伏せに必要なようにまっすぐでない可能性がある。
【0074】
したがって、上記の逸脱の検出に応答して、ＡＩモデルは、ＧＵＩ８００を介して姿勢を修正するようにユ－ザ１０２にフィ－ドバックを提供することができる。より具体的には、フィ－ドバックは、ＧＵＩ８００を介してユ－ザ１０２にテキストメッセ－ジ８０２として表示されてもよい。 さらに、ユ－ザ１０２の反射／映像の上にオ－バ－レイされた特定の骨格点８０４は、例えば、これらの骨格点８０４の色を変更したり、これらの骨格点８０４の上に特定のグラフィカル要素をレンダリングしたりすることによって、明瞭に強調表示されてもよい。ＧＵＩ８００上にフィ－ドバックを表示することに加えて、音声メッセ－ジをユ－ザ１０２にレンダリングすることもでき、そこでは「背筋を伸ばしてください」という指示を聴覚的な形でユ－ザ１０２に与えることができる。
【0075】
図９Ａ～９Ｄは、いくつかの例示的な実施形態に従って、新しい活動訓練回路の作成およびその後のプレイリストとしての活動訓練回路の保存を示すＧＵＩ９００Ａ、９００Ｂ、９００Ｃ、および９００Ｄを示す。図９Ａを参照すると、ユ－ザ１０２は、回路セクション９０２内で新しいトレ－ニング回路を作成するオプションを選択することができる。ユ－ザ１０２が新しいサ－キットを作成するオプションを選択すると、ユ－ザ１０２に新しいサ－キットの名前を提供するように求めるメッセ－ジボックスがユ－ザに提示されてもよい。ユ－ザ１０２は、例えば、新しい回路に「ＳＥＰＴＥｍＢＥＲ ＣｈＡＬＬＥｎｇＥ」という名前を割り当てることができる。また、ユ－ザ１０２は、新しいサ－キットに含まれるアクティビティのセットを選択することができる。現在の例示的な実施形態において選択される一連の活動には、「クイックフットアブダクション」、「クロスビハインドランジ」、「フロントアッパ－カット」、「スクワットスラスタ－」、および「ドロップスクワット」が含まれ得る。
【0076】
図９Ｃに示すように、ユ－ザ１０２は、新しい回路を含むように選択された一連の活動の各々について、属性のセットをさらに追加してもよい。属性は、例えば、一連の活動の各々についてカウント数を選択するオプションを含み得る運動ＲＥＰｓセクション９０６において定義され得る。さらに、エクササイズ・レップスセクション９０６では、セット数を２、エクササイズ間隔を１０秒、サ－キット間隔を１０秒として設定することができる。エクササイズレップ部９０６を介した属性のセットの選択が完了すると、ユ－ザ１０２は新しいサ－キットを保存してもよい。新しいサ－キットは、図９Ｄに描かれているように、セプテンバ－チャレンジ９０８として既存のサ－キットセットに追加されてもよい。
【0077】
ここで図１０を参照すると、いくつかの例示的な実施形態に従って、ユ－ザ１０２に提供され得るメニュ－、カスタマイズ、および言語に関連するオプションを描いたＧＵＩ１０００が図示されている。ＧＵＩ１０００は、運動セクション１００４、回路セクション１００６、ダッシュボ－ドセクション１００８、目標セクション１０１０、接続セクション１０１２、およびカレンダ－セクション１０１４への様々なショ－トカットを含むメニュ－１００２（またはホ－ムメニュ－）に対応し、ユ－ザ１０２に提示されてもよい。ユ－ザ１００２は、運動部１００４、新しい回路を作成するか、または既存の回路を選択する回路部１００６、および１人または複数のユ－ザによって実行されている様々な活動および一定期間にわたる活動に関連する対応する進捗状況を表示するダッシュボ－ド部１００８を使用して、活動カテゴリを選択し、続いて実行する活動を選択することができる。ダッシュボ－ド部１００８はまた、ある期間にわたってユ－ザ１０２によって実行されている活動に関連する統計を表示することができる。統計は、例えば、日付、時間、量、パ－センテ－ジ精度、およびレビュ－心拍数、カロリ－カウントごとに管理された、ユ－ザ１０２によって実行されたレップの表示に関連し得る。
【0078】
さらに、目標部１０１０は、ユ－ザ１０２が、ユ－ザ１０２の１つまたは複数の活動に関連するパ－ソナライズされた目標を設定することを可能にすることができる。目標は、例えば、新たな目標であってもよいし、達成する必要のある保留中の目標であってもよい。また、目標は、ユ－ザのグル－プに対して設定されてもよい。接続部１０１２は、ユ－ザ１０２がフィットネスガジェットやデバイスに接続し、ユ－ザ１０２の活動状況を１人以上のユ－ザやサ－ドパ－ティのスマ－トデバイスと強化・共有できるようにしてもよい。また、ユ－ザ１０２は、例えばWｉＦｉ、ブル－トゥ－ス、ＮＦＣ、ＲＦＩＤ、赤外線など、使用する通信インタ－フェ－スの好みのリストを選択できるようにしてもよい。さらに、カレンダ－部１０１４は、ユ－ザ１０２が特定の日（または複数の日を含むスケジュ－ル）の活動をスケジュ－ルし、ユ－ザ１０２に今後の活動または保留中の活動について思い出させるために使用することができる。
【0079】
メニュ－１００２は、カスタマイズ部１０１６をさらに含むことができ、これを用いて、ユ－ザ１０２は、スマ－トミラ－１００および／またはディスプレイ２００の様々なＧＵＩの外観をカスタマイズするための１つまたは複数の表示テ－マを選択することができる。テ－マは、例えば、ブル－スチ－ル、ダ－クスチ－ル、カ－ボン、チャコ－ルなどのうちの１つに設定することができる。メニュ－１００２は、言語セクション１０１８からソ－ス言語を選択するオプションをユ－ザ１０２に提供することもできる。ユ－ザ１００２は、スマ－トミラ－１００に音声ベ－スの指示を提供するための通信にソ－ス言語を使用することができる。さらに、ソ－ス言語は、スマ－トミラ－１００及び／又はディスプレイ２００に様々なコンテンツを表示するために使用される言語としても使用され得る。
【0080】
次に図１１を参照すると、いくつかの実施形態による、ＡＩ支援アクティビティ訓練を提供するための方法１１００のフロ－チャ－トが示されている。方法１１００は、ステップ１１０２において、レンダリングデバイスによって、複数のアクティビティカテゴリをユ－ザに提示することを含む。複数の活動カテゴリの各々は、複数の活動を含んでもよく、複数の活動カテゴリは、マルチメディアコンテンツとして提示されてもよい。レンダリングデバイスは、フィットネスミラ－、スマ－トフィットネスミラ－、ディスプレイスクリ－ン、携帯電話、タブレット、スマ－トウォッチ、ラップトップなどのモバイルデバイスであってよいが、これらに限定されない。さらに、ユ－ザは、パ－ソナルコ－チ、トレ－ナ－、ジム活動の専門家、理学療法士、作業療法士、体育教師、武道教師、振付師、スポ－ツパ－ソナリティ、チ－ムコ－チ、デモンストレ－タ、および健康とフィットネスにおける他のトレ－ナ－であってもよい。
【0081】
さらに、提示された複数の活動カテゴリに基づいて、ステップ１１０４において、方法１１００は、ユ－ザからの音声ベ－スの入力を受信してもよい。音声ベ－スの入力は、複数の活動カテゴリのうちの少なくとも１つからの少なくとも１つの活動の選択を含む活動訓練計画を含んでもよい。さらに、ステップ１１０４において、少なくとも１つのアクティビティ属性が、少なくとも１つのアクティビティの各々に関連付けられることもある。一例として、アクティビティ属性は、レップ数、レップ数、およびアクティビティが実行される間隔のうちの１つ以上を含み得るが、これらに限定されない。また、少なくとも１つのアクティビティ属性の下で、エクササイズを行うためのユ－ザ－の専門知識レベルを選択することができる。専門知識のレベルは、初心者レベルまたは上級者レベルである。音声ベ－スの入力は、ユ－ザのソ－ス言語で受信されてもよい。ソ－ス言語には、英語、日本語、またはヒンディ－語が含まれるが、これらに限定されない。
【0082】
音声ベ－スの入力を受信すると、ステップ１１０６で、ＮＬＰモデルが受信した音声ベ－スの入力を処理して、少なくとも１つのアクティビティと少なくとも１つのアクティビティ属性の選択を抽出することができる。例えば、「フロントフックを選択」という音声ベ－スの入力は、ＮＬＰモデルによって処理され、フロントフックエクササイズを選択して提示することができる。フロントフックエクササイズの選択に続いて、「レップ数」、「セット数」、「インタ－バル」などの属性が提供されてもよい。また、ユ－ザ－が初心者であるか上級者であるかの判断が選択されてもよい。
【0083】
音声ベ－スの入力を受信すると同時に、ステップ１１０８において、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性に適合するマルチメディアコンテンツの提示が開始される場合がある。マルチメディアコンテンツの提示と同時に、ステップ１１１０において、少なくとも１つのカメラを介して、ユ－ザのアクティビティ実行の開始が検出されることがある。ユ－ザがアクティビティを実行している間、ステップ１１１２において、ユ－ザのユ－ザアクティビティ実行のビデオが、少なくとも１つのカメラを介してキャプチャされてもよい。その後、ビデオは、ステップ１１１４において、ＡＩモデルによってリアルタイムで処理され、ユ－ザ活動のパフォ－マンスに基づいてユ－ザのユ－ザパフォ－マンスパラメ－タのセットを抽出することができる。さらに、ＡＩモデルは、ステップ１１１６において、ユ－ザ－パフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成するために使用されてもよい。ユ－ザ活動のパフォ－マンスと同時に、フィ－ドバックは、ステップ１１１８において、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのうちの少なくとも１つでユ－ザにレンダリングされる場合がある。これについては、図１～４と併せて既に詳細に説明した。１－４.
【0084】
次に図１２を参照すると、いくつかの実施形態による、活動トレ－ニング回路を作成するための方法１２００のフロ－チャ－トが示されている。方法１２００は、ステップ１２０２において、複数の活動カテゴリ－をユ－ザに表示してもよい。ユ－ザは、音声ベ－スの入力を使用してアクティビティを実行することを選択してもよい。音声ベ－スの入力は、ステップ１２０４でユ－ザから受信されてもよい。音声ベ－スの入力は、複数のアクティビティの選択と、１つ以上のアクティビティの実行順序の選択とを含むアクティビティ訓練計画を含むことができる。活動訓練計画は、活動訓練回路に対応してもよい。その後、活動訓練回路は、ステップ１２０８において、１人以上の遠隔ユ－ザと共有される場合がある。さらに、活動訓練回路は、ステップ１２１０において、プレイリストとして保存されてもよい。ステップ１２１２において、音声ベ－スの入力に基づいて、少なくとも１つのメタデ－タがプレイリストに組み込まれる場合がある。メタデ－タは、強度、回数、エンジョイ要素、予測カロリ－消費、タ－ゲット筋肉群、タ－ゲット身体部位、年齢層、体重、性別、所要時間、または予想心拍数のうちの１つ以上を含み得るが、これらに限定されない。これについては、図１～図４とともにすでに詳しく説明した。１－ ４.
【0085】
次に図１３を参照すると、いくつかの実施形態による、活動カテゴリ－を増強するための方法１３００のフロ－チャ－トが示されている。ステップ１３０２において、ユ－ザから音声ベ－スの入力を受信することができる。音声ベ－スの入力に基づいて、ユ－ザは、ステップ１３０４において、複数の活動カテゴリのうちの少なくとも１つを増強することができる。複数のアクティビティカテゴリのうちの少なくとも１つを増強することは、ステップ１３０６から１３１２を含むことができ、これらは、順番に実行されてもよいし、並行して実行されてもよいし、互いに完全に独立して実行されてもよい。
【0086】
ステップ１３０６において、新しいアクティビティカテゴリが作成されてもよい。新しいアクティビティは、リモ－トサ－バからダウンロ－ドされてもよく、新しいアクティビティは、ステップ１３０８において、新しいアクティビティカテゴリ又は複数のアクティビティカテゴリのうちの少なくとも１つの下に追加されてもよい。あるいは、新たなアクティビティは、少なくとも１つのカメラを介して記録されてもよく、その後、ステップ１３１０において、新たなアクティビティ・カテゴリ－又は複数のアクティビティ・カテゴリ－のうちの少なくとも１つの下に追加されてもよい。例えば、スマ－トミラ－１００と共に構成された１つ以上のカメラは、新たなフィットネスコンテンツ及び実行される活動に対する関連する指示を作成するための記録ツ－ルとして使用されてもよい。いくつかの構成では、ステップ１３１２において、複数の活動カテゴリに関連付けられた少なくとも１つの属性が修正されてもよい。記録された新しいアクティビティは、ステップ１３１４で、ユ－ザによって他のユ－ザと、またはソ－シャル・メディア・プラットフォ－ム上で共有されてもよい。
【0087】
いくつかのシナリオでは、新しいアクティビティを実行する際に、新たに獲得したスキルに基づいてアクティビティカテゴリの１つ以上を増強するユ－ザは、トレ－ナ－であってもよい。アクティビティ・カテゴリ－を新しいカテゴリ－で拡張すると、トレ－ナ－は、記録された新しいアクティビティを１人以上のユ－ザ－または何らかのソ－シャル・メディア・プラットフォ－ムと所定の料金で共有することができる。
【0088】
ここで図１４を参照すると、いくつかの実施形態に従って、受信した中間音声ベ－ス入力に基づいてマルチメディアコンテンツの進行およびユ－ザ活動のパフォ－マンスを制御および処理するための方法１４００のフロ－チャ－トが示されている。方法１４００は、ステップ１４０２において、マルチメディア・コンテンツの進行およびユ－ザ活動のパフォ－マンスを制御および処理するために、ユ－ザから中間音声ベ－ス入力を受信することができる。
【0089】
マルチメディアコンテンツの制御および処理は、例えば、ステップ１４０４で、マルチメディアコンテンツを一時停止すること、ステップ１４０６で、ユ－ザ活動の実行中に活動にコメントを追加することを含むことができる。例えば、ユ－ザがアクティビティを実行しており、実行されたアクティビティが激しいものであり、ユ－ザが対処できないと感じるとき、ユ－ザは、マルチメディアコンテンツの表示を一時停止するために中間音声ベ－スの入力を発行してもよく、さらに、激しいアクティビティにコメントを追加してもよい。さらに、ステップ１４０８で、少なくとも１つのカメラに、ユ－ザ－の特定の身体部位または筋肉群への焦点を変更するように指示してもよい。例えば、ユ－ザは、筋肉の活性化の程度を判定するために、少なくとも１つのカメラにユ－ザの特定の筋肉群へのフォ－カスを変更するよう指示する音声ベ－スの入力を生成することができる。
【0090】
また、ステップ１４１０において、ユ－ザの活動パフォ－マンス中の特定の筋肉群の活性化を検出するために、少なくとも１つのカメラを赤外線モ－ドに切り替えるように指示してもよい。さらに、ステップ１４１２において、所与のアクティビティに対するユ－ザの現在のパフォ－マンスと、所与のアクティビティに対するユ－ザの過去のパフォ－マンスまたはリモ－トユ－ザの現在のパフォ－マンスとの比較に基づくインスタントサイドバイサイドビデオの要求が提起されてもよい。サイド・バイ・サイド・ビデオは、ユ－ザがアクティビティを実行するための進捗状況を比較し判断することを可能にし、支援することができる。
【0091】
ここで図１５を参照すると、いくつかの実施形態に従って、ユ－ザの初期ポ－ズを決定し、マルチメディアコンテンツの提示のためにユ－ザの初期位置を調整するようにユ－ザに指示するための方法１５００のフロ－チャ－トが示されている。方法１５００において、ステップ１５０２で、ユ－ザは、少なくとも１つのアクティビティの選択に基づいてユ－ザのポ－ズを設定することができる。ステップ１５０４において、マルチメディアコンテンツの提示を開始するために、ユ－ザの初期位置が検出されてもよい。さらに、ステップ１５０６において、ＡＩモデルを使用して、検出されたユ－ザの初期位置が、少なくとも１つのアクティビティにマッピングされた初期位置に一致するか否かを判定してもよい。検出された初期位置が初期位置と一致しない場合、ＡＩモデルは、ステップ１５０８において、初期位置を修正するようにユ－ザに指示することができる。しかしながら、検出された初期位置が初期位置に一致する場合、ステップ１５１０において、マルチメディア・コンテンツの提示が開始されてもよい。これについては、図１、図２および図７と併せて既に詳細に説明した。１、２、および７を参照されたい。
【0092】
次に図１６を参照すると、いくつかの実施形態に従って、複数の基準に基づいてユ－ザに優先順位を付け、その後にフィ－ドバックをレンダリングするための方法１６００のフロ－チャ－トが示されている。方法１６００は、ステップ１６０２において、複数の基準から関連する基準の満足度に基づいて、複数の音声メッセ－ジの各々に優先順位を割り当てることを含む。複数の音声メッセ－ジは、予め定義され、したがってスマ－トミラ－１００のメモリ（例えば、メモリ４１８）に予め記憶されている可能性がある。代替的または追加的に、１つまたは複数の音声メッセ－ジは、ＡＩモデル（例えば、ＡＩモデル１２２）によってオンザフライで生成されてもよい。方法１６００は、ステップ１６０４において、複数の基準から少なくとも１つの基準を満たすことを決定するために、ユ－ザパフォ－マンスパラメ－タのセットを分析することをさらに含む。方法１６００は、少なくとも１つの基準を満たすことに応答して、複数のオ－ディオメッセ－ジから少なくとも１つのオ－ディオメッセ－ジをユ－ザにレンダリングすることを含む。少なくとも１つのオ－ディオメッセ－ジは、少なくとも１つの基準に対応する。少なくとも１つの音声メッセ－ジは、ソ－ス言語でレンダリングされてもよい。ＡＩモデルがメッセ－ジをオンザフライで生成した場合、ＡＩモデルは、評価された優先順位または状況に応じてレンダリングされる音声メッセ－ジをインテリジェントに決定するために、現在の状況を自ら評価することができることに留意されたい。
【0093】
さらに詳しく説明すると、ユ－ザに対するフィ－ドバックに関連する発話のタイミングと持続時間は、理解されるように、非常に重要である可能性がある。例えば、ユ－ザ－がアクティビティを高速で実行している場合、いくつかのフィ－ドバックメッセ－ジは、生成され発話される前に陳腐化する可能性がある。さらに、ある種のフィ－ドバックメッセ－ジは、反復的で不自然になるかもしれない。さらに、フィ－ドバックメッセ－ジの中には、例えば、警告やエラ－に関するフィ－ドバックメッセ－ジのように、優先順位が高いものがあるかもしれない。メッセ－ジの優先順位は、優先キュ－に基づいて処理されてもよい。また、ＡＩモ－ドを使用して、フィ－ドバックメッセ－ジにより自然な対話を与えることもできる。
【0094】
図１７を参照すると、いくつかの実施形態に従って、ユ－ザ活動のパフォ－マンスをキャプチャするマルチメディアデ－タを編集するための方法１７００のフロ－チャ－トが示されている。方法１７００は、ステップ１７０２において、少なくとも１つのカメラから受信したマルチメディアデ－タをデ－タベ－スに格納してもよい。マルチメディアデ－タは、ステップ１７０２において、ユ－ザの１つまたは複数のユ－ザコマンドに基づいて編集されてもよい。ステップ１７０２は、ステップ１７０６から１７１４をさらに含んでもよく、これらのステップは、連続して実行されてもよく、並行して実行されてもよく、互いに完全に独立して実行されてもよい。ユ－ザコマンドは、テキストコマンド、音声コマンド、タッチコマンド、または視覚的ジェスチャのうちの少なくとも１つであってよい。
【0095】
つまたは複数のユ－ザコマンドは、ステップ１７０４において、マルチメディアデ－タの開始点を設定すること、ステップ１７０６において、マルチメディアデ－タの終了点を設定することのうちの少なくとも１つを含み得る。さらに、ステップ１７０８において、マルチメディアデ－タから背景が除去されてもよい。ステップ１７１２において、１つまたは複数のタグがマルチメディアデ－タに割り当てられてもよく、ステップ１７１０において、マルチメディアデ－タが他のユ－ザのセットと共有されてもよい。
【0096】
理解されるかもしれないが、いくつかの構成では、スマ－トミラ－１００を使用するユ－ザおよび/または実際のトレ－ナ－は、音声ベ－スの入力を使用して、仮想アシスタントによって提供されるアクティビティおよび/またはガイドラインを切り取ったり、強調したり、スマ－トミラ－４００に音声またはテキストフィ－ドバックを追加したりすることができる。さらに、ユ－ザ１０２とインストラクタ－は、スマ－トミラ－で使用される背景画像を追加または削除することを許可される場合がある。音声ベ－スの入力は、プレイリストの作成および保存、プレイリストへのメタデ－タの追加、プレイリストおよびアクティビティへの音声テキスト機構および音声フィ－ドバックを使用したコメントの追加、新しいアクティビティカテゴリの記録、実行されるアクティビティの編集およびクリップ、例えば、エクササイズのタイプ、筋肉群、または難易度のレベルなどのハッシュタグを使用したエクササイズのタグ付け、代替バ－ジョンでのエクササイズクリップの置き換え、他のユ－ザとのプレイリストおよびエクササイズの共有、プレイリストの共有時の他のユ－ザへのメッセ－ジのディクテ－ションに使用することができる。
【0097】
また、理解されるように、上述の技術は、コンピュ－タまたはコントロ－ラに実装されたプロセスおよびそれらのプロセスを実施するための装置の形態をとることができる。本開示はまた、フロッピ－ディスク、ソリッドステ－トドライブ、ＣＤ－ＲＯＭ、ハ－ドドライブ、または任意の他のコンピュ－タ読み取り可能な記憶媒体などの有形媒体に具現化された命令を含むコンピュ－タプログラムコ－ドの形態で具現化することもでき、コンピュ－タプログラムコ－ドがコンピュ－タまたはコントロ－ラにロ－ドされ実行されると、コンピュ－タは本発明を実施するための装置になる。また、本開示は、例えば、記憶媒体に記憶されるか、コンピュ－タまたはコントロ－ラにロ－ドされるか、および／またはコンピュ－タまたはコントロ－ラによって実行されるか、あるいは電気配線またはケ－ブルを介して、光ファイバを介して、または電磁放射を介してなど、何らかの伝送媒体を介して伝送されるかどうかにかかわらず、コンピュ－タプログラムコ－ドまたは信号の形態で具体化することもでき、コンピュ－タプログラムコ－ドがコンピュ－タにロ－ドされ、コンピュ－タによって実行されると、コンピュ－タが本発明を実施するための装置になる。汎用マイクロプロセッサに実装される場合、コンピュ－タプログラムコ－ドセグメントは、特定の論理回路を作成するようにマイクロプロセッサを構成する。
【0098】
したがって、開示された方法およびシステムは、スマ－トミラ－を使用してアクティビティを実行している間に表示される指示およびグラフィックを設定するために、特定のジェスチャ－を使用したり、入力ベ－スのデバイスを使用して指示を出したりする問題を克服しようとするものである。本方法及びシステムは、アクティビティカテゴリをユ－ザに提示し、ユ－ザは、ソ－ス言語による音声ベ－スの入力を使用して実行するアクティビティを選択することができる。さらに、ＮＬＰモデルは、音声ベ－スの入力を処理して、ユ－ザによって選択されたアクティビティを抽出してもよい。さらに、開示されたシステムおよび方法は、アクティビティに適合したマルチメディアコンテンツの提示を開始する。カメラを用いてユ－ザ活動のビデオを撮影し、ＡＩモデルを用いてビデオを処理し、ユ－ザパフォ－マンスパラメ－タを抽出する。ＡＩモデルは、ユ－ザパフォ－マンスパラメ－タに基づいてフィ－ドバックを生成し、スマ－トミラ－上にフィ－ドバックをレンダリングしてもよい。
【0099】
当業者には理解されるように、上述した様々な実施形態で説明した技術は、日常的なものでも、従来のものでも、当技術分野でよく理解されているものでもない。上述した技術は、レンダリングデバイスによって、複数のアクティビティカテゴリをユ－ザに提示することを提供することができる。複数のアクティビティ・カテゴリの各々は、複数のアクティビティを含んでよい。複数のアクティビティカテゴリは、マルチメディアコンテンツとして提示されてもよい。本技術は、ユ－ザから音声ベ－スの入力を受信してもよい。音声ベ－スの入力は、複数のアクティビティカテゴリの少なくとも１つからの少なくとも１つのアクティビティの選択と、少なくとも１つのアクティビティの各々に関連付けられた少なくとも１つのアクティビティ属性とを含むアクティビティトレ－ニングプランを含んでもよく、音声ベ－スの入力はソ－ス言語である。さらに、本技術は、自然言語処理（ＮＬＰ）モデルによって、受信した音声ベ－スの入力を処理して、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性の選択を抽出することができる。ＮＬＰモデルは、単一言語を用いて構成されてもよく、単一言語は中間言語である。音声ベ－スの入力を受信すると同時に、技法は、少なくとも１つのアクティビティおよび少なくとも１つのアクティビティ属性に適合するマルチメディアコンテンツの提示を開始してもよい。マルチメディアコンテンツは、少なくとも１つのアクティビティに対応する仮想アシスタントによって実行される複数の案内ステップを含んでもよい。さらに、本技術は、マルチメディアコンテンツの開始に応答して、少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動実績の開始を検出してもよい。所与の時間におけるユ－ザのユ－ザ活動パフォ－マンスは、少なくとも１つの活動のうちの１つの模倣を含んでもよい。さらに、本技法は、少なくとも１つのカメラを介して、ユ－ザのユ－ザ活動パフォ－マンスのビデオをキャプチャしてもよい。少なくとも１つのカメラは、分散配置される。本技法は、人工知能（ＡＩ）モデルによって、ビデオをリアルタイムで処理して、ユ－ザ活動のパフォ－マンスに基づいてユ－ザのユ－ザパフォ－マンスパラメ－タのセットを抽出してもよい。本技術は、ＡＩモデルを使用して、ユ－ザパフォ－マンスパラメ－タセットとパフォ－マンスパラメ－タのタ－ゲットセットとの間の差分に基づくフィ－ドバックを生成することができる。ユ－ザ活動のパフォ－マンスと同時に、本技術は、フィ－ドバックを、聴覚的形態、視覚的形態、または触覚的フィ－ドバックのうちの少なくとも１つでユ－ザにレンダリングすることができる。
【0100】
当業者には理解されるように、上述した様々な実施形態で説明した技術は、日常的なものでも、従来のものでも、当技術分野でよく理解されているものでもない。上述した技術は、通信装置を介して、ソ－ス言語によるユ－ザからのユ－ザ入力を受信すること（ ）を提供することができる。ユ－ザ－入力は、テキスト入力および口頭入力の少なくとも一方であってもよい。本技術は、機械翻訳モデルを使用してユ－ザ－入力を翻訳し、中間言語で翻訳された複数のユ－ザ－入力を生成することができる。信頼スコアは、翻訳された複数のユ－ザ－入力の各々に関連付けられることがある。複数の翻訳されたユ－ザ入力の各々は、テキスト形式であってもよい。本技術は、中間言語のみを使用して構成されたＳＮＬＰモデル（ ）を使用して、複数の翻訳されたユ－ザ－入力に対して、中間言語における中間入力ベクトルの複数のセット（ ）を生成することができる。技法は、複数の事前定義されたメカニズムのうちの少なくとも１つを使用して、中間言語における中間入力ベクトルの複数のセットを処理し、所定の応答を識別してもよい。技法は、所定の応答を翻訳して、翻訳された応答を生成してもよい。翻訳された応答は、ユ－ザ－ にレンダリングされる。
【0101】
上述した利点および開示された方法およびシステムによって提供される技術的進歩に照らせば、上述したような特許請求されたステップは、従来技術における既存の問題に対する以下の解決策を可能にするものであるため、日常的なものでも、従来のものでも、当技術分野でよく理解されているものでもない。さらに、特許請求されるステップは、技術的な問題に対する技術的な解決策を提供するものであるため、特許請求されるステップは、明らかに装置自体の機能の改善をもたらす。
【0102】
さらに、本開示と一致する実施形態を実施する際に、１つ以上のコンピュ－タ読み取り可能な記憶媒体を利用することができる。コンピュ－タ可読記憶媒体は、プロセッサによって読み取り可能な情報またはデ－タが記憶され得る任意のタイプの物理的メモリを指す。したがって、コンピュ－タ読み取り可能記憶媒体は、プロセッサ（複数可）に本明細書に記載の実施形態と一致するステップまたは段階を実行させるための命令を含む、１つまたは複数のプロセッサによる実行のための命令を記憶することができる。コンピュ－タ読み取り可能媒体」という用語は、有形物を含み、搬送波および過渡信号を除外する、すなわち、非一過性であると理解されるべきである。例えば、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハ－ドドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、および他の任意の既知の物理的記憶媒体が含まれる。
【0103】
開示された実施形態の真の範囲および精神は、以下の特許請求の範囲によって示される。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【誤訳訂正書】
【提出日】2024-06-03
【誤訳訂正1】
【訂正対象書類名】図面
【訂正対象項目名】図４
【訂正方法】変更
【訂正の内容】
【図4】
【誤訳訂正2】
【訂正対象書類名】図面
【訂正対象項目名】図５
【訂正方法】変更
【訂正の内容】
【図5】
【誤訳訂正3】
【訂正対象書類名】図面
【訂正対象項目名】図６
【訂正方法】変更
【訂正の内容】
【図6】
【誤訳訂正4】
【訂正対象書類名】図面
【訂正対象項目名】図７
【訂正方法】変更
【訂正の内容】
【図7】
【誤訳訂正5】
【訂正対象書類名】図面
【訂正対象項目名】図８
【訂正方法】変更
【訂正の内容】
【図8】
【誤訳訂正6】
【訂正対象書類名】図面
【訂正対象項目名】図９Ａ
【訂正方法】変更
【訂正の内容】
【図9A】
【誤訳訂正7】
【訂正対象書類名】図面
【訂正対象項目名】図９Ｂ
【訂正方法】変更
【訂正の内容】
【図9B】
【誤訳訂正8】
【訂正対象書類名】図面
【訂正対象項目名】図９Ｃ
【訂正方法】変更
【訂正の内容】
【図9C】
【誤訳訂正9】
【訂正対象書類名】図面
【訂正対象項目名】図９Ｄ
【訂正方法】変更
【訂正の内容】
【図9D】
【誤訳訂正10】
【訂正対象書類名】図面
【訂正対象項目名】図１０
【訂正方法】変更
【訂正の内容】
【図10】
【誤訳訂正11】
【訂正対象書類名】図面
【訂正対象項目名】図１１
【訂正方法】変更
【訂正の内容】
【図11】
【誤訳訂正12】
【訂正対象書類名】図面
【訂正対象項目名】図１２
【訂正方法】変更
【訂正の内容】
【図12】
【誤訳訂正13】
【訂正対象書類名】図面
【訂正対象項目名】図１３
【訂正方法】変更
【訂正の内容】
【図13】
【誤訳訂正14】
【訂正対象書類名】図面
【訂正対象項目名】図１４
【訂正方法】変更
【訂正の内容】
【図14】
【誤訳訂正15】
【訂正対象書類名】図面
【訂正対象項目名】図１５
【訂正方法】変更
【訂正の内容】
【図15】
【誤訳訂正16】
【訂正対象書類名】図面
【訂正対象項目名】図１６
【訂正方法】変更
【訂正の内容】
【図16】
【誤訳訂正17】
【訂正対象書類名】図面
【訂正対象項目名】図１７
【訂正方法】変更
【訂正の内容】
【図17】
【国際調査報告】