特開 2023-175651 動作ガイダンス方法、システム、電子装置及びサーバー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023175651

(43)【公開日】2023-12-12

(54)【発明の名称】動作ガイダンス方法、システム、電子装置及びサーバー

(51)【国際特許分類】

   A63B 69/00 20060101AFI20231205BHJP

   A63B 71/06 20060101ALI20231205BHJP

【ＦＩ】

A63B69/00 C

A63B71/06 T

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023085029

(22)【出願日】2023-05-24

(31)【優先権主張番号】111120032

(32)【優先日】2022-05-30

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】517364444

【氏名又は名称】誠屏科技股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】仲 新茂

(57)【要約】

【課題】本発明は、動作ガイダンス方法、システム、電子装置及びサーバーを提供する。
【解決手段】前記方法は、第一受音装置により、第一ユーザーの体に装着される第一超音波送信装置が送信する第一超音波信号を受信すると同時に、背景音信号を受信し；第一超音波信号及び背景音信号に基づいてマルチメディアファイルを生成し；第一ユーザーが第一時点で行う第一肢体動作を示す、第一超音波信号の第一信号特徴を検出し；及び、第一信号特徴に基づいて、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスする第一提示メッセージを生成することを含む。
【選択図】図8

【特許請求の範囲】

【請求項1】

動作ガイダンス方法であって、
少なくとも1つの第一受音装置により、少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に、前記少なくとも1つの第一受音装置により背景音信号を受信することであって、前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着される、こと；
前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成し；
前記第一超音波信号の第一信号特徴を検出することであって、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を示す、こと；及び
前記第一信号特徴に基づいて第一提示メッセージを生成し、かつ前記第一信号特徴に対応する前記第一時点に基づいて前記第一提示メッセージを前記マルチメディアファイルに追加することで動作ティーチングファイルを生成することであって、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられる、ことを含む、動作ガイダンス方法。

【請求項2】

請求項1に記載の動作ガイダンス方法であって、
前記第一信号特徴は前記第一超音波信号の周波数スペクトル特徴を含む、動作ガイダンス方法。

【請求項3】

請求項2に記載の動作ガイダンス方法であって、
前記第一信号特徴に基づいて前記第一提示メッセージを生成することは、
前記第一信号特徴が第一条件を満たしたことに応じて、前記第一ユーザーが前記第一時点で行う前記第一肢体動作は第一動作であると判定すること；及び
前記第一信号特徴が第二条件を満たしたことに応じて、前記第一ユーザーが前記第一時点で行う前記第一肢体動作は第二動作であると判定することであって、前記第一条件は前記第二条件とは異なり、前記第一動作は前記第二動作とは異なる、ことを含む、動作ガイダンス方法。

【請求項4】

請求項1に記載の動作ガイダンス方法であって、
前記少なくとも1つの第一超音波送信装置は第一超音波送信器及び第二超音波送信器を含み、
前記第一超音波送信器及び前記第二超音波送信器は前記第一ユーザーの体の異なる位置に装着され、
前記第一超音波送信器は第一周波数を有する超音波信号を送信するために用いられ、
前記第二超音波送信器は第二周波数を有する超音波信号を送信するために用いられ、
前記第一周波数は前記第二周波数とは異なる、動作ガイダンス方法。

【請求項5】

請求項1に記載の動作ガイダンス方法であって、
前記第一超音波信号の第二信号特徴を検出することであって、前記第二信号特徴は、前記第一ユーザーの物理的空間における位置変化を示す、こと；及び
前記第二信号特徴に基づいて第二提示メッセージを生成することであって、前記第二提示メッセージは、前記第二ユーザーが所定の方向に移動するようにガイダンスするために用いられる、ことをさらに含む、動作ガイダンス方法。

【請求項6】

請求項5に記載の動作ガイダンス方法であって、
前記第二信号特徴は前記第一超音波信号の振幅特徴を含む、動作ガイダンス方法。

【請求項7】

請求項6に記載の動作ガイダンス方法であって、
前記第二信号特徴に基づいて前記第二提示メッセージを生成することは、
前記第二信号特徴に基づいて、前記第一ユーザーの前記物理的空間における移動軌跡を追跡すること；及び
前記移動軌跡に基づいて前記第二提示メッセージを生成することを含む、動作ガイダンス方法。

【請求項8】

請求項1に記載の動作ガイダンス方法であって、
前記動作ティーチングファイルが再生されるときに、信号出力装置が音声及び映像のうちの少なくとも１つの形式で前記第一提示メッセージを出力し、前記第一提示メッセージにより、前記第二ユーザーが前記第二時点で前記第一肢体動作を行うようにガイダンスすることをさらに含む、動作ガイダンス方法。

【請求項9】

請求項1に記載の動作ガイダンス方法であって、
前記動作ティーチングファイルが再生されるときに、少なくとも1つの第二受音装置により、少なくとも1つの第二超音波送信装置が送信する第二超音波信号を受信することであって、前記少なくとも1つの第二超音波送信装置は前記第二ユーザーの体に装着される、こと；
前記第二超音波信号の第三信号特徴を検出することであって、前記第三信号特徴は、前記第二ユーザーが前記第二時点で行う第二肢体動作を示すこと；及び
記第三信号特徴に基づいて第三提示メッセージを生成することであって、前記第三提示メッセージは、前記第二ユーザーが前記第二肢体動作の正確性を評価するのを支援するために用いられる、ことをさらに含む、動作ガイダンス方法。

【請求項10】

請求項9に記載の動作ガイダンス方法であって、
前記動作ティーチングファイルを再生する前に、前記第一超音波信号の情報を前記動作ティーチングファイルからフィルタリングすること；及び
前記第一超音波信号の前記情報を前記マルチメディアファイルからフィルタリングし後に、フィルタリング後の前記動作ティーチングファイルを再生することをさらに含む、動作ガイダンス方法。

【請求項11】

動作ガイダンスシステムであって、
第一ユーザーの体に装着され、かつ第一超音波信号を送信するように構成される少なくとも1つの第一超音波送信装置；
前記第一超音波信号及び背景音信号を受信するように構成される少なくとも1つの第一受音装置；及び
前記少なくとも1つの第一受音装置にカップリングされるように構成される処理器を含み、
前記処理器は、
前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成すること；
前記第一超音波信号の第一信号特徴を検出することであって、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を示す、こと；及び
前記第一信号特徴に基づいて第一提示メッセージを生成し、かつ前記第一信号特徴に対応する前記第一時点に基づいて前記第一提示メッセージを前記マルチメディアファイルに追加することで動作ティーチングファイルを生成することであって、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられる、こと
を実行するために用いられる、動作ガイダンスシステム。

【請求項12】

電子装置であって、
少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に、背景音信号を受信するように構成される少なくとも1つの第一受音装置であって、前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着される、少なくとも1つの第一受音装置；及び
前記少なくとも1つの第一受音装置にカップリングされるように構成される処理器を含み、
前記処理器は、
前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成すること；
前記第一超音波信号の第一信号特徴を検出することであって、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を示す、こと；及び
前記第一信号特徴に基づいて第一提示メッセージを生成し、かつ前記第一信号特徴に対応する前記第一時点に基づいて前記第一提示メッセージを前記マルチメディアファイルに追加することで動作ティーチングファイルを生成することであって、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられる、こと
を実行するために用いられる、電子装置。

【請求項13】

サーバーであって、
少なくとも1つの第一受音装置と通信可能に接続されるように構成される通信インターフェース；及び
前記通信インターフェースにカップリングされるように構成される処理器を含み、
前記少なくとも1つの第一受音装置は、少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に背景音信号を受信し、かつ前記通信インターフェースを介して前記第一超音波信号及び前記背景音信号を前記処理器に伝送するように構成され、前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着され、
前記処理器は、
前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成すること；
前記第一超音波信号の第一信号特徴を検出することであって、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を示す、こと；及び
前記第一信号特徴に基づいて第一提示メッセージを生成し、かつ前記第一信号特徴に対応する前記第一時点に基づいて前記第一提示メッセージを前記マルチメディアファイルに追加することで動作ティーチングファイルを生成することであって、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられる、こと
を実行するために用いられる、サーバー。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作（動き）ガイダンス（movement guidance）方法、システム、電子装置及びサーバーに関する。

【背景技術】

【0002】

技術的進歩や疾病予防のため、在宅勤務や在宅学習が徐々にトレンドになっている。また、フィットネス業界では、人々の自宅でのセルフトレーニング（自主訓練）を支援するために、オンラインコーチングプラットフォーム（online coaching platform）の開発も続けている。しかし、オンラインコーチングプラットフォームが直面しやすい問題は、教育ビデオの録画やポストプロダクションのコストが高すぎ、学生側のビデオ機器への要求が高く、コーチのフィードバックコメントがリアルタイムで伝達され難いなどを含む。これによって、在宅フィットネスのオンラインコーチングプラットフォームは、効果があまり大きくないため、普及がうまくいけていない。

【0003】

なお、この「背景技術」の部分が本発明の内容への理解を助けるためだけのものであるため、この「背景技術」の部分に開示されている内容は、当業者に知られていない技術を含む可能性がある。よって、この「背景技術」の部分に開示されている内容は、該内容、又は、本発明の１つ又は複数の実施例が解決しようとする課題が本発明の出願前に既に当業者に周知されていることを意味しない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記に鑑み、本発明は、コーチが学生に対して遠隔(remote)動作ガイダンスを行う際の利便性を向上させることができる動作ガイダンス方法、システム、電子装置及びサーバーを提供することを解題とする。

【課題を解決するための手段】

【0005】

本発明の実施例によれば、動作ガイダンス方法が提供され、それは、
少なくとも1つの第一受音装置により、少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に、前記少なくとも1つの第一受音装置により、背景音信号を受信し、そのうち、前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着され；
前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成し；
前記第一超音波信号の第一信号特徴を検出し、そのうち、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を反映し（示し）；及び
前記第一信号特徴に基づいて第一提示メッセージ（情報ともいう）を生成し、また、前記第一信号特徴に対応する前記第一時点に従って前記第一提示メッセージを前記マルチメディアファイルに追加（加入）することで、動作ティーチング（movement teaching）ファイルを生成し、そのうち、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられることを含む。

【0006】

本発明の一実施例において、前記第一信号特徴は、前記第一超音波信号の周波数スペクトル特徴を含む。

【0007】

本発明の一実施例において、前記第一信号特徴に基づいて前記第一提示メッセージを生成することは、前記第一信号特徴が第一条件を満たすことに応じて、前記第一ユーザーが前記第一時点で行う前記第一肢体動作は第一動作であると判定し；及び、前記第一信号特徴が第二条件を満たすことに応じて、前記第一ユーザーが前記第一時点で行う前記第一肢体動作は第二動作であると判定することを含み、そのうち、前記第一条件は前記第二条件とは異なり、かつ前記第一動作は前記第二動作とは異なる。

【0008】

本発明の一実施例において、前記少なくとも1つの第一超音波送信装置は第一超音波送信器及び第二超音波送信器を含み、前記第一超音波送信器及び前記第二超音波送信器は前記第一ユーザーの体の異なる位置に装着され、前記第一超音波送信器は第一周波数を有する超音波信号を送信するために用いられ、前記第二超音波送信器は第二周波数を有する超音波信号を送信するために用いられ、かつ前記第一周波数は前記第二周波数とは異なる。

【0009】

本発明の一実施例において、前述の動作ガイダンス方法は、前記第一超音波信号の第二信号特徴を検出し、そのうち、前記第二信号特徴は前記第一ユーザーの物理的空間における位置変化を反映し；及び、前記第二信号特徴に基づいて第二提示メッセージを生成し、そのうち、前記第二提示メッセージは、前記第二ユーザーが特定（所定）の方向に移動するようにガイダンスするために用いられることをさらに含む。

【0010】

本発明の一実施例において、前記第二信号特徴は前記第一超音波信号の振幅特徴を含む。

【0011】

本発明の一実施例において、前記第二信号特徴に基づいて前記第二提示メッセージを生成することは、前記第二信号特徴に基づいて、前記第一ユーザーの前記物理的空間における移動軌跡を追跡し；及び、前記移動軌跡に基づいて前記第二提示メッセージを生成することを含む。

【0012】

本発明の一実施例において、前述の動作ガイダンス方法は、前記動作ティーチングファイルが再生されるときに、信号出力装置が音声及び映像のうちの少なくとも1つの形式で前記第一提示メッセージを出力し、前記第一提示メッセージにより、前記第二ユーザーが前記第二時点で前記第一肢体動作を行うようにガイダンスすることをさらに含む。

【0013】

本発明の一実施例において、前述の動作ガイダンス方法は、前記動作ティーチングファイルが再生されるときに、少なくとも1つの第二受音装置により、少なくとも1つの第二超音波送信装置が送信する第二超音波信号を受信し、そのうち、前記少なくとも1つの第二超音波送信装置は前記第二ユーザーの体に装着され；前記第二超音波信号の第三信号特徴を検出し、そのうち、前記第三信号特徴は、前記第二ユーザーが前記第二時点で行う第二肢体動作を反映し；及び、前記第三信号特徴に基づいて第三提示メッセージを生成し、そのうち、前記第三提示メッセージは、前記第二ユーザーが前記第二肢体動作の正確性を評価するのを支援するために用いられることを含む。

【0014】

本発明の一実施例において、前述の動作ガイダンス方法は、前記動作ティーチングファイルを再生する前に、前記第一超音波信号の情報を前記動作ティーチングファイルからフィルタリング（除去）し；及び、前記第一超音波信号の前記情報を前記マルチメディアファイルからフィルタリングした後に、フィルタリング後の前記動作ティーチングファイルを再生することをさらに含む。

【0015】

本発明の実施例によれば、動作ガイダンスシステムがさらに提供され、それは、少なくとも1つの第一超音波送信装置、少なくとも1つの第一受音装置、及び処理器を含む。前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着され、第一超音波信号を送信するために用いられる。前記少なくとも1つの第一受音装置は前記第一超音波信号及び背景音信号を受信するために用いられる。前記処理器は前記少なくとも1つの第一受音装置にカップリングされ、かつ次のようなことを行うように用いられ、即ち、前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成し；前記第一超音波信号の第一信号特徴を検出し、そのうち、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を反映し；及び、前記第一信号特徴に基づいて第一提示メッセージを生成し、また、前記第一信号特徴に対応する前記第一時点に従って前記第一提示メッセージを前記マルチメディアファイルに追加することで、動作ティーチングファイルを生成し、そのうち、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられることである。

【0016】

本発明の実施例によれば、電子装置がさらに提供され、それは、少なくとも1つの第一受音装置、及び処理器を含む。前記少なくとも1つの第一受音装置は、少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に、背景音信号を受信するために用いられる。前記少なくとも1つの第一超音波送信装置は、第一ユーザーの体に装着される。前記処理器は前記少なくとも1つの第一受音装置にカップリングされ、かつ次のようなことを行うように用いられ、即ち、前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成し；前記第一超音波信号の第一信号特徴を検出し、そのうち、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を反映し；及び、前記第一信号特徴に基づいて第一提示メッセージを生成し、また、前記第一信号特徴に対応する前記第一時点に従って前記第一提示メッセージを前記マルチメディアファイルに追加することで、動作ティーチングファイルを生成し、そのうち、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられることである。

【0017】

本発明の実施例によれば、サーバーがさらに提供され、それは、通信インターフェース及び処理器を含む。前記通信インターフェースは少なくとも1つの第一受音装置と通信可能に接続される。前記処理器は前記通信インターフェースにカップリングされる。前記少なくとも1つの第一受音装置は、少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に、背景音信号を受信し、また、前記通信インターフェースを介して、前記第一超音波信号及び前記背景音信号を前記処理器に伝送するために用いられる。前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着される。前記処理器は次のようなことを行うように用いられ、即ち、前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成し；前記第一超音波信号の第一信号特徴を検出し、そのうち、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を反映し；及び、前記第一信号特徴に基づいて第一提示メッセージを生成し、また、前記第一信号特徴に対応する前記第一時点に従って前記第一提示メッセージを前記マルチメディアファイルに追加することで、動作ティーチングファイルを生成し、そのうち、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられることである。

【発明の効果】

【0018】

上記により、第一ユーザーの体に装着される超音波送信装置が送信する第一超音波信号、及び背景音信号を受音装置によって受信した後に、前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを自動で生成できる。また、前記第一超音波信号の第一信号特徴を検出することで、前記第一ユーザーが第一時点で行う第一肢体動作を反映でき、かつ前記第一信号特徴に基づいて第一提示メッセージを自動で生成して前記マルチメディアファイルに追加することで、動作ティーチングファイルを生成できる。特に、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスすることができる。これにより、コーチが学生に対して遠隔動作ガイダンスを行う際の利便性を効果的に向上させることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施例における動作ガイダンスシステムを示す図である。

【図2】本発明の実施例においてユーザーが超音波送信装置を装着して異なる肢体動作を行うことを示す図である。

【図3】本発明の実施例において動作ティーチングファイルを生成することを示す図である。

【図4】本発明の実施例における人工知能モデルの訓練フローを示す図である。

【図5】本発明の実施例においてユーザーの物理的空間における位置をポジショニングするフローを示す図である。

【図6】本発明の実施例における動作ガイダンスシステムを示す図である。

【図7】本発明の実施例におけるスマートコーチングアプリケーションプログラムを示す図である。

【図8】本発明の実施例における動作ガイダンス方法のフローチャートである。

【発明を実施するための形態】

【0020】

本発明の上述した及び他の技術的内容、特徴、機能、及び効果は、添付した図面に基づく次のような好適な実施例の詳細な説明により明確になる。なお、以下の実施例に言及される方向についての用語、例えば、上、下、左、右、前、後などは、添付した図面の方向に過ぎない。よって、使用される方向の用語は、本発明を説明するためだけのものであり、本発明を限定するためのものではない。

【0021】

図1は本発明の実施例における動作ガイダンスシステムを示す図である。図1に示すように、動作ガイダンスシステム10は超音波送信装置(第一超音波送信装置ともいう)11及び電子装置12を含む。超音波送信装置11はユーザー(第一ユーザーともいう)の体に装着され、かつ超音波信号(第一超音波信号ともいう)を送信するために用いられる。例えば、超音波送信装置11は1つ又は複数の超音波送信器を含んでも良い。各超音波送信器は特定（所定）の周波数(固定周波数)を有する超音波信号を送信するために用いられ得る。例えば、前記特定の周波数は30,000Hz(即ち、30kHz)であっても良いが、本発明はこれに限定されない。例えば、一実施例において、前記特定の周波数はさらに、29kHz、31kHzなどを含んでも良く、つまり、人間の耳が聞くことができる音声信号の周波数よりも高ければ良い（例えば、20kHz又は25kHzよりも高ければ良い）。

【0022】

一実施例において、仮に、超音波送信装置11が複数の超音波送信器を含むとする場合、これらの超音波送信器は異なる周波数を有する超音波信号を送信するために用いられ得る。例えば、超音波送信装置11は第一超音波送信器及び第二超音波送信器を含んでも良い。第一超音波送信器は所定の周波数(第一周波数ともいう)を有する超音波信号を送信するために用いられ得る。第二超音波送信器は、もう1つの所定の周波数(第二周波数ともいう)を有する超音波信号を送信するために用いられ得る。第一周波数は第二周波数とは異なる。例えば、第一周波数及び第二周波数はそれぞれ30kHz及び31kHzなどであっても良いが、第一周波数及び第二周波数の実際の値はこれらに限定されない。

【0023】

一実施例において、超音波送信装置11における複数の超音波送信器(例えば、第一超音波送信器及び第二超音波送信器)はユーザー(即ち、第一ユーザー)の体の異なる位置に装着される。例えば、第一超音波送信器は第一ユーザーの左の腕に装着され、第二超音波送信器は第一ユーザーの右の腕などに装着されても良い。なお、前記複数の超音波送信器が第一ユーザーの体に装着される位置は人体の他の位置(例えば、大腿(太もも)、小腿(下肢)など)をさらに含んでも良いが、本発明はこれらに限られない。また、超音波送信装置11はさらに、より多くの超音波送信器(例えば、第三超音波送信器など)を含んでも良いが、本発明は、超音波送信装置11に含まれる超音波送信器の数（総数）について限定しない。

【0024】

電子装置12はスマートフォン、タブレットパソコン、ノートパソコン、デスクトップパソコン、ゲーム機、スマートイヤホン、スマートスピーカー、スマートテレビなどの、音声信号送受信機能及びデータ処理機能を有する様々な電子装置を含んでも良いが、電子装置12の類型（type）はこれらに限定されない。

【0025】

電子装置12は受音装置121、処理器122及び記憶回路123を含み得る。受音装置121は第一超音波信号を受信できる。例えば、受音装置121は1つ又は複数のマイクロフォン(例えば、複数のマイクロフォンは第一超音波信号を同時に受信できる)を含んでも良い。また、第一超音波信号を受信する期間内で、受音装置121は背景音信号を同時に受信できる。背景音信号は、現在の環境で人間の耳に聞こえる音声(例えば、現在の環境で再生されている音楽)を反映し得る。例えば、背景音信号の周波数は聴覚周波数範囲(例えば、20Hz乃至20kHz)内であっても良く、かつ背景音信号は、環境内のスピーカーなどの音声信号再生装置が背景音楽を再生することによって生成され得る。つまり、仮に、現在の受音装置121の所在する環境に第一超音波信号及び環境音信号が同時に存在するとする場合、受音装置121は第一超音波信号及び背景音信号を同時に受信(例えば、検出)できる。なお、背景音信号は例えば、背景音楽、又は環境音のみであっても良く、また、背景音信号と超音波信号の周波数帯域が異なるため、両者を容易に分離又は合成できる。よって、録画時に受音装置121が同時に受信する背景音信号は、その後に使用されるときに残されても良く、又は、フィルタリングされ他の背景音(例えば、第二ユーザーによって選択される音楽)が追加されても良い。

【0026】

処理器122は受音装置121及び記憶回路123にカップリングされる。処理器122は電子装置12の処理の全部又は一部を担当し得る。例えば、処理器122は中央処理装置(CPU)又はプログラミング可能な他の汎用又は専用のマイクロプロセッサー、デジタル信号処理器(Digital Signal Processor、DSP)、プログラミング可能な制御器、特定用途向け集積回路(Application Specific Integrated Circuits、ASIC)、プログラミング可能な論理装置(Programmable Logic Device、PLD)又は他の類似した装置、あるいは、これらの装置の組み合わせを含んでも良い。

【0027】

記憶回路（記憶器ともいう）123はデータを記憶するために用いられる。例えば、記憶回路123は揮発性メモリ及び不揮発性メモリを含んでも良い。揮発性メモリはデータの揮発性記憶のために用いられる。例えば、揮発性メモリはランダムアクセスメモリ(Random Access Memory、RAM)又はその類似した揮発性メモリを含んでも良い。不揮発性メモリはデータの不揮発性記憶のために使用される。例えば、不揮発性メモリはリードオンリーメモリ(Read Only Memory、ROM)、ソリッドステートハードディスク(solid state disk、SSD)、従来のハードディスク(Hard disk drive、HDD)又はその類似した不揮発性メモリを含んでも良い。

【0028】

一実施例において、電子装置12は電源管理回路及び様々な入出力(Input/Output、I/O)装置をさらに含んでも良い。例えば、電源管理回路は電子装置12の電源を管理するために用いられ得る。入出力装置は信号の入力及び出力のために用いられ得る。例えば、入出力装置は通信インターフェース(例えば、ネットワークインターフェースカード)、表示インターフェース(例えば、スクリーン)、制御インターフェース(例えば、キーボード及びマウス)及び音声信号出力インターフェース(例えば、スピーカー)を含んでも良いが、入出力装置の類型はこれらに限られない。

【0029】

電子装置12で第一超音波信号及び背景音信号を受信した後に、処理器122は第一超音波信号及び背景音信号に基づいてマルチメディアファイルを生成でき、前記マルチメディアファイルは音声信号ファイルである。例えば、前記マルチメディアファイルには、第一超音波信号及び前記背景音信号の少なくとも一部の信号特徴が含まれ得る。その後、前記マルチメディアファイルは、前記背景音信号に対応する背景音楽を再生するよう、前記背景音信号を復元及び出力するために用いられ得る。

【0030】

また、処理器122はマルチメディアファイルの第一超音波信号の信号特徴を検出（分析）することで、第一信号特徴を得ることができる。第一信号特徴は、第一ユーザーが特定の時点(第一時点ともいう)で行う特定の肢体動作(第一肢体動作ともいう)を反映できる。処理器122は第一信号特徴に基づいて提示メッセージ(第一提示メッセージともいう)を生成できる。前記第一提示メッセージは、もう1つのユーザー(第二ユーザーともいう)がもう1つの時点(第二時点ともいう)で前記第一肢体動作を行うようにガイダンスするために用いられ得る。第一時点は第二時点とは異なる。

【0031】

また、処理器122は、第一信号特徴に対応する前記第一時点に従って、前記第一提示メッセージを前記マルチメディアファイルに追加する(即ち、動作により生じる超音波信号を提示メッセージに変換し、提示メッセージは例えば、語音である)ことで、1つの新しいマルチメディアファイル(動作ティーチングファイルともいう。第一提示メッセージ及び第一信号特徴は例えば、新しいマルチメディアファイルの同じ時点に位置（開始）する)を生成できる。特に、前記動作ティーチングファイルは、第二ユーザーが第一ユーザーの第二時点で行う第一肢体動作に従って自主訓練を行うにようにガイダンスするために、第二ユーザーの所在する環境で再生できる。

【0032】

一実施例において、第一ユーザーはコーチ、第二ユーザーは学生と見なすことができる。前述の動作ティーチングファイルが第二ユーザーの所在する環境で再生されるときに、前記背景音信号も背景音楽の再生のために出力され得る。また、前記背景音楽を再生する期間内で、第一提示メッセージは、マルチメディアファイルに当初追加される時点(例えば、タイムスタンプ)に従って適切な時点で出力され得る。第一提示メッセージに基づいて、第二ユーザーは第二時点で、コーチが行う前記第一肢体動作を試すことができる。

【0033】

図2は本発明の実施例においてユーザーが超音波送信装置を装着して異なる肢体動作を行うことを示す図である。図1及び図2を同時に参照して、仮に、図1における超音波送信装置11が超音波送信器11(1)～11(4)を含むとする。超音波送信器11(1)～11(4)は、それぞれ、ユーザー(即ち、第一ユーザー)21の右の腕、左の腕、右の大腿及び左の大腿に装着され得る。超音波送信器11(1)～11(4)は何れも超音波信号(即ち、第一超音波信号)を送信するために使用でき、かつ超音波送信器11(1)～11(4)が送信する超音波信号の(所定の)周波数はそれぞれ異なる。

【0034】

ユーザー21が動作A(例えば、両手を上げ、かつ右の大腿を上げる動き)を行うときに、超音波送信器11(1)～11(4)が送信する超音波信号の信号特徴(即ち、第一信号特徴)は動作Aに対応する信号特徴を共同で形成できる。また、ユーザー21が動作B(例えば、両手を上げ、かつ左の大腿を上げる動き)を行うときに、超音波送信器11(1)～11(4)が送信する超音波信号の信号特徴(即ち、第一信号特徴)は動作Bに対応する信号特徴を共同で形成できる。特に、動作A及び動作Bの肢体の動き方式が異なるので、動作Aに対応する信号特徴は動作Bに対応する信号特徴とは異なる。その後、超音波送信器11(1)～11(4)が送信する超音波信号の信号特徴のみを検出(又は分析)することで、ユーザー21が特定の時点(即ち、第一時点)で行う肢体動作は得ることができる。

【0035】

一実施例において、第一信号特徴は第一超音波信号の周波数スペクトル特徴を含み得る。第一超音波信号の周波数スペクトル特徴は、第一超音波信号の周波数と時間との相対的関係を記述するために用いられ得る。あるいは、もう1つの観点から言えば、第一超音波信号の周波数スペクトル特徴は、異なる時点の間の第一超音波信号の周波数の変化量を反映できる(例えば、第一ユーザーが動作を行っているときに、超音波送信装置11が受音装置121に近づいたり遠ざかったりし得るため、ドップラー効果によって周波数の変化が生じ得る)。図2を例にする場合、動作Aに対応する第一超音波信号の周波数スペクトル特徴は、動作Bに対応する第一超音波信号の周波数スペクトル特徴とは異なり得る。よって、超音波送信器11(1)～11(4)が送信する超音波信号の周波数スペクトル特徴を分析することで、ユーザー21が特定の時点(即ち、第一時点)で行う肢体動作は動作A又は動作Bであると決定され得る。

【0036】

一実施例において、第一信号特徴が所定の条件(第一条件ともいう)を満たすことに応じて、処理器122は、第一ユーザーが第一時点で行う第一肢体動は特定の動作(第一動作ともいい、例えば、動作Aである)であると判定できる。あるいは、第一信号特徴がもう1つの所定の条件(第二条件ともいう)を満たすことに応じて、処理器122は、第一ユーザーが第一時点で行う第一肢体動作はもう1つの特定の動作(第二動作ともいい、例えば、動作Bである)であると判定できる。第一条件は第二条件とは異なり、かつ第一動作は第二動作とは異なる。第一信号特徴が動作Aに対応する信号特徴を含むと検出したときに、処理器122は、第一ユーザーが第一時点で行う第一肢体動作は動作Aであると判定できる。あるいは、第一信号特徴が動作Bに対応する信号特徴を含むと検出したときに、処理器122は、第一ユーザーが第一時点で行う第一肢体動作は動作Bであると判定できる。なお、図2におけるユーザー21に装着される超音波送信器11(1)～11(4)の位置、超音波送信器11(1)～11(4)の総数、及び行われる肢体動作(例えば、動作A及び動作B)は例示に過ぎず、本発明を限定するものではない。

【0037】

図3は本発明の実施例において動作ティーチングファイルを生成することを示す図である。図3に示すように、受音装置121により超音波信号301(即ち、第一超音波信号)及び背景音信号302を受信した後に、処理器122は超音波信号301及び背景音信号302に基づいてマルチメディアファイル303を生成できる。マルチメディアファイル303には、超音波信号301及び背景音信号302の信号特徴(例えば、周波数スペクトル特徴)又は信号内容が含まれ得る。マルチメディアファイル303は例えば、一時的記憶回路又は記憶回路123に格納されるが、本発明はこれら限定されない。なお、図3では、点線枠内に示すマルチメディアファイル303、周波数スペクトル分析304、提示メッセージ305及び動作ティーチングファイル306は、処理器122が実行する処理、又は、記憶回路123(又は、他の一時的記憶回路)に記憶されるファイルであり、そのうち、処理器122が実行する処理は、プログラム又は物理的回路によって実施され得る。

【0038】

処理器122は、マルチメディアファイル303における超音波信号301に対して周波数スペクトル分析304を行うことで、提示メッセージ305を生成できる。周波数スペクトル分析304では、処理器122は超音波信号301の周波数スペクトル特徴(即ち、第一信号特徴)に基づいて提示メッセージ305を生成できる。例えば、処理器122は超音波信号301の周波数スペクトル特徴に基づいて、第一ユーザーが第一時点で行う第一肢体動作を認識することで、認識結果（例えば、特定の動作又は信号特徴）を得ることができる。処理器122は第一肢体動作の認識結果に基づいて、記憶回路123から、この認識結果に対応する提示メッセージを提示メッセージ305として抽出できる。

【0039】

一実施例において、記憶回路123には、異なる肢体動作又は異なる信号特徴に対応する提示メッセージが記憶され得る。例えば、仮に、第一肢体動作の認識結果が、第一肢体動作が“腕立て伏せ”であることを反映するとする場合、提示メッセージ305は“5秒後、腕立て伏せを行う”又はその類似した、第二ユーザーが腕立て伏せを行うようにガイダンスできる提示メッセージを含んで良い。あるいは、仮に、第一肢体動作の認識結果が、第一肢体動作が“シットアップ”であることを反映するとする場合、提示メッセージ305は、“5秒後、シットアップを行う”又はその類似した、第二ユーザーがシットアップを行うようにガイダンスできる提示メッセージを含んでも良い。また、一実施例において、処理器122は超音波信号301の周波数スペクトル特徴(即ち、第一信号特徴)に基づいて、直接、記憶回路123から、対応する提示メッセージを提示メッセージ305として抽出しても良い。

【0040】

提示メッセージ305を取得した後に、処理器122は第一信号特徴に対応する時点(即ち、第一時点)に従って、提示メッセージ305をマルチメディアファイル303に追加することで、提示メッセージ305を含む動作ティーチングファイル306を生成できる。例えば、前記第一時点とは、第一ユーザーが前記第一肢体動作を行う時点を指しても良い(即ち、第一ユーザーがマルチメディアファイル303の録画期間における特定の時間（時点）に行う動作である)。

【0041】

一実施例において、前記第一時点はマルチメディアファイル303における特定のタイムスタンプ(第一タイムスタンプともいう)に対応する。例えば、超音波信号301及び背景音信号302に基づいてマルチメディアファイル303を生成(例えば、録画)する過程で、第一信号特徴(又は第一肢体動作)を検出する時点(即ち、第一時点)に基づいて、マルチメディアファイル303において対応するタイムスタンプ(即ち、第一タイムスタンプ)が記録され得る。その後、処理器122は、第一タイムスタンプに基づいて、提示メッセージ305をマルチメディアファイル303に追加することで、提示メッセージ305を含む動作ティーチングファイル306を生成できる。なお、上述の、受音装置121により受音し、かつ処理器122により動作ティーチングファイル306を生成する段階は例えば、録画期間である。

【0042】

その後、動作ティーチングファイル306を再生する過程で、提示メッセージ305は第一タイムスタンプに基づいて適切な時点で背景音楽と同時に再生できる。例えば、仮に、動作ティーチングファイル306の音声信号ファイルの時間長が3分であり、かつ第一タイムスタンプが動作ティーチングファイル306の時間軸上の1分のところにある(即ち、コーチは背景音楽が1分再生されるときに前記第一肢体動作を行う)とする。学生が再生される動作ティーチングファイル306に従って自主訓練を行う期間内で、動作ティーチングファイル306の時間軸上の1分のところの直前まで再生されるときに(即ち、背景音楽が1分のところの直前まで再生されるときに)、提示メッセージ305が事前に出力され得る(例えば、背景音楽が55秒のところまで再生されるときに出力される)。これによって、第二ユーザーが第二時点(例えば、5秒後)で前記第一肢体動作を行うことを準備するように提示できる。例えば、提示メッセージ305は音声又は映像の形式で出力され得る。また、動作ティーチングファイル306は、記憶回路123に記憶され、他の電子装置にシェア又は伝送されることで、再生することができる。これにより、コーチが教材録画時にビデオ記録媒体を用いてビデオ画面を記録しないとしても、本発明の動作ティーチングファイルが持続的に再生されるにつれて、学生は、背景音楽及び提示メッセージの支援の下で対応する自主訓練を正確に行うことができる。なお、マルチメディアファイル303の時間長は例えば、動作ティーチングファイル306の時間長と同じであり、前記第一タイムスタンプの、マルチメディアファイル303の時間軸上の位置は例えば、前記第二タイムスタンプの、動作ティーチングファイル306の時間軸上の位置に対応する(例えば、時間軸上の同じ位置であり、例えば、何れもファイルの最初からの1分のところである)。他の実施例において、前置ファイル(例えば、前奏又は前置提示音)及び/又は後置ファイルを動作ティーチングファイル306の前及び/又は後に追加しても良く、又は、前置ファイル及び/又は後置ファイルと、動作ティーチングファイル306とを1つのティーチングファイルとして統合しても良いが、第一時点と第二時点は依然として時間軸上で互いに対応する。

【0043】

一実施例において、処理器122は特徴の対比の方式で第一信号特徴に基づいて第一提示信号を生成できる。例えば、処理器122は、第一超音波信号の周波数スペクトル特徴と、記憶回路123におけるデータベースの中の複数の周波数スペクトルモデルとの比較を行うことができる。第一超音波信号の周波数スペクトル特徴が特定の周波数スペクトルモデルと一致する(例えば、第一信号特徴が第一条件又は第二条件を満たす)場合、処理器122はこの周波数スペクトルモデルに対応する提示メッセージを第一提示メッセージとして設定できる。

【0044】

一実施例において、処理器122は人工知能(Artificial Intelligence、AI)モデルにより第一信号特徴に基づいて第一提示信号を生成できる。例えば、前記AIモデルは多層パーセプトロン(Multilayer Perceptron)、深層ニューラルネットワーク(Deep Neural Network、DNN)、畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)、リカレントニューラルネットワーク(Recurrent Neural Network、RNN)などのニューラルネットワークアーキテクチャ及び/又は深層学習ネットワークアーキテクチャによって実現され得るが、本発明はこれについて限定しない。AIモデルにおける分類器(classifier)を訓練することで、訓練済みの分類器は第一信号特徴に基づいて1つの分類結果を生成できる。この分類結果は、第一信号特徴が特定の条件(例えば、第一条件及び第二条件)を満たしたかを反映できる。この分類結果に基づいて、処理器122は対応する第一提示メッセージを生成できる。

【0045】

図4は本発明の実施例における人工知能モデルの訓練フローを示す図である。図4に示すように、処理器122は訓練サンプルとしてのマルチメディアファイル401に対して周波数スペクトル分析402を行うことで、マルチメディアファイル401のうちから特定の時間範囲内の特定の周波数スペクトルデータ404を抽出できる。処理器122は周波数スペクトルデータ404を訓練データ集合合405に追加できる。AIモデル訓練器406は訓練データ集合405における周波数スペクトルデータ404を使用してAIモデルを訓練でき、例えば、AIモデルの決定パラメーター(例えば、重み値)を更新できる。例えば、仮に、マルチメディアファイル401における或る時間範囲内の周波数スペクトルデータが、コーチが特定の動作(例えば、図2における動作A)を行うことで生成される超音波信号の周波数スペクトルデータを含むことが知られているとする場合、この時間範囲内の周波数スペクトルデータは、AIモデルにおける分類器を訓練し、動作Aに対応する周波数スペクトル特徴を自動的に見つけるために用いられ得る。その後、このAIモデルに入力される超音波信号が同じ又はその類似した周波数スペクトル特徴を有するときに、AIモデルにおける分類器は、この超音波信号が動作Aに対応して生成された対応する分類結果であると自動で判定できる。

【0046】

一実施例において、AIモデルが動作Aに対応する周波数スペクトル特徴を学習した後に、処理器122はフィルター403により、マルチメディアファイル401において動作Aに対応する周波数スペクトル特徴を有する信号内容をフィルタリングし、そして、残りのマルチメディアファイルに含まれる周波数スペクトルデータを周波数スペクトルデータ404として訓練データ集合405に追加できる。その後、訓練データ集合405は、AIモデルが他の肢体動作(例えば、図2における動作B)に対応する超音波信号の周波数スペクトル特徴を学習するように訓練するために用いられ得る。各種の肢体動作に対応する超音波信号の信号特徴を逐一学習することで、AIモデルが認識し得る肢体動作の類型を持続的に増加させることができる。

【0047】

一実施例において、受音装置121の総数は複数であっても良く、かつ受音装置121は第一ユーザーの所在する環境の周囲に分散して設置され得る。前記複数の受音装置121が受信した第一超音波信号に基づいて、処理器122は、第一超音波信号のもう1つの信号特徴(第二信号特徴ともいう)を検出できる。特に、第二信号特徴は前記第一信号特徴とは異なっても良い。例えば、第二信号特徴は、第一ユーザーの物理的空間における位置変化を反映できる。処理器122は、第二信号特徴に基づいて、もう1つの提示メッセージ(第二提示メッセージともいう)を生成できる。例えば、前記第二提示メッセージは、第二ユーザーが特定の方向に移動するようにガイダンスするために用いられる。

【0048】

図2を例にして、仮に、第一ユーザーが第一肢体動作を行っている期間内でさらに特定の方向に移動する(例えば、図2の動作Aを行いながら、左へ移動する)とする。第二信号特徴に基づいて、処理器122は第二提示メッセージを生成できる。例えば、第二提示メッセージは、“左へ移動する”又はその類似した、第二ユーザーが特定の方向に移動するようにガイダンスできる提示メッセージを含んでも良い。

【0049】

図3に示す一実施例において、提示メッセージ305は第一提示メッセージ及び第二提示メッセージを同時に含み得る。その後、動作ティーチングファイル306の再生期間内で、第二提示メッセージは、第一提示メッセージが出力されるにつれて、第二ユーザーが第二時点で前記第一肢体動作を行いながら、特定の方向に移動する(例えば、図2における動作Aを行いながら、左へ移動する)ようにガイダンスできる。

【0050】

一実施例において、第二信号特徴は第一超音波信号の振幅特徴を含む。第一超音波信号の振幅特徴は、第一超音波信号の振幅(即ち、信号強度)と時間との相対的関係を記述するために用いられ得る。あるいは、もう1つの角度から言えば、第一超音波信号の振幅特徴は、異なる時点の間の該第一超音波信号の振幅の変化量を反映できる。

【0051】

例を挙げて言えば、処理器122は第二信号特徴に基づいて、第一ユーザーの物理的空間における移動軌跡を定義できる。例えば、処理器122は、前記複数の受音装置121が受信する第一超音波信号の振幅特徴に基づいて、第一ユーザーの物理的空間内の位置をポジショニング(例えば、三辺ポジショニング)することで、第一ユーザーの物理的空間における移動軌跡を得ることができる。その後、処理器122は、前記移動軌跡に基づいて前記第二提示メッセージを生成できる。

【0052】

さらに言えば、図5は本発明の実施例においてユーザーの物理的空間における位置をポジショニングするフローを示す図である。図5を参照して、仮に、図1における受音装置121が受音装置501(1)～501(4)を含むとする。受音装置501(1)～501(4)は何れも、第一超音波信号を受信するために用いられ得る。処理器122は、受音装置501(1)～501(4)がそれぞれ受信する第一超音波信号に対して周波数スペクトル分析502を行うことができる。周波数スペクトル分析502では、第一超音波信号の周波数スペクトル特徴(即ち、第一信号特徴)は、第一ユーザーが第一時点で行う第一肢体動作を認識し、そして、第一提示メッセージを生成するために用いられ得る。なお、第一超音波信号の周波数スペクトル特徴に基づいて第一提示メッセージを生成する操作については既に詳細に説明されているので、ここでは重複した説明を省略する。

【0053】

なお、周波数スペクトル分析502では、第一超音波信号の振幅特徴(即ち、第二信号特徴)も検出され得る。周波数スペクトル分析502の結果に基づいて、距離測定503(1)～503(4)が実行されることで、各受音装置501(1)～501(4)が検出する第一超音波信号の振幅特徴を、第一ユーザーと各受音装置501(1)～501(4)との間の距離に変換できる。例えば、受音装置501(i)の空間座標が事前設定されている場合、受音装置501(i)が検出する第一超音波信号の振幅(即ち、信号強度)は第一超音波信号と受音装置501(i)との間の距離に負の相関(negatively correlated to)があっても良い。距離測定503(i)は、周波数スペクトル分析502の結果(即ち、各受音装置501(1)～501(4)が検出する第一超音波信号の振幅特徴)に基づいて変換方程式により第一ユーザーと受音装置501(i)との間の距離を計算するために用いられ得る。そのうち、信号の振幅と距離との変換を行うことができる変換方程式は実際のニーズに応じて設計できるため、ここではその詳しい説明を省略する。続けて、座標ポジショニング504では、第一ユーザーと各受音装置501(1)～501(4)との間の距離は、第一ユーザーの物理的空間内の座標をポジショニング(例えば、三辺ポジショニング)することで、第一ユーザーの物理的空間における移動軌跡を追跡するために用いられ得る。その後、この移動軌跡(又は、第一ユーザーの物理的空間内の位置の情報)は、前記第二提示メッセージを生成するために用いることができる。

【0054】

一実施例において、動作ティーチングファイル(例えば、図3に示す動作ティーチングファイル306)が再生されるときに、第一提示メッセージはマルチメディア装置により、音声及び映像のうちの少なくとも1つの形式で出力され得る。これにより、第一提示メッセージは、第二ユーザーが前記第二時点で前記第一肢体動作を行うようにガイダンスできる。

【0055】

一実施例において、動作ティーチングファイル(例えば、図3における動作ティーチングファイル306)が再生されるときに、マルチメディア装置はさらに、第二ユーザーが第二時点で行う肢体動作(即ち、第二肢体動作)に基づいてフィードバックメッセージ(第三提示メッセージともいう)を生成できる。第三提示メッセージは、第二ユーザーが行われる第二肢体動作の正確性を評価するのを支援するために用いられ得る。

【0056】

図6は本発明の実施例における動作ガイダンスシステムを示す図である。図6に示すように、動作ガイダンスシステム60は超音波送信装置(第二超音波送信装置ともいう)61及びマルチメディア装置62を含む。超音波送信装置61はユーザー(即ち、第二ユーザー)の体に装着され、かつ超音波信号(第二超音波信号ともいう)を送信するために用いられ得る。例えば、超音波送信装置61は1つ又は複数の超音波送信器を含んでも良い。各超音波送信器は特定の周波数を有する超音波信号を送信するために用いられ得る。例えば、超音波送信装置61における複数の超音波送信器(例えば、第三超音波送信器及び第四超音波送信器)は、ユーザー(即ち、第二ユーザー)の体の異なる位置に装着でき、かつ超音波送信装置61における複数の超音波送信器は、互いに異なる周波数を有する超音波信号(即ち、第二超音波信号)を送信するために用いられ得る。なお、超音波送信装置61は図1に示す超音波送信装置11と同じであっても良く又は類似しても良く、また、超音波送信装置61のユーザーの体への装着方式については図2又はその類似した方式を参照できるため、ここでは重複した説明を省略する。

【0057】

マルチメディア装置62はスマートフォン、タブレットパソコン、ノートパソコン、デスクトップパソコン、ゲーム機、スマートイヤホン、スマートスピーカー、スマートテレビなどの、マルチメディア信号送受信機能及びデータ処理機能を有する様々な電子装置を含んでも良いが、マルチメディア装置62の類型はこれらに限られない。

【0058】

マルチメディア装置62は受音装置621、処理器622、記憶回路623及び信号出力装置624を含んでも良い。受音装置621は第二超音波信号を受信するために用いられ得る。例えば、受音装置621は1つ又は複数のマイクロフォンを含み得る。なお、図6では、点線枠内に示す動作ティーチングファイル601、音声信号フィルタリング602、音声信号再生603、周波数スペクトル分析604及び提示メッセージ605は、処理器622が実行する処理又は記憶回路623(又は、他の一時的記憶回路)に記憶されるファイルであり、そのうち、処理器622が実行する処理は、プログラム又は物理的回路により実施され得る。

【0059】

処理器622は受音装置621、記憶回路623及び信号出力装置624にカップリングされる。処理器622はマルチメディア装置62の処理の全部又は一部を担当するために用いられ得る。例えば、処理器622はCPU又は他のプログラミング可能な汎用又は専用マイクロプロセッサー、DSP、プログラミング可能な制御器、ASIC、PLD又はその類似した装置、あるいは、これらの装置の組み合わせを含んでも良い。

【0060】

記憶回路623はデータを記憶するために用いられる。例えば、記憶回路623は揮発性メモリ及び不揮発性メモリを含み得る。揮発性メモリはデータの揮発性記憶のために用いられる。例えば、揮発性メモリはRAM又は類似した揮発性メモリを含んでも良い。不揮発性メモリはデータの不揮発性記憶のために使用される。例えば、不揮発性メモリはROM、SSD、HDD又はその類似した不揮発性メモリを含んでも良い。

【0061】

信号出力装置624はマルチメディア信号を出力するために用いられる。例えば、信号出力装置624はイヤホンやスピーカーなどの音声信号出力装置を含み得る。あるいは、一実施例において、信号出力装置624は表示器などのビデオ出力装置をさらに含んでも良い。

【0062】

処理器622は動作ティーチングファイル601に基づいて、信号出力装置624が音声の形式で背景音楽を再生し、また、音声又は映像の形式で第一提示メッセージを出力するように指示することができる。一実施例において、処理器622は動作ティーチングファイル601に基づいて、信号出力装置624が音声又は映像の形式で第二提示メッセージを出力するように指示することもできる。

【0063】

一実施例において、処理器622は動作ティーチングファイル601を再生できる。例えば、動作ティーチングファイル601は記憶回路623に記憶され得る。動作ティーチングファイル601が再生されるときに、音声信号再生603は動作ティーチングファイル601における音声信号に対してデコーディングなどの音声信号処理プログラムを行うことができ、信号出力装置624は音声信号再生603の処理結果に基づいて背景音楽及び第一提示メッセージ(及び、第二提示メッセージ)を出力することができる。また、処理器622はビデオ再生器により、動作ティーチングファイル601の中の映像信号に対してデコーディングなどのビデオ処理プログラムを行うこともできるが、ここではその詳しい説明を省略する。

【0064】

一実施例において、動作ティーチングファイル601の再生期間内で、受音装置621は超音波送信装置61が送信する第二超音波信号を受信できる。処理器622は第二超音波信号に対して周波数スペクトル分析604を行うことで、第二超音波信号の信号特徴(第三信号特徴ともいう)を検出できる。特に、第三信号特徴は、第二ユーザーが第二時点で行う第二肢体動作を反映できる。第三信号特徴は第二超音波信号の周波数スペクトル特徴を含み得る。例えば、第二超音波信号の周波数スペクトル特徴は、第二超音波信号の周波数と時間との相対的関係を記述するために用いられ得る。あるいは、もう1つの観点から言えば、第二超音波信号の周波数スペクトル特徴は、異なる時点の間の第二超音波信号の周波数の変化量を反映できる。また、一実施例において、第三信号特徴は第二超音波信号の振幅特徴を含んでも良い。例えば、第二超音波信号の振幅特徴は、第二超音波信号の振幅(即ち、信号強度)と時間との相対的関係を記述し、又は、異なる時点の間の第二超音波信号の振幅の変化量を反映するために用いられ得る。その後、処理器622は第三信号特徴に基づいて提示メッセージ605(即ち、第三提示メッセージ)を生成できる。なお、上述の再生動作ティーチングファイル601の階段は例えば、訓練期間である。

【0065】

例を挙げて言えば、処理器622は第三信号特徴に基づいて、第二ユーザーが第二時点で行う第二肢体動作と、第一ユーザーが第一時点で行う第一肢体動作との間の類似度又は相違度を評価できる。処理器622はこの類似度又は相違度に基づいて提示メッセージ605を生成できる。例えば、処理器622は第三信号特徴と第一信号特徴との対比を行い、そして、第三信号特徴と第一信号特徴との間の差異を検出できる。この差異は、第二ユーザーが第二時点で行う第二肢体動作と、第一ユーザーが第一時点で行う第一肢体動作との間の類似度又は相違度を反映できる。処理器622はこの差異に基づいて提示メッセージ605を生成できる。例えば、この差異は誤差率で表され得る。第二肢体動作と第一肢体動作との間の差異が大きいほど、この誤差率の値が大きく設定され得る。この誤差率に基づいて、処理器622は提示メッセージ605を生成できる。例えば、提示メッセージ605には、前記誤差率の情報又はその類似した、第二肢体動作と第一肢体動作との間の差異を反映できる情報が含まれても良い。例えば、仮に、第二肢体動作と第一肢体動作との間の類似度が約80%(即ち、誤差率が20%)であるとする場合、提示メッセージ605は例えば、“動作類似度の評価スコアは80点である”又はその類似した提示又は評価スコア情報を示すことで、第二ユーザーが行われる第二肢体動作の正確性を評価するのを支援できる。また、処理器622は信号出力装置624又はもう1つの信号出力装置により、提示メッセージ605を出力し、又は、後続のクエリなどのために記憶回路623に一時的に記憶しても良いが、本発明はこれについて限定しない。

【0066】

一実施例において、動作ティーチングファイル601を再生する前に、処理器622は音声フィルタリング602により、第一超音波信号の信号内容を動作ティーチングファイル601のからフィルタリングできる。第一超音波信号を前記動作ティーチングファイル601からフィルタリングした後に、処理器622はフィルタリング後の動作ティーチングファイル601を再生することで、信号出力装置624により、背景音楽及び第一提示メッセージ(及び、第二提示メッセージ)を出力できる。つまり、動作ティーチングファイル601を再生する前に動作ティーチングファイル601の中の第一超音波信号を事前にフィルタリングすることで、後続の動作ティーチングファイル601の再生期間内で第一超音波信号が信号出力装置624によって出力されることを阻止（ブロッキング）できる。これにより、動作ティーチングファイル601に基づいて出力される背景音楽がその同時に出力される第一超音波信号からの干渉を受けることを避け、及び/又は、動作ティーチングファイル601の再生期間内で受信される第二超音波信号の信号品質を向上させることができる。

【0067】

図7は本発明の実施例におけるスマートコーチングアプリケーションプログラムを示す図である。図7に示すように、一実施例において、アプリケーションプログラム(スマートコーチングアプリケーションプログラムともいう)71はダウンロードされ、電子装置72にインストールされ得る。電子装置72は図1における電子装置12又は図2におけるマルチメディア装置62を含み得る。例えば、アプリケーションプログラム71は電子装置72の記憶回路に記憶することができる。電子装置72の処理器はアプリケーションプログラム71を実行することで、前述の実施例に記載されたすべて又は少なくとも一部の機能、例えば、教材録画、教材読み取り、周波数スペクトル分析、音声信号合成、音声信号再生、音声信号受信、提示メッセージ出力、ユーザー動作評価などを行うことができる。なお、関連操作の詳細については既に説明されているので、ここではその詳しい説明を省略する。

【0068】

一実施例において、前述の実施例に説明された周波数スペクトル分析、提示メッセージ生成など機能はクラウドサーバーにより実行されても良い。一実施例において、サーバーは通信インターフェース及び処理器を含んでも良く。通信インターフェースは図1に示す電子装置11、図6に示すマルチメディア装置62又は図7に示す電子装置72と通信を行うことで、遠隔データ伝送を行うために用いられる。例えば、通信インターフェースは図1における受音装置11と通信可能に接続するために用いられ得る。第一超音波信号及び背景音信号を受信した後に、受音装置11は第一超音波信号及び背景音信号を、サーバーの通信インターフェースを介してサーバーの処理器に伝送できる。一実施例において、前述の実施例において図1における処理器122及び/又は図6における処理器622によって実行される少なくとも一部の信号処理及び/又はデータ処理操作は、代わりに、サーバーの処理器によって実行されても良い(例えば、周波数スペクトル分析を行うことで、第一提示メッセージ、第二提示メッセージ、動作ティーチングファイル、第三提示メッセージを生成する処理などである)。その後、端末装置(例えば、図6のマルチメディア装置62)は、サーバーから必要な動作ティーチングファイルをダウンロードして再生することができる。これにより、例えば、ユーザー(例えば、第二ユーザー)は自主訓練を行い、自ら学習の効果を評価することができる。なお、関連操作の詳細については既に説明されているので、ここではその詳しい説明を省略する。

【0069】

図8は本発明の実施例における動作ガイダンス方法のフローチャートである。図8に示すように、ステップS801では、少なくとも1つの第一受音装置により、少なくとも1つの第一超音波送信装置が送信する第一超音波信号を受信すると同時に、前記少なくとも1つの第一受音装置により、背景音信号を受信し、そのうち、前記少なくとも1つの第一超音波送信装置は第一ユーザーの体に装着される。ステップS802では、前記第一超音波信号及び前記背景音信号に基づいてマルチメディアファイルを生成する。ステップS803では、前記第一超音波信号の第一信号特徴を検出し、そのうち、前記第一信号特徴は、前記第一ユーザーが第一時点で行う第一肢体動作を反映する。ステップS804では、前記第一信号特徴に基づいて第一提示メッセージを生成し、また、前記第一信号特徴に対応する前記第一時点に従って前記第一提示メッセージを前記マルチメディアファイルに追加することで、動作ティーチングファイルを生成し、そのうち、前記第一提示メッセージは、第二ユーザーが第二時点で前記第一肢体動作を行うようにガイダンスするために用いられる。

【0070】

なお、図8における各ステップの詳細については既に説明されているため、ここではその詳しい説明を省略する。また、図8に示す各ステップは、複数のプログラムコード又は回路として実装されても良いが、本発明はこれについて限定しない。さらに、図8における方法は上述の好適な実施例とともに使用されても良く、単独で使用されても良いが、本発明はこれについて限定しない。

【0071】

要するに、第一超音波信号の信号特徴を分析して第一ユーザー(例えば、コーチ)の動作の検出を行うことで、録画プログラムを起動することなく、動作ティーチングファイルの録画及び動作提示メッセージの自動追加を完了できる。これにより、コーチのプライバシーを保護し、動作ティーチングファイルの録画のコストを削減し、かつ学生の自主訓練の過程で学生が動作を切り替えるようにガイダンスすることができる。また、第二超音波信号の信号特徴を分析して第二ユーザーがトレーディング動作を行う際の正確性を評価することで、コーチが現場にいないとしても、学生の動作の監視及び採点を行うことができるため、学生の自主訓練の効率をさらに向上させることができる。さらに、本発明は、（カメラヘッドでなく）超音波信号の分析により、学生の動作の監視及び採点を行うことができるため、学生のプライバシーを保護することもできる。

【0072】

本発明は、前述した好適な実施例に基づいて以上のように開示されたが、前述した好適な実施例は、本発明を限定するためのものでなく、当業者は、本発明の思想と範囲を離脱しない限り、本発明に対して些細な変更と潤色を行うことができるので、本発明の保護範囲は、添付した特許請求の範囲に定まったものを基準とする。また、本発明の何れの実施例又は特許請求の範囲は、本発明に開示されたすべての目的又は利点又は特徴を達成する必要がない。また、要約の一部と発明の名称は、文献の検索を助けるためのみのものであり、本発明の権利範囲を限定するものでない。また、本明細書又は特許請求の範囲に言及されている「第一」、「第二」などの用語は、要素（element）に名前を付け、又は、異なる実施例又は範囲を区別するためのものみであり、要素の数量上の上限又は下限を限定するためのものでない。

【符号の説明】

【0073】

10：動作ガイダンスシステム
11、61：超音波送信装置
12：電子装置
121、501(1)～501(4)、621：受音装置
122、622：処理器
123、623：記憶回路
21：ユーザー
11(1)～11(4)：超音波送信器
301：超音波信号
302：背景音信号
303、401：マルチメディアファイル
304、402、502、604：周波数スペクトル分析
305、605：提示メッセージ
306、601：動作ティーチングファイル
403：フィルター
404：特定の周波数スペクトルデータ
405：訓練データ集合
406：AIモデル訓練器
503(1)～503(4)：距離測定
504：座標ポジショニング
624：信号出力装置
602：音声フィルタリング
603：音声信号再生
71：スマートコーチングアプリケーションプログラム
72：電子装置
S801～S804：ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】