(58)【調査した分野】(Int.Cl.,DB名)
前記動作支援装置は、さらに、前記センサ装置から運動データを読み出し、予め設定された伝送プロトコルに従って前記運動パラメーター確定装置へ送信するプロセッサを含む
ことを特徴とする請求項21又は22に記載の動作支援装置。
【発明を実施するための形態】
【0011】
本発明の目的、技術方案及び利点がより明確にするため、以下では、図面及び具体的な実施例を結合して、本発明を詳細に説明する。本発明の
図1aに示す識別システムは、主に、MEMSセンサ装置100と、プロセッサ110と、データ伝送インタフェース120と、運動パラメーター確定装置130とを含み、さらに、動作識別装置140と、パラメーター表示装置150と、専門家評価装置160とを含んでもよい。MEMSセンサ装置100と、プロセッサ110と、データ伝送インタフェース120とは、一つの端末装置にパッケージングして、被識別物体に設置し、例えば、一つの携帯運動検出装置にパッケージングして、プレーヤーのグローブ、ゴルフクラブ、関節等に設置し、この携帯運動検出装置の重量は、ただ数十グラムであってもよく、殆ど被識別物体の動作に影響を与えない。
【0012】
MEMSセンサ装置100は、三軸加速度センサー101と、三軸ジャイロ102と、三軸磁界センサー103とを含む。三軸加速度センサー101は、被識別物体のサンプリング時刻毎の加速度をサンプリングすることに用いられ、この加速度は三次元空間での加速度であり、即ち、サンプリング時刻毎に対応する加速度データは、X軸と、Y軸と、Z軸との加速度値を含む。
【0013】
三軸ジャイロ102は、被識別物体のサンプリング時刻毎の角速度をサンプリングすることに用いられ、同様に、この角速度は三次元空間での角速度であり、即ち、サンプリング時刻毎に対応する角速度データは、X軸と、Y軸と、Z軸との角速度値を含む。
【0014】
三軸磁界センサー103は、被識別物体のサンプリング時刻毎の三次元地磁気座標系に対する転向角をサンプリングし、何れのサンプリング時刻に対応する転向角データは、Roll、Yaw及びPitchを含み、Rollは被識別物体のX軸と三次元地磁気座標系におけるXY平面との夾角で、Yawは被識別物体のY軸が三次元地磁気座標系におけるXY平面に投影されたベクトルと三次元地磁気座標系におけるY軸正向との夾角で、Pitchは被識別物体のY軸と三次元地磁気座標系におけるXY平面との夾角で、
図2に示すように、Xmag、Ymag及びZmagのそれぞれは、三次元地磁気座標系のX軸、Y軸及びZ軸であり、Xsen、Ysen及びZsenのそれぞれは、被識別物体のX軸、Y軸及びZ軸である。
【0015】
プロセッサ110は、所定の頻度でMEMSセンサ装置100における三軸加速度センサー101、三軸ジャイロ102及び三軸磁界センサー103がサンプリングした運動データを読み出し、所定の伝送プロトコルに従って運動パラメーター確定装置130へ送信する。
図3は、プロセッサが発送した運動データを含むパッケージの一つのフォーマットである。タグフィールドには、点検情報を含んでいてもよく、データの完全性及び安全性を保障し、パケットヘッドのフィールドには、運動データの伝送に用いるプロトコルパケットのヘッドを含んでもよい。
【0016】
また、プロセッサ110は、さらに、データ伝送インタフェース120から発送して来た配置コマンドを受信して、該配置コマンドを分析し、分析して得た配置情報に基づいて、MEMSセンサ装置100に対して配置、例えば、サンプリング精度の配置、サンプリング頻度及びレンジの配置等を行い、さらに、受信した運動データを修正する。好ましくは、プロセッサ110は、低い電力のプロセッサを用いることができ、駆動時間を有効的に延長できる。
【0017】
MEMSセンサ装置100における三軸加速度センサー101と、三軸ジャイロ102と、三軸磁界センサー103とは、直列のバス又はADインタフェースを介して、プロセッサ110と通信できる。
【0018】
データ伝送インタフェース120は、有線及び無線の二つの通信伝送方式をサポートする。有線インタフェースは、USB、シリアルポート、パラレルポート、火線等の多種類のプロトコルを利用でき、無線インタフェースは、ブルーツース(Bluetooth(登録商標))、赤外線等のプロトコルを利用できる。
図1aでは、USBインタフェース121及び/又はブルーツースモジュール122を含むことを例とする。USBインタフェース121は、MEMSセンサ装置100、プロセッサ110及びデータ伝送インタフェース120が一つの端末装置にパッケージングされた場合、充電及び他の装置との両方向の通信を実現できる。ブルーツースモジュール122は、上記端末装置とブルーツースメイン装置との両方向の通信を実現できる。
【0019】
上記の運動パラメーター確定装置130、動作識別装置140、パラメーター表示装置150及び専門家評価装置160は、USBインタフェースを介して上記端末装置におけるプロセッサ110と接続してもよい(
図1aでは示していない)。また、ブルーツースのメイン装置として、ブルーツースモジュール122を介して、上記端末装置におけるプロセッサ110と接続してもよい。
【0020】
運動パラメーター確定装置130は、受信した運動データを利用して運動識別を行って、加速度情報、速度情報、位置情報における少なくとも一つを含む運動パラメーターを確定する。動作識別装置140は、動作パラメーター確定装置130が確定した運動パラメーターを利用して運動の動作類型を識別して、何れの運動類型の一つのフラグメントの動作に対応する運動パラメーターを抽出する。
【0021】
パラメーター表示装置150は、運動パラメーター確定装置130が確定した運動パラメーターをある形態で表示(図面には、この場合の接続関係を示していない)し、又は、動作識別装置140が抽出した運動パラメーターをある形態で表示する。例えば、3D軌跡の形態で被識別物体の位置情報を表示し、テーブル又は曲線の形態で被識別物体の速度情報等を表示する。該パラメーター表示装置150は、何れの表示機能を有する端末、例えば、コンピュータ、携帯電話、PDA等である。
【0022】
専門家評価装置160は、運動パラメーター確定装置130が確定した運動パラメーター(
図1aには、この場合の接続関係を示していない)、又は、パラメーター表示装置150の表示結果に基づいて被識別物体の動作に評価を付与し、この評価は、実際の専門家が付与してもよく、装置が予め準備した運動パラメーターデータベースに基づいて、自動的に付与した評価でもよい。
【0023】
上記のMEMSセンサ装置100と、運動パラメーター確定装置130とは一つの動作支援装置にパッケージングすることができ、
図1bに示すように、運動パラメーター確定装置130は、直接にMEMSセンサ装置100がサンプリングした運動データを獲得して、被識別物体のサンプリング時刻毎の運動パラメーターを確定してもよい。
【0024】
該動作支援装置で、プロセッサ110が予定の頻度でMEMSセンサー100から運動データを読み出し、予め設定された伝送プロトコルに従って運動パラメーター確定装置130へ送信する。
【0025】
さらに、データ伝送インタフェース120を対外インタフェースとして設置してパラメーター確定装置130を接続することができ、このデータ伝送インタフェース120も同様に、USBインタフェース121又はブルーツースインタフェース122であってもよい。データ伝送インタフェース120は、運動パラメーター確定装置130が確定した運動データを動作支援装置の外部装置、例えば、動作識別装置、動作表示装置又は専門家評価装置へ送信してもよい。又は、このデータ伝送インタフェース120は、
図1aに示す形態でプロセッサと運動パラメーター確定装置130との間に設置してもよい。
【0026】
上記のシステムに基づいて、以下では、実施例を通じて運動パラメーター確定装置130で実現する運動パラメーターの確定方法を説明する。
図4に示すように、運動パラメーター確定方法は、以下のステップを含んでいてもよい。
【0027】
ステップ401では、サンプリング時刻毎の、三軸加速度センサーがサンプリングした被識別物体の加速度と、三軸ジャイロがサンプリングした被識別物体の角速度と、三軸磁界センサーがサンプリングした被識別物体の三次元地磁気座標系に対する夾角とを含む運動データを獲得する。
【0028】
サンプリング時刻毎の運動データを獲得してから、MEMSセンサーのサンプリング頻度が高くないと、後続の演算加速度、速度及び位置等の運動パラメーターの演算精度を高めるために、獲得した運動データに対して補間処理、例えば、線形補間又はスプライン補間を行ってもよい。
【0029】
ステップ402では、獲得した運動データについて予処理を行う。本ステップにおける予処理は、獲得した運動データについてフィルタリングを行い、MEMSセンサーがサンプリングした運動データのノイズを低減することである。多種類のフィルタリング方式、例えば、16点の高速フーリエ変換(FFT)フィルタリングを利用してもよく、ここで、具体的なフィルタリング方式は限定しない。
【0030】
上記補間処理及び予処理は固定の前後順がなく、何れの順に前後に実行してもよい。又は、両者で一つを選択して実行してもよい。ステップ403では、予処理後の運動データに対してデータ修正を行う。
【0032】
ステップ402とステップ403とは、本発明の実施例における好ましいステップで、ステップ402とステップ403とは実行しなく、直接にステップ401で獲得した運動データをバッファ記憶する。ステップ404では、修正後のサンプリング時刻毎の運動データをバッファ記憶する。
【0033】
最新に獲得したN個のサンプリング時刻の運動データを、バッファメモリエリアに記憶する。即ち、バッファ記憶した運動データは、最新の一つのサンプリング時刻から前のN-1個のサンプリング時刻までの運動データを含み、即ち、バッファメモリエリアにN個のサンプリング時刻の運動データをバッファ記憶する。新たなサンプリング時刻の運動データをバッファメモリエリアに記憶する時、最初のサンプリング時刻の運動データが溢れ出る。好ましくは、Nは、3以上の整数で、通常は、2の整数の自乗で、例えば、Nの値は16又は32で、バッファメモリエリアに長さが0.1s〜0.2sの運動データをバッファ記憶して保持する。バッファメモリエリアのデータ構造は一つのキューで、サンプリング時刻に従って順に配列し、最新の一個のサンプリング時刻の運動データをキューの最後部に置く。ここで、修正後の運動データをバッファ記憶する以外に、他の任意の記憶装置に記憶してもよい。
【0034】
ステップ405では、サンプリング時刻毎の加速度を利用して運動静止検出を行って、一つのフラグメントの運動状態の開始時刻t
0と完了時刻t
eとを確定する。開始時刻t
0は、静止状態から運動状態への臨界サンプリング時刻で、完了時刻t
eは、この運動状態から静止状態への臨界サンプリング時刻である。
【0035】
サンプリング時刻の順に、サンプリング時刻毎について予め設定された運動時刻確定策略に従って判断を行い、t
0が運動時刻確定策略を満足し、サンプリング時刻t
0−1が運動時刻確定策略を満足しない場合、t
0を運動開始時刻と確定する。t
eが運動時刻確定策略を満足し、サンプリング時刻t
e+1が運動時刻確定策略を満足しないと、t
eを運動完了時刻と確定する。
【0036】
具体的には、上記運動時刻確定策略は、サンプリング時刻t
xから前のT個のサンプリング時刻の加速度のスカラー量を取った後の平均平方誤差a
vが予め設定された加速度平均平方誤差の閾値以上で、且つサンプリング時刻t
xの加速度のスカラー量を取った後のa
0が予め設定された運動加速度の閾値以上であると、サンプリング時刻t
xは運動時刻であると考える。即ち、何れのサンプリング時刻が上記運動時刻策略を満足すると、該サンプリング時刻が運動状態にあると考え、そうしないとまだ静止状態にあると考える。ただ、Tは、予め設定された正整数である。
【0037】
上記運動時刻確定策略は、短時間のディザーを有効的にフィルタリングし、短時間の静止及び完全な運動の停滞を防止する。ここで、被識別物体の運動の激しさに基づいて、加速度平均平方誤差の閾値及び運動加速度の閾値を柔軟に設置してもよい。被識別物体の運動が激しいほど、加速度平均平方誤差の閾値及び運動加速度の閾値を高く設置してもよい。
【0049】
ステップ411では、t
0から現在サンプリング時刻までの実際の加速度を積分して、現在サンプリング時刻のリアルタイムの速度を獲得し、t
0から現在サンプリング時刻までのリアルタイムの速度を積分して、現在サンプリング時刻の位置を得る。このステップで積分方式でリアルタイムの速度及び位置を得る方法は公知の技術で、ここでは重複に説明しない。
【0050】
開始時刻t
0と完了時刻t
eとの間のサンプリング時刻毎の加速度、リアルタイムの速度及び位置における少なくとも一つを、データベースで一つのフラグメントの運動の運動パラメーターとして記憶する。
【0052】
以下では、上記運動パラメーター確定方法に対応する運動パラメーター確定装置の構成を説明するが、
図5に示すように、この装置は、運動データ獲得手段500と、データ記憶手段510と、運動静止検出手段520と、初期姿確定手段530と、運動パラメーター確定手段540とを含んでいてもよい。
【0053】
運動データ獲得手段500は、サンプリング時刻毎の運動データを得てデータ記憶手段510へ送信し、運動データは、三軸加速度センサーがサンプリングした被識別物体の加速度と、三軸ジャイロがサンプリングした被識別物体の角速度と、三軸磁界センサーがサンプリングした被識別物体の三次元地磁気座標系に対する夾角とを含む。
【0054】
データ記憶手段510は、運動データを記憶する。具体的には、データ記憶手段510は、最新に獲得したN個のサンプリング時刻の運動データをバッファメモリエリアに記憶する。ただ、Nは、3以上の整数で、バッファメモリエリアにおける運動データは、サンプリング時刻の順に配列され、最新の一つのサンプリング時刻の運動データは、バッファメモリエリアのキュー最後部に配列される。即ち、データ記憶手段510は、最新の一個のサンプリング時刻から前のN-1個のサンプリング時刻までの運動データをバッファメモリエリアに記憶する。
【0055】
運動静止検出手段520は、データ記憶手段510が記憶したサンプリング時刻毎の加速度に対して運動静止検出を行って、一つのフラグメントの運動状態の運動開始時刻t
0及び運動完了時刻t
eを確定する。
【0057】
運動パラメーター確定手段540は、運動開始時刻t
0の次のサンプリング時刻から運動完了時刻t
eまでをその順に現在サンプリング時刻とし、サンプリング時刻毎の加速度を確定する。
【0058】
運動パラメーター確定手段540は、具体的に、姿変換確定モジュール541と、リアルタイム姿確定モジュール542と、重力影響取り除きモジュール543とを含んでいてもよい。
【0061】
この装置は、さらに、予処理手段550とフィルタリング処理手段560とにおける少なくとも一つを含んでもよい。同時に予処理手段550とフィルタリング処理手段560との二つの手段を含んでいると、これらの二つの手段の処理には固定の前後順がなく、何れの順に前後で実行することができる。
図1aでは、同時にこれらの二つの手段を含むことを例とする。
【0062】
予処理手段550は、運動データ獲得手段500がデータ記憶手段510へ送信する運動データに対して補間処理を行う。予処理手段550によって、MEMSセンサーのサンプリング頻度が十分に高くない時、後続の演算加速度、速度及び位置等の運動パラメーターの演算精度が高まる。使用した補間処理方式は、線形補間、又はスプライン補間を含んでいてもよいが、これらに限定されていない。
【0063】
フィルタリング処理手段560は、運動データ獲得手段500がデータ記憶手段510へ発送した運動データに対してフィルタリング処理を行い、運動データのノイズを取り除く。ここで、フィルタリング方式の選択方法を具体的に限定しなく、多種類のフィルタリング方式、例えば、16点のFFTフィルタを利用できる。
【0065】
運動静止検出手段520は運動静止検出を行う時に、具体的に、サンプリング時刻の前後順に、サンプリング時刻毎に対して予め設定された運動時刻確定策略に従って判断を行い、サンプリング時刻t
0が運動時刻確定策略を満足し、サンプリング時刻t
0−1が運動時刻確定策略満足しないと、t
0は運動開始時刻であると確定し、サンプリング時刻t
eが運動時刻確定策略を満足し、サンプリング時刻t
e+1が運動時刻確定策略を満足しないと、t
eは運動完了時刻であると確定する。
【0066】
上記運動時刻確定策略は、サンプリング時刻t
xからその前のT個のサンプリング時刻の加速度のスカラー量を取った後の平均平方誤差a
vが予め設定された加速度平均平方誤差の閾値以上で、且つサンプリング時刻t
xの加速度のスカラー量を取ったa
0が予め設定された運動加速度の閾値以上であると、サンプリング時刻t
xは運動時刻で、Tは予め設定された正整数であると確定する。
【0067】
実際の過程で、ディザー等によって運動期間に短い時刻状態の変化が発生する可能性があり、実際には、この過程は一つのフラグメントの運動に属し、上記初期姿確定手段530に対しては、具体的に、運動間隔判断モジュール531と、初期姿確定モジュール532とを含んでもよい。
【0068】
運動間隔判断モジュール531は、運動開始時刻t
0とその前の一つのフラグメントの運動状態の運動完了時刻t´との間の時間間隔が予め設定された時間閾値より小さいか否かを判断する。
【0070】
この装置において、姿変換確定モジュール541は、具体的に、第一姿変換確定副モジュール5411と、第二姿変換確定副モジュール5412とを含む。
【0075】
データ獲得モジュール581は、静止状態にある物体に対して連続してM個のサンプリング時刻にサンプリングした加速度及び夾角を獲得する。即ち、三軸加速度センサー及び三軸磁界センサーが静止状態にある物体に対してサンプリングを行い、データ獲得モジュール581がそれからM個のサンプリング時刻の加速度及び夾角を獲得する。
【0079】
位置確定モジュール545は、運動開始時刻t
0から現在サンプリング時刻までのリアルタイムの速度を積分して、現在サンプリング時刻の位置を得る。開始時刻t
0と完了時刻t
eとの間のサンプリング時刻毎の加速度、リアルタイムの速度及び位置における少なくとも一つは、データベースで一つのフラグメントの運動の運動パラメーターとして記憶される。
【0080】
図4に示すフローと
図5に示す装置を利用して運動パラメーターを確定してから、さらに以下の用途に使用することができる。1)サンプリング時刻毎の位置情報、姿情報等の運動パラメーターを動作識別装置(
図1aにおける動作識別装置140)へ送信し、動作識別装置がパラメーターに基づいて運動の動作類型を識別して、ある運動類型の一つのフラグメントの動作に対応する運動パラメーターを抽出する。
【0081】
例えば、MEMSセンサーをゴルフグローブに設置し、本発明が提供する運動パラメーター確定方法と装置を利用してゴルフグローブの運動パラメーターを確定した後、これらの運動パラメーターを動作識別装置へ提供する。プレーヤーが、ゴルフスイング動作の以外に休憩、電話通話等の他の動作もする可能性もあるので、動作識別装置は、一つのフラグメントの完全なゴルフスイング動作に対応する運動パラメーターを識別し抽出してもよい。
【0082】
2)時刻毎の速度情報及び/又は位置情報等の運動パラメーターをパラメーター表示装置(如
図1aにおけるパラメーター表示装置150)へ提供し、又は運動識別装置が抽出した運動パラメーターをパラメーター表示装置へ提供し、パラメーター表示装置は、サンプリング時刻毎の位置情報に基づいてテーブルの形態で表示し、又は被識別物体の3D運動軌跡を表示し、及び/又は、サンプリング時刻毎の速度情報に基づいて、テーブル形態で表示し、又は、曲線の形態で被識別物体の速度情報を表示してもよい。プレーヤーは、このパラメーター表示装置を通じて、被識別物体の詳細な運動、例えば、運動のリアルタイムの速度、位置、位置の時間分布、速度の時間分布等をルックアップすることができる。
【0083】
3)各時刻の加速度、リアルタイムの速度及び位置情報等の運動パラメーターを専門家評価装置へ提供し、又はパラメーター表示装置の表示結果を専門家評価装置へ提供して、専門家評価装置が評価を付与するようにする。専門家評価装置は、自動的な評価機能を有する装置であってもよく、この場合、専門家評価装置は、色々な運動パラメーターに対応する評価情報が記憶されている予めに準備した運動パラメーターデータベースを照会して、時刻毎の加速度、リアルタイムの速度及び位置情報に対応する評価を付与してもよい。
【0084】
専門家評価装置は一つのユーザーインタフェースであってもよく、ユーザーインタフェースを介して運動パラメーターを専門家に提供してもよく、専門家が運動パラメーターに基づいて、人工的に評価を付与してもよいが、好ましくは、ユーザーインタフェースが専門家が入力した評価情報を獲得し、評価情報を端末装置へ伝送して、この端末装置の使用者にルックアップさせ、参照させることがよい。
【0085】
4)時刻毎の加速度、リアルタイムの速度及び位置情報等の運動パラメーターを一つ以上の端末装置、例えば、複数のプレーヤーのiphone(登録商標)へ送信して、複数の端末装置の使用者がこの運動パラメーターを共用するようにし、複数の使用者同士の交流を増加させる。
【0086】
本発明の実施例では、何れもMEMSセンサ装置を例として説明しているが、本発明はこれに限定されなく、同様にMEMSセンサ装置の以外の他のセンサ装置を利用してもよく、本発明の実施例における前記運動データサンプリングを実現できれば、何れでもよい。
【0087】
以上は、ただ本発明の好ましい実施例で、これで本発明を限定することではない。本発明の趣旨及び原則の範囲で行った何れの修正、均等の置換、改善等は、何れも本発明が保護しようとする範囲に含められる。