特許 5934865 反復動作のパラメータをリアルタイムに決定するシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5934865

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月15日

(54)【発明の名称】反復動作のパラメータをリアルタイムに決定するシステムおよび方法

(51)【国際特許分類】

   A63F 13/212 20140101AFI20160602BHJP

【ＦＩ】

   A63F13/212

【請求項の数】16

【全頁数】17

(21)【出願番号】特願2012-552396(P2012-552396)

(86)(22)【出願日】2011年2月10日

(65)【公表番号】特表2013-527774(P2013-527774A)

(43)【公表日】2013年7月4日

(86)【国際出願番号】EP2011051961

(87)【国際公開番号】WO2011098521

(87)【国際公開日】20110818

【審査請求日】2014年2月3日

(31)【優先権主張番号】1050913

(32)【優先日】2010年2月10日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】511163126

【氏名又は名称】モベア エス．アー

(73)【特許権者】

【識別番号】510163846

【氏名又は名称】コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ

(74)【代理人】

【識別番号】100071054

【弁理士】

【氏名又は名称】木村 高久

(72)【発明者】

【氏名】ラリュ、アントニー

(72)【発明者】

【氏名】スアール、フレデリック

【審査官】 彦田 克文

(56)【参考文献】

【文献】 米国特許出願公開第２００６／０２６２８５７（ＵＳ，Ａ１）

【文献】 特許第３８１５６８９（ＪＰ，Ｂ２）

【文献】 国際公開第２００８／０１１３５２（ＷＯ，Ａ２）

【文献】 国際公開第２００６／１０３６６２（ＷＯ，Ａ２）

【文献】 D. Gafurov et al.，Gait recognition using acceleration from MEMS，2006 IEEE The First International Conference on Availability, Reliability and Security(ARES '06)，米国，２００６年，Pages 1-6

【文献】 S. Sprager et al.，A Cumulant-Based Method for Gait Identification Using Accelerometer Data with Principal Component Analysis and Support Vector Machine，WSEAS TRANSACTIONS on SIGNAL PROCESSING，２００９年１１月，Vol. 11, No. 5，Pages 369 - 378

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００ − １３／９８

Ｇ０６Ｋ ９／００

Ｇ０１Ｐ １５／００

(57)【特許請求の範囲】

【請求項1】

反復動作（ＰＭ，Ｔ_ｐ）のパラメータをリアルタイムに決定するシステムであって、
−現在の動作が終了する前に、前記動作を表す代表信号（Ｓ１，Ｓ２）に基づいて、前記反復動作の周期の近似値（Ｔ_ｒ）を推定する第１の手段（ＥＳＴ１）と、
−前記第１の推定手段（ＥＳＴ１）により推定された前記周期（Ｔ_ｒ）に基づいてスライディングウィンドウのサイズ（Ｆ）を決定する手段（ＤＥＴ）と、
−スライディングウィンドウにより、前記動作を表す代表信号（Ｓ１，Ｓ２）および前記第１の推定手段（ＥＳＴ１）により得られたスライディングウィンドウの前記サイズ（Ｆ）に基づいて、前記動作パラメータを正確に推定する第２の手段（ＥＳＴ２）と
を含むことを特徴とするシステム。

【請求項2】

前記動作パラメータ（ＰＭ）が、前記反復動作の周期（Ｔ_ｐ）である、請求項１に記載のシステム。

【請求項3】

前記第２の推定手段（ＥＳＴ２）が、相関に基づく計算手段を含んでいる、請求項２に記載のシステム。

【請求項4】

前記周期（Ｔ_ｐ）とは異なる前記反復動作の別の動作パラメータ（ＰＭ）を推定する前記第１の手段（ＥＳＴ１’）が、前記周期を正確に推定する前記第２の手段（ＥＳＴ２）を含んでいる、請求項２に記載のシステム。

【請求項5】

前記決定手段（ＤＥＴ，ＤＥＴ’）が幾重もの安全性向上策を含んでいる、請求項１に記載のシステム。

【請求項6】

前記動作の進行をリアルタイムに通信する通信インターフェースを含んでいる、請求項１に記載のシステム。

【請求項7】

前記通信インターフェースが視聴覚インターフェースを含んでいる、請求項６に記載のシステム。

【請求項8】

前記信号（Ｓ１、Ｓ２、Ｓ３、Ｓ）を配信するために、反復動作を実行している要素に固定すべく適合されたセンサーアセンブリを更に含んでいる、請求項１に記載のシステム。

【請求項9】

前記センサーアセンブリが、少なくとも１個の磁力計、および／または少なくとも１個の加速度計、および／またはジャイロメータ、および／または圧力センサー、および／または心電計、および／または呼吸の量を測定する流量計、および／または呼吸の頻度を測定するセンサーを含んでいる、請求項８に記載のシステム。

【請求項10】

反復動作のパラメータをリアルタイムに決定する方法であって、
−現在の動作が終了する前に、前記動作を表す代表信号（Ｓ，Ｓ１，Ｓ２，Ｓ３）に基づいて、前記反復動作の周期の近似値（Ｔ_ｒ）を推定するステップと、
−前記近似的に推定された周期（Ｔ_ｒ）に基づいてスライディングウィンドウのサイズ（Ｆ）を決定するステップと、
−スライディングウィンドウにより、前記動作を表す代表信号（Ｓ１）およびスライディングウィンドウの前記決定されたサイズ（Ｆ）に基づいて、前記動作パラメータ（ＰＭ）を正確に推定するステップとを含む方法。

【請求項11】

前記反復動作の正確な周期（Ｔ_ｐ）がリアルタイムに決定される、請求項１０に記載の方法。

【請求項12】

前記周期（Ｔ_ｐ）とは異なる、前記反復動作の別の動作パラメータの推定が、前記周期を近似的に推定するステップにおいて、前記反復動作の周期を正確に推定するステップ（Ｔ_ｐ）を用いる、請求項１１に記載の方法。

【請求項13】

前記信号（Ｓ１，Ｓ２，Ｓ３，Ｓ）が、前記反復動作を実行する要素に固定されたセンサーアセンブリにより送信される、請求項１１に記載の方法。

【請求項14】

前記センサーアセンブリにより送信される前記信号が、少なくとも１個の磁力計、および／または少なくとも１個の加速度計、および／またはジャイロメータ、および／または圧力センサー、および／または心電計、および／または呼吸の量を測定する流量計、および／または呼吸の頻度を測定するセンサーから生じる、請求項１３に記載の方法。

【請求項15】

第１の正規直交フレーム［Ｘ，Ｙ，Ｚ］を備えた前記センサーアセンブリにより送信された前記信号のフレームの変更が、減少する固有値λ_ｕ、λ_ｖおよびλ_ｗへの分解を用いて、前記第１の正規直交フレーム［Ｘ，Ｙ，Ｚ］を自身の軸Ｕまたは軸ＵおよびＶが各々前記動作の主軸または主面に対応する第２の正規直交フレーム［Ｕ，Ｖ，Ｗ］で表すことにより実行される、請求項１３に記載の方法。

【請求項16】

前記反復動作の前記正確な周期（Ｔ_ｐ）のリアルタイムの前記決定が、前記スライディングウィンドウ上で、極大値および大域的最大値を検出し、前記極大値および大域的最大値は基本持続期間の倍数であって、前記正確な周期（Ｔ_ｐ）に対応し、且つ最早に生じて前記大域的最大値に関する偏差がある閾値より小さい最大値を選択する、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、反復動作パラメータのリアルタイム決定システムおよび方法に関する。

【0002】

リアルタイムという用語は、応答時間がアプリケーションの特性に適合していることを示す。

【0003】

本発明は、医療分野、リハビリテーション、スポーツ分野等、反復動作が生じる任意の分野に適用できるが、多くのゲームがプレーヤーの反復動作を要求するビデオゲームセクターに特によく適用できる。本発明はまた、オートマトンまたはロボットの反復動作にも適用できる。

【背景技術】

【0004】

人間の動作の解析は、映画、ビデオゲーム、およびスポーツ等、各種の分野でなされてきた。この解析は、例えば、より自然且つ自発的なボディアクションを維持しながら、複雑な物理モデルを再現成する必要なしに、画面上に表示された人物の仮想的描写のアニメーション表示を行なうべく、ユーザーが実行する動作を再現できるようにする。

【0005】

動作の取得は主として、例えば文献国際公開第２００８０１１３５２号パンフレットに記載されているように、リアルな動作を再現することにより、ディスプレイ画面上の人物のアバターまたは仮想描画をアニメーション表示すべく映画およびビデオゲームに用いられる。

【0006】

しかし、このようなシステムにおいては、ユーザーの四肢に装着された特定のマーカーを、当該人物の中心に合わせたビデオ録画と組み合わせて使用する必要がある。ビデオはその後、各マーカーの位置を３次元的に決定することによりモデルを定義すべく解析される。

【0007】

この技術は、実行された動作およびマーカー位置の精度に対する制約が厳しいため、実装が複雑である。更に、データの取得およびその処理は必ずしもリアルタイムに実行される訳ではない。その理由は、これが主に動作の再現を伴い、システムとリアルタイムに対話しないためである。

【0008】

文献国際公開第ＷＯ２００６１０３６６２号パンフレットに開示されているような他のスキームもスポーツイベントの追跡が行える。当該アプリケーションは、進行中のスポーツ動作のフェーズに応じてカメラの向きを直すか、または生じたスポーツ動作のフェーズを要約できるように一組のカメラを制御可能にする。しかし、これらのカメラは往々にして選手から遠くにあるため、高い精度を必要としているアプリケーションでは前者を用いることができない。

【0009】

ユーザーと機械、例えばビデオゲームのコンソールとの間の対話の場合、プレーヤーとゲームのコンソールとの間の対話を許す他のスキームが現在開発中である。昨今、マイクロソフト（商標）のプロジェクトＮａｔａｌが公開されている。これは、ビデオカメラを用いてビデオゲームまたはマルチメディアのインターフェースを駆動すべくユーザーが実行する動作を解釈する新規のインターフェースの提案を目的としている。

【0010】

しかし、この技術は、特にユーザーとシステムとの間に一切の障害が存在しないことを要する所定のスペースで行動するという制約をユーザーに課す。

【0011】

他のシステムはオンボードセンサーを用いているが、これは換言すれば、ユーザーが、自分の場所または位置を知ることができる衛星位置特定システムセンサー等のセンサー、または自分の動作を判断できるようにする加速度計、磁力計またはジャイロメータ等のセンサーを備えている。これらのセンサーは、なるべく煩わしくなく、且つ外部の介入なしで容易に位置決め可能でなければならない。

【0012】

そのようなセンサーは、たとえ低コストのものであっても、精度がセンサーのサイズおよび解像度と比例し、従ってより複雑な処理およびより効果的で高価な処理機械を必要とするビデオセンサーよりも高精度な動作測定値を得ることができる。

【0013】

オンボードセンサーは、地理的位置特定および誘導に用いることができる。ＧＰＳ受信機等の衛星位置特定システム受信機を備えたある種の車両または装置もまた、システムの信号の受信の一時的中断を軽減すべく慣性リグを含んでいる。そのようなシステムは従って、文献米国特許出願公開第２００９１９２７０８号明細書に記述されているように歩行者の誘導に適合されてきた。しかし、これらの方式は、地球位置の参照を必要とし、動作センサーは結果的に生じる短所を軽減するかまたは精度を向上させるために一時的にしか利用されない。使用するシステムは極めて少数のセンサーしか含んでおらず、簡単な加速度計により主方向および移動速度が得られ、動作を特徴付けるために追加的な詳細事項を必要としない。更に、速度または方向の変化に可能な限り迅速に応答する必要がない。そのようなシステムは、比較的正確な動作にも、またインターフェースの使用にも適合されていない。

【0014】

本発明では、ユーザーは動作センサーだけを用いてマシンと対話する。この方式は従って高い精度を必要とするが、何よりも応答が最も早く、操作が簡単且つ自然である。

【0015】

通信インターフェースを制御すべく人物に固定されたセンサーの利用が昨今普及している。

【0016】

特に、ある種のシステムによりスティックまたはキーボードよりも正確に対話可能になるだけでなく、未経験者でも制御をマスターすべく学習する必要なしに直ちにプレー可能にすることにより、ユーザー利便性も実現可能にするビデオゲームの分野において、自然な動作に紐付けられたものである。最後に、この方式は、ビデオゲームをプレーヤー自身の動作に適合させることにより、現実感を向上させることができる。

【0017】

このように、ソニーは、コンソールに加えられた動作がスクリーンに転写できるように動作センサーを備えた自社のゲームコンソールと互換性を有するｄｕａｌｓｈｏｃｋ（商標）スティックを提案している。しかし、これらの動作は限定的であり、従って主要な機能は、スティックの傾きの関数として方向動作を増幅できるに過ぎない。

【0018】

より最近では、任天堂が対話的スティックを含む量販向けＷｉｉ（商標）コンソールを発表している。これらのスティックは、プレーヤーの動作確認に用いる加速度計を備えているが、動作の方向または振幅をより正確に決定することはできない。このスティックを補完すべく、文献欧州特許第０９０８７０１号明細書に記述されているように脚の動作も考慮したプラットフォームが開発されている。しかし、当該プラットフォームでは、同じ場所での脚の動作の頻度を確認できるに過ぎず、従って、プレーヤーの移動には一切対応できない。更に、例えば回転命令を実行可能になるようにプレーヤーの方位を確認することもできない。

【0019】

文献国際公開第２００６０８６４８７号パンフレットは、実行される動作の量に関する情報を測定して送信するモジュールのスポーツシューズへの応用に関する。本発明の特定の特徴は、ゲームの特定の機能またはアバターや仮想描画の特定の特徴を起動可能にすべくプレーヤーが実行する物理的活動の量を測定する能力にある。しかし、当該装置は、プレーヤーとその仮想描画との間で完全なインターフェースを提供することはできない。実際、１個のセンサー、例えば加速度計だけを用いて物理的な活動を測定するが、実行された動作をより正確に特徴付ける情報が一切得られない。

【0020】

これらのシステムは、特にビデオゲーム分野において、リアルタイムアプリケーション向きの精度および速度に欠ける。

【発明の概要】

【課題を解決するための手段】

【0021】

本発明の目的は、上述の課題を軽減することである。

【0022】

本発明の一態様によれば、反復動作のパラメータをリアルタイムに決定するシステムであって、
−現在の動作が終了する前に、前記動作を表す代表信号に基づいて、前記反復動作の周期の近似値を推定する第１の手段と、
−前記第１の推定手段により推定された前記周期に基づいてスライディングウィンドウのサイズを決定する手段と、
−スライディングウィンドウにより、前記動作を表す代表信号および前記第１の推定手段により得られたスライディングウィンドウの前記サイズに基づいて、前記動作パラメータを正確に推定する第２の手段と
を含むシステムを提案する。

【0023】

反復動作の周期の近似値を推定する第１の手段により、決定手段が、特に動作パラメータの迅速且つ正確な計算に適合されたスライディングウィンドウのサイズを、進行中の動作が終了する前に、適合された仕方で迅速に推定することができるため、リアルタイム決定はこのように改善される。スライディングウィンドウのサイズはこのように、反復動作の周期の変動に自動的に適合される。反復的表現動作とは、比較的類似した動作を指すことを意図しているが、周期（または頻度あるいは速度）、振幅、または衝撃（衝突力）等、そのパラメータのいくつかは変動する場合がある。

【0024】

一実施形態において、前記動作パラメータは前記反復動作の周期である。

【0025】

本システムは特に、特に周期を正確に計算すべく適合され、従ってはるかに迅速に計算が実行されるスライディングウィンドウのサイズを迅速に決定できるようにする第１の近似的高速推定に基づいて、反復動作の周期をリアルタイムに正確に推定すべく適合されている。故に、反復動作の周期の決定は従って、向上した最早可能応答時間、すなわち向上したリアルタイム性で正確に実行される。

【0026】

例えば、前記第２の推定手段は、反復動作の周期を計算する相関を利用する手段を含んでいる。

【0027】

このように、さほど複雑でない統計的手法に基づいて、動作の時間的特性に関する先験的知識がなくてもパラメータの決定が可能である。

【0028】

一実施形態によれば、前記周期とは異なる、前記反復動作の別の動作パラメータを推定する前記第１の手段は、前記周期を正確に推定する前記第２の手段を含んでいる。

【0029】

反復動作の周期が、本発明によるシステムによりリアルタイム且つ正確に決定された場合、本発明の別の態様によれば、スライディングウィンドウのサイズの決定することにより、前記周期を用いて当該周期とは異なる別の動作パラメータを計算することができ、その後でこの別の動作パラメータの正確且つ高速な推定が可能になる。

【0030】

一実施形態において、前記決定手段は幾重もの安全性向上策を含んでいる。

【0031】

このようにスライディングウィンドウのサイズ決定のために安全性のマージンが考慮されているため、スライディングウィンドウのサイズが小さくなり過ぎることを防ぐこと可能になる。

【0032】

一実施形態によれば、本システムは、前記動作の進行をリアルタイムに通信する通信インターフェース、例えば視聴覚インターフェースを含んでいる。

【0033】

そのような視聴覚通信インターフェースは、特にビデオゲームシステムに良く適合されている。

【0034】

一実施形態において、本システムは更に、前記信号を配信するために、反復動作を実行している要素に固定すべく適合されたセンサーアセンブリを含んでいる。

【0035】

センサーアセンブリは、少なくとも１個の磁力計、および／または少なくとも１個の加速度計、および／またはジャイロメータ、および／または圧力センサー、および／または心電計、および／または呼吸の量を測定する流量計、および／または呼吸の頻度を測定するセンサーを含んでいてもよい。

【0036】

別の態様によれば、
−現在の動作が終了する前に、前記動作を表す代表信号に基づいて、前記反復動作の周期の近似値を推定するステップと、
−前記第１の推定手段により推定された前記周期に基づいてスライディングウィンドウのサイズを決定するステップと、
−スライディングウィンドウにより、前記動作を表す代表信号およびスライディングウィンドウの前記決定されたサイズに基づいて、前記動作パラメータを正確に推定するステップからなるステップを含む反復動作のパラメータをリアルタイムに決定する方法も提案する。

【0037】

一実装モードによれば、前記反復動作の正確な周期がリアルタイムに決定される。

【0038】

一実装モードにおいて、前記周期とは異なる、前記反復動作の別の動作パラメータの推定は、前記周期を近似的に推定するステップにおいて、前記反復動作の周期を正確に推定するステップを用いる。

【0039】

」
一実装モードによれば、前記信号は、例えば、少なくとも１個の磁力計、および／または少なくとも１個の加速度計、および／またはジャイロメータ、および／または圧力センサー、および／または心電計、および／または呼吸の量を測定する流量計、および／または呼吸の頻度を測定するセンサーを含む、反復動作を実行する要素に固定されたセンサーアセンブリにより送信される。

【0040】

一実施形態において、第１の正規直交フレーム［Ｘ，Ｙ，Ｚ］を備えたセンサーアセンブリにより送信された前記信号のフレームの変更は、減少する固有値λ_ｕ、λ_ｖおよびλ_ｗへの分解を用いて、前記第１の正規直交フレーム［Ｘ，Ｙ，Ｚ］を自身の軸Ｕまたは軸ＵおよびＶが各々前記動作の主軸または主面に対応する第２の正規直交フレーム［Ｕ，Ｖ，Ｗ］で表すことにより実行される。

【0041】

精度および堅牢性がこのように向上する。更に、センサーアセンブリの自動較正が次いで可能になる。

【0042】

一実施形態によれば、前記反復動作の正確な周期のリアルタイムの前記決定は、前記スライディングウィンドウ上で、極大値および大域的最大値を検出し、前記極大値および大域的最大値は基本持続期間の倍数であって、前記正確な周期に対応し、且つ最早に生じて前記大域的最大値に関する偏差がある閾値より小さい最大値を選択する。

【0043】

前記正確な周期の検出誤差のリスクは低いが、周期の高速近似推定により既に最適化されたスライディングウィンドウのサイズ上で更に抑制される。

【0044】

本発明は、完全に非限定的な例として記述し、添付の図面に示すいくつかの実施形態を調べることにより理解が深まるであろう。

【図面の簡単な説明】

【0045】

【図1】本発明の一態様による、反復動作のパラメータをリアルタイムに決定するシステムを模式的に示す。

【図2】本発明の一態様による周期をパラメータとする、図１のシステムの例示的な実施形態を模式的に示す。

【図3】本発明の一態様による、前記周期とは異なる前記反復動作の別の動作パラメータを更に推定する図２のシステムを模式的に示す。

【図4-5】ビデオゲームアプリケーションの場合におけるセンサーアセンブリを模式的に示す。

【図6-7】周期を決定する問題を模式的に示す。

【図8】最適化されたサイズのウィンドウによる推定を行なう本発明の一態様による周期の計算の例示的な比較を模式的に表す。

【発明を実施するための形態】

【0046】

各図面において、同一の参照符号を付された要素は同一である。

【実施例】

【0047】

図１に、反復動作の周期の近似値Ｔ_ｒを、当該動作を表す信号Ｓ１、Ｓ２に基づいて、現在の動作が終了する前に推定する第１の推定モジュールＥＳＴ１を含む、反復動作のパラメータをリアルタイムに決定するシステムの例を示す。決定モジュールＤＥＴは、安全性のマージンを与えるべく例えば高速近似値Ｔｒに１＋Δに等しい係数または利得を乗算することにより、第１の推定モジュールＥＳＴ１により推定された前記周期Ｔｒに基づいてスライディングウィンドウのサイズＦを決定する。Δは例えば、０〜０．５の間にあってもよい。動作を表す信号Ｓ１、Ｓ２および第１の推定モジュールＥＳＴ１から送られたスライディングウィンドウのサイズＦに基づいて、スライディングウィンドウにより、動作パラメータを正確に推定する第２のモジュール。

【0048】

図２に、反復動作においてリアルタイムに決定された動作パラメータが当該動作の周期であって、第２の推定モジュールＥＳＴ２により出力Ｔ_ｐとして配信される場合を例示する。

【0049】

この場合、本発明により、通常は進行中の動作が終了する前に、動作Ｔ_ｒの周期の高速推定を通じて、正確な推定のために第２のモジュールに決定モジュールＤＥＴにより最適化されたスライディングウィンドウのサイズＦを与えることが可能になるため、第２の推定モジュールＥＳＴ２が、最早可能時点で、前記周期の正確な推定Ｔｐを実行することができる。この正確な推定ははるかに高速である。

【0050】

周期を計算する場合、第２の推定モジュールＥＳＴ２は、第１の推定モジュールＥＳＴ１の入力信号を含んでいるかまたは含んでいない単一の信号または複数の信号に基づいてスライディングウィンドウによる相関を実行する。

【0051】

図３に本発明の一態様による実施形態を「カスケード状態」で示すが、これは図２のシステムを用いて、別の動作パラメータを正確に推定するスライディングウィンドウのサイズを推定する第１の高速推定モジュールＥＳＴ’１として機能することにより、周期の高速推定値Ｔｒ’として、既に正確に計算されている正確な周期Ｔｐを直接採用することが即座に可能になる。

【0052】

周期の高速推定モジュールＥＳＴ１は、例えば、文献"Ｆｒｅｑｕｅｎｃｙ ｔｒａｃｋｉｎｇ ｉｎ ｎｏｎｓｔａｔｉｏｎａｒｙ ｓｉｇｎａｌｓ ｕｓｉｎｇ Ｊｏｉｎｔ Ｏｒｄｅｒ Ｓｔａｔｉｓｔｉｃｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｉｍｅ−Ｆｒｅｑｕｅｎｃｙ ａｎｄ Ｔｉｍｅ−Ｓｃａｌｅ ＡｎａｌｙｓＡ．ｉｓ ９６ｐ，４４１−４４４，Ｍａｒａｋｏｖ，"Ｕｎ ｎｏｕｖｅｌ ｏｕｔｉｌ ｄ‘ａｎａｌｙｓｅ ｔｅｍｐｓ−ｆｒｅｑｕｅｎｃｅ ｂａｓｅ ｓｕｒ ｕｎ ｍｏｙｅｎｎａｇｅ ａ ｒｅｃａｌａｇｅ ｄｅ ｐｈａｓｅ"［Ａ ｎｅｗ ｔｉｍｅ−ｆｒｅｑｕｅｎｃｙ ａｎａｌｙｓｉｓ ｔｏｏｌ ｂａｓｅｄ ｏｎ ａｖｅｒａｇｉｎｇ ｗｉｔｈ ｐｈａｓｅ ｒｅｇｉｓｔｒａｔｉｏｎ］，Ｇｒｅｔｓｉ ２００９，ｂｙ Ｍ．Ｊａｂｌｏｕｎ、または"Ａｄａｐｔｉｖｅ ｓｐｅｃｔｏｇｒａｍ ｖｓ． Ａｄａｐｔｉｖｅ ｐｓｅｕｄｏ Ｗｉｇｎｅｒ−Ｖｉｌｌｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｏｒ ｉｎｓｔａｎｔａｎｅｏｕｓ ｆｒｅｑｕｅｎｃｙ ｅｓｔｉｍａｔｉｏｎ"，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ２００３，ｂｙ Ｓ．Ｃｈａｎｄｒａ Ｓｅｋｈａｒに記述された高速推定を実装することができる。

【0053】

信号Ｓ１、Ｓ２、またはＳ３は同一であっても、異なっていてもよく、あるいは、一方が他方を含んでいてもよい。これらは、反復動作を表す信号を送信するセンサーから発せられる。例えば、センサーアセンブリは、少なくとも１個の磁力計、および／または少なくとも１個の加速度計、および／またはジャイロメータ、および／または圧力センサー、および／または心電計、および／または呼吸の量を測定する流量計、および／または呼吸の頻度を測定するセンサーを含んでいてもよい。

【0054】

図４に、本発明が、反復的な歩行動作に関してビデオゲーム分野に適用された例を示す。センサーアセンブリは、各々の脚について、３軸加速度計および３軸磁力計（Ｘ、ＹおよびＺ）を含んでいる。各々のモダリティは、本例では合計１２個の信号である３次元信号である。これらの信号は一定の間隔でサンプリングされ、受信された各信号はデータに同期可能なように履歴を残す。

【0055】

本構成は、例えば足の側面で、動作に応じてセンサーの主軸の１本の向きを調整すべくセンサーの特定の位置合わせに応答するが、センサーを全く同一のフレームに位置合わせするために、フレーム（Ｕ、Ｖ、Ｗ）の変更を行う処理を適用することも考えられる。フレームのこの変更によっても、図５に示すように、動作の主方向または主平面を確認可能になる。

【0056】

換言すれば、第１の正規直交フレーム（Ｘ、Ｙ、Ｚ）内で信号のフレームの変更は、減少する固有値λ_ｕ、λ_ｖおよびλ_ｗへの分解を用いて第１の正規直交フレーム（Ｘ、Ｙ、Ｚ）を、自身の軸Ｕまたは２軸ＵおよびＶが各々前記動作の主軸または主面に対応する第２の正規直交フレーム（Ｕ、Ｖ、Ｗ）で表すことにより実行される。

【0057】

当該信号は実行された動作に関して最大限の情報を含まなければならず、信号が抽出されるセンサーの軸を動作に関して最適な向きに合わせることが必要である。

【0058】

センサーは、例えばセンサーのＸ軸が最も多くの情報を含む信号の成分を最適な信号／雑音比率を以て測定するように最適な位置に合わされているか、またはフレームの変更が実行されるかのいずれかである。

【0059】

基底（Ｘ、Ｙ、Ｚ）から（Ｕ、Ｖ、Ｗ）へのこのフレームの変更を実行するために、固有値分解を用いる。その原理は、係数λ_ｕ、λ_ｖおよびλ_ｗをλ_ｕ>λ_ｖ>λ_ｗとなるように決定することである。センサーの基底は従って、正規直交フレームを形成する各種の軸（Ｕ，Ｖ，Ｗ）の組合せとして記述することができる。分解の特性の一つにより、Ｕ軸が動作の主軸であるように新規フレームを定義することが可能になる。

【0060】

例えば、所与の足について、例えば加速度計Ａから得られる３個のセンサー信号［Ａｘ，Ａｙ，Ａｚ］をウィンドウ上で考慮する必要がある。

【0061】

その後で相関行列Ｃを計算しなければならない。

【数1】

ｃ（Ａ，Ｂ）はＡおよびＢは相互相関関数である。

【0062】

主成分分析またはＰＣＡの原理によれば、係数λ_ｕ、λ_ｖおよびλ_ｗは以下の関係により定義される。

【数2】

Ｄ＝Ｐ^−１ＣＰである。
Ｐは新規フレームを定義するスイッチング行列、すなわち信号を新規フレーム内で適合させるべく修正可能にする行列である。固有値への分解により、行列Ｌだけでなくスイッチング行列Ｐの決定が可能になる。

【0063】

従って、処理操作を適用するために、加速度計Ａ_ｘではなくＡ_ｕの信号を考慮することが可能である。

【0064】

そのような例について、本システムは歩行／走行をシミュレートすべく、プレーヤーの足が地面から離れたとき、または足指の先端が地面に付いているとき、当該プレーヤーが歩行／走行動作を実行していると見なす。以下の非限定的な記述において、この例に対して本発明を適用するものとする。

【0065】

周期により、プレーヤーの歩行の頻度または速度を定義すること、すなわち、プレーヤーがゆっくりまたは足早に歩いているか、または走っているかを決定することが可能になる。歩行の持続期間は、２個の信号Ｓ１およびＳ２に対する相互相関関数により推定することができる。この発想は、２個の信号の相関を最大にする当該２個の信号間の時間シフトを推定することであり、このシフトτ_ｏｐｔは後で、プレーヤーの歩行の周期Ｔに関係付けられる。より複雑な各種の構成も想定できる。

【0066】

Ｓ１＝Ｓ２＝ＡｇｘまたはＡｄｘまたはＡｇｕまたはＡｄｕ、すなわち任意に選ばれた足の成分の自己相関、および可能ならば主動作軸に沿って向けられている。この場合τ_ｏｐｔ＝Ｔである。

【0067】

Ｓ１＝Ａｇｘ且つＳ２＝Ａｄｘ、またはＡｇｕまたはＡｄｕ、すなわち両足の２個の類似成分間の相関。この場合、２本の軸が同一方向を向き、且つ同じ意味を有することに注意を要する。この場合、τ_ｏｐｔ＝Ｔ／２である。

【0068】

先の場合、信号の固有値分解の技法による各足の動作主軸の推定を行うことにより軸の共線性を保証することができる。

【0069】

プレーヤーの歩行の周期の変動を追跡可能にすべく、相関の計算は、取得された最新のサンプルと共に信号を因果律的に考慮する信号のウィンドウに依存するが、換言すれば、関心対象の時点より前のサンプルだけを用いる時間ウィンドウを考慮に入れる。信号の周期を決定するには、当該信号の少なくとも１周期を求めることが必要である。

【0070】

２個の信号Ｓ１とＳ２間の相関

【数3】

について以下の式がある。

【数4】

但し、
ｔは現在の時点瞬間を表し、
τは考慮するシフトを表し、
Ｉｔはｔに依存する間隔を表す。

【0071】

この関数は、次式により推定することができる。

【数5】

Ｔ_ｆは関心対象である時間ウィンドウのサイズを表し、従って遅延τの変動幅を［０；Ｔｆ［として定義する。

【0072】

得られた最新のサンプルを優先して、推定の質を向上させるために、当該計算の範囲内で持続期間Ｔ_ｆ−τの重み付けウィンドウＷ_Ｔｆ−τを加算することができ、従って信号の各ウィンドウにウィンドウの時点およびサンプルの時点に比例する特定の重みを適用することが可能になる。相関関数は次いで、以下の関係により計算することができる。

【数6】

但し、αは重み付けウィンドウの時間的指標を表す。

【0073】

上記相関により、後者が最大のとき、信号の周期に対応する最適シフトを決定することが可能になる。図６に、周期が変動する信号について相関関数をｔおよびτの関数として表す。

【0074】

図７に、所与の時点ｔ＝３５ｓにおける図６を通る断面図である。これら２図は、足の成分上の自己相関を有するケースＳ１＝Ｓ２＝ＡｇｘまたはＡｄｘに関するものである。その後、所与の時点で誤差があれば訂正すべく最大値を追跡することが必要である。

【0075】

このステップは従って、スライディングウィンドウの最適に適合されたサイズにより、二次的な値、すなわち周期の倍数を除去することにより最大相関値の探索を容易にする。

【0076】

歩行の持続期間に対応する周期の結果は従って、相関の最大値で決定される値Ｔである。

【数7】

【0077】

このスキームは従って、相関の計算のために考慮すべき最大シフトに対応する単一のパラメータτ_ｍａｘ（Ｔ_ｆ）を必要とする。当該シフトは、このサイズの時間ウィンドウを考慮する必要があるため、最大可能遅延として解釈される。

【0078】

固定パラメータを使用する場合、遅延は一定であるが、速度が加速された場合、最早可能時点に応答することができない。従って、ウィンドウの最大サイズを最も遅い歩調、すなわち数秒、の関数として調整することが必要であろう。従って、狙いは、歩行速度に変化に対するシステムの迅速性を最適化するように解析ウィンドウのサイズを適合的に調整することである。

【0079】

換言すれば、図７に示すように、相関Γの結果がいくつかのローブを示し、自己相関の場合、その各々の最大値がＴ、２Ｔ、３Ｔ、．．．、ｋＴに位置する（両足の間の相関の場合、各々Ｔ／２、３Ｔ／２、５Ｔ／２、．．．、（２ｋ＋１）Ｔ／２）。完全静止信号の理想的な場合において、最大値が大域的最大値であるローブはＴ（各々Ｔ／２）に位置している。しかし、周期が非定常的である信号の場合、大域的最大値はＴ（各々Ｔ／２）ではなく、２Ｔまたは３Ｔ（各々３Ｔ／２、５Ｔ／２）に位置していることがある。

【0080】

この場合、周期の推定に与えられた結果は従って誤っており、推定された周期は真の値の２または３倍大きいであろう。故に、以下のように修正を行う。

【0081】

Ｔを大域的最大値の時点とする。

【0082】

最大値が時点Ｔ／２またはＴ／３またはＴ／４．．．における最大値に近いローブが存在する場合、時点ＴはＴ／２またはＴ／３またはＴ／４、すなわち最大可能約数（各々２Ｔ／５、２Ｔ／３、．．．）として修正される。

【0083】

時間的連続性を確認すべく第２の検査が可能である。その原理は、Ｔの値を最新のウィンドウ上で決定された値と比較することにより確認することである。値が変動し過ぎる場合、新規サンプルの取得を待つ。後続ウィンドウ上のＴの値は、以前のウィンドウ上の値に近いか、または現在のウィンドウ上のＴに近いかのいずれかである。後者の場合、速度の変化があってＴの良好な値が見つかったが、一方、動作は変化しておらず、現在のウィンドウ上のＴの推定は誤っていて、先行ウィンドウおよび後続ウィンドウ上のＴの平均で代替することができる。

【0084】

本発明の一態様によれば、信号の周期の簡単且つ近似的な推定に基づいて、スライディングウィンドウのサイズを予め決定するステップが追加されている。

【0085】

この簡単且つ高速推定の場合、例えば上で引用したＭａｋａｒｏｖの推定を実装することが可能であり、因果律的に、すなわち過去からのサンプルだけを使用して、信号周期の値のスケールを決定することが可能になる。

【0086】

Ｍａｒａｋｏｖ推定は、得られる最新のサンプルを考慮することにより、各時点で、非定常信号の周波数を決定可能にする。その原理は、傾向の統計に依存する。信号の各点について、傾向が変化しているか否か、すなわち前の時点で観察された最大値と最小値が保持されているか否かを推定する必要がある。当該傾向が変化している場合、その点は極値でなく、さもなければ極値である。従って、各時点で、以前の極値に対応する時点を確認して、サンプリング周波数が分かれば推定された周期または周波数に変換することができる。

【0087】

当該アルゴリズムは複雑さが緩和されており、従って信号の周期の事前決定に完全に適合されている。この推定に基づいて、パラメータを推定する処理操作が次いで実行されるスライディングウィンドウのサイズを最適な仕方で決定することが実際に可能である。計算を妨げるであろう過去の完了した動作を記述する信号を考慮するのではなく、進行中の動作に対応する信号の最新の周期だけを考慮することが実際により有用である。

【0088】

例えば、磁力計から生じる信号が、より少ないローブを含んでいるため、第１の推定モジュールＥＳＴ１への入力として用いられる。このＭａｒａｋｏｖ推定は単に、極値の存在を評価することにより信号の傾向の変化を考慮する。各点について、最も近い過去の極値からの距離を決定することが可能である。従って、新規の極値が出現したならば、以前の極値からの距離により周期を推定することが可能である。

【0089】

推定可能な第２のパラメータは振幅、すなわち一歩の長さである。同様に、第２の推定モジュールＥＳＴ２の正確な相関の結果を用いるか、またはＭａｋａｒｏｖによる第１の推定モジュールＥＳＴ１の第１の高速推定の結果に基づいて、歩行動作の信号を含むスライディングウィンドウのサイズを抽出することが必要である。

【0090】

当該振幅は、磁力計から生じた信号を用いて決定され、信号の和の最大値と最小値の差の絶対値に対応している。

【数8】

Ｓは右足または左足の磁力計信号の和である。
フレームの変更の場合、Ｓ（ｔ）＝Ｍ_ｘ（ｔ）＋Ｍ_ｙ（ｔ）＋Ｍ_ｚ（ｔ）またはＳ（ｔ）＝Ｍ_ｕ（ｔ）＋Ｍ_ｖ（ｔ）＋Ｍ_ｗ（ｔ）である。

【0091】

第３のパラメータは衝撃、すなわち踵と地面の間の衝突力であろう。この値は、センサーの加速に直接関連付けられており、従ってこれらの値に比例する。

【0092】

これらの結果は歩行動作中の加速度の最大値に対応すると考えられる。従って振幅の場合と同様に、第２の推定モジュールＥＳＴ２の正確な相関の結果を用いるか、またはＭａｋａｒｏｖによる第１の推定モジュールＥＳＴ１の第１の高速推定の結果に基づいて、歩行動作に対応する信号のウィンドウを抽出することが必要である。

【0093】

この計算は、加速度信号のノルムであるため、簡単に実行される。

【数9】

【0094】

当該動作の別の特徴は方位であろう。従って、最も自然に磁石の北に対するプレーヤーの方位を考慮することにより、磁力計の信号を用いる。

【0095】

相関計算には重み付けウィンドウが関与する。重み付けの方式は選択可能である。しかし、ウィンドウが直近のサンプルを最重要視するため、方式は性能にほとんど影響を与えない。

【0096】

最後に、センサーの位置に応じて、相関計算に２個の信号（例えばＸ軸に沿った左の足および右足）だけを用いるようにセンサーの方位の主軸を示すことが有用であろう。

【0097】

また、動作の主軸を決定すべくフレームの変更を適用し、その結果考慮する主軸を自動的に決定することも可能であるが、この計算では複雑さが増す恐れがある。ここでも、実験により、センサーが足の側面に装着されている場合、同じＸ軸を用いることで良好な堅牢性を維持しながら良好な結果を得ることが可能になることが明らかになっている。

【0098】

歩行頻度を予め決定する利点を示すため、図８に適合的または非適合的ウィンドウを用いて、歩行の周期または持続期間の結果を示す。

【0099】

図８に示す信号は上から下へ、以下を表す。
−足に装着された加速度計により送信されたＸ軸に沿った加速度の信号。
−可変ウィンドウサイズの、時間ｔおよびシフトτの関数としての相関関数。画像の最上部の黒いゾーンは、適合的に調整されたウィンドウのサイズに関連付けられている。本例では０．５秒〜１．７秒の間で変動する。
−本発明に従い、真の値との比較により適合的に推定された周期。
−固定ウィンドウサイズの時間ｔおよびシフトτの関数としての相関関数。
−真の値との比較により、固定ウィンドウで推定された２秒の周期。

【0100】

従って、速い歩調から遅い歩調への遷移が生じる時点Ａ、Ｂ、およびＣにおいて、第２のグラフで表す適合的アプローチは、第３のグラフで表す固定サイズのウィンドウの場合より迅速に応答する。時点Ｄは、遅い歩調から速い歩調への遷移に対応し、この場合その差は信号自体に起因してより微小であるにも拘わらず、応答性は向上している。時点Ｅは、二つの歩行速度の間をより穏やかに遷移する間は、適合的アプローチの方がより漸進的であることを示すため、興味深い。

【0101】

本発明は、リアルタイム性の向上、並びに、ビデオゲームの場合において各種のプレー方法に関してシステムの堅牢性を向上させるのに有用である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】