特開 2016-208516 人物の活動の映像内のフレームをイベントに関連付けるための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-208516(P2016-208516A)

(43)【公開日】2016年12月8日

(54)【発明の名称】人物の活動の映像内のフレームをイベントに関連付けるための方法およびデバイス

(51)【国際特許分類】

   H04N 5/91 20060101AFI20161111BHJP

   H04N 5/765 20060101ALI20161111BHJP

   H04N 5/225 20060101ALI20161111BHJP

   A63B 69/00 20060101ALI20161111BHJP

【ＦＩ】

   H04N5/91 Z

   H04N5/91 L

   H04N5/225 F

   A63B69/00 A

   A63B69/00 C

【審査請求】未請求

【請求項の数】36

【出願形態】ＯＬ

【外国語出願】

【全頁数】53

(21)【出願番号】特願2016-85673(P2016-85673)

(22)【出願日】2016年4月22日

(31)【優先権主張番号】10 2015 207 415.3

(32)【優先日】2015年4月23日

(33)【優先権主張国】DE

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＥＴＨＥＲＮＥＴ

２．ＦＩＲＥＷＩＲＥ

３．Ｔｈｕｎｄｅｒｂｏｌｔ

４．ｖｉｎｅ

(71)【出願人】

【識別番号】510204998

【氏名又は名称】アディダス アーゲー

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100114409

【弁理士】

【氏名又は名称】古橋 伸茂

(74)【代理人】

【識別番号】100104282

【弁理士】

【氏名又は名称】鈴木 康仁

(72)【発明者】

【氏名】ロバート フランク キルク

(72)【発明者】

【氏名】コンスタンティン ツヴィク

(72)【発明者】

【氏名】ドミニク シュルドハウス

(72)【発明者】

【氏名】ビョルン マイケル エスコフィアー

(72)【発明者】

【氏名】ハラルド コルガー

(72)【発明者】

【氏名】マイク ぺトラ ストーヴ

【テーマコード（参考）】

5C053

5C122

【Ｆターム（参考）】

5C053FA23

5C053FA27

5C053GB06

5C053JA21

5C053LA01

5C053LA11

5C053LA14

5C122DA03

5C122DA09

5C122DA21

5C122EA42

5C122EA68

5C122EA69

5C122FA18

5C122GA24

5C122GA31

5C122GA34

5C122HA05

5C122HA13

5C122HA35

5C122HA75

5C122HA76

5C122HA88

5C122HB05

5C122HB06

5C122HB10

(57)【要約】      （修正有）

【課題】時間のかかる映像の手動編集なしで、活動後ただちに映像要約を与える方法を提供する。
【解決手段】人物の活動の映像を記録するステップと、人物が活動を行っている間に当該人物に接続された少なくとも１つのセンサを含むセンサアセンブリ１２から得られたセンサデータの時系列を記憶するステップと、映像をセンサデータと同期させるステップと、時系列内のイベントを検出するステップと、イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるステップとを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ａ．人物の活動の映像を記録するステップと、
ｂ．人物が活動を行っている間に当該人物に接続された少なくとも１つのセンサを含むセンサアセンブリから得られたセンサデータの時系列を記憶するステップと、
ｃ．映像をセンサデータと同期させるステップと、
ｄ．時系列内のイベントを検出するステップと、
ｅ．イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるステップと、
を備える、人物の活動の映像内のフレームをイベントに関連付けるための方法。

【請求項2】

少なくとも１つのフレームを用いて、人物の活動の所定のイベントを表示する第２の映像を生成するステップ、
をさらに備える、請求項１に記載の方法。

【請求項3】

映像をセンサデータと同期させるステップが、時系列内の、および映像の少なくとも１つのフレーム内の所定の同期イベントを検出すること、
を備える、請求項１または２に記載の方法。

【請求項4】

活動がスポーツ活動である、請求項１から３のいずれか一項に記載の方法。

【請求項5】

活動がサッカーである、請求項１から４のいずれか一項に記載の方法。

【請求項6】

イベントが、キック、ショートパス、ロングパス、シュート、またはボールのコントロールである、請求項１から５のいずれか一項に記載の方法。

【請求項7】

少なくとも１つのセンサが、加速度計、ジャイロスコープ、または磁場センサである、請求項１から６のいずれか一項に記載の方法。

【請求項8】

センサアセンブリが２つ以上のセンサを備え、２つ以上のセンサからのセンサデータが時系列内で組み合わせられる、請求項１から７のいずれか一項に記載の方法。

【請求項9】

人物の活動の映像を記録するステップが、映像を少なくとも２つのカメラを用いて記録することを備える、請求項１から８のいずれか一項に記載の方法。

【請求項10】

映像をデータベースに保存するステップをさらに備える、請求項１から９のいずれか一項に記載の方法。

【請求項11】

時系列内のイベントを検出するステップが、
時系列を前処理することと、
時系列を複数のウィンドウにセグメント化することと、
外れ値を検出することと、
複数のウィンドウの各々において時系列から複数の特徴を抽出することと、
複数のウィンドウの各々において時系列から抽出された複数の特徴に基づいて、複数のウィンドウに関連するイベントクラスを推定することと、
を備える、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前処理するステップが、ローパスフィルタリングおよびダウンサンプリングを備える、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前処理された時系列を、固定のウィンドウサイズを有する複数のウィンドウにセグメント化するステップ、
をさらに備える、請求項１１または１２に記載の方法。

【請求項14】

ウィンドウの中心を、時系列内の最大ピークとするステップ、
をさらに備える、請求項１３に記載の方法。

【請求項15】

中心にある最大ピークが閾値未満であるウィンドウを除去するステップ、
をさらに備える、請求項１１から１４のいずれか一項に記載の方法。

【請求項16】

ウィンドウサイズをイベントの形状および／または程度に適合させるステップ、
をさらに備える、請求項１１から１５のいずれか一項に記載の方法。

【請求項17】

ルールベースシステムおよび／または１クラスサポートベクターマシンにより外れ値を検出するステップ、
をさらに備える、請求項１１から１６のいずれか一項に記載の方法。

【請求項18】

特徴が、外れ値を含まないウィンドウにおいて計算される、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

特徴が、たとえばウェーブレット解析、主成分分析ＰＣＡ、または高速フーリエ変換ＦＦＴを用いることによる、時間、時空間、スペクトル、またはアンサンプル統計量のうちの１つに少なくとも基づく、請求項１１から１８のいずれか一項に記載の方法。

【請求項20】

特徴が、単純平均、正規化された信号エネルギー、運動強度、信号強度面積、軸間相関、ウィンドウ内の最大値、ウィンドウ内の最小値、ウェーブレット変換の最大細部係数、テンプレートとの相関、テンプレートの主成分への射影、またはテンプレートの固有空間までの距離、スペクトル重心、帯域幅、優位周波数のうちの１つに基づく、請求項１１から１９のいずれか一項に記載の方法。

【請求項21】

特徴選択手順により特徴の数を削減するステップ
をさらに備える、請求項１１から２０のいずれか一項に記載の方法。

【請求項22】

イベントクラスが、ベイズ分類器たとえばナイーブベイズ分類器、最大マージン分類器たとえばサポートベクターマシン、アンサンブル学習アルゴリズムたとえばアダブースト分類器およびランダムフォレスト分類器、ニアレストネイバー分類器、ニューラルネットワーク分類器、ルールベース分類器、またはツリーベース分類器に基づいて推定される、請求項１１から２１のいずれか一項に記載の方法。

【請求項23】

イベントクラスの最終予測を推定するために、いくつかの分類器の決定を融合させるステップ
をさらに備える、請求項１１から２２のいずれか一項に記載の方法。

【請求項24】

相関、整合フィルタリング、ダイナミックタイムワーピング、または最長共通部分列（ＬＣＳＳ）およびそのスライディングウィンドウ変形、ワーピングＬＣＳＳを用いたテンプレートのマッチングにより、イベントを検出するステップをさらに備える、請求項１１から２３のいずれか一項に記載の方法。

【請求項25】

イベントクラスを推定することが、
形状が類似したイベントを含む統合されたイベントグループ同士を区別することと、
１つの特定のグループに属する単一イベント同士を区別することと、
を備える、請求項１１から２４のいずれか一項に記載の方法。

【請求項26】

推定するステップが、教師あり学習に基づいて訓練された分類器に基づく、請求項１１から２５のいずれか一項に記載の方法。

【請求項27】

検出されたイベントに少なくとも部分的に基づいて要約統計量を提供すること
をさらに備える、請求項１から２６のいずれか一項に記載の方法。

【請求項28】

キックに関連付けられたイベントが検出された場合に、時系列に基づいて球速を推定するステップ
をさらに備える、請求項１から２７のいずれか一項に記載の方法。

【請求項29】

請求項１から２８のいずれか一項に記載の方法を実施するように構成された、人物の活動の映像内のフレームをイベントに関連付けるためのシステム。

【請求項30】

ａ．人物の活動の映像を記録するための少なくとも１つのカメラと、
ｂ．人物が活動を行っている間に当該人物に接続可能な少なくとも１つのセンサを備える少なくとも１つのセンサアセンブリと、
ｃ．少なくとも１つのセンサから得られたセンサデータの時系列を格納するためのメモリと、
ｄ．映像をセンサデータと同期させ、時系列内のイベントを検出し、イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるためのプロセッサと、
を備える、人物の活動の映像内のフレームをイベントに関連付けるためのシステム。

【請求項31】

センサアセンブリが、人物の体に接続されるように構成された、請求項３０に記載のシステム。

【請求項32】

センサアセンブリが、ストラップまたはブレスレットに取り付けられるように構成された、請求項３０または３１に記載のシステム。

【請求項33】

センサアセンブリを備えるウェアラブルデバイスをさらに備える、請求項３０から３２のいずれか一項に記載のシステム。

【請求項34】

センサアセンブリがメモリを備える、請求項３０から３３のいずれか一項に記載のシステム。

【請求項35】

少なくとも２つのカメラを備える、請求項３０から３４のいずれか一項に記載のシステム。

【請求項36】

実行された場合に、請求項１から２８のいずれか一項に記載の方法をコンピュータに実施させる命令を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物の活動の映像内のフレームをイベントに関連付けるための方法およびシステムに関する。

【背景技術】

【0002】

人間の活動の分析が、様々な用途、たとえば医学的評価、スマート環境、およびスポーツ用途のために必要である。スポーツ用途は、プロフェッショナル用およびレクリエーション用で関心が高い。これは、アスリートの調整およびパフォーマンス分析を含む。トレーニング中または競技中のアスリートをモニタリングすることは、適切なフィードバックを与えるために不可欠である。さらに、フィードバックシステムは、日々のスポーツ活動を増やすこと、および個々の健康（fitness）を改善するように動機付けることができる。

【0003】

たとえば、試合に出場中のアスリート達は、彼らのパフォーマンスの映像要約、たとえば彼らのサッカーのキックまたはトリックを表示する映像を取得して、フィードバックを得ること、および彼らの能力を向上することを望む。しかしながら、スポーツ活動全体、たとえばサッカーの試合を見て、各プレーヤーに関連するシーケンスを手動で編集し、彼に映像要約を提供するようにすることは、時間がかかるタスクである。したがって、この種の分析は、トレーナーおよびアシスタントのスタッフがアスリートをサポートするプロフェッショナルの領域（たとえばプライムリーグサッカークラブ）のみで行われている。大衆（mass）およびリクリエーションのスポーツの領域では、そのような種類の映像分析および映像要約は、時間がかかり複雑であるという性質のために、確立されていない。

【0004】

他方、装着式慣性磁気センサを、人間の活動を分析するのに用いることもできる。センサは、組み込まれた錘（mass）の移動を評価することで人間の動きの運動特性（kinematics）をキャプチャすることができる。移動は、慣性力により生じる。あるいは、センサは、外部磁場に対する磁気センサの向きを評価することで人間の動きの向きをキャプチャすることができる。そのようなセンサは、小型、軽量および安価などの利点を与える。センサは、スポーツウェアに統合し、拘束されない環境で長い時間にわたって移動および向きデータを取得することができる。そのようなセンサにより取得されたデータは、リアルアイムで処理することができ（たとえばオンライン処理）、または、特定の活動が終わったときに後で処理するために記憶することができる（オフライン処理）。

【0005】

リアルタイム処理の例示的なシナリオは、体の異なる部分における加速度および角速度を測定する慣性および／または磁気センサを含むボディセンサネットワークをアスリートが装着することである。取得されたデータは、無線技術、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）、ＢＴＬＥ（Bluetooth（登録商標）low energy）、ＷＬＡＮ、ＺｉｇＢｅｅ（登録商標）、ＡＮＴ（登録商標）、Ａｎｔ＋などによりモバイルデバイスに送信される。デバイスは、データをリアルタイム処理で評価し解釈することができる。パラメータ、たとえば歩数、歩幅、走行速度、走行距離、速度、エネルギー消費などを計算することができる。最後に、パフォーマンスのフィードバックを視覚、音声、振動などによりアスリートに与えることができる。リアルタイム性には、特定のタイムスタンプまでのフィードバックが求められる。

【0006】

オフライン処理のために、センサからのデータはメモリに格納される。たとえば、センサは、細いワイヤでデータロガーに接続することができる。あるいは、センサは、データをデータロガーに無線で、たとえば上述の無線技術を用いて送信することができる。活動後、データロガーはコンピュータに、たとえばＵＳＢまたは任意の他の適切な接続を介して接続され、データがオフライン処理のためにコンピュータに転送される。そして、データはコンピュータで処理されて、たとえば走行距離、速度、エネルギー消費などが得られる。

【0007】

センサベースのデータの現在のオンラインおよびオフライン処理方法は、ランニングのように長い時間にわたって続く活動を定量化する。したがって、これらの方法は、スポーツでの短く頻繁に発生するイベント、たとえばサッカーのキック、テニスのストローク、バスケットボールのレイアップなどを判定するものではない。イベントは、短く限られた期間を有する人間の活動の一部と定義される。

【0008】

まとめると、人間の活動、特にスポーツ活動を分析し、映像フィードバックまたは要約を提供する映像ベースのシステムは、現在、時間がかかるものであり、プロフェッショナルの領域で用いられている。他方、装着式センサから取得されたデータを処理する現在の方法は、活動全体（たとえば試合）に関する要約統計量を配信するが、特定のイベント（たとえばシュート）に焦点を合わせるものではない。さらに、装着式センサから取得されたデータに基づいて、運動シーケンス（たとえばキック）を詳細に分析することはできない。

【0009】

たとえば、米国特許出願公開第２０１２１２３７３３Ａ１号は、慣性測定ユニットから人間動作認識のための連続測定データを取得するステップと、連続測定データが特定の人間動作パターンに一致する場合に、連続測定データを分割して、少なくとも一つの人間動作パターン波形を生成するステップと、少なくとも一つの人間動作パターン波形を定量化して、少なくとも一つの人間動作シーケンスを生成するステップと、少なくとも一つの人間動作シーケンスと複数の基準人間動作シーケンスとを比較して、慣性測定ユニットに対応する人間動作を決定するステップとを備える、人間動作認識のための方法に関する。

【0010】

米国特許出願公開第２０１２０１６７６８４Ａ１号は、慣性センサを用いた選択的動き認識装置を開示している。慣性センサを用いた選択的動き認識装置は、センサユニットと、センサ選択信号を出力する選択ユニットと、センサユニットから出力された角速度センサデータおよび加速度センサデータを受信する動き検出ユニットとを含む。

【0011】

米国特許第８７０２５１６Ｂ２号は、ポータブル無線モーションキャプチャ要素、たとえば視覚マーカおよびセンサ、無線識別タグおよびモバイルデバイスコンピュータシステム内のモーションセンサから得られた、あるいは同一ユーザ、他のユーザ、過去のユーザまたはユーザのグループに関する分析された動作に基づいて計算されたモーションキャプチャデータを非限定的に含むモーションデータ内でイベントを認識することを対象とする。

【0012】

米国特許出願公開第２０１３／０２７４６３５Ａ１号によれば、センサモジュールは、ユーザにより行われる運動活動の間に対象物に物理的に接続される。センサモジュールと共に使用するための運動活動モニタリング方法は、対象物の動作を検出するステップと、動作データを記録するステップと、動作データを複数の参照モーションに関するデータと比較することで複数の参照モーションから一致する運動モーションを識別するステップと、一致した運動モーションの識別を伝える出力をユーザに提供するステップとを含む。

【0013】

米国特許出願公開第２０１３／０２７４９０４Ａ１号は、運動活動に取り組んでいる個人をモニタリングするための方法であって、個人に接続されたセンサモジュールを用いて、１回目に個人の動作を検出することと、個人の動作が所定の起動動作に対応すると決定することと、個人の動作が所定の起動動作に対応するという決定に応答して、センサモジュールの起動状態に遷移することと、起動状態のセンサモジュールを用いて、２回目に個人の動作を検出することとを含む方法を対象とする。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】米国特許出願公開第２０１２１２３７３３Ａ１号

【特許文献2】米国特許出願公開第２０１２０１６７６８４Ａ１号

【特許文献3】米国特許第８７０２５１６Ｂ２号

【特許文献4】米国特許出願公開第２０１３／０２７４６３５Ａ１号

【特許文献5】米国特許出願公開第２０１３／０２７４９０４Ａ１号

【非特許文献】

【0015】

【非特許文献1】Shaoyan Zhang, Alex V. Rowlands, Peter Murray, and Tina L. Hurst, "Physical Activity Classification Using the GENEA Wrist-Worn Accelerometer", Medicine & Science in Sports & Exercise, 44(4): 742-748頁, 2012年

【非特許文献2】Bernhard Scholkopf, John C. Platt, John Shawe-Taylor, Alex J. Smola and Robert C. Williamson, "Estimating the Support of a High-Dimensional Distribution", Neural Computation, 13(7): 1443-1471頁, 2001年

【非特許文献3】Alvin C. Rencher and William F. Christensen, Methods of multivariate analysis, 3rd edition, John Wiley & Sons, 2012年

【非特許文献4】Martin Vetterli and Cormac Herley, "Wavelets and filter banks: Theory and design", IEEE Transactions on Signal Processing, 40(9): 2207-2232頁,1992年

【非特許文献5】Leo Breiman, "Random forests", Machine learning, 45(1): 5-32頁, 2001年

【非特許文献6】Sergios Theodoridis and Konstantinos Koutroumbas, Pattern Recognition, 4th edition, Elsevier, 2008年

【非特許文献7】Richard O. Duda, Peter E. Hart and David G. Stork, "Pattern Classification", 2nd edition, John Wiley & Sons, 2000年

【非特許文献8】Trevor Hastie, Robert Tibshirani, Jerome Friedman, "The elements of statistical learning", volume 2, Springer 2009年

【非特許文献9】Alex J. Smola and Bernhard Scholkopf, "A tutorial on support vector regression", Statistics and Computing, 14(3): 199-222頁, 2004年

【非特許文献10】William F. Massy, "Principal Components Regression in Exploratory Statistical Research", Journal of the American Statistical Association, 60(309): 234-256頁, 1965年

【発明の概要】

【発明が解決しようとする課題】

【0016】

したがって、本発明の目的は、人物の活動、特にスポーツ活動の映像要約を提供するための方法であって、シンプルかつ高速であり、時間のかかる映像の手動編集なしで活動後ただちに映像要約を与える方法を提供することである。本発明のさらなる目的は、対応するシステムを提供することに関する。

【課題を解決するための手段】

【0017】

以下の説明を読むと明らかになるこれらおよび他の目的は、［１］による方法および［２８］によるシステムにより解決される。

【0018】

本発明の第１の態様によれば、人物の活動の映像内のフレームをイベントに関連付けるための方法は：（ａ．）人物の活動の映像を記録するステップと、（ｂ．）人物が活動を行っている間に当該人物に接続された少なくとも１つのセンサを含むセンサアセンブリから得られたセンサデータの時系列を記憶するステップと、（ｃ．）映像をセンサデータと同期させるステップと、（ｄ．）時系列内のイベントを検出するステップと、（ｅ．）イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるステップとを備える。

【0019】

本発明による方法は、人物の活動、特にスポーツ活動の映像要約を提供し、シンプルかつ高速であり、映像要約をただちに提供する。具体的には、サッカープレーヤーなどの所望のイベント（たとえばキックまたはトリック）を表示する映像のフレームは、手動で編集される必要はなく、センサデータの記憶された時系列に基づいて特定され選択される。この目的で、イベント（たとえばキックまたはトリック）が時系列内で検出され、イベントを表示する映像内の少なくとも１つの対応するフレームと関連付けられる。時系列内で検出されたイベントを映像内の関連するフレームに正確にマッピングできるようにするために、映像およびセンサデータが同期される。

【0020】

本発明による方法により、活動、たとえばサッカーの試合の後に、ハイライトリール（highlight reel）（または「ショーリール（show reel）」）を自動的に得ることができるようになる。本発明の文脈における「ハイライトリール」または「ショーリール」は、共通の特性を共有する映像シーケンスのコレクションと理解されたい。１つの共通の特性は、たとえば、ハイライトリールの全ての映像シーケンスが、特定のプレーヤーのキックおよび／またはパスおよび／またはトリックなどを表示することでもよい。他のハイライトリールは、ゴールキーバーの全ての防御イベントを表示することができる。さらに、ハイライトリールは、プレーヤーが行った特定のトリック、たとえばキーピーアッピー（keepy-uppy）またはアラウンドザワールド（around-the-world）を表示することができる。特性は、必ずしも特定のプレーヤーに関連するわけではない。たとえば、ハイライトリールが、プレーヤーとは無関係に、試合で行われた特定の球速（たとえば１００ｋｍ／ｈ）を超える全てのシュートを表示することも可能である。

【0021】

本発明の文脈におけるセンサアセンブリは、少なくとも１つのセンサを含むものと理解されたい。センサアセンブリは、センサをサポートするための追加のコンポーネント、たとえば筐体、電源、アナログ／デジタル変換器、プロセッサまたはマイクロコントローラ、メモリなどをさらに備えることができる。また、センサアセンブリは、複数のセンサ、たとえば加速度計、ジャイロスコープ、磁場センサなどを備えることができ、この場合、異なるセンサから得られたデータを１つの時系列に組み合わせることができる。また、センサアセンブリは、センサデータの時系列を格納するためのメモリを備えることができる。

【0022】

方法は、少なくとも１つのフレームを用いて、人物の活動の所定のイベントを表示する第２の映像を生成するステップをさらに備えることができる。このように、アスリート、たとえばサッカープレーヤーは、興味がある試合中の自分のアクションを表示する映像を取得することができる。たとえば、映像は、自分の全てのキックおよびパスを表示することができる。さらなる例は、事前定義されたプレーヤーのハイライト映像、試合中の全てのシュートについてのハイライト映像、または全てのトリックのハイライト映像を表示する映像である。他の例は、特定のプレーヤーの一番の親友からの全てのシュートを表示する映像である。

【0023】

映像をセンサデータと同期させるステップは、時系列内の、および映像の少なくとも１つのフレーム内の所定の同期イベントを検出することを備えることができる。たとえば、サッカープレーヤーは、映像内およびセンサデータの時系列内で簡単に検出可能な特定の事前定義された動作を行うことがある。そして、時系列内の検出されたデータ点および映像内の検出されたフレームは、同一のタイムスタンプを取得して映像を時系列と同期させることができる。このようにして、単純な同期が実現される。

【0024】

あるいはまたはさらに、映像をセンサデータと同期させるステップは、センサアセンブリに含まれる送信機（または送受信機、すなわち結合された送信機および受信機）から無線信号を受信するステップを備えることができる。たとえば、センサアセンブリは、そのような信号を送信するためのＲＦＩＤ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、またはＷＬＡＮモジュールを備えることができる。たとえば、人物がスポーツグラウンドに入った場合、スポーツグラウンドに設置された対応する受信機モジュールは、センサアセンブリに含まれる送信機から無線信号を受信し、カメラをセンサと同期させる。

【0025】

無線信号は、センサアセンブリに含まれるリアルタイムクロック（ＲＴＣ）のタイムスタンプを含むことができる。このタイムスタンプにより、カメラは、たとえば自身のＲＴＣを受信されたタイムスタンプに調整することにより、センサアセンブリのＲＴＣと同期できるようになる。より高精度な同期を得るために、タイムスタンプの実行時間および／または処理時間を考慮し、タイムスタンプに加えることができる。また、センサアセンブリは、記録された映像の２つのサンプル点（たとえば、最初および最後のフレーム）の実際の時刻を記憶する。イベントがセンサデータ内で検出された場合、対応する時点を、２つのサンプル点の記憶された時刻に基づいて決定することができる。

【0026】

あるいは、カメラまたはカメラが接続されたシステムのＲＴＣからのタイムスタンプを有する無線信号が、たとえばＲＦＩＤ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、またはＷＬＡＮを介してセンサアセンブリに送信される。この信号により、センサアセンブリは、たとえば自身のＲＴＣをそのタイムスタンプに調整することにより、カメラと同期できるようになる。より高精度な同期を得るために、タイムスタンプの実行時間および／または処理時間を考慮し、タイムスタンプに加えることができる。

【0027】

活動は、スポーツ活動とすることができる。映像分析および要約は、特に、スポーツ活動に関して所望されており、大衆およびレクリエーションのスポーツで利用することができる。本発明による方法は、特にスポーツ活動、たとえばサッカー、フットボール、ラグビー、テニス、またはバスケットボールに適している。

【0028】

活動は、サッカーとすることができる。サッカーは、試合後の映像要約に適しており、その理由は、プレーヤーがトレーニングのフィードバックを取得し、自分のパフォーマンスを他のプレーヤーと比較できるようになるためである。異なる動き（キック、シュート、ロングパス、ショートパス、コントロール、ドリブル、コーナーシュート、フリーキックなど）が多種多様であるので、サッカーは、本発明に非常に適した活動である。

【0029】

イベントは、キック、ショートパス、ロングパス、シュート、またはボールのコントロールとすることができる。これらの種類のイベントは、たとえばサッカーでは最も重要なものであり、最も有益なフィードバックをプレーヤーに与える。

【0030】

少なくとも１つのセンサは、加速度計、ジャイロスコープ、または磁場センサとすることができる。これらの種類のセンサは、体または体の一部の移動および向きについての必要な情報を提供する。これらの種類のセンサにより提供されるデータにより、イベントを信頼性高く検出できるようになる。具体的には、異なるセンサ（たとえば加速度計およびジャイロスコープ）を組み合わせることで、本発明による方法の信頼性が向上する。センサは、それらのセンサデータを融合させ、融合したセンサデータに基づいてイベントを検出することで、組み合わせることができる。

【0031】

センサアセンブリは２つ以上のセンサを備えることができ、２つ以上のセンサからのセンサデータを時系列内で組み合わせることができる。このように、イベント検出ステップの精度は、検出が基づくデータが高精度なるほど、向上させることができる。たとえば、加速度計からのデータをジャイロスコープからのデータと組み合わせて、センサアセンブリの加速度および向きの両方を取得することができる。加速度および向きに基づく時系列によって、加速度または向きのいずれかに基づく時系列よりも信頼性高くイベントを検出できるようになる。

【0032】

センサアセンブリは、人物の位置に対応するデータを提供可能な衛星ナビゲーションシステムモジュールをさらに備えることができる。衛星ナビゲーションシステムデータを用いて、イベントの検出を改善することができる。さらに、衛星ナビゲーションシステムデータを用いて、人物の活動を対応する地理的位置に関連付けることができる。たとえば、人物の活動の間に行われた特定の検出されたイベント（たとえばサッカープレーヤーのキック）を含む映像のフレームを、対応する地理的位置に関連付けることができる。また、特定の検出されたイベントを表示する映像を、対応する地理的位置に関連付けることができる。衛星ナビゲーションシステムモジュールは、ＧＰＳ、Ｇａｌｉｌｅｏ、Ｇｌｏｎａｓｓまたはこれらの組み合わせに基づくことができる。バッテリー電力を節約するために、ユーザがセンサアセンブリ上のボタンを押した場合のみ、または特定のイベント、たとえばキック、パス、トリックなどがセンサデータ内で検出された場合にのみ、地理的位置を更新することができる。

【0033】

衛星ナビゲーションシステムデータを用いて、人物の移動のヒートマップを生成することもできる。この文脈におけるヒートマップは、各位置に、人物がその特定の位置で費やした期間を関連付けるマップと理解されたい。そして、期間は、配色（color scheme）にマッピングされる。たとえば、長い期間は赤色で示され、短い位置は青色で示される。中間の値は、対応する中間の色（たとえば、自然色のスペクトルからの色）で示される。ヒートマップを用いて、人物が、たとえば試合中に時間の多くを実際に費やした場所を分析することができる。この目的で、ヒートマップをプレイフィールド（たとえばフットボールグラウンド、テニスコート、バスケットボールフィールドなど）の写真または模式図に重ねることができる。このように、ヒートマップは、人物の好みの位置を示す。

【0034】

時系列内のイベントを検出するステップは、時系列を前処理することと、時系列を複数のウィンドウにセグメント化することと、外れ値を検出することと、複数のウィンドウの各々において時系列から複数の特徴を抽出することと、複数のウィンドウの各々において時系列から抽出された複数の特徴に基づいて、複数のウィンドウに関連するイベントクラスを推定することとを備えることができる。

【0035】

時系列においてイベントを検出するためのこのステップのシーケンスは、信頼性が高く、計算コストが低く、リアルタイム処理が可能であり、広い範囲の活動、特にスポーツ活動に適用することができる。これらの利点は、ステップの特定の組み合わせにより実現される。したがって、適切なフィルタおよび信号処理を用いて時系列を前処理することで、データを、後続の方法ステップ用に最適に準備することができる。少なくとも１つのセンサにより取得された時系列を複数のウィンドウにセグメント化することで、データの処理は、ウィンドウサイズにより与えられる限られた量のデータに焦点を合わせることができる。外れ値を検出することで、不所望のウィンドウを除去することができる。ウィンドウの各々においてセンサデータから複数の特徴を抽出することで、問題の大きさを小さくすることができる。たとえば、各ウィンドウが数百のデータ点を含む場合、約１ダースの関連する特徴を抽出することで、計算コストが大きく減少する。さらに、複数のウィンドウに関連するイベントクラスを推定する後続のステップは、抽出された特徴に対してのみ作用する必要があり、各ウィンドウ内のデータ点のフルセットに対してではない。

【0036】

計算コストが低いので、このステップのシーケンスは、特に、センサデータのリアルタイム処理に適している。したがって、方法は、たとえば人物が着用する靴、衣料品、ウェアラブルデバイス（体に楽に装着可能な、衣類またはアクセサリに組み込まれたコンピュータ）などに取り付けられたまたは組み込まれた、あるいは人物に直接、肌などに接続された、センサアセンブリ自体において実施することができる。たとえば、センサアセンブリは、靴の上に、靴の中に（たとえばアッパー、ミッドソール、アウトソール）、ソックライナー（取り外し可能なインソール）の中に配置することができる。デバイスはウェアラブルデバイスとすることもできる。ウェアラブルデバイスは、人物が装着可能であって、人物の体に直接または間接的に取り付けられる電子デバイスと理解されたい。ウェアラブルデバイスは、たとえば、時計、ブレスレット、メガネ、帽子、衣類、衣料品、四肢に装着されるストラップなどとすることができる。

【0037】

センサアセンブリは、下肢、たとえば脛領域や足首に装着することができる。スポーツの種類に応じて、センサアセンブリは、（たとえばテニスまたはバスケットボールなどのスポーツのために）手首付近に装着することもできる。センサアセンブリは、アスリートが関心対象の活動を行うために使用するスポーツ用品、たとえばテニスラケット、サッカーボール、バスケットボールまたはスケートボードなどに組み込むこともできる。

【0038】

センサアセンブリは、前述のステップのシーケンスを実施可能な中央処理装置を備えることができる。この目的で、処理装置は、対応するコンピュータ可読命令を実行することができる。

【0039】

前処理するステップは、ローパスフィルタリングおよびダウンサンプリングを備えることができる。ローパスフィルタリングがノイズ低減のために適用される。ダウンサンプリングにより、処理すべきデータの量が減少し、より効率的に実施できるようになる。

【0040】

１つの前処理ステップは、加速度計データの信号強度ベクトル（SMV:signal magnitude vector）の計算を含むことができる。信号内の高エネルギー領域を決定するために、閾値処理手順をＳＭＶに適用することができる。時系列を、たとえば前述の高エネルギー領域周辺において、固定サイズを有する複数のウィンドウにセグメント化することができる。たとえば、ウィンドウは、時系列内の最大ピークを中心とすることができる。固定サイズを有するこれらのウィンドウは、簡単に実装することができ、計算コストが低い。

【0041】

あるいは、ウィンドウサイズを、イベントの形状および／または程度に適合させることができる。たとえばコントロールとシュートなど、イベントの長さは異なる場合があるので、最適なウィンドウサイズを見つけることは困難である。したがって、ウィンドウサイズを、イベントの形状および／または程度に適合させることができる。中心にある最大ピークが閾値未満であるウィンドウを除去することができる。このように、方法は、重要なイベントを含む有望な候補であるウィンドウに焦点を合わせることができる。

【0042】

また、時系列は、事前記録されたイベントの既知の信号を用いて定義されたイベントのテンプレートとのマッチングを用いて、複数のウィンドウにセグメント化することもできる。マッチングは、相関、整合フィルタリング、ダイナミックタイムワーピング、または最長共通部分列（LCSS:Longest Common Subsequence）およびそのスライディングウィンドウ変形、ワーピングＬＣＳＳに基づくことができる。

【0043】

セグメント化されたウィンドウは、不所望の運動、たとえばランニング、ウォーキングおよびタックルを含むことがある。したがって、外れ値検出手順、たとえばルールベースシステムまたは１クラスサポートベクターマシンなどを適用することができる。外れ値検出手順を通過したセグメント化されたウィドウは、さらに処理される。

【0044】

イベントクラスは、少なくとも判定すべきイベントと、特定のイベントに属さないセンサデータに関連付けられた外れ値クラスとを含むことができる。このように、特定の活動に関する関心対象のイベントと、他の全てのイベントとを区別することができる。

【0045】

特徴は、たとえばウェーブレット解析、高速フーリエ変換（ＦＦＴ）、または主成分分析（ＰＣＡ）を適用することによる、時間、時空間、スペクトル、またはアンサンプル統計量のうちの１つに少なくとも基づくことができる。前述の統計量および変換は、極力冗長ではなく、かつイベントの信頼性の高い判定が可能になるウィンドウの各々における時系列から特徴を導出するのに適している。

【0046】

特徴は、単純平均、正規化された信号エネルギー、運動強度（movement intensity）、信号強度面積（signal magnitude area）、軸間相関、ウィンドウ内の最大値、ウィンドウ内の最小値、ウェーブレット変換の最大細部係数、テンプレートとの相関、テンプレートの主成分への射影、テンプレートの固有空間までの距離、スペクトル重心、帯域幅、または優位周波数のうちの１つに基づくことができる。これらの種類の特徴により、人間の動きに関連したイベントを信頼性高く判定できるようになることが分かっている。

【0047】

方法は、特徴選択手順により特徴の数を削減するステップをさらに備えることができる。重要な特徴に焦点を当てることにより特徴の数を削減することで、計算的な複雑性が減少する。たとえば、特徴は、逐次前進選択（sequential forward selection）に基づいて選択することができる。

【0048】

イベントクラスは、ベイズ分類器たとえばナイーブベイズ分類器、最大マージン分類器たとえばサポートベクターマシン、アンサンブル学習アルゴリズムたとえばアダブースト分類器およびランダムフォレスト分類器、ニアレストネイバー分類器、ニューラルネットワーク分類器、ルールベース分類器、またはツリーベース分類器に基づいて推定することができる。これらの方法により、人間の活動に関連するイベントを信頼性高く分類できるようになることが分かっている。

【0049】

より信頼性の高い分類を得るために、上述の分類器のうちのいくつかの分類器の決定を融合させることで（決定レベル融合）、イベントクラスを決定することもできる。

【0050】

方法は、相関、整合フィルタリング、ダイナミックタイムワーピング、または最長共通部分列（ＬＣＳＳ）およびそのスライディングウィンドウ変形、ワーピングＬＣＳＳを用いたテンプレートのマッチングにより、イベントを検出するステップをさらに備えることができる。

【0051】

イベントクラスを推定することは、形状が類似したイベントを含む統合されたイベントグループ同士を区別することと、１つの特定のグループに属する単一イベント同士を区別することとを備えることができる。したがって、異なるイベントの分類は、階層的に行われる。イベントは、類似した信号形状を有するインスタンス、たとえばコントロールおよびショートパスまたはロングパスおよびシュートにグループ化することができる。異なる分類システムを用いて、まずイベントのグループを分類し、そしてさらに単一イベントクラスを区別するようにすることができる。

【0052】

推定するステップは、教師あり学習に基づいて訓練された分類器に基づくことができる。教師あり学習により、分類器を、特定のイベントクラス（たとえば、キック、シュート、パスなど）に、および／または特定の種類のアスリート（たとえば、プロフェッショナル、アマチュア、レクリエーション）に、あるいは特定の人物にすら適合させることができるようになる。

【0053】

オンライン学習により、システムパフォーマンスのさらなる改善を達成することができる。オンライン学習により、システムは、人間のインタラクションなしでユーザに適合できるようになる。システムは、たとえばゲーム内の、追加の検出されたイベントを用いて再訓練される。

【0054】

方法は、リアルタイムで実施することができる。リアルタイム分析を用いて、特定のイベントを予測し、特定の対策を開始することができる。たとえば、スポーツ用品を、たとえばボールのインパクトの前に、キックまたはヒットに適合させることができる。また、リアルタイム分析は、リアルタイムフィードバックを人物に与えるために重要である。たとえば、人物に、過度なストレスまたは他の不健康な状況に関してただちに警告することができる。

【0055】

センサアセンブリは、人物の体の四肢に装着されるストラップに取り付けることができる。そのような配置には、四肢の動きを即時に測定でき、サッカーのキックなどの特定のイベントを信頼性高く判定できるという利点がある。さらに、センサデータの収集はフットウェアおよび他の用品と無関係であり、たとえばサッカープレーヤーは自分が好む靴および／または脛当て（shinguard）であれば何でも使用することができる。ストラップは、織物材料、レザー、人工レザー、プラスチックなどから作ることができる。ストラップは、人物の体の四肢、たとえば腕および／または脚に装着可能な任意のループ状の構成として理解されたい。他の例は、スポーツ、たとえばテニス（フォアハンド／バックハンド検出用）、ゴルフ（フルスイング、ハーフスイング、パット検出用）、ならびにラケットおよびクラブのスポーツなどのための手首装着型ウェアラブルである。

【0056】

センサアセンブリは、たとえば接着、溶接または縫合によりストラップに永久に取り付けるまたは組み込むことができる。あるいは、センサアセンブリは、たとえばフック・ループ式ファスナー、スナップボタンなどによりストラップに着脱可能に取り付けることができる。

【0057】

さらに、センサアセンブリは、人物が着用する、または直接人物に、たとえば肌に接続される靴または衣料品に取り付けるまたは組み込むことができる。たとえば、センサは、靴の上に、靴の中に（たとえばアッパー、ミッドソール、アウトソール）、ソックライナー（取り外し可能なインソール）の中に配置することができる。靴は、センサアセンブリが配置される空洞を含むことができる。センサアセンブリは、ウェラブルデバイス、たとえば時計、ブレスレット、または現在時刻を表示可能な時計型デバイスに取り付けるまたは組み込むこともできる。センサアセンブリは、下肢、たとえば脛領域や足首に装着することができる。

【0058】

センサアセンブリは、アスリートが関心対象の活動を行うために使用するスポーツ用品、たとえばテニスラケット、サッカーボール、バスケットボールまたはスケートボードなどに組み込むこともできる。

【0059】

システムの精度を向上させるために、異なる体の位置における異なるデバイスのセンサデータを融合させることができる。たとえば、サッカープレーヤーは複数のセンサを脚に（たとえば足に１つ、脛に１つ、腿に１つ）配置させることができ、テニスまたはゴルフプレーヤーは複数のセンサを腕に（たとえば手首に１つ、上腕に１つ）、任意で追加で足に配置させることができる。そして、これらの異なるセンサのセンサデータは融合され、すなわちイベントが、組み合わせられたセンサデータに基づいて検出されて、プレーヤーにより行われた動きの種類のより良い推定が得られる。

【0060】

フィードバックは、推定されたイベントに基づいて人物に与えることができる。したがって人物に、トレーニング中または試合中に、自分のパフォーマンスなどについて知らせることができる。そのようなフィードバックは、リアルタイムで与えることができる。たとえば、フィードバックは、スマートフォンのディスプレイ上に（走行距離、シュート数などを表示）、時計のディスプレイ上に、センサアセンブリのディスプレイ上に、またはスポーツグラウンドなどに配置された外部ディスプレイ上に提供することができる。

【0061】

フィードバックは、非リアルタイムで与えることもできる。たとえば、フィードバックは、活動後に（たとえば試合後またはトレーニング後に）、たとえばロッカールームで（壁に設置されたディスプレイ上に、または人物の電子デバイス、たとえばスマートフォン、タブレットＰＣ上に）、または自宅において提供することができる。この目的で、フィードバックデータを、データベースまたはクラウドストレージに格納することができる。

【0062】

要約統計量は、検出されたイベントに基づいて提供することができる。このように、統計量は、特定のイベントのクラスに合わせて調整することができる。たとえばサッカーの用途では、シュートの回数および強度、シュート速度、ボール上の時間（time on ball）、ロングパスおよびショートパスの回数、ドリブルの期間などについての統計量を与えることができる。バスケットボールに関する要約統計量は、プット、パスおよびドリブルの回数、ボール保持時間、ジャンプの強度（intensity）などを含むことができる。テニスに関する要約統計量は、ヒット数、推定球速、フォアハンドおよびバックハンドのヒットの割合、サービスの回数および強度などを含むことができる。これらの統計量は、テニスプレーヤーがセンサアセンブリを手付近に装着した場合に提供することができる。テニスプレーヤーが追加でセンサアセンブリを片足または両足付近に装着した場合、走行の統計量、たとえば総距離、（たとえばネットへの）全力疾走（sprint）の回数などを提供することもできる。

【0063】

要約統計量は、特定のプレーヤーの検出されたイベント（たとえば全シュート）を表示する映像と組み合わせることができる。このように、組み合わせられた要約またはフィードバックが得られる。

【0064】

検出されたイベントに基づく要約統計量（および任意選択で、特定のイベントの生成された映像）は、他の人々、たとえばトレーナー、観衆またはこれらの統計量に興味のある他の人々に転送することができる。転送は、インターネット上でライブストリームを介して行うことができる。転送は、たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥ、ＮＦＣ、ＲＦＩＤ、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｔｈｕｎｄｅｒｂｏｌｔなどの媒体に基づくことができる。要約統計量（および任意選択で、特定のイベントの生成された映像）に基づいて、プレーヤーはトレーナーまたはスカウトなどからフィードバックを得ることができる。

【0065】

さらに、要約統計量（および任意選択で、特定のイベントの生成された映像）に基づいて、すなわちプレーヤーの成果に応じて、ストアまたはスタジアム内の特別なエリアをロック解除することができる。たとえば、プレーヤーが試合中に特定数のボールコンタクトを達成した場合、ストアまたはスタジアム内の特定のエリアへのアクセスが授与される。

【0066】

また、センサデータを用いて、トリックカウンタ（すなわち、行われたステップオーバー、アラウンドザワールドなどのトリックの回数）、フットボール活動モニタ、キーピーアッピートラッカー（すなわち、ボールのジャグリング中のボールコンタクトのカウント）、「アラウンドザワールド」（すなわち、ボールを片脚で持ち上げ、その脚をボールの周りに地面に落下する前に動かすこと）、または１対１カウンタ（すなわち、プレーヤーがフィールド上で１対１の状況になり、たとえば相手を迂回する（bypass）および／または出し抜く（trick）ことを試みた頻度のカウント）を提供することもできる。たとえば、センサデータを分析して、プレーヤーがボールを地面に落下させずに行ったボールコンタクトの回数を決定することができる（キーピーアッピー）。上述の統計量は、対応する検出されたイベントに基づいて決定することができ、すなわちイベントは、（キーピーアッピーのための）足とボールとのコンタクト、または（「アラウンドザワールド」のための）円運動とすることができる。キックに関連するイベントが検出された場合、球速をセンサデータに基づいて推定することができる。したがって、人物は、自分のキックのパフォーマンスについてのフィードバックを得ることができる。球速は、前処理、特徴抽出および回帰により推定することができる。センサデータをセグメント化することができ、セグメント化された領域ごとに特徴を計算することができる。以下でより詳細に説明されるように、計算された特徴を入力として用いる様々な回帰技法を用いることができる。

【0067】

方法は、検出されたイベントに関するフィードバックを得ることをさらに備えることができる。たとえば、イベントは、プレーヤーにより行われた特定のサッカーのトリックとすることができる。トリックが行われている間に収集されたセンサデータを分析して、そのトリックが上手く行われた度合いを決定することができる。たとえば、プレーヤーは、スマートフォン、タブレットＰＣ、ノートブック、スマートウォッチなどを用いて行うべきトリックをプレーヤーに見せることができる。プレーヤーはトリックを行い、自分の動きの正確性のフィードバックを受ける。トリックに対応するイベントは、前述のように決定することができる。

【0068】

人物の活動の映像内のフレームをイベントに関連付けるためのシステムは、上述の方法を実施するように構成することができる。

【0069】

イベント／アクションの自動検出に加えて、人物は重要なシーンを自分で決定することができる。したがって、たとえばセンサアセンブリをタップすることで、動きを定義する必要がある。この目的で、センサアセンブリは、ボタンもしくはスイッチまたはタッチ感応領域を有することができる。所望の動きをセンサアセンブリに示すために、ダブルまたはトリプルタップを行うようにユーザに求めることができる。あるいは、センサアセンブリはモバイルデバイス（たとえばスマートフォン、タブレットＰＣなど）と通信することができ、人物は所望の動きをセンサアセンブリへモバイルデバイスを介して示すことができる。たとえば、モバイルデバイスは、「開始（go）」または「終了（stop）」と表記されたボタンを画面に表示することができ、これらはユーザが押すことで特定のイベント（たとえば、行うトリック）の開始および終了を示すものである。また、特定の力がタッチ感応領域に加えられる必要があること、または特定のジェスチャがその上で行われることも可能である。

【0070】

特定の動きのセンサデータを用いて、たとえば隠れマルコフモデルまたは１クラスサポートベクターマシンを含む分類システムを訓練することができる。訓練されたシステムは、上述のアルゴリズムのパイプラインに組み込むことができる。

【0071】

本発明のさらなる態様は、（ａ．）人物の活動の映像を記録するための少なくとも１つのカメラと、（ｂ．）人物が活動を行っている間に当該人物に接続可能な少なくとも１つのセンサを備えるセンサアセンブリと、（ｃ．）センサから得られたセンサデータの時系列を格納するためのメモリと、（ｄ．）映像をセンサデータと同期させ、時系列内のイベントを検出し、イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるためのプロセッサとを備える、人物の活動の映像内のフレームをイベントに関連付けるためのシステムに関する。

【0072】

センサアセンブリは、人物の体に接続されるように構成することができる。これにより、体からセンサへ力を直接かつ即時に伝達して、測定されるデータの精度を向上できるようになる。

【0073】

センサアセンブリは、靴に取り付けられるように構成することができる。そのような構成には、靴の動きを即時に測定することができ、キックなどの特定のイベントを信頼性高く判定できるという利点がある。靴は、サッカー、ラグビーまたはフットボールの靴とすることができる。

【0074】

センサアセンブリは、脛当てに取り付けられるように構成することができる。そのような構成により、キックなどの特定のイベントを信頼性高く判定することができ、デバイスは人物が着用する靴と無関係である。

【0075】

さらに、センサアセンブリは、人物が着用する、または人物に直接、肌などに接続することができる靴または衣料品取り付けるまたは組み込むことができる。たとえば、センサは、靴の上に、靴の中に（たとえばアッパー、ミッドソール、アウトソール）、ソックライナー（取り外し可能なインソール）の中に配置することができる。靴は、センサアセンブリが配置される空洞を含むことができる。センサアセンブリは、ウェラブルデバイス、たとえば時計、ブレスレット、または現在時刻を表示可能な時計型デバイスに取り付けるまたは組み込むこともできる。センサアセンブリは、下肢、たとえば脛領域や足首に装着することができる。

【0076】

センサアセンブリは、アスリートが関心対象の活動を行うために使用するスポーツ用品、たとえばテニスラケット、サッカーボール、バスケットボールまたはスケートボードなどに組み込むこともできる。

【0077】

システムは、センサおよびメモリを備えるウェアラブルデバイスをさらに備えることができる。ウェアラブルデバイスにより、象徴的な外観（iconic look）が可能となり、都会的なコンテキストでも装着することができる。

【0078】

システムは、センサに関連付けられた無線モジュールをさらに備えることができる。無線モジュールは、ＲＦＩＤ、ＮＦＣ、ＢＴ、ＢＴＬＥ、ＷｉｆｉまたはＷＬＡＮモジュールとすることができる。たとえば、センサアセンブリ、メモリ、および無線モジュールは、ウェアラブルデバイスに取り付けるまたは組み込むことができ、無線モジュールを用いて近くの他のウェアラブルデバイスを検知することができる。さらに、スポーツ関連エリア、たとえばフットボールのグラウンドまたはスタジアムに、無線ビーコンまたはＲＦＩＤ／ＮＦＣタグを設け、ウェアラブルデバイスにより認識することができる。これに応答して、ウェラブルデバイスは、たとえばセンサを（フットボールグラウンドまたはスタジアムに設置された）カメラと同期させるなどのアクションを行うことができる。

【0079】

センサデータを映像と同期させることは、無線モジュールから無線信号を受信することを備えることができる。たとえば、ウェラブルデバイスを装着した人物がスポーツグラウンドに入った場合、スポーツグラウンドに設置された対応する無線受信機モジュールは、ウェアラブルデバイスに含まれる無線モジュールから無線信号を受信し、カメラをセンサと同期させる。無線信号は、センサアセンブリまたは無線デバイスに含まれるリアルタイムクロック（ＲＴＣ）のタイムスタンプを含むことができる。このタイムスタンプにより、カメラは、たとえば自身のＲＴＣを受信されたタイムスタンプに調整することにより、センサアセンブリまたはウェアラブルデバイスのＲＴＣと同期できるようになる。より高精度な同期を得るために、タイムスタンプの実行時間および／または処理時間を考慮し、タイムスタンプに加えることができる。また、センサアセンブリまたはウェアラブルデバイスは、記録された映像の２つのサンプル点（たとえば、最初および最後のフレーム）の実際の時刻を記憶する。イベントがセンサデータ内で検出された場合、対応する時点を、２つのサンプル点の記憶された時刻に基づいて決定することができる。

【0080】

あるいは、カメラまたはカメラが接続されたシステムのＲＴＣからのタイムスタンプを有する無線信号が、たとえばＲＦＩＤ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、またはＷＬＡＮを介してウェアラブルデバイスに送信される。この信号により、センサアセンブリまたはウェアラブルデバイスは、たとえば自身のＲＴＣをそのタイムスタンプに調整することにより、カメラと同期できるようになる。より高精度な同期を得るために、タイムスタンプの実行時間および／または処理時間を考慮し、タイムスタンプに加えることができる。

【0081】

センサアセンブリはメモリを備えることができる。たとえば、センサアセンブリおよびメモリは、共通の筐体に含めることができる。したがって、たとえば衣類、ストラップ、靴などに簡単に取り付け可能なコンパクトなデバイスが得られる。

【0082】

本発明のさらに他の態様は、実行された場合に、前述の方法をコンピュータに実施させる命令を含むコンピュータプログラムに関する。

【0083】

以下では、本発明の例示的実施形態が、図面を参照して説明される。

【図面の簡単な説明】

【0084】

【図1】本発明の一例示的実施形態の概略図である。

【図2】本発明の文脈における複数のカメラの使用法の概略図である。

【図3】本発明によるセンサアセンブリの概略図である。

【図4】ストラップに取り付けられたセンサアセンブリの一例の図である。

【図5】本発明に従って生成された映像が消費者デバイスに配信される方法の図である。

【図6】本発明に従って生成された映像がユーザに提示され得る方法の図である。

【図7】本発明に従って生成された映像のモバイルデバイス上での例示的な提示の図である。

【図8】本発明によるセンサデータの時系列からイベントを検出するステップの一例示的シーケンスの図である。

【図9】３軸加速度計から得られた例示的な時系列のプロットである。

【図10】図９に示された３軸加速度計から計算された信号強度ベクトルのプロットである。

【図11】サポートベクターマシンの図である。

【図12】イベントグループを用いた例示的な２ステップイベント分類の図である。

【発明を実施するための形態】

【0085】

本発明による一例示的方法およびシステムが、図１の概略図を参照して説明される。本発明の方法は、（ａ．）人物の活動の映像を記録するステップを備える。図１に示されるように、映像はカメラ１１で記録することができる。カメラ１１は、スマートフォンのカメラ、タブレットＰＣ、ウェブカメラ、ビデオカメラ、アクションカメラ、またはスポーツ活動を記録する専用のカメラとすることができる。一般に、フレームのシーケンスを記録可能な任意のカメラが適している。カメラ１１は、たとえばスタジアムまたはスポーツグラウンドに固定することができる。あるいは、カメラ１１は、仮設物の一部とすることができ、または人物が保持することさえできる。いかなる場合でも、カメラ１１は、人物の活動を記録するように配置される。

【0086】

単一のカメラ１１の代わりに、図２に示されるように異なる角度からシーンをキャプチャする複数のカメラを用いることができる。この例では、５台のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅが、プレイフィールドの周囲に配置されており、プレイフィールドはこの例ではサッカーフィールドであるが、一般には、スポーツ活動を行うのに適した任意の場所、たとえばバスケットボールフィールド、テニスコート、さらには街路とすることができる。図２の例では、カメラ１１ａおよび１１ｅは、ゴールの後ろに配置されている。したがって、これらのカメラは、ゴール前のシュートおよびゴールキーパーのアクションをキャプチャするのに特に適している。カメラ１１ｂおよび１１ｄは、コーナーフラグの近くに配置され、プレイフィールドの対角線ビューを配信する。さらに、これらはコーナーシュートを非常に上手くキャプチャすることができる。カメラ１１ｃは、センターラインの投影（ｐｒｏｊｅｃｔｉｏｎ）上に配置される。したがって、このカメラは、フィールドの中央部での活動、たとえばキックオフをキャプチャする。

【0087】

カメラの各々は、自身の映像ストリームをキャプチャし、すなわち図２の例では、５つの映像ストリームが生成される。映像ストリームは、それぞれのカメラに格納するか、または後述のように、後で処理するために中央記憶ユニットに転送することができる。映像ストリームの転送は、有線接続（たとえばビデオケーブル）を介して、または無線で（たとえばＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを介して）行うことができる。

【0088】

一般的に、カメラの台数および位置は、図２の例と異なっていてもよく、スポーツ活動に依存し得る。たとえば、ゴルフコースは、さらに多数のカメラを備えることができる。いずれの場合でも、複数のカメラは、シーンを異なる角度からキャプチャするのに役立ち、また、単一のカメラのみが使用された場合に前景のプレーヤーにより隠され得る活動をキャプチャすることができる。それにもかかわらず、本発明は、単一のカメラのみで実施することができる。

【0089】

活動は、スポーツ活動、たとえばサッカー、バスケットボールまたはテニスの試合とすることができる。一般的には、本発明は、任意の種類のスポーツに適用可能である。さらに、本発明は、トレーニングの状況、試合、空き時間の活動などで使用することができる。

【0090】

方法は、（ｂ．）人物が活動を行っている間に当該人物に接続された少なくとも１つのセンサを備えるセンサアセンブリ１２から得られたセンサデータの時系列を記憶するステップをさらに備える。図１に示されるように、人物はセンサアセンブリ１２を足首に装着している。センサアセンブリ１２は、単一のセンサ、たとえば加速度計、ジャイロスコープ、または磁場センサを備えることができ、あるいは複数のセンサ、すなわち前述のセンサの組み合わせを備えることができる。一般的には、少なくとも１つのセンサは、人物の動きを測定することができ、すなわち、人物の体または体の一部の運動学的状態の変化に感応する。これらの変化は、動きの変化、すなわち加速または減速、あるいは向きの変化、すなわち回転とすることができる。センサは、運動学的状態のこれらの変化に対応する電気信号を生成する。一般的には、電圧、電流または両方が、動きに応じて変化する。

【0091】

センサアセンブリ１２の少なくとも１つのセンサは、いくつかの次元において感応することができる。たとえば、加速度計は３つの空間的次元、すなわち軸の全てにおいて感応することができる。ジャイロスコープは、３つの空間的次元、すなわち軸の周りの回転に感応することができる。磁力計は、磁場（たとえば地球の磁場）の偏差を検知することができる。これらの偏差を用いて、コンパスと同様に、磁場に対する向きおよび回転を決定することができる。

【0092】

少なくとも１つのセンサにより放出された電気信号は、アナログ／デジタル（ＡＤ）変換器により特定のサンプリングレート、たとえば１００Ｈｚから１００００Ｈｚの間、好ましくは約１０００Ｈｚでサンプリングすることができる。アナログ電気信号は、一連の離散値により表される。たとえば、ＡＤ変換器の分解能が１０ビットである場合、各サンプリング点における電気信号は２^１０＝１０２４個の取り得る値により表される。このように、人物に接続されたセンサアセンブリ１２の少なくとも１つのセンサのセンサデータの時系列が得られる。

【0093】

図１の例示的実施形態では、センサアセンブリ１２は、人物の足首に接続される。しかしながら、一般的には、センサアセンブリ１２は、体の異なる部分、たとえば手首、胸、頭、脛などに接続することが可能である。さらに、センサアセンブリ１２は、人物が着用する靴、衣料品、ウェアラブルデバイスなどに取り付けるまたは組み込むことができ、または直接人物に、たとえば肌に接続することができる。たとえば、センサアセンブリは、靴の上に、靴の中に（たとえばアッパー、ミッドソール、アウトソール）、ソックライナー（取り外し可能なインソール）の中に配置することができる。靴は、センサアセンブリ１２が配置される空洞を含むことができる。センサアセンブリ１２は、たとえばストラップ、時計、ブレスレット、時計型デバイスなどウェラブルデバイスなどのデバイスに取り付けるまたは組み込むこともできる。センサアセンブリ１２は、下肢、たとえば脛領域や足首に装着することができる。センサアセンブリ１２は、アスリートが関心対象の活動を行うために使用するスポーツ用品、たとえばテニスラケット、サッカーボール、バスケットボールまたはスケートボードなどに組み込むこともできる。

【0094】

少なくとも１つのセンサが１次元（または軸）における移動および／または回転および／または向きに感応する場合、時系列は、時間的に連続したサンプリング点において観測された単一センサデータ値の順序付きシーケンスである。少なくとも１つのセンサが１より高い次元（または軸）における移動および／または回転に感応する場合、または１つより多いセンサが使用される場合、時系列は、時間的に連続したサンプリング点において観測されたセンサデータベクトルの順序付きシーケンスである。

【0095】

また、センサアセンブリ１２は、人物の位置に対応するデータを提供可能な衛星ナビゲーションシステムモジュールとすることができ、またはこれを備えることができる。衛星ナビゲーションシステムモジュールは、ＧＰＳ、Ｇａｌｉｌｅｏ、Ｇｌｏｎａｓｓまたはこれらの組み合わせに基づくことができる。バッテリー電力を節約するために、ユーザがボタンを押した場合のみ、または事前定義された時間間隔（たとえば６０秒毎、５分毎、１０分毎など）で、地理的位置を更新することができる。時間間隔の場合、ユーザは、たとえばセンサアセンブリ１２上のスイッチ、ボタンまたはタッチ感応ディスプレイを介して、あるいはスマートフォン、タブレットＰＣ、コンピュータなどを介して時間間隔を設定することができる。後者の場合、時間間隔は、有線接続（たとえばＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｔｈｕｎｄｅｒｂｏｌｔなど）または無線接続（たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥ、ＮＦＣ、ＲＦＩＤ、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）など）を介してセンサアセンブリ１２へ送信することができる。あるいは、衛星ナビゲーションシステムモジュールは、センサモジュール１２とは別に、たとえばスマートフォン、人物が装着するリストウォッチなどの中に配置される。後者の場合、地理的位置は、有線接続（たとえば細径ケーブル）または無線接続（たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥ、ＮＦＣ、ＲＦＩＤ、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）など）を介してセンサアセンブリ１２へ送信することができる。

【0096】

図１の例示的実施形態に示されるように、時系列は、後で処理するためにメモリ１３に格納される。たとえば、時系列は、活動が終わった後に、センサデータの格納された時系列をメモリ１３から読み出すことにより、取得することができる。読み出しは無線で、たとえばＷｉｆｉ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）などを介して、または有線接続、たとえばＵＳＢ、ライトニングアダプタ、ＲＪ−４５などを介して行うことができる。

【0097】

データは無線で（たとえばＷｉｆｉ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）など）、または有線の電気接続（たとえばＵＳＢ、ライトニングアダプタ、ＲＪ−４５など）を介して、少なくとも１つのセンサからメモリ１３に送信することができる。メモリ１３は図１の例示的実施形態では人物の脚に配置されているが、メモリ１３はいかなる方法でも人物に接続されておらず別個に、たとえば専用の筐体の中に配置されることも可能である。この場合、センサデータは、少なくとも１つのセンサからメモリ１３へ無線接続を介して送信される。

【0098】

さらに、メモリ１３は、センサアセンブリ１２と共に、人物が着用する靴、衣料品、ウェアラブルデバイスなどに取り付けるまたは組み込むことができる。たとえば、メモリは、靴の上に、靴の中に（たとえばアッパー、ミッドソール、アウトソール）、ソックライナー（取り外し可能なインソール）の中に配置することができる。靴は、メモリ１３が配置される空洞を含むことができる。メモリ１３は、センサアセンブリ１２と共に、たとえばストラップまたは時計、ブレスレット、時計型デバイスなどのウェラブルデバイスなどのデバイスに取り付けるまたは組み込むこともできる。メモリ１３は、下肢、たとえば脛領域や足首に装着することができる。メモリ１３は、アスリートが関心対象の活動を行うために使用するスポーツ用品、たとえばテニスラケット、サッカーボール、バスケットボールまたはスケートボードなどに組み込むこともできる。

【0099】

図３の例示的実施形態に示されるように、メモリ１３はセンサアセンブリ１２の中に配置することができ、したがってセンサアセンブリ１２の一部である。図３に、センサアセンブリ１２およびそのコンポーネントの概略図を示し、これらの一部は任意選択である。いずれの場合であっても、センサアセンブリ１２は少なくとも１つのセンサを備える。図３に示されるように、このセンサは加速度計３１とすることができる。加速度計は、加速および減速を測定し、対応する電気信号を出力する。センサアセンブリ１２は１つより多い加速度計を備えることもできる。その場合、加速度計からのセンサデータは単一の時系列に組み合わせることができる。

【0100】

加速度計３１の代わりに、センサアセンブリはジャイロスコープ３２を備えることができる。ジャイロスコープは向きの変化、すなわち回転を測定し、対応する電気信号を出力する。センサアセンブリ１２は１つより多いジャイロスコープを備えることもできる。その場合、ジャイロスコープからのデータは単一の時系列に組み合わせることができる。センサアセンブリ１２は異なる種類の２つ以上のセンサ、たとえば加速度計３１およびジャイロスコープ３２を備えることもできる。この場合、両方のセンサ３１および３２のセンサデータは、単一の時系列に組み合わせることができる。

【0101】

センサアセンブリは、加速度計３１および／またはジャイロスコープ３２に加えて、またはこれらの代わりに、磁力計３３を備えることができる。磁力計は、磁場（たとえば地球の磁場）の偏差を測定する。これらの偏差を用いて、コンパスと同様に、磁場に対する向きおよび回転を決定することができる。磁力計３３は、向きに対応する電気信号を出力する。

【0102】

センサアセンブリ１２は、気圧を測定し対応する電気信号を出力する気圧計３４を任意選択で備えることができる。気圧計３４を用いて、高度を決定することができる。高度は、他のセンサ３１、３２、３３からのデータと共にメモリ１３に格納し、後述のように装着者にさらなる統計情報として提供することができる。あるいはまたはさらに、センサアセンブリ１２が後述の衛星ナビゲーションモジュールをさらに備える場合、気圧計３４からのデータを用いて、衛星ナビゲーションモジュールから得られる地理的位置データの精度を向上させることができる。

【0103】

センサアセンブリ１２は、温度を測定し対応する電気信号を出力する温度センサ３５を任意選択で備えることができる。測定された温度を用いて気圧計３４の精度を向上することができ、その理由は、温度が気圧計の読取値に影響し得るためである。あるいはまたはさらに、測定された温度は、後述のように装着者にさらなる統計情報として提供することができる。

【0104】

少なくとも１つのセンサ３１、３２、３３、３４、３５からのデータは中央処理装置３６に提供され、これはマイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ASIC:application-specific integrated circuit）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または処理能力を有する類似のユニットとすることができる。中央処理装置３６は、センサ３１、３２、３３、３４、３５から得られた電気信号をデジタル信号に変換するアナログ／デジタル変換器（ＡＤＣ）を備えることができ、デジタル信号は、中央処理装置３６上で実行される対応するソフトウェア、またはＦＰＧＡの場合はプログラマブル論理ブロックにより処理することができる。あるいは、ＡＤＣは、センサアセンブリ１２に別個のコンポーネントとして設けることができる。

【0105】

前述のように、図３の例示的な図では、センサアセンブリ１２はメモリ１３をさらに備える。しかしながら、メモリ１３は、センサアセンブリ１２の一部ではなく、無線で（たとえばＷｉｆｉ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）など）、または電線（たとえばＵＳＢ、ライトニングアダプタ、ＲＪ−４５など）を介してセンサアセンブリ１２に接続された別個のコンポーネントとすることもできる。

【0106】

メモリ１３は、図３に示された中央処理装置に接続される。したがって、中央処理装置３６は、センサ３１、３２、３３、３４、３５から受信されたデータをメモリ１３に格納することができる。任意選択で、中央処理装置はセンサデータを、メモリ１３に格納する前に処理することができる。たとえば、中央処理装置３６は、前処理を行い、ノイズに起因する高周波成分を、またはセンサ３１、３２、３３、３４、３５の特定のバイアスに起因する低周波成分を、データからフィルタリングすることができる。また、中央処理装置３６は、メモリ１３に格納するために、２つ以上のセンサ３１、３２、３３、３４、３５からのデータを単一の時系列に組み合わせることもできる。

【0107】

さらに、中央処理装置３６は、受信されたセンサデータにタイムスタンプを与えることができる。この目的で、センサアセンブリ１２は、中央処理装置３６に接続されたリアルタイムクロック（ＲＴＣ）３７を備えることができる。リアルタイムクロック３７は、実際の時刻に対応するタイミング信号を生成する。また、リアルタイムクロック３７を用いて、後述のように、センサアセンブリ１２を（したがってメモリ１３に格納された時系列を）カメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅと同期させることができる。

【0108】

センサアセンブリ１２は、任意選択のコンポーネントであるコネクタ３８をさらに備えることができる。メモリ１３に格納されたセンサデータを転送して本発明による処理を行うために、コネクタを用いて、センサアセンブリ１２をコンピュータ、タブレットＰＣ、スマートフォンなどに接続することができる。コネクタは、ＵＳＢ、ライトニング、ＲＪ−４５プラグなどとすることができる。コネクタ３７を用いて、センサアセンブリ１２を電力で充電することもできる。

【0109】

センサアセンブリ１２は、メモリ１３に格納されたセンサデータをコンピュータ、タブレットＰＣ、スマートフォンなどに送信するために使用可能な無線送受信機３９をさらに備えることができる。あるいはまたはさらに、無線送受信機３９は、後述のように、センサアセンブリ１２をカメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅと同期させるために使用することができる。無線送受信機は、Ｗｉｆｉ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）の送受信機などとすることができる。

【0110】

さらに、無線送受信機３９を用いて、周辺の類似のデバイスを検知することができる。特定のエリア（たとえば「サッカーホットスポット」、スタジアム、フットボールまたはサッカーピッチなど）は、たとえばＲＦＩＤ／ＮＦＣタグまたはＢｌｕｅｔｏｏｔｈ（登録商標）ビーコンを設け、センサアセンブリ１２により認識することができる。したがって、そのエリアに関連付けられた識別子は、センサアセンブリ１２により、加速度計３１および／またはジャイロスコープ３２および／または磁力計３３からのデータと共に記憶して、測定されたデータをそのエリアに関連付けるか、または単にセンサアセンブリ１２を装着した人物が特定の場所、たとえばスタジアムまたはストアを訪れたことを登録することができる。送受信機３９の代わりに、センサアセンブリ１２は、送信機および／または受信機を別々のコンポーネントとして備えることができる。

【0111】

センサアセンブリ１２は、センサセンブリの電子部品、すなわちセンサ３１、３２、３３、３４、３５、リアルタイムクロック３７、送受信機３９、および後述のさらなる任意選択の部品に電力を供給するバッテリー３１０を備えることができる。バッテリー３１０は、交換式バッテリー、交換可能またはセンサセンブリ１２に永久に固定された充電式バッテリー、キャパシタなどとすることができる。充電式電源（たとえば充電式バッテリーまたはキャパシタ）の場合、バッテリー３１０はコネクタ３８を介して充電することができる。あるいはまたはさらに、センサアセンブリ１２は、バッテリー３１０に充電電流を供給する誘導コイル３１１を備えることができる。この目的で、センサアセンブリ１２は、時間変化する電磁場を介して誘導コイル３１１にエネルギーを転送する対応する送信コイルの近くに配置することができる。

【0112】

既に述べたように、センサアセンブリ１２は衛星ナビゲーションモジュール３１２を備えることができる。このモジュールは、地球の軌道内の衛星から電磁信号を受信し、これらの信号から地表上のセンサアセンブリ１２の位置（地理的位置）を推測することができる。さらに、衛星ナビゲーションモジュール３１２は、センサアセンブリ１２の高度を推測することができる。衛星ナビゲーションモジュール３１２は、全地球測位システム（GPS:Global Positioning System）、Ｇｌｏｎａｓｓシステム、または欧州のＧａｌｉｌｅｏシステムあるいはこれらのシステムの組み合わせに基づくことができる。

【0113】

センサアセンブリ１２は、任意選択でディスプレイ３１３を備えることができる。ディスプレイは、たとえば電池残量、時刻、メモリ１３内の残りの記憶容量、「オン／オフ」状態などの情報をユーザに示すことができる。また、ディスプレイは、以下でさらに詳細に説明されるように、センサ３１、３２、３３、３４、３５から得られたセンサデータに基づいてユーザにフィードバックを与えることができる。

【0114】

センサアセンブリ１２は、任意選択でスイッチ３１４を備えることができる。スイッチは、押下後に前の状態に戻るブッシュボタンとすることができる。あるいは、スイッチは、２つ以上の位置の間でスライド可能なスライドスイッチとすることができる。スイッチ３１４を用いて、たとえば、センサアセンブリ１２を起動する、またはセンサアセンブリ１２の特定の設定を操作することができる。たとえば、ユーザは現在時刻を設定する、または特定の動作モードを設定することができる。スイッチ３１４の他の使用法は、ユーザがスイッチ３１４を有効化した場合に、衛星ナビゲーションシステムモジュール３１２を用いてセンサアセンブリ３１４の地理的位置を更新することである。

【0115】

本発明による方法は、（ｃ．）映像をセンサデータと同期させるステップをさらに備える。同期は、時系列内のデータ点、たとえばウィンドウを映像内の対応するフレームに関連付けることで行うことができる。たとえば、データ点および対応する映像フレームは、同一のタイムスタンプに関連付けることができる。この目的で、無線信号を、センサアセンブリ１２内の送受信機３９により、たとえばＲＦＩＤ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、またはＷＬＡＮにより送信することができる。たとえば、人物がスポーツグランドに入った場合、スポーツグラウンドに（たとえばマットまたはゲート内に）設置された対応する受信機モジュールは、送受信機３９から無線信号を受信し、カメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅをセンサアセンブリ１２と同期させる。

【0116】

無線信号は、センサアセンブリ１２に含まれるリアルタイムクロック（ＲＴＣ）３７のタイムスタンプを含むことができる。このタイムスタンプにより、カメラ１１またはカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅは、たとえば自身のＲＴＣを受信されたタイムスタンプに調整することにより、センサアセンブリ１２のＲＴＣ３７と同期できるようになる。より正確な同期を得るために、タイムスタンプの実行時間および／または処理時間を考慮し、タイムスタンプに加えることができる。また、センサアセンブリ１２は、記録された映像の２つのサンプル点（たとえば、最初および最後のフレーム）の実際の時刻を記憶することができる。イベントがセンサデータ内で検出された場合に、対応する時点を、２つのサンプル点の記憶された時刻に基づいて決定することができる。

【0117】

あるいは、カメラ１１、複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅの、またはカメラ１１もしくは複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅが接続されたシステムのＲＴＣからのタイムスタンプを有する無線信号が、たとえばＲＦＩＤ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（ＢＴＬＥ）、またはＷＬＡＮを介してセンサアセンブリ１２に送信される。信号は、スタジアム、スポーツグラウンドなどに設置されたゲートまたはマットにより送信することができる。信号は、送受信機３９により受信され、中央処理装置３６により処理することができる。この信号により、センサアセンブリ１２は、たとえば自身のＲＴＣ３７をそのタイムスタンプに調整することで、カメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅと同期できるようになる。より詳細な同期を得るために、タイムスタンプの実行時間および／または処理時間を考慮し、タイムスタンプに加えることができる。

【0118】

あるいは、センサアセンブリ１２およびカメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄおよび１１ｅは、時系列内および映像の少なくとも１つのフレーム内の同期イベントを判定することで、同期させることができる。たとえば、センサアセンブリ１２を装着したプレーヤーは、特定の所定の動き、たとえば靴を叩くこと、またはセンサアセンブリ１２を叩くことを行うことができる。そのようなイベントは、映像内およびセンサデータの時系列内で簡単に検出することができ、その理由はセンサデータ内に高いピークが発生するためである。そして、時系列内の検出されたデータ点および映像内の検出されたフレームは、同一のタイムスタンプを取得して、映像を時系列と同期させることができる。

【0119】

方法は、（ｄ．）時系列内のイベントを検出するステップを備える。イベントは、短くかつ限られた期間を有する人間の活動の一部として定義される。たとえば、イベントは、サッカーシュートまたはパス、テニスボールのヒットまたはゴルフスイングとすることができる。イベントは、後述の適切な方法により時系列内で検出することができる。

【0120】

最後に、方法は、（ｅ．）イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるステップを備える。センサデータおよび映像の同期に基づいて、検出されたイベントに対応するフレームを、映像内で特定することができる。

【0121】

一般に、記録された映像およびメモリ１３に格納されたセンサデータは、関連する方法ステップ、すなわちイベントを検出することと、検出されたイベントを対応する映像フレームに関連付けることとを実施するのに適したデバイス１４に転送することができる。そのようなデバイス１４は、スマートフォン、タブレット、ＰＣ、サーバ、または専用のコンピューティングデバイスとすることができる。映像は、無線、たとえばＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙなどを介して、または有線接続、たとえばＵＳＢ、Ｆｉｒｅｗｉｒｅ、Ｔｈｕｎｄｅｒｂｏｌｔなどを介して、デバイス１４に転送することができる。映像および／またはセンサデータは、デバイス１４へ活動中に、たとえば無線接続を介して、または活動終了後に送信することができる。後者の場合、有線接続（たとえばＵＳＢ）を、無線接続の代わりに使用することができる。

【0122】

デバイス１４は、映像をセンサデータと同期させ、時系列内のイベントを検出し、イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けることが可能なプロセッサ１５を備えることができる。この目的で、コンピュータ実行可能命令をプロセッサ１５へ、たとえばメモリ１６（たとえばハードドライブ、ソリッドステートドライブ、フラッシュメモリなど）からロードして、関連する方法ステップをプロセッサ１５に実施させることができる。また、メモリ１６を用いて、映像および／またはセンサデータを格納し、記載の方法に従ってプロセッサ１５により後で処理することができる。

【0123】

図４に、センサアセンブリ１２を備えるストラップ４１の形態のウェアラブルデバイス４１の一例示的実施形態を示す。センサアセンブリ１２は、図３を参照して説明されたセンサセンブリ１２とすることができる。たとえば、センサアセンブリ１２は、センサデータを格納するためのメモリ１３を含むこともできる。センサアセンブリ１２は、たとえばフック・ループ式ファスナー、スナップボタン、磁気ファスナーなどにより、ストラップ４１に着脱可能に取り付けることができる。あるいは、センサアセンブリ１２は、たとえば接着、溶接または縫合により、ストラップ１４に永久に取り付けることができる。ストラップ４１は、フットウェアと無関係であるという利点があり、すなわち、靴がなくとも（たとえば砂の上または芝生の上で）使用することができる。

【0124】

ストラップ４１は、繊維材料、レザー、人工レザー、プラスチックなどから作ることができる。ストラップは、人物の体の四肢、たとえば腕および／または脚に装着可能な任意のループ状の構成と理解されたい。したがって、ストラップ４１は、脚に、たとえば足首付近に装着することができる。本発明の方法の精度は、さらなるセンサアセンブリ１２を有するストラップが他方の脚に装着された場合に、向上させることができる。これは、特にサッカー用途に関して有利である場合があり、その理由は、サッカープレーヤーが通常はボールを両足で扱うためである。両方のセンサアセンブリ１２からのセンサデータは、単一の時系列に組み合わせることができる。この目的で、１つのセンサアセンブリ１２は、そのセンサデータを他のセンサアセンブリへ、無線などで送受信機モジュール３９を用いて送信することができる。センサデータは、受信するセンサアセンブリ１２内の中央処理装置３６により組み合わせることができる。あるいは、両センサアセンブリはセンサデータをデバイス１４へ、たとえば上述の無線送受信機モジュール３９またはコネクタ３８を介して送信する。そして、両センサアセンブリからのセンサデータは、デバイス１４において組み合わせることができる。

【0125】

他のスポーツ活動中でも同様に１つより多いセンサアセンブリを装着すると有利である場合がある。たとえば、テニスプレーヤーは、第１のセンサアセンブリ１２を腕に、たとえば手首に装着し、第２のセンサアセンブリ１２を片足に、たとえば足首付近に装着することができる。第１のセンサアセンブリ１２は、彼の腕の動きおよびボールヒットを表すセンサデータを記録することができ、第２のセンサアセンブリ１２は、テニスコート上での彼の動きを表すセンサデータを記録する。両センサアセンブリからのセンサデータは、上述のように組み合わせることができる。したがって、両センサアセンブリにより記録されたセンサデータは、彼のテニス活動のより完全な記録を表す。

【0126】

既に述べたように、センサアセンブリ１２は、ユーザの位置を追跡するための、または特定のイベントの検出に関連するデータを測定するための衛星ナビゲーションモジュール３１２をさらに備えることができる。したがって、測定されたデータを地理的位置に関連付けるために、ウェイポイント（waypoint）を、本発明と共に用いることができ、あるいは加速度計および／またはジャイロスコープおよび／または磁力計からのデータと共にメモリ１３により記憶することができる。ウェイポイントの使用は、ユーザが上述のスイッチ３１４を有効化することに依存してもよい。

【0127】

本発明による方法は、少なくとも１つのフレームを用いて、人物の活動の所定のイベントを表示する第２の映像を生成するステップをさらに備えることができる。したがって、対応する検出されたイベントに関連付けられた全てのフレームは、１つの映像にまとめることができる。映像は、フィードバックまたは要約をプレーヤーに提供し、彼のパフォーマンスの「ハイライトリール」または「ショーリール」とみなすことができる。

【0128】

本発明の文脈における「ハイライトリール」または「ショーリール」は、共通の特性を共有する映像シーケンスのコレクションと理解されたい。１つの共通の特性は、たとえば、ハイライトリールの全ての映像シーケンスが、特定のプレーヤーのキックおよび／またはパスおよび／またはトリックなどを表示することでもよい。他のハイライトリールは、ゴールキーパーの全ての防御イベントを表示することができる。さらに、ハイライトリールは、プレーヤーが行った特定のトリック、たとえばキーピーアッピーまたはアラウンドザワールドを表示することができる。特性は、必ずしも特定のプレーヤーに関連するわけではない。たとえば、ハイライトリールが、プレーヤーとは無関係に、試合で行われた特定の球速（たとえば、５０、６０、８０、１００ｋｍ／ｈ）を超える全てのシュートを表示することも可能である。

【0129】

要約映像は、デバイス１４上で生成することができ、インターネット上のサーバに、またはコンシューマデバイス、たとえばスマートフォン、タブレットコンピュータ、ＰＣ、スマートウォッチなどに直接、アップロードすることができる。

【0130】

図５に、映像がデバイス１４からコンシューマデバイス５１ａ、５１ｂ、５１ｃ、５１ｄに転送され得る方法の一例示的実施形態を示す。まず、映像および／または追加の要約統計量を、デバイス１４からクラウド５２に転送することができる。したがって、デバイス１４はまた、たとえば有線接続（たとえばＥｔｈｅｒｎｅｔ、ＵＳＢ、Ｔｈｕｎｄｅｒｂｏｌｔなど）または無線接続（たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴなど）を介してインターネットに接続される。クラウド５２は、インターネットに接続された単一のサーバまたはサーバファームにより実装することができる。本発明の文脈における「クラウド」は、映像および／または要約統計量を格納しコンシューマデバイスに提供することができる任意のサーバと理解されたい。

【0131】

映像および／または要約統計量は、クラウド５２上でデバイス５１ａ、５１ｂ、５１ｃ、５１ｄによりアクセスすることができる。たとえば、デバイス５１ａおよび５１ｂは、モバイルデバイス、たとえばスマートフォン、タブレットＰＣ、スマートウォッチなどである。デバイス５１ａおよび５１ｂは、無線接続、たとえば３Ｇ、４Ｇ、ＵＭＴＳ、ＬＴＥ、Ｗｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥなどを介してインターネットに接続される。映像および／または要約統計量をクラウド５２からダウンロードし提示するために、アプリケーション（モバイルデバイスの文脈では「アプリ（app）」と表記されることが多い）をモバイルデバイス５１ａおよび５１ｂにインストールすることができる。そのようなアプリは、仮想的なストア（たとえばＡｐｐｌｅのｉＴｕｎｅｓ（登録商標）、ｇｏｏｇｌｅ ｐｌａｙ（登録商標）など）からダウンロードすることができる。アプリはクラウド５２に接続し、クラウド５２から映像および／または要約統計量をダウンロードする。あるいは、映像は、ダウンロードすることなく（すなわち映像をモバイルデバイスに格納することなく）、クラウド５２からモバイルデバイスへストリーミングすることができる。そして、映像および／または要約統計量は、以下でより詳細に説明されるようにユーザに提示することができる。

【0132】

アプリの代わりに、モバイルデバイス５１ａ、５１ｂにインストールされたインターネットブラウザを用いて、クラウド５２に接続することもできる。この目的で、ユーザはブラウザを特定のウェブページへ移動させ、たとえばユーザ名およびパスワードを入力する。ユーザがアクセスを認められた後、映像および／または要約統計量をブラウザで直接見ることができ、あるいは映像および／または要約統計量をダウンロードして後で見ることができる。

【0133】

また、映像および／または要約統計量は、デスクトップＰＣ５１ｃおよび／またはノートブック５１ｄからアクセスすることができる。この目的で、クラウド５２にアクセスし、映像および／または要約統計量をダウンロードおよび提示するためのソフトウェアアプリケーションを、デスクトップＰＣ５１ｃおよび／またはノートブック５１ｄにインストールすることができる。あるいは、映像は、クラウド５２からデバイスへ、ダウンロードすることなく（すなわち映像をデバイスに格納することなく）ストリーミングすることができる。デスクトップＰＣ５１ｃおよびノートブック５１ｄは、無線接続、たとえば３Ｇ、ＵＭＴＳ、ＬＴＥ、Ｗｉｆｉ、ＷＬＡＮ、ＢＴなど、または有線接続、たとえばＥｔｈｅｒｎｅｔ、ＵＳＢ、Ｔｈｕｎｄｅｒｂｏｌｔなどを介してインターネットに接続することができる。

【0134】

ソフトウェアアプリケーションの代わりに、デスクトップＰＣ５１ｃおよび／またはノートブック５１ｄにインストールされたインターネットブラウザを用いて、クラウド５２に接続することもできる。この目的で、ユーザはブラウザを特定のウェブページへ移動させ、たとえばユーザ名およびパスワードを入力する。ユーザがアクセスを認められた後、映像および／または要約統計量をブラウザで直接見ることができ、あるいは映像および／または要約統計量をダウンロードして後で見ることができる。

【0135】

図５の例示的実施形態の代替例として、デバイス５１ａ、５１ｂ、５１ｃおよび５１ｄは、デバイス１４に直接接続して映像および／または要約統計量をダウンロードすることができる。接続は、無線接続、たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥなど、または有線接続、たとえばＥｔｈｅｒｎｅｔ、ＵＳＢ、Ｔｈｕｎｄｅｒｂｏｌｔなどを介して確立することができる。たとえば、デバイス１４は、スタジアムまたはスポーツグラウンドに設置することができる。センサアセンブリ１２を装着した人物がスポーツ活動を行った後、メモリ１３に格納されたセンサデータは、上述のようにデバイス１４に転送されデバイス１４上で処理されて、要約映像（「ハイライトリール」または「ショーリール」）および任意選択で追加の要約統計量が生成される。そして、人物はたとえば自身のスマートフォン、タブレットＰＣ、スマートウォッチなどを用いて、デバイス１４に接続することで、映像および任意選択で要約統計量をダウンロードすることができる。あるいは、映像は、ダウンロードすることなく（すなわちデバイス５１ａ、５１ｂ、５１ｃおよび５１ｄに映像を格納することなく）、デバイス１４からデバイス５１ａ、５１ｂ、５１ｃおよび５１ｄにストリーミングされる。

【0136】

映像および要約統計量は、ソーシャルメディアプラットフォーム（たとえばユーチューブ、インスタグラム、バイン（vine）、ツイッター（登録商標）、フェイスブックなど）で共有することもできる。たとえば、クラウド５２は、そのようなソーシャルメディアプラットフォームの一部とすることができる。あるいは、映像および／または要約統計量は、デバイス１４またはクラウド５２からソーシャルメディアプラットフォームのサーバへ転送される。たとえば、要約映像および／または要約統計量がデバイス１４上で生成されると、映像および／または要約統計量は自動的に人物のソーシャルメディアプロフィールに追加される。そして、ソーシャルメディアプラットフォームを介してその人物とつながりがある他の人々は、映像および／または要約統計量にアクセスすることができ、たとえばコメントを投稿する、あるいは映像および／または要約統計量を他の人々と共有することができる。

【0137】

図６に、映像および／または要約統計量が、モバイルデバイス５１ａ、５１ｂ（たとえばスマートフォン、タブレットＰＣ、スマートウォッチなど）、デスクトップＰＣ５１ｃ、ノートブック５１ｄ、または一般的にはディスプレイ６１を備える任意のデバイスのユーザに提示され得る方法を示す。映像は、ユーザに対してデバイス５１ａ、５１ｂ、５１ｃ、５１ｄのディスプレイ６１上に提示される。ユーザは、映像の提示方法に影響するいくつかの選択肢（possibilities）を有することができる。たとえば、ディスプレイ６１の上部に、映像の真上に、シーン選択バー６２が表示される。ユーザは、活動中に行った異なるイベントに対応する映像の異なるシーン間を切り替えることができる。たとえば、第１のシーンは、ユーザがキックオフを行っていることを示す。第２、第３および第４のシーンは、ユーザがパスを行っていることを示す場合がある。第５および第６のシーンは、ユーザがゴールへのシュートを行っていることなどを示す場合がある。ユーザはこれらのシーンの各々を、シーン選択バー６２内の対応するボタンの１つをタップまたはクリックすることで選択することができる。シーンの数は、図６に示された例とは異なっていてもよい。また、シーン選択バー６２の位置は異なっていてもよく、たとえばディスプレイ６１の下部または横側でもよい。さらに、ディスプレイ６１はシーン選択バー６２を全く表示しなくてもよい。

【0138】

シーン選択バー６２の下に、タイムスライダ６３がある。このスライダ６３は事前定義されたパスに沿って伸びており、パスの始端は映像の始端に対応し、パスの終端は映像の終端に対応する。したがって、図６の例では、パスは０秒で開始し、１分１０秒で終了する。パス上のスライダ６３の位置は、映像の現在位置に対応する。たとえば、スライダ６３が経路の中央に達した場合、映像の半分が終わっており、残りの半分が開始するところである。ユーザはスライダ６３をタップまたはクリックし保持して、映像の始端および終端の間の任意の点にスライドさせることで、それぞれの時点から映像を表示させることができる。スライダ６３の位置は異なっていてもよく、たとえばディスプレイ６１の下部または横側でもよい。さらに、ディスプレイ６１はスライダ６３を全く表示しなくてもよい。

【0139】

ディスプレイ６１の下部に、カメラ選択バー６４が表示されている。カメラ選択バー６４により、ユーザは映像のカメラ位置を選択することができる。したがって、図６の例示的実施形態では、ユーザは、５つの異なる角度から自身の活動のそれぞれのシーンを表示する５台の異なるカメラ５１ａ、５１ｂ、５１ｃ、５１ｄ、５１ｅの間で選択することができる。カメラの台数は異なっていてもよく、１台のみのカメラから数十台のカメラまでの範囲を取り得る。ユーザは、カメラに関連付けられたそれぞれのボタンをタップまたはクリックすることでカメラを選択する。カメラ選択バー６４の位置は異なっていてもよく、たとえばディスプレイ６１の下部または横側でもよい。さらに、ディスプレイ６１はカメラ選択バー６４を全く表示しなくてもよい。

【0140】

ディスプレイの右側に、フィードバックおよび統計量領域６５が表示される。この領域では、活動中にユーザにより装着されたセンサアセンブリ１２の少なくとも１つのセンサ３１、３２、３３、３４、３５から得られたセンサデータから本発明に従って抽出された統計量およびフィードバックが表示される。したがって、図６の例示的実施形態では、フィードバックおよび統計量領域６５は、たとえばユーザにより行われたシュートを表示するシーン中に、球速を表示する。中央部で、フィードバックおよび統計量領域６５は、１つのシーンでユーザが行ったトリックの名前、たとえばアラウンドザワールド、ボールジャグリングなどを表示する。さらに、フィードバックおよび統計量領域６５は、たとえばゴールへの全てのシュート、全ての１対１状況、全てのドリブル、パスなどをカウントするアクションカウンタを提供する。したがって、映像の始端において、カウンタはゼロであり、特定のアクション、すなわちユーザが映像の中で行ったイベントの度に値が増加する。フィードバックおよび統計量領域６５の内容は異なっていてもよい。たとえば、球速のみ、または行われたアクションのみ（たとえば、トリック、パス、シュートなど）、あるいは両方を表示してもよい。また、フィードバックおよび統計量領域６５の位置は異なっていてもよく、たとえばディスプレイ６１の下部または横側でもよい。さらに、ディスプレイ６１は、フィードバックおよび統計量領域６５を全く表示しなくてもよい。

【0141】

図７に、要約映像（または「ショーリール」あるいは「ハイライトリール」）が、モバイルデバイス５１ａ、たとえばスマートフォンまたはタブレットＰＣのユーザに具体的に提示され得る方法を示す。モバイルデバイス５１ａ、５１ｂは、映像が表示されるディスプレイ７１を備える。図７の例では、要約映像は、７台のカメラにより撮影された映像に基づいている。カメラは、図２に示された配置と同様に屋内サッカーフィールドの周辺に配置されている。異なる台数のカメラ、たとえば５台、３台、２台または１台のみのカメラを用いることもできる。ディスプレイ７１のメインビューは、特定のカメラの１つの映像を、ほぼ画面全体に広がる拡大されたビューで表示する。

【0142】

図７に示されるように、プレーヤーの各々は、少なくとも１つのセンサアセンブリ１２を足首付近に装着し、その１つが参照符号１２で例示的に表されている。センサアセンブリ１２は、本明細書で詳細に説明されるように、プレーヤーが試合（たとえば図７の例ではファイブアサイド（five-a-side）の試合）に参加している間にセンサデータを記憶する。センサデータは本明細書で詳細に説明されるように処理されて、特定のイベント、たとえばキック、パス、シュート、ドリブル、１対１状況などが検出される。イベントはカメラ（図７の例では７台）により撮影された映像内の対応する映像フレームに関連付けられて、本明細書で詳細に説明されるように、要約映像（または「ハイライトリール」あるいは「ショーリール」）が得られる。映像は、図７を参照して示されるようにモバイルデバイスのユーザに提示される。

【0143】

図７の例では、カメラ選択領域７２は、スクリーンの下部に表示される。カメラ選択領域７２の位置は異なっていてもよく、たとえばディスプレイ７１の上部または横側でもよい。さらに、ディスプレイ７１はカメラ選択領域７２を全く表示しなくてもよい。カメラ選択領域７２は、メインカメラ（すなわち、ほぼ画面全体に広がる拡大された映像と関連付けられたカメラ）として実際に選択されたカメラの台数を示すカメラのピクトグラムを含む。図７の例では、この数は７であるが、１から７までの範囲の任意の値とすることができる。異なる台数のカメラが使用された場合、この範囲は異なる場合がある。カメラごとに、カメラ選択領域７２内にドットが表示される。ユーザは、ドットの１つをタップまたはクリックすることで、あるいは１本または複数本の指をディスプレイ上で、たとえば左から右へ、右から左へ、上から下へ、または下から上へスライドさせることで、メインカメラを変更することができる。

【0144】

図７の例では、カメラ概観領域７３が、ディスプレイ７１の上部にさらに表示される。カメラ概観領域７３の位置は異なっていてもよく、たとえばディスプレイ７１の上部または横側でもよい。さらに、ディスプレイ７１はカメラ概観領域７３を全く表示なくてもよい。カメラ概観領域７３は、ディスプレイ７３上で拡大表示されていない残りのカメラのうちの各カメラの小規模映像を表示する。したがって、図７の例では、６つの小さな映像が、カメラ概観領域７３に同時に表示される。

【0145】

ユーザが上述のようにメインカメラを変更した場合、以前のメインカメラの映像は、画面の最大部分に表示される代わりに、カメラ概観領域７３に表示される。その代わりに、新たな選択されたメインカメラの映像は、画面の最大部分に表示され、カメラ概観領域から除去される。たとえば、ユーザがメインカメラをカメラ７からカメラ６へ、ディスプレイ７３上でスライドすることで変更した場合、カメラ６の映像はカメラ概観領域７３内でカメラ７の映像と置換することができる。同時に、画面の最大部分を構成するカメラ７の映像は、カメラ６の映像と置換される。

【0146】

追加情報、たとえば図６を参照して説明されたフィードバックおよび統計量情報もディスプレイ７１に表示できることに留意されたい。たとえば、球速を、プレーヤーの１人のセンサアセンブリ１２から得られたセンサデータに基づいて推定することができ、映像が対応するシュートを表示しながら、ｋｍ／ｈまたはｍｐｈなどでメインカメラの映像上にオーバーレイとして表示することができる。

【0147】

センサアセンブリ１２は、一種の活動追跡器として使用することもできる。この目的で、センサアセンブリ１２は、たとえばストラップ（たとえば図４に示されたストラップ４１）、ブレスレットなどに取り付けることができ、たとえば手首または足首に装着することができる。センサアセンブリ１２内の少なくとも１つのセンサ３１、３２、３３、３４、３５により得られたセンサデータを用いて、歩数、距離、消費カロリーなどをカウントすることができる。また、センサデータを用いて、センサアセンブリ１２を装着した人物が１日の間に行った、たとえばサッカー関連のトリック（たとえばアラウンドザワールド、ボールジャグリングなど）をカウントすることができる。センサアセンブリ１２が衛星ナビゲーションモジュール３１２を備えている場合、センサアセンブリ１２は、トリックが行われた、および／または人物が他のスポーツ活動、たとえばランニングなどを行った、地理的位置を保存することもできる。収集された活動統計量は、図５に関して説明された、コンシューマデバイスおよび／またはソーシャルメディアプラットフォームに配信することができる。

【0148】

図８に、センサデータ８２の時系列内のイベントを検出するためのステップの一例示的シーケンス８１を示す。センサデータ８２は、図３を参照して説明されたセンサアセンブリ１２内の少なくとも１つのセンサ３１、３２、３３、３４、３５から得られる。ステップのシーケンスは、時系列を前処理すること８３と、時系列を複数のウィンドウにセグメント化すること８４と、外れ値を検出すること８５と、複数のウィンドウの各々において時系列から複数の特徴を抽出すること８６と、複数のウィンドウの各々において時系列から抽出された複数の特徴に基づいて、複数のウィンドウに関連するイベントクラスを検出すること８７とを備える。以下では、これらのステップの各々が、より詳細に説明される。

【0149】

時系列は、Ｔ＝（ｓ［０］，ｓ［１］，．．．，ｓ［Ｎ−１］）と書くことができ、ここでＮはサンプル数を表し、ｓ［ｋ］はサンプリング点ｋにおける１つの軸のセンサデータの振幅を表す。

【0150】

３軸加速度計から得られた例示的な時系列が、図９に示されている。このプロットでは、横座標は秒単位の時間を指し、縦座標は地球の重力加速度ｇの単位で測定された加速度を指す。プロットは、３つの次元（３軸）全てにおいて加速度が一時的に変化していることを示している。この例示的な時系列は、サッカー靴の中に配置された加速度計により、その靴を装着したサッカープレーヤーが２度の以降のショートパスを行っている間に取得されたものである。

【0151】

第１のシーケンスのステップ８３において、センサデータの時系列が、たとえばローパスフィルタリング、ダウンサンプリング、バターワースフィルタリング、移動平均の生成、または同様の方法などにより前処理される。ローパスフィルタリングは、信号から高周波成分を除去し、これはノイズにほぼ起因するものである。ダウンサンプリングは、隣接するサンプリング点を結合することで、高周波（たとえば１０から１００００Ｈｚ、好ましくは１０００Ｈｚ）でサンプリングされた時系列を、低周波時系列（たとえば１から１０００Ｈｚ、好ましくは１００Ｈｚ）にマッピングする。高周波成分の除去に加えて、これにより、より少数のデータ点が処理されることになるので、計算的な複雑性も減少する。

【0152】

セグメント化するステップ８４について、加速度計の３軸ｓ_１、ｓ_２、ｓ_３の信号強度ベクトルＳＭＶは、

【0153】

【数1】

にしたがって計算することができる。

【0154】

ＳＭＶについてのさらなる情報は、Shaoyan Zhang, Alex V. Rowlands, Peter Murray, and Tina L. Hurst, "Physical Activity Classification Using the GENEA Wrist-Worn Accelerometer", Medicine & Science in Sports & Exercise, 44(4): 742-748頁, 2012年において見つけることができる。信号強度ベクトルは、信号内の高エネルギー領域を決定するために使用される。ショートパスなどのイベントは、図１０から分かるように、高いピークにより表される。

【0155】

さらなる処理のために、ＳＭＶが所定の閾値を超える信号部分のみが処理される。この手順により、さらに処理されるウィンドウの数が最小化される。振幅が閾値を超える連続したサンプルを、１つの信号パッチとする。

【0156】

信号パッチごとに、最大ＳＭＶに対応する時点により、さらなる処理のために使用される固定サイズのウィンドウの中心が決まる。図１０に、ウィンドウの２つの例を示す。

【0157】

全てのイベントについて最適なウィンドウサイズを見つけることは困難であり、これはたとえばシュートおよびコントロールなど、イベントの長さが異なる場合があるためである。したがって、ウィンドウサイズをイベントの長さに適合させる新規かつ知的なウィンドウサイズ決定手順が提案される。１つの信号パッチのＳＭＶは、ガウシアンカーブによりモデル化される。ガウシアンカーブのパラメータを用いて、イベントごとに最適なウィンドウサイズを推定することができる。

【0158】

また、時系列は、ステップ８４において、事前記録されたイベントの既知の信号を用いて定義されたイベントのテンプレートとのマッチングを用いて、複数のウィンドウにセグメント化することもできる。マッチングは、相関、整合フィルタリング、ダイナミックタイムワーピング、または最長共通部分列（ＬＣＳＳ）およびそのスライディングウィンドウ変形、ワーピングＬＣＳＳに基づくことができる。

【0159】

ウィンドウのセンサデータ（加速度、角速度など）は、外れ値検出ステップ８５の入力となる。目標は、不所望のアクション、たとえばジョギング、ランニングまたはタックルなどのインスタンスを含むウィンドウを除去することである。提案された方法はルールベースシステムを使用し、これはガウシアンカーブおよび１クラスサポートベクターマシンのパラメータのもっともらしさを所望のイベントごとに評価するものである。１クラスサポートベクターマシンの詳細は、Bernhard Scholkopf, John C. Platt, John Shawe-Taylor, Alex J. Smola and Robert C. Williamson, "Estimating the Support of a High-Dimensional Distribution", Neural Computation, 13(7)^: 1443-1471頁, 2001年において見つけることができる。

【0160】

図８に示される次のステップは、特徴抽出８６である。このステップ８６において、ウィンドウの各々におけるセンサデータからの複数の特徴が抽出される。特徴（特徴変数とも表される）は、特定のウィンドウをより低い次元で表すために抽出される。

【0161】

抽出される特徴は、たとえばウェーブレット変換、主成分分析（ＰＣＡ）、線形予測符号化器（LPC:Linear Predictive Coder）の係数、高速フーリエ変換（ＦＦＴ）の係数（たとえばスペクトル重心および帯域幅）を用いることによる、時間統計量、時空間統計量（すなわち１つより多いセンサの時間および位置にわたる統計量）、スペクトルまたはアンサンブル統計量のうちの１つまたは複数などに基づくことができる。他の特徴を使用することもできる。

【0162】

時間的統計量に基づく特徴は、多変量解析をウィンドウに適用してウィンドウのより低次元の表現を得ることで抽出される。多変量解析の方法は、たとえば、Alvin C. Rencher and William F. Christensen, Methods of multivariate analysis, 3^rd edition, John Wiley & Sons, 2012年にまとめられている。

【0163】

人間の動きは、人間の関節に類似して自由度が限られているので、複数のセンサ軸の観測値が冗長となる。たとえば、キックを開始するために後方に動いている間は、体軸が関連する。センサ軸、すなわち観測値の異なる次元の間の線形関係が、サンプル相関により測定され得る。２つのセンサ軸の間の相関係数は、ピアソン相関係数により推定することができる。

【0164】

ウィンドウのサンプル平均は、１次元のデータサンプル、すなわち１つのセンサ軸に関するデータを平均化することで定義される。さらに、信号エネルギーは、運動強度の裏付けとなる。したがって、人間のイベントは強度を反映して分析することができる：たとえばサッカーでは、キックのイベントは、ショートパスまたはドリブルアクションなどの他のイベントよりも高いパワーを有すると推定される。次元ｄ（すなわち、センサ軸ｄ）における１つの観測ウィンドウ内の信号エネルギーは、

【0165】

【数2】

により評価される。

【0166】

人間の動きの全体の強度をキャプチャするために、運動強度ＭＩが、全ての次元Ｄにわたる正規化されたエネルギーの蓄積：

【0167】

【数3】

として導入される。加えて、正規化された信号強度面積ＳＭＡが、

【0168】

【数4】

として、絶対値｜ｓ_ｄ［ｋ］｜を合計することで定義される。
より高次の統計量、たとえば尖度および歪度を用いることもできる。

【0169】

さらにまたはあるいは、時空間特徴、たとえばウィンドウの次元に沿った最小値および最大値は、信号内の強いピークの情報をキャプチャすることができる。したがって、例示的な時間および時空間統計量は、サンプル平均、正規化された信号エネルギー、運動強度、信号強度面積、軸間相関、ウィンドウ内の最大値、およびウィンドウ内の最小値を含む。

【0170】

時間または時空間統計量に加えて、またはこれらの代わりに、ウェーブレット解析を、特徴抽出８６のために使用することもできる。ウェーブレット解析は、スペクトル統計量が時間と共に変化する非定常信号を特徴付けることができる。

【0171】

さらに、これには一過性のイベントを反映する特性があり、その理由は信号の時間およびスペクトルの特徴を同時にキャプチャするためである。ウェーブレット変換は、バンドパスフィルタと等価である、ウェーブレットと呼ばれる単一のプロトタイプ関数を用いて行われる。ウェーブレットのマルチスケール版が信号に畳み込まれて、ウェーブレットの縮小／削除版（contracted/deleted version）により高／低周波成分が抽出される。センサデータ観測値のウィンドウが与えられると、時空間領域における多重解像度解析が、基底ウェーブレットを拡張して行われる。ウェーブレット変換により、高周波成分の優れた時間解像度と、低周波成分の優れた周波数解像度が与えられる。ウェーブレット解析の詳細は、Martin Vetterli and Cormac Herley, "Wavelets and filter banks: Theory and design", IEEE Transactions on Signal Processing, 40(9): 2207-2232頁,1992年において見つけることができる。

【0172】

離散ウェーブレット変換を用いて、人間の動きの特徴をキャプチャすることができる。これは、高速ウェーブレット変換として効率的に実装することができる。これは、ローパスおよびハイパスフィルタのシリーズにより信号を分解するフィルタバンクにより表される。各レベルｉにおいて、入力信号ｓ［ｋ］は、ローパスフィルタｇ_ｉ［ｋ］およびハイパスフィルタｈ_ｉ［ｋ］によりフィルタリングされる。後続のレベルでは、ローパスフィルタされた信号は引き続き２倍でダウンサンプリングすることでより低い解像度へ分解され、ハイパスフィルタされた信号は、それぞれのウィンドウの特徴として使用可能な細部係数ｑ_ｉとして機能する。したがって、ウィンドウのセンサデータは、特徴として機能する細部係数ｑ_ｉにより表される。また、ウェーブレット分解により近似係数が得られ（最後の分解）、これも特徴として使用することができる。さらに、近似／細部係数に基づく特徴を計算することができる（前述のもの：信号エネルギーなどと同様）。ハイパス信号が均等に分解される場合、変換はウェーブレットパケット分解と呼ばれる。人間の動きの詳細をキャプチャするための離散ウェーブレット変換の詳細は、Martin Vetterli and Cormac Herley, "Wavelets and filter banks: Theory and design", IEEE Transactions on Signal Processing, 40(9): 2207-2232頁, 1992年において見つけることができる。

【0173】

Ｄａｕｂｅｃｈｉｅｓウェーブレットを本発明の文脈において使用することができ、その理由は、計算的に効率的に実装可能なためである。たとえば、７次のＤａｕｂｅｃｈｉｅｓウェーブレットを、特徴抽出のために使用することができる。

【0174】

したがって複数の特徴を、ウェーブレット解析、主成分分析などを用いて、時間、時空間、スペクトル、またはアンサンブル統計量に基づいて抽出することができる。例示的特徴は、サンプル平均、正規化された信号エネルギーＥ_ｄ、運動強度（ＭＩ）、信号強度面積（ＳＭＡ）、軸間相関、ウィンドウ内の最大値、ウィンドウ内の最小値、ウェーブレット変換により得られるレベルｌにおける最大細部係数ｑ_ｉを含む。

【0175】

全ての抽出された特徴の特徴セットが与えられた場合、方法の実施の複雑性を低減するために、最も重要な冗長でない特徴が選択されるべきである。特徴間のいかなる冗長性も、計算コストの不必要な増加につながることがある。同時に、この特徴のサブセットは、最良の分類性能をもたらすはずである。ラッパー法、選択フィルタおよび組み込み手法などの様々な選択技法同士を区別して扱うことができる。

【0176】

ラッパー法は、異なる特徴サブセットを用いて本発明による方法の性能を評価する。たとえば、逐次前進選択により、最良の性能の特徴が反復的に追加される。

【0177】

選択フィルタは、分類器が選択手順に含まれないので、最も重要な特徴を発見する高速な方法である。相互情報は、特徴サブセットの関連性を示すことができ、異なるフィルタ技法により推定することができる。

【0178】

最後に、組み込み選択は、ラッパー法による全数検索と、選択フィルタによる確率密度関数の推定とを回避するために使用することができる。組み込み選択は、方法ステップ８７で使用されるいくつかの分類器が特徴の重要度の評価を既に含むので、合理的である。

【0179】

たとえば、ランダムフォレスト分類器を、特徴選択のために使用することができる。ランダムフォレストは、訓練データの特徴をランダムに選択することで成長する、決定木分類器のアンサンブルとして記述することができる。木ごとに、訓練データのサブセットが、訓練セット全体から置換により取り出される（ブートストラップ）。このサブセット内で、特徴がランダムに選択され、それらの値を用いて決定木の分岐ノードごとに閾値が構築される。分類中に、各木は、観測された特徴ベクトルの最も可能性の高いクラスを決定し、全ての木の出力が統合される。最多票のクラスが、分類器の最終出力となる（多数決）。ランダムフォレスト分類器の詳細は、Leo Breiman, "Random forests", Machine learning, 45(1): 5-32頁, 2001年において見つけることができる。

【0180】

図８に示されるように、本発明によるシーケンスの次のステップ８７において、それぞれのウィンドウ内のセンサデータから抽出された複数の特徴に基づくウィンドウの各々に関連するイベントクラスが推定される。このステップも、分類と呼ばれる。

【0181】

いくつかの分類器、たとえばナイーブベイズ、サポートベクターマシンおよびランダムフォレスト、アダブースト分類器、ニアレストネイバー分類器、ニューラルネットワーク分類器、パーセプトロン分類器、ルールベース分類器、またはツリーベース分類器を使用することができる。

【0182】

ナイーブベイズ手法では、事後確率密度関数を、ベイズの公式を用いて、

【0183】

【数5】

と書くことができる。事後確率密度関数を最大化する代わりに、クラス条件付き確率密度関数

【0184】

【数6】

を最大化して、クラス

【0185】

【数7】

を推定することができる。ナイーブベイズ分類器は、特徴ベクトル

【0186】

【数8】

の全ての成分が相互に独立であるという仮定の下でこの等式を解く。これは単純化につながる：

【0187】

【数9】

【0188】

特徴

【0189】

【数10】

を観測し、クラス

【0190】

【数11】

が与えられた場合のクラス条件付き確率密度関数は、ガウシアン確率密度関数：

【0191】

【数12】

であると仮定される。したがって、確率密度関数は、その平均μ_ｆおよび分散

【0192】

【数13】

のみで定義される。

【0193】

ここで、方法ステップ１４０においてラベルなし特徴ベクトル

【0194】

【数14】

が与えられた場合、ガウス分布

【0195】

【数15】

が、各クラス

【0196】

【数16】

に対して、

【0197】

【数17】

の各特徴値において評価される。

【0198】

そしてクラスが、上記で導出された等式

【0199】

【数18】

により推定されて、

【0200】

【数19】

が得られる。このように、イベントクラスを、方法ステップ８７においてナイーブベイズ分類器に基づいて推定することができる。分類のためのナイーブベイズ手法の概観は、Sergios Theodoridis and Konstantinos Koutroumbas, Pattern Recognition, 4^th edition, Elsevier, 2008年において見つけることができる。

【0201】

方法ステップ８７で使用可能な他の分類器は、サポートベクターマシン（ＳＶＭ）に基づく。ＳＶＭはクラス境界に、すなわち線形ＳＶＭの場合、元の特徴空間におけるクラス境界に直接焦点を当てる。特徴空間は、特徴ベクトルの各次元が１つの座標軸に対応する多次元システムにおける特徴ベクトルのマッピングとして定義される。この概念は、図１１に示されるように２つのクラスの特徴ベクトル間の最大の線形マージンを発見することである。この場合、２次元の特徴セットは、線形に分離可能である。サポートベクトルと呼ばれる、マージン１１４および１１５上にある特徴ベクトル１１１、１１２および１１３は、最適な超平面を定義する。

【0202】

訓練データセットＤが与えられると、イベントの特徴ベクトルは、特徴空間において分析される。最大マージンはＳＶＭにより発見され、最大距離でクラスを分離する。この距離は、特徴セットの凸包間の最大距離に等しい。線形カーネルの使用とは別に、他のカーネルタイプ、たとえば多項式またはＲＢＦ（放射基底関数（radial basis function））を利用することができる。詳細な説明は、たとえば、Richard O. Duda, Peter E. Hart and David G. Stork, "Pattern Classification", 2^nd edition, John Wiley & Sons, 2000年において見つけることができる。

【0203】

次に、ステップ８７においてラベルなし特徴ベクトル

【0204】

【数20】

が与えられた場合、これは特徴空間で分析される。分離する超平面に対する距離および位置は、事後確率の裏付けとなる。しかしながら、距離のみが測定された場合、この確率は直接与えられない。目的関数の符号は、最も可能性の高いクラスに対応し、推定値

【0205】

【数21】

として使用される。１つより多いイベントが決定される場合、特徴空間を分離するいくつかの超平面に対する距離ベクトルを考慮しなければならない。

【0206】

方法ステップ８７で使用され得るさらなる手法は、ランダムフォレストに基づく。既に述べたように、ランダムフォレストは、訓練データセットから特徴をランダムに選択することで成長する決定木分類器のアンサンブルを含む。

【0207】

訓練データセットＤが与えられた場合、木は、Trevor Hastie, Robert Tibshirani, Jerome Friedman, "The elements of statistical learning", volume 2, Springer 2009年に記載されるように構築することができる。木ごとに、データのサブセットが、訓練データセットから置換により取り出される（ブートストラップデータ）。そして、各木は、最小ノードサイズに到達するまで以下のステップを再帰的に反復することで、ブートストラップデータから成長する：第１に、特徴のサブセットがランダムに選択される。第２に、サブセットの中で、クラス間の最良の分割を与える特徴が、現在のノードでの閾値を構築するために採取される。選択された特徴は、次の反復に関しては省かれる。第３に、このノードは娘ノード（daughter node）に分割される。

【0208】

次に、ステップ８７においてラベルなし特徴ベクトル

【0209】

【数22】

が与えられた場合、クラス

【0210】

【数23】

が、全ての木の推定されたクラスに従って推定される。投票の大部分を有するクラスは、ランダムフォレストの推定値

【0211】

【数24】

に対応する。

【0212】

所望のイベント、たとえばショートパス（ＳＰ）、ロングパス（ＬＰ）、コントロール（ＣＯ）、およびシュート（ＳＴ）の分類は、階層的に行われる。

【0213】

図１２に示されるように、方法ステップ８７は、第１に、２つのイベントグループ（「ＳＰ／ＣＯ」および「ＬＰ／ＳＴ」）を区別することができる。さらなる分類ステップにおいて、イベントグループの１つが第１の分類ステップで決定された場合、このグループ内のイベントの１つが決定される。したがって、図１２の例では、イベント「ＳＰ」または「ＣＯ」が、グループ「ＳＰＣＯ」内で決定され、イベント「ＬＰ」または「ＳＴ」が、グループ「ＬＰＳＴ」内で決定される。以前に適用された外れ値検出手順で除去されなかったランニング／ジョギング／タックルなどのアクションを含むＭＩＳＣ／ＮＵＬＬクラスを、第１のレベルにおいてモデル化することもできる。したがって、２つの分類ステップを、この例では用いることができる。しかしながら、一般的には、単一の分類ステップのみ、または２つより多い分類ステップを、本発明に従って用いることができる。

【0214】

上述のように検出されたイベントに基づいて、フィードバックを人物に与えることができる。したがって、人物に、トレーニング中または試合中の自身のパフォーマンスなどについて知らせることができる。そのようなフィードバックはリアルタイムで与えられることが好ましい。

【0215】

たとえば、センサアセンブリ１２を装着している人物がスポーツ活動を行っている間に、センサアセンブリ１２内の中央処理装置３６は、センサデータを処理し、特定のフィードバックデータ、たとえば歩数、走行距離、消費カロリー、キック、パス、シュートの回数などを生成することができる。

【0216】

フィードバックは、推定されたイベントに基づいて人物に与えることができる。したがって人物に、トレーニング中または試合中に、自分のパフォーマンスなどについて知らせることができる。そのようなフィードバックは、リアルタイムで与えることができる。たとえば、フィードバックは、センサアセンブリ１２またはスマートフォンのディスプレイ３１３上に（たとえば、走行距離、シュート数などを表示）、時計のディスプレイ上に、またはスポーツグラウンドなどに配置された外部ディスプレイ上に提供することができる。

【0217】

フィードバックは、非リアルタイムで与えることもできる。たとえば、フィードバックは、活動後に（たとえば試合後またはトレーニング後に）、たとえばロッカールームで（壁に設置されたディスプレイ上に、または人物の電子デバイス、たとえばスマートフォン、タブレットＰＣ上に）、スポーツエリアで（たとえばスタジアム、ホール、フィールドなどのディスプレイ）、または自宅において提供することができる。この目的で、フィードバックデータは、上述のようにデータベースまたはクラウドストレージに格納することができる。

【0218】

さらに、要約統計量は、決定されたイベントに基づいて提供することができる。このように、統計量は、特定のイベントのクラスに合わせて調整することができる。たとえばサッカー用途では、シュートの回数および強度、シュート速度、ボール上の時間、ロングパスおよびショートパスの回数、ドリブルの期間、ボールあり／なしでの走行時間、動かなかった時間、ジャグリング、行われたトリックなどを提供することができる。バスケットボールについての要約統計量は、プット、パスおよびドリブルの回数、ボール保持時間、ジャンプの強さなどを含むことができる。テニスに関する要約統計量は、ヒット数、推定球速、フォアハンドおよびバックハンドのヒットの割合、サービスの回数および強度などを含むことができる。これらの統計量は、テニスプレーヤーがセンサアセンブリ１２を手付近に装着した場合に提供することができる。テニスプレーヤーが追加でセンサアセンブリ１２を片足または両足付近に装着した場合、走行の統計量、たとえば総距離、（たとえばネットへの）全力疾走の回数などを提供することもできる。

【0219】

球速推定のための一例示的アルゴリズムは、前処理、特徴抽出および回帰を含む。前処理ステップでは、たとえばセンサデータの高エネルギー領域周辺などの固定サイズのウィンドウが定義される。特徴、たとえば極値点（extreme point）の数、平均、分散、歪度、尖度、スプライン補間または最大振幅などが、ウィンドウ内のセンサデータに基づいて計算される。追加の特徴を、たとえば加速度計の信号強度ベクトルの信号に関して、計算することができる。回帰ステップでは、異なる手法、たとえばサポートベクター回帰または線形回帰を適用することができる。サポートベクター回帰の詳細は、Alex J. Smola and Bernhard Scholkopf, "A tutorial on support vector regression", Statistics and Computing, 14(3): 199-222頁, 2004年において見つけることができる。

【0220】

図９から分かるように、高強度のイベント中に、センサの最大範囲に到達することがある。飽和の欠点を克服するために、より広い範囲を有するセンサを使用することができる。１つセンサのみ、たとえば１つの加速度計のみを用いる場合、狭いセンサ範囲だが高い分解能と、広いセンサ範囲だが低い分解能とのトレードオフを理解しなければならない。両センサタイプの利点を利用するために、センサ融合技法を利用することができる。

【0221】

上述の回帰タイプを用いる代わりに、主成分回帰を用いることができ、これにより特徴次元を削減し、多重共線性の問題に対処できるようになる。主成分回帰の詳細な概観は、William F. Massy, "Principal Components Regression in Exploratory Statistical Research", Journal of the American Statistical Association, 60(309): 234-256頁, 1965年において見つけることができる。

【0222】

ここまで記載されたアルゴリズムは、サッカー特有のアクションの分類に焦点を合わせており、これはデータ分析の最終出力が時系列のソートされたアクションのリストであることを意味する。アクションのリストをそれらの重要性に従ってソートするために、センサベースのランキングアルゴリズムを用いることができる。ランキングアルゴリズムでは、異なるアクションモデルを確立し、事前にセグメント化されたセンサデータに適用することができる。各アクションモデルの目標は、事前にセグメント化されたアクションごとに１つのスコアを計算することである。アクションのリストは、スコアにより降順でソートされる。アクションモデルの汎用アーキテクチャは、前処理、特徴抽出および分類からなる。以下の段落では、アクションモデルＳＨＯＴ＿ＯＮ＿ＧＯＡＬが説明される。事前にセグメント化されたアクションごとに、スコアは、このアクションがゴール前のシュートを含む確率に関する情報を与える。

【0223】

前処理ステップでは、加速度計およびジャイロスコープのセンサデータが、たとえば−１から１の間に正規化され、結合されたエネルギーが計算される。結合されたエネルギーは、正規化された加速度計およびジャイロスコープの信号の信号強度ベクトルの総和と定義される。さらに、ウィンドウが、結合されたエネルギー信号上でシフトされる。ウィンドウのサイズは、典型的なシュートの期間として選択される。ウィンドウ化の出力は、最大観測エネルギーおよび対応するウィンドウ境界を含む。前処理ステップは、ハイパスフィルタを適用し、加速度計信号のエネルギー信号における最大値を発見することによるボールコンタクト検出をさらに含む。前処理ステップは、脚がイベント脚（event leg）および支持脚に分類される自動脚調整をさらに含む。イベント脚とは、シュートを行った脚である。矢状面における角速度が最大の脚は、イベント脚と定義される。

【0224】

特徴抽出ステップでは、直線加速度の飽和の期間、飽和期の間の矢状面における最小角速度、および支持脚信号内のエネルギーが計算される。

【0225】

分類ステップでは、とりわけサポートベクターマシンを実施することができる。分類器の事後確率は、現在のアクションのスコアとして定義される。

【0226】

さらに、最大観測エネルギーに対応するウィンドウ境界を用いて、特定の映像効果、たとえば「高コントラスト照明」または「燃えるボール（ball on fire）」などが適用されるべきである、ハイライト映像内の時刻を定義することができる。

【0227】

さらなる興味深いアクションのために、追加のアクションモデルを開発することができる。特別なアクションモデルは、手動のトリガイベント、たとえばセンサを３回タップすることである。このイベントにより、最終的なハイライトリールで利用可能であるべきであるシーンを定義する機会がプレーヤーに与えられる。

【0228】

各アクションモデルが、事前にセグメント化されたアクションごとに１つのスコアを計算するので、アクションの最終的なランキングを定義しなければならない。様々なスキームを利用することができる。単一アクションモデルのスコアは、重み付けし組み合わせて、最終スコアおよび最終ランキングを取得することができる。さらに、異なるアクションモデルを優先順位付けして、ソートされたアクションのリストにおいてより高い位置となるようにすることができる。

【0229】

返されるアクションのリストは、事後確率に対する閾値または返されるべきアクションの数を定義することなどで、さらに削減することができる。

【0230】

ここまで記載されたアクションモデルは、１人のプレーヤーのセンサデータに基づいている。アクションのランキングは、チームメイトおよび対戦相手の情報を統合することで、たとえばアクションに関与するプレーヤーの数が多いほどスコアを高めることで、さらに改良することができる。アクションのランキングは、映像データ自体を統合することでさらに改良することができる。プレーヤーおよびボールを追跡するための様々なアルゴリズムを、処理パイプラインに統合することができる。

【0231】

また、方法は、センサの向きに関する先験的知識なしでシステムが動作するように設計することもできる。ローパスフィルタを、加速度信号の垂直軸に適用することができる。立位の期間（periods of standing）を、閾値技法に基づいて検出することができる。立位期間の符号に応じて、センサの向きを決定することができる。誤った向きが検出されることがあり、この手順を適用することで修正することができる。

【0232】

または、方法は、１つのセンサに欠陥がある場合にシステムが動作するように設計することもできる。この場合、信号強度面積が加速度計信号について計算され、ランキングスコアとして使用される。

【0233】

また、方法は、プレーヤーの融合に基づくゴール検出を含むことができる。プレーヤーは、ゴールが行われた後に特定の行動を示す：プレーヤーのほとんどは短い時間停止しゆっくり歩く。この行動は、異なるプレーヤーのセンサデータを融合することで分析することができる。この検出に基づいて、特殊効果を最後の映像カットに適用することができる。

【0234】

一般的な信号処理特徴を回帰入力として使用する代わりに、複数のセンサ位置、たとえば骨盤、腿、脛、足首、足などのセンサデータから導出された生体力学的駆動の特徴を使用することができる。生体力学的モデリングは、キックの異なるフェーズ、たとえばバックスイング、脚のコッキング、脚の加速、およびフォロースルーの検出、ならびに下肢速度の計算を含む。さらに、膝の角度および膝のモーメントを、腿および脛の相対的な向きを用いて計算することができる。部位（segment）の向きは、拡張カルマンフィルタにより決定することができる。様々なセンサを融合させることで、球速推定システムの精度が向上する。

【0235】

分類および回帰のタスクにおいて手作りの特徴抽出を用いる代わりに、深層学習技法を、サッカー特有のアクションの分類または球速の推定にさらに利用することができる。深層学習は、教師ありおよび／または教師なし手法、たとえば深層畳み込みニューラルネットワーク、深層信念ネットワーク（deep belief network）、またはオートエンコーダを利用して、深層アーキテクチャにおける階層表現を自動的に学習する機械学習手法のセットを指す。

【0236】

本明細書に記載の方法により得られる要約統計量は、特定のプレーヤーの検出されたイベント（たとえば、彼のシュート全て）を表示する映像と組み合わせることができる。このように、組み合わせられた要約またはフィードバックが得られる。映像および統計量の組み合わせは、デバイス１４上で行うことができ、またはコンシューマデバイス、たとえばモバイルデバイス５１ａ、５１ｂ（たとえばスマートフォン、タブレットＰＣ、スマートウォッチ）、デスクトップＰＣ５１ｃまたはノートブック５１ｄ上で行うことができる。

【0237】

検出されたイベントに基づく要約統計量（および任意選択で、特定のイベントの生成された映像）は、他の人々、たとえばトレーナー、観衆またはこれらの統計量に興味のある他の人々に転送することができる。転送は、インターネット上でライブストリームを介して行うことができる。転送は、たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥ、ＮＦＣ、ＲＦＩＤ、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｔｈｕｎｄｅｒｂｏｌｔなどに媒体に基づくことができる。要約統計量（および任意選択で、特定のイベントの生成された映像）に基づいて、プレーヤーは後述のようにトレーナーまたはスカウトなどからフィードバックを得ることができる。

【0238】

さらに、要約統計量（および任意選択で、特定のイベントの生成された映像）に基づいて、すなわちプレーヤーの成果に応じて、ストアまたはスタジアム内の特別なエリアをロック解除することができる。たとえば、プレーヤーが試合中に特定数のボールコンタクトを達成した場合、ストアまたはスタジアム内の特定のエリアへのアクセスが授与される。

【0239】

また、センサデータを用いて、ステップオーバーカウンタ（すなわち、ステップオーバーの回数）、フットボール活動モニタ、キーピーアッピートラッカー（すなわち、ボールのジャグリング中のボールコンタクトのカウント）、「アラウンドザワールド」（すなわち、ボールを片脚で持ち上げ、その脚をボールの周りに地面に落下する前に動かすこと）、または１対１カウンタ（すなわち、プレーヤーがフィールド上で１対１の状況になり、たとえば相手を迂回するおよび／または出し抜くことを試みた頻度のカウント）を提供することもできる。たとえば、センサデータを分析して、プレーヤーがボールを地面に落下させずに行ったボールコンタクトの回数を決定することができる（キーピーアッピー）。上述の統計量は、対応する検出されたイベントに基づいて決定することができ、すなわちイベントは、（キーピーアッピーのための）足とボールとのコンタクト、または（「アラウンドザワールド」のための）円運動とすることができる。

【0240】

キックに関連するイベントが検出された場合、球速をセンサデータに基づいて推定することができる。したがって、人物は、自分のキックのパフォーマンスについてのフィードバックを得ることができる。球速は、前処理、特徴抽出および回帰により推定することができる。センサデータをセグメント化することができ、セグメント化された領域ごとに特徴を計算することができる。計算された特徴を入力として用いる様々な回帰技法を用いることができる。

【0241】

試合（たとえば、２チームのサッカーの試合、２人のプレーヤーのテニスの試合など）の後に、要約統計量ならびに検出されたイベントからまとめられた映像を、グローバルデータベース、たとえばトレーナー、スカウト、または他の人々用のクラウドに自動的に送信して、要約統計量および映像をレビューすることができる。そのようなデータ伝送の詳細は、図５を参照して与えられている。そして、トレーナーまたはスカウトは、図５を参照して説明されたように、モバイルデバイス５１ａ、デスクトップＰＣ５１ｃ、またはノートブック５１ｄを用いてクラウドにアクセスし、本発明に従って生成された映像および／または要約統計量を研究する。これに基づいて、トレーナーまたはスカウトは、（たとえばソーシャルメディアプラットフォームを介して、またはＥメール、ショートメッセージサービスなどで、コメントまたはプライベートなメモを投稿することで）映像に登場するプレーヤーにフィードバックを与えることができる。スカウトは、さらなる評価のために、プレーヤーを選択することができる。

【0242】

本発明の文脈における衛星ナビゲーションシステムモジュール３１２により提供されたデータに基づいて、ヒートマップを作成することができ、マップ上で他の人々がトリック、シュートなどが行われた場所および時間が分かるようにする。この文脈におけるヒートマップは、各位置に、人物がその特定の位置で費やした期間を関連付けるマップと理解されたい。そして、期間は配色にマッピングされる。たとえば、長い期間は赤色で示され、短い位置は青色で示される。中間の値は、対応する中間の色（たとえば、自然色のスペクトルからの色）により示される。ヒートマップを用いて、人物が、たとえば試合中に時間の多くを実際に費やした場所を分析することができる。この目的で、ヒートマップをプレイフィールド（たとえばフットボールグラウンド、テニスコート、バスケットボールフィールドなど）の写真または模式図に重ねることができる。このように、ヒートマップは、人物の好みの位置を示す。

【0243】

プロフェッショナルプレーヤーにより行われたトリックを、センサアセンブリ１２およびカメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅにより記録することができる。そして、他の人々が、トリックを繰り返すように求められ、上手くトリックを反復できた度合いに応じて報酬を受ける、または表彰される。プロフェッショナルプレーヤーが行う代わりに、トリックは、アマチュア、レクリエーションのプレーヤー、または任意のプレーヤーもしくは人物により行うことができる。

【0244】

記録されたセンサデータに基づいて、人物はポイントまたはスコアを取得することができる。たとえば、人物が特定の活動、たとえばサッカー、バスケットボールまたはテニスをどれほど長く、またはどれほど熱心に行ったかに応じて、ポイントまたはスコアが授与される。たとえば、ユーザがサッカーまたはバスケットボールを公園または街路で行った場合、トリックを実施した場合、あるいは彼がアバターで表現されるＰＣまたはゲームコンソール上のサッカー、バスケットボールまたはテニスのゲームをプレイした場合でさえ、対応するポイントまたはスコアを授与することができる。センサデータから抽出された特定のイベント（たとえばシュート、ロングパス、ショートパス、ドリブル、トリックなど）をカウントし、これに基づいてアドバンテージ、賞および／または報酬を人物に、特定量のイベントに到達した場合に与えることができる。

【0245】

ポイントまたはスコアは、一般に、ユーザが活動的である場合に授与することができる。そして、センサアセンブリ１２は、前述した活動追跡器のように動作する。より多くの動きをユーザが行うほど、より多くのポイントまたはスコアが得られる。

【0246】

ポイントまたはスコアにより、ストア内の特別なエリアをロック解除することができる。たとえば、人物が特定数のポイントまたはスコア（たとえば１．０００）に達した場合、ストア内の特別なエリアを彼に対してロック解除することができ、すなわちそのエリアへのアクセスを認められる。エリアは、特典、たとえば限定エディションまたはコレクターズアイテムを含むことができる。エリアは、自動ドアまたはバリアにより他の人々へロックすることができる。人物がドアまたはバリアに近づいた場合、センサアセンブリ１２内の無線送受信機モジュール３９は、人物を識別したドアまたはバリア付近の受信機へ（たとえばＷｉｆｉ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ、Ｚｉｇｂｅｅ、ＡＮＴ、ＡＮＴ＋を介して）無線信号を送信することができる。人物が十分なポイントまたはスコアを有している場合、ドアまたはバリアを開くことができ、人物は特別なエリアへのアクセスを認められる。

【0247】

あるいは、特別なエリアは、オンラインストアの一部とすることができる。オンラインストアがホストされるサーバは、たとえば名前および／またはパスワードにより人物の識別を要求し、続いて人物に関連付けられたポイント数またはスコア数を他のサーバ、たとえばクラウドサーバ５２から取得する。人物が十分なポイントまたはスコアを有している場合、オンラインストア内の特別なエリアへ、限定エディションまたはコレクターズアイテムなどの特典を持って移動することを許可することができる。

【0248】

ストアまたはオンラインストアの文脈では、ポイントまたはスコアに基づいて人物に割引を与えることもできる。たとえば、ポイントまたはスコアごとに、割引を、パーセント（たとえば１００ポイント／スコアあたり１パーセント）で、または固定金額（たとえば１００ポイント／スコアあたり１ユーロまたはドル）として与えることができる。

【0249】

さらに、ポイントまたはスコアに基づいて、独占的なメディアコンテンツへのアクセスを認めることができる。たとえば、人物が特定の最小量のポイント／スコア（たとえば１０００）を有する場合、メディアサーバ上の特別なスポーツメディア（映像クリップ、ワークアウトミュージック、写真など）へのアクセスを認められる。

【0250】

また、ポイントまたはスコアを用いて、プレーヤーにオンラインバッチを授与することができる。たとえば、プレーヤーが１０００ポイントまたはスコアをためた場合、ブロンズバッチが授与され、プレーヤーが５０００ポイントをためた場合、シルバーバッチが授与され、プレーヤーが１００００ポイントをためた場合、ゴールドバッチが授与される。バッチは、プレーヤーのソーシャルメディアプロフィール（たとえばフェイスブック、ツイッター（登録商標）など）に表示することができる。

【0251】

また、ポイントまたはスコアは、コンピュータゲームで使用するプレーヤーのアバターのパフォーマンスに関連付けることもできる。プレーヤーが特定の活動（たとえばサッカー、バスケットボール、テニス、日々の活動など）によりポイントまたはスコアをためるほど、アバターのパフォーマンスが高くなるようにする。たとえば、特定数のポイントまたはスコアに達した場合に、アバターは特定のスキルおよび／または装備を得ることができる。一例は、プレーヤーがたとえば１０００ポイントに達した場合に、バイシクルキックを行う能力および／またはより優れた靴一足を得るサッカーアバターであろう。アバターのチーム全体のパフォーマンスを、それらに関連付けられたプレーヤーがポイント数またはスコア数を増やした場合に、向上させることもできる。たとえば、実際の試合でのサッカープレーヤーのチームのパフォーマンスにより、サッカーゲームでの彼らのアバターのチームのパフォーマンスを決定することができる。

【0252】

また、センサアセンブリ１２を用いて、人物が試合を見るためにスタジアムを訪れた時刻も追跡することができる。たとえば、スタジアムに、無線送受信機モジュール３９を介してセンサアセンブリ１２と通信するための、ＲＦＩＤ／ＮＦＣタグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢＴＬＥビーコン、ＷＬＡＮホットスポットなどを設けることができる。このように、スタジアムに関連付けられた識別子を、センサアセンブリ１２に送信し、メモリ１３に格納することができる。この情報は、後で、ユーザのソーシャルメディアプロフィールなどに（たとえば無線送受信機モジュール３９またはコネクタ３８を介して）送信することができる。したがって、ソーシャルメディアプロフィールは、人物が特定の試合を見るためにスタジアムを訪れたという情報を表示することになる。

【0253】

また、センサアセンブリ１２が、スタジアムに設置された受信機にセンサアセンブリ１２に関連付けられた識別子を送信し、識別子はさらに受信機からインターネットのサーバ（たとえばソーシャルメディアプラットフォームサーバ）へ送信され、サーバは人物が試合を見たという情報を表示するということも可能である。

【0254】

スタジアムの代わりに、スポーツ用品店に、人物のセンサアセンブリ１２と通信するための、ＲＦＩＤ／ＮＦＣタグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢＴＬＥビーコン、ＷＬＡＮホットスポットなどを備えることができる。上述の方法で、人物が店を訪れたという情報を、人物のソーシャルメディアプロフィールに自動的に投稿することができる。

【0255】

本発明は、広範囲の活動、特にスポーツ活動で使用することができる。たとえばバスケットボールをプレイする場合、意味のあるアクションまたはイベント、たとえばダンク、ジャンプシュート、３６０、クロスオーバー、シュート、シュートブロックを、プレイ中に検出することができる。バスケットボールゲームのハイライトリールを、本発明の方法およびシステムに基づいて生成することができる。バスケットボールの場合、１つより多いセンサアセンブリ１２をプレーヤーが装着することができ、たとえば１つのセンサアセンブリ１２を片腕に装着することができ、他のセンサアセンブリ１２を片脚に装着することができる。一般的に、センサアセンブリ１２は、体の任意の位置に、たとえば腰（hip）に装着することができる。前述のように、１つより多いセンサアセンブリ１２からのセンサデータは、単一の時系列に組み合わせることができる。

【0256】

センサアセンブリ１２をバスケットボールに取り付けるまたは組み込むことで、バスケットボールの動きを記録することもできる。そして、バスケットボールからのセンサデータを、バスケットボールプレーヤーが装着したセンサアセンブリからのセンサデータと組み合わせることで、バスケットボールのセンサデータを用いてイベントの検出を強化することができる。

【0257】

さらなる例示的スポーツ活動は、ランニングおよびテニスである。本発明がテニスに適用される場合、要約映像（「ハイライトリール」または「ショーリール」）は、プレーヤーの全てのフォアハンドもしくは全てのバックハンドおよび／または全てのサービスを表示することができる。本発明がダブルス中に実施される場合、特定のプレーヤーのみの前述のイベントを映像に表示させることができる。

【0258】

センサアセンブリ１２は、ランナーが（たとえば足首の一方または両方付近に）装着することができ、センサデータをランニング中にメモリ１３に格納することができる。そして、センサデータを本明細書で説明したように後で分析して、ランナーの走行技術を分析することができる。たとえば、センサデータを用いて、地面への足の接触の方法、ならびに回内および回外の方法を検出することができる。彼の動きの変化を、時間にわたって特定することができる。このようにして、いつランナーが疲労し始めたかを決定することができる。また、パワー出力（power output）を計算する、または時間変化に伴うランナーの消費カロリーを計算する、あるいはパワー出力の総量を取得することもできる。

【0259】

既に説明されたように、本発明の文脈で使用可能なカメラ１１または複数のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅは、スマートフォンのカメラとすることができる。さらに、タブレットＰＣ、ノートブック、カメラスティック、スマートウォッチなどのカメラを使用することができる。また、アクションカメラ、たとえばＧｏｐｒｏ（登録商標）を使用することができる。センサデータがカメラとは別のデバイス上で（イベント検出、およびイベントと映像フレームとの関連付けのために）処理される場合、映像は有線で（たとえばＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｔｈｕｎｄｅｒｂｏｌｔなど）、または無線接続で（たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥ、ＮＦＣ、ＲＦＩＤ、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）など）デバイスへ送信することができる。

【0260】

検出されたイベントに関連付けられた少なくとも１つの映像フレームから生成された映像、すなわち要約映像、「ハイライトリール」または「ショーリール」は、たとえばサッカーピッチの映像ウォール上に表示することができる。この目的で、センサデータおよび記録された映像または複数の映像を処理するデバイス１４を、有線で（たとえばＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｔｈｕｎｄｅｒｂｏｌｔなど）、または無線接続で（たとえばＷｉｆｉ、ＷＬＡＮ、ＢＴ、ＢＴＬＥ、ＮＦＣ、ＲＦＩＤ、ＡＮＴ（登録商標）、ＡＮＴ＋、ＺｉｇＢｅｅ（登録商標）など）映像ウォールに接続して、要約映像を映像ウォールに転送することができる。

【0261】

本発明は、以下の実施形態を含む。

【0262】

［１］ａ．人物の活動の映像を記録するステップと、
ｂ．人物が活動を行っている間に当該人物に接続された少なくとも１つのセンサ（３１、３２、３３、３４、３５）を含むセンサアセンブリ（１２）から得られたセンサデータ（８２）の時系列を記憶するステップと、
ｃ．映像をセンサデータ（８２）と同期させるステップと、
ｄ．時系列内のイベントを検出するステップと、
ｅ．イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるステップと、
を備える、人物の活動の映像内のフレームをイベントに関連付けるための方法。

【0263】

［２］少なくとも１つのフレームを用いて、人物の活動の所定のイベントを表示する第２の映像を生成するステップ、
をさらに備える、［１］に記載の方法。

【0264】

［３］映像をセンサデータ（８２）と同期させるステップが、時系列内の、および映像の少なくとも１つのフレーム内の所定の同期イベントを検出すること、
を備える、［１］または［２］に記載の方法。

【0265】

［４］活動がスポーツ活動である、［１］から［３］のいずれか一項に記載の方法。

【0266】

［５］活動がサッカーである、［１］から［４］のいずれか一項に記載の方法。

【0267】

［６］イベントが、キック、ショートパス、ロングパス、シュート、またはボールのコントロールである、［１］から［５］のいずれか一項に記載の方法。

【0268】

［７］少なくとも１つのセンサ（３１、３２、３３、３４、３５）が、加速度計（３１）、ジャイロスコープ（３２）、または磁場センサ（３３）である、［１］から［６］のいずれか一項に記載の方法。

【0269】

［８］センサアセンブリ（１２）が２つ以上のセンサ（３１、３２、３３、３４、３５）を備え、２つ以上のセンサ（３１、３２、３３、３４、３５）からのセンサデータ（８２）が時系列内で組み合わせられる、［１］から［７］のいずれか一項に記載の方法。

【0270】

［９］人物の活動の映像を記録するステップが、映像を少なくとも２つのカメラを用いて記録することを備える、［１］から［８］のいずれか一項に記載の方法。

【0271】

［１０］映像をデータベースに保存するステップをさらに備える、［１］から［９］のいずれか一項に記載の方法。

【0272】

［１１］時系列内のイベントを検出するステップが、
時系列を前処理すること（８３）と、
時系列を複数のウィンドウにセグメント化すること（８４）と、
外れ値を検出すること（８５）と、
複数のウィンドウの各々において時系列から複数の特徴を抽出すること（８６）と、
複数のウィンドウの各々において時系列から抽出された複数の特徴に基づいて、複数のウィンドウに関連するイベントクラスを推定すること（８７）と、
を備える、［１］から［１０］のいずれか一項に記載の方法。

【0273】

［１２］前処理するステップ（８３）が、ローパスフィルタリングおよびダウンサンプリングを備える、［１］から［１１］のいずれか一項に記載の方法。

【0274】

［１３］前処理された時系列を、固定のウィンドウサイズを有する複数のウィンドウにセグメント化するステップ（８４）、
をさらに備える、［１１］または［１２］に記載の方法。

【0275】

［１４］ウィンドウの中心を、時系列内の最大ピークとするステップ、
をさらに備える、［１３］に記載の方法。

【0276】

［１５］中心にある最大ピークが閾値未満であるウィンドウを除去するステップ、
をさらに備える、［１１］から［１４］のいずれか一項に記載の方法。

【0277】

［１６］ウィンドウサイズをイベントの形状および／または程度に適合させるステップ、
をさらに備える、［１１］から［１５］のいずれか一項に記載の方法。

【0278】

［１７］ルールベースシステムおよび／または１クラスサポートベクターマシンにより外れ値を検出するステップ、
をさらに備える、［１１］から［１６］のいずれか一項に記載の方法。

【0279】

［１８］特徴が、外れ値を含まないウィンドウにおいて計算される、［１］から［１７］のいずれか一項に記載の方法。

【0280】

［１９］特徴が、たとえばウェーブレット解析、主成分分析ＰＣＡ、または高速フーリエ変換ＦＦＴを用いることによる、時間、時空間、スペクトル、またはアンサンプル統計量のうちの１つに少なくとも基づく、［１１］から［１８］のいずれか一項に記載の方法。

【0281】

［２０］特徴が、単純平均、正規化された信号エネルギー、運動強度、信号強度面積、軸間相関、ウィンドウ内の最大値、ウィンドウ内の最小値、ウェーブレット変換の最大細部係数、テンプレートとの相関、テンプレートの主成分への射影、またはテンプレートの固有空間までの距離、スペクトル重心、帯域幅、優位周波数のうちの１つに基づく、［１１］から［１９］のいずれか一項に記載の方法。

【0282】

［２１］特徴選択手順により特徴の数を削減するステップ
をさらに備える、［１１］から［２０］のいずれか一項に記載の方法。

【0283】

［２２］イベントクラスが、ベイズ分類器たとえばナイーブベイズ分類器、最大マージン分類器たとえばサポートベクターマシン、アンサンブル学習アルゴリズムたとえばアダブースト分類器およびランダムフォレスト分類器、ニアレストネイバー分類器、ニューラルネットワーク分類器、ルールベース分類器、またはツリーベース分類器に基づいて推定される、［１１］から［２１］のいずれか一項に記載の方法。

【0284】

［２３］イベントクラスの最終予測を推定するために、いくつかの分類器の決定を融合させるステップ
をさらに備える、［１１］から［２２］のいずれか一項に記載の方法。

【0285】

［２４］相関、整合フィルタリング、ダイナミックタイムワーピング、または最長共通部分列（ＬＣＳＳ）およびそのスライディングウィンドウ変形、ワーピングＬＣＳＳを用いたテンプレートのマッチングにより、イベントを検出するステップをさらに備える、［１１］から［２３］のいずれか一項に記載の方法。

【0286】

［２５］イベントクラスを推定することが、
形状が類似したイベントを含む統合されたイベントグループ同士を区別することと、
１つの特定のグループに属する単一イベント同士を区別することと、
を備える、［１１］から［２４］のいずれか一項に記載の方法。

【0287】

［２６］推定するステップが、教師あり学習に基づいて訓練された分類器に基づく、［１１］から［２５］のいずれか一項に記載の方法。

【0288】

［２７］検出されたイベントに少なくとも部分的に基づいて要約統計量を提供すること
をさらに備える、［１］から［２６］のいずれか一項に記載の方法。

【0289】

［２８］キックに関連付けられたイベントが検出された場合に、時系列に基づいて球速を推定するステップ
をさらに備える、［１］から［２７］のいずれか一項に記載の方法。

【0290】

［２９］［１］から［２８］のいずれか一項に記載の方法を実施するように構成された、人物の活動の映像内のフレームをイベントに関連付けるためのシステム。

【0291】

［３０］ａ．人物の活動の映像を記録するための少なくとも１つのカメラ（１１、１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ）と、
ｂ．人物が活動を行っている間に当該人物に接続可能な少なくとも１つのセンサ（３１、３２、３３、３４、３５）を備える少なくとも１つのセンサアセンブリ（１２）と、
ｃ．少なくとも１つのセンサ（３１、３２、３３、３４、３５）から得られたセンサデータ（８２）の時系列を格納するためのメモリ（１３）と、
ｄ．映像をセンサデータ（８２）と同期させ、時系列内のイベントを検出し、イベントを、イベントを表示する映像内の少なくとも１つの対応するフレームに関連付けるためのプロセッサ（１４）と、
を備える、人物の活動の映像内のフレームをイベントに関連付けるためのシステム。

【0292】

［３１］センサアセンブリ（１２）が、人物の体に接続されるように構成された、［３０］に記載のシステム。

【0293】

［３２］センサアセンブリ（１２）が、ストラップ（４１）またはブレスレットに取り付けられるように構成された、［３０］または［３１］に記載のシステム。

【0294】

［３３］センサアセンブリ（１２）を備えるウェアラブルデバイスをさらに備える、［３０］から［３２］のいずれか一項に記載のシステム。

【0295】

［３４］センサアセンブリ（１２）がメモリ（１３）を備える、［３０］から［３３］のいずれか一項に記載のシステム。

【0296】

［３５］少なくとも２つのカメラを備える、［３０］から［３４］のいずれか一項に記載のシステム。

【0297】

［３６］実行された場合に、［１］から［２８］のいずれか一項に記載の方法をコンピュータに実施させる命令を含むコンピュータプログラム。

【符号の説明】

【0298】

１１ カメラ
１１ａ カメラ
１１ｂ カメラ
１１ｃ カメラ
１１ｄ カメラ
１１ｅ カメラ
１２ センサアセンブリ
１３ メモリ
１４ デバイス
１５ プロセッサ
１６ メモリ
３１ 加速度計、センサ
３２ ジャイロスコープ、センサ
３３ 磁力計、センサ
３４ 気圧計、センサ
３５ 温度センサ、センサ
３６ 中央処理装置
３７ リアルタイムクロック
３８ コネクタ
３９ 無線送受信機、送受信機
４１ ウェアラブルデバイス
５１ａ モバイルデバイス、コンシューマデバイス
５１ｂ モバイルデバイス、コンシューマデバイス
５１ｃ デスクトップＰＣ、コンシューマデバイス
５１ｄ ノートブック、コンシューマデバイス
５２ クラウド
６１ ディスプレイ
６２ シーン選択バー
６３ タイムスライダ
６４ カメラ選択バー
６５ フィードバックおよび統計量領域
７１ ディスプレイ
７２ カメラ選択領域
７３ カメラ概観領域
１１１ 特徴ベクトル
１１２ 特徴ベクトル
１１３ 特徴ベクトル
１１４ マージン
１１５ マージン
３１０ バッテリー
３１１ 誘導コイル
３１２ 衛星ナビゲーションシステムモジュール
３１３ ディスプレイ
３１４ スイッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【外国語明細書】

2016208516000001.pdf