特許 7005482 多センサ事象相関システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-21

(54)【発明の名称】多センサ事象相関システム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20220114BHJP

   G06F 16/909 20190101ALI20220114BHJP

   G06F 3/01 20060101ALI20220114BHJP

   G06F 16/907 20190101ALI20220114BHJP

   A61B 5/11 20060101ALI20220114BHJP

【ＦＩ】

G06F16/90

G06F16/909

G06F3/01 510

G06F16/907

A61B5/11 230

【請求項の数】 33

(21)【出願番号】P 2018502079

(86)(22)【出願日】2016-07-15

(65)【公表番号】

(43)【公表日】2018-10-18

(86)【国際出願番号】 US2016042671

(87)【国際公開番号】W WO2017011814

(87)【国際公開日】2017-01-19

【審査請求日】2019-07-16

(31)【優先権主張番号】14/801,428

(32)【優先日】2015-07-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/184,926

(32)【優先日】2016-06-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516053899

【氏名又は名称】ブラスト モーション インコーポレイテッド

【氏名又は名称原語表記】ＢＬＡＳＴ ＭＯＴＩＯＮ ＩＮＣ．

(74)【代理人】

【識別番号】100073184

【弁理士】

【氏名又は名称】柳田 征史

(74)【代理人】

【識別番号】100175042

【弁理士】

【氏名又は名称】高橋 秀明

(72)【発明者】

【氏名】ボーズ，バスカー

(72)【発明者】

【氏名】ベントリー，マイケル

(72)【発明者】

【氏名】キャプス，ライアン

【審査官】松尾 真人

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０１５４４５２（ＵＳ，Ａ１）

【文献】特開２０１４－１７１９０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０２２５１７８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２０６４８１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／０２９５８４３（ＵＳ，Ａ１）

【文献】特開２０１３－２４６７３０（ＪＰ，Ａ）

【文献】特開２００９－００３５３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ５／０６－５／２２

(57)【特許請求の範囲】

【請求項1】

多センサ事象相関システムであって、環境センサおよび生理学的センサの少なくとも１つを含むセンサデータソースと、ユーザ、用具、または前記ユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素とを含み、
前記少なくとも１つのモーションキャプチャ要素が、
センサデータメモリと、
前記少なくとも１つのモーションキャプチャ要素の向き、位置、速度、加速度、角速度、および角加速度と関連付けられた１以上の値をキャプチャするよう構成されたセンサと、
第１の通信インターフェースと、
前記センサデータメモリ、前記センサ、および前記第１の通信インターフェースと結合されたマイクロプロセッサであって、
前記センサからの前記１以上の値を含むセンサ値を含むデータを収集するか、または、
前記第１の通信インターフェースを介して前記データを、コンピュータであって、コンピュータメモリおよび前記データを取得するよう構成された第２の通信インターフェースを含むコンピュータに送信する、ように構成された、マイクロプロセッサと、
を含み、
前記システムが、前記マイクロプロセッサを含み、前記コンピュータが、
前記データを解析し、該データ中の事象を認識して事象データを決定し、
前記環境センサおよび前記生理学的センサの少なくとも１つと関連付けられた１以上の他の値を取得し、
前記データまたは前記事象データからなるグループから選択される情報を、前記環境センサおよび前記生理学的センサの少なくとも１つと関連づけられた前記１以上の他の値と相関させて、前記モーションキャプチャ要素のモーションと類似のモーションとを区別するために、第１のタイプの事象と第２のタイプの事象とを区別するための事象のタイプ、前記第１のタイプの事象と前記第２のタイプの事象とを区別するための真の事象若しくは前記第１のタイプの事象と前記第２のタイプの事象とを区別するための誤検出の事象、第１のタイプの用具と第２のタイプの用具とを区別するための前記少なくとも１つのモーションキャプチャ要素が結合されている用具のタイプ、および第１のタイプのアクティビティと第２のタイプのアクティビティとを区別するためのアクティビティのタイプから成るグループから選択されるタイプと関連付けられた相関を決定するように構成されることを特徴とするシステム。

【請求項2】

前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、前記事象についての１以上のタグを決定するよう更に構成され、
前記１以上のタグが、前記事象のアクティビティタイプ、前記事象の位置、前記事象のタイムスタンプ、前記事象と関連づけられたアクティビティの段階、前記事象と関連づけられたプレイヤーの識別情報、前記事象と関連づけられたパフォーマンスレベル、前記事象と関連づけられた得点結果のうちの１以上を表す、請求項１記載のシステム。

【請求項3】

前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、前記事象についての前記１以上のタグを決定するために、サーバからのテキスト、音声、画像、およびビデオのうちの１以上を解析するよう更に構成された、請求項２記載のシステム。

【請求項4】

前記サーバが、電子メールサーバ、ソーシャルメディアサイト、写真共有サイト、ビデオ共有サイト、ブログ、ｗｉｋｉ、データベース、ニュースグループ、ＲＳＳサーバ、マルチメディアリポジトリ、文書リポジトリ、およびテキストメッセージサーバのうちの１以上を含む、請求項３記載のシステム。

【請求項5】

前記テキスト、音声、画像、およびビデオのうちの１以上を解析することが、前記事象に関連するキーワードまたはキーフレーズについて前記テキストを検索することを含む、請求項３記載のシステム。

【請求項6】

前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、前記サーバからのテキスト、音声、画像、およびビデオのうちの１以上を解析することにより、特定の位置および時間について前記事象を確認して、確認された事象を生成するよう更に構成された、請求項３記載のシステム。

【請求項7】

前記少なくとも１つのモーションキャプチャ要素が、前記ユーザ若しくは前記用具と結合し、または前記ユーザと結合された前記モバイル装置と結合するよう構成され、前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、前記データまたは前記事象データを、前記センサの位置と関連付けることによって、前記センサ値からの特徴的なモーションパターンに基づいて、前記用具または前記ユーザ上における前記センサの位置を認識するよう更に構成された、請求項１記載のシステム。

【請求項8】

前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、複数のセンサパーソナリティから選択されるセンサパーソナリティに基づいて、前記センサから前記センサ値を収集するよう更に構成され、前記センサパーソナリティが、特定の用具または特定のタイプの衣服と関連づけられた特定のタイプの動きまたは前記アクティビティのタイプに関して最適な方法で前記データを収集するよう、センサ設定を制御するよう構成された、請求項１記載のシステム。

【請求項9】

前記少なくとも１つのモーションキャプチャ要素が前記用具から取り外され、異なるタイプの第２の用具と結合された後、前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、前記センサ値からの特徴的なモーションパターンに基づいて、新たに割り当てられた位置を有する前記少なくとも１つのモーションキャプチャ要素を、前記データを、前記新たに割り当てられた位置と関連付けることによって認識するよう更に構成された、請求項１記載のシステム。

【請求項10】

前記少なくとも１つのモーションキャプチャ要素が、前記ユーザ若しくは前記用具と結合し、または前記ユーザと結合された前記モバイル装置と結合するよう構成され、前記少なくとも１つのモーションキャプチャ要素が、モーションキャプチャ要素マウント、前記モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、およびサーバコンピュータのうちの１以上の内部、または任意の組合せの任意の数の前記モーションキャプチャ要素マウント、前記モバイル装置、前記携帯電話、前記スマートフォン、前記スマートウォッチ、前記カメラ、前記ラップトップコンピュータ、前記ノートブックコンピュータ、前記タブレットコンピュータ、前記デスクトップコンピュータ、および前記サーバコンピュータの内部に収容された、請求項１記載のシステム。

【請求項11】

前記マイクロプロセッサおよび前記コンピュータのうちの１以上が、前記データ、前記相関、および前記事象についての前記１以上のタグのうちの前記少なくとも１つを、リポジトリ、ビューア、サーバ、別のコンピュータ、ソーシャルメディアサイト、前記モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信するよう更に構成された、請求項１記載のシステム。

【請求項12】

前記コンピュータが、
前記第２の通信インターフェースから前記データを受信し、該データを解析して該データ内の前記事象を認識することにより事象データを決定し、
前記事象データを解析することによりモーション解析データを構成し、
前記事象データもしくは前記モーション解析データ、または前記事象データおよび前記モーション解析データの両方を前記コンピュータメモリに格納し、
前記事象データまたは前記モーション解析データから事象開始時間および事象停止時間を取得し、
少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間を取得し、
前記少なくとも１つのモーションキャプチャ要素から取得された前記データまたは前記事象データと関連づけられた第１の時間と、前記少なくとも１つのビデオと関連づけられた少なくとも１つの時間とに基づいて、前記事象データ、前記モーション解析データ、またはそれらの任意の組合せを、前記少なくとも１つのビデオと同期させることにより、少なくとも１つの同期された事象ビデオを生成し、
前記事象開始時間から前記事象停止時間までの期間外の前記少なくとも１つのビデオの少なくとも一部分を含めずに、前記少なくとも１つの同期された事象ビデオを前記コンピュータメモリに格納する
よう構成された、請求項１記載のシステム。

【請求項13】

前記少なくとも１つのモーションキャプチャ要素が、前記ユーザ若しくは前記用具と結合し、または前記ユーザと結合された前記モバイル装置と結合するよう構成され、前記コンピュータが、前記モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、およびサーバコンピュータのうちの１以上の内部、または任意の組合せの任意の数の前記モバイル装置、前記携帯電話、前記スマートフォン、前記スマートウォッチ、前記カメラ、前記ラップトップコンピュータ、前記ノートブックコンピュータ、前記タブレットコンピュータ、前記デスクトップコンピュータ、および前記サーバコンピュータの内部にある少なくとも１つのプロセッサを更に含み、
前記コンピュータが、前記第２の通信インターフェースから前記データを受信し、該データを解析することにより前記事象についての１以上のタグを決定し、前記事象についての前記１以上のタグを前記コンピュータメモリに格納する、ように更に構成された、請求項１２記載のシステム。

【請求項14】

前記コンピュータが、ビデオディスプレイと結合され、前記事象開始時間から前記事象停止時間までの期間内に生じた前記事象データ、前記モーション解析データ、またはそれらの任意の組合せと、前記少なくとも１つの同期された事象ビデオとの両方を前記ビデオディスプレイに表示するよう更に構成された、請求項１３記載のシステム。

【請求項15】

前記システムが、カメラと通信するよう構成され、および前記コンピュータが、前記前記事象開始時間から前記事象停止時間までの期間外の前記少なくとも１つのビデオの少なくとも一部分を捨てる、捨てるよう別のコンピュータに指示する、または捨てるよう前記カメラに指示するよう更に構成された、請求項１３記載のシステム。

【請求項16】

前記カメラが少なくとも１つのカメラを含み、
前記コンピュータが、前記データ、前記事象データ、または前記モーション解析データに基づいて、前記少なくとも１つのカメラと関連づけられた前記少なくとも１つのビデのビデオ記録パラメータを修正するための制御メッセージを、前記コンピュータと結合された前記少なくとも１つのカメラにローカルに、または前記少なくとも１つのカメラに外
部的に送信するよう更に構成され、
前記ビデオ記録パラメータが、フレームレート、解像度、色深度、カラーまたはグレースケール、圧縮方法、圧縮品質、および記録のオン／オフのうちの１以上を含む、
請求項１３記載のシステム。

【請求項17】

前記コンピュータが、前記事象についての前記１以上のタグ、前記事象または前記事象のタイプ、および前記真の事象のうちの１以上を、リポジトリ、ビューア、サーバ、別のコンピュータ、ソーシャルメディアサイト、前記モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信するよう更に構成された、請求項１３記載のシステム。

【請求項18】

前記コンピュータが、
前記少なくとも１つの同期された事象ビデオと関連づけられた測定指標または１以上のタグを受け付け、
前記測定指標または前記１以上のタグについての選択基準を受け付け、
前記選択基準に合格する前記測定指標または前記１以上のタグと関連づけられた１または複数の値を有する１組のマッチする同期された事象ビデオを決定し、
前記１組のマッチする同期された事象ビデオまたはそれらに対応するサムネイルを、前記１組のマッチする同期された事象ビデオもしくは前記対応するサムネイルの各々についての前記測定指標または前記１以上のタグと関連づけられた前記１もしくは複数の値と共に表示する
よう更に構成された、請求項１３記載のシステム。

【請求項19】

前記コンピュータが、
前記事象についてのユーザによって選択された１以上のタグを受け付け、且つ、
前記事象についての前記ユーザによって選択された１以上のタグを前記コンピュータメモリに格納する
よう更に構成された、請求項１３記載のシステム。

【請求項20】

前記コンピュータが、前記１組のマッチする同期された事象ビデオのハイライトリールまたは失敗リールを生成するよう更に構成された、請求項１８記載のシステム。

【請求項21】

前記センサまたは前記コンピュータが、音声信号を記録するマイクと結合され、且つ、
前記事象を認識することが、
前記データに基づいて見込みのある事象を決定すること、および、
前記見込みのある事象が前記真の事象であるかまたは前記誤検出の事象であるかを決定するために、前記データを前記音声信号と相関させることを含む、
請求項１３記載のシステム。

【請求項22】

前記見込みのある事象が前記真の事象である場合に、前記コンピュータが、前記音声信号を前記少なくとも１つの同期された事象ビデオと共に前記コンピュータメモリに格納するよう更に構成された、請求項２１記載のシステム。

【請求項23】

前記コンピュータが、前記事象開始時間または前記事象停止時間、もしくは前記事象開始時間および前記事象停止時間の両方と最も密接に関連づけられた前記少なくとも１つのビデオ内の開始事象フレームまたは停止事象フレーム、もしくは前記開始事象フレームおよび前記停止事象フレームの両方をより正確に決定するための画像解析に基づいて、前記モーション解析データを前記少なくとも１つのビデオと同期させるよう更に構成された、請求項２１記載のシステム。

【請求項24】

前記コンピュータが、
前記ユーザまたは前記用具と関連づけられた以前に格納された事象データまたはモーション解析データにアクセスし、且つ、
前記ユーザまたは前記用具と関連づけられた前記事象データまたは前記モーション解析データ、および、前記ユーザまたは前記用具と関連づけられた前記以前に格納された事象データまたはモーション解析データに基づいて、前記ユーザと関連づけられた前記事象データの提示を含む情報をディスプレイ上に表示する
よう更に構成された、請求項１３記載のシステム。

【請求項25】

前記コンピュータが、
少なくとも１人の他のユーザまたは少なくとも１つの他の用具と関連づけられた以前に格納された事象データまたはモーション解析データにアクセスし、且つ、
前記ユーザまたは前記用具と関連づけられた前記事象データまたは前記モーション解析データ、および、前記少なくとも１人の他のユーザまたは前記少なくとも１つの他の用具と関連づけられた前記以前に格納された事象データまたはモーション解析データに基づいて、前記ユーザと関連づけられた前記事象データの提示を含む情報をディスプレイ上に表示する、
よう更に構成された、請求項１３記載のシステム。

【請求項26】

前記少なくとも１つのモーションキャプチャ要素内にある前記マイクロプロセッサが、前記事象または該事象の検出を、少なくとも１つの他のモーションキャプチャ要素、前記コンピュータ、少なくとも１つの他のモバイル装置、またはそれらの任意の組合せに送信するよう更に構成され、
前記少なくとも１つの他のモーションキャプチャ要素、前記コンピュータ、前記少なくとも１つの他のモバイル装置、またはそれらの任意の組合せが、たとえ前記少なくとも１つの他のモーションキャプチャ要素が前記事象を検出していない場合であっても、前記事象と関連づけられたデータを保存する、該データを送信する、または該データの保存および送信の両方を行うよう構成された、
請求項１記載のシステム。

【請求項27】

前記コンピュータが、
前記事象の近位に位置する、前記事象を見るよう向けられている、または前記事象の近位に位置し且つ前記事象を見るよう向けられているカメラを要求し、またはその要求を同報し、
前記カメラのうちの少なくとも１つの前記カメラからの、前記事象開始時間から前記事象停止時間までの期間外の前記少なくとも１つのビデオの少なくとも一部分を含まない、前記事象を含む前記少なくとも１つのビデオを要求するよう更に構成された、請求項１記載のシステム。

【請求項28】

前記コンピュータが、サーバからのテキスト、音声、画像、およびビデオのうちの１以上を解析することにより、特定の位置および時間について前記事象を確認して、確認された事象を生成するよう更に構成された、請求項１記載のシステム

【請求項29】

前記コンピュータが、サーバからのテキスト、音声、画像、およびビデオのうちの１以上を解析することにより、前記事象についての前記１以上のタグを決定するよう更に構成された、請求項１３記載のシステム。

【請求項30】

前記マイクロプロセッサの１以上が、
第１の閾値を有する前記センサ値から第１の値を検出し、
時間窓内において、第２の閾値を有する前記センサ値から第２の値を検出し、
見込みのある事象を見込みのある事象であるとして示し、
前記見込みのある事象を、典型的な事象と関連づけられた特徴的な信号と比較して、誤検出の事象があればそれを消去し、
前記見込みのある事象が前記誤検出の事象ではない場合に、前記真の事象を真の事象であるとして示して、前記誤検出の事象を決定する
よう更に構成された、請求項２８記載のシステム。

【請求項31】

前記相関によって、前記システムが、前記第２のタイプの事象に関して前記第１のタイプの事象を区別して、前記複数の事象のタイプから選択される前記事象のタイプ、真の事象若しくは誤検出の事象を決定するよう更に構成された、請求項１記載のシステム。

【請求項32】

前記相関によって、前記システムが、前記第２のタイプのアクティビティに関して前記第１のタイプのアクティビティを区別して、前記複数のアクティビティのタイプから選択される前記データによって示される前記アクティビティのタイプを決定するよう更に構成された、請求項１記載のシステム。

【請求項33】

前記相関によって、前記システムが、前記第２のタイプの用具に関して前記第１のタイプの用具を区別して、前記複数の用具のタイプから選択される、前記少なくとも１つの他のモーションキャプチャ要素が結合する前記用具のタイプを決定するよう更に構成された、請求項１記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

１以上の実施形態は、環境的センサ、生理学的センサ、モーションキャプチャセンサを含むセンサと、それに関連する、ユーザもしくは用具と関連付けられた環境的データ、生理学的データ、および／もしくはモーションキャプチャデータ中、またはモーション解析データ中で認識された事象に基づく、並びに／或いは、ユーザまたは他のユーザおよび／もしくは用具からの以前のモーション解析データに基づく、データ解析および情報の表示の分野に関する。本発明を限定するものではないが、より具体的には、１以上の実施形態は、ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオを、コンピュータによって自動的に解析、同期化および転送することを可能にする、多センサ事象検出およびタグづけシステムを可能にする。ビデオおよびモーションキャプチャデータを含む事象データが、データベースに保存される。モーション事象を含む事象が生じた際に、その事象が解析され、データベースに格納された事象の解析は、モーション事象データにおける傾向、相関、モデル、およびパターンを識別する。事象ビデオをアップロードし、大量のビデオの関係ない部分のアップロードを回避することによって、ストレージを大きく節約すると共にアップロード速度を高める。測定指標によってフィルタリングされたハイライトリールを生成し、測定指標によってソーティングできる。たとえ他のセンサがその事象を検出していない場合であっても、事象データを保存するために複数のセンサと統合される。例えば、事象（例えば、子供の初めての歩行、激しい震え事象、スポーツ、軍隊または他のモーション事象（震盪、または高齢者と関連付けられた転倒事象を含む）等）のビデオを保存すると共に、例えば、事象ビデオに必要な記憶容量を大きく低減するために事象に関連しないビデオデータを捨てるのを可能にするために、事象は、事象が生じた際または事象が生じた後に、および、内部／外部カメラもしくはベビーシッター監視カメラから事象がキャプチャされた際に、例えば、モバイル装置またはリモートサーバ上で、事象の位置および／または時間またはそれらの両方に基づいて、複数のセンサを介して、および／または、ソーシャルメディアもしくは他のウェブサイト上のテキスト／ビデオを介して、画像またはビデオと相関されて確認され得るか、並びに／或いは、別様で同期され得る。システムは、センサデータの解析に基づいて、事象についてのタグを自動的に生成し得る。また、タグは、事象を記述するソーシャルメディアサイトへの投稿の解析に基づいても生成され得る。

【背景技術】

【0002】

既存のモーションキャプチャシステムは、対象となる実際の事象に関する大量のデータを処理し、可能性として格納もする。例えば、公知のシステムは、ユーザまたは用具に結合されたセンサから加速度計データをキャプチャして、動きを解析またはモニタリングする。これらのシステムは、或る事象が実際に生じたか否か、どのようなタイプの用具か、またはどのようなタイプのアクティビティが生じたかを決定するために、複数の異なるタイプのセンサ、またはソーシャルメディアもしくは他のセンサに基づかない情報（投稿を含む）を用いて、コンピュータによって自動的に事象を確認することはしない。

【0003】

これらの状況では、数千または数百万ものモーションキャプチャサンプルが、休息中のユーザ、または既存のシステムが解析を試みる特定の事象に関係する方法で動いていないユーザと関連付けられる。例えば、フットボールプレイヤーをモニタリングする場合には、大量のモーションデータは震盪事象に関係せず、乳児については、大量のモーションデータは、概して揺さぶり事象またはモーションが無い事象（例えば、乳幼児突然死症候群（ＳＩＤＳ）等）に関係せず、ゴルファーについては、プレイヤーのゴルフクラブに装着されたセンサによってキャプチャされた大量のモーションデータは、低加速値のものである（例えば、プレイヤーが立っていること、またはプレイの待機中もしくは別様で対象となる方法で移動もしくは加速していないことと関連付けられる）。よって、事象に関連しないデータをキャプチャし、転送し、格納することは、電力、帯域幅、およびメモリの要件を増大させる。

【0004】

更に、或るタイプのモーションを行っているユーザのビデオキャプチャは、さらに大量のデータを含み得るが、その大半は、例えば、野球のバットのスイングやホームラン等の実際の事象とは関係ないものである。ビデオを自動的にトリミングして、例えば、事象に関連するビデオを保存し、または、例えば、生ビデオ全体をアップロードするのではなく、例えば、モーションキャプチャセンサによって決定された関係ある事象ビデオのみをアップロードすることによって、事象に関連しないビデオを捨てて、ビデオ中で生じた、例えば、モーションキャプチャデータの解析によって検出された事象に対応するより小さいビデオセグメントを生成する公知のシステムは存在しない。

【0005】

衝撃をモニタリングすることに関係する幾つかのシステムは、線形加速に関連する衝撃に焦点を当てている。これらのシステムは、回転加速または回転速度をモニタリングすることはできず、従って、震盪を生じ得る特定のタイプの事象は検出できない。更に、これらのタイプのシステムの多くは、低電力および長寿命を考慮した、事象に関連するコネクションレスメッセージを生成しない。よって、これらのシステムの用途は、それらのロバスト性の欠如に基づいて、限られたものとなっている。

【0006】

また、公知のシステムは、以前に格納されたモーションデータ中で認識された事象の関数に基づいて、特定の動き（例えば、平均的なプレイヤーもしくは平均的なプロプレイヤーのレベルのスイング、または任意のプレイヤーのレベルのスイング）の表現を構成するために、モーションデータ中の事象のデータマイニングを行うことを考えていない。従って、例えば仮想現実で用いるために、特定のモーションに関連する事象を見つけ出して、トリミングして、指定することは困難であり、時間がかかり、手間を要する。よって、現行のシステムは、特定のユーザが、同じユーザまたは他のユーザ（例えば歴史上のプレイヤー）の以前に格納されたモーション事象を相手にプレイすることを容易には可能にしない。更に、公知のシステムは、例えば、一連の衝撃がやがて脳機能障害につながり得るか否かを決定するために、震盪に関係するデータマイニングされた情報に関する累積影響を考慮していない。

【0007】

他のタイプのモーションキャプチャシステムは、身体力学を解析して指導することを目的にしたビデオシステムを含む。これらのシステムは、アスリートのビデオの記録、および記録されたアスリートのビデオの解析に基づくものである。この技術は、例えば、ビデオに基づく不正確で一貫しない被写体の解析を含む、様々な限界を有する。別の技術は、アスリートと関連付けられた動きの三次元の位置をキャプチャするために、例えば少なくとも２台のカメラを用いた、モーション解析を含む。公知の実装例は、携帯型ではない静止マルチカメラシステムを用いるので、例えば、ゴルフトーナメント、フットボールの試合等の運動事象において、または子供や高齢者をモニタリングするために、システムがインストールされている環境の外で用いることはできない。一般的に、ビデオに基づくシステムは、電子センサではなく視覚的マーカーを有する画像を取得して解析することを目的としているので、モーションを行っているオブジェクト上のセンサからのデジタルモーションキャプチャデータを用いることはしない。また、これらの固定された設備は非常に高価である。そのような従来技術は、特許文献１による優先権を主張している特許文献２に要約されており、それらの明細書を参照して本明細書に組み込む。両開示は、本願の主題と同じ発明者によるものである。

【0008】

取得されたモーションキャプチャデータを問わず、データは、一般的に、ユーザ毎に、またはスイング毎に解析されるが、これは、ユーザが、モーションキャプチャセンサと既存の携帯電話のための「アプリ」とを買うだけでよいような携帯電話上での処理は考えていない。更に、既存の解決法は、モバイルでの使用、解析およびメッセージング、並びに／または、同じユーザもしくは他のユーザの以前に格納されたモーションキャプチャデータとの比較もしくはその使用、または、例えば、「プロレベル」の平均的または例外的な仮想現実の対戦相手と関連付けられた事象を提供するための、１グループのユーザ（例えば、プロゴルファー、テニスプレイヤー、野球プレイヤー、または他の任意のスポーツのプレイヤー）と関連付けられたモーションキャプチャデータを取得または生成するための、モーションキャプチャデータの大量のデータセットのデータマイニングについては考えていない。要約すると、モーションキャプチャデータは、一般的に、即時のモニタリングのため、またはスポーツのパフォーマンスのフィードバックのために用いられており、一般的に、他の分野での使用は限定的および／または未発達である。

【0009】

公知のモーションキャプチャシステムは、一般的に、幾つかの受動的もしくは能動的なマーカー、または幾つかのセンサを用いる。１個という少ない視覚的マーカーまたはセンサと、例えば、ユーザが既に所有しているモバイル装置上で実行される、ユーザおよび／または用具と関連付けられたモーションキャプチャデータを解析して表示するためのアプリとを用いる公知のシステムは存在しない。データは、一般的に、研究室でユーザ毎にまたはスイング毎に解析され、特定のユーザのモーション解析またはモーションの表現以外の他の任意の目的のために用いられることはなく、データマイニングは行われないのが一般的である。

【0010】

ローカルな解析または後での解析のために、例えば無線センサ等のモーションキャプチャ要素を、ユーザに、または靴、グローブ、シャツ、ズボン、ベルト、もしくは他の用具（例えば、野球のバット、テニスラケット、ゴルフクラブ、ボクサー、フットボールもしくはサッカープレイヤー用のマウスピース、または他の任意の接触型スポーツで用いられる保護マウスピース等）に、これらのアイテム内またはアイテム上にセンサが配置されていることにユーザが気づかないような小さいフォーマットで、シームレスに統合または別様で結合できるようにする公知のシステムは存在しない。モーションデータをキャプチャするよう構成された無線ゴルフクラブを提供するために、例えば、ゴルフクラブのウェイトポート内またはハンドル付近のエンドシャフトに、シームレスなマウントを提供する公知のシステムは存在しない。既存のセンサから得られた多数の事象についてのデータは、データベースに保存されず、キャプチャデータが取得されたパフォーマンス以外のものに関しては用いられない。

【0011】

更に、用具およびボールを用いるスポーツについて、ボールの飛距離、スイング速度、用具のスイング効率、または、ボールの衝撃がどのくらい中心にあったか（即ち、用具のどこにおいてボールの衝突が生じたか）に関する即時の視覚的フィードバックをユーザが取得できるようにする公知の携帯型のシステムは存在しない。これらのシステムは、ユーザが、他のユーザ、歴史上のプレイヤー、またはユーザ自身の以前のパフォーマンスから取得されたモーションキャプチャデータと共に試合をプレイすることを可能にしない。公知のシステムは、ユーザのモーションキャプチャデータに一致するより良好なまたは最適な用具を示唆するため、またはサーチすることを可能にするために、多数のスイングからのモーションキャプチャデータをデータマイニングすることを可能にはせず、また、相手先商標製造業者（ＯＥＭ）が、例えば、製品を改善する、自社の製品を他の製造業者と比較する、より高額な商品を売る、または、異なるもしくはより利益のある製品を購入し得るユーザにコンタクトするための、ビジネス上の決定を行うことを可能にはしない。

【0012】

更に、用具のフィッティング、および、その後の、アスリートにフィットする用具をその場で購入するための売り場での決定を行うために、モーションキャプチャデータマイニングを用いる公知のシステムは存在しない。更に、例えば、プレイ中または仮想現実プレイ中のモーションキャプチャデータマイニングに基づく顧客仕様に従って用具を製造し、その用具を顧客に出荷して、売り場での処理が完了するというような、スポーツ用具の特注の実現のための受注組立生産方式（ＡＴＯ）等の、特注の実現を可能にする公知のシステムは存在しない。

【0013】

更に、受動的なコンプライアンス（服薬順守）およびモニタリング用途のための、モバイル装置およびＩＤタグを用いる公知のシステムは存在しない。

【0014】

モーションに関係するこれまで未発見のパターンに基づくビジネス戦略の決定を可能にするデータ中のパターンを見出すために、多数のユーザのモーションまたは彼らに関連づけられた用具のモーションに関係するデータマイニングを可能にする公知のシステムは存在しない。ＯＥＭ、医療専門家、ゲーム会社、または他のエンドユーザから、モーションデータのデータマイニングを可能にするための支払いを得ることを可能にする公知のシステムは存在しない。

【0015】

事象についてのビデオキャプチャおよびモーションセンサデータの両方を含む同期された事象ビデオを生成し、これらの同期された事象ビデオをデータベースに格納し、データベース解析を用いて、データベースからモデル、測定指標、報告、警告、およびグラフィックを生成する公知のシステムは存在しない。少なくとも上述の限界を理由として、モーション事象解析システムに対する必要性がある。

【0016】

例えば、特許文献３および特許文献４等の公知のシステムは、事象が生じている間に生じた関係あるビデオのみをアップロードすることは考えておらず、後で同期される大量のビデオをアップロードする。特許文献３および特許文献４は、モーションキャプチャセンサが、事象に基づいてその場でカメラパラメータを変更するよう（例えば事象ビデオのキャプチャ中に、スローモーション用にフレームレートを高くするよう）カメラにコマンドを送ることは考えておらず、事象に対応するビデオの一部分における再生パラメータを変更することは考えていない。また、特許文献３および特許文献４は、複数のカメラが例えば異なる角度から事象をキャプチャし得る場合に、ハイライトリールまたは失敗リールを生成することは考えておらず、所与の事象についての最良のビデオを自動的に選択することは考えていない。更に、特許文献３および特許文献４は、他のセンサが事象を観察または別様で検出していない場合でも、そのセンサデータが依然として測定指標を取得するために価値がある複数センサ環境は考えておらず、よって、１つのセンサが或る事象を識別した後に他のセンサ上において事象データを保存することは教示していない。

【0017】

１以上のタグを事象と関連づけることは、事象の解析、フィルタリング、および分類のためにしばしば有用である。タグは、例えば、事象に関与したプレイヤー、アクションのタイプ、およびアクションの結果（例えば、スコア等）を示し得る。公知のシステムは、事象ビデオおよび事象データを検討する人間の操作者による手動での事象のタグづけに依拠している。例えば、コーチが、例えばチームのパフォーマンスを検討するため、または、スカウト報告のために、スポーツ事象または練習のビデオにタグづけするための既存のシステムが存在する。ビデオ事象にプレイヤーまたはアクションを手動でタグづけするスポーツ放送のためのシステムも存在する。モーションセンサ、ビデオ、レーダ、または他のセンサからのデータを解析し、そのデータに基づいて、事象についての１以上のタグを自動的に選択する公知のシステムは存在しない。自動事象タグづけシステムは、現在の手動でのタグづけ方法に対して大きな労力の節約を提供すると共に、その後の事象の読み出しおよび解析のための価値ある情報を提供する。

【先行技術文献】

【特許文献】

【0018】

【文献】米国仮特許出願第６０／６４７，７５１号明細書

【文献】米国特許第７，２６４，５５４号明細書

【文献】米国特許出願公開第２０１３／０３４６０１３号明細書

【文献】米国特許出願公開第２０１３／０３３００５４号明細書

【発明の概要】

【0019】

本発明の実施形態は、事象を生成するため、事象を公開するため、および／または事象ビデオを生成するための、様々なセンサからの事象データおよび／またはセンサ以外からのデータ（例えば、ブログ、チャット、またはソーシャルメディアへの投稿）のコンピュータによる自動的な解析を可能にする、多センサ事象検出およびタグづけシステムに関する。ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオのコンピュータによる自動的な解析、同期化、および転送を可能にする。ビデオおよびモーションキャプチャデータを含む事象データが、データベースに保存される。事象が生じた際に、その事象が解析され、例えば、様々なセンサから相関される。データベースに格納された事象の解析は、事象データにおける傾向、相関、モデル、およびパターンを識別する。事象ビデオをアップロードし、大量のビデオの関係ない部分のアップロードを回避することによって、ストレージを大きく節約すると共にアップロード速度を高める。所与の時間における事象をカバーしている複数のカメラからの複数のビデオのコンピュータによる自動的な選択（例えば、最小の揺れを有するビデオの選択）を提供する。事象を説明するビデオおよび他のメディアが、例えば、ソーシャルメディアサイト等のサーバから取得され得る。モーションキャプチャセンサによって決定された事象が生じている間のカメラパラメータのほぼリアルタイムの変更、および同期された事象ビデオについての再生パラメータおよび特殊効果の変更を可能にする。測定指標によってフィルタリングされたハイライトリールを生成し、測定指標によってソーティングできる。或るタイプのハイライトリールは肯定的な事象を含み得るものであり、一方、別のタイプのハイライトリールは否定的な事象（例えば、一般的に、衝突、転倒、または他の意図せぬ事象である「失敗」等）を含み得る（これらは、場合によっては、例えば、多くのケースにおいて、老齢および裏切りが若さおよび活力を打ち負かす（old age and treachery beat youth and exuberance）ことを示し得る）。たとえ他のセンサがその事象を検出していない場合であっても、事象データを保存するために複数のセンサと統合される。また、同じユーザ、他のユーザ、歴史的なユーザ、またはユーザのグループと関連づけられた動きの解析または比較を可能にする。少なくとも１つの実施形態は、携帯型の無線モーションキャプチャ要素（例えば、視覚的マーカーおよびセンサ、無線自動識別タグ、並びにモバイル装置コンピュータシステム等）から取得されたモーションキャプチャデータ、同じユーザと関連付けられた解析された動きに基づいて計算されたモーションキャプチャデータ、または、同じユーザ、他のユーザ、歴史的なユーザ、もしくはユーザのグループと比較されるモーションキャプチャデータを含むが、それらに限定されない、モーションデータ中の事象のコンピュータによる自動認識を提供する。モーションデータおよびビデオを検出された事象に対応するようにトリミングすることにより、事象データおよびビデオデータのためのメモリ使用量を低くすること可能にする。これは、事象の位置および／または時間に基づいて、並びにビデオの位置および／または時間に基づいて、モバイル装置またはリモートサーバ上で行われてもよく、必要に応じて、モーション事象を含み得るビデオを更に制限するために、カメラの向きを含んでもよい。複数の実施形態は、事象に基づく視聴、事象の低電力送信、モバイル装置上で実行されるアプリとの通信、および／または、事象を定義するウィンドウを指定するための外部カメラとの通信を可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動またはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等といったモーション事象の認識、および事象の指定を可能にする。事象は、例えば、子供の初めての歩行、激しい震え事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象等の事象のビデオを保存することを可能にするために、内部／外部の１または複数のカメラ、もしくは例えばベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。線形加速の閾値および／またはパターン、並びに、回転加速および回転速度の閾値および／またはパターンについて、震盪に関連する事象および他の事象がモニタリングされてもよく、および／または事象毎に保存されてもよく、および／または軽量コネクションレスプロトコルを介して転送されてもよく、またはそれらの任意の組み合わせを行ってもよい。

【0020】

本発明の実施形態は、ユーザがアプリケーションまたは「アプリ」およびモーションキャプチャ要素を購入して、既存のモバイルコンピュータ（例えば、携帯電話）を用いて本システムを即時に利用することを可能にする。本発明の実施形態は、モニタリングしているユーザ、またはモーションキャプチャ要素もしくは用具と関連付けられたユーザに対して、モーション情報を表示してもよい。複数の実施形態は、ユーザもしくは用具と関連付けられた以前に格納されたモーションキャプチャデータもしくはモーション解析データ、または、少なくとも１の他のユーザと関連付けられた以前に格納されたモーションキャプチャデータもしくはモーション解析データに基づいて（例えば、比較等であるが、それに限定されない関数によって）、ユーザまたは用具と関連付けられたモーション解析データに基づく情報も表示してもよい。これは、他のユーザから取得された実際のモーションキャプチャデータまたはパターンの洗練されたモニタリング、コンプライアンス、インタラクションを可能にする（例えば、ユーザから取得された実際のモーションデータを用いて、以前に同じユーザからまたは他のユーザ（もしくは用具）からキャプチャされた実際のモーションデータを用いて、それに基づいて生成された応答を有する仮想の試合をプレイすること）。この機能は、歴史上のプレイヤーを相手に例えば仮想のテニスの試合をプレイすること、または「平均的な」プロスポーツプレイヤーを相手にプレイすることを提供するものであり、今日まで当該技術分野では知られていない機能である。

【0021】

例えば、１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合し得る少なくとも１つのモーションキャプチャ要素を含み、該少なくとも１つのモーションキャプチャ要素は、メモリ（例えば、センサデータメモリ等）と、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、（線形および／または回転）加速、角速度および角加速度と関連付けられた値の任意の組み合わせをキャプチャし得るセンサとを含む。少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素は、第１の通信インターフェースまたは少なくとも１つの他のセンサと、メモリ、センサ、および第１の通信インターフェースと結合されたマイクロコントローラとを含み得る。

【0022】

本発明の少なくとも１つの実施形態によれば、マイクロコントローラはマイクロプロセッサであり得る。１以上の実施形態として、第１の通信インターフェースは、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の他の値を受信し得る。少なくとも１つの実施形態において、少なくとも１つの他のセンサは、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の他の値をローカルにキャプチャし得る。本発明の少なくとも１つの実施形態は、モーションデータおよび／または任意の組合せの環境的データもしくは生理学的データを取得するために、第１の通信インターフェースおよび少なくとも１つの他のセンサの両方を含み得る。

【0023】

１以上の実施形態において、マイクロプロセッサは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、事象データを決定するためにデータを解析してデータ中の事象を認識することのうちの１以上を行い得る。少なくとも１つの実施形態において、マイクロプロセッサは、データまたは事象データを、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の他の値と相関させ得る。従って、少なくとも１つの実施形態において、マイクロプロセッサは、データまたは事象データを１以上の他の値と相関させて、誤検出の事象、少なくとも１つのモーションキャプチャ要素が結合されている用具のタイプ、およびデータまたは事象データによって示されるアクティビティのタイプのうちの１以上を決定し得る。

【0024】

１以上の実施形態において、マイクロプロセッサは、データおよび事象と関連付けられた事象データのうちの１以上を、第１の通信インターフェースを介して送信し得る。上記システムの複数の実施形態は、モバイル装置上で実行されるアプリケーションも含んでもよく、モバイル装置は、コンピュータと、事象と関連付けられた事象データを取得するためにモーションキャプチャ要素の通信インターフェースと通信する通信インターフェースとを含む。少なくとも１つの実施形態において、コンピュータは通信インターフェース（例えば、第１の通信インターフェース等）と結合されてもよく、コンピュータはアプリケーションまたは「アプリ」を実行することにより、通信インターフェースからデータおよび事象データのうちの１以上を受信し、データおよび事象データを解析してモーション解析データを構成し、データおよび事象データ、もしくはモーション解析データ、または事象データとモーション解析データとの両方を格納し、少なくとも１のユーザと関連付けられた事象データ、モーション解析データ、またはそれらの両方を含む情報をディスプレイに表示するよう、コンピュータを構成する。

【0025】

１以上の実施形態において、マイクロプロセッサは、第２のタイプのアクティビティに関して、第１のタイプのアクティビティについての類似のモーションを区別するために、相関によって、少なくとも１つのモーションキャプチャセンサが結合されている用具のタイプ、または、少なくとも１つのモーションセンサが感知しているアクティビティのタイプを検出し得る。少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャセンサは、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の値に基づいて、類似のモーションを区別し得る。

【0026】

１以上の実施形態として、マイクロプロセッサは、スノーボードを含む第２のタイプのアクティビティに関して、サーフィンを含む第１のタイプのアクティビティについての類似のモーションを区別するために、相関によって、用具のタイプまたはアクティビティのタイプを検出し得る。少なくとも１つの実施形態において、マイクロプロセッサは、温度、高度、または温度および高度の両方に基づいて、類似のモーションを区別し得る。少なくとも１つの実施形態において、マイクロプロセッサは、データまたは事象データに基づいて、用具またはユーザ上におけるセンサの位置を認識し得る。１以上の実施形態において、マイクロプロセッサは、複数のセンサパーソナリティから選択されるセンサパーソナリティに基づいて、センサからのセンサ値を含むデータを収集し得る。少なくとも１つの実施形態において、センサパーソナリティは、特定の用具または特定のタイプの衣服と関連づけられた特定のタイプの動きまたは特定のタイプのアクティビティに関して最適な方法でデータを収集するよう、センサ設定を制御し得る。

【0027】

１以上の実施形態として、マイクロプロセッサは、時間窓内において、第１の閾値を有するセンサ値から第１の値を検出し、第２の閾値を有するセンサ値から第２の値を検出した際に、誤検出の事象を決定し得る。少なくとも１つの実施形態において、マイクロプロセッサは、次に、見込みのある事象を見込みのある事象であるとして示し、見込みのある事象を、典型的な事象と関連づけられた特徴的な信号と比較し、誤検出の事象があればそれを消去し、見込みのある事象が誤検出の事象ではない場合に、有効な事象を有効な事象であるとして示し、事象時間窓内の情報を含む有効な事象を、データとしてセンサデータメモリに保存し得る。

【0028】

少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素は、モーションキャプチャ要素マウント、モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、サーバコンピュータ、またはそれらの任意の組合せの内部に収容され得る。

【0029】

１以上の実施形態において、マイクロプロセッサは、少なくとも１つのモーションキャプチャ要素が用具から取り外されて、異なるタイプの第２の用具と結合された後、データまたは事象データに基づいて、新たに割り当てられた位置を有する少なくとも１つのモーションキャプチャ要素を認識し得る。

【0030】

少なくとも１つの実施形態において、システムはコンピュータを含み得るものであり、コンピュータは、コンピュータメモリと、データもしくは事象と関連づけられた事象データ、またはデータおよび事象データの両方を取得するために、第１の通信インターフェースと通信し得る第２の通信インターフェースとを含み得る。１以上の実施形態において、コンピュータは、コンピュータメモリおよび第２の通信インターフェースと結合されてもよく、コンピュータは、第２の通信インターフェースからデータを受信し、データを解析してデータ内の事象を認識することにより、事象データを決定し得る。少なくとも１つの実施形態において、コンピュータは、第２の通信インターフェースから事象データを受信し得るか、または、第２の通信インターフェースからデータおよび事象データの両方を受信し得る。

【0031】

１以上の実施形態において、コンピュータは、事象データを解析してモーション解析データを構成し、事象データもしくはモーション解析データ、または事象データおよびモーション解析データの両方をコンピュータメモリに格納し、事象データから事象開始時間および事象停止時間を取得し、少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間を取得し得る。少なくとも１つの実施形態において、コンピュータは、事象データ、モーション解析データ、またはそれらの任意の組合せを、少なくとも１つのビデオと同期させ得る。１以上の実施形態において、コンピュータは、ユーザもしくは用具と結合された、またはユーザと結合されたモバイル装置と結合された少なくとも１つのモーションキャプチャ要素から取得されたデータまたは事象データと関連づけられた第１の時間と、少なくとも１つのビデオと関連づけられた少なくとも１つの時間とに基づいて、同期化を行うことにより、少なくとも１つの同期された事象ビデオを生成する。少なくとも１つの実施形態において、コンピュータは、事象開始時間から事象停止までの期間外の少なくとも１つのビデオビデオの少なくとも一部分を含めずに、少なくとも１つの同期された事象ビデオをコンピュータメモリに格納し得る。

【0032】

１以上の実施形態として、コンピュータは、モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、サーバコンピュータ内にある、または任意の組合せの任意の数のモバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、およびサーバコンピュータ内にある少なくとも１つのプロセッサを含み得る。

【0033】

少なくとも１つの実施形態によれば、コンピュータは、事象開始時間から事象停止時間までの期間内に生じた事象データ、モーション解析データ、またはそれらの任意の組合せと、事象開始時間から事象停止時間までの期間内にキャプチャされたビデオとの両方を含む同期された事象ビデオを表示し得る。

【0034】

１以上の実施形態において、コンピュータは、少なくとも１つの同期された事象ビデオまたは少なくとも１つの同期された事象ビデオの一部分を、リポジトリ、ビューア、サーバ、別のコンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信し得る。

【0035】

少なくとも１つの実施形態において、コンピュータは、少なくとも１つの同期された事象ビデオと関連づけられた測定指標を受け付けると共に、測定指標についての選択基準を受け付け得る。１以上の実施形態において、コンピュータは、選択基準に合格する測定指標と関連づけられた値を有する１組のマッチする同期された事象ビデオを決定し、１組のマッチする同期された事象ビデオまたはそれらに対応するサムネイルを、１組のマッチする同期された事象ビデオまたはそれらに対応するサムネイルの各々についての測定指標と関連づけられた値と共に表示し得る。

【0036】

本発明の少なくとも１つの実施形態において、センサまたはコンピュータは、音声信号を記録するマイクを含み得る。１以上の実施形態において、事象を認識することは、データに基づいて見込みのある事象を決定し、データを音声信号と相関させることにより、見込みのある事象が有効な事象であるかまたは誤検出の事象であるかを決定することを含み得る。少なくとも１つの実施形態において、コンピュータは、見込みのある事象が有効な事象である場合に、音声信号を少なくとも１つの同期された事象ビデオと共にコンピュータメモリに格納し得る。

【0037】

１以上の実施形態は、ユーザの頭部の付近に配置され得る少なくとも１つのモーションキャプチャセンサを含み、マイクロコントローラまたはマイクロプロセッサは、ユーザの頭部における衝撃の位置を計算し得る。少なくとも１つのモーションキャプチャセンサの複数の実施形態は、任意のタイプのマウント、囲い、または結合機構を用いて、帽子または縁なし帽子上や、保護マウスピース内に結合され得る。少なくとも１つのモーションキャプチャセンサの１以上の実施形態は、ユーザの頭部のヘルメットと結合されてもよく、ユーザの頭部における衝撃の位置の計算は、ユーザの頭部および／またはヘルメットの物理的形状に基づく。複数の実施形態は、例えば、少なくとも１つのモーションキャプチャセンサまたはマイクロコントローラまたはマイクロプロセッサと結合された温度センサを含み得る。

【0038】

本発明の実施形態は、少なくとも１つのモーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するアイソレータも用い得る。従って、複数の実施形態は、ヘルメットに基づく加速からの力、加速値、または他の任意の値を、観察された脳の加速値へと変換する処理をなくし得る。従って、複数の実施形態は、事象特異的データを提供するために、より少ない電力および記憶容量を用い、それにより、データ転送量を最小限にして、より低い送信電力使用量およびさらに低い合計電力使用量を生じる。フットボール／ホッケー／ラクロスのプレイヤーのヘルメットには、ヘルメット内の固有のパッドのタイプに基づいて、それぞれ異なるアイソレータが用いられ得る。ヘルメットを着用しない、または時々着用するスポーツで用いられる他の実施形態では、縁なし帽子または縁あり帽子、例えば、野球のプレイヤーの帽子上の少なくとも１つのモーションキャプチャセンサが、バッター用ヘルメットに装着された少なくとも１つのセンサと共に用いられ得る。例えば、サッカー等の帽子が用いられないスポーツでは、震盪を判断するために、ヘッドバンドのマウントも用いられ得る。１以上の実施形態では、ヘルメットに用いられるアイソレータは、ヘルメットに取り付けられた囲いの中に留まってもよく、センサは、ユーザの脳液の緩衝に適合するアイソレータを用いない別の用具上に着脱されてもよい。複数の実施形態は、或るタイプのモーションを自動的に検出して、特定のタイプの用具と関連付けられた特徴的なモーションパターン（即ち、サーフボード、野球のバット、スノーボード、スケートボード等の対比）に基づいて、モーションキャプチャセンサが現在取り付けられている用具のタイプを決定してもよい。

【0039】

本発明の実施形態は、線形加速値、回転加速値、またはそれらの両方を取得／計算し得る。これは、線形加速と共に、震盪について回転事象をモニタリングすることを可能にする。１以上の実施形態において、他の事象は、事象が生じている間にキャプチャ特性をダイナミックに変えるためにセンサの性格を切り替えるためのみならず、現在のモーションキャプチャセンサと共に現在用いられている用具のタイプを特徴づけるために、例えば、パターンまたはテンプレートと比較されるように、線形および／もしくは回転の加速および／または速度を利用してもよい。従って、少なくとも１つの実施形態において、センサが結合されている用具または衣服のタイプを、センサによってキャプチャされたモーションとモーションの特徴的なパターンまたはテンプレートとの比較に基づいて、センサが自動的に決定することを可能にすることによって、ユーザが、単一のモーションキャプチャ要素を、複数の用具または衣服に装着するために購入し得る。

【0040】

本発明の実施形態は、事象と関連付けられた事象データを、コネクションレス同報メッセージを用いて送信してもよい。１以上の実施形態では、用いられている通信プロトコルに応じて、同報メッセージは、接続ベースのプロトコルのハンドシェーキングおよびオーバーヘッドを回避するために用いられ得る限られたデータ量を有するペイロードを含み得る。他の実施形態では、コネクションレスまたは接続ベースのプロトコルは、任意の組み合わせで用いられ得る。

【0041】

１以上の実施形態において、コンピュータは、例えば、震盪、転倒、他の揺れ、または他の任意のモーション事象の数を決定するために、少なくとも１人の他のユーザ、そのユーザ、少なくとも１つの他の用具、またはその用具と関連付けられた、以前に格納された事象データまたはモーション解析データにアクセスし得る。複数の実施形態は、少なくとも１人のユーザまたは用具と関連付けられた事象データまたはモーション解析データと、そのユーザもしくは用具、または少なくとも１人の他のユーザもしくは少なくとも１つの他の用具と関連付けられた以前に格納された事象データまたはモーション解析データとに基づいて、少なくとも１人のユーザと関連付けられた事象データの提示を含む情報もディスプレイに表示してもよい。これは、数値または定量的な値（例えば、特定の試合において、または歴史的に、ユーザまたは他のユーザによって観察された最大回転加速）としてのモーション事象の比較を可能にする。更に、少なくとも１つの実施形態において、例えば、中央のサーバ上で、またはローカルに、典型的な事象についての特定の用具の特徴的なモーションを定義するパターンまたはテンプレートが、ダイナミックに更新されてもよく、１以上の実施形態では、通信インターフェースを介してモーションキャプチャセンサ内でダイナミックに更新されてもよい。これは、センサを経時的に改善することを可能にする。

【0042】

本発明の実施形態は、コンピュータまたはリモートコンピュータと結合された視覚的ディスプレイ上の表示に、例えばテレビ放送またはインターネットを介して、情報を送信してもよい。また、表示の複数の実施形態は、事象全体のタイムラインに沿った個別のスクロールを提供するために、サブ事象の時間的な位置を受け付けてもよい。例えば、ゴルフスイングは、アドレス、バックスイング、フォワードスイング、打撃、フォロースルー等のサブ事象を含み得る。本システムは、サブ事象の時間的な位置を表示して、例えばサブ事象を視聴し易くするために、ビデオが開始または停止すべき時点をアサートする、またはその時点までスクロールするもしくは戻るために、その位置の付近へのユーザによる入力を受け付けてもよい。

【0043】

本発明の実施形態は、少なくとも１つのモーションキャプチャセンサ、ユーザ、または用具と結合された識別子も含み得る。１以上の実施形態において、識別子は、特定のユーザまたは用具からの特定の事象の比較的一意的な識別を可能にする、チームおよびジャージの番号、生徒識別番号、登録番号、または他の任意の識別子を含み得る。これは、特定のプレイヤーまたはユーザと関連付けられたデータを受信し得るアプリに関して、複数のプレイヤーまたはユーザがいるチームスポーツまたは位置を識別することを可能にする。１以上の実施形態は、プレイヤーまたはユーザと関連付けられた識別子（例えば、受動的ＩＤ識別子、ＭＡＣアドレス、または他の整理番号）を受信して、その識別子を事象データおよびモーション解析データと関連づける。

【0044】

少なくとも１つのモーションキャプチャ要素の１以上の実施形態は、事象が生じた場合に光を出力し得る発光素子を更に含み得る。これは、例えば、何らかの外部装置との通信を必要とせずに、ヘルメットの外側部分における軽度または重度の震盪の可能性を表示するために用いられ得る。また、事象に関係する情報を中継するために、複数の異なる色またはフラッシュ間隔が用いられてもよい。或いは、またはそれと組み合わせて、少なくとも１つのモーションキャプチャ要素は、事象が生じた場合、または少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に音声を出力し得る音声出力素子を更に含んでもよく、または、コンピュータは、少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に表示して警告してもよく、またはそれらの任意の組み合わせが行われてもよい。例えば、審判が、モバイル装置上でローカルに解析コードのスナップショットを取得し得るように、且つ、センサ上で、または送信された事象が、何者かによって傍受されて読解可能な形態で見られないように、センサの複数の実施形態は、現在の事象の符号化された（例えば、クイックレスポンス（ＱＲ）コードまたはバーコードの形態の）解析を出力するＬＣＤを用いてもよい。

【0045】

１以上の実施形態において、少なくとも１つのモーションキャプチャ要素は、マイクロコントローラと結合された位置決定要素を更に含む。これは、例えばＧＰＳ（全地球測位システム）装置を含み得る。或いは、またはそれと組み合わせて、コンピュータが別のコンピュータと協働して位置を三角測量してもよく、他の任意の三角測量タイプの受信器から位置を取得してもよく、または、コンピュータと結合されている特定の方向に向いていることがわかっているカメラによってキャプチャされた画像に基づいて位置を計算してもよく、この場合、コンピュータは、例えば画像中のオブジェクトの方向およびサイズに基づいて、モバイル装置からのオフセットを計算する。

【0046】

１以上の実施形態において、コンピュータは、更に、事象の近位にある少なくとも１つのカメラからの、事象を含む少なくとも１つの画像またはビデオを要求し得る。これは、特定の近位のカメラまたは事象の方向を向いているカメラからのビデオを要求する同報メッセージを含み得る。１以上の実施形態において、コンピュータは、更に、事象の近位にある、または事象を見るよう向けられているカメラの位置を求める要求を同報し、必要に応じて、対象となる事象が含まれる継続期間にわたって、使用可能なカメラまたはそこからのビデオを表示し得る。１以上の実施形態において、コンピュータは、更に、事象が生じた１以上の時間のリストを表示するよう構成され、これは、ユーザが、コンピュータを介して、所望の事象ビデオを取得すること、および／または、所望の事象の時間を有する第三者からのビデオを独立して要求することを可能にする。例えば、１以上の実施形態は、ソーシャルメディアサーバからのビデオまたは他のメディア（例えば画像、テキスト、または音声等）を取得し得る。

【0047】

１以上の実施形態において、少なくとも１つのモーションキャプチャセンサはモバイル装置と結合されており、例えば、モバイル装置内にある、またはモバイル装置と結合された内部モーションセンサを用いる。これは、最小のユビキタスなハードウェアを用いた（例えば、内蔵加速度計を有するモバイル装置を用いた）モーションキャプチャおよび事象認識を可能にする。１以上の実施形態において、第１のモバイル装置は、モーションデータを記録するユーザと結合されてもよく、一方、第２のモバイル装置は、モーションのビデオを記録するために用いられる。１以上の実施形態において、モーションを行っているユーザは、第２のユーザのモバイル装置がビデオの記録を開始またはビデオの記録を停止すべきことを示すために、例えばモバイル装置をＮ回タップする等のジェスチャを行ってもよい。事象に関連するまたはモーションに関連する指示をモバイル装置間で通信するために、他の任意のジェスチャが用いられてもよい。

【0048】

少なくとも１つのモーションキャプチャセンサの複数の実施形態は、温度センサを含んでもよく、または、マイクロコントローラが別様で温度センサと結合されていてもよい。これらの実施形態では、マイクロコントローラまたはマイクロプロセッサは、温度センサから取得された温度を、例えば、熱中症または低体温を可能性として示す温度事象として送信し得る。他の任意のタイプの生理学的センサ、および任意のタイプの環境的センサが用いられてもよい。

【0049】

このように、本発明の実施形態は、ユーザ、用具、もしくはモバイル装置の任意の組み合わせと結合された少なくとも１つのモーションキャプチャセンサと関連付けられたモーション、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組み合わせを示すモーションに関係する事象、または、モーションが生じた継続期間を有する他の任意のタイプの事象を含む、任意のタイプのモーション事象を認識し得る。例えば、１以上の実施形態は、モーションキャプチャ要素内に加速度計を含み、加速度計からの加速度の読取値が所定の閾値を超えた際に、事象を認識し得る。そのような事象は、モーションキャプチャ要素が、一部の実施形態では対象の事象を示し得る有意な力を経験していることに対応し得る。それに加えて、またはその代わりに、加速度の急速な変化は、衝撃またはインパクト事象を示し得るので、１以上の実施形態は、例えば、加速度の変化を事象の指標として用い得る。複数の実施形態は、事象を検出するために、任意のセンサとセンサデータの任意の関数とを用い得る。

【0050】

本発明の実施形態は、ユーザ、用具についてのパターンを取得するために、または、本発明の特定の実施形態では、所与のユーザもしくは他のユーザのモーションキャプチャデータもしくは事象を用いるために、モーションキャプチャデータに対するデータマイニングを用いてもよい。データマイニングは、大きいデータベース中で、以前は未知であった新たなパターンを発見することに関係する。新たなパターンを発見するために、例えば、統計的解析、ニューラルネットワーク、および人工知能を含む多くの方法がデータに適用され得る。データ量が大きいため、データ中の未知のパターンを見出すための自動化されたデータマイニングは、１以上のコンピュータによって行われ得る。未知のパターンは、複数の関連データ群、データ中の例外、データの要素間の依存性、分類、および、誤差が最小となるようデータをモデリングする関数、または他の任意のタイプの未知のパターンを含み得る。データマイニングの結果の表示は、新たに発見されたパターンを、大量の純粋な生データよりもユーザが理解しやすい方法で要約する表示を含み得る。データマイニング処理の結果の１つは、改善された市場リサーチ報告、製品の改善、リード・ジェネレーション、およびターゲット販売である。一般的に、データマイニングされる任意のタイプのデータは、クレンジングされ、データマイニングされ、その結果はバリデーションを受けるのが一般的である。ビジネスは、データマイニングを用いて利益を高め得る。本発明の実施形態の利点の例は、データ中で発見されたパターンに基づく、個人に対する高度なターゲット化を行うための顧客関係管理を含む。更に、マーケット・バスケット解析データマイニングは、同じ個人によって購入または所有されている製品を識別することを可能にし、これは、１つの製品を所有しているが、他のユーザが典型的に所有している別の製品を所有していないユーザに、製品を提供するために用いられ得る。

【0051】

データマイニングの他の領域は、複数の異なるユーザからの複数の大きいモーションデータセットを解析して、他のユーザのパフォーマンスデータに基づいてパフォーマンスを改善するためのエクササイズを示唆することを含む。例えば、１人のユーザのスイング中の腰の回転が、平均的なユーザと比べて少ない場合には、柔軟性または強さを改善するためのエクササイズがシステムによって示唆され得る。ゴルフコースの実施形態では、ゴルフコースプランナーは、ゴルフコース上の大量のユーザに対して、例えば、特定の時刻において、または特定の年齢のゴルファーについて、ホール毎の平均的なショット数のより離散的な値を得るために、またはゴルファー間の時間の量を決定するために、どのホールの長さまたは難度を調節すべきかを決定し得る。更に、データマイニングのスポーツおよび医療用途としては、何がパフォーマンスを最も改善するか、または、例えば、どの時刻、温度、もしくは他の条件が、最も遠くまでのドライブもしくは最も低いスコアを得られるスイング事象を生じるかを決定するために、例えば、ダイエットまたはエクササイズの変更と比較した、ユーザのパフォーマンスの経時的な形態学的変化を決定することが含まれる。特定のユーザについての、または他のユーザに関するモーションキャプチャデータの使用は、例えば、糖尿病の人が１日のうちに特定の量だけ動くことを確実にするためのヘルスケアコンプライアンス、および、ユーザのモーションまたはモーションの範囲が経時的にどのように変化したかを決定するための形態学的解析を可能にする。歴史上の偉人または他のユーザを相手にした仮想現実プレイを可能にするモーションキャプチャデータを用いて、試合をプレイしてもよい。例えば、或る人が、同じ人の以前のパフォーマンスまたは友人のモーションキャプチャデータを相手にプレイしてもよい。これは、ユーザが、歴史的なスタジアムまたは仮想現実環境の会場で、例えば、そのユーザまたは他のユーザから以前に取得されたモーションキャプチャデータを用いて、試合をプレイすることを可能にする。軍隊のプランナーは、特殊作戦について、どの兵士が最も適していて相応しいかもしくは誰が撤退すべきかを決定するためにモーションキャプチャデータを用いてもよく、または、コーチは、震盪に関連する事象の後に、他のユーザのパフォーマンスが高まった場合に、例えば、プレイヤーの震盪事象およびその深刻度、並びに、可能であればマイニングされた期間に基づいて、プレイヤーがいつ休息すべきかを決定するためにモーションキャプチャデータを用いてもよい。

【0052】

本システムの複数の実施形態は、例えば、視覚的ディスプレイおよび必要に応じて設けられるカメラを含み得ると共に、例えば、視覚的マーカーおよび／または無線センサ等の少なくとも１つのモーションキャプチャ要素からデータを取得できるモバイル装置上で実行されるアプリケーションを用いて、モーションキャプチャおよび／または表示を行う。このシステムは、スタンドアロンのカメラ、または複数のモバイル装置上のカメラと統合できる。また、本システムは、ユーザが、モーションキャプチャデータと関連付けられた理解が容易なグラフィカルな情報を即時に提供する様々な方法で、モーションキャプチャデータを解析して表示することを可能にする。本システムで用いられるモーションキャプチャ要素は、例えば、ボールを打つこと、スキーのターン、ジャンプ等を行うこと等と関連付けられた事象に関係するデータを、コンピュータによって自動的に格納し、誤った事象を除外し、メモリ使用量を大きく改善し、必要な記憶容量を最小限にする。更に、データは、少なくともデータがモバイル装置またはインターネットにダウンロードされるまで、必要に応じて、例えば、スポーツ用具（例えば複数のバットのスイング）またはゴルフの１ラウンド全体もしくはそれ以上と関連付けられた２以上の事象について格納され得る。また、所与の量のメモリにより多くのモーションキャプチャデータを格納するために、キャプチャされたデータのデータ圧縮も用いられ得る。また、本システムで用いられるモーションキャプチャ要素は、電力を節約するために、それらの回路の一部がコンピュータによって自動的に電力オフし得る（例えば、特定のタイプのモーションが検出されるまで、送受信器の電力を落とす）。本発明の実施形態は、電池を交換する前にシステムが用いられ得る時間を増加させるために、２以上の電池を並列に接続するための柔軟なバッテリーコネクタも用い得る。モーションキャプチャデータは、一般的に、例えば、ローカルデータベースまたはネットワークでアクセス可能なデータベース等の、上述のデータマイニングを可能にするメモリに格納される。本発明の実施形態を用いて、１以上のユーザに関係するデータの経時変化をサーチすること、または、単に、特定のユーザまたは用具に関係するデータをサーチすることを含む他の任意のタイプのデータマイニングが行われ得る。

【0053】

他の複数の実施形態は、例えば、モーションに関連するデータに基づいて、再生される音楽選集または音楽再生リスト等の情報を表示してもよい。これは、例えば、パフォーマンスを別のユーザのパフォーマンスと比較して、他のユーザが再生する音楽のタイプを選択すること、または、パフォーマンスを、どのタイプの音楽選集を示唆または表示するかを決定する閾値と比較することを可能にする。

【0054】

スポーツを目的にした本発明の実施形態は、例えば、ユーザが動かすアイテム上に、ＩＤまたは受動的ＩＤタグが配置されることを可能にし、この場合、本システムの複数の実施形態はモーションを追跡する。例えば、特定のヘルメット、縁なし帽子、ボクシング、フットボール、サッカー、もしくは他の接触型スポーツ用の保護マウスピース、またはジムにある特定のダンベルに、受動的ＩＤタグを配置して、例えば、グローブ等のモーションキャプチャ要素を装着し、既存のモバイル装置（例えばＩＰＨＯＮＥ（登録商標））を用いることにより、本発明の実施形態は、自動安全性コンプライアンス、またはフィットネスおよび／もしくはヘルスケアコンプライアンスを提供する。これは、モーションと、ＲＩＦＤまたは受動的ＩＤを介してユーザが持ち上げている重量とを追跡することによって達成される。このように、本発明の実施形態は、反復回数×各ＩＤタグによって示される重量を加算することにより、ユーザが燃焼するカロリー数を計算してもよい。ＩＤタグが自転車型トレーニング機器と接続されており、または自転車型トレーニング機器が識別子を模倣可能であり、および／またはパフォーマンスデータを供給するために無線通信可能であり、且つ、モバイルコンピュータがＩＤリーダを含む別の例では、ユーザの脚の回転数がカウントされ得る。ＩＤまたは受動的ＩＤの他の任意の用途も、本発明の趣旨に沿ったものである。これは、例えば、ユーザが医療上の推奨に従ったか否か、または過剰な線形加速もしくは回転加速が震盪を示すか否かを、医師がリモートで判断することを可能にする。このようにして、複数の実施形態は、ユーザによってコンプライアンスを確実にするために用いられると共に、医師によって、たとえリモートであっても彼らの患者が推奨に従っていることを確認していることを理由に、彼らの専門職過失責任保険の保険料率を下げるために用いられる。本発明の実施形態は、医療コンプライアンスの用途ではＩＤタグを必要としないが、それらを用いてもよい。ゴルフを目的にした本発明の実施形態は、或るゴルファーと関連付けられた各クラブについてのゴルフショットを、例えば、各クラブ上のＩＤタグ等の識別子（または、必要に応じて、ゴルフクラブ上のモーションキャプチャ電子装置と関連付けられた識別子、もしくは無線器を介してリモートで取得された識別子）、および、ゴルフショットのカウント処理を各ゴルフクラブ上で行う代わりにモバイルコンピュータ上に集中させるＩＤリーダを備えたモバイルコンピュータ（例えばＩＰＨＯＮＥ）を用いて、カウントすることを可能にする。また、本発明の実施形態は、慣性測定装置、加速度計、磁力計、および／またはジャイロスコープを用いた向き（北／南、および／または垂直軸と２つの水平軸）および加速の測定も可能にする。これはゴルフショットのカウントには必要ないが、１以上の実施形態は、例えば振動解析によって、ゴルフクラブがゴルフボールを打ったときを決定して、ショットをカウントするか否かをゴルファーに尋ねてもよい。この機能性は、例えば、ゴルフクラブが、カウントすべき「ヒット」として許容可能な速度もしくは速度範囲内、または加速もしくは加速範囲内で移動したかを決定するために、速度もしくは加速の閾値または範囲検出と組み合わされてもよい。また、例えば、カウントショットを除外するため、または誤った打撃を除外するために、有効なスイングシグネチャーを比較するために、ウェーブレットが用いられてもよい。この範囲は、異なるクラブ間で様々であってよく（例えば、ドライバーの速度範囲は「３０ｍｐｈ（時速約４８．２８ｋｍ）を超える」ものであってもよく、一方、パターの速度範囲は「２０ｍｐｈ（時速約３２．１９ｋｍ）未満」であってもよい）、所望に応じて任意のクラブに任意の範囲が用いられてよく、または、例えば速度範囲は無視されてもよい。或いは、またはそれと組み合わせて、モバイルコンピュータは、ゴルファーが側方に移動していない場合、即ち、ゴルフカートに乗っているかまたは歩行中である場合、および／または、モバイルコンピュータと接続された向きセンサもしくはジャイロスコープセンサによって、ゴルファーが回転したかまたはショットを打ったと決定された場合に、ショットをカウントするかをゴルファーに尋ねるだけであってもよい。例えば、モバイルコンピュータ上のマップ上にストロークの位置が示されてもよい。更に、例えば、距離を日毎に更新するため、および、プットティーおよびグリーンを読むのを助けるために、ティーマーカー内およびカップ内に、無線器を有するＧＰＳ受信器が配置されてもよい。ゴルファーは、ゴルファーがゴルフコースのマップ、現在位置、ホールまでの距離、現在のホールでのショット数、合計ショット数、および他の任意の所望の測定指標を見るのを可能にする仮想メガネを着用してもよい。ユーザが、ショットから、そのショットをカウントせずに、例えばＧＰＳによって決定される特定の距離だけ移動した場合には、システムはユーザに対して、そのショットをカウントするか否かに関するプロンプトを行ってもよい。本システムは、ショットをカウントするためにユーザがクラブ上のスイッチを始動させることを必要とせず、各クラブ上のＬＥＤまたは能動的もしくは電池で電力供給される電子装置がショットをカウントすることを必要としない。また、ゴルファーがモバイルコンピュータを操作するためにグローブを外さなくてもいいように、モバイルコンピュータは、ショットをカウントするためまたはショットをカウントしないためのユーザからのジェスチャを受け付けてもよい。位置／向きセンサを用いる実施形態では、本システムは、例えば、衝撃が検出された際にクラブが垂直に向いているときのみ、ショットをカウントしてもよい。装置は、特定の装置の識別を可能にする識別子も含み得る。識別子は、例えばシリアル番号であってもよい。識別子は、例えば、各ゴルフクラブ上のＩＤタグに由来してもよく、または、必要に応じて、ゴルフクラブと関連付けられたモーションキャプチャ要素と関連付けられたシリアル番号もしくは他の識別子を含んでもよい。この装置を用いることで、特定のゴルファー、特定のクラブを識別することが可能になり、また、テレビ、並びに／または、視覚的ディスプレイおよび必要に応じて設けられるカメラを有し、少なくとも１つのモーションキャプチャ要素（例えば、視覚的マーカーおよび／または無線センサ等）からデータを取得できるモバイル装置を含むシステムを用いたモーションキャプチャおよび／または表示が可能になる。また、本システムは、スタンドアロンのカメラ、または複数のモバイル装置上のカメラと統合可能である。また、本システムは、ユーザが、モーションキャプチャデータと関連付けられた理解が容易なグラフィカルな情報を即時に提供する様々な方法で、モーションキャプチャデータを解析して表示することを可能にする。また、本装置は、システムが、ボールおよび例えばゴルフクラブ等の用具に関して、例えば衝撃がどのくらい「中心にある」かを決定することを可能にする。本システムは、靴、クラブ等を含む用具のフィッティングを可能にして、用具がベンダーからの受注組立生産の要求を必要とする場合であっても、用具を即時に購入できるようにする。モーションキャプチャデータ、ビデオまたは画像、およびショットカウントの表示がシステムによって取得されたら、それらはローカルに（例えばローカルデータベース内に）格納されてもよく、または、例えば有線または無線インターフェースを介してリモートのデータベースに送られてもよい。ユーザと関連付けられた任意のデータを含む様々な要素（例えば、年齢、性別、身長、体重、住所、収入、または他の任意の関連情報等）は、データベースに格納されたら、本発明の実施形態で利用されてもよく、および／または、データマイニングを受けてもよい。１以上の実施形態は、ユーザまたはＯＥＭが、例えば、システムのデータマイニング機能へのアクセスに対して支払いを行うこと可能にする。

【0055】

例えば、モーションキャプチャ要素を用いる実施形態は、装置から取得されたデータを解析することを可能にすると共に、キャプチャされたモーションデータを視覚的に示すための、ユーザと関連付けられた一意的な表示（例えば、ユーザの身体の画像上への３Ｄオーバーレイ等）を提示することを可能にする。更に、これらの複数の実施形態は、ゴルファーのモバイルコンピュータと通信するために、５０メートルまでの範囲に対しては、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギー等の能動的無線技術も用い得る。また、本発明の実施形態は、例えばＩＤリーダを介して、またはＢＬＵＥＴＯＯＴＨもしくはＩＥＥＥ８０２．１１を用いた無線通信を介して、ゴルフクラブのＩＤを受信した結果として、例えば、ストロークをカウントするためのクエリーを表示することを可能にする。ＢＬＵＥＴＯＯＴＨ低エネルギーチップの使用は、標準的なコイン電池で、クラブが最大３年までスリープモードになることを可能にし、これによって必要なメインテナンスを減らすことができる。本発明の１以上の実施形態は、例えば２以上の技術の２以上の無線器を用いてもよい。これは、システムのロバスト性を高める冗長性のレベルを可能にする。例えば、一方の無線器（例えば、ＢＬＵＥＴＯＯＴＨ無線器）が機能しなくなった場合には、例えば、ＩＥＥＥ８０２．１１無線器を用いてデータを転送し、ゴルファーがモーションデータを記録して特定のクラブと関連付けられたショットをカウントすることを依然として可能にしつつ、ゴルファーに無線器のうちの１つが機能していないことを警告してもよい。カメラを備えていないモバイル装置（または２以上のモバイル装置）を用いる本発明の実施形態では、センサデータは、キャプチャされたモーションデータの表示を生成するために用いられ得るが、モバイル装置は、必要に応じて、他のカメラまたはカメラを備えた他のモバイル装置からの画像を取得してもよい。例えば、表示タイプ（ユーザの画像は用いても用いなくてもよい）としては、評価、計算されたデータ、およびタイムラインデータが含まれ得る。また、キャプチャされたモーションと関連付けられた評価も、ユーザの画像と共にまたはユーザの画像無しに数値データまたはグラフィカルなデータの形態で（例えば、「効率」評価）、ユーザに対して表示されてもよい。他の評価としては、例えば震盪および他の事象を決定するための線形加速値および／または回転加速値が含まれ得る。計算されたデータ、例えば、予測されるボール飛行経路データ等を計算して、モバイル装置に表示することができる（ユーザの身体の画像は用いても用いなくてもよい）。また、例えば用具またはユーザの身体の様々な部分についての相対的な速度のピークを示すためにタイムラインに示されるデータも、ユーザの画像と共にまたはユーザの画像無しに表示され得る。複数のモバイル装置を含む複数のカメラからの（例えば、ゴルフファンの一団からの）画像が、ゴルファーの周囲から様々な角度で通常の速度で示されるゴルフスイングのスローモーションによって特徴づけられるＢＵＬＬＥＴ ＴＩＭＥ（登録商標）視覚効果に組み合わされてもよい。解析された全てのデータは、モーションキャプチャデータ、画像／ビデオ、ショットカウント、および位置データと共に、ローカルに表示されてもよく、または、データベースにアップロードされてもよく、そこでデータマイニング処理を受けてもよく、その場合、例えば、本システムは、結果へのアクセスに対して課金してもよい。

【0056】

１以上の実施形態において、ユーザは、仮想現実メガネを装着して、拡張現実環境において、仮想のまたは実際の別のユーザのアバターを見ながら、例えばモーションキャプチャデータを生成するために、ゴルフコースでプレイしてもよく、テニスボールを打ってもよく、或いは、単にスイングしてもよい。他の実施形態では、ユーザは、モーションキャプチャセンサと結合された、任意のスポーツと関連付けられた用具を動かすか、または単に、ユーザ自身の身体を動かして、計測機器を備えたユーザの動きまたは用具の動きの、仮想現実メガネに表示されている仮想現実環境を見る。或いは、またはそれと組み合わせて、仮想現実アバターおよびモーションデータを投影するために、仮想現実ルームまたは他の環境が用いられ得る。よって、本システムの複数の実施形態は、実際のゴルフコースにいるユーザが、異なる位置にいる実際にはボールを打っていない別のユーザと共に、モーションデータが解析されている歴史上のプレイヤーと共に、または、本システムの実施形態によって歴史上のプレイヤーのアバターを投影するために用いられる１以上のモーションキャプチャデータシーケンスに基づくデータマイニングによって構築されたユーザと共に、プレイすることを可能にし得る。これら３人のプレイヤーの各々は、彼らが同じ場所にいるかのように、順番にプレイしてもよい。

【0057】

モーションキャプチャデータおよび／または事象は、多くの方法で表示され得る（例えば、モーションキャプチャ中またはモーションキャプチャ後に、ソーシャルネットワークにツイートされる）。例えば、特定の量のエクササイズまたはモーションが行われた場合、カロリーが実行された場合、または新たなスポーツパワー係数の最大値が得られた場合に、本システムは、この新たな情報を、インターネットに接続している誰かに通知されるようにソーシャルネットワークサイトに自動的にツイートしてもよい。１以上の実施形態において、モーションキャプチャデータ、モーション解析、およびビデオは、１以上のソーシャルメディアサイト、リポジトリ、データベース、サーバ、他のコンピュータ、ビューア、ディスプレイ、他のモバイル装置、救急サービス、または公的機関に送信され得る。インターネット、即ち、リモートデータベース、リモートサーバ、または本システムに対してリモートのメモリにアップロードされたデータは、データへのアクセスを取得し得る任意のコンピュータによって閲覧され、解析され、またはデータマイニングされ得る。これは、リモートでコンプライアンスをツイートすること、並びに／または、コンプライアンスおよび／もしくは相手先商標製造業者が、所与のユーザについて、コンプライアンスのためのどの用具、もしくはスポーツ関連の実施形態ではどのスポーツ用具が最良の働きをしているか、および／または、どの用具を示唆すべきかを決定することを可能にする。また、データマイニングは、ユーザと関連付けられたデータおよび／もしくはメタデータ（例えば、年齢等）または本システムに入力され得る他の任意の人口統計学データに基づいて、ユーザに対して、コンプライアンスおよび／またはスポーツ会場（ゴルフコースを含む）の計画を改善するための示唆を行うことを可能にする。また、データのリモートストレージは、例えば、形態学的解析、経時的なモーションの範囲、並びに、糖尿病防止、エクササイズのモニタリング、および上述したコンプライアンス用途等の医療用途を可能にする。また、他の用途は、他のユーザから得た、または存命であるかもしくは故人であるかを問わない歴史上のプレイヤーから、例えばその歴史上のプレイヤーのビデオを解析した後で得た実際のモーションキャプチャデータを用いた試合を可能にする。また、仮想現実および拡張仮想現実の用途も、モーションキャプチャデータまたは歴史的なモーションデータを用いてもよい。例えば、司令官等の軍隊職員および／または医師は、人が簡易爆発物の付近で爆発から受けた重力加速度のタイプを決定し、最良のタイプの医療支援をモーションキャプチャセンサの位置まで送るためのルートを自動的に決定するために、モーションおよび／または画像を用いてもよい。本システムの１以上の実施形態は、重力加速度または速度の閾値を超えたモーションキャプチャデータを、例えば無線通信リンクを介して、司令官または最も近くにいる医療職員に中継してもよい。或いは、本発明の実施形態は、怪我をしたプレイヤーの支援を補助するために、震盪に関連する軽量コネクションレスメッセージを、聴取中の任意のモバイル装置（例えば、審判の携帯電話）に同報してもよく、この場合、軽量メッセージは、必要に応じて設けられるチーム／ジャージ番号、および加速に関連する数値（例えば、潜在的な／可能性がある震盪の警告またはインジケータ等）を含む。

【0058】

本発明の１以上の実施形態では、モーションキャプチャデータを取得し、解析し、表示するために、例えば、テニストーナメント、フットボールの試合、野球の試合、自動車レースもしくはオートバイレース、ゴルフトーナメント、または他のスポーツ事象等における固定カメラが、モーションキャプチャ要素を有するプレイヤー／用具の付近に位置する通信インターフェースと共に用いられ得る。この実施形態では、拡張されたビデオ再生のために、ビデオに、リアルタイムの、またはほぼリアルタイムのモーションデータを表示することができる。このようにして、ショット中に用具がどのくらい速く動いているかを、例えば、プレイヤーの腰および肩の周囲に輪を描くことで、視覚的に表示することにより、エンターテインメントレベルが高められる。また、本発明の実施形態は、例えばユーザどうしが携帯電話を交換しなくてもいいように、モバイル装置を有する他の複数のプレイヤーからの画像またはビデオが、別のユーザに関係するモバイル装置上で用いられることを可能にする。一実施形態では、第１のユーザによって取得された、ビデオカメラを備えた携帯電話を持っている第２のユーザと関連付けられていない、動いている或るスポーツ用具についてのビデオが、第１のユーザと関連付けられたモーションキャプチャデータと共に表示されるために、自動的にそのビデオを第１のユーザに転送してもよい。ビデオおよび画像は、データベースにアップロードされて、例えばそのユーザが着用している衣服または靴のタイプ／色を決定するために、画像解析によってデータマイニングされてもよい。

【0059】

データの表示に基づいて、ユーザは、モバイル装置を介して、最適にフィットする用具を決定し、用具を即時に購入することができる。例えば、２組のスキーのうちどちらにするかを決定する際に、ユーザは、モーションキャプチャ要素を備えた両方の対を試してもよく、この場合、どちらの対のスキーがより効率的な動きを可能にするかを決定するためにモーションキャプチャデータが解析される。ゴルフの実施形態では、２つのゴルフクラブのうちどちらにするかを決定する際に、ユーザは、複数の異なるクラブを用いてスイングを行い、キャプチャされたモーションデータの解析に基づいて、どちらのクラブの方が性能が良いかを定量的に決定することができる。例えば、受注組立生産方式で特注の用具を製造して、その用具をユーザに出荷することができるベンダーのモバイル装置上のインターフェースを介して、特注の用具を注文してもよい。例えば、ユーザが、調節可能な長さのシャフトを用いてパッティングした際にキャプチャされたモーションデータに基づいて、それぞれ標準的な長さであるパターのシャフトの長さを、特定のユーザのために特注できる。例えば、モーションキャプチャデータ、ショットカウントデータ、および距離のデータマイニングに基づいて、類似のスイング特性を有する複数のユーザを、現在のユーザに対して比較することが可能になり、この場合、パフォーマンスを改善するために、例えば特定のサイズおよび年齢のユーザの所与のスイング速度に対してより長いショットをもたらす用具が、示唆またはユーザによって検索され得る。ＯＥＭは、所与のスイング速度に対して、どのメーカーおよびモデルのクラブが全体的に最良のパフォーマンスをもたらすかを決定し得る。これは、ゴルフに限らず、モーションを含む全てのアクティビティに該当することが、当業者には認識されよう。

【0060】

本システムの複数の実施形態は、様々なタイプのセンサを用い得る。本発明の１以上の実施形態では、能動的センサが、ユーザの身体または用具上の特定の箇所のモーションをキャプチャするために用いられる受動的または能動的な視覚的マーカーの使用を可能にするシステムと統合され得る。これは、単に二次元で行われてもよく、またはモバイル装置が２以上のカメラを含む場合、もしくは、例えば、ビデオ等の画像をキャプチャするために複数のカメラまたは複数のモバイル装置が用いられ、各カメラから取得された１組の二次元画像から三角測量された三次元モーションデータを生成するために画像を共有する場合には、三次元で行われてもよい。本発明の他の実施形態は、慣性測定装置（ＩＭＵ）、または、モバイル装置に対する重量、バランス、姿勢、向き、位置、速度、摩擦、加速度、角速度、および／もしくは角加速度情報の任意の組み合わせを生成できる他の任意のセンサを用いてもよい。このように、センサは、向き（垂直、北／南、またはそれらの両方）、（地球測位システム、即ち、「ＧＰＳ」を用いた、または三角測量を用いた）位置、（３つの軸のすべてにおける）線形速度、角速度（例えば、ジャイロスコープからの）、（３つの軸のすべてにおける）線形加速（例えば、加速度計からの）、および角加速度と関連付けられた１以上の値の任意の組み合わせを含み得るデータを取得してもよい。様々なタイプのセンサから取得された全てのモーションキャプチャデータは、センサのタイプに関わらず、解析、モニタリング、コンプライアンス、試合のプレイ、もしくは他の用途および／またはデータマイニングのために、データベースに保存され得る。

【0061】

本発明の１以上の実施形態では、（二次元または三次元の）視覚的追跡のため、およびセンサによって生成される向き、位置、速度、加速、角速度、角加速度、または他の任意の物理的量のためにもセンサが用いられ得るように、センサの外面に受動的マーカーまたは能動的マーカーを含むセンサが用いられ得る。モーションキャプチャ要素の視覚的マーカーの複数の実施形態は、受動的または能動的であってもよい。つまり、視覚的マーカーは、視覚的に追跡可能な視覚的部分を有してもよく、または、低照度条件においても画像の追跡を可能にする発光素子（例えば発光ダイオード（ＬＥＤ）等）を含んでもよい。これは、例えば、ゴルフクラブのハンドル付近のシャフトの端部、またはゴルフクラブのヘッドにある反対側の端部におけるグラフィカルなシンボルまたは色のついたマーカーを用いて実装され得る。マーカーの画像またはビデオは、ローカルで解析されてもよく、または、データベースに保存されて、解析され、データマイニングで用いられてもよい。更に、震盪に関連する実施形態では、視覚的マーカーは震盪を示す光を発してもよく（例えば、中程度の震盪に対しては黄色をフラッシュし、重度の震盪に対しては赤色を高速でフラッシュする）、または他の任意の視覚的インジケータ、必要に応じて設けられる音声事象インジケータ、またはそれらの両方を発してもよい。先に述べたように、ＬＣＤは、符号を読み取るよう装備されたモバイル装置をローカルで有していない誰かによって傍受されないように、または別様で読み取られないように、ローカルな視覚的符号化メッセージを出力してもよい。これにより、慎重に扱うべき医療メッセージ（例えば、震盪またはまひ状態に関連する事象）が、審判またはローカルの医療職員のみによって読まれることが可能になる。

【0062】

モーションキャプチャセンサの複数の実施形態は、一般的に、例えば、ゴルフクラブ等のスポーツ用具の１以上の端部もしくは両端部またはその付近に装着されてもよく、および／または、（ＥＩ測定のために）両端部の間のどこかに装着されてもよく、用具（例えば、武器、医療用具、リストバンド、靴、ズボン、シャツ、グローブ、クラブ、バット、ラケット、ボール、ヘルメット、縁なし帽子、マウスピース等）に結合された他のセンサと統合されてもよく、および／または、任意の可能な方法でユーザに取り付けられてもよい。例えば、モーションキャプチャセンサによって反動が検出され際に、ライフルがどこを向いているかを決定するために、ライフルに。このデータは、例えばモバイルコンピュータ（例えば、携帯電話等）または他の装置を用いて中央サーバに送信され、例えば作戦演習のために解析され得る。更に、センサの１以上の実施形態は、ゴルフクラブのウェイトポート、および／またはゴルフクラブのハンドルの端部に嵌め込まれてもよい。他の実施形態は、例えばテニスラケットまたは野球のバットのハンドルまたは端部に嵌め込まれてもよい。安全性または健康のモニタリングするに関係する実施形態は、縁なし帽子、ヘルメット、および／またはマウスピースと、または他の任意のタイプの囲いの中に結合され得る。本発明の１以上の実施形態は、センサが統合されたボールと共に動作してもよい。モバイル装置の１以上の実施形態は、一体化されたディスプレイを備えてもまたは備えなくてもよく、スポーツ用具のシャフトに取り付けるのに十分に小さく、ユーザのスイングに影響しない、小型のマウンタブルコンピュータ（例えば、ＩＰＯＤ（登録商標）ＳＨＵＦＦＬＥ（登録商標）またはＩＰＯＤ ＮＡＮＯ（登録商標）等）を含んでもよい。或いは、本システムは、プレイヤーによって動かされた用具と接触したボールの仮想の飛行経路を計算してもよい。例えば、ゴルフボールを打つクラブの端部の他の部分のウェイトポートに統合されたセンサを有すると共に、ゴルフクラブのハンドルの先端またはプレイヤーによって着用されている１以上のグローブ内に位置する第２のセンサを有する野球のバット、テニスラケット、またはゴルフクラブを用いて、そのクラブに対する衝撃の角度を計算することができる。クラブのフェースのロフトを知ることにより、ゴルフボールの飛行の角度が計算されてもよい。更に、クラブの端部にあるセンサを、クラブのフェースのどこでゴルフボールが打たれたかを示す振動を決定するのに十分に高い速度でサンプリングすることにより、衝撃の質が決定されてもよい。これらのタイプの測定および解析は、アスリートの向上の助けとなると共に、フィッティングの目的では、アスリートが、正しくフィットする用具を即時に購入することを可能にする。製造業者側での製品改善のために、センタリングデータがデータベースにアップロードされて、例えば、平均的な、または最も低いねじれ値を有する最良のセンタリングを有するバット、ラケット、またはクラブに関係するパターンがデータマイニングされてもよい。データ中で発見された他の任意の未知のパターンも、ユーザに対して提示または示唆されてもよく、ユーザによってサーチされてもよく、または、例えば、製造業者もしくはユーザによってそれに対する支払いがなされてもよい。

【0063】

センサの１以上の実施形態は、例えば、「自動」または「自己巻き」腕時計として知られている腕時計で用いられているような、機械的な偏心錘等であって、必要に応じて、小型の発電機、または、センサ電源の間接的な電気機械的な充電のための誘電充電コイルを含む、充電機能を含んでもよい。他の複数の実施形態は、センサ電源、または電気機械もしくは微小電気機械（ＭＥＭＳ）に基づく充電要素を直接充電するためのプラグを用いてもよい。本発明の１以上の実施形態では、他の任意のタイプの微小電力回収技術が用いられてもよい。センサの１以上の実施形態は、センサの電源をオンまたはオフにするジェスチャを含む節電機能を用いてもよい。そのようなジェスチャは、モーション、物理的スイッチ、センサとの接触、例えば特定のセンサと関連付けられたモバイル装置からのセンサに対する有線または無線コマンドを含み得る。センサと結合され得る他の要素は、例えば、電池、低電力マイクロコントローラ、アンテナおよび無線器、ヒートシンク、充電器および過充電センサを含む。更に、本発明の実施形態は、加速度計または機械的スイッチからの電子信号が、例えばクラブが動いたことを決定するまで、本システムの一部または全ての構成要素の電源を落とすことを可能にする。

【0064】

本発明の１以上の実施形態は、例えば、スポーツ用具の、更には身体部位の弾性慣性（Elasticity Inertia）即ちＥＩ測定を可能にする。センサの実施形態を、ゴルフクラブのシャフト、テニスラケット、野球のバット、ホッケースティック、靴、人の腕、または他の完全に剛性でない任意のアイテムに沿って配置することで、センサが配置された位置またはセンサ間の位置における撓み量の測定が可能になる。各センサにおける経時的な角度差は、撓みプロファイルの計算のみならず、時間または力に依存する撓みプロファイルの計算も可能にする。例えば、公知のＥＩ装置は、ＥＩプロファイルを決定する位置を支持するために、複数の静止した錘を用いる。従って、これらの装置は、ＥＩプロファイルが、加えられた力に依存しているか、または力が加えられた時間に依存しているかを検出することはできず、例えば、ＥＩプロファイルは力または時間に関して非線形であり得る。時間に関して異なる物理的特性を有することが知られている材料の例としては、マックスウェル物質および非ニュートン流体が挙げられる。

【0065】

また、ユーザは、モバイル装置のディスプレイ上で、または、例えばビデオディスプレイを含むメガネで、キャプチャされたモーションデータをグラフィカルな形態で閲覧し得る。また、モーションキャプチャ要素の実施形態から取得された、キャプチャされたモーションデータは、仮想環境におけるユーザの仮想現実表示を拡張するために用いられ得る。データマイニングによってデータベース中で見出されたパターンの仮想現実または拡張現実ビューも、本発明の趣旨に沿ったものである。また、例えば、ユーザには、例えば現在の風況に基づく、または障害物（例えば、ボールの所望の目的地、即ち、例えばゴルフのホールまでの途中にある木々）を考慮した、例えばショットを当てることが試みられるべき位置を示す照準アシストまたは照準ガイド等の、拡張された情報が見えてもよい。

【0066】

本発明の１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合され得る少なくとも１つのモーションキャプチャ要素を含むモーション事象認識およびビデオ同期システムを含む。少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、加速度、角速度、および角加速度と関連付けられた値の任意の組み合わせをキャプチャし得るセンサと、通信インターフェースと、メモリ、センサ、および通信インターフェースと結合されたマイクロコントローラとを含み得る。少なくとも１つの実施形態において、マイクロプロセッサまたはマイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、データを解析してデータ中の事象を認識して事象データを決定し、事象と関連付けられた事象データを通信インターフェースを介して送信し得る。本システムは、コンピュータと、事象と関連付けられた事象データを取得するためにモーションキャプチャ要素の通信インターフェースと通信する通信インターフェースとを含むモバイル装置も含んでもよく、コンピュータはコンピュータの通信インターフェースと結合されており、コンピュータは、コンピュータの通信インターフェースから事象データを受信し得る。また、コンピュータは、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、事象から事象開始時間および事象停止時間を取得し、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされたビデオを含む、カメラからの画像データを要求し、事象開始時間から事象停止時間までの期間中に生じた事象データ、モーション解析データ、またはそれらの任意の組み合わせと、事象開始時間から事象停止時間までの期間中にキャプチャされたビデオとの両方を含む事象ビデオをディスプレイに表示してもよい。

【0067】

複数の実施形態は、システム内のクロックを任意のタイプの同期方法を用いて同期させてもよく、１以上の実施形態では、モバイル装置上のコンピュータは、更に、モーションキャプチャ要素とモバイル装置との間のクロック差を決定して、モーション解析データをビデオと同期し得る。例えば、本発明の１以上の実施形態は、複数の異なる装置からの事象に関する記録データを組み合わせ可能なように、複数の記録装置が各装置の時間、位置、または向きに関する情報を同期させるための手順を提供する。そのような記録装置は、埋め込みセンサ、カメラもしくはマイクを備えた携帯電話、または、より一般的には、対象となるアクティビティに関するデータを記録できる任意の装置であり得る。１以上の実施形態において、この同期は、装置が、時間、位置、または向きについての共通の測定指標に一致可能なように、装置間で情報を交換することによって達成される。例えば、携帯電話および埋め込みセンサが、それぞれの内部クロックの現在のタイムスタンプを有するメッセージを交換してもよく、これらのメッセージは、２つの装置が共通の時間に一致するための交渉を行うことを可能にする。そのようなメッセージは、前回の同期後のクロックのドリフトまたは装置のモーションを考慮するために、必要に応じて周期的に交換され得る。他の実施形態では、複数の記録装置は、時間、位置、または向きの標準化された測定指標を取得するために、共通のサーバまたは１組のサーバを用いてもよい。例えば、装置は、ＧＰＳシステムを用いて、各装置の絶対位置情報を取得してもよい。また、標準化された時間を取得するためにＧＰＳシステムが用いられてもよい。標準化された時間サーバとして、ＮＴＰ（ネットワークタイムプロトコル）サーバが用いられてもよい。サーバを用いることにより、複数の装置を、常時互いに通信するよう構成する必要なしに、共通の測定指標に一致させることが可能になる。

【0068】

本発明の１以上の実施形態において、幾つかの記録装置は、対象となる様々な事象の発生を検出し得る。そのような事象の一部は特定の瞬間に生じ得るものであるが、他の事象は或る時間間隔にわたって生じ得るものであり、検出は、事象の開始および事象の終了の検出を含む。これらの装置は、上述の時間、位置、および向きの同期された測定指標を用いて、記録装置の時間、位置、または向きの任意の組み合わせを、事象データと共に記録し得る。

【0069】

モバイル装置上のコンピュータの複数の実施形態は、更に、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨ててもよい。１以上の実施形態において、コンピュータは、そのコンピュータもしくは他のコンピュータ、別のカメラ、またはビデオをキャプチャした１もしくは複数のカメラを含む他の装置に、ビデオの事象開始時間から事象停止までの期間外のビデオの少なくとも一部分を捨てるようコマンドまたは指示し得る。例えば、本発明の１以上の実施形態において、一部の記録装置は、事象が検出されるまで待機しながら、データを継続的にメモリにキャプチャする。メモリを節約するために、一部の装置は、検出された事象にデータが時間的に接近している場合のみ、データをより永久的なローカル記憶媒体に、またはサーバに格納し得る。例えば、事象検出がないときには、新たに記録されたデータは、最終的に、以前にメモリに記録されたデータを上書きしてもよい。一部の実施形態では、そのような上書きスキームの典型的な実装例として、循環バッファが用いられ得る。事象検出が生じたときには、記録装置は、事象自体の期間中にキャプチャされたデータを格納することに加えて、事象の開始前に、設定されている幾らかの量のデータを格納すると共に、事象の終了後に、設定されている幾らかの量のデータを格納してもよい。例えば、事象の文脈がビデオに示されるように、任意の事前または事後の時間間隔は、事象開始時間および事象停止時間の一部であると見なされる。カメラ付きモバイル装置またはカメラ上において、事象についてのビデオのみを保存することで、大量のスペースが節約されると共に、アップロード時間が大幅に低減される。

【0070】

本システムの複数の実施形態は、モバイル装置に対してリモートのサーバコンピュータを含んでもよく、サーバコンピュータは、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てて、事象開始時間から事象停止時間までの期間にキャプチャされたビデオをモバイル装置内のコンピュータに返す。

【0071】

例えば、少なくとも１つのモーションキャプチャ要素の１以上の実施形態では、マイクロプロセッサは、少なくとも１つの他のモーションキャプチャセンサもしくは要素、コンピュータ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせに事象を送信してもよく、少なくとも１つの他のモーションキャプチャセンサもしくは要素、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせは、少なくとも１つの他のモーションキャプチャ要素が事象を検出していない場合であっても、事象と関連付けられているデータを保存、送信、またはそれらの両方を行い得る。例えば、同時に動作する複数の記録装置を有する実施形態では、そのような装置の１つが事象を検出したら、そのような事象検出が生じた旨のメッセージを他の記録装置に送ってもよい。このメッセージは、様々な装置のクロックの同期された時間基準を用いた事象の開始および／または停止のタイムスタンプを含み得る。受信装置（例えば、他のモーションキャプチャセンサおよび／またはカメラ）は、事象と関連付けられたデータを不揮発性ストレージまたはサーバに格納するために、事象検出メッセージを用いてもよい。これらの装置は、事象と直接関連付けられデータに加えて、事象の開始前の幾らかの量のデータおよび事象の終了後の幾らかの量のデータを格納してもよい。このようにして、全ての装置が同時にデータを記録できるが、複数のソースからの分散した事象データの保存を開始するためには、これらの装置のうちの１つのみからの事象トリガが用いられる。

【0072】

コンピュータの複数の実施形態は、更に、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存してもよく、または、ビデオを保存するためにリモートサーバが用いられてもよい。本発明の１以上の実施形態において、一部の記録装置は、事象が生じ得る期間中を通して互いに直接通信しなくてもよい。これらの状況において、装置は、記録された全てのデータの完全な記録を、永久的なストレージまたはサーバに保存し得る。これらの状況では、一部の装置は事象トリガメッセージを受信できない場合があるので、事象と関連付けられたデータのみを保存することは不可能な場合がある。これらの状況では、保存されたデータは、その後で、検出された１以上の事象と関連付けられた関連部分のみを抽出するために処理され得る。例えば、複数のモバイル装置がプレイヤーまたはパフォーマーのビデオを記録して、このビデオを継続的にストレージ用サーバにアップロードしてもよい。それとは別に、プレイヤーまたはパフォーマーは、例えば、特定のモーションまたはアクション等の事象を検出可能な埋め込みセンサを備えていてもよい。埋め込みセンサのデータは、同じサーバに継続的にまたは後でアップロードされ得る。埋め込みセンサデータおよびビデオストリームを含む全てのデータは、一般的にタイムスタンプが付与されるので、埋め込みセンサによって検出された事象と関連付けられたビデオを、サーバ上で抽出して組み合わせることができる。

【0073】

サーバまたはコンピュータの複数の実施形態は、更に、少なくとも１つのモーションキャプチャセンサとモバイル装置との間の通信リンクが開いているときには、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存し得る。或いは、通信リンクが開いていない場合には、コンピュータの複数の実施形態は、更に、ビデオを保存し、通信リンクが開いた後に事象が受信された後で、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存し得る。例えば、本発明の一部の実施形態では、データは、上述のようにサーバにアップロードされてもよく、各装置のデータストリームと関連付けられた位置および向きのデータが、検出された事象に関連するデータを抽出するために用いられてもよい。例えば、ゴルフトーナメントを通して様々な位置でビデオを記録するために、一組の多くのモバイル装置が用いられ得る。このビデオデータは、継続的にまたはトーナメントの後でサーバにアップロードされ得る。トーナメントの後、事象検出を有するセンサデータも同じサーバにアップロードされ得る。これらの様々なデータストリームを後処理することで、同じ時間に生じた事象と物理的に近接して記録された特定のビデオストリームを識別できる。カメラが、事象を観察するために正しい方向を向いている場合には、更なるフィルタによってビデオストリームを選択してもよい。これらの選択されたストリームは、事象を複数のビデオ角度で示す集合データストリームを構成するためにセンサデータと組み合わされてもよい。

【0074】

本システムは、モバイル装置と結合されたカメラ、またはモバイル装置とは別個のもしくは別様でモバイル装置に対してリモートの任意のカメラから、ビデオを取得し得る。１以上の実施形態において、ビデオは、モバイル装置に対してリモートのサーバから取得される（例えば、或る位置および時間間隔におけるビデオを求めるクエリーの後に取得される）。

【0075】

サーバまたはコンピュータの複数の実施形態は、事象開始時間、事象停止時間、またはそれらの両方と最も密接に関連付けられるビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析によって、ビデオを事象データまたはモーション解析データと同期させ得る。本発明の１以上の実施形態において、記録装置間のクロックの同期はおおよそのものであり得る。各装置からの事象のビューに基づいて、複数の記録装置からのデータ供給の同期の精度を向上させることが望ましい場合がある。１以上の実施形態では、粒度が細かい同期を支援するために、複数の異なるストリーム中の事象のシグネチャーを観察するために、複数のデータストリームの処理を用いる。例えば、埋め込みセンサは、ビデオカメラを含むモバイル装置と同期され得るが、時間の同期の精度は単に１００ミリ秒以内までであってもよい。ビデオカメラが３０フレーム／秒でビデオを記録している場合には、埋め込みセンサにおける事象検出に対応するビデオフレームは、同期されたタイムスタンプのみに基づいて、単に３フレーム以内にあると決定される。装置の一実施形態では、検出された事象に最も密接に対応する正確なフレームを決定するために、ビデオフレーム画像処理を用いることができる。例えば、慣性センサによって検出された、地面に当たったスノーボードからの衝撃が、スノーボードの幾何学的境界が地面と接触しているフレームと相関され得る。他の実施形態は、複数のデータ供給の同期を改善するために、事象シグネチャーを検出する他の画像処理技術または他の方法を用いてもよい。

【0076】

少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定し得る位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信し得る。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信してもよく、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成してもよい。例えば、１以上の実施形態において、事象ビデオは、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定のビデオおよびセンサデータが特定の位置において特定の時間に生じたと判断して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。

【0077】

１以上の実施形態において、マイクロコントローラまたはコンピュータは、事象の位置を決定してもよく、または、マイクロコントローラおよびコンピュータは、事象の位置を決定し、事象の中心点を設けるために、例えば、位置を相関させるまたは平均することによって位置を相関させてもよく、および／または、初期化中のＧＰＳセンサからの誤った位置データが最小化されてもよい。このようにして、モバイル装置を有する１グループのユーザが、ティーオフしているゴルファーのビデオを生成してもよく、この場合、少なくとも１つのモーションキャプチャ装置の事象位置が用いられてもよく、サーバは、観客からのビデオを取得して、プロゴルファーのスイングおよびボールを打っているところの事象ビデオを生成してもよく、事象ビデオは、ゴルファーがスイングした際のゴルファーの周囲からのＢＵＬＬＥＴ ＴＩＭＥビデオを生成するために、複数の異なるカメラからのフレームを用いてもよい。得られた１または複数のビデオは、例えば、事象開始時間から事象停止時間までの、および／または、スイングまたは他の事象について任意のセットアップ時間および任意のフォロースルー時間を含む事象全体がキャプチャされることを確実にするために、事象前または事象後の所定の任意の時間値を伴う事象の継続期間に合わせてトリミングされ得る。

【0078】

少なくとも１つの実施形態において、コンピュータは、事象の近位にあるもしくは事象を見るよう向けられている、またはそれらの両方であるカメラ位置から要求し、またはその要求を同報し、事象の近位にある少なくとも１つのカメラからの、その事象を含むビデオを要求し得る。例えば、１以上の実施形態において、モバイル装置上のコンピュータは、事象の近位にある少なくとも１つのカメラからの事象を含む少なくとも１つの画像またはビデオを、そのエリア内で任意のカメラによって撮影された任意のビデオに対する要求を同報することによって直接要求してもよく、これは、必要に応じて、カメラが事象に近接して配置されているかどうかのみならず、事象に向けられているもしくは別様で向いているかどうかに関係する向き情報を含み得る。他の実施形態では、モバイル装置上のコンピュータによってリモートサーバからのビデオが要求されてもよい。この状況では、事象と関連付けられた任意の位置および／または時間は、事象の近くの、事象に近い時間に撮影された、またはそれらの両方の画像および／またはビデオを返すために用いられ得る。１以上の実施形態において、コンピュータまたはサーバは、ビデオを事象の継続期間に対応するようトリミングしてもよく、ここでも、例えば、ボールを打つ等の事象の位置を、例えば、ボールが用具に当たったことに対応する加速データと一致するビデオ中の対応するフレームと更に同期させるために、画像処理技術を用いてもよい。

【0079】

モバイル装置上またはサーバ上のコンピュータの複数の実施形態は、１以上の事象が生じた１以上の時間のリストを表示してもよい。このようにして、ユーザは、事象ビデオに迅速にアクセスするために、リストから事象を見つけ出してもよい。

【0080】

本発明の実施形態は、モバイル装置と物理的に結合された少なくとも１つのモーションキャプチャセンサを含み得る。これらの実施形態は、例えば、任意のタイプのヘルメットに装着されたカメラ、または事象データおよびビデオデータを生成するためのカメラおよびモーションキャプチャセンサの両方を含む任意のマウント等の、センサが統合された任意のタイプの携帯電話またはカメラシステムを可能にする。

【0081】

一部の実施形態では、本システムは、モーション事象と関連づけられた事象データを受信するために１以上のモーションキャプチャ要素の通信インターフェースと通信可能な通信インターフェースを有する１以上のコンピュータも含み得る。コンピュータは、生モーションデータを受信して、事象を決定するためにこのデータを解析し得る。他の実施形態では、事象の決定はモーションキャプチャ要素内で行われ、コンピュータは事象データを受信し得る。一部の実施形態では、これらの２つの手法の組合せも可能である。

【0082】

一部の実施形態では、１または複数のコンピュータは、事象データから、モーション事象の開始時間および停止時間を決定し得る。次に、コンピュータは、この事象開始時間と事象停止時間との間の時間の少なくとも或る部分内の何らかの時間間隔にわたるビデオまたは１以上の画像をキャプチャしたカメラからの画像データを要求し得る。本明細書におけるビデオという用語は、連続的なビデオだけでなく、個々の画像を含む（カメラが事象間隔中に単一のスナップショット画像を撮影する場合を含む）。次に、このビデオデータは、同期された事象ビデオからのモーションデータと関連づけられ得る。事象は、例えば、ユーザがモーションキャプチャセンサを決まった回数だけ振るまたはタップすることによるジェスチャで示され得る。ユーザによるジェスチャの事象を含む任意のタイプの予め定義された事象は、サイズが大きな生ビデオファイルの転送を要求せずに、概ね簡潔な事象ビデオを転送するよう、少なくとも１つのカメラを制御するために用いられ得る。

【0083】

一部の実施形態では、カメラからのビデオの要求は、モーションデータのキャプチャまたは解析と同時に行われ得る。そのような実施形態では、システムは、事象が開始したことの通知を取得または生成し、次に、事象の終わりが検出されるまで、１以上のカメラからコンピュータにビデオがストリーミングされることを要求する。他の実施形態では、ビデオの要求は、カメラがそのビデオ記録を例えばサーバ等の別のコンピュータにアップロードした後に行われ得る。この場合には、コンピュータは、カメラから直接ではなく、サーバからのビデオを要求する。

【0084】

モーションデータとビデオデータとの同期を行うために、様々な技術が用いられ得る。そのような技術は、全ての装置（モーションキャプチャ要素、コンピュータ、およびカメラ）が共通の時間基準を用いることを確実にする、例えばネットワークタイムプロトコル等の当該技術分野においてよく知られているクロック同期方法を含む。別の技術では、コンピュータは、モーションキャプチャ要素およびカメラの各装置によって登録された現在の時刻を含むパケットを交換することにより、コンピュータのクロックをモーションキャプチャ要素の内部クロックおよびカメラの内部クロックと比較し得る。他の技術は、モーションデータおよびビデオデータを解析して、同期のためにそれらの異なる時間基準のアライメントをとる。例えば、ボールとの接触を示している特定のビデオフレームが、加速度計における衝撃を示しているモーションデータからの特定のデータフレームと位置合わせされ、次に、これらのフレームは、モーションデータとビデオデータとを同期させるためのキーフレームとして効果的に用いられ得る。組み合わされたビデオデータおよびモーションデータは、事象の記録が統合された同期された事象ビデオを構成する。

【0085】

１以上の実施形態において、モーションデータまたはビデオデータを受信または処理し得るコンピュータは、携帯電話、スマートフォン、スマートウォッチ（例えばApple Watch（登録商標）等）、タブレット、ＰＤＡ、ラップトップ、ノートブック、または容易に運搬もしくは再配置可能な他の任意の装置を含むがそれらに限定されないモバイル装置であり得る。他の実施形態では、そのようなコンピュータは、カメラ、特に、ビデオデータが取得されるカメラに統合されたものであり得る。他の実施形態では、そのようなコンピュータは、データセンターまたはクラウド型サービスにおいて仮想マシンとして実行される仮想コンピュータを含むがそれらに限定されないデスクトップコンピュータまたはサーバコンピュータであり得る。一部の実施形態では、システムは、上述のタイプのうちの任意の複数のコンピュータを含んでよく、これらのコンピュータは、本明細書において記載される処理を協働して行い得る。当業者には自明であるように、そのようなコンピュータの分散型ネットワークは、タスクを多くの可能な方法で分割し得るものであり、所望であれば、それらの動作を、単一の集中型コンピュータの動作を再現するよう調和させることができる。本明細書におけるコンピュータという用語は、上述のタイプのコンピュータのうちの任意のものまたは全てを意味し、協働する複数のそのようなコンピュータのネットワークを含むことが意図される。

【0086】

１以上の実施形態において、コンピュータは、同期された事象ビデオのシーケンスを取得または生成し得る。コンピュータは、ユーザが事象の履歴を見るために、このシーケンスの合成サマリーを表示し得る。各事象と関連づけられたビデオについて、一部の実施形態では、このサマリーは、ビデオから生成された１以上のサムネイル画像を含み得る。他の実施形態では、サマリーは、完全な事象ビデオからのより小さい選択部分を含み得る。合成サマリーは、各同期された事象ビデオと関連づけられたモーション解析または事象データの表示も含み得る。一部の実施形態では、コンピュータは、測定指標を取得して、各事象についてのこの測定指標の値を表示し得る。これらの測定指標値の表示は、異なる実施形態において様々であり得る。一部の実施形態では、測定指標値の表示は、棒グラフ、線グラフ、または絶対値もしくは相対値を示すための他のグラフィカルな技術であり得る。他の実施形態では、色分けまたは他の視覚的効果が用いられ得る。他の実施形態では、測定指標の数値が示され得る。一部の実施形態は、これらの手法の組合せを用い得る。

【0087】

１以上の実施形態において、コンピュータは、一連の事象のモーション解析データまたは事象データと関連づけられた注目される測定指標についての選択基準を受け入れ得る。例えば、ユーザは、例えば、或る閾値を超える、或る範囲内の、または或る範囲外の測定指標等といった基準を与え得る。事象の測定指標値に適用され得る任意の基準が用いられ得る。コンピュータは、選択基準に応答して、選択基準を満たす同期された事象ビデオまたはそれらのサマリー（例えばサムネイル等）のみを表示し得る。一例として、ゴルフのスイングの事象データをキャプチャしているユーザは、スイング速度が１００ｍｐｈ（時速約１６０ｋｍ）を超えたスイングのみを見ることを望み得る。

【0088】

本発明の一部の実施形態では、コンピュータは、同期された事象ビデオを選択された測定指標の値に基づいて表示するために、上述の選択基準に基づくフィルタリングに加えて、同期された事象ビデオをソーティングおよびランク付けし得る。上述の例の続きとして、ゴルフのスイングのデータをキャプチャしているユーザは、最高スイング速度が最初に示されるようにソーティングされた、スイング速度が１００ｍｐｈ（時速約１６０ｋｍ）を超えたスイングのみを見ることを望み得る。

【0089】

１以上の実施形態において、コンピュータは、選択基準を満たす事象についてのビデオを組み合わせた、１組のマッチする同期された事象のハイライトリールもしくは失敗リール、またはそれらの両方を生成し得る。例えば、否定的な事象、衝突、転倒、または他の意図せぬ事象を含む失敗リールを生成するために、他の基準が用いられ得る。少なくとも１つの実施形態において、ハイライトリールまたは失敗リールは、選択された事象についてのビデオ全体、またはモーション解析によって決定された事象における重要な瞬間に対応するビデオの一部分を含み得る。一部の実施形態では、ハイライトリールまたは失敗リールは、ビデオ上もしくはその付近に、または選択されたフレーム上に、モーション解析から得た測定指標の値を示すデータまたはグラフィックの表示またはオーバーレイを含み得る。そのようなハイライトリールまたは失敗リールは、ユーザが選択基準を指定することによって含むべき事象を示すと、ユーザのために自動的に生成され得る。一部の実施形態では、コンピュータは、ユーザが、事象を追加または除去するために、各事象について示されるビデオを長くするまたは短くするために、モーションデータについてのグラフィックオーバーレイを追加または除去するために、または特殊効果もしくはサウンドトラックを追加するために、ハイライトリールまたは失敗リールを編集するのを可能にし得る。

【0090】

複数のカメラを有する実施形態では、モーションデータおよび複数のビデオストリームは、単一の同期された事象ビデオに組合せられ得る。複数のカメラからのビデオは、全てがモーションデータおよび共通の時間基準に対して同期された、事象のそれぞれ異なる角度または視野を提供し得る。一部の実施形態では、１以上のコンピュータ（例えば、サーバまたはクラウドサービス等）上で、１以上のビデオを入手可能であり得、１以上のビデオは後で事象データと相関され得る。これらの実施形態では、コンピュータは、事象を見るための正しい位置および向きにあった、格納されているビデオを探し得る。次に、コンピュータは、適切なビデオを読み出して、それらを事象データと組み合わせて、複数の位置および角度からのビデオを有する事象の合成画面を構成し得る。

【0091】

一部の実施形態では、コンピュータは、事象と関連づけられた１組の候補のビデオから、特定のビデオを選択し得る。選択されるビデオは、事象の、様々な可能な基準に基づく最良のまたは最も完全な画面であり得る。一部の実施形態では、コンピュータは、各ビデオの画像解析を用いて最良の選択を決定し得る。例えば、一部の実施形態は、画像解析を用いて、どのビデオが、注目される用具または人々が最も隠れていないまたは最も明瞭に見える最も完全なビデオであるかを決定し得る。一部の実施形態では、この画像解析は、ビデオのキャプチャ中のカメラの揺れの程度の解析、および最も安定した画像を有するビデオの選択を含み得る。一部の実施形態では、ユーザは好ましいビデオの選択を行ってもよく、または、ユーザは、最も重要な基準を指定することによって、コンピュータが選択を行うのを補助してもよい。

【0092】

一部の実施形態では、モーションキャプチャ要素からの事象データは、その事象についてのビデオを記録可能なカメラに、制御メッセージを送るために用いられ得る。少なくとも１つの実施形態において、コンピュータは、少なくとも１つのカメラに、コンピュータに対してローカルなまたはコンピュータに対して外部的な制御メッセージを送信し得る。例えば複数のカメラを有する実施形態のような１以上の実施形態において、制御メッセージは、事象が生じている間に、１組のカメラに同報または送信され得る。これらの制御メッセージは、データまたは事象データ（モーション解析データを含む）に基づいて、少なくとも１つのビデオのビデオ記録パラメータを修正し得る。例えば、少なくとも１つの実施形態において、カメラは、進行中の注目される事象がない間は、待機状態で、記録を行わなくてもよい。１以上の実施形態において、コンピュータは、事象データを待機して、事象が開始したら、カメラに記録を開始するためのコマンドを送り得る。事象が終了したら、少なくとも１つの実施形態において、コンピュータは、カメラに記録を停止するためのコマンドを送り得る。そのような技術は、カメラの電力およびビデオメモリを節約し得る。

【0093】

より一般的には、１以上の実施形態では、コンピュータは、データ、事象データ、またはモーション解析データに応答して、任意の関連するビデオ記録パラメータを修正するために、１または複数のカメラに制御メッセージを送り得る。少なくとも１つの実施形態において、記録パラメータは、例えば、ビデオのフレームレート、解像度、色深度、色またはグレースケール、圧縮方法、および圧縮品質、並びに記録のオンまたはオフのうちの１以上を含み得る。これが有用であり得る一例として、モーション解析データはユーザまたは用具が急激に動いているときを示してもよく、それに応答して、急激なモーションの期間中にはビデオ記録のフレームレートを上げ、比較的遅いモーションの期間中には下げてもよい。急激なモーションが生じている間により高いフレームレートを用いることにより、ユーザは、再生中に、高モーション事象を詳細に観察するために、モーションの速度を遅くすることが可能になる。これらの技術は、カメラがビデオメモリを節約し、使用可能なメモリを、非常に注目される事象のために効率的に用いることを可能にし得る。

【0094】

一部の実施形態では、コンピュータは、例えばユーザから、サウンドトラックを受け入れて、このサウンドトラックを、同期された事象ビデオに統合し得る。この統合は、例えば、事象ビデオまたはハイライトリールまたは失敗リールの再生中に、音声サウンドトラックを追加するものである。一部の実施形態は、事象データまたはモーション解析データを用いて、同期された事象ビデオにサウンドトラックをコンピュータによって自動的に統合し得る。例えば、一部の実施形態は、サウンドトラックを解析し、例えば、音声の振幅が高い時点に基づいて、サウンドトラックのビートを決定し得る。次に、事象データまたはモーション解析データを用いて、サウンドトラックのビートが事象と同期され得る。例えば、そのような技術は、ユーザまたはオブジェクトのモーションが増減するにつれて、サウンドトラックの速度を自動的に増減し得る。これらの技術は、事象と関連づけられた聴覚的および視覚的キューを有する豊かなメディア経験を提供する。

【0095】

１以上の実施形態において、コンピュータは、同期された事象ビデオを１以上のディスプレイ上で再生し得る。これらのディスプレイは、コンピュータに直接取り付けられていてもよく、または、他のリモートの装置上にあってもよい。コンピュータは、事象データまたはモーション解析データを用いて、様々な効果を追加または変更するために再生を修正し得る。これらの修正は、再生中に複数回、または再生中に事象データが変化するにつれて連続的に生じ得る。例えば、低モーション期間中には再生は通常速度で行われ、一方、高モーション期間中には、モーションの詳細をハイライトするために、再生はスローモーションに切り替わってもよい。再生速度の修正は、事象またはモーションの任意の観察または算出された特性に基づいて行われ得る。例えば、事象データは、例えばボールの打撃、ジャンプの開始もしくは終了、または他の任意の興味深い瞬間等の、特定の注目されるサブ事象を識別し得る。コンピュータは、同期された事象ビデオがこれらのサブ事象に近づいた際に、再生速度を下げるよう再生速度を修正し得る。この速度の減速は、サブ事象を詳細にハイライトするために連続的に増され得る。また、再生はサブ事象において停止されて、ユーザからの入力を待って継続してもよい。また、再生速度の減速は、モーション解析データまたは事象データからの１以上の測定指標の値にも基づき得る。例えば、モーション解析データは、動いている野球のバットまたはゴルフクラブの速度を示してもよく、再生速度は、そのようなオブジェクトの速度が増すにつれ、より遅くなるように、連続的に調節されてもよい。再生速度は、そのような測定指標のピーク値付近では非常に遅くされ得る。

【0096】

他の実施形態では、再生速度に限定されない他の再生特性の修正が行われ得る。例えば、コンピュータは、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、またはグラフィックオーバーレイもしくは境界線の使用のうちのいずれかまたは全てを修正し得る。これらの修正は、モーション解析データ、事象データ、サブ事象、または同期された事象ビデオの他の任意の特性に基づいて行われ得る。一例として、再生が注目されるサブ事象に近づくと、点滅する特殊効果が加えられてもよく、ビデオ中の注目されるオブジェクト（例えば、用具によって打たれるところのボール等）の周囲に境界線が追加されてもよい。

【0097】

サウンドトラックを含む実施形態では、再生特性の修正は、サウンドトラックの再生特性の修正を含み得る。例えばそのような修正は、サウンドトラックの音量、テンポ、音質、または音声特殊効果の修正を含み得る。例えば、再生が注目されるサブ事象に近づくと、サブ事象をハイライトするため、および再生を視聴しているユーザによりダイナミックな経験を提供するために、サウンドトラックの音量およびテンポが高められ得る。

【0098】

１以上の実施形態において、コンピュータは、ビデオの画像解析を用いて、ビデオ中のオブジェクトから測定指標を生成し得る。この測定指標は、例えば、オブジェクトのモーションの何らかの態様を測定し得る。画像解析から得られたそのような測定指標は、モーションセンサからのデータのモーション解析から取得された測定指標に加えて、またはそれに関連して用いられ得る。一部の実施形態では、画像解析は、注目されるオブジェクトと関連づけられた画素の位置を求めるための当該技術分野で知られている幾つかの技術のうちの任意のものを用い得る。例えば、或るオブジェクトは、特定の色、テクスチャ、または形状を有することが既知であり得、それらの特性が、ビデオフレーム内におけるそのオブジェクトの位置を求めるために用いられ得る。一例として、テニスボールは、ほぼ丸く、黄色で、ボールの材質と関連づけられたテクスチャを有することが既知であり得る。画像解析は、これらの特性を用いて、ビデオフレーム内におけるテニスボールの位置を求めることができる。複数のビデオフレームを用いて、テニスボールのおおよその速度が算出され得る。例えば、静止したまたはほぼ静止したカメラを想定すると、三次元空間におけるテニスボールの位置は、ビデオフレーム内におけるボールの位置に基づいて、およびそのサイズに基づいて推定できる。フレーム内における位置は、画像平面上におけるボールの位置の投影を与え、サイズは、カメラに対して相対的なボールの深度を与える。複数のフレーム内におけるボールの位置を用いることにより、およびフレーム間の時間差を与えるフレームレートを用いることにより、ボールの速度を推定できる。

【0099】

１以上の実施形態において、モーションキャプチャ要素と結合されたマイクロコントローラは、事象データのキャプチャを調和させるために、他のモーションキャプチャセンサと通信し得る。マイクロコントローラは、別のモーションキャプチャセンサに、その別のセンサも事象データをキャプチャするようトリガするために、事象の開始の通知を送信し得る。その別のセンサは、データを後でアップロードするためにローカルに保存してもよく、または、その事象が生じている間に、その事象データを、開いている通信リンクを介してコンピュータに送信してもよい。これらの技術は、１つのセンサがマスターとして動作して、スレーブセンサのネットワークを調和させることができる、一種のマスタースレーブアーキテクチャを提供する。

【0100】

１以上の実施形態において、コンピュータは、他のセンサ（例えば、少なくとも１つの他のセンサ等）が事象の近位にあり、事象と関連づけられた他の有用なデータを提供する場合には、モーションキャプチャセンサに加えて、これらの他のセンサからのセンサ値を取得し得る。例えば、そのような他のセンサは、温度、湿度、風、高度、光、酸素レベル、音、および（心拍または心拍数のような）生理学的測定指標の様々な組合せを感知し得る。コンピュータは、事象開始から事象停止までの期間中の事象の拡張された記録を生成するために、これらの他の値を読み出して、それらを事象データおよびモーション解析データと共に保存し得る。

【0101】

１以上の実施形態において、システムは、モーションまたは任意の所望のセンサ値を測定する１以上のセンサ要素を含み得る。センサ値は、例えば、向き、位置、速度、加速度、角速度、角加速度、電磁場、温度、湿度、風、圧力、標高、光、音、または心拍数のうちの１以上を含み得るが、それらに限定されない。

【0102】

１以上の実施形態において、システムの任意の１または複数のコンピュータは、１以上のサーバからのメディア情報にアクセスまたはメディア情報を受信し、このメディア情報をセンサデータに関連して用いることにより、事象を検出して解析し得る。メディア情報は、例えば、テキスト、音声、画像、およびビデオ情報を含み得るが、それらに限定されない。１または複数のコンピュータは、事象を認識するためにセンサデータを解析し得ると共に、その事象を確認するためにメディア情報を解析し得る。或いは、１以上の実施形態において、１または複数のコンピュータは、事象を認識するためにメディア情報を解析し得ると共に、その事象を確認するためにセンサデータを解析し得る。１以上の実施形態は、任意のタイプの事象を検出する、確認する、却下する、特徴づける、測定する、モニタリングする、確率を割り当てる、または解析するために、センサ要素からのセンサデータとサーバからのメディア情報との組合せを解析し得る。

【0103】

メディア情報は、例えば、電子メールメッセージ、音声通話、ボイスメール、音声記録、ビデオ通話、ビデオメッセージ、ビデオ記録、ツイート（登録商標）、インスタグラム（登録商標）、テキストメッセージ、チャットメッセージ、ソーシャルメディアサイトへの投稿、ブログへの投稿、またはｗｉｋｉへの投稿のうちの１以上を含み得るが、それらに限定されない。メディア情報を提供するサーバは、例えば、電子メールサーバ、ソーシャルメディアサイト、写真共有サイト、ビデオ共有サイト、ブログ、ｗｉｋｉ、データベース、ニュースグループ、ＲＳＳサーバ、マルチメディアリポジトリ、文書リポジトリ、テキストメッセージサーバ、およびツイッター（登録商標）サーバのうちの１以上を含み得るが、それらに限定されない。

【0104】

１以上の実施形態は、サーバから取得されたメディア情報（例えば、ビデオ、テキスト、画像、または音声等）をセンサデータまたは他の情報と組み合わせて、統合された事象の記録を生成し得る。例えば、ソーシャルメディアサイトから、事象をキャプチャした画像もしくはビデオ、または事象に対するコメンタリーが読み出され、フィルタリングされ、要約され、センサデータおよび解析と組み合わされてもよく、次に、組み合わされた情報が、統合された事象の記録としてソーシャルメディアサイトに再投稿されてもよい。統合された事象の記録は、ハイライトまたは選択されたメディアのみを含むよう整理されてもよく、読み出された全てのメディアを含む包括的な記録であってもよい。

【0105】

１以上の実施形態は、事象に関連するキーワードまたはキーフレーズについてテキストを検索することによって、事象に関連する画像内のオブジェクトについて画像を検索することによって、または、事象に関連する音について音声を検索することによって、メディア情報を解析し得る。

【0106】

システムの１以上の実施形態は、センサ要素からセンサデータを取得し、更なるセンサまたは更なるコンピュータから更なるセンサデータを取得し得る。この更なるセンサデータは、事象を検出するため、または事象を確認するために用いられ得る。１以上の実施形態は、見込みのある事象を検出するためにセンサデータを用い、見込みのある事象が有効な事象であるかまたは誤検出であるかを決定するために、更なるセンサデータ、メディア情報、またはそれらの両方を用いる、多段階事象検出手順を用い得る。

【0107】

１以上の実施形態は、アクティビティのタイプまたはアクティビティのために用いられる用具を決定するために、更なるセンサからの情報を用い得る。例えば、１以上の実施形態は、更なるセンサからの温度データまたは高度データを用いて、モーションデータが、サーフボード上でのサーフィンアクティビティ（高い温度および低い高度）と関連づけられているか、または、スノーボード上でのスノーボードアクティビティ（低い温度および高い高度）と関連づけられているかを決定し得る。

【0108】

システムの１以上の実施形態は、複数のユーザまたは複数の用具に結合されたセンサからセンサデータを受信し得る。これらの実施形態は、例えば、関連する時間、関連する位置、またはそれらの両方において生じた複数のユーザのアクションが関与する事象を検出し得る。例えば、１以上の実施形態は、特定のユーザまたは特定の用具と関連づけられた個々の事象を検出するためにセンサデータを解析し、これらの個々の事象を集合体にして、時間または位置において相関された複数のユーザまたは用具にわたる集合的な事象を検索し得る。１以上の実施形態は、指定された時間および位置の範囲内にある個々の事象の数が閾値を超えた場合に、集合的な事象が生じたことを決定し得る。その代わりに、またはそれに加えて、１以上の実施形態は、個々のユーザまたは個々の用具のグループと関連づけられたセンサデータから、測定指標の集合体を生成し得る。これらの実施形態は、例えば、１以上の測定指標の集合体が特定の閾値を超えた場合に、集合的な事象を検出し得る。１以上の実施形態は、特定の領域内または特定の時間範囲内におけるユーザのサブグループについての測定指標の集合体を生成して、これらのユーザからのセンサデータを時間および位置によって相関させ得る。

【0109】

１以上の実施形態において、モーション解析は、モーション変数（例えば、位置または速度等）の経時的な軌道を解析することを含み得る。複数の実施形態は、センサデータに含まれるモーション変数、センサデータもしくはビデオから取得されたモーション変数、またはそれらの任意の組合せを解析し得る。１以上の実施形態において、モーション変数の特定の軌道は、他の軌道よりも効率的または効果的であり、システムによるモーション解析は、観察された軌道の効率を最適な軌道の効率と比較することを含み得る。最適な軌道は、例えば、移動するオブジェクトの力学的モデル（例えば、スポーツのアクションについての生体力学モデル等）に基づいて決定され得る。また、最適な軌道は、データベース内のデータを解析して１組の効率的な例を選択し、これらの例から最適な軌道を構築することによって決定され得る。１以上の実施形態は、この軌道と最適な軌道との比較を定量化する、観察された軌道についての効率指数を算出し得る。

【0110】

１以上の実施形態において、対象のオブジェクト（例えば、ボール等）について観察された軌道が、そのオブジェクトについての望ましい軌道と比較され得る。例えば、ゴルフでは、ゴルフボールについての望ましい軌道は、ボールをホール内に入れる軌道である。オブジェクトの実際の軌道は、例えば、ビデオ解析に基づいて算出され得る。１以上の実施形態において、システムは、更に、観察された軌道を望ましい軌道に変換するために必要な変更を決定し得る。ゴルフの例を続けると、ゴルフボールの軌道は、ゴルフクラブとボールとの間のインパクト条件によって大きく左右され、これがインパクト後のボールの初期速度を決定する。これらのインパクト条件は、システムによって、例えば、モーションキャプチャ要素を用いて測定され得る。１以上の実施形態は、望ましい軌道を達成するために必要な初期条件またはインパクト条件に対する変更を決定し得る。

【0111】

ゴルフの例を続けると、例えば、パッティング中のゴルフボールの軌道は、パッティンググリーンの状態の関数でもある。従って、ゴルフボールについての望ましい軌道を算出することは、パッティンググリーン（例えば、その地形および摩擦）に依存し得る。１以上の実施形態は、アクティビティの領域のモデルを取得し、このモデルを用いて、オブジェクトについての望ましい軌道を算出し、観察された軌道を実際の軌道に変換するために必要な初期条件の変更を算出し得る。そのようなモデルは、例えば、領域の地形、領域の各地点における摩擦係数、領域と対象のオブジェクトとの間における他の力、および領域の各地点の他の任意の物理的特性に関する情報を含み得る。

【0112】

システムの１以上の実施形態は、データベースに結合された１以上のコンピュータを含む。これらのコンピュータは、データベース内のデータを解析して、様々な測定指標、報告、グラフィック、チャート、プロット、警告、およびモデルを生成し得る。解析コンピュータは、例えば、モバイル装置、スマートウォッチ、カメラ、デスクトップコンピュータ、サーバコンピュータ、またはそれらの任意の組合せであり得るが、それらに限定されない。データベース解析のために用いられるコンピュータは、モーションキャプチャ要素、カメラ、またはモバイル装置に統合された１または複数のプロセッサと一致していてもよい。

【0113】

１以上の実施形態は、データベースの解析を用いて、アクティビティの領域のモデルを生成し得る。そのようなモデルは、例えば、上述のような要因（例えば、領域の地形、領域の各地点における摩擦係数、領域と対象のオブジェクトとの間における他の力、および領域の各地点の他の任意の物理的特性等）を含み得る。そのようなモデルを得るために、データベースに格納されている、その領域内において生じたオブジェクトのモーションの解析が用いられ得る。次に、そのようなモデルを用いて、上述のように、望ましい軌道と、実際の軌道を望ましい軌道に変換するために必要な初期条件に対する変更とが算出され得る。

【0114】

１以上の実施形態は、モーション解析またはデータベースの解析を用いて、１以上の事故の時間もしくは位置、またはそれらの両方を識別し得る。例えば、１以上の実施形態において、衝突を検出するために加速度計が用いられ得る。事故に関する警告が、例えば、救急サービス、政府系機関、安全機関、品質管理機関、および、１以上の事故に類似した更なる事故の危険に晒されている人々のグループのうちの１以上に送信され得る。

【0115】

１以上の実施形態は、データベース解析を用いて、対象のアクティビティが生じた位置を識別し得る。例えば、上記の事故の例を続けると、１以上の実施形態は、事故率が異常に高い位置を識別し得る。１以上の実施形態は、高レベルのアクティビティまたは予期せぬアクティビティを有する家またはビルの領域を識別し得る。１以上の実施形態は、例えば、これらのアクティビティの領域を示す地図、ビデオ、または画像上にオーバーレイされ得るグラフィックを含む、アクティビティの領域に関する報告を生成し得る。

【0116】

１以上の実施形態は、データベース解析を用いて、用具が適正な方法で用いられたか否かを決定し得る。例えば、野球のバットの適正な使用は、野球ボールを打つことに限定され得る。不適正な使用は、例えば、バットで木、電柱、または歩道を叩くことを含み得る。１以上の実施形態は、用具が正しく用いられたか否かを決定するために、適正な使用のシグネチャーおよびの不適正な使用のシグネチャーを取得して、これらのシグネチャーに照らしてデータベース内のモーション事象を解析し得る。

【0117】

システムの１以上の実施形態は、関節の回転およびモーションの範囲を測定するために、ユーザの関節またはその付近に取り付けられたモーションキャプチャ要素を用い得る。例えば、１以上の実施形態は、関節の両側において、各モーションキャプチャ要素が向きを測定する２つ（以上）のモーションキャプチャ要素を用い得る。次に、関節の両側における向きの違いから、関節の回転が決定され得る。向きを測定するセンサは、例えば、加速度計、磁力計、およびレートジャイロスコープを含み得るが、それらに限定されない。関節の動きについてのモーションデータはデータベースに格納されてもよく、１以上の実施形態によって、関節の経時的な回転角度を、例えば、以前の値および目標値と比較するために、データベース解析が用いられ得る。１以上の実施形態は、測定されたモーションの範囲を閾値、目標値、または目標範囲と比較し得る。１以上の実施形態は、モーションの範囲が目標値または閾値を超えた場合に、例えば、医療チームに、またはユーザに、警告メッセージを送信し得る。

【0118】

システムの１以上の実施形態は、マイクを用いて音声信号をキャプチャし、事象検出およびモーション解析のために、これらの音声信号を他のセンサおよびビデオデータに関連して用い得る。マイクは、モーションキャプチャ要素、モバイル装置、カメラ、コンピュータに組み込まれ得る。１以上の実施形態において、音声をキャプチャするためにスタンドアロンマイクが用いられ得る。１以上の実施形態は、真の事象と誤検出の事象とを区別するために、音声シグネチャーをセンサデータシグネチャーと相関させ得る。

【0119】

本発明の実施形態は、例えば、センサデータの解析に基づいて、事象についての１以上のタグを自動的に生成または選択し得る。タグを有する事象データは、後で読み出して解析するために、事象データベースに格納され得る。タグは、例えば、アクティビティのタイプ、プレイヤー、タイムスタンプ、アクティビティの段階、パフォーマンスレベル、または得点結果を表し得るが、それらに限定されない。

【0120】

また、１以上の実施形態は、例えば、事象タグを生成、修正、または確認するために、ソーシャルメディアサイトまたは他のサーバからのテキスト、音声、画像、またはビデオ等のメディアを解析し得る。解析されるメディアは、例えば、電子メールメッセージ、音声通話、ボイスメール、音声記録、ビデオ通話、ビデオメッセージ、ビデオ記録、テキストメッセージ、チャットメッセージ、ソーシャルメディアサイトへの投稿、ブログへの投稿、またはｗｉｋｉへの投稿を含み得るが、それらに限定されない。解析のためのメディアのソースは、例えば、電子メールサーバ、ソーシャルメディアサイト、写真共有サイト、ビデオ共有サイト、ブログ、ｗｉｋｉ、データベース、ニュースグループ、ＲＳＳサーバ、マルチメディアリポジトリ、文書リポジトリ、およびテキストメッセージサーバを含み得るが、それらに限定されない。解析は、事象に関連するキーワードおよび語句についてテキストを検索することを含み得る。事象タグおよび他の事象データは、ソーシャルメディアサイト、他のサーバ、または情報システムに対して公開され得る。

【0121】

１以上の実施形態は、ユーザに、事象に手動でタグを追加する機能、および、自動または手動タグに基づいて、事象をフィルタリングまたはクエリーする機能を提供し得る。システムの実施形態は、１組のタグにマッチする選択された１組の事象についてのビデオのハイライトリールを生成し得る。１以上の実施形態は、事象解析およびタグづけに基づいて、ビデオの一部分を捨ててもよい。例えば、解析は、有意な事象アクティビティを有する時間間隔を示し得るものであり、例えば、大量のメモリを節約するために、および／または、非事象データを含まない関連する事象をアップロードする際にかなりの時間を節約するために別のコンピュータに転送しないために、この時間間隔外のビデオが捨てられ得る。

【0122】

本開示によって伝えられる思想の上記および他の態様、特徴、および長所は、添付の図面と共に示される添付のより具体的な説明からより明確となる。

【図面の簡単な説明】

【0123】

【図1】多センサ事象検出およびタグづけシステムの実施形態を示す

【図1A】コンピュータの実施形態の論理的ハードウェアブロック図を示す

【図1B】本システムの複数の実施形態において用いられるデータベースの実施形態のアーキテクチャの図を示す

【図1C】図１および図１Ａに示されている本システムにおけるコンピュータの複数の実施形態によって行われる処理の実施形態のフローチャートを示す

【図1D】本システムの実施形態のデータフロー図を示す

【図1E】モーション事象時刻および／またはビデオ事象時刻を時間的に正しく位置合わせするためのシフトの詳細を示す同期チャートを示す

【図1F】同報構成要素を含むシステムの実施形態についてのデータフロー図を示す

【図1G】断続的にデータを同報する状況のためのシステムの実施形態についてのフローチャートを示す

【図1H】最適な用具を見出すために、ユーザにモーションを行うよう促し、距離および回転を測定するシステムの実施形態についてのフローチャートを示す

【図2A】ユーザの頭部を囲み、モーションキャプチャセンサを保持するヘルメットに基づくマウントを示す

【図2B】既存のヘルメットにモーションキャプチャセンサを後から組み込むことを可能にするネックインサートに基づくマウントを示す

【図3】モーションキャプチャセンサとヘルメットの外側部分との間にあるアイソレータを示す、図２Ａ～図２Ｂのマウントのクローズアップを示す

【図4A】ヘルメット、パッド、ユーザの頭蓋および脳の上から見た断面図を示す。

【図4B】図４に示されている様々な要素についての回転震盪事象を示す

【図5】ヘルメットに入力された力Ｇ１と、アイソレータ内に装着されたセンサによって観察された、脳内で観察された力とを対比させて示す

【図6】３軸の回転加速値と、合計回転ベクトル量と、モーション事象データと共に表示されている、カメラから取得された震盪事象のビデオとを示す

【図7】ユーザのタイムライン表示と、タイムラインに沿って事象として示されている、タイムラインに沿ったピーク角速度および最小角速度とを示しており、更に、ゴルフクラブのリードおよびラグと、ゴルフクラブのドループおよびドリフトとを示すグラフを、一番下の表示に示しており、これらの値は、時間に対してプロットされた２つの軸において、ゴルフクラブのシャフトがどれだけ曲がっているかを決定する

【図8】サブ事象を容易に見ることを可能にするための、スクロールまたは再生のための、サブ事象と関連付けられた開始時点／停止時点の付近への入力を可能にするサブ事象スクラブタイムラインを示す

【図9】サブ事象の開始および停止のタイムラインに沿った相対的な位置と、開始時間および停止時間に引き付けられるような、これらの点の近くへのユーザ入力を可能にするために、開始時間および停止時間と関連付けられた引力とを示す

【図10】モーションキャプチャ要素としてモバイル装置を用い、モーション事象データおよび第１のユーザの事象のビデオを受信するコンピュータとして他のモバイル装置を用いる実施形態を示す

【図11】潜在的な事象に関係するデータを格納するために用いられるメモリの実施形態を示す

【図12】見込みのある事象が生じたか否かを決定するよう、マイクロコントローラに特にプログラムされた機能性の実施形態のフローチャートを示す。

【図13】誤検出の事象をなくすためにモーションキャプチャデータと比較される典型的な事象シグネチャーまたはテンプレートを示す

【図14】事象に関連する情報のローカルでの表示および閲覧のために必要に応じて設けられるＬＥＤ視覚的インジケータと、事象と関連付けられたテキストまたは符号化されたメッセージを表示する必要に応じて設けられるＬＣＤとを備えたモーションキャプチャ要素の実施形態を示す

【図15】複数の異なるタイプの用具および／または計測器を備えた衣服と関連付けられたモーション事象のテンプレート特性の実施形態を、特定の期間および／またはサブ事象と関連付けられたデータをより正確にまたはより効率的にキャプチャするためにモーションキャプチャセンサの性格が変更され得る領域と共に示す

【図16】例えば、サッカー、ボクシング、フットボール、レスリング、または他の任意のスポーツ等であるがそれらに限定されない任意の接触型スポーツにおいて着用される、保護マウスピースの実施形態の正面図、および図面の下部に平面図を示す

【図17】モーション画像およびモーションキャプチャデータを組み合わされたフォーマットで表示する、図１中の任意のコンピュータによって用いられるアルゴリズムの実施形態を示す

【図18】本発明の１以上の実施形態によって用いられ得る同期アーキテクチャの実施形態を示す

【図19】モーションキャプチャセンサのうちの１つによる事象の検出、他のモーションキャプチャセンサおよび／またはカメラへの事象検出の送信、事象モーションデータの保存、および事象に対応させたビデオのトリミングを示す

【図20】ビデオからの事象ビデオの抜粋、および、複数のカメラが同じ事象のビデオをキャプチャした場合の或る事象期間についての最良のビデオクリップの選択の処理と、選択された測定指標に基づいて選択された、同期された事象ビデオのシーケンスと、選択基準によってソーティングされた事象ビデオとを示す

【図21】ビデオキャプチャ中のカメラの揺れの程度に基づいて特定の事象ビデオを選択するための画像解析、および最も安定した画像を有するビデオの選択を示す。

【図22】例えば事象が生じている間に、事象と関連づけられたデータ（モーション解析データを含む）に基づいてビデオ記録パラメータを修正するために１または複数のカメラに送られる制御メッセージを示す

【図23】モーションデータを用いた可変速度再生の一実施形態を示す

【図24】事象データおよびモーション解析データを用いたビデオの同期を補助するための、および／または、モーションキャプチャセンサと結合されていないビデオ中のオブジェクトのモーション特性を決定するためのビデオの画像解析を示す

【図25】経時的なバットの速度の軌道を、スイングのデータベースの生体力学モデルまたはデータマイニングから得られた最適な軌道と比較することにより、野球のバットのスイングを解析するシステムの実施形態を示す

【図26】ビデオ解析を用いてゴルフボールの軌道を解析し、ボールをホールに正しく打ち込むための必要な補正を算出し、補正をビデオと共にモバイル装置上に表示するシステムの実施形態を示す

【図27】パッティンググリーンの地形モデルを得るために、データベースに格納されているパッティングの軌道を解析するシステムの実施形態を示す

【図28】オートバイのヘルメット上にビデオおよびモーションセンサが設置されたシステムであって、オートバイの衝突を検出し、衝突データを救急サービスに転送し、衝突データの集合体を解析して危険性が高い道路領域を識別するシステムの実施形態を示す

【図29】バットが野球ボールを打つために適正に用いられたか、または、他の目的で用いられたかを決定するために、野球のバットについてのインパクト事象を解析するシステムの実施形態を示す

【図30】膝関節の両側において２つのモーションキャプチャ要素を用いて膝関節のモーションの範囲を解析し、モーションの範囲が閾値を超えた際に警告を送信するシステムの実施形態を示す

【図31】モーションキャプチャ要素内にマイクおよび慣性センサを有するシステムであって、マイクからの音声データを用いて、真のインパクト事象と誤検出のインパクト事象とを区別するシステムの実施形態を示す

【図32】温度、湿度、風、高度、光、音、および心拍数と関連づけられた他の値を受信するシステムであって、データまたは事象データを他の値と相関させて、誤検出、モーションキャプチャ要素が結合されている用具のタイプ、またはアクティビティのタイプを決定するシステムの実施形態を示す

【図33】センサデータを用いて、ハイライトフレームを識別し、ハイライトフレームをモーション測定指標と共に表示し、ハイライトされた時間フレーム外のフレームを捨てる実施形態を示す

【図33A】センサデータを用いて、大失敗フレームを識別し、これらの失敗フレームをモーション測定指標と共に表示し、失敗時間フレーム外のフレームを捨てる実施形態を示す

【図34】センサデータの解析を、サーバからのテキスト、音声、画像およびビデオの解析と組み合わせて、事象を検出するシステムの実施形態を示す

【図35】事象を分類するためにテキストを解析する実施形態であって、事象とキーワードとの各組合せについての重みづけ係数を用いて、解析されたテキスト内に位置するキーワードから、事象スコアを算出する実施形態を示す

【図36】センサデータを用いて、見込みのある事象（衝突）を決定し、メディアの解析を用いて、見込みのある事象が有効な事象であるかまたは誤検出であるかを決定する実施形態を示す

【図37】モーションセンサを用いてデータを収集すると共に、更なるセンサ（温度センサおよび高度センサ）からのデータを用いて、モーションデータを生じたアクティビティがスノーボードであったかまたはサーフィンであったかを決定する実施形態を示す

【図38】グループ全体の人々が関与する事象を検出するために、多数のセンサからのデータを収集して相関させる実施形態を示しており、ほぼ同じ時間に立ち上がった観客メンバーの垂直方向のモーションはスタンディングオベーション事象を示す

【図39】或る位置の付近のユーザのグループからのモーションセンサデータを収集し、測定指標（平均速度）の集合体を解析して、その位置において大事件が生じたことを検出する実施形態を示す

【図40】センサデータの解析に基づいて、事象にタグを自動的に追加し、タグを、その事象についての測定指標およびセンサデータと共に事象データベースに格納する実施形態を示す

【図41】タグ値による事象のフィルタリング、事象に対する手動で選択されたタグの追加、選択された１組の事象についてのビデオを含むハイライトリールの生成をサポートする説明的なユーザインターフェースを示す

【図42】事象についてのタグを生成するために、ソーシャルメディアへの投稿を解析する実施形態を示す

【図43】事象に関連しないビデオキャプチャの一部分を捨て、ビデオの関連する部分を事象および事象タグと共に保存する実施形態を示す

【発明を実施するための形態】

【0124】

次に、多センサ事象検出およびタグづけシステムについて説明する。以下の例示的な説明において、多くの具体的な詳細は、本明細書を通して記載される思想のより完全な理解を提供するために述べられるものである。しかし、本明細書に記載される思想の複数の実施形態は、本明細書に記載される具体的な詳細の全ての態様を組み込まずに実施され得ることは、当業者には自明であろう。他の例では、本開示を不明瞭にしないために、当業者に周知の具体的な態様は、詳細には説明していない。本開示を通して革新的な概念の例が述べられるが、本発明を定義するものは、特許請求の範囲、および任意の等価物の全範囲であることを、読者は留意すべきである。

【0125】

図１は、多センサ事象検出およびタグづけシステム１００の実施形態を示す。少なくとも１つの実施形態は、事象を生成するため、事象を公開するため、および／または事象ビデオを生成するための、様々なセンサからの事象データおよび／またはセンサ以外からのデータ（例えばブログ、チャット、またはソーシャルメディアへの投稿）のコンピュータによる自動的な解析を可能にする。ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオのコンピュータによる自動的な解析、同期化、および転送を可能にする。ビデオおよびモーションキャプチャデータを含む事象データがデータベースに保存される。事象が生じた際に、それらが解析され、例えば、様々なセンサから相関される。データベースに格納された事象の解析は、事象データにおける傾向、相関、モデル、およびパターンを識別する。事象ビデオをアップロードし、大量のビデオの関係ない部分のアップロードを回避することによって、ストレージを大きく節約すると共にアップロード速度を高める。所与の時間における事象をカバーしている複数のカメラからの複数のビデオのコンピュータによる自動的な選択（例えば、最小の揺れを有するビデオの選択）を提供する。モーションキャプチャセンサによって決定された事象が生じている間のカメラパラメータのほぼリアルタイムの変更、および同期された事象ビデオについての再生パラメータおよび特殊効果の変更を可能にする。測定指標によってフィルタリングされたハイライトリールを生成し、測定指標によってソーティングできる。たとえ他のセンサがその事象を検出していない場合であっても、事象データを保存するために複数のセンサと統合される。また、同じユーザ、他のユーザ、歴史的なユーザ、またはユーザのグループと関連づけられた動きの解析または比較を可能にする。少なくとも１つの実施形態は、携帯型の無線モーションキャプチャ要素（例えば、視覚的マーカーおよびセンサ、無線自動識別タグ、並びにモバイル装置のコンピュータシステム等）から取得されたモーションキャプチャデータ、同じユーザと関連付けられた解析された動きに基づいて計算されたモーションキャプチャデータ、または、同じユーザ、他のユーザ、歴史的なユーザ、もしくはユーザのグループと比較されるモーションキャプチャデータを含むが、それらに限定されない、モーションデータのコンピュータによる自動認識を提供する。モーションデータおよびビデオを検出された事象に対応するようにトリミングすることにより、事象データおよびビデオデータのためのメモリ使用量を低くすること可能にする。これは、事象の位置および／または時間に基づいて、並びにビデオの位置および／または時間に基づいて、モバイル装置またはリモートサーバ上で行われてもよく、必要に応じて、モーション事象を含み得るビデオを更に制限するために、カメラの向きを含んでもよい。複数の実施形態は、事象に基づく視聴、事象の低電力送信、モバイル装置上で実行されるアプリとの通信、および／または、事象を定義するウィンドウを指定するための外部カメラとの通信を可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動またはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等といったモーション事象の認識、および事象の指定を可能にする。事象は、例えば、子供の初めての歩行、激しい震え事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象等の事象のビデオを保存することを可能にするために、内部／外部の１または複数のカメラ、もしくは例えばベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。線形加速の閾値および／またはパターン、並びに、回転加速および回転速度の閾値および／またはパターンについて、震盪に関連する事象および他の事象がモニタリングされてもよく、および／または事象毎に保存されてもよく、および／または軽量コネクションレスプロトコルを介して転送されてもよく、またはそれらの任意の組み合わせを行ってもよい。１以上の実施形態は、センサデータを、ソーシャルメディアへの投稿から読み出されたメディアと組み合わせることにより、事象の統合された整理された記録を生成し得る。

【0126】

複数の実施形態は、事象に基づく視聴、事象の低電力送信、モバイル装置上で実行されるアプリとの通信、および／または、事象を定義するウィンドウを指定するための外部カメラとの通信も可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動、もしくはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等のモーション事象の認識を可能にする。例えば、子供の初めての歩行等の事象、激しい震えの事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象のビデオを保存するのを可能にするために、事象は内部／外部の１もしくは複数のカメラまたはベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。図示されるように、本システムの複数の実施形態は、一般的に、モバイル装置１０１と、モバイル装置１０１上で実行されるアプリケーションとを含み、これは、モバイル装置１０１の内部に位置するものとして点線の輪郭で示されているコンピュータ１６０（即ち、図１Ａのコンピュータ１６０の機能図も参照）と、コンピュータ１６０に結合されたディスプレイ１２０と、コンピュータに結合された通信インターフェース（例えば、第２の通信インターフェース等）（一般的にモバイル装置の内部にあり、図１Ａの要素１６４を参照）とを含む。１以上の実施形態において、モバイル装置１０１は、例えば、スマートフォン、携帯電話、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント、音楽プレイヤー、またはスマートウォッチ（例えば、Apple Watch（登録商標）を含む）であり得るが、それらに限定されない。モバイルコンピュータを有する携帯電話はユビキタスであり、本システムのユーザは、１以上のモーションキャプチャ要素と、本システムの実施形態を実装するために既存の電話にインストールされるアプリケーション（「アプリ」としても知られている）とを購入し得る。このように、携帯電話、タブレットコンピュータ、スマートウォッチ、音楽プレイヤー等を既に所有しているどのユーザにも、モーションキャプチャ機能が手の届く価格で利用できるようになり、このようなことは従来は決して可能ではなかった。

【0127】

各モバイル装置１０１、１０２、１０２ａ、１０２ｂは、識別子１９１を取得するために、必要に応じて内蔵識別子読取器１９０（例えばＩＤリーダ）を有してもよく、または、識別子読取器またはＩＤリーダ（モバイル装置１０２を参照）と結合されてもよい。或いは、本発明の実施形態は、用具１１０を識別する識別子を本システムに通信するために、任意の上記装置において任意の有線または無線通信技術を用いてもよい。本発明の実施形態は、少なくとも１つのモーションキャプチャセンサ、ユーザ、または用具と結合された他の任意のタイプの識別子も含み得る。１以上の実施形態において、識別子は、チームおよびジャージ番号、生徒識別番号、登録番号、または、特定のユーザまたは用具からの特定の事象の比較的一意的な識別を可能にする他の任意の識別子を含み得る。これは、プレイヤーまたはユーザと関連付けられたデータを受信し得るアプリに関して、複数のプレイヤーまたはユーザを有するチームスポーツまたは位置を識別することを可能にする。１以上の実施形態は、識別子（例えば、プレイヤーまたはユーザと関連付けられた受動的ＩＤ識別子、ＭＡＣアドレス、または他の整理番号）を受信して、その識別子を事象データおよびモーション解析データと関連づける。

【0128】

本システムは、一般的に、任意のタイプの環境センサ、生理学的センサ、および／またはモーションセンサであり得る少なくとも１つのセンサを含む。例えば、コンピュータ１０１は、高度計もしくは温度計を含んでもよく、またはこれらの値を無線で取得してもよい。センサまたはスマートウォッチ１９１は、例えば、心拍数モニタを含んでもよく、または内部医療装置からの値を無線で取得してもよい。更なる実施形態は、例えばマウント１９２を介して、ユーザ１５０または用具１１０（例えば、ゴルフクラブ、野球のバット、テニスラケット、ホッケースティック、武器、スティック、剣、スノーボード、サーフボード、スケートボード、もしくは他の任意のボードもしくはスポーツ用具、または、例えば、靴、ベルト、グローブ、メガネ、帽子、もしくは他の任意のアイテム等の他のスポーツ用具）と結合される少なくとも１つのモーションキャプチャ要素１１１を含み得る。少なくとも１つのモーションキャプチャ要素１１１は、用具１１０の一端部、両端部、もしくは両端部の間のどこか、またはユーザ１５０のどこか（例えば、縁なし帽子、ヘッドバンド、ヘルメット、マウスピース、またはそれらの任意の組み合わせ）に配置されてもよく、任意のアイテムのＥＩ測定のために用いられてもよい。モーションキャプチャ要素は、必要に応じて、受動的もしくは能動的な視覚的マーカーを含んでもよく、および／または、センサ（例えば、モーションキャプチャ要素の向き（北／南および／または上／下）、位置、速度、加速度、角速度、および／または角加速度と関連付けられた値のうち１以上の値の任意の組み合わせを供給できる任意のセンサ）を含んでもよい。コンピュータは、各用具１１０（例えば、衣服、バット等）に対して一意的な（例えば、クラブ１１０と結合されたＩＤからの）識別子（即ち、識別子１９１）と関連付けられた（且つ、必要に応じて、少なくとも１つのモーションキャプチャ要素と関連付けられた）データを視覚的に取得し、または、通信インターフェースを介してモーションキャプチャ要素からのデータを受信し、そのデータを解析してモーション解析データを構成し、モーション解析データをモバイル装置１０１のディスプレイ１２０に表示し得る。モーションキャプチャ要素１１１は、モーションキャプチャマウント１９２を介して、用具もしくはその付近またはユーザもしくはその付近に装着され得る。例えばヘルメットに装着されるモーションキャプチャ要素１１１は、モーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得し得る材料を含むアイソレータを含み得る。これは、例えばモーションキャプチャ要素マイクロコントローラに対する処理要件を低くすると共に、低いメモリ使用量および事象に基づく事象データの送信のためのより低い電力要件を可能にする。モーションキャプチャ要素１１１からのモーションキャプチャデータ、用具１１０と関連付けられた任意のデータ（例えば、識別子１９１等）、または、ユーザ１５０もしくは任意の人数のユーザ１５０（例えば、第２のユーザ１５２等）と関連付けられた任意のデータは、ローカルにメモリに格納されてもよく、コンピュータに対してローカルのデータベースに格納されてもよく、または、例えばサーバと結合され得るリモートのデータベース（例えばデータベース１７２）に格納されてもよい。例えば各ユーザ１５０、１５２からの、任意のセンサタイプからのデータ、またはセンサデータの解析から得られた事象データは、モーションキャプチャ要素１１１からモバイル装置１０１への、並びにモバイル装置１０１からネットワーク１７０またはインターネット１７１およびデータベース１７２へのネットワークまたは電話網リンクが利用可能なときに、データベース１７２に格納され得る。次に、任意の人数のユーザ並びに彼らの特定の特性およびパフォーマンスパラメータと関連付けられた大きいデータセットに対して、データマイニングが行われる。例えば、本発明のゴルフの実施形態では、ゴルフクラブからクラブＩＤが取得され、モーションキャプチャ要素によってショットが検出される。モバイルコンピュータ１０１は、ユーザの画像／ビデオを格納し、事象／ヒット／ショット／モーション、コース上における事象の位置、および後続のショットについてのモーションキャプチャデータを受信し、各事象についての任意のパラメータ（例えば、事象が生じた時間における距離または速度等）を決定し、任意のローカル解析を行い、モバイル装置にパフォーマンスデータを表示する。モバイル装置からネットワーク１７０またはインターネット１７１へのネットワーク接続が利用可能なとき（例えば、ゴルフの１ラウンドの後）に、画像／ビデオ、モーションキャプチャデータ、およびパフォーマンスデータが、後で解析、表示、および／またはデータマイニングを行うためにデータベース１７２にアップロードされる。１以上の実施形態において、例えば相手先商標製造業者等のユーザ１５１は、例えばコンピュータ（例えば、コンピュータ１０５、モバイルコンピュータ１０１等）を介して、或いは、例えばネットワーク１７０、インターネット１７１、ウェブサイト１７３、またはデータベース１７２の一部を構成するもしくはデータベース１７２と接続されたサーバを介してデータベース１７２と通信できる他の任意のコンピュータからの、データベースへのアクセスに対する支払いを行う。データマイニングは、例えば、ローカルサーバコンピュータを含み得るデータベース１７２上で実行されてもよく、或いは、コンピュータ１０５またはモバイル装置１０１、１０２、１０２ａ、もしくは１０２ｂ上で実行されて、例えばデータベース１７２のスタンドアロンの実施形態にアクセスしてもよい。データマイニングの結果は、モバイル装置１０１、コンピュータ１０５、テレビ放送、またはカメラ１３０、１３０ａおよび１０３ｂ、もしくは１０４から発せられるウェブビデオに表示されてもよく、ウェブサイト１７３を介してアクセスされてもよく、またはそれらの任意の組み合わせであってもよい。

【0129】

少なくとも１つのモーションキャプチャ要素の１以上の実施形態は、事象が生じた場合に光を出力し得る発光素子を更に含み得る。これは、例えば、何らかの外部装置との通信を必要とせずに、ヘルメットの外側部分における軽度または重度の震盪の可能性を表示するために用いられ得る。また、事象に関係する情報を中継するために、複数の異なる色またはフラッシュ間隔が用いられてもよい。或いは、またはそれと組み合わせて、少なくとも１つのモーションキャプチャ要素は、事象が生じた場合、または少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に音声を出力し得る音声出力素子を更に含んでもよく、または、コンピュータは、少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に表示して警告してもよく、またはそれらの任意の組み合わせが行われてもよい。例えば、審判が、ローカルにモバイル装置上で解析コードのスナップショットを取得し得るように、且つ、センサ上で、または送信された事象が、何者かによって傍受されて読解可能な形態で見られないように、センサの複数の実施形態は、現在の事象の符号化された（例えば、クイックレスポンス（ＱＲ）コードまたはバーコードの）解析を出力するＬＣＤを用いてもよい。

【0130】

本システムの１以上の実施形態は、例えばモバイル装置内のコンピュータに結合された少なくとも１つのカメラ１３０を含むモバイル装置を用いてもよい。これは、モバイル装置１０１内のコンピュータが、カメラ１３０、他の任意の装置、コンピュータ、または他の任意のコンピュータに、例えば運動中のユーザの１または複数の画像を取得するようコマンドまたは指示することを可能にする。例えば、モーション解析データを人間にとってより理解可能なものにするために、ユーザの画像に表示および評価がオーバーレイされてもよい。或いは、ユーザの画像無しに、詳細なデータ表示がディスプレイ１２０または例えばコンピュータ１０５のディスプレイに表示されてもよい。このようにして、二次元画像およびその後続の表示が可能になる。モバイル装置１０２に示されているように、モバイル装置１０１が２つのカメラ（即ち、カメラ１３０ａおよび１３０ｂ）を含む場合には、これらのカメラは、例えば視覚的マーカーの画像解析によって三次元データセットを生成するために用いられてもよい。これは、視覚的マーカーの距離および位置を確認して解析することを可能にする。本発明の任意の実施形態では、任意のカメラからの画像および／またはビデオが、データマイニングの目的で、例えばユーザ１５０と関連付けられたデータベース１７２に格納され得る。本発明の１以上の実施形態において、画像および／またはビデオに対する画像解析は、例えば、ユーザ１５０の年齢毎もしくはプレイ時刻毎に用いられている用具、衣服、靴等のメーカー／モデルを決定するために、またはデータ中の他の任意のパターンを発見するために行われ得る。カメラは、例えば、位置Ｌ１、Ｌ２、およびＬ３における視野Ｆ２およびＦ３を有し得るものであり、ユーザは、モーションの範囲Ｓおよび寸法Ｌを有し得る。

【0131】

或いは、カメラを１つのみ有するモバイル装置の実施形態では、視覚的マーカーの位置を決定するために三角測量される画像の形態の二次元データを取得するために、複数のモバイル装置が用いられ得る。本システムの１以上の実施形態において、モバイル装置１０１およびモバイル装置１０２ａは、三次元モーション解析データを生成するために、ユーザ１５０の画像データを共有する。当業者は認識するように、（例えば、一般的であるように装置内のＧＰＳチップ等の位置決定要素によって、またはセルタワーによる三角測量によって（これらは簡潔のために図示しないが、コンピュータ１６０のように、モバイル装置の内部に位置するのが一般的である））モバイル装置１０１および１０２の位置を決定して、モーションキャプチャ要素１１１から、例えば、各画像中の視覚的マーカーが存在する画素の位置に関するデータを取得することにより、距離およびそれによって速度が容易に取得される。

【0132】

また、カメラ１０３は、静止画用に、または、現在では一般的なようにビデオ用に用いられ得る。外部カメラを用いる本システムの実施形態では、外部カメラからデータを取得する任意の方法（例えば、データの無線通信、または、例えば、カメラ１０３がコンピュータ１０５にドッキングされているときには有線通信を介してデータ通信を行い、次に、データをモバイル装置１０１に転送し得ることを含む）が本システムの趣旨に沿っている。

【0133】

本システムの１以上の実施形態において、モーション解析データが表示されるモバイル装置は、カメラを有する必要はない。即ち、モバイル装置１０２ｂは、たとえカメラを有するよう構成されていなくても、データを表示し得る。従って、モバイル装置１０２ｂは、どの外部カメラもモバイル装置１０２ｂに画像を通信し得る限り、モバイル装置１０１、１０２、１０２ａ上のカメラ、カメラ１０３、および／またはテレビカメラ１０４の任意の組み合わせから画像を取得してもよい。或いは、本システムを用いるために、カメラは全く必要ない。図１７も参照されたい。

【0134】

テレビ放送用には、モーションキャプチャ要素１１１は、アンテナ１０６によって受信されるデータを無線で送信する。このようにモーションキャプチャ要素１１１から取得された無線センサデータは、テレビカメラ１０４から取得された画像と組み合わされて、テレビ、コンピュータ（例えば、コンピュータ１０５等）、モバイル装置１０１、１０２、１０２ａ、１０２ｂ、または画像を表示し得る他の任意の装置に同報可能な拡張されたモーション解析データを有する表示が生成される。センサデータが位置データ（例えばＧＰＳ情報）を含む限り、（例えばＧＰＳ情報を介して）カメラの位置を知り、カメラが向いている方向および／または向きを知ることにより、モーション解析データを、例えばディスプレイ１２０上に配置できる。他の実施形態では、モーション解析データを画像に対してロックするために、視覚的マーカーまたは画像処理が用いられ得る。例えば、画像中のゴルフクラブのヘッドを追跡して、対応する高、中、低のクラブ位置を、例えばカメラ１３０、１０４、または１０３に対するユーザ１５０の向きを決定するために用いて、拡張されたデータをユーザ１５０の画像上に正しくプロットすることができる。画像にタイムスタンプを付与するとともに、モーションキャプチャデータにタイムスタンプを付与することにより、例えば、マイクロコントローラ内のタイマーをモバイル装置上のタイマーと同期させ、様々な位置における視覚的マーカーまたはスポーツ用具についての画像をスキャンした後で、簡単なモーションキャプチャデータを画像にオーバーレイしてもよい。本発明の１以上の実施形態では、カメラからの画像をモーションキャプチャデータと組み合わせる他の任意の方法が用いられてもよい。本システムの趣旨に沿って、モーション解析データをディスプレイ１２０（または、例えばコンピュータ１０５のディスプレイ等の他の任意のディスプレイ）上にユーザに関して適切に配置するための他の任意のアルゴリズムが用いられてもよい。例えば、センサを介して事象または一群の事象を取得する際には、事象に対してローカルな外部カメラシステムがその事象の時間についての画像データを供給し得るように、アプリが画像を取得するために事象および／または時間範囲を受信した後に、アプリは、そのローカルメモリからの、他の任意のモバイル装置からの、通信され得る他の任意のタイプのカメラからの、その期間および／または事象の事後の位置／時間の画像データを要求してもよい。

【0135】

生成されてモバイル装置１０１上に表示され得るそのような表示の１つは、モバイル装置１０１、１０２、１０２ａ、カメラ１０３、および／またはテレビカメラ１０４もしくは他の任意の外部カメラから選択された２以上のカメラを用いたＢＵＬＬＥＴ ＴＩＭＥビューを含む。本システムのこの実施形態では、コンピュータは、ユーザ１５０の２以上の画像および少なくとも１つのモーションキャプチャ要素（視覚的マーカーまたはセンサ）と関連付けられたデータを取得してもよく、２以上の画像は２以上のカメラから取得されたものであり、コンピュータは、ユーザの周囲から様々な角度で通常の速度で示されるユーザ１５０のスローモーションを示す表示を生成してもよい。そのような実施形態は、例えば１グループのファンが、彼ら自身で、例えばゴルフプロのトーナメントでのＢＵＬＬＥＴ ＴＩＭＥショットを生成することを可能にする。それらのショットはコンピュータ１０５に送られてもよく、コンピュータ１０５上で任意の必要な画像処理が行われて、例えばテレビの視聴者に同報されてもよい。本システムの他の複数の実施形態では、様々なモバイル装置のユーザが、彼ら自身による画像のセットを共有し、および／または、例えば後で視聴するために、彼らのショットをウェブサイトにアップロードする。また、本発明の実施形態は、例えば、ユーザどうしが携帯電話を交換しなくてもいいように、モバイル装置を有する他のプレイヤーからの画像またはビデオが、別のユーザに関係するモバイル装置上で用いられることを可能にする。一実施形態では、第１のユーザによって取得された、ビデオカメラを備えた携帯電話を持っている第２のユーザと関連付けられていない、動いている或る用具についてのビデオが、第１のユーザと関連付けられたモーションキャプチャデータと共に表示されるために、自動的にそのビデオを第１のユーザに転送してもよい。或いは、第１のユーザの携帯電話は、モーションキャプチャ要素１１１の代わりに、またはそれに加えて、モーションセンサとして用いられてもよく、第２のユーザの携帯電話は、動いている第１のユーザのビデオをキャプチャするために用いられてもよい。第１のユーザは、必要に応じて、例えば第２の携帯電話がモーションキャプチャを開始／停止すべきであることを示すために、電話上で、タップする／振る等のジェスチャを行ってもよい。

【0136】

図１Ａは、コンピュータ１６０の実施形態を示す。コンピュータ１６０はプロセッサ１６１を含み、プロセッサ１６１は、コンピュータプログラムの指示としてメインメモリ１６２内に格納されるのが一般的である（一般的にアプリケーションとしても知られている）ソフトウェアモジュールを実行する。表示インターフェース１６３は、図１に示されているようなモバイル装置１０１のディスプレイ１２０を駆動する。必要に応じて設けられる向き／位置モジュール１６７は、北／南もしくは上／下の向きのチップまたはそれらの両方を含み得る。１以上の実施形態において、向き／位置モジュールは、マイクロコントローラと結合された位置決定要素を含み得る。これは、例えばＧＰＳ装置を含み得る。或いは、またはそれと組み合わせて、コンピュータは、別のコンピュータと協働して位置を三角測量してもよく、他の任意の三角測量タイプの受信器から位置を取得してもよく、または、コンピュータと結合されている特定の方向に向いていることがわかっているカメラによってキャプチャされた画像に基づいて位置を計算してもよく、この場合、コンピュータは、例えば画像中のオブジェクトの方向およびサイズに基づいて、モバイル装置からのオフセットを計算する。必要に応じて設けられるセンサ１６８は、有線または無線リンクを介してプロセッサ１６１と結合され得る。必要に応じて設けられるセンサは、例えば、モーションセンサ、慣性センサ、温度センサ、湿度センサ、高度センサ、圧力センサ、超音波もしくは光学距離計、磁力計、心拍センサ、脈拍センサ、呼吸センサ、および、任意の生体機能の任意のセンサ、または他の任意の環境的もしくは生理学的センサを含み得るが、それらに限定されない。センサは、ネットワーク１７０からのデータを取得し、またはセンサデータをネットワーク１７０に提供し得る。更に、プロセッサ１６１は、データをセンサ１６８から直接、または通信インターフェースを介して取得し得る。必要に応じて設けられるセンサ１６８は、例えば、単独でまたは例えば震えまたは意識消失を示し得る任意の検出されたモーションと組み合わせて、低体温または熱中症のインジケータとして用いられてもよい。通信インターフェース１６４は、例えば、無線もしくは有線通信ハードウェアプロトコルチップおよび／またはＩＤリーダを含んでもよく、或いは、ＩＤリーダが、外部からもしくは他の任意の方法でコンピュータ１６０に結合されてもよい。本システムの１以上の実施形態において、通信インターフェースは、電話および／またはデータ通信ハードウェアを含み得る。１以上の実施形態において、通信インターフェース１６４は、Ｗｉ－Ｆｉ（商標）、他のＩＥＥＥ８０２．１１装置、および／または、ＢＬＵＥＴＯＯＴＨ無線通信インターフェース、ＺｉｇＢｅｅ（登録商標）無線装置、もしくは他の任意の有線または無線技術を含み得る。ＢＬＵＥＴＯＯＴＨクラス１装置は約１００メートルの通信範囲を有し、クラス２装置は約１０メートルの通信範囲を有する。ＢＬＵＥＴＯＯＴＨ低電力装置は約５０メートルの通信範囲を有する。システムの複数の実施形態では、モバイル装置１０１およびモーションキャプチャ要素１１１が互いに通信可能な限り、任意のネットワークプロトコルまたはネットワーク媒体が用いられてよい。プロセッサ１６１、メインメモリ１６２、表示インターフェース１６３、通信インターフェース１６４、および向き／位置モジュール１６７は、一般的に「バス」として知られている通信インフラ１６５を介して互いに通信し得る。通信経路１６６は、ネットワーク１７０を介した他の有線または無線装置との通信を可能にする有線または無線媒体を含み得る。ネットワーク１７０は、インターネット１７１および／またはデータベース１７２と通信し得る。データベース１７２は、ユーザの画像もしくはビデオ、モーション解析データ、または何らかの形態でモーション解析データと共に表示されるユーザを保存するまたは取り出すために用いられ得る。インターネット、即ち、リモートデータベース、リモートサーバ、または本システムに対してリモートのメモリにアップロードされたデータは、データへのアクセスを取得し得る任意のコンピュータによって閲覧され、解析され、またはデータマイニングされ得る。これは、相手先商標製造業者が、所与のユーザについて、どのスポーツ用具が最良の働きをしているか、および／または、どの用具を示唆すべきかを決定することを可能にする。また、データマイニングは、ユーザと関連付けられたデータおよび／またはメタデータ（例えば、年齢等）もしくは本システムに入力され得る他の任意の人口統計学データに基づいて、ゴルフコースを計画することを可能にする。また、データのリモートストレージは、例えば、形態学的解析、経時的なモーションの範囲、並びに、糖尿病の防止、エクササイズのモニタリング、およびコンプライアンス用途等の医療用途を可能にする。また、データマイニングに基づく用途は、他のユーザからの実際のモーションキャプチャデータ、同じユーザの１以上の以前のパフォーマンスからの実際のモーションキャプチャデータ、または存命であるか故人であるかを問わない歴史上のプレイヤーからの実際のモーションキャプチャデータ（例えば歴史上のプレイヤーの動画またはビデオを解析した後で）を用いた試合を可能にする。また、仮想現実および拡張仮想現実の用途も、モーションキャプチャデータまたは歴史的なモーションデータを用いてもよい。また、本システムは、パフォーマンスに関連する事象および／またはモーションキャプチャデータを（例えば、ソーシャルネットワークサイトとして実装され得る）データベース１７２にアップロードすることを可能にする。これは、ユーザが、インターネット上のあらゆる人に新たな事象を通知するために、プレイ中またはプレイ後に高得点または他の測定指標を「ツイート」することを可能にする。例えば、１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合し得る少なくとも１つのモーションキャプチャ要素１１１を含み、少なくとも１つのモーションキャプチャ要素は、メモリ（例えば、センサデータメモリ等）と、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、加速、角速度、および角加速度と関連付けられた値の任意の組み合わせをキャプチャし得るセンサと、第１の通信インターフェースおよび少なくとも１つの他のセンサのうちの１以上と、メモリ、センサ、および第１の通信インターフェースと結合されたマイクロコントローラまたはマイクロプロセッサとを含む。少なくとも本発明の実施形態によれば、マイクロコントローラは、マイクロプロセッサであり得る。マイクロコントローラまたはマイクロプロセッサは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、事象データを決定するためにデータを解析してデータ中の事象を認識し、事象と関連付けられた事象データを通信インターフェースを介して送信し得る。本システムの複数の実施形態は、モバイル装置上で実行され得るアプリケーションも含んでもよく、モバイル装置は、コンピュータと、事象と関連付けられた事象データを取得するために第１のモーションキャプチャ要素の通信インターフェースと通信し得る第２の通信インターフェースとを含む。コンピュータは第１の通信インターフェースと結合されており、コンピュータはアプリケーションまたは「アプリ」を実行することにより、通信インターフェースから事象データを受信し、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、少なくとも１のユーザと関連付けられた事象データ、モーション解析データ、またはそれらの両方を含む情報をディスプレイに表示するよう、コンピュータを構成する。

【0137】

図１Ｂは、システムの複数の実施形態において用いられるデータベース１７２の実施形態のアーキテクチャの図を示す。図示されるように、テーブル１８０～１８６は、Ｎ人のユーザ、ユーザ毎のＭ個の用具、ユーザまたは用具毎のＰ個のセンサ、センサ毎のＳ個のセンサデータ、他のテーブル中で見出されたＴ個のパターン、Ｄ人のデータユーザ、およびＶ本のビデオ、およびＫ個のユーザ測定（特定の身体部位／関節についてのサイズ、モーションの範囲、速度）に関係する情報を含む。図１Ｂに示されている全てのテーブルは例示的なものであり、特定の実装例について所望されるこれより多いまたは少ない情報を含み得る。具体的には、テーブル１８０は、ユーザ１５０に関係する情報を含み、これは、例えば、年齢、身長、体重、性別、住所、または他の任意のデータ等のユーザに関係するデータを含み得る。テーブル１８１は、Ｍ個の用具１１０に関係する情報を含み、これは、クラブ、ラケット、バット、シャツ、ズボン、靴、グローブ、ヘルメット等（例えば、用具の製造業者、用具のモデル、用具のタイプ）を含み得る。例えば、ゴルフの実施形態では、本発明の１以上の実施形態において、製造業者は製造業者名であってもよく、モデルは名称または型番であってもよく、タイプはクラブの番号（即ち、９番アイアン）であってもよく、用具ＩＤは識別子１９１であってもよい。テーブル１８２は、ユーザ１５０、用具１１０、またはモバイルコンピュータ１０１上のＰ個のセンサ１１１に関係する情報を含み得る。例えば、ユーザ１５０と関連付けられたセンサは、衣服、クラブ、ヘルメット、縁なし帽子、ヘッドバンド、マウスピース等を含んでもよく、用具１１０と関連付けられたセンサは、例えばモーションキャプチャデータセンサであってもよく、モバイルコンピュータ１０１と関連付けられたセンサは、位置／向き用センサ１６７および画像／ビデオ用センサ１３０を含み得る。テーブル１８３は、ユーザ毎、用具毎のＳ個のセンサデータに関係する情報を含んでもよく、このテーブルは、センサデータの時間および位置、またはセンサデータに関係する他の任意のメタデータ（例えば、図１Ａに示されている気温センサを介して、または例えば有線もしくは無線通信を介してもしくは他の任意の方法でローカルに取得された気温、天候、湿度等）を含んでもよく、または、センサデータは、上記の情報またはそれらの任意の組み合わせを含んでもよい。このテーブルは、多種多様な他のフィールド（例えば、ボールタイプ等）を含んでもよく、即ち、ゴルフの実施形態では、用いられたゴルフボールのタイプが保存されて、最良の性能のボールタイプ等について後でデータマイニングされてもよい。このテーブルは、ローカルに計算された事象のタイプ（例えば、潜在的な震盪事象）も含み得る。テーブル１８４は、例えばデータマイニング処理において見出されたＴ個のパターンに関係する情報を含み得る。これは、特定のクエリーを用いて様々なテーブル内でサーチされたフィールドと、任意の得られた関連する結果とを含み得る。本発明の１以上の実施形態では、特定の実装例で所望される任意のタイプのデータマイニング結果テーブルが用いられ得る。これは、コンピュータ１６０上でもローカルに計算され得るＥＩ測定、または単純なクエリーから複雑なパターンサーチまでの他の任意のサーチ値を含む任意の種類のサーチ結果を含み得る。テーブル１８５は、Ｄ人のデータマイニングユーザ１５１に関係する情報を含み得ると共に、例えば、彼らのアクセスタイプ（即ち、全データベースもしくはパターンテーブル、または特定の製造業者に限定等）を含んでもよく、テーブルは、データマイニングユーザが支払ったまたは支払いを行うことを同意した使用のタイプについての支払い要件および／またはレシート、並びに、任意のクエリーまたは見出されたパターンに関係する任意のサーチまたは示唆も含み得る。モーションキャプチャデータを含むセンサデータのデータマイニングを可能にするオブジェクト指向データベースの関係またはメモリに基づくデータ構造を含む他の任意のスキームも、本発明の趣旨に沿うものである。特定のアクティビティについての例示的な実施形態を示したが、モーションキャプチャ要素と、例えばユーザの既存の携帯電話１０１、１０２または他のコンピュータ１０５上で実行されるアプリとを用いた本システムの複数の実施形態によって、任意のタイプのモーションに基づくアクティビティがキャプチャされて、解析され得ることが、当業者には認識されよう。データベースの複数の実施形態は、テーブル１８６に保持されたＶ本のビデオ１７９を含んでもよく、これは、例えば、ビデオを生成したユーザ、ビデオデータ、そのビデオの時間および位置を含む。フィールドは必要に応じて設けられ、１以上の実施形態では、ビデオは、本システムにおける任意のモバイル装置、またはモバイル装置とサーバ／ＤＢ１７２との任意の組み合わせに格納され得る。１以上の実施形態では、ビデオは、センサデータテーブル１８３の「時間」フィールドと関連付けられたビデオのサブセットに分割されてもよく、時間フィールドは、事象開始時間および事象停止時間を含み得る。この状況では、本システムの必要なビデオ記憶容量を大きく低減するために、大きいビデオが、テーブル１８３に保持されている事象タイプのうちの事象と関連付けられた、概してより小さい時間ウィンドウに対応する１以上のより小さい事象ビデオにトリミングされ得る。テーブル１８０ａは、Ｋ個のユーザ測定（例えば、ユーザの寸法もしくは経時的な動きの長さ、速度、モーションの範囲、または他の測定）に関連する情報を含み得る。

【0138】

モバイルコンピュータまたはサーバ／データベース上でモーションキャプチャデータを閲覧し、解析することに備えた本システムの複数の実施形態によって利益を受けると共に可能になる多種多様な用途がある（例えば、ユーザ１５１によるデータベース１７２のデータマイニング）。例えば、ユーザ１５１は、例えば親、子供もしくは高齢者、監督、医師、保険会社、警察、軍隊を含むコンプライアンス監視者、または他の任意の組織（例えば、製品の改善のためにデータマイニングを行い得る用具の製造業者等）を含み得る。例えばテニスの実施形態では、特定のサイズまたは年齢のユーザのサーブのトップスピードをサーチすることにより、或いはゴルフの実施形態では、テーブル１８３のセンサデータフィールド内のスイング速度に基づいて、距離、即ち、テーブル１８３におけるシーケンシャルな位置の差をサーチすることにより、どの製造業者が最良のクラブを有するかを、またはユーザ毎の年齢、身長、もしくは体重毎の最良のクラブを、または他の多種多様なパターンを決定する。コンプライアンスに関係する他の実施形態は、重力加速度の閾値が、（高い、０、または他の任意のレベル）である場合に、モバイルコンピュータ１０１またはサーバ／データベースからメッセージが生成され、先に述べたようにコンプライアンス監視者、監督、医師、保険会社等に送られることを可能にする。ユーザ１５１は、特定のユーザに対するターゲット販売のために、特定のユーザがどの用具を所有しているか、および他の類似のユーザがどの関連アイテムを所有し得るかを決定するマーケティング職員を含み得る。ユーザ１５１は、例えば靴、即ち、用具のタイプと結合されたセンサが動いた量、糖尿病の子供が動いた量、およびこの動きが糖尿病でない平均的な子供とどのくらい関係しているかを決定し得る医療職員を含んでもよく、この場合、テーブル１８５に従った示唆は、糖尿病の子供を健康な子供と同レベルにするために、糖尿病の子供にもっと運動させるインセンティブを与えること等を含み得る。スポーツ医、生理学者、または理学療法士は、ユーザ毎のデータを用いてもよく、または、多数のユーザに対するサーチを行って、或るユーザの特定の動きまたはモーションの範囲を例えば他のユーザと比較して、ユーザ毎にまたは集団毎に、ストレッチまたはエクササイズを続けることによって所与のユーザのどの領域を改善できるか、およびどのモーション領域の範囲が経時的に変化するか、並びに、例えば、経時的な変化を（それらの変化が生じる前においても）考慮するためにユーザがどのタイプの用具を利用し得るかを決定してもよい。モーションキャプチャデータおよびモーションに関係する画像データをデータマイニングすることは、ユーザ１５１に対する特有の長所を提供する。データマイニングは、スポーツ用具、靴、人間の身体部位、または他の任意のアイテムの柔軟性の経時的な変化、用具の製造業者間での変化、またはそれらの任意の組み合わせにおける変化を決定するために、センサによって測定された撓みパラメータに対して行われてもよい。

【0139】

本システムは、モーションキャプチャ時におけるユーザ１５０の解析が、比較的水平線と関連付けられた、即ち、傾斜していない画像を含むことを確実にするために、例えばモバイル装置１０１内のコンピュータ１６０上で実行される向きモジュールを含んでもよい。コンピュータは、ユーザに、カメラを、モバイル装置１０１内の向きハードウェアから取得された向きデータに基づいて水平な平面に沿って位置合わせするよう促してもよい。当業者には認識されるように、向きハードウェアは、モバイル装置に一般的に備えられているものである。これは、そのようにキャプチャされた画像が、水平な平面に関して比較的水平に保たれることを可能にする。また、向きモジュールは、キャプチャされるユーザのサイズを幾分正規化するためにユーザをグラフィカルな「フィットボックス」内に配置するために、ユーザに、カメラを、ユーザに近づけるまたはユーザから離す、即ち、ユーザに対してズームインまたはズームアウトするよう促してもよい。また、画像は、ユーザによって、例えば、特定のモーション要求を満たすようにという医師の指示に従ったことを証明するために用いられてもよい。

【0140】

本システムの複数の実施形態は、ユーザ１５０または用具１１０と関連付けられた少なくとも１つのモーションキャプチャ要素を認識して、少なくとも１つのモーションキャプチャ要素１１１を、ユーザ１５０または用具１１０上の割り当てられた位置に関連づけてもよい。例えば、ユーザは、モバイル装置１０１内のコンピュータによって、コンピュータがＩＤを要求しているのがどのモーションキャプチャ要素であるか知らせるよう促された際に、特定のモーションキャプチャ要素を振ってもよい。或いは、既知のアクティビティを行っている際に、モーションセンサデータが位置、速度、および／または加速について解析されて、モーションキャプチャ要素を取り付けた位置として自動的に分類されてもよく、またはユーザに想定されている位置を知らせるよう促すことによって分類されてもよい。センサは、例えばチーム名およびジャージ番号によって特定のプレイヤーと関連付けられてもよく、事象の送信のためにモーションキャプチャセンサのメモリに格納されてもよい。図１に示されている任意のコンピュータが、本発明の趣旨に沿って、特定のモーションキャプチャセンサと関連付けられた識別子をプログラムするために用いられ得る。

【0141】

モバイル装置１０１内のコンピュータの１以上の実施形態は、ユーザ１５０の少なくとも１つの画像を取得して、このユーザ１５０の少なくとも１つの画像上に三次元オーバーレイを表示してもよく、この三次元オーバーレイは、モーション解析データと関連付けられている。ディスプレイ１２０上には様々な表示が表示され得る。モーション解析データの表示は、モーション解析データと関連付けられた評価、モーション解析データと関連付けられた計算されたボール飛行経路の表示、モーション解析データと関連付けられたピーク値が生じた時間軸に沿った時点を示すタイムラインの表示、および／または、ユーザがユーザの力学を改善するのを支援するためのトレーニングレジメンの示唆を含み得る。これらのフィルタリングまたは解析されたデータセンサ結果は、データベース１７２に（例えばテーブル１８３内に）格納されてもよく、または、データベース上（または、例えば図１に示されている本システムにおける、データベースと関連付けられたサーバ上、他の任意のコンピュータ内、もしくはそれらの組み合わせ）で生データが解析されて、例えばモバイルコンピュータ１０１上、ウェブサイト１７３上、またはカメラ１０４からのテレビ放送を介して表示されてもよい。データマイニングの結果は、任意の方法で本システムの独特な表示と組み合わされて、任意の所望の方法で示されてよい。

【0142】

また、本システムの複数の実施形態は、ユーザ１５０が、モバイル装置１０１の第２の通信インターフェースを介して（例えばインターネットを介して）、またはベンダーのサーバとして実装され得るコンピュータ１０５を介して、用具１１０を購入することを可能にするインターフェースを提示してもよい。更に、用具の特注のフィッティング（例えば、パターのシャフトの長さ、または任意のタイプの用具の他の任意の特注のサイズ変更等）のために、本システムの複数の実施形態は、ユーザ１５０が、モバイル装置１０１の第２の通信インターフェースを介して、顧客にフィットした用具を注文することを可能にするインターフェースを提示してもよい。また、本発明の実施形態は、モバイル装置１０１がユーザ１５０に対してより良好な性能の用具を示唆することを可能にし、または、ユーザ１５０が、ユーザ１５０の所定の範囲内のスイング速度を有する複数のユーザについてのクラブ毎のゴルフのショットの距離についてのデータベース１７２のデータマイニングによって決定された、より良好な性能の用具をサーチすることを可能にする。これは、実際のパフォーマンスデータをマイニングして、例えばＯＥＭ等のユーザ１５１がユーザ１５０に対して用具を示唆し、その対価を課金する（例えば図１に示されている任意のコンピュータにおいてまたはウェブサイト１７３を介して表示されるデータマイニング結果へのアクセスに対する支払い）ために用いることを可能にする。本発明の１以上の実施形態では、データベース１７２は、ＯＥＭのデータマイニングの記録をとり、例えば、所与の請求期間にわたる、各ユーザ１５１が購入したおよび／または用いたアクセスの量について、ユーザ１５１に請求を行ってもよい。例えば図１Ｂを参照されたい。

【0143】

本システムの複数の実施形態は、少なくとも１つのモーションキャプチャ要素から取得されたデータを解析し、用具と結合された少なくとも１つのモーションキャプチャ要素の振動に基づいて、ボールと用具との衝突がどのくらい中心にあったかを決定し、モーション解析データに基づいて衝撃の位置を表示し得る。このパフォーマンスデータは、データベース１７２に格納されてもよく、ＯＥＭまたはコーチによって、例えば、多数の衝突にわたってデータマイニングされた、中心に当たる確率が高いクラブを示唆するために用いられてもよい。

【0144】

図１Ａは物理的な装置を示しているが、本明細書で述べる本システムの範囲および方法は、コンピュータまたはコンピュータシステム上で実行され本開示の思想を実装する方法および処理と適合するコンピュータシステム環境として作用するまたはそれを提供する、１以上のコンピュータプログラムとして具現化される仮想の装置、仮想の機械、またはシミュレータを包含する。仮想の機械、処理、装置等が、本システムの物理的コンピュータシステムと略同様のパフォーマンスを行う場合、例えば、図１Ａに示されているもの等の、本明細書における物理的システムの記載に関わらず、そのような仮想のプラットフォームも本開示のシステムの範囲内である。

【0145】

図１Ｃは、本システムで用いられるコンピュータの複数の実施形態で行われると共にそれによって可能になる処理の実施形態のフローチャートを示す。本システムの１以上の実施形態では、３０１で、複数のモーションキャプチャ要素は、必要に応じて較正される。一部の実施形態では、これは、ユーザまたは用具上の複数のセンサを、これらのセンサが所与の入力モーションについて同じ速度値または加速値を示すよう調整および／または設定されていることを確実にするために、較正することを意味する。本発明の他の複数の実施形態では、これは、向き、位置、速度、加速、角速度、角加速度、またはそれらの任意の組み合わせを同時に較正するよう移動する較正オブジェクト上に、複数のモーションキャプチャセンサを配置することを意味する。このステップは、一般的に、モーションキャプチャ要素および必要に応じて設けられるマウントを設ける（或いは、モーションキャプチャセンサ機能を有するモバイル装置が用いられることを可能にする）こと、並びに、例えば、既存の携帯電話またはコンピュータを有するユーザが、本システムの複数の実施形態を用いて、モーションキャプチャデータを取得し、可能性として解析し、および／またはそれに基づいたメッセージを送ることを可能にするアプリを設けることを含む。１以上の実施形態において、ユーザは、単にモーションキャプチャ要素およびアプリを購入して、本システムの使用を即時に開始してもよい。３０２で、本システムは、モーションキャプチャ要素を用いてモーションデータをキャプチャし、例えば３０３で、モーションキャプチャデータ中の任意の事象（即ち、例えば震盪を示す閾値を超える線形加速および／もしくは回転加速）、または成功したスケートボードの技を認識し、複数のセンサを用いてデータを相関させることによって誤検出を消去して、真の事象が実際に生じたか否かを決定し、３０４で、モーションキャプチャデータを、例えばモバイルコンピュータ１０１、１０２、または１０５（ＩＰＯＤ（登録商標）、ＩＴＯＵＣＨ（登録商標）、ＩＰＡＤ（登録商標）、ＩＰＨＯＮＥ、ＡＮＤＲＯＩＤ（登録商標）Ｐｈｏｎｅ、またはユーザがローカルにデータを収集するために用い得る他の任意のタイプのコンピュータを含み得る）に送る。１以上の実施形態において、センサは、例えば他のセンサ上における事象データ格納処理を開始するために、事象を他の任意のモーションキャプチャセンサに送信してもよい。他の実施形態では、センサは、事象が生じた時点の付近でまたは後でビデオのトリミングを可能にするために、例えばビデオの不要な部分を捨てて、事象についてのビデオが保存されるべきであることを示すために、事象を他のモバイル装置に送信してもよい。１以上の実施形態において、本システムは、センサの複雑さを最小限にして、例えば既存の携帯電話および他の電子装置に見出される非常に能力がある計算要素へと処理の負荷を移す。本明細書の様々なセクションに記載されるように、モーションキャプチャ要素からユーザのコンピュータへのデータの送信は、可能なときに、周期的に、事象に基づき、ポーリングされたときに、または他の任意の方法で行われ得る。これは、継続的に生データを送る公知のシステムと比較して、二つの方法で大量の電力を節約する。第１に、データは、データを全生データのうちの意味のある小さいサブセットに大きく減少させる、特定のモーション事象が入る時間ウィンドウ内の事象パケットとして送られ得るとともに、第２に、データは、合計送信回数を制限するために、継続的な送信よりは低い頻度で、定められた時間に、またはデータを要求されたときに送られ得る。１以上の実施形態では、３０５で、事象は、例えば、モーションキャプチャセンサ１１１上のＬＥＤがフラッシュすることにより（例えば、潜在的な震盪に対して黄色のフラッシュ、または可能性が高い震盪に対して赤色の速いフラッシュ）、ローカルに表示され得る。或いは、またはそれと組み合わせて、警告または事象は、例えば図１に示されている他の任意のコンピュータまたはモバイル装置に送信されて、そこで表示されてもよい。

【0146】

例えば既存のモバイルコンピュータにおけるユビキタスな通信機能を活用するために、本システムにおける主な情報処理機能は、一般的に、より多くの処理能力が利用され得るモバイルコンピュータまたはサーバ内にある。本システムの１以上の実施形態では、３０６で、モバイルコンピュータは、必要に応じて、ユーザまたは用具から識別子を取得してもよく、または、ステップ３０５の一部として、この識別子（例えば、受動的ＩＤもしくは能動的ＩＤ等、または例えばチーム／ジャージ番号もしくは他のプレイヤーＩＤ等の他の識別子）が送信されてもよく、これは、モバイルコンピュータによって、その時点でどのユーザが負傷した可能性があるか、ユーザがどの重さを持ち上げているか、ユーザがどの靴を履いて走っているか、ユーザがどの武器を使用しているか、ユーザがどのタイプのアクティビティを用いているかを、用具の識別子に基づいて決定するために用いられ得る。３０７で、モバイルコンピュータは、モーションキャプチャデータをローカルに解析して、例えばデータ中に閾値が観察されたときに、例えばプレイヤー、兵士、もしくはレーシングカーのドライバーによって過剰な重力加速度が記録されたときに、または不十分なモーションが生じているときに（その時点で、または、後述するように、例えばそのユーザの典型的なモーションパターンもしくは他のユーザのモーションパターンに基づくデータベース中のデータのパターンに基づいて）、例えばメッセージ等の情報を表示、即ち、示すかまたは送ってもよい。他の実施形態では、ユーザが特定の量のモーションを行ったら、３０７で（３０３におけるように、またはそれとの組合せで）、データを格納するかまたは別様で表示するために、例えば審判、親、子供もしくは高齢者、監督、医師、保険会社、警察、軍隊を含む安全性またはコンプライアンス監視者、または他の任意の組織（例えば、用具製造業者等）にメッセージが送られてもよい。メッセージは、ＳＭＳメッセージ、電子メール、ツイート、または他の任意のタイプの電子通信であり得る。特定の実施形態がリモート解析のために、またはリモート解析のみのために構成される場合には、３０８で、モーションキャプチャデータはサーバ／データベースに送られ得る。実装例がリモートデータベースを用いない場合には、モバイルコンピュータ上での解析はローカルなものである。実装例がリモートデータベースを含む場合には、３０９で、モバイルコンピュータ、サーバ／データベース、またはそれらの両方で解析が行われ得る。データベースがモーションキャプチャデータを取得したら、３１０で、データが解析されて、所望に応じて、事象のみを表示、または、ユーザもしくは他のユーザと関連付けられた（例えば、そのユーザまたはそのユーザのアバターを有する事象のビデオと関連づけられ、例えば、そのユーザまたは他のユーザの以前のパフォーマンスデータと比較された）以前の事象データと組み合わせてもしくはそれに関して事象を表示するために、サーバ／データベースからコンプライアンス職員または企業体にメッセージが送られてもよい。

【0147】

本発明の実施形態は、ゲーム、形態学的比較、コンプライアンス、燃焼カロリーや行われたワークの追跡記録、昼と夜とで変化するモーションまたは以前のモーションパターンに基づく子供もしくは高齢者の監視、重力加速度が閾値を超えたときもしくはモーションが停止したときのプレイヤーや部隊の安全性モニタリング、例えば、ユーザの現在のおよび／もしくは以前のデータもしくは他のユーザからのデータを利用する仮想現実アプリケーションを含む携帯電話上での走る、飛び上がる、投げる動作のモーションキャプチャデータのローカル使用、ユーザが行っているモーションのタイプまたはデータマイニングに基づく音楽の再生もしくは再生リストの選択のために、モバイルコンピュータおよび／またはサーバからデータを利用する。例えば、モーションがデータベース中の既知のプレイヤーに類似している場合には、そのユーザの再生リストが、ユーザのモバイルコンピュータ１０１に送られてもよい。モーションが速い場合には速い音楽が再生され、モーションが遅い場合には遅い音楽が再生されるように、この処理はローカルに行われてもよい。ユーザのモーションに基づいて音楽を再生するための他の任意のアルゴリズムも、本発明の趣旨に沿うものである。モーションキャプチャ要素およびユーザの既存のモバイルコンピュータ上のアプリから取得されたモーションキャプチャデータのどのような使用も（以前のパフォーマンスにおけるユーザからの実際のモーションデータまたは例えば歴史上のプレイヤーを含む別のユーザからの実際のモーションデータを用いて、仮想現実環境において他のプレイヤーのアバターの相対的なモーションを示すためにモーションデータを用いることを含む）、本発明の趣旨に沿うものである。情報の表示は、一般的に、３つの状況を介して行われるものであり、この場合、情報の表示はユーザのモーション解析データに基づくもの、またはユーザの用具および以前のデータに関係するものであり、以前のデータは同じユーザ／用具または１以上の他のユーザ／用具からのものであり得る。この状況下で、現在のモーション解析データを、このユーザ／用具と関連付けられた以前のデータを比較することは、モーションキャプチャセンサおよびアプリを有する非常にコスト効果の高いシステムを用いてパターンを解析することを可能にする。別の状況下では、ユーザまたは別のユーザ／用具から選択された以前のデータが現在のユーザのパフォーマンスに基づくものとなるように、情報の表示は現在のユーザのパフォーマンスの関数である。これは、ユーザのスイングに対する、歴史上のプレイヤーからキャプチャしたモーションによる効果的な応答が得られるという現実味が高い試合（例えば、歴史上のプレイヤーを相手にした仮想のテニスの試合）のプレイを可能にする。実際のデータ（現在のデータおよび以前に格納されたデータ）を用いたこのタイプの現実味がある試合のプレイ、例えば、ユーザがテニスのトップ１０プレイヤーの平均的なパターン（即ち、サーブの速度、ユーザの所与の入力ショットに対するリターンショットの速度および角度）を相手にプレイすることは、試合のプレイをできるだけ現実味があるものにする。名人がまだ健在で現在もユーザとプレイしているかのように、名人を相手にしたユーザの技量をテストするために、既に故人である歴史上のプレイヤーによるスイング速度およびショットのタイプを決定するために、例えばテレビ画像が解析されてもよい。第３の状況では、ユーザの以前のデータまたは他のユーザの以前のデータとの比較を行わずに、ユーザによる、または、例えばモバイルコンピュータへのアクセスを持たないもしくはモバイルコンピュータを所有していない異なるユーザによる、コンプライアンスおよびモニタリングが行われてもよい。換言すれば、携帯電話はモニタリングされているユーザと関連付けられており、異なるユーザは、例えばモーションキャプチャ要素を装着しているユーザ（例えば、乳児または糖尿病患者等）の現在のパフォーマンスに関係する情報を取得している。

【0148】

図１Ｄは、本システムの実施形態のデータフロー図を示す。図示されるように、モーションキャプチャデータは、多くの異なるタイプの用具１１０上のまたはユーザ１５０と関連付けられた（例えば、衣服、ヘルメット、ヘッドバンド、縁なし帽子、マウスピース、またはユーザのどこか別の位置と結合された）様々なモーションキャプチャ要素１１１から送られる。用具またはユーザは、必要に応じて、本システムが値をモーションと関連づけることを可能にする識別子１９１（即ち、持ち上げられている重量、使用されているラケットのタイプ、使用されている電子装置のタイプ（即ち、ゲームコントローラ）、または他のオブジェクト（例えば第２のユーザ１５２（例えば乳児）と関連付けられた乳児用パジャマ等））を有してもよい。１以上の実施形態では、当業者には認識されるように、図面中の要素１９１は、モーションキャプチャ要素１１１によって置き換えられても、または拡張されてもよい。本システムの１以上の実施形態では、モバイルコンピュータ１０１は、例えば事象の形態のモーションキャプチャデータを、例えば事象に基づき、またはモバイルコンピュータ１０１によって要求されたときに受信する（例えば、モーションキャプチャ要素１１１が、データが存在することを宣言して、要求に対応するために、電力を無駄にしないように決まった長さの時間だけ受信器をオンにした後、要求が受信されなかった場合には、一定の期間にわたって受信器をオフにする）。データがモバイルコンピュータ１０１に入力されたら、例えば生のまたは事象に基づくモーションキャプチャデータを取得して、例えば人間がより簡単に理解しやすい項目（例えば平均速度等）を決定するために、データが解析される。モバイルコンピュータ１０１の右側に図示されるように、データは格納されてもよく、次に、データはユーザ１５０または１５１に対して、例えば、モニタ、コンプライアンステキスト、もしくは電子メールの形態で、またはモバイルコンピュータ１０１もしくはコンピュータ１０５と関連付けられたディスプレイ上に表示されてもよい。これは、モーションキャプチャ要素と関連付けられておらず、場合によってはモバイルコンピュータとも関連付けられていないユーザが、可能性として、例えば乳児の呼吸が遅いことを伝えるモニタメッセージを取得すること、または、例えば、現在モーションキャプチャデータを供給しているユーザ、以前に格納されたデータを有するユーザ、もしくは過去のトーナメントのパフォーマンスのビデオ中のモーションを解析した後の歴史上のプレイヤー（例えば、有名なゴルファー等）を含み得る仮想現実マッチもしくはパフォーマンスを視聴することを可能にする。例えば、ユーザ１５０または用具１１０から現在のデータが取得されているゲームの状況では、例えば仮想現実メガネ上でのデータの表示は、そのユーザの現在のモーションデータに応答するために（即ち、ユーザの入力の関数として）、そのユーザ／用具または別のユーザ／用具からの以前のデータを利用してもよい。以前のデータは、システム内のどこか（例えば、モバイルコンピュータ１０１、コンピュータ１０５、サーバ、またはデータベース１７２）に格納され得る（図１参照）。以前のデータは、例えば、ユーザ１５１に対して、ユーザ１５０が特定の回数の潜在的な震盪事象を受けたこと、従って、再びプレイする前に特定の長さの時間だけ治療しなければならないことを示すために用いられ得る。例えば、保険会社は、医療費を低くするために、そのようなコンプライアンスを要求してもよい。ビデオは、モバイル装置１０１、コンピュータ１０５、または図１に示されているサーバもしくはサーバと接続されたデータベース１７２に格納されて、例えばディスプレイに同時に表示される（例えば、オーバーレイされるか、または、一般的にモバイルコンピュータ１０１もしくはコンピュータ１０５のディスプレイの別々の位置に示される）事象データおよび事象のビデオを含む事象ビデオを構成するために、そこから取り出され得る。

【0149】

図２Ａは、ユーザの頭部１５０ａを囲むヘルメット１１０ａに基づくマウントを示しており、ヘルメットに基づくマウントは、例えば、図示されているようにヘルメットの後部にモーションキャプチャセンサ１１１を保持する。図２Ｂは、ヘルメット後部の下部に示されているネックインサートに基づくマウントを示しており、これは、既存のヘルメットにモーションキャプチャセンサ１１１を後から組み込むことを可能にする。ユーザの頭部１５０ａに結合されるかまたは別様でユーザの頭部１５０ａ付近に着用され得る少なくとも１つのモーションキャプチャセンサを含む実施形態では、マイクロコントローラまたはマイクロプロセッサは、更に、ユーザの頭部における衝撃の位置を計算してもよい。ユーザの頭部における衝撃の位置の計算は、ユーザの頭部および／またはヘルメットの物理的形状に基づくものである。例えば、モーションキャプチャ要素１１１が、無回転の後方への（図面中の右側への）加速を示している場合には、ヘルメットまたはユーザの頭部の外周方向に戻る加速のベクトルを追跡することによって衝撃箇所が計算され得る。この無回転の計算は、力線がユーザの頭部／ヘルメットの重心またはその付近を通ることを効果的に示すものであり、そうでない場合には、モーションキャプチャ要素１１１によって回転力が観察される。モーションキャプチャ要素１１１において側方へのベクトルが観察された場合には、衝撃箇所は、ヘルメット／頭部の側部にあり且つ重心を通るように計算される。よって、例えば少なくとも加速のピークに近い期間または他の任意の期間にわたってモーションキャプチャセンサに回転加速を付与しない他の任意の衝撃は、ヘルメット／頭部に対して重心を通る方向に付与されたものと想定され得る。よって、衝撃箇所の計算は、重心から戻る距離および角度を計算することによって、力のベクトルが検出され衝撃箇所に向かって戻るよう横断するヘルメット／頭部の外周の交点として計算される。例えば、加速ベクトルが４５度で無回転である場合には、衝撃箇所は、ヘルメット／頭部の重心から４５度で戻った位置であり、よって、４５のサインを計算すると、約０．７×ヘルメットの半径（即ち５インチ（１２．７センチメートル））であり、衝撃はヘルメットの前部から約３．５インチ（８．８９センチメートル）になる。或いは、衝撃の位置を角度の形式のままにして、衝撃はヘルメット／頭部の前部から４５度であったことを示してもよい。逆に、線形加速を伴わない回転加速が観察された場合には、ヘルメット／頭部はセンサを中心に回転している。この状況では、脳を回転させるのに必要な力は重心の前を通り、重心およびセンサを通ると定義される線に概ね直交するものであり（例えば、側面衝撃）、そうでない場合には、平行移動の線形加速が観察される。この場合には、衝撃の位置は、加速の方向とは反対側のヘルメット／頭部の側面上にある。よって、簡単な計算方法の例として、これらの２通りの衝撃の位置の計算が用いられ得るが、頭部／ヘルメットの質量および頭部／ヘルメットのサイズを考慮した他の任意のベクトルに基づくアルゴリズムが用いられてもよい。そのようなアルゴリズムの１つは、所望であれば、力ベクトルを計算して、ヘルメット／頭部の外周に戻るよう変換して、その位置に付与された力ベクトルを計算するために、例えば、Ｆ＝ｍ＊ａ（即ち、力＝質量×加速）およびトルク＝ｒ×Ｆ（式中、ｒは頭部／ヘルメットの外側部分における位置ベクトルであり、Ｘは外積であり、Ｆは力ベクトルである）等の任意の数式を用いてもよい。ヘルメットに関して説明したが、少なくとも１つのモーションキャプチャセンサの他の実施形態は、任意のタイプのマウント、囲い、または結合機構を用いて、縁あり帽子もしくは縁なし帽子に、または保護マウスピース内に結合され得る。縁あり帽子／縁なし帽子／マウスピースについても、衝撃の位置／方向、加速の線形力もしくは回転力、または、例えば震盪に関連する事象を示し得る他の任意の量を決定するために、同様の計算が用いられ得る。複数の実施形態は、例えば図１Ａに示されている少なくとも１つのモーションキャプチャセンサまたはマイクロコントローラと結合された温度センサを含み得る。温度センサは、単独で、または、モーションキャプチャ要素と組み合わせて、例えば身体もしくは頭部が震えているかどうか（即ち、低体温を示す）、または、動きが検出されず、例えば無線もしくは有線の温度センサを介して計測された温度が、身体もしくは脳が熱中症を示す閾値より高いことを示すかどうかを決定するために、用いられ得る。

【0150】

本発明の実施形態は、少なくとも１つのモーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得し得るアイソレータも用い得る。従って、複数の実施形態は、ヘルメットに基づく加速からの力、加速値、または他の任意の値を、観察された脳の加速値へと変換する必要がなく、従って、本発明の実施形態は、事象特異的データを提供するために、より少ない電力および記憶容量を用い、それにより、データ転送量を最小限にして、より低い送信電力使用量およびさらに低い合計電力使用量を生じる。フットボール／ホッケー／ラクロスのプレイヤーのヘルメットには、ヘルメット内の固有のパッドのタイプに基づいて、それぞれ異なるアイソレータが用いられ得る。ヘルメットを着用しない、または時々着用するスポーツで用いられる他の実施形態では、縁なし帽子または縁あり帽子、例えば、野球のプレイヤーの帽子上の少なくとも１つのモーションキャプチャセンサが、バッター用ヘルメットに装着された少なくとも１つのセンサと共に用いられ得る。例えば、サッカー等の帽子が用いられないスポーツでは、震盪を判断するためにヘッドバンドマウントも用いられ得る。１以上の実施形態では、ヘルメットに用いられるアイソレータは、ヘルメットに取り付けられた囲いの中に留まってもよく、センサは、ユーザの脳液の緩衝に適合するアイソレータを用いない別の用具上に着脱されてもよい。複数の実施形態は、或るタイプのモーションを自動的に検出して、特定のタイプの用具と関連付けられた特徴的なモーションパターン（即ち、サーフボードと野球のバットとの対比）に基づいて、モーションキャプチャセンサが現在に取り付けられている用具のタイプを決定してもよい。１以上の実施形態において、アイソレータの物理的特性を計算するために用いられ得るアルゴリズムは、モーションキャプチャセンサをヘルメットに取り付けること、およびモーションキャプチャセンサを衝突試験のダミーの頭部のヘッドフォームに取り付けることを含んでもよく、この場合、ヘッドフォーム内のモーションキャプチャセンサは、アイソレータに周囲を囲まれる。例えば、ヘルメット内の死体の頭部内に配置されたセンサに関して、ヘルメットに線形加速および回転加速を加えて、ヘルメットのセンサによって取得された値とヘッドフォーム内のセンサによって観察された値との差を観察することにより、人間の脳の緩衝効果に最も厳密に適合する、最もよく適合する緩衝値のアイソレータ材料が取得され得る。

【0151】

図３は、モーションキャプチャセンサとヘルメットの外側部分との間にあるアイソレータを示す、図２Ａ～図２Ｂのマウントのクローズアップを示す。本発明の実施形態は、線形加速値、回転加速値、またはそれらの両方を取得／計算し得る。これは、震盪について、線形加速だけでなく回転事象もモニタリングすることを可能にする。図示されるように、センサマウント１１１ｂ内のアイソレータ１１１ｃを用いることにより、外部からの加速Ｇ１は、人間の脳によって観察される加速とより関連付けられたより低い加速、即ちＧ２をセンサ１１１に付与し得る。これは、震盪について、線形加速だけでなく回転事象もモニタリングすることを可能にする。他の事象は、事象の最中にキャプチャ特性をダイナミックに変えるためにセンサの性格を切り替えるためだけでなく、現在のモーションキャプチャセンサを有する現在用いられている用具のタイプを特徴づけるために、例えばパターンまたはテンプレートと比較される線形および／または回転の加速および／または速度を利用し得る。これは、センサによってキャプチャされたモーションとモーションの特徴的なパターンまたはテンプレートとの比較に基づいて、センサが結合された用具または衣服のタイプをセンサが自動的に決定するのを可能にすることにより、ユーザが購入した単一のモーションキャプチャ要素が、複数の用具または衣服に装着されること可能にする。

【0152】

図４Ａは、ユーザの頭蓋４０１および脳４０２を囲むパッド１１０ａ１を有するヘルメット１１０ａに装着されたモーションキャプチャ要素１１１の上から見た断面図を示す。図４Ｂは、図４に示されている様々な要素についての回転震盪事象を示す。図示されるように、ヘルメット１１０ａ内のパッド１１０ａ１によって囲まれた、重心４０３を有する人間の脳４０２および頭蓋４０１には、それぞれ異なる加速値が付与され得る。図示されるように、単位期間内に移動するためには、脳の前部は、脳の後部におけるＧ２ｃまたは重心におけるＧ２ｂよりも高い率Ｇ２ａで加速しなければならない。よって、所与の回転加速値に対して、脳のそれぞれ異なる領域が受ける影響は異なり得る。従って、本発明の１以上の実施形態は、線形加速に関する情報だけでなく、回転加速に関する情報も送信する。

【0153】

図５は、例えば、図示されるように５００ｇでヘルメットに入力された力Ｇ１と、アイソレータ内に装着されたセンサによって観察され公知のヘッドフォーム加速測定システムを用いて確認された、脳内で観察された力Ｇ２とを対比させて示す。右上のグラフは、ヘッドフォームに装着された加速度計に関して、２つの公知のヘッドフォームシステムが、図４Ａに示されているアイソレータに基づくモーションキャプチャ要素１１１によって観察された加速値を確認することを示す。

【0154】

図６は、３軸の回転加速値と、合計回転ベクトル量と、モーション事象データと共に表示されている、カメラから取得され震盪事象のビデオとを示す。１以上の実施形態において、所与のセンサからの加速値は、例えばモバイル装置の画面をダブルタップすることにより、または他の任意の方法により、回転値（図示されるように）または線形値について表示されてもよい。本発明の実施形態は、コネクションレス同報メッセージを用いて、事象と関連付けられた事象データを送信してもよい。１以上の実施形態では、用いられる通信に応じて、同報メッセージは、接続ベースのプロトコルのハンドシェーキングおよびオーバーヘッドを回避するために用いられ得る限られた量のデータを有するペイロードを含み得る。他の実施形態では、コネクションレスまたは接続ベースのプロトコルは、任意の組み合わせで用いられ得る。このようにして、審判は、モバイル装置上で、潜在的な震盪に関連する事象の読み出しを、ほぼその瞬間に取得してもよく、これは、審判が迅速に医療支援を得ることを可能にする。

【0155】

１以上の実施形態において、コンピュータは、例えば震盪もしくは転倒、または他のスイングもしくは他の任意のモーション事象の数を決定するために、少なくとも１人の他のユーザ、同じユーザ、少なくとも１つの他の用具、または同じ用具と関連付けられた以前に格納された事象データまたはモーション解析データにアクセスし得る。また、複数の実施形態は、ユーザまたは用具と関連付けられた事象データまたはモーション解析データと、そのユーザもしくはその用具または少なくとも１の他のユーザもしくは他の用具と関連付けられた以前に格納された事象データまたはモーション解析データとに基づいて、少なくとも１のユーザと関連付けられた事象データの提示を含む情報をディスプレイに表示してもよい。これは、モーション事象の数または定量的な値（例えば、特定の試合においてまたは歴史的なユーザまたは他のユーザによって観察された最大回転加速）の比較を可能にする。１以上の実施形態では、更に、少なくとも１つの実施形態において、典型的な事象についての特定の用具の特徴的なモーションを定義するパターンまたはテンプレートが、例えば中央のサーバでまたはローカルにダイナミックに更新され、第１の通信インターフェースを介してモーションキャプチャセンサにおいてダイナミックに更新され得る。これは、センサを経時的に改善することを可能にする。よって、図６に示されている表示は、所与のボクサー／プレイヤーについて以前に格納された震盪の数も示して、審判／医師が、そのプレイヤーがプレイを続けてもよいかどうかを決定することを可能にしてもよい。

【0156】

本発明の実施形態は、例えばコンピュータまたはリモートコンピュータと結合された視覚的ディスプレイ上の表示に、例えばテレビ放送またはインターネットを介して情報を送信してもよい。よって、図６の表示は、例えばボクサー／プレイヤー／ライダー等に付与された力の量をリアルタイムで示すために、視聴者に対して示されてもよい。

【0157】

図７は、ユーザのタイムライン表示２６０１と、タイムラインに沿って事象として示されている、タイムラインに沿ったピーク角速度および最小角速度とを示す。更に、ゴルフクラブ２６０２のリードおよびラグと、ゴルフクラブのドループおよびドリフトとを示すグラフが一番下の表示に示されており、これらの値は、時間に対してプロットされた２つの軸において、ゴルフクラブシャフトがどれだけ曲がっているかを決定する。図８には、表示上に注釈として示された簡略化されたタイムラインおよびモーションに関連する事象（スイングの最大速度）を有する表示の実施形態が示されている。

【0158】

図８は、サブ事象を容易に見ることを可能にするための、スクロールまたは再生のための、サブ事象と関連付けられた開始時点／停止時点８０２ａ～８０２ｄ、即ち、図７に示されているサブ事象の時間的な位置の付近への入力を可能にするサブ事象スクラブタイムラインを示す。例えば、１回のゴルフスイングは、例えば、アドレス、バックスイング、フォワードスイング、打撃、フォロースルー等のサブ事象を含み得る。本システムは、例えばサブ事象を視聴し易くするために、サブ事象８０２ａ～８０２ｄについての時間的な位置を表示して、ビデオがその時点で開始または停止すべきことをアサートする、またはその時点まで戻るようスクロールするために、その位置の付近へのユーザによる入力を受け付けてもよい。ユーザ入力要素８０１は、例えばビデオの位置を所望の時点にするために、時間を近くのサブ事象までドラッグ操作するために用いられ得る。或いは、またはそれと組み合わせて、ビデオの再生中に、例えば、別のサブ事象の時点の付近における指による押圧をアサートする等のユーザによる入力は、次のサブ事象の時点でビデオが停止すべきであることを示してもよい。また、ユーザインターフェースは、ビデオを特定のサブ事象または事象が生じたフレームにより正確に同期させるために、位置をコントロール＋ドラッグ操作するために用いられてもよい。例えば、ユーザは、ビデオを、ここではスイング速度（マイル／時）として示されている実際のモーション解析データとより厳密に同期させるために、ビデオのフレームを、例えばクラブのヘッドの速度が０である実際の時点と一致させるよう、コントロールキーを保持して位置８０２ｂを左または右にドラッグしてもよい。ユーザのフレームをモーション解析データに同期させるためのユーザによる他の任意のジェスチャ（例えば、音声制御、矢印キー等）も、本発明の趣旨に沿って用いられ得る。

【0159】

図９は、サブ事象８０２ａおよび８０２ｂの開始および停止のタイムラインに沿った相対的な位置と、開始時間および停止時間に引き付けられるような、これらの点の近くへのユーザ入力を可能にするために、開始時間および停止時間と関連付けられた引力とを示す。例えば、ユーザインターフェース要素をサブ事象の開始点／停止点へと移動させることがより容易になるように、ユーザインターフェース要素８０１をタイムラインに沿って左右にドラッグした際、ユーザインターフェース要素は潜在的な井戸８０２ａおよび８０２ｂに向かって移動するように見えてもよい。

【0160】

１以上の実施形態において、コンピュータは、事象の近位にある少なくとも１つのカメラからの、事象を含む少なくとも１つの画像またはビデオを要求し得る。これは、特定の近位のカメラまたは事象の方向を向いている特定のカメラからのビデオを要求する同報メッセージを含み得る。１以上の実施形態において、コンピュータは、更に、事象の近位にある、または事象を見るよう向けられているカメラの位置を求める要求を同報し、必要に応じて、対象となる事象が含まれる継続期間にわたって、使用可能なカメラまたはそこからのビデオを表示し得る。１以上の実施形態において、コンピュータは、事象が生じた１以上の時間のリストを表示してもよく、これは、ユーザが、コンピュータを介して、所望の事象ビデオを取得すること、および／または、所望の事象の時間を有する第三者からのビデオを独立して要求することを可能にする。コンピュータは、サーバ１７２からビデオを取得してもよく、ビデオを所望の事象に合わせてローカルでトリミングしてもよい。これは、コンピュータと直接インターフェースしていないがサーバ１７２と通信し得る第三者のビデオまたはシステムからのビデオを取得するために用いられ得る。

【0161】

図１０は、モバイル装置１０２ｂをモーションキャプチャ要素１１１ａとして用い、他のモバイル装置１０２ａを、第１のユーザ事象のモーション事象データおよびビデオを受信するコンピュータとして用いる実施形態を示す。モバイル装置１０２ａからのビューが、図面の左上部に示されている。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサは、モバイル装置と結合されており、例えば、モバイル装置の内部にある、またはモバイル装置と結合された内部モーションセンサ１１１ａを用いる。これは、最小のユビキタスなハードウェアを用いた（例えば、内蔵加速度計を有するモバイル装置を用いた）モーションキャプチャおよび事象認識を可能にする。１以上の実施形態において、第１のモバイル装置１０２ｂは、モーションデータを記録するユーザ（図示されている例ではスケートボードをしている）と結合されてもよく、第２のモバイル装置１０２ａはモーションのビデオを記録するために用いられる。１以上の実施形態において、モーションを行っているユーザは、例えば、第２のユーザのモバイル装置がビデオの記録を開始またはビデオの記録を停止すべきことを示すために、例えばモバイル装置をＮ回タップする等のジェスチャを行ってもよい。事象に関連するまたはモーションに関連する指示をモバイル装置間で通信するために、他の任意のジェスチャが用いられてもよい。

【0162】

このように、本発明の実施形態は、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組み合わせを示すモーションに関係する事象、または、モーションが生じた継続期間を有する他の任意のタイプの事象を含む、任意のタイプのモーション事象を認識し得る。また、事象は、例えば、既知のシグネチャーを有するサブ事象、または別様で（特定のセットの線形軸または回転軸における振幅および／または時間閾値を含む）任意のタイプのテンプレートもしくはパターンに一致するサブ事象を含む任意の粒度を有してよい。例えば、スケートボードのプッシュオフまたは一連のプッシュを示す事象が、例えば、「予備動作」等のサブ事象としてグループ化されてもよく、一方、例えばＸにおける回転軸が「スケートボードのフリップ／ロール」を示してもよい。１以上の実施形態では、これらの事象はグループ化されて格納／送信されてもよい。

【0163】

図１１は、データを格納するために用いられるメモリの実施形態を示す。メモリ４６０１は、例えば、モーションキャプチャ要素１１１のマイクロコントローラと一体であってもよく、または、例えば別個のメモリチップとしてマイクロコントローラと結合されてもよい。図示されるように、メモリ４６０１は、１以上のメモリバッファ４６１０、４６１１、並びに４６２０、４６２１をそれぞれ含み得る。用いられ得るメモリバッファの一実施形態は、リングバッファである。リングバッファは、事象が生じるまで複数回上書きされるよう実装され得る。リングバッファの長さは、０～Ｎ個のメモリ単位であり得る。例えば、Ｍ個の打撃事象のためのＭ個のリングバッファがあってもよい。数Ｍは、０より大きい任意の数であってよい。１以上の実施形態では、数Ｍは、予想される事象の数（例えば、ゴルフの１ラウンドのヒット数またはショット数）と等しいかまたはそれより大きくてもよく、或いは、例えば、１以上の事象が生じた後にモーションキャプチャデータがモバイルコンピュータまたはインターネットにダウンロードされるまで、全てのモーションキャプチャデータをモーションキャプチャ要素に格納することを可能にする他の任意の数であってもよい。一実施形態では、例えばヘッドと称されるポインタが、バッファのヘッドを追跡する。データがバッファに記録されると、ヘッドが、次の空いているメモリ単位に向かって適切な量だけ先に移動される。バッファが一杯になったら、ポインタはバッファの最初に戻り、以前の値に遭遇したら、それを上書きする。データは時間（ｔ）における任意の瞬間に上書きされるが、バッファのサイズおよび記録レートに応じて、時間（ｔ）から遡って記録されたセンサデータが存在する。センサがバッファにデータを記録すると、１以上の実施形態における「事象」は、新たなデータがバッファを上書きすることを停止させる。事象が検出されたら、センサは、見込みのあるショットの記録を完了するために、例えば特定の量の時間にわたる事後事象データを特定のキャプチャレートで記録するために、第２のバッファ４６１１へのデータの記録を続けることができる。この時点で、メモリバッファ４６１０は、バッファのサイズおよびキャプチャレートと、事後事象バッファ４６１１内の事後事象データとに応じて、事象から遡った所望の量の時間にわたるデータの記録を含む。ビデオも、同様の方法で格納されて、後でトリミングされてもよい（例えば図１９を参照）。

【0164】

例えば、ゴルフのスイングでは、事象はクラブのヘッドとボールとの衝撃であり得る。或いは、事象は、クラブのヘッドと地面との衝撃であり得、これは誤った事象を生じ得る。他の実施形態では、事象は、震盪事象を示し得るユーザの頭部の加速、武器から発射されたショット、野球のバットに当たったボール、または、ユーザが重量を最も高い位置まで移動させてから、もう一度反復するために降ろしたことであり得る。事前事象バッファは、衝撃事象が生じるまでのセンサデータを格納し、事後事象バッファは、衝撃事象の後のセンサデータを格納する。マイクロコントローラまたはマイクロプロセッサの１以上の実施形態は、事象を解析して、事象が反復、発射、または、例えば打撃もしくは誤った打撃等の事象であるかを決定してもよい。事象が、パターン、シグネチャー、またはテンプレート（図１３および図１５を参照）に従って、有効な事象である（誤った事象ではない）と見なされた場合には、第２の事象が発生するまでのモーションキャプチャデータのために、別のメモリバッファ４６２０が用いられる。その事象が生じた後は、事後事象バッファ４６２１がキャプチャされたデータで埋められる。

【0165】

具体的には、モーションキャプチャ要素１１１は、１以上のＭＥＭｓセンサとして実装され得る。センサは、特定の時間間隔でデータを収集するよう命令され得る。各間隔において、様々なＭＥＭｓ装置からデータが読み取られ、リングバッファに格納される。ＭＥＭｓセンサから読み取られた１組の値は、１フレームのデータと見なされる。１フレームのデータは、収集されバッファに格納されるデータのタイプに応じて、０、１、または複数個のメモリ単位であり得る。また、１フレームのデータは時間間隔とも関連付けられる。従って、センサからのキャプチャレートに基づいて、複数のフレームが１つの時間要素と関連付けられる。例えば、各フレームが２ミリ秒間隔で埋められる場合には、１０００個のフレームは２０００ミリ秒（２秒）のデータを含む。一般的に、フレームは時間と関連付けられる必要はない。

【0166】

データは、定常的にリングバッファに格納され、例えば、特定の事象が生じたとき、特定の時間、無線器／アンテナを介したモバイル装置、他の任意のコンピュータ、もしくはメモリへの通信が利用可能なとき、例えばモバイル装置によって命令されたとき（即ち、「ポーリング」されたとき）、または他の任意の所望の事象が生じたときに、不揮発性メモリに書き出されるか、または、無線器／アンテナを介した無線もしくは有線リンクを介して、リモートメモリもしくは装置に送られる。

【0167】

図１２は、例えば見込みのある事象、または例えば事象が生じたときに、特定の用途のために送信される事象があるか否かを決定するよう、マイクロコントローラに特にプログラムされた、機能性の実施形態のフローチャートを示す。モーション、加速、またはスポーツ用具に対する衝撃から生じた衝撃波が、モーションキャプチャ要素内のセンサに送信され、センサは、上述の図１１に記載されているように、モーションキャプチャデータを記録する。次に、マイクロコントローラまたはマイクロプロセッサは、事象を解析して、その事象が見込みのある事象であるか否かを決定し得る。

【0168】

生じる事象の１つのタイプは、特定の線形値もしくは回転値を超える頭部／ヘルメット／縁なし帽子／マウスピースに基づくセンサの加速、またはクラブの面がゴルフボールに衝撃を与えた際の衝撃である。ボールおよび打つ道具を用いる他のスポーツでは、同じ解析が適用されるが、特定のスポーツおよびスポーツ用具に合わせて調整される。テニスでは、見込みのある打撃は、例えば、サーブを受ける前のラケットの回転ではなく、ラケットがボールを打ったことであり得る。例えばランニングシューズ等の他の用途では、衝撃検出アルゴリズムは、誰かが走っているときに、靴が地面に当たったことを検出してもよい。エクササイズでは、これは、達成された特定のモーションであってもよく、これにより、例えば、重量上げをしているとき、または自転車型トレーニング機器に乗っているときの反復回数をカウントすることが可能になる。

【0169】

本発明の１以上の実施形態において、処理は４７０１で開始する。４７０２で、マイクロコントローラは、メモリ４６１０内のモーションキャプチャデータを、特定の衝撃時間フレーム内の特定の閾値を超えた線形速度と比較し、４７０３で、速度または加速における特定の閾値を超えた突然の変化が生じている不連続性閾値をサーチする。例えば、定義された時間ウィンドウ内において、速度または例えば加速の不連続性が生じていない場合には、４７０２で処理が継続される。不連続性が生じている場合には、４７０４で、その見込みのある衝撃がメモリに保存され、所与の時間Ｐにわたる事後衝撃データが保存される。例えば、衝撃閾値が１２Ｇに設定され、不連続性閾値が６Ｇに設定され、衝撃時間フレームが１０フレームである場合には、マイクロコントローラ３８０２は、１０フレーム以内において、少なくとも１つの軸または全ての軸における１２Ｇの加速とそれに続く６Ｇの不連続性を検出した後、衝撃を信号する。典型的な事象では、加速は、特徴的な加速曲線で構成される。衝撃は、加速／速度の急速な変化として信号される。これらの変化は、一般的に、特定の非事象の徐々に増加または減少する曲線によって生成される滑らかな曲線とははっきり異なる。震盪に基づく事象では、１以上の軸における線形加速または回転加速が閾値を超える。ゴルフに関連する事象では、加速曲線がゴルフのスイングのものである場合には、特定の軸が、シグネチャー、テンプレート、または他のパターンに当てはまる特定の加速を有し、ボールの打撃は、打ったことを示す大きい加速の打撃となる。データが所与のテンプレートと一致する場合には、そのデータが保存され、一致しない場合には、処理は４７０２に戻って継続する。４７０５で決定されたように、データが外部に保存される場合、即ち、モバイル装置への通信リンクがあり、例えばモバイル装置がポーリングを行っている、または衝撃が生じたときに衝撃データを要求した場合には、４７０６で、事象は外部のメモリもしくはモバイル装置に送信されるか、または外部の他の任意の場所に保存され、再び４７０２で処理が継続し、マイクロコントローラが、後続の事象について、収集されたモーションキャプチャデータを解析する。データが外部に保存されない場合には、４７０２で処理が継続し、４６０１で、衝撃データがローカルにメモリに保存される。外部に送られる場合には、他のモーションキャプチャ装置も、別のセンサによって検出された事象について、それぞれのモーションデータを保存し得る。これは、例えばより細かい解像度またはより多くのモーションを有するセンサが、ユーザまたは用具と関連付けられた他のセンサに、たとえモーションキャプチャデータが特定の閾値またはパターンに達していなくとも、事象を保存するよう警告することを可能にする（例えば図１５を参照）。このタイプの処理は、特定のタイプの事象を検出するために複数のセンサが用いられ、何らかの理由で事象パターンに一致しない可能性がある他のセンサに通知し得るので、よりロバストな事象検出を提供する。更に、カメラは、不要なビデオをトリミングするかまたは別様で捨て、事象に関連するビデオを保存するよう通知されてもよく、これにより、事象だけでなくビデオについてもメモリ使用量が低減され得る。本発明の１以上の実施形態では、フィルタリングによって送信前のモーションキャプチャデータからノイズが除去されてもよく、精度を最大にするために、取得されたデータの値に基づいてサンプリングレートが変更されてもよい。例えば、幾つかのセンサは、高いサンプリングレートおよび高い重力加速度では、正確でないデータを出力する。よって、高い重力加速度ではサンプリングレートを下げることによって、精度が維持される。本発明の１以上の実施形態では、モーションキャプチャ要素１１１と関連付けられたマイクロコントローラは、高い重力加速度を感知したら、自動的にサンプリングレートを切り替えてもよい。１以上の実施形態では、６Ｇ／１２Ｇ／２４Ｇの範囲または２Ｇ／４Ｇ／８Ｇ／１６Ｇの範囲を有する加速度計を用いる代わりに、範囲間の切り替えの論理を簡単にするために、２つの範囲（例えば２Ｇおよび２４Ｇ）を有する加速度計が用いられてもよい。

【0170】

本発明の１以上の実施形態は、事象をモバイル装置に送信してもよく、および／または、例えばゴルフの１ラウンドについて、またはモバイル装置の通信リンクが達成されるまで、事象を引き続きメモリに保存してもよい。

【0171】

例えば、特定のマウントに装着されたセンサを用いた、例えばそれぞれ異なる用具または衣服と関連付けられたパターンまたはテンプレートによって示される２つの特徴的なモーションタイプの比較のための、典型的な事象シグネチャーが、図１３に示されている（図１５も参照）。１以上の実施形態において、マイクロコントローラは、各軸についての曲線を追跡して、１以上の軸のセグメントを用い、線形加速、回転加速、またはそれらの任意の組み合わせにおいて、特徴的なスイングが生じたか否かを決定するためにパターンマッチングアルゴリズムを実行し得る。メモリ４６０１内のモーションキャプチャデータが、図１３に示されている典型的なスイングの値に十分に近い範囲内にある場合には、そのモーションは事象と一致する。従って、本発明の実施形態は、まず動きの角速度および／または線形速度のシグネチャーを特徴づけ、次に、このシグネチャーの要素を用いて、将来の事象についての類似のシグネチャーが生じたか否かを決定することにより、事象検出における誤検出の数を低減する。

【0172】

モーションキャプチャ要素は、様々なセンサからのデータを収集する。データキャプチャレートは高くてもよく、その場合には、キャプチャ中のかなりの量のデータが存在する。本発明の実施形態は、センサにデータを格納するために、特定の用途に応じて可逆または不可逆の圧縮アルゴリズムを用い得る。圧縮アルゴリズムは、モーションキャプチャ要素が所与のリソース内により多くのデータをキャプチャすることを可能にする。圧縮データもリモートコンピュータに転送される。圧縮データの方が転送速度が速い。また、圧縮データは、「クラウド」インターネットにも、または、より少ないスペースを用いてローカルにデータベースにも格納される。

【0173】

図１４は、事象に関連する情報のローカルでの表示および閲覧のために必要に応じて設けられるＬＥＤ視覚的インジケータ１４０１と、事象と関連付けられたテキストまたは符号化されたメッセージを表示し得る、必要に応じて設けられるＬＣＤ１４０２とを含み得るモーションキャプチャ要素１１１の実施形態を示す。１以上の実施形態において、ＬＥＤ視覚的インジケータは、いかなるデータ通信も必要とせずに事象の全体的なビューを迅速に与えるために、中程度の震盪に対しては黄色をゆっくりとフラッシュし、重度の震盪に対しては赤色を高速でフラッシュしてもよい。更に、ＬＥＤは、任意の温度に関連する事象または他の事象を示すために、フラッシュの回数または他の色を用いてアサートされてもよい。１以上の実施形態は、例えばテキストを示し得る、或いは、審判または医療職員が読み得るまたは例えばモバイル装置の適切なリーダーアプリを用いて復号化し得る、慎重に扱うべき健康関連情報の符号化されたメッセージを表示し得るＬＣＤ１４０２も用いてもよい。図面の右下部において、ＬＣＤディスプレイは、「潜在的な震盪１５００度／秒／秒の回転事象を検出―直ちに医療職員に警告」という旨の符号化されたメッセージを生じ得る。中断を回避するために、例えば診断メッセージで他のプレイヤーを警戒させることなく、または無線でメッセージを送信することなく、医療職員が直ちに該当するユーザ／プレイヤー／ボクサーの評価を開始し得るように、他のまひ状態診断メッセージ、または他の慎重に扱うべき任意のタイプのメッセージが、符号化されてローカルに表示され得る。

【0174】

図１５は、複数の異なるタイプの用具および／または計測器を備えた衣服と関連付けられたモーション事象のテンプレート特性の実施形態を、特定の期間および／またはサブ事象と関連付けられたデータをより正確にまたはより効率的にキャプチャするためにモーションキャプチャセンサの性格が変更され得る領域と共に示す。図示されるように、スケートボードの特徴的なプッシュオフが、上から６本のタイムライン（時間は右に向かって増加する）にＸ、Ｙ、およびＺ軸の線形加速値および回転加速値を表示している加速グラフ１５０１に示されている。図示されるように、ユーザが各ステップでスケートボードをプッシュしている間にキャプチャされた個々のｘ軸の正の加速が１５０２および１５０３に示されており、各プッシュの間にスケートボードが遅くなった際の負の加速がそれに続いている。更に、スケートボードのプッシュオフまたはドライブのこの特徴的なテンプレートまたはパターンでは、各プッシュの最中のｙ軸の横揺れもキャプチャされており、この間、ｚ軸の線形加速および回転加速は生じていない。或いは、パターンは、モーションキャプチャ要素が装着されている用具のタイプを、または既知の用具が現在経験していることを自動的に決定するためにキャプチャされたデータが比較される、例えば横揺れについての他の閾値を有するまたは閾値を有しない所定の時間ウィンドウにおける、ｘに沿った１群の閾値加速を含み得る。これは、例えば事象に基づくデータの保存および送信を可能にする。

【0175】

しかし、走行事象中にユーザが僅かに加速を上げたり下げたりした際は、グラフ１５１１中のパターンまたはテンプレートは走行事象を示す。ユーザの速度は比較的一定であるので、ｘに沿った加速は比較的存在せず、ユーザはターンしていないので、ｙ（左／右）に沿った加速は比較的存在しない。このパターンは、例えば走行の範囲内での比較を行うために用いられ得るものであり、このパターンは、所定の時間ウィンドウ内におけるｚ軸の加速を含む。よって、グラフ１５１１の上から３つのグラフは、１５１２および１５１３における走行事象を記録するためのパターンとして用いられ得る。下から３つのグラフは、モーションキャプチャ要素がヘルメットおよび／またはマウスピース装着されているときに、ユーザが左右を見たことを示すキャプチャデータを１５１４および１５１５で示し得るものであり、一方、キャプチャデータ１５１６は、十分に高い角度／秒^２の回転モーションを介して観察された中程度または重度の震盪を示し得る。更に、例えば、事象を振幅または時間的により正確にキャプチャするために、モーションキャプチャセンサのキャプチャレートまたはキャプチャビットサイズを変更するために、１５１６または他の任意の閾値で、センサの性格がダイナミックに変更され得る。これは、当該技術分野では知られていない、キャプチャ品質のダイナミックな変更、および／または、対象となる期間の電力使用量のダイナミックな変更を可能にする。１以上の実施形態では、例えばヘルメット、マウスピース、もしくは他の任意の用具内、またはユーザの身体内に装着される温度センサを用いる本発明の実施形態のために、温度タイムラインも記録され得る。

【0176】

図１６は、例えば、サッカー、ボクシング、フットボール、レスリング、または他の任意のスポーツ等であるがそれらに限定されない任意の接触型スポーツにおいて着用される、保護マウスピース１６０１の実施形態の正面図、および図面の下部に平面図を示す。マウスピースの複数の実施形態は、ユーザと関連付けられたモーションキャプチャデータを増やして、ユーザによって着用されているモーションキャプチャ要素の一部または全てのからのモーションデータおよび／または事象を相関させるもしくは他の任意の方法で組み合わせるまたは比較するために、モーションキャプチャ要素を備えたまたは備えない他の任意のヘッドギアに追加して着用され得る。図２Ａ～図２Ｂに示されているマウスピースおよび／またはヘルメットの複数の実施形態、または他の任意の用具には、例えば先に述べたように温度センサも含まれ得る。

【0177】

図１７は、モーション画像およびモーションキャプチャデータを複合フォーマットで表示し得る、図１中の任意のコンピュータによって用いられるアルゴリズムの実施形態を示す。１以上の実施形態では、モーションキャプチャデータと、任意の事象に関連する開始／停止時間とが、モーションキャプチャ要素１１１に保存され得る。本発明の１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合され得る少なくとも１つのモーションキャプチャ要素を含むモーション事象認識およびビデオ同期システムを含む。少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、加速度、角速度、および角加速度と関連付けられた値の任意の組み合わせをキャプチャし得るセンサと、通信インターフェースと、メモリ、センサ、および通信インターフェースと結合されたマイクロコントローラとを含み得る。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、データを解析してデータ中の事象を認識して事象データを決定し、事象と関連付けられた事象データを通信インターフェースを介して送信し得る。本システムは、コンピュータと、事象と関連付けられた事象データを取得するためにモーションキャプチャ要素の通信インターフェースと通信し得る通信インターフェースとを含むモバイル装置も含んでもよく、コンピュータは、コンピュータの通信インターフェースと結合されており、コンピュータは、無線通信インターフェースから事象データを受信し得る。また、コンピュータは、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、事象から事象開始時間および事象停止時間を取得してもよい。１以上の実施形態において、コンピュータは、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされたビデオを含む、カメラからの画像データを要求し、事象開始時間から事象停止時間までの期間に生じた事象データ、モーション解析データ、またはそれらの任意の組み合わせと、事象開始時間から事象停止時間までの期間中にキャプチャされたビデオとの両方を含む事象ビデオをディスプレイに表示してもよい。

【0178】

１以上の実施形態において、コンピュータは、ユーザもしくは用具と結合された、またはユーザと結合されたモバイル装置と結合された少なくとも１つのモーションキャプチャ要素から取得されたデータまたは事象データと関連づけられた第１の時間と、少なくとも１つのビデオと関連づけられた少なくとも１つの時間とに基づいて同期化を行い、少なくとも１つの同期された事象ビデオを生成し得る。少なくとも１つの実施形態において、コンピュータは、事象開始時間から事象停止までの期間外の少なくとも１つのビデオの少なくとも一部分を含めずに、少なくとも１つの同期された事象ビデオをコンピュータメモリに格納し得る。少なくとも１つの実施形態によれば、コンピュータは、事象開始時間から事象停止時間までの期間内に生じた事象のデータ、モーション解析データ、またはそれらの任意の組合せと、事象開始時間から事象停止時間までの期間内にキャプチャされたビデオとの両方を含む同期された事象ビデオを表示し得る。

【0179】

１以上の実施形態において、コンピュータは、少なくとも１つの同期された事象ビデオまたは少なくとも１つの同期された事象ビデオの一部分を、リポジトリ、ビューア、サーバ、別のコンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信し得る。

【0180】

通信チャネルが利用可能なときには、１７０１で、モーションキャプチャデータおよび任意の事象に関連する開始／停止時間が任意のコンピュータ（例えば、１０１、１０２、１０２ａ、１０２ｂ、１０５）にプッシュされるか、任意のコンピュータによって取得されるか、または別様で受信される。センサのクロック間および／またはモーションキャプチャデータの時間におけるクロック差も取得され得る。これは、着信メッセージ中の現在のタイムスタンプを読み取って、着信メッセージの時間をローカルコンピュータのクロックの現在の時間と比較することによって行われ得る（同期の更なる詳細については例えば図１８も参照）。センサおよびコンピュータのクロック差は、１７０２で、クロック差（あれば）を考慮して調節された時間に、事象の位置に対してローカルなまたは事象の位置を向いている任意のカメラからの画像データを要求するために用いられ得る。例えば、コンピュータは、例えば、全てのカメラ１０３、１０４に対して、または装置１０１、１０２および／もしくは１０２ａ上で、（例えばＧＰＳの位置または無線範囲に基づいて）近くで撮影した画像を有するおよび／またはモーションキャプチャ要素１１１から取得された事象を向いている一部のまたは全ての装置を求めるクエリーを行うことにより、その時間／位置において撮影された画像を要求し得る。装置が例えば磁力計を備えている場合にその位置および向きによって決定された結果、装置が事象の近くにはないが、事象の位置を向いている場合には、その装置はその時間範囲についての画像で応答してもよい。ベビーシッター監視カメラ等を含む電子的に通信し得る任意のタイプのカメラがクエリーされ得る。例えば、モバイルコンピュータ１０１がモーションキャプチャセンサ１１１から事象を受信した後、モバイルコンピュータ１０１によってメッセージが送られてもよく、このメッセージは、例えばモバイル装置１０１の無線範囲内にある任意のカメラに送られ得る。或いは、またはそれと組み合わせて、モバイル装置１０１は、事象の位置から所定の距離以内にある任意のカメラのＩＤを要求する同報メッセージを送ってもよく、または、たとえ比較的近くはなくても事象の方向を向いている任意のカメラに対するクエリーを行ってもよい。モバイル装置１０１は、潜在的なカメラのリストを受信したら、それらに対して、例えば事象が入る所定のウィンドウ内で取得された任意の画像を求めるクエリーを行ってもよい。１７０３で、コンピュータは、画像データを受信してもよく、または、コンピュータがカメラと結合されている場合には、ローカルに画像を探索してもよい。１以上の実施形態では、サーバ１７２は、相関する何らかのものを決定するためにビデオおよび事象を反復して、ビデオを、事象開始時間および停止時間の継続期間に対応するように自動的にトリミングしてもよい。無線通信が用いられ得るが、他の任意の形態の画像データの転送も本発明の趣旨に沿う。１７０４で、事象からの、数値もしくはグラフィカルなオーバーレイの形式、またはテキストを含む他の任意の形式のデータが、その時間についての対応する画像と共に示されるか、または別様でオーバーレイされ得る。これは、例えば、モーションキャプチャデータ１７１２がオーバーレイされたモーション事象のフレームを示す画像１７１１についてスクロール可能であり得る時間１７１０、即ち、現在の時間にグラフィカルに示される。組み合わされる、または例えば同時にオーバーレイされないデータについては、図６を参照されたい。

【0181】

図１８は、本発明の１以上の実施形態によって用いられ得る同期アーキテクチャの実施形態を示す。複数の実施形態は、任意のタイプの同期方法を用いて、システムのクロックを同期させてよく、１以上の実施形態では、モバイル装置１０１のコンピュータ１６０は、モーションキャプチャ要素１１１とモバイル装置との間のクロック差を決定して、モーション解析データをビデオと同期させてもよい。例えば、本発明の１以上の実施形態は、事象について記録された複数の異なる装置からのデータを組み合わせることができるように、複数の記録装置について、各装置の時間、位置、または向きに関する情報を同期させる手順を提供する。そのような記録装置は、埋め込みセンサ、カメラもしくはマイクを有する携帯電話、または、より一般的には、対象となるアクティビティに関連するデータを記録可能な任意の装置であり得る。１以上の実施形態において、この同期は、装置が、時間、位置、または向きについての共通の測定指標に一致可能なように、装置間で情報を交換することによって達成される。例えば、携帯電話および埋め込みセンサが、リンク１８０２を介して、例えば、無線で、それぞれの内部クロックの現在のタイムスタンプを有するメッセージを交換してもよく、これらのメッセージは、２つの装置が共通の時間に一致するための交渉を行うことを可能にする。そのようなメッセージは、前回の同期後のクロックのドリフトまたは装置のモーションを考慮するために、周期的に必要に応じて交換され得る。他の実施形態では、複数の記録装置は、時間、位置、または向きの標準化された測定指標を取得するために、共通のサーバまたは１組のサーバ１８０１を用いてもよい。例えば、装置は、ＧＰＳシステムを用いて、各装置の絶対位置情報を取得してもよい。また、標準化された時間を取得するためにＧＰＳシステムが用いられてもよい。標準化された時間サーバとして、ＮＴＰ（ネットワークタイムプロトコル）サーバが用いられてもよい。サーバを用いることにより、複数の装置を、常時互いに通信するよう構成する必要なしに、共通の測定指標に一致させることが可能になる。

【0182】

図１９は、モーションキャプチャセンサ１１１のうちの１つによる事象の検出、ここでは図面の中央に位置するセンサ１１１から発する矢印として示されている、他のモーションキャプチャセンサ１１１および／または例えばモバイル装置１０１のカメラへの事象検出の送信、事象モーションデータの保存、および事象に対応させたビデオのトリミングを示す。本発明の１以上の実施形態では、幾つかの記録装置は、対象となる様々な事象の発生を検出し得る。そのような事象の一部は特定の瞬間に生じ得るものであるが、他の事象は或る時間間隔にわたって生じ得るものであり、検出は、事象の開始および事象の終了の検出を含む。これらの装置は、上述の時間、位置、および向きの同期された測定指標を用いて、例えばメモリバッファ４６１０に含まれる、または他の任意のデータ構造に含まれる、記録装置の時間、位置、または向きの任意の組み合わせを、事象データと共に記録し得る。

【0183】

モバイル装置上のコンピュータの複数の実施形態は、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分（例えば事象の前後の部分１９１０および１９１１、または所定の事前間隔１９０２および事後間隔１９０３を有する事象）を捨ててもよい。１以上の実施形態において、コンピュータは、そのコンピュータ、または、他のコンピュータ、別のカメラ、もしくはビデオをキャプチャした１または複数のカメラを含む他の装置に、事象開始時間から事象停止時間までの期間外のビデオの少なくとも一部分を捨てるようコマンドまたは指示し得る。例えば、本発明の１以上の実施形態において、一部の記録装置は、事象の検出を待機しながら、データを継続的にメモリにキャプチャする。メモリを節約するために、一部の装置は、検出された事象にデータが時間的に接近している場合のみ、データをより永久的なローカル記憶媒体に、またはサーバ１７２に格納し得る。例えば、事象検出がないときには、新たに記録されたデータは、モーションデータまたはビデオデータを記録している各装置のメモリの量に応じて、最終的に、以前にメモリに記録されたデータを上書きしてもよい。一部の実施形態では、そのような上書きスキームの典型的な実装例として、循環バッファが用いられ得る。事象検出が生じたときには、記録装置は、事象自体（即ち１９０１）の期間中にキャプチャされたデータを格納することに加えて、事象の開始前に、設定されている幾らかの量のデータ（事前間隔１９０２の開始付近）を格納すると共に、事象の終了後に、設定されている幾らかの量のデータ（１９０３付近）を格納してもよい。例えば、事象の文脈がビデオに示されるように、任意の事前または事後の時間間隔は、事象開始時間および事象停止時間の一部であると見なされる。これは、事象に文脈を与えるものであり、例えば、事前時間間隔の量はスポーツ毎に（例えば、ゴルフスイングのセットアップを、たとえそれがゴルフボールを打つ実際の事象の前に生じるものであっても、事象ビデオの一部にすることを可能にするために）設定され得る。事後間隔に割り当てられた間隔の量に従って、フォロースルーも記録され得る。

【0184】

本システムの複数の実施形態は、モバイル装置に対してリモートのサーバコンピュータを含んでもよく、サーバコンピュータは、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てて、事象開始時間から事象停止時間までの期間にキャプチャされたビデオをモバイル装置内のコンピュータに返してもよい。このサーバまたはモバイル装置は、ビデオにモーション解析データまたは事象データ（例えば速度または生の加速データ）を組み合わせて、またはオーバーレイして、事象ビデオ１９００を構成してもよく、一般的に、部分１９１０および１９１１は、事象よりも遥かに時間が長いため、これにより、必要なビデオの記憶量が大きく低減され得る。

【0185】

少なくとも１つのモーションキャプチャ要素（例えば、マイクロプロセッサ）の複数の実施形態は、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせに事象を送信してもよく、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせは、たとえ少なくとも１つの他のモーションキャプチャ要素が事象を検出していない場合であっても、その事象と関連付けられているデータを保存もしくは送信、または保存および送信の両方を行い得る。例えば、同時に動作する複数の記録装置を有する実施形態では、そのような装置の１つが事象を検出したら、そのような事象検出が生じた旨のメッセージを他の記録装置に送ってもよい。このメッセージは、様々な装置のクロックの同期された時間基準を用いた事象の開始および／または停止のタイムスタンプを含み得る。受信装置（例えば、他のモーションキャプチャセンサおよび／またはカメラ）は、事象と関連付けられたデータを例えばモーションキャプチャ要素１１１内、モバイル装置１０１内、またはサーバ１７２内の不揮発性ストレージに格納するために、事象検出メッセージを用いてもよい。これらの装置は、事象と直接関連付けられデータ１９０１に加えて、事象の開始前の幾らかの量のデータ１９０２および事象の終了後の幾らかの量のデータ１９０３を格納してもよい。このようにして、全ての装置が同時にデータを記録できるが、複数のソースからの分散した事象データの保存を開始するためには、これらの装置のうちの１つのみからの事象トリガが用いられる。

【0186】

コンピュータの複数の実施形態は、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存してもよく、または、ビデオを保存するためにリモートサーバが用いられてもよい。本発明の１以上の実施形態において、一部の記録装置は、事象が生じ得る期間を通して互いに直接通信しなくてもよい。これらの状況において、装置は、記録された全てのデータの完全な記録を、永久的なストレージまたはサーバに保存し得る。これらの状況では、一部の装置は事象トリガメッセージを受信できない場合があるので、事象と関連付けられたデータのみの保存はできない場合がある。これらの状況では、保存されたデータは、その後で、検出された１以上の事象と関連付けられた関連部分のみを抽出するために処理され得る。例えば、複数のモバイル装置がプレイヤーまたはパフォーマーのビデオを記録して、このビデオを継続的にストレージ用サーバ１７２にアップロードしてもよい。それとは別に、プレイヤーまたはパフォーマーは、例えば、特定のモーションまたはアクション等の事象を検出可能な埋め込みセンサを備えていてもよい。埋め込みセンサのデータは、同じサーバに継続的にまたは後でアップロードされ得る。埋め込みセンサデータおよびビデオストリームを含む全てのデータは、一般的にタイムスタンプが付与されるので、埋め込みセンサによって検出された事象と関連付けられたビデオを、サーバ上で抽出して組み合わせることができる。サーバまたはコンピュータの複数の実施形態は、更に、少なくとも１つのモーションキャプチャセンサとモバイル装置との間の通信リンクが開いているときには、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存し得る。或いは、通信リンクが開いていない場合には、コンピュータの複数の実施形態は、更に、ビデオを保存し、通信リンクが開いた後に事象が受信された後で、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存し得る。例えば、本発明の一部の実施形態では、データは、上述のようにサーバにアップロードされてもよく、各装置のデータストリームと関連付けられた位置および向きのデータが、検出された事象に関連するデータを抽出するために用いられてもよい。例えば、ゴルフトーナメントを通して様々な位置でビデオを記録するために、一組の多くのモバイル装置が用いられ得る。このビデオデータは、継続的にまたはトーナメントの後でサーバにアップロードされ得る。トーナメントの後、事象検出を有するセンサデータも同じサーバにアップロードされ得る。これらの様々なデータストリームを後処理することで、同じ時間に生じた事象と物理的に近接して記録された特定のビデオストリームを識別できる。カメラが、事象を観察するための正しい方向を向いている場合には、更なるフィルタによってビデオストリームを選択してもよい。これらの選択されたストリームは、事象を複数のビデオ角度で示す集合データストリームを構成するためにセンサデータと組み合わされてもよい。

【0187】

本システムは、モバイル装置と結合されたカメラ、またはモバイル装置とは別個のもしくは別様でモバイル装置に対してリモートの任意のカメラから、ビデオを取得し得る。１以上の実施形態において、ビデオは、モバイル装置に対してリモートのサーバから取得される（例えば、或る位置および時間間隔におけるビデオを求めるクエリーの後に取得される）。

【0188】

サーバまたはコンピュータの複数の実施形態は、事象開始時間、事象停止時間、またはそれらの両方と最も密接に関連付けられるビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析によって、ビデオを事象データまたはモーション解析データと同期させ得る。本発明の１以上の実施形態において、記録装置間のクロックの同期はおおよそのものであり得る。各装置からの事象のビューに基づいて、複数の記録装置からのデータ供給の同期の精度を向上させることが望ましい場合がある。１以上の実施形態では、粒度の細かい同期を支援するために、複数の異なるストリーム中の事象のシグネチャーを観察するために、複数のデータストリームの処理を用いる。例えば、埋め込みセンサは、ビデオカメラを含むモバイル装置と同期され得るが、時間の同期の精度は単に１００ミリ秒以内までであってもよい。ビデオカメラが３０フレーム／秒でビデオを記録している場合には、埋め込みセンサにおける事象検出に対応するビデオフレームは、同期されたタイムスタンプのみに基づいて、単に３フレーム以内にあると決定される。装置の一実施形態では、検出された事象に最も密接に対応する正確なフレームを決定するために、ビデオフレーム画像処理を用いることができる。更なる詳細については、図８およびその説明を参照されたい。例えば、図１７に示されるように、慣性センサによって検出された、地面に当たったスノーボードからの衝撃が、スノーボードの幾何学的境界が地面と接触しているフレームと相関され得る。他の実施形態は、複数のデータ供給の同期を改善するために、事象シグネチャーを検出する他の画像処理技術または他の方法を用いてもよい。

【0189】

少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定し得る位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信し得る。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信してもよく、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成してもよい。例えば、１以上の実施形態において、事象ビデオは、例えばモバイル装置１０１、サーバ１７２、コンピュータ１０５、または本システムと結合された他の任意のコンピュータ上で、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定のビデオおよびセンサデータが特定の位置において特定の時間に生じたと判断して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。

【0190】

１以上の実施形態において、マイクロコントローラまたはコンピュータは、事象の位置を決定するか、または、マイクロコントローラおよびコンピュータは、事象の位置を決定し、事象の中心点を設けるために、例えば、位置を相関させるまたは平均することによって位置を相関させてもよく、および／または、初期化中のＧＰＳセンサからの誤った位置データが最小化されてもよい。このようにして、モバイル装置を有する１グループのユーザが、ティーオフしているゴルファーのビデオを生成してもよく、この場合、少なくとも１つのモーションキャプチャ装置の事象位置が用いられてもよく、サーバは、観客からビデオを取得して、プロゴルファーのスイングおよびボールを打っているところの事象ビデオを生成してもよく、事象ビデオは、ゴルファーがスイングした際のゴルファーの周囲からのＢＵＬＬＥＴ ＴＩＭＥビデオを生成するために、複数の異なるカメラからのフレームを用いてもよい。得られた１または複数のビデオは、例えば、事象開始時間から事象停止時間までの、および／または、スイングまたは他の事象について任意のセットアップ時間および任意のフォロースルー時間を含む事象全体がキャプチャされることを確実にするために、事象前または事象後の所定の任意の時間値を伴う事象の継続期間に合わせてトリミングされ得る。

【0191】

少なくとも１つの実施形態において、コンピュータは、事象の近位にあるもしくは事象を見るよう向けられている、またはそれらの両方であるカメラ位置から要求しても、またはその要求を同報してもよく、事象の近位にある少なくとも１つのカメラからの、その事象を含むビデオを要求してもよい。例えば、１以上の実施形態において、モバイル装置上のコンピュータは、事象の近位にある少なくとも１つのカメラからの事象を含む少なくとも１つの画像またはビデオを、そのエリア内で任意のカメラによって撮影された任意のビデオに対する要求を同報することによって直接要求してもよく、これは、必要に応じて、カメラが事象に近接して配置されているかどうかのみならず、事象に向けられているもしくは別様で向いているかどうかに関係する向き情報を含み得る。他の実施形態では、モバイル装置上のコンピュータによってリモートサーバからのビデオが要求されてもよい。この状況では、事象と関連付けられた任意の位置および／または時間は、事象の近くの、事象に近い時間に撮影された、またはそれらの両方の画像および／またはビデオを返すために用いられ得る。１以上の実施形態において、コンピュータまたはサーバは、ビデオを事象の継続期間に対応するようトリミングしてもよく、ここでも、例えば、ボールを打つ等の事象の位置を、例えば、ボールが用具に当たったことに対応する加速データと一致するビデオ中の対応するフレームと更に同期させるために、画像処理技術を用いてもよい。

【0192】

モバイル装置上またはサーバ上のコンピュータの複数の実施形態は、１以上の事象が生じた１以上の時間のリストを表示してもよい。このようにして、ユーザは、事象ビデオに迅速にアクセスするために、リストから事象を見つけ出してもよい。

【0193】

本発明の実施形態は、モバイル装置と物理的に結合された少なくとも１つのモーションキャプチャセンサを含み得る。これらの実施形態は、例えば、任意のタイプのヘルメットに装着されたカメラ、または事象データおよびビデオデータを生成するためのカメラおよびモーションキャプチャセンサの両方を含む任意のマウント等の、センサが統合された任意のタイプの携帯電話またはカメラシステムを可能にする。

【0194】

本発明の１以上の実施形態において、システムは、モーション事象データとビデオ事象データとの統合を可能にする。図１は、そのようなシステムの実施形態の核心要素を示す。モーション事象データは、位置Ｌ１にいるユーザ１５０、用具１１０、またはモバイル装置１３０に取り付けられ得る１以上のモーションキャプチャ要素１１１によって供給され得る。これらのモーションキャプチャ要素は、例えば、向き、位置、速度、加速度、角速度、および角加速度等のモーション値を測定する１以上のセンサを含み得る。モーションキャプチャ要素は、キャプチャデータを格納するためのメモリ、およびこのデータを解析するためのマイクロプロセッサも含み得る。モーションキャプチャ要素は、他の装置と通信するためおよびモーションキャプチャデータを転送するための通信インターフェースも含み得る。通信インターフェースは有線または無線であり得る。通信インターフェースは、例えば、無線ネットワーク用の無線（例えば、ＢＬＵＥＴＯＯＴＨ、ＢＬＵＥＴＯＯＴＨ低エネルギー、８０２．１１、もしくはセルラーネットワーク等）、例えばイーサネット等のプロトコルを用いたＬＡＮもしくはＷＡＮ有線ネットワーク用のネットワークインターフェースカード、シリアルインターフェース（例えばＲＳ２３２もしくはＵＳＢ等）、または、ローカルバスインターフェース（例えばＩＳＡ、ＰＣＩ、もしくはＳＰＩ等）を含み得るが、それらに限定されない。

【0195】

一部の実施形態では、モーションキャプチャ要素と結合されたマイクロプロセッサは、センサからのデータを収集し、そのデータをマイクロプロセッサのメモリに格納し、可能であればそのデータ内の事象を認識するためにデータを解析し得る。次に、マイクロプロセッサは、付属の有線または無線通信インターフェースを介して、生モーションデータまたは事象データを送信し得る。この生モーションデータまたは事象データは、モーションキャプチャ要素、ユーザ、または用具の識別子、および、モーションキャプチャ要素によって検出された事象のタイプの識別子のような他の情報を含み得る。

【0196】

一部の実施形態では、システムは、センサまたはカメラと通信する１以上のコンピュータ１０５（ラップトップコンピュータまたはデスクトップコンピュータ）、１６０（携帯電話のＣＰＵ）、または他のコンピュータも含み得る。図１Ａは、モバイル装置に統合されたコンピュータプロセッサまたは「コンピュータ」１６０の一実施形態のあり得る構成要素を示す。コンピュータは、モーション事象と関連づけられた事象データを受信するために１以上モーションキャプチャ要素１１１の通信インターフェースと通信可能な通信インターフェース１６４を有し得る。コンピュータは、モーションキャプチャ要素と通信するための、または他の構成要素もしくは他のコンピュータと通信するための有線通信インターフェースも有し得る。１以上の実施形態は、有線通信インターフェースと無線通信インターフェースとの組合せを用い得る。コンピュータは、生モーションデータを受信し、事象を決定するためにこのデータを解析し得る。他の実施形態では、事象の決定は、モーションキャプチャ要素１１１において行われてもよく、コンピュータ（例えば１０５または１６０等）は、事象データを受信してもよい。一部の実施形態では、これら２つの手法の組合せも可能である。

【0197】

一部の実施形態では、１または複数のコンピュータは、更に、事象データを解析して、モーション解析データを生成し得る。このモーション解析データは、１または複数のモーションキャプチャ要素によって記録されたモーションについての注目される特性を含み得る。１以上のコンピュータは、将来的な読み出しおよび解析のために、モーションデータ、事象データ、モーション解析データ、またはそれらの組合せを格納し得る。データは、例えばメモリ１６２等にローカルに、またはデータベース１７２のようにリモートで格納され得る。一部の実施形態では、１または複数のコンピュータは、事象データから、モーション事象の開始時間および停止時間を決定し得る。次に、１または複数のコンピュータは、この事象開始時間と事象停止時間との間の時間の少なくとも或る部分内の何らかの時間間隔にわたるビデオまたは１以上の画像をキャプチャしたカメラ（例えば１０３、１３０、１３０ａ、または１３０ｂ等）からの画像データを要求し得る。本明細書におけるビデオという用語は、連続的なビデオだけでなく、個々の画像を含む（カメラが事象間隔中に単一のスナップショット画像を撮影する場合を含む）。次に、このビデオデータは、ビデオおよびモーションキャプチャ統合システムの一部を構成するために、モーションデータと関連づけられ得る。図示されるように、位置Ｌ２にあるカメラ１０３は視野Ｆ２を有し、位置Ｌ３にあるモバイル装置１０２上のカメラは視野Ｆ３を有する。少なくとも１つの実施形態においては、視野が事象と重なるカメラについては、画像解析によって、最良のビデオのコンピュータによる自動的な選択が達成される。事象のトリガのために、例えば環境センサ等のセンサ１０７も用いられてもよく、または、少なくとも、事象ビデオと組み合わされる値（例えば風速、湿度、温度、音等）についてクエリーされてもよい。他の実施形態では、システムは、位置Ｌ１の周囲の予め定義された領域内のビデオおよび事象についてクエリーしてもよく、Ｌ２およびＬ３にある各カメラの視野を用いて、そのビデオが事象をキャプチャしている可能性があるか否かを決定してもよい。

【0198】

一部の実施形態では、カメラからのビデオの要求は、モーションデータのキャプチャまたは解析と同時に行われ得る。そのような実施形態では、システムは、事象が生じていることの通知を取得または生成し、次に、事象の終わりが検出されるまで、１以上のカメラからコンピュータにビデオがストリーミングされることを要求する。他の実施形態では、ユーザは、モーションキャプチャセンサを所定の回数だけタップまたは動かすことによる、事象の開始を意味するジェスチャを行い得る（例えば、野球のバットをバッターの靴に当てて２回タップすることは、バット事象の開始を意味し得る）。

【0199】

他の実施形態では、ビデオの要求は、カメラ（例えば１０３等）がビデオ記録を別のコンピュータ（例えばサーバ１７２等）にアップロードした後に行われ得る。この場合には、コンピュータは、カメラから直接ではなく、サーバ１７２からのビデオを要求する。

【0200】

一部の実施形態では、１または複数のコンピュータは、モーションデータとビデオデータとの同期化を行い得る。この同期化を行うために、様々な技術が用いられ得る。図１Ｅは、この同期処理の一実施形態を示す。モーションキャプチャ要素１１１は、「クロックＳ」として示されているクロック１２９０１を含む。事象が生じたとき、モーションキャプチャ要素は、クロックＳからの時刻ｔ_１Ｓ、ｔ_２Ｓ、ｔ_３Ｓ等を有するタイムスタンプ付きのデータ１２９１０を生成する。カメラ１０３は、事象の何らかの部分のビデオまたは画像をキャプチャする。カメラは、「クロックＩ」として示されているクロック１２９０２も含む。カメラは、クロックＩからの時刻ｔ_１Ｉ、ｔ_２Ｉ、ｔ_３Ｉ等を有するタイムスタンプ付きの画像データ１２９１１を生成する。コンピュータ１０５は、モーションデータおよび画像データを受信する。コンピュータは、「クロックＣ」として示されている別のクロック１２９０３を含む。コンピュータは、３つのクロック１２９１２、１２９１３、および１２９１４からの様々な時間スケールのアライメントをとることで構成される同期処理を実行する。この同期の結果が、クロック間の対応関係１２９１５である。一般的に、クロックのアライメントは、異なるクロック速度を反映するために、クロック差を生成すること、および時間スケールを伸ばすまたは縮めることを必要とする。一部の実施形態では、個々のデータフレームまたは画像フレームにはタイムスタンプが付されず、その代わりに、最初または最後のフレームが時刻と関連づけられ、フレームキャプチャのための既知のクロック速度があってもよい。他の実施形態では、データはタイムスタンプを含まず、コンピュータが受信時刻およびあり得るネットワークレイテンシーに基づいてキャプチャ時刻を推定できるように、キャプチャされたら直ちに送信されてもよい。

【0201】

図１Ｅに示されている実施形態では、コンピュータは同期された事象ビデオ１２９２０を生成し、同期された事象ビデオ１２９２０は、事象開始時間と事象停止時間との間において取得または算出されたモーションデータ、事象データ、またはモーション解析データの少なくとも一部、および、この開始時間～停止時間以内の、カメラから取得されたビデオまたは画像の一部を含む。この同期された事象ビデオは、モーションデータおよび画像データの両方を組み込んだ、事象の拡張された統合された記録を提供する。図示されている例では、同期処理は、時刻ｔ_５Ｃに第１の画像フレームＦ_１を割り当て、時刻ｔ_６Ｃに第１のモーションデータフレームＤ_１を割り当てている。この例では、画像フレームキャプチャレートはデータフレームキャプチャレートの２倍である。

【0202】

本発明の１以上の実施形態は、少なくとも１つのカメラからの少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間も取得し得る。システム上のコンピュータのうちの１つは、少なくとも１つの同期された事象ビデオを生成するために、必要に応じて、ユーザ、用具、またはユーザと結合されたモバイル装置と結合された少なくとも１つのモーションキャプチャ要素から取得されたデータまたは事象データと関連づけられた第１の時間、および少なくとも１つのビデオと関連づけられた少なくとも１つの時間に基づいて、事象データ、モーション解析データ、またはそれらの任意の組合せを少なくとも１つのビデオと同期させ得る。複数の実施形態では、少なくとも１つのカメラに、事象開始時間から事象停止時間までの期間外に生じた少なくとも１つのビデオの少なくとも一部分を別のコンピュータに転送せずに、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされた少なくとも１つの同期された事象ビデオを別のコンピュータに転送するようコマンドが送られる。また、１以上の実施形態は、事象開始時間から事象停止時間までの期間中に生じた事象データ、モーション解析データ、またはそれらの任意の組合せ、および事象開始時間から事象停止時間までの期間中にキャプチャされたビデオの両方を含む同期された事象ビデオをオーバーレイし得る。

【0203】

本発明の１以上の実施形態において、コンピュータは、事象の開始時間から停止時間まで測定された事象の時間間隔外のビデオを捨ててもよい。この捨てる処理は、注目される事象と関連づけられたビデオのみを保存することにより、ビデオストレージのためのかなりのストレージリソースを節約し得る。図１９は、この処理の一実施形態を示す。同期された事象ビデオ１９００は、事象１９０１が生じている間、並びに、予め定義された何らかの事前間隔１９０２および事後間隔１９０３にわたる、モーションおよび画像データを含む。事前間隔および事後間隔の前後の部分１９１０および１９１１は捨てられる。

【0204】

１以上の実施形態において、モーションデータまたはビデオデータを受信または処理し得るコンピュータは、携帯電話、スマートフォン１２０、タブレット、ＰＤＡ、ラップトップ１０５、ノートブック、または容易に運搬もしくは再配置可能な他の任意の装置を含むがそれらに限定されないモバイル装置であり得る。他の実施形態では、そのようなコンピュータは、カメラ１０３、１０４、特に、ビデオデータが取得されるカメラに統合されたものであり得る。他の実施形態では、そのようなコンピュータは、データセンターまたはクラウド型サービスにおいて仮想マシンとして実行される仮想コンピュータを含むがそれらに限定されないデスクトップコンピュータまたはサーバコンピュータ１５２であり得る。一部の実施形態では、システムは、上述のタイプのうちの任意の複数のコンピュータを含んでもよく、これらのコンピュータは、本明細書において記載される処理を協働して行い得る。当業者には自明であるように、そのようなコンピュータの分散型ネットワークは、タスクを多くの可能な方法で分割し得るものであり、所望であれば、それらの動作を、単一の集中型コンピュータの動作を再現するよう調和させることができる。本明細書におけるコンピュータという用語は、上述のタイプのコンピュータのうちの任意のものまたは全てを意味し、協働する複数のそのようなコンピュータのネットワークを含むことが意図される。

【0205】

１以上の実施形態において、モーションキャプチャ要素１１１と関連づけられたマイクロコントローラ、およびコンピュータ１０５は、共通のクロックからクロック情報を取得し、それぞれのローカルな内部クロック１２９０１および１２９０３をこの共通の値に設定し得る。この方法論は、カメラ２９０２の内部クロックを同じ共通のクロック値に設定するためにも用いられ得る。共通のクロック値は、システムの一部であってもよく、または、リモート時刻サーバとして用いられる外部クロックであってもよい。個々の装置のクロックを共通のクロックに同期させるために、ネットワークタイムプロトコルまたは他の類似のプロトコルを含む様々な技術が用いられ得る。図１８は、ＮＴＰまたはＧＰＳサーバ１８０１を共通の時刻リソースとして用いる本発明の一実施形態を示す。装置のクロックを共通のクロック１８０１に周期的に同期させることにより、モーションキャプチャデータおよびビデオデータを、それらが記録された時刻を有するタイムスタンプをそれらに付すことによって簡単に同期させることができる。

【0206】

１以上の実施形態において、コンピュータは、同期された事象ビデオのシーケンスを取得または生成し得る。コンピュータは、ユーザが事象の履歴を見るために、このシーケンスの合成サマリーを表示し得る。図２０は、この処理の一実施形態を示す。ビデオクリップ１９００ａ、１９００ｂ、１９００ｃ、１９００ｄ、および１９００ｅが、それぞれ異なる事象に対応する異なる時間に取得される。これらの事象より前のビデオまたはモーションデータ１９１０および１９１１、並びに、これらの事象の間のビデオまたはモーションデータ１９１０ａ、１９０１ｂ、１９１０ｃ、および１９１０ｄが除去される。その結果が合成サマリー２０００である。一部の実施形態では、このサマリーは、ビデオから生成された１以上のサムネイル画像を含み得る。他の実施形態では、サマリーは、完全な事象ビデオからのより小さい選択部分を含み得る。合成サマリーは、各同期された事象ビデオと関連づけられたモーション解析または事象データの表示も含み得る。一部の実施形態では、コンピュータは、測定指標（例えば、少なくとも１つの同期された事象ビデオと関連づけられた測定指標等）を取得し、または受け付けて、各事象についてのこの測定指標の値を表示し得る。これらの測定指標値の表示は、異なる実施形態において様々であり得る。一部の実施形態では、測定指標値の表示は、棒グラフ、線グラフ、または絶対値もしくは相対値を示すための他のグラフィカルな技術であり得る。他の実施形態では、色分けまたは他の視覚的効果が用いられ得る。他の実施形態では、測定指標の数値が示され得る。一部の実施形態は、これらの手法の組合せを用い得る。図２０に示されている例では、各事象と関連づけられた速度についての測定指標値が、各値についての円を有するグラフとして示されている。

【0207】

１以上の実施形態において、コンピュータは、事象のシーケンスのモーション解析データまたは事象データと関連づけられた注目される測定指標２０１０についての選択基準を受け入れ得る。例えば、ユーザは、例えば、或る閾値を超える、或る範囲内の、または或る範囲外の測定指標２０１０等といった基準を与え得る（２０１１）。事象の測定指標値２０１０、２０１１に適用され得る任意の基準が用いられ得る。コンピュータは、選択基準に応答して、選択基準を満たす同期された事象ビデオまたはそれらのサマリー（例えばサムネイル等）のみを表示し得る。図２０は、この処理の一実施形態を示す。速度２０２０が少なくとも５（２０２１）であるべきことを指定する選択基準２０１０が与えられている。コンピュータは、クリップ１～クリップ４を有する２００１を表示することによって応答し、クリップ５は、それに関連づけられている速度に基づいて除外されている。

【0208】

１以上の実施形態において、コンピュータは、選択基準に合格する測定指標と関連づけられた値を有する１組のマッチする同期された事象ビデオを決定し、１組のマッチする同期された事象ビデオまたはそれらに対応するサムネイルを、１組のマッチする同期された事象ビデオまたはそれらに対応するサムネイルの各々についての測定指標と関連づけられた値と共に表示し得る。

【0209】

本発明の一部の実施形態では、コンピュータは、同期された事象ビデオを選択された測定指標の値に基づいて表示するために、同期された事象ビデオをソーティングおよびランク付けし得る。一部の実施形態では、このソーティングおよびランク付けは、上述の選択基準に基づくフィルタリングに加えて行われ得る。コンピュータは、事象と関連づけられたビデオまたはサムネイルと共に、順序づけられた測定指標値のリストを表示し得る。図２０に示されている上述の例を続けると、速度に基づいてソーティングされた表示が指定されている場合には、コンピュータは、最高速度から最低速度まで順序づけし直されたクリップを有する２００２を生成する。１以上の実施形態において、コンピュータは、例えば１組のマッチする同期された事象の、選択基準を満たす事象についてのビデオを組み合わせたハイライトリールもしくは失敗リール、またはそれらの両方を生成し得る。少なくとも１つの実施形態においては、そのようなハイライトリールまたは失敗リールは、選択された事象についてのビデオ全体、またはモーション解析によって決定された事象における重要な瞬間に対応するビデオの一部分を含み得る。一部の実施形態では、ハイライトリールまたは失敗リールは、ビデオ上または選択されたフレーム上に、モーション解析から得た測定指標の値を示しているデータのオーバーレイまたはグラフィックを含み得る。そのようなハイライトリールまたは失敗リールは、ユーザが選択基準を指定することによって、含むべき事象を示すと、ユーザのために自動的に生成され得る。一部の実施形態では、コンピュータは、ユーザが、事象を追加または除去するために、各事象について示されるビデオを長くするまたは短くするために、モーションデータについてのグラフィックオーバーレイを追加または除去するために、または特殊効果もしくはサウンドトラックを追加するために、ハイライトリールまたは失敗リールを編集するのを可能にし得る。

【0210】

１以上の実施形態において、ビデオおよびモーション統合システムは、複数のカメラ、例えばカメラ１０３、１０４、１３０、１３０ａ、および１３０ｂ等を組み込み得る。そのような実施形態では、コンピュータは、この時間フレーム中のビデオをキャプチャした複数のカメラからの事象時間フレームに対応するビデオを要求し得る。これらの各ビデオは、単一のビデオの同期について上述したように、事象データおよびモーション解析データと同期され得る。複数のカメラからのビデオは、全てがモーションデータおよび共通の時間基準に同期された、事象の異なる角度またはビューを提供し得る。

【0211】

複数のカメラを有する１以上の実施形態において、コンピュータは、事象と関連づけられた１組の候補のビデオから、特定のビデオを選択し得る。選択されるビデオは、事象の、様々な可能な基準に基づく最良のまたは最も完全な画面であり得る。一部の実施形態では、コンピュータは、各ビデオの画像解析を用いて最良の選択を決定し得る。例えば、一部の実施形態は、画像解析を用いて、どのビデオが、注目される用具または人々が最も隠れていないまたは最も明瞭に見える最も完全なビデオであるかを決定し得る。一部の実施形態では、この画像解析は、ビデオのキャプチャ中のカメラの揺れの程度の解析、および最も安定した画像を有するビデオの選択を含み得る。図２１は、この処理の一実施形態を示す。モーションキャプチャ要素１１１は、カメラ１０３ａおよび１０３ｂによって記録された事象を示している。コンピュータ１０５は、両方のカメラからビデオを読み出す。カメラ１０３ｂは、事象が生じている間の揺れ２１０１を有する。揺れが最も少ないビデオを決定するために、コンピュータ１０５は、各ビデオについてのフレーム間差分を算出する。例えば、この差分は、全画素にわたる各画素のＲＧＢ値の差分の絶対値の合計を含み得る。この結果、カメラ１０３ｂについてはフレーム間差分２１１１、カメラ１０３ａについてはフレーム間差分２１１０が算出される。事象が生じると、両方のビデオにおいてフレーム間差分が増加するが、揺れの増加により、一貫して２１１１の方がより高い。従って、コンピュータは、処理２１２０においてビデオ２１１０を自動的に選択できる。一部の実施形態では、ユーザ２１３０は、好ましいビデオを選択してもよく、または、ユーザは、最も重要な基準を指定することによって、コンピュータが選択を行うのを補助してもよい。

【0212】

本発明の１以上の実施形態において、コンピュータは、事象の開始の通知を取得または生成し、次に、その時点から事象の終了まで、事象データおよびモーション解析データをモニタリングし得る。例えば、モーションキャプチャ要素と関連づけられたマイクロコントローラは、事象が開始したら、事象データを周期的にコンピュータに送ってもよく、コンピュータは、このデータを用いて、事象が生じた際に事象をモニタリングできる。一部の実施形態では、このモニタリングデータは、その事象についてのビデオを記録可能なカメラに、制御メッセージを送るために用いられ得る。複数のカメラを有する実施形態では、制御メッセージは、事象が生じている間に、１組のカメラに同報または送信されてもよい。少なくとも１つの実施形態において、コンピュータは、少なくとも１つのカメラに、コンピュータに対してローカルなまたはコンピュータに対して外部的な制御メッセージを送信し得る。

【0213】

一部の実施形態では、１または複数のカメラに送られるこれらの制御メッセージは、事象と関連づけられたデータ（モーション解析データを含む）に基づいて、少なくとも１つのビデオのビデオ記録パラメータを修正し得る。図２２は、この処理の一実施形態を示す。モーションキャプチャセンサ１１１は、モーションデータをコンピュータ１０５に送信し、コンピュータ１０５は、制御メッセージをカメラ１０３に送る。図示されている例では、用具１１０は、事象が生じる前にはまず静止している。コンピュータは、アクティブな事象が生じていないことを検出し、カメラに、記録をオフにして、事象が生じるまで待機するよう指示するメッセージ２２１０を送る。モーション２２０１が開始し、コンピュータが事象の開始を検出すると、コンピュータはカメラに、記録をオンにするようメッセージ２２１１を送り、カメラは通常レートでのビデオフレーム２３２１の記録を開始する。２２０２においてモーションが急激に増加して、コンピュータが高い速度を検出すると、コンピュータはカメラに、高速事象をキャプチャするためにフレームレートを上げるようメッセージ２２１２を送る。カメラは、高いレートでビデオフレーム２３２２を生成する。急激なモーションが生じている間にはより高いフレームレートを用いることにより、ユーザは、再生中に、高モーション事象を詳細に観察するために、モーションの速度を遅くすることが可能になる。２２０３において、事象が完了し、コンピュータはカメラに、記録を停止するようメッセージ２２１３を送る。これは、事象間におけるカメラの電力およびビデオメモリを節約する。

【0214】

より一般的には、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに応答して、任意の関連するビデオ記録パラメータを修正するために、１または複数のカメラに制御メッセージを送り得る。これらの記録パラメータは、例えば、ビデオのフレームレート、解像度、色深度、色またはグレースケール、圧縮方法、および圧縮品質、並びに記録のオンまたはオフを含み得る。

【0215】

本発明の１以上の実施形態において、コンピュータは、例えばユーザから、サウンドトラックを受け入れて、このサウンドトラックを、同期された事象ビデオに統合し得る。この統合は、例えば、事象ビデオまたはハイライトリールまたは失敗リールの再生中に、音声サウンドトラックを追加するものである。一部の実施形態は、事象データまたはモーション解析データを用いて、同期された事象ビデオにサウンドトラックをコンピュータによって自動的に統合し得る。例えば、一部の実施形態は、サウンドトラックを解析し、例えば、音声の振幅が高い時点に基づいて、サウンドトラックのビートを決定し得る。次に、事象データまたはモーション解析データを用いて、サウンドトラックのビートが事象と同期され得る。例えば、そのような技術は、ユーザまたはオブジェクトのモーションが増減するにつれて、サウンドトラックの速度を自動的に増減し得る。これらの技術は、事象と関連づけられた聴覚的および視覚的キューを有する豊かなメディア経験を提供する。

【0216】

１以上の実施形態において、コンピュータは、同期された事象ビデオを１以上のディスプレイ上で再生し得る。これらのディスプレイは、コンピュータに直接取り付けられていてもよく、または、他のリモートの装置上にあってもよい。コンピュータは、事象データまたはモーション解析データを用いて、様々な効果を追加または変更するために再生を修正し得る。これらの修正は、再生中に複数回、または再生中に事象データが変化するにつれて連続的に生じ得る。

【0217】

一例として、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに基づいて、同期された事象ビデオの再生速度を修正し得る。例えば、低モーション期間中には再生は通常速度で行われ、一方、高モーション期間中には、モーションの詳細をハイライトするために、再生はスローモーションに切り替わってもよい。再生速度の修正は、事象またはモーションの任意の観察または算出された特性に基づいて行われ得る。例えば、事象データは、例えばボールの打撃、ジャンプの開始もしくは終了、または他の任意の興味深い瞬間等の、特定の注目されるサブ事象を識別し得る。コンピュータは、同期された事象ビデオがこれらのサブ事象に近づいた際に、再生速度を下げるよう再生速度を修正し得る。この速度の減速は、サブ事象を詳細にハイライトするために連続的に増され得る。また、再生はサブ事象において停止されて、ユーザからの入力を待って継続してもよい。また、再生速度の減速は、モーション解析データまたは事象データからの１以上の測定指標の値にも基づき得る。例えば、モーション解析データは、動いている野球のバットまたはゴルフクラブの速度を示してもよく、再生速度は、そのようなオブジェクトの速度が増すにつれ、より遅くなるように、連続的に調節されてもよい。再生速度は、そのような測定指標のピーク値付近では非常に遅くされ得る。

【0218】

図２３は、モーションデータを用いた可変速度再生の一実施形態を示す。モーションキャプチャ要素１１１は、ｘ軸１５０１上の直線加速度を含むモーションセンサ情報を記録する。（一般的に、多くの更なるセンサ値も記録され得るが、この例では簡潔のために単一の軸を用いる。）事象閾値２３０１は、ｘ軸の直線加速度がこの閾値を超えた際の注目される事象を定義する。１５０２および１５０３において事象が検出される。事象１５０２は２３０２において開始し、２３０３において完了する。再生に際しては、事象間においては通常の再生速度２３１０が用いられる。事象１５０２の開始が近づくと、ユーザが事前事象モーションをより詳細に観察できるように、２３１１で再生速度の減速が開始される。事象が生じている間、２３１３において再生速度は非常に遅くなる。２３０３における事象の終了後、再生速度は２３１２において通常速度に戻るよう徐々に上げられる。

【0219】

他の実施形態では、再生速度に限定されない他の再生特性の修正が行われ得る。例えば、コンピュータは、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、またはグラフィックオーバーレイもしくは境界線の使用のうちのいずれかまたは全てを修正し得る。これらの修正は、モーション解析データ、事象データ、サブ事象、または同期された事象ビデオの他の任意の特性に基づいて行われ得る。一例として、再生が注目されるサブ事象に近づくと、点滅する特殊効果が加えられてもよく、ビデオ中の注目されるオブジェクト（例えば、用具によって打たれるところのボール等）の周囲に境界線が追加されてもよい。

【0220】

サウンドトラックを含む実施形態では、再生特性の修正は、サウンドトラックの再生特性の修正を含み得る。例えばそのような修正は、サウンドトラックの音量、テンポ、音質、または音声特殊効果の修正を含み得る。例えば、再生が注目されるサブ事象に近づくと、サブ事象をハイライトするため、および再生を視聴しているユーザによりダイナミックな経験を提供するために、サウンドトラックの音量およびテンポが高められ得る。

【0221】

本発明の１以上の実施形態において、コンピュータは、事象データまたはモーション解析データを用いて、ビデオストリームまたは記録されたビデオの一部分のみを選択的に保存し得る。これは図１９に示されており、事前事象部分１９０２および事後事象部分１９０３を伴う事象ビデオ１９０１のみを保存するために、ビデオ部分１９１０および１９１１が捨てられる。そのような技術は、注目される事象に焦点を当てることにより、ビデオストレージの要求を劇的に低減できる。一部の実施形態では、コンピュータは、事象が進行している間、モーションキャプチャセンサへの開いた通信リンクを有し得る。次に、コンピュータは、事象の開始の通知を受信または生成し、その時にビデオの保存を開始し、事象の終了の通知を受信または生成するまで、ビデオの保存を継続し得る。また、図２２に示されているように、コンピュータは、事象が生じている間、１または複数のカメラに、カメラ上におけるビデオの保存を開始および終了するための制御メッセージを送り得る。

【0222】

他の実施形態では、コンピュータは、事象を通して開いているライブの通信リンクを介してではなく、事象の完了後にビデオおよび事象データを保存または受信し得る。これらの実施形態では、コンピュータは、注目される事象以外のビデオの部分を捨てるために、保存されているビデオを間引くことができる。例えば、サーバコンピュータ１５２は、ビデオおよび事象データの両方のリポジトリとして用いられ得る。サーバは、アップロード後に事象データとビデオとを相関させ、保存されたビデオを、事象データによって示される注目される時間フレームのみに間引いてもよい。

【0223】

１以上の実施形態において、コンピュータは、ビデオと事象データおよびモーション解析データとの同期を補助するために、ビデオの画像解析を用い得る。例えば、モーション解析データは、例えば、野球またはゴルフボールのようなボールの打撃に由来する、またはスケートボードのジャンプ後の着地に由来する、（例えば、加速度計を用いて検出された）強い物理的衝撃を示し得る。コンピュータは、ビデオの画像を解析して、この衝撃が生じているフレームの位置を求め得る。例えば、ゴルフボールを記録しているビデオは、画像解析を用いて、ビデオストリーム内におけるボールが移動を開始したときを検出してもよく、ゴルフボールのモーションを有する第１のフレームがクラブによるインパクト後の第１のフレームであり、これを、対応するモーション解析データ内の衝撃と同期させることができる。これは図２４に示されており、ビデオの画像解析はゴルフボール２４０１を識別している。この例ではインパクトフレーム３４として示されている、ボール２４０１が移動を開始するフレームは、モーション解析データ内の衝突の衝撃を示している特定の点と合致させることができる。これらのビデオおよびモーションデータフレームはキーフレームとして用いることができ、これらのキーフレームから、事象の開始および終了に最も密接に対応するビデオフレームを導き出すことができる。

【0224】

１以上の実施形態において、コンピュータは、ビデオの画像解析を用いて、ビデオ中のオブジェクトから測定指標を生成し得る。この測定指標は、例えば、オブジェクトのモーションの何らかの態様を測定し得る。画像解析から得られたそのような測定指標は、モーションセンサからのデータのモーション解析から取得された測定指標に加えて、またはそれに関連して用いられ得る。一部の実施形態では、画像解析は、注目されるオブジェクトと関連づけられた画素の位置を求めるための当該技術分野で知られている幾つかの技術のうちの任意のものを用い得る。例えば、或るオブジェクトは、特定の色、テクスチャ、または形状を有することが既知であり得、それらの特性が、ビデオフレーム内におけるそのオブジェクトの位置を求めるために用いられ得る。一例として、ゴルフボールは、ほぼ丸く、白く、ボールの材質と関連づけられたテクスチャを有することが既知であり得る。画像解析は、これらの特性を用いて、ビデオフレーム内におけるゴルフボールの位置を求めることができる。複数のビデオフレームを用いて、ゴルフボールのおおよその速度および回転が算出され得る。例えば、静止したまたはほぼ静止したカメラを想定すると、三次元空間内におけるゴルフボールの位置を、ビデオフレーム内におけるボールの位置に基づいて、およびそのサイズに基づいて推定できる。フレーム内における位置は、画像平面上におけるボールの位置の投影を与え、サイズは、カメラに対して相対的なボールの深度を与える。複数のフレーム内におけるボールの位置を用いることにより、およびフレーム間の時間差を与えるフレームレートを用いることにより、ボールの速度を推定できる。

【0225】

図２４は、この処理を示しており、ゴルフボールはフレーム２４０３内の位置２４０１、およびフレーム２４０４内の位置２４０２にある。ゴルフボールは、カメラからのボールの距離およびボールの回転を測定するために用いることができるアイコンを有する。ボールの速度は、フレーム間の移動距離およびフレーム間の時間差を用いて算出できる。単純な例として、ボールのサイズがフレーム間で知覚可能に変化する場合には、カメラの視野およびボールの見かけのサイズを用いて、ボールの位置２４０２と位置２４０１との間の画素の差を、そのまま距離に換算できる。この例に示されているフレームの差は２フレーム（フレーム３９からフレーム４１まで）であり、これはカメラのフレームレートに基づいて時間に換算できる。次に、時間に対する距離の比率として速度を算出できる。

【0226】

１以上の実施形態において、コンピュータは、以前に格納された事象データまたはモーション解析データにアクセスして、新たな事象と１以上の以前の事象との比較を表示し得る。これらの比較は、同じユーザおよび同じ用具についての経時的な比較、または異なるユーザ間および異なる用具間の比較であり得る。これらの比較は、ユーザに、ユーザのパフォーマンスの変化についてのフィードバックを与えることができ、他のユーザまたは用具の他のタイプまたはモデルのユーザと比較したベンチマークを設けることができる。一例として、図１Ｄは、ユーザ１５０および１５２と関連づけられた事象データを受信する装置１０１を示している。このデータは、表示および比較のためにコンピュータ１０５に送信される。ユーザ１５１は、ユーザ１５０および１５２のパフォーマンスを比較でき、各ユーザのパフォーマンスを経時的に追跡できる。

【0227】

図１Ｆおよび図１Ｇは、拡張されたモーションデータを有する画像を同報するのを可能にするシステムの実施形態を示しており、このシステムは、少なくとも１つのモーションキャプチャ要素１１１と関連づけられたまたは別様で含む画像を受信するよう構成された少なくとも１つのカメラ１０３、１０４と、コンピュータ１４０と、少なくとも１つのモーションキャプチャ要素からモーションキャプチャデータを受信するよう構成された無線通信インターフェース１０６とを含む。１以上の実施形態において、コンピュータ１４０は、無線通信インターフェース１０６および少なくとも１つのカメラと結合されており、例えば図１Ｆ、および図１Ｇの１１９１に示されるように、コンピュータ１４０は、少なくとも１つのモーションキャプチャ要素１１１に対する通信リンクが利用可能になり、情報を受信できるようになった後、モーションキャプチャデータを受信するよう構成される。また、複数の実施形態は、図１Ｇの１１９２において、図１に示されているような少なくとも１つのモーションキャプチャ要素１１１から、図１Ｆに示されているように、事象の後にモーションキャプチャデータを受信するか、または、モーションキャプチャデータを周期的に要求し得る。これは、システムが通信リンクの停止状態に耐えることを可能にすると共に、例えば、後で適切な時に（例えば、モーションキャプチャ要素が無線受信器の範囲内に入ってから）ビデオとモーションキャプチャデータとを時間的に同期させることも可能にする。複数の実施形態は、例えば、１人のユーザ１５０もしくは複数のユーザ１５０、１５１、１５２からの、またはそれらの両方からの、少なくとも１つのモーションキャプチャ要素１１１からのモーションキャプチャデータを受信し得る。また、１以上の実施形態は、図１Ｇの１１９３において、ユーザ１５０または用具１１０と関連づけられた少なくとも１つのモーションキャプチャ要素１１１を認識して、少なくとも１つのモーションキャプチャ要素１１１を、ユーザ１５０または用具１１０上の割り当てられた位置と関連づけ得る。例えば、ユーザがモーション事象（例えば、スイング、打撃、攻撃、または他の任意のタイプのモーション関連アクティビティ等）を行った際、システムは、そのモーション事象を、ユーザまたは用具（例えば、ゴルフクラブ、ラケット、バット、グローブ、または他の任意のオブジェクト等）上の位置と関連づけて、その少なくとも１つのモーションキャプチャ要素を認識または識別できる。また、複数の実施形態は、図１Ｇの１１９４において、無線通信インターフェースを介して、少なくとも１つのモーションキャプチャ要素１１１と関連づけられたデータを受信し得ると共に、図１Ｇの１１９５において、少なくとも１つのカメラ１０３、１０４から、モーションキャプチャ要素と関連づけられたユーザの１以上の画像を受信し得る。そのようなデータおよび画像は、例えば、システムが、ユーザ、用具、および事象と関連づけられた一連の情報を取得すること、並びに／または、そこから様々なパフォーマンス要素を出力することを可能にする。また、１以上の実施形態は、図１Ｇの１１９６において、データを解析して、モーション解析データを構成し得る。モーション解析データは、例えば、システムが、コンピュータパフォーマンス情報を取得すること、および／または、ユーザ、視聴者、コーチ、審判、ネットワーク、およびそのような情報を受信可能な他の任意の要素に対して出力すること（例えば、同報すること）を可能にする。例えば、モーション解析データは、モーション関連の定量的なデータを、グラフィックで、または他の容易に理解可能な閲覧形式で示すことにより、そのデータを（例えば、加速度データの純粋な数値リストと比べて）ユーザがより理解可能なものとし得る。例えば、図１Ｇに示されるように、本発明の実施形態は、１１９７において、モーション解析データと関連づけられた、ユーザの１以上の画像のうちの少なくとも１つの上の三次元オーバーレイ、ユーザの１以上の画像のうちの少なくとも１つの上のレーティング、ユーザの１以上の画像のうちの少なくとも１つの上の少なくとも１つの力率値、ユーザの１以上の画像のうちの少なくとも１つの上の算出されたボール飛行経路、ユーザの１以上の画像のうちの少なくとも１つの上の、時間軸に沿ったピーク値が生じた時点を示すタイムライン、ユーザの１以上の画像のうちの少なくとも１つの上の、用具上のボールのインパクト位置、ユーザの１以上の画像のうちの少なくとも１つの上の、通常速度のユーザの周囲から様々な角度で示されるユーザのスローモーション表示、またはそれらの任意の組合せを描き得る。また、１以上の実施形態は、１１９８で、画像を複数のディスプレイ装置（テレビ１４３、モバイル装置１０１、１０２、１０２ａ、１０２ｂ、コンピュータ１０５を含む）に、および／またはインターネット１７１に同報し得る。例えば、複数のディスプレイ装置は、テレビ、モバイル装置、もしくはテレビおよびモバイル装置の両方の組合せ、または画像を表示するよう構成された他の任意の装置を含み得る。

【0228】

図１Ｈは、コンピュータ上で生じる処理の実施形態を示す。１以上の実施形態において、アプリケーションは、１１８１において、第１のユーザに、モーションキャプチャセンサを第１の位置へと移動するよう促し、第１の位置にあるモーションキャプチャセンサからの第１のモーションキャプチャデータを無線通信インターフェースを介して受け付け、１１８２において、第１のユーザに、モーションキャプチャセンサを第２の位置へと移動するまたは回転させるよう促し、第２の位置にあるモーションキャプチャセンサからの第２のモーションキャプチャデータまたは回転を無線通信インターフェースを介して受け付け、１１８３において、第１および第２のモーションキャプチャデータに基づいて、第１の位置と第２の位置または回転間の距離または回転を算出するよう構成される。距離は、第１のユーザの身長、腕の長さ、胴の長さ、脚の長さ、手首から床までの測定値、手のサイズもしくは最も長い指のサイズまたは手のサイズおよび最も長い指のサイズの両方、それらの任意の組合せ、或いは第１のユーザと関連づけられた他の任意の寸法もしくは長さを含み得る。距離は、モーションキャプチャセンサにおいて用いられる内部センサのタイプに応じて、位置の差分によって、速度を積分することによって、加速度を二重積分することによって、または生じた距離もしくは回転の量を決定する他の任意の方法で算出され得ることが、当業者には認識されよう。例えば、本発明の実施形態は、ユーザに、モーションキャプチャセンサをユーザの手中に保持して、その手をユーザの頭の上に保持するよう促し、次に、ユーザに、センサを地面に置くよう促し、それらの間の距離、即ち、ユーザの身長を算出し得る。別の例では、システムは、ユーザに、例えば、センサをゴルフクラブから外した後にセンサを手中に保持するよう促し、次に、ユーザに、センサを地面に置くよう促し得る。次に、システムは、「手首から床までの測定値」としての距離を算出する（これは、例えば、ゴルフクラブのサイズ合わせで通常用いられる）。また、システムの実施形態は、（例えば、屈曲、伸張、外転、内転、外旋、内旋等による）モーションの範囲を算出するために、ユーザに、センサを、ユーザ側から様々な位置または回転値まで移動する（例えば、様々な位置においてまたは様々な位置を通ってセンサを回転させる）よう促し得る。これらの特徴、寸法、距離、長さ、または他のパラメータのうちの任意のものが、図１Ｂに示されているテーブル１８０ａに格納され、特定のユーザと関連づけられ得る。１以上の実施形態において、アプリケーションは、１１８４において、第１のユーザに、モーションキャプチャセンサを用具に結合するよう促し、１１８５において、第１のユーザに、用具を、或る動きで（例えば、特定のスポーツをプレイする際のまたはスポーツ用具と関連づけられた特定の動きを行う際に意図される速度で）移動するよう促すよう更に構成される。アプリケーションは、モーションキャプチャセンサからのその動きについての第３のモーションキャプチャデータを無線通信インターフェースを介して受け付け、１１８６において、第３のモーションキャプチャデータに基づいて、その動きについての速度を算出するよう更に構成される。１以上の実施形態において、アプリケーションは、１１８７において、複数の他のユーザに関する、第１のユーザについての距離および速度間の相関を算出し、他のユーザと関連づけられた最適にフィットするまたは最適なサイズの用具と関連づけられた情報を提示するよう構成される。例えば、システムは、第１のユーザに対して特定の範囲内における（例えば、第１のユーザの少なくとも距離および速度との）最大値の相関または相関を有する第２のユーザを選択し得る。次に、システムは、最も近いパラメータのユーザを検索して、最大または最小のパフォーマンス、スコア、または打撃距離等を有するユーザを選択し、ユーザに提示するための用具のメーカー／モデルを選択し得る。例えば、そのようなアルゴリズムの１つは、類似のサイズ／モーションの範囲／速度のユーザと関連づけられた、スコアが最も低いゴルフシャフトまたは最も打撃距離が長い野球のバットのメーカーおよびモデルのリストを提供し得る。このユーザの実施形態は、相関の計算において、例えば、モーションを通したユーザの速度、モーションを通した用具の速度、またはそれらの両方を用い得る。１１８８において、最良のパフォーマンスの用具のメーカー／モデル、およびサイズに関する情報がユーザに提示される。

【0229】

１以上の実施形態において、モーションキャプチャ要素と結合されたマイクロコントローラは、事象データのキャプチャを調和させるために、他のモーションキャプチャセンサと通信し得る。マイクロコントローラは、別のモーションキャプチャセンサに、その別のセンサも事象データをキャプチャするようトリガするために、事象の開始の通知を送信し得る。その別のセンサは、データを後でアップロードするためにローカルに保存してもよく、または、その事象が生じている間に、その事象データを、開いている通信リンクを介してコンピュータに送信してもよい。これらの技術は、１つのセンサがマスターとして動作して、スレーブセンサのネットワークを調和させることができる、一種のマスタースレーブアーキテクチャを提供する。

【0230】

本発明の１以上の実施形態において、コンピュータは、事象データを用いて、事象のビデオをキャプチャ可能なまたはキャプチャしている可能性があるカメラを見出し得る。そのようなカメラは、事象の位置の近位にある必要があり、事象を見るための正しい方向に向いている必要がある。一部のシステムでは、カメラの数、位置、および向きが予めわかっておらず、動的に決定しなければならない。事象が生じた際、事象データを受信したコンピュータは、事象の付近にある、または事象を見るよう向けられている任意のカメラに、要求を同報し得る。この要求は、カメラに、例えば、事象ビデオを記録するよう、および事象ビデオを保存するよう指示し得る。次に、コンピュータは、事象が生じた後に、これらの近位の正しい向きのカメラからのビデオを要求し得る。これは図１に示されており、コンピュータ１６０は、モーションキャプチャ要素１１１から、事象開始の通知を受信し得る。コンピュータ１６０は、付近にある全てのカメラ（例えば１０３、１０４、１３０、１３０ａ、および１３０ｂ等）に要求を同報し得る。一例として、カメラ１０３および１３０は、事象の近位において事象を正しく見るよう向けられているので、ビデオを記録する。カメラ１０４は遠過ぎ、カメラ１３０ａおよび１３０ｂは十分に近いが、事象の方を向いていないので、これらのカメラはビデオを記録しない。

【0231】

一部の実施形態では、１以上のコンピュータ（例えばサーバ１５２またはクラウドサービス等）上で１以上のビデオを入手可能であり、それらは後で事象データと相関され得る。これらの実施形態では、コンピュータ（例えば１５２等）は、事象を見るための正しい位置および向きにあった、格納されているビデオを探す。次に、コンピュータは、適切なビデオを読み出して、それらを事象データと組み合わせて、複数の位置および角度からのビデオを有する事象の合成画面を構成し得る。

【0232】

１以上の実施形態において、モーションキャプチャセンサに加えて、他のセンサ（例えば、少なくとも１つの他のセンサ等）が事象の近位に配置され、事象と関連づけられた他の有用なデータを提供し得る場合には、コンピュータは、これらの他のセンサからのセンサ値を取得し得る。例えば、そのような他のセンサは、温度、湿度、風、高度、光、音、および（心拍または心拍数のような）生理学的測定指標の様々な組合せを感知し得る。コンピュータは、事象開始から事象停止までの期間中の事象の拡張された記録を生成するために、これらの他の値を読み出して、またはローカルにキャプチャして、それらを、例えば事象データおよびモーション解析データと共に保存し得る。１以上の実施形態において、マイクロプロセッサ、コンピュータ、またはそれらの両方によって、検出、モニタリング、および解析される事象のタイプは、ユーザ、用具、またはモバイル装置についての様々なタイプの重要なモーション事象を含み得る。これらの重要な事象は、重篤なまたは緊急の医学的状態または健康の指標を含み得る。そのような事象のタイプの一部は、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸を示すモーションを含み得る。これらの事象のタイプの組合せも、検出、モニタリング、または解析され得る。

【0233】

１以上の実施形態において、図１のコンピュータ１６０は、例えば、モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、テーブルコンピュータ、デスクトップコンピュータ、またはサーバコンピュータを含むがそれらに限定されない任意の装置に埋め込まれ得る。１以上のセンサまたは１以上のカメラからのデータを受信して、このデータを処理し得る任意の装置が、コンピュータ１６０として機能し得る。１以上の実施形態において、コンピュータ１６０は、幾つかの装置に埋め込まれた構成要素を有する分散型システムであり得、これらの構成要素は、コンピュータの機能を実施するために通信およびやりとりを行う。これらの構成要素は、上記に挙げた装置を含む任意の組合せの装置であり得る。例えば、１以上の実施形態において、コンピュータ１６０は、携帯電話とサーバコンピュータとの組合せを含み得るものであり、この場合、携帯電話がまずセンサデータを受信し、事象を検出し、モーション解析のために事象データをサーバコンピュータに転送する。複数の実施形態は、コンピュータ１６０の機能を実装するために、任意の所望の方法で、複数の装置にわたる分散処理を用い得る。更に、１以上の実施形態において、コンピュータ１６０、またはコンピュータ１６０の一部は、システムの他の要素に埋め込まれ得る。例えば、コンピュータ１６０は、カメラ１０４のようなカメラの１つに埋め込まれ得る。１以上の実施形態において、コンピュータ１６０、モーションキャプチャ要素１１１、およびカメラ１０４の全ては物理的に単一の装置に統合されてもよく、データを交換するためにローカルバス通信を用いて通信してもよい。例えば、１以上の実施形態では、コンピュータ１６０、モーションキャプチャ要素１１１、およびカメラ１０４が組み合わされて、事象を認識してモーションを解析できるコンピュータ制御の自動モーション感知カメラが構成され得る。そのようなコンピュータ制御の自動モーション感知カメラは、例えば、ヘルメット、ゴーグル、スポーツ用具、または他の任意の用具上に取り付けられ得る。１以上の実施形態において、コンピュータ１６０は、事象検出およびモーション解析を実装するよう協働する複数のプロセッサを含み得る。例えば、１以上の実施形態は、モーションキャプチャ要素およびプロセッサが統合されたカメラを含み得るものであり、カメラはビデオをキャプチャし、モーションキャプチャ要素はモーションを測定し、プロセッサは事象を検出する。次に、事象を検出するプロセッサは、例えば、同期された事象ビデオを生成し、この同期された事象ビデオをモバイル装置（例えば、１２０等）およびデータベース（例えば、１７２等）に転送し、同期された事象ビデオと関連づけられた事象時間フレーム外のカメラ１０４からのビデオを捨て得る。モバイル装置１２０は、例えば、同期された事象ビデオを受信し、必要に応じて同期された事象ビデオを更に解析し、それをモバイル装置の画面上に表示する別のプロセッサを含み得る。

【0234】

少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素１１１は、モーションキャプチャ要素マウント、モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、サーバコンピュータ、またはそれらの任意の組合せの内部に収容され得る。

【0235】

１以上の実施形態において、モーションキャプチャ要素１１１は、事象を検出するために、任意のセンサまたはセンサの組合せを用い得る。例えば、１以上の実施形態において、モーションキャプチャ１１１は、加速度計を含んでもまたは収容してもよく、事象の認識は、例えば、加速度計の値を閾値と比較することを含み得る。ここで、高い加速度値は、モーションキャプチャ要素に作用する高い力に対応し得るので、対象の事象を示し得る。例えば、アスリートのモーションをモニタリングするために用いられる実施形態では、高い加速度値は、モーションの速度または方向の急速な変化に対応し得るものであり、一部の実施形態では、これらの変化は主要な対象事象であり得る。高い加速度の期間中にキャプチャされたビデオは、例えば、ハイライトリールまたは失敗リールのために選択され、他のビデオは捨てられ得る。加速度計を含む１以上の実施形態において、事象の認識は、加速度の経時的な変化を閾値と比較することを含み得る。ここで、指定された時間間隔内における急速な変化は、例えば、所望の事象に対応する衝撃もしくはインパクト、または他の急速な動きを示し得る。

【0236】

１以上の実施形態において、センサデータおよび事象データのモーション解析は、モーションを最適なモーション軌道と比較することを含み得る。そのような最適なモーション軌道は、例えば、モーションの結果の位置、速度、または他の特徴を達成するための最も効率的な経路を表し得る。一例として、図２５は、野球のバットのスイングを測定して解析するシステムの実施形態を示す。野球のスイングについての対象のモーション変数は、バットの経時的な速度である。この速度は、典型的には、スイングの開始においては低く、野球ボールとのインパクト点まで急速に増加する。他の実施形態は、例えば、これらの量からまたはセンサデータから得られる位置、加速度、向き、角速度、角加速度、または任意の値等であるが、それらに限定されない、異なる対象のモーション変数を用い得る。図２５に示されている例では、モーションキャプチャ要素は、特定のスイングについてのバットの経時的な速度についての実際の軌道２５０１を測定する。ここで、始点２５０２はスイングの開始であり、終点２５０３は野球ボールとのインパクト点である。このスイングは、バット速度のピークがインパクト点２５０３より前にあるので、非効率であると見なされ得る。従って、例えば、バッターは、バットを加速させるのが早過ぎ、そのトップスピードを維持できないことにより、エネルギーを無駄にし得る。１以上の実施形態において、システムは、始点２５０２から終点２５０３までの最適な経路を表す最適な軌道２５２０を識別または選択し、最適な軌道２５２０と実際の軌道２５０１との間の比較２５３０を生成し得る。最適さについての１または複数の基準は、複数の実施形態にわたって様々であり得る。例えば、図２５に示されている実施形態では、最適さの基準は、スイングの所望の終点を達成するために、用いるエネルギー量が最小であるという意味での、最大効率であり得る。他の実施形態は、他の基準（例えば、最短時間、特定の関節にかかる応力が最小であること、または最適さについての他の任意の基準等）を用い得る。

【0237】

１以上の実施形態は、そのモーションを生じたアクションの力学的モデル２５１０から、最適な軌道２５２０を決定し得る。図２５に示されている例では、力学的モデル２５１０は、例えば、バッターおよびバットで構成される系の生体力学モデルであり得、そのようなモデルは、例えばバッターの関節、筋肉、およびエネルギーソースをモデリングし得る。最適な軌道は、例えば、対象の１または複数の量を最大化する軌道を見出すために、力学的モデルを最適化することによって算出され得る。そのような手法を説明するために、例えば、軌道ｘ（ｔ）上を進む野球のバットのスイングの簡略化した一次元モデルを考える。バッターは、質量ｍを有するバットに力ｆ（ｔ）を加え、生体力学モデルは、例えば、ユーザの筋肉および関節における張力および抵抗に基づいて、バットにかかる更なる力を指定する。更なる力は、例えば、何らかの生体力学関数Ｂについて、

【0238】

【数1】

【0239】

としてモデリングされ得る。説明のために、バットは位置ｘ（０）＝ｘ_０において初期速度ｖ（０）＝０で開始し、ボールと接触するために、軌道は１秒間で完了して、最終的な位置ｘ（１）＝ｘ_１に到達しなければならないものとする。また、最終的な速度ｖ（１）＝ｖ_１は所与とする。バットの軌道は、以下の微分方程式を満たす。

【0240】

【数2】

【0241】

力ｆ（ｔ）は、バットの軌道を決定する。最適な軌道を決定するために、説明のために、対象の量は、スイング中にバッターが使うエネルギーの量であるものとし、これは量

【0242】

【数3】

【0243】

であり、最適な軌道は、エネルギーＥを最小化する軌道であるものとする。更に、最適な軌道は、ｘ（１）＝ｘ_１，ｖ（１）＝ｖ_１の制約を満たさなければならない。この時点で、最適な軌道を見出す問題が完全に指定された。当業者には自明であるように、最適な軌道の解を求めることは、最適制御理論における古典的問題であり、１以上の実施形態では、最適制御理論の技術のうちの任意のものを用いて、対象のオブジェクトのモデルから最適な軌道が決定され得る。

【0244】

１以上の実施形態は、何らかの対象の量に対して効率が高いまたは高いスコアを有する軌道を識別するためにデータベース１７２を解析することによって、最適な軌道２５２０を決定し得る。最適な軌道は、データベース内の効率が高い軌道から選択されてもよく、または、例えば、効率が高い軌道を近似するための回帰モデルもしくは他のパラメトリックモデルを用いて、これらの効率が高い軌道からモデルが構築されてもよい。

【0245】

２５３０において、最適な軌道２５２０は実際の軌道２５０３と比較される（その前に、最適な軌道は、実際の軌道と同じ始点２５０２および終点２５０３を有するよう変換され得る）。次に、その比較から、実際の軌道が最適な軌道にどの程度緊密に対応しているかを表す効率測定指標（または他の測定指標）が算出され得る。例えば、図２５に示されている実施形態では、２つの軌道間の相関係数２５４０（ρ（実際，最適）で示される）が算出され、この相関係数は、実際の軌道についての効率測定指標として用いられる（理想的な軌道は１．０の相関２５４１を有する）。複数の実施形態は、任意の所望の測定指標を用いて、最適な軌道に対する実際の軌道の類似度を測定し得る。

【0246】

１以上の実施形態において、対象のモーション変数は、例えば、対象のオブジェクトの位置の軌道であり得る。一例として、ゴルフに適用される実施形態では、ゴルフボールが打たれた後のゴルフボールの軌道が対象の軌道である。野球に適用される実施形態では、例えば、野球ボールが打たれた後の野球ボールの軌道が対象の軌道である。

【0247】

１以上の実施形態において、対象のオブジェクトについての望ましい軌道は既知であるか、または推定され得る。例えば、ゴルフのスイングを測定する実施形態では、ゴルフボールについての望ましい軌道はホールに向かう軌道である。例えば野球では、バッターによって打たれた野球ボールについての望ましい軌道は、野球ボールがフェアゾーンに深く打たれる軌道であり得る。１以上の実施形態は、ビデオ解析、センサデータ、またはそれらの両方を用いて、対象のオブジェクトの実際の軌道を測定し、この実際の軌道を望ましい軌道と比較する。この比較は、オブジェクトについてのモーション測定指標を生成する。更に、１以上の実施形態は、観察された軌道を生じた初期条件を測定し得る。例えば、ゴルフでは、ボールとのインパクトの時間におけるクラブのヘッドの向き、位置、および速が、その後のボール軌道を決定する。同様に、野球では、ボールとのインパクトの時間におけるバットの向き、位置、および速度が（ピッチャーによって投げられたボールの速度および回転と共に）、その後のボール軌道を決定する。これらの初期条件は、センサデータ、ビデオ解析、またはそれらの両方を用いて、モーション測定指標としても測定され得る。１以上の実施形態は、更に、観察された軌道の代わりに望ましい軌道を生じるためにこれらの初期条件に必要な変更を算出して、これらの変更を更なるモーション測定指標として報告し得る。図２６は、パッティングを測定する実施形態での例を示す。パターは、グリップ上に、パターのモーションを測定するセンサ１１１を有する。更に、ビデオカメラ１０４は、打撃後のボールの軌道を記録する。ボールについての望ましい軌道２６２３は、ホール２６０２内へと向かう軌道である。この例では、ボール２６００は或る角度で打たれ、実際の軌道２６２２上を進み、２６０１において止まる。この軌道はカメラ１０４によって観察され、解析モジュール２６２１によって解析される。得られるモーション測定指標２６３０および２６４０は、そのパッティングに関するフィードバックをゴルファーに提供する。測定指標２６３０は、パター上のセンサから算出される。測定指標２６３０は、例えば、インパクトにおけるパターの速度が３ｍｐｈ（約時速４．８３ｋｍ）であったこと、および、バックストロークからフォワードストロークまでにパターフェースが右に１度回転したことを示す。軌道２６２２の解析は、ボールをホール内に入れるためにパッティングに必要な補正が、狙いを左に５度ずらし、パター速度を１０％増加させることであることを決定する。軌道を望ましい軌道に変えるために必要な初期条件の変更の解析は、例えば、軌道に影響し得る他の任意の要因（例えば、このケースでは、パッティンググリーンの速度または勾配等）を考慮し得る。

【0248】

図２６に示されている例では、同期された事象ビデオは、例えば、携帯電話または他の任意の装置であり得るモバイル装置１０１上に表示される。説明的な表示では、パッティング事象のビデオまたは静止画像２６５０が、ボールについての実際の軌道および望ましい軌道を示すグラフィックと共に表示される。グラフィック２６３１は、センサ１１１によって測定されたモーション測定指標２６３０を示している。同期された事象ビデオ２６５０の下には、望ましい軌道を達成するために必要な補正２６４０を含むテキストボックス２６４１が表示される。１以上の実施形態は、モバイル装置または他の任意の視聴装置上に表示するために、同期された事象ビデオとモーション解析データとを任意の所望の方法で組み合わせ得る。例えば、モーション解析データは、ビデオ上のオーバーレイとして、ビデオの隣に表示されるグラフィックもしくはテキストとして、または、異なる画面もしくは異なるタブ上に別途表示され得るグラフィックもしくはテキストとして表示され得る。１以上の実施形態において、カメラ１０４は、モバイル装置１０１に統合されたカメラであり得る。１以上の実施形態において、モーションキャプチャ要素１１１はモバイル装置１０１に統合され得る。

【0249】

図２６に示されている例では、ゴルフボールについての望ましい軌道２６２３は、初期ボール位置２６００とホール２６０２との間の直線ではなく曲線経路である。この曲線経路は、パッティンググリーンの特徴の知見に基づいて、軌道解析２６２１によって算出され得る。１以上の実施形態は、軌道が生じるアクティビティの領域のモデルを取得し、このモデルを用いて、望ましい軌道と、望ましい軌道を生じるために必要な初期条件の変更とを算出し得る。領域のモデルは、例えば、領域の地形、領域の様々な地点における摩擦係数、領域と対象のオブジェクトとの間の摩擦もしくは他の力のような任意の力、および領域の他の任意の物理的特性を含み得るが、それらに限定されない。例えば、パッティングについての望ましい軌道を算出する際に、グリーンの地形、およびグリーンの「速度」（摩擦係数にほぼ対応する）が望ましい軌道に影響し得る。１以上の実施形態は、例えば、グリーンの地形を測定した３Ｄスキャナを含む任意のソースから、または、例えば、グリーンが湿っているかまたは乾いているか（これらはグリーンの速度に影響する）を示し得る天候データから、アクティビティの領域のモデルを取得し得る。１以上の実施形態において、アクティビティの領域のモデルは、例えば、表面の形状、表面の材質、摩擦力もしくは粘性力、静止摩擦係数、滑り摩擦および転がり摩擦、空気抵抗に対する風もしくは高度の影響および空気から受ける力、モーションに影響し得る表面テクスチャ、または、対象のオブジェクトのモーションに影響する他の任意の物理的要因等の要素を組み込み得る。

【0250】

図１に戻ると、システムの１以上の実施形態は、データベース１７２に結合された１以上のコンピュータを含み得る。１以上の実施形態において、システム内の任意のプロセッサまたはプロセッサの集合は、データベースに結合され、データベース内のデータを読み出して解析するために用いられ得る。１以上の実施形態において、システムのコンピュータまたはプロセッサは、複数の機能を有し得る。例えば、モバイル装置は、モバイル装置に埋め込まれたモーションキャプチャ要素とインターフェースするコンピュータを有し得る。このコンピュータは、カメラの制御、並びに、データベースへのアクセスおよびデータベースに格納されている情報の解析も行い得る。例えば、図１では、ラップトップ１０５はデータベース解析コンピュータであり得る。モバイル装置１２０はデータベース解析コンピュータであり得る。カメラ１０４は、プロセッサを含む場合には、データベース解析コンピュータであり得る。モーションキャプチャ要素１１１もデータベース解析コンピュータとしての役割をし得る。データベース解析コンピュータは、例えば、モバイル装置、スマートウォッチ、カメラ、デスクトップコンピュータ、サーバコンピュータのうちの１以上に組み込まれ得る。１以上のデータベース解析コンピュータは、データベース１７２に格納されている同期された事象ビデオにアクセスして、データベース内のデータから、任意の所望の測定指標、報告、モデル、警告、グラフィック、比較、傾向、チャート、提示、または他のデータを生成し得る。

【0251】

データベース上で行われ得る解析の一例として、図２７は、アクティビティの領域のモデル（例えば、図２６の実施形態の軌道解析に関して上述したモデル等）を生成するために用いられ得るシステムの実施形態を示す。この実施形態では、システムは、パターのグリップ内のモーションキャプチャ要素１１１を用い、且つ、ボールの軌道（例えば、軌道２７０１等）のビデオを記録するビデオカメラ１０４を用いて、パッティンググリーン上における、多数であり得るパッティングをキャプチャする。記録されたパッティングの軌道は、例えば、異なるボール位置において開始するパッティング、成功した（ホールに入った）パッティング、および、成功しなかったパッティングを含み得る。パッティングに関するデータは、ボールの軌道のビデオと共に、データベース１７２に格納される。コンピュータは、解析モジュール２７０３を実行して、パッティンググリーン２７０４の地形モデルを生成する。この解析処理２７０３は、各パッティングの軌道の観察された曲率を、パターの初期速度およびインパクト時間における方向に関するデータと組み合わせて用いて、グリーンの各地点（または代表的な地点）における傾斜を決定する。上述のように、アクティビティの領域のモデルは、例えば、摩擦係数または他の物理的力等の要因も含み得る。１以上の実施形態において、解析モジュール２７０３は、アクティビティの領域のより完全なモデルを生成するために、これらの要因も算出し得る。次に、上述のように、図２６に示されているように、望ましい軌道を算出して、それを特定の実際の軌道と比較するために、パッティンググリーンのモデル２７０４がシステムに供給され得る。

【0252】

データベース上で行われ得る解析の別の例として、１以上の実施形態は、事故の時間または位置を決定するために、データベース１７２を、事故に関して収集され得る他の情報と共に解析し得る。この解析の結果は、例えば、救急サービスに対するリアルタイムの通報または他の通報、安全機関に対する報告、危険に晒されている他の人々またはグループに対する警報、および、それらの領域内における事故率に基づいて危険な領域をハイライトするために用いられ得るグラフィックを含み得る。図２８は、事故の解析を行う実施形態を示す。この実施形態では、オートバイの運転者は、モーションキャプチャ要素１１１、カメラ１０４、およびプロセッサ１６０を備えたオートバイ用のヘルメット２８０１を着用する。ヘルメット２８０１内のこれらの構成要素は、例えば、ローカルバスによって、もしくはパーソナルエリア無線ネットワークによって（またはそれらの両方によって）接続される。この例では、プロセッサ１６０は、オートバイの衝突を検出し得る。例えば、衝突は、加速度の急上昇によって、または速度の突然の減少によって検出され得る。プロセッサ１６０が衝突事象を検出すると、プロセッサは、衝突の位置、速度、および加速度に関するデータ２８０２と、衝突の直前のヘルメットからのビューを示す選択されたビデオフレーム２８０３とを含む、その衝突についての同期された事象ビデオを生成する。プロセッサは、例えば、ビデオメモリを節約すると共に転送時間を低減するために、通常走行中にキャプチャされたビデオを捨てて、衝突のビデオのみを保存してもよい。この例では、当局が深刻度を評価して、必要な位置で反応できるように、当局に衝突に関して通報するために、ヘルメットは、衝突についての同期された事象ビデオ（２８０３および２８０２）を即時に救急サービス２８０４に送信し得る。

【0253】

救急サービス２８０４に送信されるリアルタイムの通知に加えて、同期された事象ビデオがデータベース１７２にアップロードされる。コンピュータ（またはコンピュータのネットワーク）は、事故解析モジュール２８１０を用いてこのデータベースを解析し、異常に高い事故率を有する位置を決定する。１以上の実施形態は、任意の対象のアクティビティを含む位置を識別するために、データベース１７２の解析を行い得る。図２８の例では、解析２８１０は、２箇所の高事故率の位置を識別する。解析２８１０は、地図２８１１上にオーバーレイされる、高事故率領域２８１２および２８１３を示すグラフィックを出力する。これらのグラフィック、および高事故率領域の識別情報は、危険な領域を警告するために、例えば、安全機関、または他の運転手に提供され得る。１以上の実施形態は、データベースの解析から、例えば、地図上へのオーバーレイ、ビデオ、画像、チャート、グラフ、または報告等の様々なグラフィックを生成し得る。別の説明的な例として、１以上の実施形態は、例えば、家、オフィス、ビル、または市街ブロック内の人々の動きをモニタリングし、これらの動きについて、同期された事象ビデオのデータベースを解析して、高アクティビティの領域を示すグラフィックを生成し得る。また、１以上の実施形態は、例えば、予期せぬアクティビティの領域、または或る領域内における予期せぬモーションのタイプを識別するために、データベースを解析し得る。

【0254】

図２８に示されている実施形態を続けると、この例では、第２のオートバイ運転者２８２０はスマートヘルメット２８２１を装備しており、スマートヘルメット２８２１は、データベース１７２からの情報を受信して、情報をヘルメットのフェイスシールド上に表示し得る。スマートヘルメット２８２１は、例えば、ＧＰＳ等の位置追跡システムを備えている。従って、ヘルメットのプロセッサは、データベース１７２に格納されている事故報告に基づいて、オートバイ運転者２８２０が高い事故率を有する位置に近づいているときを決定し得る。オートバイ運転者が高事故領域付近にくると、ヘルメットのフェイスシールド上に警告メッセージ２８２２が表示される。１以上の実施形態は、例えば、図２８に示されるように、データから利益を得るかもしれない任意の人々またはグループ（事故の危険に晒されているグループを含む）に、データベース１７２からのデータを同報し得る。１以上の実施形態は、例えば、特定の人々またはグループと関連づけられたセンサ（例えば、オートバイ運転者２８２０上のＧＰＳセンサ等）に基づいて、それらの人々またはグループに有用なデータベースからのデータを選択し得る。

【0255】

データベース解析の別の例は、オブジェクトが適正な方法で用いられたか否かを決定するために、モーションデータを解析することである。図２９は、野球のバットの使用と関連づけられたモーションデータを解析する例示的な実施形態を示す。バットはモーションキャプチャ要素１１１を備えている。バットについての適正な予期される使用は、野球ボール２９０１を打つことである。この実施形態は、この適正な使用と関連づけられたモーションデータについてのシグネチャー２９１１を取得する。この説明的な例では、シグネチャーは、例えば、モーションキャプチャ要素１１１内のジャイロスコープによってキャプチャされ得るバットの角回転の大きさを追跡する。野球の打撃の適正な使用については、角速度は、インパクト点まで急速に上昇し、次に、バットからボールへと移される運動量として低下するが、バットはインパクト点を越えて振られ続けるので、角速度は０までは低下しないことが予期される。一方、この例は、バットで木２９０２を切り落とそうとするバットの不適正な使用について考える。この不適正な使用では、バットは木２９０２を打ったら前方への移動を続けられないので、角速度シグネチャー２９１２は、インパクトの後、０付近まで低下する。このインパクト後の角速度シグネチャーの違いが、システムがバットの適正な使用と不適正な使用とを区別することを可能にする。複数の事象についての角速度データがデータベース１７２に格納され、解析２９２０は、このデータをシグネチャー２９１１および２９１２に照らして検討する。全てまたは大半のシグネチャーが２９１１に一致する場合には、システムは、使用２９２１が適正であったことを決定し、そうでない場合には、システムは、使用２９２２が適正ではなかったことを決定する。１以上の実施形態は、用具の適正な使用と不適正な使用とを区別するために、任意のモーションデータ（ビデオを含む）に対して、任意の所望のシグネチャーを用い得る。１以上の実施形態は、例えば、用具の製造業者、販売業者、またはサービスセンターによって、用具の損傷についての保証クレームが有効であるか否かを決定するために用いられ得る。例えば、用具の使用が適正であった場合には、保証クレームは有効であり得るが、使用が不適正であった場合には、保証クレームは無効であり得る。

【0256】

適正な使用の意味は、実施形態の用途に応じて様々であり得る。例えば、１以上の実施形態において、用具についての適正な使用は、契約によって、またはユーザマニュアルによって決定され得る。他の実施形態では、適正な使用は、予期される使用、通常の使用、典型的な使用、日常的な使用、特定の条件下（例えば、環境条件等）における使用、または他の任意の用途を特定した適正の解釈に対応し得る。本発明の実施形態は、１つのタイプの使用と別のタイプの使用との任意の区別のために用いられ得る。用具についての複数のタイプの使用を区別するための、モーションのキャプチャデータまたは同期された事象ビデオのいかなる使用も、本発明の趣旨に沿うものである。

【0257】

本発明の１以上の実施形態は、ユーザのモーションの範囲を測定またはモニタリングするために用いられ得る。図１に戻ると、モバイル装置１２０の１以上の実施形態は、例えば、ユーザ１５０の寸法もしくはサイズまたはモーションの範囲を測定するために、所与のモーションキャプチャセンサがユーザによって特定の位置へとまたは回転によって移動された際に、そのモーションキャプチャセンサからのモーションの入力を促して入力を受け付け得る。例えば、アプリは、ユーザに、モーションキャプチャセンサ１１１を用具１１０から取り外した後、モーションキャプチャセンサ１１１を手でユーザの他方の手と肩との間で移動するよう促し得る。２つの点の間の距離は、例えば、ユーザの腕の長さ「Ｌ」として示される。更に、システムは、ユーザに、「ＲＯＭ」として示されているモーションの範囲について、センサを他方の手中に保持した状態で、ユーザがセンサを促された通りにユーザ側から腕を伸ばした最高地点まで移動させて、または、同じ位置で手首を回転させて、その身体部位についての特定のモーションの範囲を測定するよう促し得る。複数の実施形態は、必要に応じて、モーションの範囲のみを測定して、モーションの範囲の半径の中心点として、「Ｌ」を決定してもよい。また、システムは、それと同時に、または、例えば、システムによって促された際にモーションキャプチャセンサ１１１が用具と再び結合された後で用具１１０を用いて、もしくは、マウント１９２を介して用具に取り付けられている既存のモーションキャプチャセンサを用いて、「Ｓ」として示されている速度を測定し得る。次に、複数の実施形態は、例えば、フィッティングを更に最適化するため、および／または、モーションキャプチャデータを更に収集するために、同じセンサを用いて、用具からのモーションデータをキャプチャし得る。複数の実施形態は、最適なフィットに関連する情報、または別様で特定のスポーツ用具の購入を示唆する情報を提供し得る。複数の実施形態は、特定の用具を用いた他のユーザのパフォーマンスに基づいて、ユーザのための用具のフィッティングを最大化するために、サイズ、モーションの範囲、他のユーザの速度についてのモーションデータの相関、他のアルゴリズム、またはデータマイニングを用い得る。例えば、これは、類似のサイズ、モーションの範囲、および速度を有するユーザが、類似の特徴を有する他のユーザと関連づけられた最良のパフォーマンス（例えば、最長ドライブ、最も低いパッティングスコア、最高勝率等）の用具についてデータマイニングすることを可能にする。

【0258】

ユーザのモーションの範囲を測定する実施形態は、データベース１７２内のこのデータを更に追跡し得る。このモーションの範囲のデータは、ユーザの進歩をモニタリングするために、用具の変更または治療法を示唆するために、または潜在的な問題の警告を提供するために、経時的に解析され得る。例えば、本発明の１以上の実施形態は、他のユーザのパフォーマンスデータに基づいて、パフォーマンスを予測されるパフォーマンスレベルまで改善する訓練および／またはストレッチを示唆し得ると共に、ユーザが用具に「馴染む」または用具を「使いこなす」ことができるように、強さまたは柔軟性を高めるのに適した用具を示唆し得る。モーションの範囲および日付／時間フィールドを用いて、並びに、それらの間の差を用いて、経時的なモーションの範囲の増加、減少、現状維持が示され得る。更に、本発明の他の実施形態は、例えば、怪我を示唆し得るタイトな１または複数の領域を検出して、類似の方法でユーザに警告するために、経時的に用いられ得る。例えば、モーションの範囲または速度Ｓが経時的に減少している場合には、例えば、ユーザに通知されてもよく、またはメッセージが自動的にスケジュールされてもよい。ユーザは、これらの変化および訓練またはストレッチについて任意の方法で通知され得るか、または、ユーザに対して他の用具が示唆され得る。本発明の１以上の実施形態は、例えば、立ち方、歩き方、または走り方を改善するための靴のフィッティングのための歩行解析のために用いられ得る。これらの任意の組合せが、どこに問題があるか、または用具が適切もしくは最適なフィッティングを提供しているかを決定するために、決定および／または別様で取得されて用いられ得る（例えば、ベースライン、閾値、または範囲と比較される）。

【0259】

データベース解析の別の例は、例えば、ユーザの関節についてのモーションの範囲における傾向を決定するために、モーションデータを解析することである。図３０は、ニーブレースに統合されたモーションキャプチャ要素を有する実施形態を示す。この例では、ニーブレースは２つのモーションキャプチャ要素を収容しており、モーションキャプチャ要素１１１は膝の上方に位置し、モーションキャプチャ要素１１１ｂは膝の下方に位置する。システムは、これらの２つのモーションキャプチャ要素の向きを測定することにより、膝関節の角度３００１を決定できる。この実施形態では、角度３００１は周期的にまたは連続的にモニタリングされ、データベース１７２に格納される。コンピュータは、モーションの範囲の解析３００２を用いて、ユーザのモーションの範囲の時間的な傾向を解析する。これにより、実際のモーションの範囲３０１１を経時的に追跡したチャート３０１０が生じ、必要に応じて、モーションの範囲は閾値３０１２と比較され得る。

【0260】

ユーザの関節のモーションの範囲を測定する１以上の実施形態は、関節の角度を測定するために、関節の両側に配置された少なくとも２つのモーションキャプチャ要素を用い得る。関節の角度は、例えば、２つのモーションキャプチャ要素の各々の向きを測定し、次に、これらの向きのうちの一方を他の向きに変換する回転を算出することによって測定され得る。１以上の実施形態は、向きを測定するために、または２つのモーションキャプチャ要素の各々の相対的な向きを測定するために、任意の所望のセンサを用い得る。例えば、１以上の実施形態において、関節の両側にある２つのモーションキャプチャ要素は、加速度計および磁力計を含み得る。これらの２つのセンサは、ユーザが動いていないときに、ユーザの向きに関係なく、三次元空間における向きを測定するために十分な情報を提供する。加速度計は重力場の方向を示し、磁力計は地球の磁場の方向を示す。しかし、加速度計の読取値は、ユーザが加速していないときにのみ、正確な向き情報を提供する。従って１以上の実施形態は、更に、ユーザが動いている間の向きの経時的な変化を追跡するためのレートジャイロスコープをモーションキャプチャ要素に組み込み得る。これらのセンサ構成は単に説明的なものであり、複数の実施形態は、関節のモーションの範囲を測定するために、任意のセンサまたはセンサの組合せを用い得る。

【0261】

ユーザの関節のモーションの範囲を測定する１以上の実施形態は、モーションの範囲が目標値または閾値を超えた場合に、警告メッセージを送信し得る。図３０は、膝関節の回転３０１２に対する閾値が７０°に設定された実施形態を示しており、閾値は、例えば、膝関節の最大の安全な回転を表し得る。実際の回転が閾値を超えた場合には、システムによって、例えば、患者をモニタリングしている医療チーム３０２１に、警告メッセージ３０２０が送信される。警告メッセージは、医療チーム、ユーザ、ユーザの家族もしくは介護者、または、一般的にモーションの範囲をモニタリングすることを所望する任意の人々もしくはシステムに送信され得る。説明的な警告メッセージ３０２０は、モーションの範囲が閾値を超えたことを示す。１以上の実施形態において、警告メッセージは、データベース１７２からの任意の更なる情報（例えば、モーションの範囲の時間的履歴３０１１を含む）を含み得る。

【0262】

システムの１以上の実施形態は、音声信号を測定するためにマイクを含む１以上のモーションキャプチャ要素を組み込み得る。１以上の実施形態は、モバイル装置内（例えば、携帯電話内）に設置されたマイク、またはカメラに統合されたマイクを組み込み得る。これらの実施形態は、事象検出およびモーション解析をサポートするために、マイクによってキャプチャされた音声データを用い得る。例えば、図３１は、野球のバットが野球ボールを打っているかまたは異なるオブジェクトを打っているかを決定するためにモーションデータ解析を用いる図２９に示されている実施形態の変形例を示す。図３１に示されている実施形態では、野球のバット上に設置されたモーションキャプチャ要素１１１は、加速度計３１０１およびマイク３１０２を含む。バットが野球ボール２９０１にインパクトを与えた際、加速度計の値３１１０はインパクト事象からの衝撃３１１１を示し、ここでは、加速度が急速に上昇し、次に、インパクトの衝撃後の振動から急速に振動する。しかし、バットの他のオブジェクトとのインパクトについても、類似の加速度計シグネチャーが生じ得る。例えば、バットが木２９０２にインパクトを与えた際の加速度計インパクトシグネチャー３１２１は、シグネチャー３１１１と非常に似ている。従ってこの説明的な実施形態は、真のボールインパクト事象と、他のオブジェクトとのインパクトによって生じた誤検出のボールインパクト事象とを区別するために信頼できない場合がある。この実施形態では、真のボールインパクト事象と誤検出のボールインパクト事象とを区別するために、マイク３１０２によってキャプチャされた音声信号が用いられる。ボールのインパクトについての音声信号のフーリエ変換３１１２は、比較的高いピーク音声周波数３１１３（ω_１）を示す。それと比べて、木のインパクトについての変換された音声信号は、遥かに低いピーク音声周波数３１２３（ω_２）を有する。従って、この実施形態は、加速度計インパクトシグネチャーに関連して音声信号を用いることにより、インパクトがボールとのものであるか、または別のオブジェクトとのものであるかを決定し得る。１以上の実施形態は、事象検出を改善するために、真の事象と誤検出の事象とを区別するために、およびモーション解析を改善するために、モーションキャプチャ要素内または他の装置内のマイクによってキャプチャされた音声信号を用い得る。

【0263】

図３２は、誤検出、モーションキャプチャ要素が結合された用具のタイプ、またはアクティビティのタイプを決定するために、温度、湿度、風、高度、光、音および心拍数と関連づけられた他の値を受信して、データまたは事象データを他の値と相関させるシステムの実施形態を示す。

【0264】

図３２に示されるように、１以上の実施形態は、ユーザ３２０４、３２０５、３２０６、用具３２１０、３２２０、３２３０、またはユーザと結合されたモバイル装置３２０４、３２０５、３２０６と結合し得る少なくとも１つのモーションキャプチャ要素１１１を含み得る。少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素１１１は、メモリ（例えば、センサデータメモリ等）と、例えば、ユーザ３２０４、３２０５、３２０６または用具３２１０、３２２０、３２３０と関連づけられた少なくとも１つのモーションキャプチャ要素１１１の向き、位置、速度、加速度（線形および／または回転）、角速度、および角加速度と関連づけられた任意の組合せの値をキャプチャし得るセンサとを含む。少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素１１１は、第１の通信インターフェースまたは少なくとも１つの他のセンサと、メモリ、センサ、および第１の通信インターフェースと結合されたマイクロコントローラまたはマイクロプロセッサ３２７０とを含み得る。１以上の実施形態において、マイクロプロセッサ３２７０は、少なくとも１つのモーションキャプチャ要素１１１の一部であってもよく、または少なくとも１つのモーションキャプチャ要素１１１と双方向に結合された外部の要素であってもよい。

【0265】

少なくとも本発明の実施形態によれば、マイクロコントローラはマイクロプロセッサ３２７０であり得る。

【0266】

１以上の実施形態として、第１の通信インターフェースは、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の他の値を受信し得る。少なくとも１つの実施形態において、少なくとも１つの他のセンサは、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた、または他の任意の環境的もしくは生理学的センサの、１以上の他の値をローカルにキャプチャし得る。本発明の少なくとも１つの実施形態は、第１の通信インターフェースおよび少なくとも１つの他のセンサの両方を含み、それらのいずれかまたは両方からのセンサ値を取得し得る。

【0267】

少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、データまたは事象データを、温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の他の値と相関させ得る。従って、少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、誤検出の事象、少なくとも１つのモーションキャプチャ要素１１１が結合されている用具のタイプ、およびデータまたは事象データによって示されているアクティビティのタイプのうちの１以上を決定するために、データまたは事象データを１以上の他の値と相関させ得る。

【0268】

例えば、１以上の実施形態では、３２４０において、少なくとも１つのモーションキャプチャ要素１１１は、速度が６０ｍｐｈ（約時速９６．６ｋｍ）であり、高度が５００フィート（１５２．４メートル）であり、パターンがＳ字パターンであり、周囲温度が華氏５５度（約１２．８℃）であり、ユーザの心拍数が１００回／分（ｂｐｍ）であることを決定、感知、または算出し得る。

【0269】

少なくとも１つの実施形態において、センサから、並びに第１の通信インターフェースおよび／または少なくとも１つの他のセンサから決定されたデータ３２４０を所与とすると、マイクロプロセッサ３２７０は、周囲温度が比較的穏やかであり、標高が海抜０ではなく且つあまり高くないことを決定し得る。１以上の実施形態において、検出された速度、高度、およびパターンを所与とすると、マイクロプロセッサ３２７０は、３２８０において、アクティビティがスケートボードであり得、用具はスケートボードを含み得ることを決定し得る。更に、１以上の実施形態において、マイクロプロセッサ３２７０は、６０ｍｐｈ（約時速９６．６ｋｍ）の速度、Ｓ字パターン３２０１のパターン、および１００ｂｐｍの心拍数を所与として、ユーザ３２０４が健康な、元気な、および／または経験を積んだライダーであり得ることを決定し得る。

【0270】

例えば、１以上の実施形態において、少なくとも１つのモーションキャプチャ要素１１１は、３２５０において、速度が２０ｍｐｈ（約時速３２．２ｋｍ）であり、高度が０フィートであり、パターン３２０１ａであり、周囲温度が華氏７５度（約２３．９℃）であり、ユーザの心拍数が９５ｂｐｍであることを決定、感知、または算出し得る。

【0271】

少なくとも１つの実施形態において、センサから、並びに第１の通信インターフェースおよび／または少なくとも１つの他のセンサから決定されたデータ３２５０を所与とすると、マイクロプロセッサ３２７０は、温度が比較的暖かく、標高が海抜０であることことを決定し得る。１以上の実施形態において、検出された速度、高度、パターン、および温度を所与とすると、マイクロプロセッサ３２７０は、３２８０において、アクティビティが例えばサーフィン等のウォータースポーツであり得、用具がサーフボードまたは何らかの別のタイプのウォータースポーツ用具であり得ることを決定し得る。更に、１以上の実施形態において、マイクロプロセッサ３２７０は、２０ｍｐｈ（約時速３２．２ｋｍ）の速度、経路またはパターン３２０１ａ、および９５ｂｐｍの拍数を所与として、ユーザ３２０５が非常に健康な、元気な、および／または経験を積んだサーファーであり得ることを決定し得る。

【0272】

例えば、１以上の実施形態において、少なくとも１つのモーションキャプチャ要素１１１は、３２６０において、速度が４０ｍｐｈ（約時速６４．４ｋｍ）であり、高度が７，０００フィート（２１３３．６ｍ）であり、パターン３２０１ｂであり、周囲温度が華氏２５度（約－３．９℃）であり、ユーザの心拍数が１５０ｂｐｍであることを決定、感知、または算出し得る。

【0273】

少なくとも１つの実施形態において、センサから、並びに第１の通信インターフェースおよび／または少なくとも１つの他のセンサから決定されたデータ３２６０を所与とすると、マイクロプロセッサ３２７０は、温度が比較的寒く、標高が比較的高い（例えば、高い山または丘）ことを決定し得る。１以上の実施形態において、検出された速度、高度、パターン、および温度を所与とすると、マイクロプロセッサ３２７０は、３２８０において、アクティビティがスキー、スノーボード、または他の何らかの雪上アクティビティであり得、用具がスキー、スノーボード、または別のタイプの雪上用具であり得ることを決定し得る。更に、１以上の実施形態において、マイクロプロセッサ３２７０は、４０ｍｐｈ（約時速６４．４ｋｍ）の速度、パターン３２０１ｂ、および１５０ｂｐｍの心拍数を所与として、ユーザ３２０６が健康ではない、元気ではない、および／または経験を積んでいないユーザであり得ることを決定し得る。

【0274】

１以上の実施形態において、たとえモーションセンサデータが基本的に同じ場合であっても、即ち、３つの用具の全てがほぼ同じ「Ｓ字」パターンのモーション３２０１、３２０１ａ、および３２０１ｂを経験している場合であっても、他のセンサ値（例えば、標高、高度、温度、音声、心拍数、湿度、または他の任意の環境的もしくは生理学的な値）に基づいて、アクティビティのタイプおよびセンサが結合されている用具のタイプが決定される。更に、システム内のセンサまたはコンピュータは、たとえ他のセンサが、検出された定義された事象を検出していない場合であっても、他のセンサに、その事象についての他のセンサのデータを保存するよう同報し得る。更に、システム内のセンサまたはコンピュータは、事象検出の前後の所定の量の時間の簡潔なビデオである事象ビデオを生成するために、その付近における（例えば、所与の視野３２９０、３２９０ａ、３２９０ｂを有する）ビデオを要求し得る。このようにして、ビデオを転送するための大量の帯域幅および時間が節約される。

【0275】

１以上の実施形態において、マイクロプロセッサ３２７０は、例えば３２８０において、第２のタイプのアクティビティに関して、第１のタイプのアクティビティについての類似のモーションを区別するために、少なくとも１つのモーションキャプチャセンサまたは要素１１１が結合された用具のタイプまたは少なくとも１つのモーションセンサ１１１が感知しているアクティビティのタイプを、相関によって検出し得る。少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャセンサ１１１は、３２４０、３２５０、および３２６０からの温度、湿度、風、高度、光、音、心拍数、またはそれらの任意の組合せと関連づけられた１以上の値に基づいて、類似のモーションを区別し得る。具体的には、たとえ３つの用具またはアクティビティの全てが特定のモーションを経験している場合であっても、本発明の実施形態は、類似のまたは同じモーションセンサデータが、例えば、どのようなタイプの用具およびアクティビティと関連づけられ得るか決定することを可能にする。

【0276】

１以上の実施形態として、マイクロプロセッサ３２７０は、上述のように、第２のタイプのアクティビティ（例えば、スノーボードまたはスキー等）に関して、第１のタイプのアクティビティ（例えば、サーフィンまたはスケートボード等）についての類似のモーションを区別するために、相関によって、用具のタイプまたはアクティビティのタイプを検出し得る。少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、温度、高度、または温度および高度の両方に基づいて、類似のモーションを区別し得る。少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、データまたは事象データに基づいて、用具３２１０、３２２０、３２３０またはユーザ３２０４、３２０５、３２０６上におけるセンサの位置を認識し得る。１以上の実施形態において、マイクロプロセッサ３２７０は、複数のセンサパーソナリティから選択されるセンサパーソナリティに基づいて、センサからのセンサ値を含むデータを収集し得る。少なくとも１つの実施形態において、センサパーソナリティは、特定の用具または特定のタイプの衣服と関連づけられた特定のタイプの動きまたは特定のタイプのアクティビティに関して最適な方法でデータを収集するよう、センサ設定を制御し得る。

【0277】

例えば、第１のタイプのアクティビティはスケートボードを含み、第２のタイプのアクティビティはサーフィンを含み、第３のタイプのアクティビティはスノーボードを含み得る。図３２に示されるように、アクティビティがスケートボードである少なくとも１つの実施形態では、ユーザまたはスケートボーダー３２０４は、曲がりくねったまたはＳ字パターン３２０１にある用具またはスケートボード３２１０に結合され、取り付けられ、乗り、または保持している。第２のタイプのアクティビティがサーフィンである１以上の実施形態では、ユーザまたはサーファー３２０５は、パターン３２０１ａにある用具またはサーフボード３２２０に結合され、取り付けられ、乗り、または保持している。第３のタイプのアクティビティがスノーボードである少なくとも１つの実施形態では、ユーザまたはスケートボーダー３２０６は、ダウンヒルパターン３２０１ｂにある用具またはスノーボード３２３０に結合され、取り付けられ、乗り、または保持している。

【0278】

１以上の実施形態によれば、少なくとも１つのモーションキャプチャ要素１１１は、センサおよび／または少なくとも１つの他のセンサ（単独で、または組合せにおいて）を介して、ユーザ３２０４、３２０５、３２０６または用具３２１０、３２２０、３２３０と結合し得るものであり、少なくとも１つのモーションキャプチャ要素１１１は、ユーザ３２０４、３２０５、３２０６まもしくは用具３２１０、３２２０、３２３０またはそれらの周囲と関連づけられた１以上の値または１以上の他の値３２４０、３２５０、３２６０を決定し得る。

【0279】

本発明の少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、センサから、並びに、第１の通信インターフェースおよび／または少なくとも１つの他のセンサから、ユーザの姿勢、ユーザの安定性、ユーザのバランス、用具上におけるユーザの足および手の位置、またはそれらの任意の組合せを決定、感知、または算出し得る。従って、少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、アクティビティのタイプ（例えばスノーボードであるか、スキーもしくはサーフボードであるか、水上スキーであるか等）、用具のタイプ（例えば、ボードであるか、スキーであるか等）、およびユーザの技能レベルを決定する際に、異なる値を相関させるために、ユーザが用具を保持している、用具上に立っている、膝をついている、または座っていることを決定し得る。例えば、１以上の実施形態において、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、センサから、並びに、第１の通信インターフェースおよび／または少なくとも１つの他のセンサから、ユーザからのおよび／または用具からの角度のある動き（例えば、ユーザの身体のひねり等）を決定、感知、または算出し得るものであり、それにより、マイクロプロセッサ３２７０は、アクティビティがスキーであるかまたはスノーボードであるかを決定する際に、ユーザの脚が互いに独立して動いているか否か、またはユーザの両脚が一緒に固定されているか否かを決定し得る。従って、本発明の少なくとも１つの実施形態において、センサ、第１の通信インターフェース、および／または少なくとも１つの他のセンサからの１以上の値は、マイクロプロセッサ３２７０が、用具が単一の用具を含むかまたは複数の用具を含むかを決定することを可能にする。

【0280】

本発明の１以上の実施形態において、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、センサから、並びに、第１の通信インターフェースおよび／または少なくとも１つの他のセンサから、特定の表面上における用具の音、用具から表面までのまたは表面内までの距離、用具と表面との間の摩擦の量、またはそれらの任意の組合せを決定、感知、または算出し得る。従って、少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、音が砂利、水、雪、または他の任意の表面と関連づけられているか、用具が表面上にぴったり接しているか、表面に部分的に沈んでいるか、または表面の上方にあるか、および、決定された期間について用具と表面との間において検出された摩擦の量を決定し得る。少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、センサから、並びに、第１の通信インターフェースおよび／または少なくとも１つの他のセンサから、表面もしくは地形の形状、表面もしくは地形の材質、表面もしくは地形上の摩擦力もしくは粘性力、少なくとも１つの用具と表面もしくは地形との間の静止摩擦係数、表面もしくは地形上の滑り摩擦、表面もしくは地形上の転がり摩擦、空気抵抗に対する風もしくは高度の影響および空気からの力、モーションに影響し得る表面もしくは地形のテクスチャ、またはユーザおよび／もしくは少なくとも１つの用具のモーションに影響する他の任意の物理的要因を決定、感知、または算出し得る。

【0281】

従って、１以上の実施形態において、マイクロプロセッサ３２７０は、例えば３２８０において、アクティビティのタイプ、用具のタイプ、表面または地形の位置、事象のタイプ、およびユーザの技能レベルを決定する際に、異なる値を相関させ得る。

【0282】

本発明の１以上の実施形態において、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、センサから、および第１の通信インターフェースまたは少なくとも１つの他のセンサから、少なくとも１つのモーションキャプチャ要素１１１の周囲のノイズおよび周囲の特徴を決定、感知、または算出し得る。例えば、特徴は、酸素レベル、障害物、壁、木、自動車、水、またはそれらの任意の組合せを含み得る。従って、少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、アクティビティが混雑した領域で行われているか、事象が生じているか（例えば、ユーザの周囲の複数の他のユーザを含む競技会等）、アクティビティが閉じた環境で行われているかもしくは開いた環境で行われているか、またはそれらの任意の組合せを決定し得る。従って、１以上の実施形態において、マイクロプロセッサ３２７０は、例えば３２８０において、アクティビティのタイプ、用具のタイプ、アクティビティが行われている周囲の領域、および事象のタイプを決定する際に、異なる値を相関させ得る。例えば、少なくとも１つの実施形態において、決定された周囲の酸素レベルから（単独で、または決定された様々な他の値との組合せから）、マイクロプロセッサは、ユーザが、酸素レベルが低い山地領域にいること、または海抜０の領域にいることを決定し得る。

【0283】

本発明の少なくとも１つの実施形態において、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、センサおよび第１の通信インターフェースまたは少なくとも１つの他のセンサから、ユーザおよび／または用具の特定の位置（例えば、特定のビーチリゾート、特定の山岳リゾートまたは山地）、および現在生じている特定のタイプの事象を決定、感知、または算出し得る。

【0284】

例えば、１以上の実施形態において、モーションキャプチャ要素１１１は、リポジトリ、ビューア、サーバ、別のコンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上から、外部データを取得し得る。従って、少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、取得された外部データに基づいて、並びに値および１以上の他の値から、アクティビティのタイプが特定のタイプの事象（例えば、バスケットボールの試合、フットボールの試合、または他の任意のスポーツの試合もしくは運動競技会（例えば、オリンピック等）、高校の事象、大学の事象等）の一部であることを決定し得る。例えば、１以上の実施形態において、外部データは、ソーシャルメディアへの投稿、ニュース記事、緊急アンバーアラート、またはそれらの任意の組合せを含み得る。１以上の実施形態において、マイクロプロセッサ３２および／またはモーションキャプチャ要素１１１は、ユーザおよび／または用具の周囲の付近にある１以上のカメラまたは他の外部センサからの外部データを取得し得る。

【0285】

少なくとも１つの実施形態によれば、モーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、ユーザの技能レベル、ユーザのフィットネスレベルおよび／またはトレーニング技術、またはユーザが利益を受け得る示唆を決定し得る。１以上の実施形態において、様々なレベルまたは程度の速度、高度、パターン、心拍数、および温度が検出され得る。

【0286】

１以上の実施形態として、マイクロプロセッサ３２７０は、時間窓内において、第１の閾値を有するセンサ値から第１の値を検出し、第２の閾値を有するセンサ値から第２の値を検出した際に、誤検出の事象を決定し得る。少なくとも１つの実施形態において、次に、マイクロプロセッサ３２７０は、見込みのある事象を見込みのある事象であるとして示し、見込みのある事象を、典型的な事象と関連づけられた特徴的な信号と比較し、誤検出の事象（あれば）を消去し、見込みのある事象が誤検出の事象ではない場合に、有効な事象を有効な事象であるとして示し、事象時間窓内の情報を含む有効な事象を、データとしてセンサデータメモリに保存し得る。

【0287】

１以上の実施形態において、マイクロプロセッサ３２７０は、少なくとも１つのモーションキャプチャ要素１１１が用具から取り外され、異なるタイプの第２の用具と結合された後に、データまたは事象データに基づいて、新たに割り当てられた位置を有する少なくとも１つのモーションキャプチャ要素１１１を認識し得る。

【0288】

本発明の少なくとも１つの実施形態において、センサまたはコンピュータは、音声信号を記録するマイクを含み得る。１以上の実施形態において、事象を認識することは、データに基づいて見込みのある事象を決定し、データを音声信号と相関させることにより、見込みのある事象が有効な事象であるかまたは誤検出の事象であるかを決定することを含み得る。少なくとも１つの実施形態において、コンピュータは、見込みのある事象が有効な事象である場合に、音声信号を、少なくとも１つの同期された事象ビデオと共にコンピュータメモリに格納し得る。１以上の実施形態において、マイクロプロセッサ３２７０、コンピュータ、および／またはモーションキャプチャ要素１１１は、３２４０、３２５０および３２６０のうちの１以上からの１以上の値と１以上の他の値との相関に基づいて、決定されたアクティビティ、事象、位置、表面のタイプ、および／または用具のタイプが有効であるかまたは誤検出であるかを決定し得る。少なくとも１つの実施形態において、マイクロプロセッサ３２７０、コンピュータおよび／またはモーションキャプチャ要素１１１は、外部データ、並びに、ユーザおよび／または用具と結合されているセンサまたはその周囲センサのうちの１以上に基づいて、決定されたアクティビティ、事象、位置、表面のタイプおよび／または用具のタイプが有効であるかまたは誤検出であるかを決定し得る。

【0289】

本発明の１以上の実施形態は、少なくとも１つのモーションセンサ１１１内に統合および／または結合され得る複数のセンサタイプを含む。１以上の実施形態において、複数のセンサタイプは、上述のように、センサと、少なくとも１つの他のセンサとを含む。少なくとも１つの実施形態において、マイクロプロセッサ３２７０は、アクティビティのタイプ、用具のタイプ、事象のタイプ、誤検出の事象、位置、地形、または表面のタイプ等のうちの１以上を決定するために、複数のセンサタイプからのコンテンツおよび／または異なるタイプの値を相関させ得る（例えば、複数のセンサタイプからの少なくとも２つのセンサタイプ間の組合せおよび相関等）。本発明の１以上の実施形態において、センサおよび少なくとも１つの他のセンサを含む複数のセンサタイプは、音センサ、温度センサ、振動センサ、大気質センサ、水質センサ、天候センサ、位置センサ（例えば、ナビゲーションおよび全地球測位システム等）、圧力センサ、モーションセンサ、および生体センサのうちの１以上を含み得る。

【0290】

例えば、少なくとも１つの実施形態として、音センサ、温度センサ、および振動センサは、特定の位置および時間における地球の地震活動を検出するセンサを含み得る。１以上の実施形態において、音センサ、温度センサ、および振動センサは、用具（例えば、少なくとも１つの用具、自動車、列車等）の車輪または表面から、用具の衝突または脱線を識別する欠陥検出器センサを含み得る。少なくとも１つの実施形態において、音センサ、温度センサ、および振動センサは、特定の、固有の、または所定の事象（例えば、少なくとも１つのモーションキャプチャ要素１１１の外部の複数の位置から取得された音、例えば、フットボールの試合中のタッチダウンに対する反応、または、他の任意の試合、事象、もしくは競技会に対する反応等）を示す極端なまたは大量の音を検出する音センサを含み得る。１以上の実施形態において、音センサ、温度センサ、および振動センサは、例えば、暑いまたは寒い天候の状況における交通の集中および動きのパターンを検出する用具用の温度センサ等の温度センサを含み得る。従って、例えば、少なくとも１つのモーションキャプチャ要素１１１および／またはマイクロプロセッサ３２７０は、特定の時間帯に特定の半径または領域内に閉じ込められている大量の用具または用具のクラスタの指標を決定し得る。

【0291】

例えば、少なくとも１つの実施形態として、大気質センサ、水質センサ、または天候センサは、動物および／または人間にとって劣悪、まあまあ、または良好な大気質を示すために、大気質（例えば、二酸化炭素の量および／もしくは煙の含有量、または他の任意の化学物質もしくはガスの含有量等）を検出するセンサを含み得る。１以上の実施形態において、大気質を検出するセンサは、火災の位置の周囲の１以上の身体に影響を及ぼし得る火災が生じているか否かを示し得る。１以上の実施形態において、大気質センサ、水質センサ、または天候センサは、汚染事象、海洋生物事象、および／または地質学的事象を示すために、動物および／または人間にとって劣悪、まあまあ、または良好な水質を示すために、水質（例えば、酸性度の量および／または温度等）を検出するセンサを含み得る。少なくとも１つの実施形態において、大気質センサ、水質センサ、または天候センサは、気象警報を示すために、嵐、極端な熱、および様々な天候の変化を検出する天候センサを含み得る。

【0292】

例えば、少なくとも１つの実施形態として、位置センサは、衝突または間近に迫った衝突の予測を示すために、例えば飛行機、自動車、または任意の用具上等に、高度センサを含み得る。１以上の実施形態において、高度センサおよび他の位置センサは、１以上のユーザ（例えば、飛行機の乗客、ハイカー、または１以上の位置における他の任意のユーザ等）から取得されたデータまたは値の組合せを示し得る。

【0293】

例えば、少なくとも１つの実施形態として、モーションセンサは、アクティビティまたは事象のタイプ（例えば、マラソン、スポーツ競技会等）を示し得る、または、大量のユーザおよび／または用具の全てを特定の位置から離れる方向に移動させる生命を脅かすもしくは警告の事象を示し得る、高速で移動している大量のユーザおよび／または用具を検出する加速度計を含み得る。１以上の実施形態において、モーションセンサは、例えば、ユーザ間、自動車間、または用具間の衝突等の事故または事象を示す、並びに、例えばフットボールのタックル、特定の日におけるまたは特定のアクティビティもしくは事象の、全てのまたは特定のタイプのタックル等のスポーツ事象の衝突を示し得る、１または複数の衝突を検出するインパクトセンサを含み得る。

【0294】

例えば、少なくとも１つの実施形態として、生体センサは、事象、競技会、レースまたはアクティビティの発生（例えば、興奮する事象または怖い事象の最中等）を示し得る、１または複数のユーザからの心拍数の上昇を検出する心拍数センサを含み得る。１以上の実施形態において、生体センサは、類似の脳活動、類似のパーソナリティ、類似の考え方、類似の思考パターン、類似の感情、またはそれらの任意の組合せを有する少なくとも１のユーザからのコンテンツを検出し、追跡して、組み合わせる脳波センサを含み得る。

【0295】

１以上の実施形態において、センサまたはビデオデータは、長い期間にわたって収集され得るが、それらの期間のうちの特定の部分のみが興味深いアクティビティを含む。従って、１以上の実施形態は、対象のアクティビティのシグネチャーを受信して、これらのシグネチャーを用いて、それらの対象のアクティビティにフォーカスするためにセンサおよびビデオデータをフィルタリングし得る。例えば、１以上の実施形態において、ビデオから、対象のアクティビティをはっきりと示す１組のハイライトフレームが選択され得る。図３３は、対象のアクティビティの位置を特定するために、センサデータを用いてハイライトフレームを生成する実施形態の例を示す。スノーボードに、加速度計を含むセンサ４１０２が取り付けられる。更に、ビデオカメラ４１０１は、スノーボーダーのビデオをキャプチャする。１以上の実施形態において、ユーザにビデオカメラ４１０１が取り付けられてもよく、カメラはセンサ４１０２を含み得る。この実施形態は、対象のアクティビティについてのシグネチャー４１２０を取得する。この説明的な例では、１つの対象のアクティビティは、高速でのジャンプである。ジャンプについてのシグネチャーは、加速度の大きさがｇ／２より低く減少することであり、これは、スノーボードが自由落下していること、および、速度の大きさが５０ｍｐｈ（約時速８０．５ｋｍ）より高いことを示す。センサ４１０２から受信された加速度の大きさ４１１０は、経時的に加速度閾値と比較される。加速度計は（他の慣性センサ（例えばジャイロ等）からのデータと共に）統合されて、速度データ４１１１を構成する。フレーム４１０３において、スノーボーダーが小さなジャンプを行ったので、４１１２において加速度の大きさが閾値より低く減少するが、その時間における速度は、アクティビティシグネチャー４１２０にマッチするのに十分に速いものではない。ビデオフレーム４１０４に対応する時間において、加速度の大きさは再び閾値より低く減少する。この時間における速度も必要な閾値を超えているので、このデータはアクティビティシグネチャー４１２０にマッチする。加速度モーション測定指標を閾値と比較することによって検出されたジャンプアクティビティを示すために、３つのハイライトビデオフレーム４１３０が選択される。１以上の実施形態は、アクティビティ期間中にキャプチャされたフレームの全てを含む対象のアクティビティの最中のハイライトフレームを選択し得る。１以上の実施形態は、ハイライトフレームに、アクティビティ期間の前または後の更なるフレームを追加し得る。１以上の実施形態は、例えば、完全なビデオではなく小さいセットのハイライト画像を生成するために、アクティビティ期間中の選択されたフレームのみをサンプリングし得る。図３３に示されている例では、スノーボードの速度が、グラフィックオーバーレイ４１３５と共に、ハイライトフレーム上に表示またはオーバーレイされる。この速度は、例えば、センサデータから、ビデオ解析から、または両方のデータソースのセンサ融合によって算出され得る。１以上の実施形態は、任意の所望の測定指標またはグラフィックをハイライトフレーム上にオーバーレイし得る。次に、オーバーレイ４１３５を有するハイライトフレーム４１３０が、ネットワーク４１４０を介して、ハイライトフレームの任意の１組の消費者へと配信される。ハイライトフレームを生成する１以上の実施形態において、ハイライトフレームの消費者としては、例えば、任意のビデオまたは画像視聴装置、ビデオ、画像、またはデータ用のリポジトリ、任意のタイプのコンピュータ（例えば、サーバ、デスクトップ、ラップトップ、またはタブレット等）、任意のモバイル装置（例えば、電話等）、ソーシャルメディアサイト、任意のネットワーク、および救急サービスが挙げられるが、それらに限定されない。衝突検出システムにおいてビデオハイライトを救急サービスに送信し得る実施形態の例は、例えば、自転車またはオートバイ用のものあである。この実施形態は、例えば、衝突を検出するための加速度計と、ビデオを連続的にキャプチャするための車載カメラとを用いてユーザをモニタリングし得る。衝突が検出された際、位置および衝突の深刻度に関する情報が、衝突を示すビデオと共に、救急サービスに直接送信され得る。ハイライト事象であれ、衝突であれ、または他の任意のタイプの事象であれ、事象に対してローカルな任意のカメラが、例えば事象の位置を包む視野を用いてクエリーされ、それらのカメラがその位置および時間のビデオを有するか否かが決定され得る。事象をカバーするビデオ、またはその事象の付近にあり時間的に近い他の任意のセンサもクエリーされて、グループ事象を定義するために送信され得る。心拍数および音もしくは音のレベルを含む他のセンサデータも、ハイライトの価値がある事象または他のタイプの事象（例えば、失敗等）を示し得る。ユーザと関連づけられた任意のグループのメンバーが、事象またはグループ事象に加入して、その日のハイライトまたは失敗を取得してもよい。

【0296】

ハイライト閾値に関して、１以上の測定指標による最良の事象がタグづけされ、更に、最悪の事象または他の任意の範囲の事象がタグづけされ得る。事象のタグづけは、その事象が、それぞれの事象ビデオまたはモーションデータが所与のハイライトリールまたは失敗リールと関連づけられることを示し得るものであることを示し得る。１以上の実施形態において、測定指標またはアクティビティシグネチャーは、大失敗または他の失敗（例えば、ユーザが技を行うのを失敗したとき、または大きなミスをしたとき）を識別するために用いられ得る。図３３Ａは、図３３のスノーボーダーの変形例を示す。４１Ａ２０のシグネチャーでは、失敗は、高い速度の後に間もなく非常に小さいまたは０の速度が続くものとして定義されており、このシグネチャーは衝突を特徴づけるものである。フレーム４１０４において、スノーボーダーはジャンプを行い、フレーム４１Ａ０５において木にぶつかる。従って、４１Ａ１３において、速度は高い速度から０へと急速に遷移する。大失敗フレーム４１Ａ３０は、失敗を記録するよう選択される。図３３におけるように、これらの失敗フレームには、測定指標データ４１３５がオーバーレイされ得る。失敗フレームは、他のビューアまたはリポジトリ４１４０に送信されてもよく、選択された失敗フレーム以外のフレームを捨てるためのメッセージ４１Ａ５０がカメラに送信され得る。１以上の実施形態は、様々なタイプのアクティビティを識別およびキャプチャするために、対象のアクティビティについての複数のシグネチャーを用い得る。例えば、或る実施形態は、図３３のシグネチャー４１２０のようなハイライトシグネチャーと、図３３Ａのシグネチャー４１Ａ２０のような失敗シグネチャーとを同時に用い得る。ハイライトリールまたは失敗リールを生成するためのハイライトまたは失敗の測定指標を指定するために、任意のビデオの特徴またはモーションデータが用いられ得る。１以上の実施形態において、特定のレベルの失敗を検出するシステム内の任意のコンピュータは、例えば救急隊員を呼ぶために無線通信を介して、または、医療的な緊急事態の可能性があることを友人に知らせるために音声もしくはソーシャルメディアへの投稿を介して、救助を求めるメッセージを自動的に送信し得る。

【0297】

１以上の実施形態は、上述の技術を用いてハイライトフレームを生成し、次に、ストレージ空間および帯域幅を節約するために、ハイライトではないフレームを捨て得る。また、１以上の実施形態は、他のシステム（例えば、ビデオを最初にキャプチャしたカメラ等）に、ハイライトフレームのみが保持されるべきであり、他のフレームは捨てられるべきであることを示すメッセージを送信し得る。これは図３３に示されており、ハイライトフレームとして選択されたフレーム以外の全てのフレームを捨てるようカメラに伝える破棄メッセージ４１５０がカメラ４１０１に送信される。

【0298】

１以上の実施形態において、事象を検出および解析するために、センサデータが収集され、サーバから取得されたメディアと組み合わされ得る。次に、このメディアはセンサデータと組み合わされ、メディアおよびデータを加えた統合された事象の記録として、例えばソーシャルメディアサイト等のサーバに再投稿され得る。サーバからのメディアは、例えば、テキスト、音声、画像、およびビデオを含み得るが、それらに限定されない。センサデータは、例えば、モーションデータ、温度データ、高度データ、心拍数データ、またはより一般的に、ユーザまたは用具と関連づけられた任意のセンサ情報を含み得るが、それらに限定されない。図３４は、地震の検出のために、センサデータの解析とメディアの解析とを組み合わせるシステムの実施形態を示す。地震の検出は説明的な例であり、システムの実施形態は、例えば、個人的事象、グループ事象、環境的事象、公的事象、医療事象、スポーツ事象、娯楽事象、政治事象、犯罪事象、または災害事象を含むがそれらに限定されない任意の所望の事象を検出および解析するために、任意のタイプのセンサデータおよびメディアを用い得る。

【0299】

図３４において、ユーザは３つのセンサを備えており、センサ１２５０１はモーションセンサであり、センサ１２５０２は心拍数センサであり、センサ１２５０３はクロックを有する位置センサである。これらのセンサは、物理的に１つのパッケージもしくはマウント内に保持されてもよく、または、ユーザ上の同じ位置もしくは複数の位置にある複数のパッケージまたはマウント内に保持されてもよい。１以上の実施形態は、１以上のユーザまたは用具に関するデータを収集するために、任意のセンサまたは任意の組合せのセンサを用い得る。センサはスタンドアロン装置であってもよく、または、例えば、携帯電話、スマートウォッチ、もしくは他の任意の装置に埋め込まれてもよい。また、センサはユーザの付近にあってもよく、センサデータは、ユーザと関連づけられたセンサまたはコンピュータのうちの１以上と関連づけられたネットワーク接続を介して取得されてもよい（センサ、およびシステムがローカルにまたはネットワークを介して取得し得るセンサデータの接続形態については、図１Ａを参照）。図３４に示されている実施形態では、センサ１２５０３は、例えばＧＰＳを備えたスマートウォッチに埋め込まれ得る。センサ１２５０２からの心拍数データ１２５１２、モーションセンサ１２５０１からの加速度データ１２５１１、並びにセンサ１２５０３からの時間および位置情報１２５１３が、解析のためにコンピュータまたはモバイル装置１０１に送信される。或いは、モバイル装置は、センサの全てもしくは任意の一部を収容してもよく、任意のセンサデータを内部的にもしくはネットワーク接続を介して取得してもよい。更に、コンピュータは、例えば、スマートウォッチまたは携帯電話内のセンサ１２５０２と結びついていてもよい。モバイル装置１０１は説明的なものであり、複数の実施形態は、データを受信して事象を検出するために、任意のコンピュータまたはコンピュータの集合を用い得る。これらのコンピュータは、例えば、モバイル装置、携帯電話、スマートフォン、スマートウォッチ、カメラ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、およびサーバコンピュータを含み得るが、それらに限定されない。

【0300】

図３４の例では、モバイル装置１０１は、例えば地震事象を含むがそれに限定されない１組の事象タイプについてスキャンするよう構成される。地震事象検出は、センサデータをセンサ地震シグネチャー１２５２０と比較すること、および、メディア情報を比較メディア地震シグネチャー１２５５０比較することを含む。複数の実施形態は、１以上の事象についての任意の所望のシグネチャーを用い得る。１以上の実施形態によって用いられる事象についてのセンサデータシグネチャーは、例えば、１以上の閾値を超えるまたは１以上の範囲内に含まれるもしくは範囲外のセンサ値、変化率についての特定の閾値を超える値における傾向、および、特定の多次元の範囲内に含まれるもしくは範囲外の複数のセンサからの値の組合せを含み得るが、それらに限定されない。図３４では、１２５１２に示されている心拍数の急速な増加は、例えば地震であり得る事象を示唆するものである。加速度１２５１１の急速な増加も地震を示唆するものである。これらの２つのシグネチャーに基づいて、装置１０１は、例えば、センサ地震シグネチャーの位置が突き止められたことを決定し得る。１以上の実施形態において、地震が生じた可能性があることを決定するために、これらのセンサのうちの少なくとも一部を有する複数のユーザからのセンサデータが、例えばコンピュータ１０１等の任意のコンピュータによって、位置および時間に基づいて、たとえ僅かな時間のずれがあっても、複数のセンサによって加速度１２５１１が観察されたか否かを決定するために用いられ得る。

【0301】

コンピュータ１０１は、事象を確認するために、１以上のサーバからのメディアもスキャンし得る。複数の実施形態は、例えば、電子メールサーバ、ソーシャルメディアサイト、写真共有サイト、ビデオ共有サイト、ブログ、ｗｉｋｉ、データベース、ニュースグループ、ＲＳＳサーバ、マルチメディアリポジトリ、文書リポジトリ、テキストメッセージサーバ、およびツイッター（登録商標）サーバを含むがそれらに限定されない、任意の１または複数のタイプのサーバからのメディアデータを取得し得る。図３４に示されている例では、コンピュータまたはモバイル装置１０１は、送受信されたテキストメッセージのログを提供するテキストメッセージサーバ１２５３０と、ユーザが自分の個人的なホームページテキストおよび画像を投稿するのを可能にするソーシャルメディアウェブサイト１２５４０との、２つのサーバ上のメディアをスキャンする。１２５３０のテキストメッセージおよび１２５４０の投稿は、センサ１２５０１、１２５０２、および１２５０３を装着しているユーザと必ずしも関連づけられておらず、システムの実施形態は、任意のソースからのメディアを取得するために、任意のサーバにアクセスし得る。メディアは、メディア地震シグネチャー１２５５０と比較される。複数の実施形態は、例えば、テキスト内における選択されたキーワードまたはキーフレーズの出現頻度、選択されたサーバ上におけるメディア投稿または更新の速度、任意の指定された特徴にマッチする特定の画像またはビデオの出現、送信されたメッセージの緊急性、メッセージについての送信者および受信者のネットワークにおけるパターン、並びに、ソーシャルメディアサイトについての投稿者および閲覧者のネットワークにおけるパターンを含むがそれらに限定されない、事象についての任意の所望のメディアシグネチャーを用い得る。図３４では、メディア地震シグネチャー１２５５０は、テキストメッセージおよびホームページ内における１２５３１「shaking（揺れ）」および１２５４１「falling down（倒壊）」のようなそれぞれのキーワードの出現を含む。メディア地震シグネチャーは、地震に特徴的な画像（例えば、ビルが揺れているまたは倒壊している画像等）についての写真またはビデオの解析も含み得る。図３４では、画像１２５４２は、メディア地震シグネチャー１２５５０と一致する、倒壊しているモニュメントを示している。例えば、誰かが現在の事象に無関係の画像またはビデオを投稿した場合に備えて、類似の項目を示す画像（例えば「映画」）についての誤検出を消去するために、キーワードが用いられ得る。

【0302】

１以上の実施形態は、センサデータを、事象を説明するメディア（例えば、写真、ビデオ、音声、またはテキストコメンタリー等）と組み合わせた、統合された事象の記録を生成し得る。メディアは、例えば、ソーシャルメディアサイト等のサーバから、例えばローカルカメラ等のシステムと関連づけられたセンサから、またはそれらの組合せから取得され得る。１以上の実施形態は、ソーシャルメディアサイトからのメディアを含むこのデータを整理して、事象のハイライトを生成し得る。整理された、統合された事象の記録は、メディアとデータとを任意の所望の方法で組み合わせ得る（例えば、写真またはビデオ上にデータをオーバーレイすることを含む）。統合された事象の記録は、サーバから読み出されたメディアの全てまたは選択されたサブセットを、センサデータ、測定指標、および事象の解析の全てまたは選択されたサブセットと共に含み得る。統合された事象の記録は、ソーシャルメディアサイトに再投稿されるか、または他のユーザに対して同報され得る。

【0303】

１以上の実施形態は、事象検出および解析の一部として、センサデータとメディアとを時間、位置、またはそれらの両方によって相関させ得る。例えば、地震は特定の時点および特定の位置において生じるので、１００日の時間間隔で隔てられた２つの揺れシグネチャーは関連していな可能性が高く、一方、比較的小さい時間間隔（例えば、数分間）で隔てられ、例えば、恐らく、事象タイプに基づく所与の所定の範囲（例えば、このケースでは数マイル）以内である事象は、見込みのある関連した事象を示す可能性がより高い。図３４では、センサ１２５０３はユーザの時間および位置１２５１３を提供し、これらはセンサデータ１２５１１および１２５１２と相関され得る。この時間および位置データは、事象を確認し得る（例えば、必要に応じて事象タイプに基づいて、時間および位置についての所定の閾値以内である）メディアについてサーバ１２５３０および１２５４０を検索する際に用いられ得る。１以上の実施形態は、時間および位置が一致する、事象を表す情報の相関されたクラスタがあるかを決定するために、センサデータおよびメディアを時間および位置でグループ化し得る。時間および位置におけるクラスタ化のスケールは、事象に応じで様々であり得る。例えば、地震は数分間続き得るが、数週間続く可能性は低い。また、地震は広い領域をカバーし得るが、数千マイルにわたって影響を有する可能性は低い。

【0304】

図３４では、テキストメッセージ１２５３１および投稿１２５４１の両方が、センサデータ１２５１１、１２５１２、および１２５１３から１分以内に生じており、従って、モバイル装置１０１は、これらのメディアをセンサデータと相関させる。これらのセンサデータはセンサシグネチャー１２５２０にマッチし、これらのメディアはメディアシグネチャー１２５５０にマッチするので、モバイル装置は地震事象１２５６０を確認する。

【0305】

図３４におけるテキストメッセージおよび投稿のテキスト解析は、選択されたキーワードの出現に基づく、事象についての簡単なメディアシグネチャーを用いる。１以上の実施形態は、任意のテキスト処理技術またはテキスト解析技術を用いて、テキスト情報ソースが事象シグネチャーとマッチする程度を決定し得る。１以上の実施形態は、複数のタイプの事象についてスキャンするよう構成され得る。これらの実施形態では、テキスト解析は、テキスト情報ソース内にある単語に基づいて、様々な事象タイプについての相対的スコアを生成することを含み得る。

【0306】

図３５は、テキスト解析に基づいて、最も可能性の高い事象を決定するために、事象－キーワード重みづけテーブル１２６２０を用いるシステムの実施形態を示す。事象－キーワード重みを決定するために、各キーワードが、各対象の事象について評価される。この例では、キーワード１２６２１（「Air」）は、４つの可能な事象、即ち、タッチダウン、衝突、地震、およびジャンプについての事象-キーワード重みを有する。これらの重みは、例えば、これらの事象を説明するメッセージまたはテキストがそのキーワードを含む相対的な可能性を反映し得る。重みは、任意の所望の方法で決定され得るものであり、例えば、文書またはメッセージの歴史的解析に基づいてもよく、判定に基づいて構成されてもよく、訓練セットからの機械学習アルゴリズムを用いて生成されてもよい。図３５に示されている例では、事象１２６０１は、その事象に関するツイートを送信した数人のユーザによって観察されており、これらのツイートはサーバ１２６１０上で入手可能である。システムは、（可能性としては、検索を限定するために事象の時間および位置も用いて）これらのツイートをスキャンし、キーワードを含む３つのメッセージを識別する。例えば、第１のメッセージ１２６１１は、テーブル１２６２０からのキーワード１２６２１を含む。各事象についてのこのキーワードの重みが追加されて、事象スコア１２６３０が生成される。この例では、「ジャンプ」事象が最も高いスコアを有するので、システムは、これが最も可能性の高い事象であることを決定する。１以上の実施形態は、様々な事象が生じた確率を評価するために、スコアづけまたは重みづけ技術を用い得ると共に、事象を確認するために確率閾値を用い得る。１以上の実施形態は、例えば、ベイジアン技術を用いて、他のメディアサーバまたはセンサデータからの更なる情報に基づいて事象の確率を更新し得る。更に、潜在的な事象を検出するコンピュータと関連づけられたセンサまたはコンピュータは、例えば、事象の持続時間中（何らかの事象前または事象後の時間窓を含む）の何らかの関連するビデオを求めて、付近のカメラおよび／またはコンピュータに同報し得る。従って、例えば、スキーのリフト上にいる、大失敗のビデオを生成しているユーザが、その事象の位置および時間と近い何らかのビデオを要求するメッセージを受信し得る。コンピュータまたは他のユーザのコンピュータにおいて、様々な他のユーザからの事象ビデオが、カメラの方向または視野を用いてフィルタリングされ得る。従って、事象の時間窓外の非事象ビデオを含まない事象ビデオが、自動的に整理されまたは別様で転送されて取得され得る。更に、ビデオは、非事象関連ビデオを捨てる後処理において、システム内の様々なコンピュータ上で、リアルタイムで自動的にトリミングされ得る。１以上の実施形態において、コンピュータは、事象ビデオを有するユーザにクエリーして、残りの非事象ビデオを捨てるための指示を要求し得る。非事象ビデオデータを含まない事象ビデオは、遥かに効率的に転送され得るものであり、多くのケースでは、転送時間およびストレージ要件が２桁～３桁低減される。

【0307】

システムの１以上の実施形態は、多段階事象検出方法論を用いてもよく、多段階事象検出方法論は、まず、見込みのある事象が生じたことを決定し、次に、更なるセンサデータまたはメディアデータを解析して、見込みのある事象が有効な事象であったかまたは誤検出の事象であったかを決定する。図３６は、多段階事象検出システムの例を示す。説明のために、落下する金床に高度センサ１２７０１を備え、ウサギにも高度センサ１２７０２を備える。システムは、１２７０１および１２７０２からセンサデータサンプルを受信し、それらを組み合わせてグラフ１２７１０を構成する。１以上の実施形態において、２つのセンサ１２７０１および１２７０２のクロックを同期させるための更なる処理が所望され得る（システムが用い得る時間の同期化の例については図１Ｅを参照）。相対的な高度の解析１２７１０は、２つのオブジェクトの高度が一致する時間１２７１１における見込みのある衝突事象１２７２０を予測する。しかし、この解析は、高度センサによって測定される垂直方向の寸法のみを考慮しており、衝突が生じるには、これらのオブジェクトが同じ時間に同じ三次元座標になければならない。図３６は、見込みのある事象１２７２０が有効な事象であるかまたは誤検出であるかを決定するために、更なる情報を用いる２つの例を示す。１以上の実施形態によって用いられる１つの技術は、見込みのある事象を確認するまたは無効にするために、１以上のサーバからのメディア情報を検討することである。例えば、システムは、オブジェクト１２７３１および１２７３２の位置を突き止めるために、複数のユーザによって共有されているビデオを含むサーバ（例えば、サーバ１２７４０等）上で入手可能なメディア内の検索１２７３０を行い得る。例えば、オブジェクト１２７３１および１２７３２の形状、サイズ、色、または他の視覚的特徴は、センサ１２７０１および１２７０２が設置されたときに既知であり得る。この例では、これらのオブジェクトを含むビデオ１２７４１の位置が突き止められ、フレームの解析は、衝突が生じなかったことを示す。従って、システムは、事象が誤検出１２７５０であったことを決定できる。１以上の実施形態は、任意の基準を用いて、見込みのある事象を確認し得るまたは無効にし得るメディアについてサーバを検索し、例えば、画像解析、テキスト解析、またはパターン認識等の任意の技術を用いてこれらのメディアを解析し得る。図３６の右下は、見込みのある事象と有効な事象とを区別するために、更なるセンサ情報を用いる別の例を示す。この例では、金床およびウサギに水平加速度計１２７６１および１２７６２がそれぞれ備えられる。当該技術分野において知られている技術を用いて、水平加速度が統合されて、オブジェクトの経時的な水平位置１２７７０が構成される。システムは、垂直軌道１２７１０と水平軌道１２７７０とを組み合わせることにより、時間１２７１１における、２つのオブジェクトの水平位置が異なることを決定できる。従って、システムは、見込みのある事象１２７２０が誤検出１２７８０であることを決定する。これらの例は説明的なものであり、複数の実施形態は、見込みのある事象を確認するまたは無効にするために、任意の組合せの更なるセンサデータおよびメディア情報を用い得る。例えば、何らかの衝突が生じそうだったことを決定する投稿（例えば「うわー近い」等）があるか、または生じなかった（１２７５０）ことを決定する投稿があるかについて、メディアサーバがチェックされ得る（メディアキーワードスコアのチェックを含む衝突の状況についての図３５を参照）。

【0308】

１以上の実施形態は、センサデータがキャプチャされたときに行われたアクティビティのタイプ、または用いられた用具のタイプを決定するために、更なるセンサデータを用い得る。図３７は、スノーボードまたはサーフィンのためにモーションセンサを用い得るユーザの例を示す。スノーボード１２８１０にはモーションセンサ１２５０１ａが取り付けられ、サーフボード１２８２０にはモーションセンサ１２５０１ｂが取り付けられる。モーションセンサは、例えば、加速度計、レートジャイロスコープ、および可能性としてモーション、位置、または向きを検出するための他のセンサを含み得る。１以上の実施形態において、装置１２５０１ａおよび１２５０１ｂは同一であってもよく、ユーザは、この装置をスノーボードまたはサーフボード上に設置可能であり得る。モーションセンサデータに基づいて、システムによってユーザの経時的な速度が算出される。スノーボードについての速度チャート１２８１１およびサーフィンについての速度チャート１２８２１は類似している。従って、モーションデータのみから、どのアクティビティがデータと関連づけられているかを決定するのは困難または不可能であり得る。この例では、センサ１２５０１ａおよび１２５０１ｂは、温度センサおよび高度センサも含む。スノーボードアクティビティは、温度および高度のデータ１２８１２を生成し、サーフィンアクティビティは、温度および高度のデータ１２８２２を生成する。システムは、サーフィンおよびスノーボードについての温度および高度についての典型的なシグネチャー１２８３０を有するよう構成される。この説明的な例では、２つのアクティビティについての典型的な温度範囲および高度範囲は重ならず、従って、温度および高度データを用いてアクティビティおよび用具のタイプを決定するのは簡単である。シグネチャー１２８３０と組み合わされた低い温度および高い高度１２８１２は、アクティビティおよび用具１２８１３がスノーボードについてであることを示し、シグネチャー１２８３０と組み合わされた高い温度および低い高度１２８２２は、アクティビティおよび用具１２８２３がサーフィンについてであることを示す。１以上の実施形態は、アクティビティのタイプ、用具のタイプ、またはそれらの両方を決定するために、温度および高度に限定されない、任意の更なるセンサデータを用い得る。

【0309】

システムの１以上の実施形態は、複数のユーザまたは複数の用具に取り付けられた複数のセンサからのデータを収集し、これらの複数のユーザまたは複数の用具が関与する事象を検出するために、このデータを解析し得る。図３８は、観客の中の人々にセンサが取り付けられている例を示す。観客のうちの幾人かの（全員である必要はない）メンバーが、この例ではモーション、時間、および位置を測定するセンサを有する。これらのセンサは、例えば、これらのユーザが携帯または装着しているモバイル装置（例えば、スマートフォンまたはスマートウォッチ等）に埋め込まれ得る。図示されるように、少なくとも４人のユーザがセンサ２２９０１ａ（２２９０１ｂ）、２２９０２、２２９０３、および２２９０４ａ（２２９０４ｂ）を有する。システムは、モーションデータを収集し、各ユーザの経時的な垂直方向の速度（ｖ_ｚ）、例えば、２２９１１、２２９１２、および２２９１３を決定する。ユーザが着席している間、垂直方向の速度は実効的に０であるかまたは非常に小さく、ユーザが起立すると、垂直方向の速度が増加し、次に０まで減少する。この説明的な例では、システムは、このユーザの起立についてのセンサデータシグネチャーをモニタリングし、起立モーションが完了した時間を決定する。例えば、センサ２２９０１ａ、２２９０２、および２２９０３を有するユーザについての起立の完了時間は、それぞれ２２９２１、２２９２２、および２２９２３である。また、システムは、センサ２２９０１ａ、２２９０２、および２２９０３からの位置データ２２９３１、２２９３２、および２２９３３もそれぞれモニタリングする。ここに示す位置データは、緯度および経度としてエンコードされているが、１以上の実施形態は、任意のセンサと関連づけられた部分的なまたは完全な位置データを決定して表すための任意の方法を用い得る。

【0310】

図３８に示されている説明的なシステムは、観客からスタンディングオベーション事象を検出するよう構成されている。この事象のシグネチャーは、同じ観客のうちの臨界数のユーザがほぼ同じ時間に起立したというものである。このシグネチャーは説明のためのものであり、１以上の実施形態は、１以上の事象を検出するために、センサデータの任意の所望のシグネチャーを用い得る。システムは、異なる位置にいるユーザからのセンサを含む多数のセンサをモニタリングし得るので、１以上の実施形態は、複数のユーザが関与している集合的な事象を決定するために、センサデータを位置および時間によって相関させ得る。図３８に示されるように、センサデータを時間および位置によって相関させるための１つの手法は、時間および位置の両方において近い（単一のセンサからの）個別の事象のクラスタをモニタリングすることである。チャート２２９４０は、３人のユーザについての個別の起立事象が、時間および経度においてクラスタ化されていることを示す。説明のために、位置の経度の次元のみを示し、緯度が同一である例を用いる。１以上の実施形態は、事象を検出するためにセンサデータをクラスタ化するために、任意のまたは全ての空間的次元および時間を用い得る。密に離間した個別のセンサ事象のクラスタ２２９４１は、センサ２２９０１ａ、２２９０２、および２２９０３に対応する３人のユーザを含む。システムは、スタンディングオベーション事象を定義するために、ほぼ同時に（および同じ位置で）起立しなければならないユーザの数の臨界閾値２２９４２を有するよう構成される。この例では、臨界カウントは３であるので、システムはスタンディングオベーション事象を宣言し、この事象を公開するメッセージ２２９５０を送信する。更に、事象を喝采またはブーイングとして特徴づけるために、音センサを含む他のセンサが用いられ得る。事象の定性的な測定値を決定するために、心拍数センサを含む他の任意の生理学的センサも用いられ得る（このケースでは、心拍数が所定の閾値を超えた場合には、非常に感情的なスタンディングオベーション）。更に、例えば、ソーシャルメディアウェブサイトまたは他のインターネットサイト上に事象を公開するか否かを決定するために、事象がモーションセンサ、更なるセンサ（例えば、音もしくは心拍数、またはそれらの両方等）と相関しているかを確認するために、ブログサイト、テキストメッセージ、または他のソーシャルメディアサイトもチェックされ得る（システムの実施形態が用い得る、裏付けとなる証拠を求めてウェブサイトをチェックする例については、図３４を参照）。

【0311】

図３８は、時間および位置が密に離間したクラスタ内で生じた個別のセンサ事象の数についての閾値を用いて事象を検出するシステムの実施形態を示す。図３９は、カウントを閾値と比較するのではなく、複数のセンサにわたる測定指標の集合体を用いて事象を検出する実施形態を示す。この実施形態では、潜在的に多数のユーザがモーションセンサおよび位置センサ（例えば、ユーザによって装着されるセンサ１３００１ａ、１３００１ｂ、およびユーザが携帯するスマートフォン１３００２ａ、１３００２ｂ等）を備えている。各センサは、ユーザの緯度、経度、および速度を含むデータフィードを供給する。例えば、センサは、緯度および経度を追跡するためのＧＰＳと、ユーザの速度を決定するために用いられ得る慣性センサとを含み得る。この説明的なシステムでは、センサは、ユーザの現在の緯度および経度に基づいて複数のローカル領域に区分され、各ローカル領域内のユーザの平均速度１３０１０が算出およびモニタリングされる。システムは、或る領域内のユーザの平均速度の突然の増加１３０２０を検出すると、そのローカル領域において（例えば、エルム通り１２３において）「大事件」１３０３０が生じたことを決定する。この事象は、例えば、電子メールメッセージ、テキストメッセージ、付近にいるユーザへの同報メッセージ、ツイート、ソーシャルメディアサイトへの投稿、または救急サービスへの通報として公開され得る。この例では、センサデータは、事象を正確に特徴づけるには十分ではない。例えば、図３９に示されるような火災の代わりに、ユーザに急速な移動を開始させ得る他の事象は、地震またはテロリストの攻撃であり得る。しかし、この位置において何らかの大事件が生じたという情報は、多くの組織およびユーザ（例えば、最初に反応する人々等）にとって、大きな有用性があり得る。更に、システムの実施形態は、センサ値を連続的にモニタリングすることによって、そのような事象を即時に検出可能であり得る。図３９において用いられている平均速度測定指標は説明のためのものであり、１以上の実施形態は、複数のセンサデータフィードから任意の所望の測定指標の集合体を算出し、これらの測定指標を任意の所望の方法で用いて、事象を検出し特徴づけてよい。１以上の実施形態は、図３８および図３９に示されている技術を任意の所望の方法で組み合わせ得る。例えば、１以上の実施形態は、個々のセンサデータを解析して、個々の事象を決定し、幾つかの個々の事象を時間および位置によってクラスタ化し、次に、各クラスタについて測定指標の集合体を算出して、全体的な事象が生じたか否かを決定し得る。１以上の実施形態は、個々の事象に対して、例えば、それらのセンサデータに基づく異なる重みを割り当て、閾値と比較される生のカウントではなく、重みづき和を用いて、事象を検出し得る。事象を検出するために、複数のセンサからのセンサデータを組み合わせる任意の方法が、本発明の趣旨に沿う。図示されるように、複数のユーザが所与の位置から離れる方向に進んでいる状態で、位置が決定され、その位置付近にある任意の関連づけられた音センサまたは大気センサ（例えば、ＣＯ_２センサ等）が、事象を火災として確認するために用いられ得る。コンピュータ１３００２ａによって、自動緊急メッセージが送信されてもよく、事象が検出された位置および時間の周囲の任意の写真またはビデオも同報され得る。

【0312】

このようにして、事象を検出して確認し、リアルタイムもしくはほぼリアルタイムでメディアを整理し、または別様で簡潔な事象ビデオもしくは他のメディアを格納するために、環境的センサ、生理学的センサ、およびモーションキャプチャセンサと関連づけられたセンサ事象が、テキスト、音声、画像、ビデオデータ、またはそれらの任意の組合せ（例えば、ソーシャルメディアへの投稿を含む）を用いて確認され得る。例えば、１以上の実施形態は、ソーシャルメディアサイトにアクセスして、可能性としては写真およびビデオにおける時間および位置データをセンサデータのタイムスタンプおよび位置スタンプと照合することにより、事象と関連づけられている全ての写真およびビデオを読み出し得る。次に、メディアの全てまたは選択されたサブセットを含む統合された事象の記録を生成するために、読み出されたメディアが整理または体系化され得る。更に、ソーシャルメディアサイトは、本発明の実施形態を用いて、本発明の１以上の実施形態に従って、環境的センサ、生理学的センサ、およびモーションキャプチャセンサを用いて、例えば、本発明の実施形態と組み合わせて、時間もしくは位置またはそれらの両方に基づいて事象をフィルタリングすることにより、後から事象を確認し得る。事象をフィルタリングするまたは公開するために、本発明の１以上の実施形態と組み合わせて、投稿または他のメディアのランキングおよび評判も用いられ得る。例えば、複数の異なるユーザまたは用具と関連づけられた複数の情報ソースが、事象を検出または確認するために用いられ得る。１以上の実施形態において、モーションが検出されず、他のセンサデータが潜在的な事象を示しているとき（例えば、子供が高温の自動車内にいて、子供と結合されたモーションセンサで動きが検出されないとき）に、事象が検出され得る。また、事象に優先度をつけて、複数の事象が検出された場合には、最高優先度の事象が最初に処理または別様で公開もしくは送信されるようにしてもよい。

【0313】

１以上の実施形態において、事象解析およびタグづけシステムは、センサデータを解析して、事象についての１以上のタグを自動的に生成または選択し得る。事象タグは、例えば、事象に関与しているアクティビティのタイプに基づいて、事象を複数のカテゴリーにグループ化し得る。例えば、フットボール事象の解析は、プレイを、ランニングプレイ、パスプレイ、またはキックプレイに分類し得る。複数の段階で生じるアクティビティ（例えば、フットボールのポゼッションの４回のダウン、または野球のイニングの３回のアウト等）については、タグは、事象が生じた１または複数の段階を示し得る。例えば、フットボールのプレイは、第４クオーターにおける第３ダウンで生じたとタグづけされ得る。タグは、アクティビティまたは事象についての状況または文脈を識別し得る。例えば、フットボールのプレイについての文脈は、第１ダウンについての残りのヤード数を含み得る。従って、プレイタグは、それが第３ダウンのプレイであり、あと４ヤードであること（第３および４）を示し得る。タグは、事象と関連づけられた１以上のプレイヤーを識別し得る。また、タグは、事象における各プレイヤーの役割も識別し得る。タグは、事象の時間または位置を識別し得る。例えば、フットボールのプレイについてのタグは、プレイが開始するヤードラインと、試合における時計の残りの時間もしくはプレイが開始するクオーターとを示し得る。タグは、事象と関連づけられたパフォーマンスレベル、またはアクティビティの成功もしくは失敗を測定し得る。例えば、フットボールにおけるパスプレイと関連づけられたタグは、コンプリートパス、インコンプリートパス、またはインターセプションを示し得る。タグは、例えばスコア等の結果、または測定可能な前進もしくは後退を示し得る。例えば、フットボールのプレイ結果タグは、ゲインまたはロストされたヤード数、および得点（あれば）を示し得る。タグは、定性的または定量的なものであり得、カテゴリー、順序、インターバル、または比率のデータを有し得る。タグは、包括的またはドメイン固有であり得る。包括的タグは、例えば、プレイヤーのモーションに、それがそのプレイヤーの何らかの時間間隔にわたる最高のパフォーマンスであることを示す最大パフォーマンスタグ（例えば「この夏の最高ジャンプ」）をタグづけし得る。ドメイン固有タグは、特定のスポーツのルールおよびアクティビティに基づくものであり得る。従って、例えば、野球のスイングについての結果タグは、野球に固有のタグ（例えば、ストライク、ボール、打者ファウル、打者アウト、または打者セーフ等）を含み得る。

【0314】

図４０は、事象解析およびタグづけシステム４０５０が、投球およびそれに対応する野球のスイングについてのセンサデータを解析する例を示す。事象解析およびタグづけは、例えば、コンピュータ１０５、モバイル装置１０１、およびマイクロプロセッサ３２７０のうちのいずれかまたは全てによって行われる。マイクロプロセッサ３２７０は、例えば、１以上のモーションセンサまたは他のセンサ（例えば慣性センサ１１１またはセンサ４０１１等）と統合されまたはそれと通信し得る。マイクロプロセッサ３２７０は、事象解析およびタグづけを行い、または、複数であり得るセンサからセンサデータを収集し、そのデータを解析およびタグづけのためにコンピュータ１０５またはモバイル装置１０１に転送し得る。１以上の実施形態は、事象解析およびタグづけを、複数の段階で行い得る。例えば、マイクロプロセッサ３２７０は、事象についての１組のタグを生成し、これらのタグを事象データと共にコンピュータ１０５またはモバイル装置１０１に転送し得る。次に、コンピュータ１０５またはモバイル装置１０１は、更なる解析を行い、更なるタグを追加し得る。センサは、例えば、慣性センサ１１１、例えば温度、湿度、風、高度、光、音、または心拍数と関連づけられた値を測定し得るセンサ４０１１、ビデオカメラ１０３、レーダ４０７１、および光ゲート４０７２を含み得る。解析システム４０５０は、スイングを検出し、次に、そのスイング事象と関連づけられるタグを決定するためにセンサデータを解析する。タグ４００３は、例えば、事象のタイプ（打席）、スイングを行ったプレイヤー（Ｃａｓｅｙ）、球種についての分類（カーブ：ボール軌道の形状の解析から決定される）、スイングの結果（打撃：バット４０６２とボール４０６３との接触４０６１を観察することによって検出される）、およびその事象についてのタイムスタンプ（第９イニング）を識別する。これらのタグは説明的なものであり、１以上の実施形態は、任意のアクティビティまたは事象についての任意の１または複数のタグを生成し得る。システムは、事象タグ４００３を事象データベース１７２に格納し得る。その事象についての更なる情報４００２（例えば、測定指標、センサデータ、軌道、またはビデオ等）も事象データベースに格納され得る。

【0315】

また、事象解析およびタグづけシステム４０５０は、事象タグ４００３を決定、確認、または修正するために、１以上のサーバまたは情報ソースからのメディアをスキャンまたは解析し得る。複数の実施形態は、例えば、電子メールサーバ、ソーシャルメディアサイト、写真共有サイト、ビデオ共有サイト、ブログ、ｗｉｋｉ、データベース、ニュースグループ、ＲＳＳサーバ、マルチメディアリポジトリ、文書リポジトリ、テキストメッセージサーバ、およびツイッター（登録商標）サーバを含むがそれらに限定されない、任意の１または複数のタイプのサーバまたは情報ソースからのメディアデータを取得し得る。メディアは、例えば、事象に関連するテキスト、音声、画像、またはビデオを含み得る。例えば、ソーシャルメディアサーバ４００５上の情報がインターネットを介してまたは別様で読み出され（４００６）、事象タグ４００３を決定、確認、または修正するために解析され得る。また、事象データベースに格納されている事象が、ソーシャルメディアサイト４００５、または他の任意のサーバもしくは情報システムに対して公開され得る（４００７）。１以上の実施形態は、事象と関連づけられた任意のまたは全てのデータ（例えば、測定指標、センサデータ、軌道、ビデオ４００２、および事象タグ４００３を含む）を公開し得る。

【0316】

１以上の実施形態は、ユーザに、解析システムによって生成された事象タグに基づいて、事象を読み出すまたはフィルタリングする機能を提供し得る。図４１は、事象データベース１７２にアクセスし得る説明的なユーザインターフェース４１００を示す。事象テーブル４１０１が示されてもよく、これは、事象タグに基づいてクエリーまたはフィルタリングを行うための選択肢を提供し得る。例えば、プレイヤー「Ｃａｓｅｙ」および事象タイプ「打席」と関連づけられた事象を選択するために、フィルタ４１０２および４１０３が適用される。１以上の実施形態は、任意のタイプの事象のフィルタリング、クエリー、または報告を提供し得る。図４１では、ユーザは、この事象の詳細を見るために横列４１０４を選択する。次に、ユーザインターフェースは、この事象についてシステムによって自動的に生成されたタグ４００３を表示する。ユーザが更なるタグを追加すること、またはシステムによって生成されたタグを編集することを可能にするために、手動タグづけインターフェース４１１０が提供される。例えば、このケースでは、センサデータの自動解析では得点結果がどうであったかを決定できないことを前提として、例えば、ユーザは、この事象と関連づけられた得点結果を定義するために、タグ名４１１１を選択し得る。次に、ユーザは、得点結果４１１２を手動で選択または入力できる。次に、ユーザが、新たな１または複数のタグについての追加ボタン４１１３を押すと、手動で選択されたタグが、事象データベース１７２内のこの事象についての事象レコードに追加され得る。ユーザインターフェースは、選択された事象４１０４と関連づけられた他の情報（例えば、測定指標４００２ａおよびビデオ４１２０等）を示し得る。これは、例えば、投射物または他のオブジェクトの軌道４１２３をビデオ上にオーバーレイするための４１２２等の選択肢を提供し得る、制御４１２１を有するビデオ再生機能を提供し得る。１以上の実施形態は、選択された事象タグに対応する１以上の事象についてのハイライトリールを生成するための機能を提供し得る。例えば、ユーザがハイライトリール生成ボタン４１３０を押すと、システムは、現在のフィルタにマッチする事象４１０１の全てについてのビデオおよび関連情報を読み出して、これらの事象の全てについてのビデオを単一のハイライトビデオとして連結させ得る。１以上の実施形態において、ハイライトリールは、最も重要なアクションを含む期間のみを示すよう自動的に編集され得る。１以上の実施形態において、ハイライトリールは、事象と関連づけられたタグ、測定指標、または軌道を示すオーバーレイを含み得る。１以上の実施形態は、ハイライトリールを生成または編集するための選択肢を提供し得る。例えば、ユーザは、ハイライトリール中の事象を時系列でまたは他のタグもしくは測定指標によって並べるための選択肢を有し得る。ハイライトリールは、事象データベース１７２に格納され得ると共に、ソーシャルメディアサイト４００５に対して公開され得る。

【0317】

図４２は、事象についてのタグを拡張するために、ソーシャルメディアへの投稿を解析する実施形態を示す。例えば慣性センサ１１１、他のセンサ４０１１、およびビデオカメラ１０３等のセンサからのデータが、事象解析およびタグづけシステム４０５０によって解析され（４２０１）、その結果、初期事象タグ４００３ａが生成される。この説明的な例では、センサ１１１、４０１１、および１０３は、プレイヤーがボールを打ったことを検出できるが、打撃の結果を決定することはできない。従って、センサデータは「スイング結果」タグを生成するには不十分であるため、事象タグ４００３ａは「スイング結果」タグを含まない。（この例は説明的なものであり、１以上の実施形態では、センサデータはスイング結果または他の任意の情報を決定するために十分であり得る）。事象解析およびタグづけシステム４０５０は、ソーシャルメディアサイト４００５にアクセスして、事象に関連する投稿４２０３を解析する。例えば、システムは、事象の時間および位置を用いて、事象の時間近くにおいて投稿したその位置付近のユーザからのソーシャルメディアへの投稿をフィルタリングし得る。この例では、システムは、事象の結果を決定するために、特定のキーワード４２０４についてテキストの投稿を検索する。センサまたはビデオは、打撃が生じたことを示すために用いられ得るが、ソーシャルメディアは、どのようなタイプの打撃、即ち事象が実際に生じたかを決定するために解析され得る。例えば、このテキスト解析４２０２に基づいて、システムは、結果４２０５がホームランである可能性が高いことを決定する。従って、システムは、事象タグに、この結果を用いてタグ４２０６を追加する。次に、拡張された事象タグ４００３ｂが事象データベースに格納され、ソーシャルメディアサイトに対して公開され得る。図４２に示されているキーワード検索は説明的なものであり、１以上の実施形態は、事象タグを決定、確認、または修正するために、任意の方法を用いてテキストまたは他のメディアを解析し得る。例えば、１以上の実施形態は、テキストまたは他の任意の情報を解析するために、自然言語処理、パターンマッチング、ベイジアンネットワーク、機械学習、ニューラルネットワーク、または話題モデルを用い得るが、それらに限定されない。システムの実施形態は、一般的に、センサまたはビデオデータに基づいて決定することが不可能または困難な事象検出のための精度の向上をもたらす。事象は、例えば、ソーシャルメディアサイト上に公開されてもよく、または、後で解析するために任意の事象タグと共にデータベースに保存されてもよい。

【0318】

１以上の実施形態は、ビデオキャプチャの一部分のみを保存もしくは転送、または別様で公開し、残りのフレームを捨て得る。図４３は、ビデオフレーム４３０１をキャプチャするビデオカメラ１０３を有する実施形態を示す。ビデオは、対象の事象（この例では、バッター４３５１によって行われた打撃）に関連するフレーム４３１０ａ、４３１０ｂ、および４３１０ｃを含む。バットは慣性センサ１１１を備えており、例えば温度、湿度、風、高度、光、音、または心拍数を測定し得る更なるセンサ４０１１が存在し得る。事象解析およびタグづけシステム４０５０によって、センサ１１１および４０１１からのデータが解析されて、打撃事象についての対象の時間間隔が決定される。この解析は、ビデオフレーム４３１０ａ、４３１０ｂ、および４３１０ｃのみが対象であり、例えばフレーム４３１１等の他のフレームは捨てられるべきである（４３０２）ことを示す。システムは、事象タグ４００３を生成し、タグおよび選択されたビデオフレーム４３０３を事象データベース１７２に保存する。この情報（選択されたビデオフレームを含む）は、例えば、非事象データを転送することなく、例えばソーシャルメディアサイト４００５に公開され得る。破棄処理４３０２は、例えば、捨てられるフレームをメモリから消去してもよく、または、カメラ１０３にこれらのフレームを消去するようコマンドしてもよい。１以上の実施形態は、他のセンサからの情報およびソーシャルメディアサイトまたは他のサーバからの情報を含む任意の情報を用いて、ビデオキャプチャのどの一部分を保存して、どの一部分をを捨てるかを決定し得る。

【0319】

上記の教示に照らして、上記の例および実施形態の多くの変更および変形が可能であることが当業者には自明であろう。開示された例および実施形態は、説明のみを目的として提示されたものである。他の実施形態は、本明細書に開示された特徴の一部または全てを含み得る。従って、本発明の真の範囲に含まれ得る全てのそのような変形および別の実施形態を網羅することが意図される。

【符号の説明】

【0320】

１００ 多センサ事象検出およびタグづけシステム
１０１、１０２、１０２ａ、１０２ｂ、１２０ モバイル装置
１０３、１０３ｂ、１０４、１３０、１３０ａ カメラ
１０５、１４０、１６０ コンピュータ
１０６、１６４ 通信インターフェース
１１０ 用具
１１１ モーションキャプチャ要素
１２０ ディスプレイ
１５０、１５１、１５２ ユーザ
１７２ データベース
３２７０ マイクロプロセッサ

【図1】

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図33A】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】