特表 2024-508782 マーカレス運動解析を改善するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-28

(54)【発明の名称】マーカレス運動解析を改善するための方法

(51)【国際特許分類】

   A63B 69/36 20060101AFI20240220BHJP

   A63B 69/00 20060101ALI20240220BHJP

【ＦＩ】

A63B69/36 541W

A63B69/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023550167

(86)(22)【出願日】2022-02-17

(85)【翻訳文提出日】2023-10-16

(86)【国際出願番号】 US2022016852

(87)【国際公開番号】W WO2022178165

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】63/150,511

(32)【優先日】2021-02-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523314008

【氏名又は名称】ゴルフテック エンタープライジズ，リミティド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】マイケル デッカー

(72)【発明者】

【氏名】クレイグ シモンズ

(57)【要約】

マーカレス運動解析を改善するためのシステム、方法及びコンピュータ可読記憶装置を開示する。一つの方法は、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された３Ｄ角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された３Ｄ角運動学データを表示用に提供することと、を備える。

【特許請求の範囲】

【請求項1】

マーカレス運動解析を改善するためのコンピュータ実行方法であって、
少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、
モデル方程式を使用して、前記身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された前記３Ｄ角運動学データは、前記身体の関節中心の位置データの向上した測定精度を含むことと、
運動性能を評価するために、強化された前記３Ｄ角運動学データを表示用に提供することと、
を備える方法。

【請求項2】

前記少なくとも一つのカメラは、単一のカメラであり、
前記単一のカメラを使用して、第１の時間及び前記第１の時間とは異なる第２の時間に運動中の前記身体の第１の画像及び第２の画像をキャプチャすることを更に備える、請求項１に記載の方法。

【請求項3】

前記第１の画像及び前記第２の画像は、マーカレスモーションキャプチャを使用してキャプチャされる、請求項２に記載の方法。

【請求項4】

前記身体の関節中心の位置データを受信することは、
少なくとも二つの別個の時点について、運動中の前記身体の第１のセグメントの少なくとも二つのキーポイントと、運動中の前記身体の第２のセグメントの少なくとも二つのキーポイントと、を受信することであって、前記キーポイントは、前記少なくとも一つのカメラによってキャプチャされた運動中の前記身体の一部の位置に対応することを有する、請求項１に記載の方法。

【請求項5】

セグメントの各々の前記少なくとも二つのキーポイントの間に第１の軸を定義することと、
前記第１の軸の各々の中点に一時的な軸を定義することと、
前記セグメントの各々について、前記一時的な軸及び前記セグメントの各々の第１の軸に直交する第２の軸を定義することと、
前記セグメントの各々について、前記第１の軸及び前記第２の軸に直交する第３の軸を定義することと、
を更に備える、請求項４に記載の方法。

【請求項6】

前記少なくとも二つの別個の時点についての前記第１のセグメントの少なくとも二つのキーポイント及び前記第２のセグメントの少なくとも二つのキーポイント並びに前記キーポイントの定義された前記第１の軸、前記第２の軸及び前記第３の軸に基づいて、前記第１のセグメントの３次元角運動学及び前記第２のセグメントの３次元角運動学を生成することを更に備える、請求項５に記載の方法。

【請求項7】

前記モデル方程式を使用して、前記３Ｄ角運動学データを強化することは、ニューラルネットワークモデルを使用することを有し、
運動中の前記身体の関節中心の複数の位置データを含む複数の例示的なデータセットを受信することと、
前記複数の例示的なデータセットを使用して、前記ニューラルネットワークモデルをトレーニングすることであって、前記ニューラルネットワークモデルは、前記モデル方程式を出力するように構成されたことと、
を更に備える、請求項１に記載の方法。

【請求項8】

前記モデル方程式を出力するように構成された複数のニューロンを含むニューラルネットワークモデルを構築することであって、前記複数のニューロンは、少なくとも一つの隠れ層を有する複数の層に配置されるとともに複数の接続によって接続されたことを更に備える、請求項７に記載の方法。

【請求項9】

前記モデル方程式を使用して、前記３Ｄ角運動学データを強化することは、前記３Ｄ角運動学データを強化するために確率的マッピングを使用することを有する、請求項１に記載の方法。

【請求項10】

マーカレス運動解析を改善するためのシステムであって、
マーカレス運動解析を改善するための命令を記憶するデータ記憶装置と、
少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、
モデル方程式を使用して、前記身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された前記３Ｄ角運動学データは、前記身体の関節中心の位置データの向上した測定精度を含むことと、
運動性能を評価するために、強化された前記３Ｄ角運動学データを表示用に提供することと、
を備える方法を実行するために前記命令を実行するように構成されたプロセッサと、
を備えるシステム。

【請求項11】

前記少なくとも一つのカメラは、単一のカメラであり、
前記方法は、
前記単一のカメラを使用して、第１の時間及び前記第１の時間とは異なる第２の時間に運動中の前記身体の第１の画像及び第２の画像をキャプチャすることを更に備える、請求項１０に記載のシステム。

【請求項12】

前記第１の画像及び前記第２の画像は、マーカレスモーションキャプチャを使用してキャプチャされる、請求項１１に記載のシステム。

【請求項13】

前記身体の関節中心の位置データを受信することは、
少なくとも二つの別個の時点について、運動中の前記身体の第１のセグメントの少なくとも二つのキーポイントと、運動中の前記身体の第２のセグメントの少なくとも二つのキーポイントと、を受信することであって、前記キーポイントは、前記少なくとも一つのカメラによってキャプチャされた運動中の前記身体の一部の位置に対応することを有する、請求項１０に記載のシステム。

【請求項14】

セグメントの各々の前記少なくとも二つのキーポイントの間に第１の軸を定義することと、
前記第１の軸の各々の中点に一時的な軸を定義することと、
前記セグメントの各々について、前記一時的な軸及び前記セグメントの各々の第１の軸に直交する第２の軸を定義することと、
前記セグメントの各々について、前記第１の軸及び前記第２の軸に直交する第３の軸を定義することと、
を更に備える、請求項１３に記載のシステム。

【請求項15】

前記少なくとも二つの別個の時点についての前記第１のセグメントの少なくとも二つのキーポイント及び第２のセグメントの少なくとも二つのキーポイント並びに前記キーポイントの定義された前記第１の軸、前記第２の軸及び前記第３の軸に基づいて、前記第１のセグメントの３次元角運動学及び前記第２のセグメントの３次元角運動学を生成することを更に備える、請求項１４に記載のシステム。

【請求項16】

前記モデル方程式を使用して、前記３Ｄ角運動学データを強化することは、ニューラルネットワークモデルを使用することを有し、
前記方法は、
運動中の前記身体の関節中心の複数の位置データを含む複数の例示的なデータセットを受信することと、
前記複数の例示的なデータセットを使用して、前記ニューラルネットワークモデルをトレーニングすることであって、前記ニューラルネットワークモデルは、前記モデル方程式を出力するように構成されたことと、
を更に備える、請求項１０に記載のシステム。

【請求項17】

前記モデル方程式を出力するように構成された複数のニューロンを含むニューラルネットワークモデルを構築することであって、前記複数のニューロンは、少なくとも一つの隠れ層を有する複数の層に配置されるとともに複数の接続によって接続されたことを更に備える、請求項１６に記載のシステム。

【請求項18】

前記モデル方程式を使用して、前記３Ｄ角運動学データを強化することは、前記３Ｄ角運動学データを強化するために確率的マッピングを使用することを有する、請求項１０に記載のシステム。

【請求項19】

コンピュータによって実行されるとき、マーカレス運動解析を改善するための方法をコンピュータに実行させる命令を記憶する非一時的なコンピュータ可読記憶装置であって、
前記方法は、
少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、
モデル方程式を使用して、前記身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された前記３Ｄ角運動学データは、前記身体の関節中心の位置データの向上した測定精度を含むことと、
運動性能を評価するために、強化された前記３Ｄ角運動学データを表示用に提供することと、
を備える、コンピュータ可読記憶装置。

【請求項20】

前記少なくとも一つのカメラは、単一のカメラであり、
前記方法は、
前記単一のカメラを使用して、第１の時間及び前記第１の時間とは異なる第２の時間に運動中の前記身体の第１の画像及び第２の画像をキャプチャすることを更に備え、
第１の画像及び第２の画像は、マーカレスモーションキャプチャを使用してキャプチャされる、請求項１９に記載のコンピュータ可読記憶装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、ＰＣＴ国際特許出願として２０２２年２月１７日に出願されるとともに２０２１年２月１７日に出願された米国仮特許出願第６３／１５０,５１１号（マーカレス運動解析を改善するための方法（Ｍｅｔｈｏｄ ｆｏｒ Ｉｍｐｒｏｖｉｎｇ Ｍａｒｋｅｒｌｅｓｓ Ｍｏｔｉｏｎ Ａｎａｌｙｓｅｓ））の優先権を主張するものであり、当該出願の主題は、参照により本願に組み込まれる。

【0002】

本発明は、一般に、マーカレス運動解析を使用して身体動作トレーニング及び指導を提供するための方法、システム及びコンピュータ可読媒体に関する。更に詳しくは、本発明は、運動トレーニング及び指導のための改善されたマーカレス運動解析を提供するためのコンピュータ実行システムに関する。

【背景技術】

【0003】

スポーツ、例えば、ゴルフクラブ又はバットのスイングのための適切な動作力学を教えるために、多くの異なる技術が実施されてきた。現在、例えば、プロゴルファーのようなインストラクターは、ゴルフクラブの適切な振り方を教えるために、画像及び／又はビデオ分析システムを使用する。典型的なビデオ又は画像分析システムを使用すると、ゴルフスイングが、カメラ及び／又はビデオ録画装置のような画像装置によってキャプチャされる。インストラクターは、スイングに関するフィードバックを提供しながらゴルフスイングを説明するために、記録された画像及び／又はビデオ情報を再生する。指導フィードバックは、スイングに関連する問題に関するコメント、スイングの改善に関する賛辞、スイングの修正に関する提案及び／又はスイングに関連する他の任意の口頭による指導コメントであってもよい。このように個人のゴルフスイングを視覚化することは、ゴルフスイング全体を改善するために問題を特定するとともにそれらの問題を修正するための貴重なツールとして認識されている。

【0004】

画像及び／又はビデオ分析システムがプロゴルファー、野球選手等のようなスポーツ専門家によって広く使用されているが、これらのシステムは、特定の欠点を有する。一つの特定の欠点は、これらのシステムが人間のポーズ及び空間的ランドマークを識別する必要があるという事実に関する。例えば、専門家は、人間のポーズ及び空間的ランドマークを特定するために画像及び／又はビデオ情報を主観的に分析する必要がある。しかしながら、典型的な画像及びビデオだけでは、異なるカメラアングル、少数のカメラ、緩んだ衣服等の場合には十分な情報をキャプチャできないことがある。したがって、専門家は、人間のポーズ及び空間的ランドマーク情報を推測することを強いられることがある。したがって、画像及び／又はビデオからスイングの力学及び計測値を分離することが困難であるので、専門家によって特定された人間のポーズ及び空間的ランドマーク情報は不正確であることがある。

【0005】

典型的な画像及び／又はビデオ分析システムに関連する欠点を克服するために、運動解析システムは、ユーザがマーカー及び／又はセンサ素子を身体に装着するとともにマーカー及び／又はセンサ素子が孤立した身体部分、例えば、手、腰、肩及び頭部の位置データを送信することを必要とすることがある。身体上の孤立点は、絶対基準系、例えば、中心点が室内の固定点であるデカルト座標系に従ってスイング中に測定される。運動解析を使用することによって、スイング中の問題を更に正確に判断するための正確な測定値を提供することができる。

【0006】

そのようなマーカーベースの画像及び／又はビデオシステムの欠点は、ユーザがマーカーを着用する必要があること並びにカメラ及び／又はビデオ装置を正確に配置する必要があり得ることである。したがって、マーカーを使用しないモーションキャプチャシステム／方法の開発は、幅広い競技用途及び臨床用途によって動機付けられてきた。

【0007】

しかしながら、標準的なマーカレスモーションキャプチャ方法によって提供される空間座標のセットが限られているので、３次元／３軸（３Ｄ）回転運動（角運動学）を実現するためにマーカレスモーションキャプチャを使用することには限界がある。本願は、これらの考察及び他の考察に関してなされたものである。

【発明の概要】

【発明が解決しようとする課題】

【0008】

特定の実施形態によれば、マーカレス運動解析を改善するためのシステム、方法及びコンピュータ可読媒体を開示する。

【課題を解決するための手段】

【0009】

特定の実施形態によれば、マーカレス運動解析を改善するためのコンピュータ実行方法を開示する。一つの方法は、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された３Ｄ角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された３Ｄ角運動学データを表示用に提供することと、を備える。

【0010】

特定の実施形態によれば、マーカレス運動解析を改善するためのシステムを開示する。一つのシステムは、マーカレス運動解析を改善するための命令を記憶するデータ記憶装置と、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された３Ｄ角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された３Ｄ角運動学データを表示用に提供することと、を備える方法を実行するために命令を実行するように構成されたプロセッサと、を備える。

【0011】

特定の実施形態によれば、コンピュータによって実行されるとき、マーカレス運動解析を改善するための方法をコンピュータに実行させる命令を記憶する非一時的なコンピュータ可読記憶装置を開示する。コンピュータ可読媒体の一つの方法は、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信することと、モデル方程式を使用して、身体の関節中心の位置データの３次元（３Ｄ）角運動学データを強化することであって、強化された３Ｄ角運動学データは、身体の関節中心の位置データの向上した測定精度を含むことと、運動性能を評価するために、強化された３Ｄ角運動学データを表示用に提供することと、を備える。

【0012】

開示した実施形態の他の目的及び利点は、部分的には以下の説明に記載され、部分的には説明から明らかになる又は開示された実施形態の実施によって知ることができる。開示した実施形態の目的及び利点は、添付の特許請求の範囲において特に指摘される要素及び組合せによって実現されるとともに達成される。

【0013】

上記の一般的な説明及び以下の詳細な説明の両方は、例示的及び説明的なものに過ぎず、特許請求の範囲に記載された開示した実施形態を制限するものではないことを理解されたい。

【図面の簡単な説明】

【0014】

以下の詳細な説明の過程において、添付図面を参照する。図面は、本開示の異なる態様を示し、適切な場合、異なる図における同様の構造、コンポーネント、材料及び／又は要素を示す参照番号は、同様にラベル付けされる。具体的に示したもの以外の構造、コンポーネント及び／又は要素の様々な組合せが想定されるとともに本開示の範囲内であることが理解される。

【0015】

さらに、本明細書において説明及び図示する本開示の多くの実施形態が存在する。本開示は、その単一の態様又は実施形態に限定されず、また、そのような態様及び／又は実施形態の組合せ及び／又は順列にも限定されない。さらに、本開示の態様及び／又はその実施形態の各々を、単独で又は本開示の他の態様及び／又はその実施形態の一つ以上と組合せで採用してもよい。簡潔のために、特定の順列及び組合せを、本明細書において別々に議論及び／又は図示しない。

【0016】

【図1】図１は、本開示の実施形態によるマーカレス運動解析を実行する提案された方法の一実施形態及び最良の実施形態の例としてのゴルフスイングのパフォーマンスを示す。

【0017】

【図2】図２は、本開示の実施形態による限られたセットの身体基準座標から３Ｄ角運動学を計算するための身体セグメント座標系を導出する方法を示す。

【0018】

【図3】図３は、本開示の実施形態によるマーカレスモーションキャプチャを使用して正確な３Ｄ角度測定値を提供するためのプロセスを示す。

【0019】

【図4】図４は、本開示の実施形態によるマーカレスモーションキャプチャを使用して３Ｄ角度測定値の精度を向上させるための運動学的強化方法を示す。

【0020】

【図5】図５は、本開示の実施形態によるマーカレス運動解析を改善するための方法を示す。

【0021】

【図6】図６は、本開示の実施形態による本明細書に開示したシステム、方法及びコンピュータ可読媒体に従って使用してもよい例示的なコンピューティングデバイスの高レベルの図を示す。

【0022】

【図7】図７は、本開示の実施形態による本明細書に開示したシステム、方法及びコンピュータ可読媒体に従って使用してもよい例示的なコンピューティングシステムの高レベルの図を示す。

【0023】

ここでも、本明細書で説明及び図示する多くの実施形態がある。本開示は、任意の単一の態様及び／又はその実施形態に限定されず、また、そのような態様及び／又は実施形態の任意の組合せ及び／又は順列にも限定されない。本開示の態様及び／又はその実施形態の各々を、単独で又は本開示の他の態様及び／又はその実施形態の一つ以上と組み合わせて採用してもよい。簡潔のために、それらの組合せ及び順列の多くを、本明細書では別々に議論しない。

【発明を実施するための形態】

【0024】

当業者は、本開示の様々な実装及び実施形態を本明細書に従って実施できることを認識する。これらの実施態様及び実施形態の全ては、本開示の範囲内に含まれることが意図される。

【0025】

本明細書で使用される場合、用語「備える」、「備え」、「有する」、「有し」、「含む」、「含み」又は他の変形は、要素のリストを備えるプロセス、方法、物品又は装置がそれらの要素のみを含むのではなく明示的に列挙されていない又はそのようなプロセス、方法、物品又は装置に固有の他の要素を含んでもよい非排他的な包含をカバーすることを意図する。用語 「例示的」を、「理想的」ではなく「例」の意味で使用する。さらに、「又は」という用語は、排他的な「又は」ではなく包括的な「又は」を意味することを意図する。すなわち、特に指定がない限り又は文脈から明らかでない限り、「ＸはＡ又はＢを採用する」という表現は、自然な包括的順列のいずれかを意味することを意図する。 例えば、「ＸはＡ又はＢを採用する」という表現は、「ＸはＡを採用する」、「ＸはＢを採用する」又は「ＸはＡとＢの両方を採用する」のいずれかによって満たされる。さらに、本願及び添付の特許請求の範囲で使用される冠詞「ａ」及び「ａｎ」を、特に指定がない限り又は文脈から単数形を意味することが明らかでない限り一般に「一つ以上」を意味すると解釈すべきである。

【0026】

簡潔のために、方法を実施するために使用されるシステム及びサーバに関する従来技術並びにシステム及びサーバ（及びシステムの個々の動作コンポーネント）の他の機能的な態様を本明細書で詳しく説明しない場合がある。さらに、本明細書に含まれる様々な図に示す接続線は、様々な要素間の例示的な機能的関係及び／又は物理的結合を表すことを意図する。多くの代替的及び／又は追加的な機能的関係又は物理的結合が主題の実施形態において存在し得ることに留意されたい。

【0027】

次に、本開示の例示的な実施形態を詳細に参照し、その例を添付図面に図示する。可能な限り、同一の参照番号を、図面全体を通して同一の又は同様の部品を参照するために使用する。

【0028】

本開示は、特に、利用可能な空間基準点データを使用して一つ以上のセグメントが不十分に規定されるときに一つ以上のセグメントの３次元空間セグメント方位を推定する方法に関する。

【0029】

ここで図面を参照すると、図１は、本開示の実施形態による強化された運動解析を実施するための環境１００を示す。図１に示すように、環境１００は、一つ以上のカメラ及び／又はビデオ録画機器１０４によってキャプチャされた物理的な動きプロセス情報を記録するためにカメラ及び／又はビデオ録画機器１０４を使用する画像及び／又はビデオ分析システム１０２を含む。画像及び／又はビデオ分析システム１０２は、位置情報をキャプチャ及び／又は計算してもよい。画像及び／又はビデオ分析システム１０２は、ゴルフスイングの解析及びトレーニングに使用してもよい解析又はティーチング情報を生成するためにデータを処理する。

【0030】

環境１００を、ゴルフスイング分析を提供するためのシステム及び方法として以下で説明するが、画像及び／又はビデオ分析システム１０２を、野球、テニス、クリケット、ポロ又は動きがスポーツの要素が実施される尺度である他の任意のスポーツのような他のスポーツにおける運動解析を提供するために使用してもよい。さらに、解析を、ほとんどの形式の身体運動解析を提供するために同様に使用してもよい。さらに、環境１００は、二つのカメラ１０４を描写するが、一つのカメラ又は一つのビデオ記録装置を使用してもよい。

【0031】

本開示の実施形態において、測定精度が重要な場合があり、正確なモーションキャプチャは、連続するデジタル画像に亘る骨格セグメント及び関節中心の検出、追跡及び空間変換を強化するために解剖学的制約をシミュレートする画像処理アルゴリズム及び身体モデルの開発によって改善された。マーカレスモーションキャプチャシステムの開発は、スポーツ及び臨床に幅広く応用されており、人間のポーズ及び空間ランドマークを特定するために光学システムが採用される。

【0032】

しかしながら、マーカレスモーションキャプチャ方法によって提供される空間座標のセットが限られているので、３次元／３軸回転運動（角運動学）を実現するためのマーカレスモーションキャプチャの制限が続くことがある。複雑な多体運動学は、（人間の動きで実証されているように）隣接するセグメント間の３Ｄ回転を可能にする関節で機械的に拘束される二つ以上のセグメントによって実現されることがある。ヒルベルトの幾何学基礎論の結合公理によれば、同一線上にない三つの点によって、３Ｄ空間（ユークリッド）において平面を定義することができる。この条件によって、解析的に定義された座標系が可能となり、セグメント方位計測のための身体固定基準フレームを作成することができる。セグメントごとに同一線上にない三つの身体固定点の空間座標が利用できないとき、３Ｄ計測を近似するために代替的なアプローチを使用してもよい。

【0033】

３Ｄ角運動学の部分的なセットを、例えば、スクワット又は歩行のような特定の２Ｄ運動面でゆっくりと行われる運動タスクの間に提供してもよい。このようなモーションキャプチャの制限にもかかわらず、マーカーベースの運動解析システムから決定された同時測定値と比較すると、大きな角度偏差が示されることがある。上述したように、マーカーベースの運動解析システムは、動的な活動中の解剖学的ランドマークからの変位を最小にするために、確立されるとともに検証された信頼性を持つ骨隆起に直接マーカーを貼り付ける。

【0034】

しかしながら、マーカレスシステムにおけるランドマーク点（キーポイント）の識別は、環境条件（照明、障害物／衣服、ポーズ）に非常に敏感であることのある確率的で非決定論的な特徴検出に依存することがあり、報告されたランドマーク座標が真のランドマーク位置からランダムにずれるランダム位置誤差を生じさせることがある。これらの点を使用して運動計測用の平面（２Ｄ）基準フレームを定義するのを試みるとき、キーポイントの各々で発生するランダムな位置誤差の分散により、一連の画像のフレーム間で複合誤差が発生することがある。さらに、キーポイントの位置誤差は、フレームの各々で解析的に定義された基準ジオメトリを介して伝播し、誤った偏差を発生させることがある。キーポイント位置誤差に直接影響する要因に加えて、キーポイント由来の基準フレーム誤差は、セグメントの形状及びマーカレスキーポイントを使用する基準フレームの大きさに影響することのあるセグメントのキーポイント位置によって影響が及ぼされることがあり、複合／拡大されることがある。潜在的な誤差を考慮し、後に説明する様々な方法を、位置誤差への影響を軽減するために使用してもよい。

【0035】

マーカレスシステムとマーカーベースシステムとの間で比較的よく一致する運動のパターンが生じる三つの非隣接関節中心位置（すなわち、股関節、肩関節、肘関節等）の３次元座標から参照される２Ｄ角運動学（２Ｄ ａｎｇｕｌａｒ ｋｉｎｅｍａｔｉｃｓ）を測定するための方法を採用することができる。大きな角度偏差の持続を伴う同様の運動パターンによって、マーカレスモーションキャプチャを使用して有効なパフォーマンス測定を行うための回転運動の代理測定が促されている。さらに、解剖学的制約を課した筋骨格系の身体モデルを組み合わせることによって、角運動学の測定精度が向上した。

【0036】

しかしながら、これらのアプローチにもかかわらず、カメラの２Ｄビュー平面から離れるように身体セグメントがねじれる横平面回転運動が抽出されるとともに報告されることはほとんどないことがある。更に多くのカメラセットがあれば、マーカレスモーションキャプチャシステムがねじれ運動タスク中に３Ｄ関節中心位置を適切に追跡することは向上するかもしれないが、横平面角度運動を正確かつ確実に抽出することが困難であることがある。

【0037】

マーカレスモーションキャプチャ技術の制約は、３Ｄ角運動学を測定するために利用可能な身体基準空間座標の数であることがある。以下で更に詳しく説明するように、測定は、ローカルな３Ｄ座標系を定義するために、身体セグメントに三つの基準点が必要な場合がある。ある身体セグメントの別の身体セグメントに対する３Ｄ空間方位は、二つの３Ｄ座標系間の相対回転差として物理的に定量化される。身体セグメント（剛体）の３Ｄ空間方位の測定は、グローバル３Ｄ座標系（基準フレーム）に対する関心のある剛体の３Ｄ座標系を定義する必要がある。３Ｄ身体固定基準フレームを定義するために、基準フレーム内に固定された同一直線上にない少なくとも三つの独立した空間座標を知る必要がある。この幾何学的要件は、マーカレスモーションキャプチャによって満たされないことがあり、したがって、解析方法が不十分／未決定の身体セグメント座標データで３Ｄ空間方位を定量化することを妨げることがある。

【0038】

マーカレスモーションキャプチャ技術を改善するために、本開示の実施形態は、パフォーマンス（すなわち、ゴルフスイング）及び傷害リスク（すなわち、膝の傷害）のためのねじれ運動を分析する際に有用なツールとなり得る、制約のある身体システムから３Ｄ角運動学を測定するための新たな分析方法を実現する。マーカレスモーションキャプチャで使用するカメラの数を増やすと、身体を基準とした座標の精度が向上することがあるが、カメラの数を増やしても、有効で信頼性の高い３Ｄ角運動計測値を提供するための計算要件が向上することが低いことがある。したがって、マーカレスモーションキャプチャ技術の実用性を高めるアプローチについて、以下で詳しく説明する。

【0039】

本開示は、単一のカメラのような少なくとも一つのカメラを有するマーカレスモーションキャプチャ技術を使用して３Ｄ運動解析を提供するとともに改善するための方法に関する。本開示の実施形態は、セグメントの各々について三つ未満の身体固定基準点が既知であるときに及び／又は、これらの点が身体に対して剛体的に固定されていないときに、説明できない／ランダムな測定分散のために発生することがある、一つ以上の剛体の３Ｄ空間方位を推定する方法を提供する。

【0040】

本開示の実施形態において、(１) 直接観測可能な身体固定点によって提供される詳細を補完する追加の制約を利用する従属セグメント基準フレームを実現するために少なくとも二つの直接的又は間接的に運動学的に制約されたセグメントの二つ以上の点のようなものであるがそれに限定されない利用可能な空間情報の使用及び(２)一つ以上の身体固定点と一つ以上の系統的な運動学的制約との間の幾何学的関係の確率的マッピングの３Ｄ身体固定基準フレームへの適用によって、一つ以上の剛体の３Ｄ空間方位の推定を可能にする方法を提供する。プロセスは、多体系の運動学の間接的な表現を実現するために運動学的に制約された身体固定座標系からの直接的な測定値を利用する。測定値が、従属基準フレームを追跡するが、測定値は、制約された多体系運動学の正味の影響を反映する。換言すれば、両セグメントが共有する第３の身体固定点として機能する運動学的制約セントロイドを考察することができる。したがって、二つの測定値セットを関連付ける重み付けされた特徴マッピングを決定するために、運動学的に制約された測定値の代表的なサンプルを、診断的に意味のある動きについての対応する検証された基準測定値と対にしてもよい。このアプローチは、教師あり学習、潜在変数モデル及び制約された運動学及び／又はキーポイントから得られる特徴を含むがそれに限定されない。

【0041】

以下で更に詳しく説明するように、実施形態によれば、少なくとも二つの運動学的に制約された剛体（セグメント）上で少なくとも二つの身体固定点（キーポイント）が既知であるとともにグローバル基準フレームが定義されているときに、計算方法が適用される。図２Ａ～２Ｄは、本開示の態様による限定されたセットの身体基準座標から３Ｄ角運動学を計算するための身体セグメント座標系を導出するための方法を示す。特に、図２Ａ～２Ｄは、少なくとも二つの運動学的に制約された剛体上の少なくとも二つの身体固定点が既知であるときに３次元（３Ｄ）角運動学の計算を可能にするための身体セグメント座標系を定義する方法を示す。図２Ａに示すように、セグメント２０２Ａ及び２０２Ｂの各々は、少なくとも二つの身体固定点（キーポイント）２０４Ａ及び２０４Ｂを有する。キーポイント２０４Ａ及び２０４Ｂの各々は、慣性フレーム（グローバル基準フレーム）に固定された基準座標系２０６に基づいてもよい。図２Ａ～２Ｄの各々について、基準軸が定義される。図２Ｂは、身体セグメント２０２Ａ及び２０２Ｂの各々の二つの身体固定点２０４Ａ及び２０４Ｂの間に定義されるような軸２０８を示す。身体固定点２０４Ａ及び２０４Ｂは、二つのセグメント２０２Ａ及び２０２Ｂによって共有される関節制約を含まなくてもよい。一時的な軸２１０を、（間接的に）隣接するセグメント２０２Ａ及び２０２Ｂの軸２０８の各々の中点から定義してもよい。図２Ｃは、セグメント固有の軸２０８及び軸２１０に直交する軸として軸２１２を定義してもよいことを示す。図２Ｄは、最終軸２１４を軸２０８及び軸２１２に直交する軸として定義してもよいことを示す。このアプローチは、一つの軸（軸２０８）が身体固定であるとともに二つの軸が二つのセグメント間の系統的な制約された関節運動学を表す方向駆動相互作用をキャプチャするようにセグメントの各々に基準フレームを提供する。

【0042】

身体軸固定基準フレームから取り込まれた測定値は、グローバル基準フレーム２０６に対するセグメントと各セグメントとの間の（制約された）相対的な空間的方位を含む体系的な表現を提供する。以下で更に詳しく説明するように、３Ｄ角運動学を、独立した身体軸固定座標系を仮定して適用してもよい規則に従って直接計算することができる。

【0043】

例えば、ｘ軸及びｚ軸を、床／地面に平行であるとともに互いに垂直であると定義してもよく、ｙ軸を、ｘ軸及びｚ軸に垂直であるとともに床／地面に直交すると定義してもよい。代替的に、座標原点に対する参照を、系のユーザに固有のものとして定義してもよい。軸システムを使用して、角回転値の測定値を決定してもよい。例えば、

【数1】

は、ｘ軸周りの肩の回転角度を表してもよく、

【数2】

は、ｙ軸周りの肩の回転角度を表してもよく、

【数3】

は、ｚ軸周りの肩の回転角度を表してもよく、

【数4】

は、ｘ軸周りの腰の回転角度を表してもよく、

【数5】

は、ｙ軸周りの腰の回転角度を表してもよく、

【数6】

は、ｚ軸周りの腰の回転角度を表してもよい。したがって、

【数7】

は、肩及び腰の曲げに関するものであり、

【数8】

は、肩及び腰の回転に関するものであり、

【数9】

は、肩及び腰の傾きに関するものである。座標系を基準にして測定することによって、肩と腰の両方の曲げ、回転及び傾きに関する位置要素を決定してもよい。

【0044】

上述したように、本開示の実施形態は、運動学的データを強化するために使用してもよい教師あり学習アプローチ及び／又は機械学習アプローチを提供する。本開示の実施形態のアプローチは、運動学的データを強化するために使用されるモデル式を決定するために、一つ以上の機械学習アプローチをトレーニングすることに基づいてもよい。機械学習を更に一般的に論じるが、機械学習の一例は、畳み込みニューラルネットワーク、ディープニューラルネットワーク、リカレントニューラルネットワーク等を含むがそれに限定されないニューラルネットワークを含んでもよい。

【0045】

以下で更に詳しく説明するように、運動学的強化手順は、特定の動作タスクのグローバル基準フレームに対する、真の解析的に定義された独立した身体固定基準フレームの方位を近似してもよい。この手順は、相対的な方位の代表的なサンプルの間に代替的な身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立セグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用して決定される確率的マッピングを使用してもよい。次に、新しい動作パフォーマンスの３Ｄ角運動学を測定するために、マッピング手順からのモデル方程式を使用してもよい。その結果を、例えば、コンピュータ画面のダッシュボード、スマートデバイス等に表示してもよい。

【0046】

図３は、本開示の実施形態によるマーカレスモーションキャプチャを使用して正確な３Ｄ角度測定を提供するための方法３００を示す。図３に示すように、アスリート／ユーザ／パフォーマーは、アスリート／ユーザ／パフォーマーの身体の動作を含む行動３０２を行うことができる。少なくとも一つのカメラ、例えば、単一のカメラは、３０４において、運動中の身体の少なくとも二つの画像をキャプチャしてもよい。３０６において、画素の２次元配列を有する画像が出力するために画像処理を実行してもよい。次に、３０８において、運動中の身体の２次元座標を生成するために、カメラ較正を行ってもよい。次に、３１０として、運動中の身体のキーポイントの３次元座標を生成するために、画像の直接線形変換を実行してもよい。例えば、運動中の身体のキーポイントの３次元座標は、３次元関節中心位置３１２であってもよい。

【0047】

運動中の身体の３次元関節中心位置を、３１４で受け取ってもよい。図３の３１６に示すように、３次元角運動学を、独立した身体固定座標系を仮定して適用される規則に従って直接計算してもよい。３１８において、グローバル基準フレームに対する真の解析的に定義された独立した身体固定基準フレームの方位を近似する運動学的強化手順を、少なくとも一つのカメラによってキャプチャされた特定の動作タスクに対して実行してもよい。以下で更に詳しく説明するように、この手順は、相対的な方位の代表的なサンプルの間に代替の身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立セグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用して決定される確率的マッピングを使用してもよい。３２０で新しい動作パフォーマンスの３Ｄ角運動学を測定するために、マッピング手順からのモデル方程式を使用してもよく、３２２において、マッピング手順からのモデル方程式を、コンピュータ画面又はスマートデバイスのダッシュボードに表示される。

【0048】

図４は、本開示の実施形態によるマーカレスモーションキャプチャを使用して３Ｄ角度測定の精度を向上させるための運動学的強化方法を示す。この手順は、データプロセス４０３によって基準測定値を受信／取得する４０２から開始してもよい。確率的マッピングを使用してもよく、それは、相対的な方位の代表的なサンプルの間に代替の身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立セグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用して決定される。

【0049】

例えば、データプロセス４０３は、一つ以上の機械学習アプローチのトレーニングにおいて使用されるマーカレスモーションキャプチャデータ４０４を処理してもよい。マーカレスモーションキャプチャ４０４の代表的な測定例において、アスリート／ユーザ／パフォーマーは、アスリート／ユーザ／パフォーマーの身体の動作を含む行動を行ってもよい。少なくとも一つのカメラ、例えば、単一のカメラは、４０４Ａにおいて、運動中の身体の少なくとも二つの画像をキャプチャしてもよい。 ４０４Ｂにおいて、画素の２次元配列を有する画像を出力するために、画像処理を実行してもよい。次に、４０４Ｃにおいて、運動中の身体の２次元座標を生成するために、カメラの較正を行ってもよい。次に、４０４Ｄとして、運動中の身体のキーポイントの３次元座標を生成するために、画像の直接線形変換を実行してもよい。次に、４０４Ｅに示すように、３次元角運動学を、独立した身体固定座標系を仮定して適用される規則に従って直接計算してもよい。３次元角運動学は、３次元座標に関する回転データを生成するために適用される。

【0050】

さらに、データプロセス４０３は、一つ以上の機械学習アプローチのトレーニングに使用されるマーカーベースのモーションキャプチャデータ４０６を処理してもよい。例えば、マーカーベースのモーションキャプチャにおいて、一つ以上の赤外線カメラ４０６Ａは、ユーザに配置されたマーカーをキャプチャしてもよい。カメラ較正４０６Ｂを使用することによって、ｘ軸座標及びｙ軸座標を、キャプチャされたマーカーから抽出してもよい。抽出された座標から、ｘ軸、ｙ軸及びｚ軸の３次元座標を生成するために、直接線形変換４０６Ｃを使用してもよい。最後に、３次元座標に関する回転データを生成するために、３次元角運動学４０６Ｄを適用してもよい。

【0051】

本開示の実施形態において、データプロセス４０３は、運動解析方法を採用してもよく、動作パフォーマンスの連続ビデオ画像から身体基準ランドマーク（キーポイント）のセットを抽出するとともに変換してもよい。キーポイントのセットは、限定的であってもよく、キーポイントの対の間の中点位置のような身体の関節中心位置の一部を提供してもよい。キーポイントを、３次元角運動学を生成するために受信及び／又は入力してもよい。その後、確率的マッピング４０８を使用してもよい。確率的マッピングの間、相対的な方位の代表的なサンプルの間に代替の体軸固定相互作用基準フレームを使用して計算された測定値に関連して、独立したセグメントの方位の運動学的に制約された検証例からの代表的な例の測定値を使用してもよい。確率的マッピング変換４０８は、３Ｄ角運動学の計算精度を上げるためのモデル方程式４１０を提供してもよい。

【0052】

次に、強化された運動学的データは、ダッシュボードに渡され、関連するタスク固有の指標が抽出されるとともにコンピュータ画面又はスマートデバイスに数値的及び／又はグラフで表示される。(図３の３２０及び３２２を参照）。パフォーマンス指標を、運動パフォーマンスを評価するとともに実用的な洞察を提供するために使用してもよい。確率的マッピングは、結合された制約下の基準フレームと解析的に定義された等価基準フレームとの間の関係を確立してもよい。上述したように、これは、相対的な方位の代表的なサンプルの間に代替の身体固定相互作用基準フレームを使用して計算された測定値に関連して、独立したセグメントの方位の対になった検証例を使用することによって達成される。そのようなマッピングは、制約の少ない／定義された身体固定基準位置のセットから３Ｄ角運動学を測定する定量的な精度の向上を提供し、正確な３Ｄ角運動学を生成するために身体基準ランドマークの小さなセットに限定されない運動解析方法を提供することによってマーカレスモーション技術を進歩させる。

【0053】

確率的マッピングのトレーニングを、測定された被験者間及び／又は異なる測定セットアップ間のばらつきを考慮するために複数の例示的なデータセットに対して行ってもよい。さらに、様々なスポーツ及び機能的タスクに関する複数の例示的データセットの複数のリポジトリが存在することがある。これらのリポジトリは、以前に作成されたものであってもよく、自由に利用することができてもよい。これらの複数のデータセットの例を使用することにより、マーカレスモーションキャプチャ中に単一のカメラによってキャプチャされるキーポイントの限られたセットを、強化された３Ｄ角運動データを生成するために使用してもよい。

【0054】

確率的マッピングは、複数の例示的データセットで学習することにより、例示的データセットに共通する特徴を学習してもよい。確率的マッピングは、分析的解が利用できないときに相関する現象の間の関係をパラメータ化してもよい。確率的マッピングは、関心のある一部のメカニズムの入力及び出力に関連するペアデータを利用する。確率的マッピングを適用するアプローチは、尤度に基づいて結果を確率的に制約する誤差指標を適用した数値近似又は他の関数近似法を含んでもよい。

【0055】

教師あり学習は、確率的マッピングの応用の一つである。例えば、教師あり学習は、例示的なデータセットからの複数の要因／データポイントに基づいて位置データを決定するために解析的な解を使用してもよい。パラメータ及び位置を表す一対の入出力データの例を使用して、例データに対する予測値の誤差を最小化することによって、位置データを３次元角運動データにマッピングする関数が近似されてもよい。上述したように、本開示の実施形態を、教師あり学習、機械学習、ニューラルネットワーク等を使用してモデル式を生成するために使用してもよい。

【0056】

更に一般的には、本開示を、例えば、教師あり学習又はニューラルネットワークのような機械学習の使用を通じて、マーカレスモーションキャプチャの様々な態様を改善するために使用してもよい。本開示の例示的な実施形態において、学習されたニューラルネットワークによって使用される基準測定値は、モデル方程式を生成してもよい。したがって、ニューラルネットワークは、値が供給されてもよい。次いで、ニューラルネットワークを、モデル方程式を直接出力するようにトレーニングしてもよい。ニューラルネットワークをトレーニングするために、ニューラルネットワークは、入力データとして、マーカレスモーションキャプチャデータ４０４及びマーカーベースモーションキャプチャデータ４０６を受信してもよい。

【0057】

図５は、本開示の実施形態によるマーカレス運動解析を改善するための方法５００を示す。方法５００は、ニューラルネットワークモデルを構築してもよい、ニューラルネットワークを受信してもよい、及び／又は、モデル方程式を直接受信してもよいステップ５０２で開始してもよい。ニューラルネットワークモデルは、複数のニューロンを有してもよい。ニューラルネットワークモデルは、モデル方程式を出力するように構成されてもよい。複数のニューロンは、少なくとも一つの隠れ層を含む複数の層に配置されてもよく、接続によって接続されてもよい。接続の各々は、重みを有する。ニューラルネットワークモデルは、畳み込みニューラルネットワークモデル、ディープニューラルネットワーク、リカレントニューラルネットワークを備えてもよい。

【0058】

ニューラルネットワークを受信／構築する又は教師あり学習がモデル方程式を生成するために使用される場合、ステップ５０４において、トレーニング例データセットを受信してもよい。トレーニング例データセットは、運動中の身体の関節中心の位置データを含んでもよい。トレーニング例データセットでトレーニングすることによって、確率的マッピングは、トレーニング例データセットに共通する特徴を学習してもよい。確率的マッピングは、解析的な解が得られないときに相関する現象の間の関係をパラメータ化してもよい。確率的マッピングは、関心のある一部のメカニズムの入力及び出力に関連するペアデータを利用する。さらに、受信したトレーニングデータセットは、マーカレスモーションキャプチャシステム及び／又はマーカーベースモーションキャプチャシステムによって以前にキャプチャされたデータを含んでもよい。

【0059】

ステップ５０６において、ニューラルネットワークモデルをトレーニングしてもよい、又は、トレーニング例データセットを使用してモデル方程式を生成してもよい。次に、ステップ５０８において、トレーニングされたニューラルネットワークモデル／モデル方程式を出力してもよい。ステップ５１０において、テストデータセットを受信してもよい。代替的に及び／又は追加的に、テストデータセットを作成してもよい。次に、ステップ５１２において、トレーニングされたニューラルネットワーク又は出力されたモデル方程式を、テストデータセットを使用して評価のためにテストしてもよい。さらに、所定のしきい値を超えると評価されると、トレーニングされたニューラルネットワーク又は出力されたモデル方程式を利用してもよい。さらに、本開示の特定の実施形態において、方法５００のステップを、複数のモデル方程式を生成するために繰り返してもよい。複数のモデル方程式を互いに比較してもよい。代替的に、ステップ５１０及び５１２を省略してもよい。

【0060】

モデル方程式を出力するように構成された出力されたトレーニングニューラルネットワークモデル及び／又はモデル方程式を、ステップ５１４で受信してもよい。次に、ステップ５１６において、少なくとも一つのカメラによってキャプチャされた運動中の身体の関節中心の位置データを受信してもよい。例えば、少なくとも一つのカメラは、マーカレスモーションキャプチャを使用して画像をキャプチャする単一のカメラであってもよい。代替的に、位置データを受信する前に、第１の時刻及び第１の時刻とは異なる第２の時刻に運動中の身体の第１の画像及び第２の画像をキャプチャするために単一のカメラを使用してもよい。そして、運動中の身体の関節中心の位置データを画像から生成してもよい。例えば、身体の関節中心の位置データを受信することは、少なくとも二つの別個の時点について、運動中の身体の第１のセグメントの少なくとも二つのキーポイントと、運動中の身体の第２のセグメントの少なくとも二つのキーポイントと、を受信することを有してもよい。キーポイントは、少なくとも一つのカメラによってキャプチャされた運動中の身体の一部の位置に対応する。受信した位置データから、セグメントの各々の少なくとも二つのキーポイントの間に第１の軸を定義してもよく、第１の軸の各々の中点に一時的な軸を定義してもよく、セグメントの各々について、一時的な軸及びセグメントの各々の第１の軸に直交する第２の軸を定義してもよく、セグメントの各々について、前記第１の軸及び前記第２の軸に直交する第３の軸を定義してもよい。次に、少なくとも二つの別個の時点についての第１のセグメントの少なくとも二つのキーポイント及び第２のセグメントの少なくとも二つのキーポイント並びにキーポイントの定義された第１の軸、第２の軸及び第３の軸に基づいて、第１のセグメントの３次元角運動学及び第２のセグメントの３次元角運動学を生成してもよい。

【0061】

次いで、ステップ５１８において、身体の関節中心の位置データの３Ｄ角運動学的データを強化してもよい。３次元角運動学データを強化することは、モデル方程式を使用して強化することであってもよい。上述したように、モデル方程式を、３Ｄ角運動学データを強化するための確率的マッピングに基づいて生成してもよい。強化された３次元角運動学データは、身体の関節中心の位置データの測定精度の向上を含む。最後に、５２０において、運動性能を評価するために、強化された３Ｄ角運動学データを表示用に提供してもよい。

【0062】

図６は、本開示の実施形態による本明細書に開示したシステム、方法及びコンピュータ可読媒体に従って使用してもよい例示的なコンピューティングデバイス６００のハイレベルの図を示す。例えば、コンピューティングデバイス６００を、本開示の実施形態による方法を実行するシステムにおいて使用してもよい。コンピューティングデバイス６００は、メモリ６０４に記憶された命令を実行する少なくとも一つのプロセッサ６０２を有してもよい。命令は、例えば、上述した一つ以上のコンポーネントによって実行されると説明された機能を実施するための命令又は上述した一つ以上の方法を実施するための命令であってよい。プロセッサ６０２は、システムバス６０６によってメモリ６０４にアクセスしてもよい。メモリ６０４は、実行可能な命令を記憶することに加えて、データ、画像、情報、イベントログ等を記憶してもよい。

【0063】

コンピューティングデバイス６００は、システムバス６０６によりプロセッサ６０２によってアクセス可能なデータストア６０８を更に有してもよい。データストア６０８は、実行可能命令、データ、画像、情報、イベントログ等を有してもよい。コンピューティングデバイス６００は、外部デバイスがコンピューティングデバイス６００と通信を行うことを可能にする入力インターフェース６１０を有してもよい。例えば、入力インターフェース６１０を、外部コンピュータ装置、ユーザ等から命令を受信するために使用してもよい。コンピューティングデバイス６００は、コンピューティングデバイス６００を一つ以上の外部デバイスとやり取りを行う出力インターフェース６１２を有してもよい。例えば、コンピューティングデバイス６００は、出力インターフェース６１２によってテキスト、画像等を表示してもよい。

【0064】

入力インターフェース６１０及び出力インターフェース６１２を介してコンピューティングデバイス６００と通信を行う外部デバイスがユーザのやり取り可能なほとんどのタイプのユーザインターフェースを提供する環境に含まれてもよいことが想定される。ユーザインターフェースのタイプの例は、グラフィカルユーザインターフェース、ナチュラルユーザインターフェース等を含む。例えば、グラフィカルユーザインターフェースは、キーボード、マウス、リモートコントロール等のような（一つ以上の）入力デバイスを使用するユーザからの入力を受け付けてもよく、ディスプレイのような出力デバイスに出力を供給してもよい。さらに、自然なユーザインターフェースは、キーボード、マウス、リモートコントロール等のような入力デバイスによって課される制約から解放された方法でユーザがコンピューティングデバイス６００とやり取りを行うことを可能にしてもよい。むしろ、自然なユーザインターフェースは、音声認識、タッチ及びスタイラス認識、画面上及び画面に隣接するジェスチャー認識、エアジェスチャー、ヘッドトラッキング及びアイトラッキング、音声及びスピーチ、視覚、タッチ、ジェスチャー、機械知能等に依存してもよい。

【0065】

さらに、コンピューティングデバイス６００を単一のシステムとして図示するが、コンピューティングデバイス６００が分散システムであってもよいことを理解されたい。したがって、例えば、複数のデバイスがネットワーク接続によって通信を行ってもよく、コンピューティングデバイス６００によって実行されると説明したタスクを集合的に実行してもよい。

【0066】

図７に目を向けると、図７は、本開示の実施形態による本明細書に開示したシステム、方法及びコンピュータ可読媒体に従って使用してもよい例示的なコンピューティングシステム７００のハイレベルの図を示す。例えば、コンピューティングシステム７００は、画像及び／又はビデオ分析システム１０２であってもよい又は画像及び／又はビデオ分析システム１０２を有してもよい。追加的に及び／又は代替的に、画像及び／又はビデオ解析システム１０２は、コンピューティングシステム７００であってもよい又はコンピューティングシステム７００を有してもよい。

【0067】

コンピューティングシステム７００は、サーバコンピューティングデバイス７０２及びサーバコンピューティングデバイス７０４（サーバコンピューティングデバイス７０２～７０４と総称する）のような複数のサーバコンピューティングデバイスを有してもよい。サーバコンピューティングデバイス７０２は、少なくとも一つのプロセッサ及びメモリを有してもよく、少なくとも一つのプロセッサは、メモリに記憶される命令を実行する。命令は、例えば、上述した一つ以上のコンポーネントによって実行されると説明した機能を実行するための命令又は上述した一つ以上の方法を実施するための命令であってよい。サーバコンピューティングデバイス７０２と同様に、サーバコンピューティングデバイス７０２以外のサーバコンピューティングデバイス７０２～７０４の少なくともサブセットはそれぞれ、少なくとも一つのプロセッサ及びメモリを有してもよい。さらに、サーバコンピューティングデバイス７０２～７０４の少なくともサブセットは、それぞれのデータストアを有してもよい。

【0068】

サーバコンピューティングデバイス７０２～７０４のうちの一つ以上のサーバコンピューティングデバイスの（一つ以上の）プロセッサは、画像及び／又はビデオ解析システム１０２のプロセッサであってもよい又は画像及び／又はビデオ解析システム１０２のプロセッサを有してもよい。さらに、サーバコンピューティングデバイス７０２～７０４のうちの一つ以上のサーバコンピューティングデバイスのメモリ（又は複数のメモリ）は、画像及び／又はビデオ解析システム７０２のメモリであってもよい又は画像及び／又はビデオ解析システム７０２のメモリを有してもよい。さらに、サーバコンピューティングデバイス７０２～７０４のうちの一つ以上のサーバコンピューティングデバイスのデータストア（又は複数のデータストア）は、画像及び／又はビデオ解析システム１０２のデータストアであってもよい又は画像及び／又はビデオ解析システム１０２のデータストアを有してもよい。

【0069】

コンピューティングシステム７００は、サーバコンピューティングデバイス７０２～７０４の間でデータを伝送する様々なネットワークノード７０６を更に有してもよい。さらに、ネットワークノード７０６は、ネットワーク７０８によって、サーバコンピューティングデバイス７０２～７０４から外部ノード（例えば、コンピューティングシステム７００の外部）にデータを転送してもよい。ネットワークノード７０２は、ネットワーク７０８によって、外部ノードからサーバコンピューティングデバイス７０２～７０４にデータを転送してもよい。ネットワーク７０８は、例えば、インターネット、セルラーネットワーク等であってもよい。ネットワークノード７０６は、スイッチ、ルータ、ロードバランサ等を有してもよい。

【0070】

コンピューティングシステム７００のファブリックコントローラ７１０は、サーバコンピューティングデバイス７０２～７０４のハードウェアリソース（例えば、サーバコンピューティングデバイス７０２～７０４のプロセッサ、メモリ、データストア等）を管理してもよい。さらに、ファブリックコントローラ７１０は、ネットワークノード７０６を管理してもよい。さらに、ファブリックコントローラ７１０は、サーバコンピューティングデバイス７０２～７０４でインスタンス化した管理されたランタイム環境の作成、プロビジョニング、デプロビジョニング及び監視を管理してもよい。

【0071】

本明細書で使用する場合、「コンポーネント」及び「システム」という用語は、プロセッサによって実行されたときに特定の機能を実行させるコンピュータ実行可能命令で構成されるコンピュータ可読データ記憶装置を包含することを意図する。コンピュータ実行可能命令は、ルーチン、関数等を含んでもよい。また、コンポーネント又はシステムが単一のデバイスにローカライズされてもよい又は複数のデバイスに分散されてもよいことを理解されたい。

【0072】

本明細書で説明する様々な機能を、ハードウェア、ソフトウェア又はその任意の組合せで実装してもよい。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体の一つ以上の命令又はコードとして記憶及び／又は伝送されてもよい。コンピュータ可読媒体は、コンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセスされてもよい任意の利用可能な記憶媒体であってよい。非限定的な例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は、命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができるとともにコンピュータによってアクセスすることができる他の任意の媒体を含むことができる。 本明細書で使用されるディスク（ｄｉｓｋ ａｎｄ ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク及びブルーレイ（登録商標）ディスク（ＢＤ）を含んでもよく、ディスク（ｄｉｓｋ）は、通常、磁気的にデータを再生し、ディスク（ｄｉｓｃ）は、通常、レーザーを使用して光学的にデータを再生する。さらに、伝搬信号は、コンピュータ可読記憶媒体の範囲には含まれない。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体も含む。例えば、接続を、通信媒体とすることができる。例えば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は、赤外線、無線、マイクロ波等の無線技術を使用してウェブサイト、サーバ又は他のリモートソースからソフトウェアを送信する場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は、赤外線、無線、マイクロ波等の無線技術は、通信媒体の定義に含まれる。上記の組合せもコンピュータ可読媒体の範囲に含んでもよい。

【0073】

代替的に及び／又は追加的に、本明細書に記載される機能を、一つ以上のハードウェア論理コンポーネントによって少なくとも部分的に実行してもよい。例えば、使用してもよいハードウェア論理コンポーネントの例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）等を含むが、それに限定されない。

【0074】

上述してきたことは、一つ以上の実施形態の例を含む。当然、上述した態様を説明するために、上記の装置又は方法論の考えられる全ての変更及び変形を説明することは不可能であるが、当業者であれば、様々な態様の多くの更なる変更及び順列が可能であることを認識することができる。したがって、記載された態様が添付の特許請求の範囲の範囲内に入る全てのそのような変更、修正及び変形を含むことを意図する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】