知財求人 - 知財ポータルサイト「IP Force」
特許7554534レーダ信号及び画像データの両方からゴルフクラブのパラメータを決定する深層学習方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-11
(45)【発行日】2024-09-20
(54)【発明の名称】レーダ信号及び画像データの両方からゴルフクラブのパラメータを決定する深層学習方法
(51)【国際特許分類】
A63B 60/46 20150101AFI20240912BHJP
A63B 53/00 20150101ALI20240912BHJP
【ＦＩ】
A63B60/46
A63B53/00 B
【請求項の数】
20
(21)【出願番号】P 2024506252
(86)(22)【出願日】2022-08-26
(65)【公表番号】
(43)【公表日】2024-09-05
(86)【国際出願番号】 IB2022058025
(87)【国際公開番号】W WO2023031747
(87)【国際公開日】2023-03-09
【審査請求日】2024-03-14
(31)【優先権主張番号】17/462,259
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】524021279
【氏名又は名称】ラップソード ピーティーイー リミテッド
【氏名又は名称原語表記】ＲＡＰＳＯＤＯ ＰＴＥ． ＬＴＤ．
(74)【代理人】
【識別番号】110002583
【氏名又は名称】弁理士法人平田国際特許事務所
(72)【発明者】
【氏名】オクール，バトゥハン
(72)【発明者】
【氏名】テケット，オスマン ムラット
(72)【発明者】
【氏名】ゴパラクリシュナン，ロシャン
(72)【発明者】
【氏名】ヴィジャヤナン，ロディヤ ラドハクリシュナン
【審査官】亀澤 智博
(56)【参考文献】
【文献】特表２０１５－５１７８８９（ＪＰ，Ａ）
【文献】特開２００８－３０５３７２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１４０８９８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２１／０２２０７１８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｂ ６０／００ －６０／６４
Ａ６３Ｂ ５３／００ －５３／１４
Ａ６３Ｂ ６９／００ －６９／４０
Ｇ０６Ｔ １７／００ －１７／３０
(57)【特許請求の範囲】
【請求項1】
ゴルフクラブをスキャンしてスキャン情報を得ることと、前記スキャン情報を使って畳み込みニューラルネットワークを訓練することと、
少なくとも１つのカメラと少なくとも１つの照明ユニットを使用して、ゴルフスイング中の前記ゴルフクラブの一連の画像を取得することと、
前記一連の画像をパラメータ化された動的表現に変換することと、
前記ゴルフクラブのスイング方向に直交して配置された少なくとも１つのレーダを使用して、レーダ信号を取得することと、
前記レーダ信号を時間周波数画像に変換することと、
前記パラメータ化された動的表現と前記時間周波数画像とを前記畳み込みニューラルネットワークに入力することと、
前記畳み込みニューラルネットワークの出力として、ゴルフクラブパラメータとゴルフスイングパラメータを受け取ることと、
前記ゴルフクラブパラメータと前記ゴルフスイングパラメータを使用して、仮想空間で前記ゴルフクラブと前記ゴルフスイングの視覚モデルを生成することと、
を含むことを特徴とするゴルフクラブの一部及びゴルフスイングをモデル化する方法。
【請求項2】
前記スキャン情報が、少なくともミリメートルの精度で前記ゴルフクラブのモデルを含む、請求項１記載の方法。
【請求項3】
前記スキャン情報は、前記スイング方向の後方かつ直列に配置された前記少なくとも１つのカメラと前記少なくとも１つのレーダとから生成されている、請求項１記載の方法。
【請求項4】
前記ゴルフクラブの１つ以上のエッジを検出して、前記パラメータ化された動的表現に含めることをさらに含む、請求項１に記載の方法。
【請求項5】
前記レーダ信号が連続時系列レーダ信号である、請求項１記載の方法。
【請求項6】
第１のレーダからの第１のレーダ信号と第２のレーダからの第２のレーダ信号とを前記レーダ信号に結合することをさらに含む、請求項５に記載の方法。
【請求項7】
前記時間周波数画像は、経時的に分布するクラブヘッドの動きの周波数スペクトルである、請求項１に記載の方法。
【請求項8】
前記ゴルフクラブ及び前記ゴルフスイングのパラメータが、少なくともクラブヘッド速度、スイング時間、クラブインパクト角、及びクラブフェースインパクト角を含む、請求項１に記載の方法。
【請求項9】
メモリと、前記メモリに動作可能に結合されたプロセッサと、を備え、
前記プロセッサは、
ゴルフクラブをスキャンしてスキャン情報を得ることと、
前記スキャン情報を使って畳み込みニューラルネットワークを訓練することと、
スイング方向に対して後方かつ直列に配置された少なくとも１つのカメラと少なくとも１つの照明ユニットを使用して、ゴルフスイング中の前記ゴルフクラブの一連の画像を取得することと、
前記一連の画像をパラメータ化された動的表現に変換することと、
第１のレーダ信号と第２のレーダ信号を取得することと、
前記第１のレーダ信号と前記第２のレーダ信号を時間周波数画像に変換することと、
前記パラメータ化された動的表現と前記時間周波数画像とを前記畳み込みニューラルネットワークに入力することと、
前記畳み込みニューラルネットワークの出力として、ゴルフクラブパラメータとゴルフスイングパラメータを受け取ることと、
前記ゴルフクラブパラメータと前記ゴルフスイングパラメータを使用して、仮想空間で前記ゴルフクラブと前記ゴルフスイングの視覚モデルを生成することと、
を含む動作を前記プロセッサに実行させるように構成されているシステム。
【請求項10】
前記第１のレーダ信号及び前記第２のレーダ信号を生成する１つ以上のレーダをさらに含む、請求項９に記載のシステム。
【請求項11】
前記１つ以上のレーダが、前記ゴルフクラブの前記スイング方向に対して直交に位置している、請求項１０に記載のシステム。
【請求項12】
前記スキャン情報は、前記少なくとも１つのカメラと前記少なくとも１つのレーダとから生成される、請求項９記載のシステム。
【請求項13】
前記時間周波数画像は、経時的に分布するクラブヘッドの動きの周波数スペクトルである請求項９に記載のシステム。
【請求項14】
前記スキャン情報は、少なくともミリメートル精度の前記ゴルフクラブのモデルを含む、請求項９に記載のシステム。
【請求項15】
ゴルフクラブをスキャンしてスキャン情報を得ることと、前記スキャン情報を使って畳み込みニューラルネットワークを訓練することと、
スイング方向の後方かつ直列に配置された少なくとも１つのカメラと、少なくとも１つの照明ユニットを使用して、ゴルフスイング中の前記ゴルフクラブの一連の画像を取得することと、
前記一連の画像をパラメータ化された動的表現に変換することと、
前記ゴルフクラブの前記スイング方向に直交するように配置された少なくとも１つのレーダを使用して、連続時間レーダ信号を取得することと、
前記連続時間レーダ信号を、経時的に分布する前記ゴルフクラブのクラブ周波数スペクトルに変換することと、
前記パラメータ化された動的表現と前記クラブ周波数スペクトルとを前記畳み込みニューラルネットワークに入力することと、
前記畳み込みニューラルネットワークの出力として、ゴルフクラブパラメータとゴルフスイングパラメータを受け取ることと、
前記ゴルフクラブパラメータと前記ゴルフスイングパラメータを使用して、仮想空間内で前記ゴルフクラブと前記ゴルフスイングの視覚モデルを生成することと、
を含むことを特徴とする、プロセッサが実行可能なプログラミングコードを有する非一時的コンピュータ読み取り可能媒体。
【請求項16】
第１のレーダからの第１のレーダ信号と、第２のレーダからの第２のレーダ信号とを結合して、前記連続時間レーダ信号を生成することをさらに含む、請求項１５に記載の非一時的コンピュータ読み取り可能媒体。
【請求項17】
前記スキャン情報が少なくともミリメートル精度の前記ゴルフクラブのモデルを含む、請求項１５に記載の非一時的コンピュータ読み取り可能媒体。
【請求項18】
前記スキャン情報が、前記少なくとも１つのカメラと前記少なくとも１つのレーダから生成される、請求項１５に記載の非一時的コンピュータ読み取り可能媒体。
【請求項19】
前記ゴルフクラブの１つ又は複数のエッジを検出し、前記パラメータ化された動的表現に含めることをさらに含む、請求項１５に記載の非一時的コンピュータ読み取り可能媒体。
【請求項20】
前記ゴルフクラブパラメータ及び前記ゴルフスイングパラメータが、少なくともクラブヘッド速度、スイング持続時間、クラブインパクト角、及びクラブフェースインパクト角を含む、請求項１５に記載の非一時的コンピュータ読み取り可能媒体。【発明の詳細な説明】
【技術分野】
【0001】
本開示で議論される実施形態は、レーダ信号と画像データの両方からゴルフクラブのパラメータを決定する深層学習（deep learning：ディープラーニング）方法に関連する。
【背景技術】
【0002】
既存のゴルフの打ち出しモニタには、レーダ系と視覚（カメラ）系の２つの主なアプローチがある。視覚系の解決策は、より安価で、屋内と屋外の両方で同様に動作する可能性がある。視覚系の解決策は、特定のパラメータ、例えば、レーダ系のモニタでは時間の測定がより困難なライ角の測定に適している可能性がある。また、トータルスピンやスピン軸など、いくつかの重要なパラメータについても、視覚系の解決策の方がより正確な結果を得られる可能性がある。代替的に又は追加的に、レーダ系の解決策は、右利き又は左利きの競技者のために実施され、視覚系の解決策と一緒にクラブパラメータを決定することができる。本開示のいくつかの実施形態に記載されているのは、クラブとボールの両方の測定に対するレーダ系の解決策と視覚系の解決策の組み合わせである。
【0003】
クラブフェースに追加のステッカーを貼ることは、視覚系の解決策のロバスト性（堅牢性）を向上させるかもしれないが、ユーザにとって追加のコストと追加の作業になる可能性があり、また、クラブの外観に影響を与えるため、ユーザにとっては好ましくない場合がある。さらに、クラブフェースに貼られたステッカーは磨耗の影響を受けやすいかもしれない。
【0004】
状況によっては、ゴルフの打ち出しの結果を完全に理解するために、１０００ＦＰＳなどの高速度カメラを使って、インパクトの瞬間付近のクラブとボールの動きを撮像することもある。これにより、コーチや競技者がクラブの動きとボールへのインパクトをより適切に関連付けることができ、パフォーマンスの向上につながる可能性がある。しかし、この解決策は高価なハードウェアを必要とし、ビデオは固定解像度で特定の角度からしか見ることができない。
【0005】
ゴルフの打出しモニタリングにおける測定にはボールパラメータとクラブパラメータの２つのカテゴリーがある。ボールパラメータの測定は米国特許第９，１７１，２１１号明細書のような以前の開示でカバーされているので、本説明は主にクラブパラメータの測定に関連する。
【0006】
打撃中のクラブヘッドの完全な三次元（３Ｄ）姿勢（位置と向き）の測定は、非常に多くの異なる種類のクラブヘッドにおいて一貫した識別特徴がないため、カメラ系システムにとっては困難な課題である。この問題を処理するために、ある既知のシステム（例えば、米国特許第８，９５１，１３８号明細書に記載）では、カメラを競技者側に配置し、検出と測定のためにクラブフェースに特別なステッカーを貼ることを競技者に要求することになる。この方法は、競技者にとって厄介であり、クラブヘッドの外観を変えてしまう。
【0007】
本開示で特許請求される主題は、任意の欠点を解決する実施形態に限定されるものではなく、上述のような環境でのみ動作するものでもない。むしろ、この背景は、本開示に記載されるいくつかの実施形態が実施され得る一例の技術分野を説明するために提供されるに過ぎない。
【発明の概要】
【課題を解決するための手段】
【0008】
追加のマーカを必要としない、レーダ系と視覚系を組み合わせたゴルフ打ち出しモニタシステムが提供され、これはゴルファーにとってより望ましい解決策を提供することができる。このゴルフ打ち出しモニタシステムは、追加のマーカ／ステッカーを必要とすることなく、競技者の後方又は側方からクラブヘッドの動きと向きを測定することができる。他の実施形態では、ハードウェアの要件を簡素化するために、マーカをクラブシャフト上に配置してもよい。
【0009】
クラブヘッドの完全な三次元（３Ｄ）モデル、ボールの単純化モデル、そしてクラブヘッドとボールのそれぞれの動きを正確に測定することで、打ち出しシーンの３Ｄモデルを忠実に再構成することができる。この３Ｄモデルは、既存のコンピュータグラフィックス法を使用することで、どのような視角でも、どのようなフレームレートでも、どのような解像度でも、打ち出しシーンのグラフィックスを再現することができる。この３Ｄモデルは、ユーザがグラフィックスと双方向のやりとり（interact：相互作用）することができ、既知のハードウェアコンポーネントを使用することができる。
【0010】
視覚系の測定装置及び／又はレーダ系の測定装置を競技者の後方（すなわち、ゴルフボールの後方）及び／又は競技者の側方に配置することにより、レーダ系の測定装置が右利き競技者又は左利き競技者のいずれにも採用され得るように、本システムは左利き競技者及び右利き競技者のいずれにも差別なく使用することができる。測定装置は、アクションゾーンから離れた安全な距離に配置することができ、競技者の気を散らさないようにすることができる。
【0011】
クラブヘッドの３Ｄスキャンとそれに伴う三次元の動きの測定により、クラブとボールの動きの完全なシーケンスを正確に測定し、クラブフェースに特別なステッカーを貼ることなく、三次元で完全に再構成することができる。この三次元再構成により、ユーザはどのような視点からも、どのような解像度とフレームレートでも動作を見ることができる。例えば、現在１０００ＦＰＳのハイエンドカメラでのみ可能なスローモーション効果も実現できる。三次元再構成により、ユーザはリプレイで双方向のやりとりをすることもできる。クラブヘッドを３Ｄスキャンすることで、ウッドやドライバーのクラブフェースのロール及びバルジを補正することができる。
【図面の簡単な説明】
【0012】
例示的な実施形態を、添付の図面を通して、さらに具体的かつ詳細に説明する。
【発明を実施するための形態】
【0013】
図１を参照すると、システムのセットアップを示す、ゴルフ打ち出しモニタシステムのブロック図が示されている。測定装置１１０は、ゴルフクラブ１３５を使用してゴルフボールを打つゴルファー１３１の後方（例えば、ゴルフボール１３３の後方）の床又は地面に配置される。データの処理は、クラウドサービスを通じてさらに行うことができる。ユーザが測定結果を視覚化するために、視聴装置（viewing device：表示装置）１２０が提供される。代替的又は追加的に、測定装置１１０は、ゴルファー１３１の側方に配置されてもよい。
【0014】
図２は、一実施形態による測定装置１１０のブロック図である。一実施形態では、測定装置は４台のカメラを含んでもよい。２台の高速、低解像度のカメラ１０１Ａ、１０１Ｂは、スイング中のクラブとボールの動きを測定するためのステレオシステムを形成し、２台の低速、高解像度のカメラ１０３Ａ、１０３Ｂは、ボールの軌跡（trajectory：弾道、軌道）を測定するための別のステレオシステムを形成する。この実施形態では、システムは、適切に照明された画像を確保するための追加照明システム１０４と、クラブヘッドの３Ｄスキャニングのための構造化照明モジュール１０５と、カメラによる画像撮像のタイミングとシーケンシングを提供するためのレーダシステム１０６と、いくつかのリアルタイム処理を実行する演算サブシステム１０７と、視聴装置にデータを送信するための無線通信サブシステム１０９と、を含む。
【0015】
打ち出しシーンの測定は、主に第１の対のカメラ１０１Ａ，１０１Ｂに基づいており、これはクラブヘッドの３Ｄスキャニングのための照明システム１０４と構造化照明モジュール１０５とによってサポートされている。第２の対のカメラ１０３Ａ，１０３Ｂは、ゴルフボールの軌跡の測定に使用されてもよいが、その詳細については本明細書では説明しない。レーダユニット１０６は、カメラの作動をトリガするために競技者のスイングの開始を検出するために使用することができる。カメラの正確なタイミングと同期は、例えばＦＰＧＡ形式で実現されるリアルタイム演算・制御システムであってもよい演算・制御システム１０７によって行われてもよい。無線通信システム１０９は、測定結果を視聴装置に送信するために使用される。
【0016】
本開示は、インパクトの直前と直後のクラブとボールの動きを測定するための第１の対のカメラの使用に主に焦点を当てている。一対の同期したカメラ（例えば、カメラ１０１Ａ，１０１Ｂ）をクラブヘッドの３Ｄスキャンデータとともに使用することで、クラブヘッドとボールの動きを３Ｄ空間で非常に高い精度で再構成することができる。再構成にはステレオビジョン技術を使用することができる。
【0017】
図３は、一実施形態による、システムを使用したゴルフプレー中の測定のシーケンス１０を示している。第１のステップは、競技者がシステムに登録されていないクラブでプレーを始める前に、競技者はクラブヘッドを測定装置の前に置くように指示され、そこでシステムはクラブヘッドをスキャンするために３Ｄスキャンモードで動作する（３０１）。構造化照明と２台のカメラを使い、ユーザがクラブヘッドの向きを変えると、既知の照明パターンで一連のステレオ画像の対が撮像される。既存のコンピュータビジョン技術を使用して、クラブヘッドの３Ｄモデルをサブミリメートルレベルの精度で再構成することができる。
【0018】
また、プレーの前に、システムは打ち出しエリアでゴルフボールを検索し、静止したゴルフボールの３Ｄ測定を行う（３０３）。この情報は、ボールの正確なモデリングとインパクト時間の正確な計算に使用される。
【0019】
その後、競技者は登録されたクラブでプレーする準備が整う。各スイングの間、測定装置は測定モードに入り、自動的に画像を撮像し、クラブとボールの両方について測定を行う（３０７，３０９）。
【0020】
【0021】
図１８を参照すると、システムがクラブヘッドのスキャニングの準備ができたとき、ユーザは視聴装置上のユーザ・インターフェース（ＵＩ）を通じて指示され、このユーザ・インターフェースはスキャニングのためにクラブヘッドをどこに配置すべきかをユーザに示す（１８０１）。カメラ１０１Ａ，１０１Ｂがクラブヘッドを検出し、同期化された構造化照明と、例えば３秒間のビデオ録画がトリガされる（１８０３）。ビデオは正常に記録され、システムは視聴装置を通じて、また（オプションとして）ＬＥＤを点灯させることによって完了を示す。
【0022】
図１９を参照すると、システムがゴルフの打ち出し準備が整ったところで、視聴装置のＵＩを通じてユーザに指示し、例えば可視レーザーポイントを用いてゴルフボールを置く位置を示す（１９０１）。カメラ１０１Ａ，１０１Ｂはゴルフボールの存在を検出し、クラブ速度測定のためのレーダ動作を開始する（１９０３）。レーダはクラブヘッドの速度の反転を検出し、カメラ１０１Ａ，１０１Ｂをトリガして、視野（ＦＯＶ）内のクラブヘッドを撮像するために、連続画像撮像用の高ＦＰＳモードで動作させる（１９０５）。クラブヘッドがカメラのＦＯＶ内で検出されると、システムは「クラブ測定」モードに入る（１９０７）。その後、カメラ１０１Ａ，１０１Ｂは、レーダシステムによって推定されたクラブヘッドの速度に基づくタイミングで、クラブヘッドのいくつかの画像対を撮像する。その後、カメラ１０１Ａ，１０１Ｂは、インパクト後のＦＯＶにおけるゴルフボールの再出現を検出するために、再び高ＦＰＳモードで動作を開始する（１９０９）。ゴルフボールがＦＯＶ内に検出されると、システムは「ボール測定」モードに入る（１９１０）。カメラ１０１Ａ，１０１Ｂは、レーダシステムによって推定されたクラブヘッド速度に基づくタイミングで、ゴルフボールのいくつかの対の画像（例えば、１０）を撮像する。
【0023】
図２０を参照すると、「ボール測定が終了」した後、「軌跡カメラ」モードがトリガされる（２００１）。軌跡カメラ１０３Ａ，１０３Ｂは、タイマー期間（例えば、３秒間）、高解像度の低ＦＰＳ（例えば、３０ＦＰＳ）モードでゴルフボールの軌跡の画像を撮像する（２００３）。システムは測定を終了し、ＵＩと視聴装置を通じて、また（オプションとして）ステータスＬＥＤの点灯によって、ユーザにフィードバックを提供する（２００５）。
【0024】
ボールの動きの測定については、適切な方法の更なる詳細が、参照により本明細書に組み込まれる米国特許第９，１７１，２１１号明細書を含む、本譲受人の先行する特許に記載されている。ボールの軌跡の測定も同様に、公知の技術を取り入れることができる。本明細書では主にクラブの動きの測定方法に焦点を当てる。
【0025】
アタック角、クラブ軌跡、速度の測定は、画像領域におけるクラブヘッドのピクセルの中心に非常に近い、クラブヘッドの重心（ＣＯＧ）の三次元（３Ｄ）位置を測定することによって行うことができる。レーダによる測定により、速度測定精度をさらに向上させることができる。時間サンプルごとの画像の各対の３Ｄ位置は、クラブヘッドのピクセルの中心間の差を測定することによって決定することができる。従来のステレオビジョン法を適用することで、サブミリメートル精度を実現できる。
【0026】
システムはクラブヘッドを背面から観測しているので、クラブフェースの３Ｄ方向は３Ｄ登録プロセスによって決定される必要がある。以前の３Ｄスキャンプロセスによるクラブヘッドの３Ｄデータがあれば、３Ｄ登録プロセスによって、各フレームにおけるクラブフェースの位置と向きを正確に決定することができる。
【0027】
図４は、フェルール４０１と、ホーゼル４０２と、クラウン４０３と、トウ４０５と、ソール４０６と、フェース４０７と、ヒール４０９と、を含む既知のクラブヘッドの部品を示している。３Ｄ登録プロセスには複数のアプローチがあり、そのうちの２つの例を説明する。第１のアプローチは、２つのデータソース、すなわち、１）スイング中に曲がらない、クラブシャフトのホーゼルとフェルールの間の３Ｄ線分をステレオビジョン技術で測定することと、２）２台のカメラで観測された、シルエット等の特徴の位置と、に基づいている。これらは両方とも、図５に示すように、ステレオシステムで撮像された画像を用いて正確に測定することができる。３Ｄスキャンから生成されたクラブヘッドの３Ｄモデルで、ソフトウェア技術を使用して、任意の時間で２つの観測結果と最もよく一致する３Ｄモデルの３Ｄ配向（３Ｄ位置とともに）を見つける。この推定方法のＲＭＳ誤差は３Ｄ空間で１度未満である。この登録により、ライ角も１度未満の精度で決定される。
【0028】
第２のアプローチは、クラブシャフトの先端付近にマーカを貼り付ける必要がある。クラブフェースの異なる場所に複数のステッカーを貼る必要がある既存のシステムに比べ、マーカの設計と配置ははるかに簡単で、クラブの外観上の問題も少なく、ボールに全く接触しないため磨耗することもない。同時に、特別に設計されたマーカを使用することで、１台のカメラにより解決策を提供することができる。図６は、グレースケールの変化の位相シフトパターンを示すマーカの説明図であり、正弦波が重畳されている。マーカのデザインパターンは、シャフト軸周りの回転角を非常に正確に決定するのに役立つ。このパターン（「位相シフト」と称する。）を画像処理に利用することで、２メートル程度の距離で観測した場合、０．５度の精度で回転角を測定することができる。ステレオカメラシステムでシャフトの３Ｄ位置を正確に測定し、このパターンを使って回転角を正確に測定すれば、３Ｄ登録処理でフェースの向きを１度の精度で決定することができる。
【0029】
図７Ａ及び図７Ｂは、クラブにマーカを取り付けたステレオ画像の対を示している。マーカ領域は、まず、エッジ検出、特徴検出、回転推定、遠近補正などの画像処理技法を用いて検出し、歪み補正（rectify）することができ、これにより、図８Ａ及び図８Ｂに示すようなマーカの歪み補正された観測結果が得られる。これらの観測結果は、図９に示す理論モデルによって示されるように、シャフトの円筒形状に起因する反射率変動を除去するためにさらに処理されてもよい。実際には、図１０に示すように、均一な強度値の基準帯域を用いて反射率変動を測定することができる。画像の上部１００１は、基準として使用される均一な白色帯域である。この帯域で観測されたグレースケール値の分散は、観測された位相シフトパターン１００３の反射率変動を補正するために使用することができる。後者には、光源の波長、マーカの反射率係数、カメラの応答関数など、直接測定に含まれる要素が含まれないため、この基準に基づく方法は、理論モデルを使用するよりも精度が高くなる可能性がある。
【0030】
反射率変動が補正された状態で、ＦＦＴ（高速フーリエ変換）登録法を使用して、観測されたマーカを設計された位相パターンと相関させることができる。それにより、ピクセルの１／１０の精度をもたらすことができる。一方、このような照明条件において従来のエッジ検出では、ピクセルの半分以下の精度をもたらすのみである。このピクセルのシフトは、マーカのサイズと画像システムの光学系が既知の場合、最終的にシャフトの中心軸周りの回転角に変換される。この角度値とクラブフェースの向きとの間の対応関係は３Ｄスキャン段階で確立されるため、測定段階では、この回転角はシャフトの３Ｄ位置及び配向とともに、既知のクラブの３Ｄモデルを使って３Ｄフェース角に直接変換することができる。
【0031】
システムのロバスト性を高めるために、一次元（１Ｄ）位相シフトパターンを使用する代わりに、例えば図１１Ａ及び図１１Ｂに示すように、位相の異なるいくつかの位相シフトパターンをあらかじめ定義された順序で積層して二次元（２Ｄ）パターンを形成することができる。このような構成は、パターンにコード化される情報が多くなるため、システムのロバスト性が向上する。また、複数の読み取り値（たとえば、図示のケースでは４つ）を平均化することにより、測定精度が向上する可能性もある。
【0032】
あるいは、図１２に示すように、二次元的に変調された位相シフトパターンを用いてもよい。二次元で位相シフト法を使用することにより、基準点、例えば最も明るいスポットの中心を両方向に非常に高い精度で検出することが可能である。パターンの元の寸法と撮像システムの光学系が既知であれば、シャフトの周りの回転角（一次元の位相シフトによる）に加えて、シャフトの距離（特徴点のグリッド間の空間の変化による）と三次元配向（グリッドによって形成される歪みパターンによる）の両方を推定することが可能である。この機能により、ステレオカメラシステムの必要性がなくなり、クラブ測定のための単一カメラによる解決策が可能になる。このアプローチは、バットの向きと距離測定が重要な野球などの他のスポーツにも適用できる。
【0033】
この３Ｄグリッドパターンは、図１３に示されるように、ロバスト性と精度を向上させるために様々な方法で配置／積層することができる。
【0034】
システムから見るとゴルフボールはクラブヘッドに遮られているため、インパクトの時間（最大圧縮時間）はボールの動きから推定するしかない。インパクト前のボールは動いていないため、ステレオビジョン法でボールの３Ｄ位置を正確に測定することができる。ボールが最初に見えたときに測定されたボールの３Ｄ位置と、次のフレームを使用して測定されたボールの速度により、インパクト後のボールが一定の速度で動くという事実に基づいて、０．１ｍｓ（ミリ秒）レベルの精度でインパクトの時間を推定することができる。このタイミング情報は少なくとも２つの理由で重要である。すなわち、１）クラブパラメータがこの時点で正確に報告される必要があること、２）フェース角補正の目的でクラブフェース上のインパクト位置を正確に推定できること、である。
【0035】
図１４は、実際のケースについて、（クラブヘッドによる遮蔽（occlusion：オクルージョン、手前にある物体が後ろにある物体を隠す状態のこと）の後の）ゴルフボールの初期位置と移動軌跡の測定に基づく、インパクトの例の推定を示す図である。この図において、時刻０は、ゴルフボールがクラブヘッドの遮蔽から脱した最初のフレームの撮像時刻である。ボール速度から、インパクト時間は－３．１０ｍｓであったと判断される。
【0036】
このインパクト時間を正確に推定することで、この時のクラブヘッドとボールが関連する３Ｄ位置を正確に計算することができる。この３Ｄモデルを使って、フェース角とインパクト位置を正確に報告することができる。既存のシステムとは異なり、このフェース角はすでにウッドやドライバーのクラブフェース角のばらつきを補正している。
【0037】
ウッドやドライバーの表面に沿ったクラブフェース角の変化は、バルジ・ロール係数としても知られ、図１５に示されている。フェース角配向はクラブフェースの位置に依存する。図示された例において、１１インチのバルジ半径の場合、クラブフェースを横切る１０ｍｍの距離は、クラブフェースに垂直な線の２度の差に相当する。既存のシステムでは、この情報は利用できず、表面が平坦であると仮定されているため、一般的に、このばらつきは報告されたフェース角の誤差につながる。しかし、本システムで利用可能な３Ｄモデルと、正確に測定されたインパクト位置により、この誤差は自動的に取り除かれる。
【0038】
記載された方法により、表１に示されるようにすべてのクラブ関連データを測定することができる。クラブヘッドの３Ｄモデル、ゴルフボールの単純化モデル、及びボールパラメータ（例えば、米国特許第９，１７１，２１１号明細書に記載されている方法と同様の方法を使用して測定）と共に、ゴルフボールの打ち出しの３Ｄシーンを高精度で完全に再構成することができる。ゴルフボールにはさまざまな種類があるため、正確な直径などの一部のパラメータは、ボールの測定結果から得てもよい。
【0039】
【表1】
この３Ｄ再構成は、クラブヘッド、ボールの３Ｄモデル、ヘッドとボールの動きに関する測定されたパラメータを入力することで、ＯｐｅｎＧＬ（登録商標）のような３Ｄツールで実現することができる。その目的は、競技者がクラブとボールの動きを空間的にも時間的にも理論的に無限に細かく調べることができ、最終的な飛距離とクラブの制御との関係を理解できるようにすることである。そうすることで、競技者は自分のパフォーマンスをより効果的に向上させることができる。
【0040】
図１６は、例示的な実施形態による完全な打ち出しシーンの３Ｄ再構成を示すブロック図である。スキャンから得られたクラブヘッドの３Ｄモデル１６０１、ゴルフボールの３Ｄモデル１６０３、及び測定装置によって測定されたクラブ及びボールの動きパラメータ１６０５は、３Ｄシミュレーションエンジン１６０７に入力される。ゴルフボールの３Ｄモデルは、測定装置１１０によって測定されたボールの直径に基づいてもよい。３Ｄシミュレーションエンジンは、シミュレーション結果１６０９を生成し、この結果は、視聴装置１２０上でユーザによって視聴され得る。視聴装置のＵＩは双方向性を提供し、双方向制御入力１６１１が３Ｄシミュレーションエンジン１６０７に提供される。新しいシミュレーション結果が生成され、それに応じて表示される。
【0041】
上記のようなステッカーと画像処理を使用することで、ステレオカメラシステムの要件を取り除くことができる。この変更により、システムが簡素化され、コストが削減される。ステレオシステムが提供する３Ｄ情報は失われる。しかし、それでも３Ｄ計測は可能である。まず、カメラの前でクラブヘッドが１回転することで、１台のカメラと２Ｄパターンの構造化照明で３Ｄスキャンが実現できる。さらに、クラブの動きを観測する第１のカメラは、観測された２Ｄ位相シフトマーカに基づいて、シャフトの距離と３Ｄ方向、及びシャフト周りの向きを推定することができる。ゴルフボールを観測する第２のカメラでは、やはり、観測されたゴルフボールのサイズから距離情報を推定することができる。図１７に示すように、ハードウェア設計はよりシンプルになる。図２のシステムと比較すると、複数のカメラ対１０１Ａ，１０１Ｂ及び１０３Ａ，１０３Ｂは、複数の単一カメラ１７０１及び１７０３に置換されている。さらに他の実施形態では、カメラ１７０１及び１７０３の機能は、単一の多機能カメラによって実行されてもよい。
【0042】
図２１は、本開示の少なくとも一実施形態による代替的なゴルフ打ち出しモニタシステム２１００のブロック図である。ゴルフ打ち出しモニタシステム２１００は、クラブ２１０２と、ボール２１０４と、センサ装置２１１０と、送信信号２１１２と、受信信号２１１４とを含んでもよい。
【0043】
いくつかの実施形態では、クラブ２１０２は、ゴルフクラブを含んでもよい。代替的又は追加的に、本開示の実施形態は、ホッケースティック、野球のバット、テニスラケット、及び／又は他の類似の装置などの、ゴルフクラブに類似する他の類似の物体又は装置とともに使用されてもよい。
【0044】
いくつかの実施形態では、ボール２１０４はゴルフボールを含んでもよい。代替的又は追加的に、ボール２１０４は、クラブ２１０２によって打撃されるように構成され得る他のタイプのボールを含んでもよい。例えば、ボール２１０４は、ウィッフルボール及び／又は他の軽量訓練ボールを含んでもよい。代替的又は追加的に、ボール２１０４は、ホッケーパックのような円形でない物体を含んでもよい。代替的又は追加的に、ゴルフ打ち出しモニタシステム２１００はボール２１０４なしで動作するように構成されてもよい。例えば、ゴルフ打ち出しモニタシステム２１００はクラブ２１０２とその関連動作に基づいてクラブパラメータを生成するように構成されてもよい。
【0045】
いくつかの実施形態では、センサ装置２１１０は、１つ以上のレーダ装置及び／又はカメラ装置を含んでもよい。代替的に又は追加的に、１つ以上のレーダ装置及び／又はカメラ装置は、別々のセンサ装置に配置されてもよく、及び／又は別々の場所に配置されてもよい。例えば、センサ装置２１１０は、１つ又は複数のレーダ装置を含み、クラブ２１０２のスイング方向に向かって、及び／又はクラブ２１０２のスイング方向に対して直交するように配置されてもよく、第２のセンサ装置（図示せず）は、カメラを含み、クラブ２１０２のスイング方向に対して直列かつ後方に配置されてもよい。代替的又は追加的に、少なくとも１つのレーダ装置がクラブ２１０２のスイング方向に対して配置及び／又は直交し、少なくとも１つのレーダ装置がクラブ２１０２のスイング方向に対して直列かつ後方に配置されるように、複数のレーダ装置がゴルフ打ち出しモニタシステム２１００に含まれてもよい。代替的に又は追加的に、カメラはクラブ２１０２のスイング方向に直交するように配置されてもよい。
【0046】
いくつかの実施形態では、ゴルフ打ち出しモニタシステム２１００に関連する処理は、センサ装置２１１０内の処理装置によって実行されてもよい。例えば、センサ装置２１１０は、プロセッサ、メモリ、及び／又は、センサ装置２１１０からの信号を送信、受信、及び／又は処理するために使用され得る命令を読み取り、保存、及び／又は実行することが可能であり得る命令を含んでもよい。代替的又は追加的に、センサ装置２１１０で得られたデータは、図２４に記載される方法２４００のように、さらなる処理を行うことができる遠隔装置に保存及び／又は送信されてもよい。例えば、センサ装置２１１０は、イーサネット（登録商標）もしくはシリアル接続を含む有線接続、又はＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、セルラー通信、及び／もしくは他の同様の無線ネットワークなどの無線接続など、遠隔装置にデータを送信するように構成され得る１つ以上のシステムを含んでもよい。
【0047】
いくつかの実施形態では、送信信号２１１２は、センサ装置２１１０のレーダから発信される無線周波数を含んでもよい。いくつかの実施形態において、送信信号２１１２は、一旦電源が投入されると、センサ装置２１１０から連続的に発信されてもよい。代替的又は追加的に、送信信号２１１２は、トリガ入力を受信したときにセンサ装置２１１０から発信されてもよい。例えば、送信信号２１１２は、センサ装置２１１０の前方での動きを検出したときに発信を開始するように構成されてもよい。
【0048】
いくつかの実施形態では、受信信号２１１４は、物体に反射してセンサ装置２１１０で受信できる１つ以上の送信信号２１１２を含んでもよい。例えば、センサ装置２１１０のレーダ装置は、クラブ２１０２のような物体に反射可能な送信信号２１１２等の信号を発信してもよく、受信信号２１１４等の反射信号はセンサ装置２１１０によって受信されてもよい。
【0049】
図２２は、動いているクラブの時間周波数画像（ＴＦＩ）である。いくつかの実施形態では、連結された時間周波数画像は、図２４で説明される深層学習モジュールなどの深層学習モジュールへの入力ベクトルであってもよい。ＴＦＩでは２つのレーダ画像として示されているが、１つのレーダ画像しかない場合もあるし、２つ以上のレーダ画像がある場合もある。１つ以上のレーダ画像が存在する場合、入力ベクトルは、単一のＴＦＩ入力ベクトルへのすべてのレーダ画像の連結を含んでもよい。代替的又は追加的に、レーダ画像が複数ある場合、入力ベクトルは、レーダ画像の数と同数のＴＦＩ入力ベクトルを含んでもよい。
【0050】
いくつかの実施形態では、ＴＦＩは、処理されたレーダ信号を含んでもよい。例えば、連続時系列レーダ信号は、フーリエ解析を用いてＴＦＩに変換されてもよい。いくつかの実施形態では、ＴＦＩはｙ軸に沿った周波数分布を含み、ＴＦＩはｘ軸に沿った時間分布を含んでよい。例えば、ＴＦＩは、経時的に分布するクラブの動きの周波数スペクトルを図示することができる。
【0051】
【0052】
図２３Ａは、カメラで撮像可能な、動いているクラブの一連の画像２３００を示す。いくつかの実施形態では、一連の画像２３００は、第１の画像２３１０と、第２の画像２３１２と、第３の画像２３１４と、第４の画像２３１６とを含んでもよい。第１の画像２３１０は、動いているクラブの画像を示しているが、一連の画像２３００で撮像される対象は、図２１のクラブ２１０２のような異なるクラブ、及び／又はカメラで撮像できる、可動である他の任意の対象を含んでもよい。
【0053】
いくつかの実施形態では、カメラは、動いているクラブの一連の画像２３００を得るために、照明ユニットとともに使用されてもよい。照明ユニットは、フラッシュ装置、一定の発光体、及び／又はそれらの組み合わせを含むことができ、複数の光源を含んでもよい。
【0054】
いくつかの実施形態において、第１の画像２３１０は、第１の時間の例において動いているクラブの画像を含んでもよい。いくつかの実施形態において、カメラは、閾値に基づいて、動いているクラブの第１の画像２３１０を撮像するように構成されてもよい。例えば、カメラは、動いているクラブが位置の閾値を通過した後、又は動いているクラブが速度の閾値を通過した後に、第１の画像２３１０を撮像してもよい。いくつかの実施形態では、位置閾値は、動いているクラブによって接触される可能性のある第２の物体に隣接する又はその近傍の位置を含んでもよい。代替的に又は追加的に、速度閾値は、動いているクラブがスイング動作に関連する速度又はその近傍の速度で移動している場合を含んでもよい。例えば、撮像されるスイングがゴルフのスイングである場合、速度閾値はバックスイングではトリガされず、動いているクラブの速度がバックスイングの速度より大きい、ダウンスイング中にトリガされることがある。
【0055】
いくつかの実施形態では、第２の画像２３１２、第３の画像２３１４、及び第４の画像２３１６は、それぞれ、第１の画像２３１０に続く３つの異なる時間間隔でカメラによって撮像された画像を含んでもよい。図２３Ａは、第２の画像２３１２、第３の画像２３１４、及び第４の画像２３１６が第１の画像２３１０の後に生成されることを示すために、第２の画像２３１２、第３の画像２３１４、及び第４の画像２３１６を第１の画像２３１０の点線表現として図示している。
【0056】
いくつかの実施形態では、一連の画像２３００間の距離は、カメラの設定によって決定され得る一定の値であってもよい。例えば、カメラは、所定の経時的に設定された画像数（１００ＦＰＳなど）に設定される場合がある。スイングがほぼ等速である場合、一連の画像２３００間の距離は同様であってもよい。代替的又は追加的に、一連の画像２３００は、第１の画像２３１０と第２の画像２３１２との間の距離と第３の画像２３１４と第４の画像２３１６との間の距離とが異なるように、それらの間に可変の距離を含んでもよい。例えば、カメラは、一連の画像２３００を可変速度で撮像するように構成されてもよく、例えば、動いているクラブが他の物体との接触点に近づくにつれて、より多くの画像が撮像されるように構成されてもよい。あるいは、動いているクラブは、一連の画像２３００間の距離が可変となるような一定でないスイング速度を含んでいてもよい。
【0057】
いくつかの実施形態では、第１の画像２３１０はクラブ上で特定された複数の点を含んでもよい。例えば、第１の画像２３１０は、様々な位置のクラブ上の測定点Ａ、Ｂ、及びＣを含む。図示されているように、測定点Ａ、Ｂ、及びＣは、それぞれ、クラブのヘッドに対するシャフトの取り付け点、クラブのソール、及びクラブのトウに位置している。これらの測定点は例示のためだけのものであり、より多くの又はより少ない測定点が使用されてもよく、クラブの異なる位置に配置されてもよいことが理解されよう。
【0058】
代替的又は追加的に、最初の画像２３１０の後の一連の画像２３００の各画像は、連続する測定点を含んでもよい。連続する測定点は、異なる時間間隔で動いているクラブに対応してもよい。例えば、第２の画像２３１２の測定点Ａ１、Ｂ１、Ｃ１は、それぞれ第１の画像２３１０の測定点Ａ、Ｂ、Ｃと同じ位置の測定点を含んでいてもよい。さらに、測定点Ａ１、Ｂ１、及びＣ１は、第１の画像２３１０の測定点Ａ、Ｂ、及びＣが撮像された後の第１の時間間隔で発生してもよい。測定点Ａ２、Ｂ２、及びＣ２は、第３の画像２３１４に対応し、第１の画像２３１０の測定点Ａ、Ｂ、及びＣの後の第２の時間間隔で発生し得る。測定点Ａ２、Ｂ２、及びＣ２は、第１の時間間隔の測定点（すなわち、測定点Ａ１、Ｂ１、及びＣ１）に続く可能性がある。同様に、測定点Ａ３、Ｂ３、及びＣ３は、第４の画像２３１６に対応し、第１の画像２３１０の測定点Ａ、Ｂ、及びＣの後の第３の時間間隔で発生し得る。測定点Ａ３、Ｂ３、及びＣ３は、第２の時間間隔の測定点（すなわち、測定点Ａ２、Ｂ２、及びＣ２）に続いてもよい。
【0059】
これらの実施形態及び他の実施形態では、一連の画像２３００の測定点は、図２３Ｂの表２３５０に取り込まれることがある。
【0060】
図２３Ｂは、測定点２３５０の表を示し、この測定点は、図２３Ａに関連して説明されたように、動いているクラブの一連の画像２３００から得られてもよい。いくつかの実施形態では、測定点の表２３５０は、第１の座標２３６０、第２の座標２３６２、第３の座標２３６４、及び第４の座標２３６６を含んでもよい。
【0061】
測定点の表２３５０は、図２３Ａの一連の画像２３００からの測定点など、カメラによって撮像されたクラブのパラメータ化された動的表現を表すことができる。例えば、第１の座標２３６０は、図２３Ａの第１の画像２３１０に関連付けられてもよい。測定点の表２３５０の各追加座標セットは、図２３Ａの一連の画像２３００からの後続の画像に関連付けられてもよく、すなわち、第２の座標セット２３６２は、第１の時間間隔で第２の画像２３１２に関連付けられてもよく、第３の座標セット２３６４は、第２の時間間隔で第３の画像２３１４に関連付けられてもよい、などである。いくつかの実施形態では、測定点の表２３５０は、各測定点のＸ座標及びＹ座標を含んでもよい。代替的又は追加的に、測定点の表２３５０は、各測定点の位置に対応し得る多少の変数を含んでもよい。
【0062】
代替的又は追加的に、測定点の表２３５０は、オプティカルフロー表現などの動きの表現を含んでもよい。例えば、測定点の表２３５０は、動いているクラブの一連の画像から推定されるクラブの見かけの速度を含むクラブの動きの１つ以上の表示を含んでもよい。
【0063】
いくつかの実施形態では、クラブの測定点（例えば、第１の座標２３６０、第２の座標２３６２など）は、ヒール、トウ、クラウン、クラブシャフトがクラブヘッドに取り付けられる点、及び／又はクラブの他の点など、クラブ上に位置する明確な点を含んでもよい。代替的又は追加的に、クラブの測定点は、トップエッジやボトムエッジなど、クラブの１つ以上のエッジを含んでいてもよい。いくつかの実施形態では、クラブの測定点は、キャニーエッジ検出、閾値及び連結を伴う勾配演算子等の一次法、及び微分アプローチ、位相伸張変換等の二次法を含むエッジ検出アルゴリズムを使用して、図２３Ｂに関連して説明された一連の画像２３００等の、動いているクラブの一連の画像から抽出されてもよい。
【0064】
図２４は、本開示の少なくとも１つの実施形態による、ゴルフクラブパラメータを決定する例示的な方法２４００のフロー図である。方法２４００の１つ以上の動作は、いくつかの実施形態において、図２の演算・制御システム１０７又は別の装置、装置の組み合わせ、又はシステムなどの装置又はシステムによって実行されてもよい。これら及び他の実施形態では、方法２４００は、１つ以上の非一時的コンピュータ読み取り可能媒体上に記憶された命令の実行に基づいて実行されてもよい。離散ブロックとして図示されているが、所望の実施形態に応じて、様々なブロックを追加のブロックに分割したり、より少ないブロックに組み合わせたり、除去したりしてもよい。
【0065】
本方法は、レーダからの入力を得ることができるブロック２４０２から開始することができる。例えば、クラブに接触し、クラブから反射される可能性のあるレーダ信号が競技者の方向に送信されてもよい。いくつかの実施形態では、レーダ信号は、連続的な時系列信号を含んでもよい。いくつかの実施形態では、レーダ信号を送信し、反射されたクラブ信号を受信するために、１つのレーダ装置が使用されてもよい。代替的又は追加的に、複数のレーダがブロック２４０２で実装されてもよい。例えば、第１のレーダ信号が第１のレーダによって送信され、第２のレーダ信号が第２のレーダによって送信されてもよく、送信後、第１のレーダは第１の反射信号を受信し、第２のレーダは第１のレーダ及び第２のレーダの実質的に前方に位置するクラブからの第２の反射信号を受信してもよい。代替的又は追加的に、複数のレーダは、レーダ信号を送信し、反射信号を受信するために協働して動作するように構成されてもよい。例えば、第１のレーダは第１のレーダ信号を送信し、第２のレーダは第１の反射信号を受信するように構成されてもよい。
【0066】
ブロック２４０４では、カメラからの入力を得ることができる。例えば、カメラは、クラブの１つ以上の画像を撮像するように構成されてもよい。いくつかの実施形態では、カメラは、クラブのスイングの一部を撮像するように構成されてもよい。代替的に又は追加的に、カメラは、クラブのスイングの全部又は実質的に全部を通じてクラブを撮像するように構成されてもよい。
【0067】
いくつかの実施形態では、ブロック２４０４は、ブロック２４０２と同時に実行されてもよい。例えば、カメラは、レーダがレーダ信号を捕捉すると同時に画像を撮像するように構成されてもよい。代替的又は追加的に、ブロック２４０４は、ブロック２４０４の前又は後に実行されてもよい。これら及び他の実施形態では、ブロック２４０２及びブロック２４０４は、クラブの同じ動きの間に実行されてもよい。
【0068】
ブロック２４１２では、１つ以上のレーダからの受信レーダ信号は、時間周波数画像（ＴＦＩ）に変換されてもよい。例えば、フーリエ変換を、ＴＦＩを生成しうる連続時間レーダ信号とともに使用してもよい。１つ以上のレーダ信号が受信され、変換されるように構成される例では、ＴＦＩの数が受信されたレーダ信号の数に等しくなるように、各受信レーダ信号をＴＦＩに変換してもよい。
【0069】
ブロック２４１４では、カメラからの１つ以上の画像が処理されてもよい。いくつかの実施形態では、画像を処理することは、ヒール、トウ、クラウン、クラブシャフトがクラブヘッドに取り付けられる点などを含んでもよい、動いているクラブの特徴的な部分を特定することを含んでもよい。代替的又は追加的に、画像を処理することは、動いているクラブの特徴的な部分を特定するアルゴリズムを実行することを含んでもよい。例えば、アルゴリズムは、図２３Ａ及び図２３Ｂに関して上述したようなエッジ検出アルゴリズムを含んでもよい。代替的に又は追加的に、角検出、注目点検出、ブロブ検出、及び／又は他のコンピュータビジョン処理技術を含んでもよい画像を処理するために使用され得る他の形態のコンピュータビジョンが実装されてもよい。
【0070】
いくつかの実施形態では、ブロック２４１４はブロック２４１２と同時に実行されてもよい。例えば、カメラからの画像は、レーダ入力がＴＦＩに変換されるのとほぼ同時に処理されてもよい。代替的又は追加的に、ブロック２４１４は、ブロック２４０４でカメラから画像を受信した後の任意の時点で実行されてもよい。
【0071】
ブロック２４２２において、ブロック２４１２において生成されたような受信されたＴＦＩは、深層学習モジュールへの入力ベクトルとなるように構成されてもよい。いくつかの実施形態では、入力ベクトルは、入力ベクトルへの複数のＴＦＩの連結を含んでもよい。例えば、２つのレーダ信号が２つのＴＦＩに変換される例では、２つのＴＦＩが単一の入力ベクトルに連結されてもよい。いくつかの実施形態では、入力ベクトルは、受信したＴＦＩを所定のサイズ、方向、レイアウトなどにフォーマットすることを含んでもよい。例えば、１つのレーダ信号が１つのＴＦＩに変換される実施例では、入力ベクトルは第１のサイズを含んでもよい。１つのレーダ信号が２つのＴＦＩに変換される場合、２つのＴＦＩは、入力ベクトルのサイズが１つのレーダ信号入力ベクトルと２つのレーダ信号入力ベクトルとの間で実質的に類似するように、入力ベクトルが第１のサイズを含むように、サイズがトリミングされ、一つに連結されてもよい。代替的又は追加的に、１つのＴＦＩの入力ベクトルサイズは、２つのＴＦＩの入力ベクトルサイズよりも小さくてもよく、入力ベクトルによる追加入力は、入力ベクトルサイズの差を識別してもよい。いくつかの実施形態では、入力ベクトルは、ＴＦＩ、レーダ信号、又はそれらの組み合わせに関連するメタデータを含んでもよい。例えば、入力ベクトルは、レーダ信号が取得されたときのタイムスタンプ、含まれるＴＦＩの数の表示などを含んでもよい。
【0072】
ブロック２４２４において、ブロック２４１４からの処理された画像は、動いているクラブのパラメータ化された動的表現（motion representation：動きの表現）を得るために使用されてもよい。いくつかの実施形態では、動的表現は、表を生成することを含んでもよい。表は、図２３Ｂで説明した表と同様であってよい。例えば、表は、クラブが動きによって変化する際に、クラブ上の１つ以上の位置に関連する１つ以上の点、エッジ、コーナーなどを含んでもよい。代替的に又は追加的に、動いているクラブのパラメータ化された動的表現は、オプティカルフローを撮像及び／又は図示するために使用され得る１つ又は複数の測定基準を含んでもよい。例えば、クラブ上の１つ以上の位置は１つ以上のベクトルによって表されてもよく、ベクトルは少なくとも大きさと方向を有する。
【0073】
いくつかの実施形態では、ブロック２４２４はブロック２４２２と同時に実行されてもよい。たとえば、処理された画像のパラメータ化された動的表現は、１つ又は複数のＴＦＩが１つ又は複数の入力ベクトルに変換されるのと実質的に同時に生成されてもよい。代替的又は追加的に、ブロック２４２４は、ブロック２４１４から処理された画像を受信した後の任意の時点で実行されてもよい。
【0074】
ブロック２４３２において、レーダから得られた入力ベクトル及び／又はカメラから得られたパラメータ化された動的表現は、深層学習モジュールへの入力として提供されてもよい。いくつかの実施形態では、入力ベクトル及びパラメータ化された動的表現は、深層学習モジュールに入力される前に結合されてもよい。例えば、第１のスイングのパラメータ化された動的表現は、第１のスイングの入力ベクトルと組み合わされてもよく、これにより、深層学習モジュールに入力されたとき、パラメータ化された動的表現と入力ベクトルは互いに関連付けられ、深層学習モジュールは、２つの入力を同じ第１のスイングに関連付けることができる。代替的又は追加的に、入力ベクトルとパラメータ化された動的表現は、２つの別々の入力として深層学習モジュールに入力されてもよい。入力ベクトル及びパラメータ化された動的表現が２つの別個の入力である場合、入力ベクトル及びパラメータ化された動的表現は、深層学習モジュールが入力ベクトル及びパラメータ化された動的表現を同じスイングから生じるものとして関連付けるために使用することができる、時間タグ、場所タグ、反復タグ、及び／又は他の識別データを含んでもよい。
【0075】
いくつかの実施形態では、入力ベクトル及びパラメータ化された動的表現は、深層学習モジュールを訓練するために使用されてもよい。例えば、１つ以上の既知のクラブパラメータは、深層学習モジュールが入力ベクトル及びパラメータ化された動的表現を１つ以上の既知のクラブパラメータに関連付けることができるように、入力ベクトル及び／又はパラメータ化された動的表現と併せて深層学習モジュールへの入力として提供されてもよい。例えば、深層学習モジュールは、クラブの１つ以上の顕著な特徴、クラブが移動する際のクラブ（その顕著な特徴を含む）の時間的変化、クラブの様々な要素間の関係等を特定するように構成されてもよく、これらはクラブ及び／又は関連するクラブの特徴を特定するために使用されてもよい。
【0076】
代替的又は追加的に、深層学習モジュールは、入力ベクトル及び／又はパラメータ化された動的表現などの受信入力に基づいてクラブパラメータを決定するように構成されてもよい。例えば、深層学習モジュールがクラブパラメータのデータセットで訓練された例では、入力ベクトル及び／又はクラブのパラメータ化された動的表現を含む深層学習モジュールへの追加の入力が、深層学習モジュールによって１つ又は複数のクラブパラメータを決定するために使用されてもよい。いくつかの実施形態において、深層学習モジュールは、入力ベクトル及び／又はパラメータ化された動的表現と、データセット訓練の一部として深層学習モジュールに提供された可能性のある１つ又は複数の既知のクラブパラメータとの比較に基づいて、１つ又は複数のクラブパラメータを決定することができる。代替的又は追加的に、入力ベクトル及びパラメータ化された動的表現が、データセット訓練からのどのデータとも実質的に類似していない場合、深層学習モジュールは、入力ベクトル及びパラメータ化された動的表現と、データセット訓練からのデータとの間の類似性の１つ又は複数の要素に基づいて、１つ又は複数のクラブパラメータの推定を提供してもよい。
【0077】
いくつかの実施形態において、深層学習モジュールは、ニューラルネットワークアーキテクチャを含んでもよい。例えば、深層学習モジュールは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、及び／又は他の機械学習アーキテクチャを含んでもよい。いくつかの実施形態において、深層学習モジュールは、コンピュータソフトウェアにおいて、コンピュータハードウェアにおいて、及び／又はそれらの組み合わせにおいて実装されてもよい。
【0078】
ブロック２４４２において、深層学習モジュールからの出力は、ブロック２４０２で説明されるような１つ以上のレーダシステム、及び／又はブロック２４１２で説明されるようなカメラによって動きながら撮像されたクラブに関連するクラブパラメータを生成してもよい。いくつかの実施形態では、深層学習モジュールによって生成されたクラブパラメータは、クラブヘッド速度、クラブフェース角、インパクト時のクラブ角、クラブスイングの持続時間、クラブに対するボールのインパクト位置、及び／又はクラブ、クラブスイング、及び／又はボールなどの物体にインパクトするクラブに関連する他のパラメータを含んでもよい。
【0079】
いくつかの実施形態では、深層学習モジュールによって生成されたクラブパラメータは、クラブの視覚モデルを生成するために使用されてもよい。例えば、クラブフェース角、インパクト時のクラブ角、及び／又は他のクラブ関連データは、インパクト前、インパクト時、及びボールとのインパクト後のクラブの３Ｄレンダリングなどのクラブの視覚モデルを生成するために使用されてもよい。代替的又は追加的に、深層学習モジュールによって生成されたクラブパラメータは、スイングなどの動作中のクラブの視覚モデルを生成するために使用されてもよい。これらの実施形態及び他の実施形態において、クラブ及び／又は動いているクラブの視覚モデルは、ユーザ対話型インターフェースを含んでもよい。例えば、視覚モデルは、クラブ及び／又は動いているクラブの複数のビューが提示され、及び／又はユーザによって相互作用され得るような３Ｄレンダリングを含んでもよい。
【0080】
本発明は、その精神又は本質的な性質を逸脱することなく、他の具体的な形態で具体化され得ることが当業者には理解されよう。従って、開示された実施形態は、あらゆる点で例示的なものであり、制限的なものではないことを意図している。本発明の範囲は、前述の説明よりもむしろ添付の特許請求の範囲によって示され、その範囲及び均等物の範囲内に入るすべての変更は、そこに包含されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】