特許 5719170 物体の位置及び運動検出システム、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5719170

(24)【登録日】2015年3月27日

(45)【発行日】2015年5月13日

(54)【発明の名称】物体の位置及び運動検出システム、及び方法

(51)【国際特許分類】

   A63B 69/36 20060101AFI20150423BHJP

   G01B 11/00 20060101ALI20150423BHJP

   A63B 41/00 20060101ALI20150423BHJP

   A63B 45/02 20060101ALI20150423BHJP

【ＦＩ】

   A63B69/36 541W

   A63B69/36 541S

   G01B11/00 H

   A63B41/00 C

   A63B45/02

【請求項の数】8

【全頁数】31

(21)【出願番号】特願2010-525999(P2010-525999)

(86)(22)【出願日】2008年9月19日

(65)【公表番号】特表2010-540036(P2010-540036A)

(43)【公表日】2010年12月24日

(86)【国際出願番号】US2008077010

(87)【国際公開番号】WO2009039367

(87)【国際公開日】20090326

【審査請求日】2011年9月1日

(31)【優先権主張番号】60/974,185

(32)【優先日】2007年9月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510077934

【氏名又は名称】プレイデータ エルエルシー

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100158469

【弁理士】

【氏名又は名称】大浦 博司

(72)【発明者】

【氏名】ロック ティモシー ジェイ

【審査官】 鶴岡 直樹

(56)【参考文献】

【文献】 特開平０４−２４１８８５（ＪＰ，Ａ）

【文献】 特表２００５−５２９３３９（ＪＰ，Ａ）

【文献】 特開平１１−０４４７００（ＪＰ，Ａ）

【文献】 特開２００６−２３０６３０（ＪＰ，Ａ）

【文献】 特開２００６−１８１０１４（ＪＰ，Ａ）

【文献】 特開２００２−３０６６５９（ＪＰ，Ａ）

【文献】 特開２００３−１１７０４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｂ ６９／３６

Ａ６３Ｂ ４１／００

Ａ６３Ｂ ４５／０２

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

打ち上げ角度、ボール速度、ボールスピン等のゴルフボール軌道に関連するデータを収集して分析するためのシステムであって、
視野におけるボールの飛行画像を記録するための少なくとも１つのカメラと、
前記視野の初期部分のみを観察して前記ボールの進入を検出し、前記カメラによって前記ボールの画像を得るための視野における別の部分を予測するための、前記カメラに接続された制御手段と、
を備え、
前記制御手段が、前記視野の初期部分に進入する前記ボールの画像を記録するよう前記カメラを制御し、
前記制御手段が、前記制御手段に接続された前記カメラ又は別のカメラによって前記ボールの画像を得るための前記視野における別の部分を予測するべく、前記視野の初期部分における前記ボールの前記画像に応答し、
前記ボールはマーキングされておらず、前記制御手段が、ボールの飛行モデルを用いて前記ボールの軌道を計算し、前記視野における前記ボールの画像からボールスピンが計算され、
前記制御手段は、
前記カメラから、前記ボールの飛行の最初の第１セグメントの間における、前記ボールの第１の複数画像を取得し、
前記第１の複数画像から、初期速度及び打ち上げベクトルを用いて最も良く適合する第１のカーブを決定し、
前記ボールの軌道を、前記ボールの飛行モデルにおける、前記最も良く適合する第１のカーブの初期速度及び打ち上げベクトルを用いて、前記ボールの飛行における第２セグメントに亘って射影し、
前記ボールの飛行モデルを用いて、さまざまなスピンレート及びスピン軸を有する一連のボール軌道カーブを生成し、
前記カメラ又は別のカメラから、前記ボールの飛行の第２セグメントの間における、前記ボールの第２の複数画像を取得し、
前記第１の複数画像と前記第２の複数画像とを用いて、最も良く適合する第２のカーブを取得し、
ａ）前記ボール軌道カーブを、前記最も良く適合する第２のカーブと比較し、前記ボール軌道カーブのうち、前記最も良く適合する第２のカーブと、比較された各ボール軌道カーブと、の間の領域を最小化する１つを選択することと、ｂ）前記ボールのスピンレートを指示するものとして、前記最も良く適合する第２のカーブの、所定の時刻においてゼロスピンを有する前記飛行モデルのボール軌道カーブの１つからの最大のずれを決定することとのうちの１つを行うことによって前記軌道を計算する、システム。

【請求項2】

画像を得るために、複数のカメラ又は高速カメラがストロボライトあるいは赤外線照射とともに用いられる、請求項１に記載のシステム。

【請求項3】

ゴルファーの動きのプロファイル、一連のスイングのプロファイル、及び骨格運動を分析して改善することが可能である、請求項１に記載のシステム。

【請求項4】

前記制御手段は、前記視野の前記初期部分内の異なる位置における前記ボールの２つの画像を分析することにより、前記視野内の別の部分を予測する、請求項１に記載のシステム。

【請求項5】

前記制御手段が、前記カメラからの複数のイメージを処理して、ボールの打ち上げ角度を含むボール軌道、ボール速度及びボールスピン、スイングモニタ、打ち上げモニタ、パットプロファイラ、ボールファインダ、及び自動化されたパフォーマンス改善に関するデータを取得する、請求項１に記載のシステム。

【請求項6】

前記視野内での前記画像を取得するために、複数のカメラ又は高速カメラがストロボ光、あるいは赤外線照射とともに用いられる、請求項１に記載のシステム。

【請求項7】

前記ボールはマーキングされておらず、前記制御手段は、前記ボールの飛行に亘る前記ボールの画像中の、個々のディンプルのサブ画像を位置決めして相関付けることにより、前記ボールのスピンを計算する、請求項１に記載のシステム。

【請求項8】

打ち上げ角度、ボール速度、ボールスピン等の、飛行中のマーキングされていないボールの軌道に関連するデータを収集して分析するためのシステムであって、
視野における、前記マーキングされていないボールの飛行の画像を記録するための少なくとも１つのカメラと、
前記少なくとも１つのカメラに接続された制御手段と、
を備え、
前記制御手段が、視野の初期部分に進入する前記ボールの画像を記録するよう前記少なくとも１つのカメラを制御し、
前記制御手段が、前記制御手段に接続された前記少なくとも１つのカメラ又は別のカメラによって前記ボールの画像を得るための前記視野における別の部分を予測するべく、前記視野の初期部分における前記ボールの前記画像に応答し、
前記少なくとも１つのカメラから、前記ボールの飛行の最初の第１セグメントの間における、前記ボールの第１の複数画像を取得し、
前記第１の複数画像から、初期速度及び打ち上げベクトルを用いて最も良く適合する第１のカーブを決定し、
前記ボールの軌道を、ボールの飛行モデルにおける、前記最も良く適合する第１のカーブの初期速度及び打ち上げベクトルを用いて、前記ボールの飛行における第２セグメントに亘って射影し、
前記ボールの飛行モデルを用いて、さまざまなスピンレート及びスピン軸を有する一連のボール軌道カーブを生成し、
前記少なくとも１つのカメラ又は別のカメラから、前記ボールの飛行の第２セグメントの間における、前記ボールの第２の複数画像を取得し、
前記第１の複数画像と前記第２の複数画像とを用いて、最も良く適合する第２のカーブを取得し、
ａ）前記ボール軌道カーブを、前記最も良く適合する第２のカーブと比較し、前記ボール軌道カーブのうち、前記最も良く適合する第２のカーブと、比較された各ボール軌道カーブと、の間の領域を最小化する１つを選択することと、ｂ）前記ボールのスピンレートを指示するものとして、前記最も良く適合する第２のカーブの、所定の時刻においてゼロスピンを有する前記飛行モデルのボール軌道カーブの１つからの最大のずれを決定することとのうちの１つを行うことによって、前記制御手段が、前記ボールの飛行モデルを用いて前記ボールの軌道を計算し、前記視野における前記ボールの画像からボールスピンが計算される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボール、クラブ／バットを位置決めするために機械視覚を用いること、及び人によるクラブ／バットの使用へと向けられている。

【背景技術】

【0002】

アスリートが成功するための機会を増すこととしては、アスリートの運動を概算的に測定することや、それら測定値を一般統計データに照らして分析することが含まれうる。現在のところ、ゴルファー等のアスリートは、カメラやライトを含む、ゴルフボールの打ち上げに対するデータ（速度、打ち上げ角度、スピン）やクラブデータを捕捉するための多くのやり方のうちの１つを用いて、彼らのゴルフスイングを分析することができる。それら現在の先行技術システムにおける幾つかの欠点は、本発明により克服される。我々の開発したシステムはそれら先行技術の方法及び装置のいずれによって与えられるものでもないのであって、それには具体的に幾つかの理由がある。

【0003】

１．ボールのスピンは、特別な光学的性質を有するボール上の目標のパターンを用いて見出される（米国特許出願第２００７００６０４１０号）。それら目標のタイプに依存する処理が説明されている。

【0004】

２．特別なマーキングパターンを用いる、ボールのスピンにおける他のやり方が特許されている。そのやり方は、我々が現在用いているやり方とは異なるものである。

【0005】

３．取得の設定は固有のものであって、我々が用いているものとは異なる。そのやり方は、設定及び取得される画像の形状（配置）、及び取得のタイミングと同期において、異なるものである。

【0006】

４．開示されているやり方は全て、極端に高い分解能を得ることができ、且つノイズデータを低くできるということを仮定しているように見える。そのようなやり方のほとんどは、ボール上の２つの「固定位置」（“ｆｉｘｅｓ”）を用いてスピンを計算できるということを前提にしている。このことは正しいのではあるが、ノイズのあるデータを用いる場合には、ボール上の如何なる単独の「固定位置」によっても大きな誤差がもたらされる可能性がある。より優れたハードウェアを用いてこれを解決するためには、極めて多大な経費がかかるかもしれない。

【0007】

５．ほとんどのやり方において、データを高い分解能で、且つ既知の適切なタイミング関係をもって捕捉できるということが前提とされているように見える。このようにすることは可能ではあるが、出来上がったシステムは極端に高コストなものとなるかもしれない。

【0008】

米国特許第７，１７０，５９２号において、例えばゴルフボールのようなカーブのある物体を検査するための方法が開示されている。その方法は、センサを用いてカーブのある物体の画像を取得することと、歪みを最小化するために画像を調整することと、調整された画像を既定の調整されたマスタ画像と比較することとを含む。物体の向きを必要としないこと、及び測定中の曲率歪みを最小化することについて、新規性が存在する。

【0009】

米国特許第７，１４３，６３９号において、持ち運び可能であってバッテリ動作する（動力セル）、改良された打ち上げモニタ（Ｌａｕｎｃｈ Ｍｏｎｉｔｏｒ）が開示されている。持ち運び可能な打ち上げモニタは、好ましくは４つのカメラであるカメラシステムと、視界を照らすための少なくとも２つのライトシステムを備えている。そのシステムは、データ記憶手段と表示デバイスを備えている。そのシステムは記憶された参照画像を備えており、測定プロセス中で用いられるゴルフクラブとゴルフボールのタイプ等、画像を認識する。そのシステムは、クラブヘッドスピード、クラブヘッドパス角度、クラブヘッドアタック角度、クラブヘッドロフト、クラブヘッド垂下、クラブヘッドフェイス角度、クラブヘッドフェイススピン、クラブヘッド垂下スピン、クラブヘッドロフトスピン、及びゴルフクラブフェイス上のボールのインパクト位置を測定し、ボールスピード、ボール上昇角度、ボールの方位角、ボールのバックスピン、ボールのライフルスピン、ボールのサイドスピン、及びゴルフクラブフェイス上のボールのインパクト位置等、ゴルフボールの運動学的な情報を決定する。結果として得られる画像と総合的解析とを閲覧して仲立ちするために、ビデオインターフェースが提供される。そのシステムをネットワークに準拠させ、データを中央サーバに転送し、クラブの特徴、ボールの特徴、ボールの軌道、及び機材の比較等、ゴルファーの特徴を表示させることができる。他の実施形態においては、機材の注文、購入者の財務情報、届け先住所、販売員情報等の取引情報をネットワークによって中央サーバに送信可能とすることができる。加えて、注文確認情報の送信、オペレーティングシステムのソフトウェア更新、あるいは複数のデータコンシューマに対するデータ転送をネットワークによって行えるものとすることができる。

【0010】

米国特許出願第２００７００６０４１０号において、ゴルフボールの打ち上げ条件を測定するための方法及び装置が開示されている。この出願は、米国特許第７，１４３，６３９号と同一の発明者によるものである。その方法には、ゴルフボールの存在しない視界の画像を取得することと、その視界内で動いているゴルフボールの少なくとも２つの画像を取得することとが含まれる。画像は、ゴルフボールの表面上に備えられた実質的に円形の１以上のマーカーに基づくことが好ましい。ゴルフボールの画像が取得された後、動いているゴルフボールの少なくとも２つの画像の各々から、視界の画像が差し引かれる。その後、視界の画像が差し引かれた後の、少なくとも２つの画像の各々に対して、ゴルフボールの円形外周の位置を決定することができる。その方法はまた、少なくとも２つの画像の各々における円形外周を分析し、各々の画像においてゴルフボールの中心位置を決定することを含む。その後、少なくとも２つの画像の各々におけるゴルフボールの実質的に円形なマーカー及び中心に基づく、ゴルフボールの運動学的特徴を決定することができる。メモリ及びメモリにロードされたソフトウェアを有するプロセッサを用いて、差し引き、及び決定を実行することができる。これらのステップに基づき、サイドスピン、バックスピン、軌道、速度、打ち上げ角度、サイドアングル等の、ゴルフボールの運動学的特徴を計算することができる。ゴルフボールの運動学を決定するための装置は、既定の波長範囲にある光によって視界を照らすよう選択的に配置された照射デバイスと、既定の波長範囲にある光を吸収する表面を有したゴルフボールと、既定の波長範囲にある光を反射するバックグラウンド表面と、を備える。ある実施形態において、バックグラウンド表面は階調レベルの高い表面を有するものとすることができる。また、その装置は、視界の１以上の画像を取得するよう配置されたカメラと、メモリ及びメモリにロードされた分析ソフトウェアを有するプロセッサと、を備えることが望ましい。ソフトウェアは、取得された１以上の画像を分析してゴルフボールの中心位置を決定することが可能なものであることが好ましい。

【0011】

米国特許出願第２００７００４９３９３号において、ボール打ち上げ条件を予測するための方法が開示されている。この出願は、米国特許第７，１４３，６３９号、及び米国特許出願第２００７００６０４１０号と同一の発明者によるものである。その発明は、ゴルファーがボールを打つパフォーマンスを予測するための方法を含む。その方法には、ゴルファーのゴルフクラブを用いたスイングに基づいて、そのゴルファーに対する複数のインパクト前のスイング特性を決定することが含まれる。複数のインパクト前のスイング特性としては、例えば、インパクト位置、ゴルフクラブヘッドの向き、及びゴルフクラブヘッドスピードを含むことができる。ゴルフクラブとゴルフボールの間の滑りを決定することが好ましい。滑りは、複数のボール特性、複数のクラブ特性、及び複数のインパクト前のスイング特性に基づくものであってよい。滑りは、ゴルフクラブとゴルフボールの間の第１スリップピリオド、スティックピリオド、及び第２スリップピリオドに対して、マイクロ秒間隔での各々の時間ステップを計算することにより、決定することができる。各々の時間ステップは、少なくとも、ゴルフボールにおける横方向の力、ゴルフボールの摩擦係数、及びゴルフボールにおける垂直方向の力に基づくことが望ましい。ゴルファーに、監視システムの前でゴルフクラブをスイングさせることによって、インパクト前のスイング特性を決定することができる。正確なインパクト前のスイング特性を生成するために、ゴルファーは所望の回数だけクラブをスイングしてよい。インパクト前のスイング特性は、大体１回以上のゴルフクラブのスイングに基づくことが好ましい。

【0012】

決定されるゴルフボール特性は、複数の速度におけるボールの反発係数、複数の速度における接触時間、及び複数の速度及びロフト角度におけるスピンを含むが、これらに限られない。

【0013】

加えて、決定することのできるゴルフクラブ特性としては、クラブフェイスの幾何学的中心、クラブヘッドの質量中心、ホーゼルからクラブフェイスの質量中心、及び／又はクラブヘッドの質量中心までの距離、シャフト材料の実効密度、軸中心線についてのねじれに対する実効剛性率、シャフト材料に対する実効ヤング率、及びホーゼル端における２方向への、シャフトの外径及び内径が含まれる。

【0014】

したがって、ゴルフボールの予測軌道及びボールの予測打ち上げ条件を決定するために、ゴルファーはゴルフクラブを１回スイングすることを要求されるのみである。予測軌道は、例えば、距離、飛行経路、着地位置、最終静止位置、等の特徴を含むものであってよい。さらには、ボール打ち上げ条件は、サイドスピン、バックスピン、ライフルスピン、方位角、打ち上げ角、速度、等を含むものであってよい。

【0015】

上述の方法は、コンピュータ命令を含むコンピュータプログラムを用いて実行することができる。

【0016】

米国特許第６，２４１，６２２号、及び米国特許第６，４８８，５９１号は、画像を記録して既定の視界内でのボールの飛行経路を決定するための、２つのカメラ、ストロボ光、ビームスプリッタ、反射素子、及び反射性ゴルフボールを備えた、持ち運び可能な打ち上げ監視システムを開示する関連特許である。

【0017】

米国特許第４，３７５，８８７号及び米国特許第４，０６３，２５９号は、ゴルファーのスイングを、そのスイングを最良に生かす特徴を有する好ましいゴルフボールとマッチングするために、初期速度、初期スピン速度、及び打ち上げ角度を測定するための打ち上げ監視システムを開示する関連特許である。

【0018】

米国特許第４，１６０，９４２号は、複数のカメラを含む軌道計算機によって測定される、投影される物体のシミュレーションを表示するために用いられる、光学的な物体の投影、及びデータ分析を開示している。

【0019】

米国特許第４，１５８，８５３号及び米国特許第４，１３６，３８７号は、ゴルフボール（または、任意のスポーツボール）の打ち上げ後の飛行を監視するための方法を開示している。その方法においては、ゴルフボールの位置、速度、及びスピンを測定するために構えられた複数のカメラと対応するフラッシュランプを用いることが好ましい。

【0020】

米国特許出願第２００７００３２１４３号は、好ましくはユーザの頭に搭載されたカメラとモニタとを含む、リアルタイムの視覚的自己監視システムを開示している。

【0021】

米国特許出願第２００７００２６９７５号及び第２００７００２６９７４号は同一の発明者によるものであって、１以上のカメラ、追跡される物体を照らすための赤外線エミッタ、及び適切なテクニックを決定するために映像の記録されたシーケンスを分析するためのデータ分析を用いる、軌道検出及びフィードバックシステムを開示している。

【0022】

米国特許出願第２００７００１０３４２号は、軌道のシミュレーションを行い、仮想データに基づきゴルフボールをモデル化するための、ゴルフボールの仮想モデルを開示している。

【0023】

米国特許出願第２００４０１４２７７２号は、第１及び第２のカメラを用いて後部からの撮影が行われ、第３のカメラを用いて前部からの撮影が行われるような、測定装置を開示している。ボールの位置座標は、後部からの撮影により得られる画像データと前部からの撮影により得られる画像データとに基づいて、三角測量法により計算される。後部から行われるべき撮影は、第１のカメラから第２のカメラへとリレーされる。第２のカメラの視野の角度は、第１のカメラの視野の角度に関連付けられる。したがって、リレーにより広範囲の軌道内でボールを撮影することができる。

【0024】

第１のカメラを、ボール打ち上げ地点の後ろに配置するべきであって、第２のカメラを、打ち上げ地点と落下地点との間に配置するべきであって、そして第３のカメラを、落下地点の前に配置すべきである。第２のカメラは打ち上げ地点と落下地点との間に配置されるので、光軸によって水平方向に形成される角度が大きくなるよう設定することが可能である。第２のカメラを用いて落下直前に測定されるゴルフボールの上昇角度は大きい。測定装置は、落下直前のボールについての高い測定精度を有する。

【0025】

第１のカメラの視野の角度は、第２のカメラの視野の角度と、部分的に重複すべきである。第２のカメラの視野の角度は、第１のカメラと第２のカメラとによって同時に撮影されるボール画像に基づいて、第１のカメラの視野の角度に関連付けられる。

【0026】

他の先行技術は、データを測定して表示するためのＧＰＳシステムの使用に言及している。

【0027】

米国特許第７，１７５，１７７号は、プレイヤーにより入力されたデータ、及び使用されるゴルフクラブとショット距離に基づいて測定ユニットから得られるデータに基づいた個々のプレイヤーの分析をとりわけ提供するような処理ユニット、及びＧＰＳを有する、ＰＤＡを含むゴルフデータ管理システムを開示している。

【0028】

米国特許第７，１１８，４９８号は、ゴルファーと、例えば標的のような物体との間の距離を、ゴルフコースの地理情報サービスに基づいて測定し表示するための、持ち運び可能なＧＰＳシステムを開示している。そのシステムはまた、プレイ時間の経過に伴って風の向きや強さ等のデータを測定するための手段を提供している。

【0029】

米国特許第７，０９５，３１２号は、各々のスポーツ用物体に関連する、内蔵された電子的追跡デバイスを用いて、例えばゴルフボール等のスポーツ用物体の特質を測定して表示するための、持ち運び可能なＧＰＳシステムを開示している。

【0030】

米国特許第７，０１０，５５０号は、プレイヤーにおけるホールレベル、及びショットレベルの情報を入力し、記録及び格納するためのＰＤＡを開示している。データはオフラインで入力してもよいし、あるいは双方向型オンラインインターネットで入力してもよい。

【0031】

米国特許第６，６９７，８２０号は、米国特許７，０１０，５５０号の同一発明者によるバリエーションである。

【0032】

米国特許第６，５８５，６０９号は、特定のゴルフコースに関するスコア付けブックレットを開示している。各々のホールのイラストレーションは、双方向型インターネットグリッドに対応するグリッドから成っている。プレイヤーは、各々のショットに対してゴルフボールの位置をホールグリッド上で指示し、その後、同じコースにおける過去のゴルフラウンドに基づいた履歴データを交換するために、情報を双方向型インターネットグリッドへとダウンロードする。

【0033】

そしてさらに、他の先行技術に係るシステムとしては、以下のようなものが含まれる。

【0034】

Ｂｌａｃｋｗｅｌｌ Ｓｙｎｅｒｇｙは、ゴルフスイングの間のクラブヘッドの移動経路、及びスピードや、クラブフェイスの向き及びインパクト位置の、３Ｄ分析映像技法を用いた測定を行う研究を開示している。

【0035】

ＩＭＡＧＯ Ｖｉｄｅｏ Ｔｒａｃｋｅｒｓは、ゴルフボールを打ち上げから着地まで追跡することによりボールの真の軌道を測定するためのシステムを開示している。これは、ボールの初期位置及び着地位置を測定することによりボールの飛行を補間するような、過去のシステムとは異なるものである。

【0036】

ＮＡＳＡｅｘｐｌｏｒｅｓは、高速映像機器を用いて飛行中のゴルフボールを捕捉することを開示している。コンピュータハードウェア及びソフトウェアを用いて、測定された各々のボールのスピンレートと速度とが分析され、より良くデザインされたゴルフボールが生み出される。

【0037】

Ｐｉｔｔ Ｒｅｓｅａｒｃｈは、高度な生体力学的評価ツールを用いて、上半身、骨盤、及びＸ因子の、ゴルフスイング中の回転及び速度を測定することを開示している。ボール速度等、他の測定値と生体力学的変数間の関係が、高速８カメラ３Ｄ光学式運動分析システムを用いて評価されている。

【0038】

Ｓｐｏｒｔｓ Ｃｏａｃｈ Ｓｙｓｔｅｍｓは、回路基盤が封入され、またインパクト領域に亘ってクラブとボールの両方を測定するための赤外線技術を有した、シミュレータマットを開示している。

【0039】

Ｚｅｌｏｃｉｔｙは、ドップラーレーダーを用いてボールの速度、スピン、及び打ち上げ角度を測定するゴルフパフォーマンスモニタを開示している。ダウンスイング中、及びインパクトの時には、クラブヘッドスピードも測定される。

【先行技術文献】

【特許文献】

【0040】

【特許文献1】米国特許第７，１７０，５９２号明細書

【特許文献2】米国特許第７，１４３，６３９号明細書

【特許文献3】米国特許出願第２００７００６０４１０号明細書

【特許文献4】米国特許出願第２００７００４９３９３号明細書

【特許文献5】米国特許第６，２４１，６２２号明細書

【特許文献6】米国特許第６，４８８，５９１号明細書

【特許文献7】米国特許第４，３７５，８８７号明細書

【特許文献8】米国特許第４，０６３，２５９号明細書

【特許文献9】米国特許第４，１６０，９４２号明細書

【特許文献10】米国特許第４，１５８，８５３号明細書

【特許文献11】米国特許第４，１３６，３８７号明細書

【特許文献12】米国特許出願第２００７００３２１４３号明細書

【特許文献13】米国特許出願第２００７００２６９７５号明細書

【特許文献14】米国特許出願第２００７００２６９７４号明細書

【特許文献15】米国特許出願第２００７００１０３４２号明細書

【特許文献16】米国特許出願第２００４０１４２７７２号明細書

【特許文献17】米国特許第７，１７５，１７７号明細書

【特許文献18】米国特許第７，１１８，４９８号明細書

【特許文献19】米国特許第７，０９５，３１２号明細書

【特許文献20】米国特許第７，０１０，５５０号明細書

【特許文献21】米国特許第６，６９７，８２０号明細書

【特許文献22】米国特許第６，５８５，６０９号明細書

【特許文献23】米国特許出願第２００４００３２９７０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0041】

本発明は、より高精度で、より低コストに、より良好な分析を与えることにより、これら先行技術の方法、システム、及び装置における欠点を克服する。

【課題を解決するための手段】

【0042】

その発明とは、ゴルフ関連データを収集して分析するシステムである。分析されるデータは、打ち上げ角度を含むボールの軌道、ボール速度、及びボールのスピンのゴルフボール分析、スイングモニタ、打ち上げモニタ、パッティングプロファイラ、ボールファインダ、及び自動化されたパフォーマンスエンハンスメントに関するものであることが好ましい。好ましい実施形態において、ボールの飛行画像を記録するために少なくとも１つのカメラが用いられる。ストロボ光、あるいは赤外線照射と連動して、複数のカメラ又は高速カメラを用いることもできる。データの追跡及び分析の幾つかの例は、以下のようなものである。

【0043】

ボールスピン分析
マーキングされたボールの運動を、較正された（ｃａｌｉｂｒａｔｅｄ）カメラで追跡する。ボールのマークは既定の関係を有していなければならず、また、飛行中のボールの画像は、既知の時間的関係を有するものでなければならない。カーブを基本とするマーキングを用いることが可能であって、またデータを３次元表面座標へとマッピングすることが可能である。既知の関係を有する複数の画像が、比較分析のために同一領域にて記録されている場合は、マーキングされていないボールを追跡することも可能である。

【0044】

クラブ分析
２つのカメラを用いて、ゴルフクラブの３Ｄエッジを取得する。軌道に沿ったゴルフボールの開始位置及びクラブフェイスの向きが記録される。打撃の瞬間が軌道から決定され、クラブがボールを打つ位置の計算値と、その打つ位置におけるクラブフェイスの向きが与えられる。クラブフェイスからの鏡面反射は、必要なデータ測定における好ましい一形式である。可視光又は赤外光を用いることができるのであって、また６軸軌道を決定するために、カメラによりクラブフェイス特徴のシルエットを記録するか、直接照射を記録することができる。

【0045】

スイング分析
ゴルファーのスイング分析においては、モデルスイングと比較されるデータを記録するためにシルエットと複数のカメラとが用いられる。シルエットは、捕捉されたゴルファーのシルエットからのずれが最小であるようなモデルから生成される。ゴルファーのスイングのモデルが作成され、検討中であるスイングとマッチングされる。

【0046】

パタープロファイル
クラブ、ゴルファー、及びボールの位置をパッティングシーケンスの全体に亘って捕捉することによってパタープロファイルを分析することも可能である。

【0047】

また本発明を、スポーツ及び医術における視覚ベースのトレーニングシステム、及び自動化されたパフォーマンスエンハンスメントのために用いることも可能である。具体的には、ゴルファーの動きのプロファイル、一連のスイングのプロファイル、及び骨格の動きを分析し、改善することが可能である。

【0048】

本発明における上述の、及びその他の利点は、以下の好ましい実施形態の詳細な説明を添付図面に照らして検討することにより、当業者にとっては即座に明らかとなるであろう。

【図面の簡単な説明】

【0049】

【図1】図１−４は、本発明に従ってスピンを決定するための、ボール上におけるダッシュあるいはラインセグメントでのマーキングを図示している。

【図2】図１−４は、本発明に従ってスピンを決定するための、ボール上におけるダッシュあるいはラインセグメントでのマーキングを図示している。

【図3】図１−４は、本発明に従ってスピンを決定するための、ボール上におけるダッシュあるいはラインセグメントでのマーキングを図示している。

【図4】図１−４は、本発明に従ってスピンを決定するための、ボール上におけるダッシュあるいはラインセグメントでのマーキングを図示している。

【図5】図５−６は、本発明に従ってスピンを決定するための、ボール上におけるリングでのマーキングを図示している。

【図6】図５−６は、本発明に従ってスピンを決定するための、ボール上におけるリングでのマーキングを図示している。

【図7】図７−８は、本発明に従ってスピンを決定するための、ボール上におけるらせんでのマーキングを図示している。

【図8】図７−８は、本発明に従ってスピンを決定するための、ボール上におけるらせんでのマーキングを図示している。

【図9A】図９Ａ及び図９Ｂは、本発明に従うシミュレータの基本構想ビューである。

【図9B】図９Ａ及び図９Ｂは、本発明に従うシミュレータの基本構想ビューである。

【図10】図１０は、ボールの３Ｄ軌道の概略図である。

【発明を実施するための形態】

【0050】

好ましい実施形態の説明
幾つかの好ましい実施形態のうち第１の実施形態において、本発明は、以下に説明するようなマーキングされたボールの打ち上げ装置を提供する。ここにおいて「ボール」という用語は、運動するような興味ある物体のうち任意のものを表すために用いられるのであって、これに対して、本発明に従うシステム及び方法により位置及び運動のデータが生成される。

【0051】

マーキングされたボールの打ち上げモニタ
−システムの説明−
打ち上げモニタは、ボールに対する打ち上げデータを探し出すためのシステムである。それは、ボールの初期位置、ボールの初期３Ｄ軌道、及びボールのスピン軸とスピンレートからなる。

【0052】

−セットアップ−
システムは、ボールの潜在的飛行経路の画像を作成するカメラのセット（全てのカメラデバイスは、共通の時間基準上におかれる）、カメラのための３Ｄキャリブレーションデータ、及び最終結果を作成するプロセッサと、選択的に、関連するタイミング情報を有する照射デバイスとからなる。全てのデバイスは接続されており、情報を共有することができる。

【0053】

−画像取得−
システムは、任意の照射デバイスのタイミングに沿ってタイムスタンプされた一連の画像を作成する。

【0054】

−画像分析−
一連の画像は分析され、ボールがカメラ視野の中にあるかどうかが決定される。ボールが運動している場合、照射デバイスはボールの画像を複数生じさせるということが起こりうる。画像の分析は、以下のとおり進む。
画像中に、何らかのボールが存在するか？
それらの、画像座標における中心及び直径はどうなっているか？
ボール画像中に、内部特徴あるいはマークが存在するか？存在する場合、そのピクセル座標はどうなっているか？
ストロボ照射は存在するか？存在する場合、そこには複数の画像が存在するか？そして、それらはどのようにストロボのタイミングと対応しているか？

【0055】

ボールの動きに対応する観察結果が見出されれば、ボールにおけるその後の運動を予測することが可能となる。像空間において次の画像を見積もるか、あるいは、次の画像を３Ｄにマッピングし、飛行モデルとカメラ３Ｄキャリブレーションデータを用いて予測することが可能となる。この予測を用いて、処理するピクセル数を減らすことができるし、また矛盾するデータを含むかもしれない画像領域を無視することも可能となる。予測が誤っていた場合、ボールの飛行はボールの飛行モデルと整合しないのであって、更なる分析は不要である。

【0056】

−画像観察−
画像分析ステップの結果、ボールの飛行について一連の明確な観察がなされる。観察とは、
使用されたカメラ
像空間におけるボール中心位置
ボール中心位置に対するタイムスタンプ
ボールの画像から抽出された一連の特徴
目標画像のピクセルのセット
に係るものである。

【0057】

−３Ｄ観察−
一連の観察結果が分析され、ボールが運動したかどうか、そしてボールが飛行モデルと整合して運動したかどうかが決定される。一連の観察結果は３Ｄ位置へと変換され、その３Ｄ位置とタイムスタンプは整合性のチェックを受ける。一連の観察結果がボールの正当な飛行であるならば、その後、一連の特徴が分析され、それらを用いてボールの回転のオフセットが決定される。このステップにおいて、併せてボールの画像情報を有するべき領域を位置決めすることも可能ではあるが、ある理由により、それには抽出のための特別な処理が要求される。

【0058】

−スピン計算−
その後、観察結果を用いて、初期打ち上げ位置、打ち上げ軌道、及びスピン軸とスピンレートが計算される。観察結果基準とは、
ｍａｘ ｒｏｔａｔｉｏｎ ＜ ＰＩであるような観察結果間の、最小時間
エイリアシングにより回転の情報が除去されないような、個別の時間間隔
Ｆｉｅｌｄ ｏｆ ｖｉｅｗ ｓｉｚｅ ＞ ｍａｘ＿ｖｅｌ ＊ ａｃｑ＿ｔｉｍｅ ＊ ３であるような、少なくとも２つの観察結果
物体の中心付近の内部特徴を得ることだけができるか
である。

【0059】

画像取得アプローチ（２以上の中速カメラ−連続光）

【0060】

−取得アプローチ−
最も短い２ｍｓの間隔を得るための、６０％−４０％の時間オフセット、及び、異なるタイミングのショット間のバイアスからスピンを計算するための、２つの間隔。
−タイムスタンプ観察−
全ての観察結果を用いて、不正確性あるいは１８０度を過ぎるような急速なスピンによりもたらされるあいまいさを除去することを可能とする。
各々の取得に対する、一定の光、日光、あるいはカメラにより発せられるストロボの照射。

【0061】

−３Ｄの観察結果と軌道−
依然として、スピン、速度、及び３Ｄ軌道の計算を可能とするような、ボールの正確な３Ｄ位置のために、ボールの３Ｄ位置がさらに必要である。
あるカメラからの２ショット、及びもうひとつのカメラからの１ショットである３ショットのみを用いてボールの３Ｄ位置を探し出すために、以下のことを行う。第１のカメラからの単独のショットに対する２つの画像の間の時間的関係を用いて、そのショットがその上になければならないようなラインの３Ｄスロープを探し出す。各々のカメラからの２つの画像を用いてボールの３Ｄ位置を探し出すために、各々のカメラにより、各々のカメラにおけるボールの、画像座標内の中心があるような３Ｄ平面を探し出す。それから、そのボールにより作られた３Ｄラインを探し出すために、その２つの平面を交差させる。より多くの点を用いることで、カーブをそれらの点に合わせることが可能であって、最も良く適合するカーブを計算できるということに留意すべきである。ここで、各々のボール画像の中心を、見出されたボールの３Ｄ軌道に交差させて、世界座標におけるボールの中心を探し出す。ボールの３Ｄ軌道をボールのプレースメント平面に交差させることにより、ボールの起点の計算を可能とすることができる。観察結果の全てのペア間における速度のペアワイズ計算を最大限行うことにより、速度が見出される。最終結果として、正しいタイミング関係を有するショットが得られる。

【0062】

−複数のカメラ−
カメラのタイミング関係が分かっており、共通の３Ｄ座標系へと較正されている限り、より広い領域をカバーするためにカメラの数を増やすことが可能である。

【0063】

ストロボ光−２以上のスローカメラ−
発火パターンを最大１０００Ｈｚまで制御可能なストロボ光を用いれば、たった２つのスローカメラ（６０ｆｐｓ、あるいはそれ以下）を使用して、全ての起こりうるゴルフショットから打ち上げデータの捕捉を可能とするデータを得ることができる。捕捉可能なショットの範囲は、スピンが１８，０００ｒｐｍ未満であるとして、１００ｍ／ｓから１０ｍ／ｓである。５０ｍ／ｓから５ｍ／ｓまでの、ショットの第２範囲を用いることができる。５ｍ／ｓより下の場合、ボールの飛行に対してスピンは小さな影響しか及ぼさない。ショット速度を予め知らずにストロボを使うことには、個別のショットを捕捉することが望まれるという問題がある。十分遅いスピードにおいて、画像は互いに重なり合う。十分速いスピードにおいては、一切の画像が存在しない。カメラの取得レート及び露光の関係、及びストロボタイミングによって、個別の観察結果としてとりうるものの数が決定される。これは、とりうる速度及びスピン速度の範囲と互いに影響しあう。正しいタイミング関係の下での、少なくとも３つの個別の観察結果が目標である。

【0064】

−画像取得−
２つのカメラは、各々のカメラのフレーム開始時において特定のストロボパターンが発せられるよう、ストロボに同期される。カメラを同時に始動するよう同期してもよいし、あるいはそうしなくともよい。各々のフレーム開始について、時間オフセットが知られているということが要求されるのみである。設定と可能なショット範囲との間の相互影響を与えて、少なくとも３つの個別の観察結果を常にもたらすようなストロボパターンが選択される。

【0065】

−画像分析−
画像分析における最初のステップは、個別の画像を探し出すということである。これは、正しい領域と奇抜なものとが結合された要素がないかをチェックする、ブロブ分析によって行われる。これらは、後に整合性と内部特徴についての処理を行うための候補となる。重なり合っていない領域を決定するために用いることのできるようなカーブの部分を有する、部分的に重なり合っている画像について、更に分析をすることが可能である。その後、最小の円を、内部で個別の領域と重なり合っている領域とに分割されるような各々の円へとフィッティングすることが可能である。結果として得られる中心と領域とが、候補を定める。ここで、個別の領域に対してマーキングのための処理がなされる。これは、画像のエッジにおけるボール画像に対しても言えることである。同様の処理により、追加的な観察結果を作り出すことができる。上記３Ｄ観察結果と軌道によって、その結果としてもたらされる画像観察を進めることができる。

【0066】

最小スピード１０ｍｍ／ｍｓｅｃに対する例
フレーム開始よりも１ｍｓ後にストロボを発火し、少なくとも４ｍｓが経過するまでは別のストロボを発火しない。そして、フレームの終わりよりも１ｍｓ前にストロボを発火する前に、少なくとも４ｍｓは待つ。２ｍｓの時間オフセットを有する、２つの別個の画像（前のフレームの終わり、現在のフレームにおける最初のもの）が得られる。これらペアの１つは、６０ｆｐｓにおいて、１６ｍｓごとに得られる。１６ｍｓ間隔（分解能１ｍｓ）に対する基本パターンは、１０００ ０１１０ ０１１０ ０００１である。各々の７ｍｓサブセットが、少なくとも２つの画像を含むということに留意すべきである。各々の１７ｍｓサブセットは、少なくとも４ｍｓのギャップを有する２つのフレームに亘って取得される１ｍｓ間隔の画像の少なくとも１つのペアを含む。ショット速度が、その画像が次の又は前の画像と同化するに十分なほど遅い場合、そのショットは破棄される。短い時間的関係を有し、しかしながら同化しないことが保証されているような２つのショットが、特別なショット（ｓｐｅｃｉａｌ ｓｈｏｔｓ）の値である。我々は、各々のカメラから少なくとも２つ、好ましくは３つ以上の観察結果を必要とする。

【0067】

−観察結果を捕捉するための、プログラム化可能な画像取得−
利用可能なタイミング関係を有する必要な数の観察結果の捕捉を可能とする、飛行中の物体に適した一連の画像取得作業である。多くのカメラに対して、画像捕捉レートは捕捉されるラインの数に比例する。また、ハードウェアビニング又は他の技法を用いることにより同じ領域をカバーすることができるものの、ラインの数は減る。カバーされる領域はビニングによっては同一のままであるが、ラインの数が２の倍数で減るのであり、またしかしながら、分解能も同じ倍数で低下する。捕捉レートは、同じ倍数で上昇する。幾つかのカメラにおいては取得の最中に取得パラメータを変更することが可能であるが、通常、その変化の効力は幾らかの遅延を伴って発生する。物体が有することのできるスピードの範囲は、常に限られている。典型的に、高速の物体は、単独のフレーム時間内においてカメラの視界を通り過ぎるであろう。したがって、フレームレート全体において２回取得することにより、物体の２つの写真が捕捉されるということは保証されない。

【0068】

高いフレームレートを得ることが可能である一方、捕捉するラインが少なく、また分解能が低いカメラを用いた物体取得に対し、以下のステップを用いて最大分解能での物体画像を得ることができる。
取得される第１の領域はビニングされており、最大スピードにおいてボールを確実に見ることができるために十分なラインのみである。
ピクセル値の初期値からの変化をチェックすることにより、第１のラインからのピクセルは、物体が存在するかどうかチェックされる。第１のラインのヒストグラムにおける変化を調べて、最初に物体を検出することも可能である。
物体が見つかった場合、最大スピードで運動するその物体を捕捉するであろう、起こりうる最も早い取得に対して、取得パラメータがセットされる。第１の最大分解能捕捉のサイズと配置は、第１の領域において物体がどこで見つけられるか、及び起こりうる最大スピードに関連するであろう。
第２の取得は、第１の領域について行われる。
第１及び第２の初期取得値間における物体の位置の変化を用いて、画像を横切るボールの方向とスピードとが見積もられる。その後、この情報は、センサを横切る物体の位置を予測するために用いられる。取得されるラインを、その物体を捕捉するであろうラインへと制限するような、一連の取得値が見出される。決定における誤差を許すための幾つかの追加ラインを伴うような、取得すべきラインの数が、物体のサイズを用いて決定される。この時点で、既に次の取得をセットアップしてもよいということに留意する。
物体のサイズ、速度、及び位置が、ラインのタイミングと共に用いられ、物体がもはや視野に存在しなくなるまでに取得されるべきラインの数及び開始が決定される。
高速物体の場合は、このことにより、最大分解能において丁度１回の、残りの画像センサにおけるさらなる取得が必要となるかもしれない。
センサの視野内に物体が存在する時間の総計は、その速度を導くような最初の２つの見積もりから見出される。
より遅い物体に対しては、非常に多くのショットを捕捉するための時間が存在するであろう。
物体の位置は、この位置を考慮して更新される次の取得領域を用いて計算される。

【0069】

−スピンする物体についての特徴の画像−
画像センサを横切るボールの経路が上述のアプローチを用いて予測され、そして、全部のフレームを用いるよりも高いレートにおいて物体を捕捉するための低減された数のラインを用いて物体が追跡される。およそのスピードアップは、物体の占めるラインの数により全体の画像フレームレートを割った比率である。２つの連続したフレームにおいてボール位置を追跡し我々にとって興味のある特徴を抽出するよう、高速画像をここで処理すれば、あるいは、既知の３Ｄ関係を有する２つの配向特徴を抽出するか、既知の３Ｄ関係を有する３つの特徴を抽出すれば、我々は物体のスピンレートを見積もることができる。スピンのレート及び軸は、自由飛行する物体に対しては大体一定であり、いまや我々は、画像センサの視野内のどこに、そしていつ、さらなる特徴が存在するかということ、及び、どうやってそれらを捕捉するためのウインドウを配置するか、ということを予測できる。我々は、ボールの特徴についての選択された高分解能画像を捕捉し、それらにタイムスタンプをする。

【0070】

画像の間で経過した時間間隔に従ってモデルの特徴の射影を作成することにより、特徴をその特徴の３Ｄモデルへとマッチングすることができる。第１の画像における特徴を用いて、そのモデルの回転を作成し、その物体の中心に対して、画像中で見えるとおりにその位置をマッチングする。ここで、画像から第２及び第３の位置が得られる。考えられる特徴の各々について、モデルを回転及び射影し、見出された位置とのマッチングを行う。全ての組み合わせについて試行し、最も画像誤差の少ないものを用いる。
物体の質量中心に対する位置を用いて、タイムスタンプされた特徴のセットを探し出す。
第１の特徴をとり、３Ｄモデルを回転し、射影して、その画像位置へのマッチングを行う。
第２の特徴をとり、３Ｄモデルを回転させ、各々のモデル特徴を順々に射影して、画像位置へのマッチングを行う。これにより、ｎの回転が作成されるであろう。
追加的特徴の全てをとり、３Ｄモデルを回転させ、各々のモデル特徴を順々に射影して、画像位置へのマッチングを行う。これにより、各々の追加的特徴に対してｎの回転が作成されるであろう。
各々の回転をタイムスタンプによって分割し、各々の特徴選択によって暗示されるような回転レートを得る。
一定の回転レートからのずれを最小化するような３Ｄモデルラベリングに対する特徴を選択する。
不規則で広い間隔によるあいまいさを最小化するよう、特徴の位置を選ぶことができる。
ラベル付けされた特徴のセットを用いて、お互いについてタイムスタンプされた３Ｄ位置を作成し、最も適合するスピン軸を見つけ出す。

【0071】

我々はまた、取得パラメータを変えることにより、物体の経路に沿ったさまざまな点において物体全体の画像を取得することができるのであって、カーブへと物体の位置をフィッティングして任意のタイムスタンプされた特徴観察結果に対して物体の中心位置を推測するために十分な分解能で、物体の質量中心位置が幾つか得られる。これを行うための追加的なアプローチは、複数の較正されたカメラからの物体中心の観察結果を用いて、タイムスタンプされた３Ｄ位置を作成することである。その後、これらを物体飛行モデルと共に用いて、飛行３Ｄ軌道を作成することができる。こうして、この３Ｄ軌道を用いることにより、タイムスタンプされた特徴観察結果に対して３Ｄ位置を与えることができる。

【0072】

現在の打ち上げモニタシステム
−カメラのセットアップ−
カメラは、ティーの上方に、部分的に視界と重なるよう取り付けられる。視界と重なるような如何なる位置にカメラを取り付けてもよいことに留意する。カメラ位置は各々の次元における正確性に影響を与えるであろうし、また導入、及び衝突からの保護の容易さにも影響するであろう。我々のカメラは較正されているので、カメラが衝突を受けることは可能な限り少ないことが望ましい。ライトは頭上にあり、カメラの外側、かつカメラ同士の間に配置される。カメラは、平面較正目標を用いて較正される。各々のカメラに対する露光のタイミングは、各々の繰り返し処理に対して既知である。このタイミングが固定されている必要はない。

【0073】

２つのアプローチが存在する。
高速カメラを用い、フレームあたり１つのボール画像とし、フレームごとに複数回の露光をする。フレームあたり複数回の露光を可能とするようなストロボシステムあるいはカメラを用いて、これを行うことができる。以下の画像サーチにおいては、１つのボールあるいは複数回の露光を探しているのかを知ることが必要である。画像サーチは候補のボールを識別するものであって、候補のボールはタイミング情報とペアをなすということ、そしてそれらの妥当性が決定される時が、候補の観察結果の作成に含まれるということを除いて、処理は等しい。システムへの入力は、「ｆａｌｓｅ」要因に対する多くの考えられる原因をもっては制御されない、ということに留意する。

【0074】

−画像サーチ−
ゴルフボール画像の探索の用意がされると、システムは各々の画像をくまなくサーチする。見つかった場合、妥当なゴルフボールが取得されたということを確認する、処理の第１のステップが行われる。失われる画像がないように、必要に応じて画像は記憶される。ボールが画像中で静止している場合、その位置が見出され、そしてシステムはそれを無視する。これにより、システムに対して死角が作られる。初期画像を見つけ出す目的で、画像における無視された領域についてマスクが作成される。加えて、一旦視界の中から出発したボールは、カメラの視野から外へ移動するにしたがって無視されるであろう。

【0075】

−ボール３Ｄカメラ特徴の探索−
各々の画像において、ゴルフボール画像があると見込まれる位置がサーチされる。候補が見つかった場合、各カメラは、位置調整により修正された最小包含円アルゴリズムによって、ボールブロブを抽出する。各々の円に対して、適合性の質の程度が計算される。その画像からの最高の質を有する円が、ボールに対して用いられる。画像空間中の各カメララインが見出され、このラインは世界座標内の３Ｄ平面へと渡される。画像を横断するボールの進行が追跡され、ボールが画像を横切ったとき、それ以上の画像が処理されることはない。処理の開始時においてボールの画像がそれ以上現れない場合、開始に誤りがあったものとみなされ、その画像は取り去られ、開始のサーチが続けられる。

【0076】

−３Ｄ軌道ラインの探索−
２つのラインが両方とも存在する場合、３Ｄ軌道ラインを探し出すために、その２つのラインは交差される。ラインからの誤差が見出され、可能であれば異常値が除去される。ひとつのカメラからは１地点のみであって、もうひとつのカメラからは１ラインである場合には、３Ｄ軌道ラインを探し出すために別個のアルゴリズムが用いられる。ラインに対するボール画像の適合性の程度が計算される。

【0077】

−ストライプ情報の抽出−
ボールの位置と直径とを用いて、ボールの画像が抽出される。この画像は規格化され、暗いストライプが抽出される。

【0078】

−接続−
隣り合った地点の任意のペア間の二乗距離を、ブロブの中心からその地点がどれだけ離れているかに基づいてあらかじめ計算された値と比較することにより、ストライプ情報はストライプへと結び付けられる。

【0079】

−間引き（Ｔｈｉｎ）−
結び付けられたストライプは、以下の方法で間引かれる（ｔｈｉｎｎｅｄ）。
それらは、球体表面に置かれているものと仮定する。
１つの半球体のみが、視認できる。
ストライプは球体中心について秩序付けられ、θは一端から他端へと移りゆく。
デルタ角度について、重み付けられた質量中心を探し出し、単一の地点を取り出す。

【0080】

−回転の探索及びラベル−
間引かれたストライプにはラベルが付され、捕捉された全てのボール画像に対する名目上の位置からのボールの６軸３Ｄオフセットを探し出すために、モデルとマッチングされる。
最初の見積もりは、リングの順序付けを用いてなされる。
各々の考えられる組み合わせに対して、候補のラベリングを作成する。
側面の制約を用いて、リングを平面フィッティングする。
各々のラベリング候補に対して、誤差を見つけ出す。
最も適合するラベリングを用いる。
ボールの直径、中心の評価値、及びカメラからの３Ｄレイを用いて、３Ｄへと射影する。
フィッティングの質に基づいて、リングにウエイトを割り当てる。
リングにおいて見つかった、２つの最も強い標準（ｎｏｒｍａｌｓ）を用いることにより、３Ｄ回転行列を探し出す。
使われていない地点を再び組み合わせて、必要であればフィッティングを繰り返す。
平面における移動距離を用いて、中心誤差を見積もる。
必要であれば、修正された中心誤差を用いて計算をやりなおす。

【0081】

見出された３Ｄ位置をオフセット位置に用いる。３Ｄ回転が計算され、４×４オフセット行列に加えられる。

【0082】

−軌道スピンシステム−
−システム説明−
−マーキングされていないボール−
−偏位法−
−飛行モデル−
所定の初期速度、所定の打ち上げ角度、ボールのレイノルズ数関数（温度、湿度、風速）に対する妥当なボール飛行モデルによってマークされてないボールを用いるときは、ボールの質量により、所定のボールスピンに対するボール軌道を計算することができる。

【0083】

−第１のカーブの探索−
センサによって、ボールの軌道の第１のセグメントが得られる。典型的には、最も適合する軌道二次関数を決定することを可能とするような、一連の測定が用いられる（例えば、ボールの飛行における最初の１ｍで、位置が１０回測定される）。初期速度及び打ち上げベクトルが決定される。

【0084】

−飛行の射影−
見出された、ボールの軌道に最も適合するような打ち上げベクトルと速度は、ボール飛行モデルにおいて、ボールの飛行を当該ボール飛行の第２のセグメント（例えば、２ｍ〜３ｍのうちの１ｍの距離）に亘って射影するために用いられる。

【0085】

−スピンテーブルの計算−
この飛行モデルを用いて、さまざまなスピンレート及びスピン軸を有する一連の軌道が探し出される。

【0086】

−第２のカーブの探索−
第２のセンサが、アークにおける第２のセグメント内の軌道を決定するような一連の位置を捕捉する（例えば、２ｍ〜３ｍより３Ｄ位置を１０回測定する）。これらの位置は、第１のセグメントの位置を含むような最良のカーブにフィッティングされる。

【0087】

−カーブのフィッティング−
第１のカーブに適合し、さまざまなスピン値を表すようなボールの飛行モデルカーブは、第２のカーブと比較される。２つのカーブの間の領域を最小化する「スピンカーブ」が見出される。あるいは、所定の時刻における、ゼロスピンボール飛行モデルからの、第２のカーブにおける最大のずれを見つけ出すことができる。これはスピンレートを指示するものであり、またマグナス力の影響によるものである。

【0088】

−スピンの決定−
ずれが最大となる方向は、正しい方向を指していたところから離れるようなスピン軸の運動を指示する。これは、マグナス力が作用した方向を指示している。測定システムの精度においてマグナス力の影響が測定できるように、このアプローチにおいては十分大きな領域に亘ってのデータが必要とされる。画像は、軌道についての単独のカメラにおけるビューであってよいし、あるいは２以上のカメラにおける、軌道の複数のセグメントに亘るビューであってもよい。異なるスピン値を有するショットが同様のカーブを有するということがありうる。このような場合、ショットについての他の情報を用いて最良の値を選択する。クラブデータ、ロゴスピンデータ、及び有望なショットタイプがあり、またそれら全ては、最も有望な解を選択するために用いることが可能である。ボールの飛行モデルは、所定の測定システムについて十分な精度で軌道を決定することができるものでなければならない。モデルパラメータは典型的に、全てのショットタイプをカバーできるように挿入される複数の代表的ショットから実験的に決定される。このデータは用いられる各々のボールタイプに対して取得されなければならないものであって、わずかに異なるパラメータを有するであろう。

【0089】

−取得アプローチ−
上述の標準的技法を用いて白いボールを照らすことにより個別のボール画像を探し出すことに加えて、他のアプローチを採用することも可能である。軌道カーブを探し出す際に、重なり合う画像を処理して、それらが描く軌道を見つけ出すことが可能である。

【0090】

−スミアアプローチ−
カメラの視界は、連続的に画像を露出するような一定の照明により照らされる。結果的に得られるスミアはボールの飛行を表し、ボール上のマーキングの移動は、スピン軸とスピンレートとを表す。画像中に明るいタイミングマークを作り出して正確なタイミング情報を可能とするために、ストロボを一定のレートで発火する必要がある。あるいは、通常はオンであって、タイミングの計算を可能にするような短いオフ間隔を伴うストロボ光を用いることも可能である。ここで、ボール上のマークは、ボールの回転によってスミアが付けられる際に特徴的なパターンを作り出すものでなければならない。スミアパターンからスピンを決定するためのアルゴリズムには、幾つかの種類がある。
既知のスピンについての人工的画像からテーブルを作成し、パターンマッチング及び内挿を行う。
さまざまなサーチラインを用いて、周期的パターンを探す。

【0091】

同様に、クラブの運動を、クラブのはっきりした形、あるいはそのシルエットでスミアとして捕捉することが可能である。クラブフェイスとカメラの間の３Ｄ関係に依存して、幾つかのカメラにおけるエッジのシルエットによってクラブフェイスの３Ｄ運動を記述することが可能である。用いられるクラブの範囲に対して都合のよい、そしてカメラにおけるクラブの視認を妨げないような、セットアップが必要となるであろう。このアプローチはフィッティングすべきカーブを直接的に作り出すため、理想的である。ブロブ分析、それに伴うエッジ、あるいは他の標準的技法により画像からスミアを抽出することが可能である。

【0092】

−シルエットアプローチ−
スクリーンが、ティー領域の前、横、あるいは後ろに亘って広げられ、可視光又は赤外線で照らされると、ボールのシルエットを処理することにより、ボール又はクラブの通り道を測定することが可能となる。シルエットは、目標の運動を止めるために十分な、短い露出からのものであってよい。あるいはそれよりも長いならば、スミアが作られる。ブロブ分析、それに伴うエッジ、あるいは他の標準的技法により画像からシルエットを抽出することが可能である。

【0093】

−影アプローチ−
カメラと照射源とが適当な関係を有していれば、オブジェクトは背景に影を作ることもできる。ライトの位置、方向、及び特性がわかれば、影を用いて目標の３Ｄ位置を見つけ出すことができる。影は、目標の運動を止めるために十分な、短い露出からのものであってよい。あるいはそれよりも長いならば、スミアが作られる。ブロブ分析、それに伴うエッジ、あるいは他の標準的技法により画像から影を抽出することが可能である。

【0094】

−ディンプルスピンシステム−
ボールの画像を用いて、マーキングされていないボールについてスピンを見つけ出すためのセットアップ及び処理方法であるようなアプローチが、ＫｉｒａｌｙによるＵＳ２００４／００３２９７０Ａ１にて説明されている。我々は、このアプローチが「マークアップされた（ｍａｒｋｅｄ ｕｐ）」マーキングされていないボール以外の如何なるものに対しても作用するものである、ということには納得していない。この特許出願においては、このアプローチについての制限への対処がなされていないのであるが、しかしながら我々は、そのような制限が重要であって、実現性のある打ち上げモニタ製品であるために十分な精度と信頼性とを備えた製品が得られることはないであろうと考える。
Ｋｉｒａｌｙの基本的方法は、以下のとおりである。
工場で、単独のカメラを較正する。
カメラが指示する方向を補償する。
画像のボールの直径、及び既知の直径を用いて、ボールの３Ｄ位置を見つけ出す。
画像が３Ｄにマッピングされ、グリント（輝き）が除去される。
ボールを回転させ、画像を再作成する。
ディンプルの中心を見つけ出す。
その後、前の画像に対する、その画像のディンプル中心の２Ｄ相関を見出す。
繰り返し処理を行い、最小誤差を見出す。

【0095】

ボールの回転によって変換されるだけであれば、画像は同じように見えるであろうと考えられる。ディンプルの出現は、ボールの３Ｄ位置に依存する。これは、回転が十分小さければ正しいかもしれない。グリントは、ボールの中心にある。グリントの除去により、ボールの中心から重要な情報が取り除かれる。これは、測定の正確性に対して劇的な影響を及ぼす。

【0096】

対照的に、出願人のアプローチは以下のとおりである。
カメラのペアを３Ｄで較正する。
ボールに対する３Ｄ打ち上げデータを見出す。
１以上のカメラに対して、画像の一部（ディンプル）を選び出す。
所定の量、ボールを回転させる。
（個々のディンプルあるいはマークの）サブ画像から、ボールの画像を再作成する。
ディンプル上における光の角度の変化の、モデル効果。
結果として得られる再作成画像、又は個々のサブ画像に相関する。
両方の画像に対し、ディンプルの位置決めを行い、「バンプス（突出部）」で置換する。その後、何らかの空間と相関付ける（恐らくは、２Ｄ／パノラマ射影）。

【0097】

我々はディンプルの中心を相関付けているのではなく、ボールのサブ画像を相関付けているということに留意する。回転を決定するために、複数のカメラを時間内に、あるいはＲＧＢ又はＩＲフィルタと共に用いてよく、時間内のスタガ取得を用いてよく、また時間内のグリントパターン変化を用いることもできる。アルゴリズムにはサブピクチャの相関付け、及びその後の大きな相関の抜粋、及び、−繰り返し式ではない−ボールの回転による各々の繰り返しが含まれるのであって、我々は再作成された画像を得て、２Ｄにおいて動かし、そして３Ｄで結果を計算することができる。

【0098】

スピン決定のためのボールマーキング
−マーキングアプローチ−
本発明は、如何なるビューからの方向付けをも可能とし、また如何なるビューからのラベル付けをも可能とするような、マーキングシステムを提供する。
ラインセグメントアプローチ − 図１−４を参照。
円アプローチ − 図５−６を参照。
アークアプローチ − ユニークな任意の３つのアークの距離−ユニークな任意の３つのアークの法線（ｎｏｒｍａｌ） − 図７−８を参照。

【0099】

−スピン決定のためのボールデザイン−
我々が取っている、マーキングされたボールのスピン測定アプローチは、新規であると思われる。私が見てきたあらゆるアプローチは、ボール上であって、通常はボール中のたった１つの領域における目標点のセットを当てにするものであるように思われる。我々のデザインの全ては、いまのところ、任意の単独のボール画像からそのボールの３Ｄ配向を発見することができるような何らかの処理方法が存在する、ということを目標にしている。このような特性を有するデザインは、多く存在する。そのボールデザインによれば、ボールを如何なる場所においてティーアップすることも許容されるのであり、任意の時に、あるいはその軌道に沿った任意の位置で、ボールの画像を捕捉することが許容される。それにより、ボールにおけるどのビューが見えているのか、ということを識別することが可能となるのであり、その後その地点においてスピンを計算することが可能となる。これら２つのステップは、ボールが任意の位置にあってよいということを許容するために、そして、任意の２つの画像を用いてスピンを見出すために、不可欠である。不確定の間隔を減らし、測定の精度を高めるためには、さらなる画像及び取得される画像の入念な計時が必要となるかもしれない。

【0100】

図１−４を参照すると、ボールデザインのあるファミリは、ボール１０の特定領域上に配置されたドットパターンを有するのであって、ボールの可視領域は常にユニークなパターンを含んでいる。マークは、ドット、リング、ラインセグメント１１、矢印、あるいは任意の向きを有する、あるいは有しないマークであってよい。より少ない数のマークによってパターンのユニークさを利用し、ボールの配向を見出すことができるため、向きを有するマークが好ましい。このアプローチは結局、まさにボール表面に２Ｄバーコードをマッピングする技術ということになる。

【0101】

図５−６を参照すると、ボールデザインの別のファミリにおいては、互いに特定の幾何学的関係を有するような、ボール２０上のラインが用いられている。整列されていない円２１による円パターンにおいて、各々の円はユニークな中心及び法線を有する。

【0102】

図７−８を参照すると、ボール３０は以下に説明するとおりのらせんデザイン３１を有する。

【0103】

同じ特性を有する、他の多くのパターンが考えられる。加えて、上述のパターンを、ライン中に断線を有するものとして用いることが可能である。このようにすれば、より簡単なやり方でボールへのマーキングを行うことが可能となるが、その処理は複雑になる。このアプローチにおいて、そのラインの中央、あるいは２つの端が決められた、ある幅をもつ「ライン」を用いることが可能である。第２のアプローチは、暗い／明るい、あるいは色の付いた対照的な領域において、形状を定める領域間の端を与えることである。その後、その端は画像から抽出される。

【0104】

−５つの円のデザイン。図５−６。−
このデザインは、異なる直径と法線とを有する５つの円形マークを備える。法線は全て異なる方向を指しており、また、全ての直径を極力異なるものとする。マークは幾らかの幅を有しており、その幅は隣り合う円の間の最小距離よりも小さい。円は、頂点から底まで配列される。用いられるこのパターンにおいて、如何なる円にも断線は存在しない。デザインを修正して、円内に断線を有しうるものとすることが可能である。円を復元するための処理は、上記マーキングされたボールの打ち上げモニタセクションにて詳述されている。

【0105】

−らせんデザイン。図７−８。−
１つが頂上から赤道への時計回りの向きを有し、第２のものが底部から赤道への反時計回りの向きを有するような、２つのらせんである。極と赤道との間で、１．５−２回の巻きが存在する。らせんを復元するための処理は、円に対する処理と似ている。所定の抽出された３Ｄセグメントについて、そのセグメントがらせん上のどこからのものであるかを決定するアルゴリズムが要求される。

【0106】

−複数アークのデザイン。図１−４。−
短いアーク（例えば、長さ６ｍｍ、幅３ｍｍ）が、以下の制約に従いボール表面について一見ランダムに分布している。
容易にプリントできるよう、円周の周りの領域はマークしないままに残されている。
マーキングされた「湿った」ボールがグリッパーの上に載ることを可能とするような、４つのマーキングされていない領域を有する１つの極付近の領域が残されている。
互いに隣接するマークは、可能な限り異なる向きを有している。
互いに隣接するマークは、可能な限り異なる中心位置を有している。
マークを可能な限り少なくするが、一方でどのビューにおいても少なくとも３つは見えるようにする。
可能な限り、マークによってボールの外周があいまいになることがないようにする。
１つのビューにおいて、幾らかのマークがボールの外周をあいまいにしている場合、その外周について反対側からのビューにおける他のマークは、外周をあいまいにしないような向きを有する。

【0107】

−抽出アルゴリズム−
アルゴリズムは、ラベル付けのステップまでは同一である。マーク間の距離、及びマークの向きの両方を用いて、ラベル付けが行われる。これによりユニークなパターンが形成されるのであり、全ての可能なラベル付けをチェックすることにより最良のラベル付けが計算される。一旦ラベル付けが見つかれば、デザインに対するモデルより、観察結果の回転が決定される。

【0108】

−複数の観察結果からの、スピンの決定−
観察結果の１つは、タイムスタンプ及び当該画像の撮影に用いられたカメラの較正データを有するような、ボールの画像である。それは、ボールの向きを表す６軸オフセット、ボールの位置、抽出されたデータとともに作成された信頼値とともにボールより抽出されたさまざまなサブ画像の位置又は分布、のような以前の入力を用いて抽出された、結果として得られるデータからなるものであってよい。

【0109】

−スピン計算−
ボールの観察値のセットを用いて、スピン軸とスピンレートを計算する。観察結果の１つは、カメラ及び関連するタイムスタンプと共にあるような３Ｄオフセット行列である。３Ｄ軸についての、或る大きさの運動として、ねじれが定義される。観察結果の各々のペアリング間の、明らかなねじれを見つけ出す。このねじれ値は、ねじれ値の間の角度のｓｉｎ／２によって重み付けられる。これらのねじれの重み付け平均は、スピン軸を与える。全体に亘る信頼値を用いてスピン値が計算されるのであり、計算されたスピン軸及びスピンレートからの個々のずれが見出される。その後、これらを用いて異常値が取り除かれ、スピンが再計算される。結果として得られるスピン軸ベクトル及びスピンオフセットが図解的に３Ｄで示されるのであり、これにより作業者は、値が正しいことを検証することが可能となる。スピン軸を有するボールの飛行のアニメーションが示され、また実際に取得されたデータに対する関係が表される。任意の中間位置におけるボールの画像が作成され、中間位置において任意の角度からボールを視認することが可能となる。

【0110】

−回転軸、及びレートの計算−
以下、最初の３つの場合においては、球状の物体上で観察されるマークから整合性のある３Ｄ座標を計算するための方法が既に存在するものとする。

【0111】

ケース１：マーキングされたボール、既知のモデル、及び２つのラベル付けされた観察結果のセット。
２つの観察結果に対する直接的な方法は、現在の基準セット（潜在的にボールの中心を含む）に基づいて座標フレームＦ_c1及びＦ_c2を計算し、その後、対応するモデルの基準と共に同一のアルゴリズムを用いてモデルフレームＦ_m1及びＦ_m2を計算することである。同次座標を用いて行列として座標フレームを表すことにより、我々は、以下のようにモデルを観察位置へと動かすオフセット行列を計算することができる。
Ｏ₁＝Ｆ_c1＊Ｆ_m1^-1，Ｏ₂＝Ｆ_c2＊Ｆ_m2^-1
Ｏ₁をＯ₂へと回転するような所望のオフセット行列Ｒが、以下のように見出される。
Ｒ＊Ｏ₁＝Ｏ₂，Ｒ＝Ｏ₂＊Ｏ₁^-1
Ｒ＝Ｆ_c2＊Ｆ_m2^-1＊Ｆ_m1＊Ｆ_c1^-1

【0112】

所望される場合、標準的な手続きを用いて、回転行列を同等の角度及び回転軸形式へと容易に変換することが可能である。
四元形式；（ｃｏｓ（Θ／２），η_xｓｉｎ（Θ／２），η_yｓｉｎ（Θ／２），η_zｓｉｎ（Θ／２），
あるいは（角度，ベクトル）形式；（Θ，η_x，η_y，η_z）

【0113】

角度は、（＋／−）Ｎ＊２πの間隔までしか分からないということに留意する。回転レートの計算は観測結果の間の既知の時間差（Ｔ_o2−Ｔ_o1）に基づいており、適切な間隔Ｎを決定するためにはスピンレートと方向とに物理的な制限を仮定しなければならない。
スピンレート＝（Θ ＋／− Ｎ＊２π）／（Ｔ_o2−Ｔ_o1）

【0114】

ケース２：マーキングされたボール、既知のモデル、及びＮのラベル付けされた観察結果のセット。
任意の観察結果のペアにより、ケース１にて概説した手続きを用いて角度／ベクトルの見積もりが出されるであろう。ベクトルの見積もりは２πの間隔に依存するものではなく、見積もりの重み付け平均を直接計算することができる。平均回転レートの計算は、仮定している物理的制約や、観察結果に亘って整合するような個々の２π間隔を見つけるということに依存するであろう。「最もよく適合する」角度／ベクトルを見つけ出すための代わりのアプローチは、問題を３変数における非線形誤差最小化問題として設定し、未知数について解くための標準的技法を用いることである。複数の時間間隔によりあいまいさが低減されるのであり、πよりも大きい観察結果間での回転についてさえ、解を得ることが可能となる。

【0115】

−ロゴスピン−
ボールの反対側に同一のマークを有する既知のボールに対して、スピンレート及び軸を明確な一連の可能性へと制限することができる。マークの積極的な識別に加えて、マークがないということをもって可能性を制限できるということにも注目すべきである。この計算からの結果は常に単独の値であるとは限らず、むしろ可能性のある範囲のセットとして得られるものである。最良の可能性を決定するために、しばしば他の情報が用いられるであろう。

【0116】

ケース３：マーキングされたボール、未知のモデル、及びＮの観察結果のセット。
この技法においては、複数の観察結果に亘って視認できるようなボールへの共通のマーキングが要求される。マーキングの回転はボールの回転軸に直交し、マークの移動を用いて回転レートを計算できるであろう。

【0117】

−ロゴスピン−
未知のボールに対して、観察結果のセットを用いて典型的なボールのマーキングと整合するようなボールの記述の構築を試みることができる。見出された観察結果を用いて、既知のゴルフボールマーキングシステムに対する整合性のチェックが行われ、可能であればモデルが作成されるであろう。しかしながら、１つのあるいは複数の視認できるマークを捕捉する観察結果が複数存在する場合、上記のとおりこれを直接用いて、ボールのモデルを構築することなく、回転軸とレートとを見出すことができる。

【0118】

ケース４：マーキングされたボール、未知のモデル、及び２の観察結果のセット。
マークの向きがわかれば、そしてそれが両方の観察結果におけるものであれば、上記のとおり向きの変化を直接計算することが可能である。そうでない場合、回転のサイズの下限を除けば何もわからない。これは、ロゴマークを有する典型的なボールに対する例である。

【0119】

−スピン減衰測定システム−
スピン減衰測定システムは、以下により構成される。
空間の測定体積をカバーすることができ、見出された全てのショットにタイムスタンプをすることができるスピン測定システム。
著しい数のボールがショットの終わりにおいて測定体積を通過するように、設定されたスピン、角度、速度で反復可能にボールを打ち上げる、打ち上げデバイス。
初期スピンと打ち上げデータを捕捉する、スピン測定システム。
一連の特定打ち上げ条件に対してボールの着地スポットの中央に配置することのできる、持ち運び可能なスピン測定。
全ての情報及び計算結果を記録するための、データ収集システム。

【0120】

システムは、特定のスピン、角度、及び速度で複数のショットを打ち上げることにより動作する。ショットの打ち上げ地点には注意すべきである。持ち運び可能なシステムは着地ゾーンの中央に置かれており、最終的なスピンの十分な測定を可能として飛行中のスピン変化を正確に決定することができるようにするべく、十分な数のショットが行われる。初期の、及び最終的な測定の両方がなされる全てのショットに対して、初期セグメントと最終セグメントとの間でスピン軸及びレートが比較され、差が計算される。このプロセスはさまざまな初期条件に対して繰り返され、結果の整合性が計算され、スピン減衰を用いた飛行モデルへのフィッティングがなされる。

【0121】

−例−
所定のスピン、打ち上げ角度及び速度の設定に対して、ボールは２０回打たれる。着地位置、及びそれらの分布には注意すべきである。少なくとも５つのボールが飛行により測定ゾーンを通過するような位置が見出され、持ち運び可能なスピン測定システムはそこに置かれる。この設定において２０の測定結果が所望される場合、８０回のショットがなされ、全てのショットに対して初期スピンデータが捕捉され、ショットの最終セグメントから捕捉された任意のスピンデータと組み合わせられる。これは、全てのスピン測定結果に対してタイムスタンプをマッチングすることにより行われる。

【0122】

−クラブ測定システム−
クラブヘッドスピードのある範囲に亘るクラブデータを捕捉するために、発火するストロボを備えた２つのカメラを用いることができる。クラブ上でのマーキングを必要としない、２つのアプローチとは、クラブフェイスを照射するか、あるいはクラブのシルエットを捕捉するものである。クラブのシルエットは、クラブが背景に対して移動するに従ってそのクラブの画像を取得するような高速カメラを用いて得ることができる。赤外線を用いる場合には、赤外光によって強く照らされるような、或る材料を用いることができる。しかしながら、クラブはボールに向かう予測可能な経路内を移動するのであって、したがって取得されなければならない領域は画像全体よりも大幅に小さい。ゆえに、取得領域を計算することが可能であり、クラブに対する効果的な取得レートは２００ｆｐｓとすることが可能であって、これは前後における少なくとも３つの位置に対して十分な速さである。例えば何らかのＣＭＯＳセンサ等、幾つかの商用センサによって興味ある領域の捕捉が可能となるのであり、その取得スピードは取得されるピクセル領域に比例するということに注意すべきである。これにより、捕捉される領域を減らすことができるならば、大幅に高いフレームレートを得ることが可能となる。ボールが打たれるかもしれない潜在的領域を、例えば２４”×１２”のように大きくとる場合、ボールが実際にどこで打たれるかを知ることにより、捕捉する領域のサイズを１／４から１／１６にすることが可能となるかもしれない。これによりフレームレートを４−１６倍速くすることが可能となるのであり、クラブスイングの事象を捕捉するために従来の１５−６０ｆｐｓセンサを用いることが可能となる。多くの場合、センサの興味ある取得エリアをセットアップするためのセットアップ時間が存在するということに注意すべきである。しかしながら、この時間は、打つべきボールが静止していなければならないようなゴルフアプリケーションにおいても存在しうるものである。ベースボールに適用する際には、例えば視界をプレートの周りのヒッティングゾーンに制限することが可能である。シルエットアプローチにおいてストロボを用いる場合、各々のショットにおいてクラブヘッドを見分けることは困難である。

【0123】

−直接の照射−
クラブ領域を光で照らすことができ、その光の鏡面反射を取得するようカメラが配置される。構造化された光を用い、クラブフェイスを３Ｄで決定することを可能とするようなパターンを作り出すことができる。クラブの材料及び形状には幅があり、ひとつの設定において全てのタイプのクラブからよいデータを取得することは困難である。

【0124】

−スミアアプローチ−
カメラの視界は、連続的に画像を露出するような一定の照明により照らされる。結果的に得られるスミアはボールの飛行を表し、ボール上のマーキングの移動は、スピン軸とスピンレートとを表す。画像中に明るいタイミングマークを作り出して正確なタイミング情報を可能とするために、ストロボを一定のレートで発火する必要がある。あるいは、通常はオンであって、タイミングの計算を可能にするような短いオフ間隔を伴うストロボ光を用いることも可能である。フレームレートが十分であれば、フレームの終わりよりも前に停止する露出により画像中にギャップが作り出され、これにより速度を見出すことが可能となるであろう。ここで、ボール上のマークは、ボールの回転によってスミアが付けられる際に特徴的なパターンを作り出すものでなければならない。同様に、クラブの運動を、クラブのはっきりした形、あるいはそのシルエットでスミアとして捕捉することが可能である。クラブフェイスとカメラの間の３Ｄ関係に依存して、幾つかのカメラにおけるエッジのシルエットによってクラブフェイスの３Ｄ運動を記述することが可能である。用いられるクラブの範囲に対して都合のよい、そしてカメラにおけるクラブの視認を妨げないような、セットアップが必要となるであろう。

【0125】

−シルエットアプローチ−
スクリーンが、ティー領域の前、横、あるいは後ろに亘って広げられ、可視光又は赤外線で照らされると、ボール又はクラブによって画像センサ上に落とされる影を分析することにより、ボール又はクラブの通り道を測定することが可能となる。影は、目標の運動を止めるために十分な、短い露出からのものであってよい。あるいはそれよりも長いならば、スミアが作られる。ボール内部の特徴を決定することは不可能である。

【0126】

−クラブのシルエット−
使われているクラブの３Ｄモデルを用いて、それが作るシルエットを十分なカメラから得ることにより、クラブフェイスの経路を再構築することが可能となる。スイング中の幾つかのポイントにおいてクラブの臨界のエッジが視認できるよう、カメラを配置する必要があるであろう。シルエット中のさまざまなエッジから、クラブフェイスの６軸位置が再構築される。カメラにフィルタをかけて、照射波長における影響を最大化することが可能である。緑色（芝の色）の背景に対しては、緑色ノッチフィルタによって可視スペクトルにおける所望の影響が与えられるであろう。赤外線照射に対しては、可視光での色とは無関係に拡散照射を生み出すような材料が存在する。このような性質に関する例としては、オレフィンのカーペットがある。赤外光が照射されたときから拡散赤外光照射を生み出すように、芝の色をしたマットにはこの材料が「ドープ」される。これにより、ヒッティング領域は、クラブとボールとをシルエットで描くバックライトに当てられる。運動の軌道に対してカメラがなす角度によって長い露出におけるシルエット画像の強度が決定されるということに、留意すべきである。

【0127】

−クラブモデルの決定−
クラブモデルとは、その幾何学構造、及び質量分布等、その他の性質である。これらの値を捕捉して取り出すために、３Ｄカメラと、恐らくは重量センサが用いられる。あるいは、カメラを用いて、使われるクラブ、及びクラブの性質についてのデータベースから得られるその性質を識別することが可能である。また、ユーザは必要な値を単に入力してもよい。シルエットアプローチにおいては、使われるクラブを決定するために、クラブの取得シーケンスに追加を行うことが必要となるであろう。これにより、その幾何学構造及び性質をデータベースから読み出すか、又はそれらをクラブパラメータ決定作業によって決定することが可能となる。クラブの幾何学構造を見出すプログラムが実行されているさまざまな方向へと、カメラの視界に亘ってクラブを動かすことにより、クラブパラメータが決定される。加えて、クラブの幾何学構造がわかったのであれば、クラブ質量分布プログラムを実行しつつ、幾つかの方向からクラブによって重量シフトセンサを打つことにより、クラブの質量分布を決定することが可能である。例えば、まず底面によってクラブに打撃が与えられなければならず、その後に先端、後端、そしてフェイスの反対側が続くというように、クラブにおいて重量シフトセンサ表面を打つ部分は既知でなければならないとすることができる。

【0128】

−影アプローチ−
カメラから見てクラブ背後の光景が暗く、何らかのオフセットを用いつつカメラについてさまざまな方向から照射が行われている場合、クラブはそのクラブの背後に影を落とすであろう。影は、目標の運動を止めるために十分な、短い露出からのものであってよい。あるいはそれよりも長いならば、スミアが作られる。このアプローチを、通常のボール画像の取得と合わせて用いることが可能である。ライトとカメラの位置が既知であるとすれば、影は内部的特徴を含まないがボールの位置についての情報を含んでいる。

【0129】

−３Ｄ視野シミュレータシステム−
上記システムは、ボールデータシステム、パッティングシステム、クラブシステム、スイングシステム、及び広角度カメラを備える。

【0130】

−スイングシステム−
さまざまな目標を照らして目立たせ、これと組み合わせて、２以上のカメラがシミュレータにおけるさまざまな領域から情報を取得する。

【0131】

−広角度カメラ−
シミュレータ上部から広い領域を見渡すカメラが追加される。カメラはシミュレータ座標へと較正され、シミュレータ時間に同期される。このカメラから観察結果が抽出され、さまざまな目的のために使用される。
より分解能の高いカメラによって十分な観察結果が得られない場合、それらを用いて追加的観察結果を与えることができる。このようなことは、ショットが大きく外れたときに起こりうる。
ボールの初期位置、及び打撃の時刻を取得する。
水平打ち上げ角度、クラブ速度等のクラブデータを取得する。
視界中のいずれかより、パッティング情報を捕捉する。

【0132】

広角度カメラは較正されるのであって、連続的な照射、あるいはストロボ照射のいずれを用いることも可能である。画像は捕捉され、また、シミュレータの状態、及び任意の画像処理をガイドするために用いられる主要なボールデータシステムからの結果と共に記憶される。システムが用意されると、画像のヒッティング領域内でボールの画像を見つけ出すことにより、ボールの初期位置が見出される。ヒッティング領域内のボールの位置によってボールの高さが決定されるのであり、ここにおいて高さがあらかじめ見出されることとなる。加えて、ティーショットであるか否かということが、システムに伝えられる。ボールにおける初期の高さ、及び初期位置を、ボールの高さを正確に決定するべくボールインパクトモデルと一緒に用いられているカメラにおけるボールの初期位置の間の関係を用いて、主要な３Ｄ打ち上げカメラから見出すことも可能である。

【0133】

クラブデータと共に、ボールを打つタイミングがまず見出される。ボールとクラブの画像が抽出される。ボールは直接抽出され、クラブはグラウンド背景に対するシルエットとして抽出される。このカメラにフィルタをかけて緑色の背景についてのコントラストを強調することができるし、あるいは背景を、赤外線を照射されて拡散する材料とすることも可能である。

【0134】

ボールの初期位置を中心とする少なくとも３つの位置において、クラブ位置が見出される。ボールの初期位置、３Ｄ打ち上げ角度、及び３Ｄ速度が、クラブ速度と水平打ち上げ角度とを見出すために、知られる。その後これらの位置は、このデータと整合するクラブヘッド運動のモデルへとフィッティングされ、ボールを打つ前後におけるクラブヘッド速度が、水平打ち上げ角度と共に見出される。

【0135】

パッティングに対して、カメラは単に、初期パッティング位置の領域においてボールの画像を取得する。ボールは極めて遅く動いている。少なくとも２つの画像が得られるのであり、これにより、パットスピードとパットの水平打ち上げ角度とを見つけ出すことが可能となる。

【0136】

カメラスピードを上昇させるような臨界的アプローチは、既知のボール初期位置を利用し、その上で極めて小さい画像を取得することを中心とするものである。これにより、領域の１／３だけが取得される場合には、例えばフレームレートを２倍に増やすことが可能となる。大部分の画像センサはこのような能力を与えるものであるが、ひとつの方向についてのみ可能とするものもある。

【0137】

センサの全長がボールの飛行方向にくることができるよう、カメラを向けなければならない。取得の幅は、スピードを得るために可能な限り狭められるが、典型的なクラブとボールの角度を許容するのに十分広いものとされる。

【0138】

追加的な情報が用いられる。単純なクラブデータ、パッティングデータ、広いショットのデータ、及び精度と範囲とを改善させるためのさらなる視界。

【0139】

−シミュレータのシミュレーション−
シミュレータが作成される。そのシミュレータは、当該シミュレータにおける３Ｄ体積をシミュレーションするものである。それには、ボール飛行モデルと共に、ゴルファー、ゴルフスイング、カメラ、及びライトのモデルが含まれる。それにより、シミュレータのレイアウトの変化に伴うカメラ及びライトのセットアップ調整が可能となる。それは、シミュレーションの初期条件を保存する。サンプルのショットから、一連の画像が作成される。シミュレータにより、起こりうる衝突及び目標間の距離を見ることが可能となる。シミュレータは、画像を劣化させるさまざまなノイズ及びエラー条件の導入を可能とするようセットアップされる。カメラとライトとをセットアップし、特定のシミュレータ構成が与えられたときの最終的な位置を決定するために、それを用いることができる。その後、これらの位置は、カメラとライトの取り付けをするために用いることができる。シミュレータによって、期待される結果と見出された結果との分析を伴うボールマーキングシステムの自動的なテストが可能となる。

【0140】

シミュレータ上で繰り返し実行し、さまざまな位置を評価することによって、最適なライト／カメラの幾何学配置を決定することができる。シミュレータにおけるカメラ／ライトの位置が、図９Ａ及び９Ａにて示されている。図９Ａでは、起点４１の地点に関して、ライト４３と協働する第１のカメラ４２、及びライト４５と協働する第２のカメラ４４により、視野領域４０が観察される。図９Ｂにおいて、視野領域４０を包囲する視野領域４７を観察するために、第３のカメラ４６が追加されている。ボールの３Ｄ軌道５０が図１０に示されている。第１のカメラ４２は地点５１（時刻１）及び５３（時刻３）において第１の軌道５５のラインに沿って画像を取得する。第２のカメラ４４は地点５２（時刻２）及び５４（時刻４）において第２の軌道５６のラインに沿って画像を取得する。この情報を組み合わせて、３Ｄ軌道ライン５０が生成される。

【0141】

−スポーツシミュレーションゲームの大気環境の捕捉及びシミュレーション−
このシステムには幾つかの要素が存在する。
隆起を含む地形のモデル。
地形に基づいて局所的風速のモデル化を可能とするような、地形の拡張。
所定の位置に対して実際の空気流を見出すに際して地形を考慮に入れる、空気流モデル。
平均風速数又は気象条件を用いて、例えば丘、川、木がある丘、浜風等の地形的特徴周辺での空気流をモデル化する、空気流モデル。
季節、気象条件、及び日における時刻を考慮に入れる、空気流モデル。
数１０メートル（１０ｓ ｏｆ ｍｅｔｅｒｓ）のオーダーで空気流を再形成するようなテーブルを許容するモデル。

【0142】

所定の現在の条件下での空気流の値を作成するための入力を与えるような位置及び隆起に対応する測定された流れの値のテーブルが作成される。符号化スキームにより、流れのパターンを効率的に記憶することが可能となる。デバイスにより、１メートル領域における風速と風向きが測定される。特定の時刻、季節、気象条件に対する空気流チャートの作成を可能とするために、さまざまな領域がサンプリングされる。風速の追加的なセットが作成される。それらは、指示される位置及び条件に対してモデルが与える予測空気流と比較される。モデルからのずれが十分大きければ、そのずれが記録される。風速の変化及び向きが、位置と条件に基づいてモデル化される。現実の場所における、そして特定の条件における、風速と風向きの測定が行われる。特定の一連条件下での風速及び風向きの再作成を可能とするべく、モデルに対する相関が計算され、そして記憶される。

【0143】

風速及び風向きは、さまざまな所定のボールの飛行において生じうる効果を示すようなアニメーションとして表現される。所定のボールパラメータの下でのボールスピードと向きへの影響がモデル化され、図解的に示される。これは、現行のスポーツイベントシミュレーションの拡張であって、ボールの飛行の結果をシミュレーションするに際してボール飛行モデルをより正確に用いることを可能とする。

【0144】

特許法規の規定に従い、本発明の好ましい実施形態を表現すると考えられるべきものの中で当該本発明が説明された。しかしながら、本発明の精神又は範囲から逸脱することなく、具体的に描写及び記述されたものとは別の方法で本発明を実施できることに留意すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】