ホーム > 特許ランキング > ＴＲＡＣＫＭＡＮ Ａ／Ｓ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-22
(54)【発明の名称】プレーヤーの識別のためのシステムおよび方法
(51)【国際特許分類】
A63B 71/06 20060101AFI20240215BHJP
【ＦＩ】
A63B71/06 M
A63B71/06 U
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023552204
(86)(22)【出願日】2022-03-04
(85)【翻訳文提出日】2023-08-28
(86)【国際出願番号】 IB2022051940
(87)【国際公開番号】W WO2022185276
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】63/200,425
(32)【優先日】2021-03-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/202,850
(32)【優先日】2021-06-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507002457
【氏名又は名称】トラックマン・アクティーゼルスカブ
【氏名又は名称原語表記】ＴＲＡＣＫＭＡＮ Ａ／Ｓ
(74)【代理人】
【識別番号】100118784
【弁理士】
【氏名又は名称】桂川 直己
(72)【発明者】
【氏名】フレドリク トゥクセン
(72)【発明者】
【氏名】マイケル ウンシュトルップ
(72)【発明者】
【氏名】ジャスティン ページェン
(72)【発明者】
【氏名】マイルズ ジョンソン
(72)【発明者】
【氏名】ヒロマサ カトウ
(57)【要約】
システムは、データベース、カメラ、追跡装置、および処理装置を含む。データベースは、複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存し、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含む。カメラは、スポーツ選手の画像を含むビデオストリームを捕捉する。追跡装置は、スポーツ選手によって発射されたスポーツボールの軌道に対応するデータを捕捉する。データベースに連結された処理装置。カメラおよび追跡装置は、ビデオストリームからの画像中に第一のスポーツ選手を検出し、第一の検出されたスポーツ選手の視覚的特徴を決定し；決定された視覚的特徴を、データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させ；および第一のスポーツショットに関連付けられた第一の軌道を、第一のプレーヤーＩＤと関連付ける、ように構成される。
【選択図】図１１
【選択図】図１１
【特許請求の範囲】
【請求項1】
システムであって、複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存するように構成されたデータベースであって、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含む、データベース；
前記スポーツ選手の画像を含むビデオストリームを捕捉するように構成されたカメラ；
前記スポーツ選手によって発射されたスポーツボールの軌道に対応するデータを捕捉するように構成された追跡装置；および
前記データベース、前記カメラ、および前記追跡装置に連結された処理装置であって、
前記ビデオストリームからの画像中に第一のスポーツ選手を検出し、前記第一の検出されたスポーツ選手の視覚的特徴を決定し；
前記決定された視覚的特徴を、前記データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させ；および
第一のスポーツショットと関連付けられた第一の軌道を、前記第一のプレーヤーＩＤと関連付けるように構成された処理装置、を含む、システム。
【請求項2】
前記視覚的プロファイルは、前記スポーツ選手のボールを打つスイングの特徴についての情報を含む、請求項１に記載のシステム。
【請求項3】
前記ボールを打つスイングの特徴は、前記ボールを打つスイングの生体力学と組み合わせた生体測定データポイントを含む、請求項２に記載のシステム。
【請求項4】
前記スポーツ選手の前記生体測定データポイントは、身長、肢の長さ、およびそれに依存するパラメータを含む、請求項３に記載のシステム。
【請求項5】
前記ボールを打つスイングの前記生体力学は、振られているボールを打つ用具に対する肢の位置、または脚に対する身体のねじれの程度を含む、請求項３に記載のシステム。
【請求項6】
前記視覚的プロファイルが、前記スポーツ選手の顔の特徴または衣服の特徴についての情報を含む、請求項１に記載のシステム。
【請求項7】
前記スポーツ選手の前記衣服の特徴は、前記カメラまたはスポーツイベントの開始時のさらなるカメラによって視覚的に検出される、請求項６に記載のシステム。
【請求項8】
前記データベースでまだ識別されていない新しいスポーツ選手について、前記新しいスポーツ選手のボールを打つスイングの特徴、顔の特徴、または衣服の特徴を分析することによって、新しいプロファイルおよび関連する視覚的プロファイルを生成する、請求項１に記載のシステム。
【請求項9】
前記処理装置が前記新しいスポーツ選手から前記新しいプロファイルを生成するための表示を受信し、前記カメラまたはさらなるカメラが、前記新しいスポーツ選手のビデオストリームを捕捉して、前記新しいスポーツ選手の前記ボールを打つスイングの特徴、前記顔の特徴または前記衣服の特徴を分析する時に、前記新しいプロファイルが前記データベース内で生成される、請求項８に記載のシステム。
【請求項10】
前記第一のスポーツ選手によって運ばれ、前記第一のスポーツ選手と関連付けられる電子識別子は、前記決定された視覚的特徴と前記第一の視覚的プロファイルとの前記一致を改善するために、前記処理装置によって配置される、請求項１に記載のシステム。
【請求項11】
前記電子識別子は、ＧＰＳ座標を前記処理装置に送信するデバイスを含む、請求項１０に記載のシステム。
【請求項12】
前記スポーツ選手はゴルファーであり、前記処理装置は、前記第一の検出されたスポーツ選手の前記決定された視覚的特徴を前記第一の視覚的プロファイルと一致させる時に考慮される前記データベース内のプロファイルのリストを狭めることによって、前記第一の検出されたスポーツ選手の前記決定された視覚的特徴と前記第一の視覚的プロファイルおよび前記関連する第一のプレーヤーＩＤとの前記一致を改善するように、ゴルフ理論を利用するアルゴリズムを実行するようにさらに構成される、請求項１に記載のシステム。
【請求項13】
前記ゴルフ理論には、ゴルファーのグループ分け、ゴルフホールレイアウト、またはゴルフコースレイアウトに関連する理論が含まれる、請求項１２に記載のシステム。
【請求項14】
前記ゴルフ理論は、前記追跡装置からの前記データに基づいて決定される、前記第一の検出されたスポーツ選手に関連付けられた前記スポーツボールの一つ目の推定される現在のライに関連する理論を含む、請求項１２に記載のシステム。
【請求項15】
前記アルゴリズムが、前記ゴルファーを前記視覚的プロファイルに検出して一致させるように訓練されたニューラルネットワークを含む、請求項１２に記載のシステム。
【請求項16】
前記ニューラルネットワークは、前記ゴルファーの視覚的特徴の変化に基づいて、プレー全体を通して更新される、請求項１５に記載のシステム。
【請求項17】
前記ニューラルネットワークは、各スポーツ選手の検出および視覚的プロファイルとの一致の後、多くのスポーツ選手の検出および前記視覚的プロファイルとの一致の後、または以前のプレーヤー検出からの所定の時間の後、更新される、請求項１６に記載のシステム。
【請求項18】
前記処理装置がさらに、前記第一の軌道の前記パラメータおよび前記関連するプレーヤーＩＤを放送に出力するように構成される、請求項４に記載のシステム。
【請求項19】
前記処理装置がさらに、前記第一のスポーツ選手の次のショットの前に、前記プレーヤーＩＤに関連付けられた前記第一のスポーツ選手のパーソナルデバイスに、前記第一の軌道の前記パラメータを出力するように構成される、請求項４に記載のシステム。
【請求項20】
前記第一の軌道の前記パラメータは、第二のスポーツボールが静止した後、前記スポーツボールの二つ目の測定または推定されたライ位置を含み、その結果、前記パーソナルデバイスのアプリケーションが、ライ位置を示し、前記第二のスポーツボールを見つけるのを支援するための情報を提供することができる、請求項１９に記載のシステム。
【請求項21】
前記スポーツ選手はゴルファーであり、前記第一の軌道の前記パラメータは、第一のゴルファーが打った前記ボールが、前記スポーツ選手がプレーしているゴルフコースの第一の領域の位置で停止したという表示を含み、前記第一の領域は、それに関連付けられた特別なルールを有し、前記パラメータは、前記第一のゴルファーが前記位置および前記特別なルールに基づいて、次のショットを打つことができる第二の領域の表示をさらに含む、請求項１９に記載のシステム。
【請求項22】
前記処理装置は、スポーツイベント中に前記スポーツ選手の最初の一人によって打たれたすべてのショットの全ての軌道に対するパラメータを含む要約を蓄積するようにさらに構成される、請求項１に記載のシステム。
【請求項23】
前記スポーツ選手がゴルファーであり、前記処理装置がさらに、前記第一のスポーツ選手によって打たれた第一のショットのために、前記第一のスポーツ選手によって使用されるゴルフクラブの種類を検出し、および
前記検出されたゴルフクラブの種類を前記第一の軌道と関連付けるように構成される、請求項１に記載のシステム。
【請求項24】
前記ゴルフクラブの種類は、複数の異なる種類のゴルフクラブを認識するように訓練されたニューラルネットワークを使用して、前記ビデオストリーム内で検出される、請求項２３に記載のシステム。
【請求項25】
前記ゴルフクラブの種類は、前記ゴルフクラブが使用されている時に前記ゴルフクラブに取り付けられた電子タグから発信される信号に基づいて検出される、請求項２３に記載のシステム。
【請求項26】
前記処理装置がさらに、前記第一の軌道のパラメータを前記データベースに出力するように構成され、その結果、前記データベースが前記第一の軌道の前記パラメータを前記第一の視覚的プロファイルに関連付けることができる、請求項１に記載のシステム。
【請求項27】
方法であって、カメラによって捕捉されたビデオストリームから画像内の第一のスポーツ選手を検出すること、
前記第一の検出されたスポーツ選手の視覚的特徴を決定すること、
前記決定された視覚的特徴を、データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させることであって、前記データベースは、複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存し、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含む、一致させること、および
第一のスポーツボールと関連付けられた第一の軌道を、前記第一のプレーヤーＩＤと関連付けることであって、前記第一の軌道は、追跡装置によって捕捉された前記スポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される、関連付けること、を含む、方法。
【請求項28】
データベース、カメラ、および追跡装置に連結されたプロセッサであって、前記カメラによって捕捉されたビデオストリームから画像内の第一のスポーツ選手を検出すること、
前記第一の検出されたスポーツ選手の視覚的特徴を決定すること、
前記決定された視覚的特徴を、前記データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させることであって、前記データベースは、複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存し、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含む、一致させること、および
第一のスポーツボールに関連付けられた第一の軌道を、前記第一のプレーヤーＩＤと関連付けることであって、前記第一の軌道は、前記追跡装置によって捕捉された前記スポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される、関連付けること、を含む動作を行うように構成された、プロセッサ。
【請求項29】
システムであって、複数のスポーツ選手の各々のプロファイルを保存するように構成されたデータベースであって、各プロファイルは、プレーヤーのうちの一人の識別情報および前記スポーツ選手のうちの一人と関連するプレーヤーＩＤを含む、データベース；
前記スポーツ選手によって発射されたスポーツボールの軌道に対応するショットデータを捕捉するように構成された追跡装置；
プレーヤーまたはボールを打つ用具のスイング動作に対応する運動データを捕捉するように構成された運動センサデバイス；および
前記データベース、前記追跡装置および前記運動センサデバイスに連結された処理装置であって、
前記運動センサデバイスによって捕捉された前記運動データから、第一のプレーヤーＩＤと関連付けられる前記第一のスポーツ選手の、第一のスイングを検出し；
前記第一のスポーツ選手の前記第一のスイングを、前記第一のスイングに対して検出された第一のタイムスタンプおよび第一の場所と関連付け；および
前記第一のタイムスタンプおよび前記第一の場所に基づいて、前記第一のスイングに対応する第一のショットに対応する前記追跡装置によって捕捉された前記ショットデータから、スポーツボールの第一の軌道を関連付けるように構成された、処理装置、を含む、システム。
【請求項30】
前記システムは、前記第一のスイング、前記第一のタイムスタンプ、前記第一の場所、およびさらなるスイングに対応するさらなるタイムスタンプおよびさらなる場所を有する前記さらなるスイングのその後の検出に対応するスイングデータを保存し、第一のスイングおよび前記さらなるスイングは、それぞれ、前記対応する第一のタイムスタンプおよび第一の場所ならびに前記さらなるタイムスタンプおよび前記さらなる場所に基づいて、前記第一のスポーツ選手のプレーの終了時の前記第一のスイングおよび前記さらなるスイングの前記軌道と一致する、請求項２９に記載のシステム。
【請求項31】
前記運動センサデバイスまたは前記運動センサデバイスに関連付けられたさらなるデバイスは、前記第一のスイングの位置を決定するためのＧＰＳ機能を有する、請求項２９に記載のシステム。
【請求項32】
前記第一のスポーツ選手によって運ばれ、前記第一のスポーツ選手と関連付けられる電子識別子が検出され、前記第一のスイングの前記位置が決定される、請求項２９に記載のシステム。
【請求項33】
前記スポーツ選手はゴルファーであり、前記処理装置はさらに、ゴルフ理論を利用してアルゴリズムを実行するように構成され、一致を行う際に考慮される前記データベース内のプロファイルのリストを狭くすることによって、前記第一のスイングと前記第一の軌道との前記一致を改善する、請求項３０に記載のシステム。
【請求項34】
前記ゴルフ理論には、ゴルファーのグループ分け、ゴルフホールレイアウト、またはゴルフコースレイアウトに関連する理論が含まれる、請求項３３に記載のシステム。
【請求項35】
前記ゴルフ理論は、前記追跡装置からの前記データに基づいて決定される、前記第一のスポーツ選手の前記ボールの推定される現在のライに関連する理論を含む、請求項３３に記載のシステム。
【請求項36】
前記処理装置はさらに、前記第一のスポーツ選手の次のショットの前に、前記プレーヤーＩＤに関連付けられた前記第一のスポーツ選手のパーソナルデバイスに、前記第一の軌道のパラメータを出力するように構成される、請求項２９に記載のシステム。
【請求項37】
前記第一の軌道の前記パラメータは、対応するスポーツボールが静止した後、対応する前記スポーツボールの一つの推定されるライ位置を含み、その結果、前記パーソナルデバイス上のアプリケーションが、前記対応するスポーツボールの発見を容易にするデータを提供できる、請求項３６に記載のシステム。
【請求項38】
前記スポーツ選手はゴルフコース上でプレーをするゴルファーであり、前記第一の軌道の前記パラメータは、第一のゴルファーが打ったボールが、前記ゴルフコースの第一の領域内の位置で静止したという表示を含み、前記第一の領域は、それに関連付けられた特別なルールを有し、前記パラメータは、前記第一のゴルファーが前記位置および前記特別なルールに従って次のショットを打つことができる第二の領域の表示をさらに含む、請求項３６に記載のシステム。
【請求項39】
前記処理装置は、スポーツイベント中に前記第一のスポーツ選手によって打たれたすべてのショットの全ての軌道に対するパラメータを含む要約を蓄積するようにさらに構成される、請求項２９に記載のシステム。
【請求項40】
前記スポーツ選手がゴルファーであり、前記処理装置がさらに、第一のゴルフショットのために前記第一のスポーツ選手によって使用されるゴルフクラブの種類を検出し、および
前記ゴルフクラブの前記検出された種類を前記第一の軌道と関連付けるように構成される、請求項２９に記載のシステム。
【請求項41】
前記ゴルフクラブの前記種類は、前記クラブが使用されている時に前記ゴルフクラブに取り付けられた電子タグから発信される信号に基づいて検出される、請求項４０に記載のシステム。
【請求項42】
方法であって、運動センサデバイスによって捕捉された運動データから第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手の第一のスイングを検出することであって、前記運動センサデバイスは、プレーヤーまたはボールを打つ用具のスイング動作に対応する前記運動データを捕捉し、データベースは、複数のスポーツ選手の各々に対するプロファイルを保存し、各プロファイルは、プレーヤーうちの一人の識別情報および前記スポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含む、検出すること、
前記第一のスポーツ選手の前記第一のスイングを、タイムスタンプおよび位置と関連付けること、および
前記タイムスタンプおよび前記位置に基づいて、スポーツボールの第一の軌道を前記第一のスイングに関連付けることであって、前記第一の軌道は、追跡装置によって捕捉された前記スポーツ選手によって発射されるスポーツボールの軌道に対応するデータから決定される、関連付けること、を含む、方法。
【請求項43】
データベース、運動センサデバイスおよび追跡装置に連結されたプロセッサであって、前記運動センサデバイスによって捕捉された運動データから第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手の第一のスイングを検出することであって、前記運動センサデバイスは、プレーヤーまたはボールを打つ用具のスイング動作に対応する前記運動データを捕捉し、前記データベースは、複数のスポーツ選手の各々に対するプロファイルを保存し、各プロファイルは、プレーヤーうちの一人の識別情報および前記スポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含む、検出すること、および
前記第一のスポーツ選手の前記第一のスイングを、タイムスタンプおよび位置と関連付けること、および
スポーツボールの第一の軌道を、前記タイムスタンプおよび前記位置に基づいて、前記第一のスイングと関連付けることであって、前記第一の軌道は、前記追跡装置によって捕捉された前記スポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される関連付けること、を含む動作を行うように構成された、プロセッサ。
【請求項44】
システムであって、複数のスポーツ選手の各々のプロファイルを保存するように構成されたデータベースであって、各プロファイルは、プレーヤーのうちの一人の識別情報および前記スポーツ選手のうちの一人と関連するプレーヤーＩＤを含む、データベース；
前記スポーツ選手によって発射されたスポーツボールの軌道に対応するショットデータを捕捉するように構成された追跡装置；
第一のプレーヤーＩＤに関連付けられた前記複数のスポーツ選手のうちの第一のスポーツ選手に関連付けられた位置決定デバイスであって、前記位置決定デバイスが、所与の時間における前記位置決定デバイスの位置に近似する位置データを捕捉するように構成される、位置決定デバイス；および
前記データベース、前記追跡装置および前記位置決定デバイスに連結された処理装置であって、
前記ショットデータにおいて、第一のスポーツボールの第一の軌道を検出し；
前記第一のスポーツボールが発射された第一の位置および前記第一のスポーツボールが発射された第一の時間を決定し；
前記第一の時間を含む持続時間にわたって前記位置決定デバイスの位置を含む位置データを受信し、各前記位置はタイムスタンプと関連付けられ；
前記第一の位置および前記第一の軌道と関連付けられた前記第一の時間が、前記位置データの第一の場所および第一のタイムスタンプと一致することを決定し；および
前記第一のスポーツボールの前記第一の軌道を前記第一のプレーヤーＩＤと関連付ける、ように構成された、処理装置、を含む、システム。
【請求項45】
前記第一の位置および前記第一の時間を前記第一の場所および前記第一のタイムスタンプと一致させることが、世界座標システムにおいて前記第一の位置および前記第一の場所を決定すること、および
所定の距離内の前記第一の位置と前記第一の場所との間の対応を決定すること、を含む、請求項４４に記載のシステム。
【請求項46】
前記システムは、前記第一のスポーツ選手のゴルフの第一のラウンドの前記位置データを保存し、前記ショットデータにおいて検出された軌道は、それぞれ、前記ゴルフの第一のラウンドの終了時に前記位置データと一致する、請求項４４に記載のシステム。
【請求項47】
前記位置決定デバイスは、前記位置データを決定するためのＧＰＳ機能を有する、請求項４４に記載のシステム。
【請求項48】
前記スポーツ選手はゴルファーであり、前記処理装置はさらに、ゴルフ理論を利用してアルゴリズムを実行して、一致を行う際に考慮される前記データベース内のプロファイルのリストを狭くすることによって、前記第一の位置および前記第一の時間と前記第一の場所および前記第一のタイムスタンプとの前記一致を改善するように構成される、請求項４４に記載のシステム。
【請求項49】
前記ゴルフ理論には、ゴルファーのグループ分け、ゴルフホールレイアウト、またはゴルフコースレイアウトに関連する理論が含まれる、請求項４８に記載のシステム。
【請求項50】
前記ゴルフ理論は、前記追跡装置からの前記データに基づいて決定される、前記第一のスポーツ選手の前記ボールの推定される現在のライに関連する理論を含む、請求項４８に記載のシステム。
【請求項51】
前記処理装置はさらに、前記第一のスポーツ選手の次のショットの前に、前記プレーヤーＩＤに関連付けられた前記第一のスポーツ選手のパーソナルデバイスに、前記第一の軌道のパラメータを出力するように構成される、請求項４４に記載のシステム。
【請求項52】
前記第一の軌道の前記パラメータは、前記パーソナルデバイス上のアプリケーションが、前記第一の軌道に対応する前記スポーツボールの発見を容易にするデータを提供できるように、前記第一の軌道に対応する前記スポーツボールが静止した後、前記第一の軌道に対応する前記スポーツボールの推定されるライ位置を含む、請求項５１に記載のシステム。
【請求項53】
前記スポーツ選手はゴルフコース上でプレーをするゴルファーであり、前記第一の軌道の前記パラメータは、第一のゴルファーが打った前記ボールが、前記ゴルフコースの第一の領域内の位置で静止したという表示を含み、前記第一の領域は、それに関連付けられた特別なルールを有し、前記パラメータは、前記第一のゴルファーが前記位置および前記特別なルールに従って次のショットを打つことができる第二の領域の表示をさらに含む、請求項５１に記載のシステム。
【請求項54】
前記処理装置は、スポーツイベント中に前記第一のスポーツ選手によって打たれたすべてのショットの全ての軌道に対するパラメータを含む要約を蓄積するようにさらに構成される、請求項４４に記載のシステム。
【請求項55】
前記スポーツ選手がゴルファーであり、前記処理装置がさらに、前記第一の軌道に対応する第一のゴルフショットのために前記第一のスポーツ選手によって使用されるゴルフクラブの種類を検出し、および
前記ゴルフクラブの前記検出された種類を前記第一の軌道と関連付けるように構成される、請求項４４に記載のシステム。
【請求項56】
前記ゴルフクラブの前記種類は、前記クラブが使用されている時に前記ゴルフクラブに取り付けられた電子タグから発信される信号に基づいて検出される、請求項５５に記載のシステム。
【請求項57】
方法であって、スポーツ選手によって発射されたスポーツボールの軌道に対応する追跡装置によって捕捉されたショットデータにおいて、第一のスポーツボールの第一の軌道を検出すること；
前記第一のスポーツボールが発射された第一の位置および前記第一のスポーツボールが発射された第一の時間を決定すること；
第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手に関連付けられた位置決定デバイスから位置データを受信することであって、データベースは、複数のスポーツ選手の各々についてのプロファイルを保存し、各プロファイルは、プレーヤーのうちの一人の識別情報および前記スポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含み、前記位置データは、所与の時間における前記位置決定デバイスの位置を近似し、前記位置データは、前記第一の時間を含む持続時間にわたる前記位置決定デバイスの位置を含み、各前記位置は、タイムスタンプと関連付けられる、受信すること；
前記第一の位置および前記第一の軌道と関連付けられた前記第一の時間が、前記位置データの第一の場所および第一のタイムスタンプと一致することを決定すること；および
前記第一のスポーツボールの前記第一の軌道を前記第一のプレーヤーＩＤと関連付けること、を含む、方法。
【請求項58】
データベース、追跡装置および位置決定デバイスに連結されたプロセッサであって、スポーツ選手によって発射されたスポーツボールの軌道に対応する前記追跡装置によって捕捉されたショットデータにおいて、第一のスポーツボールの第一の軌道を検出すること；
前記第一のスポーツボールが発射された第一の位置および前記第一のスポーツボールが発射された第一の時間を決定すること；
第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手に関連付けられた前記位置決定デバイスから位置データを受信することであって、前記データベースは、複数のスポーツ選手のそれぞれに対するプロファイルを保存し、各プロファイルは、プレーヤーのうちの一人の識別情報および前記スポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含み、前記位置データは、所与の時間における前記位置決定デバイスの位置を近似し、前記位置データは、前記第一の時間を含む持続時間にわたる前記位置決定デバイスの位置を含み、各前記位置は、タイムスタンプと関連付けられる、受信すること；
前記第一の位置および前記第一の軌道と関連付けられた前記第一の時間が、前記位置データの第一の場所および第一のタイムスタンプと一致することを決定すること；および
前記第一のスポーツボールの前記第一の軌道を前記第一のプレーヤーＩＤと関連付けること、を含む動作を行うように構成された、プロセッサ。
【発明の詳細な説明】
【技術分野】
【0001】
優先権主張
本出願は、２０２１年３月５日に出願された米国仮特許出願第６３／２００，４２５号、および２０２１年６月２７日に出願された米国仮特許出願第６３／２０２，８５０号に対する優先権を主張する。上記で特定された出願の明細書は、参照により本明細書に組み込まれる。
本出願は、２０２１年３月５日に出願された米国仮特許出願第６３／２００，４２５号、および２０２１年６月２７日に出願された米国仮特許出願第６３／２０２，８５０号に対する優先権を主張する。上記で特定された出願の明細書は、参照により本明細書に組み込まれる。
【0002】
本開示は、ゴルフイベント中にゴルフボールおよびゴルフプレーヤーを含む物体を追跡し、ゴルフイベントの放送で使用するための統計を決定するためのシステムおよび方法に関する。
【背景技術】
【0003】
ゴルフショットの詳細な統計は、アマチュアのプレー中、またはＰＧＡツアーイベントなどのプロのトーナメント中に捕捉することができる。例えば、レーダーベースの追跡システムを使用して、ボールの飛行中に、ティーショットのショットデータを捕捉することができる。しかしながら、現在使用されている多くのシステムは、例えば、弾みおよび転がり後のボールの最終静止位置などを含む、より高度なショット測定基準を決定することができない。プロのトーナメントでは、これらの決定は現在、例えば、レーザー範囲ファインダーなどを使用して、人間の操作者によって手動で行われている。これは非常に手間のかかる作業であり、通常数百人の操作者を必要とする。特定のショットデータの生成に加えて、ゴルフイベントの成功裏で視覚的に楽しい放送中に実行される多くの操作は、人間の操作者からの広範な手動入力を必要とする。
【発明の概要】
【0004】
本開示は、プレーヤーの識別のためのシステム、方法、および処理装置に関する。システムは、以下を含む：複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存するように構成されたデータベースであって、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含むデータベース；スポーツ選手の画像を含むビデオストリームを捕捉するように構成されたカメラ；スポーツ選手によって発射されたスポーツボールの軌道に対応するデータを捕捉するように構成された追跡装置；および以下のように構成されたデータベース、カメラおよび追跡装置に連結された処理装置：ビデオストリームからの画像中に第一のスポーツ選手を検出し、第一の検出されたスポーツ選手の視覚的特徴を決定し；決定された視覚的特徴を、データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させ；および第一のスポーツショットと関連付けられた第一の軌道を、第一のプレーヤーＩＤと関連付ける。
【図面の簡単な説明】
【0005】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【発明を実施するための形態】
【0038】
例示的な実施形態は、以下の説明および関連する添付図面を参照してさらに理解されてもよく、同様の要素は、同じ参照番号が与えられる。例示的な実施形態は、ゴルフショット、ゴルフクラブ、およびゴルフプレーヤーを含む、ゴルフコース上の物体を識別および追跡するためのシステムおよび方法に関する。物体追跡の異なる態様に関連する複数の技術が記述されており、それらは、組み合わせて使用される時、ゴルフコース上の関連する動く物体の完全なカバレッジを提供できる。一部の態様によれば、記述される技術に従って生成されるデータは、ゴルフイベントのライブ放送のカバレッジ、例えば、ＰＧＡツアーイベント、を充実させ、強化するために使用することができる。特に、記述される技術のほとんどすべては、自動的に行われ、ゴルフコース上の操作者からの手動入力をほとんどまたは全く必要としない。
【0039】
典型的なゴルフのラウンドでは、登録される統計は、各ホールでプレーヤーが打ったショットの数のみを含み得る。この打数登録は通常、手動で行う。ＰＧＡツアーが主催するトーナメントを含む一部のプロトーナメントでは、各ショットのボールの位置やライなど、より詳細な統計が記録される。近年では、ＴｒａｃｋＭａｎシステムなどのレーダーベースの追跡システムからのボール軌道データも、ＰＧＡツアーで使用され、ティーショットのショットデータを捕捉している。これらのシステムは一般的に、地面に衝突するまでの飛行中のボールの三次元位置を測定した。しかしながら、最終的な静止位置は、一般に、測量士タイプのレーザー測距器を使用して、操作者によって手動で決定される。最終静止位置の決定は、非常に労働集約的であり、ＰＧＡツアーの典型的な四日間のトーナメントの全ラウンドを通して、すべてのショットを追跡するために数百人の操作者が必要となる。一部のシナリオでは、ボランティアは、トーナメントで行われたショットの時間を捕捉するために、手持ち式デバイスのボタンを押すことも任される。
【0040】
本開示による実施形態は、プロのトーナメント中にデータを捕捉するための既存の方法と比較して、データセットを充実させ、捕捉したデータを強化し、現在手動で実行される多くの任務を自動化する。これらのソリューションは、プロのトーナメント中のほぼすべての操作を自動化し、任意のゴルフコースに適用され、現地のゴルフコースでプレーするアマチュアのゴルファーに同じまたは類似のデータを利用できるようにしてもよい。
【0041】
本開示による実施形態は、ゴルフコース上のすべてのショットについて、完全自動または半自動の追跡を実行し、各ゴルフショットを固有のプレーヤーＩＤに割り当てる。その結果、同じプレーヤーからのすべてのショットは、そのプレーヤーに固有の同じプレーヤーＩＤでタグ付けされる。飛行の追跡に加え、発射場所から静止場所までの各ゴルフショットの弾みおよび転がり、以下を含む様々なキータグが、各ショットについて追跡システムによって収集される：プレーされたゴルフホールの番号またはその他の識別子と、ボールのライに関するデータ、ショット番号（例えば、このホールで現在のショットを含めて現在のショットまでにプレーヤーが要したショットの数）、ショットが打たれたインパクトの時間、現在のショットで使用されるクラブの種類、風や温度などの環境条件。
【0042】
本開示によるシステムは、ゴルフラウンド中にすべてのプレーヤーが行ったすべてのショットを自動的に記録することができる。当業者は、特定のシステムも、それが所望されるときに手動入力を受け得ることを理解するであろう。例えば、トーナメントのプレーでは、カメラは、現在のショットを準備するプレーヤーの後ろのフェアウェイに移動され得る（例えば、カメラは、プレーヤーが打つために準備するボールよりもホールから遠くにある）。このカメラは、以下により詳細に説明するように、手動で自動的に較正されて位置付けられてもよく、追跡情報は、カメラからの画像に挿入されてもよく、またはカメラからの画像から導かれてもよい。さらに、かかる手動で位置付けられたカメラは、さらなる追跡情報をシステムに提供する移動ユニットも含み得る。当業者によって理解されるように、手動でのカメラ（および任意の取り付けられたレーダーまたは他の追跡ユニット）の再配置または照準合わせは、望みに応じて、自動追跡および画像操作とシームレスに統合されて、半自動追跡システムを作り出すことができる。
【0043】
ゴルフラウンド中のすべてのショットを記録することで、プレーヤーおよび／第三者にとって完全で魅力的なデータセットが提供される。しかしながら、本解決策は、望みに応じて、いくつかの完全なゴルフホール、選択されたティーショットなどの、ゴルフラウンドの一部にのみ使用できることも理解されるべきである。さらに、このデータの記録および／または散布は、選択されたゴルファーのグループのみ、または一人のゴルファーのためのみに実施されてもよく、例えば、追加サービス（例えば、追加費用で）として提供されてもよい。以下で詳細に説明するように、プレーヤー識別システムを使用して、個々のプレーヤーを追跡し、そのプレーヤーに関連するデータ、例えば、プレー中に捕捉されたショットデータを個々のプレーヤーに関連付けることができる。プレー中に捕捉されたゴルフボールおよび／またはゴルフクラブの統計は、固有のプレーヤーＩＤを有する特定のゴルファーと関連付けられ得る。捕捉された統計は、以下のゴルフの試合に関連する任意の情報を含み得る：キャリー位置、最終静止位置、弾みおよび転がりを含む軌道、ボール発射データ（速度、角度、方向、スピンレートおよびスピン軸）、ホールの上のショット数、ホール番号、各ショットのボールのライ、インパクト時間、使用されるクラブ、スイングデータなど。もちろん、かかるシステムからのデータは、様々な条件下で、および／または異なるプレーヤーの解剖学的構造またはスイング種類などを用いて、異なるボールおよび／またはクラブ種類を評価するために集約され、使用され得る。かかる集計データは、コース設計（または再設計）の評価および／またはティーおよびピン配置の選択にも使用され得る。
【0044】
一部の実施形態では、フルコース追跡システムは、例えば、ショット用のトレーサー、高度なショット測定基準、着地予測などを含む、ブロードキャストフィード上に重ね合わされ得るリアルタイムデータを提供することによって、イベントの放送を充実させるために、プロゴルフトーナメント中に使用することができる。また、この情報は、プレーヤーが試合の改善に使用するために、または練習とトーナメント条件と間の実行の違いを評価するために、プレーヤーが利用できるようにすることもできる。しかしながら、同じシステムは、ゴルフトーナメント、練習ラウンド、または他の任意の時間の間であろうと、任意のアマチュアゴルフラウンド中にも使用され得る。アマチュアのラウンドおよび練習ラウンド中、例えば、ティー予約システムまたは類似のものを介して、ゴルファーのグループ分けおよびプレイスケジュールがシステムで利用できる可能性があり、またはこの情報は利用できない場合がある。非予定されたティータイム中に追跡システムがゴルファーに利用可能であるシナリオでは、システムは、ゴルファーのプレーを追跡する前にゴルファーから同意を得るためのいくつかの機構を含み得る。この同意は、ラウンドの前、または場合によってはラウンド後に与えられ得る。
【0045】
以下に記述される例示的な実施形態は、以下を含む概念に関する：全コース追跡（ゴルフの１ラウンドまたは複数ラウンドのトーナメント全体中に、行われたすべてのショット、またはほぼすべてのショットの追跡）のための追跡システム；レーダーベース、カメラベース、ライダーベース、および／またはゴルフショットおよび／またはゴルフクラブを識別および／または追跡するために動作可能な他のセンサ向けの仕様および動作を含む、追跡システムで使用可能な追跡ユニットデバイス；ゴルフショットの弾みおよび転がりを追跡するために特別に構成された追跡ユニットデバイスおよび操作；追跡ユニットおよび／または他のセンサ向けの較正スキーム；放送カメラの追跡システムのセンサとの較正を含む、追跡システムと連携して動作可能なゴルフイベントのビデオフィードを放送するための放送システム；プレーヤー識別システム；特定のプレーヤーに合わせて調整できる自動ブロードキャストフィード；自動トレーサー；プレーヤーがショットを打とうとしている時を含む、プレーヤーイベントの自動検出；追跡システムによって提供されるリアルタイム追跡データに基づくロボットカメラの較正および制御；現場観客のための安全／警告システム；アマチュアのラウンド追跡のためのスキーム；非代替性トークン（ＮＦＴ）の生成。説明全体を通して、例えば、追跡ユニットおよび／またはセンサが、例えば、物体が電源オフの追跡ユニットの視野に入るであろうことを示唆する、異なる追跡ユニットによって提供される追跡データに基づいて、誘発されて電源オンとなる、省電力スキームが記述されるであろう。一部の好ましい実施形態では、時間同期に使用される世界座標システムおよび共通時間基準は、例えば、あるセンサから別のセンサのローカル座標システムへのデータの迅速な転送を可能にするために、追跡システムによってゴルフコース全体に使用される。
【0046】
システムの概要
本開示は、ゴルフコース全体に分布する複数の追跡ユニットを含む追跡システムに関する。追跡ユニットの配置は、例えば、ホールのレイアウト、追跡ユニットの能力、ホールの所望の追跡カバレッジ、または以下で詳細に説明される他の考慮事項を含む、複数の要因に依存し得る。本明細書で使用される場合、用語「ホール」は、例えば、一般的なゴルフ用語に従って、ティーボックス、フェアウェイ、ラフ、グリーン、ハザード、バンカーなどを含むゴルフホールの全体に関連し得ることが理解されるべきである。ゴルフボールが最終的に沈み、旗で印付けされることが意図されているグリーン上に位置する実際の穴は、一般的なゴルフ用語は、この機能を「ホール」とも呼ぶが、本明細書では「カップ」と呼んでもよい。当業者であれば、ゴルフホール全体を包含するより広義の「ホール」と、グリーン上に位置し、旗で印付けされたカップのみを包含する狭義の「ホール」との間の区別を理解するであろう。
本開示は、ゴルフコース全体に分布する複数の追跡ユニットを含む追跡システムに関する。追跡ユニットの配置は、例えば、ホールのレイアウト、追跡ユニットの能力、ホールの所望の追跡カバレッジ、または以下で詳細に説明される他の考慮事項を含む、複数の要因に依存し得る。本明細書で使用される場合、用語「ホール」は、例えば、一般的なゴルフ用語に従って、ティーボックス、フェアウェイ、ラフ、グリーン、ハザード、バンカーなどを含むゴルフホールの全体に関連し得ることが理解されるべきである。ゴルフボールが最終的に沈み、旗で印付けされることが意図されているグリーン上に位置する実際の穴は、一般的なゴルフ用語は、この機能を「ホール」とも呼ぶが、本明細書では「カップ」と呼んでもよい。当業者であれば、ゴルフホール全体を包含するより広義の「ホール」と、グリーン上に位置し、旗で印付けされたカップのみを包含する狭義の「ホール」との間の区別を理解するであろう。
【0047】
図１は、四つの例示的なホールの追跡ユニットに対する例示的なレイアウト１００～１１５を示す。図１に示すように、ホールの各々のシステム構成要素の構成は、ホールの長さおよびレイアウトに依存する。典型的には、各ホールは、ホールのティーボックスの近くに位置する第一の追跡ユニットを有し、ホールの長さおよびレイアウトに応じて、異なる位置に分布される追加の追跡ユニットは、ゴルフボールがホールでのプレー中に位置することが予期され得る任意の位置での強力な追跡カバレッジを確保する。また、高度の精度および／または高品質の追跡が得られると予想される位置に追跡ユニットを置くことも有利であり得る。追加の追跡ユニットは、一次追跡ユニットの視線を妨げるゴルファー、木、またはその他の物体による遮蔽を回避／最小化するために望ましい場合がある。レイアウト１００は、単一の追跡ユニット、この例では、レーダーユニット（レーダー１）、がホールのティーボックスの近くに位置するパー３のホールを示す。この例のレーダーユニットは、パー３のホール全体の完全な追跡カバレッジを提供することができる。レイアウト１０５は、二つの追跡ユニット、この例では、第一のレーダーユニット（レーダー１）および第二のレーダーユニット（レーダー２）、がホールのティーボックスの近くおよびホールのグリーンの近くにそれぞれ配置されている、パー４のホールを示す。この例の二つのレーダーユニットは、パー４のホール全体の完全な追跡カバレッジを提供することができる。レイアウト１１０は、二つの追跡ユニット、この例では、第一のレーダーユニット（レーダー１）および第二のレーダーユニット（レーダー２）、がホールのティーボックスの近くおよびホールのグリーンの近くにそれぞれ配置されている、パー５のホールを示す。この例の二つのレーダーユニットは、パー５のホール全体の完全な追跡カバレッジを提供することができる。レイアウト１１５は、三つの追跡ユニット、この例では、第一のレーダーユニット（レーダー１）、第二のレーダーユニット（レーダー２）、および第三のレーダーユニット（レーダー３）、がホールのティーボックスの近く、ホールのフェアウェイに沿って、およびホールのグリーンの近くにそれぞれ配置されている、パー５のホールを示す。この例の三つのレーダーユニットは、パー５のホール全体の完全な追跡カバレッジを提供することができる。
【0048】
図２は、様々な例示的な実施形態による、例示的なゴルフホール２５０の追跡システムに対する例示的な図表２００を示す。各ゴルフホールのレイアウトは、典型的には、ティーエリアまたはティーボックス２５５、フェアウェイ２６０、フェアウェイ２６０を概して取り囲むグリーン２６５、およびグリーン２６５を含む。グリーン２６５は、ゴルフボールが、プレーヤーがゴルフホール２５０を完了するために終了することが意図されているカップを含み、これは旗２７０によって示される。この例では、ゴルフホール２５０は、さらに、ウォーターハザード２７５およびバンカー２８０を含む。図表２００の追跡システムは、ティーボックス２５５の近くに位置する第一の追跡ユニット２０５と、グリーン２６５の後ろに位置する第二の追跡ユニット２１０と、を含む。上述のように、特定のホールについて、一つ以上の追加の追跡ユニットは、ホールを囲む異なる位置に分布されてもよい。追跡ユニット２０５、２１０は、以下でより詳細に説明するゴルフボール２１５および／または使用されているゴルフクラブの位置および／または運動データを提供する。すべての位置データは、例えば、ゴルフコース全体にわたってトラックを生成するために使用される世界座標システム２２０で最終的に決定され得るが、一部のセンサは、以下でより詳細に記述されるホールおよび／またはセンサのローカル座標システムに特有の座標システムにおける一部の位置データを決定し得る。
【0049】
図表２００はさらに、ホール２５０のプレー中のボール２１５の例示的な経路を示す。ボール２１５は、ティーボックス２５５上の第一の静止位置２１５ａに始まり、軌道２１５ｂに沿ってフェアウェイ２６０上の第二の静止位置２１５ｃまで打たれる。次いで、ボール２１５は、軌道２１５ｄに沿ってグリーン２６５上の第三の静止位置２１５ｅまで打たれる。そこから、ボール２１５は、旗２７０によってマークされたカップにパットされ得る。本明細書に記載の例示的な実施形態によるシステムは、動作中（２１５ｂ、２１５ｄ）および／または静止中（２１５ａ、２１５ｃ、２１５ｅ）のボールを正確に認識することができる。一部の実施形態では、第一の追跡ユニット２０５は、ティーショット（例えば、静止位置２１５ａから発射された軌道２１５ｂ）を追跡し、これらのティーショットから特定の情報、例えば、発射パラメータを導出するために選択される第一の能力を有するティーボックス（ティーエリア）追跡ユニットであってもよい。第二の追跡ユニット２１０は、アプローチショット（例えば、静止位置２１５ｃから発射され、静止位置２１５ｅで終わる軌道２１５ｄ）および／またはチップおよびパットの追跡、ならびに、例えば、パットパラメータなどのこれらのショットからの特定の情報の抽出のために選択される第二の能力を有するグリーン（グリーン側）追跡ユニットであってもよい。第三のタイプの追跡ユニットは、頻繁な位置変更のために持ち運び可能な状態を維持しつつ、フェアウェイ２６０に着地し、そこから発射されるショットを追跡するために選択された第三の能力を有するフェアウェイ追跡ユニットを備え得る。しかしながら、以下でより詳細に説明されるように、センサおよび能力の様々な組み合わせを含む、複数の異なるタイプの追跡ユニットが使用されてもよい。
【0050】
図３は、様々な例示的な実施形態による、ゴルフコースの追跡システムに対する例示的な図表３００を示す。図表３００では、例えば、第一のホール３５０ａ（ホール１）、第二のホール３５０ｂ（ホール２）、および第三のホール３５０ｃ（ホール３）の三つのゴルフホール３５０のみが示されている。しかしながら、例示的な図表３００に記述される原理は、任意の数のホールに拡張することができ、任意の数のホール、例えば、９、１８、２７などを含むゴルフコース全体を包含することができることが理解されるべきである。図表３００では、三人のプレーヤー３５５が示されており、例えば、第一のプレーヤー３５５ａが第一のホール３５０ａ上に示され、第二のプレーヤー３５５ｂが第二のホール３５０ｂ上に示され、第三のプレーヤー３５５ｃが第三のホール３５０ｃ上に示されている。以下でさらに詳細に説明するように、本明細書に記載の追跡システムは、ゴルフショットの追跡に加えて、プレーヤーを正確に識別し、例えば、プレーヤーＩＤを使用して、これらのプレーヤーをシステムによって追跡されたゴルフショットに関連付けることができる。図３に示す例示的追跡システムは、例えば、ゴルフコースがＰＧＡツアーイベントなどのプロのイベントに使用される時などに、ゴルフコースのビデオフィードを放送するために追加装備される。しかしながら、追跡システムの放送態様は任意であり、追跡システムは、プロのイベントの放送とは無関係な様々な目的に使用することができることが理解されるべきである。放送に送達されたデータ伝送（例えば、プレーヤー／ショット情報／追跡のために）、放送カメラ較正、自動フィード切り替えなどを含む、イベントの放送に関連する特定の技術を、以下により詳細に説明する。
【0051】
図３の各ホールは、多数の追跡ユニット３０５を備え、ホールの追跡カバレッジを提供し、有線または無線接続３１０を介して追跡サーバー３２０に接続される。この例では、多数の放送カメラ３１５も、有線または無線接続３１０を介して追跡サーバー３２０にまた接続される各ホール上に配置される。第一のホール３５０ａは、ティーボックスに隣接した第一の追跡ユニット３０５ａおよび第一の放送カメラ３１５ａ、ならびにホールに隣接した第二の追跡ユニット３０５ｂおよび第二の放送カメラ３１５ｂを含む。第二のホール３５０ｂは、ティーボックスに隣接した第三の追跡ユニット３０５ｃおよび第三の放送カメラ３１５ｃ、フェアウェイに沿った第四の追跡ユニット３０５ｄ、およびホールに隣接した第五の追跡ユニット３０５ｅを含む。第三のホール３５０ｃは、ティーボックスに隣接した第六の追跡ユニット３０５ｆおよび第四の放送カメラ３１５ｄ、ならびにホールに隣接した第七の追跡ユニット３０５ｇおよび第五の放送カメラ３１５ｅを含む。図３に示す追跡ユニット３０５および放送カメラ３１５の位置および数は、例示的な目的のためにのみ提供され、任意の数の追跡ユニット３０５および放送カメラ３１５は、所望の追跡カバレッジ／精度、コースのホールのレイアウト、および／または放送主体の所望の放送能力、例えば、ＰＧＡツアーに応じて使用され得ることが理解されるべきである。
【0052】
図３に示す一次追跡ユニット３０５と類似した、よりも低下した、または異なる能力を有する追加の追跡ユニットは、以下に詳細に説明する様々な考慮事項に従って、全コース追跡のために実装され得る。一例では、フェアウェイ追跡に使用される一つ以上の移動式追跡ユニットは、ティーエリアおよび／またはグリーンに使用される追跡ユニットと比較して、低下した能力を有し得る。さらに、当業者であれば、一部の非常に短いショット（例えば、観客、木などによって閉塞された場所での打ち損ない）は、システムによって捕捉されない場合があることを理解するであろう。ミスショットの可能性に対処するために、システムは、手動の修正／追加の入力機能を有し得る。例えば、システムは、ホールの完了時に各プレーヤーにショット数を確認するように求める場合がある。かかる状況では、ミスショットのデータは存在しないが、スコアは正確性を保つ。
【0053】
追跡処理は、各追跡ユニット３０５に組み込まれた処理ユニットによって、追跡サーバー３２０で、または組み込まれた処理ユニットと追跡サーバー３２０との間の協働で実行される様々なステップのいずれかによって、実施され得る。追跡サーバー３２０は、例えば、オンサイトサーバーまたはクラウドベースの処理サービスであってもよい。追跡サーバー３２０は、処理装置および記憶装置を含み、以下により詳細に説明される、追跡ユニット３０５、放送カメラ３１５、および任意選択で、全コース追跡システムおよび／または放送システムで使用され得る他のセンサまたはデバイスに連結される。追跡サーバー３２０の処理装置は、一つの中央プロセッサまたは複数のプロセッサを含むことができ；一部の実施形態では、追跡サーバー３２０は、以下でより詳細に説明される様々な追加機能に加えて、数十または数百の物体の追跡を同時に処理してもよく、これは比較的高い計算能力を必要とする。一部の実施形態では、追跡サーバー３２０はまた、例えば、ビデオフィード、音声フィードなどの出力／切替によって、視聴者にまとまりのある視聴体験を提示するなどにより、ライブイベント、例えばＰＧＡツアーイベントのビデオカバレッジを提供する放送システムとして機能してもよく、またはそれと協働してもよい。他の実施形態では、追跡サーバー３２０は、視聴者に表示するコンテンツに責任を持つ放送主体に情報を提供できる。このシナリオでは、追跡サーバー３２０および放送主体は、以下でより詳細に説明されるように、ライブデータを実質的にリアルタイムで放送に挿入することができるように、協調して活動し得る。
【0054】
追跡サーバー３２０は、（動作中または静止中の）各ボールを、そのボールをプレーする個々のプレーヤー３５５と関連付ける責務を負い、コース上の各プレーヤーは、固有のプレーヤーＩＤと関連付けられる。追跡サーバー３２０は、さらに、関連するボール追跡情報を、追跡されたボールを打ったプレーヤーのプレーヤーＩＤと共に、様々な消費者に送信する責務を負う。追跡システムが放送目的に使用される時、追跡サーバー３２０は、放送カメラデータと協調して、放送者３２５、ウェブアプリケーション３３０および／または現場アプリケーション３３５などの消費者に、プレーヤーＩＤと共に、追跡情報を送信できる。追跡システムが主に情報目的に用いられている時、すなわち放送と関連付けられていない場合、情報は、例えば、個々のプレーヤーによる後の検索のために、現場のデータベースに送信されてもよく、例えば、プレーヤーが使用する携帯デバイス用のモバイルアプリケーションを介して、個々のプレーヤーに送信されてもよく、または他の利害関係者に送信されてもよい。プレーヤーを識別し、それらのプレーヤーを追跡システムによって捕捉されたデータと関連付けるために使用されるプレーヤー識別システムについて、以下でより詳細に説明する。
【0055】
追跡ユニット
図３に示す例示的な追跡ユニット３０５は、一つ以上のセンサ、例えば、一つ以上の非画像ベースのセンサ（例えば、マイク、レーダーおよび／またはライダーシステムなど）ならびに一つ以上のカメラを含む撮像（例えば、カメラベース）システムを含み得る。追跡ユニット３０５は、非画像ベースのセンサのみ、画像ベースのセンサのみ、または非画像ベースのセンサおよび画像ベースのセンサの組み合わせを含むことができる。例えば、カメラシステムは、視野、解像度、配向、フレームレート、波長感度、電子制御可能ズーム（アナログまたはデジタル）、固定または移動可能、固定または電子調整可能なパンチルト配向など、異なる特性を有する複数のカメラセンサを含んでもよい。カメラセンサは、受動光受信センサ、飛行時間カメラ、イベントベースカメラなどを含んでもよく、また、照明される情景の信号対雑音比（ＳＮＲ）を増加させるために、カメラのフレーム露出と同期した、視覚的、赤外線（ＩＲ）または近赤外線（ＮＩＲ）照明を含んでもよい。カメラシステムと同様に、非画像ベースのセンサ（例えば、レーダーおよび／またはリダー）は、異なる特性、例えば、異なる視野、配向、解像度、フレームレート、波長、変調などを有する複数のセンサを含み得る。議論を簡略化するために、開示された実施形態は、追跡ユニット３０５の非画像ベースの構成要素をレーダーユニットと呼ぶ。しかしながら、当業者は、かかる構成要素は、必要に応じて、追加の非画像ベースのセンサによって置換されてもよく、またはそれを含んでもよいことを理解するであろう。
図３に示す例示的な追跡ユニット３０５は、一つ以上のセンサ、例えば、一つ以上の非画像ベースのセンサ（例えば、マイク、レーダーおよび／またはライダーシステムなど）ならびに一つ以上のカメラを含む撮像（例えば、カメラベース）システムを含み得る。追跡ユニット３０５は、非画像ベースのセンサのみ、画像ベースのセンサのみ、または非画像ベースのセンサおよび画像ベースのセンサの組み合わせを含むことができる。例えば、カメラシステムは、視野、解像度、配向、フレームレート、波長感度、電子制御可能ズーム（アナログまたはデジタル）、固定または移動可能、固定または電子調整可能なパンチルト配向など、異なる特性を有する複数のカメラセンサを含んでもよい。カメラセンサは、受動光受信センサ、飛行時間カメラ、イベントベースカメラなどを含んでもよく、また、照明される情景の信号対雑音比（ＳＮＲ）を増加させるために、カメラのフレーム露出と同期した、視覚的、赤外線（ＩＲ）または近赤外線（ＮＩＲ）照明を含んでもよい。カメラシステムと同様に、非画像ベースのセンサ（例えば、レーダーおよび／またはリダー）は、異なる特性、例えば、異なる視野、配向、解像度、フレームレート、波長、変調などを有する複数のセンサを含み得る。議論を簡略化するために、開示された実施形態は、追跡ユニット３０５の非画像ベースの構成要素をレーダーユニットと呼ぶ。しかしながら、当業者は、かかる構成要素は、必要に応じて、追加の非画像ベースのセンサによって置換されてもよく、またはそれを含んでもよいことを理解するであろう。
【0056】
追跡システムは、異なるサイズおよび構成を有する異なる追跡ユニットの任意の混合物を含んでもよい。一部の追跡ユニットは、レーダーおよびカメラシステムの組み合わせを含み得る一方、他の追跡ユニットは、レーダーシステムのみまたはカメラシステムのみを含み得る。例えば、レーダーユニットの角度精度は、典型的には、様々なアンテナ間の分離に関連しているため、より大きな分離は、より高い角度精度を生成し得る。一部の事例では、より大きなレーダーユニットが、所望の精度を達成するために必要とされてもよく、一方で他のレーダーユニットは、携帯性またはより小さな視覚的フットプリントを提供するためにより小さくてもよい。一事例では、フェアウェイ追跡ユニットは、操作者が、その近傍のショットの様々な位置に応じて、追跡ユニットの位置および配向を変更できるように、比較的小さくかつポータブルであってもよいが、一方で、ティーボックス追跡ユニットおよびグリーン追跡ユニットは、これらの追跡ユニットが、例えば、ティーショットおよびチップ／パットなど、各ホールで打たれたそれぞれの特定のショットの良好なカバレッジを提供する高い可能性または確実性の観点から、より大きくかつ実質的に固定され得る。さらに、一部の追跡ユニットは、例えば、追跡サーバーからのコマンド（異なる追跡ユニットまたはセンサからの追跡データに基づく）に基づいて、または同じ追跡ユニットからの追跡データに基づいて、配向を自動的に変更できるロボットカメラを含み得る。ロボットカメラは、光学追跡を実行し、ボール検出に基づいて配向を変更する追跡カメラであってもよく、またはロボットカメラは、他のセンサから取得された追跡データに依存する放送カメラであってもよい。
【0057】
配向に加えて、ズームレベルおよびクロップを制御できる。一部の実施形態では、追加のセンサ（例えば、レーダーまたはライダー）が、単一の追跡ユニット上のロボットカメラに含まれ、追跡ユニットに含まれるすべてのセンサは、一緒に配向を変更することができる。当業者であれば理解できるように、ロボットカメラと共に動くレーダーユニットは、例えば、そのようなレーダーがしばしば、それらの視野の中心の近くを移動する物体からより強い反射信号を受信するという事実に起因して、レーダーが感度を増大させた、レーダーの視野（例えば、その中心の近く）の一部分内のボールを追跡しつづけてもよい。
【0058】
各追跡ユニット３０５は、それ自体、または他の追跡ユニット３０５との組み合わせで、その視野内の各プレーヤーによって使用されるゴルフボールおよび／またはゴルフクラブの位置および／または運動データを提供する。以下でより詳細に説明するように、一部の追跡ユニット３０５はまた、その視野内のプレーヤーを識別し、ボール／クラブデータを対応するプレーヤーに関連付けることができる。上述のように、すべての位置データは、世界座標システムに変換されて、ゴルフコース上のボールおよび／またはプレーヤーの位置を特定することができる。ボール軌道および関連するパラメータ、例えば、ボールのスピンレートおよびスピン軸の追跡は、レーダーデータのみに基づいて実施されてもよく、または画像ベースの追跡をレーダーベースの追跡と組み合わせて、ボール軌道の三次元位置を決定してもよい。さらに、純粋な画像ベースの追跡、またはライダーなどの任意の他の追跡技術が、一部のシナリオで使用され得る。好ましくは、いかなるプロトーナメントでも採用される可能性は低いであろうため、これらのアプリケーションは、ゴルファーが使用する器具（例えば、ボールまたはクラブのマーキング）の変更を必要としない非侵襲的技術を採用するであろう。これは、それが、結果、サービスのコストの低下などを促進する場合、プレーヤーが異なる器具の使用を素直に受け入れるアマチュアのシナリオではそれほど重要ではないかもしれない。さらに、クラブ速度、攻撃角度、クラブ経路、面対経路角度、およびクラブ面上のインパクト位置などのクラブ追跡は、レーダーベースの追跡、画像ベースの追跡、ライダーベースの追跡、またはこれらおよび他のシステムの任意の組み合わせのいずれかを使用して実施され得る。
【0059】
図４は、様々な例示的な実施形態による、レーダーシステム４０５および／またはカメラシステム４１０および／またはライダーシステム４１５を含む例示的な追跡ユニット４００を示す。追跡ユニット４００は、上述のように、前述のセンサの任意の組み合わせを含み得る。様々なセンサは、それらの構成されたパラメータに従ってデータを捕捉するように動作可能である。一部のセンサでは、取り込まれたデータは、例えば、図３に関して上述の追跡サーバー３２０またはアプリケーションに応じてローカル座標システムまたは世界座標システムであり得る座標システム４２０のトラックを決定するためにデータを処理する任意の他のデータ処理ユニットなどの、処理ユニットに直接送信することができる。他のセンサは、捕捉されたデータに対するデータ処理の一部またはすべてを実行するための内部処理装置を含む。追跡ユニット４００は、ティーボックスに隣接して位置し、プレーヤー４３５によってボール４２５のティーショット４４０の発射パラメータを捕捉するように構成されてもよく、これには、ボール４２５の発射パラメータおよびプレーヤー４３５によって使用されるクラブ４３０のクラブ経路パラメータの両方が含まれる。追跡ユニット４００はまた、ホールに沿ってさらに位置付けられ、３Ｄ位置追跡のために主に構成されてもよい。
【0060】
好ましい実施形態では、例示的な追跡ユニットは、３Ｄドップラーレーダーシステムと、典型的には、一つまたは二つの組み込まれたカメラを含むカメラシステムと、を含む。３Ｄドップラー追跡レーダーは、先行情報（例えば、発射位置）が利用できない場合でも、ＸＹＺ座標における移動物体の３Ｄ位置を決定することができる。これは、例えば、木の後ろから突然現れるボールは、視線がレーダーによって確立されるとすぐに、３Ｄで正確に位置決めできることを意味する。しかしながら、発射位置に関する所定の情報は、利用可能な場合、使用され得る。
【0061】
この実施形態では、カメラは、レーダーデータに対して時間同期され、レーダーの座標システムに対して較正される。これは、任意の所定の時点で、レーダーによって決定される動作中のボールの３Ｄ位置を、画像の時間ならびに位置に対応するカメラによって捕捉されたフレームに、正確にマッピングすることができることを意味する。同様に、画像データから決定される動作中のあるボールに対して決定される３Ｄ位置は、対応するレーダーデータと相関付けられ、例えば、トラックをより正確に決定することができる。代替的な実施形態では、３Ｄドップラーレーダーの代わりに、追跡ユニットの一つ以上は、１Ｄドップラーレーダーおよびカメラシステムを含み得る。この例では、１Ｄレーダーは、レーダーの視野を横断する時に、ボールの半径方向距離またはレンジレート（ｒａｎｇｅ ｒａｔｅ）のみを測定する一方、カメラシステムは、ボールがカメラの視野を横断する時に、ボールの角度位置を決定する。これらのそれぞれの視野が重なる時、データは、参照によりその全体が本明細書に組み込まれる米国特許第１０，９８９，７９１号に記載されるように、物体の三次元トラックを生成するように組み合わせられてもよい。
【0062】
好ましくは、各カメラは、内因的におよび外因的に較正され、これは、センサの内部および外部の両方のパラメータが既知であるかまたは決定されていることを意味する。カメラの内部パラメータは、例えば、焦点距離、レンズ歪みパラメータ、および主点を概して含んでもよく、一方で、レーダーの内部パラメータは、例えば、受信機間の位相オフセットを概して含んでもよい。外部パラメータは、典型的には、センサの位置および配向を構成する。追跡ユニット内のセンサ（または一部の実施形態では、追跡システム内の異なるユニットにわたる）に対する内因的および外因的較正は、カメラによって捕捉された画像の各画素の角度配向を、レーダーシステムの較正に関連して知ることを可能にする。一つ以上のカメラに対する歪みパラメータに関する知識により、望ましい場合には、ヒトの目により快適に見えるように、画像／ビデオの歪みの解消（補正）が可能となる。この歪みの解消機能の様々な適用は、特に、レーダーのみを使用して捕捉することが困難なゴルフショットの弾みおよび転がりの追跡に関して、以下でより詳細に説明される。
【0063】
二つ以上のカメラが追跡ユニットに埋め込まれている場合、カメラは通常、異なる視野（ＦＯＶ）で構成され、異なるフレームレートで操作される。例えば、第一のカメラは、４Ｋ解像度を有し、５０度の水平ＦＯＶで、３０ｆｐｓで作動し、視覚的に快適なビデオストリームを提供するように構成され得る。第一のカメラは、例えば、放送カメラとして、またはショットのクリップの生成のために使用され得る。第二のカメラは、例えば、フェアウェイの方を振り返るグリーン側追跡ユニットで、例えば、遠くでより高い画素解像度を提供するより狭い視野を有し、グリーンを狙ったショットを追跡するように構成され得る。
【0064】
カメラおよびレーダーのこの正確なアライメントおよび較正により、レーダー追跡および画像追跡が可能になり、互いを補完し、強化する。一部のシナリオでは、ボール、クラブヘッド、および／または人々は、まずレーダーによって検出される一方、他のシナリオでは、これらの物体／身体は、まずカメラの一つによって検出される。多くのシナリオでは、両方のセンサタイプが、物体がそれぞれの視野内にあるとき、常に物体の確実な追跡を有するであろう。これにより、それぞれのセンサが最も正確である異なるシナリオで各センサを使用することができ、利用可能な場合、複数のセンサからのデータを組み合わせて、一つのタイプのセンサのみに基づく測定値と比較して、精度を高めることができる。
【0065】
好ましいシステムは、以下でより詳細に説明される、追跡ユニット間の時間同期を可能にする技術、ならびにすべてのユニットが同じ座標（例えば、世界座標システム）に較正される高度な較正スキームと共にさらに提供される。本質的には、上述のように、単一の追跡ユニット内で可能なセンサデータとクロスセンサエンハンスメントの組み合わせは、例えば、第一の追跡ユニットがボールの飛行の初期部分を追跡し、一方第二の追跡ユニットが飛行の後半部分を引き継ぐなど、協調して作動する複数の追跡ユニットにわたっても利用可能である。当業者であれば、第一および第二の追跡ユニットの視野の両方（重複視野領域）に含まれるボールの飛行の一部について、両方のデータが組み合わされ得ることを理解するであろう。代替的に、システムは、例えば、第一の追跡ユニットからのデータがより正確である重複視野領域の第一の部分、第一および第二の追跡ユニットからのデータの組み合わせが、最も正確および／または最も信頼できるデータを提供する重複視野領域の第二の部分、および第二の追跡ユニットからのデータがより正確である重複視野領域の第三の部分を識別し得る。重複視野領域のこれらの第一、第二および第三の部分の描写は、例えば、各第一および第二の追跡ユニットからの距離、遮蔽要素などを考慮して、ケースバイケースで行われ得る。当業者であれば、同じ一般原理が、三つ以上の追跡ユニットの視野が重なる時に、様々な追跡ユニットからのデータの異なる使用モード間の同様の変更を可能にすることを理解するであろう。
【0066】
一部の実施形態では、第一のセンサからのデータを使用したリアルタイム３Ｄ追跡を使用して、第二のセンサの動作を制御することができる。例えば、システムは、第一のセンサからのデータからのリアルタイム３Ｄ追跡情報内のイベントを検出することができ、これらの検出されたイベントを、第二のセンサを誘発して追跡を開始するベースとして使用することができる。これらのイベントには、例えば、以下を含む：ショットの発射；ティーから特定の距離を通過するボール；基準線から所定の距離を超えて移動するボール；および／または、ボールが第二のセンサの視野に入ったか、または入る予定であることを示す他のイベント。第二のセンサの動作状態の変化を誘発するイベントは、所与のホールのレイアウトに基づいて選択および構成され得る。例えば、例えば、ホールの長さなどの、第一または第二のセンサの視界／カバレッジを遮蔽し得るアイテムを含むホールの地理を考慮する競技理論を使用できる。さらに、それぞれのセンサの能力、例えば、所与のホールに対して、センサが、優れた追跡カバレッジを提供する、またそうでないなど、を考慮することができる。システムは、ボールがティーからの特定の距離を通過するとき、および／または基準線から所定の距離を超えて横方向に移動するとき、および／または第一のセンサよりも第二のセンサの近くに移動するときに、第二のセンサで追跡を開始するようにプログラムされてもよい。一部の実施形態では、センサは、完全にまたは部分的に重複する視野を有することができるが、これは必須ではない。
【0067】
検出されたイベントは、追跡システムの異なるセンサおよびサブシステムに対する電力使用をより効率的に管理するためにも使用され得る。特定のシステム能力を必要とするイベントが現在、第一のセンサまたは他のシステムコンポーネントからのデータで検出されない時、例えば、ホールのさらに下に位置するセンサなどの他のセンサの電力使用量は、例えば、システムが、アイテムの完全な起動を必要とするイベントまたは即時の保留中イベントを検出するまで、アイテムの様々な電力を引き出す構成要素をスリープモードまたはローパワーモードに置くことによって、低減することができる。ゴルフコースのシステムは、多くの場合、電池駆動または発電機による電力供給のどちらかであるため、これは大きな実用的な重要性を持つ可能性がある。
【0068】
関連する実施形態では、ロボットカメラ、例えば、追跡サーバーによって遠隔操作可能な、例えば、追跡カメラおよび／または放送カメラは、リアルタイム３Ｄ位置追跡情報に依存して制御される。ボールに対するリアルタイム位置データを使用して、追跡システムは、ロボットカメラを制御して、このカメラを現在のボール位置に向け（例えば、その飛行を通してボールを追跡する）、ズームおよび焦点を追加で制御して、ゴルフトーナメント中にプロのカメラ操作者によって達成されるのと同じ方法で、視聴者が慣れている（例えば、ブロードキャストビデオフィードを提供する）、鮮明で視聴者に優しい画像を確保することができる。ロボットカメラに対するボールの３Ｄ位置は、追跡システム内の他のセンサによって取得されたリアルタイムデータに基づいて、常に追跡システムによって既知である。したがって、ロボットカメラに対する最適なクロップ、配向、およびズームレベルは、リアルタイムデータに基づくシステムによって自動的に制御され得る。飛行中のボールの光学追跡はまた、ロボットカメラ（または任意の他のカメラ）からのデータの分析を使用して実施されてもよく、ロボットカメラを制御して、任意の既知の方法を使用して所望の画像を達成するために使用されてもよい。ロボットカメラは、カメラの手動操作者を置き換えるために使用されてもよく、ビデオ映像を視聴者にとってはるかに魅力的なものにすることができる。また、例えば、ボールのライなどを描写するためのクローズアップ映像を作成することも可能にする。ロボットカメラの安定的で視聴者にやさしい動きを確保するために、追跡システムからのリアルタイム３Ｄデータの特別なフィルタリングバージョンを生成し、ロボットカメラを制御するために使用することができる。さらに、遅延、最大角加速度、最大角速度、焦点遅延など、ロボットカメラ制御の特徴についての知識が、カメラを制御するときに考慮され、補われ得る。ロボットカメラはまた、世界座標におけるクラブおよびボールの位置決めのための追跡センサとして使用され得る。しかし、これは、視野が静止していないので、ロボットカメラの較正を必要とする。これらの実施形態は、以下により詳細に説明される。
【0069】
例えば、一実施形態では、第二のセンサは、カメラ（例えば、ロボットカメラ）であってもよく、起動コマンドには、ロボットカメラの最適なクロップ、配向、およびズームレベルを制御するためのパラメータが含まれてもよい。ロボットカメラのズームおよび焦点は、たとえボールがカメラからの画像の中に見えないか、または簡単に見つからない場合でも、他のセンサまたは他の追跡ユニットによるボールの飛行中の追跡に基づいて、連続的に更新することができる。
【0070】
図１６ａは、ゴルフコースのホールでのプレー中に発射されたボールの三次元位置を追跡するための例示的な方法１６００を示し、追跡は、第一のセンサおよび第二のセンサの両方からのデータを使用して行われ、第二のセンサの動作は、第一のセンサによって捕捉されたデータから決定される３Ｄ位置追跡情報に基づいて制御される。一部の実施形態では、第一のセンサは、レーダー（例えば、ティーボックス追跡ユニットのレーダー）である。他の実施形態では、第一のセンサは、異なるタイプの追跡ユニットのレーダー、例えば、フェアウェイ追跡ユニットであってもよく、またはカメラであってもよい。一部の実施形態では、第二のセンサは、例えば、フェアウェイ追跡ユニットの、レーダーである。他の実施形態では、第二のセンサはカメラである。一部の実施形態では、第二のセンサは、第一のセンサと同一場所に配置することができ、例えば、第二のセンサは、ティーボックス追跡ユニット内のカメラであり、第一のセンサは、ティーボックス追跡ユニット内のレーダーである。好ましい実施形態では、第一および第二のセンサは、世界座標システムに対して較正される。
【0071】
以下では、特定の処理ステップは、追跡システムで実行されるものとして記述される。上述のように、追跡処理は、各追跡ユニットに組み込まれた処理ユニットによって、追跡サーバーで、または組み込まれた処理ユニットと追跡サーバーとの間の協働で実行される様々なステップのいずれかによって、実施され得る。上述のように、追跡サーバーは、ゴルフコースの現場の物理的サーバーまたはクラウドベースのサービスまたはかかる要素の任意の組み合わせに含まれるサーバーとすることができる。
【0072】
１６０２では、追跡システムは、第一のセンサを使用して第一のデータを捕捉し、第一のデータは、発射されたボールの軌道の第一の部分に対応し、データが収集される際にリアルタイムでボールの３Ｄ位置を計算する。第二のセンサは、第一のデータが第一のセンサによって捕捉されている間、低下した、または異なる能力の動作状態にある。例えば、第二のセンサは、低電力状態であってもよい。別の例では、第二のセンサは、完全に電源がオンであるが、まだデータの取り込みおよび／または追跡機能を実行していなくてもよい。さらに別の実施例では、第二のセンサは、例えば、クロップ、配向およびズームレベルに対する初期カメラパラメータに従って、データを捕捉するロボットカメラであり得る。
【0073】
１６０４では、追跡システムは、第一のデータに基づいて、発射されたボールのイベントを検出する。一実施形態では、ボールの３Ｄ位置は、イベントが第二のセンサに対して検出されたかどうかを判断するためのベースとして使用される。例えば、ボールの３Ｄ位置が一つ以上の位置基準を満たす場合、イベントを検出することができる。上で論じたように、これらのイベントは、以下を含む：ティーから特定の距離を通過するボール；基準線から所定の距離を超えて移動するボール；および／または、ボールが第二のセンサの視野に入ったか、または入る予定であることを示す他のイベント。別の例では、イベントには、ショットの発射を含むことができる
【0074】
１６０６では、追跡システムは、検出されたイベントに基づいて、第二のセンサが発射されたボールの軌道の第二の部分に対応する第二のデータを捕捉するように、第二のセンサの動作状態を制御する（例えば、第二のセンサを起動し、第二のセンサのデータ取得パラメータを調整する）。一部の実施形態では、起動コマンドは、完全に電源をオンにする、および／または３Ｄ位置追跡用のデータ捕捉を開始するコマンドを含み得る。他の実施形態では、起動コマンドは、ロボットカメラを制御するためのパラメータを含み得る。さらに他の実施形態では、起動コマンドは、図１１～１３；１７ａ～ｂに関して以下でさらに詳細に説明するように、地面との最初の衝突後のショットの弾みおよび転がりを追跡するための処理モジュールに給電することができる。他の実施形態では、対象領域は、第二のセンサがボールをより迅速に、より少ない処理リソースを使用して検出できるように、ボールが見つけられる可能性が高い領域を提供することができる。
【0075】
上述の方法１６００は、別のセンサによって捕捉されたデータに由来する、飛行中のボールの三次元追跡データに基づいて、データを捕捉および／または飛行中のボールを追跡するためのセンサの起動に特に関連する。しかしながら、上述の一般原理は、以下でより詳細に記載される多くの他の例示的な実施形態に適用可能である。
【0076】
例えば、一実施形態では、第二のセンサは、カメラ（例えば、ロボットカメラ）であってもよく、起動コマンドには、ロボットカメラの最適なクロップ、配向、およびズームレベルを制御するためのパラメータが含まれてもよい。ロボットカメラのズームおよび焦点は、たとえボールがカメラからの画像の中に見えないか、または簡単に見つからない場合でも、他のセンサまたは他の追跡ユニットによるボールの飛行中の追跡に基づいて、連続的に更新することができる。
【0077】
別の例では、イベントの検出は、プレーヤーの検出、例えば、ビデオフィード内のプレーヤーのアイデンティティー、ショットに至るまでのプレーヤーによって取られる特定の動きなどに関連する場合があり、ブロードキャストフィードまたはいくつかの他の処理モジュールは、イベント検出に基づいて起動される。例えば、レーダーは、ティーボックスからショットを打つ準備ができているプレーヤーの検出に基づいて起動することができる。
【0078】
さらに別の例では、特定のデータパケットは、ボールのリアルタイム３Ｄ位置追跡に基づいて、放送（例えば、放送主体）への送信のために誘発される。ボールの飛行に関連する測定基準は、特定のイベントが検出された時、処理および／または送信される、例えば、発射時に計算され、計算された後に送信される発射パラメータ；最高到達点を検出した直後に伝送される最高到達点パラメータ；地面との最初の衝突時に計算され、計算された後に送信される平滑軌道パラメータ；弾みおよび転がりおよび／または静止時のボールが検出されたときに計算された、弾みおよび転がりおよび／または最終静止位置パラメータなど。
【0079】
さらに別の例では、イベント検出は、発射されたボールの推定着地位置に関することができる。ショットの開始時に取得されたデータに基づいて、プレーヤーおよび／または観客が位置する着地位置が推定される場合、これらの人が誤ったショットから身を守ることができるように、自動警告（自動の「フォア」警告）が誘発され得る。これらおよび追加の実施形態は、以下でより詳細に説明する。
【0080】
レーダー追跡
レーダー技術では、飛行中のボールの追跡は、Ｘバンドで作動する多周波数連続波（ＭＦＣＷ）ドップラーレーダーを使用して、典型的には行われる。Ｘバンドドップラーレーダーは、飛行中のゴルフボールを追跡する強力な技術である。良好な条件下では、ボールは３００メートル以上の距離まで追跡することができ、レーダーはあらゆる光条件および気象条件において機能することができる。
レーダー技術では、飛行中のボールの追跡は、Ｘバンドで作動する多周波数連続波（ＭＦＣＷ）ドップラーレーダーを使用して、典型的には行われる。Ｘバンドドップラーレーダーは、飛行中のゴルフボールを追跡する強力な技術である。良好な条件下では、ボールは３００メートル以上の距離まで追跡することができ、レーダーはあらゆる光条件および気象条件において機能することができる。
【0081】
図５ａは、ＭＦＣＷドップラーレーダー追跡の第一の原理の例を示す。レーダー波は、特定の送信周波数ＦＴＸでユニットによって送信される。ボールによって反射され、戻り周波数ＦRＸでユニットによって受信される波は、追跡ユニットに対して、ボールの半径方向速度に比例したドップラーシフトＶＲを経験するであろう。周波数シフトは、送受信された信号を混合し、周波数分析を実行することによって検出することができる。様々な信号処理アルゴリズムを適用して、ボールを検出および追跡し、最終的に軌道および様々なデータポイントを推定することができる。
【0082】
図５ｂは、ＭＦＣＷドップラーレーダー追跡の第二の原理の例を示す。角度測定は、複数の受信アンテナを含むＭＦＣＷドップラーレーダーによって実施され得る。アンテナは、ボールから反射された波面が、ユニットからボールへの方向およびアンテナ間の距離／方向を含むパラメータに依存する時間差を伴い二つの受信アンテナに到達するように配置される。メインビームおよび追跡方向にほぼ垂直な平面にわたる三つ以上の受信アンテナを含むシステムは、水平および垂直方向の両方で角度測定を実行し、三次元追跡を生成し得る。
【0083】
混合後、時間シフトは、受信チャネル内の信号間の位相シフト係数２πとして観察され得る。２πあいまいさは、参照によりその全体が本明細書に組み込まれる米国特許第９，９５８，５２７号に記載されるように、二次元グリッド内に巧みに間隔を置いた三つ以上の受信アンテナを有することによって解決することができる。複数の受信アンテナはまた、複数の受信機からの信号が整然と追加される時、受信信号の信号対雑音比を増加させることができる。
【0084】
図５ｃは、ＭＦＣＷドップラーレーダー追跡の第三の原理の例を示す。範囲測定は、複数の送信周波数を使用して実施することができる。二つの周波数のそれぞれについて追跡されるボール、クラブ、または任意の他のアイテムから反射された波面は、ボールまでの距離および周波数分離に依存する異なる相を有する共通の受信アンテナに到達する。混合後、位相差は、二つ以上の異なるトランスミッタ周波数からの受信チャネル内の信号間の位相シフト係数２πとして観察することができる。２πあいまいさは、二つ以上の周波数を有するか、または測定されたアイテムへのおよその距離についての所定の知識から解決することができる。例えば、ボール軌道については、軌道の特定の部分におけるボールまでの距離に関する事前情報を使用してもよく、例えば、発射時の範囲測定は、ティーボックスに位置するレーダーの所定の範囲間隔内であると仮定してもよい。
【0085】
ボールまでの範囲を決定するための複数の周波数を送信する代替として、当業者に周知であるように、ＦＭ－ＣＷレーダーなどの周波数変調または相変調連続波（ＣＷ）レーダーを使用することができる。
【0086】
レーダー追跡技術の主な長所は、その速度、堅牢性、および成熟度；推測するのではなく、ボールの全飛行中の任意の時点でのゴルフボールの三次元位置を直接測定する能力；およびゴルフボールの飛行を表す詳細な空気力学的モデルを構築する膨大で増加するデータ記録、である。
【0087】
さらに、追跡ユニットは、レーダーデータとカメラデータの最新のセンサ融合のために装備することができ、本質的に拡張可能なものである。追加的な精度が重要である場合、例えば、グリーン側システム（ならびに望ましい場合、追加的なミッドホール追跡ユニット）を有するティーエリアシステムを組み合わせて、ホールで打たれるすべてのショットについて、重要なイベント（例えば、発射および／または着地）における極めて高い精度を提供する、複数の追跡ユニットを採用してもよい。
【0088】
レーダーによってデータが捕捉されるあらゆる瞬間（例えば、約２０ｍｓ間隔で）で、レーダーに見えるすべての移動物体についての、半径方向速度；範囲；水平および垂直角度；３Ｄ位置；および本明細書に記載の任意の追加情報、の決定がなされ得る。
【0089】
ゴルフボールのかかる検出の十分な数が、典型的には１００～５００ｍｓにおよぶ時間内に連続的に行われる時、ボールの発射が確認され、空気力学的モデルがデータに適合される。空気力学的モデルは、例えば、データの適切な重み付け下で、最尤センスでデータに適合するニュートン物理学に基づく制約されたパラメトリック部分差方程式を含み得る。レーダーが、未加工のレーダーデータ内のインパクト時間を直接検出しない場合、モデルは、予想されるインパクト位置または高さまで時間を後方に外挿されてもよい。代替的に、他のセンサ（例えば、マイク）からのデータを使用して、発射時間を決定してもよい。次いで、推定されたインパクト時のモデルを評価することによって、発射パラメータを抽出してもよい。発射パラメータには、例えば、インパクトのタイムスタンプ；インパクト以前の静止したボール位置；ボール速度；垂直発射角度；水平発射角度、が含まれ得る。したがって、空気力学的モデルは、未加工のレーダーデータを平滑化し、これまでのボールの飛行の適切な表象を提供するのに役立つ。
【0090】
ボールの残りの飛行は、例えば、非線形カルマンフィルタを使用して追跡され、地面との衝突までボールの飛行全体を追跡する可能性が増加する。さらに、ボールに対する視線が任意の時間にわたって遮蔽される場合、視線が再確立されると、ボールからの信号が再取得され得る。一旦着地すると、レーダーに見える場合、または画像ベースの追跡ユニットもしくは追跡ユニットの画像ベースの構成要素によって、弾みを連続的に追跡することができる。ボールの弾みおよび転がりを追跡し、最終的な静止位置を決定するための方法論に関する詳細な説明は以下でさらに提供される。
【0091】
システムによって捕捉されたライブデータは、例えば、追跡ユニットでの処理後の放送のために、追跡サーバー３２０へ、および／または直接第三者へ、レーダーユニットによって捕捉されたデータを含む、ボールの動作中に連続的に送信され得る。同様に、追跡サーバー３２０で受信されたデータは、連続的に処理され、第三者または放送に送信され得る。あるいは、データは、発射時、最高到達点、キャリーランディング時、ボールの静止時など、ショットの重要なポイントでのみ送信することができる。
【0092】
図６は、様々な例示的な実施形態によるゴルフショットのリアルタイムデータの取得中に、放送主体および／または他のアプリケーションに送信されるゴルフショットの特定のデータを含む、例示的なデータパケット６０５～６３０の図表６００を示す。データパケット６０５～６３０が、経時的なショットの軌道の例示的なプロットに対して示され、ショットの発射時間に対する、データパケットのおよその送信時間が提供される。さらに、データパケット６０５～６３０のおよその送信時間が、異なるタイプのレーダーセンサに対して示され、区別される。例えば、送信のおよその時間は、異なるパラメータおよび／または処理能力を有するレーダーセンサ間で変化してもよく、データパケットに対して異なる量の処理時間を必要とし、および／または通常、発射から休止までにより短いまたはより長い時間を有する異なる種類のショットを追跡する。現在の目的のために、データ伝送に必要な待ち時間は、例えば、追跡ユニット３０５から追跡サーバー３２０または放送／アプリケーションまで、および／または追跡サーバー３２０から放送／アプリケーションまで、無視することができる。本実施例では、明確性のために、追跡サーバー３２０は、追跡ユニットからデータパケットを受信し、任意の数の見晴らしの良い地点からショットのライブビデオを放送している受信放送主体にデータパケットを送信していると推定される。追跡サーバー３２０は、単一の追跡ユニットまたは複数の追跡ユニットからデータ／トラックを受信することができる。未処理のレーダー信号の処理が追跡サーバー３２０で起こる時、図６に示すデータパケット６０５～６３０は、追跡サーバー３２０によって生成され、放送のために送信される。
【0093】
ライブビデオは、以下でさらに詳細に説明する技術を使用して、実質的にリアルタイムで決定される、ショットのトレーサーを含み得る。ショットの放送中、トレーサーの表示と同時に、受信したデータパケットに含まれる情報を表示して、進行中のショットに対するリアルタイム情報で放送を強化することができる。当業者であれば、トレーサーは一般に、発射から現在の画像の中のボールの位置まで、ボールによって占められる画像内の位置に対応する画像内の位置に挿入されるショットの軌道の視覚的表象を示すビデオフィードグラフィックを指すことを理解するであろう。トレーサーグラフィックは、軌道の様々な点、例えば、ボール速度、最高到達点高さ、キャリーなどに示される数値データを含み得る。
【0094】
追跡サーバーから放送へ送信される第一のデータパケット６０５は、発射データ、例えば、インパクト時間、静止時のボール位置、発射時のボール速度、および水平および垂直の両方の発射角度を含む。何らかの通信媒体を介して、放送主体に、これらのパラメータを処理および送信するために、典型的な追跡ユニット（追跡サーバーと組み合わせた）は、例えば、約６００ｍｓ未満（ティーボックス追跡ユニットの場合）、約１０００ｍｓ（グリーン追跡ユニットの場合）、または約６５０ｍｓ（フェアウェイ追跡ユニットの場合）の遅延で送信し得る。すなわち、データは処理され、画像に含まれ、純粋なライブのタイミングからの最小限の遅延（「リアルタイム」に非常に近い）を必要とする様式で放送の準備が整い、データ収集と処理の効率が非常に重要である。発射データは、ビデオフィード上に重ねられた数値またはグラフィックとして、または後の操作および分析のために保存されることに加えて、ホール／ショットのレンダリングに含まれる様々な他の方法で、放送に表示することができる。
【0095】
追跡ユニットから放送へ送信される第二のデータパケット６１０は、リアルタイム軌道データ、例えば、ボールの三次元位置を含み、このデータは捕捉され、決定される。ボールの飛行中の任意の時点で、追跡ユニット３０５は、データパケット６１０内のこのリアルタイム軌道情報の送信を開始してもよく、データが通信される追跡ユニットおよび／または送信媒体の能力によって制限され得る所定の間隔でこれらのデータパケット６１０の送信を進めてもよい。送信は、ある所定の時間の後、ショットが、例えば、その最高到達点などのある所定の位置に到達した時、または追加情報を含むさらなるデータパケットの送信時に終了し得る。図６の実施例では、リアルタイム軌道データパケット６１０の伝送は、発射データを含む第一のデータパケット６０５の伝送時に開始するように誘発される。リアルタイム軌道データパケット６１０の送信は、以下に記載されるように、第三のデータパケット６１５が送信されると終了する。しかしながら、当業者であれば、リアルタイム軌道データパケット６１０は、ショットの飛行中の任意の時間についての伝送のために構成され得ることを理解するであろう。
【0096】
非線形カルマンフィルタは、軌道のライブレンダリングのためにデータが放送に送信される、すべての機会で平滑化され得る。これにより、これまでに記録されたすべてのデータに従って、ボールの軌道に対する最も正確な事後推定値が得られる。平滑化された軌道は、表示する前に自動退行プロセスによってさらにフィルタリングされ、視聴者体験を向上させることができる。軌道データは、例えば、ホールのレンダリング上の軌道プロットとしてなどを含む、様々な方法で表示することができる。例えば、距離、曲線、高さなどのカウンターとして、数値データを直接使用することもできる。
【0097】
追跡ユニット３０５から放送へ送信される任意の第三のデータパケット６１５は、着地予測を含む。着地予測は、ボールのこれまでの飛行について収集された情報に基づく、ボールの推定三次元着地位置を含み得る。着地予測はまた、推定に関する不確実性情報を提供し得る。追跡ユニットは、発射時間に対して、例えば、約１５００ｍｓ（ティーボックス追跡ユニット用）後、ショットの最高到達点（グリーン追跡ユニット用）、または約１５００ｍｓ（フェアウェイ追跡ユニット用）後に、第三のデータパケット６１５を送信するように指定することができる。着地予測は、例えば、ホールのレンダリング上の位置としてなどを含む、様々な方法で放送に表示することができる。追跡ユニット３０５から放送へ送信される第四のデータパケット６２０は、スピンレートを含む。追跡ユニットは、例えば、約２５００ｍｓ（ティーボックス追跡ユニット用）の後、発射時間に対して第四のデータパケット６２０を送信するように指定することができる。グリーン追跡ユニットおよび／またはフェアウェイ追跡ユニットでは、スピンレートは放送に送信されない場合がある；スピンレートの決定は比較的複雑な計算であり、一般にグリーンおよびフェアウェイユニットによって捕捉される短いショットについては、この情報は省略され得る。スピンレートの決定は、例えば、数値または任意の所望のグラフィック様式として、放送に表示することができる。
【0098】
追跡ユニット３０５から放送へ送信される第五のデータパケット６２５は、例えば、最高到達点の高さ、範囲、および側面を含む、ライブ最高到達点を含む。最高到達点側面は、ショットの既知のまたは仮定された標的線からのボールの横方向距離、例えば、短いホールのピンへの方向、または長いホールのティーボックスからの特定の距離でのフェアウェイの中心への方向を指す。あるいは、最高到達点側面は、ボールの初期発射方向に対して決定することができる。追跡ユニット３０５は、追跡ユニット３０５に含まれるセンサのタイプに関係なく、追跡ユニット３０５が、ショットの最高到達点に達したと判定する時に、第五のデータパケット６２５を送信するように指定することができる。ライブ最高到達点判定は、例えば、ホールのレンダリング上に重ねられた数値またはグラフィックとして、放送に表示することができる。
【0099】
追跡ユニット３０５から放送へ送信される第六のデータパケット６３０は、ボールが着地した後のショットの最終測定値を含む。ボールが地面に衝突すると、発射時に用いられたモデルよりもより複雑な空気力学的モデルが、収集された全てのデータに適合して、インパクトから最高到達点を経て着地までの、最も可能性の高いボールの軌道の決定を提供し得る。空気力学的モデルは、ボールのスピンおよび速度がボール上の瞬時の抗力および揚力に影響を与える様式の定量化に加えて、ボールのスピン減退を捕捉することができる。モデルはさらに、天候および風の影響を考慮に入れ得る。一態様では、空気力学的に平滑化された軌道を使用して、ボールの飛行に影響を与える効果的な風速および方向を推定することができる。
【0100】
モデルを適切に評価して、以下を含むすべての最終データポイントの値を抽出する：インパクトのタイムスタンプ；インパクト前の静止時のボール位置（測定した場合）；ボール速度；垂直発射角度；水平発射角度；最高到達点の高さ、側面、および範囲；推定スピン軸（測定されていない場合）；スピンレート（測定されていない場合）；キャリーおよびサイド（フラット）；着地角度および速度（フラット）；および飛行時間（フラット）。キャリーおよびサイド、着地角度、速度、および飛行時間の「フラット」値は、ボールが発射された同じ高さ／レベルで決定された値を指す。フラット値は、同じ場所で発射／着地されていないショットを比較するのに便利である。空気力学的モデルは、飛行時間；着地角；着地速度；軌道をゴルフホールレイアウトの公知の３Ｄ表現と交差させることによる範囲および側面、に対するフラット値ではなく、実際の値を抽出するためにさらに使用される。「実際の」値は、ボールと標高差が考慮された地面との実際の衝突で決定される値を指す。所望される場合、空気力学的モデルは、多項式のセットで要約することができ、これにより、第三者による容易な移動、可視化、および操作が可能となる。
【0101】
第六のデータパケット６３０は、平滑化された軌道データ、および以前のデータパケット６０５～６２５で決定／予測され、伝送された、それらの測定基準のより正確なバージョンを含む、任意の所望の主要な測定基準を含み得る。何らかの通信媒体を介して、放送主体に、これらのパラメータを処理および送信するため、典型的な追跡ユニット３０５は、例えば、約３００ｍｓ後（ティーボックス追跡ユニットの場合）、約３５０ｍｓ（グリーン追跡ユニットの場合）、または約３５０ｍｓ後（フェアウェイ追跡ユニットの場合）、地面への衝突時間に対して、第六のデータパケット６３０を送信することを要求してもよく、またはそうでなければ指定されてもよい。最終ショット測定値は、データパケット６０５～６２５に関して上述したいずれかの方法を含む、様々な方法で放送に表示することができる。
【0102】
上述のデータパケット６０５～６３０の特定の構成および送信時間は、例示的な目的のために提供され、任意のより多くのまたはより少ない類似または異なるデータパケットが、例えば、放送者からの特定の要求、追跡ユニットの能力などに基づく、任意の理由に基づいて放送に送信され得ることが理解されるべきである。例えば、異なるセンサに特有のパケット伝送アーキテクチャは、ショットパラメータ決定の処理時間、典型的に追跡されるショットの種類などの要因に応じて、異なるデータを異なる時間にセンサが伝送するように構成することができる。着地後のショットの弾みおよび転がりに関連する追加のデータは、例えば、軌道の最終測定データと共に第六のデータパケット６３０に、または異なる時点での別個のパケットに、提供され得る。ショットの弾みおよび転がりを分析するための特定の技術は、図１３に関して以下でより詳細に記述される。
【0103】
図１６ｂは、様々な例示的な実施形態による、放送に含めるための追跡データを送信するための方法１６１０を示す。上述のように、追跡システムは、発射および／または飛行および／またはボールの地面への衝突を追跡するためのレーダーユニットを含むことができる（および一部の実施形態では、レーダーユニットは、最初の地面への衝突後の弾みおよび転がりを追跡することができる）。追跡システムはまた、弾みおよび転がりを追跡するためのカメラを含むことができる。ショット軌道全体についてデータを取得することができ、様々な追跡ユニットは、追跡サーバーと協調して作動して、ボールの３Ｄ軌道を計算し、ボールの飛行に関連するイベントを検出することができる。
【0104】
１６１２では、発射イベントは追跡システムによって検出され、発射されたボールの発射データは、第一の追跡ユニットのセンサを使用して捕捉される。追跡ユニット（および／または追跡サーバー）は、発射直後に発射データの処理を開始し、発射パラメータを導出する。
【0105】
１６１４では、少なくとも第一のデータパケットが、決定された発射パラメータを含む放送主体に送信される。第一のデータパケットは、発射パラメータが、追跡サーバーで決定された（または、追跡ユニットでの決定の後、追跡サーバーで受信された）直後、または発射後の所定の時点で、送信され得る。
【0106】
１６１６では、複数の第二のデータパケットが、リアルタイム３Ｄ軌道データを含む放送主体に送信される。一実施形態では、第二のデータパケットの送信は、発射後のある所定の時間に誘発され、開始後のある所定の時間に終了し得る。別の実施形態では、第二のデータパケットの送信は、第一のデータパケットの送信時に誘発され得る。さらに別の実施形態では、第二のデータパケットの送信は、ボールの３Ｄ位置イベントが検出された時、例えば、ボールがその軌道の特定の点、例えば、所定の高さまたはティーからの距離に到達した時、誘発され得る。さらに別の実施形態では、第二のデータパケットの送信の終了は、ボールの３Ｄ位置イベントが検出された時、例えば、ボールがその軌道の特定の点、例えば、最高到達点または予測される最高到達点の割合として決められたある高さに到達した時、誘発され得る。
【0107】
１６１８では、ボールが飛行している間に、追加のデータパケットを放送主体に送信してもよい。例えば、第三のデータパケットは、予測される着地位置（例えば、１６１６のリアルタイム軌道データの伝送が終了した後に伝送された）を含んでもよく、第四のデータパケットは、スピンレート（例えば、飛行後に所定の時間が経過した後、またはスピンレートを正確に決定するために十分なデータが取得され処理された直後に伝送された）を含んでもよく、第五のデータパケットは、ライブ最高到達点（送信された、例えば、検出時に）を含み得る。
【0108】
１６２０では、衝突イベントが追跡システムによって検出され（例えば、飛行中のボールが最初に地面に衝突したことをシステムが検出する）、およびボール軌道のデータは、センサにわたって蓄積され、および／または空気力学的モデルに適合して、ボールの軌道に対する最終測定値を決定する（以前のデータ伝送で提供された測定値よりも正確であり得る）。
【0109】
１６２２では、少なくとも一つの第六のデータパケットが、ボールの軌道に対する最終測定値を含む放送主体に送信される。第六のデータパケットは、最終測定値が決定された直後に、または地面への衝突後の所定の時点で送信することができる。
【0110】
１６２４では、弾みおよび転がりおよび／または最終静止位置を含むボールの着地データは、追跡ユニットおよび／またはさらなる追跡ユニット、例えば、地面への衝突の近傍にあるカメラによって追跡されてもよい。追跡ユニット（および／または追跡サーバー）は、ボール運動のこの部分の間に、弾みおよび転がりを処理し、３Ｄ位置データを決定し、図１１～１３に関して以下でより詳細に記載されるように、静止位置をさらに決定することができる。
【0111】
１６２６では、少なくとも一つの第七のデータパケットが、着地情報を含む放送主体に送信される。第七のデータパケットは、着地情報が決定された直後に、またはボールが静止した後の所定の時点で送信することができる。
【0112】
１６２８では、放送主体は、ボールの飛行時間中および衝突／静止の後に送信されたパケットのそれぞれを受領し、データパケットに含まれるデータをブロードキャストビデオフィードに提示する。情報は、視覚的に心地よいグラフィックなどに処理することができる。弾みおよび転がりのデータは、初期軌道データと組み合わせて、発射から静止までのボールの完全な移動経路を表示することができる。
【0113】
上記の方法１６１０には七種類のデータパケット送信が含まれるが、当業者は、異なる数および／またはタイプのデータパケットを使用できることを理解する。
【0114】
特定の現象は、ボールのレーダー追跡の質を妨げ得る、例えば：特に低いボール速度のショット；レーダーユニットへの視線に対してほぼ垂直に移動するショット；主に地上からの強力なマルチパスの反射；レーダーへの直接視線を遮蔽する物体；および、電磁妨害を発する外部デバイス。レーダー追跡の質に影響を及ぼすほとんどの現象は、しかしながら、ボールの視覚追跡を用いて未加工のレーダーデータを強化することによって支援され得る。
【0115】
好ましい実施形態では、一つ以上の追跡ユニットは、レーダー自体の追跡能力に加えて、像面追跡または三次元位置追跡が可能な追跡カメラを備えてもよい。レーダーは、しばしば、カメラに関心領域を提供し、ボールの正確な画素位置を検出するために必要な計算を低減し、および画像ベースの追跡データの品質をさらに向上させるために、カメラを向け、焦点を合わせるためにも使用され得る。二つのセンサからのデータが次に統合され、カメラからの水平および垂直の角度の正確な測定で、レーダーから範囲およびレンジレート（ｒａｎｇｅ ｒａｔｅ）の正確な推定値を抽出する。この二つのテクノロジーの融合により、両方の長所がもたらされる；速度、堅牢性、耐候性、および強化されたカメラベースの追跡の角度精度と組み合わされたレーダー追跡の範囲測定能力。
【0116】
追跡システムは本質的に拡張可能であり、共同追跡およびセンサ融合のための任意の数の追跡ユニットの追加を可能にする。これは、ケースバイケースで決定されてもよく、正確性および／または信頼性が最も重要である場合に適用されてもよい。精度の向上という明白な利益とは別に、追加のセンサは、すべてのショットが確実に追跡されるためのレーダー追跡を妨げる前述の多くの問題に等しく対処し得る。
【0117】
較正
追跡ユニットが有意義なデータを出力するために、各追跡ユニット３０５が、その測定値を、自身のローカル座標システムとは異なる世界座標システムにマッピングできることが最重要である。これは、軌道を、特にコースの画像またはビデオ上に重ね合わせることを可能にし、トレーサーなどのグラフィックをブロードキャストビデオフィードに挿入することも可能にする。特定のデータポイントの精度は、追跡ユニット３０５の測定精度、ならびにこれらの測定値の世界座標への較正の精度の両方に依存する。そのように影響される測定の種類には、以下が含まれる：静止時のボール位置（インパクト前）；水平発射角度；最高到達点側面；およびキャリー側面（フラット）。
追跡ユニットが有意義なデータを出力するために、各追跡ユニット３０５が、その測定値を、自身のローカル座標システムとは異なる世界座標システムにマッピングできることが最重要である。これは、軌道を、特にコースの画像またはビデオ上に重ね合わせることを可能にし、トレーサーなどのグラフィックをブロードキャストビデオフィードに挿入することも可能にする。特定のデータポイントの精度は、追跡ユニット３０５の測定精度、ならびにこれらの測定値の世界座標への較正の精度の両方に依存する。そのように影響される測定の種類には、以下が含まれる：静止時のボール位置（インパクト前）；水平発射角度；最高到達点側面；およびキャリー側面（フラット）。
【0118】
追跡ユニットを世界座標システムに較正する方法は、個々の追跡ユニット３０５が、フェアウェイを見下ろして、ティーに置かれるか、または、フェアウェイを振り返って、グリーンに置かれるかに関わらず、追跡ユニット３０５にわたって同じであってもよい。較正は、多くの異なる方法で行うことができる。好ましい実施形態では、各ホール上の重要な基準点のＧＰＳ位置が決定される。加えて、追跡ユニット３０５の各々のＧＰＳ位置が決定される。カメラシステムを含む各追跡ユニット３０５について、一つ以上の基準位置がカメラ画像で決定され、追跡ユニット３０５の配向が世界座標で決定されることを可能にする。追跡ユニット３０５が、較正の実施後に移動された場合（例えば、追跡ユニット３０５がコース上の誰にぶつかられた、またはそれが取り付けられた構造物がそれを動かしたなどの理由で）、上述の測定値が影響を受ける場合がある。追跡ユニット３０５の配向の変化は、内蔵カメラからの画像における特徴照合によって検出され得る。その代わりに、配向の変化は、一つ以上の追跡ユニット３０５に組み込まれた運動センサによって、または他の方法で決定することができる。
【0119】
フェアウェイ追跡ユニット３０５は、類似の方法で世界座標システムに対して較正することができるが、ポータブル追跡ユニットについては、速度のために世界座標システムに対する較正を省略することが好ましい場合がある。フェアウェイ追跡ユニット３０５は、例えば、カメラとの共通座標システムに対するトレーサーおよび／または他の情報を提供するために、放送カメラに較正されてもよく、以下でより詳細に記述される。
【0120】
放送／撮影用に別のカメラを追加
上述のように、追跡ユニット３０５の一部またはすべては、カメラシステムを含み得る。しかしながら、ゴルフショットを放送／撮影する目的で、一つ以上の追加のカメラを、各々または一部のホールに配置してもよい。以下では、カメラが放送に実際に使用されているかどうかに関係なく、カメラの主な目的が、リアルタイム、ほぼリアルタイム、または事後のいずれかで良好な視聴体験を提供することであり、追跡のためのデータを主に提供しないことである限り、撮影のための専用カメラを放送カメラと呼ぶ。
上述のように、追跡ユニット３０５の一部またはすべては、カメラシステムを含み得る。しかしながら、ゴルフショットを放送／撮影する目的で、一つ以上の追加のカメラを、各々または一部のホールに配置してもよい。以下では、カメラが放送に実際に使用されているかどうかに関係なく、カメラの主な目的が、リアルタイム、ほぼリアルタイム、または事後のいずれかで良好な視聴体験を提供することであり、追跡のためのデータを主に提供しないことである限り、撮影のための専用カメラを放送カメラと呼ぶ。
【0121】
放送カメラの位置および配向は、追跡ユニット３０５に使用されるものと類似した様式で決定することができる。したがって、動作中または静止中の任意のボールは、少なくともほぼ、放送カメラによって生成された画像内に位置付けられ得る。このようにして、トレーサーまたは他の画像イラストなどのボール追跡情報が、追跡システムからの追跡情報に基づいて決定された位置に対応する画像内の位置において、放送カメラから画像に挿入され得る。
【0122】
一部の事例では、追跡ユニット３０５内に存在するカメラシステムは、放送カメラとして使用され得る。この場合、追跡に使用されるのと同じ画像を放送用に使用することができる。
【0123】
追跡ユニット３０５を補足するためにさらにカメラを追加することは、明快なプロセスである。較正スキームは、追跡および映像化タスクに他のカメラを含めることを容易にし、追跡ユニット３０５間の時間同期を含む。一例では、パン、チルト、ズーム（ＰＴＺ）カメラ、例えばロボットカメラなどを追加してもよい。ＰＴＺカメラでは、パン、チルト、およびズームは、以下でより詳細に説明されるように、追跡システムによって捕捉されたリアルタイムボール軌道に基づいて直接制御することができる。
【0124】
プレーヤーの識別
上述のように、固有のプレーヤーＩＤは、ゴルフコース上の各プレーヤーと関連付けられてもよく、追跡システムによって追跡される各ゴルフショットを、ショットを打ったプレーヤーと正確に関連付けるために使用することができる。このプレーヤー識別機能は、以下に記載されるように、単独で、または代替オプションと組み合わせて、多くの異なる方法で実装され得る。
上述のように、固有のプレーヤーＩＤは、ゴルフコース上の各プレーヤーと関連付けられてもよく、追跡システムによって追跡される各ゴルフショットを、ショットを打ったプレーヤーと正確に関連付けるために使用することができる。このプレーヤー識別機能は、以下に記載されるように、単独で、または代替オプションと組み合わせて、多くの異なる方法で実装され得る。
【0125】
第一のオプションでは、システムは、トーナメントの各ゴルファーのスイング特性を分析し、ゴルファーのスイング特性の固有の側面に基づいて、各ゴルファーの固有の識別子を生成する。例えば、固有のスイング特性は、生体測定データポイント（例えば、前腕と上腕の長さ、高さなどの比）と、各ゴルファーのスイングの生体力学に関するデータ（スイング中の異なる点におけるクラブシャフトに対する前腕および上腕の位置付け、脚に対する身体のねじれの程度など）との組み合わせを含み得る。
【0126】
第二のオプションでは、システムは、ゴルファーの衣服および／または顔を認識する。例えば、各ゴルファーは、各ラウンドの開始時にシステムに手動で識別されてもよく、およびゴルファーが着用する衣服の特徴は、ラウンドを通じての認識のためにシステム内のゴルファーに一致されてもよい。この情報は、システムによって独自に、または任意の他の生体測定および／または生体力学的な特徴と組み合わせて、各ショットについて各ゴルファーを認識するために使用され得る。このオプションは、単独で、または例えば、その他のオプションのいずれかまたはすべてと組み合わせて使用され得る。第三のオプションでは、各ゴルファーは、システムによって位置の特定ができる電子識別子を携帯する。例えば、これは、システムによって認識される固有の識別子ならびにＧＰＳ座標を送信するスマートフォンのアプリのように単純なものであってもよく、その後、世界座標にマッピングされ得る。このオプションは、単独で、または例えば、第一のオプションまたは第二のオプションと組み合わせて使用されてもよい。
【0127】
第四のオプションでは、プレーヤー識別機能は、プレーヤーが一般にゴルフのラウンドをプレーする方法に関する理論を追加的に使用することができる。例えば、プレーヤーは一般的に２～４人のグループ（例えば、ツアー中は通常３人のゴルファー）でプレーし、このようなグループのプレーヤーはラウンド中、各ホールを一緒にプレーし、ホールから最も遠いグループのメンバーが次のショットを打つように順番にプレーする。別の例では、プレーヤーがショットを打った後、そのプレーヤーの次のショットは、ティーショットが着地した地点に近い位置から発生する。さらに別の例では、システムは、コースのレイアウトに関する知識を採用し得る。例えば、グループがホール（例えば、ホール１）を終了した後、システムは、グループが次のホール（この場合、ホール２）のティーボックスに移動すると予測する。第四のオプションによるこれらの競技理論方法は、前述のオプション１～３と組み合わせて使用して、プレーヤーの識別を改善し、および／またはプレーヤーの識別に必要な処理負荷を低減することができる。この種類の競技理論を用いて、また、グループがコースを進行するにつれて各グループの進捗状況を追跡することによって、プレーヤーＩＤ追跡は、一般に、所定のグループのメンバー間を区別するだけでよい場合がある（例えば、システムは、各グループを追跡し、その後、そのグループがコース上のどこにいるかを知ることにより、コースの特定のポイントでプレーしていることが知られているグループの３人のプレーヤーのうち、だれが特定のショットを打とうとしているかを決定するだけでよい）。この追加支援は、ラウンド中のすべてのショットについて利用可能であるべきであるが、ラウンドを開始するグループの最初のショット（例えば、最初のホールでのグループのティーショット）は除外される。これらの最初のティーショットについても、現在１番目のティーにいるグループのゴルファーのアイデンティティーに関する情報は、システムが入手できる場合がある。このオプションは、例えば、打つ準備中であると検出されたプレーヤーのアイデンティティーを決定する場合に、プレーヤー識別システムによって考慮されるオプションのリストを絞るために、前述の三つのオプションのいずれかと組み合わせて使用され得る。
【0128】
上で論じた画像ベースのオプション（第一および第二のオプション）に関して、プレーヤーが初めて検出され、かつ固有のプレーヤーＩＤに関連付けられている時に、視覚的プロファイルを生成できる。プレーヤーがビデオストリームで検出された時、アルゴリズムは、検出された視覚的プロファイルと、前に検出された以前の視覚的プロファイル（例えば、同じラウンド中の、または衣服に基づかない特性については、以前のイベントにおける）と一致させることができる。例えば、プレーヤーはラウンド中に靴、ズボン、または帽子を着替えることは滅多になく、ラウンド中に上半身の衣服の外観も滅多に変えないであろう。雨が降り始めたら、プレーヤーはレインジャケットを着用するか、または熱くなったらセーターを脱ぎ得る。これらの特性を利用すると、アルゴリズムは、（十分な画像品質を与えられた）任意のカメラ内のプレーヤーを再識別することができる。この機能は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）によって実装され得る。プレーヤーを区別するために、特徴抽出および固有のプレーヤーＩＤに関連付けられた特徴の分類を使用できる。特徴の抽出は、衣服の色、身長、肢長、ゴルファーのスイング種類を検出することによって、または自動エンコーダーを訓練することによって行うことができる。後者の場合、特徴ベクトルは、自動エンコーダーによって提供されるが、必ずしもヒトの解釈に対する明示的な特徴ではない。ゴルファーが最初に識別される時、特徴ベクトルｖ＿０は、検出に関連付けられてもよく、元の検出ｖ＿０に近い特徴ベクトルｖ＿ｎｉをもたらすその後のプレーヤーの検出は、同じゴルファーであると解釈される。特定のゴルファーに対応する検出のクラスターは、検出が高信頼性でなされる場合、新しい特徴ベクトルで更新できる。
【0129】
打順が最初のティーで決定されると、各プレーヤーの名前および／またはプレーヤーＩＤは、固有の視覚的プロファイルと関連付けることができ、ラウンド全体を通してこの視覚的プロファイルに対する任意のその後の一致は、そのプレーヤーに関連付けられたプレーヤーＩＤでタグ付けすることができる。この識別機能は、例えば、ラウンド中にどのプレーヤーが同じグループの中でプレーしているかに関する知識、これらのプレーヤーがホール１をプレーした後に、次にホール２をプレーするという知識などの競技理論を利用することによって、さらに改善され得る、例えば、画像品質がプレーヤーを識別するのに十分ではない場合がある非ティーショットについては、プレーヤー識別システムは、ボール飛行追跡ならびに追跡システムによって決定される前のショットの最終静止位置を含む、追跡システムからの知識を使用できる。このデータを使用して、システムは、所与のプレーヤーの次のショットが、高い信頼性で撮影される場所を決定することができる。
【0130】
プレーヤーのデータベースは、最初のティーでさえも、システムがデータベースで発見されたプレーヤーを認識し、そのプレーヤーをプレーヤーの対応するプレーヤーＩＤに関連付けることができるように、作成することができる。例えば、このタイプのデータベースは、ＰＧＡツアーの全プレーヤーに対して作成できる。初めてＰＧＡツアーイベントに参加するプレーヤーについては、システムは、プレーヤーが第１のティーで最初のショットを打ったとき、またはこの最初のショットの前に（例えば、練習ラウンド中、ウォームアップ活動など）、新しい視覚プレーヤーＩＤを作成することができる。要するに、ラウンドにわたって自動のプレーヤーＩＤ追跡が提供されるであろう。システムは、プレーヤーのすべての視覚的な外観を知っている訓練された人間によって採用された論理と類似した論理に基づいて作動することができる。
【0131】
図１６ｃは、様々な例示的な実施形態による、プレーヤーの識別、および固有のプレーヤーＩＤに関連付けられた特定のプレーヤープロファイルとショットデータを関連付けるための方法１６３０を示す。方法１６３０を実施するためのシステムは、少なくとも、カメラおよびカメラからの画像で識別されたプレーヤーのショットデータを捕捉するための一つ以上の追跡ユニットを含む。
【0132】
１６３２では、プレーヤー識別システムは、視覚的プロファイルに関連付けられたプレーヤーを認識するための情報を含む視覚的プロファイルのデータベースを作成するためのプレーヤー情報を受信する。例えば、データベースは、プレーヤーの視覚的情報、例えば、スイング特性（例えば、各ゴルファーのスイングの生体力学に関するデータを含む生体測定データポイントの組み合わせを含む）、衣服の特徴、顔の特徴、またはそれらの組み合わせを含み得る。各視覚的プロファイルはさらに、プレーヤー識別システムによって使用されて、ショットデータを視覚的プロファイルに関連付けることができるプレーヤーＩＤと関連付けられる。一部の実施形態では、データベースは、例えば、プロのイベントを追跡するためにＰＧＡツアープレーヤーを含むことができ、他の実施形態では、データベースはアマチュアプレーヤーを含むことができる。
【0133】
１６３４では、プレーヤー識別システムは、データベース内でまだ識別されていない、または固有のプレーヤーＩＤ／視覚的プロファイルと関連付けられていない、新しいプレーヤーのプレーヤー情報を受信／生成できる。例えば、システムは、新しいプレーヤーのスイング、衣服、または顔の特徴を分析し、決定された情報を新しい視覚的プロファイルに関連付けることができる。さらに、例えば、現在のラウンドの開始時などに、すでに視覚的プロファイルに関連付けられている任意のプレーヤーについて、衣服の特徴を更新することができる。一部の実施形態では、例えば、アマチュアプレーヤー追跡の間、プレーヤー識別システムおよび／または追跡システムに接続されたアプリケーションを、例えば、スマートフォンまたはスマートウォッチにインストールすることができる。各ゴルファーは、例えば、ラウンドの開始時に、追跡システムプレーヤーＩＤをゴルファーに関連付けるために使用することができる、アプリケーション内に肯定的な兆候を提供することができる。アマチュアのラウンド追跡に関するさらなる考慮事項を、以下でより詳細に説明する。データベースは、１６３２および１６３４のうちの一つまたはそれらの組み合わせのいずれかを使用して入力することができる。
【0134】
任意の１６３６では、プレーヤー識別システムは、そのプレーヤー識別機能を改善するために、ゴルフ競技理論を利用するアルゴリズムを実行する（例えば、グループで一緒にプレーするすべてのプレーヤーは、システムが、グループの認識されたメンバーと一緒にプレーする任意のゴルファーをこのグループの別のメンバーと想定できるように、ゴルフのラウンドのために互いに関連付けることができる）。特定の場所から打たれたショットに関連して、プレーヤー／グループがコースの周りで追跡される際に、プレーヤー識別システムが、所定のグループのメンバー間の区別をするだけでよいように、これには、プレーヤーが通常ゴルフをプレーする方法に関する理論；コースのレイアウト；などが含まれ得る。一部の実施形態では、訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、以下に記載される競技理論および／またはプレーヤー検出／一致機能を実行する。
【0135】
１６３８では、ゴルフラウンドのプレー中に第一のカメラからのビデオストリームにおいてプレーヤーが検出され、例えば、衣服、顔、スイング機構などに基づいて、視覚的プロファイルが検出される。検出された視覚的プロファイルは、データベース内の視覚的プロファイルと一致される。一部の実施形態では、プレーヤーの位置は、例えば、世界座標で決定される。上述のように、プレーヤーは、ビデオストリームで観察される視覚的特徴のみに基づいて検出され得る。電子識別子（例えば、プレーヤーの電話から送信される）を使用して、一致を改善することができる（および一部の実施形態では、画像分析の代わりに使用することができる）。ＣＮＮはまた、検出された視覚的プロファイルとデータベース内の視覚的プロファイルとの一致を改善するためにも使用され得る。
【0136】
任意の１６４０では、ステップ１６３６の任意のＣＮＮは、ステップ１６３８などのプレーヤー検出に基づいて更新することができる。一部の実施形態では、ＣＮＮは、カメラフィードにおける各プレーヤー検出の後に更新されるが、他の実施形態では、ＣＮＮは、（例えば、多くの検出の後、または以前の検出から所定の時間の後）あまり再訓練されない。
【0137】
１６４２では、ビデオストリームで検出されたプレーヤーによってゴルフショットが検出される。一部の実施形態では、プレーヤーを識別するために使用される第一のカメラも、ショットを検出するために使用されるが、他の実施形態では、ショットは追跡システムの他のセンサによって検出される。一部の実施形態では、以下でより詳細に記載されるように、プレーヤーによって使用されるゴルフクラブまたはゴルフクラブ種類も識別され、ショットと関連付けられる。
【0138】
以下でさらに詳細に説明される一部の実施形態では、特にアマチュアのラウンド追跡に関して、プレーヤーがショットと一致するために、プレーヤーがビデオストリームで検出される必要はない。例えば、プレーヤーは、スイング動作を検出するように動作可能な、プレーヤーに関連付けられたウェアラブルデバイスを有してもよい。ウェアラブルデバイスは、スイングを検出し、スイングをタイムスタンプおよび／または位置（例えば、ＧＰＳ位置）と関連付けて、この情報を追跡サーバーに送信することができる。追跡システムが次にショットを検出および追跡する時、追跡サーバーは、リアルタイムでまたは後（例えば、ラウンドの終わり）でのいずれかで、スイングおよびショットに関連するタイムスタンプおよび／または位置に基づいて、スイング検出（および関連するタイムスタンプおよび／または位置）を比較して、スイングを検出されたショットと一致させ、ショットをスイング情報がそのウェアラブルデバイスから発せられたプレーヤーと関連付ける。代替的な実施形態では、スイング動作を検出するウェアラブルデバイスを使用する代わりに、携帯電話などのタイムスタンプされた位置情報を提供するデバイスを使用して、世界座標に記録されたショット追跡を、ショットを打った時点でのデバイスの対応する位置と一致させることができる。
【0139】
１６４４では、検出されたプレーヤーとショットが一致し、プレーヤーの固有のプレーヤーＩＤと関連付けられる。一致は、追跡システムによって決定される、世界座標におけるショットの発射位置に基づいて行われ、第一のカメラからのビデオストリームで検出されたプレーヤーについて決定された位置と一致する。
【0140】
以下でより詳細に説明するように、ショットと固有のプレーヤーＩＤとの関連付けは、例えば、処理直後でのショットのデータのプレーヤーへの送信、プレーヤーのラウンド全体のショットデータの蓄積、ラウンド中に所定のプレーヤーが打った各ショットのクリップの蓄積など、様々な目的に使用することができる。以下で詳細に説明するさらなる実施形態では、上述の方法１６３０は、プロのイベント追跡またはアマチュアラウンド追跡のいずれかに対して最適化され得る。
【0141】
任意の１６４６では、ショットおよび関連するプレーヤーのデータがプレー中に出力される。一例では、例えば、プロのラウンド追跡では、プレーヤーのショット情報を放送に送信することができる。別の例では、例えば、アマチュアのラウンド追跡では、ショット情報は、プレーヤーのパーソナルデバイスのアプリケーションに送信され得る。ボール追跡データは、プレーヤーがゴルフのラウンドをプレーしている間にデータを見直すことができるように、記録された直後にパーソナルアプリケーションに転送され得る。この機能に対する一つの特に興味深い適用は、ゴルファーがボールを見つけるのを助けることであり得る。例えば、ゴルファーが簡単に見つけることができないショットを打った時、パーソナルアプリケーションは、例えば、アプリケーションにおいて提供されるゴルフホールマップ上で、ボールが見つかる可能性が高い場所を絞り込み得る。別の実施例では、ボールが例えば、ウォーターハザードに入るか、またはプレー区域外に出た場合、システムは、新しいボールを落下することが許容される領域を正確に決定し、この領域を、アプリケーションを介してゴルファーに示すことができる。プロとアマチュアの両方のラウンド追跡へのプレーヤーＩＤ機能のアプリケーションのさらなる例について、以下でさらに詳細に説明する。
【0142】
１６４８では、特定のプレーヤーがゴルフラウンド中に打ったすべてのショットのデータは、例えば、ラウンド終了時または他の用途でプレーヤーに提示するために、データベースに蓄積される。データは、例えば、分析のためのプレーヤーへの統計を提供、グラフィックの生成など、様々な目的に使用することができる。
【0143】
自動クラブ種類のタグ付け
プレーヤーの後方または側面（例えば、フェアウェイを見下ろすティーボックス上）に配置されたカメラについては、アルゴリズムを訓練して、各プレーヤーがすべてまたは一部のショットに対して使用しているクラブの種類を認識することができる。この視界ジオメトリでは、カメラからの画像は、後方からのクラブヘッドの視界を提供するであろう。図７は、プレーヤーの後ろの位置からのクラブヘッドの例示的な画像７００を示す。ティーショットでのクラブデータ追跡に使用されるカメラは、例えば、２００ｆｐｓで、２．５ｍｍ／ピクセルの画素解像度で作動することができる。これらのカメラ仕様は、クラブ軌道追跡に必要な最低限のカメラ能力に対応し得る。
プレーヤーの後方または側面（例えば、フェアウェイを見下ろすティーボックス上）に配置されたカメラについては、アルゴリズムを訓練して、各プレーヤーがすべてまたは一部のショットに対して使用しているクラブの種類を認識することができる。この視界ジオメトリでは、カメラからの画像は、後方からのクラブヘッドの視界を提供するであろう。図７は、プレーヤーの後ろの位置からのクラブヘッドの例示的な画像７００を示す。ティーショットでのクラブデータ追跡に使用されるカメラは、例えば、２００ｆｐｓで、２．５ｍｍ／ピクセルの画素解像度で作動することができる。これらのカメラ仕様は、クラブ軌道追跡に必要な最低限のカメラ能力に対応し得る。
【0144】
カメラデータに基づいてクラブ種類を決定するための一つのオプションは、ニューラルネットワークを訓練してクラブの異なるカテゴリーを認識することである。例えば、ニューラルネットワークは、ドライバー、ウッド、ハイブリッド、ロングアイアン、ショートアイアン、ウェッジ、およびパターを含むゴルフクラブの７つの異なるカテゴリーを区別するように訓練され得る。ニューラルネットワークのより洗練された訓練により、より詳細な分析が可能になり、クラブのより具体的な特徴、例えば、特定のクラブ種類、同じクラブ種類内の異なるクラブ間の特徴の区別などを決定することができる。
【0145】
代わりのオプションでは、使用時に（例えば、スイング動作中に）固有の識別子を放射する電子タグを、クラブ種類の識別に使用することができる。受信機は、クラブが使用中であるときに信号を受信しクラブの識別子を、識別子に関連付けられたプレーヤープロファイルと一致することができる。受信機は、例えば、各ティーボックスに配置することができる。このオプションでは、クラブ識別システムは、例えば、信号を送信するクラブがショットに使用された可能性が高いことを確認するために、追跡システムからのデータを追加的に使用することができる。
【0146】
ＰＧＡツアーでは、特定のプレーヤーショットのクラブカテゴリーは、現在手動で入力されているため、これを自動で決定する方法が非常に望ましいであろう。クラブ情報は、ショットに関連付けられ、さらにそのショットを打ったプレーヤーに関連付けられる。
【0147】
放送カメラ較正
放送カメラフィード上にトレーサーを正確にレンダリングするために、放送カメラは世界座標に較正される。これは、上述のように、世界座標への追跡ユニットの較正と同じ方法で達成することができる。
放送カメラフィード上にトレーサーを正確にレンダリングするために、放送カメラは世界座標に較正される。これは、上述のように、世界座標への追跡ユニットの較正と同じ方法で達成することができる。
【0148】
携帯可能なユニット、例えば、フェアウェイ追跡ユニットについては、ショット軌道を世界座標システムにマッピングする必要はない。一部のシナリオでは、放送カメラは、フェアウェイ追跡ユニットと一緒に取り付けることができる。トライポッドにフェアウェイ追跡ユニットと一緒に取り付けられた放送カメラからのフィード内にトレーサーを描くために、放送カメラの追跡ユニット座標への較正が、必要とされるすべてである。このベースライン較正は、例えば、各ラウンドの前の朝に、異なるズームレベルでの追跡ユニットの内蔵カメラの内因的パラメータと放送カメラとの間の関係を確立して、実施され得る。各ストロークについて、ズームレベルは、例えば、同じ時間（例えば、ショット前のボールの静止位置）からの画像内のボールの位置、およびティー位置および発射時のボールの範囲などの追跡データを含み得る他の情報を含む、二つのカメラからの画像間の特徴照合を使用して決定される。これにより、放送カメラは、各ストロークに対して独立してズームされ、トラッカーが放送カメラからズームレベルを読み取らなくても、放送カメラからの画像内のボールの位置に対して所望の位置でトレーサーを正確にレンダリング（または任意の他のグラフィックを配置）することができる。
【0149】
ブロードキャストフィードの自動生成
上述のように、全コース追跡システムは、ショットの自動タグ付け、すなわち、各ショットを打つゴルファーの自動識別を可能にする。ゴルフコースで打たれたほぼすべてのショットについての、撮影する能力、追跡する能力、およびトレーサー（ボールの経路に沿って挿入されたショットの軌道の視覚的表現）などのビデオフィードグラフィックスに挿入する能力を含む、調整された追跡および放送システムは、各ゴルファーに対して、ゴルファーが打ったすべてのショットの映像およびデータの収集も利用可能とし得る。これにより、個々の消費者または異なる市場向けにカスタマイズされた放送の組立（自動または半自動）が可能になる。例えば、あるゴルファーが特定の地域または国で非常に人気がある場合、その地域または国でのブロードキャストフィードは、このゴルファーが打ったすべてのショット（または望ましい任意のサブセット）を分離し、カスタムフィードに自動的に挿入することができる。同じことは、消費者が例えば、好ましいゴルファーのリストおよび／または好ましいゴルファーとトーナメントリーダーの組み合わせに対する欲求などを、例えばインターネットベースの配布を通して見られるカスタムフィードに含めるために示し得る、より個人化された様式で行われてもよい。
上述のように、全コース追跡システムは、ショットの自動タグ付け、すなわち、各ショットを打つゴルファーの自動識別を可能にする。ゴルフコースで打たれたほぼすべてのショットについての、撮影する能力、追跡する能力、およびトレーサー（ボールの経路に沿って挿入されたショットの軌道の視覚的表現）などのビデオフィードグラフィックスに挿入する能力を含む、調整された追跡および放送システムは、各ゴルファーに対して、ゴルファーが打ったすべてのショットの映像およびデータの収集も利用可能とし得る。これにより、個々の消費者または異なる市場向けにカスタマイズされた放送の組立（自動または半自動）が可能になる。例えば、あるゴルファーが特定の地域または国で非常に人気がある場合、その地域または国でのブロードキャストフィードは、このゴルファーが打ったすべてのショット（または望ましい任意のサブセット）を分離し、カスタムフィードに自動的に挿入することができる。同じことは、消費者が例えば、好ましいゴルファーのリストおよび／または好ましいゴルファーとトーナメントリーダーの組み合わせに対する欲求などを、例えばインターネットベースの配布を通して見られるカスタムフィードに含めるために示し得る、より個人化された様式で行われてもよい。
【0150】
これらの個々のフィードを生産するのをより効率的にするために、標準的な放送カメラによって提供される画像および／または映像は、コースの周りに設置された追跡ユニットの一部またはすべてに含まれるカメラからの画像および／または映像によって補完されてもよい。一実施形態では、各ホールのティーボックスに隣接して設置された第一の追跡ユニットは、例えば、レーダー追跡ユニットに加えて、少なくとも第一のカメラおよび潜在的に追加のカメラを含む。第一のカメラからグリーンがはっきり見えないような特定のホール（例えば、大きな高度差があるホールまたは木々もしくは他の障害物が、ボールがグリーンに到達する前に第一のカメラの視界を遮るように曲がるホール）については、第二のカメラを含む第二の追跡ユニットは、グリーンの後（すなわち、フェアウェイからグリーンへのアプローチの方向の反対側のグリーンの側面）に位置付けられ得る。必要に応じて、または望ましい場合、追加のカメラを含む追加の追跡ユニットは、すべてのショットの完全なカバレッジを確保するために、ティーボックスとグリーンとの間のフェアウェイの長さに沿って位置付けられ得る。例えば、ティーショットの最初の部分は、ティーボックスの後ろに位置する標準放送カメラ（または第一のカメラによって）によって示されてもよく、ボールが発射された後、システムは、いくつかの異なる方法のいずれかで、自動的に別のカメラに切り替えてもよい。
【0151】
第一に、例えば、所与のホールの地理の分析（例えば、ホールの長さと、ティーボックスの後ろの放送カメラまたは第一のカメラの視界を遮蔽し得る任意のアイテムまでの距離を知ること）を含む競技理論に基づいて、システムは、ボールが、ティーから特定の距離を通過して、および／または基準線から所定の距離を超えて横方向に移動した時に、第二のカメラ（例えば、グリーンの後ろに位置）に切り替えるようにプログラムされてもよい。代替的に、システムは、第一の追跡ユニットによって測定されるショットの軌道を、第二の追跡ユニットによって測定されるそれと一致してもよく（すなわち、システムは、第一および第二の追跡ユニットによって同時に追跡されている軌道が、飛行中の同じボールに対応すると決定することができる）、所定の基準が一致した時（例えば、ボールが第一の追跡ユニットよりも第二の追跡ユニットに近い）、システムはブロードキャストフィードを第二のカメラに自動的に切り替えることができる。これは、所定のカットオフポイントの使用が、ショットごとに第一および第二の追跡ユニットの位置が互い対して変化する場合に実用的ではないため、追跡ユニットのうちの一つが、移動ユニットである場合に有用であり得る。
【0152】
さらに、システムは、所与のフィードにおいて、二人の所望のゴルファーが同時にまたはほぼ同時にショットを打つ場合、他の所望のゴルファーによるショットのフィードが完了した後に、ゴルファーの一方からのショットを識別し、放送用にバッファリングできるように、個別化された放送を管理できる。このパラメータは、システムに設定されてもよい（例えば、前のショットが静止した後、ある一定の時間が経過するまで、第二のショットのフィードを遅らせるなど）。この自動化により、必要とされるカメラ角度スイッチの数の大幅に増加などを管理するために、人間の操作者の必要性を増すことなく、多数の異なる高品質の個別化されたフィードの製造が可能となる。上述と同じアプローチを使用して、放送／ウェブキャストまたはオンデマンドサービス（例えば、特定のゴルファーまたはゴルファーのグループのためのハイライトのクリップを生成するなど）のハイライトを自動的に生成することもできる。
【0153】
さらに、フィード間のアナウンス／解説の円滑な移行を確実にするために、コンピュータ生成解説者を使用して、追跡システムに公知の情報に基づいて、人間の解説者が提供するものと同様に、視聴者に関連する情報を自動的に提供することができる。例えば、歴史的データを使用して、今度のショットの状況を提供することができる。歴史的データは、例えば、複数の反復シナリオの各々で一般的に使用されるフレーズ、同様のショットシナリオで同じプレーヤーが実行するショット、同様のショットシナリオで他のプレーヤーが実行するショット（同じイベントの同日から、同じイベントの前日から、以前のトーナメントからなど）、またはプレーヤーのために蓄積された一般的なパフォーマンス測定基準を含むことができる。別の例では、現在のデータを使用して、今度のショットの状況、例えば、現在のホール番号、現在のショット番号、カップまでの距離、ライについての情報などを提供することができる。自動解説は、テキスト形式（例えば、サブタイトルとして）で提供されてもよく、または可聴式（例えば、コンピュータ生成スピーチ）でもよく、または音声とテキストを組み合わせてもよい。ブロードキャストフィードがオーディオフィードを含まない場合、またはオーディオフィードを増強することが望ましい場合、ショットの音（発射が、または遅延して検出された時、自然音が弱められている、何らかの理由で利用できない場合に、フィードに挿入された）、背景音などの人工音をブロードキャストフィードに挿入してもよい。自動解説は、実質的にリアルタイム（ライブ放送中）で提供することができ、またはライブイベント後に生成されるハイライトクリップなどに提供することができる。
【0154】
ゴルフボールの追跡および撮像ならびに放送の自動生成のための本明細書に記載の原理は、例えば、他のスポーツのために、特に同時に起こる複数の異なるイベントのカバレッジが望ましいシナリオにおいて、他の設定においても適用され得ることが理解されるべきである。一例では、これらの原理は、テニストーナメントの生中継に適用できる。別の例では、これらの原理は、多くの異なるアメリカンフットボールの試合が同一の時間帯内に行われている、アメリカンフットボールの生中継に適用されることができる。イベント後に生成されるビデオフィード（例えば、ハイライトリール）に関しては、これらの原理は、例えば、野球、フットボール（サッカー）などの任意のスポーツに適用できる。
【0155】
図１６ｄは、様々な例示的な実施形態による、自動ブロードキャストフィード切替のための方法１６５０を示す。方法１６５０を実施するためのシステムは、ブロードキャストビデオフィードを放送主体に提供する複数のカメラ、発射されたボールの３Ｄ位置追跡のための追跡ユニット、および現在のブロードキャストビデオフィードから新しいブロードキャストビデオフィードへの切り替えを誘発することができる追跡データ内のイベントを検出するための処理装置を含む追跡システムを含み得る。
【0156】
１６５２では、事前に定義された規則に従って、一つ以上の放送カメラのビデオフィードに基づいて、ブロードキャストビデオフィードが生成される。例えば、第三者放送、すなわち、異なる主体（放送主体）によって制御される、または本実施形態の範囲外の基準に基づいて選択されるビデオフィードを使用してもよい。現在の目的のために、現在のブロードキャストフィードは、ティーショットを打つ前の瞬間にプレーヤーを示すティーボックスのブロードキャストフィードであると想定できる。
【0157】
１６５４では、追跡システムは、ボールの軌道データに基づいて、発射されたボールのイベントを検出する。一実施形態では、ボールの３Ｄ位置は、他の潜在的な放送カメラと比較して、現在の放送カメラに関してイベントが検出されたかどうかを判断するためのベースとして使用される。例えば、ボールの３Ｄ位置が一つ以上の位置基準を満たす場合、イベントを検出することができる。上で論じたように、これらのイベントは、以下を含む：ティーから特定の距離を通過するボール；基準線から所定の距離を超えて移動するボール；および／または、ボールが第二のカメラの視野に入ったか、または入る予定であることを示す他のイベント。別の例では、イベントには、ショットの発射を含むことができる
【0158】
１６５６では、第二のカメラがボールの軌道の第二の部分を捕捉するように、ブロードキャストフィードは、検出されたイベントに基づいて第二のカメラのビデオフィードに切り替わる。遅延は、イベント検出の後および供給スイッチの前に実施され得る。例えば、ショットは、ティーボックスユニットから検出されてもよく、フェアウェイユニットに切り替える前に、所定の遅延（例えば、３秒）を適用することができる。
【0159】
第二のカメラがロボットカメラである場合、カメラのパラメータは、フィードを切り替える前に制御することができる。例えば、ロボットカメラのための最適なクロップ、配向」、およびズームは、放送の視聴者に視覚的に心地よいビデオフィードを提供するために調整され得る。
【0160】
図１６ｅは、様々な例示的な実施形態による、カスタム（例えば、個別化）ブロードキャストフィードの自動生成のための方法１６６０を示す。方法１６６０を実施するためのシステムは、上述の方法１６５０を実施するためのシステムと類似していてもよい。さらに、本システムは、画像データのプレーヤーを検出し、プレーヤーおよび／またはその特徴を識別して、現在のブロードキャストビデオフィードを新しいブロードキャストビデオフィードに切り替えを誘発するカメラ（例えば、放送カメラと同じであってもよい）を備えてもよい。
【0161】
１６６２では、カスタムブロードキャストフィードの基準が受信される。基準は、例えば、ブロードキャストフィードに表示されるプレーヤーの優先順位を指定できる。例えば、カスタムフィードは、以下を含む基準に基づいて生成され得る：一つ以上の特定のゴルファーに対するすべてのショットがカスタムフィードに表示される；特定の国／地域のすべてのゴルファーのすべてのショットが、カスタムフィードに表示される；特定のプレーヤーの階層を識別し、それに応じて放送の優先順位を設定する；特定のホールを優先する；特定の種類のショットを優先する（例：非常に難しいショット）など。基準は、放送上に重ね合わされる特徴、例えば、ブロードキャストフィードに表示される特定のデータ点および／またはグラフィックをさらに識別することができる。基準は、例えば、特定のプレーヤー、プレーヤーの組み合わせ、またはショットまたはホールが、ソーシャルメディアの関心のトレンドまたは賭け行為の増加の対象であることを示す、放送またはソーシャルメディアからの測定基準に基づく基準を含む、プレーヤー、ショット、ホール、またはシナリオの任意の方法の優先順位付けを包含することができる。ハイライトは、特に重要なショットやうまく実行されたショットで生成できる。ショットは、ショットがどれほど良いかの尺度、例えば、周知の「ストローク数」測定基準、に基づいて、ショットとして識別できる。したがって、特に高いまたは低いストローク数値を有するショットは、ハイライトリールに含めることができる。さらに、現在のリーダー（例えば、５人または１０人のプレーヤー）からのすべてのショットを含めることができる。
【0162】
１６６４では、カスタムブロードキャストフィードは、カスタムフィード基準を含む事前に定義されたルールに従って生成される。たとえば、カスタムフィード基準がそれを許可するとき（たとえば、関心のあるプレーヤーが現在ショットを打っていないとき）に、第三者放送をカスタムフィードブロードキャストで使用することができる。一部の実施形態では、複数の関心対象のプレーヤーがカスタムフィード基準で識別され、ビデオフィードは、例えば、特定のカメラへの放送の切り替えを誘発するイベントが検出されるまで、プレーヤー間で切り替えられる。
【0163】
１６６６では、ブロードキャストフィードの別のカメラへの切り替えを誘発するイベントが検出される。イベントには、以下が含まれ：特定のカメラユニットによって検出および識別されているプレーヤー；発射領域（例えば、ティーボックス）の近くに位置する識別されたプレーヤー；打撃スタンスにある識別されたプレーヤー；その他；打たれる保留中のショットに関連するこれらの種類のイベント。一部の実施形態では、図９に関して以下でより詳細に記載されるように、ニューラルネットワークを使用して、今度のショットに関連するこれらのイベントを検出することができる。他の種類のイベントには、図１６ｄの方法１６５０に関して上述したように、現在の放送カメラよりも良好な視野を提供できる、フェアウェイおよび／またはグリーンをカバーするＦＯＶを有するカメラなど、別のカメラに切り替えるかどうかを決定するために使用される、飛行中（発射後）のボールの現在の３Ｄ位置の決定が含まれ得る。
【0164】
１６６８では、ブロードキャストフィードは、イベント検出に基づいて、現在のカメラから別のカメラへと切り替わる。イベントを検出するカメラおよび／またはレーダーユニットは、切り替えられるカメラとは異なっていてもよく、または別々に位置してもよい。
【0165】
全てのショットの自動トレーサー
図８ａは、ショット軌道の重ね合わせ、すなわち、ショットの第一のトレーサー８０５、およびいくつかの関連する軌道データ、を含むショットを描写するビデオフィードからの第一の画像８００を示す。この例では、第一の画像８００は、レーダーおよび少なくとも一つのカメラを含むティーボックス追跡ユニットによって捕捉される。第一のトレーサー８０５は、上述のように、画像中の全ての画素配向が、レーダーの座標システムに対して既知であるため、追跡ユニット内のカメラによって提供される画像内に自動的に生成され得る。追跡ユニットが世界座標システムに対して較正されていない場合でも、図８ａに示すような重ね合わせを生成できる。図８ｂは、ショット軌道の重ね合わせ、すなわち、ショットの第二のトレーサー８５５、およびいくつかの関連する軌道データ、を含むショットを描写するビデオフィードからの第二の画像８５０を示す。この例では、第二の画像８５０は、グリーン側追跡ユニットによって捕捉される。例えば、上述の第一のトレーサー８０５または第二のトレーサー８５５を含む類似のグラフィックの重ね合わせを、カメラが、ショットを追跡するレーダーに対して較正されている限り、任意のカメラからの画像に挿入することができる。トレーサーは、ボール軌道を追跡するレーダーのレーダー座標システムがカメラに対して較正されている限り、ボールを追跡するレーダーユニットが、外部の放送に使用されるカメラと同じ追跡ユニットに位置していない場合でも、外部の放送のビデオフィードなど、任意の画像内に挿入することができる。ボール速度、キャリーおよび曲がりなどの追加情報は、図８ａ～８ｂに示すような数値としてさらに追跡および表示することができる。
図８ａは、ショット軌道の重ね合わせ、すなわち、ショットの第一のトレーサー８０５、およびいくつかの関連する軌道データ、を含むショットを描写するビデオフィードからの第一の画像８００を示す。この例では、第一の画像８００は、レーダーおよび少なくとも一つのカメラを含むティーボックス追跡ユニットによって捕捉される。第一のトレーサー８０５は、上述のように、画像中の全ての画素配向が、レーダーの座標システムに対して既知であるため、追跡ユニット内のカメラによって提供される画像内に自動的に生成され得る。追跡ユニットが世界座標システムに対して較正されていない場合でも、図８ａに示すような重ね合わせを生成できる。図８ｂは、ショット軌道の重ね合わせ、すなわち、ショットの第二のトレーサー８５５、およびいくつかの関連する軌道データ、を含むショットを描写するビデオフィードからの第二の画像８５０を示す。この例では、第二の画像８５０は、グリーン側追跡ユニットによって捕捉される。例えば、上述の第一のトレーサー８０５または第二のトレーサー８５５を含む類似のグラフィックの重ね合わせを、カメラが、ショットを追跡するレーダーに対して較正されている限り、任意のカメラからの画像に挿入することができる。トレーサーは、ボール軌道を追跡するレーダーのレーダー座標システムがカメラに対して較正されている限り、ボールを追跡するレーダーユニットが、外部の放送に使用されるカメラと同じ追跡ユニットに位置していない場合でも、外部の放送のビデオフィードなど、任意の画像内に挿入することができる。ボール速度、キャリーおよび曲がりなどの追加情報は、図８ａ～８ｂに示すような数値としてさらに追跡および表示することができる。
【0166】
レーダー追跡のみに基づいて決定されたボール位置は、より高度な空気力学的モデルがデータに適合するまでは、いくらかの不確実性を含み得る。視覚的に快適なトレーサーを提供するために、トレーサーは、ボールが発射される位置と正確に相関した位置にて画像内で開始することが重要である。したがって、ボールの発射前に、一つ以上の画像においてボールの位置をできるだけ正確に検出することが好ましい。
【0167】
ボールの位置を識別するために、ボール識別アルゴリズムを使用できる。プレーヤーがカメラで識別され、（例えば、識別された姿勢に基づいて）ショットを打つ準備が整ったと判断されると、ボール識別アルゴリズムは、画像中のボールの正確な位置を捜索する。次に、この位置を使用して、トレーサーの開始位置を決定することができる。このデータが利用できない場合（例えば、ボールが深いラフによって不明瞭な場合）、システムは、飛行中のボールの最初に検出された位置から、元のボール位置の一般的なマーカーとしてプレーヤーのスタンスを使用してまだ修正され得る発射位置へ外挿する必要がある場合がある。したがって、追跡システムがショットを検出し、軌道データを出力すると、これらのデータは、人間による入力がほとんどまたは全くないトレーサーとして放送内に自動的に表示され得る。
【0168】
ボールの位置を見つけることはまた、スイングの開始前に、ボールがクラブヘッドの近くに位置する状態で、（常にショットを打つ前に行われるように）ボールの上にスタンスを取るプレーヤーを検出するために、プレーヤーの動きの分析を使用し得る。また、ボールを打つ前にプレーヤーがスタンスを取っている時に、クラブヘッドの近辺の位置を探すことによって、ボールを捜索して認識するようにニューラルネットワークを訓練してもよい。
【0169】
図１６ｆは、様々な例示的な実施形態による、ブロードキャストフィードへのトレーサーの自動的挿入のための方法１６７０を示す。１６７０の方法を実施するためのシステムは、発射されたボールの３Ｄ位置トラックを提供するレーダー追跡ユニット、およびボール発射のビデオフィードを提供する放送カメラであって、放送カメラ（または実際のカメラから上流の放送主体）は、３Ｄグラフィックスをブロードキャストフィードに挿入するように構成され、３Ｄグラフィックスは少なくともトレーサーを含むブロードキャストカメラを含む。しかしながら、他の実施形態では、追跡カメラ（放送カメラと別個または同じ）を使用して、３Ｄ位置トラックを提供することができる。
【0170】
１６７２では、ボール軌道を追跡するレーダーのレーダー座標システムは、放送カメラに対して較正される。放送カメラは、前に論じた任意の方法で、レーダーに対して較正することができる。例えば、移動および／またはロボット追跡ユニット（追跡ユニットおよび放送カメラ（同一搭載）の一方または両方を含む）が、放送カメラからフィード内にトレーサーを引くためには、放送カメラの追跡ユニット座標への較正が必要とされるだけである。カメラ追跡ユニットについては、上述のように、追跡ユニットのカメラの内因的パラメータと放送カメラとの間の関係を、異なるズームレベルに対して確立することができる。
【0171】
任意の１６７４では、ボールの位置は、ボールの発射前に、一つ以上の放送画像で正確に検出される。この任意のステップは、ボールが発射される位置と正確に相関する画像での位置を決定することによって、画像におけるトレーサー開始点のレンダリングを改善し得る。ボール識別アルゴリズムは、画像でのボールの正確な位置を捜索し、その後、トレーサーの開始点の位置を決定するために使用することができる。別の実施形態では、プレーヤーのスタンスをボールの位置の特定に使用してもよく、および／またはプレーヤーがボールを打つ前にスタンスを取っている時に、クラブヘッドの近辺の位置を探すことによって、ボールを捜索して認識するようにニューラルネットワークを訓練することができる。
【0172】
１６７６では、追跡ユニットによって捕捉された軌道データに基づいて、ブロードキャストビデオフィード用にトレーサーが生成される。発射前の正確なホール位置についての情報が利用できない場合（例えば、ボールが深いラフによって不明瞭な場合）、システムは、飛行中のボールの最初に検出された位置から、元のボール位置の一般的なマーカーとしてプレーヤーのスタンスを使用してまだ修正され得る発射位置へ外挿する必要がある場合がある。放送カメラは、追跡ユニットが放送カメラからズームレベルを読み取ることを求めることなく、各ストロークに対して独立して任意のズームレベルにズームすることができる（ベースライン較正が行われ、内因的パラメータが異なるズームレベルにマッピングされたシナリオでは、現在のパラメータは、追跡および放送カメラの同様の検出から決定することができる）。一部の実施形態では、第一のトレーサーは、第一の放送カメラ（例えば、ティーボックスに位置する）からの第一のビデオフィードに対して生成され、その軌道の第一の部分（例えば、その初期軌道）の間にボールを追従することができ、一方、第二のトレーサーは、第二の放送カメラ（例えば、フェアウェイまたはグリーンに位置する）からの第二のビデオフィードに対して生成され、その軌道の第二の部分（例えば、その下降）の間にボールを追従することができる。
【0173】
ライブビデオは、例えば、トレーサーおよびローワーサードグラフィック（例えば、ボール速度、最高到達点、キャリー、曲がり、スピンレートなど）などのグラフィックで自動的に拡大することができる。さらに、他のグラフィックを自動的に追加して、例えば、このホールのプレーヤー名、ショット番号、ホール番号、現在のスコア、およびライブスポーツ放送で見られる他のローワーサードグラフィックを表示することができる。
【0174】
このように、完全自動放送を生成できる。各ショットのビデオは、ボール追跡に基く関連する期間を正確に含むように、クリップおよびトリミングすることができる。さらに、各クリップには、プレーヤー名（またはプレーヤーＩＤ）、このホールのショット番号、ホール番号などのタグを付けることができる。クリップは、トレーサー情報および／または他のグラフィックと共に、および／またはトレーサー情報および／または他のグラフィックなしで保存することができる。このクリップのデータベースは、原則的に任意のトーナメントのすべてのプレーヤーのすべてのショットを含む。
【0175】
イベントの自動検出
追跡ユニットのカメラからのライブビデオストリームを使用して、特定のゴルフシナリオ（例えば、トーナメントシナリオ）の特定の適用のためにニューラルネットワークを訓練することができる。ネットワークは、任意のカメラストリームに適用することができ、ティーボックスの後ろに位置する追跡ユニットのカメラに特に有用である。この場合、ネットワークは、例えば、プレーヤーおよび／または他の人がティーに上がった時、プレーヤーがボールを打つ準備をしている時、およびショットが打たれた時などのイベントの検出を出力する。これらの検出は、現場のスタッフ、放送者、および賭けのアプリケーションに役立つイベント生成を自動化するために使用できる。検出されたイベントには、以下が含まれ得る：ティー上のプレーヤー；ショットを打つ準備をするプレーヤー（ボールにアドレスしている）；スイングするプレーヤー；打たれたショット；片付けられたティーボックス。
追跡ユニットのカメラからのライブビデオストリームを使用して、特定のゴルフシナリオ（例えば、トーナメントシナリオ）の特定の適用のためにニューラルネットワークを訓練することができる。ネットワークは、任意のカメラストリームに適用することができ、ティーボックスの後ろに位置する追跡ユニットのカメラに特に有用である。この場合、ネットワークは、例えば、プレーヤーおよび／または他の人がティーに上がった時、プレーヤーがボールを打つ準備をしている時、およびショットが打たれた時などのイベントの検出を出力する。これらの検出は、現場のスタッフ、放送者、および賭けのアプリケーションに役立つイベント生成を自動化するために使用できる。検出されたイベントには、以下が含まれ得る：ティー上のプレーヤー；ショットを打つ準備をするプレーヤー（ボールにアドレスしている）；スイングするプレーヤー；打たれたショット；片付けられたティーボックス。
【0176】
図９は、ニューラルネットワークによって分析され、プレーヤーのスイングに関連するイベントを検出できる、例示的な画像９００～９１５を示す。９００では、プレーヤーは、ショットを打つ前に画像内で検出される。ニューラルネットワークは、まだショット関連イベントを検出していない。９０５では、プレーヤーはボールに近づいていると検出される。９１０では、プレーヤーはスイングをしていると検出される。９１５では、プレーヤーはボールを打っていると検出される。
【0177】
ゴルファーを認識するためのアルゴリズムまたはネットワークを開発する時、ニューラルネットワークは、イベントを検出する際に様々な要因を考慮することができる。考慮すべき要素の一つは、一般に、ゴルフクラブを持つのはゴルファーのみであり、同時に、ゴルフショットを打つためにアドレス位置に自分自身を置く。アドレスでのゴルフシャフトの特定の角度も固有であり、また使用することができる。さらに、ボールおよびクラブヘッドの相対的な位置は、ボールをアドレスし、スイングを開始しようとしているプレーヤーを識別するために使用できる良い指標である。個々のゴルファーを識別するために使用される技術と類似の技術を使用して、ゴルファーと一緒に移動している人々をこのような識別から除外してもよい。例えば、キャディーおよびその衣服は、クラブを持っているときおよび／またはボールの上に立っているときでさえ、そのような個人がゴルファーとして識別されないように、識別され、システムに保管され得る。
【0178】
イベントの検出は、追跡システムの異なるセンサおよびサブシステムに対する電力使用をより効率的に管理するためにも使用され得る。特定のシステム能力を必要とするイベントが現在、追跡ユニットの視野または他のシステムコンポーネントからのデータで検出されない時、そのアイテムの電力使用量は、例えば、システムが、アイテムの完全な起動を必要とするイベントまたは即時の保留中イベントを検出するまで、アイテムの様々な電力を引き出す構成要素をスリープモードまたはローパワーモードに置くことによって、低減することができる。ゴルフコースのシステムは、多くの場合、電池駆動または発電機による電力供給のどちらかであるため、これは大きな実用的な重要性を持つ可能性がある。
【0179】
さらなる態様では、今度のショットに対するイベントの検出、例えば、ボールへのプレーヤーのアプローチまたはボールの上での姿勢の形成の検出から、今度のショットがいつ起こるかを予測するために使用することができる。これは、ライブ賭けアプリケーション、例えば、今度のドライバーショットの飛距離やピンからの距離を賭けることに関して、非常に実用的な重要性を持つ可能性がある。例えば、システムが、今度のショットが、例えば、５秒以内に実行されると推定する場合、その今度のショットのライブ賭けウィンドウは、推定されたショット時間に依存して閉じられ得る。既存の方法は、通常、手動トリガーに依存して賭けウィンドウを閉じる。
【0180】
ライブベッティングアプリケーションの場合、追跡システムは、例えば、手動の操作者が、例えば、実際のショットの実行後に賭けが行われるように、ショットのライブフィードを遅らせることによって、賭けで有利になるためにセンサを改ざんできないように、改ざんできないように設計されるか、または改ざんを検出するように設計され得る。
【0181】
リアルタイム３Ｄ追跡データからロボットカメラを制御する
追跡システムは、非常に低い遅延で動いているボールを追跡し、ボールの将来の予測軌道を常に更新し、システムが他のカメラをリアルタイムで制御することを可能にする。ボールに対するリアルタイム位置データを使用して、追跡システムは、ロボットカメラを制御して、このカメラを現在のボール位置に向け（その飛行を通してボールを追跡する）、ズームおよび焦点を追加で制御して、ゴルフトーナメント中にプロのカメラ操作者によって達成されるのと同じ方法で、視聴者が慣れている鮮明で視聴者に優しい画像を確保することができる。本明細書に記載されるロボットカメラは、例えば、図３に記載される放送カメラ３１５に対応し得る。しかしながら、ロボットカメラはまた、放送カメラとしてではなく、主に追跡用で使用されてもよい。
追跡システムは、非常に低い遅延で動いているボールを追跡し、ボールの将来の予測軌道を常に更新し、システムが他のカメラをリアルタイムで制御することを可能にする。ボールに対するリアルタイム位置データを使用して、追跡システムは、ロボットカメラを制御して、このカメラを現在のボール位置に向け（その飛行を通してボールを追跡する）、ズームおよび焦点を追加で制御して、ゴルフトーナメント中にプロのカメラ操作者によって達成されるのと同じ方法で、視聴者が慣れている鮮明で視聴者に優しい画像を確保することができる。本明細書に記載されるロボットカメラは、例えば、図３に記載される放送カメラ３１５に対応し得る。しかしながら、ロボットカメラはまた、放送カメラとしてではなく、主に追跡用で使用されてもよい。
【0182】
ロボットカメラに対するボールの３Ｄ位置は、追跡システムの他のセンサによって取得されたリアルタイムデータに基づいて、常に追跡システムによって知られている。したがって、ロボットカメラに対する最適なクロップ、配向、およびズームレベルは、リアルタイムデータに基づくシステムによって自動的に制御され得る。飛行中のボールの光学追跡はまた、ロボットカメラ（または任意の他のカメラ）からのデータの分析を使用して実施されてもよく、ロボットカメラを制御して、任意の既知の方法を使用して所望の画像を達成するために使用されてもよい。提案されるシステムの利点は、ロボットカメラのズームおよび焦点は、たとえボールが特定のカメラからの画像の中に見えないか、または簡単に見つからない場合（例えば、白いボールが白い雲の背景に消えた時）でも、他のセンサまたは他の追跡ユニットによるボールの飛行中の追跡に基づいて、連続的に更新することができる。すなわち、三次元追跡データに基づいてロボットカメラの照準および焦点を制御することは、ロボットカメラからの画像を使用した光学追跡を強化するために使用されてもよく、これはボールの可能な限り最もシャープな画像が捕捉され、画像中のボールの検出の可能性を増大させることを確実にする。ロボットカメラに対するボールの３Ｄ位置の知識がなければ、多くの場合、この検出は不可能であるか、または光学追跡システムが位置を特定できないボールの再取得を試みるため遅延する（例えば、カメラがボールの現在の位置に対応しない距離に焦点を合わせている時、ボールは、類似の色彩の背景に対して見失われているか、視線が遮蔽されている）。
【0183】
一部のシナリオでは、ロボットカメラは、追加のセンサ、例えば、レーダーまたはライダーを含む追跡ユニットに位置してもよく、追跡ユニット全体は、カメラの追跡機能に基づいて配向を変える。配向のこの変化は、ロボットカメラの追跡に加えて、追加のセンサの追跡を改善することができる。例えば、一部のショットは、センサの初期ＦＯＶによって十分にカバーされていない予想外の軌道（例えば、下手なショット）を有し得る。これらのショットが追跡カメラによって検出されると、追加のセンサを含む追跡ユニット全体の配向は、例えば、レーダーに対する改善された感度を提供するために変更され得る。
【0184】
ロボットカメラは、カメラの手動操作者を置き換えるために使用されてもよく、ビデオ映像を視聴者にとってはるかに魅力的なものにすることができる。また、例えば、ボールのライなどを描写するためのクローズアップ映像を作成することも可能にする。
ロボットカメラの安定的で視聴者にやさしい動きを確保するために、追跡システムからのリアルタイム３Ｄデータの特別なフィルタリングバージョンを生成し、ロボットカメラを制御するために使用することができる。さらに、遅延、最大角加速度、最大角速度、焦点遅延など、ロボットカメラ制御の特徴についての知識が、カメラを制御するときに考慮され、補われ得る。ロボットカメラはまた、世界座標におけるクラブおよびボールの位置決めのための追跡センサとして使用され得る。しかし、これは、視野が静止していないので、ロボットカメラの較正を必要とする。
ロボットカメラの安定的で視聴者にやさしい動きを確保するために、追跡システムからのリアルタイム３Ｄデータの特別なフィルタリングバージョンを生成し、ロボットカメラを制御するために使用することができる。さらに、遅延、最大角加速度、最大角速度、焦点遅延など、ロボットカメラ制御の特徴についての知識が、カメラを制御するときに考慮され、補われ得る。ロボットカメラはまた、世界座標におけるクラブおよびボールの位置決めのための追跡センサとして使用され得る。しかし、これは、視野が静止していないので、ロボットカメラの較正を必要とする。
【0185】
ロボットカメラの較正
ロボットカメラを追跡センサとして使用するために、ロボットカメラを較正する必要がある。較正には、外因的較正と内因的較正の二つの部分が含まれる。上述のように、外因的パラメータは、本質的に二つの部分、すなわち、世界座標におけるカメラの位置および世界座標における配向の決定を含む。ロボットカメラの位置の決定は、前述した追跡ユニットおよび／または放送カメラに採用されるものと類似した方法で行われる。残るのは、世界座標における配向および内因的パラメータの決定である。
ロボットカメラを追跡センサとして使用するために、ロボットカメラを較正する必要がある。較正には、外因的較正と内因的較正の二つの部分が含まれる。上述のように、外因的パラメータは、本質的に二つの部分、すなわち、世界座標におけるカメラの位置および世界座標における配向の決定を含む。ロボットカメラの位置の決定は、前述した追跡ユニットおよび／または放送カメラに採用されるものと類似した方法で行われる。残るのは、世界座標における配向および内因的パラメータの決定である。
【0186】
図１０ａは、世界座標１０２０におけるロボットカメラ１００５の配向を決定するためのロボットカメラ１００５によって捕捉された例示的な画像１０００を示す。画像１０００は、カメラ１００５に対してローカルな二次元（ｕ，ｖ）座標システムで示されている。ボール１０１０は、画像の画素座標（ｕ，ｖ）ｂ１０１５で画像１０００内に位置する。世界座標１０２０における画素（ｕ，ｖ）ｂ１０１５の位置を決定するための様々な方法がある。
【0187】
第一のオプションによると、画素（ｕ，ｖ）ｂ１０１５の位置は、ロボットカメラ１００５によって使用されるそれぞれの異なるズームレベルの内因的パラメータ（例えば、焦点距離、主点、レンズ歪みなど）を予め較正することによって、世界座標１０２０において決定することができる。世界座標１０２０におけるロボットカメラ１００５の配向は、例えば、追跡ユニットカメラおよび／または放送カメラについて前述したものと類似した様式で世界座標に対する較正が実施されたロボットカメラ１００５の所定の配向に対して、ボール１０１０を見る時、カメラ１００５の配向のパンおよびチルトのオフセットを使用することによって決定され、カメラのパン／チルトセンサからまたはカメラ配向に適用される追跡ベースの制御信号から決定される。すなわち、システムはパン／チルト情報に基づいて決定する。ベクトルＲによって記述される三次元線および世界座標における点ｐ、この時、ｐはカメラの位置である。このベクトルＲは、カメラ（例えば、カメラの焦点、点ｐから）からボール（または位置が決定される任意の他の物体）に向かって方向へ延在する。カメラからのこの線を三次元で知ることにより、ベクトルＲおよび点ｐによって記述される線上のボール（または他の物体）の三次元位置は、この線のデータとボールの距離情報と組み合わせることによって（世界座標中のレーダーまたは他の情報またはカメラに対する座標システムに翻訳することができる任意の他の座標）、または、ベクトルＲおよび点ｐによって記述された線が、ゴルフコースの三次元モデルにおいて表示されるゴルフコースの表面とどこで交差するかを決定することによって、取得され得る。これにより、ベクトルＲおよび点ｐによって記述される線に沿ったボールの三次元位置を、世界座標において三次元で決定することができる。当業者であれば、ベクトルＲおよび点ｐによって記述される線およびゴルフコースの表面の三次元モデルの交差点を識別することによって、ゴルフコースの表面上に静止しているボールの位置のみを決定することが可能となることを理解するであろう。後述するさらなるオプションは、この情報が距離情報または三次元表面モデル情報とともに使用されて、カメラからの画像の画素位置に基づいて、世界座標において三次元でボールの位置の特定ができるように、このベクトルＲを識別する異なる方法を説明する。
【0188】
第二のオプションによると、画素の位置（ｕ，ｖ）ｂ１０１５は、世界座標１０２０において、まずローカル（ｕ，ｖ）座標における画像１０００中の画素の位置（ｕ，ｖ）ｂ１０１５を検出することにより、次に、ズームレベルを変更することなく、ロボットカメラ１００５の配向を、ロボットカメラ１００５が所定の基準位置１０２５に向くように変更することにより、決定することができ、基準位置１０２５が、ボール１０１０が画像１０００内に位置するのと同じ画像（ｕ，ｖ）ｂ内の位置に位置することを確実にする。
【0189】
図１０ｂは、図１０ａの第一の画像１０００および異なる配向を使用したカメラ１００５によって捕捉された第二の画像１０３０に基づいて、ロボットカメラ１００５の配向を決定するためのプロセスを示す。図１０ａと同様に、ボール１０１０は、画素座標（ｕ，ｖ）ｂ１０１５で第一の画像１０００内に位置する。カメラ１００５は、基準位置１０２５（その位置は世界座標で既知）が、第二の画像１０３０において、第一の画像１０００における座標（ｕ，ｖ）ｂ１０１５と同じ座標（ｕ，ｖ）ｂ１０１５に位置するように、配向を変更する。これにより、システムは、カメラからの第一の画像１０００におけるボールまでの三次元ベクトルＲによって記述される線を識別することができる。
【0190】
次に、二つのシナリオ間のパンおよびチルトのオフセットを使用して、ベクトルＲ（基準位置１０２５と比較してボール１０１０を見る時の、世界座標１０２０におけるカメラの三次元配向）を計算する。この方法の明らかな利点は、カメラ１００５の内因的パラメータが、判定の精度に影響を与えないことである。
【0191】
第三のオプションによれば、画素（ｕ，ｖ）ｂ１０１５の位置は、最初にローカル（ｕ，ｖ）座標で第一の画像１０００の画素（ｕ，ｖ）ｂ１０１５の位置を検出し、次に、追跡ユニットカメラ１０３５からの第二の画像１０４０における同じ位置を検出することによって、世界座標１０２０で決定され得る。好ましい実施形態では、ロボットカメラ１００５および追跡ユニットカメラ１０３５は同一場所に配置されるが、これは必須ではない。
【0192】
図１０ｃは、図１０ａの第一の画像１０００および第二のカメラ１０３５によって捕捉された第二の画像１０４０に基づいて、ロボットカメラ１００５（三次元ベクトルＲ）の配向を決定するためのプロセスを示す。第二のカメラ１０３５は、世界座標システム１０２０に較正された追跡ユニットカメラであってもよい。ロボットカメラ１００５からの第一の画像１０００は、追跡ユニットカメラ１０３５からの第二の画像１０４０内に配置され得る。第二の画像１０４０内の第一の画像１０００を見つけるための一つのオプションは、世界座標（例えば、木、バンカー、池、ゴルフ旗、グリーンの輪郭および画像で識別され得る他の固有の特徴）で位置が知られている識別された特徴１０４５を使用して、二つの画像１０００、１０４０の間の特徴照合を実行することである。第二の画像１０４０の位置は、世界座標１０２０で既知であるため、これを第一の画像１０００に転送することができ、それによって、ベクトルＲ、世界座標におけるカメラの位置ｐならびに距離情報の組み合わせにより、上述のように、距離および／またはゴルフコースの三次元モデルを使用して、ロボット画像１０００におけるボール１０１０の世界座標位置の決定が可能となる。
【0193】
第四のオプションによると、画素（ｕ，ｖ）ｂ１０１５の位置は、最初に、ローカル（ｕ，ｖ）座標における第一の画像１０００における画素（ｕ，ｖ）ｂ１０１５の位置を検出し、次に、第一の画像１０００をズームアウトする（例えば、第一の画像１０００のズームアウトバージョンを含む第二の画像１０５０を生成する）ことによって、少なくとも二つの基準点１０６０、例えば１０６０ａおよび１０６０ｂ、が画像１０５０で見えるように、世界座標１０２０で決定することができる。
【0194】
図１０ｄは、図１０ａの第一の画像１０００および第一の画像１０００のズームアウトバージョンを含む第二の画像１０３０に基づいて、ロボットカメラ１００５の配向を決定するためのプロセスを示す。図１０ａと同様に、ボール１０１０は、画素座標（ｕ，ｖ）ｂ１０１５で第一の画像１０００内に位置する。基準点１０６０が第二の画像１０３０で見えるように、カメラ１００５はズームアウトし、一方で第二の画像１０３０の座標（ｕ，ｖ）ｂ１０１５における画素位置は、第一の画像１０００の座標（ｕ，ｖ）ｂ１０１５と同じである。基準点１０６０は、画像１０００内のボール位置の位置１０１５を追跡しながら、第二の画像１０５０中のいくつかの画素位置１０５５、例えば、１０５５ａおよび１０５５ｂで検出される。わずかなレンズ歪みを想定すると、焦点距離を決定することのみが必要である。焦点距離は、基準点位置１０５５を、対応する二つの基準位置１０６０の世界座標１０２０における所定の角度と相関させることによって決定される。以後、ズームアウトされた画像１０５０におけるボール１０１５の位置は、世界座標１０２０で決定され得る。
【0195】
図１６ｇは、様々な例示的な実施形態による、ロボットカメラを世界座標システムに合わせて較正するための方法１６８０を示す。方法１６８０を実施するためのシステムは、ロボットカメラおよびその動作を制御するための処理装置のみを含み得る。一部の実施形態では、システムは、さらなるカメラを含み得る。
【0196】
１６８２では、ロボットカメラに未較正の内因的パラメータが提供される。例えば、ロボットカメラは、最近電源をオンにされたか、または最近、以前の配向に対して配向が変更されたかのいずれかであった。
【0197】
１６８４では、第一の画像（例えば、較正画像）がロボットカメラで捕捉され、ボールが画像内で検出される。ボールの（ｕ，ｖ）座標は、カメラ座標システムで決定される。
【0198】
１６８６では、第二の画像は、ロボットカメラ（異なる配向および／または異なるズームレベルを使用する）、または同じボールの第二の画像を同時に捕捉する第二のカメラのいずれかから受信される。
【0199】
１６８８では、ロボットカメラの配向は、第一および第二の画像に基づいて決定される。
【0200】
現場の観客のための安全／警告システム
リアルタイムボール飛行追跡は、上述のように、ボールが空中にある間に、着地点をリアルタイムで更新して予測することができる。この着地点予測を使用して、例えば自動の「フォア」で、誤ったショットが近づいていることなどを観客に警告することができる。例えば、影響のあるエリアの観客は、覆いを求めたり、頭を保護したりするなどの適切な指示を与えられる。
リアルタイムボール飛行追跡は、上述のように、ボールが空中にある間に、着地点をリアルタイムで更新して予測することができる。この着地点予測を使用して、例えば自動の「フォア」で、誤ったショットが近づいていることなどを観客に警告することができる。例えば、影響のあるエリアの観客は、覆いを求めたり、頭を保護したりするなどの適切な指示を与えられる。
【0201】
警報システムは、例えば、追跡システムによって誘発され得る有線または無線のジオリファレンスされたスピーカーを含み得る。ゴルフコースは、異なる観客ゾーンに分割されることが好ましい。フォア警告は、誤ったショットが十分な確率でこれらのゾーンに近づく度に、一つ以上の観客ゾーンで誘発され得る。警報システムは、スマートフォン上のパーソナルアプリケーションであってもよく、各観客（またはサービスにオプトインした任意の観客）の位置を追跡する。振動／音または類似のものなどの特別な警告は、誤ったショットが、観客が位置するゾーンに着地する可能性が高い時に、スマートフォンアプリケーションによって誘発され得る。
【0202】
図１６ｈは、様々な例示的な実施形態による、現場観客のための警告システムのための方法１６９０を示す。
【0203】
１６９２では、軌道データは、一つ以上の第一のセンサを使用して捕捉される。
【0204】
１６９４では、これまで捕捉された軌道データに基づいて、着地点が予測される。着地点予測は、最初に、ボールの飛行中の可能な限りの早期に実行され、その後、より多くの軌道データが捕捉されるに従い精密化され得る。着地点予測は、特定の点を含んでもよく、警報領域は、点に対して所定の不確かな半径を有するか、または実際の推定された不確かさに基づく領域を含んでもよい。
【0205】
１６９６では、警報が誘発され、例えば警報半径内の、任意の利害関係者に送達される。一実施例では、予測される着地位置の近傍に位置するスピーカーを起動して、聴覚警報を提供することができる。別の実施例では、警報は、着地地点に位置する観客のデバイスに送信され得る。
【0206】
アマチュアのラウンド追跡
上述のシステムのすべての特徴は、任意のゴルフコースで実装することができる。ボールの軌道追跡はすべて、ショットの品質から完全に独立しており、プロと同じくアマチュアにも適用できる。さらに、アマチュアのラウンドは、プロのゴルフトーナメントを規制する習慣および規則と類似した様式で行われてもよく、したがって、プロのイベントについて前に論じた競技理論は、アマチュアのラウンドと類似し得る。例えば、典型的には１～４人のプレーヤーのグループが、まずホール１でプレーし、次にホール２などでプレーする。したがって、上述の詳細なプレーヤーＩＤ追跡は、実質的に類似した方法で実施することができる。
上述のシステムのすべての特徴は、任意のゴルフコースで実装することができる。ボールの軌道追跡はすべて、ショットの品質から完全に独立しており、プロと同じくアマチュアにも適用できる。さらに、アマチュアのラウンドは、プロのゴルフトーナメントを規制する習慣および規則と類似した様式で行われてもよく、したがって、プロのイベントについて前に論じた競技理論は、アマチュアのラウンドと類似し得る。例えば、典型的には１～４人のプレーヤーのグループが、まずホール１でプレーし、次にホール２などでプレーする。したがって、上述の詳細なプレーヤーＩＤ追跡は、実質的に類似した方法で実施することができる。
【0207】
アマチュアのラウンドでは利用できないであろうプロのイベント追跡の一つの側面は、所与のグループのプレーヤーのアイデンティティーに関する事前に保存された情報である。ゴルフラウンドの追跡を特定のゴルファーに関連付けるために、いくつかの追加機能が使用できる。
【0208】
一実施形態では、追跡システムに接続されたアプリケーションは、例えば、スマートフォンまたはスマートウォッチにインストールできる。各ゴルファーは、例えば、ラウンドの開始時に、追跡システムプレーヤーＩＤをゴルファーに関連付けるために使用することができる、アプリケーション内に肯定的な兆候を提供することができる。第一のティーの周りの特別な領域、例えば、プレーヤーがスマートフォンを追跡システムと同期化できる、ただ一人向けの空間を有する、地面上の小さな、印付けられた領域が存在し得る。例えば、ユーザーは、特別な領域にいる間にアプリケーション内の「同期」ボタンを押して、プレーヤーの名前と経歴を追跡システム内の固有のプレーヤーＩＤに関連付けることができる。別の実施形態では、プレーヤーＩＤの追跡および関連付けはまた、何らかの種類の発信機、例えば、位置情報機能を備えたスマートフォンまたはスマートウォッチを介して行うことができる。
【0209】
別の実施形態では、プレーヤーによって着用されるデバイス、例えば、スマートウォッチを使用して、プレーヤーによるスイング動作を検出することができる。デバイスは、プレーヤーと関連付けられてもよく、加速度計（またはこのような動きを検出できる他のセンサ）および、ゴルフスイングに対応する加速度の変化を検出するための処理論理とを含んでもよい。デバイスは、スイング時のプレーヤーの近似位置も検出できるように、ＧＰＳ能力を有する（またはＧＰＳ能力を有する別の近接するデバイス、例えば、スマートフォンに連結される）ことができる。デバイスはまた、スイング動作をタイムスタンプと関連付けるように動作可能であり得る。したがって、追跡システムがショット（および関連するショットの時間）を検出する時、ショットは、ショットのタイミングおよび位置に一致する検出されたスイングと一致され得る。特にアマチュアのラウンド追跡では、スイングとショットとの間の一致がリアルタイムで実行される要求はない。したがって、デバイス（および関連するタイムスタンプ）によって検出されたスイングは、追跡システムによって後で検出されたショット、例えば、ラウンドの終了時と時間内に一致させることができる。これは、例えば、プレーヤーが着用するデバイスが、無線受信範囲、処理能力などに関して制限された能力を有するシナリオにおいて特に有用である。デバイスは、スイングデータが追跡データと関連付けられ得る後の時まで、関連するタイムスタンプと共にスイング検出を保存することができる。一実施形態では、デバイスに関連付けられたプレーヤーは、ラウンドの終了時に検出されたスイングに関連するショット情報を確認し、一致の精度を確認できる。代替的な実施形態では、プレーヤーは、携帯電話などの位置決定デバイスを携帯する。デバイスは、関連するタイムスタンプを有するデバイスの世界座標の経路を記録し、その後、追跡システムによって追跡されるショットの決定された発射場所に一致させることができる。位置決定デバイスは、プレーヤーが着用する必要はないが、常にプレーヤーがボールを発射する場所の近くにある、プレーヤーのバッグの中あり得る。
【0210】
プレーヤーの画像プロファイルは、将来のゴルフラウンドのために追跡システムに保存されてもよく、または全てのゴルフラウンドの前に作成されてもよい。複数のコースのそれぞれの追跡システムは、潜在的に、状況によってはこれらの画像プロファイルを共有できる。各ラウンドがプレーされた後、取り込まれたデータは、パーソナルアプリケーションに転送されてもよく、各ラウンドは、ゴルフラウンドにわたって後の分析のためにすべての追跡データでレビューされ得る。
【0211】
一実施形態では、ボール追跡データは、記録された直後にパーソナルアプリケーションに転送されてもよく、その結果、プレーヤーは、ゴルフのラウンドのプレー中にデータを見直すことができる。この機能に対する一つの特に興味深い適用は、ゴルファーがボールを見つけるのを助けることであり得る。例えば、ゴルファーが簡単に見つけることができないショットを打った時、パーソナルアプリケーションは、例えば、アプリケーションまたは他の地図アプリケーション（例えば、アップルマップまたはグーグルマップ）において提供されるゴルフホールマップ上で、ボールが見つかる可能性が高い場所を絞り込み得る。この機能は、捜索領域を絞り込むことが、ボールを見つける可能性を大幅に高め、ボールを見つけるのに必要な時間も短縮する、深いラフにあるボールを見つけようとする場合に特に有用であり得る。
【0212】
ハザードに入るショットをゴルファーが打つ場合、特定のハザードに対するゴルフルールに応じて、前のショットがハザードラインを横切った場所に従って、新しいボールをドロップするオプションがゴルファーに与えられ得る。システムは、ボール軌道のトラックを有し、それによってボールがハザードラインを横切った場所を正確に把握するため、システムは、新しいボールを落とすことが許容される領域を正確に決定することができる。これにより、ボールをどこでルールに則り落とすことができるかという時として議論を引き起こす決定が解決することができ、より公平な結果を達成しながら、ゴルファーの時間および拘束状態を節約することができる。許容される落下領域の識別は、許容される落下領域を有するホールのレイアウトを示すソフトウェアアプリケーションにおいて示され得る。
【0213】
非代替性トークン（ＮＦＴ）の生成
提案されたシステムは、ゴルフラウンド中に起こる任意の特別なイベントを、自動的に撮影および追跡することができ、これは、発生しているホールインワンまたは他の任意の他の特定の固有のゴルフショットまたはイベントであり得る。システムは、こうした瞬間を自動的に検出し、ボールトレーサー、クラブおよび／またはボール軌道情報を含み得るビデオクリップを作成するように構成され得る。これらのクリップの作成は、１つのデジタルコピーのみが存在することができ、それによって非代替性トークン（ＮＦＴ）として使用することができるような方法で作成することができる。
提案されたシステムは、ゴルフラウンド中に起こる任意の特別なイベントを、自動的に撮影および追跡することができ、これは、発生しているホールインワンまたは他の任意の他の特定の固有のゴルフショットまたはイベントであり得る。システムは、こうした瞬間を自動的に検出し、ボールトレーサー、クラブおよび／またはボール軌道情報を含み得るビデオクリップを作成するように構成され得る。これらのクリップの作成は、１つのデジタルコピーのみが存在することができ、それによって非代替性トークン（ＮＦＴ）として使用することができるような方法で作成することができる。
【0214】
カメラ非投影アプリケーションへの導入
例えば、ティーボックスからの、またはグリーン上に打たれたショットの追跡については、追跡システムは、レーダー、レーダーおよびカメラの組み合わせ、またはいくつかの追加のセンサの組み合わせを含み得る。これらの異なるセンサは、ゴルフボールの飛行の異なる部分および／または重複部分を追跡することができる。各センサは、一回以上、デバイスに特有の座標システムで、ボールの測定値からなる物体データを取得し、互いに較正された時、そのデータは、さらなる処理およびデータの融合のために、高度な一貫性を有する世界座標システムに投影され得る。角度および絶対範囲測定が可能なドップラーレーダーは、ボールを三次元で正確に追跡することができ；レーダーおよびカメラを装備した追跡ユニットは、画像追跡を使用して、より正確な追跡のために角度測定値を強化することができ；および重複する視野を有する複数のカメラを含むシステムは、立体映像を使用して、三次元のボール位置を決定することができる。
例えば、ティーボックスからの、またはグリーン上に打たれたショットの追跡については、追跡システムは、レーダー、レーダーおよびカメラの組み合わせ、またはいくつかの追加のセンサの組み合わせを含み得る。これらの異なるセンサは、ゴルフボールの飛行の異なる部分および／または重複部分を追跡することができる。各センサは、一回以上、デバイスに特有の座標システムで、ボールの測定値からなる物体データを取得し、互いに較正された時、そのデータは、さらなる処理およびデータの融合のために、高度な一貫性を有する世界座標システムに投影され得る。角度および絶対範囲測定が可能なドップラーレーダーは、ボールを三次元で正確に追跡することができ；レーダーおよびカメラを装備した追跡ユニットは、画像追跡を使用して、より正確な追跡のために角度測定値を強化することができ；および重複する視野を有する複数のカメラを含むシステムは、立体映像を使用して、三次元のボール位置を決定することができる。
【0215】
正確な測定には、センサの較正が重要である。センサの較正には、センサの内部および外部の両方の様々なパラメータの決定が必要である。内部パラメータは、焦点距離、レンズ歪みパラメータ、およびカメラ用の主点、およびレーダー用の位相オフセットを含み得る。外部パラメータは、典型的には、センサの位置および配向を構成する。
【0216】
ドップラーレーダー追跡に基づく既知のシステムは、例えば、以下の場合、欠点がある：ボールが地面を低速または転がって移動する場合；レーダーに対しての半径方向速度ｖｒが低くなるように、ボールが、レーダーからボールへの方向に対して特定の角度で移動する場合；ボールが静止し、ドップラーレーダー追跡が完全に失敗する時。ボールを追跡するために立体映像に依存する公知のシステムは、低速でもボールの三次元軌道を決定することができるが、ゴルフコースの詳細なモデルなしでは、ゴルフの短い試合を理解することに関連する測定基準を一般的に提供できない。
【0217】
センサの内部パラメータまたは内因的パラメータは、概して、センサの内部動作に関連するパラメータとして定義されてもよい。カメラの内因的パラメータは、画像点の画素座標をカメラ基準フレームの対応する座標に連結し、焦点距離、主点、およびレンズ歪みパラメータを含むために必要なパラメータである。カメラの内因的パラメータは、生産セットアップで測定され、システムに保存されてもよく、実験室設定における内因的パラメータを決定する方法は、当業者に公知であると考えられる。
【0218】
センサの外部または外因的パラメータは、概して、世界座標に対するセンサ（例えば、位置および配向）の位置決めに関連するパラメータとして定義され得る。センサの外部パラメータに関する知識は、他のセンサからのデータ、またはゴルフコースの一部の三次元モデルの位置と比較され得るように、センサの座標システムから世界座標システムへ測定されたデータをマッピングすることを可能にする。
【0219】
外因的パラメータは、当業者によって理解されるように、いくつかの方法で決定することができる。較正の好ましい方法は、カメラのＧＰＳ位置とカメラの視野内のゴルフコース上のいくつかの基準点とを測定することである。較正画像は、カメラで捕捉され、測定された基準点の像面内の位置は、人間による注釈または自動検出手段によって決定されて、外因的パラメータを計算することができる。較正で使用され得る容易に認識可能な特徴としては、例えば、ピン（ホール）の位置、バンカーの縁、または較正のために使用されるコース上に一時的または恒久的に置かれる物体が挙げられる。基準点のＧＰＳ位置は、例えば、レーザー範囲ファインダーまたは類似の機器を使用して、基準点とカメラとの間の距離および／または高さ差の測定によって補完され得る。
【0220】
本実施形態による、弾みおよび転がりおよび／または静止位置を追跡するための追跡カメラは、典型的には、グリーンの後ろに設置され、ＴＶタワーまたは類似の構造物に取り付けられ、その位置からのカメラ視野はグリーンおよび周囲の領域を含む。カメラはまた、フェアウェイに沿って長いパー５のホールに配置されて、フェアウェイ上のボールの着地位置を捕捉することができる。本実施形態による追跡機能は、単一のカメラを使用して実施することができ、例えば、立体映像技術を利用する複数のカメラを必要としない。
【0221】
一実施形態では、ボールのライは、静止時のボールの単一カメラおよびボールの静止位置での地形の３Ｄモデルからの画像に基づいて決定される。
【0222】
一部の実施形態では、単一のカメラおよびゴルフコースの一部の正確な３Ｄモデルを使用して、弾みおよびチップショットの追跡測定基準を追跡および提供するシステムおよび方法が提供され、カメラで一連の画像を捕捉すること、画像内のボールを検出すること、ボール検出の画素位置を非投影して、カメラからボール位置に３Ｄ空間内に線を生成すること、軌道の開始点および終了点に対応する開始線および終了線を決定すること、３ｄモデルを開始線および終了線と交差させること、物理的モデルを適用し、ボールのトラックを決定することにより、単一のカメラは、３Ｄモデルによってカバーされるゴルフコースの一部に対して較正される。
【0223】
一実施形態では、一連の画像で検出されたボールが、跳ねているかまたは転がっているかが決定される。
【0224】
一実施形態では、ボールの転がりの３Ｄ追跡は、一連の画像でのボールを検出し、ボール検出の画素位置を非投影することによって提供され、それによって、カメラからボール位置へ３Ｄ空間内に線を生成し、３Ｄモデルを線と交差させ、ボールのトラックを決定する。
【0225】
一実施形態では、グリーン上のスティンプは、３Ｄモデルにおけるパットのトラックおよび地形の傾斜から決定される。
【0226】
一実施形態では、パットブレイクファンは、所与の初期ボール位置について決定され、パットブレイクファンは、測定された３Ｄパット軌道と比較され、成功裏なパットに対するボール発射パラメータの感度が決定される。パットブレイクファンは、以下でより詳細に説明される。
【0227】
一実施形態では、ゴルフボールのレーダー追跡は、ボール検出器を時間内に適切な画像および画像内の適切な捜索領域に誘導するために使用される。
【0228】
一実施形態では、画像は、カメラから捕捉され、画像が、人を含むか、および／または人がアドレス位置にあるゴルファーであるかを判定し、この検出に基づいて、ボール検出器は、時間内に適切な画像および画像内の適切な捜索領域に誘導される。
【0229】
一実施形態では、３Ｄモデルに対するカメラの外部較正パラメータは、跳みの追跡に基づいて更新される。
【0230】
ゴルフコースまたはゴルフコースの一部の３Ｄ表面モデル
本明細書に記載される様々な例示的な実施形態によれば、ゴルフコース全体の三次元モデル、またはゴルフコースの特定の部分（例えば、一つ以上のグリーンおよびこれらのグリーンのすぐ周囲の領域）を使用して、３Ｄモデルによってカバーされる領域内のショットの追跡を改善および強化することができる。
本明細書に記載される様々な例示的な実施形態によれば、ゴルフコース全体の三次元モデル、またはゴルフコースの特定の部分（例えば、一つ以上のグリーンおよびこれらのグリーンのすぐ周囲の領域）を使用して、３Ｄモデルによってカバーされる領域内のショットの追跡を改善および強化することができる。
【0231】
３Ｄモデルは、コンピュータメモリに保存されたゴルフコース（またはゴルフコースの一部）の表現であり、ゴルフコースの３Ｄグラフィックのレンダリングに使用することができる。特定のゴルフホールの３Ｄモデルは、好ましくは、本実施形態によるゴルフボールの追跡に使用される単一のカメラの視野内の領域の一部をカバーする。したがって、３Ｄモデルは、少なくとも、ティーまたはフェアウェイからのショットが着地する可能性が高い、グリーンの周りの地形をカバーする。モデルはまた、フェアウェイおよび周囲のラフおよび／またはセミラフの一部もしくはすべてをカバーすることもでき、またはホール全体をカバーすることもできる。複数のカメラが使用されるゴルフコース全体をカバーするために、複数の３Ｄモデルが使用されてもよく、各々がコースの一部をカバーするか、またはコース全体をカバーする一つの３Ｄモデルが使用され得る。当業者であれば、世界座標への任意の参照は、ゴルフコース上のすべてのホールに共通する座標システム、またはゴルフコース上の単一のホールの領域に適用できることを理解する。世界座標システムの使用は、異なるセンサからの測定値を融合することを可能にし、ボール位置の測定値を３Ｄモデルにマッピングすることを可能にする。世界座標は、ゴルフのラウンドをカバーするすべてのセンサに共通である必要はない。すなわち、任意のショットの飛行を追跡しているすべてのセンサが、それらのデータを共通座標システムに変換できる限り、所望の結果が取得される。したがって、センサの一群が、ホール番号１およびホール番号１のみをカバーする場合、これらのセンサが、ホール番号２のセンサからのデータを共通座標システムに変換することができる必要はない。したがって、世界座標システムという用語の使用は、このシステムがセンサの物理的環境と相関していることのみを示唆し、この座標システムが、ゴルフコースで作動しているすべてのセンサ全体にわたり、共通であることが必要であることを暗示するものではない。
【0232】
３Ｄモデルは、少なくとも、コース上の所与の位置の地形の高さを表す表面モデルを含む。この表面は、三角形のメッシュとして、スプライン曲面として、または当業者に周知の別の表現として表され得る。表面はまた、３Ｄモデルによって表される一部またはすべての特徴のより詳細な表面マップを提供する一つ以上の微細モデルと組み合わせて、コースの高さの粗い表現を提供する粗いモデルによって表されてもよく、微細モデルは粗いモデルに対するオフセットを表す。粗いモデルは、所与の地理的領域に対して提供され得るが、微細モデルは、例えば、プレーが最もよく起こる、または表面の追加の精度が望まれるなどの、粗いモデルによってカバーされる領域の一部に対してのみ提供され得る。これらの領域には、フェアウェイおよび周囲のセミラフ、バンカー、グリーンおよびグリーンを囲む領域が含まれ得る。粗いモデルおよび一つ以上の微細モデルを含むこのスキームは、コース全体の詳細モデルの作成と処理を避けることによって有利であり得る。
【0233】
好ましい実施形態では、ゴルフコースの３Ｄ表現は、ＧＰＳ位置が３Ｄ表現上に容易にマッピングされ得るように、世界座標で与えられる。３Ｄ表現はまた、ローカル座標システムで提供され、世界座標への周知のマッピングと関連付けられてもよい。ＧＰＳ、および／または世界座標システム、を３Ｄモデルにマッピングする機能は、カメラ外因的パラメータをゴルフコースおよび３Ｄモデルの両方に関連付けることを可能にし、こうして、カメラで画像を捕捉することによって、地上のボールの位置を決定することを可能にし、画像内のボールの画素位置を検出し、内因的および外因的カメラパラメータを適用することにより、例えば、世界座標システムなどの座標システム内のカメラ－ボール線を決定するために検出を非投影し、およびカメラ－ボール線と３Ｄモデルとの交差を決定する。
【0234】
一実施形態では、３Ｄモデルは、モデルによって表されたゴルフコースの一部上に存在する地形の種類を表したものを含み、例えば、メッシュ内の各三角形は、それに関連付けられた地形種類を有してもよく、または地形種類は、微細な高さモデルにおいて表され得る。地形の種類には、少なくとも、フェアウェイ、ラフ、セミラフ、バンカー、グリーン、フリンジの特徴を含めることができるが、ゴルフコースで見られる様々な地形のより詳細な表現のために、より多くの特徴を含めることができる。これらの特徴は、以下で説明する通り、これらの地形に影響を及ぼすボールの軌道の追跡を改善するために使用することができる。モデルはまた、３Ｄモデルに基づく任意のグラフィックレンダリングにリアリズムを提供できる、木、ブッシュ、および建物などの非地形特徴の表現も含むことができるが、これらの非地形特徴は一般にいかなる追跡目的にも使用されない。
【0235】
３Ｄモデルは、例えば、ライダー、オプティメトリー、またはそれらの組み合わせのいずれかを使用したドローンスキャンによって、または当業者に公知の別の方法によって、取得することができる。スキャンは、当業者に周知の技術を使用して、そこから３Ｄ表面モデルを作成できる点群をもたらすことができる。コースのローカル座標システムと世界座標との関係は、正確なＧＰＳ測定値を用いて、３Ｄモデルで識別可能ないくつかの固定点をマッピングすることによって確立することができる。例えば、ＰＧＡツアーは、ツアーでのプレーに使用されるゴルフコースの詳細なマップを有する。
【0236】
非投影機を用いてボール位置を決定するシステム
図１１は、様々な例示的な実施形態による、静止時のボールを含むボールの一連の画像を捕捉する少なくとも一つのカメラ１１０５、およびボールを追跡するおよび／または静止時のボールの位置を決定するための処理装置を含む、例示的な追跡システム１１００を示す。処理装置は、画像座標システムにおけるボールの位置を決定するボール検出器１１１０、カメラ１１０５からボールへの３Ｄ空間におけるカメラ－ボール直線を決定するための内因的および外因的カメラパラメータ１１３０を使用した非投影モジュール（非投影機）１１１５、およびカメラ－ボール直線と３Ｄモデル１１３５との交差点を決定するためのゴルフコースの一部の３Ｄモデル１１３５を使用した交差モジュール（インターセクター）１１２０を含む。処理装置は、例えば、放送中に、使用のために決定された情報を出力するための出力ジェネレータ１１２５をさらに含む。図１１は、図１２と連動して以下に記載される。
図１１は、様々な例示的な実施形態による、静止時のボールを含むボールの一連の画像を捕捉する少なくとも一つのカメラ１１０５、およびボールを追跡するおよび／または静止時のボールの位置を決定するための処理装置を含む、例示的な追跡システム１１００を示す。処理装置は、画像座標システムにおけるボールの位置を決定するボール検出器１１１０、カメラ１１０５からボールへの３Ｄ空間におけるカメラ－ボール直線を決定するための内因的および外因的カメラパラメータ１１３０を使用した非投影モジュール（非投影機）１１１５、およびカメラ－ボール直線と３Ｄモデル１１３５との交差点を決定するためのゴルフコースの一部の３Ｄモデル１１３５を使用した交差モジュール（インターセクター）１１２０を含む。処理装置は、例えば、放送中に、使用のために決定された情報を出力するための出力ジェネレータ１１２５をさらに含む。図１１は、図１２と連動して以下に記載される。
【0237】
図１２は、様々な例示的な実施形態による、カメラ１１０５、ゴルフコースの地形１２０５およびゴルフコースの地形１２０５上に重ね合わされた対応する３Ｄモデル１１３５を含む例示的な図表１２００を示す。図表１２００は、ボールの衝突位置１２１５および最終静止位置１２２０、およびボールの最終静止位置１２２０で３Ｄモデル１１３５と交差する例示的なカメラ－ボール直線１２２５を含む、ゴルフボールの軌道１２１０を含む。
【0238】
カメラ１１０５は、ショットが打たれる可能性が最も高い方向に向かって、追跡システム１０００を用いて追跡が行われる、例えば、グリーンおよびフェアウェイを含むその周囲などの、ゴルフコースの一部の視野（ＦＯＶ）を提供するように選択されるセンサおよびレンズを有する。代替的に、カメラ１１０５が、フェアウェイ上に着地するショットを捕捉するように位置付けられる場合、カメラ１１０５のＦＯＶは、ティーからのショットまたはグリーンへのアプローチショットが着地する可能性が最も高いフェアウェイの部分、例えば、図１２に示される地形１２０５をカバーすることができる。カメラ１１０５の解像度は、ボール検出器１１１０が効率的に作動するのに十分なボールの画素を提供するように選択される。例えば、取り込まれた画像に見られるボールの最小断面は、３～１０画素の範囲内であるべきである。カメラは、一連の画像１１９０（．．．，ｉ（ｎ－１），ｉ（ｎ），ｉ（ｎ＋１），．．．）を、特定のフレームレートｆｓで、好ましくは３０～１００フレーム／秒の間で捕捉する。好ましい実施形態では、捕捉された画像ｉ（ｎ）は、少なくとも、画像が捕捉された時間ｔｎを含むメタデータを含む。メタデータはまた、画像に対する露出時間、画像に捕捉されたセンサのクロップ領域、および潜在的に他のパラメータを含み得る。
【0239】
捕捉されると、カメラによって捕捉された一連の画像１１９０からの各画像は、ボール検出器１１１０に渡され、検出器は、ボールが特定の画像１１９５中に存在するかどうかおよびボールの画素位置（ｕ，ｖ）を決定するための一つ以上のアルゴリズムを含む。アルゴリズムは、画像中のゴルフボールを検出するために訓練された畳み込み深層ニューラルネットワーク（ＣＮＮ）を含み得る。画像内でボールが検出された場合、ボール検出器１１１０は、（ｕ，ｖ）座標、および場合によって、画像自体およびメタデータの一部を、非投影機１１１５に送信する。
【0240】
非投影機１１１５は、ボール検出器１１１０から少なくともボールの（ｕ，ｖ）座標を含む情報を受信し、保存された内因的および外因的較正パラメータ１１３０をメモリまたは外部記憶装置から読み取る。この情報を用いて、図１２に示すように、非投影機１１１５は、像面の（ｕ，ｖ）座標およびカメラの内因的および外因的パラメータ１１３０に基づいて、ボールの方向にカメラ１１０５の焦点を通り抜ける直線を含む３Ｄ空間のカメラ－ボール線１２２５を決定する。捕捉された画像がカメラ１１０５の視野全体をカバーしない場合、非投影機１１１５はまた、画像のクロップ領域に関する情報を使用して、カメラ－ボール線１２２５を決定する。クロップ領域は、カメラ１１０５またはボール検出器１１１０から渡される画像メタデータの一部であってもよく、または一連の画像全体に対して一定である場合、較正時またはシステム初期化時にシステム１１００に保存され、保存された較正パラメータ１１３０と類似した様式で非投影機１１１５にアクセス可能にすることができる。非投影機１１１５は、カメラ－ボール線の表現を１１２５交差点モジュール１１２０に送信する。
【0241】
交差モジュール１１２０は、カメラのＦＯＶとオーバーラップするゴルフコースの少なくとも一部のカメラ－ボール線１２２５および３Ｄモデル１１３５に基づく交差アルゴリズムを実行する。交差モジュール１１２０は、非投影機１１１５からカメラ－ボール線１２２５を受信し、メモリまたは外部記憶装置から３Ｄモデル１１３５を読み取り、カメラ－ボール線１２２５と３Ｄモデル１１３５との間の交差１２２０を決定する。交差１２２０の３Ｄ点表現は、コース上のボール位置を決定するために使用される。ボールが静止している時、空間の３Ｄ点として表され得るこの交差１２２０は、コース上のボール位置およびボール位置での地形の高さである。交差を決定する方法は、３Ｄモデルの表示、例えば、３Ｄモデルが三角形のメッシュ、スプライン曲面、または任意の他の表面表示であるかに依存し得る。一部の例では、方法は反復的であってもよく、または交差は、最適化問題に対する解として定式化でき、数値ソルバーを用いて解くことができる。
【0242】
地面が不均一であるか、または小さな丘を有するシナリオにおいて、またはボールがバンカーの端に位置する場合、３Ｄモデル１１３５とカメラ－ボール線１２２５との間に複数の交差があり得る。例えば、３Ｄモデル１１３５とカメラ－ボール線１２２５との間の追加の交差点１２３０および１２３５が図１２に示される。この場合、交差モジュール１１２０は、ボールの位置をカメラ－ボール線１２２５とカメラ１１０５に最も近い３Ｄモデルとの間の交差１２２０であると決定してもよい。
【0243】
交差モジュール１１２０は、交差１２２０の３Ｄ座標を出力モジュール１１２５に渡す。出力モジュール１１２５は、ボール位置の情報を使用するために必要な任意の出力手段に結び付ける。例えば、プレー中に打たれたショットの情報を保存するデータベース１１４０；例えば、コースの上面図などによりテレビまたはオンラインの視聴者のためのボール位置を描写することができる３Ｄグラフィックスレンダリングエンジン１１４５；静止ボール位置からティー位置までの距離の計算および／またはグラフィカルな図への入力（弾みおよび転がりを含む実際のキャリーについて）；または、ボール位置から旗、またはバンカー、池、もしくはグリーンなどのゴルフコースの他の興味深い特徴までの距離の計算および／またはグラフィカルな図への入力。
【0244】
システム１１００は、時間の関数としてボール位置を測定することができるレーダー１１５０およびレーダートラッカー１１５５を含んでもよく、レーダー１１５０は、追跡カメラ１１０５と同じ座標システムに較正され、好ましくは、世界座標システム１２４０に較正され、レーダー１１５０は、各画像がレーダーで測定されたボール位置に相関され得るように、追跡カメラ１１０５に時間同期される。このシナリオでは、レーダー１１５０によって検出されるボール位置は、投影機１１６０を使用して、カメラ１１０５の像面にマッピングされて、ボール検出器１１１０の捜索ウィンドウを狭めることができる。これは、ボールが、グリーン側カメラ１１０５のためのグリーンおよびグリーンを囲む領域などを含む、カメラ１１０５の視野に入る際に特に有利であり、これは、一部の状況では、ボール検出器１１１０は、ボールがレーダー１１５０によって以前に検出された時にのみ作動するだけでよいからである。
【0245】
レーダー１１５０は、例えば、最大５００ミリワットのＥＩＲＰ（等価等方放射電力）の電力でＸバンド周波数（１０ＧＨｚ）でマイクロ波を放射する連続波ドップラーレーダーであってもよく、従って、近距離国際ラジエータに対するＦＣＣおよびＣＥ規制に準拠し得る。ただし、他の法域では、その他の電力レベルおよび周波数が、現地の規制に従って使用され得る。例示的な実施形態では、マイクロ波は、例えば、５～１２５ＧＨｚの間のより高い周波数で放射される。より低い物体速度でのより正確な測定のために、２０ＧＨｚ以上の周波数が使用され得る。相変調または周波数変調ＣＷレーダー、多周波数ＣＷレーダー、または単一周波数ＣＷレーダーを含む、任意の種類の連続波（ＣＷ）ドップラーレーダーを使用してもよい。ライダーなどの他の追跡デバイスは、可視または不可視の周波数領域のいずれかで放射線と共に使用され得ることが理解されよう。電流パルスレーダーシステムは、レーダーデバイスの近くの物体を追跡する能力が制限される。しかし、物体がこれらのパルスレーダーシステムからでなければならない距離は、時間と共に減少しており、減少し続けると予想される。したがって、これらの種類のレーダーは、これらの動作に対してまもなく有効になり得、以下に記載される発明のシステムにおけるそれらの使用が企図される。
【0246】
三次元的に物体を追跡することが可能な任意の種類のレーダーを使用してもよい。Ｘバンドまたは許可帯域内の任意の場所で作動するＭＦＣＷドップラーレーダーは、受信機間の位相差を測定し、それにより、伝送波の波長の知識を使用してローカルレーダー座標システム内のボールへの方向を導出する、および位相差を測定するために複数の周波数を送信し、それにより、伝送波の波長の知識からボールまでの範囲を導出するための、二次元配列内に間隔を置いて設置された複数の受信アンテナを備えることができる。
【0247】
レーダートラッカー１１５５は、未加工のセンサデータ内で、関心のある移動物体を検出し、可能な場合、同じ移動物体の連続検出を「トラック」につなぎ合わせる役割を果たす。したがって、トラックは、連続的な時間における移動物体の一つ以上の検出である。トラックは、ノイズの影響を除去するために平滑化されてもよく、トラックは、トラックに沿った位置が、測定された位置の間で内挿されるか、または測定された位置を超えて時間の前方および後方の両方に外挿されることを可能にする方法で表されてもよい。
【0248】
レーダー１１５０を世界座標、またはカメラ１１０５および３Ｄモデル１１３５に使用される任意の共通座標システムに較正するには、レーダーの位置および配向を決定する必要がある。この目的のために、レーダーユニットは、前述のように既知の内部パラメータを有し、ローカルレーダー座標システムに対する既知の相対位置および配向を有するカメラを備えてもよい。次いで、レーダー外部パラメータは、カメラ外部パラメータの決定のように決定され得る。
【0249】
好ましい実施形態では、レーダー１１５０およびカメラ１１０５は、既知のカメラ対レーダー較正を有する一つの物理的ハードウェアユニットに組み込まれ、これはユニットが製造される時に決定することができる。したがって、上述の技術または類似の方法を使用して、ユニットがゴルフコースに対して較正されると、レーダー１１５０およびカメラ１１０５の両方が、世界座標に対して較正され、測定値は、同じ座標システムで、ゴルフコースの一部の３Ｄモデル１１３５に参照され得る。
【0250】
好ましい実施形態では、飛行中のゴルフボールのトラックは、カメラ１１０５によって捕捉された画像に基づくボール検出器１１１０の検出と組み合わせて、レーダー１１５０によって決定される位置を使用して決定される。したがって、より正確なボールトラックを取得することができる。経時的にレーダー位置を平滑化するためにカルマンフィルタを使用する場合、カメラ１１０５からのボール検出を、位置決定の精度を高めるためにカルマンフィルタへの入力として使用することができる。強化されたレーダー軌道を使用して、レーダー測定値のみを使用して決定される位置よりも、より正確なボールの着地位置が、決定され得る。ボールの着地位置は、前述のように、カメラ－ボール線と３Ｄモデルとの間の交差を決定する方法と同様の方法で、ボールトラックとゴルフコースの部分の３Ｄモデル１１３５との間の交差１２２０として決定することができる。
【0251】
好ましい実施形態では、ボール検出器１１１０は、捜索領域を画像中の予想されるボール位置の近傍に減少するように誘導されてもよく、それによって、ボールを検出するために必要な計算を減少させることができる。レーダーからのボール位置は、各センサの内部および外部パラメータの知識を通して画像内に投影されてもよく、またはボール検出器は、カメラから受信された各新しい画像について、ボールの捜索領域が、一つ以上の以前の画像のどこでボールが検出されたかについての以前の情報を使用して決定され得るように、前の画像で検出されたボールの位置のメモリを含み得る。この情報は、前のフレームの（ｕ，ｖ）座標の配列としてボール検出器１１１０に保存され得る。ボール検出器１１１０は、代替的に、新しい画像を処理する際に、いくつかの連続した画像からの捜索領域の画像情報をニューラルネットワークに同時に供給して、ニューラルネットワークの検出速度および精度を向上させるように、以前の画像の配列を含んでもよい。
【0252】
さらに、ボール検出器１１１０は、捜索領域内のいくつかのボールを取り扱うように装備され得る。ゴルフラウンドまたはゴルフトーナメントでは、通常の条件下では、一度に一つのボールのみが特定のホールで移動し、その他のボールは静止する。ニューラルネットワークを用いて捜索領域内の複数のボールを検出し、以前の画像から保存された検出情報を使用することにより、どのボール検出が静止中のボールを表し、どのボール検出が移動するボールを表すかを決定することができる。代替的に、ボール検出のためにいくつかの連続する画像の領域を使用するように訓練されたニューラルネットワークは、出力の一部として、どの検出が静止中または移動中のボールを表すかを決定できる。これにより、画像内に複数のボールが存在する場合でも、動いているボールに従い、ボールの追跡を失わないように、捜索ウィンドウを更新することができる。本明細書に記載の方法は、システムにレーダーが存在しない時、またはレーダートラッカー１１５５がボールを追跡できなくなった時に、当初のボール検出が行われた後に限定された捜索ウィンドウを使用することを可能にする。
【0253】
ボール検出器１１１０は、二つ以上の連続した画像においてボール検出の（ｕ，ｖ）座標を比較することによって、移動するボールが静止する時を決定する。この決定が行われた後、ボール検出器１１１０は、非投影機１１１５、交差体１１２０、および出力モジュール１１２５に信号を送り、上述のように適切な計算を行い、出力を生成する。ゴルフショット用の以前のレーダー追跡が決定されている場合、こうして決定されたストロークの静止位置は、レーダー測定値に接続され、好ましくは、レーダー追跡にラベル付けするためにも使用される識別子でラベル付けされる。
【0254】
図１７ａは、様々な例示的な実施形態による、ボールの３Ｄ位置座標を決定するための方法１７００を示す。方法１７００を実施するためのシステムは、少なくとも、画像中のボールの存在を検出するためのカメラおよび処理装置を含み、画像座標を３Ｄ座標に非投影し、３Ｄ座標でカメラ－線ボールを決定し、カメラ－線ボールの交差点を決定する。上述のステップの様々なものは、上述のように、レーダーデータが追加的に利用可能である場合に強化され得る。３Ｄモデルとカメラ－ボール線の交差点は、３Ｄ座標におけるボールの位置を決定する。一部の実施形態では、システムは、ボールが静止しているかどうかを判定し、３Ｄ座標の位置が静止位置である。
【0255】
１７０２では、カメラは一連の画像を捕捉する。カメラは、追跡が行われるゴルフコースの一部の視野（ＦＯＶ）を提供するように選択されるセンサおよびレンズ、およびボール検出器が効果的に作動するのに十分なボールの画素を提供するように選択される解像度を有する。カメラは、特定のフレームレートｆｓで一連の画像（．．．，ｉ（ｎ－１），ｉ（ｎ），ｉ（ｎ＋１），．．．）を捕捉する。画像が捕捉された時間、ｔｎ、露出時間、クロップ領域、および潜在的に他のパラメータなどを含むメタデータを、画像に含めることができる。
【0256】
１７０４では、処理装置、例えば、そのボール検出モジュールが、カメラから順番に画像を受信し、画像上のボール検出アルゴリズムを実行して、ボールが画像中にあるかどうか、および検出されたボールの（ｕ，ｖ）座標の画素位置を決定する。一部の実施形態では、ボール検出器は、レーダーデータを使用して、例えば、捜索される画像領域を狭くする、または時間内にボール検出アルゴリズムの実行を誘発することができる。レーダーおよびカメラは、一つの物理的ハードウェアユニットに組み込まれてもよく、またはレーダーおよびカメラが、例えば、世界座標に共通に較正されている限り、別々に位置付けられてもよい。一部の実施形態では、ボール検出器は、レーダー追跡を改善するために、およびその後に続くボール検出の精度を改善するために、ボール検出をレーダー／処理装置に提供してもよい。一実施形態では、ボール検出器は、二つ以上の連続した画像においてボール検出の（ｕ，ｖ）座標を比較することによって、移動するボールが静止する時を決定する。
【0257】
ボール検出器は、以前の情報、例えば、前のフレームにおけるボール検出のための（ｕ，ｖ）座標の配列に基づいて、捜索領域を狭くすることができる。ボール検出アルゴリズムは、画像中のゴルフボールを検出するために訓練された畳み込み深層ニューラルネットワーク（ＣＮＮ）を含んでもよく、これは、ＣＮＮの検出速度および精度を高めるために、以前の画像の配列から捜索領域の画像情報を受信することができる。さらに、ボール検出アルゴリズムは、どのボール検出が静止中のボールを表し、どのボール検出が移動するボールを表すかを決定するロジックを使用して、捜索領域内のいくつかのボールを取り扱うように装備され得る。別の実施形態では、ニューラルネットワークは、どの検出が静止または移動するボールを表すかを判定するように訓練され、ボールのトラックを失うことなく捜索ウィンドウを更新できるようにする。
【0258】
１７０６では、処理装置、例えば、非投影モジュールが、カメラの内因的および外因的較正パラメータを読み取り、ボール検出器から受信した（ｕ，ｖ）座標を使用して、アルゴリズムを実行して、３Ｄ空間、例えば、世界座標のボールの方向で、カメラの焦点を通過する直線を含むカメラ－ボール線を決定する。処理装置は、画像、例えば、クロップ領域に関連付けられたメタデータをさらに使用して、カメラ－ボール線を決定することができる。クロップ領域はまた、一連の画像全体に対して一定に保持される場合、システムに保存されてもよい。
【0259】
１７０８では、処理装置、例えば、交差モジュールが、カメラ－ボール線およびカメラのＦＯＶとオーバーラップするゴルフコースの少なくとも一部の３Ｄモデルに基づいて、交差アルゴリズムを実行し、カメラ－ボール線の３Ｄモデルとの交差点を決定する。この交差点は、３Ｄモデルの表現に基づいて決定され、一部の実施形態では、交差点を決定するプロセスは、反復的であってもよく、または数値ソルバーを用いて最適化問題を解いてもよい。カメラおよび／またはレーダーおよび／または３Ｄモデルは、例えば、世界座標であり得る共通座標システムに対して較正される。３Ｄモデルは、コンピュータメモリに保存されたゴルフコース（またはゴルフコースの一部）の表現であり、コース上の所定の位置の地形の高さおよび／または種類を表す表面モデル（例えば、三角形のメッシュ、スプライン曲面など）を含む。３Ｄモデルは、３ＤモデルへのＧＰＳ位置などのマッピングの容易さなどのために、世界座標で提供され得る。３Ｄモデルはまた、ローカル座標システムで提供され、世界座標へのマッピングを有してもよい。
【0260】
１７１０では、処理装置、例えば、出力モジュールは、ボールの３Ｄ位置を、例えば、データベース、３Ｄグラフィックスレンダリングエンジン、他のコース特徴に対するボールの位置のグラフィカルな図などのいくつかの出力手段に出力する。
【0261】
ボールが静止していると判断される時、例えば、ボールが現在位置する地形の種類など、以下でより詳細に記述されるように、追加的な決定がなされ得る。
【0262】
弾みおよび転がりの追跡
本開示の別の態様では、カメラベースの追跡を使用して、ボールの弾みおよび転がりを追跡および決定してもよい。弾みの決定は、上述の非投影機１１１５で実施されることが好ましいが、（ｕ，ｖ）座標のみに基づいてボール検出器１１１０で実施されてもよい。一つの例示的な方法では、一連の画像が処理されて、以下に記載されるように、弾みの存在が決定される。
本開示の別の態様では、カメラベースの追跡を使用して、ボールの弾みおよび転がりを追跡および決定してもよい。弾みの決定は、上述の非投影機１１１５で実施されることが好ましいが、（ｕ，ｖ）座標のみに基づいてボール検出器１１１０で実施されてもよい。一つの例示的な方法では、一連の画像が処理されて、以下に記載されるように、弾みの存在が決定される。
【0263】
図１７ｂは、画像データに基づいて、動くボールの弾みおよび転がりを決定するための方法１７２０を示す。方法１７２０を実施するためのシステムは、少なくとも、カメラおよびボール検出器および非投影機を含む処理装置を含む、図１１および１７ａに上述したシステムと類似し得る。方法１７２０は、例えば、チップショット、アプローチショット、または弾む動作を示す任意の他のショットの追跡に使用することができる。
【0264】
１７２２では、上述の１７０２と同様に、カメラは一連の画像を捕捉する。１７２４では、１７０４と類似して、処理装置、例えば、そのボール検出モジュールが、カメラから画像を受信し、ボールが画像中にあるかどうか、および検出されたボールの（ｕ，ｖ）座標の画素位置を決定する。
【0265】
１７２６では、一連の画像が処理された後、ボール検出器（または一部の実施形態では、非投影機）は、一連の画像から（ｕ，ｖ）像面内のボール検出の時系列を生成する。１７２８では、非投影機は、非投影機が利用可能な内因的および外因的カメラ較正を使用して、（ｕ，ｖ）座標を一連のカメラ－ボール線に変換する。各線の仰角、すなわち、カメラ－ボール線と接地面との間の角度が計算され、カメラからの時系列の垂直投影角度がもたらされる。
【0266】
図１３は、一連の画像からの（ｕ，ｖ）像面におけるボール検出の時系列１３００および図１１に記載の非投影機１１１５によって決定されるカメラ－ボール線に対する仰角の対応する時系列１３５０を示す。時系列１３５０は、時系列１３５０の点１３５２および１３５４に示される、カメラからボールへの投影角度が最も急であり、ボールと地面との間の衝突に対応する可能性のある、検出を表す最小値に関して分析される。
【0267】
１７３０では、時系列１３５０におけるこれら最小値のカメラ－ボール線は、弾みに対応するが、図１１および１７ａに関して上述したように、弾みの３Ｄ位置を決定するために、交差モジュールに渡される。ボールは、これらの検出のために地面上、または地面の非常に近くにあると想定され得るため、３Ｄボール位置は、ボールの静止位置を決定するために使用される方法によって正確に決定され得る。弾み検出の精度は、最も可能性の高いサブフレーム時間、垂直投影角度および弾みのカメラ－ボール線を決定するために、（ｕ、ｖ）座標または垂直投影角度のいずれかを、時系列の最小値の前および後の両方で、外挿することによって、サブフレーム精度に改善されてもよい。
【0268】
レーダーを含むシステムでは、時には、別個のトラックとしてレーダー内の弾みを追跡し、転がるボールからの信号を追跡することが可能である。これらの場合、こうした情報は、カメラのみを使用して実行される弾みおよび転がり追跡を強化するために使用され得る。レーダー、ボールの半径方向速度およびボールまでの距離を測定し、ボールの半径方向速度は、ボールが弾むときに典型的には不連続性を呈するため、弾みを表すレーダー追跡の始点および終点を検出することによって、弾みの非常に正確なタイミングを求めることができる。
【0269】
１７３２では、弾みは転がりと区別される。ここで、以下に説明するように、（ｕ，ｖ）平面におけるボール検出の時系列１３００が、本明細書において別の方法で使用される。
【0270】
弾みの物理的モデルを使用して、ボールの弾みと転がりをより良好に区別することができる。例示的な方法では、画素位置検出の（ｕ、ｖ）時系列１３００における二つの連続する最小値が与えられると、各最小値でのボールの位置は、ボールが各最小で地面に衝突するという仮定の下で前述したように非投影から決定されてもよく、各想定される地面への衝突の時間は、各最小値に最も近い画像の時間として決定されてもよく、または代替的に、前述したように（ｕ、ｖ）検出の外挿を使用して決定されてもよい。決定された３Ｄ位置、および弾みの開始および終了の時間から、ボールのおよその３Ｄトラックは、物理的モデル１１６５に基づいて決定され得る。単純なモデルは、ボールが重力のみによって影響されると仮定することができ、従って、弾みに関連する低速および短距離において、けん引力および揚力（マグナス力）は無関係であると仮定する。物理モデル１１６５から決定されるトラックは、カメラ１１０５の像面上に投影され、二つの（ｕ，ｖ）時系列最小値の間のボール検出と比較される。良好な対応は、ボールが最小値の間に弾んだ可能性が高いことを示す。
【0271】
弾みであると判定されない（ｕ，ｖ）時系列の画像の検出は、ボールの転がりの一部であるとして分類される。ボールは転がる間、地面上にあると推測され得るため、転がりに対応するトラックは、（ｕ，ｖ）位置を非投影し、その後、カメラ－ボール線とコースの３ｄモデルとの間の交差を決定することによって作製され得る。
【0272】
１７３４では、このトラックは、ユーザーに出力するため、放送上に重ね合わせるため、または共通の識別子によってメインボールトラックに関連付けられて、データベースに保存されるために、出力モジュール１１２５に渡される。したがって、上述の方法を使用して決定されるボールトラックは、出力モジュール１１２５に渡される弾みに関する重要な情報を提供する。
【0273】
静止時のボールのライに対する地形の決定
別の態様では、ボールが次のストロークのためにその内／上に位置する、ボールのライまたは地形の特徴を決定することができる。二つの例示的な方法が説明され、または二つの方法の組み合わせが使用され得る。一つの方法では、ボールが静止していると判定された時、交差モジュール１１２０で判定されたボールの位置を、ゴルフコースの３Ｄモデル１１３５の情報と比較して、ボールがどの地形にあるかを決定することができる。これは、例えば、フェアウェイ、セミラフ、ラフ、フリンジ、バンカーまたはグリーンであり得る。別の方法では、画像中のボール検出は、草の長さを特徴付けるためにボールがどの程度のカメラに見えているか、またはボールを中心とする画像の小さなクロップの背景の分類に基づいて、フェアウェイ、セミラフ、ラフ、フリンジ、バンカー、またはグリーンのうちの一つに分類することができる。後者の決定は、ボールおよび地形を含む画像の小さなクロップに基づいて、ライの地形種類を検出するように訓練されたニューラルネットワークを用いて行うことができる。
別の態様では、ボールが次のストロークのためにその内／上に位置する、ボールのライまたは地形の特徴を決定することができる。二つの例示的な方法が説明され、または二つの方法の組み合わせが使用され得る。一つの方法では、ボールが静止していると判定された時、交差モジュール１１２０で判定されたボールの位置を、ゴルフコースの３Ｄモデル１１３５の情報と比較して、ボールがどの地形にあるかを決定することができる。これは、例えば、フェアウェイ、セミラフ、ラフ、フリンジ、バンカーまたはグリーンであり得る。別の方法では、画像中のボール検出は、草の長さを特徴付けるためにボールがどの程度のカメラに見えているか、またはボールを中心とする画像の小さなクロップの背景の分類に基づいて、フェアウェイ、セミラフ、ラフ、フリンジ、バンカー、またはグリーンのうちの一つに分類することができる。後者の決定は、ボールおよび地形を含む画像の小さなクロップに基づいて、ライの地形種類を検出するように訓練されたニューラルネットワークを用いて行うことができる。
【0274】
ボールが画像内に見えない場合、次のストロークが画像を捕捉することによって撮影されたときに、ライが決定されてもよく、画像内のゴルファーを検出され、ゴルファーがボールにアドレスした時に画像内のクラブが検出され、非投影によってクラブヘッドへの方向が推定され、ゴルフクラブのヘッドのおおよその位置が決定され、コースの３Ｄモデルにおけるこの位置に関連付けられた地形として地形種類が識別される。
【0275】
チップショットおよびパット
別の態様では、チップショットおよびパットは、弾みおよび転がり追跡のために上述したものと類似した技術を採用することによって、システムによって追跡されてもよい。チップおよびパットの追跡は、グリーン上でまたはグリーンのすぐ周りの領域からグリーン上に向けてのいずれかで、あらゆる方向にショットが打たれ、およびショットがしばしば低速であり、レーダーによって測定される低半径方向速度をもたらすため、レーダーのみのシステムでは一般的に可能ではない。チップショットは、一般に、初期ショットの弧に従い、一つ以上の弾みおよび転がりを含む。上述の非投影および交差技術を使用して、バウンスを追跡することにより、初期ショットの弧を追跡することができる。後続のショットの弾みおよび転がりは、既に説明した技術を使用して同様に追跡することができる。
別の態様では、チップショットおよびパットは、弾みおよび転がり追跡のために上述したものと類似した技術を採用することによって、システムによって追跡されてもよい。チップおよびパットの追跡は、グリーン上でまたはグリーンのすぐ周りの領域からグリーン上に向けてのいずれかで、あらゆる方向にショットが打たれ、およびショットがしばしば低速であり、レーダーによって測定される低半径方向速度をもたらすため、レーダーのみのシステムでは一般的に可能ではない。チップショットは、一般に、初期ショットの弧に従い、一つ以上の弾みおよび転がりを含む。上述の非投影および交差技術を使用して、バウンスを追跡することにより、初期ショットの弧を追跡することができる。後続のショットの弾みおよび転がりは、既に説明した技術を使用して同様に追跡することができる。
【0276】
パット軌道は、移動するボールの物理学によって特徴付けられる最大三つのセグメントに細分され得る：弾みセグメント；スライドセグメント；および転がりセグメント。弾みセグメントの間、ボールは小さな弾みを示し、ボールが地面に跳ね上がるたびにボールの速度が低下する。スライドセグメントの間、ボールは弾まないが、ボールの回転はボールが地上を走行する速度と合致せず、ボールを滑らせる。このセグメントでは、ボールは速度を失うが、ボールと地面との間の摩擦から生じるスピンが増加する。転がりセグメントの間、ボールは摩擦により速度を失う。一般的に、時間の関数として減少する速度は、弾みセグメント中に最大であり、転がりセグメント中に最小である。すべてのパットが弾みとスライドセグメントを示すわけではない。これらのパットの態様を測定し、上述の原理に関連する論理を使用して、パッティングセグメントを追跡データで特定することができる。パットセグメントおよび対応する速度低下に関するさらなる詳細は、米国特許第１０，４４４，３３９号に提供され、これは参照によりその全体が本明細書に組み込まれる。
【0277】
パットは、チップショットと類似の方法で追跡することができる。現在開示されているカメラおよび３Ｄモデルシステムを使用してパット軌道を追跡する時、ボールが全軌道の間に地上にあると仮定し、それによって、パット追跡を転がりの追跡に減少させることがしばしば有効である。弾み追跡が行われていない場合でも、パット軌道中のボールの速度は、３Ｄモデルと合致して、軌道の弾み、滑りおよび転がりセグメントを決定することができる。
【0278】
システム上の電力消費量および／または計算負荷を制限するために、システム１１００は、低周波数（１ｆｐｓなど）で画像を捕捉することができ、人検出１１７０を行うことができる。人検出１１７０が成功した場合（人が画像内で検出される）、ショットがまさに打たれそうかどうかを判断するために、アドレス検出１１７５を実行することができる。アドレスが検出された場合、システム１１００は、カメラ１１０５を、上記で特定したようにより高いフレームレートに切り替え、検出されたアドレスの周りの画像の領域でボール検出１１１０を開始できる。画像中のボールの位置の以前の知識、例えば、ボールの静止位置を決定するための例示的な方法によって決定された、を使用して、人検出１１７０が、アドレス検出１１７５をもたらす可能性が高いかどうかを決定することができる。例えば、ボールの近傍で人が検出された場合、アドレスは起こる可能性が高い。人検出の近くの画像にボールが検出されていない場合、アドレスは発生しない可能性が高い。人検知器１１７０およびアドレス検知器１１７５を、人を検出し、アドレス姿勢のゴルファーを検出するために訓練された畳み込みニューラルネットワークとして実装することが有利である。
【0279】
別の態様では、パッティングブレークファンは、パットおよびゴルフコースの３Ｄモデルの前に、ボールの静止位置から決定され得る。３Ｄパットブレイクファンは、ボールの初期位置からの異なるパット軌道を表示し、発射速度および発射方向の変化により、成功裏なパットの試みをもたらすはずである。予想される成功裏なパットの試みは、ボールをカップ内に落下させる速度でのホールの位置と交差するボール軌道として決定される。一般的に、これは、ボールがホールの上にある時に重力によってボール直径の半分以上落ちるかどうかに依存する。したがって、ホールの中心を横切るパット軌道は、ホールへの影響がより少ないパット軌道よりもより高速での成功裏なパットをもたらし得る。グリーンのスティンプおよびコースの３Ｄモデルの知識を使用して、パットの特定の発射速度および発射方向を想定して、ボールのシミュレーションされたパット軌道を決定することができる。パットブレイクファンを決定する方法は、異なる発射速度および発射方向を有する多くのパットをシミュレートし、どの発射条件が成功裏なパットをもたらすかを観察することである。
【0280】
図１４は、開始位置１４０５、ホール位置１４１０、および成功裏なパットをもたらす可能性のあるパット軌道を表す線１４１５－１４２５を含むプロット１４００を示す。線１４１５は、成功裏なパットをもたらす最も高い発射速度を表し、線１４２５は、成功裏なパットをもたらす最も低い発射速度を表し、線１４２０は、成功裏なパットをもたらす最も高い発射速度と最も低い発射速度との間の発射速度を表す。線１４１５および１４２５は、いわゆるパットブレイクファンの境界に対応する。多くの場合、線１４２０は、カップがその経路でボールを中断するために存在しない場合、ボールがホール位置を通過して２フィートで静止するパット軌道を表す。線１４１５と１４２０の間のパットは、パットが成功しなかった場合、２フィート未満の短いフォローアップパットをもたらす可能性が高いが、線１４２０と１４２５の間のパット軌道は、２フィートを超えるフォローアップパットをもたらす。
【0281】
図１５は、成功裏なパットをもたらすためのパットの発射方向と発射速度の組み合わせの図表１５１０として、および第二のパットのピンまでの距離が等しいボール位置をもたらす発射方向と発射速度の組み合わせを示す等高線１５１５、１５２０としてのパットブレイクファン１５００を示す。
【0282】
パットの成功の許容度を決定するための方法が提供される。成功裏なパットが打たれ、システムによって追跡され、結果が決定されると、成功に対する耐性は、発射速度および発射方向に対する小さな変化および結果として生じるシミュレーション結果のシミュレーションによって決定され得る。成功しなかったパットについても、同様に、パットが成功するためには、発射条件をどの程度変更する必要があるかを決定することができる。この情報は、パットの初期位置からの成功裏なパットのための、発射速度と発射方向の組み合わせを示す二次元図として出力することができる。
【0283】
一部の状況では、ゴルファーはパットをホールに沈めようとはせず、代わりに、次のパットが成功する確率を高めるために、ボールをより好ましい位置、おそらくピンに近い位置に置くパットを実行しようとする。このようなレイアップパットの結果は、シュミレーションパットによって類似の方法で分析することができる。発射速度対発射方向のプロット上のアイソカーブは、次のショットのためのピンからの同様の距離をもたらす発射条件を示すことができる。
【0284】
別の態様では、３Ｄボールトラックからのグリーンのスティンプおよびグリーンの３Ｄモデルを決定するために、逆計算が行われる。当業者に理解されるように、スティンプは、表面によるボールの移動に適用される抵抗を記述するグリーンの尺度である（すなわち、表面品質が、丘での重力の影響などに対して、転がる最中にボールをどれだけ減速させるかなど）。スティンプは、ボールがグリーンの抵抗によって減速する程度を測定するため、ボールトラックに沿った任意の高さの変化を考慮して、速度減衰を計算することによって決定することができる。日光、灌漑、排水などの要因により、スティンプはグリーンにわたって変化し、方向に依存することが多い。しかしながら、いくつかのパットの追跡に基づいて、成功裏なパットに対するパット軌道および耐性のさらなる分析のために、グリーンを横切るスティンプの２Ｄマップを決定することができる。
【0285】
さらに別の態様では、既知の弾みを表すカメラベースのトラックを使用して、カメラとコースの３Ｄモデルとの間の較正を更新できる。この較正の精度は、非投影時にカメラ－ボール線を正確に決定し、したがって、交差モジュールにおいて正確なボール位置を決定するのに重要である。
【0286】
上述のように、弾みは、弾みの開始および終了の３Ｄ位置、ならびに弾んでいる時間に基づいて、物理的モデルによって特徴付けられ得る。弾みのボール位置を像面に投影することによって、投影されたボール画素位置およびボール検出の画素位置を比較することができる。カメラから３Ｄモデルへの較正がわずかに変更された場合、弾みの新しい物理モデルが結果として生じ、これが像面に投影され、ボール検出と比較され得る。したがって、較正オフセットは、物理的モデルボール位置の投影を、検出されたボール位置に最も一致させる較正に対する変化として決定することができる。
【0287】
同様に、ボールまでの距離が、弾みの開始時間または終了時間にレーダーから特定され得る場合、レーダーによって決定される範囲は、交差モジュールで決定されるボールまでの距離と比較されてもよく、３Ｄモデルに対するカメラの較正は、レーダーによって測定されたボールまでの範囲に最もよく合致する、交差モジュール内のカメラからボールまでの範囲を取得するために更新されてもよい。こうした更新は、適用する較正更新をより正確に決定するために、いくつかの検出を行った後に適用することができ、または適応フィルタを使用して、較正オフセットの検出に関するノイズを取り除くことができる。逆に、カメラの３Ｄモデルに対する較正がより信頼される場合、レーダー範囲測定値は、カメラおよび３Ｄモデル内のボール検出から決定される弾みの位置を反映するように更新され得る。
【0288】
図１７ｃは、様々な例示的な実施形態による、今度のパットの情報を決定するための方法１７４０を示す。方法１７４０を実施するためのシステムは、少なくとも、カメラならびにボール検出器、非投影機および交差モジュールを含む処理装置を含む、図１１および１７ａ－ｂに上述したシステムと類似し得る。方法１７４０は、例えば、今度のパットの分析を生成するために使用することができる。
【0289】
１７４２では、上記と同様に、カメラは一連の画像を捕捉し、処理装置は、ボールが画像中にあるかどうか、および検出されたボールの（ｕ，ｖ）座標の画素位置を決定し、処理装置は、カメラ－ボール線を決定し、処理装置は、カメラ－ボール線と３Ｄモデルとの交差点を決定する。
【0290】
ボールの３Ｄ位置は、グリーン上のボールの静止位置である。この静止位置に基づいて、今度のパットに関する情報を決定することができる。
【0291】
１７４４では、グリーンのスティンプおよびコースの３Ｄモデルの知識を使用して、パットの特定の発射速度および発射方向を想定して、ボールのシミュレーションされたパット軌道を決定することができる。多くのパットが異なる発射速度および発射方向でシミュレーションされ、どの発射条件が成功裏なパットをもたらすかが観察される。
【0292】
１７４６では、様々なシミュレーションされた発射条件が、パットブレイクファン図にマッピングされる。
【0293】
図１７ｄは、様々な例示的な実施形態による、追跡されたパットに基づいて、パッティンググリーンの地形パラメータを決定するための方法１７５０を示す。方法１７５０を実施するためのシステムは、少なくとも、カメラならびにボール検出器、非投影機および交差モジュールを含む処理装置を含む、図１１および１７ａ－ｃに上述したシステムと類似し得る。方法１７５０は、例えば、実行されたパットに基づいてグリーンの条件を分析するために使用することができる。
【0294】
１７５２では、上記と同様に、カメラは一連の画像を捕捉し、処理装置は、ボールが画像中にあるかどうか、および検出されたボールの（ｕ，ｖ）座標の画素位置を決定し、処理装置は、カメラ－ボール線を決定し、処理装置は、カメラ－ボール線と３Ｄモデルとの交差点を決定する。しかしながら、このステップでは、カメラは、現在のパットを追跡するためにこの位置決定機能を実施する。
【0295】
１７５４では、追跡されたパットの速度減衰を含む、パットのパラメータが抽出される。速度減衰は、パットの全体、またはパットの複数のセグメントに対して特徴付けされ得る。
【0296】
１７５６では、パットのパラメータは、その経路に沿ってパットされたボールによって遭遇される高度差に基づいて精密化される。このステップは、好ましくは、グリーンの３Ｄモデルに基づいて実施される。しかしながら、高度の差異は、追跡装置によって直接追跡されてもよい。
【0297】
１７５８では、グリーンのスティンプが決定される。上述のように、日光、灌漑などの要因により、スティンプはグリーンにわたって変化し、方向に依存することが多い。しかしながら、いくつかのパットの追跡に基づいて、成功裏なパットに対するパット軌道および耐性のさらなる分析のために、グリーンを横切るスティンプの２Ｄマップを決定することができる。
【0298】
本開示は、以下を含むシステムに関する：複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存するように構成されたデータベースであって、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含むデータベース；スポーツ選手の画像を含むビデオストリームを捕捉するように構成されたカメラ；スポーツ選手によって発射されたスポーツボールの軌道に対応するデータを捕捉するように構成された追跡装置；および以下のように構成されたデータベース、カメラおよび追跡装置に連結された処理装置：ビデオストリームからの画像中に第一のスポーツ選手を検出し、第一の検出されたスポーツ選手の視覚的特徴を決定し；決定された視覚的特徴を、データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させ；および第一のスポーツショットと関連付けられた第一の軌道を、第一のプレーヤーＩＤと関連付ける。
【0299】
視覚的プロファイルは、スポーツ選手のボールを打つスイングの特徴についての情報を含む。ボールを打つスイングの特徴は、ボールを打つスイングの生体力学と組み合わせた生体測定データポイントを含む。スポーツ選手の生体測定データポイントは、身長、肢の長さ、およびそれに依存するパラメータを含む。ボールを打つスイングの生体力学は、振られているボールを打つ用具に対する肢の位置、または脚に対する身体のねじれの程度を含む。視覚的プロファイルは、スポーツ選手の顔の特徴または衣服の特徴に関する情報を含む。
【0300】
スポーツ選手の衣服特性は、カメラまたはスポーツイベントの開始時のさらなるカメラによって視覚的に検出される。新しいスポーツ選手のボールを打つスイングの特徴、顔の特徴、または衣服の特徴を分析することによって、データベースでまだ識別されていない新しいスポーツ選手について、新しいプロファイルおよび関連する視覚的プロファイルを生成する。処理装置が新しいスポーツ選手から新しいプロファイルを生成するための表示を受信し、カメラまたはさらなるカメラが、新しいスポーツ選手のビデオストリームを捕捉して、新しいスポーツ選手のボールを打つスイングの特徴、顔の特徴または衣服の特徴を分析するときに、プロファイルがデータベース内で生成される。第一のスポーツ選手によって運ばれ、第一のスポーツ選手と関連付けられる電子識別子は、第一の視覚的プロファイルに対する決定された視覚的特徴の一致を改善するために、処理装置によって配置される。電子識別子は、ＧＰＳ座標を処理装置に送信するデバイスを含む。スポーツ選手はゴルファーであり、処理装置は、第一の検出されたスポーツ選手の決定された視覚的特徴を第一の視覚的プロファイルと一致する時に考慮されるデータベース内のプロファイルのリストを狭めることによって、第一の検出されたスポーツ選手の決定された視覚的特徴と第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤの一致を改善するように、ゴルフ理論を利用するアルゴリズムを実行するようにさらに構成される。
【0301】
ゴルフ理論には、ゴルファーのグループ分け、ゴルフホールレイアウト、またはゴルフコースレイアウトに関連する理論が含まれる。ゴルフ理論は、追跡装置からのデータに基づいて決定される、第一の検出されたスポーツ選手に関連付けられたスポーツボールの一つ目の推定される現在のライに関連する理論を含む。アルゴリズムは、ゴルファーを検出し、視覚的プロファイルに一致させるように訓練されたニューラルネットワークを含む。ニューラルネットワークは、ゴルファーの視覚的特徴の変化に基づいて、プレー全体を通して更新される。ニューラルネットワークは、各スポーツ選手の検出および視覚的プロファイルとの一致の後、多くのスポーツ選手の検出および視覚的プロファイルとの一致の後、または以前のプレーヤー検出からの所定の時間の後、更新される。処理装置はさらに、第一の軌道のパラメータおよび関連するプレーヤーＩＤを放送に出力するように構成される。処理装置はさらに、第一のスポーツ選手の次のショットの前に、プレーヤーＩＤに関連付けられた第一のスポーツ選手のパーソナルデバイスに、第一の軌道のパラメータを出力するように構成される。パーソナルデバイスのアプリケーションが、ライ位置を示し、第二のスポーツボールを見つけるのを助けるための情報を提供することができるように、第一の軌道のパラメータは、第二のスポーツボールが静止した後、第二のスポーツボールの二つ目の測定または推定されたライ位置を含む。
【0302】
スポーツ選手はゴルファーであり、第一の軌道のパラメータは、第一のゴルファーが打ったボールが、そのスポーツ選手がプレーしているゴルフコースの第一の領域の位置で停止したという表示を含み、第一の領域は、それに関連付けられた特別なルールを有し、パラメータは、第一のゴルファーが位置および特別なルールに基づいて、次のショットを打つことができる第二の領域の表示をさらに含む。処理装置は、スポーツイベント中にスポーツ選手の最初の一人によって打たれたすべてのショットの全ての軌道に対するパラメータを含む要約を蓄積するようにさらに構成される。スポーツ選手はゴルファーであり、処理装置はさらに、以下のように構成される：第一のスポーツ選手によって打たれた第一のショットのために、第一のスポーツ選手によって使用されたゴルフクラブの種類を検出する；および検出されたゴルフクラブの種類を第一の軌道と関連付ける。ゴルフクラブの種類は、複数の異なる種類のゴルフクラブを認識するように訓練されたニューラルネットワークを使用して、ビデオストリーム内で検出される。ゴルフクラブの種類は、ゴルフクラブが使用されている時にゴルフクラブに取り付けられた電子タグから発信される信号に基づいて検出される。処理装置はさらに、データベースが第一の軌道のパラメータを第一の視覚的プロファイルに関連付けることができるように、第一の軌道のパラメータをデータベースに出力するように構成される。
【0303】
本開示はまた、カメラによって捕捉されたビデオストリームから画像内の第一のスポーツ選手を検出すること、第一の検出されたスポーツ選手の視覚的特徴を決定すること、決定された視覚的特徴を、データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させることであって、データベースは、複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存し、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含む、一致させること、および、第一のスポーツボールと関連付けられた第一の軌道を第一のプレーヤーＩＤと関連付けることであって、第一の軌道は、追跡装置によって捕捉されたスポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される関連付けること、を含む方法に関連する。
【0304】
本開示はまた、データベース、カメラおよび以下の動作を行うように構成された追跡装置に結合されたプロセッサに関する：カメラによって捕捉されたビデオストリームから画像中に第一のスポーツ選手を検出すること；第一の検出されたスポーツ選手の視覚的特徴を決定すること、決定された視覚的特徴を、データベースに保存された第一のプロファイルの第一の視覚的プロファイルおよび関連する第一のプレーヤーＩＤと一致させることであって、データベースは、複数のスポーツ選手の視覚的プロファイルを含むプロファイルを保存し、各視覚的プロファイルは、プレーヤーの識別情報を含み、各プロファイルは、関連するプレーヤーＩＤを含む、一致させること、および、第一のスポーツボールと関連付けられた第一の軌道を第一のプレーヤーＩＤと関連付けることであって、第一の軌道は、追跡装置によって捕捉されたスポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される関連付けること。
【0305】
本開示はまた、以下を含むシステムに関する：複数のスポーツ選手の各々のプロファイルを保存するように構成されたデータベースであって、各プロファイルは、プレーヤーのうちの一人の識別情報およびスポーツ選手のうちの一人と関連するプレーヤーＩＤを含むデータベース；スポーツ選手によって発射されたスポーツボールの軌道に対応するショットデータを捕捉するように構成された追跡装置；プレーヤーまたはボールを打つ用具のスイング動作に対応する運動データを捕捉するように構成された運動センサデバイス；および以下のように構成されたデータベース、追跡装置および運動センサデバイスに連結された処理装置：運動センサデバイスによって捕捉された運動データから第一のスポーツ選手の第一のスイングを検出し、第一のスポーツ選手は第一のプレーヤーＩＤと関連付けられる；第一のスポーツ選手の第一のスイングを、第一のスイングに対して検出された第一のタイムスタンプおよび第一の場所と関連付ける；および第一のタイムスタンプおよび第一の場所に基づいて、第一のスイングに対応する第一のショットに対応する追跡装置によって捕捉されたショットデータからのスポーツボールの第一の軌道を関連付ける。
【0306】
システムは、第一のスイング、第一のタイムスタンプ、第一の場所およびさらなるスイングに対応するさらなるタイムスタンプおよびさらなる位置を有するさらなるスイングのその後の検出に対応するスイングデータを保存し、第一のスイングおよびさらなるスイングは、それぞれ、対応する第一のタイムスタンプおよび第一の場所ならびにさらなるタイムスタンプおよびさらなる位置に基づいて、第一のスポーツ選手のプレーの終了時の第一のスイングおよびさらなるスイングの軌道と一致する。運動センサデバイスまたは運動センサデバイスに関連付けられたさらなるデバイスは、第一のスイングの位置を決定するためのＧＰＳ機能を有する。第一のスポーツ選手によって運ばれ、第一のスポーツ選手と関連付けられる電子識別子が検出され、第一のスイングの位置が決定される。スポーツ選手はゴルファーであり、処理装置はさらに、ゴルフ理論を利用してアルゴリズムを実行するように構成され、一致を行う際に考慮されるデータベース内のプロファイルのリストを狭くすることによって、第一のスイングと第一の軌道との一致を改善する。
【0307】
ゴルフ理論には、ゴルファーのグループ分け、ゴルフホールレイアウト、またはゴルフコースレイアウトに関連する理論が含まれる。ゴルフ理論は、追跡装置からのデータに基づいて決定される、第一のスポーツ選手のボールの推定される現在のライに関連する理論を含む。処理装置はさらに、第一のスポーツ選手の次のショットの前に、プレーヤーＩＤに関連付けられた第一のスポーツ選手のパーソナルデバイスに、第一の軌道のパラメータを出力するように構成される。第一の軌道のパラメータは、パーソナルデバイス上のアプリケーションが対応するスポーツボールの発見を容易にするデータを提供できるように、対応するスポーツボールが静止した後の、対応するスポーツボールの一つに対する推定されたライ位置を含む。スポーツ選手はゴルフコース上でプレーをするゴルファーであり、第一の軌道のパラメータは、第一のゴルファーが打ったボールが、ゴルフコースの第一の領域内の位置で静止したという表示を含み、第一の領域は、それに関連付けられた特別なルールを有し、パラメータは、第一のゴルファーが位置および特別なルールに従って次のショットを打つことができる第二の領域の表示をさらに含む。
【0308】
処理装置は、スポーツイベント中に第一のスポーツ選手によって打たれたすべてのショットの全ての軌道に対するパラメータを含む要約を蓄積するようにさらに構成される。スポーツ選手はゴルファーであり、処理装置はさらに、以下のように構成される：第一のゴルフショットのために第一のスポーツ選手に使用されたゴルフクラブの種類を検出する；および検出されたゴルフクラブの種類を第一の軌道と関連付ける。ゴルフクラブの種類は、クラブが使用されている時にゴルフクラブに取り付けられた電子タグから発信される信号に基づいて検出される。
【0309】
本開示はまた、以下を含む方法に関連する：運動センサデバイスによって捕捉された運動データから第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手の第一のスイングを検出することであって、運動センサデバイスは、プレーヤーまたはボールを打つ用具のスイング動作に対応する運動データを捕捉し、データベースは、複数のスポーツ選手の各々に対するプロファイルを保存し、各プロファイルは、プレーヤーうちの一人の識別情報およびスポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含む、検出すること、第一のスポーツ選手の第一のスイングを、タイムスタンプおよび位置と関連付けること、および、スポーツボールの第一の軌道を、タイムスタンプおよび位置に基づいて、第一のスイングと関連付けることであって、第一の軌道は、追跡装置によって捕捉されたスポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される関連付けること。
【0310】
本開示はまた、データベース、運動センサデバイスおよび以下の動作を行うように構成された追跡装置に連結されたプロセッサに関連する：運動センサデバイスによって捕捉された運動データから第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手の第一のスイングを検出することであって、運動センサデバイスは、プレーヤーまたはボールを打つ用具のスイング動作に対応する運動データを捕捉し、データベースは、複数のスポーツ選手の各々に対するプロファイルを保存し、各プロファイルは、プレーヤーうちの一人の識別情報およびスポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含む検出すること；および、第一のスポーツ選手の第一のスイングを、タイムスタンプおよび位置と関連付けること；および、スポーツボールの第一の軌道を、タイムスタンプおよび位置に基づいて、第一のスイングと関連付けることであって、第一の軌道は、追跡装置によって捕捉されたスポーツ選手によって発射されたスポーツボールの軌道に対応するデータから決定される関連付けること。
【0311】
本開示はまた、以下を含むシステムに関する：複数のスポーツ選手の各々のプロファイルを保存するように構成されたデータベースであって、各プロファイルは、プレーヤーのうちの一人の識別情報およびスポーツ選手のうちの一人と関連するプレーヤーＩＤを含むデータベース；スポーツ選手によって発射されたスポーツボールの軌道に対応するショットデータを捕捉するように構成された追跡装置；第一のプレーヤーＩＤに関連付けられた複数のスポーツ選手のうちの第一のスポーツ選手に関連付けられた位置決定デバイスであって、位置決定デバイスが、所与の時間における位置決定デバイスの位置に近似する位置データを捕捉するように構成される、位置決定デバイス；および以下のように構成されたデータベース、追跡装置および位置決定デバイスに連結された処理装置：ショットデータ内で、第一のスポーツボールの第一の軌道を検出する；第一のスポーツボールが発射された第一の位置および第一のスポーツボールが発射された第一の時間を決定し；第一の時間を含む持続時間にわたって位置決定デバイスの位置を含む位置データを受信し、各位置はタイムスタンプと関連付けられ；第一の位置および第一の軌道と関連付けられた第一の時間が、位置データの第一の場所および第一のタイムスタンプと一致することを決定し；および第一のスポーツボールの第一の軌道を第一のプレーヤーＩＤと関連付ける。
【0312】
第一の位置および第一の時間と第一の場所および第一のタイムスタンプを一致させることは、以下を含む：世界座標システムにおける第一の位置および第一の場所を決定すること；および所定の距離内の第一の位置と第一の場所との間の対応を決定すること。システムは、第一のスポーツ選手のゴルフの第一のラウンドの位置データを保存し、ショットデータにおいて検出された軌道は、それぞれ、ゴルフの第一のラウンドの終了時に位置データと一致する。位置決定デバイスは、位置データを決定するためのＧＰＳ機能を有する。スポーツ選手はゴルファーであり、処理装置はさらに、ゴルフ理論を利用してアルゴリズムを実行して、一致を行う際に考慮されるデータベース内のプロファイルのリストを狭くすることによって、第一の位置および第一の時間と第一の場所および第一のタイムスタンプとの一致を改善するように構成される。
【0313】
ゴルフ理論には、ゴルファーのグループ分け、ゴルフホールレイアウト、またはゴルフコースレイアウトに関連する理論が含まれる。ゴルフ理論は、追跡装置からのデータに基づいて決定される、第一のスポーツ選手のボールの推定される現在のライに関連する理論を含む。処理装置はさらに、第一のスポーツ選手の次のショットの前に、プレーヤーＩＤに関連付けられた第一のスポーツ選手のパーソナルデバイスに、第一の軌道のパラメータを出力するように構成される。第一の軌道のパラメータは、パーソナルデバイス上のアプリケーションが第一の軌道に対応するスポーツボールの発見を容易にするデータを提供できるように、第一の軌道に対応するスポーツボールが静止した後、第一の軌道に対応するスポーツボールに対する推定されるライ位置を含む。スポーツ選手はゴルフコース上でプレーをするゴルファーであり、第一の軌道のパラメータは、第一のゴルファーが打ったボールが、ゴルフコースの第一の領域内の位置で静止したという表示を含み、第一の領域は、それに関連付けられた特別なルールを有し、パラメータは、第一のゴルファーが位置および特別なルールに従って次のショットを打つことができる第二の領域の表示をさらに含む。
【0314】
処理装置は、スポーツイベント中に第一のスポーツ選手によって打たれたすべてのショットの全ての軌道に対するパラメータを含む要約を蓄積するようにさらに構成される。スポーツ選手はゴルファーであり、処理装置はさらに、以下のように構成される：第一の軌道に対応する第一のゴルフショットのために第一のスポーツ選手に使用されたゴルフクラブの種類を検出する；および検出されたゴルフクラブの種類を第一の軌道と関連付ける。ゴルフクラブの種類は、クラブが使用されている時にゴルフクラブに取り付けられた電子タグから発信される信号に基づいて検出される。
【0315】
本開示はまた、以下を含む方法に関連する：スポーツ選手によって発射されたスポーツボールの軌道に対応する追跡装置によって捕捉されたショットデータにおいて、第一のスポーツボールの第一の軌道を検出すること；第一のスポーツボールが発射された第一の位置および第一のスポーツボールが発射された第一の時間を決定すること；第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手に関連付けられた位置決定デバイスから位置データを受信することであって、データベースは、複数のスポーツ選手の各々についてのプロファイルを保存し、各プロファイルは、プレーヤーのうちの一人の識別情報およびスポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含み、位置データは、所与の時間における位置決定デバイスの位置を近似し、位置データは、第一の時間を含む持続時間にわたる位置決定デバイスの位置を含み、各位置は、タイムスタンプと関連付けられる、受信すること；第一の位置および第一の軌道と関連付けられた第一の時間が、位置データの第一の場所および第一のタイムスタンプと一致することを決定すること；および第一のスポーツボールの第一の軌道を第一のプレーヤーＩＤと関連付けること。
【0316】
本開示はまた、以下を含む動作を行うように構成されたデータベース、追跡装置および位置決定デバイスに連結されたプロセッサに関連する：スポーツ選手によって発射されるスポーツボールの軌道に対応する追跡装置によって捕捉されたショットデータにおいて、第一のスポーツボールの第一の軌道を検出すること、第一のスポーツボールが発射された第一の位置および第一のスポーツボールが発射された第一の時間を決定すること；第一のプレーヤーＩＤに関連付けられた第一のスポーツ選手に関連付けられた位置決定デバイスから位置データを受信することであって、データベースは、複数のスポーツ選手のそれぞれに対するプロファイルを保存し、各プロファイルは、プレーヤーのうちの一人の識別情報およびスポーツ選手のうちの一人に関連付けられたプレーヤーＩＤを含み、位置データは、所与の時間における位置決定デバイスの位置を近似し、位置データは、第一の時間を含む持続時間にわたる位置決定デバイスの位置を含み、各位置は、タイムスタンプと関連付けられる、受信すること；第一の位置および第一の軌道と関連付けられた第一の時間が、位置データの第一の場所および第一のタイムスタンプと一致することを決定すること；および第一のスポーツボールの第一の軌道を第一のプレーヤーＩＤと関連付けること。
【0317】
本開示はまた、以下を含むシステムに関する：スポーツボールの位置に対応するデータを捕捉するように構成されたロボットカメラであって、捕捉されたデータまたはコマンドに応答してロボットカメラの配向およびズームレベルを自動的に調整するようにさらに構成されるロボットカメラ；および以下のように構成されたロボットカメラに連結された処理装置：ロボットカメラの初期配向が世界座標システムで既知であるように、ロボットカメラを事前較正し、ロボットカメラによって使用される複数の異なるズームレベルの各々をそれぞれの内因的パラメータ値と関連付ける；第一の画像の画像座標システムにおいてスポーツボールの第一の画像位置を検出し、第一の画像は第一の配向でロボットカメラに捕捉される；ロボットカメラから、第一の画像に関連付けられた第一のズームレベルおよび第一のズームレベルに関連付けられた内因的パラメータ値を読み取る；初期配向に対するロボットカメラのパンおよびチルトに基づいて、ロボットカメラの第一の配向を決定する；スポーツボールの検出された第一の画像位置、決定された第一の配向および第一のズームレベルの内因的パラメータ値に基づいて、ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を決定する；および、ロボットカメラに対する外因的情報に基づいて、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定する。
【0318】
第一の位置画像では、スポーツボールは、スポーツプレー領域の表面上にあり、ロボットカメラに対する外因的情報は、スポーツボールの三次元位置を包含するスポーツプレー領域の少なくとも一部分の三次元モデルから受信される情報を含み、処理装置は、線と三次元モデルの交差を位置付けることによって、スポーツボールの三次元位置を決定する。システムはさらに、ロボットカメラに固定されたパンおよびチルトセンサを含み、処理装置は、パンおよびチルトセンサから初期配向に対するロボットカメラのパンおよびチルトを読み取るようにさらに構成される。
【0319】
ロボットカメラのパンおよびチルトは、ロボットカメラを第一の配向に調整するために使用される制御信号から決定され、制御信号は、第一の画像の捕捉前に捕捉されたスポーツボールの追跡データに応答して生成される。ロボットカメラは、取り込まれたデータまたは外部コマンドに応答して、クロップを自動的に調整するようにさらに構成される。内因的パラメータは、焦点距離、主点、およびレンズ歪みを含む。ロボットカメラに対する外因的情報は、ロボットカメラからのスポーツボールの距離に関するセンサからの情報を含む。
【0320】
本開示はまた、以下を含む方法に関する：ロボットカメラの初期配向が世界座標システム内で既知であるように、ロボットカメラを事前較正し、ロボットカメラによって使用される複数の異なるズームレベルの各々をそれぞれの内因的パラメータ値と関連付けることであって、ロボットカメラは、スポーツボールの位置に対応するデータを捕捉するように構成され、ロボットカメラは、捕捉されたデータまたはコマンドに応答して配向およびズームレベルを自動的に調整するようにさらに構成される、事前較正し、関連付けること；第一の画像の画像座標システムにおいてスポーツボールの第一の画像位置を検出することであって、第一の画像は第一の配向でロボットカメラに捕捉される検出すること；ロボットカメラからの第一のズームレベルおよび第一の画像に対応するロボットカメラの第一のズームレベルのための関連付けられた内因的パラメータ値を読み取ること；初期配向に対するロボットカメラのパンおよびチルトに基づいて、ロボットカメラの第一の配向を決定すること；スポーツボールの検出された第一の画像位置、決定された第一の配向および第一のズームレベルの内因的パラメータ値に基づいて、ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を決定すること；およびロボットカメラに対する外因的情報に基づいて、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0321】
本開示はまた、以下を含む動作を行うように構成されたロボットカメラに連結されたプロセッサに関する：ロボットカメラの初期配向が世界座標システムで既知であり、ロボットカメラによって使用される異なるズームレベルの各々をそれぞれの内因的パラメータ値と関連付けられるようにロボットカメラを事前較正することであって、ロボットカメラは、スポーツボールの位置に対応するデータを捕捉するように構成され、ロボットカメラは、捕捉されたデータまたはコマンドに応答して配向およびズームレベルを自動的に調整するようにさらに構成される事前較正すること；第一の画像の画像座標システムにおいてスポーツボールの第一の画像位置を検出することであって、第一の画像は第一の配向でロボットカメラに捕捉される検出すること；ロボットカメラからの第一のズームレベルおよび第一の画像に対応する第一のズームレベルのための関連付けられた内因的パラメータ値を読み取ること；初期配向に対するロボットカメラのパンおよびチルトに基づいて、ロボットカメラの第一の配向を決定すること；スポーツボールの検出された第一の画像位置、決定された第一の配向および第一のズームレベルの内因的パラメータ値に基づいて、ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を決定すること；およびロボットカメラに対する外因的情報に基づいて、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0322】
本開示はまた、以下を含むシステムに関連する：世界座標システム内に所定の位置を有するロボットカメラであって、スポーツボールの位置に対応するデータを捕捉するように構成され、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成されたロボットカメラ；および、以下のように構成されたロボットカメラに連結された処理装置：第一の画像の画像座標システムにおいてスポーツボールの第一の画像位置を検出し、第一の画像は第一の配向で、ロボットカメラで捕捉される；基準点をその視野内に取り込むために、第一の画像内の画像座標システム内またはロボットカメラの配向の初期調整後に捕捉されたさらなる画像内の基準点を検出し、基準点の三次元位置は世界座標システムで既知である；基準点が第二の画像中の第一の画像位置に位置するように、ロボットカメラの配向を第二の配向に調整する；第一の配向と第二の配向との間の配向の差異を決定する；ロボットカメラに対する基準点の三次元位置および第一の配向と第二の配向との間の配向の差異に基づいて、ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を決定する；および、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定する。
【0323】
第一の画像位置では、スポーツボールは、スポーツプレー領域の表面上にあり、スポーツボールの三次元位置は、線とスポーツボールの三次元位置を包含するスポーツプレー領域の少なくとも一部分の三次元モデルとの間の交差の識別に基づいて決定される。
【0324】
第二の画像は、第一の画像に対してズームレベルを調整することなく捕捉される。システムは、ロボットカメラに固定されたパンおよびチルトセンサをさらに備え、処理装置は、パンおよびチルトセンサから第一の配向と第二の配向との間の配向の差異を読み取るようにさらに構成される。
【0325】
本開示はまた、以下を含む方法に関連する：第一の画像における画像座標システム内のスポーツボールの第一の画像位置を検出することであって、第一の画像は、第一の配向でロボットカメラに捕捉され、ロボットカメラは世界座標システムにおいて所定の位置を有し、ロボットカメラは、スポーツボールの位置に対応するデータを捕捉するように構成され、ロボットカメラは、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成される検出すること；基準点をその視野内に取り込むために、第一の画像内の画像座標システム内またはロボットカメラの配向の初期調整後に捕捉されたさらなる画像内の基準点を検出することであって、基準点の三次元位置は世界座標システムで既知である検出こと；基準点が第二の画像中の第一の画像位置に位置するように、ロボットカメラの配向を第二の配向に調整すること；第一の配向と第二の配向との間の配向の差異を決定すること；ロボットカメラに対する基準点の三次元位置および第一の配向と第二の配向との間の配向の差異に基づいて、ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を決定すること；線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0326】
本開示はまた、以下を含む動作を行うように構成されたロボットカメラに関連する：第一の画像における画像座標システム内のスポーツボールの第一の画像位置を検出することであって、第一の画像は、第一の配向でロボットカメラに捕捉され、ロボットカメラは世界座標システムにおいて所定の位置を有し、ロボットカメラは、スポーツボールの位置に対応するデータを捕捉するように構成され、ロボットカメラは、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成される検出すること；基準点をその視野内に取り込むために、第一の画像内の画像座標システム内またはロボットカメラの配向の初期調整後に捕捉されたさらなる画像内の基準点を検出することであって、基準点の三次元位置は世界座標システムで既知である検出こと；基準点が第二の画像中の第一の画像位置に位置するように、ロボットカメラの配向を第二の配向に調整すること；第一の配向と第二の配向との間の配向の差異を決定すること；ロボットカメラに対する基準点の三次元位置および第一の配向と第二の配向との間の配向の差異に基づいて、ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を決定すること；および、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0327】
本開示はまた、以下を含むシステムに関連する：スポーツボールの位置に対応する第一のデータを捕捉するように構成されたロボットカメラである第一のカメラであって、ロボットカメラは捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成された第一のカメラ；スポーツボールの位置に対応する第二のデータを捕捉するように構成された世界座標システムに較正された第二のカメラ；および、以下のように構成されるロボットカメラおよび第二のカメラに連結された処理装置：第一の画像の画像座標システムにおいてスポーツボールの第一の画像位置を検出し、第一の画像はロボットカメラの第一の配向で捕捉される；第一の画像中の少なくとも第一の特徴を検出する；第二のカメラによって捕捉された第二の画像において第一の特徴を検出する；第二のカメラ較正に基づいて、世界座標システムにおける第一の特徴の三次元位置を決定する；第一の特徴に基づいて、第一と第二の画像との間で特徴照合を行い、第二の画像内に第一の画像位置を特定する；ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を、世界座標システム内の第一の特徴の三次元位置およびスポーツボールの第一の画像位置に基づいて決定する；および三次元線に沿って位置する世界座標システム内のスポーツボールの三次元位置を決定する。
【0328】
第一の画像位置では、スポーツボールは、スポーツプレー領域の表面上にあり、スポーツボールの三次元位置は、線とスポーツボールの三次元位置を包含するスポーツプレー領域の少なくとも一部分の三次元モデルとの間の交差に基づいて決定される。第二のカメラは、第一のカメラと同一場所に配置される。スポーツプレー領域は、ゴルフコースであり、第一の特徴は、木、バンカー、池、ゴルフ旗、グリーンを含む。
【0329】
本開示はまた、以下を含む方法に関連する：第一の画像における画像座標システム内のスポーツボールの第一の画像位置を検出することであって、第一の画像は、第一のカメラの第一の配向で捕捉され、第一のカメラは、スポーツボールの位置に対応する第一のデータを捕捉するように構成されたロボットカメラであり、ロボットカメラは、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成される検出すること；第一の画像中の少なくとも第一の特徴を検出すること；第二のカメラによって捕捉された第二の画像における第一の特徴を検出することであって、第二のカメラは世界座標システムに較正され、スポーツボールの位置に対応する第二のデータを捕捉するように構成される検出すること；第二のカメラ較正に基づいて、世界座標システムにおける第一の特徴の三次元位置を決定すること；第一の特徴に基づいて、第一と第二の画像との間で特徴照合を行い、第二の画像内に第一の画像位置を特定すること；ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を、世界座標システム内の第一の特徴の三次元位置およびスポーツボールの第一の画像位置に基づいて決定すること；および、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0330】
本開示はまた、以下の動作を行うように構成された第一のカメラおよび第二のカメラに連結された処理装置に関連する：第一の画像における画像座標システム内のスポーツボールの第一の画像位置を検出することであって、第一の画像は、第一のカメラの第一の配向で捕捉され、第一のカメラは、スポーツボールの位置に対応する第一のデータを捕捉するように構成されたロボットカメラであり、ロボットカメラは、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成される検出すること；第一の画像中の少なくとも第一の特徴を検出すること；第二のカメラによって捕捉された第二の画像における第一の特徴を検出することであって、第二のカメラは世界座標システムに較正され、スポーツボールの位置に対応する第二のデータを捕捉するように構成される検出すること；第二のカメラ較正に基づいて、世界座標システムにおける第一の特徴の三次元位置を決定すること；第一の特徴に基づいて、第一と第二の画像との間で特徴照合を行い、第二の画像内に第一の画像位置を特定すること；ロボットカメラおよび世界座標システム内のスポーツボールを通って延在する三次元線を、世界座標システム内の第一の特徴の三次元位置およびスポーツボールの第一の画像位置に基づいて決定すること；および、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0331】
本開示はまた、以下を含むシステムに関連する：スポーツボールの位置に対応するデータを捕捉するように構成されたロボットカメラであって、ロボットカメラは捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成されたロボットカメラ；および以下のように構成されるロボットカメラに連結された処理装置：複数の画像における画像座標システムでスポーツボールの画像位置を検出し、第一の画像におけるスポーツボールの第一の画像位置はロボットカメラの第一の配向で捕捉される；第一の基準点および第二の基準点がロボットカメラの視野内に位置するように、ロボットカメラのズームレベルを第二のズームレベルに調整し、スポーツボールの画像位置は、ズームレベルが調整されている間に追跡される；第二の画像内の画像座標システム中に第一の基準点の第二の画像位置および第二の基準点の第三の画像位置を検出する；第二の画像内のスポーツボールの第四の画像位置を決定する；第二の画像位置および第三の画像位置を、所定の角度で、ロボットカメラに対する第一の基準点および第二の基準点に相関させることによって、第二の画像位置および第三の画像位置に対する第四の画像位置の角度位置を決定する；第一の画像位置、第二のズームレベルおよび第二および第三の画像位置に対する第一の画像位置の角度位置に基づいて、世界座標システムで、ロボットカメラおよびスポーツボールを通って延在する三次元線を決定する；および三次元線に沿って位置する世界座標システム内のスポーツボールの三次元位置を決定する。
【0332】
第一の画像位置では、スポーツボールは、スポーツプレー領域の表面上にあり、スポーツボールの三次元位置は、線とスポーツボールの三次元位置を包含するスポーツプレー領域の少なくとも一部分の三次元モデルとの間の交差を識別することにより決定される。第二の画像は、第一の画像に対する配向を調整することなく捕捉される。スポーツボールが第二の画像内に見えない場合、第二の画像内のスポーツボールの第四の画像位置は、ズームレベルが調整されている間にスポーツボールの画像位置の追跡に基づいて推定される。
【0333】
本開示はまた、以下を含む方法に関連する：画像座標システム内の複数の画像におけるスポーツボールの画像位置を検出することであって、第一の画像内のスポーツボールの画像位置は、ロボットカメラの第一の配向で捕捉され、ロボットカメラは、スポーツボールの位置に対応するデータを捕捉するように構成され、ロボットカメラは、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成される検出すること；第一の基準点および第二の基準点がロボットカメラの視野内に位置するように、ロボットカメラのズームレベルを第二のズームレベルに調整することであって、スポーツボールの画像位置は、ズームレベルが調整されている間に追跡される調整すること；第二の画像内の画像座標システム中に第一の基準点の第二の画像位置および第二の基準点の第三の画像位置を検出すること；第二の画像内のスポーツボールの第四の画像位置を決定すること；第二の画像位置および第三の画像位置を、所定の角度で、ロボットカメラに対する第一の基準点および第二の基準点に相関させることによって、第二の画像位置および第三の画像位置に対する第四の画像位置の角度位置を決定すること；第一の画像位置、第二のズームレベルおよび第二および第三の画像位置に対する第一の画像位置の角度位置に基づいて、世界座標システムで、ロボットカメラおよびスポーツボールを通って延在する三次元線を決定すること；および、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0334】
本開示はまた、以下を含む動作を行うように構成されたロボットカメラに連結されたプロセッサに関連する：複数の画像における画像座標システム内のスポーツボールの画像位置を検出することであって、第一の画像内のスポーツボールの画像位置は、ロボットカメラの第一の配向で捕捉され、ロボットカメラは、スポーツボールの位置に対応するデータを捕捉するように構成され、ロボットカメラは、捕捉されたデータまたはコマンドに応答して、配向およびズームレベルを自動的に調整するようにさらに構成される検出すること；第一の基準点および第二の基準点がロボットカメラの視野内に位置するように、ロボットカメラのズームレベルを第二のズームレベルに調整することであって、スポーツボールの画像位置は、ズームレベルが調整されている間に追跡される調整すること；第二の画像内の画像座標システム中に第一の基準点の第二の画像位置および第二の基準点の第三の画像位置を検出すること；第二の画像内のスポーツボールの第四の画像位置を決定すること；第二の画像位置および第三の画像位置を、所定の角度で、ロボットカメラに対する第一の基準点および第二の基準点に相関させることによって、第二の画像位置および第三の画像位置に対する第四の画像位置の角度位置を決定すること；第一の画像位置、第二のズームレベルおよび第二および第三の画像位置に対する第一の画像位置の角度位置に基づいて、世界座標システムで、ロボットカメラおよびスポーツボールを通って延在する三次元線を決定すること；および、三次元線に沿って位置する世界座標システムにおけるスポーツボールの三次元位置を決定すること。
【0335】
本開示はまた、以下を含むシステムに関する：スポーツボールの軌道に対応するデータを捕捉するように構成されたセンサ視野を有する第一のセンサ；スポーツボールの軌道の第一の部分の第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の視野を有する第一の放送カメラ；および、以下のように構成される第一のセンサおよび第一の放送カメラに連結された処理装置：第一の画像中の画素配向が第一のセンサの座標システムに対して既知であるように、第一のセンサを第一の放送カメラに対して較正し、較正は、異なるズームレベルでの第一のセンサのパラメータと第一の放送カメラとの間の関係をさらに含む；スポーツボールが第一の視野を横断する時に、スポーツボール軌道の第一の部分の第一の画像を含む第一のビデオストリームを使用して、ブロードキャストビデオフィードを生成する；スポーツボールがセンサ視野を横断する時に、スポーツボール軌道のデータに基づいて、軌道パラメータを決定する；およびスポーツボールの経路を示すトレーサーをブロードキャストビデオフィードに挿入し、トレーサーは、第一のセンサと第一の放送カメラとの間の較正に基づいて生成される。
【0336】
第一のセンサは追跡カメラである。処理装置は、追跡カメラおよび第一の放送カメラからの画像間の特徴照合をすることによって、第一の放送カメラの現在のズームレベルを決定するようにさらに構成される。トレーサーは、異なるズームレベルの較正に基づいて、第一の放送カメラの現在のズームレベルに関係なく、ブロードキャストビデオフィードに挿入される。スポーツボールの位置は、トレーサーの開始点のレンダリングを改善するために、発射前に一つ以上の第一の画像にて検出される。ボール識別アルゴリズムは、第一の画像にてスポーツボールの位置を捜索する。スポーツボールを見つけるために、発射前にプレーヤーのスタンスが検出される。請求項２８に記載のシステムは、スポーツボールの軌道の第二の部分の第二の画像を含む第二のビデオストリームを捕捉するように構成された第二の視野を有する第二の放送カメラをさらに含み、処理装置はさらに、以下のように構成される：第二の画像中の画素配向が第一のセンサの座標システムに対して既知であるように、第一のセンサを第二の放送カメラに対して較正し、較正は、異なるズームレベルに対する第一のセンサのパラメータと第二の放送カメラとの間の関係をさらに含む；ブロードキャストビデオフィードを、スポーツボールが第二の視野を横断する時に、スポーツボール軌道の第二の部分の第二の画像を含む第二のビデオストリームに切替える；および、第一のセンサと第二の放送カメラとの間の較正に基づいて、ブロードキャストビデオフィード内にさらにトレーサーを挿入する。
【0337】
本開示はまた、以下を含む方法に関する：第一のセンサを第一の放送カメラに較正することであって、第一のセンサは、センサ視野を有し、スポーツボールの軌道に対応するデータを捕捉するように構成され、第一の放送カメラは、スポーツボールの軌道の第一の部分の第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の視野を有し、第一のセンサおよび第一の放送カメラは、画素配向が第一のセンサの座標システムに対して既知であるように較正され、較正は、異なるズームレベルでの第一のセンサのパラメータと第一の放送カメラとの関係をさらに含む較正すること；スポーツボールが第一の視野を横断する時に、スポーツボール軌道の第一の部分の第一の画像を含む第一のビデオストリームを使用して、ブロードキャストビデオフィードを生成すること；スポーツボールがセンサ視野を横断する時に、スポーツボール軌道のデータに基づいて、軌道パラメータを決定すること；および、スポーツボールの経路を示すトレーサーをブロードキャストビデオフィードに挿入することであって、トレーサーは、第一のセンサと第一の放送カメラとの間の較正に基づいて生成される挿入すること。
【0338】
本開示はまた、以下を含む動作を行うように構成された第一のセンサおよび第一の放送カメラに連結されたプロセッサに関する：第一のセンサを第一の放送カメラに較正することであって、第一のセンサは、センサ視野を有し、スポーツボールの軌道に対応するデータを捕捉するように構成され、第一の放送カメラは、スポーツボールの軌道の第一の部分の第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の視野を有し、第一のセンサおよび第一の放送カメラは、画素配向が第一のセンサの座標システムに対して既知であるように較正され、較正は、異なるズームレベルでの第一のセンサのパラメータと第一の放送カメラとの関係をさらに含む較正すること；スポーツボールが第一の視野を横断する時に、スポーツボール軌道の第一の部分の第一の画像を含む第一のビデオストリームを使用して、ブロードキャストビデオフィードを生成すること；スポーツボールがセンサ視野を横断する時に、スポーツボール軌道のデータに基づいて、軌道パラメータを決定すること；および、スポーツボールの経路を示すトレーサーをブロードキャストビデオフィードに挿入することであって、トレーサーは、第一のセンサと第一の放送カメラとの間の較正に基づいて生成される挿入すること。
【0339】
本開示はまた以下を含むシステムに関する：初期軌道の後にスポーツボールが弾みおよび転がる画像をカメラ座標システム内で捕捉するように構成された第一の視野を有する追跡カメラであって、それに関連付けられた内因的および外因的較正パラメータを有する追跡カメラ；第一の視野とオーバーラップするスポーツプレー領域の少なくとも一部の内因的および外因的較正パラメータおよび三次元（３Ｄ）モデルを含む記憶装置；および以下のように構成される追跡カメラに連結される処理装置：画像中のスポーツボールの画素位置を検出するために、ボールの検出を行う；内因的および外因的較正パラメータに基づいて、カメラを通過する直線を含むカメラ－ボール線、３Ｄ座標システムにおけるスポーツボールの方向を判定する；３Ｄモデルに基づいて、カメラ－ボール線と３Ｄモデルとの交差点を決定する；交差点を画像内のスポーツボールの３Ｄ位置として出力する。
【0340】
処理装置はさらに、以下のように構成される：スポーツボールの画素位置を連続する画像で比較することによって、スポーツボールが静止していると決定する；および交差点を画像内のスポーツボールの３Ｄ静止位置として出力する。捕捉された画像は、画像が取り込まれた時間、露出時間、およびクロップ領域を含むメタデータと関連付けられる。システムは、スポーツボールのレーダーデータを捕捉するように構成された第一の視野と少なくとも部分的に重なり合う第二の視野を有する追跡レーダーをさらに含み、処理装置は、レーダーデータに依存してスポーツボールを検出して、画像内で捜索される領域および時間内に捜索される画像の数を狭くするようにさらに構成される。画像と組み合わせたレーダーデータを使用したスポーツボールの検出は、スポーツボールの３Ｄ位置決定の精度を改善するために、処理装置によって使用される。処理装置は、画像中のスポーツボールを検出するように訓練されたニューラルネットワークを使用して、スポーツボールを検出するようにさらに構成される。
【0341】
ニューラルネットワークは、以前の画像からの捜索領域に情報を使用して、現在の画像でのスポーツボールの検出の精度を改善する。処理装置はさらに、画像のクロップ領域に基づいて、カメラ－ボール線を決定するように構成される。スポーツプレー領域は、ゴルフコースであり、ゴルフコースの部分の３Ｄモデルは、ゴルフコース上の所与の位置の地形の高さを表す表面モデルを含む。表面モデルはさらに、ゴルフコースの所定の位置の地形種類を表す。処理装置はさらに、３Ｄモデルに基づいてスポーツボールが検出される地形の種類を決定するように構成される。表面モデルは、三角形のメッシュまたはスプライン曲面を含む。交差点は、反復プロセスを使用して、または数値ソルバーを使用して、最適化問題を解決するように決定される。画像中のスポーツボールの３Ｄ位置は、データベース、３Ｄグラフィックレンダリングエンジン、またはスポーツボールの３Ｄ位置のグラフィカルな図に出力される。３Ｄモデルは、カメラ－ボール線の３Ｄ座標システムで提供される。
【0342】
本開示は以下を含む方法に関する：追跡カメラによって捕捉された画像中のスポーツボールの画素位置を検出するためにボール検出を行うことであって、追跡カメラは、初期期軌道の後にスポーツボールが弾みおよび転がる画像をカメラ座標システム内で捕捉するように構成された第一の視野を有し、追跡カメラは、記憶装置に保存された、それに関連付けられた内因的および外因的較正パラメータを有する行うこと；内因的および外因的較正パラメータに基づいて、カメラを通過する直線を含むカメラ－ボール線、３Ｄ座標システムにおけるスポーツボールの方向を決定すること；記憶装置に保存された三次元（３Ｄ）モデルに基づいて、３Ｄモデルとカメラ－ボール線の交差点を決定することであって、３Ｄモデルは、第一の視野と重複するスポーツプレー領域の少なくとも一部を含む決定すること；交差点を画像内のスポーツボールの３Ｄ位置として出力すること。
【0343】
本開示はまた、以下を含む動作を行うように構成された追跡カメラおよび記憶装置に結合されたプロセッサに関する：追跡カメラによって捕捉された画像内のスポーツボールの画素位置を検出するためにボール検出を行うことであって、追跡カメラは、初期軌道の後にカメラ座標システム内でスポーツボールが弾みおよび転がる画像を捕捉するように構成された第一の視野を有し、追跡カメラは、記憶装置に保存された、それに関連付けられた内因的および外因的較正パラメータを有するボール検出を行うこと；内因的および外因的較正パラメータに基づいて、カメラを通過する直線を含むカメラ－ボール線、３Ｄ座標システムにおけるスポーツボールの方向を決定すること；記憶装置に保存された三次元（３Ｄ）モデルに基づいて、３Ｄモデルとカメラ－ボール線の交差点を決定することであって、３Ｄモデルは、第一の視野と重複するスポーツプレー領域の少なくとも一部を含む決定すること；交差点を画像内のスポーツボールの３Ｄ位置として出力すること。
【0344】
本開示はまた以下を含むシステムに関する：初期軌道の後にスポーツボールが弾みおよび転がる画像をカメラ座標システムの像面内で捕捉するように構成された第一の視野を有する追跡カメラであって、それに関連付けられた内因的および外因的較正パラメータを有する追跡カメラ；内因的および外因的較正パラメータを含む記憶装置；および以下のように構成される追跡カメラおよび記憶装置に連結される処理装置：各一連の画像におけるスポーツボールの像面内で画素位置を検出するために、ボールの検出を行う；像面内のボール検出の第一の時系列を生成する；内因的および外因的較正パラメータに基づいて、第一の時系列における各スポーツボールの検出について、３Ｄ座標システムにおけるスポーツボールの方向にカメラを通過する直線を含むカメラ－ボール線を決定する；各カメラ－ボール線の仰角の第二の時系列を生成する；および第二の時系列の最小値に基づいて、一連の画像に捕捉されたスポーツボールの弾みを識別する。
【0345】
記憶装置は、第一の視野と重複するスポーツプレー領域の少なくとも一部の三次元（３Ｄ）モデルを更に保存し、処理装置は、以下のようにさらに構成される：３Ｄモデルに基づいて、各識別された弾みについて、３Ｄモデルとカメラ－ボール線の交差点を決定する；および交差点をスポーツボールの弾みの３Ｄ位置として出力する。システムは、スポーツボールのレーダーデータを捕捉するように構成された第一の視野と少なくとも部分的に重なり合う第二の視野を有する追跡レーダーをさらに含み、処理装置は、レーダーデータの速度の非連続性を決定することにより、レーダーデータに依存して弾みを識別するようにさらに構成される。処理装置は、さらに以下のように構成される：弾みの物理的モデルに基づいて、第二の時系列において弾みと転がりを区別する；および弾みとして決定されていない第二の時系列における各最小値を転がりと分類する。画像中のスポーツボールの３Ｄ位置は、データベース、３Ｄグラフィックレンダリングエンジン、またはスポーツボールの３Ｄ位置のグラフィカルな図に出力される。
【0346】
本開示はまた、以下を含む方法に関する：追跡カメラによって捕捉された一連の画像の各々中のスポーツボールの像面中の画素位置を検出するためにボール検出を行うことであって、追跡カメラは、初期期軌道の後にスポーツボールが弾みおよび転がる画像をカメラ座標システムの像面内で捕捉するように構成された第一の視野を有し、追跡カメラは、記憶装置に保存された、それに関連付けられた内因的および外因的較正パラメータを有する行うこと；像面内のボール検出の第一の時系列を生成すること；内因的および外因的較正パラメータに基づいて、第一の時系列における各ボールの検出について、３Ｄ座標システムにおけるスポーツボールの方向にカメラを通過する直線を含むカメラ－ボール線を決定すること；各カメラ－ボール線の仰角の第二の時系列を生成すること；および第二の時系列の最小値に基づいて、一連の画像に捕捉されたスポーツボールの弾みを識別すること。
【0347】
本開示はまた、以下を含む動作を行うように構成された追跡カメラおよび記憶装置に結合されたプロセッサに関する：追跡カメラによって捕捉された各一連の画像内のスポーツボールの像面内の画素位置を検出するためにボール検出を行うことであって、追跡カメラは、初期軌道の後にカメラ座標システムの像面内でスポーツボールが弾みおよび転がる画像を捕捉するように構成された第一の視野を有し、追跡カメラは、記憶装置に保存された、それに関連付けられた内因的および外因的較正パラメータを有するボール検出を行うこと；像面内のボール検出の第一の時系列を生成すること；内因的および外因的較正パラメータに基づいて、第一の時系列における各ボールの検出について、３Ｄ座標システムにおけるスポーツボールの方向にカメラを通過する直線を含むカメラ－ボール線を決定すること；各カメラ－ボール線の仰角の第二の時系列を生成すること；および第二の時系列の最小値に基づいて、一連の画像に捕捉されたスポーツボールの弾みを識別すること。
【0348】
本開示はまた、以下を含むシステムに関する：スポーツボールの軌道に対応するデータを捕捉するように構成されたセンサ視野を有する第一のセンサ；スポーツボールの軌道の第一の部分の第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の視野を有する第一の放送カメラ；スポーツボールの軌道の第二の部分の第二の画像を含む第二のビデオストリームを捕捉するように構成された第二の視野を有する第二の放送カメラ；および以下のように構成された第一のセンサ、および第一および第二の放送カメラに連結された処理装置：スポーツボールが第一の視野を横断する時に、スポーツボール軌道の第一の部分の第一の画像を含む第一のビデオストリームを使用して、ブロードキャストビデオフィードを生成する；スポーツボールがセンサ視野を横断する時に、スポーツボール軌道のデータに基づいて、軌道パラメータを決定する；軌道パラメータに基づいて、スポーツボールのイベントを検出する；およびブロードキャストビデオフィードを、第二の放送カメラが、スポーツボールが第二の視野を横断する時に、スポーツボール軌道の第二の部分の第二の画像を捕捉するように、検出するイベントに依存して第二のビデオストリームを使用するように切替える。
【0349】
イベントは、スポーツボールが第二の視野に入ったか、または入る予定であることを示す位置基準のパラメータを含む。位置基準は、発射位置から第一の距離を超えて移動しているスポーツボール、または基準線から第二の距離を超えて移動している発射されたボールを含む。イベントは、スポーツボールの発射を含む。第二の放送カメラは、ロボットカメラを含み、第二のカメラの動作状態は、第一のカメラパラメータに関連付けられた第一の状態から、第二のカメラパラメータに関連付けられた第二の状態に調整される。第一および第二のカメラパラメータは、それぞれ、第一および第二の状態のロボットカメラに対して、クロップ、配向、およびズームレベルを含む。処理装置は、スポーツボールが見つかる可能性が高い領域の第二の放送カメラに、関心領域を提供するようにさらに構成される。第二の視野は、少なくとも部分的に第一の視野と重複する。
【0350】
第二の視野は、第一の視野と重複しない。ブロードキャストビデオフィードは、イベントの検出に続く所定の遅延後に第二のビデオストリームを使用するように切り替えられる。第一のセンサおよび第一の放送カメラは、同じ追跡ユニット上の同一場所に配置される。第一のセンサおよび第一の放送カメラは、放送のために追加的に使用される追跡カメラを含む同一のデバイスである。第一のセンサ、第一の放送カメラおよび第二の放送カメラは、ブロードキャストビデオフィード内のスポーツボールの軌道をマッピングするトレーサーが、第一のビデオストリームおよび第二のビデオストリームに適用できるように、互いに較正される。
【0351】
本開示はまた、以下を含む方法に関する：スポーツボールの軌道の第一の部分の第一の画像の第一の画像を含む第一のビデオストリームを使用して、ブロードキャストビデオフィードを生成することであって、第一のビデオストリームは、第一の視野を有する第一の放送カメラによって捕捉され、第一のビデオストリームは、スポーツボールが第一の視野を横断する時に、スポーツボールの軌道の第一の部分の第一の画像を含む生成すること；スポーツボールがセンサ視野を横断する時に、センサ視野を有する第一のセンサによって捕捉されたスポーツボールの軌道のデータに基づいて、軌道パラメータを決定すること；軌道パラメータに基づいて、スポーツボールのイベントを検出すること；およびブロードキャストビデオフィードを、スポーツボールの軌道の第二の部分の第二の画像を含む第二のビデオストリームを使用するように切替えることであって、第二のビデオストリームは、第二の視野を有する第二の放送カメラによって捕捉され、ブロードキャストビデオフィードは、スポーツボールが第二の視野を横断する時に、第二の放送カメラが、スポーツボール軌道の第二の部分の第二の画像を捕捉するように、検出するイベントに依存して切り替えられる切り替えること。
【0352】
本開示はまた、以下を含む動作を行うように構成された第一のセンサおよび第一および第二の放送カメラに連結されたプロセッサに関する：スポーツボールの軌道の第一の部分の第一の画像の第一の画像を含む第一のビデオストリームを使用して、ブロードキャストビデオフィードを生成することであって、第一のビデオストリームは、第一の視野を有する第一の放送カメラによって捕捉され、第一のビデオストリームは、スポーツボールが第一の視野を横断する時に、スポーツボールの軌道の第一の部分の第一の画像を含む生成すること；スポーツボールがセンサ視野を横断する時に、センサ視野を有する第一のセンサによって捕捉されたスポーツボールの軌道のデータに基づいて、軌道パラメータを決定すること；軌道パラメータに基づいて、スポーツボールのイベントを検出すること；およびブロードキャストビデオフィードを、スポーツボールの軌道の第二の部分の第二の画像を含む第二のビデオストリームを使用するように切替えることであって、第二のビデオストリームは、第二の視野を有する第二の放送カメラによって捕捉され、ブロードキャストビデオフィードは、スポーツボールが第二の視野を横断する時に、第二の放送カメラが、スポーツボール軌道の第二の部分の第二の画像を捕捉するように、検出するイベントに依存して切り替えられる切り替えること。
【0353】
本開示はまた、以下を含むシステムに関する：スポーツボールの軌道およびプレーヤーの特徴に対応するデータを捕捉するように構成されたセンサ視野を有する第一のセンサ；第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の放送カメラ；第二の画像を含む第二のビデオストリームを捕捉するように構成された第二の放送カメラ；および以下のように構成された第一のセンサおよび第一および第二の放送カメラに連結される処理装置：カスタムブロードキャストビデオフィードについての基準を受信し、基準は、カスタムブロードキャストビデオフィードにて表されるプレーヤーまたは場所の優先順位付けに関する；第一の放送カメラを使用して、カスタムブロードキャストビデオフィードの第一の部分を生成する；優先プレーヤーまたは位置に関するイベントを検出し、イベントは、優先プレーヤーの動作または位置または優先プレーヤーと関連付けられたスポーツボールの一つの目の軌道パラメータに基づく；およびカスタムブロードキャストビデオフィードを、カスタムブロードキャストビデオフィードが、優先プレーヤーまたは優先プレーヤーに関連付けられた第一のスポーツボールの軌道の第二の画像を含むように、検出されるイベントに依存して第二のビデオストリームを使用するように切り替える。
【0354】
イベントは、第二の放送カメラの第二の画像内の優先プレーヤーの検出および識別を含む。イベントは、第二の画像で検出された優先プレーヤーの位置または配向をさらに含む。優先プレーヤーの位置または配向は、スポーツボールに近づく、スポーツボールの上に立つ、クラブを振る、またはスポーツボールを打つ、優先プレーヤーを含む。ニューラルネットワークを使用して、イベントを検出する。イベントは、優先プレーヤーによって発射されるスポーツボールが第二の放送カメラの第二の画像に捕捉され得ることを示す位置基準のパラメータを含む。位置基準は、発射位置から第一の距離を超えて移動しているスポーツボール、または基準線から第二の距離を超えて移動しているスポーツボールを含み、またはイベントはスポーツボールの発射を含む。第二の放送カメラは、ロボットカメラを含み、第二のカメラの動作状態は、第一のカメラパラメータを使用する第一の状態から、第二のカメラパラメータを使用する第二の状態へ調整される。
【0355】
第一および第二のカメラパラメータは、ロボットカメラに対して、クロップ、配向、およびズームレベルを含む。ロボットカメラは、第一のセンサに対して較正される。第一のセンサ、第一の放送カメラおよび第二の放送カメラは、カスタムブロードキャストビデオフィード内のスポーツボールの軌道をマッピングするトレーサーが、第一のビデオストリームおよび第二のビデオストリームに適用できるように、互いに較正される。カスタムブロードキャストビデオフィードの基準は、以下を含む：優先プレーヤーのすべてのショットはカスタムブロードキャストビデオフィードに表示される；特定の国／地域からのすべてのプレーヤーのすべてのショットはカスタムブロードキャストビデオフィードに表示される；またはカスタムブロードキャストビデオフィードにどのショットを表示するかを決定する際に、特定のプレーヤーの層が識別され、優先順位が付けられる。複数の優先プレーヤーが同時にショットを打つと判断される時、優先プレーヤーのうちの一人のビデオストリームは、優先プレーヤーのうちの別の一人のビデオストリームの後の放送用にバッファリングされる。
【0356】
本開示はまた、以下を含む方法に関する：カスタムブロードキャストビデオフィードの基準、カスタムブロードキャストビデオフィードに表示されるプレーヤーまたは場所の優先順位付けに関する基準を受信すること；第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の放送カメラを使用して、カスタムブロードキャストビデオフィードの第一の部分を生成すること；優先プレーヤーまたは位置に関するイベントを検出することであって、イベントは、優先プレーヤーの動作または位置または優先プレーヤーと関連付けられた第一のスポーツボールの軌道パラメータに基づき、イベントは、スポーツボールの軌道またはプレーヤーの特徴に対応するデータを捕捉するように構成されたセンサ視野を有する第一のセンサによって検出される検出すること；およびカスタムブロードキャストビデオフィードを、第二の放送カメラによって捕捉された第二の画像を含む第二のビデオストリームを使用するように切り替えることであって、カスタムブロードキャストビデオフィードが、優先プレーヤーまたは優先プレーヤーに関連付けられた第一のスポーツボールの軌道の第二の画像を含むように、カスタムブロードキャストビデオフィードは検出されるイベントに依存して切り替えられる切り替えること。
【0357】
本開示はまた、以下の動作を行うように構成された第一のセンサおよび第一および第二の放送カメラに連結されるプロセッサに関する：カスタムブロードキャストビデオフィードについての基準を受信することであって、基準は、カスタムブロードキャストビデオフィードにて表されるプレーヤーまたは場所の優先順位付けに関する受信すること；第一の画像を含む第一のビデオストリームを捕捉するように構成された第一の放送カメラを使用して、カスタムブロードキャストビデオフィードの第一の部分を生成すること；優先プレーヤーまたは位置に関するイベントを検出することであって、イベントは、優先プレーヤーの動作または位置または優先プレーヤーと関連付けられた第一のスポーツボールの軌道パラメータに基づき、イベントは、スポーツボールの軌道またはプレーヤーの特徴に対応するデータを捕捉するように構成されたセンサ視野を有する第一のセンサによって検出される検出すること；およびカスタムブロードキャストビデオフィードを、第二の放送カメラによって捕捉された第二の画像を含む第二のビデオストリームを使用するように切り替えることであって、カスタムブロードキャストビデオフィードが、優先プレーヤーまたは優先プレーヤーに関連付けられた第一のスポーツボールの軌道の第二の画像を含むように、カスタムブロードキャストビデオフィードは検出されるイベントに依存して切り替えられる切り替えること。
【0358】
本開示はまた、以下を含むシステムに関する：スポーツボールの発射を含むスポーツボールの軌道の第一の部分に対応する第一のデータを捕捉するように構成された第一の視野を有する第一のセンサ；スポーツボールの軌道の第二の部分に対応する第二のデータを捕捉するように構成された第二の視野を有する第二のセンサ；および以下のように構成された第一および第二のセンサに連結された処理装置：スポーツボールが第一の視野を横断する時に、スポーツボール軌道の第一の部分の第一のデータに基づいて、スポーツボールの三次元（３Ｄ）位置トラックを決定する；３Ｄ位置トラックから得られた一つ以上のパラメータに基づいて、スポーツボールのイベントを検出する；およびスポーツボールが第二の視野を横断し、処理装置がスポーツボール軌道の第二の部分の３Ｄ位置トラックを決定する際に、第二のセンサがスポーツボール軌道の第二の部分の第二のデータを取り込むように、検出されたイベントに依存して、第二のセンサの動作状態を調整する。
【0359】
イベントは、第二の視野に対するスポーツボールの位置に関するパラメータを含む。第二のセンサの動作状態は、スポーツボールが、発射位置から第一の距離を超えて移動したと決定されたとき、またはスポーツボールが、基準線から第二の距離を移動したと決定された時に、第二のデータを捕捉するように調整される。第二のセンサの動作状態は、低電力状態から全電力状態へと調整される。第二のセンサの動作状態は、非追跡状態から追跡状態へと調整される。第二のセンサは、ロボットカメラを含み、第二のセンサの動作状態は、第一のカメラパラメータを使用する第一の状態から、第二のカメラパラメータを使用する第二の追跡状態へ調整される。第一および第二のカメラパラメータは、ロボットカメラに対して、クロップ、配向、およびズームレベルを含む。第二のセンサの動作状態は、専用の弾みおよび転がり追跡モジュールを使用して、弾みおよび転がりが追跡されない第一の状態から、専用の弾みおよび転がり追跡モジュールを使用して、弾みおよび転がりが追跡される第二の状態に調整される。
【0360】
処理装置は、スポーツボールが見つかる可能性が高い領域を指定する第二のセンサに、関心領域を提供するようにさらに構成される。第二の視野は、少なくとも部分的に第一の視野と重複する。第二の視野は、第一の視野と重複しない。処理装置は、世界座標システムにおけるスポーツボール軌道の第一および第二の部分に対する３Ｄ位置トラックを決定する。第一および第二のセンサは、３Ｄドップラーレーダーである。第一および第二のセンサは、基準点のＧＰＳ位置および第一および第二のセンサのＧＰＳ位置に基づいて、世界座標システムに対して較正される。第一のセンサは３Ｄドップラーレーダーであり、第二のセンサは追跡カメラである。第二のセンサは、基準点のＧＰＳ位置に基づいて世界座標システムに対して較正され、処理装置は、画像中の一つ以上の基準点を識別し、それに基づいて第二のセンサの配向を決定するようにさらに構成される。第一のセンサおよび第二のセンサは同一場所に配置され、画像の特徴照合から決定される第二のセンサの配向および第一のセンサの配向は、第二のセンサの配向に基づいて決定される。
【0361】
本開示はまた、以下を含む方法に関する：スポーツボールの発射を含むスポーツボールの軌道の第一の部分に対応する第一のデータを取り込むように構成された第一の視野を有する第一のセンサから、第一の視野をスポーツボールが横断する時に、スポーツボールの軌道の第一の部分の第一のデータに基づいて、スポーツボールの三次元（３Ｄ）位置トラックを決定すること、３Ｄ位置トラックから得られた一つ以上のパラメータに基づいて、スポーツボールのイベントを検出すること；および検出されたイベントに依存して第二のセンサの動作状態を調整することであって、第二のセンサが、スポーツボールが第二の視野を横断する時に、スポーツボールの軌道の第二の部分の第二のデータを取り込むように、第二のセンサは、スポーツボールの軌道の第二の部分に対応する第二のデータを取り込むよう構成された第二の視野を有する調整すること；およびスポーツボール軌道の第二の部分に対する３Ｄ位置トラックを決定すること。
【0362】
本開示はまた、以下を含む動作を行うように構成された第一および第二のセンサに連結されたプロセッサに関する：スポーツボールの発射を含むスポーツボールの軌道の第一の部分に対応する第一のデータを取り込むように構成された第一の視野を有する第一のセンサから、第一の視野をスポーツボールが横断する時に、スポーツボールの軌道の第一の部分の第一のデータに基づいて、スポーツボールの三次元（３Ｄ）位置トラックを決定すること；３Ｄ位置トラックから得られた一つ以上のパラメータに基づいて、スポーツボールのイベントを検出すること；および検出されたイベントに依存して第二のセンサの動作状態を調整することであって、第二のセンサが、スポーツボールが第二の視野を横断する時に、スポーツボールの軌道の第二の部分の第二のデータを取り込むように、第二のセンサは、スポーツボールの軌道の第二の部分に対応する第二のデータを取り込むよう構成された第二の視野を有する調整すること；およびスポーツボール軌道の第二の部分に対する３Ｄ位置トラックを決定すること。
【0363】
本開示はまた以下を含むシステムに関する：グリーン上に位置するゴルフボールの画像をカメラ座標システム内で捕捉するように構成された第一の視野を有する追跡カメラであって、それに関連付けられた内因的および外因的較正パラメータを有する追跡カメラ；第一の視野とオーバーラップするゴルフコースの少なくとも一部の内因的および外因的較正パラメータおよび三次元（３Ｄ）モデルを含む記憶装置；および以下のように構成される追跡カメラおよび記憶装置に連結される処理装置：画像における静止するゴルフボールの像面内で画素位置を検出するために、ボールの検出を行う；内因的および外因的較正パラメータに基づいて、カメラを通過する直線を含むカメラ－ボール線、３Ｄ座標システムにおけるゴルフボールの方向を判定する；３Ｄモデルに基づいて、カメラ－ボール線と３Ｄモデルとの交差点を決定する；グリーン上に静止しているゴルフボールの３Ｄ位置を決定する；グリーンのスティンプおよび３Ｄモデルの知識を使用して、様々な発射速度および発射方向に基づいて一連のパット軌道をシミュレーションする；および一連のシミュレーションされたパット軌道に基づいて、パットの発射方向と発射速度およびパットの対応する結果の組み合わせプロットしたものであるパットブレイクファンを生成する。
【0364】
パットブレイクファンは、発射方向と発射速度の組み合わせがホールに入る成功裏なパットをもたらすプロットの一部、発射方向と発射速度の組み合わせが、ホールからの第一の距離を有する静止ボール位置をもたらす第一の等高線、および発射方向と発射速度の組み合わせが、ホールからの第二の距離を有する静止ボール位置をもたらす第二の等高線を含む。グリーンのスティンプは、前のパットを追跡し、前のパットの速度減衰を決定することから決定される。前のパットは、現在のパットの前に所定の時間内で追跡される。処理装置はさらに、パットブレイクファンを放送ビデオに重ね合わせるように構成される。処理装置はさらに、所定の発射方向および所定の発射速度に応じて、成功裏なパットの確率を示す出力を生成するように構成される。
【0365】
本開示はまた、以下を含む方法に関する：追跡カメラは、グリーン上に位置するゴルフボールの画像をカメラ座標システム内で捕捉するように構成された第一の視野を有する、追跡カメラによって捕捉された像面中の静止中のゴルフボールの画素位置を検出するためにボール検出を行うことであって、追跡カメラは、記憶装置に保存された、それに関連付けられた内因的および外因的較正パラメータを有する行うこと；内因的および外因的較正パラメータに基づいて、カメラを通過する直線を含むカメラ－ボール線、３Ｄ座標システムにおけるゴルフボールの方向を決定すること；第一の視野と重複するスゴルフコースの少なくとも一部の記憶装置に保存された三次元（３Ｄ）モデルに基づいて、カメラ－ボール線と３Ｄモデルとの交差点を決定すること；グリーン上に静止しているゴルフボールの３Ｄ位置を決定すること；グリーンのスティンプおよび３Ｄモデルの知識を使用して、様々な発射速度および発射方向に基づいて一連のパット軌道をシミュレーションすること；および一連のシミュレーションされたパット軌道に基づいて、パットの発射方向と発射速度およびパットの対応する結果の組み合わせプロットしたものであるパットブレイクファンを生成すること。
【0366】
本開示はまた、以下を含む動作を行うように構成された追跡カメラおよび記憶装置に連結されたプロセッサに関する：追跡カメラは、グリーン上に位置するゴルフボールの画像をカメラ座標システム内で捕捉するように構成された第一の視野を有する、追跡カメラによって捕捉された像面中の静止中のゴルフボールの画素位置を検出するためにボール検出を行うことであって、追跡カメラは、記憶装置に保存された、それに関連付けられた内因的および外因的較正パラメータを有する行うこと；内因的および外因的較正パラメータに基づいて、カメラを通過する直線を含むカメラ－ボール線、３Ｄ座標システムにおけるゴルフボールの方向を決定すること；第一の視野と重複するスゴルフコースの少なくとも一部の記憶装置に保存された三次元（３Ｄ）モデルに基づいて、カメラ－ボール線と３Ｄモデルとの交差点を決定すること；グリーン上に静止しているゴルフボールの３Ｄ位置を決定すること；グリーンのスティンプおよび３Ｄモデルの知識を使用して、様々な発射速度および発射方向に基づいて一連のパット軌道をシミュレーションすること；および一連のシミュレーションされたパット軌道に基づいて、パットの発射方向と発射速度およびパットの対応する結果の組み合わせプロットしたものであるパットブレイクファンを生成すること。
【0367】
本開示の趣旨または範囲から逸脱することなく、本開示にて様々な修正がなされ得ることは、当業者には明らかであろう。したがって、本開示は、添付の特許請求の範囲およびその均等物の範囲内に含まれることを条件として、本開示の修正および変形を網羅することが意図される。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図5c】
【図6】
【図7】
【図8a】
【図8b】
【図9】
【図10a】
【図10b】
【図10c】
【図10d】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16a】
【図16b】
【図16c】
【図16d】
【図16e】
【図16f】
【図16g】
【図16h】
【図17a】
【図17b】
【図17c】
【図17d】
【国際調査報告】