特開 2024-109593 ゴルフ練習場でのショットの移動経路特性のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109593

(43)【公開日】2024-08-14

(54)【発明の名称】ゴルフ練習場でのショットの移動経路特性のためのシステム及び方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240806BHJP

   G06T 7/20 20170101ALI20240806BHJP

   A63B 69/36 20060101ALI20240806BHJP

   A63B 71/06 20060101ALI20240806BHJP

【ＦＩ】

H04N7/18 C

G06T7/20

A63B69/36 522Z

A63B71/06 R

H04N7/18 K

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024071239

(22)【出願日】2024-04-25

(62)【分割の表示】P 2023018061の分割

【原出願日】2020-02-19

(31)【優先権主張番号】62/809,083

(32)【優先日】2019-02-22

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507002457

【氏名又は名称】トラックマン・アクティーゼルスカブ

【氏名又は名称原語表記】ＴＲＡＣＫＭＡＮ Ａ／Ｓ

(74)【代理人】

【識別番号】100118784

【弁理士】

【氏名又は名称】桂川 直己

(72)【発明者】

【氏名】フレドリク トゥクセン

(72)【発明者】

【氏名】チェン チェン

(72)【発明者】

【氏名】スタンゴー マチヤス

(57)【要約】      （修正有）

【課題】発射エリアに配置された複数の打席から発射されたゴルフショットのショット特性を決定すること。
【解決手段】ゴルフショットの特性を決定する方法は、撮像装置によって取得された画像データにおいて、第１発射エリアから発射されたゴルフショットのシグネチャを検出することであって、ゴルフボールのシグネチャに相関する画像特徴を識別するブロブ検出を含み、撮像装置の視野は、第１発射エリア及び第１発射エリアに隣接するエリアのうち１つを含むことと、画像データから第１ゴルフショット特性を決定し、前記第１ショット特性は第１発射位置及び第１発射時間を含み、前記第１発射位置及び前記第１発射時間が、別の第２発射位置及び第２発射時間に対応するか否かを決定することと、それらの間に対応が見出だされない場合、前記第１ショット特性を前記第１発射位置のディスプレイに送信することと、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

発射エリアに配置された複数の打席から発射されたゴルフショットのショット特性を決定するシステムであって、
同時に飛行する複数のゴルフボールの軌道を追跡するための軌道データを取得するように構成された少なくとも１つのセンサを含むプライマリ追跡装置と、
ゴルフショットが発射される少なくとも１つの打席を含む視野を有する少なくとも１つの撮像装置を含むセカンダリ追跡装置であって、前記少なくとも１つの撮像装置から画像データを取得するように構成されたセカンダリ追跡装置と、
前記プライマリ追跡装置から追跡データを受信し、前記セカンダリ追跡装置から画像データを受信するように構成された処理装置であって、
画像データから第１ゴルフショットのショット特性を決定し、
前記画像データから決定された前記第１ゴルフショットのショット特性を、前記プライマリ追跡装置の軌跡データから決定されたショット特性と比較し、前記第１ゴルフショットが前記プライマリ追跡装置によってトラッキングされたかどうかを決定し、
前記第１ゴルフショットが発射された打席に関連するデバイスに、
前記第１ゴルフショットが前記プライマリ追跡装置によって追跡されなかったと決定された場合の、前記セカンダリ追跡装置の画像データに基づいて決定された第１ショットのショット情報、又は、
前記第１ゴルフショットがプライマリ追跡装置によって追跡されたと判断された場合の、前記プライマリ追跡装置の軌道データに基づいて決定された前記第１ゴルフショットのショット情報を、
転送する処理装置と、
を備えることを特徴とするシステム。

【請求項2】

請求項１に記載のシステムであって、
前記プライマリ追跡装置が、前記発射エリアに向けられた少なくとも１つのレーダを備えることを特徴とするシステム。

【請求項3】

請求項１に記載のシステムであって、
前記セカンダリ追跡装置は、各打席に配置された、又は各打席に隣接する、それぞれの撮像装置を備え、
それぞれの前記撮像装置は、それぞれの打席及び意図された発射方向において前記打席に隣接する領域に向かって下方を見るオーバーヘッドな視野を有し、
前記処理装置は、更に、
第１撮像装置によって撮像された第１撮像データにおいて第１ゴルフショットを検出し、
前記第１撮像装置の識別情報に基づいて、前記第１ゴルフショットが発生した打席を前記第１撮像データから決定する
ように構成されていることを特徴とするシステム。

【請求項4】

請求項３に記載のシステムであって、前記処理装置は、更に、
前記第１撮像装置によって撮像された前記第１撮像データにおける第１ゴルフボールのシグネチャを検出し、前記第１ゴルフボールのシグネチャは、少なくとも１つの画像における線状ブレを含み、
前記線状ブレから特徴を抽出し、前記特徴は、前記線状ブレの少なくとも長さ及び水平角度を含み、
前記第１撮像装置の露光時間を考慮して、前記線状ブレの長さと水平方向の角度に基づいてショット情報を計算し、前記ショット情報は前記第１ゴルフボールの発射時の速度及び水平方向を含む
ように構成されていることを特徴とするシステム。

【請求項5】

請求項４に記載のシステムであって、前記処理装置は、更に、
前記線状ブレから更なる特徴を抽出し、この更なる特徴は少なくとも、少なくとも１つの画像における前記線状ブレの幅の変化を含み、
前記第１撮像装置の露光時間を考慮して、前記線状ブレの幅の変化に基づいて更なるショット情報を計算し、前記更なるショット情報は前記第１ゴルフボールの発射時の垂直方向を含む
ように構成されていることを特徴とするシステム。

【請求項6】

請求項３に記載のシステムであって、
前記処理装置は、更に、
前記第１撮像装置によって撮像された第１撮像データにおける第１ゴルフボールのシグネチャを検出し、前記第１ゴルフボールのシグネチャは、少なくとも第１画像及び第２画像における前記第１ゴルフボールに対応するそれぞれのブロブを含み、前記第１画像における前記第１ゴルフボールの位置は、前記第２画像における前記第１ゴルフボールの位置と異なり、
前記第１画像及び前記第２画像から特徴を抽出し、前記特徴は前記第１画像と前記第２画像の間の前記第１ゴルフボールの位置の変化を含み、
前記第１撮像装置のフレームレートを考慮して、前記第１ゴルフボールの位置の変化に基づいてショット情報を計算し、前記ショット情報は前記第１ゴルフショットの速度及び水平方向を含む
ように構成されていることを特徴とするシステム。

【請求項7】

請求項１に記載のシステムであって、
前記セカンダリ追跡装置は、第１打席及び第２打席に隣接する第１撮像装置を備え、
前記第１撮像装置は、前記第１打席、前記第２打席、及び、意図された発射方向で前記第１打席及び前記第２打席に隣接する領域に向かって下方を見下ろすオーバーヘッドな第１視野を有し、
前記処理装置は、更に、
前記第１撮像装置によって撮像された第１撮像データにおける第１画像を、前記第１画像の第１部分を前記第１画像の第２部分から分離して分析できるように、２つの部分に分割し、
前記第１撮像データにおける前記第１画像の前記第１部分又は前記第２部分において、第１ゴルフショットを検出し、
前記第１撮像装置の識別情報、及び前記第１ゴルフショットが前記第１撮像装置の前記第１画像の前記第１部分又は前記第２部分の何れで検出されたかに基づいて、前記第１ゴルフショットが発生した打席を決定する
ように構成されていることを特徴とするシステム。

【請求項8】

請求項７に記載のシステムであって、
前記処理装置は、更に、
前記第１撮像データにおける前記第１画像の前記第１部分又は前記第２部分において第１ゴルフボールのシグネチャを検出し、前記第１ゴルフボールのシグネチャは前記第１画像における線状ブレを構成し、
前記線状ブレから特徴を抽出し、前記特徴は、前記線状ブレの長さ、水平角度、及び垂直角度を少なくとも含み、
前記第１撮像装置の露光時間を考慮して、前記線状ブレの長さ、水平角度及び垂直角度に基づいてショット情報を計算し、前記ショット情報は、発射時の前記第１ゴルフボールの速度、水平方向及び垂直方向を含む
ように構成されていることを特徴とするシステム。

【請求項9】

請求項７に記載のシステムであって、
前記セカンダリ追跡装置は、第２打席及び第３打席に隣接する第２撮像装置を備え、
前記第２撮像装置は、前記第２打席及び前記第３打席、並びに意図された発射方向において前記第２打席及び前記第３打席に隣接する領域に向かって下方を見下ろすオーバーヘッドな第２視野を有し、
前記処理装置は、更に、
前記第２撮像装置によって撮像された第２撮像データにおける第２画像を、前記第２画像の第１部分を前記第２画像の第２部分から分離して分析できるように、２つの部分に分割し、前記第１画像の前記第２部分が前記第２画像の前記第１部分と重複する範囲を有しており、
前記第１画像の前記第２部分又は前記第２画像の前記第１部分において第１ゴルフショットを検出し、
前記第１撮像装置又は前記第２撮像装置の識別情報に基づいて、前記第１ゴルフショットが発生した打席を決定する
ように構成されていることを特徴とするシステム。

【請求項10】

請求項９に記載のシステムであって、
前記処理装置は、更に、
前記第１撮像装置によって撮像された前記第１画像の前記第２部分と、前記第２撮像装置によって撮像された前記第２画像の前記第１部分と、の両方において、第１ゴルフボールのシグネチャを検出し、
前記第１撮像装置から決定された第１ショット特性と前記第２撮像装置から決定された第２ショット特性とを組み合わせることによって、ショット特性を計算する
ように構成されていることを特徴とするシステム。

【請求項11】

発射エリアに配置された複数の打席から発射されたゴルフショットのショット特性を決定する方法であって、
少なくとも１つのセンサを含むプライマリ追跡装置によって、同時に飛行する複数のゴルフボールの軌道を追跡するための軌道データを取得し、
ゴルフショットが発射される少なくとも１つの打席を含む視野を有する少なくとも１つの撮像装置を含むセカンダリ追跡装置によって、前記少なくとも１つの撮像装置から画像データを取得し、
前記プライマリ追跡装置から追跡データを受信し、前記セカンダリ追跡装置から画像データを受信するように構成された処理装置によって、前記画像データから第１ゴルフショットのショット特性を決定し、
前記処理装置によって、画像データから決定された第１ゴルフショットのショット特性を、前記プライマリ追跡装置の軌跡データから決定されたショット特性と比較し、第１のゴルフショットがプライマリ追跡装置によって追跡されたかどうかを決定し、
前記第１ゴルフショットが発射された打席に関連するデバイスに、
前記第１ゴルフショットが前記プライマリ追跡装置によって追跡されなかったと決定された場合の、前記セカンダリ追跡装置の画像データに基づいて決定された第１ショットのショット情報、又は、
前記第１ゴルフショットがプライマリ追跡装置によって追跡されたと判断された場合の、前記プライマリ追跡装置の軌道データに基づいて決定された前記第１ゴルフショットのショット情報を、
転送する
ことを特徴とする方法。

【請求項12】

請求項１１に記載の方法であって、
前記プライマリ追跡装置が、前記発射エリアに向けられた少なくとも１つのレーダを備えることを特徴とする方法。

【請求項13】

請求項１１に記載の方法であって、
前記セカンダリ追跡装置は、各打席に配置された、又は各打席に隣接する、それぞれの撮像装置を備え、
それぞれの前記撮像装置は、それぞれの打席及び意図された発射方向において前記打席に隣接する領域に向かって下方を見るオーバーヘッドな視野を有し、
前記方法においては、更に、
前記処理装置が、第１撮像装置によって撮像された第１撮像データにおいて第１ゴルフショットを検出し、
前記処理装置が、前記第１撮像装置の識別情報に基づいて、前記第１ゴルフショットが発生した打席を前記第１撮像データから決定する
ことを特徴とする方法。

【請求項14】

請求項１３に記載の方法であって、
前記処理装置が、前記第１撮像装置によって撮像された前記第１撮像データにおける第１ゴルフボールのシグネチャを検出し、前記第１ゴルフボールのシグネチャは、少なくとも１つの画像における線状ブレを含み、
前記処理装置が、前記線状ブレから特徴を抽出し、前記特徴は、前記線状ブレの少なくとも長さ及び水平角度を含み、
前記処理装置が、前記第１撮像装置の露光時間を考慮して、前記線状ブレの長さと水平方向の角度に基づいてショット情報を計算し、前記ショット情報は前記第１ゴルフボールの発射時の速度及び水平方向を含む
ことを特徴とする方法。

【請求項15】

請求項１４に記載の方法であって、
前記処理装置が、前記線状ブレから更なる特徴を抽出し、この更なる特徴は少なくとも、少なくとも１つの画像における前記線状ブレの幅の変化を含み、
前記処理装置が、前記第１撮像装置の露光時間を考慮して、前記線状ブレの幅の変化に基づいて更なるショット情報を計算し、前記更なるショット情報は前記第１ゴルフボールの発射時の垂直方向を含む
ことを特徴とする方法。

【請求項16】

請求項１３に記載の方法であって、
前記処理装置が、前記第１撮像装置によって撮像された第１撮像データにおける第１ゴルフボールのシグネチャを検出し、前記第１ゴルフボールのシグネチャは、少なくとも第１画像及び第２画像における前記第１ゴルフボールに対応するそれぞれのブロブを含み、前記第１画像における前記第１ゴルフボールの位置は、前記第２画像における前記第１ゴルフボールの位置と異なり、
前記処理装置が、前記第１画像及び前記第２画像から特徴を抽出し、前記特徴は前記第１画像と前記第２画像の間の前記第１ゴルフボールの位置の変化を含み、
前記処理装置が、前記第１撮像装置のフレームレートを考慮して、前記第１ゴルフボールの位置の変化に基づいてショット情報を計算し、前記ショット情報は前記第１ゴルフショットの速度及び水平方向を含む
ことを特徴とする方法。

【請求項17】

請求項１１に記載の方法であって、
前記セカンダリ追跡装置は、第１打席及び第２打席に隣接する第１撮像装置を備え、
前記第１撮像装置は、前記第１打席、前記第２打席、及び、意図された発射方向で前記第１打席及び前記第２打席に隣接する領域に向かって下方を見下ろすオーバーヘッドな第１視野を有し、
前記方法において、
前記処理装置が、前記第１撮像装置によって撮像された第１撮像データにおける第１画像を、前記第１画像の第１部分を前記第１画像の第２部分から分離して分析できるように、２つの部分に分割し、
前記処理装置が、前記第１撮像データにおける前記第１画像の前記第１部分又は前記第２部分において、第１ゴルフショットを検出し、
前記処理装置が、前記第１撮像装置の識別情報、及び前記第１ゴルフショットが前記第１撮像装置の前記第１画像の前記第１部分又は前記第２部分の何れで検出されたかに基づいて、前記第１ゴルフショットが発生した打席を決定する
ことを特徴とする方法。

【請求項18】

請求項１７に記載の方法であって、
前記処理装置が、前記第１撮像データにおける前記第１画像の前記第１部分又は前記第２部分において第１ゴルフボールのシグネチャを検出し、前記第１ゴルフボールのシグネチャは前記第１画像における線状ブレを構成し、
前記処理装置が、前記線状ブレから特徴を抽出し、前記特徴は、前記線状ブレの長さ、水平角度、及び垂直角度を少なくとも含み、
前記処理装置が、前記第１撮像装置の露光時間を考慮して、前記線状ブレの長さ、水平角度及び垂直角度に基づいてショット情報を計算し、前記ショット情報は、発射時の前記第１ゴルフボールの速度、水平方向及び垂直方向を含む
ことを特徴とする方法。

【請求項19】

請求項１７に記載の方法であって、
前記セカンダリ追跡装置は、第２打席及び第３打席に隣接する第２撮像装置を備え、
前記第２撮像装置は、前記第２打席及び前記第３打席、並びに意図された発射方向において前記第２打席及び前記第３打席に隣接する領域に向かって下方を見下ろすオーバーヘッドな第２視野を有し、
前記方法においては、
前記処理装置が、前記第２撮像装置によって撮像された第２撮像データにおける第２画像を、前記第２画像の第１部分を前記第２画像の第２部分から分離して分析できるように、２つの部分に分割し、前記第１画像の前記第２部分が前記第２画像の前記第１部分と重複する範囲を有しており、
前記処理装置が、前記第１画像の前記第２部分又は前記第２画像の前記第１部分において第１ゴルフショットを検出し、
前記処理装置が、前記第１撮像装置又は前記第２撮像装置の識別情報に基づいて、前記第１ゴルフショットが発生した打席を決定する
ことを特徴とする方法。

【請求項20】

請求項１９に記載の方法であって、
前記処理装置が、前記第１撮像装置によって撮像された前記第１画像の前記第２部分と、前記第２撮像装置によって撮像された前記第２画像の前記第１部分と、の両方において、第１ゴルフボールのシグネチャを検出し、
前記処理装置が、前記第１撮像装置から決定された第１ショット特性と前記第２撮像装置から決定された第２ショット特性とを組み合わせることによって、ショット特性を計算する
ことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年２月２２日に出願された米国仮特許出願番号６２／８０９，０８３の優先権を主張するものである。上記の出願の明細書は、参照により本明細書に組み込まれる。

【0002】

本開示は、ゴルフ練習場におけるゴルフショットの移動経路特性を決定するためのシステム及び方法に関するものである。

【背景技術】

【0003】

ゴルフ練習場は、同時に飛行している比較的多数のゴルフボールを追跡するために、センサ（時には、比較的少数のセンサ）を導入することがある。例えば、ゴルフ練習場の周囲に配置された３つのレーダからなるシステムは、複数の階層に分散した数百の打席から発生して同時に飛行する数十以上のゴルフボールを追跡するのに十分な場合がある。ショットのデータは、レーダによって取得され、ショットの追跡及び他の特性の決定のために処理装置によって処理されて、ショットが発せられた打席に提供される。これにより、各ゴルファーは自分のショットに関連するショット特性を得ることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

センサとその配置によるが、そのようなシステムは、ある程度の速度と高さを少なくとも有して空中に発射されたゴルフボールを、より良く追跡することができる。例えば、ある種のレーダシステムでは、秒速１５ｍ未満で移動するボールや、秒速１５ｍ以上で移動しても飛行時間が短いボール、即ち低い発射角度で発射されたショットを、確実に検出することができない。これらのタイプのショットは、打ち損じ、又は、チップショット若しくはパット等の意図的な短いショットである可能性がある。このような場合、センサからのデータを受信したコンピュータは、そのような動きの遅いショットや低角度のショットのシグネチャ（特徴）を、他の物体の動きやデータのノイズから識別できないことがある。

【課題を解決するための手段】

【0005】

本開示は、ゴルフショットの特性を決定するための方法に関するものである。本方法は、撮像装置によって取得された画像データにおいて、ゴルフボールが発射される複数の発射エリアのうち第１発射エリアから発射されたゴルフショットのシグネチャを検出することであって、前記撮像装置の視野は、前記第１発射エリア及び前記第１発射エリアに隣接するエリアのうち１つを含むことと；前記画像データから前記ゴルフショットの第１ショット特性を決定することであって、前記第１ショット特性は、第１発射位置及び第１発射時間を含むことと；前記第１発射位置及び前記第１発射時間が、別のセンサ装置によって取得されたセンサデータから決定された第２ショット特性の第２発射位置及び第２発射時間に対応するか否かを決定することと；前記第１及び第２発射位置の間、並びに、前記第１及び第２発射時間の間に対応が見出されない場合、前記第１ショット特性を前記第１発射エリアのディスプレイに送信することと、を含む。

【0006】

一実施形態において、本方法は、前記第１及び第２発射位置の間、並びに、前記第１及び第２発射時間の間に対応が見出されるときに、前記第２ショット特性を前記第１発射エリアの前記ディスプレイに送信することを更に含む。

【0007】

一実施形態では、前記ゴルフショットのシグネチャを検出することは、ゴルフボールのシグネチャに相関する画像特徴を識別するブロブ検出を含む。

【0008】

一実施形態では、本方法は、ゴルフボールのシグネチャが検出された複数の隣接する画像フレームから運動画像を計算することであって、前記運動画像は、ゴルフのシグネチャに対応するブレを含むことと；運動画像からブレに対応する特徴を抽出することと、を更に含む。

【0009】

一実施形態では、前記抽出される特徴は、前記ブレの長さ、幅、ブレのファクター、水平方向の角度、及び推定発射位置を含む。

【0010】

一実施形態では、本方法は、複数の画像で検出されたブロブがすべて同じゴルフショットに対応するか否かを、空間的及び時間的なチェックに基づいて決定することを更に含む。

【0011】

一実施形態では、本方法は、複数の画像で検出されたブロブがすべて同じゴルフショットに対応するか否かを、整数計画最適化に基づいて決定することを更に含む。

【0012】

一実施形態では、本方法は、前記撮像装置を前記第１発射エリアにキャリブレーションすることを更に含む。

【0013】

一実施形態では、前記別のセンサ装置は、レーダアレイ及び撮像装置のうち１つを含む。

【0014】

一実施形態では、第１ショット特性は、初期速度、初期方向、及びゴルフショットの推定移動距離を含む。

【0015】

本開示はまた、ゴルフショットの特性を決定するためのシステムにも関する。このシステムは、画像データを取得する撮像装置であって、ゴルフショットが発射される複数の発射エリアのうち第１発射エリア、及び、前記第１発射エリアに隣接するエリアを含む視野を有する撮像装置を含む。更に、システムは、前記画像データから、前記第１発射エリアから発射されたゴルフショットのシグネチャを検出する処理装置を含み、前記処理装置は、前記画像データから、前記ゴルフショットの第１ショット特性を決定し、前記第１ショット特性は、第１発射位置及び第１発射時間を含み、前記処理装置は、前記第１発射位置及び前記第１発射時間が、別のセンサ装置によって取得されたセンサデータから決定された第２ショット特性の第２発射位置及び第２発射時間に対応するか否かを決定し、前記処理装置は、前記第１及び第２発射位置の間、及び、前記第１及び第２発射時間の間に対応が見出されない場合、前記第１ショット特性を前記第１発射エリアのディスプレイに送信する。

【0016】

一実施形態では、第１及び第２発射位置の間、並びに、第１及び第２発射時間の間に対応が見出される場合、前記処理装置は、第２ショット特性を第１発射エリアのディスプレイに送信する。

【0017】

一実施形態では、前記処理装置は、前記ゴルフショットのシグネチャを検出する際に、ゴルフボールのシグネチャに相関する画像特徴を識別するために、ブロブ検出を使用する。

【0018】

一実施形態において、前記処理装置は、ゴルフボールシグネチャが検出された複数の隣接する画像フレームから運動画像を計算し、前記運動画像は、ゴルフのシグネチャに対応するブレを含み、前記運動画像からブレに対応する特徴を抽出する。

【0019】

一実施形態では、前記抽出される特徴は、ブレの長さ、幅、ブレのファクター、水平方向の角度、及び推定発射位置を含む。

【0020】

一実施形態では、前記処理装置は、複数の画像で検出されたブロブが同じゴルフショットに対応するか否かを、空間的及び時間的なチェックに基づいて決定する。

【0021】

一実施形態では、前記処理装置は、複数の画像で検出されたブロブが同じゴルフショットに対応するか否かを、整数計画最適化に基づいて決定する。

【0022】

一実施形態では、前記撮像装置は、前記第１発射エリアにキャリブレーションされる。

【0023】

一実施形態では、前記別のセンサ装置は、レーダアレイ及び撮像装置のうち１つを含む。

【0024】

一実施形態では、前記第１ショット特性は、前記ゴルフショットの初期速度、初期方向、及び推定移動距離を含む。

【0025】

更に、本開示は、ゴルフ練習場の複数の打席にゴルフショットの特性を提供するためのシステムに関するものである。このシステムは、ゴルフ練習場の打席から発射される複数のゴルフショットのそれぞれのショット特性に対応するデータを検出するプライマリセンサ装置と；画像データを取得し、前記打席のうち第１打席と前記第１打席に隣接する領域の１つの何れかを含む視野を有する撮像装置と；処理装置と、を含む。前記処理装置は、前記画像データにおいて、前記第１打席から発射されたゴルフショットのシグネチャを検出し、前記処理装置は、前記画像データから、前記ゴルフショットの第１ショット特性を決定し、前記第１ショット特性は、第１発射位置及び第１発射時間を含む。前記処理装置は、前記第１発射位置及び前記第１発射時間が、前記プライマリセンサ装置によって取得されたセンサデータから決定された第２ショット特性の第２発射位置及び第２発射時間に対応するか否かを判定し、前記第１及び第２発射位置の間、並びに、前記第１及び第２発射時間の間に対応が見出されない場合、前記処理装置は、前記第１ショット特性を前記第１打席のディスプレイに送信する。

【0026】

一実施形態では、前記プライマリセンサ装置は、第１閾値レベル以下の速度及び第２閾値レベル以下の飛行時間のうち１つを有するゴルフショットを信頼的に追跡できないレーダ装置を含み、前記処理装置は、前記第１打席から発射された、第１閾値以下の速度及び第２閾値以下の飛行時間のうち１つを有するショットの前記画像データに基づくデータを前記第１打席に提供する。

【図面の簡単な説明】

【0027】

【図1】図１は、ショットデータを取得するための複数のセンサを含むゴルフ練習場を示す図である。

【図2】図２は、第１の例示的な実施形態によるショット特性を決定するためのシステムを示す。

【図3a】図３ａは、打席内の発射領域と、打席に隣接するターゲットエリアの領域とを含む、図２の撮像装置によって提供される例示的なフレームを示す。

【図3b】図３ｂは、ボールシグネチャに対応するブロブが取得及び検出された例示的なフレームを示す。

【図3c】図３ｃは、閾値処理と輪郭抽出の後の図３ｂの画像を示す。

【図3d】図３ｄは、より短い露光時間で撮影されたフレームの経過を示す例示的な図である。

【図3e】図３ｅは、より長い露光時間で撮影されたフレームの経過を示す例示的な図である。

【図4】図４は、画像データ内の動くボールのシグネチャを検出して情報を抽出するために、図２のシステムで実施される方法を示す。

【図5】図５は、図１のゴルフ練習場で、ボールが他のレンジセンサで追跡できない場合にショットのフィードバックを提供するために実装されたシステムを示す。

【図6】図６は、図５のシステムの複数のセンサによって取得されたショットのデータを調和させる方法を示す。

【発明を実施するための形態】

【0028】

例示的な実施形態では、ゴルフショットの移動経路特性を提供するためのシステム及び方法を説明する。より詳細には、本システムは、現在のシステムを使用して正確に追跡することがさもなくば困難又は不可能な可能性があるゴルフショットの特性を決定するために、ゴルフ練習場で実施される。本実施形態は、ショットのデータを取得して処理するための代替的な装置を提供することによって、そのような低速及び／又は低発射角のショットの正確な追跡を可能にする。例示的な実施形態は、複数の打席を有するゴルフ練習場に関連して説明されるが、本明細書に記載されるデータ取得及び処理技術は、単一の打席のみを有するゴルフ練習場、オープンな発射エリアを有するゴルフ練習場（例えば、個々の打席を定義する構造物がない）、ショットがスクリーンに発射される屋内環境、又は発射物を追跡することが望まれる他の状況に適用されても良い。

【0029】

一実施形態によれば、撮像装置は、ゴルフ練習場の各打席に、又はそれに隣接して配置され、その打席から発せられるゴルフショットの画像を取得する。ショットの特性は、撮像装置のデータに基づいて各ショットについて決定され、他のレンジセンサによって追跡されたショットと照合されて、ショットが進行する間の包括的な追跡をもたらす。一致が見出されない場合は、各打席の撮像装置からの画像データのみに基づいて決定されたショット特性が、ゴルファーに、例えば、発射速度、発射角度、推定移動距離などのショット特性が表示されることでフィードバックされる。一致が見出される場合は、各打席の撮像装置からの画像に基づいて決定されたショット特性を破棄して、他のレンジセンサによって取得されたデータから決定されたショット特性を使用することができる。

【0030】

図１は、ショットのデータを捕捉するための複数のセンサを含むゴルフ練習場１００を示す。ゴルフ練習場１００は、ユーザがゴルフボールをターゲットエリア１１０に打ち込むことができる発射エリア１２０を含む。発射エリア１２０は、複数の階層にわたって配置されることが可能な複数の打席１３０を有する。本実施形態では、発射エリア１２０は、１３個の打席１３０（１）～１３０（１３）を有する単一の階層のみを有するものとして示されているが、発射エリアは、任意のサイズであってもよく、任意の数の打席１３０を有していても良い。例えば、発射エリア１２０は、数百個の打席１３０を有していても良い。あるいは、発射エリア１２０は、打席を規定する構造上の制限がなく、比較的にオープンであっても良い。また、発射エリア１２０は、各打席１３０からの最適な発射方向が同一方向となるように、直線状であっても良いし、小さい曲率を有していても良い。

【0031】

本実施形態では、ゴルフ練習場１００は、３つのレンジレーダ、即ち、ターゲットエリア１１０の側面に配置された第１視野（ＦＯＶ）１５０を有する第１レーダ１４０と、第２視野１５１を有する第２レーダ１４１と、発射エリア１２０の上方に配置された第３視野１５２を有する第３レーダ１４２とを有する。しかしながら、当業者は、任意の数のセンサ（レーダ、撮像装置等）を使用するシステムが、本明細書に記載されている同じ原理を使用して操作され得る。第１及び第２レーダ１４０，１４１は発射エリア１２０に向けられてもよく、一方、第３レーダ１４２は発射エリア１２０の上方からターゲットエリア１１０の後方に向けられる。

【0032】

この配置により、第３レーダ１４２は、その視野１５２内のターゲットエリア１１０の大部分、特に発射エリア１２０から更に離れたターゲットエリア１１０の深い部分をカバーし、第１及び第２レーダ１４０，１４１は、一緒に、その視野１５０，１５１内の、発射エリア１２０に隣接するターゲットエリア１１０の部分をカバーする。これら３つのレーダ１４０～１４２は、同時に飛行している比較的多数のゴルフボール、例えば数十個以上のゴルフボールを追跡することができる。この例示的なレーダシステムからの生データは、１つ以上のコンピュータ、例えば、以下に更に記載される中央処理装置５０５に提供され、発射されたボールが打席１３０のうち何れの打席から発せられたかを決定し、発射されたボールの飛行の詳細を適切な打席のディスプレイに提供する。

【0033】

あるショットは、３つのレーダのうち１つだけによって検出されるかもしれないが、他のショットは、様々な独立した及び／又は重複する瞬間に、２つ又は３つすべてのレーダによって検出されるかもしれない。それぞれの追跡がつなぎ合わされ、平均化され、又は他の方法で結合されて、ボールの飛行の完全な追跡及び他の特性を決定する。マルチレーダアレイを使用したゴルフ練習場でのボール追跡は、例えば、米国出願公開番号２０１８／００１１１８３に記載されており、その全体は、参照によって本明細書に組み込まれる。上述のレーダアレイは、例示的な目的のためにのみ記載されている。発射エリア１２０から発射されたショットの大半を追跡するために、撮像装置、ＬＩＤＡＲ等の他のセンサが使用されても良い。

【0034】

例えば、レンジセンサシステムは、カメラに基づいたものであっても良い。複数のカメラが発射エリア１２０の上方に配備され、ターゲットエリア１１０に向けられても良い。カメラは、所定の距離、例えば、１０～２０メートルだけの間隔を互いに空けることができ、発射エリア１２０から発射されたショットの特性（例えば、３次元軌道データ）を決定するために、ステレオビジョン技術又は同様の技術が実装されても良い。しかしながら、このようなシステムは、いくつかのショット、例えば、飛行軌道が２０～２５メートル（即ち、発射位置から地面に最初に衝突するまでの距離が２０～２５メートル）よりも短いショットを検出することも困難な場合がある。以下に説明するシステムは、他のレンジセンサによって提供されるデータを補完する手段として提供される。

【0035】

図２は、第１の例示的な実施形態によるショット特性を決定するためのシステム２００を示す。システム２００は、ゴルフ練習場から独立して実装することができる。しかし、システム２００の主な目的は、上述した３つのレーダのシステムのような、低い又は緩やかな打球を追跡することが困難なプライマリ追跡システムを補完するための代替的な追跡システムを提供することである。従って、本実施形態では、システム２００は、ゴルフ練習場１００の打席１３０で実施することができ、それに関して説明する。システム２００の実体は、打席１３０（１）～１３０（１３）のそれぞれで個別に提供されても良いし、複数の打席１３０の一部のそれぞれで提供されても良いし、１つの打席１３０で提供されても良い。

【0036】

システム２００は、画像データ（即ち、ゴルフボールの発射位置及び発射位置のすぐ前のエリアを含むシーンのフレーム）又は意図された発射方向において発射位置に隣接するエリアを撮影するように構成された撮像装置２０５を含む。本実施形態の撮像装置２０５は、打席１３０の上方に配置され、例えば、打席１３０内の構造物に取り付けられている。撮像装置２０５は、撮像装置２０５の視野が上述の領域を包含する限り、様々な高さ、例えば３～５メートルの高さに取り付けられて良いし、真下に向けられても、斜めに向けられても良い。図３ａは、打席１３０内の発射領域３０１（即ち、ボールが発射されると予想されるエリア、例えば打球マット）と、打席１３０から打たれたボールが移動すると予想される方向に打席１３０に隣接するターゲットエリア１１０のエリア３０２とを含む、撮像装置２０５によって提供される例示的なフレーム３００を示している。

【0037】

撮像装置２０５は、発射領域３０１に対するカメラの位置及び向きを決定するためにキャリブレーションされる。これは、いくつかの方法で行われても良い。第１の例では、既知の寸法のチェッカーボードを打球領域に配置して、チェッカーボードの既知の寸法及び位置を撮像装置からの画像のピクセル位置に相関させることによって、当業者が理解しているようにキャリブレーションを行うことができる。第２の例では、打球マットの所定の寸法を、ピクセルの位置と相関させることができる。第３の例では、撮像装置２０５の既知の視野が、撮像装置２０５から打球マットまでの所定の距離と関連付けられる。

【0038】

第４の例では、撮像装置２０５と他のレンジセンサの両方で発射領域３０１からのショットを追跡し、キャリブレーションが、撮像装置２０５のパラメータを調整して、両システムが同一のデータを提供するようにすることを含んでも良い。上述したキャリブレーションの組合せ又は変更が、例えば発射領域３０１の性質を含む様々な要因に応じて使用されても良い。例えば、上述したように、発射エリア１２０は、予め定義された打席のないオープンエリアであっても良い。そのような場合、撮像装置２０５は、例えば上で提供された第４の例を用いて、定義されていない発射領域にキャリブレーションされても良い。

【0039】

当業者が理解するように、撮像装置２０５は、ボールが撮像装置２０５の視野を横切る際に、飛行中のボールの複数の画像を取得するのに十分な高いフレームレートを有するように選択される。例えば、撮像装置２０５のフレームレートは、６０から１２０ｆｐｓの間とすることができる。日中にはより高いフレームレート、例えば１２０ｆｐｓを使用し、夜間にはより低いフレームレート、例えば６０／９０ｆｐｓを使用して、ボールのより良い信号品質を得ても良い。撮像装置２０５がローリングシャッターを備えても良い、即ち、撮像装置２０５の撮像素子（例えば、感光性チップ）を順次移動するパターンで、一度に１つのライン（ピクセル）の画像データを取得しても良い。このような場合、撮像装置２０５は、ローリングシャッターを介して画素が露光される撮像素子を横切る方向（即ち、露光される画素の最初のラインから露光される画素の次のラインへの方向等）が、撮像装置２０５の視野を横切るボールの予想される移動方向と同じになるように配向されることが好ましい。

【0040】

言い換えれば、図３ａに示すフレーム３００に関して、撮像装置２０５は、画像データが視野の上部（発射領域３０１を含む）から始まり、視野の下部（エリア３０２を含む）まで推移して、フレームを横切って撮影されたボールの移動経路の長さを各フレームで最大化するように方向付けられている。他の実施形態では、撮像装置２０５は、撮像装置２０５の視野を拡張し、その結果、その視野を通るボールの移動経路の長さを拡張するために、広角レンズを有しても良い。当業者が理解するように、撮像装置２０５の視野の照明は、例えば、１つ又は複数の光源によって、画像の所望のシャープネス／鮮明さを達成するために必要に応じて強化されてもよく、これは、屋内又は夜間の条件において特に当てはまる可能性がある。撮像装置２０５は、様々な波長で動作するように構成されても良い。例えば、カメラは、視覚スペクトル又は赤外（若しくは近赤外）スペクトルで動作しても良い。

【0041】

撮像装置２０５は、画像のピクセル強度ヒストグラムが最適な露光条件を反映するように、露光及びゲインを調整するための露光制御を実装しても良い。本実施形態では、「正しく露光」している画像、即ち、画像の過剰露光を回避しつつ可能な限り多くの光を集めるために増加した露光時間を使用して撮影された画像が、人間が見ることを意図した典型的な画像に対する理想的な露光よりも好ましい。撮像装置２０５の露出を制御するための１つの手順を以下に説明するが、当技術分野で知られている他の露出制御技術を使用しても良い。例えば、自動露出の技術は、以前に米国出願公開番号２０１１／０２９３２５９及び米国特許第９，８７１，９７２号に記載されており、これらの開示内容全体が参照によりここに組み込まれる。自動露出の一般的な原理は、彩度を最小限に抑えながら画像の最大輝度を達成することである。

【0042】

追加露出の問題は、シーンの反射、又は、様々な困難な照明条件によって引き起こされる同様の状況によって生じる可能性がある。カメラのレンズの前に偏光フィルタを使用して反射を防ぎ、光量を減らして露光時間を長くすることで、これらの問題を回避することができる。

【0043】

高速で動く物体、例えば発射されたゴルフボールは、撮像装置２０５が長い露光時間、即ち１つのフレームの露光中にボールが視野のかなりの部分を横断する結果となる露光時間を有する場合には特に、線状のブレとして撮像装置２０５によって撮影され得る。露光時間は、照明条件に応じて、約３４μｓから１５ｍｓの範囲になることがある。光量の多い状況での短い露光時間では、ボールの実質的に丸い画像を示す鮮明な画像が得られる可能性があるが、長い露光時間のフレームでは、ボールは端が丸くなった線状のブレとして表示される。本実施形態では、カメラは、ボールが通過した距離を表すブレの長さを測定し、これを露光時間と比較することによって速度を決定することができる。また、ボールの水平方向は、ブレの方向から明確に導き出すことができ、ボールの水平方向の速度は、ブレの長さを計測し、その長さを既知の露光時間で除算することで求めることができる。背景ノイズを最小限に抑えるためには、上述のように長い露光時間が好ましいが、以下に説明する検出アルゴリズムは、短時間の露光の場合でも良好に機能するように十分なロバスト性を備えている。

【0044】

図３ｄは、短い露光時間で撮影されたフレームの推移を示す例示的な図３１５であり、図３ｅは、長い露光時間で撮影されたフレームの進行を示す例示的な図３２０である。ゴルフクラブ３１６が、ｔｎ－２、ｔｎ－１、ｔｎの３つの時点で示されており、ｔｎはゴルフボール３１７が打たれる瞬間を表している。図３ｄでは、フレームレートが高くなり、露光時間が短くなり、その結果、ボール３１７が撮像装置２０５の視野から離れる前の時間ｔｎ＋１、ｔｎ＋２、ｔｎ＋３で、動きのあるゴルフボール３１７の３つの画像が撮影される。ボール３１７は、ターゲットライン３５０に対する角度３５２で、経路３５１に沿って移動する。短い露光時間は、わずかな伸び３１８を有するかもしれない、ボール３１７の実質的に丸い画像を示す、より鮮明な画像を提供する。例示的な図３１５において、ボールの水平方向の動きは、フレーム間のボール３１７の位置の変化を計算し（符号３１９として示す）、既知のカメラフレームレートに基づいて速度を計算することによって決定されても良い。また、角度３５２は、経路３５１を発射位置に戻すように延長し、経路３５１の方向を目標線３５０と比較することで決定しても良い。しかし、図３ｅでは、フレームレートが低く、露光時間が長く、その結果、ボール３１７が撮像装置２０５の視野から離れる前の時間ｔｎ＋１に、動きのあるゴルフボール３１７の画像が１つだけ撮影されることになる。ボール３１７を表す線状のブレ３１７’の長さは、上述したように、水平方向の角度３５２と同様に測定され、そこからボールの水平方向の速度が決定されても良い。

【0045】

システム２００は、撮像装置２０５によって撮影された画像を受信して処理するように構成されたコンピュータ２１０を更に含む。コンピュータ２１０は、プロセッサ２１５と、例えば画像及びプロセッサ２１５による実行のためのアルゴリズム命令を格納するメモリ２２０とを備える。コンピュータ２１０は、独立して、即ち、単一の打席３１０からのショットを処理するための別個のコンピュータ２１０として提供されてもよく、あるいは、ゴルフ練習場１００全体のためのより広範な処理装置の一部であっても良い。例えば、以下で更に詳細に説明するように、撮像装置２０５によって取得された画像データから決定されたショット特性は、レーダ１４０～１４２によって取り込まれたレーダデータから決定されたショット特性と比較されてもよく、レーダによってショットの軌跡が検出され、それからの追跡が決定された場合には、画像データから決定されたショット特性は破棄されるか、又は、ゴルファーに提供されなくても良い。

【0046】

画像から、コンピュータ２１０は、例えば、発射されたボールの初期の速度及び方向を含むショット特性を決定しても良い。撮像装置２０５のボール検出を時間的に一致させ、１つ以上のレンジレーダからのボール検出と比較することができるように、ボールが打たれた時間等を含む、更なる特性が決定されても良い。これらの決定については、以下で更に詳細に説明する。ショット特性が決定されると、ショット特性に基づくフィードバックが、ショットが発せられた打席１３０に配置されたディスプレイ２２５に提供されても良い。ディスプレイ２２５は、決定されたショット特性を表示しても良く、また、初速度を与えられたボールが移動するであろう推定距離や、初期の速度及び方向に基づく打席に対する最終的な静止位置等、予測された飛行経路の詳細を表示しても良い。

【0047】

図４は、画像データにおいて動くボールのシグネチャを検出し、そこから情報を抽出するために、システム２００で実施される方法４００を示している。４０５では、撮像装置２０５によって撮影された画像がリングバッファに送られる。リングバッファは、画像を格納するためのメモリ２２５の一部であり、リングバッファの容量が一杯になった後、古い画像が継続的に上書きされる。例えば、リングバッファが同時に１０００枚の画像を保持する場合、１００１番目に撮影された画像は、１番目に撮影された画像を置換し、１００２番目に撮影された画像は、２番目に撮影された画像を置換する、といったようにである。撮像装置２０５のフレームレートが９０ｆｐｓの場合、１０００枚の画像リングバッファの各画像は、約１１秒で上書きされる。リングバッファのサイズは、画像の解像度や、カメラからＣＰＵメモリに画像データを移動させるのに必要な時間に応じて変化することがある。画像の解像度は、ボールに対応する最小の画素数と最小の視野に基づいて決定される。ただし、解像度が高すぎてＣＰＵのリソースを消費し、フレーム落ちになることは避けなければならない。

【0048】

４１０では、ボールに相関する可能性のある候補の画像特徴を検出するために、画像のそれぞれに対してブロブ（画素の塊）の検出が実行される。検出ステップは、例えば、エリア３０２を構成する画像の部分、即ち、発射時にボールを検出するためのトリガーエリアと考えられる打席１３０に隣接するターゲットエリアの部分のみに対して実行されても良い。あるいは、使用するコンピュータが十分に高速であれば、画像全体が使用されても良い。ゴルフボールの既知のサイズと形状、及び撮像装置２０５とボールとの間のおよその距離が与えられると、コンピュータ２１０は、トリガーエリアを移動するボールのシグネチャに対応する候補を識別する。閾値条件を満たすブロブが画像内に検出されない場合、本方法は終了する。ゴルファーが典型的にショットを行う頻度と、打たれたボールが典型的にエリア３０２を通過するのに掛かる短い時間とを考慮すると、撮像装置２０５によって撮影された画像の大部分において、ブロブが検出されない可能性が高いと考えられる。

【0049】

他の様々な物体のシグネチャ、例えば、カメラが取り付けられている打席からのクラブ又は身体の一部、他の打席から発射されたボール、鳥等が、同様に可能性のある候補として検出されることがあるが、これらは後の分析段階で破棄される。ブロブの検出は、例えば、クラブによって部分的に隠されている等、識別が困難なボールを見逃す可能性が低くなるように、関心のある画像に関する粗いフィルタとして機能する。ブロブの検出は、撮像装置２０５によって画像が取得されるときに連続的に実行される。図３ｂは、ボールシグネチャに対応するブロブ３０３が取得され、検出されたフレーム３０５を示している。

【0050】

４１５では、候補フレーム、即ち、ボールの形状／サイズに相関するブロブが検出されたフレームを更に分析して、その特徴を抽出する。特徴を抽出する分析は、複数のサブステップからなる。まず、任意の照明条件に対応できるように、画像を、最も情報量の多い別の色空間に投影する。投影マトリクスは、元の色空間（ＲＧＢ等）に対して主成分分析（ＰＣＡ）を行うことで算出され、主成分によって定義される空間となる。従って、元のＲＧＢ画像は、元の情報の最大の分散が最大の主成分に対応する空間に保持される別の空間に変換され、これは単一チャネル画像に保持される最も多くの情報を表現する。ＣＰＵの能力に応じて、最も精細な単一チャネル画像を、色空間変換後の異なる画像チャネルの合成により計算することができる。隣接する全てのフレームから単一チャネル画像を抽出し、動画像が算出される。

【0051】

次に、動画像に対して平滑化、閾値処理、及びフィルタリングが行われる。閾値処理後の結果の画像は、例えば、図３ｃに示すフレーム３１０のような２値画像である。２値画像においてブロブの輪郭が抽出され、これにより、輪郭解析に基づくブロブのフィルタリングが実行可能になる。最後に、フィルタされずに残ったブロブの特徴がエッジの輪郭から抽出される。具体的には、長さ、幅、ブレのファクター（長さ／幅）、撮影角度（水平方向）、及び推定発射位置（例えば、ティーの位置）が、エッジの輪郭から決定される。ブロブの支配的な軸は、ボールの移動方向に相関し、ブロブの支配的でない軸は、ボールの幅に相関する。ボールの方向に基づいて、軸が発射領域３０１へ戻るように延長されても良く、これにより推定発射位置が決定される。

【0052】

主成分分析は、最適な色空間を見つけるために４１５で使用されても良い。撮像装置２０５が異なる信号周波数を感知しているので、視野内の光のスペクトルは、昼間と夜間で異なる可能性がある。従って、異なる時間帯に異なる色空間が参照されても良い。例えば、赤と緑は、日中にはスキップされるかもしれないが、夜間には、局所的な照明がこれらの帯域に対応する可能性があるため、使用される余地がある。この問題を解決するために、画像データの色空間に対してＰＣＡを実行することができる。対応する最も強い主ベクトルは、ＲＧＢを、情報の大部分が保持される単一の色空間に投影することができる。この投影により、より高いＳ／Ｎ比が得られる可能性がある。

【0053】

４２０では、複数の画像からのブロブがボールの軌跡を形成しているか否か、即ち、視野内を移動するボールに対応しているか否かを判断する。まず、教師なしの機械学習法、例えば階層クラスタリングを用いて、ブロブの輪郭をクラスタリングし、特徴空間の記述に基づいてブロブのクラスタリングを行う。次に、特徴ベクトルが互いに相関しているか否かを判断するために、空間的及び時間的なチェックを行う。空間的チェックでは、検出されたすべてのボールの図心を非常に小さな偏差で一致させるためにラインモデルを使用し、時間的チェックでは、検出されたボールが時間単位で所定の方向に連続的に移動していることを確認する。具体的には、ブロブ集合の最初のブロブについて４１５で抽出した特徴ベクトルのそれぞれを、集合の別のブロブの対応する特徴ベクトルと比較する。特徴量が実質的に一致した場合、そのブロブは同じボールの軌跡に対応していると判断される。クラスタ内のメンバーが十分でないか、空間的及び時間的チェックに失敗するかの何れかにより、ボール軌道を表すブロブ集合が見つからない場合は、方法は４２５に進む。

【0054】

４２５では、緩やかなマッチング条件に基づいて第２のマッチングが実行される。具体的には、別の教師なしクラスタリングが、減少した特徴空間上で、増加したクラスタリング条件で実行される。例えば、特に高速で移動したボールは、４２０を満たすのに十分な実質的なブロブ集合を形成するのに十分な画像、例えば３つの画像に現れないかもしれない。特徴空間が減少しても、クラスタリング要件が増加する（クラス内分散が小さくなる）と、候補のブロブは、ブロブが同じボールの軌跡に対応していると判断するのに十分な程度に、残りの特徴マッチング条件を満たすことができる。

【0055】

４３０では、４２０又は４２５の何れかで、ボール軌道が識別されたと判定された場合、識別された特徴からショット特性が決定され、ゴルファーへのフィードバックがディスプレイ２２５で提供される。

【0056】

別の実施形態では、ステップ４２０～４２５は、ボール軌道を構成するブロブのエッジの輪郭をより効率的に選択するために、以下に説明する単一の整数計画法による最適化によって置き換えられる。特徴量Ｘ１，Ｘ２，Ｘ３のセットが与えられたとき、Ｎが｛０，１｝の何れかであるＮ１，Ｎ２，Ｎ３を、ペアワイズ距離（Ｘ１＊Ｎ１，Ｘ２＊Ｎ２，Ｘ３＊Ｎ３， ．．．）が最小になるように、Ｖａｒｉａｎｃｅ（Ｓｐｅｅｄ₁₂，Ｓｐｅｅｄ₂₃，．．．） ＜ ［小さな値］ を対象として見つける。

【0057】

混合整数計画（ＭＩＰ）モデルは、少なくとも１つの変数が離散的である最適化モデルである。「純粋な」整数計画とは、すべての変数が離散的である場合である。ＭＩＰ問題の定式化は、最適化モデルと、不等式や方程式形式の制約条件で構成される。ＭＩＰは、画像（ｕ，ｖ）平面のフィッティングラインに許容範囲内で近づくボールオブジェクトの軌跡（インライア）を求めたり、他の２値画像オブジェクトの中から、オブジェクトの位置に基づいて、更に、オブジェクトの幅、長さ、向き等の特徴に基づいてアウトライアを検出するために使用される。以下では，最適化問題を，データ点が一連の制約条件に従うときにインライアの数を最大化することとして定式化する。Ｎ個のデータポイントに対して、最適化モデルは次のように表される。

【数1】

ここで、ｙ_ijkに関して、点ｋがインライアであり，点ｉと点ｊを通る（ｕ，ｖ）平面上のフィッティングラインがある場合はｙ_ijk＝１，そうでない場合は０となる。このモデルにはいくつかの制約がある。ｙ_ijkに加えて、別の２値変数ｚ_ijが定義されている。フィッティングラインが点ｉとｊを通る場合、ｚ_ij＝１となり、そうでない場合は０となる。更に、次のような制約が導入されている。

【数2】

更に、ＲＡＮＳＡＣと同様に、（ｕ，ｖ）面内のインライアはフィッティングラインから距離閾値ε以内に存在しなければならないという距離制約が課せられる。即ち、距離制約は以下のように定義される。

【数3】

ここで、ｄ_ijkは、点ｋから点ｉとｊを通る直線までの距離である。また、ｙ_ijkがｉとｊで１にしかならず、ｚ_ij＝１になることを保証するために、次のような制約が導入されている。

【数4】

ここまでは、Ｎ個のデータポイントとフィッティングラインとの関係のみを扱ってきたが、ここではｉとｊを平面上の座標ｕとｖに関連付けている。各データ点に、物体の長さや幅等の特徴が追加で対応付けられている場合は、データ点から２点ｉとｊまでの特徴空間上の距離に関する制約が追加される。具体的には、次のように定義される。

【数5】

ここで、σは特徴量のしきい値である。特徴空間での距離Ｄ_ijkは、次のように選ばれる。

【数6】

ここで、ｄｉｓｔ（）は、ユークリッド距離である。従って、Ｄ_ijkは、点ｋから（ｕ，ｖ）空間のフィッティングラインが通る点ｉ、ｊまでの特徴空間における平均距離である。Ｎ個のデータポイントが与えられたときの距離ｄ_ijkとＤ_ijkは、最適化を実行する直前に計算することができるため、定数テンソルとして機能する。最適化の実行には、ＣＯＩＮ－ＯＲ Ｂｒａｎｃｈ－ａｎｄ－Ｃｕｔソルバー（ＣＢＣ）を使用することができる。

【0058】

方法４００は、水平方向の発射パラメータのみを決定するものとして記述されていることに留意すべきである。従って、ゴルファーに提供されるフィードバックの種類は、先に説明した実施形態における水平方向の速度、角度、ショット後のボールの最終的な静止位置等に限定され得る。単一のオーバーヘッドカメラのみを使用して垂直方向の動きを決定することは困難な場合がある。例えば、動きの速いボールは、撮影されたフレームの中でブレて見えることがある。ブレたボール画像は、水平方向の距離／方向の決定には実質的に影響しないが、垂直方向の位置を決定する場合には、例えば、連続するフレーム間のブレたボール画像の幅（進行方向に垂直な方向におけるブレたボール画像の範囲）の変化が小さいために信頼性が低い可能性がある。しかし、ボールの大きさに関連する追加の特徴を４１５の画像から抽出し、様々な信頼性の垂直発射角特性を決定するために使用しても良い。別の実施形態では、おおよその垂直発射角が特定の範囲内にあると決定されても良い。ショット特性が、この変動性を包含するようにディスプレイ２２５に提供されても良い。例えば、垂直発射角が信頼性を持って決定できない場合、ショットのおおよその距離の範囲がショットのフィードバックとして提供されても良い。

【0059】

あるいは、特徴抽出ステップの前に深層学習に基づく物体検出を導入したり、特徴抽出ステップの後に深層学習に基づくブロブの分類を導入したりすることができる。この結果、４１０で検出されたブロブのサイズに対する要件を緩和できるので、カメラからの異なる距離にあるボールを確実に検出してボールまでの距離を推定し、垂直発射角のより正確な決定を提供することができる。

【0060】

前述のシステム２００は、ゴルフ練習場１００のいかなる中央処理装置からも切り離されたスタンドアロン型のシステムとして説明されている。しかし、前述したように、説明した各打席の画像処理システムは、以下に説明する方法で、レンジ追跡システムと調和しても良い。

【0061】

図５は、ボールが他のレンジセンサによって追跡できない場合において、ショットのフィードバックを提供するために、ゴルフ練習場１００で実施されるシステム５００を示す。本実施形態では、レンジセンサは、レンジレーダ１４０～１４２を含む。前述したように、ゴルフ練習場１００は、１３個の打席１３０（即ち、打席１３０（１）～１３０（１３））を有している。これらの打席１３０のそれぞれには、ショットの特性を決定するための上述の撮像装置２０５（即ち、撮像装置２０５（１）～２０５（１３））と、打席１３０にいるゴルファーにフィードバックを提供するための上述のディスプレイ２２５（即ち、ディスプレイ２２５（１）～２２５（１３））とが設けられている。

【0062】

システム５００は、プロセッサ５１０とメモリ５１５とを備える中央処理装置５０５を含む。中央処理装置５０５は、任意の数のコンピュータを含んでも良い。例えば、各打席１３０は、それぞれの打席１３０から発せられたショットに対して画像解析を行うための上述のコンピュータ２１０を含んでいても良い。しかしながら、本実施形態では、これらのコンピュータ２１０は、上述したように、レーダ１４０～１４２によって提供されるレーダデータからショットの追跡を決定する更なる処理装置（同一又は別個のコンピューティングデバイス上で実行されても良い）と通信している。あるいは、各打席１３０からの画像データは、中央処理装置５０５に直接送られ、中央処理装置５０５で分析される。後述する方法６００に従ってショット特性が決定されると、中央処理装置５０５から、ショットが発生したと決定された打席１３０のディスプレイ２２５にフィードバックが提供される。

【0063】

他のレンジセンサ、例えばレンジレーダ１４０～１４２の仕様が、各打席のカメラ２０５の仕様に影響を与える可能性がある。例えば、１５ｍ／ｓ以上の速度で打ち出されたボールがゴルフ練習場の他のセンサ、例えばレーダによって検出されると仮定した場合、カメラの特性は、１５ｍ／ｓ以下の速度で打ち出されたボールのデータを取得するように選択されなければならない（恐らく、ショットを逃さないようにわずかにオーバーラップさせて）。

【0064】

レーダ装置１４０～１４２は、例えば、Ｘバンド周波数（９～１１ＧＨｚ）のマイクロ波を最大５００ミリワットＥＩＲＰ（Ｅｑｕｉｖａｌｅｎｔ Ｉｓｏｔｒｏｐｉｃ Ｒａｄｉａｔｅｄ Ｐｏｗｅｒ）の電力で放射する連続波ドップラーレーダであってもよく、従って、短距離国際放射体に関するＦＣＣ及びＣＥの規制に準拠している。しかし、他の管轄区域では、地域の規制に準拠して他の電力レベルを使用することができる。例示的な実施形態では、マイクロ波は、例えば、１０－１２５ＧＨｚの間のより高い周波数で放出される。物体速度がより低い場合でも正確に測定するために、２０ＧＨｚ以上の周波数を使用しても良い。

【0065】

ドップラーレーダの送信周波数が高いほど、同じ観測時間での速度分解能が高くなることを、当業者は理解できるだろう。低速度のショットを追跡し、ボールをフィールド内の他の物体、即ちゴルフクラブ及びゴルファーから分離するために、高い速度分解能が望まれる場合がある。例示すると、速度分解能は０．２５ｍ／ｓ以下が好ましい。高い速度分解能は、短い観察時間（例えば、０．１００秒以下）でも、ボールの飛行状態、跳ね状態、滑り状態、及び／又は転がり状態の間の遷移を識別するための速度ジャンプの正確な追跡を可能にするために有用であり、観察時間はそれぞれのタイムスパンである。

【0066】

図６は、システム５００の複数のセンサによって取得されたショットデータを調和させるための方法６００を示す。６０５では、上述したように、レーダ１４０～１４２のうち１つ以上のレーダからのデータに基づいて、レーダに基づくショットの追跡を特定する。６１０では、レーダに基づくショットの追跡が発せられた打席１３０が特定される。ショットのシグネチャが発射後しばらくするまでレーダによってピックアップされない場合であっても、追跡が、それが発せられた場所に時間的に遡るように延長することができる。

【0067】

ステップ６０５～６１０と実質的に同時に、６１５では、上述の方法４００に従って、打席１３０の１つのカメラ２０５によってショットが検出され、ショットの特性が決定される。ショットが発せられた打席１３０は、ショットを検出したカメラ２０５の識別情報によりわかる。例えば、カメラ２０５（５）がショットを検出した場合、ショットが発生した打席１３０は打席１３０（５）であることがわかる。検出、特徴抽出等は、打席１３０内の独立したコンピュータで行われても良いし、中央処理装置５０５で行われても良い。画像解析ステップが打席１３０で実行される場合、その特性はその後、中央処理装置５０５に送られる。画像データから決定されたショット特性は、打席１３０と、検出された時間と、に関連付けられる。注目すべきは、ショット特性は、打席１３０のディスプレイ２２５にまだ表示されていないことである。

【0068】

６２０では、各打席の画像データから決定されたショット特性が、レーダデータから特定された追跡と比較され、ショット特性に対応するショットがレーダシステムによって追跡されたか否かが判断される。一致するものが見つかった場合、その一致は、同じ打席と同じ発射時間（いくつかの所定のしきい値内）からなるものであり、６２５において、画像データから決定されたショット特性は破棄される。レーダ追跡は、画像データよりも大幅に包括的なショット追跡を提供し、利用可能であれば好ましい。６３０では、レーダシステムによるショット追跡が完了すると、レーダデータから決定されたショット特性が、ショットの発生元である各打席のディスプレイ２２５に送られる。一致しない場合には、６３５において、画像データによって決定されたショット特性が各打席のディスプレイ２２５に送られる。

【0069】

このように、前述の方法６００は、ショットが発信された打席１３０に利用可能な最良のショット追跡データを提供するものである。ショットのシグネチャがレーダによって拾われなかったために包括的なショット追跡が利用できない場合、各打席のカメラによって提供される画像データから決定されるショット特性は、より限定的であるが、依然として価値のあるフィードバックの形態をゴルファーに提供することができる。

【0070】

別の実施形態では、カメラ２０５が各打席１３０に配置されるのではなく、カメラ２０５が２つの打席１３０の間の１つおきの仕切りに配置される。これらのカメラ２０５は、上述したものと実質的に同様の方法でフレームを取得する。ただし、この場合、各画像を半分に分割して別々に解析し、隣接する打席でのショットを区別しても良い。発射位置の実質的な上方ではなく、発射位置に対して水平な角度でカメラを配置することにより、第１の例示的な実施形態よりも信頼性の高い垂直飛行経路データを提供することができる場合がある。しかし、この配置によって、第１の例示的な実施形態よりも信頼性の低い水平飛行経路データを提供しても良い。更に、この実施形態は、ゴルファーの右利き又は左利きに応じて、ゴルフスイング中にゴルファー及びゴルフクラブによって閉塞される、又は閉塞される可能性がある、発射されたボールの有利な点を提供することができる。勿論、このコンセプトは、２つを上回る打席１３０をカバーするように拡張される余地がある。

【0071】

更に別の実施形態では、カメラ２０５は、２つの打席１３０の間のすべての仕切り、及び打席の各列の外側の端部に配置される。言い換えれば、各打席の両側にカメラが配置されている。このような例示的なカメラの配置は、単一の打席に専念するカメラよりも多くの情報を提供することができる。例えば、２台のカメラで１つのショットを撮影すると、移動経路データが生成され、ステレオビジョン方式で飛行経路を解析することができる。従来のステレオ解析では、２台のカメラで実質的に同時にフレームを撮影する必要がある。

【0072】

しかし、本実施形態では、各カメラは、速度と方向が決定される画像平面内で別々の追跡を提供する余地がある。異なる視点からの２つの画像平面からの速度と方向を組み合わせることで、３次元の速度と３次元の発射方向を決定することができる。更に、複数のカメラによる検出アプローチは、よりロバストで高精度なショット検出を実現する。このようにして、信頼性の高い水平方向及び垂直方向の飛行経路情報を生成することができる。また、２台のカメラで各打席を観測しているため、発射地点でデータが得られない状況に陥りにくくなっている。また、２台のカメラのうち１台の視野が遮られた場合でも、残りのカメラは鮮明な視野を持ち、先に述べた飛行経路データを生成するための技術を実行するのに十分な画像データを生成することができる。

【0073】

更に別の実施形態によれば、システムは、カメラの代わりに１つ以上のＬＩＤＡＲスキャナを備える。ＬＩＤＡＲスキャナは、高い角度分解能で発射エリア１２０の３Ｄ点群を提供し、この角度分解能は、例えば、直径４２．１ｍｍのゴルフボールの発射を検出するのに十分である。スキャンレートは、ＬＩＤＡＲスキャナの視野内に入った状態で移動するボールを少なくとも２回スキャンするために、２０Ｈｚ等の十分に高い速度が必要である。ＬＩＤＡＲスキャナは、打席の長手方向の両端のうち一方、即ちレンジの片側に配置されても良いし、打席の両端に配置されても良い。ＬＩＤＡＲは、打席のわずかに前方にあり、レンジの表面を横切るように向けられていても良い。あるいは、ＬＩＤＡＲは、打席の更に前方にあり、打席に向けられても良い。

【0074】

ＬＩＤＡＲから受信した点群は、動いている３Ｄ点のみを提供するためにフィルタリングされ、ここでは背景が除外される。フィルタリングされた点群は、打席の１つから発射されたボールに由来する可能性の高い点のみを表すために、打席１３０の位置と点を比較することによって更にフィルタリングされる。フィルタリングで残った３Ｄ点は、ボールの実質的に直線的な動きと一致する点を見つけるために、画像で検出された位置と同様の方法で分析される。見出された点は発射方向と発射速度を生成するために使用される。ＬＩＤＡＲは、例えばＶｅｌｏｄｙｎｅ ＬｉＤＡＲ（登録商標）を使用することができる。

【0075】

本開示の精神又は範囲から逸脱することなく、本開示に様々な変更を加えることができることは、当業者には明らかであろう。従って、本開示は、添付の特許請求の範囲及びその等価物の範囲内に入ることを条件に、本開示の修正及び変形をカバーすることが意図されている。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図3d】

【図3e】

【図4】

【図5】

【図6】