特許 6763559 ボール追跡装置及びボール追跡方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6763559

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】ボール追跡装置及びボール追跡方法

(51)【国際特許分類】

   A63B 69/36 20060101AFI20200917BHJP

   G06T 7/277 20170101ALI20200917BHJP

【ＦＩ】

   A63B69/36 541S

   A63B69/36 541W

   G06T7/277

【請求項の数】3

【全頁数】24

(21)【出願番号】特願2019-198201(P2019-198201)

(22)【出願日】2019年10月31日

【審査請求日】2019年10月31日

【早期審査対象出願】

(73)【特許権者】

【識別番号】511037447

【氏名又は名称】株式会社ＧＰＲＯ

(74)【代理人】

【識別番号】100170025

【弁理士】

【氏名又は名称】福島 一

(72)【発明者】

【氏名】永井 郷一

(72)【発明者】

【氏名】ヴォ チョン ルアン

(72)【発明者】

【氏名】ド ベト マン

(72)【発明者】

【氏名】ルオン ホン クアン

【審査官】 古川 直樹

(56)【参考文献】

【文献】 特開平０４−３４７１８１（ＪＰ，Ａ）

【文献】 特開２０１７−１１９１０２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／００４３２２９（ＵＳ，Ａ１）

【文献】 特開２００４−２４８７２５（ＪＰ，Ａ）

【文献】 特表２００６−５０５２９２（ＪＰ，Ａ）

【文献】 高橋 正樹 Masakki Takahashi，電子情報通信学会２００７年総合大会講演論文集 情報・システム２ PROCEEDINGS OF THE 2007 IEICE GENERAL CONFERENCE，２００７年 ４月 ２日，１６０ページ，特に２．２予測曲線によるフィルタリングを参照。

【文献】 高橋 正樹 Masaki TAKAHASHI，移動体の抽出および動き予測に基づくゴルフのティーショット軌道表示システム Tee shot trajectory visualization in live golf programs using object extraction and motion estimation，映像情報メディア学会技術報告 Ｖｏｌ．３０ Ｎｏ．４１ ITE Technical Report，日本，（社）映像情報メディア学会 The Institute of Image Information and Television Engineers，２００６年 ９月１３日，第30巻、第41号，１７〜２０ページ，特に５．打点・落下点・静止点の指定を参照。

【文献】 高橋 正樹，野球投球軌跡作画装置“Ｂ−Ｍｏｔｉｏｎ”の開発・運用報告，映像情報メディア学会技術報告 Ｖｏｌ．２９ Ｎｏ．９ ，日本，（社）映像情報メディア学会，２００５年 ２月 ４日，第29巻，第119ページから第124ページ，特に第122ページ第1行から第24行を参照。

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ａ６３Ｂ６９／３６

(57)【特許請求の範囲】

【請求項1】

ボールをカメラで撮影する撮影制御部と、
前記ボールの飛弾を検出する検出制御部と、
前記ボールの飛弾が検出された場合の初期時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを、飛行ボールの３次元初期位置と３次元初期速度として算出する算出制御部と、
前記算出された飛行ボールの３次元初期位置と３次元初期速度と、飛行ボールの放物線を示す下記の式（８）とに基づいて、初期時刻以降の特定の時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを、飛行ボールの３次元予測位置と３次元予測速度として予測する予測制御部と、
前記予測された飛行ボールの３次元予測位置を、前記特定の時刻で撮影された撮影画像内のカメラ座標系の２次元位置に、仮位置として変換する変換制御部と、
前記変換された撮影画像内の仮位置に基づいて、前記特定の時刻における撮影画像内での前記飛行ボールを示す飛行ボール画像を特定し、当該特定された飛行ボール画像のカメラ座標系の２次元位置を、飛行ボール画像の２次元観測位置として取得する取得制御部と、
状態モデルの下記の方程式（１１）と、観測モデルの下記の方程式（１２）とに基づいて、前記予測値を真の値に近づけるために当該予測値を修正するカルマンフィルタを用いて、前記特定の時刻における飛行ボールの３次元予測位置と３次元予測速度を、前記カルマンフィルタの状態モデルによる予測値にし、前記特定の時刻における飛行ボール画像の２次元観測位置を、前記カルマンフィルタの観測モデルによる観測値にして、当該特定の時刻における飛行ボールの３次元予測位置と３次元予測速度とを、前記特定の時刻における、真の値に近い飛行ボールの３次元修正位置と３次元修正速度として修正する修正制御部と、
前記特定の時刻における飛行ボールの３次元修正位置と３次元修正速度とを用いて、前記予測と、前記変換と、前記取得と、前記修正とを繰り返すことで、前記特定の時刻以降の時刻の飛行ボールの３次元修正位置と３次元修正速度とを得て、当該飛行ボールの軌跡を算出し、前記繰り返しを完了すると、前記飛行ボールの３次元修正位置と３次元修正速度とを用いて、飛弾された飛行ボールの飛行パラメータを算出する繰り返し制御部と、
を備え、
前記式（８）は、

【数1】

と定義され、ｋｄは、（−１／２ｍ）ＣｄρＡであり、ｋｍは、（１／２ｍ）ＣｍρＡｒであり、Ｔは、撮影時間間隔であり、ｍは、前記飛行ボールの重量であり、Ｃｄは、空気抵抗力の係数であり、ρは、空気の密度であり、Ａは、前記飛行ボールの前面投影面積であり、Ｖ＝（Ｖｘｒ、Ｖｙｒ、Ｖｚｒ）は、前記飛行ボールの３次元速度であり、ｒは、前記飛行ボールの半径であり、ω＝（ωｘ、ωｙ、ωｚ）は、前記飛行ボールの３次元スピン速度であり、初期状態では、ω＝（ωｘ、ωｙ、ωｚ）＝（０、０、０）であり、
前記式（１１）は、
ｘ（ｋ＋１）＝Ｆ（ｋ）×ｘ（ｋ）＋ｗ（ｋ） ・・・（１１）
と定義され、ｋは、時間係数であり、Ｆ（ｋ）が、ｋでの放物線を示す式に対応し、ｘ（ｋ）が、ｋでの前記飛行ボールの３次元予測位置及び３次元予測速度に対応し、ｗ（ｋ）は、ｋでのプロセスノイズであり、ｘ（ｋ＋１）は、ｋ＋１での前記飛行ボールの３次元予測位置と３次元予測速度に対応し、
前記式（１２）は、
ｙ（ｋ）＝Ｈ（ｋ）×ｘ（ｋ）＋ｖ（ｋ） ・・・（１２）
と定義され、Ｈ（ｋ）が、ｋでの世界座標系の３次元位置をカメラ座標系の２次元位置に変換する式に対応し、ｖ（ｋ）は、ｋでのプロセスノイズであり、ｙ（ｋ）は、ｋでの飛行ボール画像の２次元観測位置に対応する、
ボール追跡装置。

【請求項2】

前記取得制御部は、
前記変換された撮影画像内の仮位置を中心とした探索範囲を決定し、決定した探索範囲からエッジ画像を検出し、検出したエッジ画像を含む最小円画像を算出し、当該エッジ画像の専有面積から最小円画像の最小占有面積を除算した除算値を算出し、除算値が、飛行ボール基準値の範囲内で、且つ、円を示す円基準値に最も近いエッジ画像を飛行ボール画像として特定する、
請求項１に記載のボール追跡装置。

【請求項3】

ボールをカメラで撮影する撮影制御ステップと、
前記ボールの飛弾を検出する検出制御ステップと、
前記ボールの飛弾が検出された場合の初期時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを、飛行ボールの３次元初期位置と３次元初期速度として算出する算出制御ステップと、
前記算出された飛行ボールの３次元初期位置と３次元初期速度と、飛行ボールの放物線を示す下記の式（８）とに基づいて、初期時刻以降の特定の時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを、飛行ボールの３次元予測位置と３次元予測速度として予測する予測制御ステップと、
前記予測された飛行ボールの３次元予測位置を、前記特定の時刻で撮影された撮影画像内のカメラ座標系の２次元位置に、仮位置として変換する変換制御ステップと、
前記変換された撮影画像内の仮位置に基づいて、前記特定の時刻における撮影画像内での前記飛行ボールを示す飛行ボール画像を特定し、当該特定された飛行ボール画像のカメラ座標系の２次元位置を、飛行ボール画像の２次元観測位置として取得する取得制御ステップと、
状態モデルの下記の方程式（１１）と、観測モデルの下記の方程式（１２）とに基づいて、前記予測値を真の値に近づけるために当該予測値を修正するカルマンフィルタを用いて、前記特定の時刻における飛行ボールの３次元予測位置と３次元予測速度を、前記カルマンフィルタの状態モデルによる予測値にし、前記特定の時刻における飛行ボール画像の２次元観測位置を、前記カルマンフィルタの観測モデルによる観測値にして、当該特定の時刻における飛行ボールの３次元予測位置と３次元予測速度とを、前記特定の時刻における、真の値に近い飛行ボールの３次元修正位置と３次元修正速度として修正する修正制御ステップと、
前記特定の時刻における飛行ボールの３次元修正位置と３次元修正速度とを用いて、前記予測と、前記変換と、前記取得と、前記修正とを繰り返すことで、前記特定の時刻以降の時刻の飛行ボールの３次元修正位置と３次元修正速度とを得て、当該飛行ボールの軌跡を算出し、前記繰り返しを完了すると、前記飛行ボールの３次元修正位置と３次元修正速度とを用いて、飛弾された飛行ボールの飛行パラメータを算出する繰り返し制御ステップと、
を備え、
前記式（８）は、

【数2】

と定義され、ｋｄは、（−１／２ｍ）ＣｄρＡであり、ｋｍは、（１／２ｍ）ＣｍρＡｒであり、Ｔは、撮影時間間隔であり、ｍは、前記飛行ボールの重量であり、Ｃｄは、空気抵抗力の係数であり、ρは、空気の密度であり、Ａは、前記飛行ボールの前面投影面積であり、Ｖ＝（Ｖｘｒ、Ｖｙｒ、Ｖｚｒ）は、前記飛行ボールの３次元速度であり、ｒは、前記飛行ボールの半径であり、ω＝（ωｘ、ωｙ、ωｚ）は、前記飛行ボールの３次元スピン速度であり、初期状態では、ω＝（ωｘ、ωｙ、ωｚ）＝（０、０、０）であり、
前記式（１１）は、
ｘ（ｋ＋１）＝Ｆ（ｋ）×ｘ（ｋ）＋ｗ（ｋ） ・・・（１１）
と定義され、ｋは、時間係数であり、Ｆ（ｋ）が、ｋでの放物線を示す式に対応し、ｘ（ｋ）が、ｋでの前記飛行ボールの３次元予測位置及び３次元予測速度に対応し、ｗ（ｋ）は、ｋでのプロセスノイズであり、ｘ（ｋ＋１）は、ｋ＋１での前記飛行ボールの３次元予測位置と３次元予測速度に対応し、
前記式（１２）は、
ｙ（ｋ）＝Ｈ（ｋ）×ｘ（ｋ）＋ｖ（ｋ） ・・・（１２）
と定義され、Ｈ（ｋ）が、ｋでの世界座標系の３次元位置をカメラ座標系の２次元位置に変換する式に対応し、ｖ（ｋ）は、ｋでのプロセスノイズであり、ｙ（ｋ）は、ｋでの飛行ボール画像の２次元観測位置に対応する、
ボール追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボール追跡装置及びボール追跡方法に関する。

【背景技術】

【0002】

ゴルフ、野球、サッカー、バスケットボール等のボールを用いた球技について、飛弾して飛行するボールを連続的に撮影し、そのボールの軌跡を算出する技術が存在する。

【0003】

例えば、特表２００８−５４５１９４号公報（特許文献１）には、少なくともある期間の間、ボールが基本的に固定的な背景の前を移動するスポーツシーンを表すビデオ信号を生成するシステムが開示されている。このシステムは、追跡手段を備え、この追跡手段は、移動するボールの初期画像位置を自動的に識別するよう構成される。この追跡手段は、一連の画像における各画像について、画像とそれに続く画像との間の差分画像を生成する。差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる。この追跡手段は、ボール候補のセットの識別も行い、それぞれのボール候補は全て第２の値を含む近傍の画像要素群によって表され、当該画像要素群はボールサイズ基準を満たす。更に、この追跡手段は、ボール選択アルゴリズムに基づいて、ボール候補のセットから初期画像位置を選択する。これにより、ボールの修正（すなわち、センサの包含など）を必要とすることなく、信頼性があり強固な移動するボールの識別が可能となり、この識別に基づいて、その後のボール軌道を高精度に追跡することが出来るとしている。

【0004】

又、特表２０１０−５４００３６号公報（特許文献２）には、打ち上げ角度、ボール速度、ボールスピン等のボール軌道、ゴルフ関連データを収集して分析するためのシステムが開示されている。第１のカメラは、時空間点において第１の軌道ラインに沿って画像を取得する。第２のカメラは時空間点において第２の軌道ラインに沿って画像を取得する。このシステムは、この情報を組み合わせて、目標の３Ｄ軌道ラインを生成する。これにより、より高精度で、より低コストに、より良好な分析を得ることが出来るとしている。

【0005】

又、特表２０１４−５０８６２５号公報（特許文献３）には、仮想ゴルフシミュレーション装置に用いられるセンシング装置が開示されている。このセンシング装置は、使用者がスイングによりボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、取得した各フレーム別のイメージからボール候補を抽出し、ボール候補のそれぞれの３次元座標を２次元座標に変換して２次元軌跡を分析することによってボールの軌跡を抽出し、運動するボールに関する物理的特性情報を算出する、センシング処理ユニットと、を備える。これにより、カメラで取得されるイメージ上でボールとして判断されるボール候補に対する２次元軌跡を分析することによって、正確で迅速にボールを抽出できるため、低い解像度及び速度のカメラを用いるにもかかわらず、運動するボールの物理的特性情報を正確で迅速に算出できるとしている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特表２００８−５４５１９４号公報

【特許文献2】特表２０１０−５４００３６号公報

【特許文献3】特表２０１４−５０８６２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

通常、飛弾して飛行するボールは、球技のプレイヤーの後ろからリアルタイムに撮影される。その際に、飛行するボールの軌跡を算出したり、当該ボールの飛行パラメータ（例えば、キャリー、速度、方向等）を算出したりする装置が求められている。

【0008】

しかしながら、屋外環境では、ハードウェアノイズのようなデジタルノイズ、画像ノイズ等の電気的なノイズ、人の動き、木の動き、他のゴルフショット等の動的なノイズ等、様々なノイズが発生する。又、屋外環境での撮影中のボールの光条件は、安定しないため、飛弾時のボールの検出や飛行中のボールの追跡は非常に難しい。

【0009】

特に、ゴルフでは、ゴルフボールは小さく、ゴルフショットは非常に早い（＞１２０ｍｐｈ）。そのため、ゴルフボールは、継続的に空で見ることは難しく、追跡し難く、カメラの視野から外れ易い。又、ゴルフボールのフライトモデルは、非常に多様性に富み、複雑である。

【0010】

このような事実から、飛行するボールの軌跡を精度高く算出することは難しいという課題がある。

【0011】

特許文献１に記載の技術では、一連の画像内の複数のボール候補のうち、直線の軌道線候補を定義することで、軌道線候補からの閾値範囲内に見つからないボール候補を破棄しながら、ボール候補を決定していく。そのため、飛弾した飛行ボールの軌跡が曲線を描く場合は、ボールの軌道を正確に算出し難いという課題がある。

【0012】

又、特許文献２に記載の技術では、２つ以上のカメラが必要であるとともに、２つの異なる時空間点から取得される軌道ラインを組み合わせる必要がある。そのため、組み合わせが不適切の場合、飛弾後の飛行ボールの軌跡に誤差が生じるという課題がある。

【0013】

又、特許文献３に記載の技術では、ボール候補の３次元座標から変換された２次元座標に基づいて２次元軌跡を分析する。そのため、ボール画像の２次元軌跡から現実のボールの３次元軌跡を算出することには限界があるという課題がある。

【0014】

そこで、本発明は、上述の課題を解決するためになされたものであり、飛弾後の飛行ボールの軌跡を精度高く算出することが可能なボール追跡装置及びボール追跡方法を提供することを目的とする。

【課題を解決するための手段】

【0015】

本発明に係るボール追跡装置は、撮影制御部と、検出制御部と、算出制御部と、予測制御部と、変換制御部と、取得制御部と、修正制御部と、繰り返し制御部とを備える。撮影制御部は、ボールをカメラで撮影する。検出制御部は、前記ボールの飛弾を検出する。算出制御部は、前記ボールの飛弾が検出された場合の初期時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを、初期位置と初期速度として算出する。予測制御部は、前記算出された飛行ボールの初期位置と初期速度と、飛行ボールの放物線を示す式とに基づいて、初期時刻以降の特定の時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを、予測位置と予測速度として予測する。変換制御部は、前記予測された飛行ボールの予測位置を、前記特定の時刻で撮影された撮影画像内のカメラ座標系の２次元位置に、仮位置として変換する。取得制御部は、前記変換された撮影画像内の仮位置に基づいて、前記特定の時刻における撮影画像内での前記飛行ボールを示す飛行ボール画像を特定し、当該特定された飛行ボール画像のカメラ座標系の２次元位置を、観測位置として取得する。修正制御部は、前記飛行ボールの予測位置と予測速度と、前記飛行ボール画像の観測位置と、カルマンフィルタとに基づいて、当該飛行ボールの予測位置と予測速度とを、修正位置と修正速度として修正する。繰り返し制御部は、前記特定の時刻における飛行ボールの修正位置と修正速度とを用いて、前記予測と、前記変換と、前記取得と、前記修正とを繰り返すことで、前記特定の時刻以降の時刻の飛行ボールの軌跡を算出する。

【0016】

又、本発明に係るボール追跡方法は、ボール追跡装置の各部と同様に、撮影制御ステップと、検出制御ステップと、算出制御ステップと、予測制御ステップと、変換制御ステップと、取得制御ステップと、修正制御ステップと、繰り返し制御ステップとを備える。

【発明の効果】

【0017】

本発明によれば、飛弾後の飛行ボールの軌跡を精度高く算出することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本発明に係るボール追跡装置の概略図である。

【図2】本発明に係るボール追跡装置の機能ブロック図である。

【図3】本発明に係るボール追跡方法の実行手順を示すフローチャートである。

【図4】カメラが打席マットの周辺を撮影する場合の一例を示す概略図（図４Ａ）と、カメラが打席マットの周辺を撮影した場合の一例を示す撮影画像（図４Ｂ）とである。

【図5】プレイヤーがボールを所定の場所に置いてからスイングの準備をする際の撮影画像と領域内画像との一例を示す図である。

【図6】撮影画像のカメラ座標系とカメラの世界座標系との関係を示す概略図（図６Ａ）と、ボールの世界座標系のｚ座標値を算出する場合の概略図（図６Ｂ）とである。

【図7】プレイヤーがゴルフクラブをボールの手前に置いてゴルフクラブを振り上げた場合の基準画像と比較画像と各比較画像毎の一次元値との一例を示す図（図７Ａ）と、プレイヤーがゴルフクラブをボールの手前に置いてゴルフクラブを振り上げた場合の連続的な撮影画像と一次元値の経時的変化のグラフとの一例を示す図（図７Ｂ）とである。

【図8】プレイヤーがゴルフクラブでボールを実際に打ち出した場合の基準画像と比較画像と各比較画像毎の一次元値との一例を示す図（図８Ａ）と、プレイヤーがゴルフクラブでボールを実際に打ち出した場合の連続的な撮影画像と一次元値の経時的変化のグラフとの一例を示す図（図８Ｂ）とである。

【図9】飛弾直後の飛行ボールの差分画像と飛行ボール候補画像の検出と一直線の決定との一例を示す図（図９Ａ）と、飛弾直後の飛行ボールの世界座標系の速度を算出する場合の一例を示す図（図９Ｂ）とである。

【図10】カメラの世界座標系と飛行ボールに作用する力との一例を示す概略図（図１０Ａ）と、カメラの世界座標系の飛行ボールの位置から撮影画像のカメラ座標系の飛行ボール画像の位置に変換する場合の一例を示す概略図（図１０Ｂ）とである。

【図11】第一の時刻の飛行ボールの位置と速度の修正と連結線の一例を示す概略図（図１１Ａ）と、第二の時刻の飛行ボールの位置と速度の修正と連結線の一例を示す概略図（図１１Ｂ）とである。

【図12】飛行ボール画像を経時的に連結した連結線と曲線状の飛行ボールの軌跡と探索範囲の表示との一例を示す概略図である。

【図13】プレイヤーがゴルフクラブで打ち出したボールの最大高さが低い場合の飛行ボールの軌跡の一例を示す概略図である。

【図14】プレイヤーがゴルフクラブで打ち出したボールの最大高さが高い場合の飛行ボールの軌跡の一例を示す概略図である。

【図15】飛行パラメータのキャリーと最大高さの一例を示す概略図（図１５Ａ）と、飛行パラメータのオフラインの一例を示す概略図（図１５Ｂ）とである。

【図16】比較例の飛行パラメータ測定装置と本発明のボール追跡装置で測定したゴルフボールのキャリーの測定結果のグラフである。

【図17】比較例の飛行パラメータ測定装置と本発明のボール追跡装置で測定したゴルフボールの最大高さの測定結果のグラフである。

【図18】比較例の飛行パラメータ測定装置と本発明のボール追跡装置で測定したゴルフボールのオフラインの測定結果のグラフである。

【発明を実施するための形態】

【0019】

以下に、添付図面を参照して、本発明の実施形態について説明し、本発明の理解に供する。尚、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。

【0020】

本発明に係るボール追跡装置１は、図１に示すように、画像撮影装置１０と、飛弾検出装置１１と、分析装置１２と、表示装置１３とを備える。画像撮影装置１０は、例えば、高解像度で高速に連続撮影を可能にする高性能カメラである。本発明では、基本的に１台のカメラ１０を備えるが、複数台（例えば、２台）のカメラ１０を備えても良い。

【0021】

飛弾検出装置１１は、ボールの飛弾を検出する方法に応じて適宜設計される。例えば、ボールの飛弾を画像で検出する場合には、飛弾検出装置１１は、カメラで構成される。飛弾検出装置１１がカメラの場合、カメラ１０と別個に設けられても良いし、カメラ１０を兼ねても良い。又、ボールの飛弾をマイクロ波で検出する場合には、飛弾検出装置１１は、マイクロ波検出装置で構成される。マイクロ波検出装置は、例えば、マイクロ波を発信する発信器と、ボールで反射された反射波を受信する受信器と、反射波によるドップラー周波数を有するドップラー信号を生成するドップラーセンサとを備える。

【0022】

分析装置１２は、画像撮影装置１０と通信可能に接続され、画像撮影装置１０で撮影された撮影画像を受信すると、飛弾後のボールＢの軌跡を算出する。又、分析装置１２は、飛弾検出装置１１と通信可能に接続され、飛弾検出装置１１で検出された情報を受信すると、ボールＢの飛弾を検出したり、飛弾された飛行ボールＢの初期位置と初期速度とを算出したりする。

【0023】

表示装置１３は、分析装置１２と通信可能に接続され、分析装置１２が算出したボールＢの軌跡を画面上に表示する。ここで、表示装置１３は、分析装置１２を兼ねても良いく、例えば、分析装置１２と、表示装置１３とを一体とした端末装置や携帯端末装置であっても良い。

【0024】

ここで、画像撮影装置１０と、飛弾検出装置１１と、分析装置１２と、表示装置１３との構成に特に限定は無い。例えば、全ての装置を、カメラ付き携帯端末装置としても良いし、画像撮影装置１０と、飛弾検出装置１１とを、ボールＢが飛弾する現場の装置とし、分析装置１２を、ネットワーク上のクラウドとし、表示装置１３を、プレイヤーが現場に携帯する携帯端末装置としても良い。

【0025】

尚、画像撮影装置１０、飛弾検出装置１１と、分析装置１２と、表示装置１３とは、図示しないＣＰＵ（ＧＰＵ）、ＲＯＭ、ＲＡＭ等を内蔵しており、ＣＰＵは、例えば、ＲＡＭを作業領域として利用し、ＲＯＭ等に記憶されているプログラムを実行する。又、後述する各部についても、ＣＰＵがプログラムを実行することで当該各部を実現する。

【0026】

次に、図２、図３を参照しながら、本発明の実施形態に係る構成及び実行手順について説明する。先ず、プレイヤーがボール追跡装置１の電源を投入すると、ボール追跡装置１が起動し、ボール追跡装置１の撮影制御部２０１は、カメラ１０を用いて、ボールが飛弾される場所の撮影を開始する（図３：Ｓ１０１）。

【0027】

ここで、ゴルフの場合、カメラ１０は、図４Ａに示すように、ゴルフボールＢが設置される打席マット４００に向けられる。そのため、撮影制御部２０１は、図４Ｂに示すように、打席マット４００の周辺を撮影し、撮影画像４０１を取得する。

【0028】

撮影制御部２０１が撮影を開始すると、ボール追跡装置１の検出制御部２０２は、ボールＢの飛弾を検出する（図３：Ｓ１０２）。

【0029】

ここで、検出制御部２０２が検出する方法は、飛弾検出装置１１の種類に応じて適宜設計される。飛弾検出装置１１がカメラの場合は、検出制御部２０２は、ボールＢを撮影した画像を分析（解析）することで、ボールＢの飛弾を検出する。

【0030】

例えば、検出制御部２０２は、図５に示すように、ボールＢの停止の検出段階において、特定の第一の時刻（ｔａ１）における撮影画像５００のうち、所定の領域内画像５０１を取得する。ここで、領域内画像５０１とは、ボールＢが設置される予定の領域内画像を意味する。次に、検出制御部２０２は、エッジ強調処理、エッジ検出処理等の方法を用いて、領域内画像５０１のエッジ画像を抽出し、当該抽出したエッジ画像を取得する。エッジ強調処理は、例えば、Ｒｅｔｉｎｅｘ処理を挙げることが出来る。エッジ検出処理は、例えば、ＥＤＰＦ（Ｅｄｇｅ Ｄｒａｗ Ｐａｒａｍｅｔｅｒ Ｆｒｅｅ）処理、Ｓｏｂｅｌ処理、Ｃａｎｎｙ処理等を挙げることが出来る。

【0031】

次に、検出制御部２０２は、円弧検出処理等の方法を用いて、抽出したエッジ画像のうち、円又は楕円を示す円画像を、仮停止ボール候補画像として検出する。円弧検出処理は、例えば、ＬＳＤ（ＬｉｎｅＳｅｇｍｅｎｔＤｅｔｅｃｔｏｒ）、Ｈｏｕｇｈ変換等を挙げることが出来る。

【0032】

そして、検出制御部２０２は、所定の基準直径ｄｓ（ピクセル）を用いて、基準直径ｄｓと同等の直径ｄを有する仮停止ボール候補画像を、仮停止ボール画像として検出する。ここで、基準直径ｄｓとは、領域内画像５０１内の所定の場所でボールＢを示すボール画像の直径を意味する。

【0033】

例えば、第一の時刻（ｔａ１）における撮影画像５００では、プレイヤーが未だボールを所定の場所に置いていないため、検出制御部２０２は、画像処理後の領域内画像５０１に、ボール置き場のティーの形状に対応する仮停止ボール候補画像Ｂ１１を検出する。この仮停止ボール候補画像Ｂ１１は、基準直径ｄｓと同等の直径ｄを有しないため、検出制御部２０２は、仮停止ボール画像を検出することが出来ず、第一の時刻（ｔａ１）の次の第二の時刻（ｔａ２）における撮影画像５０２を分析する。

【0034】

一方、第二の時刻（ｔａ２）における撮影画像５０２では、プレイヤーがボールＢを所定の場所に置いたため、検出制御部２０２は、画像処理後の領域内画像５０３に、プレイヤーの脚に関係する仮停止ボール候補画像Ｂ２１、Ｂ２２とともに、ボールＢに対応する仮停止ボール候補画像Ｂ２３を検出する。ここで、これらの仮停止ボール候補画像Ｂ２１、Ｂ２２、Ｂ２３のうち、ボールＢに対応する仮停止ボール候補画像Ｂ２３は、基準直径ｄｓと同等の直径ｄを有するため、検出制御部２０２は、第二の時刻（ｔａ２）において仮停止ボール候補画像Ｂ２３を仮停止ボール画像として検出する。

【0035】

検出制御部２０２が仮停止ボール画像Ｂ２３を検出すると、検出した仮停止ボール画像Ｂ２３を基準ボール画像とし、所定のスコアを初期値（例えば、「１」）に設定し、第二の時刻（ｔａ２）の次の第三の時刻（ｔａ３）における撮影画像５０４を分析する。ここで、スコアとは、検出された仮停止ボール画像の位置が同等であった回数を意味する。

【0036】

第三の時刻（ｔａ３）における撮影画像５０４では、プレイヤーがスイングの準備をするために移動したため、検出制御部２０２は、画像処理後の領域内画像５０５に、同一の場所に置かれたボールＢに対応する仮停止ボール候補画像Ｂ３１を検出する。この仮停止ボール候補画像Ｂ３１は、基準直径ｄｓと同等の直径ｄを有するため、検出制御部２０２は、第三の時刻（ｔａ３）において仮停止ボール候補画像Ｂ３１を仮停止ボール画像として検出する。

【0037】

すると、検出制御部２０２は、検出した仮停止ボール画像Ｂ３１を検出ボール画像Ｂ３１とし、検出ボール画像Ｂ３１の位置が基準ボール画像Ｂ２３の位置と同等であるか否かを判定する。例えば、検出制御部２０２は、検出ボール画像Ｂ３１のカメラ座標系の２次元中心位置が基準ボール画像Ｂ２３のカメラ座標系の２次元中心位置を含む所定の範囲に含まれるか否かを判定する。所定の範囲は、例えば、基準ボール画像Ｂ２３のカメラ座標系の２次元中心位置を中心として、所定の幅を持つ範囲である。

【0038】

ここで、検出ボール画像Ｂ３１の位置が基準ボール画像Ｂ２３の位置と同等である場合、検出制御部２０２は、スコアに１回を加算する。そして、検出制御部２０２は、加算後のスコア（「２」）が所定の閾値（例えば、「３」）を超過するまで、仮停止ボール画像が検出された検出時刻｛第二の時刻（ｔａ２）｝以降に経時的に撮影される撮影画像を用いて、仮停止ボール画像の検出を繰り返す。

【0039】

ここで、スコアが閾値を超過する前に、検出ボール画像の位置が基準ボール画像の位置と同等でない場合、実空間上のボールＢは何らかの原因で移動したことになる。そのため、検出制御部２０２は、基準ボール画像を消去し、仮停止ボール画像の検出からやり直す。一方、スコアが閾値を超過した場合、検出制御部２０２は、仮停止ボール画像が停止状態であると判定し、検出ボール画像を停止ボール画像として検出する。このように、スコアを基準にして撮影画像の分析を経時的に繰り返すことで、実空間上の停止ボールＢを検出することが出来る。

【0040】

さて、検出制御部２０２が、停止ボール画像を検出すると、停止ボール画像のカメラ座標系の２次元位置（ピクセル）と、当該停止ボール画像の直径（ピクセル）と、カメラ１０のキャリブレーションマトリックス情報とを用いて、停止ボールＢの世界座標系の３次元位置（座標）（長さ）を算出する。

【0041】

ここで、カメラ１０のキャリブレーションマトリックス情報とは、図６Ａに示すように、カメラ１０の焦点距離ｆ（長さ）に対応する撮影画像６００の中心ｏｉを原点とした撮影画像６００上の任意点Ａのカメラ座標系の２次元位置（ｘｉａ、ｙｉａ）（ピクセル）と、カメラ１０の中心ｏｒを原点とした前記任意点Ａの世界座標系の３次元位置（ｘｒａ、ｙｒａ、ｚｒａ）（長さ）とを関連付ける情報を意味する。キャリブレーションマトリックス情報は、例えば、Ｋマトリックス情報、Ｐマトリックス情報等を挙げることが出来る。撮影画像６００は、カメラ１０の中心ｏｒから撮影対象の物体に向かってｚ軸方向に焦点距離ｆ（長さ）だけ離れた位置に、ｚ軸に対して垂直に位置する。カメラ座標系は、撮影画像６００の中心ｏｉを原点として、横軸をｘ軸（ｘｉ）とし、縦軸をｙ軸（ｙｉ）とする座標系である。世界座標系は、カメラ１０の中心ｏｒを原点として、横軸をｘ軸（ｘｒ）とし、縦軸をｙ軸（ｙｒ）とし、奥行軸（視野軸）をｚ軸（ｚｒ）とする座標系である。

【0042】

検出制御部２０２は、キャリブレーションマトリックス情報を用いて、停止ボール画像Ｃｓのカメラ座標系の２次元中心位置Ｃｉ０（ｘｉ０、ｙｉ０）を世界座標系の３次元中心位置Ｃｒ０（ｘｒ０、ｙｒ０、ｚｒ）に変換する。

【0043】

又、図６Ｂに示すように、撮影画像６００の停止ボール画像Ｃｓの左右の両端の距離ｌ（停止ボール画像Ｃｓの直径ｄｓ）と、撮影画像６００の停止ボール画像Ｃｓの左端（又は右端）と世界座標系のカメラ１０の中心ｏｒとの距離Ｄと、世界座標系のカメラ１０の中心ｏｒを基準として撮影画像６００の停止ボール画像Ｃｓの左右の両端のｚ軸方向の間の角度θとには、下記の式（１）（２）に示すように、余弦の法則が成立する。

【0044】

ｌ＾２＝Ｄ＾２＋Ｄ＾２−２Ｄ＊ｃｏｓθ＝２Ｄ＾２＊（１−ｃｏｓθ） ・・・（１）
Ｄ＝ＳＱＲ［ｌ＾２／｛２＊（１−ｃｏｓθ）｝］ ・・・（２）

【0045】

検出制御部２０２は、ピクセルから長さ（実寸法）を変換する所定のスケールを用いて、停止ボール画像Ｃｓの直径ｄｓをピクセルから長さに変換し、変換後の停止ボール画像Ｃｓの直径ｄｓ（長さ）とカメラ１０の焦点距離ｆ（長さ）とから撮影画像６００の停止ボール画像Ｃｓの左右の両端のｚ軸方向間の角度θ（度）を算出し、停止ボール画像Ｃｓの直径ｌ（長さ）と角度θ（度）とを上記の式（２）に代入することで、距離Ｄ（長さ）を算出する。ここで、距離Ｄ（長さ）は、停止ボール画像Ｃｓの世界座標系のｚ座標値（ｚｒ０）に近似するため、検出制御部２０２は、算出した距離Ｄ（長さ）を停止ボール画像Ｃｓの世界座標系のｚ座標値（ｚｒ０）とする。

【0046】

さて、検出制御部２０２が、停止ボール画像Ｃｓが検出された停止時刻（ｔｂ０）以降に経時的に撮影される撮影画像のうち、停止ボール画像Ｃｓの消失を検出することで、ボールＢの飛弾を検出する。

【0047】

具体的には、検出制御部２０２は、図７Ａに示すように、停止ボールＢの消失の検出段階において、停止時刻（ｔｂ０）に撮影された撮影画像の領域内画像７００を基準画像として取得し、停止時刻（ｔｂ０）の次の第一の時刻（ｔｂ１）に撮影された撮影画像の領域内画像７０１を比較画像として取得する。次に、検出制御部２０２は、差分算出方法を用いて、比較画像７０１から基準画像７００を減算して差分を算出する。ここで、差分算出方法は、例えば、背景差分法（Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ）を挙げることが出来る。背景差分法は、事前に取得した背景画像（基準画像）と次に取得した観察画像（比較画像）とを比較することで、背景画像に出現した物体又は消失した物体を検出する方法である。

【0048】

そして、検出制御部２０２は、算出した差分の変動に基づいて、停止ボール画像Ｃｓの消失を検出する。例えば、検出制御部２０２は、算出した差分を一次元値Ｉ（−）に変換して、当該変換した一次元値Ｉが所定の飛弾基準値Ｉｃ（−）を超過するか否かを判定する。

【0049】

ここで、飛弾基準値Ｉｃは、ボールＢの飛弾（打ち出し）前後における領域内画像の差分に基づいて適宜設計される。例えば、プレイヤーがゴルフクラブをボールの手前に置いた直前の領域内画像と直後の領域内画像との差分に対応する第一の一次元値Ｉａ（−）と、プレイヤーがゴルフクラブでボールを打ち出した直前の領域内画像と直後の領域内画像との差分に対応する第二の一次元値Ｉｂ（−）とを予め算出しておき、飛弾基準値Ｉｃを第一の一次元値Ｉａと第二の一次元値Ｉｂとの間に設定する。

【0050】

図７Ａ、図７Ｂに示すように、プレイヤーがゴルフクラブをボールＢの手前に置いてゴルフクラブを振り上げた場合、検出制御部２０２は、次の第一の時刻（ｔｂ１）での領域内画像７０１を比較画像とし、比較画像７０１を基準画像７００で減算した差分に対応する一次元値Ｉ１を算出し、飛弾基準値Ｉｃを超過するか否かを判定する。又、検出制御部２０２は、第一の時刻（ｔｂ１）の次の第二の時刻（ｔｂ２）における領域内画像７０２と、第二の時刻（ｔｂ２）の次の第三の時刻（ｔｂ３）における領域内画像７０３とについても、同様に、一次元値Ｉ２、Ｉ３をそれぞれ算出・判定する。この場合、プレイヤーがゴルフクラブでボールを打ち出していないため、算出された一次元値Ｉ１、Ｉ２、Ｉ３は、飛弾基準値Ｉｃをそれぞれ超過することは無い。

【0051】

一方、図８Ａ、図８Ｂに示すように、プレイヤーがゴルフクラブでボールＢを実際に打ち出した場合、検出制御部２０２は、第三の時刻（ｔｂ３）以降の第四の時刻（ｔｂ４）、第五の時刻（ｔｂ５）、第六の時刻（ｔｂ６）のそれぞれの領域内画像７０４、７０５、７０６について、同様に、一次元値Ｉ４、Ｉ５、Ｉ６を算出・判定すると、算出された一次元値Ｉ４、Ｉ５、Ｉ６のうち、特定の一次元値Ｉ５は、飛弾基準値Ｉｃを超過する。そのため、検出制御部２０２は、飛弾基準値Ｉｃを超過した一次元値Ｉ５に対応する第五の時点（ｔｂ５）で停止ボール画像Ｃｓの消失を検出する。

【0052】

尚、プレイヤーの操作条件によるものの、上述のように、停止時刻（ｔｂ０）以降の第ｋの時刻（ｔｂｋ）（ｋ＝１、２、３、、、）に対する一次元値Ｉｋは、プレイヤーのゴルフクラブの操作により、二つのピークが発生する場合がある。そのため、検出制御部２０２は、第ｋの時刻（ｔｂｋ）での一次元値Ｉｋを第一軸とし、停止時刻（ｔｂ０）以降の第ｋの時刻（ｔｂｋ）を第二軸としたグラフを作成し、このグラフにピーク分析処理を適用することで、グラフのピークの最大値Ｉｍａｘを算出し、算出した最大値Ｉｍａｘが飛弾基準値Ｉｃを超過したか否かを判定しても良い。ここで、ピーク分析処理は、例えば、混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を挙げることが出来る。

【0053】

又、上述では、飛弾検出装置１１がカメラの場合について説明したが、飛弾検出装置１１がマイクロ波検出装置の場合、検出制御部２０２が、マイクロ波検出装置１０を用いて、ボールＢの停止と飛弾に対応するドップラー信号を受信し、ドップラー信号の変動に基づいて、停止ボールＢの飛弾を検出しても良い。

【0054】

さて、検出制御部２０２がボールＢの飛弾を検出すると、ボール追跡装置１の算出制御部２０３は、停止ボールＢの飛弾が検出された場合の初期時刻における飛行ボールＢｆの世界座標系の３次元位置と３次元速度とを、初期位置と初期速度として算出する（図３：Ｓ１０３）。

【0055】

ここで、算出制御部２０３が算出する方法は、飛弾検出装置１１の種類に応じて適宜設計される。飛弾検出装置１１がカメラの場合は、算出制御部２０３は、飛行ボールＢｆを撮影した画像を分析することで、飛行ボールＢｆの初期位置と初期速度を算出する。

【0056】

具体的には、算出制御部２０３は、停止ボールＢの飛弾が検出された場合の初期時刻（ｔｃ０）｛例えば、第五の時刻（ｔｂ５）｝において撮影される撮影画像を基準画像とし、当該初期時刻（ｔｃ０）の次の第一の時刻（ｔｃ１）において撮影された撮影画像を比較画像とし、図９Ａに示すように、比較画像から基準画像を減算した差分画像９０１を算出する。第一の時刻（ｔｃ１）での差分画像９０１には、プレイヤーのスイング画像Ｐと、飛弾後の飛行ボール画像Ｃが表れている。

【0057】

次に、算出制御部２０３は、エッジ強調処理、エッジ検出処理等の方法を用いて、差分画像９０１からエッジ画像を検出し、検出したエッジ画像が占有する占有面積Ｓ１を算出するとともに、検出したエッジ画像に、円又は楕円の最小二乗法を適用することで、エッジ画像を含む最小円画像を算出し、この最小円画像の最小占有面積Ｓ２を算出する。そして、算出制御部２０３は、占有面積Ｓ１から最小占有面積Ｓ２を除算した除算値Ｒａ（−）を算出し、当該算出した除算値Ｒａが、初期ボール基準値Ｒ０（−）の範囲内であるか否かを判定する。ここで、初期ボール基準値Ｒ０とは、飛行ボールＢｆの可能性のあるボール候補画像に対応する基準値を意味する。エッジ画像が、真円画像である場合、その除算値Ｒａ（−）は約１．０（−）になることから、初期ボール基準値Ｒ０は、円又は楕円を示す円画像に対応して、例えば、０．９（−）から１．１（−）までの範囲と設定される。除算値Ｒａが初期ボール基準値Ｒ０の範囲内である場合、算出制御部２０３は、除算値Ｒａが算出されたエッジ画像を飛行ボール候補画像として抽出する。そして、算出制御部２０３は、初期時刻（ｔｃ０）以降の所定数（ここでは、例えば、３つ）の時刻での差分画像について、飛行ボール候補画像の抽出を繰り返す。所定数は、後述する飛行ボールＢｆの飛行経路を示す一つの直線を決定することが出来る数に設定される。

【0058】

ここで、算出制御部２０３は、図９Ａに示すように、第一の時刻（ｔｃ１）の差分画像９０１から、３つの飛行ボール候補画像Ｃ１１、Ｃ１２、Ｃ１３を抽出し、第一の時刻（ｔｃ１）の次の第二の時刻（ｔｃ２）の差分画像９０２から、３つの飛行ボール候補画像Ｃ２１、Ｃ２２、Ｃ２３を抽出し、第二の時刻（ｔｃ２）の次の第三の時刻（ｔｃ３）の差分画像９０３から、３つの飛行ボール候補画像Ｃ３１、Ｃ３２、Ｃ３３を抽出したとする。

【0059】

そして、算出制御部２０３は、初期時刻（ｔｃ０）以降の各時刻毎に抽出した飛行ボール候補画像のうち、経時的に一直線上に存在する飛行ボール候補画像を飛行ボール画像として特定し、経時的に一直線上に存在しない飛行ボール候補画像をノイズ画像として破棄する。

【0060】

例えば、図９Ａに示すように、第一の時刻（ｔｃ１）での飛行ボール候補画像Ｃ１１、Ｃ１２、Ｃ１３のそれぞれから、第二の時刻（ｔｃ２）での飛行ボール候補画像Ｃ２１、Ｃ２２、Ｃ２３のそれぞれに直線を延ばし、且つ、第二の時刻（ｔｃ２）での飛行ボール候補画像Ｃ２１、Ｃ２２、Ｃ２３のそれぞれから、第三の時刻（ｔｃ３）での飛行ボール候補画像Ｃ３１、Ｃ３２、Ｃ３３のそれぞれに直線を延ばした場合、算出制御部２０３は、第一の時刻（ｔｃ１）と第二の時刻（ｔｃ２）と第三の時刻（ｔｃ３）との順番で、一直線９０４上に存在する第一の時刻（ｔｃ１）での飛行ボール候補画像Ｃ１２と、第二の時刻（ｔｃ２）での飛行ボール候補画像Ｃ２２と、第三の時刻（ｔｃ３）での飛行ボール候補画像Ｃ３２とを、飛行ボール画像Ｃｆとして特定する。これにより、ゴルフボールのように、小さくて、且つ、素早く飛行する飛行ボールＢｆであっても、飛弾後の初期段階での飛行ボールＢｆは一直線上の飛行パスを構成するため、その特徴を利用して、飛行ボール画像Ｃｆを効率よく特定することが可能となる。尚、算出制御部２０３は、各時刻毎に抽出した飛行ボール候補画像に停止ボール画像Ｃｓを加えて、停止ボール画像Ｃｓから経時的に一直線上に存在する飛行ボール候補画像を飛行ボール画像Ｃｆとして特定しても良い。

【0061】

そして、算出制御部２０３は、特定した飛行ボール画像Ｃｆに基づいて、初期時刻（ｔｃ０）における飛行ボールＢｆの初期速度を算出する。先ず、初期時刻（ｔｃ０）直後の飛行ボールＢｆの３次元位置のうち、ｙ軸のｙ座標値は速く変化するため、算出制御部２０３は、初期時刻（ｔｃ０）以降の時刻のうち、短い時刻間隔の飛行ボール画像Ｃｆを使用して、ｙ軸の初期速度（Ｖｙｒ０）を算出する。例えば、算出制御部２０３は、図９Ｂに示すように、初期時刻（ｔｃ０）の停止ボール画像Ｃｓの３次元中心位置Ｃｒ０のｙ座標値（ｙｒ０）と、初期時刻（ｔｃ０）に最も近い第一の時刻（ｔｃ１）の飛行ボール画像Ｃ１２の３次元中心位置Ｃｒ１のｙ座標値（ｙｒ１）とを、下記の式（３）に代入して、ｙ軸の初期速度（Ｖｙｒ０）を算出する。

【0062】

Ｖｙｒ０＝｛（ｙｒ１−ｙｒ０）＊ｄｒ｝／（ｄｐ＊ｄｔ） ・・・（３）

【0063】

ここで、ｄｒは、ボールの直径（ｍｍ）であり、ｄｐは、撮影画像内のボールの直径（ピクセル）であり、ｄｔは、初期時刻（ｔｃ０）と第一の時刻（ｔｃ１）との間隔（ｓｅｃ）である。

【0064】

又、初期時刻（ｔｃ０）直後のボールＢの３次元位置のうち、ｘ軸のｘ座標値はゆっくり変化するため、算出制御部２０３は、長い時刻間隔の飛行ボール画像Ｃｆを使用して、ｘ軸の初期速度（Ｖｘｒ０）を算出する。例えば、算出制御部２０３は、図９Ｂに示すように、初期時刻（ｔｃ０）の停止ボール画像Ｃｓの３次元中心位置Ｃｒ０のｘ座標値（ｘｒ０）と、初期時刻（ｔｃ０）から遠い第三の時刻（ｔｃ３）の飛行ボール画像Ｃ３２の３次元中心位置Ｃｒ３のｘ座標値（ｘｒ３）とを、下記の式（４）に代入して、ｘ軸の初期速度（Ｖｘｒ０）を算出する。

【0065】

Ｖｘｒ０＝｛（ｘｒ３−ｘｒ０）＊ｄｒ｝／（ｄｐ＊ｄｔ） ・・・（４）

【0066】

ｄｔは、初期時刻（ｔｃ０）と第三の時刻（ｔｃ３）との間隔（ｓｅｃ）である。

【0067】

最後に、初期時刻（ｔｃ０）直後のボールＢの３次元位置のうち、ｚ軸のｚ座標値は、上述のように、飛行ボール画像Ｃｆの直径（ピクセル）から算出されるため、長い時刻間隔の飛行ボール画像Ｃ３２を採用すると好ましい。そこで、算出制御部２０３は、長い時刻間隔の飛行ボール画像Ｃ３２を使用して、ｚ軸の初期速度（Ｖｚｒ０）を算出する。例えば、算出制御部２０３は、図９Ｂに示すように、初期時刻（ｔｃ０）から遠い第三の時刻（ｔｃ３）の飛行ボール画像Ｃ３２の直径（ｄ３）を取得し、上述の式（１）（２）により、第三の時刻（ｔｃ３）の飛行ボール画像Ｃ３２の３次元中心位置Ｃｒ３のｚ座標値（ｚｒ３）を算出し、初期時刻（ｔｃ０）の停止ボール画像Ｃｓの３次元中心位置Ｃｒ０のｚ座標値（ｚｒ０）と、飛行ボール画像Ｃ３２の３次元中心位置Ｃｒ３のｚ座標値（ｚｒ３）とを、下記の式（５）に代入して、ｚ軸の初期速度（Ｖｚｒ０）を算出する。

【0068】

Ｖｚｒ０＝（ｚｒ３−ｚｒ０）／ｄｔ ・・・（５）

【0069】

ｄｔは、初期時刻（ｔｃ０）と第三の時刻（ｔｃ３）との間隔（ｓｅｃ）である。

【0070】

尚、上述では、初期時刻（ｔｃ０）の停止ボール画像Ｃｓの３次元中心位置を基準としたが、初期時刻（ｔｃ０）の次の第一の時刻（ｔｃ１）の飛行ボール画像Ｃ１２の３次元中心位置を基準としても構わない。その場合は、第一の時刻（ｔｃ１）の飛行ボール画像Ｃ１２の３次元中心位置が初期位置Ｃｒ１（ｘｒ１、ｙｒ１、ｚｒ１）となり、第二の時刻（ｔｃ２）以降の飛行ボール画像Ｃ２２、Ｃ３２の３次元中心位置が使用される。

【0071】

又、上述では、飛弾検出装置１１がカメラの場合について説明したが、飛弾検出装置１１がマイクロ波検出装置の場合、算出制御部２０３が、マイクロ波検出装置１１を用いて、ボールＢの飛弾直後に対応するドップラー信号を受信し、ドップラー信号に基づいて、飛行ボールＢｆの初期速度を検出しても良い。又、マイクロ波検出装置１０だけでは、飛行ボールＢｆの初期位置を算出することが出来ない場合は、算出制御部２０３は、マイクロ波検出装置１１にカメラを組み合わせて、画像の分析により飛行ボールＢｆの初期位置を算出しても構わない。

【0072】

さて、算出制御部２０３が算出を完了すると、ボール追跡装置１の予測制御部２０４は、算出された飛行ボールＢｆの初期位置と初期速度と、飛行ボールＢｆの放物線を示す式とに基づいて、初期時刻（ｔｄ０）以降の特定の時刻（ｔｄ１）における飛行ボールＢｆの世界座標系の３次元位置と３次元速度とを、予測位置と予測速度として予測する（図３：Ｓ１０４）。

【0073】

予測制御部２０４が予測する方法に特に限定は無い。先ず、図１０に示すように、世界座標系において飛行ボールＢｆに作用する力Ｆ（Ｎ）は、下記の式（６）で表すことが出来る。

【0074】

Ｆ＝Ｆｄ＋Ｆｍ＋Ｆｇ ・・・（６）

【0075】

ここで、Ｆｄ（Ｎ）は、空気抵抗力であり、飛行ボールＢｆの飛行速度の２乗に比例し、飛行ボールＢｆの飛行方向と逆方向に作用する。Ｆｍ（Ｎ）は、マグナス効果により飛行ボールＢｆに作用するマグナス力であり、飛行ボールＢｆの飛行速度とスピン速度の外積に比例し、飛行ボールＢｆのスピン方向と同方向に作用する。Ｆｇ（Ｎ）は、重力であり、飛行ボールＢｆの下方向に作用する。

【0076】

飛行ボールＢｆに作用するＦｄとＦｍとＦｇとから、飛行ボールＢｆの速度の微分（ｄＶ／ｄｔ）［言い換えると、加速度ａ｛ｍ／（ｓ・ｓ）｝］は、下記の式（７）で表すことが出来る。

【0077】

【数1】

【0078】

ここで、ｍ（ｋｇ）は、飛行ボールＢｆの重量であり、Ｃｄは、空気抵抗力の係数であり、ρは、空気の密度であり、Ａは、飛行ボールＢｆの前面投影面積であり、Ｖ＝（Ｖｘｒ、Ｖｙｒ、Ｖｚｒ）は、飛行ボールＢｆの３次元速度であり、ｒ（ｍ）は、飛行ボールＢｆの半径であり、ω＝（ωｘ、ωｙ、ωｚ）は、飛行ボールＢｆの３次元スピン速度である。尚、初期状態では、ω＝（ωｘ、ωｙ、ωｚ）＝（０、０、０）である。

【0079】

式（７）に基づいて、飛行ボールＢｆの放物線を示す式は、下記の式（８）で表すことが出来る。

【0080】

【数2】

【0081】

ｋｄは、（−１／２ｍ）ＣｄρＡであり、ｋｍは、（１／２ｍ）ＣｍρＡｒであり、Ｔは、撮影時間間隔である。

【0082】

予測制御部２０４は、図１０Ｂに示すように、式（８）に飛行ボールＢｆの初期位置Ｃｒ０（ｘｒ０、ｙｒ０、ｚｒ０）と、初期速度（Ｖｘｒ０、Ｖｙｒ０、Ｖｚｒ０）とを代入することで、初期時刻（ｔｄ０）の次の第一の時刻（ｔｄ１）における飛行ボールＢｆの３次元中心位置Ｃｐｒ１（ｘｐｒ１、ｙｐｒ１、ｚｐｒ１）と３次元速度（Ｖｘｐｒ１、Ｖｙｐｒ１、Ｖｚｐｒ１）とを予測する。ここで、初期時刻（ｔｄ０）は、飛行ボールＢｆの初期位置Ｃｒ０（ｘｒ０、ｙｒ０、ｚｒ０）と、初期速度（Ｖｘｒ０、Ｖｙｒ０、Ｖｚｒ０）とが算出された時刻を意味する。又、初期時刻（ｔｄ０）と第一の時刻（ｔｄ１）との間隔は、撮影時間間隔Ｔに設定される。

【0083】

又、上述では、３種類の力Ｆを加味した式（８）を用いて、飛行ボールＢｆの３次元位置と３次元速度とを予測したが、より簡易的な式を用いて予測しても良い。簡易的な式として、例えば、重力Ｆｇを加味した通常の放物線の式を挙げることが出来る。

【0084】

さて、予測制御部２０４が予測を完了すると、ボール追跡装置１の変換制御部２０５が、予測された飛行ボールＢｆの予測位置を、特定の時刻（ｔｄ１）で撮影された撮影画像内のカメラ座標系の２次元位置に、仮位置として変換する（図３：Ｓ１０５）。

【0085】

変換制御部２０５が変換する方法に特に限定は無い。例えば、世界座標系の３次元位置（ｘｒ、ｙｒ、ｚｒ）をカメラ座標系の２次元位置（ｘｉ、ｙｉ）に変換する式は、ピンホールカメラモデルを用いて、下記の式（９）（１０）で表すことが出来る。

【0086】

ｘｉ＝ｆｘ＊（ｘｒ／ｚｒ）＋ｃｘ ・・・（９）
ｙｉ＝ｆｙ＊（ｙｒ／ｚｒ）＋ｃｙ ・・・（１０）

【0087】

ｆｘは、カメラ座標系におけるｘ軸方向のカメラの焦点距離であり、ｆｙは、カメラ座標系におけるｙ軸方向のカメラの焦点距離であり、ｃｘは、カメラ座標系におけるカメラ１０の中心位置のｘ座標値であり、ｃｙは、カメラ座標系におけるカメラ１０の中心位置のｙ座標値である。

【0088】

変換制御部２０５は、予測された特定の時刻（ｔｄ１）における飛行ボールＢｆの３次元中心位置Ｃｐｒ１（ｘｐｒ１、ｙｐｒ１、ｚｐｒ１）を式（９）（１０）に代入することで、特定の時刻（ｔｄ１）に撮影された撮影画像のうち、飛行ボールの存在の可能性が高い２次元中心位置Ｃｐｉ１（ｘｐｉ１、ｙｐｉ１）を、仮位置として算出する。

【0089】

さて、変換制御部２０５が変換を完了すると、ボール追跡装置１の取得制御部２０６が、変換された撮影画像内の仮位置に基づいて、特定の時刻（ｔｄ１）における撮影画像内で、飛行ボールＢｆを示す飛行ボール画像を特定し、当該特定された飛行ボール画像のカメラ座標系の２次元位置を、観測位置として取得する（図３：Ｓ１０６）。

【0090】

取得制御部２０６が取得する方法に特に限定は無い。例えば、取得制御部２０６は、特定の時刻（ｔｄ１）の撮影画像のうち、変換した仮位置Ｃｐｉ１（ｘｐｉ１、ｙｐｉ１）を中心とした探索範囲を決定する。ここで、探索範囲１１０１は、例えば、図１１Ａに示すように、特定の時刻（ｔｄ１）の撮影画像１１００のうち、仮位置Ｃｐｉ１（ｘｉｐ１、ｙｉｐ１）を中心とし、所定の辺Ｌを有する正方形状に決定される。辺Ｌは、飛行ボール画像が含まれる程度の長さに適宜設定される。

【0091】

次に、取得制御部２０６は、決定した探索範囲１１０１のうち、円又は楕円を示す円画像Ｃｆを飛行ボール画像として特定する。具体的には、上述のように、取得制御部２０６は、エッジ強調処理、エッジ検出処理等の方法を用いて、決定した探索範囲１１０１からエッジ画像を検出し、検出したエッジ画像を含む最小円画像を算出し、エッジ画像の占有面積から最小円画像の最小占有面積を除算した除算値Ｒｂ（−）を算出し、除算値Ｒｂが飛行ボール基準値Ｒ１（−）の範囲内で、且つ、円を示す円基準値Ｒ２（−）に最も近いエッジ画像を飛行ボール画像として特定する。飛行ボール基準値Ｒ１は、例えば、０．９（−）から１．１（−）までの範囲と設定される。円基準値Ｒ２は、例えば、１．０（−）と設定される。飛行ボール基準値Ｒ１と円基準値Ｒ２とにより、探索範囲１１０１で最も飛行ボールＢｆに近い飛行ボール画像を特定することが出来る。そして、取得制御部２０６は、特定した飛行ボール画像Ｃｆ１の２次元中心位置Ｃｏｉ１（ｘｏｉ１、ｙｏｉ１）を、観測位置として取得する（図３：Ｓ１０６ＹＥＳ）。図１１Ａに示すように、探索範囲１１０１を定めることで、特定の時刻（ｔｄ１）の飛行ボール画像Ｃｆ１を素早く簡単に特定することが出来る。尚、除算値Ｒｂが飛行ボール基準値Ｒ１の範囲内のエッジ画像が存在しない場合やエッジ画像が検出出来ない場合は、後述する（図３：Ｓ１０６ＮＯ）。

【0092】

さて、取得制御部２０６が取得を完了すると、ボール追跡装置１の修正制御部２０７が、飛行ボールＢｆの予測位置と予測速度と、飛行ボール画像Ｃｆ１の観測位置と、カルマンフィルタとに基づいて、飛行ボールＢｆの予測位置と予測速度を、修正位置と修正速度として修正する（図３：Ｓ１０７）。

【0093】

ここで、カルマンフィルタとは、線形確率システムを意味する。一般に、真の値を観測すると、何らかの誤差の影響を受けて、真の値と異なる値が観測値として得られる。カルマンフィルタは、状態モデルによる予測値と、観測モデルによる観測値とに基づいて、予測値を真の値に近づけるために当該予測値を修正する。

【0094】

本発明では、状態モデルの方程式は、下記の式（１１）となる。

【0095】

ｘ（ｋ＋１）＝Ｆ（ｋ）×ｘ（ｋ）＋ｗ（ｋ） ・・・（１１）

【0096】

ｋは、時間係数であり、ｘ（ｋ＋１）は、ｋの一つ後（ｋ＋１）での予測値であり、Ｆ（ｋ）は、ｋでの状態パラメータであり、ｘ（ｋ）は、ｋでの状態値であり、ｗ（ｋ）は、ｋでのプロセスノイズである。本発明では、Ｆ（ｋ）が、放物線を示す式に対応し、ｘ（ｋ）が、ｋでの３次元位置及び３次元速度に対応し、ｘ（ｋ＋１）が、ｋの一つ後（ｋ＋１）での予測位置及び予測速度に対応する。

【0097】

又、観測モデルの方程式は、下記の式（１２）となる。

【0098】

ｙ（ｋ）＝Ｈ（ｋ）×ｘ（ｋ）＋ｖ（ｋ） ・・・（１２）

【0099】

ｙ（ｋ）は、ｋでの観測値であり、Ｈ（ｋ）は、ｋでの観測パラメータであり、ｘ（ｋ）は、ｋでの状態値であり、ｖ（ｋ）は、ｋでのプロセスノイズである。本発明では、Ｈ（ｋ）が、世界座標系の３次元位置をカメラ座標系の２次元位置に変換する式に対応し、ｙ（ｋ）が、ｋでの観測位置に対応する。

【0100】

修正制御部２０７は、先ず、下記の式（１３）により、初期化を行う。

【0101】

ｘ０＝Ｅ［ｘ０］ ・・・（１２）
Ｐ０＝Ｅ［（ｘ０−Ｅ［ｘ０］）（ｘ０−Ｅ［ｘ０］’） ・・・（１３）

【0102】

Ｅ［ｘ０］は、ｘ０の行列であり、Ｐ０は、分散共分散行列であり、Ｅ［ｘ０］’は、Ｅ［ｘ０］の転置行列である。本発明では、ｋが０｛初期時刻（ｔｄ０）｝となり、ｘ０が、飛行ボールＢｆの初期位置と初期速度に対応する。

【0103】

ここで、下記の式（１４）は、上記の式（７）と同様であるが、ｋ＝１において、特定の時刻（ｔｄ１）の飛行ボールＢｆの予測位置と予測速度を算出する。

【0104】

ｘ（ｋ）＝Ｆ（ｋ−１）×ｘ（ｋ−１） ・・・（１４）

【0105】

ｘ（ｋ）は、ｋ＝１において、特定の時刻（ｔｄ１）の飛行ボールＢｆの予測位置と予測速度に対応する。

【0106】

そして、修正制御部２０７は、下記の式（１５）−（１８）により、ｋ＝１において、特定の時刻（ｔｄ１）の修正位置及び修正速度を算出する。

【0107】

Ｐ（ｋ）＝Ｆ（ｋ−１）×Ｐ（ｋ−１）×Ｆ（ｋ−１）’＋Ｑ（ｋ） ・・・（１５）
Ｇ（ｋ）＝Ｐ（ｋ）×Ｈ（ｋ）’／｛Ｈ（ｋ）×Ｐ（ｋ）×Ｈ（ｋ）’＋Ｒ（ｋ）｝ ・・・（１６）
ｘｃ（ｋ）＝ｘ（ｋ）＋Ｇ（ｋ）×｛ｙ（ｋ）−Ｈ（ｋ）×ｘ（ｋ）｝ ・・・（１７）
Ｐ（ｋ）＝｛Ｉ−Ｇ（ｋ）×Ｈ（ｋ）｝ ・・・（１８）

【0108】

Ｆ（ｋ−１）’は、Ｆ（ｋ−１）の転置行列であり、Ｑ（ｋ）は、ｗ（ｋ）の共分散であり、Ｈ（ｋ）’は、Ｈ（ｋ）の転置行列であり、Ｒ（ｋ）は、ｖ（ｋ）の共分散であり、ｘｃ（ｋ）は、ｋ＝１において、特定の時刻（ｔｄ１）の飛行ボールＢｆの修正位置及び修正速度であり、Ｉは、単位行列である。

【0109】

修正制御部２０７は、図１１Ａに示すように、カルマンフィルタを用いて、真の値に近い飛行ボールＢｆの３次元修正中心位置Ｃｔ１（ｘｔｒ１、ｙｔｒ１、ｚｔｒ１）及び３次元修正速度（Ｖｘｔｒ１、Ｖｙｔｒ１、Ｖｚｔｒ１）を得る。尚、図１１Ａでは、世界座標系の３次元修正中心位置Ｃｔｒ１（ｘｔｒ１、ｙｔｒ１、ｚｔｒ１）は、式（９）（１０）を用いて、カメラ座標系の２次元修正中心位置Ｃｔｉ１（ｘｔｉ１、ｙｔｉ１）に変換される。

【0110】

ここで、修正制御部２０７は、図１１Ａに示すように、初期時刻（ｔｄ０）の停止ボール画像Ｃｓの初期位置Ｃｉ０と、特定の時刻（ｔｄ１）の飛行ボール画像Ｃｆ１の２次元修正位置Ｃｔｉ１とを連結線１１０２により連結することで、飛行ボールＢｆの軌跡を表示する（図３：Ｓ１０８）。

【0111】

さて、修正制御部２０７が修正を完了すると、ボール追跡装置１の繰り返し制御部２０８は、特定の時刻（ｔｄ１）における飛行ボールの修正位置と修正速度とを用いて、前記予測（Ｓ１０４）と、前記変換（Ｓ１０５）と、前記取得（Ｓ１０６）と、前記修正（Ｓ１０７）とを繰り返すことで、特定の時刻（ｔｄ１）以降の時刻の飛行ボールＢｆの軌跡を算出する（図３：Ｓ１０９）。

【0112】

ここで、繰り返し制御部２０８は、繰り返し条件として、特定の時刻（ｔｄ１）の飛行ボールＢｆが地面に着いたか否かを判定する。例えば、繰り返し制御部２０８は、特定の時刻（ｔｄ１）の修正位置Ｃｔｒ１のうち、ｚ座標値が、地面を示す地面基準値Ｇｓ（例えば、０）以下になったか否かを判定する。

【0113】

判定の結果、特定の時刻（ｔｄ１）の修正位置Ｃｔｒ１のｚ座標値（ｚｔｒ１）が地面基準値Ｇｓを超える場合（図３：Ｓ１０９ＹＥＳ）、繰り返し制御部２０８は、未だ飛行ボールが地面に着地していないと判定し、Ｓ１０４に戻り、特定の時刻（ｔｄ１）の次の第二の時刻（ｔｄ２）の飛行ボールＢｆの位置と速度の予測を行う。予測制御部２０４は、第一の時刻（ｔｄ１）の修正位置Ｃｔｒ１（ｘｔｒ１、ｙｔｒ１、ｚｔｒ１）と修正速度（Ｖｘｔｒ１、Ｖｙｔｒ１、Ｖｚｔｒ１）とを式（８）に代入することで、第二の時刻（ｔｄ２）の飛行ボールＢｆの３次元中心位置Ｃｐｒ２（ｘｐｒ２、ｙｐｒ２、ｚｐｒ２）と３次元速度（Ｖｘｐｒ２、Ｖｙｐｒ２、Ｖｚｐｒ２）とを予測位置と予測速度として予測する（図３：Ｓ１０４）。

【0114】

次に、変換制御部２０５は、図１１Ｂに示すように、第二の時刻（ｔｄ２）の飛行ボールＢｆの予測位置Ｃｐｒ２（ｘｐｒ２、ｙｐｒ２、ｚｐｒ２）を、当該第二の時刻（ｔｄ２）の撮影画像１１０３内の２次元位置Ｃｐｉ２（ｘｐｉ２、ｙｐｉ２）を、仮位置として変換する（図３：Ｓ１０５）。

【0115】

更に、取得制御部２０６は、変換された仮位置Ｃｐｉ２（ｘｐｉ２、ｙｐｉ２）に基づいて、探索範囲１１０４を決定し、第二の時刻（ｔｄ２）の撮影画像１１０３内の飛行ボール画像Ｃｆ２を特定し、当該特定された飛行ボール画像Ｃｆ２の２次元中心位置Ｃｏｉ２（ｘｏｉ２、ｙｏｉ２）を、観測位置として取得する（図３：Ｓ１０６）。

【0116】

そして、修正制御部２０７が、第二の時刻（ｔｄ２）の飛行ボールＢｆの予測位置Ｃｐｒ２（ｘｐｒ２、ｙｐｒ２、ｚｐｒ２）と予測速度（Ｖｘｐｒ２、Ｖｙｐｒ２、Ｖｚｐｒ２）と、飛行ボール画像Ｃｆ２の観測位置Ｃｏｉ２（ｘｏｉ２、ｙｏｉ２）と、カルマンフィルタとに基づいて、当該第二の時刻（ｔｄ２）の飛行ボールＢｆの予測位置Ｃｐｒ２と予測速度とを、第二の時刻（ｔｄ２）の飛行ボールＢｆの３次元修正中心位置Ｃｔｒ２（ｘｔｒ２、ｙｔｒ２、ｚｔｒ２）と３次元修正速度（Ｖｔｒ２、Ｖｔｒ２、Ｖｔｒ２）に修正する（図３：Ｓ１０７）。このように、カルマンフィルタを用いて、初期時刻（ｔｄ０）以降の飛行ボールＢｆの位置と速度とを順次修正することで、精度高い飛行ボールＢｆの軌跡を算出することが出来る。

【0117】

そして、修正制御部２０７は、第二の時刻（ｔｄ２）の飛行ボールＢｆの修正位置Ｃｔｒ２（ｘｔｒ２、ｙｔｒ２、ｚｔｒ２）を飛行ボール画像Ｃｆ２の２次元修正中心位置Ｃｔｉ２（ｘｔｉ２、ｙｔｉ２）に変換し、図１１Ｂに示すように、第一の時刻（ｔｄ１）における飛行ボール画像Ｃｆ１の修正位置Ｃｔｉ１と、第二の時刻（ｔｄ２）の飛行ボール画像Ｃｆ２の修正位置Ｃｔｉ２とを連結線１１０５により連結することで、飛行ボール画像Ｃｆの軌跡を表示する（図３：Ｓ１０８）。このように、修正した飛行ボールＢｆの修正位置に基づいて、飛行ボール画像Ｃｆの修正位置と連結線とを飛行ボール画像Ｃｆの軌跡として順次表示していくことで、プレイヤーは、飛行ボール画像Ｃｆの軌跡をリアルタイムに認識することが可能となる。

【0118】

尚、初期時刻（ｔｄ０）の停止ボール画像Ｃｓと第一の時刻（ｔｄ１）の飛行ボール画像Ｃｆ１との連結では、整合性が無い場合がある。そのため、修正制御部２０７は、第一の時刻（ｔｄ１）以降の飛行ボール画像Ｃｆから連結線で連結するよう構成しても良い。

【0119】

さて、上述の繰り返しにより、表示される飛行ボール画像Ｃｆの軌跡は、例えば、図１２に示すように、飛行ボール画像Ｃｆの修正位置を経時的に連結した連結線１２００となるが、修正制御部２０７は、連結線１２００に円滑化処理を行うことで、飛行ボール画像Ｃｆの軌跡１２０１を曲線状に見せることが出来る。

【0120】

又、修正制御部２０７は、図１２に示すように、飛行ボール画像Ｃｆを特定するために使用した探索範囲１２０２を飛行ボール画像Ｃｆの軌跡１２０１と飛行ボール画像Ｃｆとに合わせて表示することで、飛行ボール画像Ｃｆの軌跡１２０１を分析的に見せることが出来る。

【0121】

又、修正制御部２０７は、Ｓ１０８において、飛行ボール画像Ｃｆの軌跡を順次表示しているが、飛行パラメータの算出だけであれば、これらの表示を省略しても構わない。

【0122】

さて、Ｓ１０４からＳ１０８までの処理が繰り返されて、Ｓ１０９において、判定の結果、特定の第ｋの時刻（ｔｄｋ）の飛行ボールＢｆが地面に着いて、この時刻の飛行ボールＢｆの修正位置Ｃｔｒｋ（ｘｔｒｋ、ｙｔｒｋ、ｚｔｒｋ）のうち、ｚ座標値（ｚｔｒｋ）が地面基準値Ｇｓ以下になった場合（図３：Ｓ１０９ＮＯ）、繰り返し制御部２０８は、飛行ボールＢｆが地面に着地したと判定し、繰り返しを完了する。これにより、飛行ボールＢｆが地面に着地するまで、飛行ボールを追跡することが可能となる。

【0123】

例えば、図１３に示すように、プレイヤーがゴルフクラブで打ち出した飛行ボールＢｆの最大高さが低い場合は、飛行ボールＢｆが地面に着地するまで、撮影画像中の飛行ボール画像Ｃｆは検出することが出来る。そのため、この場合は、飛行ボールＢｆが地面に着地するまで、飛行ボール画像Ｃｆの軌跡１３００が表示され、飛行ボールＢｆの追跡が行われる。

【0124】

一方、飛行ボールが遠方まで飛んで、Ｓ１０６において、取得制御部２０６が、第ｋの時刻（ｔｄｋ）における撮影画像内の飛行ボール画像Ｃｆを特定することが出来なかった場合（図３：Ｓ１０６ＮＯ）、繰り返し制御部２０８は、飛行ボールＢｆの追跡を継続出来ないと判定し（図３：Ｓ１０９ＮＯ）、繰り返しを完了する。これにより、撮影画像内の飛行ボール画像Ｃｆの検出限界まで、飛行ボールＢｆを追跡することが可能となる。

【0125】

例えば、図１４に示すように、プレイヤーがゴルフクラブで打ち出した飛行ボールＢｆの最大高さが高い場合は、飛行ボールＢｆが地面に着地する前に、撮影画像内の飛行ボール画像Ｃｆが小さくなり過ぎて、検出することが出来なかったり、飛行ボールＢｆがプレイヤーの体で隠れてしまい、撮影画像内の飛行ボール画像Ｃｆが検出することが出来なかったりする。このような場合は、飛行ボール画像Ｃｆの検出限界まで、飛行ボール画像Ｃｆの軌跡１４００が表示され、飛行ボールＢｆの追跡が行われる。

【0126】

そして、繰り返し制御部２０８は、図１４に示すように、例えば、飛行ボール画像Ｃｆの不検出の第ｋの時刻（ｔｄｋ）の直前の第ｋ−１の時刻（ｔｄｋ−１）の飛行ボールＢｆの修正位置と修正速度と、上述した飛行ボールＢｆの放物線の式（７）（８）とを用いて、飛行ボール画像Ｃｆがプレイヤーの体で隠れた第ｋの時刻（ｔｄｋ）以降の飛行ボール画像Ｃｆの軌跡１４０１を予測して作成する。そして、繰り返し制御部２０８は、作成した飛行ボール画像Ｃｆの軌跡１４０１を、初期時刻（ｔｄ０）から不検出の直前の第ｋ−１の時刻（ｔｄｋ−１）までの飛行ボール画像Ｃｆの軌跡１４００に連結して、補助的に表示する。これにより、プレイヤーは、飛行ボールＢｆが見えなくなったとしても、第ｋの時刻（ｔｄｋ）以降の飛行ボール画像Ｃｆの軌跡１４０１を模擬的に確認することが出来る。

【0127】

又、繰り返し制御部２０８は、飛行ボールＢｆの修正位置と修正速度を経時的に推定することが出来るため、これらの情報を用いて、飛弾された飛行ボールＢｆの飛行パラメータのキャリー、最大高さ、オフライン（中心ブレ）を算出して表示することが出来る。

【0128】

＜実施例＞
以下、実施例等によって本発明の効果を具体的に説明するが、本発明はこれにより限定されるものではない。

【0129】

先ず、図１〜図１４に基づいてボール追跡装置１を試作し、このボール追跡装置１を実施例とし、これを用いてゴルフ用ロボットが飛弾したゴルフボールＢの飛行パラメータ（キャリー、最大高さ、オフライン）を測定した。

【0130】

ここで、図１５Ａに示すように、飛行パラメータのキャリーＣは、ゴルフボールＢが飛弾した際にゴルフボールＢの飛弾地点Ｓから空中を飛んで着地点Ｅまでの距離を意味する。又、飛行パラメータの最大高さＨｍａｘは、ゴルフボールＢが飛弾した際に空中を飛んだゴルフボールＢの最大の高さを意味する。又、図１５Ｂに示すように、飛行パラメータのオフラインＯＦは、ゴルフボールＢが飛弾した際にゴルフボールＢの飛弾地点Ｓから正面方向に対してゴルフボールＢが空中を飛んで着地点Ｅまでの中心ブレの距離を意味する。

【0131】

一方、比較例として、市販の飛行パラメータ測定装置を用意し、ゴルフ用ロボットがゴルフクラブでゴルフボールＢを飛弾した際に、実施例のボール追跡装置と比較例の飛行パラメータ測定装置とが、ゴルフボールＢの飛行パラメータを同時に測定した。尚、市販の飛行パラメータ測定装置は、マイクロ波によるドップラー信号の変動に基づいてゴルフボールＢの飛行パラメータを測定する装置である。

【0132】

ゴルフ用ロボットは、ショットのクセによる誤差を無くすために採用し、様々な条件（スイング速度、打出方向、打出角度等）でゴルフクラブを使ってゴルフボールＢを飛弾し、実施例のボール追跡装置と比較例の飛行パラメータ測定装置とのそれぞれの測定結果をグラフ化することで、本発明のボール追跡装置の測定精度を検証した。

【0133】

その結果、図１６に示すように、実施例のボール追跡装置で測定したゴルフボールＢのキャリーが、比較例の飛行パラメータ測定装置で測定したゴルフボールＢのキャリーとほぼ一致していた。又、図１７に示すように、実施例のボール追跡装置で測定したゴルフボールＢの最大高さが、比較例の飛行パラメータ測定装置で測定したゴルフボールＢの最大高さとほぼ一致していた。更に驚くべきことに、図１８に示すように、実施例のボール追跡装置で測定したゴルフボールＢのオフラインが、比較例の飛行パラメータ測定装置で測定したゴルフボールＢのオフラインとほぼ一致していた。従って、本発明に係るボール追跡装置は、打ち出された飛行中のゴルフボールＢの軌跡を精度高く算出することが可能であることが分かった。

【0134】

尚、本発明の実施形態では、ゴルフボールに対応させたボール追跡装置を説明したが、これに限定する必要は無く、本発明は、ボールを飛行させる（発射させる）球技、ベースボール、テニス、サッカー、ラグビー、アイスホッケ、ゲートボール等のボールの軌跡をリアルタイムに精度高く算出する装置又は方法として幅広く適用することが出来る。

【0135】

又、本発明の実施形態では、ボール追跡装置１が各部を備えるよう構成したが、当該各部を実現するプログラムを記憶媒体に記憶させ、当該記憶媒体を提供するよう構成しても構わない。当該構成では、プログラムを装置に読み出させ、当該装置が各部を実現する。その場合、記録媒体から読み出されたプログラム自体が本発明の作用効果を奏する。さらに、各部が実行するステップをハードディスクに記憶させる方法として提供することも可能である。

【産業上の利用可能性】

【0136】

以上のように、本発明に係るボール追跡装置及びボール追跡方法は、ボールを飛行させるあらゆる球技においてボールの軌跡を算出して表示する装置及び方法として有効であり、飛弾後の飛行ボールの軌跡を精度高く算出することが可能なボール追跡装置及びボール追跡方法として有効である。

【符号の説明】

【0137】

１ ボール追跡装置
１０ 画像撮影装置
１１ 飛弾検出装置
１２ 分析装置
１３ 表示装置
２０１ 撮影制御部
２０２ 検出制御部
２０３ 算出制御部
２０４ 予測制御部
２０５ 変換制御部
２０６ 取得制御部
２０７ 修正制御部
２０８ 繰り返し制御部

【要約】      （修正有）

【課題】飛行するボールの軌跡を精度高く算出することは難しいという課題がある。
【解決手段】予測制御部２０４は、算出されたボールの初期位置と初期速度と、ボールの放物線を示す式とに基づいて、特定の時刻における飛行ボールの世界座標系の３次元位置と３次元速度とを予測する。変換制御部２０５は、飛行ボールの予測位置を、前記特定の時刻で撮影された撮影画像内のカメラ座標系の２次元位置に変換する。取得制御部２０６は、前記変換された撮影画像内の仮位置に基づいて、撮影画像内の飛行ボール画像を特定し、当該特定された飛行ボール画像のカメラ座標系の２次元位置を取得する。修正制御部２０７は、カルマンフィルタに基づいて、当該飛行ボールの予測位置と予測速度とを修正する。繰り返し制御部２０８は、前記特定の時刻における飛行ボールの修正位置と修正速度とを用いて、前記予測と、前記変換と、前記取得と、前記修正とを繰り返す。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】