特許 6857780 ２Ｄカメラ画像から投射物の３Ｄ軌道を推定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6857780

(24)【登録日】2021年3月24日

(45)【発行日】2021年4月14日

(54)【発明の名称】２Ｄカメラ画像から投射物の３Ｄ軌道を推定する方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20210405BHJP

   A63B 69/36 20060101ALI20210405BHJP

   A63B 69/00 20060101ALI20210405BHJP

   G06T 7/593 20170101ALI20210405BHJP

   G06T 7/60 20170101ALI20210405BHJP

   G06T 7/70 20170101ALI20210405BHJP

   G06T 7/579 20170101ALI20210405BHJP

   G01B 11/00 20060101ALI20210405BHJP

【ＦＩ】

   G06T7/246

   A63B69/36 541W

   A63B69/00 505G

   G06T7/593

   G06T7/60 200C

   G06T7/70 B

   G06T7/579

   G01B11/00 H

【請求項の数】20

【全頁数】19

(21)【出願番号】特願2020-527770(P2020-527770)

(86)(22)【出願日】2018年11月16日

(65)【公表番号】特表2021-503664(P2021-503664A)

(43)【公表日】2021年2月12日

(86)【国際出願番号】US2018061447

(87)【国際公開番号】WO2019099780

(87)【国際公開日】20190523

【審査請求日】2020年7月3日

(31)【優先権主張番号】15/815,696

(32)【優先日】2017年11月16日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】516053899

【氏名又は名称】ブラスト モーション インコーポレイテッド

【氏名又は名称原語表記】ＢＬＡＳＴ ＭＯＴＩＯＮ ＩＮＣ．

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100198650

【弁理士】

【氏名又は名称】小出 宗一郎

(72)【発明者】

【氏名】ジェームズ ソーンブルー

(72)【発明者】

【氏名】パトリック チェルベニー

(72)【発明者】

【氏名】ユルゲン ハース

【審査官】 佐藤 実

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０３２４６３６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ６９／３６

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

２Ｄカメラ画像からの投射物の３Ｄ軌道を推定する方法であって、
カメラから一連の２Ｄカメラ画像を取得することであって、前記一連の２Ｄカメラ画像の１つ又は複数の２Ｄカメラ画像は、投射物の画像を含む、取得することと、
前記１つ又は複数の２Ｄカメラ画像の各２Ｄカメラ画像における前記投射物のピクセルロケーションを識別することと、
世界基準系における点を前記一連の２Ｄカメラ画像におけるピクセル位置にマッピングするカメラ投射変換を計算することと、
前記投射物を、前記投射物の初期状況の関数として前記１つ又は複数の２Ｄカメラ画像の各２Ｄカメラ画像における前記投射物のモデリングされたピクセル位置にマッピングする前記投射物の軌道モデルを計算することであって、前記投射物の前記初期状況は、
前記２Ｄカメラ画像に基づいて導出された、または、あらかじめ設定された、前記投射物の前記世界基準系における初期位置ベクトル及び
前記２Ｄカメラ画像に基づいて導出された、または、あらかじめ設定された、前記投射物の前記世界基準系における初期速度ベクトル
を含む、計算することと、
前記１つ又は複数の２Ｄカメラ画像にわたる前記投射物の前記モデリングされたピクセル位置と前記投射物の前記ピクセルロケーションとの差を最小にすることで、前記モデリングされたピクセル位置の、前記ピクセルロケーションへの最良の近似を提供する推定投射物初期状況を計算することと、
を含む方法。

【請求項2】

前記投射物は、ゴルフボール、野球のボール、ソフトボール、サッカーボール、フットボールのボール、ホッケーのパック、テニスボール、卓球のボール、スカッシュのボール、ラケットボール、バドミントンのシャトル、ハンドボールのボール、ラクロスのボール、陸上ホッケーのボール、バレーボールのボール、キックボールのボール、ホースシュー、及びローンダーツの１つ又は複数を含む、請求項１に記載の方法。

【請求項3】

前記推定投射物初期状況及び投射物物理モデルに基づいて前記世界基準系における推定投射物軌道を計算することを更に含む、請求項１に記載の方法。

【請求項4】

前記投射物物理モデルは、前記投射物に対する力のモデルを含み、前記力は、
重力及び
抗力を
含む、請求項３に記載の方法。

【請求項5】

前記力はマグヌス効果力を更に含み、
前記投射物物理モデルは、前記投射物の初期回転の推定又は計算を更に含む、請求項４に記載の方法。

【請求項6】

前記推定投射物初期状況の前記初期位置ベクトルと、前記投射物が水平面に接触した前記推定投射物軌道上の点との間の水平距離として、前記投射物の推定飛距離を計算することを更に含む、請求項３に記載の方法。

【請求項7】

前記カメラ投射変換を計算することは、
前記カメラに固定されたカメラ基準系を定義することと、
前記世界基準系と前記カメラ基準系との間の変換を計算することと、
１つ又は複数のカメラパラメータに基づいて前記カメラ基準系と前記ピクセル位置との間の変換を計算することと、
を含む、請求項１に記載の方法。

【請求項8】

既知の距離における既知のサイズの物体のカメラ画像のピクセル単位のサイズを測定して、前記１つ又は複数のカメラパラメータのうちの１つ又は複数を特定することを更に含む、請求項７に記載の方法。

【請求項9】

前記世界基準系と前記カメラ基準系との間の変換を計算することは、
前記カメラに結合された１つ又は複数のセンサを使用して、前記世界基準系における前記カメラの向きを測定することと、
前記世界基準系における前記カメラの前記向きから、前記世界基準系と前記カメラ基準系との間の前記変換を計算することと、
を含む、請求項７に記載の方法。

【請求項10】

前記カメラに結合された前記１つ又は複数のセンサは、３軸加速度計を含み、
前記世界基準系において前記カメラの前記向きを測定することは、前記３軸加速度計を使用して測定された重力ベクトルを取得することを含み、
前記世界基準系と前記カメラ基準系との間の前記変換は、前記測定された重力ベクトルに対して前記世界基準系において垂直重力ベクトルを回転させる回転を含む、請求項９に記載の方法。

【請求項11】

各２Ｄカメラ画像における前記投射物のピクセルロケーションを識別することは、
３フレーム差分アルゴリズムを適用することであって、それにより、前記１つ又は複数の２Ｄカメラ画像における１つ又は複数の移動物体を識別し、１つ又は複数の差分フレームを生成する、適用することと、
移動平均フィルタを前記１つ又は複数の差分フレームに適用することであって、前記移動平均フィルタのサイズは前記投射物の予期される最大ピクセルサイズに一致し、それにより、１つ又は複数のフィルタリング済み画像を生成する、適用することと、
前記１つ又は複数のフィルタリング済み画像における分離ピークを前記投射物の潜在的ピクセルロケーションとして識別することであって、前記分離ピークの分離された各ピークは、検出閾値を超える値を有し、前記潜在的ピクセルロケーションの他の潜在的ピクセルロケーションから、距離閾値を超える距離だけ隔てられる、識別することと、
を含む、請求項１に記載の方法。

【請求項12】

前記投射物はボールであり、
各２Ｄカメラ画像における前記投射物のピクセルロケーションを識別することは、
前記投射物の前記潜在的ピクセルロケーションをフィルタリングして、実質的に丸い物体のピクセルロケーションのみを保持することを更に含む、請求項１１に記載の方法。

【請求項13】

前記投射物の前記潜在的ピクセルロケーションをフィルタリングして、実質的に丸い物体のピクセルロケーションのみを保持することは、前記投射物の前記潜在的ピクセルロケーションの各潜在的ピクセルロケーションについて、
閾値を超えるピクセル値を有する、前記潜在的ピクセルロケーションを囲む領域内の候補ピクセルを識別することと、
前記候補ピクセルの重心を特定することと、
前記候補ピクセルと前記重心との間の平均距離を計算することと、
前記重心に中心を有し、前記平均距離の１．５倍の半径を有する円盤を計算することと、
候補ピクセルである前記円盤内のピクセルの割合を特定することと、
前記割合が密度閾値を超える場合、前記潜在的ピクセルロケーションを保持することと、
を含む、請求項１２に記載の方法。

【請求項14】

前記カメラと前記初期位置ベクトルとの間の実測又は仮定距離に基づいて、前記世界基準系における前記初期位置ベクトルの一座標を固定することと、
前記投射物の運動の初期時間を取得又は計算することであって、
前記初期位置ベクトルは、前記初期時間における前記投射物の位置に対応し、
前記初期速度ベクトルは、前記初期時間における前記投射物の速度に対応する、取得又は計算することと、
を更に含む、請求項１に記載の方法。

【請求項15】

前記推定投射物初期状況を計算することは、
前記１つ又は複数の２Ｄカメラ画像にわたる前記投射物の前記モデリングされたピクセル位置と前記投射物の前記ピクセルロケーションとの間の二乗差の和を最小にする非線形最小二乗解を取得することであって、前記モデルのパラメータは、前記初期位置ベクトルの２つの未知の座標及び前記初期速度ベクトルの３つの未知の座標を含む、取得することを含む、請求項１４に記載の方法。

【請求項16】

前記投射物の軌道モデルを計算することは、
前記１つ又は複数の２Ｄカメラ画像の各２Ｄカメラ画像の時間を計算又は取得することと、
各２Ｄカメラ画像の前記時間を前記世界基準系における投射物ロケーションにマッピングすることであって、
前記投射物の前記初期状況及び
前記投射物の前記３Ｄ軌道の初期期間の物理モデル
に基づいてマッピングすることと、
前記カメラ投射変換に基づいて前記世界基準系における前記投射物ロケーションを前記モデリングされたピクセル位置にマッピングすることと、
を含む、請求項１５に記載の方法。

【請求項17】

前記３Ｄ軌道の前記初期期間の前記物理モデルは、前記初期速度ベクトルに等しい均一速度を有する前記初期位置ベクトルにおいて開始される慣性運動を含む、請求項１６に記載の方法。

【請求項18】

前記３Ｄ軌道の前記初期期間の前記物理モデルは、前記投射物に対する力のモデルを含み、前記力は重力を含む、請求項１６に記載の方法。

【請求項19】

前記力は抗力を更に含む、請求項１８に記載の方法。

【請求項20】

前記力はマグヌス効果力を更に含み、
前記３Ｄ軌道の前記初期期間の前記物理モデルは、前記投射物の初期回転の推定又は計算を更に含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の１つ又は複数の実施形態は、運動解析及び画像処理の分野に関する。より詳細には、限定ではなく、本発明の１つ又は複数の実施形態は、運動中の投射物の２Ｄカメラ画像に基づいて投射物の３Ｄ軌道を推定する方法を可能にする。

【背景技術】

【0002】

投射物の軌道推定は、弾道学又はスポーツ等の多くの分野で一般的な目的である。特にスポーツでは、野球のボール又はゴルフボール等の被打撃物の軌道を推定することが望ましいことがある。レーダ又はビジョンと組み合わせられたレーダを使用して、インパクト（衝撃）後のボールの初速、発射角、及びフィールド角を測定し、これらの測定値から、結果として生じるボールの軌道を予測する既知の解決策がある。これらのシステムの幾つかはボール回転も推定する。レーダを使用した例示的なシステムにはＦｌｉｇｈｔＳｃｏｐｅ（商標）、Ｔｒａｃｋｍａｎ（商標）、及びＨｉｔｔｒａｘ（商標）がある。これらのシステムでは特殊なレーダ機器が必要とされる。

【0003】

投射物の軌道を推定する当技術分野で既知の別の解決策は、奥行きの推定に二重焦点ビジョンに頼る二重カメラシステムを使用することである。この手法を使用する例示的なシステムにはＦｏｒｅｓｉｇｈｔ（商標）がある。これらのシステムでは立体カメラが必要とされる。

【0004】

２Ｄ画像を捕捉する単レンズカメラは広く市販されており、安価である。例えば、これらのカメラは多くのモバイルデバイスに統合されている。しかしながら、単レンズカメラから取得される画像に基づいて、例えばボール等の投射物の３Ｄ軌道を推定する既知の方法はない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

少なくとも上述した制限のために、２Ｄカメラ画像から投射物の３Ｄ軌道を推定する方法が必要とされている。

【課題を解決するための手段】

【0006】

本明細書に記載される１つ又は複数の実施形態は、２Ｄカメラ画像から投射物の３Ｄ軌道を推定する方法に関する。１つ又は複数の実施形態は、単レンズカメラからのカメラ画像を解析して、打球等の投射物の空間中の推定軌道を計算し得る。この解析は、最適化技法を使用して、軌道モデルを２Ｄカメラ画像における投射物の観測ピクセルロケーションに近似し得る。この技法は複数のカメラに拡張し得る。従来の並んだレンズを有する二重カメラシステムとは異なり、マルチカメラシステムは、任意のロケーション及び向きの複数のカメラからの画像を使用して、投射物の３Ｄ軌道を特定し得る。

【0007】

１つ又は複数の実施形態は、一連の２Ｄカメラ画像における投射物の観測ピクセルロケーションと、軌道モデルに基づく投射物のモデリングピクセルロケーションとの間の差を最小にすることにより、推定投射物初期状況（インパクト直後の投射物の位置及び速度ベクトル等）を計算し得る。モデリングピクセルロケーションは、世界基準系に対する投射物運動の物理モデルを、世界基準系における点をカメラ画像におけるピクセル位置にマッピングするカメラ投射変換と組み合わせることにより、投射物初期状況の関数として計算し得る。推定投射物初期状況を使用して、１つ又は複数の実施形態は投射物の３Ｄ軌道を計算し得る。この軌道は、時間及び空間を通して無限に拡張し得、又は例えば、投射物が地面を打つか、若しくは他の方法で運動を停止するまで拡張し得る。推定３Ｄ軌道に基づいて、１つ又は複数の実施形態は、例えば、限定ではなく、投射物が地面又は水平面を打つまで移動した水平距離である投射物の飛距離等の尺度を計算し得る。

【0008】

投射物運動の物理モデルは、例えば、投射物への力をモデリングし得る。力は、例えば、限定ではなく、重力、抗力、及び回転に起因したマグヌス効果力に何れか又は全てを含み得る。回転効果を含む物理モデルでは、投射物の初期回転を推定又は測定し得る。

【0009】

投射物は、例えば、限定ではなく、ゴルフボール、野球のボール、ソフトボール、サッカーボール、ホッケーのパック、テニスボール、卓球のボール、スカッシュのボール、ラケットボール、バドミントンのシャトル、ハンドボールのボール、ラクロスのボール、陸上ホッケーのボール、バレーボールのボール、キックボールのボール、ホースシュー、及びローンダーツであり得る。

【0010】

１つ又は複数の実施形態は、世界基準系における点を２Ｄカメラ画像におけるピクセルロケーションに変換するカメラ投射変換を計算し得る。このカメラ投射変換は、例えば、世界基準系からカメラ基準系（概念的にカメラに固定し得る）への変換と、カメラ系から画像におけるピクセル座標への投射変換との複合として計算し得る。

【0011】

１つ又は複数の実施形態では、カメラ基準系とピクセル座標との間の投射変換は、１つ又は複数のカメラパラメータに依存し得る。これらのパラメータの１つ又は複数は、既知の距離において見られる既知の物理サイズの物体のピクセル単位のサイズを測定することにより特定し得る。

【0012】

１つ又は複数の実施形態では、世界基準系からカメラ基準系への変換は、世界基準系におけるカメラの向きに依存し得る。１つ又は複数の実施形態では、この向きは、例えば、カメラ系における重力の方向を測定する三軸加速度計等のカメラに結合された１つ又は複数のセンサを使用して特定し得る。世界系とカメラ系との間の変換は、例えば、世界系における下向き重力ベクトルを加速度計から測定された重力ベクトルに回転させる回転であり得る。

【0013】

１つ又は複数の実施形態は、２Ｄカメラ画像を解析して、これらの画像における投射物のピクセルロケーションを特定し得る。１つ又は複数の実施形態において、投射物の位置特定に使用し得る初期ステップは、例えば、３フレーム差分アルゴリズムを使用して、カメラ画像において運動中の物体の場所を特定することである。１つ又は複数の実施形態では、３フレーム差分は平滑化し得、次に、平滑化された差分における分離ピークを投射物の潜在的なピクセルロケーションとして識別し得る。

【0014】

ボールであるか、又は丸い投射物の場合、投射物の潜在的なピクセルロケーションをフィルタリングして、実質的に丸い形状であり、画像における予期される投射物サイズに一致する物体のみを保持し得る。１つ又は複数の実施形態において使用し得る丸い物体を見つけるアルゴリズムは、重心及び重心からの物体領域の平均距離を計算し、平均距離の１．５倍の半径を有する重心の周りの円盤を生成し、この円盤内の物体ピクセルの密度が密度閾値を超える場合、物体は丸いと見なし得る。

【0015】

単一２Ｄカメラを用いる場合、カメラ画像におけるピクセルロケーションは、３Ｄ空間における一点に明確にマッピングすることができない。したがって、１つ又は複数の実施形態は、例えば、飛行開始時のカメラと投射物との間の実測又は仮定距離に基づいて投射物の初期位置の一座標を固定し得る。１つ又は複数の実施形態また、投射物の初期状況が維持される初期時間を取得又は計算することもできる。初期状況は５つの未知の座標を有し得る：２つの未知の位置座標及び３つの未知の速度座標。これらの未知の座標は、カメラ画像における投射物の観測ピクセルロケーションと、これらの未知の座標の関数としての予測ピクセルロケーションとの差を最小にすることにより推定し得る。例えば、１つ又は複数の実施形態は非線形最小二乗アルゴリズムを使用して、推定初期状況を発見し得る。任意の初期状況の予測ピクセルロケーションは、初期投射物軌道の物理モデル及び世界基準系座標をピクセルロケーションにマッピングするカメラ投射変換を使用して計算し得る。例えば、初期投射物軌道の物理モデルは、重力、抗力、及びマグヌス効果力の何れか又は全てを含み得る。

【0016】

本特許又は本願の一件書類は、カラーで実行される少なくとも１つの図面を含む。カラー図面を有する本特許又は本特許出願公開公報のコピーは、要求及び必要料金の支払いにより特許商標庁により提供される。

【0017】

本発明の上記及び他の態様、特徴、及び利点は、以下の図面と併せて提示される以下の本発明のより具体的な説明からより明らかになる。

【図面の簡単な説明】

【0018】

【図1】ボールを含む一連のカメラ画像からゴルフボールの３Ｄ軌道を計算する本発明の実施形態を示す。

【図2】本発明の１つ又は複数の実施形態が物理モデルをいかに使用して、投射物の実測又は仮定初期状況の関数として３Ｄ軌道を特定し得るかを示す。

【図3】図２の例を続けて、仮説的な３Ｄ軌道がいかに、投射物の予測ピクセル位置をカメラ画像における観測位置と比較し得るようにカメラ画像平面に投射されるかを示す。

【図4】推定初期状況に基づく、飛距離等の導出された尺度と共に投射物の完全３Ｄ軌道の計算を示す。

【図5】測定されたカメラ向き及び測定又は既知のカメラパラメータに基づいてカメラ投射変換を導出する手法を示す。

【図6】一連のカメラ画像における投射物を位置特定するのに使用し得る第１のステップを示し、このステップでは、３フレーム差分がフレームシーケンスに適用されて、運動中の物体の位置を特定する。

【図7】一連のカメラ画像における投射物を位置特定するのに使用し得る第２のステップを示し、このステップでは、３フレーム差分（図６から）が平滑化され、分離ピークが可能な投射物ロケーションとして識別される。

【図8】一連のカメラ画像における投射物を位置特定するのに使用し得る第３のステップを示し、このステップでは、分離ピークがフィルタリングされて、予期されるサイズの丸い物体の位置を特定する。

【図9】観測投射物ピクセルロケーション及びカメラ投射パラメータに基づいて投射物の初期状況を推定するアルゴリズムの例を示し、このアルゴリズムは非線形最小二乗を使用して、実際の投射物ピクセルロケーションと推定投射物ピクセルロケーションとの間の差を最小にする。

【図10】図９の計算例から特定された３Ｄ投射物軌道を示す。

【発明を実施するための形態】

【0019】

２Ｄカメラ画像から投射物の３Ｄ軌道を推定する方法についてこれより説明する。以下の例示的な説明では、本発明の実施形態のより完全な理解を提供するために、多くの具体的な詳細が記載される。しかしながら、本明細書に記載される具体的な詳細の全ての態様を組み込まずに本発明が実施可能なことが当業者には明かである。他の場合、本発明を曖昧にしないように、当業者に周知の特定の特徴、数量、又は測定値については詳述していない。本発明の例が本明細書に記載されるが、特許請求の範囲及び全範囲の任意の均等物は、本発明の境界を規定するものであることに読み手は留意されたい。

【0020】

図１は、投射物の一連の２Ｄカメラ画像から投射物の３Ｄ軌道を推定する手順の一例を示す。この説明のための例では、投射物１０１はゴルフボールであり、ゴルファー１０２により打たれる。１つ又は複数の実施形態は、例えば、限定ではなく、ゴルフボール、野球のボール、ソフトボール、サッカーボール、フットボールのボール、ホッケーのパック、テニスボール、卓球のボール、スカッシュのボール、ラケットボール、バドミントンのシャトル、ハンドボールのボール、ラクロスのボール、陸上ホッケーのボール、バレーボールのボール、キックボールのボール、ホースシュー、及びローンダーツを含む任意の１つ又は複数のタイプの投射物の軌道を推定し得る。投射物は、任意の１つ又は複数のタイプの器具を使用して又は人の力若しくは自然の力を使用して打たれ、投げられ、蹴られ、発射され、トスされ、飛ばされ、バウンドし、押され、引かれ、放たれ、又は落とされ得る。投射物は、限定ではなく、空気又は水を含め、任意の媒質を通って移動し得る。幾つかの状況では、投射物は表面又はトラックに沿って移動し得る。

【0021】

カメラ１０３は、ゴルフボールがインパクト（衝撃）後に移動する際、ゴルフボールの画像を捕捉する。１つ又は複数の実施形態では、カメラ１０３は任意のタイプのカメラ又は画像捕捉デバイスであり得る。例えば、２Ｄ画像を捕捉する単レンズカメラであり得る。カメラはビデオカメラ又は個々の画像を捕捉するカメラであり得る。通常速度ビデオカメラ（毎秒３０フレームでビデオを捕捉するカメラ等）又は任意のフレームレートで動作する高速ビデオカメラであり得る。カメラ１０３は、例えば携帯電話等の任意の他の機器に統合し得る。１つ又は複数の実施形態では、カメラ１０３は複数のカメラであり得る。例えば、マルチカメラシステムは、独立して動作する、複数の場所における単（又は二重）レンズを使用し得る。１つ又は複数の実施形態では、カメラ１０３は、二重レンズを有する立体カメラであり得、これは例えば、２つの画像間のピクセルロケーションの差を使用して、距離を推定し得る。

【0022】

カメラ１０３は、画像１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、及び１１０ｅを捕捉する。各画像は２Ｄ画像である。この例では、画像１１０ａ、１１０ｂ、１１０ｃ、及び１１０ｄは投射物１０１の画像を含み、画像１１０ｅは、投射物がカメラの視野から出てしまったため、投射物の画像を含まない。一般に、１つ又は複数の実施形態では、任意の数の画像をカメラ（又は複数のカメラ）により捕捉し得、これらの画像の任意のサブセットは、関心のある投射物の画像を含み得る。１つ又は複数の実施形態は、投射物を含む画像を使用して、投射物の３Ｄ軌道を推定し得る。

【0023】

３Ｄ軌道を推定する、１つ又は複数の実施形態において使用し得る例示的なプロセスをステップ１２１、１２２、１２３、及び１２４に示す。１つ又は複数の実施形態では、コンピュータ１１９は画像を処理し、コンピュータはカメラ１０３の内部にあってもよく、又は別個であってもよい。いずれの場合でも、コンピュータは、以下のように画像を処理する特定の実行ステップにより構成され、任意のアーキテクチャでの分散又は埋め込みコンピュータを含む任意の他のコンピュータアーキテクチャを本明細書に記載される実施形態と共に利用し得ることに留意する。ステップ１２１において、投射物ピクセルロケーションがカメラ画像の１つ又は複数において特定される。ステップ１２２において、初期状況（インパクト直後のゴルフボールの放出速度及び位置等）の関数として投射物の３Ｄ軌道を特定するモデルが生成又は取得される。ステップ１２３において、３Ｄ位置から２Ｄピクセルロケーションにマッピングするカメラ投射変換が特定される。ステップ１２４において、ステップ１２１において特定された観測ピクセルロケーションと投射物の予測ピクセルロケーションが最もよく一致する推定初期状況を計算する。これらのステップの結果は、初期位置１３１及び初期速度１３２並びに結果として生成される、世界基準系１３０に対する投射物の３Ｄ軌道１３３等の１組の推定初期状況である。世界基準系１３０は、地上の場所又は任意の所望の物体に固定された系等の任意の所望の基準系であり得る。

【0024】

図２は、１つ又は複数の実施形態における図１のステップ１２２に使用し得る手順を示す。初期状況２０１は、例えば、世界基準系に対する、選択された初期時間（インパクト直後等）における投射物の三次元初期位置ベクトル及び三次元初期速度ベクトルであり得る。１つ又は複数の実施形態では、初期状況は初期回転ベクトル２０３を含むこともでき、初期回転ベクトル２０３は測定又は仮定（ゴルフボール飛行のような特定のタイプの軌道の平均回転に基づく等）し得る。回転は、例えば、ボール又は他の投射物における印を使用して測定し得、ナイキスト周波数（例えば、フレームレート２４０Ｈｚで７２００ｒｐｍ）までの回転率は直接観測可能であり、変化率又は他の事前情報は、存在する場合、エイリアシングの解決に使用し得る。回転を推定する別の手法は、より大きな視野を使用して、より広範囲の投射物の飛行を捕捉し、投射物の観測ピクセルロケーションを、回転率を含む軌道モデルに近似して、モデルのパラメータを全てまとめて推定する。回転の直接測定が利用可能ではない場合、公称回転率を仮定し得、公称回転率は、投射物のタイプ、投射物を打つ器具のタイプ（ゴルフクラブのタイプ等）、及び投射物の放出速度ベクトル等の要因に基づき得る。

【0025】

物理モデル２０２を作成又は取得し得、物理モデル２０２は、例えば、時間の経過に伴い投射物に対して作用する力を記述し得る。力は、例えば、重力（ｍｇ）、抗力（Ｆ_ｄｒａｇ）、及びマグヌス効果に起因した揚力(Ｆ_{Ｍａｇｎｕｓ})の何れか又は全てを含み得る。１つ又は複数の実施形態は、これらの力の何れか又は全てを省いた簡易化物理モデルを投射物に使用し得る。例えば、インパクト後のゴルフボールの初期軌道の簡易物理モデルは、全ての力を無視し得、ボールの飛行を純粋に慣性として扱い得、ここでは、ボールは初期速度で運動を続ける。別の簡易化物理モデルは重力のみを含み得る。ステップ２０４において、投射物の３Ｄ軌道は、初期状況２０１（及び可能な場合には２０３）を使用して物理モデル２０２により指定された運動の微分方程式を解くことにより導出される。このプロセス２０４は、未知であり得る初期状況の関数として３Ｄ軌道を生成する。したがって、初期状態が異なると、生成される投射物の３Ｄ軌道も異なる。例えば、初期状況（ｒ_０，ｖ_０）は３Ｄ軌道１３３を生成し得るが、異なる初期状況（ｒ’_０，ｖ’_０）は異なる３Ｄ軌道１３３ａを生成し得る。

【0026】

図３は、図２の例を継続し、１つ又は複数の実施形態による、図１のステップ１２３及び１２４に使用し得る手順を示す。カメラ投射変換３１０を取得又は計算して、世界基準系からの３Ｄ座標をカメラ画像内のピクセル座標にマッピングする。この変換３１０を使用して、１３３及び１３３ａ等の３Ｄ軌道をカメラ画像内の対応するピクセルロケーションにマッピングし得る。例えば、３Ｄ軌道１３３上の点３０１は、フレーム１１０ｂにおけるピクセルロケーション３１１にマッピングされ、３Ｄ軌道１３３ａ上の点３０２はフレーム１１０ｂにおけるピクセルロケーション３１２にマッピングされる。次に、マッピングされたピクセルロケーションと投射物の実際のピクセルロケーションとの間の差を使用して、各３Ｄ軌道が一連のカメラ画像といかに一致するかを判断する。例えば、表３２０は、異なる初期状況に対応する軌道１３３及び１３３ａの予測された投射物ピクセルロケーションと観測投射物ピクセルロケーションとの間の合計二乗距離３２１を計算する。この例示的な計算は、変換された軌道ロケーションと観測ピクセルロケーションとの間の二乗距離の和が、軌道１３３ａの対応する二乗距離の和よりも低いため、軌道１３３が観測投射物ピクセルロケーションにより密に近似することを示す。１つ又は複数の実施形態では、観測ピクセルロケーションへの最良の近似を提供する推定初期状況を探してサーチを実行し得、最良近似は、予測ピクセルロケーション（仮定された初期状況に基づく）と観測ピクセルロケーションとの間の二乗距離和３２１を最小にするものであり得る。最適な初期状況を探すこのサーチは、任意の所望のアルゴリズムを使用して実行し得る。例えば、幾つかの状況では、二乗誤差３２１を最小にする推定初期状況への閉形式解が利用可能であり得る。１つ又は複数の実施形態では、数値最適化法を使用して、推定初期状況を見つけ得る。例えば、限定ではなく、反復的レベンバーグ−マーカートアルゴリズム等の非線形最小二乗ソルバを使用して、推定初期状況を見つけ得る。１つ又は複数の実施形態では、二乗距離の和以外の近似程度（ｃｌｏｓｅｎｅｓｓ−ｏｆ−ｆｉｔ）尺度を使用し得、任意のアルゴリズムを使用して、この尺度を最小にする（又は概ね最小にする）推定初期状況を見つけ得る。

【0027】

推定初期状況が計算された（例えば、観測ピクセルロケーションへの近い又は最適な近似を見つけるために）後、これらの初期状況を使用して投射物飛行の３Ｄ軌道を計算し得る。この３Ｄ近似は、カメラにより観測し得る飛行の初期期間ではなく、投射物の全飛行を包含し得る。図４はこのプロセスを示す。図３に関して説明したように、推定初期状況４０１が計算される。完全３Ｄ軌道の物理モデル４０２が計算又は取得される。この物理モデル４０２は、観測ピクセルロケーションへの初期状況の近似に使用された物理モデルと同じであってもよく、又は異なってもよく、例えば、初期状況を近似するための物理モデルは、所望の場合、近似手順を簡易化するために、特定の力を無視し得る。例示として、初期状況を特定するための物理モデルは、重力を含み得るが、抗力、ボールの回転、及びマグヌス力を無視し得、一方、完全３Ｄ軌道のモデルは抗力及び回転効果を組み込み得る（例えば、測定又は推定されたボールの回転を使用して）。次に、ステップ４０３は、初期状況４０１及び物理モデル４０２から完全３Ｄ軌道４０４を計算する。この軌道４０４は、投射物の放出状況４１１及び投射物の経時位置を提供する。１つ又は複数の尺度は３Ｄ軌道４０４から計算し得、例えば、飛距離４１２は、放出後且つポイント４０５において地面を打つ前に投射物が移動する水平距離として特定し得る。１つ又は複数の実施形態では、飛距離計算は、既知又は推定の地形を考慮に入れることもできる。１つ又は複数の実施形態は、例えば、限定ではなく、飛行時間、地面に衝突したときの速度、及び推定される転がり又は跳ね返り等の任意の他の所望の尺度を計算し得る。

【0028】

図３は、カメラ投射変換３１０をいかに使用して、３Ｄ点からピクセル座標にマッピングし得るかを示す。図５は、１つ又は複数の実施形態において使用し得るカメラ投射変換を導出する手法を示す。カメラ投射変換は、例えば、世界系からカメラ系への変換と、カメラ系から画像フレームへの変換との組合せとして見ることができる。カメラ基準系５０３は、カメラ１０３への固定向きで定義し得る。例えば、カメラ基準系の原点はカメラアパーチャに配置し得、カメラ系軸ｙ_ｃはカメラ画像平面に直交する。簡明にするために、世界基準系１３０も同じ原点に配置し得、それにより、カメラ系と世界系との間の変換は回転である。この世界系は、例えば、ｚ_ｗ軸が垂直上向き（重力の逆）を指した状態で定義し得る。世界系とカメラ系との間の回転５０４は、カメラの既知の、仮定された、又は測定された向きに基づいて特定し得る。例えば、１つ又は複数の実施形態では、カメラは１つ又は複数のセンサを有し得、これらのセンサからの測定値５０２を使用して変換５０４を導出し得る。センサは、例えば、限定ではなく、カメラに結合された３軸加速度計５０１を含み得る。（そのような加速度計は、例えば、カメラを有する携帯電話に含まれ得る）。加速度計５０１は、カメラ基準系において重力ベクトルを測定し得、この測定値を使用して、世界基準系の−ｚ_ｃ軸をこのカメラ系の重力ベクトルに回転させる回転５０４を導出し得る。カメラが磁力計等の他のセンサを有する場合、固定地球基準系に対するカメラの水平向きを導出することが可能であることもあり、その他の場合、世界基準系軸ｙ_ｗは、例えば、世界水平面へのカメラｙ_ｃ軸の投射と位置合わせされるように設定し得る。

【0029】

カメラ投射変換の導出は、カメラ基準系５０３から、カメラ１０３により捕捉されたフレーム１１０ｆ等の画像における各点のピクセル座標を提供する画像系５１０への変換５１１の計算を含むこともできる。この変換５１１は、例えば、１つ又は複数のカメラパラメータ５１３に依存し得る。例えば、ピンホールカメラモデルを使用して、この変換５１１は変換５１２として表すことができ、変換５１２はカメラの１つのパラメータｆに依存する。１つ又は複数の実施形態では、他のカメラパラメータを使用又は測定して、変換５１１を特定し得る。例えば、１つ又は複数の実施形態は、所望に応じてカメラ較正手順を実行して、カメラレンズにおける任意の不完全性又はピンホールモデル５１２からの他のずれを考慮し得る。

【0030】

ピンホールカメラモデル５１２を用いる場合、パラメータｆは、カメラ仕様から取得し得、又は測定し得る。このパラメータを測定する一手法を図５に示し、既知の物理的サイズの物体が、カメラから既知の距離において捕捉され、物体の画像のピクセル単位のサイズを使用して、カメラパラメータを特定し得る。図５に示される例では、ゴルファー１０２の高さは５２１であることが既知であり、ゴルファー１０２からのカメラ１０３の距離は距離５２３として既知又は測定され、フレーム１１０ｆにおけるゴルファーの画像の高さは５２２である。これらの測定値を使用して、計算５２４によりカメラパラメータｆを特定する。

【0031】

図６、図７、及び図８は、１つ又は複数の実施形態で使用し得る、カメラ画像における投射物のピクセル位置を見つける手法を示す。図６はこのプロセスにおける初期ステップを示し、初期ステップは、カメラ画像フレームにおいて運動中の物体の位置を特定することである。例示的なカメラ画像フレーム６０１は、運動中のボールの画像６１０を含み、このカメラフレーム及び他のカメラフレームにおけるボールの位置を識別することが望ましい。２フレーム差分６２１をフレーム６０１及び先行フレームに適用して、運動中の物体を識別し得るが、その結果生成される差分画像６０２は運動中の物体を２回示す：前の位置（物体の移動元）において１回及び新しい位置（物体の移動先）において１回。３フレーム差分６２２を使用して、この曖昧性を解決し得る。例えば、カメラ画像フレーム数ｋがピクセルマップＦ_ｋ（ｘ，ｙ）として表される場合、バイナリ２フレーム差分は、何らかの閾値Ｔについて、｜Ｆ_ｋ−１（ｘ，ｙ）−Ｆ_ｋ（ｘ，ｙ）｜＞Ｔである場合、Ｄ_{ｋ−１，ｋ}（ｘ，ｙ）＝１、その他の場合、０として定義し得る。次に、３フレームバイナリ差分Ｄ３_ｋ（ｘ，ｙ）は、２つのフレーム差分Ｄ_{ｋ−１，ｋ}（ｘ，ｙ）及びＤ_{ｋ，ｋ＋１}（ｘ，ｙ）に適用されるピクセル単位のＡＮＤ演算子（「^＊」として示される）として定義し得る：Ｄ３_ｋ（ｘ，ｙ）＝Ｄ_{ｋ−１，ｋ}（ｘ，ｙ）^＊Ｄ_{ｋ，ｋ＋１}（ｘ，ｙ）。３フレーム差分６２２を定義し計算するこの方法は例示的なものであり、１つ又は複数の実施形態は、カメラ画像における運動中の物体を識別する任意の所望の方法を使用し得る。

【0032】

図７は図６の例の続きである。３フレーム差分６０３は運動中の物体を見つける。この例では、ボール（関心のある投射物）、バット、バッター、及び背景におけるトラック等の幾つかの運動中の物体が見える。３フレーム差分６０３は平滑化フィルタ７１１を用いて空間的に平滑化し得る。例えば、限定ではなく、フィルタ７１１は角窓の移動平均フィルタであり得、フィルタのサイズは、関心のある投射物（ここではボール）の予期される最大サイズに一致する。１つ又は複数の実施形態では、３フレーム差分及び空間平滑化は、効率を上げるために、低減した画像解画像度で実行し得る。画像７０１は、空間平滑化演算７１１後のダウンサンプリング画像を示す。

【0033】

投射物の候補位置を見つけるために、ステップ７１２を実行して、平滑化された（及び可能な場合にはダウンサンプリングされた）画像７０１における分離ピークを見つけ得る。特に、１つ又は複数の実施形態は以下のアルゴリズムを使用して、分離ピークを見つけ得る。
（１）フィルタリングされた値が検出閾値を超える全ての画像ロケーションを列挙し、値により降順にソートする。
（２）リストがからの場合、停止。
（３）リストから第１のロケーションを選択する。
（４）選択された値の何らかの距離内にあるリストからの全てのロケーションを削除する。
（５）ステップ（２）に戻る。

【0034】

画像７０２は、フィルタリングされた画像において検出された全ての分離ピークを示す。枠は、検出された運動中の物体にセンタリングされた移動平均フィルタを表す（計算効率のために、フィルタリングされた値は枠の左上隅に格納される）。

【0035】

図８は図６及び図７の例の続きである。候補投射物ロケーションが画像７０２において枠により示され、ここで、各枠の左上隅は可能な投射物ロケーションである。ステップ８０１はこれらの候補ロケーションをスキャンして、投射物の予期されるサイズ及び形状に一致する候補ロケーションを識別する。この例では、投射物は丸く（投射物はボールである）、したがって、サーチ８０１により、予期されるサイズの丸い物体を探す。丸い物体を見つけるのに使用し得る例示的な手法は、検出された各分離ピークに対して以下のステップを実行することである。
（１）かなりの大きさの枠を検出されたロケーションでセンタリングする。
（２）検出閾値を超える枠内の全てのピクセルを列挙する。
（３）それらのピクセルの重心を計算する。
（４）重心へのそれらのピクセルの平均距離を見つける。
（５）平均距離の１．５倍としてボールサイズを大まかに推定する。
（６）推定されたボールサイズ内にあるピクセルをカウントする。
（７）ステップ（２）からのピクセル数をボール面積で除算することにより、密度を推定する。
（８）密度が閾値（例えば、０．５）を超える検出を保持する。

【0036】

この手順の結果は画像の一部の拡大図８０３と共に画像８０２に示される。８０２及び８０３における赤い枠及び円は、上記アルゴリズムにより拒絶された、検出されたロケーションを示し、１つの青い枠は、残っている検出されたボールを示す。拡大図８１１では、赤い円８１１及び青い円８１２は、上記ステップ（３）、（４）、及び（５）を介して特定された円形エリアである。円８１２内の検出されたピクセルは、形状が所望の円形に一致するため、円形エリアを略埋めている。しかしながら、円８１１では、野球のバットの実際の形状は細長く円形ではないため、円内のピクセルは円形エリアの大部分を埋めておらず、したがって、この物体は投射物の候補として拒絶される。

【0037】

図８に示される例では、１つのみのロケーションが投射物ピクセルロケーションの候補として残る。幾つかの状況では、複数のロケーションが残り得、有効な投射物軌道を見つけ推定するために、フレームにわたるそれらの物体の追跡に基づいて、検出された物体を更にフィルタリングすることが望ましいことがある。予期される投射物軌道に一致しないトラックを有する物体（例えば、動きが速すぎる、遅すぎる、又は予期されない方向に移動している物体）は削除し得る。

【0038】

追跡をターゲティングする総当たり手法は、追跡する可能な物体として複数のフレームにわたり測定値の全ての可能な組合せを調べる。ソフトウェアでは、測定値の可能な組合せを扱う効率的な方法は、新しいあらゆるフレームで、可能なあらゆるトラックが、新しい測定値の数に可能な欠損検出を加算したものにより拡大するツリー様データ構造を使用することである。組合せの数は指数的に増大し、すぐに追跡不可能になり得る。例えば、あらゆるフレームで検出された２つの物体がある場合、わずか１６８フレーム（１２０Ｈｚで１．４秒）後には（２＋１）^１６８≒１×１０^８０個の可能な組合せがあり、これは概ね、既知の宇宙における原子の数である。問題を追跡可能に維持するために、マルチターゲット追跡における現状技術は、２段階手法を使用して、ツリーを積極的に刈り込む。通常、「ゲーティング」と呼ばれる第１の段階は、既存のトラックにはとても一致し得ない測定値を拒絶する。第２の段階において、トラッカーは現在フレームを含め、現在フレームまでの全ての情報を使用して、可能な各トラック及びバイナリリニアプログラミングソルバを「スコア付け」して、物体への測定値のＫ個の最良「割り当て」を見つける（Ｋａｔｔａ Ｇ．Ｍｕｒｔｙ，Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒａｎｋｉｎｇ ａｌｌ ｔｈｅ ａｓｓｉｇｎｍｅｎｔｓ ｉｎ ｏｒｄｅｒ ｏｆ ｉｎｃｒｅａｓｉｎｇ ｃｏｓｔ，Ｏｐｅｒａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ，Ｖｏｌ．１６，Ｎｏ．３，ｐｐ．６８２−６８７，Ｍａｙ−Ｊｕｎｅ，１９６８参照）。その時点で、Ｋ最良解に含まれない全ての分岐はツリーから刈り取られる。

【0039】

Ｋ最良解の発見はなお計算集約的であるため、単純なトラッカーは最適未満刈込み基準を使用し得る。例えば、「欲張り」トラッカーは、大きな曖昧性がある場合であっても、１つのみの測定値−最良近似を有するもの−の各フレームでの任意の特定のトラックの拡張を許し得る。比較的単純な運動学を有する１つの運動中の物体を追跡しているため、１つ又は複数の実施形態は、例えば、以下の欲張り追跡アルゴリズムを使用し得る。
（１）トラックの空集合Ｔで開始する。
（２）「保留中」トラックをｎｏｎｅに設定する。
（３）移動中物体の集合Ｍを有する新しいフレームを取得する。
（４）Ｍ内の各運動中物体ｍについて：
（５）Ｔ内の各トラックｔについて：
（６）ｍがｔの有効な拡張であるように見える場合：
（７）運動中の物体ｍをトラックｔに追加する新しいトラックを作成する。
（８）ｔが「成熟」トラックの基準を満たす場合、「使用済み」カウントをインクリメントする。
（９）「使用済み」カウントが何らかの閾値を満たす場合、ループから出る。
（１０）ｍが「使用済み」ではない場合、測定値ｍのみを有する新しいトラックを開始する。
（１１）Ｔ内の各トラックｔについて：
（１２）トラックｔの欠損カウントをインクリメントする。
（１３）欠損カウントが閾値を超える場合、
（１４）Ｔからｔを削除する。
（１５）ｔで現在「保留中」トラックを置換すべきか否かを判断する。
（１６）「保留中」トラックがタイムアウトする場合、軌道を推定し、報告し、ｎｏｎｅにリセットする。
（１７）ステップ７及び１０からの全ての新しいトラックをＴに追加し、測定値の降順数でＴをソートする。
（１８）ステップ３から繰り返す。

【0040】

物体は、ステップ６において有効な拡張のように見えるには、幾つかの「ゲート」を通過しなければならない。これらは、最小速度、最大速度、投射位置、推定ボールサイズ、及びボールの色を含む（が、これらに限定されない）。概念は、ゲートを計算効率的にし、有効な軌道のように見えない場合、可能な限り早く不合格にすることである。

【0041】

「成熟」トラックの基準は、例えば、測定値の最小数であり得る。この欲張りアルゴリズムは、測定値を最高でＮ個の成熟トラック（大半の欲張りトラッカーではＮ＝１）に拡張できるようにし、任意の成熟トラックの拡張は、測定値が新しいトラックを形成するのを阻止する。このようにして、「未使用」測定値が可能な新しいトラックを開始できるようにし、拡張されない場合、これらは素早く刈り取られる。

【0042】

１つの運動中の物体（打たれたボール）のみに関心があるため、任意の曖昧性が解決された後に報告することになる１つの「保留中」トラックを追跡する。ステップ１５において「保留中」トラックを置換する際、冗長性及び他の不要トラック（例えば、投球ｖｓ打球）をソートして除外する。ステップ１６におけるトラック報告のタイムアウト時間は、例えば、約１秒であり得、これは、クラブのバックスイング、ダウンスイング、投げられたボール、又は他のトラックに伴って生じ得る曖昧性をソートして除外するのに十分な時間であり、且つ動作が完了した後にリアルタイムフィードバックを提供するのに十分に速い時間である。例示的な保留トラック置換戦略は以下である。
（１）検証基準（測定値の最小数、追跡された距離、速度、発射角、フィールド角等）に一致しないトラックを拒絶する。後の基準は、観測測定値からの３Ｄ軌道の推定を必要とする。
（２）任意のユーザ提供基準（例えば、初期ボール位置）に一致しないトラックを拒絶する。
（３）トラックが幾つかの測定値を共有する場合、最も多くの測定値を有するものを保持する。
（４）トラックが同じ方向（例えば、左から右）で運動中の異なる物体を表す場合、最も遠くまで追跡するものを選ぶ。
（５）トラックが異なる方向に運動中の物体を表す（例えば、投げてから打つ）場合、後のものを選ぶ。

【0043】

保留中のトラックを置換又は報告する前、まず、初期位置及び速度（速度、発射角、及びフィールド角）を含め、３Ｄ軌道を推定することが必要又は望ましいことがある。

【0044】

図９及び図１０は、例えば、ボールピクセルロケーションが図６、図７、及び図８に関して説明したように識別されたと仮定して、観測ピクセルロケーションからのボールの初期状況及び３Ｄ軌道の計算の例を示す。カメラ１０３はフレーム９１０ａ、９１０ｂ、９１０ｃ、及び９１０ｄを捕捉し、各フレームは投射物の画像を含む。簡明にするために、この例では、カメラ１０３は水平を向くと仮定され、したがって、カメラ基準系９０１は世界基準系に一致する。

【0045】

１つの２Ｄカメラからの投射物の観測ピクセルロケーションから投射物初期状況を導出するために、１つ又は複数の制約を初期状況に課すことが必要であり得る。ピクセルロケーションは３Ｄ空間における一意の点を特定せず、その代わり、一筋の点を特定する。この曖昧性をなくするために、１つ又は複数の実施形態は、例えば、インパクト時における投射物のｙ座標（世界基準系における）等の１つの初期状況パラメータの値を固定し得る。このｙ座標は、投射物の飛行開始時におけるカメラと投射物との間の距離（水平面に沿った）を表し得る。例えば、限定ではなく、以下を含め、この距離の推定に１つ又は複数の手法を使用し得る。
１．距離を測定し提供するようにユーザに求める（例えば、カメラがボールの飛行路からどれくらい離れているか）。
２．画像表示にグリッド、枠、クラブ、バット、又は他のスケーリングされた物体を追加し、スケーリングされた物体が現実世界での既知の物体のサイズに一致するまで前方又は後方に移動させるようにユーザに求める。例えば、３２インチ（８１．２８ｃｍ）バットを描画し、次にそれを実際の３２インチ（８１．２８ｃｍ）バットと位置合わせする。ここでも、この距離は次に、続く動作の世界位置の計算に使用される。
３．画像において既知のサイズの物体を認識する（自動的に又はユーザからの支援を受けて）。例えば、ゴルフボール又は野球のボールの認識、画像におけるサイズの測定、及びゴルフボール又は野球のボールの既知のサイズとの比較により、距離を特定する。これは、準備プロセスの一環として静的に又はボールの飛行中、動的に行うことができる。
４．落下する物体の経路を測定することにより重力を使用し、画像座標における下加速度を計算し、重力の既知の加速度に一致するようにその加速度をスケーリングする。これは、重力の効果が視野内で観測可能であると仮定して、ユーザがボール又は他の物体を所望の距離において落とす準備ステップとして又はボール飛行中に動的に行うことができる。
５．二重カメラシステムを最新のスマートフォンデバイスに使用する。例えば、ｉＰｈｏｎｅ（登録商標） ７＋から始まった、二重カメラシステムは、画像における物体に対応する距離マップを提供することができる。これは、準備ステップの一環として（例えば、画像においてボール又は他の物体を位置特定し、距離を覚えることにより）又はリアルタイム処理中（現在、高フレームレートで奥行き情報をサポートする既知のデバイスはないが）、実行し得る。
６．ＡＲＫｉｔ又は同様のＡＰＩを使用して、画像から世界系へのマッピングを学習する。この手法は、ユーザが、３Ｄ世界モデルを確立するのに十分にカメラを移動させ、既知の距離における物体又はロケーションを識別する準備ステップの一環としてのみ実現可能である。例えば、この手法を使用して、カメラのＸフィート前の地面に線を投影することができ、次に、ユーザはその線に画像における所望の発射位置と位置合わせすることができる。
７．複数のカメラを使用して、異なる視点から画像を取得する。

【0046】

図９の例では、カメラ１０３と投射物１０１との間の距離９０２は、上記方法の１つ又は複数を使用して取得される。幾つかの状況では、捕捉されたカメラ画像フレームの時間スケールと初期状況を同期させるために、投射物がカメラからこの距離にあるときを特定又は推定することが望ましいこともある。この初期時間は、例えば、ゴルフクラブで打たれる時間（図９のように）又は野球のバットのような別の物体で打たれる時間等の投射物がインパクトを受ける時間であり得る。幾つかの場合、センサはインパクト（例えば、クラブのショックセンサ等）を測定し得、インパクト時間を知り得る。幾つかの場合、インパクト時間をカメラ画像から推定することが望ましいことがある。例えば、図９では、フレーム９１０ａは運動中の投射物が検出される最初のフレームであり得る。したがって、そのインパクト時間がフレーム９１０ａに先行するフレーム９１１にあったと見積もることが妥当であり得る。幾つかの場合、カメラ画像の手動レビューを使用して、インパクト時間を含むか、又はインパクト時間に最も近いフレームを識別し得る。

【0047】

図９の例では、フレーム９１１はインパクトのフレームとして設定され、ｔ＝０のタイムスタンプ９１２が割り当てられる。例えば、カメラ１０３が毎秒６０フレームでフレームを捕捉すると仮定すると、続くフレーム９１０ａ〜９１０ｄのタイムスタンプを計算し得る。時間９１２における初期状況９２０は５つの未知パラメータを含み、ｙパラメータ９２１は既知又は測定された距離９０２に設定される。この例では、インパクト後の初期期間にわたりボールに対して作用した力がないと仮定する単純な物理モデル９２２を使用する。この物理モデルは、世界基準系９０１において、各時間期間におけるボールの３Ｄ位置を提供する。次に、この位置は、カメラ投射変換５１２を介して画像座標５１０にマッピングされる。この例では、カメラパラメータ９３０は既知であると仮定されるか、又は測定される。

【0048】

フレーム９１０ａ〜９１０ｄにおける投射物の観測ピクセルロケーション９４０は、未知の初期状況９２０の関数である予測ピクセルロケーション９４１と比較される。非線形最小二乗ソルバ９４３を使用して、観測ピクセルロケーション９４０と予測ピクセルロケーション９４１との間の二乗誤差９４２の和を最小にする。このソルバ９４３は、誤差９４２を最小にする初期状況９２０の値を特定する。

【0049】

この手順の結果を図１０に示す。非線形最小二乗ソルバ９４３により計算された初期状況１００１は、二乗誤差９４２を最小にする。これらの初期状況を用いて、物理モデル９２２はボールの３Ｄ軌道１００２を生成する。（視覚化のために、水平面への軌道位置の投射も示される）。カメラ位置１００３も示される。ボールの軌道がカメラに向かって傾斜することが明かである。カメラ投射変換５１２は、３Ｄ軌道１００２をフレーム９１０ｄにおける予測位置１００４等の予測ピクセルロケーション（青で示される）にマッピングし、観測ピクセルロケーションと予測ピクセルロケーションとの密な近似を示す。

【0050】

１つ又は複数の実施形態は、複数のカメラを使用し得、これらの複数のカメラからの投射物の画像を解析することにより３Ｄ投射物軌道を導出し得る。各カメラは異なる角度から投射物を見て、それ自体の画像フレームにおけるボールロケーションの測定値を提供する。例えば、１つ又は複数の「スレーブ」カメラは、１つの「マスタ」カメラ（又は別の座標系）と測定値を共有し得、マスタカメラは全ての測定値を一緒にして、ジョイント測定ベクトルを生成する。

【0051】

上述したように、各カメラは、１つのスケールファクタ（初期ボール位置へのカメラの位置に基づく）を除き、完全な３Ｄ軌道を特定することができる。仮に１つのカメラからの距離を知ることができるならば、ボールの実際速度が分かるとともに、他のカメラへの距離も分かるであろう。カメラが何台であろうとも関係なく、１つの未知のスケールファクタ（ジオメトリ全体を「ズーム」イン又は「ズーム」アウトすることができ、全ての測定値は同じままである）を有する。必要なのは、未知数を解くためのあと１つのパラメータだけである。ボールへの距離を知る必要がある単一カメラの場合とは異なり、ここでは、固定されたカメラのうちの任意の２つ間の相対距離を使用することができる。この距離は、例えば、カメラのＧＰＳ位置から導出することができ（必要なのは相対位置だけであり、相対位置は絶対位置よりもはるかに正確である）、又はユーザにより提供された任意の２つのカメラ間の測定された距離であることができる。

【0052】

マルチカメラ問題を解くために、まず、任意の測定された又はユーザ提供のカメラ位置情報（例えば、全てのカメラのＧＰＳ位置）を含むように測定ベクトルを拡張し得る。次に、ボールの初期位置及び速度、各スレーブカメラの時間バイアス、及び任意の残りのカメラの位置情報（例えば、マスタに対する各スレーブカメラの未知の向き）を含め、残りの未知数で状態ベクトルを拡張し得る。全ての状態空間パラメータの大まかな初期推定を生の測定値から計算することができる。次に、アルゴリズムは反復して、目的関数を最小にする状態ベクトルを見つける。状態空間を完全に観測可能にするために必要なのは、測定関数への１つのスケールファクタ制約だけである。

【0053】

本明細書に開示された本発明について具体的な実施形態及び用途により説明したが、特許請求の範囲に記載される本発明の範囲から逸脱せずに、当業者により多くの変更及び変形を行うことが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】