特表2023-532607仮想時間同期を使用した三次元オブジェクト追跡の前の二次元画像データのモーションベースの前処理
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-28
(54)【発明の名称】仮想時間同期を使用した三次元オブジェクト追跡の前の二次元画像データのモーションベースの前処理
(51)【国際特許分類】
G06T 7/277 20170101AFI20230721BHJP
【ＦＩ】
G06T7/277
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023510444
(86)(22)【出願日】2021-08-16
(85)【翻訳文提出日】2023-03-30
(86)【国際出願番号】 EP2021072732
(87)【国際公開番号】W WO2022034245
(87)【国際公開日】2022-02-17
(31)【優先権主張番号】63/065,872
(32)【優先日】2020-08-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522287765
【氏名又は名称】トップゴルフ スウェーデン エービー
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】フォースグレン，ダニエル
(72)【発明者】
【氏名】ノーハイム，ステイン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096CA05
5L096DA01
5L096DA02
5L096FA59
5L096FA69
5L096GA08
5L096GA30
5L096HA05
(57)【要約】
３Ｄオブジェクト追跡の前に画像データを前処理するための方法、システム、及びメディアにエンコードされたコンピュータプログラム製品を含む装置は、少なくとも１つの態様において、第１のコンピュータで、カメラから画像フレームを受信することと、第１のコンピュータによって、画像フレーム内の関心位置を識別することと、位置のシーケンスを検出することであって、シーケンスのそれぞれは、カメラからの少なくとも３つの画像フレーム内で識別された位置についてモーション基準を満たすことと、動いているボールの３Ｄトラックを構築するために使用可能な所定の時点での仮想２Ｄ位置を生成するべく、特定の画像フレームのタイムスタンプを使用して、シーケンスに関する特定の画像フレーム内の指定された２Ｄ位置間を補間することによって、出力データにおけるシーケンスを処理するために、位置のシーケンスに関する出力データを第２のコンピュータに送信することと、を含む方法を含む。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
方法であって、１つ以上の第１のコンピュータで、カメラを前記１つ以上の第１のコンピュータと結合する第１の通信チャネルを介して、前記カメラから画像フレームを受信することであって、前記第１の通信チャネルは第１のデータ帯域幅を有することと、
前記１つ以上の第１のコンピュータによって、前記画像フレーム内の関心位置を識別することと、
前記画像フレーム内で識別された位置のシーケンスを検出することであって、前記シーケンスのそれぞれは、前記カメラからの少なくとも３つの画像フレーム内で識別された位置についてモーション基準を満たすことと、
前記位置のシーケンスに関する出力データを送信することであって、前記出力データは、各シーケンスにおける各位置について、タイムスタンプを有する特定の画像フレーム内の位置の二次元位置を備えることと、
１つ以上の第２のコンピュータで、前記出力データを受信することであって、前記１つ以上の第２のコンピュータは、前記第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有する第２の通信チャネルを介して前記１つ以上の第１のコンピュータと結合されることと、
前記１つ以上の第２のコンピュータによって、所定の時点での仮想二次元位置を生成するべく、前記特定の画像フレームのタイムスタンプを使用して、前記シーケンスのうちの少なくとも１つに関する特定の画像フレーム内の指定された二次元位置間を補間することによって、前記出力データにおけるシーケンスのうちの少なくとも１つを処理することと、
前記所定の時点に関する、前記仮想二次元位置及び少なくとも１つの他のセンサから得られた位置情報を使用して、三次元空間で動いているボールの三次元トラックを構築することと、
を備える、方法。
【請求項2】
前記検出すること及び前記送信することは、前記１つ以上の第２のコンピュータによって実行され、前記画像フレーム内の識別された位置は、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項１に記載の方法。
【請求項3】
前記検出すること及び前記送信することは、前記１つ以上の第１のコンピュータによって実行され、前記出力データは、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項１に記載の方法。
【請求項4】
前記検出することは、第１の識別された関心位置のそれぞれが木の開始基準を満たす画像データ値を有していることに応答して、前記第１の識別された関心位置のそれぞれから根付き木の根ノードを確立することと、
第２の識別された位置のうち少なくともいくつかのそれぞれが、前記根付き木のうちの少なくとも１つに追加された前の画像フレーム内の識別された位置の距離閾値内にあることに応答して、第２の識別された関心位置を前記根付き木のサブノードとして追加することと、
前記シーケンスの根付き木が２よりも大きい木の深さを有しているときに、識別された位置のシーケンスのそれぞれを出力対象であるか確認することと、
を含む、前記関心位置から前記根付き木を生成することを備える、請求項１に記載の方法。
【請求項5】
前記送信することは、所与の画像フレームで識別された関心位置が、後続の画像フレーム内で識別された関心位置に基づく前記シーケンスのいずれにも含まれなくなるまで、前記所与の画像フレームと、前記シーケンスのうちの１つ以上において検出されたその関心位置のデータの出力を遅延させることを備える、請求項１に記載の方法。
【請求項6】
前記送信することは、各画像フレームについての識別が完了すると、前記画像フレームのデータを出力することと、
前記シーケンスのうちの１つ以上が出力されるべき関心位置を含んでいることを検出した後にのみ、各関心位置のデータを出力することと、
を備える、請求項１に記載の方法。
【請求項7】
前記カメラは、ローリングシャッターカメラを備え、前記出力データは、各シーケンスに含まれる各関心位置の時間オフセット値を備え、前記処理することは、前記特定の画像フレームのうちの第１の画像フレームのタイムスタンプに第１の位置の第１の時間オフセット値を追加することによって、前記特定の画像フレーム内の指定された二次元位置のうちの１つを有する第１の位置の第１の観測時間を計算することと、
前記特定の画像フレームのうちの第２の画像フレームのタイムスタンプに第２の位置の第２の時間オフセット値を追加することによって、前記特定の画像フレーム内の指定された二次元位置のうちの別の１つを有する第２の位置の第２の観測時間を計算することと、
前記第１の観測時間及び前記第２の観測時間を使用して前記補間を行うことと、
を備える、請求項１に記載の方法。
【請求項8】
前記構築することは、前記１つ以上の第２のコンピュータによって、関心オブジェクト三次元位置を生成するべく、前記仮想二次元位置を前記少なくとも１つの他のセンサから得られた位置情報と組み合わせることと、
前記１つ以上の第２のコンピュータによって、前記関心オブジェクト三次元位置を、所定の時点に関する関心オブジェクト三次元位置群内の他の関心オブジェクト三次元位置に追加することと、
前記１つ以上の第２のコンピュータによって、前記三次元空間内で動いているボールの三次元トラックを構築するべく、複数の三次元位置群にわたるモーション分析を行うことであって、前記複数の位置群のそれぞれは単一の時点に関するものであり、前記複数の位置群は、前記所定の時点に関する関心オブジェクト三次元位置群を含むことと、
前記三次元空間内で動いているボールの三次元トラックを表示するべく出力することと、
を備える、請求項１に記載の方法。
【請求項9】
前記カメラは第１のカメラであり、前記少なくとも１つの他のセンサは第２のカメラであり、前記位置情報は、前記第２のカメラから得られた複数の二次元位置を備え、前記組み合わせることは、前記第１のカメラから得られた仮想二次元位置で三次元点を生成することができないものとして、前記第２のカメラから得られた複数の二次元位置のすべてではないが少なくとも１つを除外することと、
前記第１のカメラから得られた仮想二次元位置、前記第２のカメラから得られた複数の二次元位置のうちの少なくとも１つ、前記第１のカメラ及び前記第２のカメラの固有キャリブレーションデータ、及び前記第１及び前記第２のカメラの外部キャリブレーションデータを使用して、少なくとも前記関心オブジェクト三次元位置を三角測量することと、
を備える、請求項８に記載の方法。
【請求項10】
前記除外することは、前記仮想二次元位置、前記第１のカメラの光学中心、前記第２のカメラの光学中心、前記第１のカメラと前記第２のカメラとの間のベースライン、及び前記第１及び前記第２のカメラの外部キャリブレーションデータを使用して、前記第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域を決定することと、
前記複数の二次元位置のそれぞれが、前記第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域外にあることに応答して、前記第１のカメラから得られた仮想二次元位置と前記第２のカメラから得られた複数の二次元位置のそれぞれとのペアリングを棄却することと、
を備える、請求項９に記載の方法。
【請求項11】
前記１つ以上の第１のコンピュータは、第１の処理ユニット及び少なくとも１つのさらなる処理ユニットを備え、前記第１の通信チャネルは、前記カメラを前記第１の処理ユニットと結合し、前記画像フレームを受信することは、前記第１の処理ユニットで前記画像フレームを受信することを備え、前記関心位置を識別することは、前記第１の処理ユニットで前記関心位置を識別することを備え、前記シーケンスを検出することは、前記第１の処理ユニットを前記少なくとも１つのさらなる処理ユニットと結合する第３の通信チャネルを介して前記第１の処理ユニットから前記位置を受信することに応答して、前記少なくとも１つのさらなる処理ユニットで前記シーケンスを検出することを備え、前記出力データを送信することは、前記少なくとも１つのさらなる処理ユニットから前記出力データを送信することを備え、前記第３の通信チャネルは、前記第１のデータ帯域幅よりも小さいが前記第２のデータ帯域幅よりも大きい第３のデータ帯域幅を有する、請求項１に記載の方法。
【請求項12】
システムであって、カメラと、第１のハードウェアプロセッサ、及び前記第１のハードウェアプロセッサと結合された第１のメモリを備える１つ以上の第１のコンピュータとを備える少なくとも１つのセンサであって、前記第１のメモリは、第１の動作を前記第１のハードウェアプロセッサに実行させるように構成された命令をエンコードする、少なくとも１つのセンサと、
少なくとも１つの他のセンサと、
第２のハードウェアプロセッサ、及び前記第２のハードウェアプロセッサと結合された第２のメモリを備える１つ以上の第２のコンピュータであって、前記第２のメモリは、第２の動作を前記第２のハードウェアプロセッサに実行させるように構成された命令をエンコードする、第２のコンピュータと、
を備える、システムであり、
前記第１の動作及び前記第２の動作は、請求項１～１１のいずれかに記載の、画像フレームの受信、関心位置の識別、シーケンスの検出、出力データの送信、前記出力データの受信、前記シーケンスの処理、及び三次元トラックの構築を備える、システム。
【請求項13】
前記少なくとも１つの他のセンサはレーダーデバイスを備える、請求項１２に記載のシステム。
【請求項14】
前記少なくとも１つの他のセンサは第２のカメラを備える、請求項１２に記載のシステム。
【請求項15】
請求項１～１１のいずれかに記載の動作をカメラに関連するデータ処理装置に実行させる命令をエンコードする非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、様々なセンサ技術を用いることがある様々なセンサから取得したデータを使用して、飛行中のゴルフボールなどの動いているオブジェクトを追跡することに関する。
【背景技術】
【0002】
センサでゴルフショットの飛行を追跡するためのシステム及び方法には、ローンチモニタ、フルフライト二次元（２Ｄ）追跡、及びフルフライト三次元（３Ｄ）追跡がある。よく用いられるセンサの種類は、カメラ、ドップラーレーダー、及びフェーズドアレイレーダーである。ローンチモニタ法は、ゴルフクラブのスイング中と、クラブがボールに当たった後のボールの最初の数インチの飛行中に観測できるパラメータセットを測定することに基づいている。次いで、測定されたパラメータを使用して、数学及び物理学モデリングを用いて予想されるボールの飛行を外挿する。
【0003】
対照的に、フルフライト３Ｄ追跡システムは、ローンチパラメータから外挿するのではなく、ゴルフショットのフルフライトの追跡を試みる設計によって特徴付けられる。さらに、フルフライト２Ｄ追跡システムは、特定の角度から見たゴルフショットの形状を追跡するが、３Ｄ情報は生成せず、一般に、ボールが移動した距離などの重要なパラメータを求めるために用いることはできない。カメラとドップラーレーダーデータの組み合わせを使用したフルフライト３Ｄ追跡については、米国特許第１０，５９６，４１６号に記載されている。最後に、画像フレームの取得が互いに同期されているステレオカメラを使用したフルフライト３Ｄ追跡を、状況によってはオブジェクトの３Ｄ追跡に使用できる可能性があると記載されている。
【発明の概要】
【0004】
本明細書は、少なくとも１つのカメラから取得したデータを使用して、飛行中のゴルフボールなどの動いているオブジェクトを追跡することに関係する技術を説明する。
【0005】
一般に、本明細書に記載の主題の１つ以上の態様は、１つ以上の第１のコンピュータで、カメラを１つ以上の第１のコンピュータと結合する第１の通信チャネルを介して、カメラから画像フレームを受信することであって、第１の通信チャネルは第１のデータ帯域幅を有することと、１つ以上の第１のコンピュータによって、画像フレーム内の関心位置を識別することと、画像フレーム内で識別された位置のシーケンスを検出することであって、シーケンスのそれぞれは、カメラからの少なくとも３つの画像フレーム内で識別された位置についてモーション基準を満たすことと、位置のシーケンスに関する出力データを送信することであって、出力データは、各シーケンスにおける各位置について、タイムスタンプを有する特定の画像フレーム内の位置の二次元位置を含むことと、１つ以上の第２のコンピュータで、１つ以上の第１のコンピュータを１つ以上の第２のコンピュータと結合する第２の通信チャネルを介して、１つ以上の第１のコンピュータから出力データを受信することであって、第２の通信チャネルは、第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有することと、１つ以上の第２のコンピュータによって、所定の時点での仮想二次元位置を生成するべく、特定の画像フレームのタイムスタンプを使用して、シーケンスのうちの少なくとも１つに関する特定の画像フレーム内の指定された二次元位置間を補間することによって、出力データにおけるシーケンスのうちの少なくとも１つを処理することと、所定の時点に関する仮想二次元位置及び少なくとも１つの他のセンサから得られた位置情報を使用して、三次元空間で動いているボールの三次元トラックを構築することと、を含む１つ以上の方法で具現化することができる。
【0006】
検出すること及び送信することは、１つ以上の第２のコンピュータによって実行することができ、画像フレーム内の識別された位置は、第２の通信チャネルを介して１つ以上の第１のコンピュータから１つ以上の第２のコンピュータで受信することができる。代替的に、検出すること及び送信することは、１つ以上の第１のコンピュータによって実行することができ、出力データは、第２の通信チャネルを介して１つ以上の第１のコンピュータから１つ以上の第２のコンピュータで受信することができる。
【0007】
検出することは、第１の識別された関心位置のそれぞれが木の開始基準を満たす画像データ値を有していることに応答して、第１の識別された関心位置のそれぞれから根付き木の根ノードを確立することと、第２の識別された位置のうちの少なくとも特定の１つが、根付き木のうちの少なくとも１つに追加された前の画像フレーム内の識別された位置の距離閾値内にあることに応答して、第２の識別された関心位置を根付き木のサブノードとして追加することと、シーケンスの根付き木が２よりも大きい木の深さを有しているときに、識別された位置のシーケンスのそれぞれを出力対象であるか確認することと、を含む、関心位置から根付き木を生成することを含み得る。
【0008】
送信することは、所与の画像フレームで識別された関心位置が、後続の画像フレーム内で識別された関心位置に基づくシーケンスのいずれにも含まれなくなるまで、所与の画像フレームと、シーケンスのうちの１つ以上において検出されたその関心位置のデータの出力を遅延させることを含み得る。送信することは、各画像フレームについての識別が完了すると、画像フレームのデータを出力することと、シーケンスのうちの１つ以上が出力されるべき関心位置を含んでいることを検出した後にのみ、各関心位置のデータを出力することとを含み得る。
【0009】
カメラは、ローリングシャッターカメラを含み、出力データは、各シーケンスに含まれる各関心位置の時間オフセット値を含み、処理することは、特定の画像フレームのうちの第１の画像フレームのタイムスタンプに第１の位置の第１の時間オフセット値を追加することによって、特定の画像フレーム内の指定された二次元位置のうちの１つを有する第１の位置の第１の観測時間を計算することと、特定の画像フレームのうちの第２の画像フレームのタイムスタンプに第２の位置の第２の時間オフセット値を追加することによって、特定の画像フレーム内の指定された二次元位置のうちの別の１つを有する第２の位置の第２の観測時間を計算することと、第１の観測時間及び第２の観測時間を使用して補間を行うこととを含み得る。
【0010】
構築することは、１つ以上の第２のコンピュータによって、関心オブジェクト三次元位置を生成するべく、仮想二次元位置を少なくとも１つの他のセンサから得られた位置情報と組み合わせることと、１つ以上の第２のコンピュータによって、関心オブジェクト三次元位置を、所定の時点に関する関心オブジェクト三次元位置群内の他の関心オブジェクト三次元位置に追加することと、１つ以上の第２のコンピュータによって、三次元空間内で動いているボールの三次元トラックを構築するべく、複数の三次元位置群にわたるモーション分析を行うことであって、複数の位置群のそれぞれは単一の時点に関するものであり、複数の位置群は、所定の時点に関する関心オブジェクト三次元位置群を含むことと、三次元空間内で動いているボールの三次元トラックを表示するべく出力することとを含み得る。
【0011】
カメラは第１のカメラとすることができ、少なくとも１つの他のセンサは第２のカメラとすることができ、位置情報は、第２のカメラから得られた複数の二次元位置を含み、組み合わせることは、第１のカメラから得られた仮想二次元位置で三次元点を生成することができないものとして、第２のカメラから得られた複数の二次元位置のすべてではないが少なくとも１つを除外することと、第１のカメラから得られた仮想二次元位置、第２のカメラから得られた複数の二次元位置のうちの少なくとも１つ、第１のカメラ及び第２のカメラの固有キャリブレーションデータ、及び第１及び第２のカメラの外部キャリブレーションデータを使用して、少なくとも関心オブジェクト三次元位置を三角測量することとを含み得る。
【0012】
除外することは、仮想二次元位置、第１のカメラの光学中心、第２のカメラの光学中心、第１のカメラと第２のカメラとの間のベースライン、及び第１及び第２のカメラの外部キャリブレーションデータを使用して、第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域を決定することと、複数の二次元位置のそれぞれが、第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域外にあることに応答して、第１のカメラから得られた仮想二次元位置と第２のカメラから得られた複数の二次元位置のそれぞれとのペアリングを棄却することとを含み得る。
【0013】
１つ以上の第１のコンピュータは、第１の処理ユニット及び少なくとも１つのさらなる処理ユニットを含み、第１の通信チャネルは、カメラを第１の処理ユニットと結合し、画像フレームを受信することは、第１の処理ユニットで画像フレームを受信することを含み、関心位置を識別することは、第１の処理ユニットで関心位置を識別することを含み、シーケンスを検出することは、第１の処理ユニットを少なくとも１つのさらなる処理ユニットと結合する第３の通信チャネルを介して第１の処理ユニットから位置を受信することに応答して、少なくとも１つのさらなる処理ユニットでシーケンスを検出することを含み、出力データを送信することは、少なくとも１つのさらなる処理ユニットから出力データを送信することを含み、第３の通信チャネルは、第１のデータ帯域幅よりも小さいが第２のデータ帯域幅よりも大きい第３のデータ帯域幅を有する。
【0014】
本明細書に記載の主題の１つ以上の態様は、カメラと、第１のハードウェアプロセッサ、及び第１のハードウェアプロセッサと結合された第１のメモリを含む１つ以上の第１のコンピュータとを含む少なくとも１つのセンサであって、前記第１のメモリは、本明細書に記載の方法に係る、画像フレームの受信、関心位置の識別、シーケンスの検出、及び出力データの送信を含む第１の動作を第１のハードウェアプロセッサに実行させるように構成された命令をエンコードする、少なくとも１つのセンサと、少なくとも１つの他のセンサと、第２のハードウェアプロセッサ、及び第２のハードウェアプロセッサと結合された１つ以上の第２のメモリを含む１つ以上の第２のコンピュータであって、前記第２のメモリは、本明細書に記載の方法に係る、出力データの受信、シーケンスの処理、及び三次元トラックの構築を含む第２の動作を第２のハードウェアプロセッサに実行させるように構成された命令をエンコードする、第２のコンピュータと、を含む１つ以上のシステムで具現化することができる。
【0015】
少なくとも１つの他のセンサは、レーダーデバイスを含み得る。少なくとも１つの他のセンサは、第２のカメラを含み得る。さらに、本明細書に記載の主題の１つ以上の態様は、本明細書に記載の方法に係る動作をカメラに関連するデータ処理装置に実行させる命令をエンコードする１つ以上の非一時的なコンピュータ可読媒体で具現化することができる。
【0016】
本明細書に記載の主題の種々の実施形態は、以下の利点のうちの１つ以上を実現するために実施することができる。オブジェクト検出は、生画像（圧縮されていない）データでカメラの近くで実行することができ、これにより、より高解像度のカメラの使用が容易になり、より高いフレームレート及び／又はより高いビット深度になる可能性があり、より高品質の３Ｄ追跡が可能となる。ボール位置データは、高品質のダウンストリーム３Ｄ追跡に関連する情報を失うことなく、３Ｄ追跡で使用するデータを送信するための帯域幅要件を削減するべく、効果的に圧縮することができる。オブジェクトの可能な経路は、根付き木（それぞれが根ノードを有する連結非巡回グラフ）を使用して表すことができ、これらの根付き木は、特定の深さの枝に属する木のノードのみをエクスポートすることによって、（事実上）ノイズを除去するために用いることができる。
【0017】
さらに、画像データでの２Ｄ追跡で用いられる制約は、３Ｄトラッカのコンピュータへの通信接続の帯域幅を埋め尽くすことなく、より多くの使用可能なデータを３Ｄトラッカに受け渡すために、候補ボールを識別するための事前フィルタリングの観点と、２Ｄ空間でのボールの予想される動きのモデル化の観点との両方で緩和することができる。ダウンストリーム３Ｄ追跡コンポーネントは、大量のフォールスポジティブを処理するように設計することができ、したがって、ノイズをフィルタリングにより除去して、追跡されるべき実際のオブジェクト（例えば、ゴルフボール）を検出する優れた機能を提供することができる。そのような３Ｄ追跡コンポーネントによるフォールスポジティブのフィルタリングにより、２Ｄトラッカの制約を実質的に簡素化及び緩和することができ、フォールスポジティブをほとんど生じずに依然としてすべてのトゥルーポジティブを検出するように校正される必要がある、より厳密な制約を用いる２Ｄトラッカと比べて、２Ｄトラッカの作成及び保守が容易になるという利点がもたらされる。
【0018】
さらに、いくつかの順次プロセスに３Ｄ追跡タスクを分離することで、主要なプロセス間通信が一方向に流れ、各処理ステップでダウンストリームコンポーネントに必要な帯域幅が削減され、各プロセスを個別のコンピュータで実行することができ、特にカメラ及び／又は計算リソース間の距離がかなり離れている場合に、３Ｄオブジェクトモーション追跡システムの設計及び導入に実質的な融通性がもたらされる。さらに、候補ボールを識別し、２Ｄ空間でのボールの予想される動きをモデル化するために行われる前処理により、時間及び空間における測定されたオブジェクト位置のダウンストリーム（画像取り込み後）の仮想時間同期が可能になり、したがって、データの取り込み時にカメラ画像を他のセンサと実際に同期する必要がなくなる。オリジナルの取り込みが同期していなくても、異なるセンサ（例えば、異なるカメラ）からの点間の三角測量が可能である。最後に、ローリングシャッターカメラの仮想時間同期が可能になり、ローリングシャッターカメラとグローバルシャッターカメラとの両方からのデータを使用して、第２のコンピュータで（後処理段階中に）高品質の三角測量が可能になる。
【0019】
本明細書に記載の主題の１つ以上の実施形態の詳細が、添付の図面及び以下の説明に示されている。本発明の他の特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかとなるであろう。
【0020】
様々な図面での同様の参照番号及び名称は同様の要素を示す。
【図面の簡単な説明】
【0021】
【図1A】三次元空間を通って動いているオブジェクトの二次元（２Ｄ）画像データのモーションベースの前処理に続いて、三次元（３Ｄ）オブジェクト追跡を実行するシステムの例を示す。
【図2】データ処理装置を含むデータ処理システムの概略図である。
【図3】オブジェクトを検出する、２Ｄでオブジェクトを追跡する、時間同期のために仮想２Ｄ位置を生成する、及び動いているオブジェクトの３Ｄトラックを構築するための、様々なコンピュータで実行されるプロセスの例を示す。
【図4A】モーション基準を満たしているオブジェクト位置のシーケンスを検出するプロセスの例を示す。
【図4B】モーション基準を満たしているオブジェクト位置のシーケンスを検出するプロセスの例を示す。
【図4C】モーション基準を満たしているオブジェクト位置のシーケンスを検出するプロセスの例を示す。
【図4D】モーション基準を満たしているオブジェクト位置のシーケンスを検出するプロセスの例を示す。
【図5】ローリングシャッターカメラから得られた特定の画像フレーム内の指定された２Ｄ位置を補間するプロセスの例を示す。
【図6A】動いているオブジェクト（例えば、ボール）の３Ｄトラックを構築するプロセスの例を示す。
【図6B】第２のカメラから得られた少なくとも１つの２Ｄ位置を除外するプロセスの例を示す。
【発明を実施するための形態】
【0022】
図１Ａは、３Ｄ空間１１０を通って動いているオブジェクトの二次元（２Ｄ）画像データのモーションベースの前処理に続いて、三次元（３Ｄ）オブジェクト追跡を実行するシステム１００の例を示す。追跡されるオブジェクトは、ゴルフボール、又は、打たれる、蹴られる、又は投げられる別のタイプのオブジェクト（例えば、ベースボール、サッカーボール、又はフットボール／ラグビーボール）とすることができる。一部の実装では、３Ｄ空間１１０は、ゴルフ練習場、芝生、又はオブジェクトを放つことができる別のオープンエリアである。例えば、３Ｄ空間１１０は、１つ以上の標的１１４、それぞれが少なくとも１つのティーエリア１１２（より一般的にはローンチエリア１１２）を含むゴルフベイを含む建物、及び潜在的に他のエンターテイメント並びにダイニングオプションを含む、ゴルフエンターテイメント施設の一部とすることができる。
【0023】
一部の実装では、３Ｄ空間１１０は、ゴルフコースなどのスポーツのプレイエリアであり、ローンチエリア１１２は、ゴルフコース上の特定のホールに対するゴルフティー、又はコース上のプレイ中のゴルフボールの中間着地点とすることができ、標的１１４は、ゴルフコース上の特定のホールの端にあるカップ、又はコース上のプレイ中のゴルフボールの中間着地点とすることができる。ローンチエリア１１２は、ゴルファーがゴルフボールをオープンフィールド１１０に打ち込むことができるティーラインに沿った複数の指定されたティーエリアのうちの１つである、又はローンチエリア１１２は、ゴルファーがゴルフボールをスポーツスタジアムのプレイフィールド１１０へ打つことができる、スポーツスタジアムのスタンド内の複数の指定されたティーエリアのうちの１つであるなどの他の実装も可能である。
【0024】
システム１００は、少なくとも１つのカメラ１２０及びその関連するコンピュータ１２５を含めて、２つ以上のセンサ１３０を含む。センサ１３０のうちの１つ以上は（少なくとも１つのカメラ１２０及びその関連するコンピュータ１２５を含めて）、オブジェクトの追跡のためにローンチエリア１１２の近くに配置することができるが、これはそうである必要はない。一部の実装では、１つ以上のセンサ１３０は（カメラ１２０及びコンピュータ１２５を含めて）、３Ｄ空間１１０の片側又は両側に沿って、及び／又はローンチエリア１１２とは反対の３Ｄ空間１１０の他方の側に配置することができる。例えば、ゴルフトーナメントで、ショットがグリーンに向けて打たれると仮定すると、カメラ１２０及びコンピュータ１２５は、ゴルファーを振り返って見る状態で、グリーンの後方に配置することができる。したがって、様々な実装において、センサ１３０は、センサ１３０から離れる方へ、センサ１３０に向かって、及び／又はセンサ１３０の視野を通って動くオブジェクトを観測及び追跡することができる（図中の一連の３つのドットの各セットは、センサ、コンピュータ、通信チャネルなどの１つ以上のさらなるインスタンスも含まれ得ることを示していることに留意されたい）。
【0025】
センサ１３０は、カメラ（例えば、ステレオカメラペア）、レーダーデバイス（例えば、シングルアンテナドップラーレーダーデバイス）、又は米国特許第１０，５９６，４１６号に記載のハイブリッドカメラ－レーダーセンサユニットを潜在的に含むこれらの組み合わせを含み得る。いずれにしても、センサ１３０のうちの少なくとも１つは、カメラ１２０及びその関連するコンピュータ１２５であり、通信チャネルによって接続される。図１Ｂ～１Ｄは、図１Ａのシステムで使用することができる様々なセンサ及びコンピュータの構成の例を示す。
【0026】
図１Ｂは、システムで用いられる少なくとも１つの他の通信チャネルのデータ帯域幅よりも高い第１のデータ帯域幅を有する第１の通信チャネル１５４、１５８を通じて第１のコンピュータ１５０に接続される、一対のカメラ１５２、１５６の例を示す。例えば、第１の通信チャネル１５４、１５８は、ユニバーサルシリアルバス（ＵＳＢ）３．０、Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｅＸｔｅｎｄｅｄ（ＰＣＩｘ）などの、１つ以上の高帯域幅の短距離データ通信技術を採用することができる。以下でさらに詳しく説明するように、カメラ１５２、１５６からの画像データの前処理は、１つ以上の第１のコンピュータ１５０でカメラの近くで行うことができ、第１のコンピュータ１５０での前処理によってデータ帯域幅が削減されると、この前処理の出力を、第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有する第２の通信チャネル１６２を介して送信することができる。したがって、第２の通信チャネル１６２は、銅線イーサネット又は無線データ接続（例えば、ＷｉＦｉ及び／又は１つ以上の移動電話通信技術を使用する）などの、１つ以上のより低帯域幅のより長距離のデータ通信技術を採用することができる。
【0027】
これは、より高解像度のカメラ１２０、１５２、１５６、及びこれらのカメラ１２０、１５２、１５６からの生画像（圧縮されていない）データに対して動作するコンピュータ１２５、１５０でシステムを実装できるようになるので重要である。ステレオカメラ追跡を使用するか又はハイブリッドカメラ／レーダー追跡を使用するかに関係なく、より高いフレームレートのより高解像度のカメラを使用すると、より高品質の３Ｄ追跡が可能になるが、データを効率よく効果的に処理できる場合に限られることに留意されたい。さらに、オブジェクトの追跡が、（例えば、高解像度のカメラ画像であってもオブジェクトが単一のピクセルにしか表示されない場合がある）非常に小さいオブジェクトに機能することを意図している場合、従来の損失の多いビデオ圧縮技術（ＭＰＥＧなど）を使用すると、小さいオブジェクトに関する貴重な情報が画像から除去される可能性があるため、オブジェクト検出では生画像（圧縮されていない）データにアクセスする必要があり得る。
【0028】
これらの問題に対処するために、第１のコンピュータ１５０は、第２の通信チャネル１６２を介して１つ以上の第２のコンピュータ１６０にセンサデータを送信するための帯域幅要件を削減するべく、カメラ１５２、１５６に近い画像データに前処理（オブジェクトの検出及び随意的に２Ｄ追跡を含む）を実行することができる。さらに、前処理（本明細書で説明される）により、時間及び空間で測定されたオブジェクト位置のダウンストリーム（画像取り込み後）の仮想時間同期が可能になり、１つ以上の第２の通信チャネル１６２を介して受信したデータを使用して第２のコンピュータ１６０で３Ｄ追跡を実行できるようになる。これにより、前処理後のデータ帯域幅が非常に低くなり、データを長距離にわたって送信するのが簡単になるため、ダウンストリーム処理をリモートサーバで容易に実行できるようになる。
【0029】
これは、システム１００が提供する融通性により、システム１００をセットアップするときに顕著な利点を提供できることに注目されたい。例えば、ゴルフ競技のテレビ（ＴＶ）放送の場合、システム１００を使用して、ゴルフコースの３Ｄ空間を通るゴルフボールを追跡し、ゴルフボールの飛跡をライブ送信のため又は記録のために生成されたＴＶ信号にオーバーレイすることができ、センサ１３０は、ＴＶ制作設備（３Ｄ追跡コンピュータ１６０が配置され得る場所）から１マイル以上離れて配備されてもよい。（３Ｄ追跡中に識別された）ボール位置から、ＴＶカメラによって得られたビデオデータでの対応する位置への変換（ボールの飛行経路のグラフィック表現をビデオデータにトレースオーバーレイすることを可能にする）は、公知のホモグラフィ技術を使用して行うことができることに留意されたい。別の例として、ゴルフエンターテイメント施設の場合、３Ｄ追跡コンピュータ（例えば、サーバコンピュータ１４０、１６０）を同じ施設に配置する必要はなく、このコンピュータによって実行される３Ｄ追跡は、（例えば、ゴルファーがいる物理環境のコンピュータ表現で又はコンピュータ内にのみ存在する仮想環境でゴルフボールの経路を示すなど、他のデータ又はメディアを補強するために）別のコンピュータに容易に転送（例えば、フェイルオーバー処理）することができる。
【0030】
様々なセンサ及びコンピュータの構成が可能である。図１Ｃは、各カメラ１５２、１５６が専用の第１のコンピュータ１５０Ａ、１５０Ｂを有し、コンピュータ１５０Ａ、１５０Ｂが前処理されたデータを別個の第２の通信チャネル１６２、１６４を介して第２のコンピュータ１６０にそれぞれ通信する例を示す。したがって、カメラ（又は他のセンサ技術）は、第１のコンピュータリソースを共有することができ、又は共有しなくてもよい。さらに、前処理を分割して異なるコンピュータで実行することもできる。
【0031】
図１Ｄは、カメラ１５２が第１のデータ帯域幅を有する第１の通信チャネル１５４を介してコンピュータ１５０と結合され、第１のコンピュータ１５０は第３のデータ帯域幅を有する第３の通信チャネル１６８を介して第３のコンピュータ１６６と結合され、第３のコンピュータ１６６は第２の通信チャネル１６２を介して第２のコンピュータ１６０と結合される例を示し、この場合、第２のデータ帯域幅は、第１のデータ帯域幅よりも小さく、第３のデータ帯域幅は、第１のデータ帯域幅よりも小さいが第２のデータ帯域幅よりも大きい。第１のコンピュータ１５０はオブジェクトの検出を実行し、第３のコンピュータ１６６はオブジェクトの２Ｄ追跡を実行し、第２のコンピュータ１６０はオブジェクトの仮想時間同期及び３Ｄ追跡を実行する。さらに、一部の実装では、第１のコンピュータ１５０は、２Ｄでオブジェクトの検出及び事前追跡（非常に単純な／緩い制約を用いる）を実行し、第３のコンピュータ１６６は、より徹底した２Ｄ追跡を実行し、第２のコンピュータ１６０は、オブジェクトの仮想時間同期及び３Ｄ追跡を実行する。
【0032】
本明細書の開示と一致する、他のセンサ及びコンピュータの構成も可能である。例えば、第１のコンピュータ１５０は、オブジェクトの検出を（２Ｄでの事前追跡（非常に単純な／緩い制約を用いる）ありで又はオブジェクトの２Ｄ追跡なしで）実行することができ、中間の第３のコンピュータ１６６を使用してオブジェクトの２Ｄ追跡を実行するのではなく、同じ第２のコンピュータ１６０が、オブジェクトの２Ｄ追跡（２Ｄでの事前追跡後のより徹底した２Ｄ追跡又は全２Ｄ追跡）、オブジェクトの仮想時間同期、及び３Ｄ追跡を実行することができる。逆に、一部の実装では、１つ以上のさらなる中間コンピュータを使用することができる。例えば、システムは、以下の４つの動作、すなわち、オブジェクトの検出、２Ｄ追跡、仮想時間同期、及び３Ｄ追跡のそれぞれを実行するために、４つの別個のコンピュータを使用することができる。別の例として、システムは、以下の５つの動作、すなわち、オブジェクトの検出、２Ｄでの事前追跡（非常に単純な／緩い制約を用いる）、より徹底した２Ｄ追跡、仮想時間同期、及び３Ｄ追跡のそれぞれを実行するために、５つの別個のコンピュータを使用することができる。第１の通信チャネルを通じて少なくとも１つのカメラと通信可能に結合された第１のコンピュータで動作のうちの少なくとも１つが行われ、第１の通信チャネルのデータ帯域幅よりも小さいデータ帯域幅を有する第２の通信チャネルを通じて第１のコンピュータと通信可能に結合された第２のコンピュータで動作のうちの他の少なくとも１つが行われるという条件で他の構成が可能である。
【0033】
様々なタイプのコンピュータをシステムで使用することができる。コンピュータの必須の要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスである。本明細書で用いられる場合の「コンピュータ」は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ、組み込みのプログラム可能な回路、又は専用の論理回路を含み得る。図２は、第１のコンピュータ１５０、第２のコンピュータ１６０、又は第３のコンピュータ１６６の実装を表す、データ処理装置２００を含むデータ処理システムの概略図である。データ処理装置２００は、ネットワーク２８０を通じて１つ以上のコンピュータ２９０と接続することができる。
【0034】
データ処理装置２００は、アプリケーション層とオペレーティングシステムとの間で分散させることができる、種々のソフトウェアモジュールを含み得る。これらは、本明細書で説明される、（例えば、第１のコンピュータ１５０での）オブジェクト検出プログラムとして動作するプログラム２３０、（例えば、第１のコンピュータ１５０及び／又は第３のコンピュータ１６６での）２Ｄ追跡プログラム、（例えば、第２のコンピュータ１６０での）仮想時間同期プログラム、及び／又は（例えば、第２のコンピュータ１６０での）３Ｄ追跡プログラムを含む、実行可能な及び／又は解釈可能なソフトウェアプログラム又はライブラリを含み得る。用いられるソフトウェアモジュールの数は、実装ごとに異なり得る。また、特定のケースでは、例えば、２Ｄ追跡プログラム２３０では、プログラム２３０は組み込みファームウェアで実装することができ、他のケースでは、例えば、時間同期及び３Ｄ追跡プログラム２３０では、プログラム２３０は、１つ以上のコンピュータネットワーク又は他の適切な通信ネットワークによって接続された１つ以上のデータ処理装置に分散されるソフトウェアモジュールとして実装することができる。
【0035】
データ処理装置２００は、１つ以上のハードウェアプロセッサ２１２、１つ以上のさらなるデバイス２１４、非一時的なコンピュータ可読媒体２１６、通信インターフェース２１８、及び１つ以上のユーザインターフェースデバイス２２０を含む、ハードウェアデバイス又はファームウェアデバイスを含み得る。プロセッサ２１２は、さらなるデバイス２１４のうちの１つなどの記憶装置を含み得る非一時的なコンピュータ可読媒体２１６に格納された命令などの、データ処理装置２００内で実行するための命令を処理することができる。一部の実装では、プロセッサ２１２は、シングルコア又はマルチコアプロセッサ、又は２つ以上の中央処理装置（ＣＰＵ）である。データ処理装置２００は、その通信インターフェース２１８を使用して、例えばネットワーク２８０を介して、１つ以上のコンピュータ２９０と通信する。したがって、様々な実装において、説明したプロセスは、シングルコア又はマルチコアコンピューティングマシン、及び／又はコンピュータクラスタ／クラウドなどで、並列に又は順次に実行することができる。
【0036】
ユーザインターフェースデバイス２２０の例としては、ディスプレイ、タッチスクリーンディスプレイ、スピーカ、マイクロフォン、触覚フィードバックデバイス、キーボード、及びマウスが挙げられる。さらに、ユーザインターフェースデバイスは、ローカルデバイス２２０である必要はなく、データ処理装置２００から離れている、例えば、１つ以上の通信ネットワーク２８０を介してアクセス可能なユーザインターフェースデバイス２９０であり得る。データ処理装置２００は、本明細書に記載の動作を実施する命令を、例えば、１つ以上のさらなるデバイス２１４、例えば、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、テープデバイス、及びソリッドステートメモリデバイス（例えば、ＲＡＭドライブ）のうちの１つ以上を含み得る非一時的なコンピュータ可読媒体２１６に格納することができる。さらに、本明細書に記載の動作を実施する命令は、ネットワーク２８０を介して１つ以上のコンピュータ２９０から（例えば、クラウドから）非一時的なコンピュータ可読媒体２１６にダウンロードすることができ、一部の実装では、ＲＡＭドライブは、コンピュータの電源を入れるたびに命令がダウンロードされる揮発性メモリデバイスである。
【0037】
図３は、オブジェクトを検出する、２Ｄでオブジェクトを追跡する、時間同期のために仮想２Ｄ位置を生成する、及び動いているオブジェクトの３Ｄトラックを構築するための、様々なコンピュータで実行されるプロセスの例を示す。図３のプロセスは、１つ以上の第１のコンピュータ（例えば、図１Ａ～１Ｄのコンピュータ１２５、１５０、１６６）で実行される前処理動作３１０～３３０と、１つ以上の第２のコンピュータ（例えば、図１Ａ～１Ｄのコンピュータ１４０、１６０）で実行されるさらなる処理動作３６０～３７５を含む。前処理動作は、第２のコンピュータでのさらなる処理中に測定されたオブジェクト位置の仮想時間同期を可能にする様態で（３Ｄ追跡に使用するデータを送信するための帯域幅要件を削減するべく）ボール位置データを効果的に圧縮する、オブジェクトの検出及び２Ｄ追跡を含み得る。
【0038】
したがって、３１０で、カメラを第１のコンピュータと結合する第１の通信チャネル３０５を介してカメラから（例えば、コンピュータ１２５、１５０によって）画像フレーム３００が受信され、それを通じて画像フレーム３００が受信される第１の通信チャネル３０５は第１のデータ帯域幅を有する。例えば、第１の通信チャネル３０５は、ＵＳＢ３．０、ＭＩＰＩ、又はＰＣＩｘ通信チャネル、例えば、通信チャネル１５４、１５８とすることができる。カメラとコンピュータ間の帯域幅要件は、１ギガビット／秒（Ｇｂｐｓ）をすぐに超える可能性があり、例えば、６０フレーム／秒（ＦＰＳ）及び１２ビット／ピクセルで動作する１２メガピクセル（ＭＰ）カメラは、８Ｇｂｐｓを超える帯域幅を必要とすることに留意されたい。
【0039】
さらに、そのようなカメラを複数台組み合わせて使用すると、合計１０～１００Ｇｂｐｓの帯域幅が必要になる場合があり、イーサネット通信ハードウェアにも重い負担がかかる。さらに、ステレオセットアップ（例えば、図１Ｂのステレオカメラ１５２、１５６）では、カメラ間、又はカメラとサーバルーム又はクラウドベースのコンピューティングなどのコンピュータインフラストラクチャの間にかなりの距離が必要になることがあり、長いケーブル及び／又はインターネット経由の通信が必要とされるときに高帯域幅通信がより一層困難になる。前述のように、ＭＰＥＧ技術などの従来のビデオ圧縮技術は、特に、小さなオブジェクト（例えば、遠くのゴルフボール）を追跡するときに、追跡するオブジェクトが従来のビデオ圧縮によって除去されるリスクがあるため、帯域幅を削減する適切な方法ではない場合がある。したがって、（１つ以上のカメラからのビデオフレームのために）高帯域幅の通信チャネル３０５を使用することで、高解像度の、高いビット深度の、及び／又は圧縮されていない画像データが、３１０でオブジェクト検出プロセスへの入力として受信される。
【0040】
３１５で、受信した画像フレーム内の関心位置が（例えば、コンピュータ１２５、１５０によって）識別される。例えば、これは、前の画像フレームから閾値量を超えて変化する１つ以上の画像データ値を有する画像フレーム内の各位置を識別するために、画像差分技術を使用することを含み得る。さらに、他のアプローチも可能である。例えば、このプロセスでは、特定の輝度又は色（例えば、ゴルフボールの場合は白）のピクセルのグループを探す、追跡するオブジェクトの形状と一致する形状（例えば、丸いゴルフボールを検出するために円形又は少なくとも楕円形）を探す、及び／又は画像内のオブジェクト（例えば、ゴルフボール）を探すためにテンプレートマッチングを使用することができる。
【0041】
さらに、１つの画像フレームから別の画像フレームへの閾値量を超えて変化する１つ以上の画像データ値を有する位置を探すことは、閾値量を超えて変化するピクセル又はピクセルのグループを検出するべく画像差分を適用することを含み得る。例えば、画像差分を適用することで、各画像で特定の閾値を超えて変化するピクセルを検出することができ、例えば、公知の連結成分ラベリング（ＣＣＬ）及び／又は連結成分分析（ＣＣＡ）技術を用いることで、互いに隣接するそのような変化するピクセルのグループを検出することができる。オブジェクト検出基準を満たしているそのようなピクセルのグループ（及び場合によっては単一のピクセル）は、「ブロブ」と呼ばれ、そのような各ブロブの位置及びサイズはリストに格納することができ、各画像内のすべてのブロブのリストを２Ｄ追跡コンポーネントに送信することができる。画像をオブジェクト位置（又はブロブ）のリストに変えることには帯域幅削減効果がある。場合によっては、この動作の帯域幅削減は１０：１以上であり得る。しかし、本明細書で説明されるように、さらなる帯域幅削減を達成することができ、これは、小さなオブジェクトを追跡するときに大きな利点をもたらすことができる。
【0042】
小さなオブジェクトを追跡する場合、オブジェクトの特徴に基づいて小さなオブジェクト（場合によっては画像内の単一のピクセル）を区別するのは難しいため、誤検出に伴う大きな問題がある。したがって、３１５での（カメラ画像の特定の位置にある関心オブジェクトを検出するための）識別は、多くのフォールスポジティブを許容しながらゼロのフォールスネガティブを支持するように低い閾値で実施することができる。この手法は、オブジェクト追跡におけるフォールスポジティブは支持されない場合が多く、したがって、フォールスポジティブとフォールスネガティブの両方を最小にすることの間で競合を設定するという直観に、一般に反するものであることを理解されたい。しかし、オブジェクトを追跡するための現在の手法は、ダウンストリーム処理が大量のフォールスポジティブを処理するように設計されているため、フォールスポジティブに容易に適応する。それでも、オブジェクトの検出は多くのフォールスポジティブを許容するように設計されているため、画像データの単なるノイズである多くの「オブジェクト」を含む、各画像フレーム３００内のより多くのオブジェクトが３１５で識別され、したがって、画像をオブジェクトのリストに変えることによる帯域幅削減効果が部分的に相殺される。
【0043】
３２０で、画像フレーム内で識別された位置のシーケンスが（例えば、コンピュータ１２５、１５０、１６０、１６６によって）検出される。図３（及び他の図面）に示されているプロセスは、理解を容易にするために順次の動作として提示されているが、実際には、例えば、ハードウェア及び／又はオペレーティングシステムベースのマルチタスクを使用して及び／又はパイプライン技術を使用して、動作を並列に又は同時に実行することができることに留意されたい。同時実行のためにパイプラインを用いることができ、例えば、３１５でのオブジェクトの識別は、ダウンストリームコンポーネントが最初に終了するのを待つ必要なしに、フレームｎを２Ｄ追跡３２０に受け渡した直後に、入手可能であれば、フレームｎ＋１の処理を開始することができる。したがって、図面に関連して本明細書で提示される本開示は、それぞれのコンピュータで実行されるプロセスが順次プロセスとして説明される場合を除いて、すなわち、各オブジェクト識別及び２Ｄ追跡処理ステップがダウンストリームコンポーネントに送信されるデータの帯域幅を削減するため、オブジェクト識別プロセス、２Ｄ追跡プロセス、及び仮想時間同期及び３Ｄ追跡プロセスが順に行われる場合を除いて、図面に示されるように動作を順次に実行することに限定されない。
【0044】
３２０で検出された各シーケンスは、カメラからの少なくとも３つの画像フレーム内の識別された位置についてモーション基準を満たしている。一部の実装では、基準は、３つよりも多いフレームに関連して測定される、及び／又は、１つ以上の基準（例えば、後述する木の開始基準）が用いられる。一般に、２Ｄ追跡は、重力、はね返り、風、空気抵抗、又は摩擦以外の力の影響を受けない、ニュートン運動でのオブジェクトの動きと一致するオブジェクトの動きを示す、３つ以上のフレームにわたるオブジェクト（又はブロブ）のシーケンスを検出することを試みる。
【0045】
このオブジェクトの動きについての基準は、事前定義された値の範囲内にある各次元（画像のｘ及びｙ）の変位、速度、及び／又は加速度を含むように定義することができる。この値の範囲は、２Ｄカメラによって描写される動いているオブジェクト（例えば、飛んでいるゴルフボール）の２Ｄモーション及び加速度が指定された境界内にうまく収まり、一方、ぎくしゃくした動き（追跡するオブジェクトをはね返す既知のオブジェクトがない場合）は棄却されるように設定される。さらに、より大きなシステムは、追跡する実際のオブジェクト、例えば、ゴルフショットを構成するもののより細かいフィルタリングを行うことができる二次追跡ステップをダウンストリーム処理で採用するため、３２０での検出は、ティーエリア１１２から打たれた後のゴルフボールの動きなどの実際のオブジェクトの動きのみを容認する完璧な（又はさらには完璧に近い）フィルタである必要はない。
【0046】
むしろ、３２０で行われるフィルタリングは、意図的に完璧には及ばないようにされ、これにより、動いているオブジェクト以外のオブジェクトが検出されたシーケンスに含まれ、これは、３１５で関心オブジェクトとして誤って識別され、シーケンスを生成するために３２０で誤って検出されるノイズのシーケンスを含む可能性がある。言い換えれば、３２０での検出は、フォールスネガティブが最小になるようにフォールスポジティブを増加させる緩いフィルタを実装することができ、例えば、動いているすべての又はほぼすべてのゴルフボールが、３２０で有効なシーケンスを生成するものとして容認される。
【0047】
このより緩い（ｂｅｎｅｆｉｔ ｏｆ ｄｏｕｂｔ）手法は、所望のオブジェクト（例えば、ゴルフボール）と所望ではない（例えば、ゴルフボールではない）オブジェクトとを完璧に区別する必要はないことを踏まえて、はるかにより単純な追跡アルゴリズムを３２０で使用できることを意味する。追跡を定義するルールのセットを最小に減らすことができ、２Ｄ追跡によって生じた誤り（ゴルフボール以外のものを通過させるなど）を、ダウンストリームコンポーネント及び処理でフィルタリングにより除外することができる。それぞれ１つの開始点及び１つの終了点を有する軌跡経路全体を出力する代わりに、３２０で検出されたシーケンスは、各頂点（木のノード）が（ｘ、ｙ、及び時間ｔで）観測されたブロブであり、各エッジはそのモーションが追跡されているオブジェクトの位置間の可能な動きである「根付き木」によって表すことができる。そのような各枝は、図４Ａに関連してさらに詳細に説明するように、木の深さの合計などのいくつかのメタデータを有することもできる。
【0048】
しかしながら、このより緩い（ｂｅｎｅｆｉｔ ｏｆ ｄｏｕｂｔ／低い閾値）手法でさえも、オブジェクトの検出ミスが発生する可能性は依然としてある。したがって、画像データにあるはずなのに識別されていないオブジェクトを考慮に入れるためにダミー観測を用いることができる。一部の実装では、経路を拡張できる十分に良いブロブが検出されない場合、２Ｄトラッカは、予測位置でダミー観測を追加することができる。ダミー観測は、大きなペナルティスコアで実施することができ、一部の実装では、グラフが既に特定の深さに達していない限り、ダミー観測は許可されない。枝が有することができるペナルティの大きさには限りがあるため、実際には、経路が有し得るダミー観測の数には限りがある。
【0049】
前述のように、３２０での検出は、関心位置から根付き木を生成することを含み、各根付き木は、木の根である根ノードを有する連結非巡回グラフであり、連結非巡回グラフのすべてのエッジは、根から直接又は間接的に生じる。図４Ａは、根付き木を生成することによってモーション基準を満たしているオブジェクト位置のシーケンスを検出するプロセスの例を示す。４００で、画像フレームでの識別された位置の次のセットが処理のために得られ、４０５で、現在のフレームでのセットに関心位置が残っていれば、この処理は続く。例えば、ブロブのフレームを処理するとき、新しいフレーム内のすべてのブロブを前のフレームの処理中に追加されたすべての木ノードと照合して、この枝での点がモーション基準によって定義される所望のモーションにどの程度似ているかに応じて、プロブがその経路の続きである可能性があるかどうかを確認することができる。
【0050】
４１０で、次の関心位置がセットから検索され、４１５で、この関心位置が木の開始基準を満たしているかどうかを判定するべくチェックが行われる。木の開始基準を満たしている場合、４２０で、この関心位置を使用して新しい木の根ノードが確立される。例えば、関心位置での画像データ値が最小オブジェクトサイズよりも大きい場合、これは、ボールがカメラの近くにあり、新しい木が確立されるべきであることを示すために用いることができる。図４Ｂは、この視覚的な例を示しており、６つのブロブ４６０が観測されているが、これらのブロブ４６０のうちの４つだけが、新しい根ノード４６５を確立するために用いるのに十分な大きさである。１つのブロブ観測をいくつかの木に追加することができ、理論的には、観測されたすべてのブロブが新しいオブジェクト観測の開始点になる可能性があることに留意されたい。これは、ノイズのある環境では組合せ爆発につながることがあり、したがって、一部の実装では、新しい木を確立する前に特定のさらなる制約（最小ブロブサイズ制約など）が課される。
【0051】
この例では、特定の最小サイズよりも大きいすべてのブロブは、深さ０の新しい木に昇格され、最小サイズ制限は、カメラの解像度及び入ってくるビデオのノイズレベルに基づいて設定することができる。例えば、新しい木を確立するには、ブロブが（ただ単一のピクセルではなく）少なくとも２つのピクセルでなければならないという基準を設定することができる。真にランダムなノイズはピクセルに個々に影響を及ぼし、画像内により大きなクラスタを生じることはほとんどないことに留意されたい。組合せ爆発を回避する他の手法も可能である。例えば、ブロブ生成（すなわち、位置識別）プロセスでのノイズ閾値を適応的に調整することができる。
【0052】
さらに、経路をエクスポートするために必要な最小の木の深さを増加させることができ、これにより、ランダムノイズシーケンスが偶然により長いシーケンスを構築することはめったにないため、エクスポートされるデータの量が確実に制限される。制約が非常に寛大であるため、深さ０及び深さ１のグラフが多数生成されるが、予測がより良好であるため、これらのグラフのほとんどは深さ２に到達することはなく、深さ３に達するグラフはさらに少なくなる。したがって、木又は枝は、それらに追加することができるノードがなくなると破棄されるため、統計が、本開示のシステム及び技術の利益のために機能する。
【0053】
さらに、カメラが標的の近くに存在し、オブジェクトのローンチエリアを振り返って見る場合、すなわち、到来するオブジェクトを検出するときに、画像の様々な部分に様々なサイズ閾値を適用することができる。例えば、遠くのボールがスポットされる部分（例えば、長方形）に１ピクセルの最小サイズを用いることができ、他の場所に２ピクセルの最小サイズを用いることができる。したがって、可能なオブジェクト経路の木を生成するために用いられる基準を、ローンチエリアに対するカメラの位置に基づいて決定することができる。
【0054】
例えば、ある程度平らな地面を仮定することができ、カメラの位置及び照準が既知である場合、地面の「地平線」の下でのすべてのボールの検出は、ボールが到達できる最大距離（したがって、最小サイズ）の推定に対して「健全性」をチェックすることができる。ボール検出を通過するカメラからの光線は、ある距離Ｄで地面と交わる。ボールは、距離Ｄ又はそれより近い距離になければならず、そうでなければそれは地下になる。「地平線」よりも上でのランダムなボール検出では、地面との交わりが存在しないため、単純な距離のヒューリスティックは存在しない。しかしながら、３Ｄ空間、例えば、プレイフィールドの制限に関する知識がある場合、オブジェクトが３Ｄの関心領域内にあるはずであることを前提として、特定の一般的な及び／又は角度に依存する最大距離／最小オブジェクトサイズ制約を用いることができる。
【0055】
図４Ａに戻ると、４２５で、現在の関心位置が前の画像フレーム内の識別された位置について確立された根ノードの距離閾値内にあるかどうかを判定するべくチェックが行われる。距離閾値内にある場合、４３０で、関心位置が、第１の深さのサブノードとしてこの木の、木の根ノードの下に追加される。木が１つの頂点（深さ＝０）のみで構成されている場合、その経路の速度を推定する方法はまだなく、したがって、頂点から妥当な距離内にある任意のブロブと一致させる必要があることに留意されたい。図４Ｃは、図４Ｂからの続きで、この視覚的な例を示す。観測された４つのブロブ４７０のうち、前のフレームからの根ノード４７４の距離制限４７２内にあるのは２つのブロブのみである。したがって、ブロブ４７０のうちの２つのみが、第１の深さのサブノード４７６として根付き木に追加される。一部の実装では、距離制限は、到来センサの解像度及びフレームレート、並びに、追跡されているオブジェクトの予想される最大速度（カメラの照準方向に垂直）に依存する。ゴルフボールの場合のように、追跡されているオブジェクトのサイズが事前にわかっている場合、これは、距離制限／閾値４７２を決定するときに考慮に入れることができる。さらに、大きなブロブは小さなブロブよりもカメラに近いと仮定することができ、これは、（追跡されているオブジェクトの予想される方向に対するカメラの位置に応じて、前のフレーム又は現在のフレームのいずれかにおいて）大きなブロブが存在するときにフレーム間の大きな動きを許容できることを意味する。
【0056】
しかしながら、ブロブを１つ以上の深さにある頂点と照合するときに、経路の次のポイントがどこにあるべきかを予測することができる。一部の実装では、速度が最後のフレームから同じであると仮定して、次のブロブの予想される領域が計算される。図４Ｄは、この視覚的な例を示す。根ノード４８０の位置及び第１の深さのサブノード４８２の位置に加えて、カメラの既知のフレームレートに基づいて、予測位置４８４が計算される。次いで、木に追加するブロブを探す際に使用するための予測位置４８４の周りのサーチエリア４８６（又は領域）が決定される。距離制限／閾値４７２を決定するために上で提供された詳細と同様に、予測位置４８４の周りのエリア／領域４８６のサイズは、カメラの解像度と、追跡されているオブジェクトの予想される最大速度（カメラの照準方向に垂直）に基づいて決定することができ、既知のオブジェクトのサイズ及び異なる画像フレーム内のブロブのサイズに従って調整される可能性がある。さらに、一部の実装では、予測を作成する際に、例えばグラフの次数が十分に大きいときに、カルマンフィルタを使用することができる。
【0057】
予測位置に十分に近い任意のブロブを、頂点に変換して木に追加することができる。したがって、図４Ｄに示すように、１つのブロブが予測位置４８４の領域４８６内にあるため、このブロブが新しいサブノード４８８として追加される。さらに、一部の実装では、木の枝にペナルティを累積することができ、ペナルティは、枝をランク付けするのに用いられるスコアに加算され、これは、エクスポートするのに最良の枝を決定する一助となり得る。さらに、一部の実装では、ブロブの位置が予想される座標から逸脱しているほど、この枝に与えられるペナルティをより高くすることができる。
【0058】
一部の実装では、ペナルティは、木の枝に累積され、許されるペナルティの大きさを制限するため、及び、いつ枝を破棄するかを決定するために用いることができる。前者のケースでは、枝が既に高いペナルティを有している場合、延長された枝が制限を超えるような新しいノードを追加することは許されない。予測位置と実際の位置との不一致からペナルティが計算されるとき、これは基本的に、加速度が制限内にあることを確認する方法である。制限内にない場合、ペナルティは高すぎるものになる。後者のケースでは、最後の３つのブロブが共通しているいくつかの枝が存在するとき、最も深い、最低のペナルティを有する枝を保持することができ、他の枝を破棄することができる。このタイプのペナルティに基づく仮説追跡は、２Ｄ追跡に加えて３Ｄ追跡に適用できることに注目されたい。
【0059】
図４Ａに戻ると、４３５で、現在の関心位置が、確立された木の親サブノードに用いられる位置の推定速度を使用して決定された領域内にあるかどうかを判定するべくチェックが行われる。領域内にある場合、図４Ｄに関連して上述したように、４４０で、関心位置が、第２の深さの又はより深いサブノードとして、この木の親サブノードの下に追加される。さらに、一部の実装では、木の深さが増加するとき、より良い予測を得るためにより洗練された予測アルゴリズムを使用することができる。枝の最新のノードを二次又は三次多項式関数に当てはめることにより、次の点がどこにあるかの良好な予測が得られ、加速度の明らかに妥当でない変化がある経路を破棄することができる。さらに、一部の実装では、観測値をカルマンフィルタに提供することができ、カルマンフィルタのモデルを使用して新しい予測を生成することができる。
【0060】
さらに、単一の画像フレーム内の同じ関心位置を、画像フレームを通して潜在的なオブジェクト経路の追跡を維持している２つ以上の根付き木に、（第１の深さの又はより深い）それぞれのサブノードとして追加することができ、新しい木の新しい根ノードを確立するために用いられる可能性があることに留意されたい。さらに、単一の画像フレーム内の同じ関心位置を、木のそれぞれの親ノードに戻る１つよりも多いリンクを有する木のサブノードとして追加することができ、これは、どのリンクが根ノードまでたどられるかに応じて異なる深さを有する同じサブノードを含む。
【0061】
したがって、多くの偽経路が生成され、ダウンストリーム処理でこれらの偽経路を除外できるにもかかわらず、潜在的な経路がいつ出力されるかについてはまだ制限があるべきである。一部の実装では、４４５で、シーケンスを表す根付き木が所定の木の深さを超えるまで、シーケンスは出力対象とみなされない。したがって、識別された位置のシーケンスは、４４５での、シーケンスの木の深さが所与の実装で指定される或いは１つ以上の因子に基づいてその場で決定される所定の木の深さを超えていることに基づいて、４５０でシーケンスが出力対象であるか確認されるまで出力されない。
【0062】
４５０で、所定の木の深さを有している根付き木の部分のみを、識別された位置のシーケンスとして出力対象であるか確認する必要があることに留意されたい。これは、根付き木に偽経路を生み出すノイズが、第１のコンピュータでの前処理段階の２Ｄ追跡から第２のコンピュータでの後処理段階に伝播するのを防ぐ一助となる。また、最小の木の深さ閾値は、一般に、オブジェクトの３Ｄトラックを生成するための環境及び許容可能な遅延に依存する。一部の実装では、シーケンスの根付き木は、４５０でシーケンスが出力対象であるか確認される前に、２よりも大きい木の深さを有していなければならない。一部の実装では、木の深さは、４５０でシーケンスが出力対象であるか確認される前に、３、４、５、６、又は７よりも大きくなければならない。
【0063】
例えば、一部の実装では、木の頂点（ブロブ／位置に対応する）は、木の特定の深さ（Ｄ）にある場合、又は子ノードが木の特定の深さ（Ｄ）にあるため、エクスポートされる子ノードを有する場合にのみエクスポートされる。Ｄ＝５の頂点は、それ自体と根との間に５つのエッジを有する。これは、ブロブが十分に長い枝の一部となるかどうかを事前に知ることはできないことが多いため、出力が同じフレーム数Ｄだけ遅延する可能性があることを意味する。説明したフィルタリング（木ノードのエクスポートを制限することによる）は、エクスポートされるブロブのみが、可能な経路を構成するブロブであるため、オブジェクト候補を通信するのに必要な帯域幅を劇的に削減することがわかる。以下の表は、必要な最小枝深さに基づくゴルフ用途での帯域幅の削減の例を示す。
【表1】
【0064】
これから明らかなように、すべての関心あるブロブ／位置の圧倒的大多数は、経路によって連結されていないか又は十分な深さの経路によって連結されていないため、ほとんどの関心あるブロブ／位置は、前処理段階で行われる効果的なフィルタリングによって棄却される。図３に戻ると、３２５で、シーケンスのデータは出力される準備ができているかどうか、すなわち、前述のように、そのシーケンスのノードは出力される準備ができている、所定の木の深さよりも大きい木の深さを有している少なくとも１つのノードを含む木のノードの任意のシーケンスであるかどうかを判定するべくチェックが行われる。このような場合、３３０で、位置の１つ以上のシーケンスに関する出力データが、（例えば、コンピュータ１２５、１５０、１６６によって）１つ以上の第２のコンピュータ（例えば、コンピュータ１４０、１６０）に送信される。しかしながら、一部の実装では、３１５で識別された位置が、第１のコンピュータから（例えば、コンピュータ１２５、１５０によって）第２のコンピュータ（例えば、コンピュータ１４０、１６０、１６６）に送信され、そこで、３２０で、画像フレーム内で識別された位置のシーケンスが検出され、次いで、シーケンスデータが同じコンピュータ上又は異なるコンピュータ上の別のプロセスに出力される。いずれにしても、シーケンスに関する出力データは、少なくとも、各シーケンスにおける各位置について、タイムスタンプを有する特定の画像フレーム内の位置の二次元位置を含み、これは第２のコンピュータでの仮想同期に必要とされる。
【0065】
３Ｄ追跡の基本の１つは三角測量である。しかしながら、２台のカメラで見たオブジェクトの位置を三角測量するには、同じ時間インスタンスからの観測値が手元にある必要がある。これを実現する一般的な方法は、（例えば、ケーブルを通じて送信される）すべてのカメラに共通の同期トリガ信号を用いることである。しかし、これはカメラの取り込みフレームレートが同じ場合にのみ機能する。一部のセットアップでは、２台のカメラが同期している（画像の取り込みをタンデムでトリガする）ことを保証することは困難又は不可能であり、したがって、異なるカメラからの観測の三角測量は困難又は不可能になる。この問題を解決するために、データの取り込み時にカメラ画像を他のセンサと実際に同期しようとするのではなく、タイムスタンプ情報（２Ｄ経路によって表される動きに関する情報と組み合わせて）が、第２のコンピュータでの仮想同期のために用いられる。
【0066】
さらに、本明細書に記載のシステム及び技術は、グローバルシャッターカメラとローリングシャッターカメラとの両方で使用可能である。ローリングシャッターは、カメラ画像内の各行の取り込みのタイミングが異なることを意味する。そのため、オブジェクトがセンサによってイメージングされるとき、オブジェクトの位置を決定することができるが、測定時間は、画像内のオブジェクトが検出された場所に依存する。一部の実装では、画像の一番上の行と画像の一番下の行との間におよそ２０ミリ秒の時間差がある可能性がある。これは、両方のカメラでの同時測定の要件を満たさない可能性があるため、三角測量にも問題を生じる。この問題を解決するために、フレームのタイムスタンプに加えて、フレーム内の「位置」の特定の時間オフセットの相対時間を考慮することによって、ローリングシャッター情報も考慮に入れられ、これにより、ローリングシャッターカメラから測定されたオブジェクト位置を、後処理段階中に第２のコンピュータでの高品質の三角測量にも使用できるようになる。グローバルシャッター取り込みの場合、このオフセットは常にゼロである。
【0067】
表１に関連して前述したように、トラックが最小経路長（最小の木の深さ）要件を満たすには、データのいくつかのフレームが必要になる場合があるため、すべてのブロブについて遅延を導入すること、又は認定済みのブロブをそれらが認識されるとすぐに通信することを可能にするより複雑なプロトコルを実装することの間にはトレードオフが存在する。したがって、一部の実装では、３３０での送信は、フレームとブロブデータの両方の遅延ディスパッチを含み、一部の実装では、３３０での送信は、フレーム及びブロブデータの増分ディスパッチを含む。
【0068】
遅延ディスパッチの場合、３３０での送信は、所与の画像フレームで識別された関心位置が、後続の画像フレーム内で識別された関心位置に基づくシーケンスのいずれにも含まれなくなるまで、所与の画像フレームと、シーケンスのうちの１つ以上において検出されたその関心位置のデータの出力を遅延させることを含む。したがって、処理された後続のフレームの数が、現在のフレーム内のそれ以上のブロブについて、事前定義された木の深さに到達することを除外するときに、フレームのノードのエクスポートを実行することができる。言い換えれば、フレーム内で識別されたブロブが、必要な最小の木の深さを有している根付き木の経路にそれ以上含まれないことが判明するまで、フレームの送信は遅延される。
【0069】
さらに、一部の実装では、動的な最小の木の深さを用いることができる。最小の木の深さは、経路がほとんどないときのレイテンシを最小にするために最初に低く設定し、次いで、負荷（単位時間あたりの認定された経路の合計出力）が特定の最大負荷閾値を超える場合に動的に増加させることができる。これは、現在の入力データに応じて処理を調整することでパフォーマンスを向上させる一種のスロットリング効果を提供することができる。
【0070】
さらに、フレームデータ構造は、このフレーム内で検出され、フィルタ基準をパスした、ブロブのリストを含み得る。例えば、フレームデータ構造は、以下の表２に示されているデータフィールドを含み得る。
さらに、フレームデータ構造に含まれるブロブデータ構造は、以下の表３に示されているデータフィールドを含み得る。
これらのデータ構造は、以下のように、ＪＳＯＮフォーマットなどの種々のフォーマットでエンコードすることができることに留意されたい：
帯域幅に制約のある送信では、Ｇｏｏｇｌｅのプロトコルバッファフォーマットなどのよりコンパクトなエンコーディングを使用することができる。
【表2】
【表3】
【表4】
【0071】
フィルタリングされていないブロブがノードの処理間で受け渡されるとき、例えば、ブロブの検出がエッジデバイスで行われ、事前追跡及び／又は追跡が異なるコンピュータで行われる場合、異なるフレームのブロブ間の関係性に関する情報がまったくないため、簡易化されたフォーマットを使用することができる。例えば、フレームデータ構造は、以下の表４に示されているデータフィールドを含み得る。
さらに、フレームデータ構造に含まれるＳｉｍｐｌｅＢｌｏｂデータ構造は、以下の表５に示されているデータフィールドを含み得る。
【表5】
【表6】
【0072】
増分フレームディスパッチの場合、３３０での送信は、３１５での各画像フレームについての識別が完了すると、画像フレームのデータを出力することと、３２５でシーケンスのうちの１つ以上が出力されるべき関心位置を含んでいることを検出した後にのみ、３３０で各関心位置のデータを出力することを含む。前述のように、ノードをエクスポートするには、シーケンスは必要な木の深さを有している必要があり、木が閾値深さに達するとき、（いくつかの他の枝によって）以前にエクスポートされていない（閾値深さを超えている木ノードの）すべての親ノードが、さかのぼって３３０で出力される。これは、低レイテンシが必要とされる場合に用いることができる、データを送信するためのより複雑な手法である。２Ｄ追跡は、情報が利用可能になるとすぐに、処理されているフレームに関する情報と、ボール候補のフィルタリングをパスしたすべてのブロブ（すなわち、３１５で識別されたすべての関心位置）のリストと共に、連続ストリームを出力する。
【0073】
例えば、新しいフレームが処理されるとき、以下の表６に示されているデータフィールドを有するフレームデータ構造を使用して、フレームの情報を送信することができる。
さらに、ブロブデータ構造は、以下の表７に示されているデータフィールドを含み得る。
さらに、ブロブ間の各連結は、以下の表８に示されているデータフィールドを含む連結データ構造を使用して表すことができる。
上記のデータ構造を使用して生成されたレコードを、情報が確立されるとすぐに、（第１のコンピュータから第２のコンピュータへの）ストリームに入れることができる（フレーム及びブロブデータは、３１５での識別中及び識別後に３３０で送信することができ、ブロブ連結データは、これらのブロブの連結によって生成されたシーケンスが３２０で検出され、３２５で出力対象であるか確認された後に、３３０で送信することができる）。レコードによって参照されるすべてのブロブ及びフレームが、それを参照するレコードの前にストリームに入れられることが保証される。しかしながら、コンシューマがストリームの途中で読み出しを始めた場合、オリジナルの宣言を見落としている可能性があり、したがって、この問題は第２のコンピュータで対処されるべきである。
【表7】
【表8】
【表9】
【0074】
３６０で、使用されるデータ構造又は出力タイミングに関係なく、第１のコンピュータを第２のコンピュータと結合する第２の通信チャネル３５５を介して、１つ以上の第１のコンピュータから（例えば、コンピュータ１２５、１５０から）出力データ３５０が（例えば、コンピュータ１４０、１６０によって）受信され、それを通じて出力データ３５０が受信される第２の通信チャネル３５５は、第１の通信チャネル３０５の第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有する。例えば、第２の通信チャネル３５５は、銅線イーサネット又は無線通信チャネル、例えば、通信チャネル１６２、１６４とすることができる。さらに、前処理の一部（例えば、３２０での検出）がさらなる処理動作３６０～３７５と同じ第２のコンピュータで（例えば、コンピュータ１４０、１６０によって）実行される実装では、受信されるデータは、３１５で識別された位置及び関連するタイムスタンプ情報を含む。
【0075】
いずれにしても、３６５でのチェックが、シーケンスは処理される準備ができていることを示すまで、３６０でデータは受信され続ける。さらに、前述のように、例えば、ハードウェア及び／又はオペレーティングシステムベースのマルチタスクを使用して及び／又はパイプライン技術を使用して、例えば３７５での構築中に、動作を並列に又は同時に実行することができる。したがって、３７０での１つ以上のシーケンスの処理が並列に又は同時に行われている間、３６０での受信を続けることができ、各コンポーネントは、ダウンストリームコンポーネントが最初に終了するのを待つ必要なしに、フレームｎをダウンストリームコンポーネントに受け渡した直後に、入手可能であれば、フレームｎ＋１の処理を開始することができ、例えば、３Ｄトラッカが関心位置の処理を完了していなくても、次のフレームのステレオ三角測量を実行することができる。
【0076】
３７０で、所定の時点での仮想２Ｄ位置を生成するべく、特定の画像フレームのタイムスタンプを使用して、シーケンスに関する特定の画像フレーム内の指定された２Ｄ位置間を補間することによって、出力データにおけるシーケンス３５０が、１つ以上の第２のコンピュータによって（例えば、コンピュータ１４０、１６０によって）処理される。出力データ３５０における各関心位置（例えば、各フレーム内で検出された各ブロブ）についてのレコードは、フレームのタイムスタンプと、２Ｄ追跡コンポーネントによってこの関心位置に連結された前の１つ以上の関心位置の指示（例えば、各ブロブは、それが属する前の１つ以上のブロブへのポインタで記述される）との両方を含む。したがって、このデータ３５０から、各関心位置／ブロブの時間、位置、及び移動方向、及び速度を決定することが可能である。
【0077】
したがって、前のタイムスタンプを有する少なくとも１つの関心位置／ブロブと、後のタイムスタンプを有する少なくとも１つの関心位置／ブロブが木に存在する限り、データ３５０は、補間を使用して経路上の任意の所与の時点での仮想「中間」位置／ブロブを生成することを可能にする。さらに、一部の実装では、所定の時点は、３Ｄ追跡サーバの事前定義された一定のフレームレートの複数の時点のうちの１つである。例えば、３Ｄ追跡サーバコンピュータ１４０、１６０は、事前定義された一定のフレームレートで動作し、補間を使用してこれらの時点でのすべてのカメラのブロブの仮想スナップショットを生成することができる。ブロブ座標は、ここではすべて同じ時点を表しているため、オリジナルの取り込みが同期していなくても点間の三角測量が可能である。さらに、一部の実装では、所定の時点は、別のカメラセンサ又はレーダーセンサなどの別のセンサによって指定された時間である。
【0078】
さらに、前述のように、カメラはローリングシャッターカメラとすることができ、その場合、出力データ３５０は、各シーケンスに含まれる各関心位置の時間オフセット値を含み得る。このデータが手元にあれば、３７０での処理は、ローリングシャッターカメラとの仮想時間同期のためにも機能する。図５は、ローリングシャッターカメラから得られた特定の画像フレーム内の指定された２Ｄ位置間を補間するプロセスの例を示す。
【0079】
５００で、特定の画像フレームのうちの第１の画像フレームのタイムスタンプに第１の位置の第１の時間オフセット値を追加することによって、特定の画像フレーム内の指定された２Ｄ位置のうちの１つを有する第１の位置の第１の観測時間が計算される。例えば、第１のフレーム内の第１のブロブの時間オフセット（ｄｔ）（上記の表３及び表７で詳述）を、その第１のフレームのタイムスタンプ（ｔ＿ｓｙｎｃ）（上記の表２、表３、表６、及び表７で詳述）に追加することができる。５１０で、特定の画像フレームのうちの第２の画像フレームのタイムスタンプに第２の位置の第２の時間オフセット値を追加することによって、特定の画像フレーム内の指定された２Ｄ位置のうちの別の１つを有する第２の位置の第２の観測時間が計算される。例えば、第２のフレーム内の第２のブロブの時間オフセット（ｄｔ）（上記の表３及び表７で詳述）を、その第２のフレームのタイムスタンプ（ｔ＿ｓｙｎｃ）（上記の表２、表３、表６、及び表７で詳述）に追加することができる。次いで、５２０で、時間オフセット及びフレームタイムスタンプから計算された第１の観測時間及び第２の観測時間を使用して補間が行われる。
【0080】
図３に戻ると、仮想２Ｄ位置が生成されると、３７５で、所定の時点に関する生成された仮想２Ｄ位置と少なくとも１つの他のセンサから得られた位置情報を使用して、３Ｄ空間で動いているオブジェクト（例えば、ボール）の３Ｄトラックが（例えば、コンピュータ１４０、１６０によって）構築される。３７５での構築は、オブジェクトの３Ｄトラックの表示（例えば、即時表示）のためであり得る、又は３７５での構築は、表示前のさらなる処理への入力として用いるための３Ｄトラックを生成することができる。例えば、３Ｄトラックは、ゴルフボールの飛跡をライブ送信のため又は記録のために生成されたＴＶ信号にオーバーレイすることによって、効果的に表示されるようにさらに処理することができる。別の例として、３Ｄトラックは、ゴルファーがいる物理環境のコンピュータ表現で又はコンピュータ内にのみ存在するがシステムのユーザに表示される仮想環境でゴルフボールの経路を示すことなどにより、他のデータ又はメディアを補強することによって、効果的に表示されるようにさらに処理することができる。
【0081】
表示前の他のタイプのさらなる処理も可能である。例えば、３Ｄトラックは、スポーツボールの最終的な静止位置を決定するべくさらに処理することができ、これは、ベッティング用途又はスポーツウェブサイトにフィードする一般的な統計収集のために有用であり得る。飛跡を示すことに加えて、３Ｄトラックは、ショットの速度、スピン、キャリー、及びローンチ角度を測定するべくさらに処理することができる。３Ｄトラックは、ボールがサイトのネットを越えて隣接する敷地に入ったかどうかを判定するべくさらに処理することができる。３Ｄトラックは、練習場のオーナーに進行中のアクティビティがあるベイを知らせるべく、また、各ベイからショットされたボールの数をカウントするべく、さらに処理することができる。
【0082】
図６Ａは、動いているオブジェクト（例えば、ボール）の３Ｄトラックを構築するプロセスの例を示す。３Ｄトラックの構築は、６００で、関心オブジェクト３Ｄ位置を生成するべく、（例えば、コンピュータ１４０、１６０によって）仮想２Ｄ位置を少なくとも１つの他のセンサから得られた位置情報と組み合わせることを含む。一般に、これは、様々なセンサを使用して生成されたオブジェクト観測データを使用し、それらの様々なセンサのキャリブレーションデータを使用した、様々なセンサからの観測の三角測量を含む。仮想２Ｄ位置を生成することで仮想時間同期が達成されるため、生成された観測データは、三角測量に使用可能であることに注目されたい。
【0083】
例えば、他のセンサは、仮想２Ｄ位置が生成された第１のカメラとのステレオペアとして使用される、第２のカメラとすることができる。前述のオブジェクト検出、２Ｄ追跡、及び仮想時間同期技術は、第２のカメラでも用いることができる。これに照らして、第２のカメラの出力データは、第１のカメラに関して仮想２Ｄ位置が生成された時点と同じ共有される時点で（複数の対応する仮想２Ｄ位置を有する）複数の検出オブジェクトを生成することができる。したがって、第２のカメラの位置情報は、第２のカメラから得られた２つ以上の２Ｄ位置とすることができ、６００での組み合わせることは、第２のカメラからの２つ以上の２Ｄ位置のどれを第１のカメラからのデータに関して生成された仮想２Ｄ位置と照合するべきかを決定することを含み得る。
【0084】
さらに、６００での組み合わせることは、６０２で、第１のカメラから得られた仮想２Ｄ位置で３Ｄ点を生成することができないものとして、第２のカメラから得られた２つ以上の２Ｄ位置のすべてではないが少なくとも１つを除外することを含み得る。図６Ｂは、６０４での三角測量の前にエピポーララインフィルタリングを行うべく、第２のカメラから得られた少なくとも１つの２Ｄ位置を除外するプロセスの例を示す。６０２Ａで、第１のカメラに関して生成された仮想２Ｄ位置、第１のカメラの光学中心、第２のカメラの光学中心、第１のカメラと第２のカメラとの間のベースライン、及び第１及び第２のカメラの外部キャリブレーションデータを使用して、第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域が決定される。一部の実装では、６０２Ａで、領域は、使用されるデータの許容誤差に基づいて決定される。
【0085】
一部の実装では、ステレオカメラペアの第１のカメラ１２０と第２のカメラ１３０との間のベースラインは３０メートル以下であり、これは、ショットが打たれた位置に戻る軌道を外挿できるように、十分に早くショットを検出する能力と組み合わせて、妥当なステレオ精度を提供する。より視野の広いレンズを使用すると、ショットをより早く観測することができるが、ボールが遠くにあるときに精度が低くなるという犠牲を伴う。より高解像度のカメラは、これをある程度軽減することができる。ベースラインが短いほど、深さの精度は低くなるが、ショットをより早く観測することができる。本開示で説明される仮想時間同期を使用して、カメラ１２０、１３０の異なるペアからのデータを、必要に応じて、例えばリアルタイムで動的に組み合わせることができることに注目されたい。したがって、システムのカメラ１２０、１３０の異なるペアがステレオペアを形成することができ、したがって、異なるステレオカメラペアは、異なるベースライン及び異なる深さの精度を有し得る。
【0086】
さらに、一部の実装では、６０２Ａで決定される領域は、６０２Ａで、オブジェクトまでの距離、例えば、カメラとティーエリア１１２及び／又は標的１１４との既知の距離の既知の制限のために使用できないエピポーララインの部分に基づいて縮小（又はさらに縮小）される。さらに、１つ以上のステレオペアとして用いられる異なるカメラからのボール候補の観測を照合するときに他の基準を使用することができる。例えば、さらなる基準は、２台のカメラ（ステレオペアとして使用される）によって観測されたそれぞれのブロブのブロブコントラストが類似していることであり得る。
【0087】
次いで、６０２Ｂで、２つ以上の２Ｄ位置のそれぞれが第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域外にあることに応答して、第１のカメラから得られた仮想２Ｄ位置と第２のカメラから得られた２つ以上の２Ｄ位置のそれぞれとのペアリングが棄却される。本質的に、第１のカメラの２Ｄ平面内の単一の点として第１のカメラで見られる３Ｄ空間内のライン（このラインは第１のカメラの光学中心と一直線上にあるため）は、エピポーララインとして知られている第２のカメラの画像平面内のラインとして第２のカメラで見られる。第１のカメラによって観測されたオブジェクトの既知の２Ｄ位置が与えられた場合、このエピポーララインに沿っている（ある程度の許容値内の）第２のカメラによって観測されたオブジェクトのみが、両方のカメラによって観測された同じオブジェクトとなり得る。さらに、オブジェクトまでの距離（例えば、ティーエリア１１２までの距離、グリーンに乗るボールを追跡するときのグリーンまでの距離などの標的１１４までの距離、及び／又は現在追跡されているオブジェクトまでの距離に基づく距離）の既知の制限を考慮してシステムが設計及びセットアップされる場合、システムは、６０２Ｂでの棄却の際に用いるためのハードストップ（境界）をエピポーラライン上に配置することができる。したがって、明らかに境界外のオブジェクト（例えば、飛行機、鳥、遠くの交通からの光など）をシステムで容易に無視することができる。
【0088】
第２のカメラから得られた２Ｄ位置を除外するための他の手法も可能である。例えば、前述のように、出力データは、各シーケンスでの最初の位置の後の各位置について、そのシーケンスでの前の位置の指示を含み得る。このデータが含まれているため（例えば、３３０での送信は、各ブロブの位置だけでなく、経路シーケンスでの２Ｄ追跡によって連結されている、前に観測されたブロブの位置も送信するため）、各関心オブジェクト（ブロブ）の可能な２Ｄモーションの方向及び速度を推定することができ、この推定は、６０４での三角測量の前にモーションフィルタリングを行うために用いることができ、例えば、ステレオ三角測量アルゴリズムは、この情報を使用して、左右のステレオ点の速度ベクトルを使用してフォールスポジティブを除外することなどによって、適合しないパラメータを有するブロブのペアリングを棄却することができる。例えば、次のフレーム内でのオブジェクトの位置が両方のカメラで（現在の速度に基づいて）予測されるとき、ブロブが２つの異なる角度からの同じオブジェクトの実際の観測であるときに、（三角測量されるときの）予測位置はまた、次の実際の観測に近くなる。
【0089】
したがって、６０２での除外は、特定の画像フレーム内の指定された２Ｄ位置に基づいて、仮想２Ｄ位置でのオブジェクトの２Ｄ速度を推定すること、この場合、指定された２Ｄ位置のうちの少なくとも１つは、シーケンスのうちの少なくとも１つにおける前の位置の指示を使用して出力データで識別される、第２のカメラから得られた２つ以上の２Ｄ位置でのオブジェクトの２Ｄ速度を推定すること、仮想２Ｄ位置でのオブジェクト及び２つ以上の２Ｄ位置でのオブジェクトの推定２Ｄ速度、固有キャリブレーションデータ、及び外部キャリブレーションに基づいて、第１のカメラから得られた仮想２Ｄ位置と第２のカメラから得られた２つ以上の２Ｄ位置のそれぞれとのペアリングを棄却することを含み得る。
【0090】
当業者には理解されるように、位置／ブロブの座標は、固有キャリブレーションデータを使用して歪みがなく、また、外部キャリブレーションデータを使用して適合する座標系に変換される必要があることに留意されたい。各カメラの光学歪み及び真の焦点距離を検出する固有キャリブレーションを実行することができる。カメラの互いに対する方向を検出する外部キャリブレーションを実行することができる。一緒に、固有キャリブレーション及び外部キャリブレーションは、「キャリブレーション」又は「キャリブレーションデータ」と呼ばれ、両方のカメラで見られるオブジェクトの位置を三角測量するために用いることができる。
【0091】
さらに、他のセンサは、第２のカメラではなくレーダーデバイスを含み得る。例えば、１つ以上のレーダーデバイスを、単一のカメラ、ステレオカメラペア、又は３つ以上のカメラと組み合わせて、米国特許第１０，５９６，４１６号に記載のシステム及び技術に係る１つ以上のハイブリッドカメラ－レーダーセンサを形成し、３Ｄオブジェクト追跡のために関心オブジェクトを示すオブジェクト検出システムのセンサの少なくとも一部を提供することができる。動いているオブジェクト（例えば、ゴルフボール）の検出であり得るレーダーからの読取値を、関心オブジェクト三次元位置の３Ｄ点群に追加する、したがって、組み合わされたセンサの潜在的な堅牢性及びカバレッジエリアに追加することができる。
【0092】
レーダーからの読取値は、以下の手法を使用して３Ｄ点に変換することができる。レーダーからの距離測定値は、カメラのうちの１つによって同じ時点で検出されたすべてのボール候補と組み合わせることができる。カメラによって報告される各ボール候補との角度と、レーダーによって報告される距離により、空間内の３Ｄ位置が決定される。これは、カメラで見られる各ボール候補について行うことができ、これにより、点群に追加する３Ｄ点のアレイが生成される。これらの点のうちの多くとも１つは、レーダーデータとボール観測の正しい関連付けとなる（両方とも同じオブジェクトに由来する、すなわち、トゥルーポジティブであることを意味する）。残りの３Ｄ点は偽の関連付け（フォールスポジティブ）となる。しかしながら、ここでも、３Ｄ点追跡アルゴリズムは、３Ｄ点の大部分がフォールスポジティブであることに対して堅牢であるように選択される。さらに、一部の実装では、各観測オブジェクトまでの範囲と角度との両方を決定することができる１つ以上のレーダーセンサをシステムで使用することができる。
【0093】
しかし、第２のセンサからの位置データが得られる及び／又は除外されるかどうかに関係なく、一部の実装では、６０４で、第１のカメラから得られた仮想２Ｄ位置、第２のカメラから得られた２つ以上の２Ｄ位置のうちの少なくとも１つ、第１のカメラ及び第２のカメラの固有キャリブレーションデータ（各カメラの決定された光学歪み及び真の焦点距離）、及び第１及び第２のカメラの外部キャリブレーションデータ（カメラの互いに対する決定された方向）を使用して、関心オブジェクト３Ｄ位置を三角測量することができる。位置／ブロブの座標はすべて同じ時点を表しているため、オリジナルの取り込みが同期していなくても、６０４で点間の三角測量が可能であることに留意されたい。
【0094】
次いで、６１０で、関心オブジェクト３Ｄ位置を、所定の時点に関する関心オブジェクト３Ｄ位置群内の他の関心オブジェクト３Ｄ位置に追加することができる。様々なタイプのデータ構造を使用できることに留意されたい。一部の実装では、３Ｄ位置群は、八分木として格納され、このタイプのデータ構造は、（スカラー数のコンピュータ表現の精度限界まで）３Ｄ空間内の任意の点を表すことを可能にする。６２０で、３Ｄ空間で動いているボールの３Ｄトラックを構築するべく、複数の３Ｄ位置群にわたるモーション分析が実行され、複数の３Ｄ位置群のそれぞれは、単一の時点に関するものである。様々なタイプのモーション分析を使用できることに留意されたい。それでも、データ３５０に含まれるフォールスポジティブの数が従来のオブジェクト追跡技術での数よりも多い可能性があるとしても、これらのフォールスポジティブは、フォールスポジティブが発生するカメラの２Ｄ画像平面と比較して大きい３Ｄ空間内に広がる傾向があることを理解されたい。このため、３Ｄ追跡システムが３Ｄで動いているオブジェクトを識別すると、構築されている進行中の３Ｄトラックと一致しない３Ｄ空間内のフォールスポジティブをすぐに破棄することは３Ｄ追跡システムにとって容易なことである。
【0095】
さらに、プロセスは、６３０で、３Ｄトラックの表現を生成するために３Ｄトラックを出力すること、又は６３０で、３Ｄ空間で３Ｄトラックの表現を生成及び表示することを含み得る。前述のように、これは、ゴルフボールの飛跡をライブ送信のため又は記録のために生成されたＴＶ信号にオーバーレイすることによって、効果的に表示されるように３Ｄトラックをさらに処理することを含み得る、又はこれは、ゴルファーがいる物理環境のコンピュータ表現で又はコンピュータ内にのみ存在するがシステムのユーザに表示される仮想環境で、例えば、（同じ範囲でローカルに、又は世界中に散らばっている）マルチプレイヤーゲームの参加者間で共有される仮想環境でゴルフボールの経路を示すことなどにより、他のデータ又はメディアを補強することによって、効果的に表示されるように３Ｄトラックをさらに処理することを含み得る。
【0096】
本明細書に記載の主題及び関数演算の実施形態は、デジタル電子回路、又は本明細書で開示された構造及びそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェア、又はその１つ以上の組み合わせで実装することができる。本明細書に記載の主題の実施形態は、データ処理装置による実行のために、又はデータ処理装置の動作を制御するために、非一時的なコンピュータ可読媒体上でエンコードされるコンピュータプログラム命令の１つ以上のモジュールを使用して実装することができる。非一時的なコンピュータ可読媒体は、コンピュータシステムのハードドライブ、又は小売り販路を通じて販売される光ディスク、又は組込みシステムなどの工業製品であり得る。非一時的なコンピュータ可読媒体は、個別に入手され、後で、有線又は無線ネットワークを介するコンピュータプログラム命令の１つ以上のモジュールの配信などによって、コンピュータプログラム命令の１つ以上のモジュールでエンコードされ得る。非一時的なコンピュータ可読媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、メモリデバイス、又はその１つ以上の組み合わせであり得る。
【0097】
「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するためのすべての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサのファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、ランタイム環境、又はその１つ以上の組み合わせを構成するコードを含み得る。さらに、装置は、ウェブサービス、分散型コンピューティング、及びグリッドコンピューティングインフラストラクチャなどの様々なコンピューティングモデルインフラストラクチャを採用し得る。
【0098】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られている）は、コンパイル又は解釈される言語、宣言型言語、又は手続き型言語を含む任意の適切な形式のプログラミング言語で書くことができ、独立型のプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットとして、任意の適切な形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムでのファイルに対応しない。プログラムは、他のプログラム又はデータを保持するファイルの一部（例えば、マークアップ言語文書に保存された１つ以上のスクリプト）、当該プログラム専用の単一のファイル、又は複数の連携したファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部を保存するファイル）に格納することができる。コンピュータプログラムは、１つのコンピュータで、又は１つの場所に配置されているか又は複数の場所に分散され、通信ネットワークで相互接続されている複数のコンピュータで実行されるように展開することができる。
【0099】
本明細書に記載のプロセス及び論理フローは、入力データで演算し、出力を生成することで機能を果たすべく１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能プロセッサによって実施され得る。プロセス及び論理フローはまた、特殊用途向け論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって、及びこれらとして実装され得る装置によって実施することができる。
【0100】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと特殊用途マイクロプロセッサの両方、及び任意の適切な種類のデジタルコンピュータの１つ以上のプロセッサを含む。一般に、プロセッサは、読出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの必須の要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを受信する又はデータを送信する又はその両方のために、データを記憶するための１つ以上の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、又は光ディスクを含むか又はそれに作動的に結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、ほんの数例を挙げると、モバイル電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）レシーバ、又はポータブルストレージデバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に組み込むことができる。コンピュータプログラム命令及びデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ（消去可能でプログラム可能な読出し専用メモリ）、ＥＥＰＲＯＭ（電気的に消去可能でプログラム可能な読出し専用メモリ）、及びフラッシュメモリデバイスを含むあらゆる形態の不揮発性メモリ、メディア、及びメモリデバイス、磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスク、ネットワークアタッチトストレージ、及び種々の形態のクラウドストレージを含む。プロセッサとメモリは、特殊用途向け論理回路によって補完する又はこれに組み込むことができる。
【0101】
ユーザとの相互作用を提供するために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するためのディスプレイ装置、例えば、ＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ダイオード）、又は他のモニタと、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス、例えば、マウス又はトラックボールを有するコンピュータで実装することができる。ユーザとの相互作用を同様に提供するために他の種類のデバイスも使用することができ、例えば、ユーザに提供されるフィードバックは、感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は、音響入力、スピーチ入力、又は触覚入力を含む種々の形式で受信することができる。
【0102】
コンピューティングシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般に互いに遠隔にあり、通常は通信ネットワークを通じて相互作用する。クライアントとサーバの関係性は、互いにクライアントとサーバの関係性を有するそれぞれのコンピュータで実行されるコンピュータプログラムによって生じる。本明細書に記載の主題の実施形態は、例えばデータサーバとしてバックエンドコンポーネントを含む、又は例えばアプリケーションサーバとしてミドルウェアコンポーネントを含む、又は例えばユーザが本明細書に記載の主題の実装と相互作用することができるグラフィカルユーザインターフェース又はウェブブラウザを有するクライアントコンピュータとしてフロントエンドコンポーネントを含む、又は１つ以上のそのようなバックエンド、ミドルウェア、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実装することができる。システムのコンポーネントは、デジタルデータ通信の任意の適切な形式又は媒体、例えば、通信ネットワークで相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、及びピア・ツー・ピア・ネットワーク（例えば、アドホック・ピア・ツー・ピア・ネットワーク）が挙げられる。
【0103】
本明細書は多くの実装の詳細を含むが、これらは、本発明の範囲又は特許請求され得るものの限定として解釈されるべきではなく、本発明の特定の実施形態に固有の特徴の説明として解釈されるべきである。別個の実施形態に関連して本明細書で説明される特定の特徴はまた、単一の実施形態で組み合わせて実装することができる。逆に、単一の実施形態に関連して説明される様々な特徴はまた、別個に又は任意の適切なサブコンビネーションで複数の実施形態で実装することができる。さらに、特徴は、特定の組み合わせで機能するものとして上記で説明され、最初はそのように特許請求されても、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから切り離すことができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられ得る。したがって、他に明示的に述べられていない限り、又は当業者の知識が他のことを明瞭に示さない限り、前述の実施形態の特徴のいずれかを前述の実施形態の他の特徴のいずれかと組み合わせることができる。
【0104】
同様に、動作は特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序又は連続した順序で実行されること又は図示されたすべての動作が実行される必要があると理解されるべきではない。或る状況では、マルチタスク及び／又は並列処理が有利な場合がある。さらに、前述の実施形態での様々なシステムコンポーネントの分離は、すべての実施形態でそのような分離が必要であると理解されるべきではなく、説明されたプログラムコンポーネント及びシステムは、一般に、単一のソフトウェア製品に統合するか、又は複数のソフトウェア製品にパッケージすることができることを理解されたい。
【0105】
したがって、本発明の特定の実施形態が説明されている。他の実施形態は、以下の請求項の範囲内にある。例えば、上記の説明は、ゴルフボールの動きの追跡に焦点をあてているが、説明されたシステム及び技術は、野球又はスキート射撃並びにスポーツ以外の用途などの他のタイプのオブジェクトモーション追跡にも適用可能である。さらに、「動いている」オブジェクトの追跡は、一部の実装では、地面に当たって跳ね返る及び／又は地面に沿って転がるオブジェクトの追跡を含み得る。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【手続補正書】
【提出日】2023-03-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、１つ以上の第１のコンピュータで、カメラを前記１つ以上の第１のコンピュータと結合する第１の通信チャネルを介して、前記カメラから画像フレームを受信することであって、前記第１の通信チャネルは第１のデータ帯域幅を有することと、
前記１つ以上の第１のコンピュータによって、前記画像フレーム内の関心位置を識別することと、
前記画像フレーム内で識別された位置のシーケンスを検出することであって、前記シーケンスのそれぞれは、前記カメラからの少なくとも３つの画像フレーム内で識別された位置についてモーション基準を満たすことと、
前記位置のシーケンスに関する出力データを送信することであって、前記出力データは、各シーケンスにおける各位置について、タイムスタンプを有する特定の画像フレーム内の位置の二次元位置を備えることと、
１つ以上の第２のコンピュータで、前記出力データを受信することであって、前記１つ以上の第２のコンピュータは、前記第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有する第２の通信チャネルを介して前記１つ以上の第１のコンピュータと結合されることと、
前記１つ以上の第２のコンピュータによって、所定の時点での仮想二次元位置を生成するべく、前記特定の画像フレームのタイムスタンプを使用して、前記シーケンスのうちの少なくとも１つに関する特定の画像フレーム内の指定された二次元位置間を補間することによって、前記出力データにおけるシーケンスのうちの少なくとも１つを処理することと、
前記所定の時点に関する、前記仮想二次元位置及び少なくとも１つの他のセンサから得られた位置情報を使用して、三次元空間で動いているボールの三次元トラックを構築することと、
を備える、方法。
【請求項2】
前記検出すること及び前記送信することは、前記１つ以上の第２のコンピュータによって実行され、前記画像フレーム内の識別された位置は、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項１に記載の方法。
【請求項3】
前記検出すること及び前記送信することは、前記１つ以上の第１のコンピュータによって実行され、前記出力データは、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項１に記載の方法。
【請求項4】
前記検出することは、第１の識別された関心位置のそれぞれが木の開始基準を満たす画像データ値を有していることに応答して、前記第１の識別された関心位置のそれぞれから根付き木の根ノードを確立することと、
第２の識別された位置のうち少なくともいくつかのそれぞれが、前記根付き木のうちの少なくとも１つに追加された前の画像フレーム内の識別された位置の距離閾値内にあることに応答して、第２の識別された関心位置を前記根付き木のサブノードとして追加することと、
前記シーケンスの根付き木が２よりも大きい木の深さを有しているときに、識別された位置のシーケンスのそれぞれを出力対象であるか確認することと、
を含む、前記関心位置から前記根付き木を生成することを備える、請求項１に記載の方法。
【請求項5】
前記送信することは、所与の画像フレームで識別された関心位置が、後続の画像フレーム内で識別された関心位置に基づく前記シーケンスのいずれにも含まれなくなるまで、前記所与の画像フレームと、前記シーケンスのうちの１つ以上において検出されたその関心位置のデータの出力を遅延させることを備える、請求項１に記載の方法。
【請求項6】
前記送信することは、各画像フレームについての識別が完了すると、前記画像フレームのデータを出力することと、
前記シーケンスのうちの１つ以上が出力されるべき関心位置を含んでいることを検出した後にのみ、各関心位置のデータを出力することと、
を備える、請求項１に記載の方法。
【請求項7】
前記カメラは、ローリングシャッターカメラを備え、前記出力データは、各シーケンスに含まれる各関心位置の時間オフセット値を備え、前記処理することは、前記特定の画像フレームのうちの第１の画像フレームのタイムスタンプに第１の位置の第１の時間オフセット値を追加することによって、前記特定の画像フレーム内の指定された二次元位置のうちの１つを有する第１の位置の第１の観測時間を計算することと、
前記特定の画像フレームのうちの第２の画像フレームのタイムスタンプに第２の位置の第２の時間オフセット値を追加することによって、前記特定の画像フレーム内の指定された二次元位置のうちの別の１つを有する第２の位置の第２の観測時間を計算することと、
前記第１の観測時間及び前記第２の観測時間を使用して前記補間を行うことと、
を備える、請求項１に記載の方法。
【請求項8】
前記構築することは、前記１つ以上の第２のコンピュータによって、関心オブジェクト三次元位置を生成するべく、前記仮想二次元位置を前記少なくとも１つの他のセンサから得られた位置情報と組み合わせることと、
前記１つ以上の第２のコンピュータによって、前記関心オブジェクト三次元位置を、所定の時点に関する関心オブジェクト三次元位置群内の他の関心オブジェクト三次元位置に追加することと、
前記１つ以上の第２のコンピュータによって、前記三次元空間内で動いているボールの三次元トラックを構築するべく、複数の三次元位置群にわたるモーション分析を行うことであって、前記複数の三次元位置群のそれぞれは単一の時点に関するものであり、前記複数の三次元位置群は、前記所定の時点に関する関心オブジェクト三次元位置群を含むことと、
前記三次元空間内で動いているボールの三次元トラックを表示するべく出力することと、
を備える、請求項１に記載の方法。
【請求項9】
前記カメラは第１のカメラであり、前記少なくとも１つの他のセンサは第２のカメラであり、前記位置情報は、前記第２のカメラから得られた複数の二次元位置を備え、前記組み合わせることは、前記第１のカメラから得られた仮想二次元位置で三次元点を生成することができないものとして、前記第２のカメラから得られた複数の二次元位置のすべてではないが少なくとも１つを除外することと、
前記第１のカメラから得られた仮想二次元位置、前記第２のカメラから得られた複数の二次元位置のうちの少なくとも１つ、前記第１のカメラ及び前記第２のカメラの固有キャリブレーションデータ、及び前記第１のカメラ及び前記第２のカメラの外部キャリブレーションデータを使用して、少なくとも前記関心オブジェクト三次元位置を三角測量することと、
を備える、請求項８に記載の方法。
【請求項10】
前記除外することは、前記仮想二次元位置、前記第１のカメラの光学中心、前記第２のカメラの光学中心、前記第１のカメラと前記第２のカメラとの間のベースライン、及び前記第１のカメラ及び前記第２のカメラの外部キャリブレーションデータを使用して、前記第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域を決定することと、
前記複数の二次元位置のそれぞれが、前記第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域外にあることに応答して、前記第１のカメラから得られた仮想二次元位置と前記第２のカメラから得られた複数の二次元位置のそれぞれとのペアリングを棄却することと、
を備える、請求項９に記載の方法。
【請求項11】
前記１つ以上の第１のコンピュータは、第１の処理ユニット及び少なくとも１つのさらなる処理ユニットを備え、前記第１の通信チャネルは、前記カメラを前記第１の処理ユニットと結合し、前記画像フレームを受信することは、前記第１の処理ユニットで前記画像フレームを受信することを備え、前記関心位置を識別することは、前記第１の処理ユニットで前記関心位置を識別することを備え、前記シーケンスを検出することは、前記第１の処理ユニットを前記少なくとも１つのさらなる処理ユニットと結合する第３の通信チャネルを介して前記第１の処理ユニットから前記位置を受信することに応答して、前記少なくとも１つのさらなる処理ユニットで前記シーケンスを検出することを備え、前記出力データを送信することは、前記少なくとも１つのさらなる処理ユニットから前記出力データを送信することを備え、前記第３の通信チャネルは、前記第１のデータ帯域幅よりも小さいが前記第２のデータ帯域幅よりも大きい第３のデータ帯域幅を有する、請求項１に記載の方法。
【請求項12】
システムであって、カメラと、第１のハードウェアプロセッサ、及び前記第１のハードウェアプロセッサと結合された第１のメモリを備える１つ以上の第１のコンピュータと、前記カメラを前記１つ以上の第１のコンピュータと結合する第１の通信チャネルとを備える少なくとも１つのセンサであって、前記第１の通信チャネルは第１のデータ帯域幅を有し、前記第１のメモリは、第１の動作を前記第１のハードウェアプロセッサに実行させるように構成された命令をエンコードする、少なくとも１つのセンサと、
少なくとも１つの他のセンサと、
第２のハードウェアプロセッサ、及び前記第２のハードウェアプロセッサと結合された第２のメモリを備える１つ以上の第２のコンピュータであって、前記第２のメモリは、第２の動作を前記第２のハードウェアプロセッサに実行させるように構成された命令をエンコードし、前記１つ以上の第２のコンピュータは、前記第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有する第２の通信チャネルを介して前記１つ以上の第１のコンピュータと結合される、第２のコンピュータと、
を備える、システムであり、
前記第１の動作は、画像フレームを受信すること、及び前記画像フレーム内の関心位置を識別することを備え、前記画像フレームは、前記第１の通信チャネルを介して前記カメラから受信され、
前記第１の動作又は前記第２の動作は、前記画像フレーム内で識別された位置のシーケンスを検出すること、及び前記位置のシーケンスに関する出力データを送信することを備え、前記シーケンスのそれぞれは、前記カメラからの少なくとも３つの画像フレーム内で識別された位置についてモーション基準を満たし、前記出力データは、各シーケンスにおける各位置について、タイムスタンプを有する特定の画像フレーム内の位置の二次元位置を備えることを備え、
前記第２の動作は、
前記出力データを受信することと、
所定の時点での仮想二次元位置を生成するべく、前記特定の画像フレームのタイムスタンプを使用して、前記シーケンスのうちの少なくとも１つに関する特定の画像フレーム内の指定された二次元位置間を補間することによって、前記出力データにおけるシーケンスのうちの少なくとも１つを処理することと、
前記所定の時点に関する、前記仮想二次元位置及び少なくとも１つの他のセンサから得られた位置情報を使用して、三次元空間で動いているボールの三次元トラックを構築することと、
を備える、システム。
【請求項13】
前記第１の動作は、前記検出すること及び前記送信することを備え、前記画像フレーム内の識別された位置は、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項１２に記載のシステム。
【請求項14】
前記第２の動作は、前記検出すること及び前記送信することを備え、前記出力データは、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項１２に記載のシステム。
【請求項15】
前記検出することは、
第１の識別された関心位置のそれぞれが木の開始基準を満たす画像データ値を有していることに応答して、前記第１の識別された関心位置のそれぞれから根付き木の根ノードを確立することと、
第２の識別された位置のうち少なくともいくつかのそれぞれが、前記根付き木のうちの少なくとも１つに追加された前の画像フレーム内の識別された位置の距離閾値内にあることに応答して、第２の識別された関心位置を前記根付き木のサブノードとして追加することと、
前記シーケンスの根付き木が２よりも大きい木の深さを有しているときに、識別された位置のシーケンスのそれぞれを出力対象であるか確認することと、
を含む、前記関心位置から前記根付き木を生成することを備える、請求項１２に記載のシステム。
【請求項16】
前記送信することは、所与の画像フレームで識別された関心位置が、後続の画像フレーム内で識別された関心位置に基づく前記シーケンスのいずれにも含まれなくなるまで、前記所与の画像フレームと、前記シーケンスのうちの１つ以上において検出されたその関心位置のデータの出力を遅延させることを備える、請求項１２に記載のシステム。
【請求項17】
前記送信することは、
各画像フレームについての識別が完了すると、前記画像フレームのデータを出力することと、
前記シーケンスのうちの１つ以上が出力されるべき関心位置を含んでいることを検出した後にのみ、各関心位置のデータを出力することと、
を備える、請求項１２に記載のシステム。
【請求項18】
前記カメラは、ローリングシャッターカメラを備え、前記出力データは、各シーケンスに含まれる各関心位置の時間オフセット値を備え、前記処理することは、
前記特定の画像フレームのうちの第１の画像フレームのタイムスタンプに第１の位置の第１の時間オフセット値を追加することによって、前記特定の画像フレーム内の指定された二次元位置のうちの１つを有する第１の位置の第１の観測時間を計算することと、
前記特定の画像フレームのうちの第２の画像フレームのタイムスタンプに第２の位置の第２の時間オフセット値を追加することによって、前記特定の画像フレーム内の指定された二次元位置のうちの別の１つを有する第２の位置の第２の観測時間を計算することと、
前記第１の観測時間及び前記第２の観測時間を使用して前記補間を行うことと、
を備える、請求項１２に記載のシステム。
【請求項19】
前記構築することは、
関心オブジェクト三次元位置を生成するべく、前記仮想二次元位置を前記少なくとも１つの他のセンサから得られた位置情報と組み合わせることと、
前記関心オブジェクト三次元位置を、所定の時点に関する関心オブジェクト三次元位置群内の他の関心オブジェクト三次元位置に追加することと、
前記三次元空間内で動いているボールの三次元トラックを構築するべく、複数の三次元位置群にわたるモーション分析を行うことであって、前記複数の三次元位置群のそれぞれは単一の時点に関するものであり、前記複数の三次元位置群は、前記所定の時点に関する関心オブジェクト三次元位置群を含むことと、
前記三次元空間内で動いているボールの三次元トラックを表示するべく出力することと、
を備える、請求項１２に記載のシステム。
【請求項20】
前記カメラは第１のカメラであり、前記少なくとも１つの他のセンサは第２のカメラであり、前記位置情報は、前記第２のカメラから得られた複数の二次元位置を備え、前記組み合わせることは、
前記第１のカメラから得られた仮想二次元位置で三次元点を生成することができないものとして、前記第２のカメラから得られた複数の二次元位置のすべてではないが少なくとも１つを除外することと、
前記第１のカメラから得られた仮想二次元位置、前記第２のカメラから得られた複数の二次元位置のうちの少なくとも１つ、前記第１のカメラ及び前記第２のカメラの固有キャリブレーションデータ、及び前記第１のカメラ及び前記第２のカメラの外部キャリブレーションデータを使用して、少なくとも前記関心オブジェクト三次元位置を三角測量することと、
を備える、請求項１９に記載のシステム。
【請求項21】
前記除外することは、
前記仮想二次元位置、前記第１のカメラの光学中心、前記第２のカメラの光学中心、前記第１のカメラと前記第２のカメラとの間のベースライン、及び前記第１のカメラ及び前記第２のカメラの外部キャリブレーションデータを使用して、前記第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域を決定することと、
前記複数の二次元位置のそれぞれが、前記第２のカメラの画像平面内のエピポーララインの少なくとも一部の周りの領域外にあることに応答して、前記第１のカメラから得られた仮想二次元位置と前記第２のカメラから得られた複数の二次元位置のそれぞれとのペアリングを棄却することと、
を備える、請求項２０に記載のシステム。
【請求項22】
前記１つ以上の第１のコンピュータ又は前記１つ以上の第２のコンピュータは、第３のハードウェアプロセッサ、及び前記第３のハードウェアプロセッサと結合された第３のメモリを備え、前記第１の通信チャネルは、前記カメラを前記第１のハードウェアプロセッサと結合し、前記第２の通信チャネルは、前記第３のハードウェアプロセッサを前記第２のハードウェアプロセッサと結合し、前記画像フレームを受信することは、前記第１のハードウェアプロセッサで前記画像フレームを受信することを備え、前記関心位置を識別することは、前記第１のハードウェアプロセッサで前記関心位置を識別することを備え、前記シーケンスを検出することは、前記第１のハードウェアプロセッサを前記第３のハードウェアプロセッサと結合する第３の通信チャネルを介して前記第１のハードウェアプロセッサから前記位置を受信することに応答して、前記第３のハードウェアプロセッサで前記シーケンスを検出することを備え、前記出力データを送信することは、前記第３のハードウェアプロセッサから前記出力データを送信することを備え、前記第３の通信チャネルは、前記第１のデータ帯域幅よりも小さいが前記第２のデータ帯域幅よりも大きい第３のデータ帯域幅を有する、請求項１２に記載のシステム。
【請求項23】
前記少なくとも１つの他のセンサはレーダーデバイスを備える、請求項１２に記載のシステム。
【請求項24】
前記少なくとも１つの他のセンサは第２のカメラを備える、請求項１２に記載のシステム。
【請求項25】
動作をデータ処理装置に実行させる命令をエンコードする非一時的なコンピュータ可読媒体であって、前記動作は、
１つ以上の第１のコンピュータで、カメラを前記１つ以上の第１のコンピュータと結合する第１の通信チャネルを介して、前記カメラから画像フレームを受信することであって、前記第１の通信チャネルは第１のデータ帯域幅を有することと、
前記１つ以上の第１のコンピュータによって、前記画像フレーム内の関心位置を識別することと、
前記画像フレーム内で識別された位置のシーケンスを検出することであって、前記シーケンスのそれぞれは、前記カメラからの少なくとも３つの画像フレーム内で識別された位置についてモーション基準を満たすことと、
前記位置のシーケンスに関する出力データを送信することであって、前記出力データは、各シーケンスにおける各位置について、タイムスタンプを有する特定の画像フレーム内の位置の二次元位置を備えることと、
１つ以上の第２のコンピュータで、前記出力データを受信することであって、前記１つ以上の第２のコンピュータは、前記第１のデータ帯域幅よりも小さい第２のデータ帯域幅を有する第２の通信チャネルを介して前記１つ以上の第１のコンピュータと結合されることと、
前記１つ以上の第２のコンピュータによって、所定の時点での仮想二次元位置を生成するべく、前記特定の画像フレームのタイムスタンプを使用して、前記シーケンスのうちの少なくとも１つに関する特定の画像フレーム内の指定された二次元位置間を補間することによって、前記出力データにおけるシーケンスのうちの少なくとも１つを処理することと、
前記所定の時点に関する、前記仮想二次元位置及び少なくとも１つの他のセンサから得られた位置情報を使用して、三次元空間で動いているボールの三次元トラックを構築することと、
を備える、非一時的なコンピュータ可読媒体。
【請求項26】
前記検出すること及び前記送信することは、前記１つ以上の第２のコンピュータによって実行され、前記画像フレーム内の識別された位置は、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項２５に記載の非一時的なコンピュータ可読媒体。
【請求項27】
前記検出すること及び前記送信することは、前記１つ以上の第１のコンピュータによって実行され、前記出力データは、前記第２の通信チャネルを介して前記１つ以上の第１のコンピュータから前記１つ以上の第２のコンピュータで受信される、請求項２５に記載の非一時的なコンピュータ可読媒体。
【請求項28】
前記検出することは、
第１の識別された関心位置のそれぞれが木の開始基準を満たす画像データ値を有していることに応答して、前記第１の識別された関心位置のそれぞれから根付き木の根ノードを確立することと、
第２の識別された位置のうち少なくともいくつかのそれぞれが、前記根付き木のうちの少なくとも１つに追加された前の画像フレーム内の識別された位置の距離閾値内にあることに応答して、第２の識別された関心位置を前記根付き木のサブノードとして追加することと、
前記シーケンスの根付き木が２よりも大きい木の深さを有しているときに、識別された位置のシーケンスのそれぞれを出力対象であるか確認することと、
を含む、前記関心位置から前記根付き木を生成することを備える、請求項２５に記載の非一時的なコンピュータ可読媒体。
【請求項29】
前記送信することは、所与の画像フレームで識別された関心位置が、後続の画像フレーム内で識別された関心位置に基づく前記シーケンスのいずれにも含まれなくなるまで、前記所与の画像フレームと、前記シーケンスのうちの１つ以上において検出されたその関心位置のデータの出力を遅延させることを備える、請求項２５に記載の非一時的なコンピュータ可読媒体。
【請求項30】
前記送信することは、
各画像フレームについての識別が完了すると、前記画像フレームのデータを出力することと、
前記シーケンスのうちの１つ以上が出力されるべき関心位置を含んでいることを検出した後にのみ、各関心位置のデータを出力することと、
を備える、請求項２５に記載の非一時的なコンピュータ可読媒体。
【国際調査報告】