知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-08
(54)【発明の名称】三次元運動データの自己組織化学習
(51)【国際特許分類】
G01S 13/72 20060101AFI20241001BHJP
G01S 13/86 20060101ALI20241001BHJP
G01S 13/87 20060101ALI20241001BHJP
A63B 69/00 20060101ALI20241001BHJP
A63B 71/06 20060101ALI20241001BHJP
G06T 7/00 20170101ALI20241001BHJP
H04N 7/18 20060101ALI20241001BHJP
【ＦＩ】
G01S13/72
G01S13/86
G01S13/87
A63B69/00 A
A63B71/06 M
G06T7/00 350B
H04N7/18 K
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024513088
(86)(22)【出願日】2022-08-26
(85)【翻訳文提出日】2024-02-26
(86)【国際出願番号】 IB2022058026
(87)【国際公開番号】W WO2023026255
(87)【国際公開日】2023-03-02
(31)【優先権主張番号】17/460,038
(32)【優先日】2021-08-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】524021279
【氏名又は名称】ラップソード ピーティーイー リミテッド
【氏名又は名称原語表記】ＲＡＰＳＯＤＯ ＰＴＥ． ＬＴＤ．
(74)【代理人】
【識別番号】110002583
【氏名又は名称】弁理士法人平田国際特許事務所
(72)【発明者】
【氏名】オクール，バトゥハン
(72)【発明者】
【氏名】ゴパラクリシュナン，ロシャン
【テーマコード（参考）】
5C054
5J070
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC00
5C054GB01
5C054GB05
5C054GB06
5C054HA16
5J070AB01
5J070AB17
5J070AC01
5J070AC02
5J070AC06
5J070AC16
5J070AE04
5J070AE09
5J070AE20
5J070AF01
5J070AG03
5J070AH19
5J070BB05
5J070BB15
5J070BD01
5J070BD08
5L096AA06
5L096CA04
5L096CA05
5L096EA05
5L096FA66
5L096FA67
5L096FA69
5L096GA10
5L096GA51
5L096GA55
5L096HA04
5L096HA05
5L096KA04
(57)【要約】
本方法は、定義された環境における物体に関連する画像データを１つ以上の時点においてキャプチャすることを含んでもよい。本方法は、定義された環境における物体に関連するレーダデータを同じ時点でキャプチャすることを含んでもよい。本方法は、機械学習モデルによって、定義された環境における物体に関連する画像データ及びレーダデータを取得することを含んでもよい。本方法は、画像データ及びレーダデータの時系列的な発生に基づいて、各画像データと対応するレーダデータとをペアリングすることを含んでもよい。本方法は、機械学習モデルによって、画像データ及びレーダデータに関連付けられた、物体に関連付けられた三次元運動表現を生成することを含んでもよい。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
定義された環境における物体に関連する画像データを複数の時点でキャプチャすることと、前記定義された環境における前記物体に関連するレーダデータを前記複数の時点でキャプチャすることと、
機械学習モデルによって、前記定義された環境における前記物体に関連する前記画像データ及び前記レーダデータを取得することと、
前記画像データ及び前記レーダデータの時系列的な発生に基づいて、各画像データと対応するレーダデータをペアリングすることと、
前記機械学習モデルにより、前記画像データ及び前記レーダデータに関連付けられた前記物体に関連する三次元運動表現を生成することと、を含むことを特徴とする方法。
【請求項2】
前記画像データ及び前記レーダデータに関連付けられた前記物体に関連付けられた前記三次元運動表現を生成することは、前記画像データを時系列に整理することと、
前記時系列に整理された画像データに基づいてオプティカルフローを生成することと、
前記画像データと同じ期間に収集されたレーダデータを特定することと、
前記特定されたレーダデータを、前記レーダデータの時系列的発生に基づいて前記オプティカルフローに適用することと、を含む、請求項１記載の方法。
【請求項3】
前記物体に関連する前記三次元運動表現は、前記物体の速度分析、体動分析、又は前記物体の運動シミュレーションのうちの少なくとも１つを含む、請求項１記載の方法。
【請求項4】
前記画像データは、前記物体の複数の二次元連続フレームを含む、請求項１に記載の方法。
【請求項5】
前記レーダデータは、前記物体に関連する距離データ、速度データ、周波数データのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項6】
前記物体が、ボール、スポーツ器具、人間の付属物、又は人間のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項7】
前記物体に関連する前記三次元運動表現は、仮想画像データをシミュレートすることを含み、前記仮想画像データをシミュレートすることは、仮想カメラの位置及び角度を特定することと、
前記キャプチャされた画像データ及び前記キャプチャされたレーダデータに基づいて、前記仮想カメラに関連付けられた１つ以上の外部パラメータを推定することと、
前記仮想カメラの前記特定された位置及び角度で前記仮想画像データを生成することと、を含む、請求項１に記載の方法。
【請求項8】
１つ以上のカメラと１つ以上のレーダセンサとに通信可能に結合される演算システムを備え、前記演算システムは、前記１つ以上のカメラから定義された環境における物体に関連する画像データを複数の時点で取得し、
前記１つ以上のレーダセンサから前記定義された環境における物体に関連するレーダデータを前記複数の時点で取得し、
前記画像データ及び前記レーダデータの時系列的な発生に基づいて、各画像データと対応するレーダデータをペアリングし、
前記機械学習モデルにより、前記画像データ及び前記レーダデータに関連付けられた前記物体に関連する三次元運動表現を生成するように構成されることを特徴とする、運動をキャプチャ及び分析するためのシステム。
【請求項9】
前記画像データ及び前記レーダデータに関連付けられた前記物体に関連付けられた前記三次元運動表現を生成することは、前記画像データを時系列に整理することと、
前記時系列に整理された画像データに基づいてオプティカルフローを生成することと、
前記画像データと同じ期間に収集されたレーダデータを特定することと、
前記特定されたレーダデータを、前記レーダデータの時系列的発生に基づいて前記オプティカルフローに適用することと、を含む、請求項８記載のシステム。
【請求項10】
前記物体に関連する前記三次元運動表現は、前記物体の速度分析、体動分析、又は前記物体の運動シミュレーションのうちの少なくとも１つを含む、請求項８記載のシステム。
【請求項11】
前記画像データは、前記物体の複数の二次元連続フレームを含む、請求項８に記載のシステム。
【請求項12】
前記レーダデータは、前記物体に関連する距離データ、速度データ、周波数データのうちの少なくとも１つを含む、請求項８に記載のシステム。
【請求項13】
定義された環境において画像データを収集するように構成された１つ以上のカメラと、前記定義された環境においてレーダデータを収集するように構成された１つ以上のレーダセンサと、をさらに備える請求項８記載のシステム。
【請求項14】
前記物体に関連する前記三次元運動表現は、仮想画像データをシミュレートすることを含み、前記仮想画像データをシミュレートすることは、仮想カメラの位置及び角度を特定することと、
前記キャプチャされた画像データ及び前記キャプチャされたレーダデータに基づいて、前記仮想カメラに関連付けられた１つ以上の外部パラメータを推定することと、
前記仮想カメラの前記特定された位置及び角度で前記仮想画像データを生成することと、を含む、請求項８に記載のシステム。
【請求項15】
実行されたことに応答して、システムにオペレーションを実行させる命令を記憶するように構成され、前記オペレーションは、定義された環境における物体に関連する画像データを複数の時点でキャプチャすることと、
前記定義された環境における前記物体に関連するレーダデータを前記複数の時点でキャプチャすることと、
機械学習モデルによって、前記定義された環境における前記物体に関連する前記画像データ及び前記レーダデータを取得することと、
前記画像データ及び前記レーダデータの時系列的な発生に基づいて、各画像データと対応するレーダデータをペアリングすることと、
前記機械学習モデルにより、前記画像データ及び前記レーダデータに関連付けられた前記物体に関連する三次元運動表現を生成することと、を含むことを特徴とする、１つ以上の非一時的コンピュータ読み取り可能記憶媒体。
【請求項16】
前記画像データ及び前記レーダデータに関連付けられた前記物体に関連付けられた前記三次元運動表現を生成することは、前記画像データを時系列に整理することと、
前記時系列に整理された画像データに基づいてオプティカルフローを生成することと、
前記画像データと同じ期間に収集されたレーダデータを特定することと、
前記特定されたレーダデータを、前記レーダデータの時系列的発生に基づいて前記オプティカルフローに適用することと、を含む、請求項１５記載の１つ以上の非一時的コンピュータ読み取り可能記憶媒体。
【請求項17】
前記物体に関連する前記三次元運動表現は、前記物体の速度分析、体動分析、又は前記物体の運動シミュレーションのうちの少なくとも１つを含む、請求項１５記載の１つ以上の非一時的コンピュータ読み取り可能記憶媒体。
【請求項18】
前記画像データは、前記物体の複数の二次元連続フレームを含む、請求項１５記載の１つ以上の非一時的コンピュータ読み取り可能記憶媒体。
【請求項19】
前記レーダデータは、前記物体に関連する距離データ、速度データ、周波数データのうちの少なくとも１つを含む、請求項１５記載の１つ以上の非一時的コンピュータ読み取り可能記憶媒体。
【請求項20】
前記物体に関連する前記三次元運動表現は、仮想画像データをシミュレートすることを含み、前記仮想画像データをシミュレートすることは、仮想カメラの位置及び角度を特定することと、
前記キャプチャされた画像データ及び前記キャプチャされたレーダデータに基づいて、前記仮想カメラに関連付けられた１つ以上の外部パラメータを推定することと、
前記仮想カメラの前記特定された位置及び角度で前記仮想画像データを生成することと、請求項１５記載の１つ以上の非一時的コンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、レーダと画像データとを組み合わせた自己組織化学習を用いた移動物体の三次元運動表現（motion representation）に関する。
【背景技術】
【0002】
移動物体（moving object:移動体、移動対象物）は、その位置、移動方向、速度、速度などの移動物体の特性によって表現することができる。移動物体には、ボールなどのスポーツで使用される物体が含まれる場合がある。移動物体の特性を評価することで、スポーツで発生するパフォーマンス及び／又はイベントに関する情報を提供することができる。
【0003】
本開示で特許請求される主題は、任意の欠点を解決する実施形態に限定されるものではなく、上述のような環境でのみ動作するものでもない。むしろ、この背景は、本開示に記載されるいくつかの実施形態が実施され得る一例の技術分野を説明するために提供されるに過ぎない。
【発明の概要】
【課題を解決するための手段】
【0004】
実施形態の一態様によれば、本方法は、画像キャプチャシステムに含まれる複数の同期されたレーダカメラユニットによって、定義された環境における物体に関連する画像データを１つ以上の時点でキャプチャすることを含んでもよい。複数のレーダカメラユニットによってキャプチャされたレーダデータ及び／又は画像データは、仮想カメラに関連付けられた定義された環境の１つ以上の位置から見られるように、処理、修正、及び／又は構築されてもよい。本方法は、仮想カメラに関連する画像データの構築を容易にするために、定義された環境内及び／又はその周辺の１つ以上の場所における仮想カメラの内在（固有の）及び外在カメラパラメータを推定することを含んでもよい。
【0005】
本方法は、定義された環境における物体に関連するレーダデータを同じ時点でキャプチャすることを含んでもよい。本方法は、機械学習モデルによって、定義された環境における物体に関連する画像データ及びレーダデータを取得することを含んでもよい。本方法は、画像データとレーダデータの時系列的な発生に基づいて、各画像データと対応するレーダデータとをペアリングすることを含んでもよい。本方法は、機械学習モデルによって、画像データ及びレーダデータに関連付けられた物体に関連付けられた三次元運動表現を生成することを含んでもよい。
【0006】
実施形態の目的及び利点は、少なくとも、特許請求の範囲において特に指摘される要素、特徴、及び組み合わせによって実現及び達成される。前述の一般的な説明及び以下の詳細な説明は、いずれも説明的なものであり、特許請求の範囲に記載された０７本発明を制限するものではないことを理解されたい。
【図面の簡単な説明】
【0007】
例示的な実施形態を、添付の図面を通して、さらに具体的かつ詳細に説明する。
【発明を実施するための形態】
【0008】
レーダ技術は、特定のスポーツで使用される物体の動きを検出し、追尾するために使用することができる。レーダ技術は、物体の位置、移動方向、速度、及び／又は速度など、物体の様々なパラメータを測定するために使用することができる。さらに、カメラ系システムを使用して、物体の動きを観察及び／又は測定できるように、物体の画像をキャプチャ（撮像）することもできる。
【0009】
既存のレーダセンサやカメラは、移動物体の動きを追尾するために所定の環境に設置することが困難であり、様々な欠点を含んでいる場合がある。このようなレーダシステムは、不十分なセンサ範囲、レーダセンサに影響を与える振動、及び／又は悪天候に基づく制限を示すことがある。様々なカメラシステムは、カメラの解像度、周囲光条件への依存、不十分なカメラフレームレートなどに基づく制限を示す可能性がある。さらに、レーダセンサ及び／又はカメラの較正及び配置は、正確なデータ収集のためにレーダセンサ及び／又はカメラの正確な較正及び特定の配置が必要とされるように、移動物体に関して得られた情報の質に影響を与える可能性がある。
【0010】
既存の立体画像キャプチャシステムの較正は、画像キャプチャシステムに含まれるカメラの内在（固有）パラメータと外在パラメータを推定する。例えば、カメラの内在（固有）パラメータには、センサ、レンズ、及び／又はカメラの他の構成要素に関する仕様が含まれ、外在パラメータには、カメラの地理的位置、環境条件等が含まれる。このように、既存の画像キャプチャシステムは、カメラの高感度かつ正確な較正を必要とする場合がある。さらに、このような画像キャプチャシステムは、所定の環境から画像データをキャプチャするためにカメラを配置する場所に関して制限される場合がある。
【0011】
本開示は、とりわけ、定義された環境においてレーダデータ及び画像データをキャプチャするように構成された１つ以上のレーダカメラユニットを含む方法及び／又はシステムに関するものでもよい。本開示に記載されるようなレーダデータと画像データの組み合わせは、既存の画像キャプチャシステムに対するカメラ較正の感度を低下させ、及び／又はカメラを較正する必要性を完全に除去することができる。追加的に又は代替的に、レーダカメラユニットは、定義された環境に関するより多くの画像データがキャプチャされ得るように、既存の画像キャプチャシステムよりも柔軟性をもって定義された環境内に配置することができる。
【0012】
いくつかの実施形態では、複数のカメラレーダユニットによってキャプチャされた画像データ及びレーダデータは、特定の位置及び角度における仮想カメラのカメラパラメータを推定するために使用されてもよい。仮想カメラの指定された位置及び角度に関連付けられた画像は、仮想カメラに関連付けられた推定カメラパラメータ、画像データ、及び／又はレーダデータに基づいて投影されてもよい。
【0013】
本開示の実施形態を、添付の図を参照して説明する。
【0014】
図１は、本開示による、定義された環境１２０に複数のカメラ及び複数のレーダを配置するための例示的なシステム１００を示す。環境１２０は、１つ以上のカメラレーダユニット１１０と、１つ以上の物体１３０と、及び／又は１つ以上のスポーツユーザ１３２～１３６と、を含んでもよい。カメラレーダユニット１１０の各々は、電磁パルス１１６を送信及び／又は受信するように構成されたカメラ１１２と、レーダユニット１１４と、を含んでもよい。カメラ１１２及びレーダユニット１１４は、物体１３０及び／又はスポーツユーザ１３２～１３６（総称して「移動物体」又は「複数の移動物体」）の特性を分析するために協働してもよい。複数のカメラレーダユニット１１０によってキャプチャされた画像データ及び／又はレーダデータは、１つ以上の仮想カメラ１４０をシミュレートするために使用することができる。
【0015】
各カメラレーダユニット１１０は、図４に関連してさらに説明されるように、プロセッサ４１０、メモリ４２０、及び通信ユニット４４０のような、プロセッサと、メモリと、通信装置と、を含んでもよい。カメラレーダユニット１１０の動作は、プロセッサによって制御されてもよく、プロセッサは、カメラレーダユニット１１０の他の各構成要素と通信していてもよい。カメラレーダユニット１１０の構成要素は、レーダユニット１１４によって取得されたレーダデータ及びカメラ１１２によって取得された画像データの一方又は両方を用いて協調的に動作し、移動物体の特性を分析することができる。カメラレーダユニット１１０の構成要素のいずれかが互いに通信していてもよく、例えば、レーダユニット１１４がカメラ１１２と通信していてもよく、カメラ１１２がメモリ及び通信装置などと通信していてもよい。さらに、カメラレーダユニット１１０は一体型装置として図示されているが、構成要素の１つ以上が分散されていてもよいし、複数の装置にわたっていてもよい。
【0016】
いくつかの実施形態では、システム１００は、定義された環境１２０における物体１３０及び／又はスポーツユーザ１３２～１３６の動きに関する画像データ及び／又はレーダデータを取得するように構成された少なくとも２つのカメラレーダユニット１１０を含んでもよい。いくつかの実施形態では、カメラレーダユニット１１０は、各カメラレーダユニット１１０が定義された環境１２０に面するように、定義された環境１２０の外側又は定義された環境１２０の周辺部に配置されてもよい。定義された環境１２０の外側又は周辺部にカメラレーダユニット１１０を配置することは、定義された環境１２０内の任意の所定の点において運動をキャプチャするためにより少ないカメラレーダユニット１１０が必要とされる場合に、カメラレーダユニット１１０の視野内により多くの移動物体をキャプチャすることを容易にすることができる。追加的に又は代替的に、カメラレーダユニット１１０は、定義された環境１２０内の任意の位置に配置することができる。
【0017】
カメラレーダユニット１１０は、システム１００に含まれる各カメラレーダユニット１１０が同じ移動物体への視線（line of sight）を有するように配置されてもよい。例えば、第１のカメラレーダユニット１１０ａ及び第２のカメラレーダユニット１１０ｂはそれぞれ、物体１３０及び／又は同じスポーツユーザ１３２～１３６に対する視線を有することができる。いくつかの実施形態では、同じ移動物体への視線を有する各カメラレーダユニット１１０は、所定の移動物体の同じ運動が複数の視点からキャプチャされるように、異なる角度から画像データ及び／又はレーダデータをキャプチャしてもよい。
【0018】
いくつかの定義された環境１２０は、障害物を通過して移動する所定の物体に関連するキャプチャされた画像データ及び／又はレーダデータが非連続的に見えるように、カメラレーダユニット１１０の１つ以上の視線を遮る障害物を含んでもよい。いくつかの実施形態では、障害物は、他の移動物体を含んでもよい。
【0019】
カメラレーダユニット１１０は、カメラレーダユニット１１０の移動物体への視線が部分的に又は完全に遮られている状況において、移動物体に関する運動情報を取得及び／又は推論するように配置されてもよい。いくつかの実施形態では、既存のカメラレーダユニット１１０の視野内の死角をカバーするために、追加のカメラレーダユニット１１０を配置することができる。追加的に又は代替的に、部分的に又は完全に遮蔽された移動物体の運動は、運動学的、動力学的、及び／又は弾道学的モデル化に基づいて、物体の遮蔽前に得られた運動データ及び物体の遮蔽後に得られた運動データに基づいて推測することができる。例えば、１つ以上のカメラレーダユニット１１０は、投球されたボールの動きに関連する画像データ及び／又はレーダデータを取得することができる。カメラレーダユニットとボールとの間の視線は、ある時間の間、壁によって遮られることがある。ボールが壁によって遮られる前後に取得されたボールの画像データ及び／又はレーダデータ、ならびに画像データ及び／又はレーダデータの取得タイミングは、ボールが壁によって遮られた持続時間中のボールの軌道（軌跡）を予測するために比較されてもよい。
【0020】
１つ以上のカメラレーダユニット１１０を含むいくつかの実施形態では、カメラレーダユニット１１０は、カメラレーダユニット１１０間の中間点で移動物体が検出されたときに、同じ移動物体に関連する得られた画像データ及び／又はレーダデータが位置ずれを含むように位置決めされてもよい。このように、カメラレーダユニット１１０の位置決めは、カメラレーダユニット１１０間の位置ずれを容易にするために、定義された環境１２０の境界に対して非対称であってもよい。カメラレーダユニットの位置決めにおける非対称性は、所定の物体及び／又はユーザに関連する運動データにおける追加的な次元性（例えば、定義された環境１２０のｘ軸、ｙ軸、及び／又はｚ軸に沿って）を得ることを容易にすることができる。
【0021】
いくつかの実施形態では、カメラレーダユニット１１０は、同じモジュール内で同位置に配置されたカメラ１１２及びレーダユニット１１４を含んでもよい。カメラ１１２とレーダユニット１１４を同じモジュール内で同位置に配置することで、所定の物体についてカメラ１１２によってキャプチャされた画像データとレーダユニット１１４によってキャプチャされたレーダデータとを同位置に配置することを容易にし、画像データとレーダデータの正確なペアリングを容易にすることができる。追加的に又は代替的に、カメラレーダユニット１１０は、カメラ１１２及びレーダユニット１１４のための別個のモジュールを含んでもよい。いくつかの実施形態では、カメラ１１２とレーダユニット１１４を別個に位置決めすることで、カメラレーダユニット１１０の視野（fields of view）が定義された環境１２０を完全にカバーするために必要なカメラレーダユニット１１０の数を減少させることができる。別個のカメラ及びレーダユニットを有する実施形態の場合、各カメラは、プロセッサ、メモリ、及び通信ユニットを含んでもよく、各レーダユニットも同様に、プロセッサ、メモリ、及び通信ユニットを含んでもよい。
【0022】
いくつかの実施形態では、カメラ１１２とレーダユニット１１４の視野は同じであってもよいし、異なっていてもよい。カメラ１１２の視野とレーダユニット１１４の視野が異なる場合、トリガ機構が作動して、画像がキャプチャされている限り、物体１３０及び／又はユーザ１３２～１３６がカメラ１１２の視野内に留まるようにすることができる。
【0023】
いくつかの実施形態では、カメラレーダユニット１１０は、指定されたフレームレートで画像データ及び／又はレーダデータを取得するように構成されてもよい。例えば、カメラレーダユニット１１０は、１秒に１回、１０秒に１回、３０秒に１回、１分に１回など、画像をキャプチャし、及び／又は、レーダデータをサンプリングするように構成されてもよい。カメラレーダユニット１１０のフレームレートを増加させると、移動物体の運動をモデル化する精度が向上し、及び／又は移動物体の運動に関するより詳細なキャプチャが容易になる可能性があり、一方、カメラレーダユニット１１０のフレームレートを減少させると、カメラレーダユニット１１０の電力消費が低減する可能性がある。これら及び他の実施形態では、カメラレーダユニット１１０のフレームレートは、ユーザ入力に基づいて指定されてもよい。追加的に又は代替的に、カメラレーダユニット１１０のフレームレートは、カメラレーダユニット１１０の動作に基づいてプロセッサによって制御されてもよい。例えば、特定のプロセッサは、特定のカメラレーダユニットによって取得される画像データ及び／又はレーダデータの量が不十分であると判断したことに応答して、特定のカメラレーダユニットのフレームレートを増加させるように構成されてもよい。この例では、特定のプロセッサは、プロセッサがエネルギーを節約すべきと判断する状況（例えば、特定のカメラレーダユニットにエネルギーを供給するバッテリーの残量が少なくなっている場合）において、特定のカメラレーダユニットのフレームレートを低下させるように構成されてもよい。
【0024】
カメラ１１２は、画像をキャプチャするように構成された任意の装置、システム、構成要素、又は構成要素の集合体を含んでもよい。図１を参照して各カメラレーダユニット１１０に関連して１つのカメラ１１２が図示されているが、任意の数のカメラを想定することができる。カメラ１１２は、例えば、レンズ、フィルタ、ホログラム、スプリッタなどの光学素子と、画像が記録される画像センサとを含んでもよい。このような画像センサは、入射光によって表される画像を電子信号に変換する任意の装置を含んでもよい。画像センサは、画素アレイ（例えば、画素素子のグリッド）に配列され得る複数の画素素子を含んでもよい。例えば、画像センサは、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）画像センサから構成されてもよい。画素アレイは、１：１、４：３、５：４、３：２、１６：９、１０：７、６：５、９：４、１７：６などのアスペクト比又は他の比率を有する二次元アレイを含んでもよい。画像センサは、光を画素アレイ上に集束させる様々な光学素子、例えばレンズと光学的に整列させることができる。例えば、８００万画素、１５００万画素、２０００万画素、５０００万画素、１００万画素、２００万画素、６００万画素、１０００万画素など、任意の画素数の画素を含むことができる。
【0025】
カメラ１１２は、特定のフレームレートで動作するか、又は所定の時間内に特定の数の画像をキャプチャすることができる。カメラ１１２は、毎秒約３０フレーム以上のフレームレートで動作してもよい。具体例では、カメラ１１２は、毎秒約１００フレームから約３００フレームの間のフレームレートで動作してもよい。いくつかの実施形態では、カメラ１１２がより高いフレームレートで動作することを可能にするために、ピクセルアレイ内の利用可能なピクセルのより少ないサブセットが使用されることがある。例えば、移動物体がピクセルアレイの特定の象限、領域、又は空間に位置することが知られているか、又は推定されている場合、画像をキャプチャする際にその象限、領域、又は空間のみが使用され、別の画像をキャプチャするためにより速いリフレッシュレートが可能になることがある。画素アレイ全体よりも少ない使用量で、より高い有効フレームレートを享受しながら、より安価なカメラの使用を可能にすることができる。
【0026】
カメラ１１２には、他の様々な構成要素も含まれることがある。このような構成要素には、フラッシュ又は他の光源、光拡散器、又は物体を照明するための他の構成要素などの１つ以上の照明機能が含まれ得る。いくつかの実施形態では、照明機能は、移動物体が画像センサに近接したとき、例えば、移動物体が画像センサから３メートル以内にあるときに、移動物体を照明するように構成されてもよい。
【0027】
カメラ１１２に移動物体の１つ以上の画像をキャプチャさせるために、任意の数の様々なトリガを使用することができる。非限定的な例として、カメラ１１２は、移動物体がカメラ１１２の視野内にあることが既知であるとき又は推定されるとき、移動物体が最初にその動きを開始又は変更するとき（例えば、野球のボールが投球されるとき、野球のボールが打球されるとき、ゴルフのボールが打球されるとき、テニスのボールがサーブされるとき、クリケットのボールがボーリングされるとき等）、移動物体が画素アレイ内の画素の先頭行で検出されるとき等にトリガされてもよい。トリガの別の例としては、反射マイクロ波のスペクトルにおける持続的なピークが考えられる。例えば、予想される移動物体周波数であることが知られている所定の周波数に、所定の時間、一貫してピークが存在する場合、これがトリガイベントとして作用することがある。
【0028】
いくつかの実施形態では、カメラ１１２は、画像がキャプチャされ得る視野を有してもよい。視野は、画素アレイに対応してもよい。いくつかの実施形態では、視野は、移動物体が視野内で限られた時間しか過ごさないように制限されてもよい。そのような実施形態では、カメラ１１２は、移動体が視野内にある間に画像をキャプチャするようにトリガされてもよい。移動体がカメラ１１２の視野内にある時間は、最適撮影時間枠と呼ばれることがある。いくつかの実施形態では、最適な撮影時間枠は、移動体全体のみが視野内にあるときを含んでもよいし、移動体の一部のみが視野内にあるときを含んでもよい。画像センサと移動物体との間の距離、照明機能によって提供され得る照明の量など、他の要因も最適な撮影時間枠に寄与することができる。例えば、最適な撮影時間枠は、移動体がカメラ１１２から３メートルから１メートルの距離を移動しているときに発生する可能性があり、これは、カメラ１１２のフラッシュが移動体に照明を提供する場所である可能性があるためである。
【0029】
レーダユニット１１４は、１つ以上のマイクロ波又は他の電磁波を移動物体に向けて送信し、送信されたマイクロ波が移動物体から反射して戻ってくる反射を受信するように構成された任意のシステム、構成要素、又は一連の構成要素を含んでもよい。レーダユニット１１４は、送信機と受信機とを含んでもよい。送信機は、アンテナを介して移動物体に向けてマイクロ波を送信してもよい。受信機は、移動物体から反射して戻ってきたマイクロ波を受信してもよい。レーダユニット１１４は、パルスドップラー、連続波ドップラー、周波数シフトキーイングレーダ、周波数変調連続波レーダ、又は当技術分野で知られている他のレーダ技術に基づいて動作することができる。反射されたマイクロ波の周波数シフトは、移動物体の半径方向の速度を導出するために、言い換えれば、移動物体がレーダユニット１１４に向かって移動している速度を測定するために、測定され得る。半径方向速度は、移動物体の速度、移動物体の速度、移動物体とレーダユニット１１４との間の距離、移動物体の周波数スペクトルなどを推定するために使用することができる。
【0030】
レーダユニット１１４はまた、様々な信号処理又は調整用構成要素のいずれかを含んでもよく、例えば、レーダユニット１１４は、移動物体及びレーダユニット１１４が使用されている状況に応じて、高周波数又は低周波数を増幅及び／又はフィルタリングすることによって信号対雑音比（ＳＮＲ）を増加させるためのアナログフロントエンド増幅器及び／又はフィルタを含んでもよい。いくつかの実施形態では、信号処理又は調整用構成要素は、低周波と高周波を分離してもよく、高周波を低周波とは別個独立に増幅及び／又はフィルタリングしてもよい。いくつかの実施形態では、物体の運動範囲は数メートルから数十メートルであることがあり、したがって、レーダ帯域幅は狭くてもよい。
【0031】
レーダユニット１１４は、物体がレーダの視野内にあるとき、又は物体が最初にレーダの視野に入ったときに、物体を最初に検出することができる。いくつかの実施形態では、レーダ信号は、予め決められた時間にわたって追尾される。予め決められた継続時間中のあるトリガポイントで、カメラ１１２がトリガされ、画像のキャプチャが開始される。
【0032】
いくつかの実施形態では、仮想カメラ１４０のうちの１つ以上は、カメラ１１２によってキャプチャされた画像データ及び／又はレーダユニット１１４によってキャプチャされたレーダデータに基づいて、目標位置及び角度でシミュレートされてもよい。画像データ及び／又はレーダデータは、重複する視野の１つ以上の領域を含む２つ又は複数のカメラレーダユニット１１０からキャプチャされてもよい。移動物体の運動は、移動物体の運動がカメラレーダユニット１１０のそれぞれに対応する位置及び角度からキャプチャされるように、２つ以上のカメラレーダユニット１１０によってキャプチャされてもよい。
【0033】
様々な位置及び角度からキャプチャされた画像データ及び／又はレーダデータは、複数のカメラレーダユニット１１０に対する仮想カメラ１４０に関連する外部パラメータの推定を容易にすることができる。例えば、ランドマーク、境界線、フィールドマーカ、及び／又は画像データの重複領域でキャプチャされた他の識別可能な特徴は、互いに対する及び／又はカメラレーダユニット１１０に対する相対的な仮想カメラ１４０の外部パラメータを推定するために使用することができる。いくつかの実施形態では、仮想カメラ１４０の推定された外部パラメータは、仮想カメラ１４０の位置及び角度からの仮想画像データの投影を容易にすることができる。
【0034】
図２Ａは、本開示による三次元運動表現２３０の生成に関連する例示的なシステム２００を示す図である。システム２００は、第１のセンサ装置２１０ａ、第２のセンサ装置２１０ｂ、及び最大Ｎ番目のセンサ装置２１０ｃなどの１つ以上のセンサ装置を含んでもよい。センサ装置２１０は、図１に関連して説明したカメラレーダユニット１１０と同じ又は類似の装置を含んでもよい。センサデータ２１５は、センサ装置２１０によって収集され、機械学習モデル２２０に送信されてもよい。機械学習モデル２２０は、取得されたセンサデータ２１５に基づいて、環境（例えば、定義された環境１２０）内の移動物体に関連する１つ以上の三次元運動表現２３０を出力するように構成及び訓練されてもよい。
【0035】
機械学習モデル２２０は、三次元運動表現２３０を出力するための訓練センサデータを使用して訓練され得る。いくつかの実施形態では、訓練センサデータは、三次元運動表現２３０が出力される環境（「解析環境」）よりも正確なデータ収集を含む訓練環境から収集された画像データ及び／又はレーダデータを含んでもよい。これら及び他の実施形態では、訓練環境においてデータを収集するように構成されたカメラの数及び／又はレーダユニットの数は、解析環境に含まれるカメラの数及び／又はレーダユニットの数よりも多くてもよい。例えば、訓練環境には、訓練環境内の移動物体に関する運動（モーション）データを収集するように配置された６台のカメラと６台のレーダユニットが含まれ、解析環境には３台のカメラと３台のレーダユニットが含まれる場合がある。訓練環境に含まれるカメラ及び／又はレーダユニットの数を増やすと、訓練環境内の移動物体に関するより正確な運動データの収集が容易になり、その結果、そのようなデータに基づいて訓練された機械学習モデル２２０の精度が向上する可能性がある。
【0036】
これらの実施形態及び他の実施形態において、訓練環境及び解析環境は、同じ定義された環境を含んでもよい。訓練環境に対応するカメラ及び／又はレーダユニットと、分析された環境に対応するカメラ及び／又はレーダユニットとは、カメラ及び／又はレーダユニットの各々が同じ時点で同じ移動物体に関する運動データをキャプチャするように、同じ定義された環境から運動データをキャプチャするように配置されてもよい。同じ時点で同じ移動物体に関する運動をキャプチャすることは、訓練と分析された運動データとの間により強い相関を提供することによって、機械学習モデル２２０の訓練効率を向上させる可能性がある。
【0037】
追加的又は代替的に、機械学習モデル２２０の画像データ認識特徴（aspect：アスペクト）及びレーダデータ認識特徴は、別々に訓練されてもよい。いくつかの実施形態では、機械学習モデル２２０の画像データ認識特徴は、１つ以上の移動物体を識別及び追尾するように訓練されてもよく、一方、機械学習モデル２２０のレーダデータ認識特徴は、移動物体の運動シグネチャ（例えば、スペクトルデータ）を識別するように訓練されてもよい。次に、機械学習モデル２２０は、画像データ及びレーダデータが収集された時間に基づいて、画像データ認識特徴とレーダデータ認識特徴を相関させて、三次元運動表現２３０を出力することができる。
【0038】
いくつかの実施形態において、本開示に従って訓練された機械学習モデル２２０は、訓練センサデータに含まれない新たな物体について三次元運動表現２３０を決定するように構成されてもよい。言い換えれば、機械学習モデル２２０は、訓練センサデータに含まれない物体についての三次元運動表現２３０を決定するように構成されてもよい。例えば、テニスラケット及びテニスボールの三次元運動をモデル化するように訓練された特定の機械学習モデルは、ピンポンパドル及びピンポンボールの三次元運動をモデル化することができる場合がある。別の例として、アスリートの身体運動をモデル化するように訓練された特定の機械学習モデルは、特定の機械学習モデルを訓練するために使用される画像データ及びレーダデータに含まれるユーザの特徴に関係なく、さまざまな身長、体重、体格、民族、性別などのアスリートに対応する身体運動をモデル化することができる場合がある。
【0039】
訓練後、機械学習モデル２２０は、画像データ及び／又はレーダセンサデータを含むセンサデータ２１５を取得し、１つ以上の三次元運動表現２３０を出力してもよい。いくつかの実施形態では、機械学習モデル２２０は、時間期間にわたる移動物体の画像データを時系列に並べ、時間期間にわたる移動物体の二次元の動きをモデル化するために、移動物体の運動表現（例えば、オプティカルフロー）を決定してもよい。時間にわたって収集された同じ移動物体に対応するレーダデータは、移動物体の三次元運動を決定しモデル化するために運動表現を適用することができる。いくつかの実施形態では、三次元運動表現２３０は、移動物体の速度解析、（例えば、人間のユーザ、人間の付属物などの）身体運動解析、又は物体の運動シミュレーションに使用されてもよい。
【0040】
機械学習モデル２２０は、定義された環境から取得されたセンサデータ２１５に基づいて、２つ以上の異なる移動物体を認識し、区別することができる。いくつかの実施形態では、機械学習モデル２２０は、センサデータ２１５に含まれる画像データに基づいて２つ以上の移動物体を識別するように構成されてもよい。機械学習モデル２２０は、識別された移動物体のそれぞれを、物理的に現実的な方法で、画像データと同じ時点でキャプチャされたセンサデータ２１５に含まれるレーダデータとマッチングさせるように構成されてもよい。例えば、第１の移動物体には第１の野球ボールが含まれ、第２の移動物体には第１の野球ボールよりも急な上向きの角度で投げられた第２の野球ボールが含まれる場合がある。機械学習モデル２２０は、第２の移動物体に対応するレーダデータ（例えば、周波数シグネチャ）が上方への移動を示す特性を含むべきであり、一方、第１の移動物体に対応するレーダデータがそのような特性を含むべきではないと判断してもよい。別の例として、第１の移動物体及び第２の移動物体は同じ軌道を横断するが、第１の移動物体は第２の移動物体よりも速い速度である場合がある。機械学習モデル２２０は、第１の移動物体に対応するレーダデータが、より速い速度を示す特性を含むべきであると判断し、それに応じて、レーダデータと、各移動物体に関連付けられた画像データとを対にする（ペアリングする）ことができる。
【0041】
いくつかの実施形態では、意図的に、又はレーダが検出する可能性のある複数の移動物体（例えば、視野内の他のボール、鳥、飛行機、人）が存在する可能性があるため、複数の移動物体が追尾される可能性がある。複数の移動物体が存在する場合、正しい移動物体を追尾することが困難な場合があるため、一例として、使用するレーダは、所定のビーム幅を有する狭ビームレーダとすることができる。移動物体がレーダのビーム内にある場合、移動物体は半径方向速度と等価なドップラー周波数を発生する。同時に追尾される移動物体には、投手の手、ボール、投手及び／又は打者の腕、バット又はゴルフクラブのスイングなどが含まれるが、これらに限定されない。
【0042】
検出は、信号対雑音比（ＳＮＲ）の計算に基づいてもよい。識別された周波数又は周波数は、近接性に基づいて、レーダ追尾（radar track）プールに格納された既存の予め決定されたレーダ追尾と関連付けられることがある。識別された周波数又は周波数が予め決定されたレーダ追尾に関連付けられるかどうかが評価され、関連付けがなされない可能性がある場合、新しいレーダ追尾が作成され、レーダ追尾プールに配置されてもよい。
【0043】
既存の追尾との関連があると判定された場合、予め関連付けられたレーダ追尾は、レーダ追尾プールに存在すると判定されることがある。各反復において、レーダ追尾データは、次に検出されると予想される周波数を予測するために使用されてもよい。あるレーダ追尾に対する検出が複数の反復で失敗した場合（例えば、複数の物体のうちの１つの物体の検出、又は複数の物体を互いに区別することに失敗した場合）、そのレーダ追尾はレーダ追尾プールから削除されてもよい。一方、レーダ追尾が失敗しなかった場合（例えば、複数の物体のグループから物体が検出された場合、又は複数の物体が互いに区別された場合）、レーダ追尾は更新され、後の関連付けのためにレーダ追尾プールに入力されることがある。
【0044】
いくつかの実施形態では、機械学習モデル２２０は、定義された環境における特定の移動物体の運動を選択的に追尾及び分析するように構成されてもよい。例えば、機械学習モデル２２０は、テニスの試合におけるテニスボールの動きのみを追尾することを示すユーザ入力を受信し、選手及び／又はテニスラケットの運動は無視されてもよい。これらの実施形態及び他の実施形態において、機械学習モデル２２０は、機械学習モデル２２０の訓練プロセス中に、画像認識訓練に基づいて特定の移動物体を認識するように構成されてもよい。
【0045】
いくつかの実施形態では、機械学習モデル２２０は、移動物体に関連付けられた画像データに基づいて移動物体の位置決めを追尾するように構成されてもよい。これらの実施形態及び他の実施形態において、移動物体に対応する運動データが収集される定義された環境は、定義された環境に対する移動物体の位置決めを決定するために機械学習モデル２２０によって参照され得る１つ以上のマーキングを含んでもよい。例えば、特定の定義された環境は、機械学習モデル２２０がバスケットボールの位置決めを追尾するために参照することができる、十分に線引きされた床のマーキングを含むバスケットボールコートを含んでもよい。この例では、バスケットボールの二次元位置の追尾は、バスケットボールの画像データとフロアマーキングの相対的な位置によって容易になり得る。バスケットボールの三次元運動をモデル化するためにバスケットボールの高さが必要とされる場合があり、そのような高さデータはバスケットボールに関連する収集されたレーダデータに基づいて決定される場合がある。
【0046】
いくつかの実施形態では、機械学習モデル２２０は、物体の移動中の任意の時点で移動物体の部分的及び／又は全体的な障害物を含む、移動物体に関連する運動データを追尾及び分析するように構成されてもよい。機械学習モデル２２０は、所定の移動物体に関連する画像データの切れ目を識別して、所定の移動物体の軌跡の任意の点において、所定の移動物体が部分的又は全体的に遮られているか否かを判定するように訓練されてもよい。いくつかの実施形態では、機械学習モデル２２０は、移動物体の運動学的、動的、及び／又は弾道モデル化に基づいて、移動物体の妨害の前後に収集された画像データ及び／又はレーダデータに基づいて、部分的又は全体的に遮られた移動物体の軌道を予測するように構成されてもよい。
【0047】
図２Ｂは、本開示によるセンサ装置２４０の図である。センサ装置２４０は、第１のセンサ装置２１０ａ、第２のセンサ装置２１０ｂ、及び／又はＮ番目のセンサ装置２１０ｃなど、図２Ａに図示されたセンサ装置のいずれかを表してもよい。センサ装置２４０は、カメラ入力２４２（例えば、画像データ）及び／又はレーダセンサ入力２４６（例えば、レーダデータ）を含んでもよい。いくつかの実施形態では、カメラ入力２４２は、画像前処理データ２４４を生成するために前処理されてもよく、及び／又はレーダセンサ入力２４６は、レーダ信号前処理データ２４８を生成するために前処理されてもよい。単一のセンサ装置として図示されているが、カメラ入力２４２及びレーダセンサ入力２４６は、各センサ装置がカメラ入力２４２のみ又はレーダセンサ入力２４６のみを含むように、別々のセンサ装置によって取得されてもよい。
【0048】
カメラ入力２４２及び／又はレーダセンサ入力２４６の前処理は、機械学習モデルにデータを提供する前に、取得された画像データ及び／又はレーダデータを分析及び修正することを含んでもよい。いくつかの実施形態では、カメラ入力２４２及び／又はレーダセンサ入力２４６の前処理は、誤ったデータを識別して除去することを含んでもよい。不可能なデータ値（例えば、レーダユニットによって検出された負の速度）、あり得ないデータ値、ノイズの多いデータなどを含む、センサ装置２４０によって取得された画像データ及び／又はレーダデータは、削除されたデータが機械学習モデルによって取得されないように、画像前処理２４４及び／又はレーダ信号前処理２４８中に削除されてもよい。追加的に又は代替的に、画像データ及び／又はレーダデータは、特定の時点でキャプチャされた画像が対応するレーダデータを持たない又はその逆である、欠損データ対を含む場合があり、そのような欠損データ対は、データ前処理中に削除される場合がある。これらの実施形態及び他の実施形態において、画像前処理２４４及び／又はレーダ信号前処理２４８は、機械学習モデルが前処理された画像データ及び／又はレーダデータを取得して分析することができるように、センサ装置２４０によって取得されたデータをフォーマットすることを含んでもよい。
【0049】
図３Ａは、本開示による物体の三次元運動表現を生成する例示的な方法３００のフローチャートである。方法３００は、任意の適切なシステム、装置、又は装置によって実行されてもよい。例えば、センサ装置２１０ａ～ｃ及び／又は機械学習モデル２２０は、方法３００に関連する動作の１つ以上を実行してもよい。離散的なブロックで図示されているが、方法３００のブロックの１つ以上に関連するステップ及び動作は、特定の実装に応じて、追加のブロックに分割されてもよく、より少ないブロックに組み合わされてもよく、又は排除されてもよい。
【0050】
方法３００は、移動物体に関連する画像データをキャプチャすることができるブロック３１０で開始されてもよい。いくつかの実施形態では、画像データは、図１に関連して上述したようなカメラレーダユニット１１０のカメラ１１２等のカメラによってキャプチャされてもよい。これらの実施形態及び他の実施形態では、レーダユニットの視野内で移動物体が検出されることがあり、これがトリガとなってカメラが移動物体の撮影を開始することがある。予め決められた追尾条件が満たされると、カメラは撮影を開始するトリガとなる。一例では、投球されたボールがレーダの視野に入ることが撮影開始のトリガとなる。同時に、ボールを投げる手の動きが検出され、したがって、ボールの動きは、入射物体及び出射物体の両方として追尾される可能性がある。追加的又は代替的な例では、撮影を開始するトリガは、ティーから打ったときのボールの動きを識別することであってもよい。この例では、手の振りからのレーダ信号が検出され、その結果、カメラがトリガされる。
【0051】
追加的な又は代替的な例では、撮影開始のトリガは手のスイングの検出であってもよい。例えば、バットやゴルフクラブなどをスイングしているユーザの手が見えるように、カメラレーダユニットを三脚に設置することができる。手のスイングを追尾し、カメラをトリガして写真撮影を開始することができる。追加的な又は代替的な例では、手のスイングを追尾し、閾値パラメータ（振幅、速度など）が満たされるまで、スイングデータを予め定義されたマスクと相関させることができる。相関信号は時間領域基準信号であってもよい。
【0052】
いくつかの実施形態では、カメラがトリガされて撮影を開始すると、システムはＮ枚の写真を撮影することができ、Ｎは、ユーザによって予め決定され、システムが以前の撮影ラウンドに基づいて計算し、製造によって決定され、及び／又は撮影される写真の枚数を変更し得る任意の数の条件によって決定される。
【0053】
単一のカメラの使用を含むいくつかの場合では、関係する物体の形状やサイズの事前の知識、例えば、物体がゴルフボールやフットボールではなく野球のボールであって、およその直径が２．５インチであることを予め知ることは有用である。複数のカメラ（例えば、ステレオカメラシステム）の使用を含むいくつかのケースでは、関係する物体の形状やサイズの知識は必要ないかもしれないが、データを予め提供することができれば、処理をスピードアップすることができる。
【0054】
いくつかの実施形態では、静的な背景（例えば、静的な野球場環境を横切る打球の動き）に対して物体が動いている又は動くであろうという、運動によるトリガ機構に基づく事前の知識が利用可能であってもよい。したがって、一例では、一連の撮影された写真の最初の写真を背景画像として使用し、最初の背景写真から後続の各写真の画像を減算することによって、関係する物体を検出することができる。減算操作の後に、ノイズを除去するために閾値処理及び／又はフィルタを適用することにより、背景に対する物体を検出することができる。
【0055】
別の実施形態では、一連の写真から「開始」画像として最初に写真を選択することによって、写真内の物体を検出することが可能になる場合がある。その後、「開始」写真の前に発生した写真と「開始」写真の後に発生した写真から、写真からの画像が減算される。異なる写真が乗算され、前後の画像に共通する写真の部分が強調される。この乗算の結果、各写真の中で移動物体が発見できる対象領域がさらに強調される。移動物体が明確に定義された特徴（例えば、円形、楕円形など）を有する場合、予め知られているパターンを用いたパターンマッチングにより、画像内の移動物体の判定が容易になる場合がある。
【0056】
別の実施形態では、物体の検出は、既知のパラメータを使用してパラメータ化され得る物体に対してハフ（Hough）変換を使用することをさらに含んでもよい。例えば、円は３つのパラメータ（すなわち、半径、円の中心の水平位置及び垂直位置）を有し、楕円は４つのパラメータ（すなわち、長軸、短軸、楕円の中心の水平位置及び垂直位置）を有する。移動物体が複数の画像内に存在することが検出されると、関係するパラメータが配列に格納され、各エントリは、移動物体の経路を追尾するのに役立つタイムスタンプ（例えば、システム１００の内部クロック又は別のタイミング装置を使用）を有してもよい。
【0057】
ブロック３２０では、画像データがキャプチャされたのと同じ移動物体に関連するレーダデータが取得されてもよい。いくつかの実施形態では、レーダデータは、図１に関連して上述したカメラレーダユニット１１０のレーダユニット１１４などのレーダユニットによってキャプチャされてもよい。いくつかの実施形態では、レーダデータは、同相成分（又はＩチャンネル）と直交成分（又はＱチャンネル）の２つのアナログ成分を含むことがある。同相成分と直交成分を一緒にすると、複素信号ｓ（ｔ）が形成される。
【式１】
【0058】
【0059】
生データはカメラ座標系でキャプチャされることがあるが、ワールド座標系に変換する必要がある。ワールド座標系は、例えば、球座標又はデカルト座標である。データをワールド座標系に変換するには、カメラの位置と向きを使用して、カメラからワールド座標への変換行列
を作成する。カメラからワールド座標への変換行列は、カメラからの任意のベクトルを選択されたワールド座標系に変換するために使用される、関連する回転及び平行移動を含む４×４行列であってもよい。ワールド座標のベクトルは、以下の式で求めることができる。
【式２】
【0060】
【0061】
半径
を有する規則的な形状の物体（野球ボール、ゴルフボール）の場合、カメラ基準フレームにおける球座標
は次のように与えられる。
【式３】
【0062】
【式４】
【0063】
【式５】
【0064】
【0065】
移動物体の軌道が推定され、推定された軌道から関係するパラメータが計算されてもよく、関係するパラメータには、速度、速度、回転、回転軸、回転速度、垂直仰角、方位角、軌道、解放角などが含まれる。
【0066】
ブロック３３０において、各画像データは、図３Ｂに関連して以下でさらに詳細に説明するように、同じ移動物体に関連する対応するレーダデータと対にされてもよい。ブロック３４０において、図３Ｂに関連して以下でさらに詳細に説明されるように、対にされた画像データ及びレーダデータに基づいて、移動物体の１つ以上の三次元運動表現が生成されてもよい。
【0067】
本開示の範囲から逸脱することなく、方法３００に修正、追加、又は省略を加えることができる。例えば、記載された態様における異なる要素の指定は、本明細書に記載された概念の説明を助けるためのものであり、限定するものではない。さらに、方法３００は、任意の数の他の要素を含んでもよいか、又は記載されたもの以外のシステム又はコンテキスト内で実施され得る。
【0068】
図３Ｂは、本開示による、各画像データを対応するレーダデータと対にするための方法３００のブロック３３０及び３４０における動作を実行する例示的な方法のフローチャートである。例示の方法は、任意の適切なシステム、装置、又は装置によって実行されてもよい。例えば、センサ装置２１０ａ～ｃ及び／又は機械学習モデル２２０は、ブロック３３０及び３４０における操作に関連する操作のうちの１つ又は複数を実行してもよい。離散的なブロックで図示されているが、ブロック３３０及び３４０の１つ又は複数に関連する操作は、特定の実装に応じて、追加のブロックに分割されてもよく、より少ないブロックに結合されてもよく、又は排除されてもよい。
【0069】
ブロック３３２では、画像データを時系列的に整理することができる。カメラによって収集された移動物体に関連する画像データは、画像がいつキャプチャされたかを示すタイムスタンプを含んでもよい。いくつかの実施形態では、カメラは、タイムスタンプが決定され得る内部クロックを含んでもよい。追加的に又は代替的に、カメラは、最初の画像に時間ゼロのタイムスタンプ（「ｔ０」）が割り当てられ、後続の画像にカメラのフレームレートと前の画像のタイムスタンプに基づいてタイムスタンプが割り当てられる相対的なタイムスタンプを決定してもよい。例えば、１Ｈｚのフレームレートを含む特定のカメラは、２番目の画像に対応するタイムスタンプが１秒の時間を示し、３番目の画像に対応するタイムスタンプが２秒の時間を示し、１０番目の画像に対応するタイムスタンプが９秒の時間を示すように、１秒につき１枚の画像をキャプチャすることができる。
【0070】
ブロック３３４では、画像データに基づいて、１つ以上の移動物体の運動表現が生成されてもよい。運動表現は、移動物体のオプティカルフロー、オプティカルトラッキング、画像セグメンテーション及びトラッキング等を決定するための画像データの前処理を含んでもよい。例えば、オプティカルフローは、時系列に整理された画像データに基づいて生成されてもよい。時系列に並べられた移動物体の画像は、オプティカルフローに含まれる最初の画像に関連付けられたタイムスタンプと、オプティカルフローに含まれる最後の画像に関連付けられたタイムスタンプとに基づいて、時間期間にわたる移動物体の二次元軌跡を表す単一の画像として照合されてもよい。
【0071】
ブロック３３６では、画像データと同じ期間に収集されたレーダデータが識別されることがある。レーダユニットによって収集された移動物体に関連するレーダデータは、レーダデータがいつキャプチャされたかを示すタイムスタンプを含む場合がある。いくつかの実施形態では、レーダユニットは、タイムスタンプを決定できる内部クロックを含んでもよい。追加的又は代替的に、レーダユニットは、最初のレーダデータに時間ゼロ（「ｔ０」）のタイムスタンプが割り当てられ、後続のレーダデータにレーダユニットのフレームレート及び前のレーダデータのタイムスタンプに基づいてタイムスタンプが割り当てられる相対タイムスタンプを決定してもよい。
【0072】
ブロック３３８では、識別されたレーダデータを移動物体の二次元運動表現に適用して、移動物体の三次元運動表現を生成することができる。レーダデータを二次元運動表現に適用することにより、二次元運動表現によって以前は除外されていた、三次元で移動物体を記述する情報を提供することができる。いくつかの実施形態では、各レーダデータは、一致するタイムスタンプを有する、対応する画像と対にすることができる。追加的に又は代替的に、単一のレーダデータが一致する対応画像を持たない状況では、単一のレーダデータは、単一のレーダデータのキャプチャ前のタイムスタンプを含む第１の隣接する画像と、単一のレーダデータのキャプチャ後のタイムスタンプを含む第２の隣接する画像との、移動物体の運動表現における２つ以上の対応する隣接する画像と対にされることがある。
【0073】
本開示の範囲から逸脱することなく、ブロック３３０における動作に修正、追加、又は省略を行うことができる。例えば、記載された態様における異なる要素の指定は、本明細書に記載された概念の説明を助けるためのものであり、限定するものではない。さらに、ブロック３３０における動作は、任意の数の他の要素を含んでもよいか、又は記載されたもの以外の他のシステム又はコンテキスト内で実施され得る。
【0074】
図４は、本開示において説明される少なくとも１つの実施形態による、例示的な演算システム４００を示す。演算システム４００は、プロセッサ４１０と、メモリ４２０と、データ記憶装置４３０と、及び／又は通信ユニット４４０と、を含んでもよく、これら全ては通信可能に結合されてもよい。図２Ａのセンサ装置２１０ａ～２１０ｃのいずれか又はすべてが、演算システム４００と一致する演算システムとして実装されてもよい。
【0075】
一般に、プロセッサ４１０は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む任意の適切なコンピュータ、コンピューティングエンティティ、又は処理装置を含むことができ、任意の適用可能なコンピュータ読み取り可能記憶媒体に記憶された命令を実行するように構成されることができる。例えば、プロセッサ４１０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈及び／もしくは実行し、及び／もしくはデータを処理するように構成された任意の他のデジタル回路もしくはアナログ回路を含んでもよい。
【0076】
図４では単一のプロセッサとして図示されているが、プロセッサ４１０は、本開示において説明される任意の数の動作を個々に又は集合的に実行するように構成される、任意の数のネットワーク又は物理的位置に分散された任意の数のプロセッサを含んでもよいことが理解される。いくつかの実施形態において、プロセッサ４１０は、メモリ４２０、データ記憶装置４３０、又はメモリ４２０及びデータ記憶装置４３０に記憶されたプログラム命令を解釈及び／又は実行し、及び／又はデータを処理することができる。いくつかの実施形態において、プロセッサ４１０は、データ記憶装置４３０からプログラム命令をフェッチし、プログラム命令をメモリ４２０にロードしてもよい。
【0077】
プログラム命令がメモリ４２０にロードされた後、プロセッサ４１０は、図３Ａの方法３００を実行する命令などのプログラム命令を実行してもよい。例えば、プロセッサ４１０は、移動物体に関連する画像データをキャプチャし、同じ移動物体に関連するレーダデータをキャプチャし、各画像データを対応するレーダデータと対にし、及び／又は移動物体の１つ以上の三次元運動表現を生成してもよい。
【0078】
メモリ４２０及びデータ記憶装置４３０は、コンピュータ実行可能な命令又はデータ構造を担持又はその上に記憶させるためのコンピュータ読み取り可能記憶媒体又は１つ以上のコンピュータ読み取り可能記憶媒体を含んでもよい。そのようなコンピュータ読み取り可能記憶媒体は、プロセッサ４１０などのコンピュータによってアクセスされ得る任意の利用可能な媒体であってもよい。例えば、メモリ４２０及び／又はデータ記憶装置４３０は、取得された画像データ及び／又はレーダデータを記憶することができる。いくつかの実施形態では、演算システム４００は、メモリ４２０及びデータストレージ４３０のいずれかを含んでもよく、含まなくてもよい。
【0079】
限定ではなく一例として、このようなコンピュータ読み取り可能記憶媒体には、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ装置（例えば、ソリッドステートメモリ装置）、又はコンピュータ実行可能命令又はデータ構造の形態で所望のプログラムコードを伝送又は記憶するために使用され、コンピュータによってアクセス可能な他の任意の記憶媒体。上記の組み合わせも、コンピュータ読み取り可能記憶媒体の範囲に含まれ得る。コンピュータ実行可能命令には、例えば、プロセッサ４１０に特定の動作又は動作群を実行させるように構成された命令及びデータを含めることができる。
【0080】
通信ユニット４４０は、ネットワークを介して情報を送受信するように構成された任意の構成要素、装置、システム、又はそれらの組み合わせを含んでもよい。いくつかの実施形態では、通信ユニット４４０は、他の場所、同じ場所、又は同じシステム内の他の構成要素にある他の装置と通信することができる。例えば、通信ユニット４４０は、モデム、ネットワークカード（無線又は有線）、光通信装置、赤外線通信装置、無線通信装置（アンテナなど）、及び／又はチップセット（Ｂｌｕｅｔｏｏｔｈ（登録商標）装置、８０２．６装置（例えば、メトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉ（登録商標）装置、ＷｉＭａｘ（登録商標）装置、セルラー通信設備など）、及び／又はこれらを含んでもよい。通信ユニット４４０は、ネットワーク及び／又は本開示において説明される任意の他の装置もしくはシステムとデータを交換することを可能にし得る。例えば、通信ユニット４４０は、システム４００が、コンピューティング装置及び／又は他のネットワークなどの他のシステムと通信することを可能にしてもよい。
【0081】
当業者は、本開示を検討した後、本開示の範囲から逸脱することなく、システム４００に修正、追加、又は省略がなされ得ることを認識し得る。例えば、システム４００は、明示的に図示及び説明された構成要素よりも多い又は少ない構成要素を含んでもよい。
【0082】
本開示に記載の実施形態は、様々なコンピュータハードウェア又はソフトウェアモジュールを含むコンピュータの使用を含んでもよい。さらに、本開示において説明される実施形態は、コンピュータ実行可能な命令又はデータ構造を担持するか、又はその上に記憶されたコンピュータ実行可能な命令又はデータ構造を有するためのコンピュータ読み取り可能媒体を使用して実施され得る。
【0083】
本開示及び特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）において使用される用語は、一般に「開放用語」として意図される（例えば、用語「含む」は、「含むが、これらに限定されない」と解釈されるべきである）。
【0084】
さらに、導入されたクレームの引用の特定の数が意図される場合、そのような意図はクレーム内に明示的に記載され、そのような記載がない場合、そのような意図は存在しない。例えば、理解の一助として、以下の添付の特許請求の範囲には、特許請求の範囲の記載を導入するために「少なくとも１つ」及び「１つ以上」という導入句の用法が含まれる場合がある。しかしながら、このような語句の使用は、不定冠詞「ａ」又は「ａｎ」による請求項の繰り返しの導入が、そのような導入された請求項の繰り返しを含む特定の請求項を、そのような繰り返しを１つだけ含む実施形態に限定することを意味すると解釈されるべきではなく、たとえ同じ請求項が、導入語句「１つ以上」又は「少なくとも１つ」や、「ａ」又は「ａｎ」などの不定冠詞（例えば、「ａ」及び／又は「ａｎ」は、「少なくとも１つ」又は「１つ以上」を意味すると解釈されるべきである）を含むとしても、特許請求の範囲の記載を導入するために使用された定冠詞の使用においても同様である。
【0085】
加えて、導入された請求項の特定の回数が明示的に記載されている場合であっても、当業者であれば、そのような記載は、少なくとも記載された回数を意味するものと解釈されるべきであることを認識するであろう（例えば、他の修飾語句を伴わない「２つの記載」という裸の記載は、少なくとも２つの記載、又は２つ以上の記載を意味する）。さらに、「Ａ、Ｂ、及びＣなどのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣなどのうちの１つ以上」に類似する慣用句が使用される場合、一般的に、このような構文は、Ａ単独、Ｂ単独、Ｃ単独、ＡとＢがともに、ＡとＣがともに、ＢとＣがともに、又はＡ、Ｂ、及びＣがともに、などを含むことを意図している。
【0086】
さらに、本明細書、特許請求の範囲、又は図面のいずれにおいても、２つ以上の代替的な用語に先行する任意の接続詞又は語句は、用語の一方、用語のいずれか一方、又は用語の両方を含む可能性を想定していると理解されるべきである。例えば、「Ａ又はＢ」という語句は、「Ａ」又は「Ｂ」、あるいは「Ａ及びＢ」の可能性を含むと理解すべきである。
【0087】
本開示において援用される全ての例及び条件文は、読者が本開示及び本技術をさらに発展させるために本発明者によって貢献された概念を理解するのを助けるための教育的目的のために意図され、そのような具体的に援用された例及び条件に限定されないものとして解釈される。本開示の実施形態を詳細に説明したが、本開示の精神及び範囲から逸脱することなく、様々な変更、置換、及び改変を行うことができる。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【国際調査報告】