特開 2025-22798 マークされた物体のスピン推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025022798

(43)【公開日】2025-02-14

(54)【発明の名称】マークされた物体のスピン推定

(51)【国際特許分類】

   G06T 7/20 20170101AFI20250206BHJP

   G06T 7/194 20170101ALI20250206BHJP

   G06T 7/00 20170101ALI20250206BHJP

【ＦＩ】

G06T7/20

G06T7/194

G06T7/00 350C

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024121006

(22)【出願日】2024-07-26

(31)【優先権主張番号】18/230,109

(32)【優先日】2023-08-03

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】524283279

【氏名又は名称】ラプソード プライベート リミティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】ボタン イルディリム

(72)【発明者】

【氏名】サム ウィットコム

(72)【発明者】

【氏名】バトゥハン オカー

(72)【発明者】

【氏名】アリ エロル

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA05

5L096CA14

5L096CA17

5L096EA03

5L096EA13

5L096EA15

5L096EA28

5L096EA39

5L096EA43

5L096FA34

5L096FA35

5L096FA62

5L096FA69

5L096GA10

5L096GA22

5L096GA34

5L096GA51

5L096HA02

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】スピン推定システムは、画像キャプチャセンサであって、画像キャプチャセンサの視野内の物体の画像をキャプチャするように位置付けられ、構成される、画像キャプチャセンサを含み得る。
【解決手段】スピン推定システムは、物体のスピン特性を分析するために１つ以上の動作を実行するように構成され得る。動作は、物体の最小スピン運動に対応する画像キャプチャフレームレートを設定することと、物体の外面上に向きマーカを印刷することと、設定された画像キャプチャフレームレートで画像キャプチャセンサによって、物体の運動を開始した後に物体の画像をキャプチャすることとを含み得る。動作は、各画像内の物体を分離して、分離された物体画像を生成することを含み得る。動作は、分離された物体画像に基づいて、物体マーカセグメンテーションマップを生成することを含み得る。スピンレートおよびスピン軸は、深層学習手法を使用して物体マーカセグメンテーションマップに基づいて推定され得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

方法であって、
物体の最小スピン運動に対応する画像キャプチャフレームレートを設定することと、
向きマーカを前記物体の外面に印刷することと、
前記物体の運動を開始した後に、前記物体の前記最小スピン運動に対応する前記設定された画像キャプチャフレームレートを有する画像キャプチャセンサによって、前記物体の複数の画像をキャプチャすることと、
前記複数の画像の各画像内の前記物体を分離して、複数の分離された物体画像を生成することと、
前記複数の分離された物体画像に基づいて、物体マーカセグメンテーションマップを生成することと、
前記物体マーカセグメンテーションマップに基づいて、スピンレートおよびスピン軸を推定することと、
を含む、方法。

【請求項2】

前記画像キャプチャフレームレートは、少なくとも毎秒２００フレームに設定される、請求項１に記載の方法。

【請求項3】

前記物体の前記外面上の前記向きマーカは、前記物体の前記外面上に重ねられた３次元直方体モデルに従って生成され、前記３次元直方体モデルの各面は、前記３次元直方体モデルの他の各面に対して一意のマーカパターンを含む、請求項１に記載の方法。

【請求項4】

前記３次元直方体モデルの前記面に含まれる各マーカパターンは、回転非対称である、請求項３に記載の方法。

【請求項5】

前記複数の画像の各画像内の前記物体を分離することは、前記複数の画像の各画像内に含まれる背景をフィルタリングするマスクを各画像に適用することを含む、請求項１に記載の方法。

【請求項6】

前記物体マーカセグメンテーションマップを生成することは、
前記複数の分離された物体画像に含まれる各分離された物体画像を２値化することと、
連続する２値化された物体マップの対を生成することと、を含む、請求項１に記載の方法。

【請求項7】

前記スピンレートおよび前記スピン軸を推定することは、
連続する２値化された物体マップの各対に対応する物体スピンを推定することと、
前記推定物体スピンのうちの１つ以上を外れ値スピン推定として識別することと、
前記外れ値スピン推定として識別されない前記推定物体スピンを前記推定スピンレートとして統合することと、
前記推定スピンレートに基づいて、前記スピン軸を推定することと、を含む、請求項６に記載の方法。

【請求項8】

連続する２値化された物体マップの各対に対応する前記物体スピンを推定することは、前記連続する２値化された物体マップの対を、物体スピンに従って注釈付けされた複数の現実世界画像またはシミュレーション環境において生成された複数の物体画像を使用して訓練された深層学習アルゴリズムに入力することを含む、請求項７に記載の方法。

【請求項9】

連続する２値化された物体マップの各対に対応する前記物体スピンを推定することは、順方向の連続する２値化された物体マップの各対に対応する第１の物体スピンを推定することと、逆方向の連続する２値化された物体マップの各対に対応する第２の物体スピンを推定することとを含む、請求項７に記載の方法。

【請求項10】

実行されたことに応答して、システムに動作を実行させる命令を記憶するように構成された１つ以上の非一時的コンピュータ可読記憶媒体であって、前記動作は、
物体の最小スピン運動に対応する画像キャプチャフレームレートを設定することと、
向きマーカを前記物体の外面に印刷することと、
前記物体の運動を開始した後に、前記物体の前記最小スピン運動に対応する前記設定された画像キャプチャフレームレートを有する画像キャプチャセンサによって、前記物体の複数の画像をキャプチャすることと、
前記複数の画像の各画像内の前記物体を分離して、複数の分離された物体画像を生成することと、
前記複数の分離された物体画像に基づいて、物体マーカセグメンテーションマップを生成することと、
前記物体マーカセグメンテーションマップに基づいて、スピンレートおよびスピン軸を推定することと、
を含む、１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項11】

前記画像キャプチャフレームレートは、少なくとも毎秒２００フレームに設定される、請求項１０に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項12】

前記物体の前記外面上の前記向きマーカは、前記物体の前記外面上に重ねられた３次元直方体モデルに従って生成され、前記３次元直方体モデルの各面は、前記３次元直方体モデルの他の各面に対して一意のマーカパターンを含む、請求項１０に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項13】

前記３次元直方体モデルの前記面に含まれる各マーカパターンは、回転非対称である、請求項１２に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項14】

前記複数の画像の各画像内の前記物体を分離することは、前記複数の画像の各画像内に含まれる背景をフィルタリングするマスクを各画像に適用することを含む、請求項１０に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項15】

前記物体マーカセグメンテーションマップを生成することは、
前記複数の分離された物体画像に含まれる各分離された物体画像を２値化することと、
連続する２値化された物体マップの対を生成することと、を含む、請求項１１に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項16】

前記スピンレートおよび前記スピン軸を推定することは、
連続する２値化された物体マップの各対に対応する物体スピンを推定することと、
前記推定物体スピンのうちの１つ以上を外れ値スピン推定として識別することと、
前記外れ値スピン推定として識別されない前記推定物体スピンを前記推定スピンレートとして統合することと、
前記推定スピンレートに基づいて、前記スピン軸を推定することと、を含む、請求項１５に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項17】

連続する２値化された物体マップの各対に対応する前記物体スピンを推定することは、前記連続する２値化された物体マップの対を、物体スピンに従って注釈付けされた複数の現実世界画像またはシミュレーション環境において生成された複数の物体画像を使用して訓練された深層学習アルゴリズムに入力することを含む、請求項１６に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項18】

連続する２値化された物体マップの各対に対応する前記物体スピンを推定することは、順方向の連続する２値化された物体マップの各対に対応する第１の物体スピンを推定することと、逆方向の連続する２値化された物体マップの各対に対応する第２の物体スピンを推定することとを含む、請求項１６に記載の１つ以上の非一時的コンピュータ可読記憶媒体。

【請求項19】

スピン推定システムであって、
画像キャプチャセンサであって、前記画像キャプチャセンサの視野内の物体の画像をキャプチャするように位置付けられ、構成される、画像キャプチャセンサと、
１つ以上のプロセッサと、
実行されたことに応答して、前記スピン推定システムに動作を実行させる命令を記憶するように構成された１つ以上の非一時的コンピュータ可読記憶媒体と、を備え、前記動作は、
前記物体の最小スピン運動に対応する画像キャプチャフレームレートを設定することと、
向きマーカを前記物体の外面に印刷することと、
前記物体の運動を開始した後に、前記物体の前記最小スピン運動に対応する前記設定された画像キャプチャフレームレートを有する前記画像キャプチャセンサによって、前記物体の複数の画像をキャプチャすることと、
前記複数の画像の各画像内の前記物体を分離して、複数の分離された物体画像を生成することと、
前記複数の分離された物体画像に基づいて、物体マーカセグメンテーションマップを生成することと、
前記物体マーカセグメンテーションマップに基づいて、スピンレートおよびスピン軸を推定することと、
を含む、スピン推定システム。

【請求項20】

前記物体の前記外面上の前記向きマーカは、前記物体の前記外面上に重ねられた３次元直方体モデルに従って生成され、前記３次元直方体モデルの各面は、前記３次元直方体モデルの他の各面に対して一意のマーカパターンを含み、
前記３次元直方体モデルの前記面に含まれる各マーカパターンは、回転非対称である、
請求項１９に記載のスピン推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、マークされた物体のスピン推定に関する。

【背景技術】

【0002】

移動物体は、その位置、発射速度、発射角度、スピンレート、スピン軸、および他の環境要因などの移動物体の特性によって表すことができる。移動物体は、ボールなどのスポーツで使用される物体を含んでもよい。移動物体の特性を評価することは、移動物体に作用する抗力および揚力に関する情報を提供することができ、これは移動物体の飛行経路への洞察を提供することができる。

【0003】

本開示において特許請求される主題は、任意の欠点を解決する実施形態、または上述したような環境においてのみ動作する実施形態に限定されない。むしろ、この背景は、本開示で説明されるいくつかの実施形態が実施され得る１つの例示的な技術領域を示すために提供されるにすぎない。

【発明の概要】

【0004】

一実施形態の一態様によれば、スピン推定システムは、画像キャプチャセンサであって、画像キャプチャセンサの視野内の物体の画像をキャプチャするように位置付けられ、構成される、画像キャプチャセンサを含み得る。スピン推定システムは、物体のスピン特性を分析するために１つ以上の動作を実行するように構成され得る。動作は、物体の最小スピン運動に対応する画像キャプチャフレームレートを設定することと、物体の外面上に向きマーカを印刷することと、設定された画像キャプチャフレームレートで画像キャプチャセンサによって、物体の運動を開始した後に物体の画像をキャプチャすることとを含み得る。動作は、各画像内の物体を分離して、分離された物体画像を生成することを含み得る。動作は、分離された物体画像に基づいて、物体マーカセグメンテーションマップを生成することを含み得る。スピンレートおよびスピン軸は、物体マーカセグメンテーションマップに基づいて推定され得る。

【0005】

実施形態の目的および利点は、少なくとも、特許請求の範囲において特に指摘される要素、特徴、および組合せによって実現および達成される。上記の一般的な説明および以下の詳細な説明の両方は、説明のためのものであり、特許請求される本発明を限定するものではないことが理解されるべきである。

【図面の簡単な説明】

【0006】

例示的な実施形態は、添付の図面を通して追加の具体性および詳細とともに記載および説明される。

【図1A】本開示の少なくとも１つの実施形態による、スピン推定システムを含む環境の例示的な実施形態を示す。

【図1B】本開示の少なくとも１つの実施形態による、スピン推定システムを含む環境の例示的な実施形態の第２の図を示す。

【図2】本開示の少なくとも１つの実施形態による、スピン推定システムの背面図および正面図を示す。

【図3A】本開示の少なくとも１つの実施形態による、スピン推定システムによって観察された物体の３次元モデルおよび物体に対応する３次元直方体モデルを示す。

【図3B】本開示の少なくとも１つの実施形態による、３次元直方体モデルに基づくテクスチャ付き直方体を示す。

【図3C】本開示の少なくとも１つの実施形態による、テクスチャ付き直方体に基づく開かれたマーカテクスチャを示す。

【図3D】本開示の少なくとも１つの実施形態による、個々のマーカパターンを示す。

【図4A】本開示の少なくとも１つの実施形態による、テクスチャ付き物体の例を示す。

【図4B】本開示の少なくとも１つの実施形態による、テクスチャ付き物体に対応する２値マップの例を示す。

【図4C】本開示の少なくとも１つの実施形態による、テクスチャ付き物体の所与の画像を強化するために実行され得る動作を示す。

【図5】本開示の少なくとも１つの実施形態による、スピン推定システムに関連する動作のフロー図である。

【図6】本開示の少なくとも１つの実施形態による、スピン推定システムに関連する動作を実行するように構成されたニューラルネットワークのフロー図である。

【図7】本開示の少なくとも１つの実施形態による、スピン推定システムに含まれるリファイナアルゴリズムのフロー図である。

【図8】本開示の少なくとも１つの実施形態による、スピン推定システムに含まれる画像強化アルゴリズムのフロー図である。

【図9】本開示の少なくとも１つの実施形態による、スピン推定を実行する例示的な方法のフローチャートである。

【図10】例示的なコンピュータシステムである。

【発明を実施するための形態】

【0007】

３次元空間内での飛行中に物体の軌道を測定することは、飛行中の物体の発射速度、発射角度、スピンレート、スピン軸、または任意の他の弾道特性などの移動関連特性、および／または環境要因に依存し得る。抗力または揚力など、飛行中に物体に作用する力は、物体の移動関連特性によって影響を受ける可能性がある。したがって、そのような移動関連特性の正確な測定は、物体の移動の改善された推定および／またはモデリングを容易にすることができる。しかしながら、物体は高速で移動する場合があり、これにより、物体に関する正確な詳細をキャプチャし、物体の移動関連特性をリアルタイムで測定することがより困難になる。

【0008】

本開示は、とりわけ、飛行中に物体のキャプチャされた画像を使用して物体のスピン軸およびスピンレートを測定するシステムおよび方法に関する。任意の所与の視点からの物体の向きが明確になるように、所定のマーカパターンを物体に適用することができる。所与の物体のスピンレートおよびスピン軸は、２つ以上の異なる向きからの物体の分析に依存するので、スピンレートおよびスピン軸を測定するためには、物体の異なるビューをカバーする少なくとも２つの画像が必要である。本開示によるスピン推定システムは、１つ以上の物体マーカセグメンテーションマップを生成することを含んでもよく、物体マーカセグメンテーションマップの対は、特定の例においてスピンレート推定およびスピン軸推定を独立して提供するために使用されてもよい。独立して提供されたスピンレート推定およびスピン軸推定を統合して、単一のスピンレート－軸推定を生成することができる。追加的または代替的に、３次元環境は、異なる発射パラメータを使用して物体飛行をシミュレートするために生成されてもよく、シミュレートされた物体飛行パラメータは、スピンレート－軸推定を実行するように構成された深層学習モデルのための訓練データセットとして使用されてもよい。推定精度を高めることによって推定結果を改良するために、飛行中の物体の画像および／またはスピンレート－軸推定に後処理強化アルゴリズムを適用することができる。

【0009】

本開示の実施形態は、添付の図面を参照して説明される。

【0010】

図１Ａおよび図１Ｂは、本開示の少なくとも１つの実施形態によるスピン推定システム１１０を含む環境１００の例示的な実施形態を示し、図１Ａは環境１００の第１のビューを示し、図１Ｂは環境１００の第２のビューを示す。スピン推定システム１１０は、図１Ａおよび図１Ｂに示されるような第１の線１１４および第２の線１１６によって境界付けられた視野などの視野内の画像をキャプチャするように配置および構成されたカメラ１１２または他の画像キャプチャセンサを含むことができる。

【0011】

いくつかの実施形態では、物体１２０を軌道１２２に沿って移動させる力を物体１２０に加えることができる。図１Ａと図１Ｂとの間に示すように、アクター１０２は、物体１２０が軌道１２２に沿って目的地１２４に向かって移動するように、クラブ１０４をスイングすることによって物体１２０に力を加えてもよい。環境１００は、アクター１０２およびクラブ１０４を含むものとして示されているが、環境は、アクター１０２またはクラブ１０４を含んでも含まなくてもよい。例えば、スピン推定システム１１０のカメラ１１２は、飛行中に物体１２０の画像をキャプチャするように配置されてもよい。言い換えれば、カメラ１１２は、カメラ１１２が軌道１２２の一部に沿って画像をキャプチャするように第１の線１１４および第２の線１１６が向けられるように配置されてもよい。

【0012】

図２は、本開示の少なくとも１つの実施形態による、スピン推定システム１１０の背面図２００ａおよび正面図２００ｂを示す。いくつかの実施形態では、スピン推定システム１１０は、画像をキャプチャするように構成された任意のデバイス、システム、構成要素、または構成要素の集合であり得るカメラ１１２を含み得る。カメラ１１２は、例えば、レンズ、フィルタ、ホログラム、スプリッタ、または任意の他の構成要素などの光学要素と、画像が記録され得る画像センサとを含んでもよい。そのような画像センサは、入射光によって表される画像を電気信号に変換する任意のデバイスを含み得る。画像センサは、ピクセルアレイ（例えば、ピクセル要素のグリッド）に配列され得る複数のピクセル要素を含み得る。例えば、画像センサは、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含んでもよい。ピクセルアレイは、１：１、４：３、５：４、３：２、１６：９、１０：７、６：５、９：４、１７：６などのアスペクト比、または任意の他の比を有する２次元アレイを含み得る。画像センサは、ピクセルアレイ上に光を集束させる種々の光学要素、例えば、レンズと光学的に整合されてもよい。例えば、８メガピクセル、１５メガピクセル、２０メガピクセル、５０メガピクセル、１００メガピクセル、２００メガピクセル、６００メガピクセル、１０００メガピクセルなどの任意の数のピクセルが含まれてもよい。

【0013】

様々な他の構成要素も、画像キャプチャセンサ１２０および／または１３０に含まれ得る。そのような構成要素は、フラッシュもしくは他の光源、光拡散体、または物体を照明するための他の構成要素などの１つ以上の照明特徴を含んでもよい。いくつかの実施形態では、照明特徴は、移動物体が画像センサに近接しているとき、例えば、移動物体が画像センサの３メートル以内にあるときに、移動物体を照明するように構成され得る。

【0014】

これらおよび他の実施形態では、カメラ１１２は、最小フレームレート閾値以上で動作するように構成されてもよく、最小フレームレート閾値は、物体１２０のスピンレート範囲に基づいて設定される。例えば、典型的なゴルフゲームにおけるゴルフボールのスピンレートは、毎分５００回転（ＲＰＭ）～１２０００ＲＰＭの範囲であり得、毎秒２００フレーム（ＦＰＳ）のフレームレート未満で動作する任意のカメラは、物体１２０がエイリアシング効果に起因してスピンレート範囲の上端またはその付近でスピンする場合、物体１２０の画像を適切にキャプチャすることができない場合がある。

【0015】

物体１２０は、物体１２０およびカメラ１１２が動作する用途または設定に応じて、異なるスピンレートでスピンし得る。例えば、物体１２０は、物体１２０の運動に影響を与えるために機械的デバイスが使用される場合、より高いスピンレートでスピンし得、これは、物体１２０の画像をキャプチャするために使用されるカメラがより高いフレームレートで動作すべきであることを示し得る。物体１２０がカメラ１１２のキャプチャフレームレートよりも高いレートで回転する状況では、物体１２０が、カメラ１１２による画像キャプチャの間に３６０°を超えて回転する場合、エイリアシング効果が生じ得る。例えば、４０°回転した所与の物体は、４００°回転している所与の物体と同一に見える場合がある。したがって、カメラ１１２は、物体１２０の最大予測可能スピンレートよりも速いフレームレートで画像をキャプチャするように選択または構成され得る。

【0016】

いくつかの実施形態では、スピン推定システム１１０は、スピン推定システム１１０によってキャプチャされた画像を処理および分析するように構成されたコンピュータシステムを含むか、またはそれに通信可能に結合することができる。例えば、コンピュータシステムは、図５、６、７、または８に関連して更に詳細に説明されるような動作を実行してもよい。

【0017】

本開示の範囲から逸脱することなく、環境１００またはスピン推定システム１１０に対して修正、追加、または省略が行われてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載された概念を説明するのを助けることを意味し、限定するものではない。更に、環境１００またはスピン推定システム１１０は、任意の数の他の要素を含んでもよく、または説明されるもの以外の他のシステムまたはコンテキスト内で実装されてもよい。

【0018】

図３Ａは、本開示の少なくとも１つの実施形態による、スピン推定システムによって観察され得る物体の３次元モデル３００と、物体に対応する物体メッシュモデル３０６とを示す。いくつかの実施形態では、３次元モデル３００は、スピン推定システムが配備される可能性が高い１つ以上の所与の環境に基づいて、スピン推定システムによって典型的に観察される物体に基づいて生成されてもよい。例えば、スピン推定システムがゴルフ環境におけるゴルフボールのスピン特性を分析するために展開される可能性が高い場合、３次元モデル３００は、ゴルフボールに基づいて成形およびサイズ決定され得る。追加または代替の例として、３次元モデル３００は、サッカーボール、野球ボール、または任意の他の球状もしくは回転楕円体物体に基づいて成形およびサイズ決定され得る。

【0019】

３次元直方体モデル３０２は、３次元モデル３００に基づいて生成されてもよく、３次元直方体モデル３０２は、囲まれた物体モデル３０４として３次元モデル３００を囲むようなサイズである。囲まれた物体モデル３０４は、物体メッシュモデル３０６の基礎であり得る。

【0020】

３次元モデル３００は球状モデルとして示されているが、３次元モデル３００は、追加的または代替的に、卵形または他の丸い３次元形状としてモデル化されてもよい。これらおよび他の実施形態では、３次元直方体モデル３０２は、図３Ａに示すような球形ではなく卵形に対応するような形状およびサイズであってもよい。例えば、３次元直方体モデル３０２は、他の辺よりも長いまたは短い１つ以上の辺を含んでもよい。

【0021】

図３Ｂは、本開示の少なくとも１つの実施形態による、物体メッシュモデル３０６に基づくテクスチャ付き直方体３０８を示す。いくつかの実施形態では、テクスチャ付き直方体３０８は、マーカパターン３１０、３１２、および３１４が物体メッシュモデル３０６の外面上に印刷され得るように生成されてもよい。追加的または代替的に、テクスチャ付き直方体３０８は、テクスチャ付き直方体３０８上に示されていない第４のマーカパターン、第５のマーカパターン、または第６のマーカパターンを含んでもよい。マーカパターン３１０、３１２、および３１４の各々は、回転非対称であってもよく、マーカパターン３１０、３１２、および３１４の各々とは異なるパターンであってもよく、その結果、マーカパターン３１０、３１２、および３１４は、テクスチャ付き直方体３０８の向きにかかわらず、互いに視覚的に区別される。

【0022】

図３Ｃは、本開示の少なくとも１つの実施形態による、テクスチャ付き直方体３０８に基づく開かれたマーカテクスチャ３２０を示す。開かれたマーカテクスチャ３２０は、互いに非対称的に異なる１つ以上のマーカパターン３２１～３２６を含んでもよい。いくつかの実施形態では、開かれたマーカテクスチャ３２０は、立方体または直方体形状を形成するように開かれたマーカテクスチャ３２０を折り畳むことによってなど、テクスチャ付き直方体３０８を形成するためのテンプレートであってもよい。

【0023】

いくつかの実施形態では、開かれたマーカテクスチャ３２０はサイズ変更することができ、またはマーカパターン３２１～３２６のうちの１つ以上を変更して、開かれたマーカテクスチャ３２０を異なる物体形状および寸法に調整することができる。マーカパターン３２１～３２６を設計し、スケーリングし、所与の物体に適用することは、マーカパターン３２１～３２６のうちの１つ以上を物体の丸い表面に直接適用するよりも、開かれたマーカテクスチャ３２０を使用して、より容易であり、より理解可能であり得る。追加的または代替的に、開かれたマーカテクスチャ３２０を使用してマーカパターン３２１～３２６を生成することは、典型的には平面印刷デバイスを使用する既存のマーカ印刷プロセスに組み込まれてもよい。

【0024】

図３Ｄは、本開示の少なくとも１つの実施形態による、個々のマーカパターン３２１～３２６を示す。いくつかの実施形態において、マーカパターン３２１～３２６の各々は、マーカパターン３２１～３２６が印刷され得る物体の寸法に基づいてもよく、または基づいていなくてもよい単位寸法を有するピクセル３３０内に形成され得る。マーカパターン３２１～３２６を形成するために、１つ以上のドット３３５がピクセル３３０内に配置されてもよい。ピクセル３３０は、マーカパターン３２１～３２６の各々の回転対称性を評価するために回転され得る。

【0025】

図４Ａは、本開示の少なくとも１つの実施形態による、第１の視点４０２、第２の視点４０４、第３の視点４０６、および第４の視点４０８からのテクスチャ付き物体４００の例を示す。テクスチャ付き物体４００は、図３Ｂ～図３Ｄに関連して説明されたマーカパターン３２１～３２６と同一または同様であり得る１つ以上のマーカパターン４１０が、テクスチャ付き物体１２０の外面上に印刷された、図１Ａおよび図１Ｂに関連して説明された物体４００を含み得る。マーカパターン４１０の各々は、回転非対称であり得、テクスチャ付き物体４００上に印刷された他のマーカパターン４１０とは異なり得るので、第１の視点４０２および第２の視点４０４などの任意の２つの視点は、互いに視覚的に異なり得る。

【0026】

図４Ｂは、本開示の少なくとも１つの実施形態による、テクスチャ付き物体４００の第１の視点４１２、第２の視点４１４、第３の視点４１６、および第４の視点４１８にそれぞれ対応する２値マップの第１の視点４０２、第２の視点４０４、第３の視点４０６、および第４の視点４０８の例を示す。いくつかの実施形態では、第１、第２、第３、および第４の視点４１２、４１４、４１６、および４１８は、テクスチャ付き物体４００の第１、第２、第３、および第４の視点４０２、４０４、４０６、および４０８のネガティブ画像であってもよい。これらおよび他の実施形態では、第１、第２、第３、および第４の視点４１２、４１４、４１６、および４１８に対応するネガティブ画像は、図５の動作５００に関連して説明されるような２値化アルゴリズム５０４によって出力される２値マップ５０６などの２値画像を表してもよい。テクスチャ付き物体４００は、実質的に明るい色（例えば、白色）を含み得るので、テクスチャ付き物体４００自体は、典型的には、高いピクセル密度を含み得る。比較すると、テクスチャ付き物体４００の表面上のマーカパターン４１０は、マーカパターン４１０をテクスチャ付き物体４００の外面の残りの部分からより視覚的に対比させるために、より暗い色（例えば、黒色）を含んでもよい。第１、第２、第３、および第４の視点４１２、４１４、４１６、および４１８に示される２値マップを生成するためにテクスチャ付き物体４００に対してネガティブ演算を実行することは、マーカパターン４１０に対応するテクスチャ付き物体４００の表面の部分に関連付けられたピクセル値を増加させ、テクスチャ付き物体４００の表面上のマーカパターン４１０の位置のより正確な分析を容易にすることができる。

【0027】

図４Ｃは、本開示の少なくとも１つの実施形態による、テクスチャ付き物体の画像４２０を強化するために実行され得る動作を示す。いくつかの実施形態では、テクスチャ付き物体の画像４２０は、図４Ａに関連して説明されるテクスチャ付き物体４００の第１の視点４０２、第２の視点４０４、第３の視点４０６、または第４の視点４０８の画像を含んでもよい。画像４２０は、図７の動作７００に関連して説明されるような物体画像７０２、または図８の動作８００に関連して説明されるような物体画像８０２を表し得る。画像４２０は、テクスチャ付き物体のサイズ変更された画像４２１を生成するために拡大されてもよく、これは、図８の動作８００に関連して説明されるサイズ変更された物体８０６に対応してもよい。テクスチャ付き物体は、通常、テクスチャ付き物体の画像４００をキャプチャしたカメラに対して飛行中またはそうでなければ移動しているので、画像フレーム間のテクスチャ付き物体のサイズは一貫していない場合がある。したがって、テクスチャ付き物体のキャプチャされた画像のうちの１つ以上は、サイズ変更された画像４２１のように拡大または縮小されて、画像のフレームの各々におけるテクスチャ付き物体のサイズを一致させることができる。

【0028】

より高いピクセル値を含むマーカパターン４３０がより容易に分析されるように、ネガティブ画像４２２を生成するために、サイズ変更された画像４２１にネガティブ演算が適用され得る。いくつかの実施形態では、ネガティブ画像４２２は、図８の動作８００に関連して説明されるようなネガティブ物体８１０に対応し得る。いくつかの実施形態では、伸張演算をネガティブ画像４２２に適用して伸張された画像４２３を形成することができ、これは、ネガティブ画像４２２のエッジに沿った細部の歪みを除去する、図８の動作８００に関連して説明した伸張された物体８１４に対応することができる。伸張演算は、伸張された画像４２３内の視覚的アーチファクト４３２の形成をもたらし得るので、円形マスキング演算が、視覚的アーチファクト４３２をフィルタリングし、マスクされた画像４２４内の物体およびマーカパターン４３０の鮮明度に影響を及ぼすことなく画像の背景４３４が除去されたマスクされた画像４２４を生成するために適用され得る。いくつかの実施形態では、マスクされた画像４２４は、図８の動作８００に関連して説明されるようなマスクされた物体８１８に対応し得る。

【0029】

いくつかの実施形態では、マスクされた画像４２４にコントラスト演算を適用して、マスクされた画像４２４に示された物体の表面特徴またはマーカパターン４３０のコントラストを増大させることができる。これらおよび他の実施形態では、図８の動作８００に関連して説明したように、ヒストグラム等化された物体８２２に対応し得るヒストグラム等化された画像４２５を生成するために、ヒストグラム等化アルゴリズムが使用され得る。追加的または代替的に、ヒストグラム等化アルゴリズムは、図８の動作８００に関連して説明したような適応２値化演算８２４の出力に対応し得る簡略化された画像４２６を生成するために、ヒストグラム等化された画像４２５に含まれる詳細を除去する適応２値化構成要素を含み得る。

【0030】

簡略化された画像４２６は、強化された画像４２７として強化動作を介して強化され得る。いくつかの実施形態では、強化された画像４２７は、図７の動作７００に関連して説明したような強化された物体画像７０８、または図８の動作８００に関連して説明したような強化物体８２８に対応し得る。図７に関して説明した極変換７１０などの極変換演算を強化された画像４２７に適用して、強化された画像４２７の回転基準点を識別し、回転基準点に基づいて極画像４２８を生成することができる。いくつかの実施形態では、極画像４２８は、図７の動作７００に関連して説明された極画像７１２に対応し得る。

【0031】

図５は、本開示の少なくとも１つの実施形態による、改良されたスピンレート－軸推定５２６の生成に関連するスピン推定システムによって実行される動作５００のフロー図である。スピン推定システムは、図１Ａ、図１Ｂ、および図２に関連して上述したように、物体画像５０２を取得するように構成されてもよい。動作５００は、物体画像５０２のうちの２つ以上に基づいて、改良されたスピン軸－レート推定５２６を生成するために実行され得る。

【0032】

スピン推定システムによってキャプチャまたは他の方法で取得された物体画像５０２は、物体画像５０２の各々に関連付けられた対応する２値マップ５０６を生成するために、２値化アルゴリズム５０４への入力として使用され得る。いくつかの実施形態では、２値化アルゴリズム５０４は、取得された物体画像５０２を対応する２値マップ５０６に変換するために、物体画像５０２の各々に対してサイズ変更演算、ネガティブ演算、伸張演算、マスキング演算、または任意の他の演算を実行することを含み得る。

【0033】

２値マップ５０６は、物体画像５０２がキャプチャされた物体の飛行に対応する時系列順または連続順に編成され得る。言い換えれば、２値マップ５０６は、物体が、時系列にまたは連続して編成された２値マップ５０６の各々を介して、その飛行経路をたどるように観察され得るようにソートされ得る。２値マップ５０６の編成されたシリーズにおいて、連続する２値マップの各対は、編成されたシリーズの順方向に対にされることに応答して（すなわち、第１のキャプチャされた物体画像に対応する第１の２値マップから、最後のキャプチャされた物体画像に対応する最後の２値マップへと見られることに応答して）順方向連続２値マップ５０８として、または編成されたシリーズの逆方向に対にされることに応答して逆方向連続２値マップ５１０として識別され得る。Ｎ個の物体画像５０２を含む物体画像の所与のセットについて、順方向連続２値マップ５０８の数はＮ－１であり得、逆方向連続２値マップ５１０の数もまたＮ－１であり得る。

【0034】

順方向連続２値マップ５０８および逆方向連続２値マップ５１０は、回転推定アルゴリズム５１２への入力として使用されて、順方向連続２値マップ５０８の各対および逆方向連続２値マップ５１０の各対について、対応するスピンレート推定およびスピン軸推定５１４を生成することができる。いくつかの実施形態では、回転推定アルゴリズム５１２は、図６に関連して説明した動作６００と同じまたは同様の動作を使用して実行することができる。Ｎ－１個の順方向連続２値マップ５０８およびＮ－１個の逆方向連続２値マップ５１０が回転推定アルゴリズム５１２に入力され得るので、所与のスピンレート推定およびスピン軸推定が連続２値マップの各対について生成され得るので、スピンレート推定およびスピン軸推定５１４の数は２（Ｎ－１）であり得る。

【0035】

いくつかの実施形態では、スピンレート推定およびスピン軸推定５１４は、スピンレート推定およびスピン軸推定５１４の各々を分析し、２（Ｎ－１）スピンレート推定およびスピン軸推定５１４のセットから、スピンレート推定およびスピン軸推定５１４の残りと一致しない外れ値推定を除去する外れ値除去アルゴリズム５１６を通され得る。これらおよび他の実施形態では、所与のスピンレート推定およびスピン軸推定は、スピンレートまたはスピン軸が所与の閾値を超えてそれぞれのスピンレートまたはそれぞれのスピン軸と異なる場合、外れ値推定と見なされてもよい。連続するスピンレート推定成分またはスピン軸推定成分間の大きな差は、アルゴリズム計算誤差、不十分な画像２値化もしくは他の画像処理問題、または任意の他の理由などにより、連続する推定成分の一方または両方が誤って計算されたことを示す場合がある。追加的または代替的に、特定のスピンレート推定およびスピン軸推定は、第１のスピンレート推定およびスピン軸推定と第２のスピンレート推定およびスピン軸推定との間にあってもよく、第１のスピンレート推定およびスピン軸推定と第２のスピンレート推定およびスピン軸推定とは互いに対して一貫しているが、第１のスピンレート推定およびスピン軸推定と第２のスピンレート推定およびスピン軸推定とに対して外れ値と見なされてもよい。これらおよび他の状況では、特定のスピンレート推定およびスピン軸推定は、外れ値除去アルゴリズム５１６によって外れ値推定としてラベル付けされ得るが、第１のスピンレート推定およびスピン軸推定ならびに第２のスピンレート推定およびスピン軸推定は、外れ値推定としてラベル付けされない。

【0036】

いくつかの実施形態では、統合アルゴリズム５２０に入力されるスピンレート推定およびスピン軸推定５１８の数はＫであってもよく、２（Ｎ－１）スピンレート推定およびスピン軸推定５１４のうちの１つ以上は、外れ値除去アルゴリズム５１６によってデータセットから除去されてもよいため、Ｋは２（Ｎ－１）以下である。外れ値除去アルゴリズム５１６によって出力されたＫ個のスピンレート推定およびスピン軸推定５１８は、統合アルゴリズム５２０に入力されて、最終スピンレート－軸推定５２２を決定することができ、最終スピンレート－軸推定５２２は、物体画像５０２がキャプチャされた物体の全体的なスピンレート推定および全体的なスピン軸推定を提供する。

【0037】

最終的なスピンレート－軸推定５２２および１つ以上の物体画像５０２は、取得された入力に基づいて改良されたスピンレート－軸推定５２６を生成するように構成されたリファイナアルゴリズム５２４によって取得され得る。いくつかの実施形態では、リファイナアルゴリズム５２４を使用して改良されたスピンレート－軸推定５２６を決定することは、取得された物体画像５０２を強化することと、最終スピンレート－軸推定５２２をベースラインまたは初期値として用いてスピンレート－軸推定の更新値を決定することとを伴い得る。物体画像５０２の強化、および、リファイナアルゴリズム５２４を使用して改良されたスピンレート－軸を見つけることは、図７に関連して説明された動作７００と同じまたは類似の動作に従って実行されてもよい。

【0038】

本開示の範囲から逸脱することなく、動作５００に対して修正、追加、または省略が行われ得る。例えば、記載された方法における異なる要素の指定は、本明細書に記載された概念を説明するのを助けることを意味し、限定するものではない。更に、動作５００は、任意の数の他の要素を含んでもよく、または説明されるもの以外の他のシステムまたはコンテキスト内で実装されてもよい。

【0039】

図６は、本開示の少なくとも１つの実施形態による、スピン推定システムに関連する動作を実行するように構成されたニューラルネットワーク６００の動作のフロー図である。いくつかの実施形態では、スピン推定システムは、深層学習、機械学習、ニューラルネットワーク、またはニューラルネットワーク６００などの任意の他の人工知能システムを使用して実装されてもよい。スピン推定システムとともにニューラルネットワーク６００または任意の他の人工知能システムを使用することは、スピンレート６４２およびスピン軸６２２など、分析された物体に関連する１つ以上の運動パラメータを決定することを容易にし得る。

【0040】

ニューラルネットワーク６００の動作は、ニューラルネットワーク６００によって分析されている物体の１つ以上の画像に対応する１つ以上の２値マップ６０２を取得することを伴い得る。いくつかの実施形態では、２値マップ６０２は、図４Ｂに表されるネガティブ画像を含んでもよく、図５の動作５００に関連して説明される２値マップ５０６と同一または同様であってもよい。２値マップ６０２に含まれる画像は、マルチチャネルデータ６０４を生成するためにチャネルごとに連結されてもよく、マルチチャネルデータ６０４は、入力データの単一ストリームとして特徴抽出器ニューラルネットワーク６０６によって取得されてもよい。いくつかの実施形態では、マルチチャネルデータ６０４は、２つ以上の連続フレームから描写される物体の２つ以上のビューを表し得、それは、物体の周りの回転量、回転軸、他の運動学的パラメータ、またはそれらの何らかの組合せを決定することを容易にする情報を含み得る。

【0041】

特徴抽出器ニューラルネットワーク６０６は、重み行列に従ってマルチチャネルデータ６０４を処理することによって特徴マップ６０８を生成するように構成され得、重み行列の要素は、スピンレート６４２およびスピン軸６２２などの所与の出力を決定するためのマルチチャネルデータ６０４のそれぞれの要素の重要性を示し得る。いくつかの実施形態では、特徴マップ６０８は、特徴抽出器ニューラルネットワーク６０６によって行列として出力され得、次いで、行列は、Ｎ次元特徴ベクトル６１０に平坦化され得る。Ｎ次元特徴ベクトル６１０は、Ｎ次元特徴ベクトル６１０の要素を処理し、スピン軸成分６１４および回転成分６１６を含む４次元（４Ｄ）ベクトルを出力するように構成され得る、ニューラルネットワーク６００の全結合層６１２を通過させられ得る。例えば、所与の４Ｄベクトルは、図６に示すように、スピン軸成分６１４を表す所与の物体のスピン軸に関連する３つのベクトル要素と、回転成分６１６を表す所与の物体の回転に関連する１つのベクトル要素とを含むことができる。

【0042】

いくつかの実施形態では、スピン軸成分６１４は、推定されたスピン軸ベクトルを表す単位ベクトル６２２を出力するように構成され得る正規化プロセス６１８に入力され得る。追加的または代替的に、回転成分６１６は、ラジアン単位で測定され、０ラジアンから２πラジアンに及ぶ回転推定６２８を出力するように構成され得るスケーリングプロセス６２０に入力され得る。

【0043】

いくつかの実施形態では、ニューラルネットワーク６００は、推定されたスピン軸値および回転推定６２８を表す単位ベクトル６２２と、グラウンドトゥルーススピン軸値６２４のそれぞれのセットおよびグラウンドトゥルース回転値６２６のそれぞれのセットとの間の平均二乗誤差（ＭＳＥ）損失を決定することによって訓練または改善され得る。スピン軸ＭＳＥ損失６３０は、単位ベクトル６２２とグラウンドトゥルーススピン軸値６２４のセットに含まれる対応するスピン軸値との間の差に基づいて計算され得、回転ＭＳＥ損失６３２は、回転推定６２８とグラウンドトゥルース回転値６２６のセットに含まれる対応する回転値との間の差に基づいて計算され得る。スピン軸ＭＳＥ損失６３０および回転ＭＳＥ損失６３２は、単位ベクトル６２２および回転推定６２８に対応する推定値と、グラウンドトゥルーススピン軸値６２４のセットおよびグラウンドトゥルース回転値６２６のセットにそれぞれ対応するグラウンドトゥルース値との間の総差を表し得る最終総損失６３６を計算するために、加算プロセス６３４において処理され得る。最終総損失６３６は、重み更新オプティマイザ６３８に送信されてもよく、重み更新オプティマイザ６３８は、特徴抽出器ニューラルネットワーク６０６または／および完全結合層６１２に適用される重み行列を更新するように構成されてもよく、その結果、続いて決定される単位ベクトル６２２または回転推定６２８は、より正確であり、対応するグラウンドトゥルース値により近くなり得る。

【0044】

本開示の範囲から逸脱することなく、ニューラルネットワーク６００に対して修正、追加、または省略が行われ得る。例えば、記載された方法における異なる要素の指定は、本明細書に記載された概念を説明するのを助けることを意味し、限定するものではない。更に、ニューラルネットワーク６００は、任意の数の他の要素を含んでもよく、または説明されるもの以外の他のシステムまたはコンテキスト内で実装されてもよい。

【0045】

図７は、本開示の少なくとも１つの実施形態による、スピン推定システムに含まれるリファイナアルゴリズム７００のフロー図である。リファイナアルゴリズム７００は、図５に関連して説明したリファイナアルゴリズム５２４などを用いて、１つ以上の取得された物体画像対および初期スピンレート－軸推定に基づいて、改良されたスピンレート－軸推定を生成するように実装され得る。

【0046】

いくつかの実施形態では、１つ以上の物体画像７０２を画像強化アルゴリズム７０６への入力として使用して、対応する数の強化された物体画像７０８を出力することができ、画像強化アルゴリズム７０６は、図８の動作８００と同じまたは同様の動作に従って実行することができる。強化された物体画像７０８は、図４Ｃに関連して説明した強化された画像４２７と同じまたは同様であってもよい。極変換７１０は、粗いスピンレート－軸推定７０４に基づいて、強化された物体画像７０８に対して実行され得る。粗いスピンレート－軸推定７０４は、座標（ｃｘ，ｃｙ）によって表され得る極変換７１０の中心に対する初期推測を見つけるために使用され得、極変換７１０の中心は、強化された画像７０８が回転され得る基準点を表す。強化された画像７０８に極変換７１０を適用することは、（ｉ，ｊ）によって表される間隔量だけ中心の初期推測をシフトすることと、強化された画像７０８のデカルト座標を極座標に変換することとを伴い得る。したがって、強化された画像７０８は、極画像７１２に平行移動および変換されてもよい。

【0047】

単一の改良されたスピンレート－軸推定７３０を識別することは、複数の強化された画像７０８を単一のスピンレート－軸推定に組み合わせることを伴い得る。したがって、相互相関プロセス７１４を極画像７１２に適用して、極画像７１２間の相関結果７１６を決定することができる。相関結果７１６は、相関ピークの各々の高さに基づいて極画像７１２がどの程度類似しているかを示す、相関ピークによって表される極画像７１２間の類似性の定量的インジケータを提供することができる。相関結果７１６に基づいて、ピーク検出アルゴリズム７１８を適用して、最高相関ピーク７２０を識別することができる。

【0048】

いくつかの実施形態では、ピーク検出アルゴリズム７１８は、各反復が極変換７１０のシフト対（ｉ，ｊ）として表される異なる間隔量を適用する反復処理を含むことができる。例えば、所与の強化された画像７０８の所与の中心に対する平行移動距離を表し得るシフト対は、下側境界ｉ、上側境界ｉ、下側境界ｊ、および上側境界ｊの間の範囲であり得る。この例および他の例では、（ｉ，ｊ）シフト対の合計６３個の組合せが可能であり得るように、ｉ値は－４から４の範囲であり得、ｊ値は－３から３の範囲であり得る。反復ループ７２２は、シフト対の６３個の組合せの各々を極変換７１０への入力として適用することを伴い得る。各反復ループ７２２中に、異なるシフト対のｉ値またはｊ値の間の差に基づいて、異なる相関結果７１６および異なる相関ピーク７２０が出力され得る。これらおよび他の実施形態では、特定のシフト対ならびに特定のシフト対に対応する相関結果７１６および相関ピーク７２０は、最大値を有する特定のシフト対に対応する相関ピーク７２０に基づいて選択されてもよい。これらおよび他の実施形態では、ピーク検出プロセスの単一の反復で使用される粗いスピンレート－軸推定７０４が最も正確な結果を提供する場合もあれば提供しない場合もあるので、最高相関ピーク７２０を反復して識別することは、結果を改善する場合がある。

【0049】

いくつかの実施形態では、反復ループ７２２からの最高相関ピーク７２０の識別は、バッファ７２４によって容易にされ得る。バッファ７２４は、各反復からの相関ピーク７２０と、取得された相関ピーク７２０の各々に関連する相関結果７１６とを取得し、記憶するように構成され得る。例えば、相関ピーク７２０に対応する値、ピーク場所、または相関ピーク７２０に関連付けられた極変換中心は、バッファ７２４に記憶され得る。

【0050】

バッファ７２４に含まれる最高相関ピーク７２０は、相関ピーク場所７２０を出力することを伴う第２のピーク検出プロセス７２６において使用され得る。いくつかの実施形態では、第２のピーク検出プロセス７２６は、デカルト座標形式（ｃｘ＋ｉ，ｃｙ＋ｊ）を有する極変換７２８の中心の決定を容易にすることができる。これらおよび他の実施形態では、極変換７２８の中心は、最高相関ピーク７２０に対応する座標を識別し、最高相関ピーク７２０の座標に対応する距離だけ極画像７１２をシフトすることによって決定され得る。

【0051】

極変換７２８の中心および最高相関ピークの場所（相関結果７１８におけるピークの場所）は、スピンレート－軸変換プロセス７３０に入力されて、改良されたスピンレート－軸７３２を決定することができる。いくつかの実施形態では、スピンレート－軸変換プロセス７３０は、デカルト座標系内の所与の物体に対応する改良されたスピンレート－軸７３２を識別するために、極座標系からデカルト座標系に極変換７２８の中心および最高相関ピーク７２０の場所をマッピングすることを含むことができる。これらおよび他の実施形態では、極座標系における最高相関ピーク７３０の場所は、デカルト座標系における所与の物体の回転量に対応してもよく、極変換７２８の中心は、デカルト座標系における所与の物体の回転軸に対応してもよい。

【0052】

図８は、本開示の少なくとも１つの実施形態による、スピン推定システムに含まれる画像強化アルゴリズム８００のフロー図である。画像強化アルゴリズム７００は、１つ以上の取得された物体画像から強化された物体画像を生成するために実装され得る。いくつかの実施形態では、画像強化アルゴリズム７００は、図４Ｃに関連して説明したように、サイズ変更された画像４２１、ネガティブ画像４２２、伸張された画像４２３、マスクされた画像４２４、ヒストグラム等化された画像４２５、簡略化された画像４２６、または強化された画像４２７のうちの１つ以上を生成することを容易にすることができる。画像強化アルゴリズム８００の説明における物体への任意の参照は、物体の画像を参照するものとして解釈され得る。例えば、サイズ変更された物体８０６、ネガティブ物体８１０、伸張された物体８１４、マスクされた物体８１８、ヒストグラム等化された物体８２２、および強化された物体８２８は、それぞれ、物体画像８０２がキャプチャされた物体自体に対して行われている物理的な変更ではなく、サイズ変更された物体画像、ネガティブ物体画像、伸張された物体画像、マスクされた物体画像、ヒストグラム等化された物体画像、および強化された物体画像を指すことができる。

【0053】

画像強化アルゴリズム８００は、サイズ変更された物体８０６を出力するサイズ変更アルゴリズム８０４への入力として物体画像８０２を取得し得る。物体画像８０２は、図５に関連して説明した物体画像５０２または図７に関連して説明した物体画像７０２と同じまたは同様であってもよい。追加的または代替的に、物体画像８０２は、図４Ｃに関連して説明される画像４２０と同一または類似であってもよい。

【0054】

いくつかの実施形態では、サイズ変更アルゴリズム８０４は、基準半径に従って物体画像８０２を同じまたは類似のサイズに拡大または縮小することができる。基準半径よりも小さい半径を有する第１の物体を描写する第１の所与の物体画像８０２は、第１の物体の半径が所与の閾値内で基準半径と同一または類似するように拡大され得、一方、基準半径よりも大きい半径を有する第２の物体を描写する第２の所与の物体画像８０２は、それに応じて縮小され得る。

【0055】

サイズ変更された物体８０６の外面上にインプリントされた１つ以上のマーカパターンに対応するピクセル値を増加させるために、サイズ変更された物体８０６の各々にネガティブ演算８０８を適用することができ、それにより、物体のスピンレートおよびスピン軸に対するマーカパターンの分析がより正確になる。いくつかの実施形態では、ネガティブ演算８０８は、サイズ変更された物体８０６に含まれるピクセルの各ピクセル値を最大ピクセル値から減算して、物体の対応するネガティブ画像を生成することを伴い得る。ネガティブ演算８０８によって生成されたサイズ変更された物体８０６のネガティブ画像は、高いピクセル値を含んでいたサイズ変更された物体８０６のセクションに対応する低いピクセル値を含むことができ、一方、サイズ変更された物体８０６が低いピクセル値を含んでいた場合、ネガティブ画像のセクションは高いピクセル値を含む。サイズ変更された物体８０６上にインプリントされたマーカパターンは、典型的には、より暗い色を含み、より暗い色は、典型的には、より低いピクセル値と関連付けられるので、ネガティブ演算８０８は、サイズ変更された物体８０６上にインプリントされたマーカパターンのピクセル値を増加させ、そのようなマーカパターンの分析を促進し得る。

【0056】

伸張演算８１２は、伸張された物体８１４を生成するために、ネガティブ演算８０８によって出力されたネガティブ物体８１０に適用されてもよい。いくつかの例では、物体画像８０２の全体的なサイズ、物体画像８０２の全体的な形状、またはマーカパターンの部分の位置など、物体画像８０２内のエッジ付近に含まれる詳細は、サイズ変更アルゴリズム８０４またはネガティブ演算８０８による処理の後にネガティブ物体８１０の中心付近に現れるそのような詳細に対して、物体画像８０２のエッジに沿って歪められ得る。伸張演算８１２は、サイズ変更アルゴリズム８０４またはネガティブ演算８０８によって引き起こされるこれらおよび他の歪み効果を除去または低減するために適用され得る。

【0057】

いくつかの実施形態では、伸張された物体８１４は、伸張演算８１２によって生成された任意の視覚的アーチファクトを除去するために、円形マスキング演算８１６およびヒストグラム等化演算８２０によって取得され得る。円形マスキング演算８１６は、図４Ｃに示すように、伸張された画像４２３とマスクされた画像４２４との間の伸張された物体８１４に含まれる背景の詳細をフィルタリングすることを容易にするマスクを伸張された物体８１４に適用することができる。これらおよび他の実施形態において、ヒストグラム等化演算８２０は、マスクされた物体８１８のコントラストを増加させて、図４Ｃに示されるように、マスクされた画像４２４とヒストグラム等化された画像４２５との間のヒストグラム等化された物体８２２を生成し得る。いくつかの実施形態では、ヒストグラム等化演算８２０の後に、ヒストグラム等化された画像４２５と簡略化された画像４２６との間に示されるように、ヒストグラム等化された物体８２２を簡略化することを含む適応２値化演算８２４が続いてもよい。

【0058】

ヒストグラム等化された物体８２２は、適応２値化演算８２４を介して簡略化されている可能性があり、伸張された物体８１４のうちの１つ以上は、強化された物体８２８を生成するために、ＡＮＤ演算８２６によって取得され得る。いくつかの実施形態では、ＡＮＤ演算８２６は、２値マップに含まれる各ピクセルが「１」または「０」のピクセル値を有する２値マップを出力することを伴い得る。ＡＮＤ演算８２６は、伸張された物体８１４と適応２値化演算８２４によって出力された２値マップとをピクセルごとに比較し、伸張された物体８１４と適応２値化演算８２４によって出力された２値マップとの間の比較に基づいて、伸張された物体８１４に対応するピクセル値を修正することができる。例えば、所与の伸張された物体８１４のピクセルに対応する所与のピクセル値は、適応２値化演算８２４によって出力された２値マップの対応するピクセルのピクセル値が「０」のピクセル値を有するという決定に応答して、「０」値に変換され得る。追加または代替の例として、所与の伸張された物体８１４のピクセルに対応する所与のピクセル値は、２値マップの対応するピクセルのピクセル値が「１」のピクセル値を有すると決定することに応答して、その元のピクセル値から修正されないままであり得る。強化された物体８２８は、より容易に分析される物体画像８０２のバージョンを表し得る。例えば、強化された物体８２８は、物体画像８０２が物体画像７０２と同一または類似であることを前提として、図７の動作７００に関連して説明された強化された画像７０８と同一または類似であり得る。いくつかの実施形態では、改良されたスピンレート－軸推定７３０に関連して説明したように、強化された物体８２８を使用して、物体画像８０２が基づく物体のスピンレート－軸を推定することができる。

【0059】

図９は、本開示の少なくとも１つの実施形態によるスピン推定を実行する例示的な方法９００のフローチャートである。方法９００は、任意の適切なシステム、装置、またはデバイスによって実行され得る。例えば、図１のスピン推定システム１１０に対応する１つ以上のコンピュータシステムまたはソフトウェアモジュールは、方法９００に関連する１つ以上の動作を実行することができる。別個のブロックで示されているが、方法９００のブロックのうちの１つ以上に関連付けられたステップおよび動作は、特定の実装形態に応じて、追加のブロックに分割されるか、より少ないブロックに組み合わされるか、または削除され得る。

【0060】

方法９００は、ブロック９０２において開始することができ、ここで、物体の最小スピン運動に対応する画像キャプチャフレームレートが設定され得る。いくつかの実施形態では、画像キャプチャフレームレートは、最小フレームレート閾値以上で動作するように構成されてもよく、最小フレームレート閾値は、物体が典型的に関与し得る活動によって決定されるような物体のスピンレート範囲に基づいて設定される。例えば、典型的なゴルフゲームにおけるゴルフボールのスピンレートは、５００ＲＰＭ～１２０００ＲＰＭの範囲であり得、２００ＦＰＳのフレームレート未満で動作する任意のカメラは、物体がエイリアシング効果に起因してスピンレート範囲の上端またはその付近でスピンする場合、物体の画像を適切にキャプチャすることができない場合がある。したがって、画像キャプチャフレームレートは、少なくとも２００ＦＰＳに設定され得る。

【0061】

ブロック９０４において、向きマーカを物体の外面に印刷することができる。物体の外面上の向きマーカは、物体の外面上に重ねられた３次元直方体モデルに従って生成されてもよく、３次元直方体モデルの各面は、図３Ａ～図３Ｄに関連して説明したように、３次元直方体モデルの他の各面に対して一意のマーカパターンを含む。３次元直方体モデルの各面上のマーカパターンは各々、物体の運動中の物体の向きが物体の移動および回転中の任意の点で決定され得るように、回転非対称であり得る。

【0062】

ブロック９０６において、物体の画像は、物体の運動を開始した後にキャプチャされ得る。画像は、ブロック９０２で設定された画像キャプチャフレームレートを有する画像キャプチャセンサによってキャプチャされ得る。

【0063】

ブロック９０８において、物体は、ブロック９０６においてキャプチャされた画像の各々において検出され、分離された物体画像を生成するために分離され得る。いくつかの実施形態では、画像の各々に含まれる物体を検出することは、ニューラルネットワークベースの物体検出器を使用して、特定のスポーツゲームで使用されるボール物体、特定のスポーツゲームで使用される他の用具、または任意の他の物体など、画像に含まれる可能性が高い物体に関する１つ以上の特徴を認識することを伴い得る。追加的または代替的に、円形ハフ変換を適用して、物体に対応する可能性が高い画像に含まれる円形形状を検出するなど、他のデジタル画像処理技術を使用することができる。追加的または代替的に、３フレーム差分アルゴリズムなどの運動変化検出アルゴリズムが、画像の３つ以上のフレーム間の物体の移動に対応する変化に基づいて画像の残りから物体を検出するために適用され得る。これらおよび他の実施形態において、検出された物体は、画像フレームから検出された物体を切り取ることによって分離されてもよい。いくつかの実施形態では、画像は、図８の動作８００に従うなど、画像強化プロセスに従って強化され得る。画像の各々は、互いにより容易に比較され得る標準化された画像を生成するために、サイズ変更され、処理され、伸張され、またはそれらの何らかの組合せが行われ得る。例えば、図８の画像強化アルゴリズムに関連して説明したようなサイズ変更アルゴリズム８０４、ネガティブ演算８０８、伸張演算８１２、またはそれらの何らかの組合せを物体の画像に適用して、物体の画像を標準化し、画像間の比較可能性を容易にすることができる。複数の画像の各画像内の物体を検出することは、複数の画像の各画像内に含まれる背景をフィルタリングするマスクを標準化された画像の各々に適用することを伴い得る。例えば、図８の画像強化アルゴリズムに関連して説明したように、円形マスキング演算８１６、ヒストグラム等化演算８２０、適応２値化演算８２４、ＡＮＤ演算８２６、またはそれらの何らかの組合せなどの円形マスキング演算、ヒストグラム等化演算、適応２値化演算、またはそれらの何らかの組合せを物体の画像に適用して、物体画像に含まれる背景情報をフィルタリングし、画像に含まれる物体の検出を容易にすることができる。

【0064】

ブロック９１０において、物体マーカセグメンテーションマップが、分離された物体画像に基づいて生成され得る。いくつかの実施形態では、物体マーカセグメンテーションマップを生成することは、各分離された物体画像を２値化することと、物体マーカセグメンテーションマップが連続する２値化された物体マップの対のすべてまたはいくつかを含む、連続する２値化された物体マップの対を生成することとを伴い得る。これらおよび他の実施形態では、物体マーカセグメンテーションマップは、スピンレートおよびスピン軸が、画像の各々に描写されるような物体を比較することによって決定され得る、連続する物体画像の複数の対を含んでもよい。

【0065】

ブロック９１２において、運動している物体のスピンレートおよびスピン軸は、図５の動作５００に従うことによって、物体マーカセグメンテーションマップに基づいて推定され得る。任意の２つの所与の連続する２値化された物体マップに示される物体の向き、位置、任意の他の特性、またはそれらの何らかの組合せの差を使用して、スピンレートおよびスピン軸を決定することができる。追加的または代替的に、連続する２値化された物体マップの異なる対の間の推定スピンレートまたは推定スピン軸の間の差を統計的に分析して、物体のスピンレートおよびスピン軸の単一の推定を決定することができる。いくつかの実施形態では、連続する２値化された物体マップの所与の対の間のスピンレートまたはスピン軸を決定することは、深層学習アルゴリズムが、連続する２値化された物体マップの所与の対に描写される物体のスピンレートおよびスピン軸を推定し得るように、物体のスピンレートおよびスピン軸に従って注釈付けられた物体の現実世界画像を使用して訓練された深層学習アルゴリズムに、連続する２値化された物体マップの所与の対を入力することを伴い得る。追加的または代替的に、深層学習アルゴリズムの訓練は、シミュレーション環境において生成された連続する２値化された物体マップの合成データによって容易にされ得る。

【0066】

例えば、連続する２値化された物体マップの対に関連付けられた推定スピンレートのうちの１つ以上または推定スピン軸のうちの１つ以上が、外れ値スピン推定として識別され得る。外れ値スピン推定として識別されない推定スピンレートおよび推定スピン軸を統合して、最終推定スピンレートおよび最終推定スピン軸を決定することができる。

【0067】

いくつかの実施形態では、連続する２値化された物体マップの所与の対のスピンレートおよびスピン軸を推定することは、順方向の連続する２値化された物体マップの各対に対応する第１の物体スピンを推定することと、逆方向の連続する２値化された物体マップの各対に対応する第２の物体スピンを推定することとを伴い得る。第１の物体スピンおよび第２の物体スピンを互いに比較して、連続する２値化された物体マップの所与の対について推定スピンレートおよび推定スピン軸を決定することができる。

【0068】

本開示の範囲から逸脱することなく、方法９００に対して修正、追加、または省略を行うことができる。例えば、記載された方法における異なる要素の指定は、本明細書に記載された概念を説明するのを助けることを意味し、限定するものではない。更に、方法９００は、任意の数の他の要素を含んでもよく、または説明されるもの以外の他のシステムまたはコンテキスト内で実装されてもよい。

【0069】

図１０は、本開示に記載される少なくとも１つの実施形態による、例示的なコンピュータシステム１０００である。コンピューティングシステム１０００は、プロセッサ１０１０、メモリ１０２０、データストレージ１０３０、および／または通信ユニット１０４０を含むことができ、これらはすべて通信可能に結合することができる。図１のスピン推定システム１１０のいずれかまたはすべては、コンピューティングシステム１０００と一致するコンピューティングシステムとして実装され得る。

【0070】

一般に、プロセッサ１０１０は、様々なコンピュータハードウェアまたはソフトウェアモジュールを含む任意の適切な専用または汎用コンピュータ、コンピューティングエンティティ、または処理デバイスを含むことができ、任意の適用可能なコンピュータ可読記憶媒体に記憶された命令を実行するように構成することができる。例えば、プロセッサ１０１０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム命令を解釈および／もしくは実行するように、ならびに／またはデータを処理するように構成された任意の他のデジタルもしくはアナログ回路を含み得る。

【0071】

図１０では単一のプロセッサとして示されているが、プロセッサ１０１０は、本開示で説明される任意の数の動作を個別にまたは集合的に実行するように構成された任意の数のネットワークまたは物理的場所にわたって分散された任意の数のプロセッサを含み得ることが理解される。いくつかの実施形態では、プロセッサ１０１０は、プログラム命令を解釈および／もしくは実行し、ならびに／またはメモリ１０２０、データストレージ１０３０、もしくはメモリ１０２０およびデータストレージ１０３０に記憶されたデータを処理することができる。いくつかの実施形態では、プロセッサ１０１０は、データストレージ１０３０からプログラム命令をフェッチし、プログラム命令をメモリ１０２０にロードしてもよい。

【0072】

プログラム命令がメモリ１０２０にロードされた後、プロセッサ１０１０は、図５の動作５００の動作、図６のニューラルネットワーク６００に関連付けられた１つ以上の動作、図７のリファイナアルゴリズム７００に関連付けられた１つ以上の動作、図８の画像強化アルゴリズム８００に関連付けられた１つ以上の動作、または図９の方法９００の動作をコンピューティングシステム１０００に実行させる命令などのプログラム命令を実行してもよい。

【0073】

メモリ１０２０およびデータストレージ１０３０は、コンピュータ実行可能命令またはデータ構造を記憶させるためのコンピュータ可読記憶媒体または１つ以上のコンピュータ可読記憶媒体を含み得る。そのようなコンピュータ可読記憶媒体は、プロセッサ１０１０などの汎用コンピュータまたは専用コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。例えば、メモリ１０２０および／またはデータストレージ１０３０は、図５に関連して説明したように、物体画像５０２、２値マップ５０６、スピンレート推定およびスピン軸推定５１４、スピンレート推定およびスピン軸推定５１８、最終スピンレート－軸推定５２２、または改良されたスピンレート－軸推定５２６を含むことができる。いくつかの実施形態では、コンピューティングシステム１０００は、メモリ１０２０およびデータストレージ１０３０のいずれかを含んでも含まなくてもよい。

【0074】

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）もしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、またはコンピュータ実行可能命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用され得、汎用もしくは専用コンピュータによってアクセスされ得る任意の他の記憶媒体を含む、非一時的コンピュータ可読記憶媒体を含み得る。上記の組合せも、コンピュータ可読記憶媒体の範囲内に含まれ得る。コンピュータ実行可能命令は、例えば、プロセッサ１０１０に特定の動作または動作のグループを実行させるように構成された命令およびデータを含み得る。

【0075】

通信ユニット１０４０は、ネットワーク上で情報を送信または受信するように構成された任意の構成要素、デバイス、システム、またはそれらの組合せを含み得る。いくつかの実施形態では、通信ユニット１０４０は、他の場所、同じ場所、または更には同じシステム内の他の構成要素にある他のデバイスと通信することができる。例えば、通信ユニット１０４０は、モデム、ネットワークカード（無線または有線）、光通信デバイス、赤外線通信デバイス、無線通信デバイス（アンテナなど）、および／またはチップセット（Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．６デバイス（例えば、メトロポリタンエリアネットワーク（ＭＡＮ）など）、ＷｉＦｉ（登録商標）デバイス、ＷｉＭａｘ（登録商標）デバイス、セルラー通信設備など）などを含んでもよい。通信ユニット１０４０は、データがネットワークおよび／または本開示で説明される任意の他のデバイスもしくはシステムと交換されることを可能にし得る。例えば、通信ユニット１０４０は、システム１０００が、コンピューティングデバイスおよび／または他のネットワークなどの他のシステムと通信することを可能にし得る。

【0076】

当業者は、本開示を検討した後に、本開示の範囲から逸脱することなく、システム１０００に対して修正、追加、または省略が行われ得ることを認識し得る。例えば、システム１０００は、明示的に図示され説明されたものよりも多いまたは少ない構成要素を含んでもよい。

【0077】

前述の開示は、本開示を、開示された厳密な形態または特定の使用分野に限定することを意図していない。したがって、本開示に対する様々な代替実施形態および／または修正は、本明細書に明示的に記載されているか暗示されているかにかかわらず、本開示に照らして可能であることが企図される。本開示の実施形態をこのように説明してきたが、本開示の範囲から逸脱することなく、形態および詳細において変更が行われ得ることが認識され得る。したがって、本開示は、特許請求の範囲によってのみ限定される。

【0078】

いくつかの実施形態では、本明細書で説明される異なる構成要素、モジュール、エンジン、およびサービスは、コンピューティングシステム上で実行される物体またはプロセスとして（例えば、別個のスレッドとして）実装され得る。本明細書で説明されるシステムおよびプロセスのうちのいくつかは、概して、ソフトウェア（汎用ハードウェア上に記憶され、および／または汎用ハードウェアによって実行される）で実装されるものとして説明されるが、特定のハードウェア実装またはソフトウェア実装と特定のハードウェア実装との組合せも可能であり、企図される。

【0079】

本開示および特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）において使用される用語は、一般に、「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきである）。

【0080】

加えて、導入される請求項の記載の特定の数が意図される場合、そのような意図は、請求項において明示的に記載され、そのような記載がない場合、そのような意図は存在しない。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」および「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」または「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」または「少なくとも１つの」といった導入句および「ａ」または「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む実施形態に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。

【0081】

更に、導入された請求項記載において特定の数が明示的に記載されている場合であっても、かかる記載は、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、少なくとも２つの記載事項、または２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ、およびＣなどのうちの少なくとも１つ」または「Ａ、Ｂ、およびＣなどのうちの１つ以上」に類似する規約が使用される場合、一般に、そのような構成は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢとの組合せ、ＡとＣとの組合せ、ＢとＣとの組合せ、またはＡとＢとＣとの組合せなどを含むことが意図される。

【0082】

更に、明細書、特許請求の範囲、または図面のいずれかにおいて、２つ以上の代替用語に先行する任意の選言的な単語または句は、用語のうちの１つ、用語のいずれか、または用語の両方を含む可能性を企図すると理解されるべきである。例えば、「ＡまたはＢ」という句は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むものと理解されるべきである。

【0083】

本開示に記載されたすべての例および条件付き言語は、本開示および本発明者によって当該技術分野の推進に寄与された概念を読者が理解するのを助けるための教育的目的を意図しており、そのような具体的に記載された例および条件に限定されないものとして解釈されるべきである。本開示の実施形態を詳細に説明してきたが、本開示の趣旨および範囲から逸脱することなく、本明細書に様々な変更、置換、および改変を行うことができる。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】