特表 2022-525913 電子ホームプレート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-20

(54)【発明の名称】電子ホームプレート

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220513BHJP

   H04N 5/225 20060101ALI20220513BHJP

   A63B 71/06 20060101ALI20220513BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 200

A63B71/06 Q

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021556384

(86)(22)【出願日】2020-03-13

(85)【翻訳文提出日】2021-11-10

(86)【国際出願番号】 US2020022655

(87)【国際公開番号】W WO2020190728

(87)【国際公開日】2020-09-24

(31)【優先権主張番号】62/819,570

(32)【優先日】2019-03-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/868,952

(32)【優先日】2019-06-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/813,993

(32)【優先日】2020-03-10

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521432074

【氏名又は名称】フリーステイト・オプティックス

【氏名又は名称原語表記】ＦＲＥＥＳＴＡＴＥ ＯＰＴＩＣＳ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ルザサ，ジョン・ロバートソン

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA03

5C122DA13

5C122DA21

5C122EA01

5C122EA65

5C122FB03

5C122FC00

5C122FH06

5C122FH11

5C122FH12

5C122FH14

5C122FH23

5C122GA01

5C122GC76

5C122GE01

5C122GE05

5C122GE07

5C122HA13

5C122HA35

5C122HA42

5C122HA88

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

電子ホームプレートシステムは、ホームプレートエンクロージャと、エンクロージャ内に配置された少なくとも１つの画像センサシステムとを含み、各画像センサシステムは、画像センサと、レンズと、第１のプロセッサとを含む。第１のプロセッサは、画像センサからフレームを継続的にキャプチャすることによってボールの動きを検出するように適合されている。検出された動きは、ホームプレートエンクロージャ上を通過するボール、またはホームプレートエンクロージャ上ではなく近くを通過するボールを含む。

【特許請求の範囲】

【請求項1】

電子ホームプレートシステムであって、
ホームプレートエンクロージャと、
前記エンクロージャ内に配置された少なくとも１つの画像センサシステムとを備え、各画像センサシステムは、画像センサと、レンズと、第１のプロセッサとを備え、
前記第１のプロセッサは、前記画像センサからフレームを連続的にキャプチャすることによってボールの動きを検出するように適合されており、
前記検出された動きは、前記ホームプレートエンクロージャ上を通過する前記ボール、または前記ホームプレートエンクロージャ上ではなく近くを通過する前記ボールを含む、電子ホームプレートシステム。

【請求項2】

前記第１のプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を備える、請求項１に記載の電子ホームプレートシステム。

【請求項3】

前記第１のプロセッサは、第１のフレームをキャプチャし、第２のフレームをキャプチャし、前記第２のフレームから前記第１のフレームを減算し、かつピクセルの変化をチェックするようにさらに適合されている、請求項１に記載の電子ホームプレートシステム。

【請求項4】

前記第１のプロセッサは、１つの行において連続するピクセルの動きをチェックし、かつ画像の行において連続する動きをチェックすることによって、ピクセルの変化をチェックするようにさらに適合されている、請求項３に記載の電子ホームプレートシステム。

【請求項5】

前記検出された動きを特徴づけるように適合された第２のプロセッサをさらに備え、前記動きが前記第１のプロセッサによって検出されたときに、画像は、前記第２のプロセッサに送信される、請求項１に記載の電子ホームプレートシステム。

【請求項6】

前記第２のプロセッサは、前記画像から前記検出された動きを特徴付けるように適合され、前記特徴付けは、
前記画像をノイズ除去するステップと、
動きのブロブにおいてギャップを満たすために前記画像を拡張するステップと、
前記画像の歪みを解消するステップと、
所望のサイズ範囲において円形のブロブを検索するステップと、
前記検出された円形のブロブが十分に満たされていることをチェックするステップと、
半径および位置に対応する十分に満たされた前記検出された円形のブロブを、以前に適合された多項式に送信するステップとを備える、請求項５に記載の電子ホームプレートシステム。

【請求項7】

前記特徴付けは、前記多項式から前記ボールの垂直位置、水平位置、および速度を生成するステップをさらに備える、請求項６に記載の電子ホームプレートシステム。

【請求項8】

前記第１のプロセッサは、前記画像をブロックに細分することによってピクセルの変化をチェックし、各長方形における動きピクセルをカウントし、かつ前記動きピクセルの数が閾値を超えるかどうかを決定するようにさらに適合されている、請求項３に記載の電子ホームプレートシステム。

【請求項9】

ホームプレートエンクロージャと、前記エンクロージャ内に配置された少なくとも１つの画像センサシステムとを備える電子ホームプレートを使用してボールを検出する方法であって、各画像センサシステムは、画像センサと、レンズと、第１のプロセッサとを備え、前記方法は、
前記第１のプロセッサによって、前記画像センサからフレームを連続的にキャプチャすることによってボールの動きを検出するステップを備え、前記検出された動きは、前記ホームプレートエンクロージャ上を通過する前記ボール、または前記ホームプレートエンクロージャ上ではなく近くを通過する前記ボールを含む、方法。

【請求項10】

前記第１のプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を備える、請求項９に記載の方法。

【請求項11】

前記検出するステップは、
第１のフレームをキャプチャするステップと、
第２のフレームをキャプチャするステップと、
前記第２のフレームから前記第１のフレームを減算するステップと、
ピクセルの変化をチェックするステップとを備える、請求項９に記載の方法。

【請求項12】

前記検出するステップは、
１つの行において連続するピクセルの動きをチェックすることによってピクセルの変化をチェックするステップと、
画像の行において連続する動きをチェックするステップとをさらに備える、請求項１１に記載の方法。

【請求項13】

前記検出された動きを第２のプロセッサによって特徴づけるステップをさらに備え、前記動きが前記第１のプロセッサによって検出されたときに、画像は、前記第２のプロセッサに送信される、請求項９に記載の方法。

【請求項14】

前記特徴づけるステップは、
前記画像をノイズ除去するステップと、
動きのブロブにおいてギャップを満たすために前記画像を拡張するステップと、
前記画像の歪みを解消するステップと、
所望のサイズ範囲において円形のブロブを検索するステップと、
前記検出された円形のブロブが十分に満たされていることをチェックするステップと、
半径および位置に対応する十分に満たされた前記検出された円形のブロブを、以前に適合された多項式に送信するステップとを備える、請求項１３に記載の方法。

【請求項15】

前記特徴づけるステップは、前記多項式から前記ボールの垂直位置、水平位置、および速度を生成するステップをさらに備える、請求項１４に記載の方法。

【請求項16】

前記検出するステップは、
前記画像をブロックに細分することによってピクセルの変化をチェックするステップと、
各長方形における動きピクセルをカウントするステップと、
前記動きピクセルの数が閾値を超えるかどうかを決定するステップとをさらに備える、請求項１１に記載の方法。

【請求項17】

１つまたは複数のプロセッサによって実行されたときに、ホームプレートエンクロージャと、前記エンクロージャ内に配置された少なくとも１つの画像センサシステムとを備える電子ホームプレートを使用してボールを検出する命令を記憶するコンピュータ可読媒体であって、各画像センサシステムは、画像センサと、レンズと、第１のプロセッサとを備え、前記検出は、
前記画像センサからフレームを連続的にキャプチャすることによってボールの動きを検出するステップを備え、前記検出された動きは、前記ホームプレートエンクロージャ上を通過する前記ボール、または前記ホームプレートエンクロージャ上ではなく近くを通過する前記ボールを含み、
前記検出するステップは、
第１のフレームをキャプチャするステップと、
第２のフレームをキャプチャするステップと、
前記第２のフレームから前記第１のフレームを減算するステップと、
ピクセルの変化をチェックするステップとを備える、コンピュータ可読媒体。

【請求項18】

前記検出するステップは、
１つの行において連続するピクセルの動きをチェックすることによってピクセルの変化をチェックするステップと、
画像の行において連続する動きをチェックするステップとをさらに備える、請求項１７に記載のコンピュータ可読媒体。

【請求項19】

前記検出するステップは、
前記画像をブロックに細分することによってピクセルの変化をチェックするステップと、
各長方形における動きピクセルをカウントするステップと、
前記動きピクセルの数が閾値を超えるかどうかを決定するステップとをさらに備える、請求項１８に記載のコンピュータ可読媒体。

【請求項20】

前記検出された動きを特徴づけるステップをさらに備え、前記動きが前記第１のプロセッサによって検出されたときに、画像は、生成されかつ送信され、前記特徴づけるステップは、
前記画像をノイズ除去するステップと、
動きのブロブにおいてギャップを満たすために前記画像を拡張するステップと、
前記画像の歪みを解消するステップと、
所望のサイズ範囲において円形のブロブを検索するステップと、
前記検出された円形のブロブが十分に満たされていることをチェックするステップと、
半径および位置に対応する十分に満たされた前記検出された円形のブロブを、以前に適合された多項式に送信するステップとを備える、請求項１７に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の参照
この出願は、２０１９年３月１６日に出願された米国特許仮出願第６２／８１９，５７０号の優先権を主張し、かつ２０１９年６月３０日に出願された米国特許仮出願第６２／８６８，９５２号の優先権を主張する。これら各出願の開示は、参照により本明細書に組み込まれる。

【0002】

分野
一実施形態は、一般に、野球／ソフトボールのホームプレート、特に、ボール／ストライクおよび他の分析を自動的に決定する電子ホームプレートを対象とする。

【背景技術】

【0003】

背景情報
野球およびソフトボールにおいて、ストライクゾーンは、バッターがバットをスウィングしないときに「ストライク」としてカウントされるために投球が通過しなければならない境界を定義するホームプレート上の概念的な直角五角柱である。

【0004】

図１は、典型的なストライクゾーンを示す。図１に示すように、ストライクゾーン１２のトップ１０は、野球の公式ルールにおいて、バッターの肩の上部とユニフォームパンツの上部との中間点にある水平線として定義されている。ストライクゾーン１２の底部１４は、バッターの膝蓋骨の下のくぼみにある線である。ストライクゾーン１２の左右の境界１６，１８は、ホームプレート２４のエッジ２０，２２に対応する。ストライクゾーンの外側の境界に接する投球は、ストライクゾーンの真ん中に投げられる投球と同様にストライクである。バッターがスイングせず、かつストライクゾーンを通過しない投球は、ボールと呼ばれる。

【0005】

規則においてホームベースとして正式に指定されているホームプレートは、プレーヤが得点するために触れなければならない最終ベースである。ホームプレートは、地面に設置された白く塗られたゴムの５辺の厚板である。ピッチャーから投球を受ける準備ができると、バッターはバッターボックスに立つ。

【0006】

野球において、審判員は、ゲームを開始および終了すること、ゲームおよびグラウンドの規則を守らせること、プレイに対する判断のコールを行うこと、および懲戒処分を扱うことを含む、ゲームの審判を担当する人である。２人以上の審判員によって審判されるゲームにおいて、主審（ホームプレート審判員）が全体のゲームを担当する審判員である。この審判員は、ボールおよびストライクをコールし、１塁／３塁の欠員の場合に、フェアボールおよびファウルボールをコールし、およびバッターに関することまたはホームプレート近くのベースランナーに関することのほとんどのコールを行う。審判員２６は、キャッチャーボックスの後ろに通常配置され、投球がストライクまたはボールかを宣言する。

【発明の概要】

【発明が解決しようとする課題】

【0007】

投球がストライクゾーンを通過するのかまたは境界の外側を通過するのかを判断する際、ヒューマンエラーが存在し得ることは明らかである。これは、審判員が典型的に非専門家および／またはボランティアであるリトルリーグおよび学生リーグの野球ゲームの場合に特に当てはまる。これらの状況におけるヒューマンエラーの可能性は、増加している。

【課題を解決するための手段】

【0008】

概要
実施形態は、ホームプレートエンクロージャと、エンクロージャ内に配置された少なくとも１つの画像センサシステムとを含む電子ホームプレートシステムを対象とし、各画像センサシステムは、画像センサと、レンズと、第１のプロセッサとを含む。第１のプロセッサは、画像センサからフレームを連続的にキャプチャすることによってボールの動きを検出するように適合されている。検出された動きは、ホームプレートエンクロージャ上を通過するボール、またはホームプレートエンクロージャ上ではなく近くを通過するボールを含む。

【0009】

さらなる実施形態、詳細、利点、および変更は、添付の図面と併せて解釈されるべき、実施形態の以下の詳細な説明から明らかになるだろう。

【図面の簡単な説明】

【0010】

【図1】典型的なストライクゾーンを示す図である。

【図2】本発明の実施形態による電子ホームプレートシステムの全体的なブロック図である。

【図3】実施形態による電子ホームプレートシステムの画像センサ／カメラの各々の主要な構成要素のブロック図である。

【図4】一実施形態による図３の各画像センサシステムによって実行される物体検出の機能のフロー図である。

【図5】実施形態による物体が検出された後の特徴的な測定機能のフロー図である。

【図6】実施形態による図５の機能によって生成されたサンプルの動き検出画像を示すユーザインターフェースの図である。

【図7】本発明の実施形態において出力される例示的なグラフィカルユーザインターフェースの図である。

【図8A】実施形態による電子ホームプレートシステムの主な構成要素のブロック図である。

【図8B】実施形態による手持ちリモートコントローラのブロック図である。

【図9】実施形態による例示的な１ビット動画を示す図である。

【図10】実施形態による例示的な８ビット画像を示す図である。

【図11】一実施形態による物体検出の機能のフロー図である。

【図12】実施形態による図１１の機能の出力を示す図である。

【発明を実施するための形態】

【0011】

詳細な説明
一実施形態は、プロセッサ／集積回路（たとえば、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」））によって高フレームレートで移動するボールの画像を取得する電子ホームプレートである。プロセッサは、フレームを継続的にキャプチャし、連続するフレーム間で目的のタイプの動きを探し、そして、より複雑なオフライン画像処理のために動きイメージをホストまたは第２のデバイスに送り返すといったセルフトリガーメカニズムを含む。

【0012】

実施形態は、プロセッサ内の低レベルのアーキテクチャに基づいているため、基本的な動きは、高速で取得時間を遅くすることを要することなく、画像センサのフレームレートで検出され得る。したがって、実施形態は、物体が視野に入っていることを画像センサが事前に知らない場合に、高速で飛行中の物体（たとえば、野球またはソフトボール）を検出することができる。キャプチャされた画像は、物体の３Ｄ位置、速度、加速度特性、アプリケーションに関連するその他のデータ（野球アプリケーションにおける、スピン、発射角度、バット速度など）をも計算するためにその後使用され得る。

【0013】

実施形態は、１つまたは複数の同期カメラを使用する。１つよりも多いカメラは、視野を広げるために使用され得る。他の実施形態において、追加のカメラは、他のカメラと同期してより多くの情報を収集するために、他の方向に向けられてもよい。たとえば、野球またはソフトボールにおいて４つのカメラを使用することにより、キャッチャーのグローブの位置、バッターのスタンス、およびピッチャーのスタンスを取得することができるため、フィールドまたはプレーヤの行動において要求される如何なる変更も要することなく、ゲームプレイまたはトレーニングにおいて使用され得る完全にインストルメント化されたホームプレートを本質的に作成することができる。

【0014】

実施形態は、一般的に、野球およびソフトボールにおける最大の問題の１つである、プレーヤが実際に投げる投球数の正確なカウントを維持することを解決することができ、これは、プレーヤの健康を維持することにおいて非常に重要な測定基準であるためである。ゲーム、ブルペン、トレーニング施設、およびバックヤードにおいて利用される実施形態は、投げられたすべての投球を測定し（たとえプレートのかなり外側であっても）、プレーヤの名前にタグ付けされ、そして１ゲーム、１日、１週間などにおいて彼らが実際に投げる投球数を正確にトラックし続けるためにクラウドに保存される。

【0015】

ここで、本開示の実施形態が詳細に参照され、その例が添付の図面において示される。以下の詳細な説明では、本開示の完全な理解を提供するために、多くの特定の詳細が示される。しかしながら、本開示がこれらの特定の詳細なしで実施され得ることは当業者には明らかだろう。他の例において、実施形態の態様を不必要に不明瞭にしないように、周知の方法、手順、構成要素、および回路は、詳細に説明されていない。可能な限り、同様の参照番号が同様の要素に使用されるだろう。

【0016】

図２は、本発明の実施形態による電子ホームプレートシステム４０の全体的なブロック図である。システム４０は、ボールまたは発射体の検出システム（電子ホームプレートシステムまたはＥＨＰシステムとも呼ばれる）として機能し、野球およびソフトボールゲームのための低コストかつ効果的なホームプレートであり、ホームプレート上を通過する野球の存在、位置、および速度の検出および表示に適合した電子および光電子部品を含んでいる。

【0017】

システム４０は、投球が「ボール」または「ストライク」であるかを決定することにおいて審判員を支援するように設計されており、野球のトレーニング演習において使用され得る。システム４０は、プロおよび非プロの両方のカテゴリの野球ゲームにおける使用のために想定されているが、実施形態は、審判員が典型的に非プロおよびボランティアであるリトルリーグおよび学生リーグ市場を主に対象とされ得る。

【0018】

システム４０はまた、ピッチャーのためのトレーニング補助として大きな価値を有する。システム４０は、投球の位置および速度のＸＹマップを取得することを容易にする。具体的には、ピッチャーは、電子ホームプレート上に多くの投球を運び、全ての投球が移動した場所のＸＹマップを、各投球の速度とともに取得することができる。実施形態はまた、ボールの速度を計算するため、およびヒッターがボールと接触したプレート上の位置を計算するために、Ｚ軸（たとえば、プレートの前、上、および後ろ）の情報を取り込むことができ、またこれらの計算値をプレート上のボールの３Ｄ軌道を計算することに使用する。

【0019】

システム４０は、電子ホームプレート５０、およびＥＨＰ５０と無線通信する１つまたは複数のリモートの第２のデバイスを含み、第２のデバイスは、リモートコントロールまたはフォブ６０、グラフィカルユーザインターフェースを備えたタブレット／パーソナルコンピュータ７０、またはスマートフォンアプリケーション（「アプリ」）８０を含んでいる。

【0020】

ＥＨＰ５０は、画像処理アルゴリズムを実行することができるシステムオンチップ（「ＳＯＣ」）プロセッサまたは汎用マイクロプロセッサ５３を含み、ソフトウェアの実施形態においてプロセッサ５３によって実行される命令を記憶するための記憶装置（たとえば、一時的または非一時的コンピュータ可読媒体）を含み得る。ＥＨＰ５０はさらに、ＥＨＰ５０と、リモートコントロール６０、タブレット／パーソナルコンピュータ７０、またはスマートフォン８０のいずれかまたは全てとの間の無線通信を提供するための通信要素を含む。通信は、ブルートゥース（登録商標）５２、ブルートゥースチャネル９３経由、Ｗｉ－Ｆｉチャネル９２経由のＷｉ－Ｆｉ５１、またはセルラーチャネル９１経由のセルラー５４になり得る。開示されたデータ通信／送信方法のいずれかは、構成要素６０、７０、および８０のいずれかに使用され得、あらゆる他の既知のワイヤレスデータ送信方法は、他の実施形態において使用され得る。

【0021】

ＥＨＰ５０は、充電式バッテリ５７、および２つ以上の「画像センサシステム」または「カメラ」５５、５６をさらに含む。ＥＨＰ５０は、有線または無線（たとえば、誘導充電を使用する）のいずれかでバッテリ５７を充電するために電力を接続するための充電ポート５８、および電源スイッチ５９をさらに含む。

【0022】

リモートコントロール６０は、ストライクゾーングリッドディスプレイ６１を備えたタッチスクリーン６１、およびデータを入力するためのボタン６２または他のユーザインターフェースを含む。ＧＵＩ７０は、ストライクゾーンおよびストライクゾーン内のボールの検出を表示するための３Ｄストライクゾーンディスプレイ７１、ピッチャー／ヒッター選択７２、投球履歴テーブル７３、および生ビデオディスプレイ７４を含む。

【0023】

アプリ８０は、３Ｄストライクゾーンディスプレイ８１、可聴／触覚コールフィードバック８２、スコアキーピング機能８３、および投球履歴分析８４を含む。

【0024】

開示されるように、実施形態は、１つまたは複数のカメラまたは画像センサを使用し、カメラは、物体（たとえば、ボール）が視野に現れるか／いつ現れるかを認識しないので、画像は、あらゆるフレームをスキップすることなく連続的に高速でキャプチャされかつ処理されなければならない。しかしながら、実施形態は、物体を完全に見逃すリスクがあるため、処理中にフレームレートを遅くすることを実質的に許可することはできない。

【0025】

図３は、実施の形態による、ＥＨＰシステム４０における図２）の画像センサシステム５５および５６などの画像センサ／カメラ（総称して「画像センサシステム」）の各々の主要構成要素のブロック図である。４つの主な構成要素は、高速グローバルシャッター画像センサ１３３（対応するレンズ１３４を有する）、ＦＰＧＡ１３０、高速ＲＡＭバンク１３１、およびシリアルペリフェラルインターフェース（「ＳＰＩ」）バス１３２（または無線デバイス（たとえば、スマートフォン８０、タブレット／ＰＣ７０）に繋がるあらゆるタイプを含む。図３の構成要素は、図２のホームプレート５０の一部である。

【0026】

図４は、一実施形態による、図３の各画像センサシステムによって実行される物体検出の機能のフロー図である。一実施形態において、図４（および以下の図５および１１）のフロー図の機能は、メモリまたは他のコンピュータ可読または有形媒体に格納されプロセッサによって実行されるソフトウェアによって実装される。他の実施形態において、機能は、ハードウェア（たとえば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラム可能なゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）など）、またはハードウェアとソフトウェアとの任意の組み合わせによって実行され得る。

【0027】

図４の機能は、画像センサ１３３が連続的に画像を（１５０および１５２で）取得し、露光およびアナログ／デジタル利得などのノイズ閾値化の目的のためにそれ自体を（１５１および１５２で）調整し、そしてこのデータをＦＰＧＡ１３０に送信する、連続ループである。フレーム間の時間中に、ＦＰＧＡ１３０は、最後の２つのフレームを（１５４で）減算し、特定のタイプの動きが起こったかどうか（すなわち、ボールがプレート５０上または近くを通過したかどうか）を決定するために、信号処理を実行する。実施形態において、フレーム１およびフレーム２は、連続するフレームであることで、全てのフレームは、図４の機能によって処理される。

【0028】

実施形態における信号処理は、１５５でピクセル変化をチェックすること、１５６で１つの行において連続するピクセルの動きをチェックすること、および１５７で画像行において連続する動きをチェックすることを含む。任意選択で、動きの制限が超えられているかどうかのチェックは、１５７の後に行われ得る。環境および画像センサ１３３におけるノイズのために、常にいくつかの動きが現れるだろう。信号処理は、ＦＰＧＡ１３０に、興味のある動きとして認識されるイベントの数を大幅に減少させ、そしてこれらの一時的なイベントを、１５８で処理を追加するために、別のより強力なプロセッサ（たとえば、スマートフォン８０、タブレット／ＰＣ７０など）に報告する。電子部品がホームプレート５０に埋め込まれている一実施形態において、システムを完全に携帯可能に保つが、長い待ち時間をもたらさないように情報を送信するために、Ｗｉ－Ｆｉモジュール５１が使用される。他の実施形態において、他の送信方法は、使用され得る。

【0029】

以下の擬似コードは、実施形態において図４の１５１～１５５の機能を実行する。

【0030】

【数1】

【0031】

【数2】

【0032】

以下の擬似コードは、実施形態において図４の１５６，１５７の機能を実行する。

【0033】

【数3】

【0034】

１５７の後の動き制限を含む実施形態において、動き制限は、信頼性を改善し、かつ誤ったイベントを減らすために実行される。具体的には、プレート上を移動するボールおよびバットは、かなり一貫性のある範囲における動きピクセルの総数を生成するため、これ以上のものは無視される誤ったイベントである可能性が最も高い。いくつかの実施形態において、動き制限は２つの領域に分割され、一方の部分はプレートの前部を覆い、他方の部分は後部を覆う。各エリアは、２つのケースを考慮して、異なる動き制限を有する。１）バッターは、ボールのはるか前にあり、２）ボールおよびバットは、画像の前部においてほぼ同時に表示される。システムの全体的な目標は、ボールの振る舞い（バットが存在する場合または存在しない場合）を測定することであり、かつ、ボールおよびバットは反対方向から来ているため、後部はバット（バットの見かけのサイズはボールよりも大きい）からの早いトリガーを防ぐためにより低い動き制限を有し、かつ、前の動き制限は、ボールおよびバットがほぼ同時に現れる場合にトリガーするために、より高くなっている。

【0035】

さらに、いくつかの実施形態は、画像のセクションがトリガー計算から完全に除外され得るといった、ＸおよびＹにおける構成可能な関心領域を含む。この主な理由は、ヒッターの体が時々現れ得る領域をマスクすることである。これは、ヒッターがほぼスイング前およびスイング中に体を動かすことによって引き起こされる誤ったトリガーを減らす。

【0036】

図２の実施形態は、２つの画像センサシステム５５，５６を含むが、他の実施形態において、わずかに１つの画像センサシステムが使用され得るか、または２つよりも多い画像センサシステムが使用され得る。

【0037】

図５は、実施形態による物体が検出された後の特徴的な測定機能のフロー図である。 図５の機能は、一実施形態においてプロセッサ５３によって実行される。他の実施形態において、「第２の」プロセッサ（たとえば、スマートフォン８０またはタブレット／ＰＣ７０などのプロセッサ）は、機能を実装するか、またはホームプレート５０は、機能のための第２のより強力なプロセッサを含む。

【0038】

５０２において、プロセッサは、ＳＰＩバス１３２を介して１ビットの動画を受信し、ピクセルが２つの連続する画像間で変化した場合は白であり、そうでない場合は黒である。５０３において、動画は、ヒットミスフィルタを使用してノイズ除去される。ヒットオアミスフィルタは、１つの動きピクセルがすべて黒で囲まれているノイズピクセルを取り除くために適用される。これは、通常、センサのノイズまたは太陽放射照度における微妙な変化によるものである。

【0039】

５０４において、画像は、動きブロブにおけるギャップを満たすために拡張される。膨張において、白いピクセルの大きな領域によって囲まれた黒いピクセルの小さなクラスタの場所が白で満たされる。これは、センサノイズから、または動いている物体のピクセル値が前の画像における背景ピクセル値に非常に近い場合に再び発生し得る。

【0040】

５０５において、固有のカメラパラメータは、画像を歪みのないようにするために使用される。画像は、ピンホールカメラの標準アルゴリズムを使用して、歪みのないようにされる。広角レンズは、直線が湾曲して現れるように画像を曲げ得るため、このステップは、カメラから同じ距離にある物体が画像の中央および端で同じ見かけのサイズを有するように画像を平坦化する。

【0041】

５０６において、所望のサイズ範囲における円形ブロブが検索される。標準のブロブ検出アルゴリズムは、特定の基準、すなわち合計サイズ、外側の輪郭の曲率、および楕円率を満たす動きピクセルのクラスタを見つけるために使用される。これは、バット、人々、鳥などの他のものから円形のボールを区別することを助ける。

【0042】

５０７において、検出された円が十分に満たされているかどうかがチェックされる。このチェックは、ブロブが正に動いているボールであるのに十分に満たされていることを保証するので、ブロブの周りの境界ボックスにおける動きピクセルの総数は、円形物体の場合とほぼ同じである。辺のサイズが「ａ」の境界ボックスの場合、内接円の面積は、ｐｉ＊（ａ／２）＾２であるため、比率は（ｐｉ＊（ａ／２）＾２）／（ａ＾２），または０．７８５である。

【0043】

５０８において、円の半径および位置は、以前に適合された多項式表面に送られる。５０９において、多項式は、垂直方向および横方向の位置と速度とを返す。５０８、５０９において、各円形ブロブのピクセル位置および半径は、物体の高さ、中心から外れた横方向の位置、および速度を返す多項式に入力される。キャリブレーションプロセスは、キャリブレーション領域における任意の場所にある既知のサイズのボールにとって、完全に定義されかつ明確な位置を与える。そして、機能は、５０２において継続する。

【0044】

以下の擬似コードは、実施形態において図５の５０６～５０９の機能を実行する。

【0045】

【数4】

【0046】

図６は、実施形態による、図５の機能によって生成されたサンプルの動き検出画像を示すユーザインターフェースである。図５に示される実施形態は、２つの画像センサシステムを使用する。図５の画像処理機能は、２つの動画６０１，６０２を赤でマークし、そして６０３において垂直方向と横方向の位置を計算する。画像内のＸ位置に沿った各円の半径は、投球の位置を決定するために使用される。Ｘ距離Ｙ距離は、カメラの露出時間とともに速度を計算するために使用される。ボールの下向きの弾道は、速度に伴う半径の変化によって見つけられる。

【0047】

実施形態における図６のユーザインターフェースは、生の動画を生成する図４の機能と、生の画像においてボールを配置し、かつそれらの位置を赤いオーバーレイマーキングすることを表示する図５の機能との両方によって生成される。

【0048】

図７は、本発明の実施形態において出力される例示的なグラフィカルユーザインターフェース（「ＧＵＩ」）７００である。実施形態におけるＧＵＩ７００は、タブレット７０およびスマートフォン８０などのホームプレート５０と無線通信する第２のデバイスの１つに表示され得る。ＧＵＩ７００で提供される情報は、投球速度７０２、投球位置７０３、投球カウント７０４、およびセッションのためのボール／ストライクの数７０５、ならびにセッションのためのボール配置を示すＸＹグリッド７１０を含む。

【0049】

図８Ａは、実施形態によるＥＨＰシステム４０の主な構成要素のブロック図である。 図８Ａの実施形態は、図２に示されるシステム４０の実施形態と同様の２つの画像センサシステムを含む。

【0050】

実施形態において、画像センサシステム５５，５６を制御するＳｏＣ５３は、画像を処理し、較正を適用し、および結果を送信する一方で、リモートコントローラ６０からの入力も受け入れるための独自のコードセットを有する。ＳｏＣ５３は、様々なパラメータとともに対応するカメラにアームコマンドを送信し、そして応答を待つ。カメラが「トリガーなし」の信号を送信する場合、それは所定の期間内に何も検出されなかったことを意味する。そうでなければ、それは、一連の１ビット動画を送信する。

【0051】

アームコマンドは、露光時間、ゲイン、動きの閾値、検出領域などのトリガーパラメータを調整するためのものである。タイムアウトは、カメラが循環し、かつ新しいアームデータを探すための方法を提供する。生の画像検索は、動画生成の副作用であり、追加のトレーニング分析のために使用され得る。

【0052】

図９は、実施形態による例示的な１ビット動画を示す。実施形態において、ＳｏＣ５３はまた、生の８ビット画像を検索するオプションを有する。図１０は、実施形態による例示的な８ビット画像を示す。

【0053】

次に、ＳｏＣ５３は、標準的な画像処理ライブラリを使用して基本的な円形ブロブ検出を完了し、これは、特定の基準を満たすブロブのＸＹ位置および半径を出力する。次に、この情報は、投球位置を見つけるためにキャリブレーションを適用する一連の方程式に送り込まれる。プレートの上の高さは、ボールの半径に関連しているが、非線形である。横方向の位置は、画像内のボールの高さおよび重心ピクセルの位置に関連している。キャリブレーションは、両方のカメラの視野を囲むプレート上の４’’ＸＹＺグリッドにおける位置で野球の写真を撮ることによって作成される。これは、プレート上のボールの位置の明確なマップを作成する。実施形態は、このキャリブレーションを１回限りの工場手順として実行することができる。対照的に、他の既知のシステムは、インストール後にキャリブレーションされなければならず、その後、それらが移動するたびに再度キャリブレーションされなければならない。

【0054】

図８Ｂは、実施形態による手持ちリモートコントローラ６０のブロック図である。手持ちリモートコントローラ６０は、ＥＨＰ５０が「交換」審判員として機能し、ホームプレートに審判員がもはや存在しない実施において使用され得る。そのとき、最も近い審判員は、約１００フィート離れており、ほとんどのスマートフォンにおいて見られるＷｉ－Ｆｉおよびブルートゥーストランシーバーの範囲よりも遠くにある。

【0055】

リモートコントローラ６０は、マイクロコントローラ１５３、ＬＣＤタッチスクリーン１５６、ブルートゥースモジュール１５２、バッテリ（図示せず）、およびボールとストライクのカウントを増加または減少させるためのボタン１５７、１５８を含む（手動オーバーライド）。

【0056】

リモートコントローラ６０は、実施形態において以下の機能を含む。
１．バッターの高さをユーザが選択可能にし、これによりストライクゾーンを自動的に調整する。

【0057】

２．ユーザはゲーム／トレーニングモードを選択できる。ゲームモードは、プレート５０によってコールされたボールおよびストライクに基づいてアウトおよびイニングを自動インクリメントする。

【0058】

３．キャッチャーの輪郭の前にあるボール／ストライクグリッド上に現在の投球および以前の投球を表示する。ボタンを押すことによって、両サイドのヒッターの輪郭が示され得る。

【0059】

４．プレートのステータス：アクティブ、計算中、無効な画像、投球外（画面の表示領域外）、ボール、またはストライクを表示する。

【0060】

５．「ボール」、「ストライク」、または「外部」という音声の可聴信号を選択する。
６．プレート５０の残っているバッテリ寿命を表示する。

【0061】

７．投球カウントを表示する。
８．セッションの経過時間を表示する。

【0062】

９．画面をクリアし、セッションをリセットする。
１０．ユーザは、必要に応じてプレートのコールをオーバーライドできる。

【0063】

実施形態は、外部ポートを介して充電されるリチウムイオンバッテリを含む。他の実施形態は、ワイヤレス充電システムを含む。一旦プレート５０がフィールドに設置されると、多くの施設は常にそれを出し入れしたくなく、ハードワイヤリングはオプションではないかもしれない。さらに、ワイヤレス充電は、汚れおよび水質汚染の影響を受けやすいデバイス上の外部ポートも取り除く。

【0064】

プレート５０の機械的構造は、調整ゴムホームプレートと同じ硬度および粘着性を有する外側ウレタンシェルを含む。プラスチックは、時間の経過とともに強い太陽において黄ばむことを防ぐための特別な染料を有する。カメラは、傷がつきにくいサファイア保護窓を通して見上げる。電子機器は、厚いアルミニウムまたはＡＢＳプラスチックの筐体に収納される。プレート５０全体は、スパイク、追加のディープバージョン、または支柱ポスト取り付けシステムのいずれかで地面に固定することができる。

【0065】

図１１は、一実施形態による物体検出の機能のフロー図である。上述したように、図４に関連して開示された物体検出機能は、２つの連続する画像間で全て変更された連続するピクセルのブロックを探す。いったんこのブロックを見つけると、画像キャプチャ部分をトリガーし、かつボール／ボールなしの決定を図５の機能によって実行される第２の処理に任せる。しかしながら、図４の機能が失敗し得る２つの状況がある。１）ボールがプレートを横切る十分前にヒッターがバットを振るときに、プレートをトリガーさせ、かつボールがまだ存在しない場所で画像をキャプチャさせる。２）投球が投げられる直前にヒッターがウォームアップスイングをするとき。いずれの場合においても、プレート４０は、これらの画像を処理するが、サイクルタイムが長すぎると、実際の投球を見逃し得る。

【0066】

図４の機能とは対照的に、図１１の機能は、マルチレベル走査ウィンドウ法を画像に適用する。１１０１－１１０５の機能は、図４の１５０－１５４の機能と同じである。１１０６において、画像は、長方形のＭ×Ｎ行列に分割される。１１０７において、各長方形の動きピクセルがカウントされ、それらが閾値を超えると、その長方形は１のバイナリ割り当てが与えられ、それ以外の場合は０になる（図４の１５０－１５４と同じ）。

【0067】

１１０８および１１０９において、ウィンドウは、全てのＭ×Ｎバイナリマーカーを通してスキャンされ、コアマーカーが１であり、かつ周囲の全てのマーカーが０である場合、これは、可能性のあるボールとしてフラグが立てられ、プレートは、画像を撮るようにトリガーされる。これに合うマーカーがない場合、プレートは、画像において大きく現れる低投球を構成するために、２×２、３×３、…サイズの中央領域を使用してバイナリマーカーを通して再スキャンする。何も見つからない場合、プレートは、次のフレームをキャプチャして再試行する。バイナリマーカーマップは、画像センサから画像が読み込まれている間にリアルタイムで生成されるため、ウィンドウアルゴリズムは、完了するのに、ＦＰＧＡにおいて少数のクロックサイクルのみ必要とする。これは、画像センサが次のフレーム取得のためにリセットする間のフレーム間隔時間中に発生する。これは、処理時間が長くなるため、フレームをドロップすることなく、アルゴリズムをより高速なフレームレートのカメラにスケーリングさせることもでき得る。

【0068】

アルゴリズムはまた、画像の端上の長方形のブロックを無視する。それらは、典型的に、ヒッター、キャッチャー、またはバットからの望ましくない動きで満たされているからである。

【0069】

図１２は、実施形態による図１１の機能の出力を示している。１２０１および１２０２の複数のブロックは、動きが検出された箇所であり、ブロック１２０５は、動きのないブロックのリングによって囲まれた２×２の動き領域が検出された箇所である。より細かい粒度が必要な場合、ブロックサイズは、パフォーマンスを向上させるために変更され得る。

【0070】

図１２においては、バッターの体およびバットがいる画像の下側および右側に沿って検出された動きブロックがある。スキャンウィンドウは、コアブロックの周囲の領域の一部として境界ブロックをチェックするのみであり、境界に伸びる大きな動きの領域は、非投射物の動きを示す（１１０７にて）。図１２はまた、動きを示すが動きのないブロックによって囲まれている黄色のブロック１２０５を示す。これは、いくつかのタイプの物体が飛行中であるかなり強い兆候である（１１０８にて）。しかし、移動中の物体は、高さに応じて画像内のサイズが異なるため、複数のサイズのウィンドウは、画像を通してスキャンされ、孤立した、ほとんどが正方形の領域を探す（１１０９にて）。

【0071】

開示されるように、実施形態は、画像センサのフレームレートに関係なく、対象のイベントが発生したかどうかについての判断をカメラのフレームで行い、そしてホストプロセッサに通知しながら、携帯性、省電力、および位置の柔軟性のために、小さなパッケージにおいて、高フレームレートの処理を可能にさせる。実施形態において、たとえば図８Ａに示される主な構成要素は、カメラが上を向くように野球／ソフトボールのホームプレートに存在する。ボールまたはバットがカメラの視野に入ると、システムは、それが実際にボールまたはバットであるか、反対に、たとえば、鳥、雲、腕などであるかどうかを、（たとえば、図４または図１１に関連して開示されるように）判断し、そして、シーンの動き部分を示す画像をスマートフォンまたは他の第２の装置に送信する。スマートフォンのアプリは、この画像をボール／バットの既知のキャリブレーションのいずれかと比較するか、人工知能（「ＡＩ」）を使用して、ボールの位置および速度、バットの速度および位置、またはその両方をユーザに伝える。実施形態は、ボールおよびストライクをコールすることができ、かつバッターが彼らのスイングをチェックしたかどうかを決定することもできる電子審判員として使用され得る。他の実施形態は、クリケット、ゴルフ、およびサッカーなどの他のスポーツ、ならびに弾道学、光学センサシステム、および生物学などのスポーツに関連しない領域において使用され得る。

【0072】

本明細書においては、いくつかの実施形態が具体的に例示および／または記載されている。しかしながら、開示された実施形態の修正および変形は、本発明の精神および意図された範囲から逸脱することなく、添付の特許請求の範囲の範囲内において上記の教示によってカバーされることが理解され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】