(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-24
(45)【発行日】2023-06-01
(54)【発明の名称】端末装置、撮像システムおよびコンピュータプログラム
(51)【国際特許分類】
A63B 69/00 20060101AFI20230525BHJP
G06T 1/00 20060101ALI20230525BHJP
A63B 43/00 20060101ALI20230525BHJP
【FI】
A63B69/00 504K
A63B69/00 505Z
G06T1/00 280
A63B43/00 E
A63B69/00 505B
(21)【出願番号】P 2018241242
(22)【出願日】2018-12-25
【審査請求日】2021-12-27
(73)【特許権者】
【識別番号】505057646
【氏名又は名称】THE WHY HOW DO COMPANY株式会社
(74)【代理人】
【識別番号】110001014
【氏名又は名称】弁理士法人東京アルパ特許事務所
(72)【発明者】
【氏名】堤 純也
(72)【発明者】
【氏名】伊藤 剛志
【審査官】安田 明央
(56)【参考文献】
【文献】特開2007-014671(JP,A)
【文献】特開2003-088604(JP,A)
【文献】特開2004-147813(JP,A)
【文献】特開2018-086288(JP,A)
【文献】特開2008-073209(JP,A)
【文献】特開2015-154890(JP,A)
【文献】特開2012-040071(JP,A)
【文献】特開2010-125253(JP,A)
【文献】特開2010-256068(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63B 69/00
G06T 1/00
A63B 43/00
(57)【特許請求の範囲】
【請求項1】
ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信するセンサーデータ受信部と、
前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領する撮像データ受領部と、
1つの射出動作に関する前記撮像データおよび前記センサーデータを取得して、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成するとともに、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成し、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶する制御部と、
を備え
、
前記制御部は、前記カメラによる撮像の開始および停止を制御するように構成されており、
前記センサーデータに基づき前記ボールの停止を検出する停止検出部をさらに備え、
前記制御部は、前記ボールの停止の検出に応じて前記カメラによる撮像を停止する、
端末装置。
【請求項2】
表示画面をさらに備え、
前記制御部は、互いに関連づけられた前記プレイヤー画像および前記ボール情報のいずれかを前記表示画面に表示する、
請求項1に記載の端末装置。
【請求項3】
前記撮像データ受領部は、互いに異なる位置から前記プレイヤーを撮像する複数の前記カメラから、複数の前記撮像データを受領するように構成されており、
前記制御部は、1つの射出動作に関する複数の前記撮像データに応じた複数のプレイヤー画像を生成するように構成されている、
請求項1または2に記載の端末装置。
【請求項4】
ユーザからの撮像開始の指示を受け付ける受付部をさらに備え、
前記制御部は、前記撮像開始の指示に応じて前記カメラによる撮像を開始する、
請求項
1に記載の端末装置。
【請求項5】
前記ボールと前記端末装置とをペアリングするためのペアリング部をさらに備え、
前記制御部は、前記端末装置と前記ボールとがペアリングしたことに応じて、前記カメラによる撮像を開始する、
請求項
1に記載の端末装置。
【請求項6】
前記制御部は、前記撮像データにおける前記ボールの停止よりも所定時間前から前記ボールの停止までの部分を用いて、前記プレイヤー画像を生成する、
請求項
1に記載の端末装置。
【請求項7】
請求項1~
6のいずれかに記載の端末装置と、
前記カメラと、
を含む撮像システム。
【請求項8】
ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信すること、
前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領すること、
1つの射出動作に関する前記撮像データおよび前記センサーデータを取得すること、
前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成すること、
前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成すること
、
前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶すること、
前記カメラによる撮像の開始および停止を制御すること、および、
前記ボールの停止の検出に応じて前記カメラによる撮像を停止すること、
を、前記センサー部および前記カメラと通信可能なコンピュータに実施させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、端末装置、撮像システムおよびコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献1には、センサー部を内蔵したボールが記載されている。このボール内のセンサー部は、ボールの動きの算出に供するデータを取得し、端末装置に送る。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、ボールの動きを確認することはできるものの、ボールを投げるプレイヤーの動作を確認することは困難である。
【課題を解決するための手段】
【0005】
本開示の一態様にかかる端末装置(本端末装置)は、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信するセンサーデータ受信部と、前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領する撮像データ受領部と、1つの射出動作に関する前記撮像データおよび前記センサーデータを取得して、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成するとともに、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成し、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶する制御部と、を備える。
【0006】
本端末装置は、プレイヤーによって射出(投げる、蹴る、あるいは打つなど)されるボールとともに用いられる。このボールは、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えている。ボールの動きとは、たとえば、ボールの速度、回転数、回転軸の傾きおよび回転の向きである。
本端末装置では、センサーデータ受信部が、プレイヤーによって射出されたボールからセンサーデータを受信するとともに、プレイヤーの射出動作を撮像しているカメラから、撮像データを受領する。
【0007】
そして、本端末装置では、制御部が、プレイヤーによる1つの射出動作に関する撮像データとセンサーデータとを取得する。そして、制御部は、撮像データに基づいて、プレイヤーの射出動作を表示するためのプレイヤー画像を生成する。さらに、制御部は、センサーデータに基づいて、この射出動作において射出されたボールの動きを表示するためのボール情報を生成する。さらに、制御部は、生成したプレイヤー画像とボール情報とを、互いに関連づけて記憶部に記憶する。
【0008】
このように、本端末装置では、1つの射出動作を表示するためのプレイヤー画像と、この射出動作によって射出されたボールの動きを表示するためのボール情報とを生成し、互いに関連づけて記憶することができる。すなわち、本端末装置では、複数の射出動作が連続的に実施された場合でも、プレイヤー画像とボール情報とを射出動作ごとに生成し、互いに同期させて記憶することができる。
【0009】
したがって、たとえば、制御部が、プレイヤー画像とボール情報とを、交互にあるいは同時に表示画面に表示することによって、本端末装置のユーザ(プレイヤーあるいはコーチなど)は、プレイヤーの射出動作とボールの動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボールの動きを生み出すための射出動作の研究を試みることが容易となる。
【0010】
なお、プレイヤー画像およびボール情報を関連づけて記憶するための記憶部は、本端末装置に備えられていてもよいし、本端末装置と通信可能な外部の記憶部、たとえばクラウドサーバーに備えられていてもよい。プレイヤー画像およびボール情報をクラウドサーバーに記憶する場合、本端末装置から離れた場所にいる人も、画像を見ることができる。このため、たとえば、ユーザは、外部の専門家に画像を見てもらい、アドバイスを受けることが容易となる。
【0011】
なお、カメラは、本端末装置に備えられていてもよいし、本端末装置とは別の装置であってもよい。
【0012】
また、ボール情報およびプレイヤー画像を表示するための表示画面は、本端末装置に備えられていてもよい。本端末装置が小型の携帯端末である場合には、制御部は、ボールの動きの再現画像および再生画像のいずれかを表示画面に表示してもよい。
【0013】
また、互いに異なる位置からプレイヤーを撮像する複数のカメラが備えられていてもよい。この場合、撮像データ受領部は、複数のカメラから、1つの射出動作に関する複数の撮像データを受領する。そして、制御部は、複数の撮像データに応じた複数のプレイヤー画像を生成し、各プレイヤー画像をボール情報に関連づけて記憶部に記憶する。
この構成では、ボール情報に応じた複数のプレイヤー画像を取得できるので、ボールの動きに対応するプレイヤーの射出動作を、より詳細に観察することができる。
【0014】
また、制御部は、カメラによる撮像の開始および停止を制御するように構成されていてもよい。
これに関し、本端末装置は、ユーザからの撮像開始の指示を受け付ける受付部をさらに備えていてもよい。この場合、制御部は、ユーザからの撮像開始の指示に応じて、カメラによる撮像を開始することができる。この構成では、プレイヤーの動きを把握しているユーザが撮像の開始タイミングを決めることができるので、射出動作の開始に合わせてカメラによる撮像を開始することが容易となる。
【0015】
また、制御部は、ボールと本端末装置とをペアリングするためのペアリング部をさらに備えてもよい。そして、ペアリング部によって本端末装置とボールとがペアリングしたことに応じて、カメラによる撮像を開始してもよい。これに関し、たとえば、ボールは、プレイヤーによってボールが投げ上げられたことに応じてペアリング可能となるように構成されていてもよい。そして、ペアリング部は、ボールがペアリング可能となったときに、ボールと本端末装置とのペアリングを試みるように構成されていてもよい。
この場合、ボールを扱うプレイヤーが、撮像の開始タイミングを決められるので、射出動作の開始に合わせてカメラによる撮像を開始することが容易となる。
【0016】
また、本端末装置は、ボールから送られるセンサーデータに基づいて、射出されたボールが停止したことを検知する停止検出部をさらに備えてもよい。この場合、制御部は、ボールの停止の検出に応じて、前記カメラによる撮像を停止するように構成されていてもよい。
【0017】
ボールの停止後であれば、プレイヤーによる射出動作は完了していると考えられる。したがって、ボールの停止に応じてカメラによる撮像を停止することにより、無駄な撮像を抑制することが容易となる。
【0018】
また、この場合、制御部は、取得した撮像データにおけるボールの停止よりも所定時間前からボールの停止までの部分を用いて、プレイヤー画像を生成してもよい。
【0019】
たとえば、ボールが野球ボールであり、プレイヤーが投手である場合、ユーザによる撮像開始の指示あるいはペアリング等によって、カメラによる撮像が開始された後、プレイヤーが、数秒間にわたって待機状態となり、投球動作をしないことがある。これは、たとえば、プレイヤーが、ボールの握りを調整したり、マウンドをならしたり、投球のための集中力を高めたりすることなどにより、一般的に発生する現象である。
【0020】
このため、撮像の開始からボールの停止の所定時間前までの部分を撮像データから除去することにより、待機状態にあるプレイヤーの画像がプレイヤー画像に含まれることを抑制することができる。これにより、プレイヤー画像のサイズが無用に大きくなることを抑制することができる。
【0021】
この所定時間は、ボールの種類(ボールを用いる競技の種類)、および、プレイヤーの種類によって、適切に設定されることが好ましい。たとえば、ボールが野球ボールであり、プレイヤーが投手である場合、所定時間は、およそ2~3秒間(たとえば2.5秒)とされる。
【0022】
また、本端末装置と、プレイヤーにおけるボールの射出動作を撮像する上記のカメラとを組み合わせることにより、1つの投球動作に関するプレイヤー画像とボール情報とを生成し、これらを互いに関連づけて記憶することの可能な撮像システムを構築することができる。
【0023】
さらに、本開示の一実施形態にかかるコンピュータプログラムは、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信すること、前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領すること、1つの射出動作に関する前記撮像データおよび前記センサーデータを取得すること、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成すること、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成すること、および、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶すること、を、前記センサー部および前記カメラと通信可能なコンピュータに実施させる。
【発明の効果】
【0024】
本開示の一態様によれば、1つの射出動作に関するプレイヤー画像とボール情報とを、交互にあるいは同時に表示画面に表示することによって、ユーザ(プレイヤーあるいはコーチなど)は、プレイヤーの射出動作とボールの動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボールの動きを生み出すための射出動作の研究を試みることが容易となる。
【図面の簡単な説明】
【0025】
【
図1】
図1は、一実施形態にかかる撮像システムの構成例を示す説明図である。
【
図2】
図2は、ボールの構成例を示すブロック図である。
【
図3】
図3は、カメラの構成例を示すブロック図である。
【
図4】
図4は、携帯端末の構成例を示すブロック図である。
【
図5】
図5は、携帯端末の制御部の動作例を示すフローチャートである。
【
図6】
図6は、ボール情報の一例を示す説明図である。
【
図7】
図7は、プレイヤー画像の一例を示す説明図である。
【
図8】
図8は、撮像システムの他の例を示す説明図である。
【発明を実施するための形態】
【0026】
(システム全体の構成例)
本開示における第1の実施形態を、図面に基づいて説明する。
図1に示すように、本実施形態にかかる撮像システム1は、硬式の野球ボールであるボール10を用いた投球練習に関するシステムであり、主に、ピッチャー2の投げる野球ボールの動きと、ピッチャー2の投球動作とを表示するために用いられる。
【0027】
図1に示すように、撮像システム1は、ボール10、ピッチャー2を撮像するためのカメラ15、および、携帯端末(端末装置)20含んでいる。
【0028】
野球における投球練習では、ピッチャー2は、マウンド3から、キャッチャー4に向けてボール10を投げる(投球5)。キャッチャー4は、ボール10をピッチャー2に返す(返球6)。そして、撮像システム1では、ピッチャー2の投球5におけるボール10の動きに関するデータであるセンサーデータ7が、ボール10に内蔵されたセンサー部(後述)により取得される。なお、ボール10の動きとは、たとえば、ボール10の速度(球速)、回転数、回転軸の傾き(回転の傾き)、回転方向および球種である。
【0029】
また、撮像システム1では、ピッチャー2の投球動作が、カメラ15により撮像されて、撮像データ8が生成される。これらのデータが、携帯端末20によって処理される。
【0030】
以下に、撮像システム1の各構成要素について説明する。
(ボールの構成例)
図2に示すように、ボール10は、コア11および外皮12を含む。コア11は、ゴム製、コルク製および/またはエストラマー樹脂製の中心部であり、その内部にハードウェア50が搭載されている。コア11の周囲には、通常の野球ボールと同様に、たとえば糸巻部が設けられている。糸巻部は、たとえば、コア11の周囲に巻回された毛糸および綿糸を含む。外皮12は、たとえば、縫い糸で縫い合わされた複数の牛革部分を含んでおり、糸巻部を覆っている。
【0031】
なお、ボール10では、通常の野球ボールとほぼ同様の全体重量およびバランスをボール10が有するように、コア11の内部にハードウェア50が配置されている。また、上述のように、ボール10は、通常の野球ボールと同様の糸巻部、外皮12および縫い糸を備えている。このため、ピッチャー2は、ボール10を、通常の野球ボールと同様の感覚で取り扱う(投げる、および捕る)ことが可能である。
【0032】
さらに、ボール10では、ハードウェア50が、中心部のコア11に収納されている。これにより、ボール10では、ハードウェア50を含んでいることによる芯ずれを抑制することができる。ハードウェア50は、たとえば、樹脂製のカプセルに内蔵された状態で、コア11内に配置されていてもよい。あるいは、ハードウェア50は、モールド樹脂により、コア11と一体化されていてもよい。
【0033】
ハードウェア50は、センサー群51、バッテリー52、電源スイッチ(SW)53、マイコン500、およびメモリ56を含む。センサー群51は、ボール10の動きに関するデータを取得するために用いられる。センサー群51は、起動用加速度センサー51a、三軸加速度センサー51b、三軸ジャイロセンサー51c、および三軸地磁気センサー51dを含む。
【0034】
センサー群51の起動用加速度センサー51aと電源スイッチ53とは、起動回路57を構成している。また、三軸加速度センサー51b、三軸ジャイロセンサー51c、三軸地磁気センサー51d、マイコン500およびメモリ56は、メインシステム58を構成している。
【0035】
バッテリー52は、ハードウェア50の電源である。バッテリー52は、使い捨てタイプの一次電池(たとえばコイン電池)であってもよいし、無線充電されることの可能な二次電池であってもよい。
【0036】
起動用加速度センサー51aは、たとえば、常時、バッテリー52から電力供給を受けて、稼動した状態に維持されていてもよい。起動用加速度センサー51aは、ボール10の起動用の動きを検出するように構成されている。ボール10の起動用の動きは、たとえば自由落下である。この場合、ピッチャー2は、ボール10を起動するために、たとえば、ボール10を、2メートル程度投げ上げて自由落下させる。起動用加速度センサー51aは、この動きを検出すると、電源スイッチ53をオンとする。これにより、メインシステム58に、バッテリー52から電力が供給される。
【0037】
センサー群51の三軸加速度センサー51b、三軸ジャイロセンサー51cおよび三軸地磁気センサー51dは、それぞれ、ボール10に関する加速度、角速度および地磁気を測定する。
【0038】
マイコン500は、短距離無線通信ユニット(BLE)54および測定ユニット520を含む。短距離無線通信ユニット54は、たとえば、本実施形態では、BLE(Bluetooth(登録商標) Low Energy)を用いた通信ユニットである。短距離無線通信ユニット54は、携帯端末20の短距離無線通信ユニット(後述)とペアリングし、ボール10と携帯端末20との間の通信を確立するために用いられる。
【0039】
測定ユニット520は、センサー群51の三軸加速度センサー51b、三軸ジャイロセンサー51cおよび三軸地磁気センサー51dによる測定によって得られる加速度値、角速度値および地磁気値を、たとえば、数十~数百Hzの高周波数でサンプリングする。これにより、測定ユニット520は、測定データ59としての加速度データ、角速度データ(ジャイロデータ)および地磁気データを取得する。このように、センサー51b~51dおよび測定ユニット520は、ボール10の動きに関するデータであるセンサーデータ7を取得するためのセンサー部として機能する。
測定データ59は、ボール10の動きを算出する元となるデータ(生データ)である。測定ユニット520は、取得された測定データ59を、メモリ56に格納する。さらに、測定ユニット520は、測定データ59を、ボール10の動きに関する情報であるセンサーデータ7として、短距離無線通信ユニット54を介して携帯端末20に送信(転送)する。本実施形態では、測定ユニット520は、センサー51b~51dから測定データ59取得しながら、これをセンサーデータ7として携帯端末20に逐次的に転送する。
【0040】
(カメラの構成例)
図1に示すように、カメラ15は、ピッチャー2の投球動作を正面から撮像するために、三脚15aによって、キャッチャー4の背後に据えつけられている。
図3に示すように、カメラ15は、撮像部151、短距離無線通信ユニット(BLE)153およびメモリ155を備えている。
【0041】
短距離無線通信ユニット153は、携帯端末20の短距離無線通信ユニット(後述)とペアリングし、カメラ15と携帯端末20との間の通信を確立するために用いられる。
【0042】
撮像部151は、レンズを含む光学系および画像処理装置などを備えたデジタルカメラであり、動画を撮像することが可能である。撮像部151は、ピッチャー2の投球動作を撮像することによって、ピッチャー2の投球動作の動画に応じた撮像データ8(
図1参照)を生成する。撮像部151は、生成した撮像データ8を、メモリ155に記憶する。また、撮像部151は、撮像データ8を、短距離無線通信ユニット153を介して携帯端末20に送信(転送)する。本実施形態では、撮像部151は、撮像データ8を生成しながら、携帯端末20に逐次的に転送する。
【0043】
(携帯端末20の構成例)
図4に示すように、携帯端末20は、たとえばスマートホンあるいはタブレット型コンピュータであり、通常、ピッチャー2あるいはキャッチャー4の近傍に備えられる。携帯端末20は、短距離無線通信ユニット(BLE)21、データ通信ユニット22、GPS23、電子コンパス24、加速度センサー25、プロセッサ26、メモリ27、および、入出力ユニット(ディスプレイ28a、タッチセンサー28b、端末カメラ28cおよび音声入出力ユニット29)を含む。
【0044】
ディスプレイ28aは、携帯端末20のユーザ(ピッチャー2、キャッチャー4あるいはコーチ(図示せず)など)に、画像等を表示するために用いられる。タッチセンサー28bは、ユーザからの指示を受け付ける受付部として機能する。
【0045】
短距離無線通信ユニット21は、たとえば、本実施形態では、BLE(Bluetooth(登録商標) Low Energy)を用いた通信ユニットである。短距離無線通信ユニット21は、ボール10の短距離無線通信ユニット54とペアリングし、ボール10と携帯端末20との通信を確立するために用いられる。
【0046】
データ通信ユニット22は、無線LANおよび/または携帯電話通信網を介して、外部機器(携帯端末20に接続されているサーバーなど)との間で、データ(たとえば、ボール10から送信されたセンサーデータ7)を送受信する。GPS23は、携帯端末20の位置(緯度および経度)を測位する。電子コンパス24は、携帯端末20の向き(方位)を判別するために用いられる。メモリ27は、携帯端末20の記憶部である。メモリ27は、たとえば、プロセッサ26によって取得された各種のデータを記憶する。また、メモリ27は、たとえばコンピュータネットワークを介してダウンロードされた、アプリケーションプログラム(アプリ、プログラムおよび/またはプログラム製品)60を格納している。
【0047】
プロセッサ26は、コンピュータプログラムとしてのアプリケーションプログラム60(アプリケーションプログラム60に含まれる命令)にしたがって、ペアリングユニット61、データ取得ユニット62、および、制御部63として機能する。アプリケーションプログラム60は、メモリ27のような、プロセッサ26(コンピュータ)によって読み取り可能な非一過性の記録媒体に記録されることができる。
【0048】
ペアリングユニット61は、ボール10(短距離無線通信ユニット54)およびカメラ15(短距離無線通信ユニット153)と、携帯端末20(短距離無線通信ユニット21)とをペアリングする。
【0049】
データ取得ユニット62は、携帯端末20とペアリングされたボール10から転送されるセンサーデータ7を取得する。さらに、データ取得ユニット62は、携帯端末20とペアリングされたカメラ15から転送される撮像データ8を取得する。すなわち、本実施形態では、データ取得ユニット62は、センサーデータ受信部および撮像データ8受領部として機能する。
【0050】
制御部63は、データ取得ユニット62を介して、1つの投球動作に関するセンサーデータ7および撮像データ8を取得する。
そして、制御部63は、センサー51b~51dによって得られた測定データ59であるセンサーデータ7を解析することによって、ボール10の動きを示す解析データを取得する。上述したように、ボール10の動きは、たとえば、ボール10の球速、回転数、回転軸の傾き、回転方向および球種である。したがって、解析データは、たとえば、ボール10の球速、回転数、回転軸の傾き、回転方向および球種を示すデータである。
【0051】
より詳細には、制御部63は、たとえば、ボール10の移動距離を移動時間で割ることによって、ボール10の球速を得る。ボール10の移動距離(たとえば18.44メートル)は、たとえば、あらかじめメモリ27に記憶されている。ボール10の移動時間は、ボール10がリリースされてからキャッチされるまでの時間(サンプリング数)に対応する。ボール10がリリースされた時刻(タイミング)は、たとえば、ボール10に加えられる正の加速度が消失した時刻である。ボール10がキャッチされた時刻は、たとえば、ボール10に大きな負の加速度(減速度)が加えられた時刻である。制御部63は、これらの時刻を、測定データ59の一部である加速度データから取得することができる。
【0052】
また、制御部63は、単位時間当たりの回転数を、移動時間におけるボール10の回転の総数から求めることができる。具体的には、制御部63は、地磁気データの振幅数に基づいて、ボール10の回転の総数を算出することができる。また、制御部63は、地磁気データに基づいてボール10の地磁気伏角を求め、地磁気伏角に基づいてボール10の回転軸の傾きおよび回転方向を取得することもできる。
なお、測定データ59からボール10の動きを求めるためには、特許文献1に記載の技術等の公知の技術を用いることができる。
【0053】
さらに、制御部63は、解析データに基づいて、ボール10の動き、すなわち、ボール10の球速、回転数、回転軸の傾き、回転方向および球種等を表示するためのボール情報を生成する。ボール情報は、たとえば、ボール10の動きを表現する画像であり、ディスプレイ28aに表示されることが可能である。ボール情報は、たとえば、動きに関する数値、動きの名称を示す文字またはイラスト、ボール10の動きを視覚的に示すアニメーション等のうち、任意の一以上の情報を含む。
【0054】
また、制御部63は、撮像データ8に基づいて、プレイヤー画像を生成する。プレイヤー画像は、ピッチャー2の投球動作を表示する画像(動画)であり、ディスプレイ28aに表示されることが可能である。
【0055】
そして、制御部63は、1つの投球動作に関するプレイヤー画像とボール情報とを、互いに関連づけて、メモリ27に記憶する。
【0056】
また、制御部63は、カメラ15による撮像の開始および停止を制御するように構成されている。本実施形態では、制御部63は、タッチセンサー28bを介して受け付けられたユーザの指示に応じて、カメラ15の撮像を開始するように構成されている。
【0057】
さらに、制御部63は、ボール10から逐次的に転送されてくるセンサーデータ7(測定データ59)に基づいて、ボール10が投球されたこと(リリースされたこと)、および、投球されたボール10が停止したこと(キャッチャー4によってキャッチされたこと)を検出する。すなわち、制御部63は、停止検出部として機能する。そして、制御部63は、ボール10の停止の検出に応じて、カメラ15による撮像を停止する。
【0058】
次に、撮像システム1の携帯端末20における制御部63の動作について説明する。
図5に示すフローチャートは、ピッチャー2による1つの投球動作ごとに制御部63によって実施される動作を示している。
【0059】
撮像システム1では、まず、携帯端末20のペアリングユニット61が、カメラ15と携帯端末20とをペアリングする。さらに、ペアリングユニット61は、ピッチャー2によってボール10が投げ上げられて、ボール10の電源スイッチ53がオンとなった後、ボール10と携帯端末20とをペアリングする(S11)。
【0060】
これに応じて、ボール10の測定ユニット520およびセンサー51b~51dが、ボール10の動きに関する測定データ59を取得して、センサーデータ7として携帯端末20に逐次的に転送する。
【0061】
ペアリングの完了後、制御部63は、ユーザによる撮像開始の指示を待機する(S12)。たとえば、ユーザは、ピッチャー2の投球動作の直前に、タッチセンサー28bを介して、撮像開始の指示を携帯端末20に入力する。撮像開始の指示を受けた後、制御部63は、カメラ15の撮像部151を制御して、カメラ15によるピッチャー2の撮像を開始する(S13)。これに応じて、カメラ15の撮像部151は、ピッチャー2を撮像し、撮像データ8を生成して携帯端末20に逐次的に転送する。そして、制御部63は、データ取得ユニット62を制御して、ボール10から転送されるセンサーデータ7およびカメラ15から転送される撮像データ8の受信を開始する(S14)。その後、ピッチャー2が、キャッチャー4に向けてボール10を投げ込む。
【0062】
制御部63は、ピッチャー2によってボール10が投球されたこと(リリースされたこと)を検知した後、ボール10が停止したか否か(キャッチャー4にキャッチされたか否か)を判断する(S15)。そして、ボール10が停止したと判断したときに、制御部63は、カメラ15による撮像を停止する(S16)。さらに、制御部63は、センサーデータ7および撮像データ8の受信を停止する(S17)。
【0063】
その後、制御部63が、この投球動作に関する撮像データ8に基づいて、ピッチャー2の投球動作を表示するためのプレイヤー画像を生成する。さらに、制御部63は、センサーデータ7に基づいて、この投球動作によって投球されたボール10の動きを表示するためのボール情報を生成する。さらに、制御部63は、生成したプレイヤー画像とボール情報とを、互いに関連づけてメモリ27に記憶する(S18)。
【0064】
この際、制御部63は、撮像データ8におけるボール10の停止よりも所定時間前からボール10の停止までの部分を用いて、プレイヤー画像を生成する。すなわち、カメラ15から送信される撮像データ8は、投球の開始前の撮像開始時(S13)から、ボール10の停止時までのピッチャー2の動画を含んでいる。
制御部63は、ボール10の停止時よりも所定時間前の、第1の時刻を算出する。そして、制御部63は、受信した撮像データ8から、撮像の開始から第1の時刻までの部分を除去(トリミング)し、残存している撮像データ8を用いてプレイヤー画像を生成する。したがって、プレイヤー画像は、撮像データ8における第1の時刻からボール10の停止時(第2の時刻)までの部分に基づいて生成される。
なお、撮像データ8における撮像の開始から第1の時刻までの部分を除去する理由は、の投球動作の開始前のピッチャー2の画像をプレイヤー画像に含めることを抑制することにある。第1の時刻から第2の時刻までの時間(所定時間)の長さは、たとえは2.5秒程度である。この点については後に詳述する。
【0065】
さらに、制御部63は、プレイヤー画像と同様に、センサーデータ7における第1の時刻(ボール10の停止時よりも所定時間前)から第2の時刻(ボール10の停止時)までの部分を用いて、ボール情報を生成する。
【0066】
その後、ユーザは、タッチセンサー28bを介して、プレイヤー画像およびボール情報のいずれかを表示する旨の指示を、携帯端末20に入力することができる。制御部63は、ユーザの指示に応じて、互いに関連づけられてメモリ27に記憶されたプレイヤー画像あるいはボール情報のいずれかを、ディスプレイ28aに表示する。
【0067】
図6に、ディスプレイ28aに表示されるボール情報の一例を示す。この図に示すように、ディスプレイ28aには、「投球履歴-詳細」として、1つの投球動作に関するボール情報BJが表示される。この例では、上方に、ボール情報BJのサマリーPSが示されている。サマリーPSには、上段に、この投球の日時および球数が示されている。さらに、その下方に、ボール10の動きの一部が、文字および数値を用いて示されている。すなわち、左から、球種(ストレート)、球速(146km/h)および回転数(2053rpm)が表示されている。
【0068】
また、サマリーPSの下方に、ピッチングタイムPTが示されている。ピッチングタイムPTにおける「Release」は、たとえば、上記した第1の時刻(ボール10の停止時よりも所定時間前)からボール10がリリースされるまでの時間を意味する。「Ball」は、たとえば、ボール10がリリースされてからキャッチされるまでの時間を意味する。さらに、「Total」は、これらの時間の和を示している。
【0069】
さらに、ピッチングタイムPTの下方の画面中央には、ボール10の回転を再現する画像を表示するための再現領域PAが示されている。この例では、ボール10の回転が、ピッチャー2の視点(投手視点)で示されている。再現領域PAの中央には、ボール10を表現する球体のアニメーションが示される。この球体には、ボール10の回転方向を示す三角形が付されている。また、球体の周囲(上下左右)には、ボール10の変化量を示す数値が表示されている。そして、左下の再生ボタンPがタッチされることにより、リリースされてからキャッチされるまでのボール10の回転が、たとえば、中央の球体の回転およびその周囲の数値の変化により再現表示される。また、再現領域PAの右上には、ボール10の回転軸の傾き(-10°)が示されている。
【0070】
そして、ボール情報BJの最下段には、ボール10のリリース画面PRが示されている。この画面では、第1の時刻(ボール10の停止時よりも所定時間前)からリリースまでの、時間とともに変動するピッチャー2の腕の振りの強さが示されている。したがって、この画面からは、たとえば、ボール10をリリースする際の腕振りの強さ、および、構えてからリリースするまでの時間を取得することができる。
【0071】
図7に、ディスプレイ28aに表示されるプレイヤー画像の一例を示す。この図に示すように、ディスプレイ28aには、「投球履歴-動画」として、1つの投球動作に関するプレイヤー画像PGが表示される。この例では、その中央に、キャッチャー4の頭越しに、ピッチャー2が表示される。そして、左下の再生ボタンPがタッチされることにより、第1の時刻(ボール10の停止時よりも所定時間前)から、ボール10が投球されてキャッチャー4にキャッチされる第2の時刻までの、ピッチャー2の投球動作を示す動画が再生される。
また、プレイヤー画像PGには、ボール情報BJにも表示されているサマリーPS、ピッチングタイムPT、および、ボール10の回転軸の傾き(-10°)が、ピッチャー2の投球動作を示す動画に重畳表示されている。
【0072】
以上のように、本実施形態にかかる携帯端末20では、データ取得ユニット62が、ピッチャー2によって投球されるボール10からセンサーデータ7を受信するとともに、ピッチャー2の投球動作を撮像しているカメラ15から、撮像データ8を受領する。
【0073】
そして、携帯端末20では、制御部63が、ピッチャー2による1つの投球動作に関する撮像データ8とセンサーデータ7とを取得する。そして、制御部63は、撮像データ8に基づいて、ピッチャー2の投球動作を表示するためのプレイヤー画像を生成する。さらに、制御部63は、センサーデータ7に基づいて、この投球動作において投げられたボール10の動きを表示するためのボール情報を生成する。さらに、制御部63は、生成したプレイヤー画像とボール情報とを、互いに関連づけてメモリ27に記憶する。
【0074】
このように、携帯端末20では、1つの投球動作を表示するためのプレイヤー画像と、この投球動作によって投げられたボール10の動きを表示するためのボール情報とを生成し、互いに関連づけて記憶することができる。すなわち、携帯端末20では、複数の投球動作が連続的に実施された場合でも、プレイヤー画像とボール情報とを投球動作ごとに生成し、互いに同期させて記憶することができる。
【0075】
したがって、制御部63が、プレイヤー画像とボール情報とを、たとえば交互にディスプレイ28aに表示することによって、携帯端末20のユーザ(ピッチャー2あるいはコーチなど)は、ピッチャー2の投球動作(投球フォーム)とボール10の動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボール10の動きを生み出すための投球動作の研究を試みることが容易となる。
また、本実施形態のように、カメラ15がピッチャー2の背後からピッチャー2の正面画像を撮像する場合、プレイヤー画像によって、投球されるボール10の軌道(球筋)を確認することもできる。また、ピッチャー2の投球動作の異常を検知して、ピッチャー2に生じている故障を早期に発見することも可能である。
【0076】
また、本実施形態では、制御部63は、カメラ15による撮像の開始および停止を制御するように構成されている。さらに、携帯端末20は、ユーザからの撮像開始の指示を受け付けるタッチセンサー28bを備えている。そして、制御部63は、タッチセンサー28bを介して入力されるユーザからの撮像開始の指示に応じて、カメラ15による撮像を開始している。したがって、ピッチャー2の動きを把握しているユーザが撮像の開始タイミングを決めることができるので、ピッチャー2による投球動作の開始に合わせてカメラ15による撮像を開始することが容易となる。
【0077】
また、携帯端末20では、制御部63が、センサーデータ7に基づいて投げられたボール10が停止したことを検出し、ボール10の停止の検出に応じて、カメラ15による撮像を停止している。これに関し、ボール10の停止後であれば、ピッチャー2による投球動作は完了していると考えられる。したがって、ボール10の停止に応じてカメラ15による撮像を停止することにより、無駄な撮像を抑制することが容易となる。
【0078】
また、制御部63は、取得した撮像データ8における第1の時刻(ボール10の停止時よりも所定時間前)から第2の時刻(ボール10の停止時)までの部分を用いて、プレイヤー画像を生成している。
【0079】
これに関し、ピッチャー2は、カメラ15による撮像が開始された後でも、数秒間にわたって待機状態となり、投球動作をしないことがある。これは、たとえば、ピッチャー2が、ボール10の握りを調整したり、マウンド3をならしたり、投球のための集中力を高めるたりすることなどにより、一般的に発生する現象である。
【0080】
このため、撮像の開始からボール10の停止の所定時間前までの部分を、撮像データ8から除去することにより、待機状態にあるピッチャー2の画像がプレイヤー画像に含まれることを抑制することができる。これにより、プレイヤー画像のサイズが無用に大きくなることを抑制することができる。なお、上記の所定時間は、およそ2~3秒間(たとえば2.5秒)とされる。
【0081】
また、本実施形態では、ボール10の測定ユニット520が、センサーデータ7として測定データ59を携帯端末20に送信し、携帯端末20の制御部63がセンサーデータ7を解析することによって、解析データを生成している。したがって、本実施形態では、ボール10が測定データ59の解析機能を持たなくてよいため、ボール10の構成を簡略化することができる。このため、ボール10の感触を、通常の野球ボールに近づけることが容易となる。
【0082】
なお、本実施形態では、カメラ15は、ピッチャー2の投球動作を正面から撮像するために、キャッチャー4の背後に据えつけられている正面カメラである。これに代えて、撮像システム1は、ピッチャー2の側部に備えられ、ピッチャー2の投球動作を側面から撮像する側面カメラを備えていてもよい。
【0083】
また、撮像システム1は、互いに異なる位置からピッチャー2を撮像する複数のカメラを備えてもよい。たとえば、撮像システム1は、正面カメラであるカメラ15と側面カメラとの双方を備えていてもよい。
この場合、携帯端末20のデータ取得ユニット62は、複数のカメラから、1つの投球動作に関する複数の撮像データ8を受領する。そして、制御部63は、複数の撮像データ8に応じた複数のプレイヤー画像を生成し、各プレイヤー画像をボール情報に関連づけてメモリ27に記憶する。
この構成では、ボール情報に応じた複数のプレイヤー画像を取得できるので、ボール10の動きに対応するピッチャー2の投球動作を、より詳細に観察することができる。
【0084】
また、本実施形態では、ピッチャー2の投球動作を撮像するカメラ15が、携帯端末20とは別の機器として、キャッチャー4の背後に据えつけられ、撮像データ8を生成している。これに代えて、ピッチャー2の投球動作を撮像するカメラとして、携帯端末20の端末カメラ28c(
図4参照)が用いられてもよい。この場合、カメラと携帯端末20とのペアリングが不要となるため、制御部63によるカメラの制御、および、データ取得ユニット62による撮像データ8の受領が容易となる。
【0085】
また、本実施形態では、制御部63は、タッチセンサー28bを介して入力されるユーザからの撮像開始の指示に応じて、カメラ15による撮像を開始している。これに代えて、制御部63は、ペアリングユニット61によって携帯端末20とボール10とがペアリングしたことに応じて、カメラ15による撮像を開始してもよい。
【0086】
本実施形態では、ペアリングユニット61は、ピッチャー2によってボール10が投げ上げられて、ボール10の電源スイッチ53がオンとなった後、ボール10と携帯端末20とをペアリングする。したがって、この構成では、ピッチャー2が撮像の開始タイミングを決められるので、投球動作の開始に合わせてカメラ15による撮像を開始することが容易となる。
【0087】
本実施形態では、ボール10の測定ユニット520は、センサー51b~51dによって得られた測定データ59を、センサーデータ7として、携帯端末20に送信している。そして、携帯端末20では、制御部63が、センサーデータ7を解析することによって、解析データを生成している。
【0088】
しかしながら、これに限らず、解析データは、ボール10において生成されてもよい。この場合、測定ユニット520が、上述したような公知の技術を用いて測定データ59を解析することによって、ボール10の動きを示す解析データを取得する。そして、測定ユニット520は、解析データを、ボール10の動きに関するデータであるセンサーデータ7として携帯端末20に送信する。
【0089】
携帯端末20では、データ取得ユニット62がセンサーデータ7を受信し、制御部63が、解析データであるセンサーデータ7からボール情報を生成する。この構成では、制御部63による解析を省くことができる。
【0090】
また、本実施形態では、ボール10の測定ユニット520が、センサー51b~51dから測定データ59を取得しながら、これをセンサーデータ7として、携帯端末20に逐次的に転送している。同様に、カメラ15の撮像部151は、撮像データ8を生成しながら、携帯端末20に逐次的に転送している。
【0091】
しかしながら、これに限らず、測定ユニット520は、1つの投球動作に関する全ての測定データ59を取得してから、これをセンサーデータ7として携帯端末20に送信するように構成されていてもよい。同様に、撮像部151も、1つの投球動作に関する全ての撮像データ8を取得してから(撮像を停止してから)、撮像データ8を携帯端末20に送信するように構成されていてもよい。
【0092】
この構成では、ボール10の測定ユニット520は、ボール10のリリースおよび停止を検知できるように構成されていることが好ましい。測定ユニット520は、ボール10のリリースから停止までの測定データ59を、1つの投球動作に関するセンサーデータ7として携帯端末20に送信することができる。あるいは、測定ユニット520は、携帯端末20を介したユーザの指示に応じて、測定データ59の取得を開始および停止し、取得した測定データ59をセンサーデータ7として携帯端末20に送信してもよい。
また、携帯端末20の制御部63は、センサーデータ7の受領を確認したことを検出したときに、カメラ15による撮像を停止するように構成されていてもよい。
【0093】
また、本実施形態では、制御部63が、プレイヤー画像とボール情報とのいずれかを、ディスプレイ28aに表示している。これに代えて、制御部63は、他の表示機器の表示画面に、プレイヤー画像およびボール情報を表示してもよい。たとえば、制御部63は、表示画面に、プレイヤー画像とボール情報とを同時に表示してもよい。これにより、ユーザは、投球動作とボール10の動きとの対応関係を、より容易に確認することができる。
【0094】
また、データ取得ユニット62は、外部環境データを取得するように構成されていてもよい。外部環境データは、携帯端末20とペアリングされたボール10が移動(飛翔)する環境に関するデータである。外部環境データは、たとえば、ボール10の移動方向(飛翔方向)、移動開始位置または移動終了位置を含む。この場合、制御部63は、センサーデータ7および外部環境データに基づいて、ボール情報を生成してもよい。
【0095】
また、
図2に示したセンサー群51の構成は一例である。センサー群51として、センサー機能をまとめて1チップ化した9軸センサーが採用されてもよい。あるいは、センサー群51は、適当に組み合わせられた加速度センサー、ジャイロセンサーおよび磁気センサーを備えてもよい。
【0096】
また、撮像システム1は、
図1に示した構成に加えて、
図8に示すように、クラウド30を含んでいてもよい。クラウド30は、たとえば、インターネットなどのコンピュータネットワーク31、サーバー35、および、オンラインコーチシステム40を含む。サーバー35およびオンラインコーチシステム40は、コンピュータネットワーク31に接続されている。
【0097】
この場合、ボール10の測定ユニット520およびカメラ15の撮像部151は、センサーデータ7および撮像データ8を、コンピュータネットワーク31を介してサーバー35に送信してもよい。
【0098】
サーバー(クラウドサーバー)35は、プレイヤー管理機能36、投球動作毎にセンサーデータ7および撮像データ8を蓄積するストレージ37、データ管理ユニット38、および、ランキング集計などを行うデータ分析ユニット39を含む。
【0099】
オンラインコーチシステム40は、コーチ42によって用いられるシミュレータ41および通信ユニット43を含む。シミュレータ41は、サーバー35に投球動作毎に蓄積されたセンサーデータ7および撮像データ8を用いて、ボール情報およびプレイヤー画像を生成し、1つの投球動作に関するプレイヤー画像とボール情報とを、互いに関連づけて、自身の記憶装置あるいはストレージ37に記憶する。すなわち、この構成では、オンラインコーチシステム40が端末装置であり、そのシミュレータ41が制御部として機能する。
【0100】
この構成では、コーチ42は、シミュレータ41の表示画面(図示せず)に表示されたプレイヤー画像およびボール情報を確認し、通信ユニット43およびコンピュータネットワーク31を介して、ユーザ(携帯端末20)に向けてアドバイスを送ることができる。
【0101】
また、携帯端末20の制御部63がプレイヤー画像およびボール情報を生成して、コンピュータネットワーク31を介してサーバー35に送信し、記憶部としてのストレージ37に、プレイヤー画像とボール情報とを関連づけて記憶してもよい。この場合、シミュレータ41は、サーバー35のストレージ37に蓄積された投球動作毎のボール情報およびプレイヤー画像を取得して、表示画面に表示する。コーチ42は、同様にプレイヤー画像とボール情報とを確認して、アドバイスを送ることができる。
【0102】
このように、
図8に示した構成では、携帯端末20から離れた場所にいる人も、プレイヤー画像およびボール情報を見ることができる。このため、たとえば、ユーザは、外部の専門家にプレイヤー画像およびボール情報を見てもらい、アドバイスを受けることが容易となる。
【0103】
また、本実施形態では、ボール10の一例として、硬式の野球ボールを示している。しかしながら、ボール10は、これに限られず、内部にハードウェア50を配置できるものであれば、他のスポーツに用いられるボールでもよい。ボール10の他の例としては、軟式の野球ボール、ゴルフボール、ソフトボール、テニスボール、サッカーボール、ラグビーボール、アメリカンフットボール用のボール、陸上競技に用いられる円盤、砲丸およびハンマー、およびクリケット用のボールを挙げられる。
【0104】
ボール10がどのような種類のものであっても、射出(投げる、蹴る、あるいは打つなど)されるボール10のセンサー部(測定ユニット520等)が、センサーデータ7を取得して携帯端末20に送信する。また、カメラ15の撮像部151が、プレイヤーにおけるボール10の射出動作を撮像し、撮像データ8を携帯端末20に送信する。
【符号の説明】
【0105】
1:撮像システム、2:ピッチャー、4:キャッチャー、
10:ボール、51a:起動用加速度センサー、51b:三軸加速度センサー、
51c:三軸ジャイロセンサー、51d:三軸地磁気センサー、52:バッテリー、
53:電源スイッチ、7:センサーデータ、520:測定ユニット、
15:カメラ、151:撮像部、155:メモリ、8:撮像データ、
20:携帯端末、27:メモリ、28a:ディスプレイ、28b:タッチセンサー、
28c:端末カメラ、29:音声入出力ユニット、60:アプリケーションプログラム、
61:ペアリングユニット、62:データ取得ユニット、63:制御部、
30:クラウド、31:コンピュータネットワーク、35:サーバー、
36:プレイヤー管理機能、37:ストレージ、38:データ管理ユニット、
39:データ分析ユニット、40:オンラインコーチシステム、41:シミュレータ、
42:コーチ、43:通信ユニット、