特開 2024-31158 判定システム、判定方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031158

(43)【公開日】2024-03-07

(54)【発明の名称】判定システム、判定方法及びコンピュータープログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20240229BHJP

   G06T 7/00 20170101ALI20240229BHJP

   A63B 71/06 20060101ALI20240229BHJP

【ＦＩ】

G06T7/246

G06T7/00 350B

A63B71/06 M

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022134532

(22)【出願日】2022-08-25

(11)【特許番号】

(45)【特許公報発行日】2023-03-14

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和３年８月２６日ウェブサイト（ウェブサイトのアドレス：ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｎｅｘｔｓｈｏｔ／ｉｄ１５５８９８３７６１）において公開

(71)【出願人】

【識別番号】317012684

【氏名又は名称】株式会社ネクストベース

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100145481

【弁理士】

【氏名又は名称】平野 昌邦

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】中尾 信一

(72)【発明者】

【氏名】木下 博之

(72)【発明者】

【氏名】神事 努

(72)【発明者】

【氏名】友貞 裕雄

(72)【発明者】

【氏名】森本 崚太

(72)【発明者】

【氏名】山口 敦士

(72)【発明者】

【氏名】飛田 祥弥

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096DA02

5L096FA04

5L096FA06

5L096FA32

5L096FA33

5L096FA62

5L096FA65

5L096FA67

5L096FA69

5L096GA08

5L096HA03

5L096JA03

5L096KA04

(57)【要約】

【課題】球技における球の動きをより高い精度で判定することである。
【解決手段】時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備える判定システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備える判定システム。

【請求項2】

前記制御部は、第一フレームと、前記第一フレームと異なるフレームである第二フレームとで、前記画像平面上の位置の変化量と、前記画像平面上の大きさの変化と、に基づいて前記第一フレームと前記第二フレームとの間で前記球が実空間で移動した移動量を判定する、請求項１に記載の判定システム。

【請求項3】

前記制御部は、前記各フレームにおいて、前記位置情報と前記大きさ情報とを判定する、請求項１又は２に記載の判定システム。

【請求項4】

前記制御部は、球が撮像された画像と、その画像における球の領域を示す領域情報と、を含む教師データを用いて予め学習処理を行うことによって得られた球判定学習済モデルを用いて前記領域情報を判定し、判定された前記領域情報に基づいて前記位置情報と前記大きさ情報とを判定する、請求項３に記載の判定システム。

【請求項5】

前記制御部は、球が撮像された画像と、その画像における位置情報及び大きさ情報と、を含む教師データを用いて予め学習処理を行うことによって得られた球判定学習済モデルを用いて前記位置情報と前記大きさ情報とを判定する、請求項３に記載の判定システム。

【請求項6】

コンピューターが、時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御ステップを有する判定方法。

【請求項7】

時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備える判定システムとしてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定システム、判定方法及びコンピュータープログラムに関する。

【背景技術】

【0002】

従来、球技を行う者の動作や球の動きを解析することが行われている。このような解析は人の目で行われることもあるが、近年ではコンピューターで解析する技術も提案されてきている。例えば、特許文献１には、カメラの映像を解析することでピッチャーの投げる球の速度を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１５３３７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、より高い精度の解析が要求され続けている。また、このような解析は、特許文献１に記載されたような野球のピッチャーの投球に対する解析のみならず、様々な競技やプレーについて求められている。

【0005】

上記事情に鑑み、本発明は、球技における球の動きをより高い精度で判定することを可能とする技術の提供を目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備える判定システムである。

【0007】

本発明の一態様は、上記の判定システムであって、前記制御部は、第一フレームと、前記第一フレームと異なるフレームである第二フレームとで、前記画像平面上の位置の変化量と、前記画像平面上の大きさの変化と、に基づいて前記第一フレームと前記第二フレームとの間で前記球が実空間で移動した移動量を判定する、請求項１に記載の判定システム。

【0008】

本発明の一態様は、上記の判定システムであって、前記制御部は、前記各フレームにおいて、前記位置情報と前記大きさ情報とを判定する。

【0009】

本発明の一態様は、上記の判定システムであって、前記制御部は、球が撮像された画像と、その画像における球の領域を示す領域情報と、を含む教師データを用いて予め学習処理を行うことによって得られた球判定学習済モデルを用いて前記領域情報を判定し、判定された前記領域情報に基づいて前記位置情報と前記大きさ情報とを判定する。

【0010】

本発明の一態様は、上記の判定システムであって、前記制御部は、球が撮像された画像と、その画像における位置情報及び大きさ情報と、を含む教師データを用いて予め学習処理を行うことによって得られた球判定学習済モデルを用いて前記位置情報と前記大きさ情報とを判定する。

【0011】

本発明の一態様は、コンピューターが、時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御ステップを有する判定方法である。

【0012】

本発明の一態様は、時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備える判定システムとしてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0013】

本発明により、球技における球の動きをより高い精度で判定することが可能となる。

【図面の簡単な説明】

【0014】

【図1】ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。

【図2】表示部１４に表示される撮像のためのユーザーインターフェースの具体例を示す図である。

【図3】処理の対象とするフレームセットの判別の概略を示す図である。

【図4】処理の対象とするフレームセットの判別の概略を示す図である。

【図5】処理の対象とするフレームセットの判別の概略を示す図である。

【図6】処理の対象とするフレームセットの判別の概略を示す図である。

【図7】処理の対象とするフレームセットの判別の概略を示す図である。

【図8】球移動情報判定部１６２の処理の具体例を示す図である。

【図9】球移動情報判定部１６２の処理の具体例を示す図である。

【図10】球移動情報判定部１６２が、球の速さを最終的に判定する際の処理の具体例を示す図である。

【図11】出力制御部１６４によって表示部１４に表示される画像の具体例を示す図である。

【図12】ユーザー端末１０の制御部１６が行う処理の流れの具体例を示すフローチャートである。

【図13】学習装置２０の機能構成の具体例を示す概略ブロック図である。

【図14】本発明の実施形態の変形例を示す図である。

【発明を実施するための形態】

【0015】

［概略］
以下、本発明の判定システムの具体的な構成例について、図面を参照しながら説明する。以下の説明では、判定システムがユーザー端末１０という単体の装置として構成される態様を具体例として説明する。ただし、後述するように判定システムは複数の装置を用いて実装されてもよい。

【0016】

まず、ユーザー端末１０を用いた球の動きの判定の概略について説明する。ユーザー端末１０は、処理の対象となる画像（以下「対象画像」という。）のデータを取得する。対象画像は、例えばユーザー端末１０に設けられているカメラを用いて撮像することによって動画像として取得されてもよい。対象画像は、時系列に連続して並んだ複数の画像（以下「フレーム」という。）を含む。ユーザー端末１０は、競技で使用される球の領域を各フレームにおいて判定し、連続した各フレームにおける球の位置や大きさ等に基づいて実空間における球の動きを判定する。そして、ユーザー端末１０は、球の動き等の情報に基づいて、その球が競技においてどのような事象を導くのか判定する。ユーザー端末１０は、これらの判定結果を示す画像を出力する。このようにユーザー端末１０が動作することによって、球技における球の動きや球技における事象の判定結果をユーザーは容易に知ることができる。

【0017】

図１は、ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。ユーザー端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、専用機器などの情報機器を用いて構成される。ユーザー端末１０は、通信部１１、操作部１２、撮像部１３、表示部１４、記憶部１５及び制御部１６を備える。

【0018】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１６の制御に応じて、ネットワークを介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0019】

操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示をユーザー端末１０に入力する際にユーザーによって操作される。操作部１２は、入力装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーによって発話された文言を音声認識し、認識結果の文字列情報をユーザー端末１０に入力する。操作部１２は、ユーザーの指示をユーザー端末１０に入力可能な構成であればどのように構成されてもよい。

【0020】

撮像部１３は、静止画像又は動画像を撮像可能なカメラである。撮像部１３によって静止画像が撮像される場合には、短い時間間隔（例えば０．１秒等）で連続的に複数枚の静止画像が撮像できるように構成されることが望ましい。撮像部１３によって撮像された動画像は、対象画像として対象画像記憶部１５１に記録される。撮像部１３は、例えば操作部１２としてタッチパネルが用いられて所定のボタンが表示された領域にユーザーが触れている間のみ動画像を撮像するように動作してもよい。

【0021】

表示部１４は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１４は、画像表示装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、表示部１４は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。表示部１４は、例えば制御部１６の制御に応じて、撮像部１３を用いた撮像のためのユーザーインターフェースを表示してもよい。このとき、例えば球に対して動作を行う人（以下「競技者」という。）が動作をし終わったらすぐに撮像を終了することを示す文字や画像が表示されてもよい。

【0022】

図２は、表示部１４に表示される撮像のためのユーザーインターフェースの具体例を示す図である。表示部１４には、打者領域画像１４１、判定対象領域枠１４２、撮像ボタン１４３が表示されている。打者領域画像１４１は、その位置に打者が位置することが望ましいことを示す画像である。例えば、ユーザーは撮像時に打者領域画像１４１に打者が重なるようにユーザー端末１０を操作することで、より精度のよい判定処理を実現することができる。判定対象領域枠１４２は、判定処理で用いられる判定対象領域を示す。撮像ボタン１４３は、ユーザーによって触れられることで撮像が行われる領域を示す画像である。撮像ボタン１４３の周囲（例えば下）には、“長押ししている間撮影されます。打ち終わったら撮影を終えてください”という文字列が表示されている。制御部１６は、撮像ボタン１４３にユーザーが触れている間にかぎって、撮像部１３による撮像を実行してもよい。

【0023】

図１に戻ってユーザー端末１０の説明を続ける。記憶部１５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１５は、制御部１６によって使用されるデータを記憶する。記憶部１５は、制御部１６が処理を行う際に必要となるデータを記憶する。記憶部１５は、例えば対象画像記憶部１５１及び学習済モデル記憶部１５２として機能する。対象画像記憶部１５１は、対象画像のデータを記憶する。

【0024】

学習済モデル記憶部１５２は、予め他の装置（例えば後述する学習装置２０）によって実行された学習処理によって生成された学習済モデルのデータを記憶する。学習済モデル記憶部１５２が記憶する学習済モデルには、例えば複数種類の学習済モデルがあってもよい。例えば、画像上の球の領域を判定するために用いられる学習済モデル（以下「球判定学習済モデル」という。）と、球の移動に関する情報に基づいて競技において生じうる事象を判定するために用いられる学習済モデル（以下「事象判定学習済モデル」という。）と、がある。

【0025】

まず、球判定学習済モデルについて説明する。学習処理に用いられる教師データは、入力として球が撮像された画像が用いられる。出力として、その画像に撮像されている球の画像平面上の領域を示す情報（領域情報）が用いられる。出力として、さらにその画像が球であることを示す確率値が用いられてもよい。例えば、画像平面上で球の輪郭を示す情報（例えば輪郭に相当する画素の位置）が用いられてもよいし、球の領域に含まれる全画素の位置を示す情報が用いられてもよい。例えば、画像上の球の中心位置（例えば画像平面上の位置：位置情報）と球の大きさを示す情報（例えば半径又は直径を示す情報：大きさ情報）が用いられてもよい。

【0026】

これらの教師データは、例えば実際に球を撮像することによって得られた画像と、その画像において人又は他の情報処理装置などによって判断された出力の値と、の組み合わせとして作成されてもよい。このようにして教師データが得られることにより、相関関係のある入力と出力の正解とを教師データとして用いることができる。ただし、教師データは、必ずしも相関関係のあるデータのみを用いて構成される必要は無い。

【0027】

次に、事象判定学習済モデルについて説明する。学習処理に用いられる教師データは、入力として少なくとも球の動きに関する情報が用いられる。入力として、球の動きに関する情報は、例えば球の速度、球の向きを含んでもよい。球の向きは、例えば三次元の情報として表されてもよいし、水平面に対する打球の角度を示す情報として表されてもよい。出力として、その球について生じた事象を示す情報が用いられる。例えば、野球であれば“ヒット”、“ホームラン”、“アウト”がそれぞれ事象として用いられてもよい。さらに、“シングルヒット”、“ツーベースヒット”、“スリーベースヒット”がそれぞれ事象として用いられてもよい。他にも、“ファウル”、“ゴロ”、“フライ”、“ライナー”がそれぞれ事象として用いられてもよい。野球の打撃に関する事象を例として記載したが、野球の投球に関する事象が用いられてもよいし、野球以外の球技に関する事象が用いられてもよい。

【0028】

これらの教師データは、例えば実際の野球の試合における打球の測定結果（球の動きに関する情報）と、その結果（事象）と、の組み合わせとして作成されてもよい。このようにして教師データが得られることにより、相関関係のある入力と出力とを教師データとして用いることができる。

【0029】

これらのような教師データを用いて機械学習を行うことによって、球判定学習済モデル及び事象判定学習済モデルが得られる。このような球判定学習済モデルに対して、入力として新たに得られた画像（例えば対象画像の一つのフレームの画像）が入力されることによって、その画像において写っている球の領域に関する情報が出力として得られる。このような事象判定学習済モデルに対して、入力として新たに得られた球の動きに関する情報が入力されることによって、そのような動きをする球によって生じる事象を示す情報が出力として得られる。

【0030】

制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１６は、プロセッサーがプログラムを実行することによって機能する。なお、制御部１６の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0031】

制御部１６は、例えば予め自装（ユーザー端末１０）にインストールされたアプリケーションを実行してもよい。制御部１６は、実行中のアプリケーションのプログラムにしたがって動作してもよい。制御部１６は、アプリケーションプログラムを実行することによって、球領域判定部１６１、球移動情報判定部１６２、事象判定部１６３及び出力制御部１６４として機能する。

【0032】

球領域判定部１６１は、処理の対象となる画像から球の領域を判定する。以下、撮像部１３によって撮像された動画像が対象画像として用いられた場合の球領域判定部１６１の動作について詳細に説明する。球領域判定部１６１は、まず処理の対象となる画像を取得する。球領域判定部１６１は、動画像の終わりから遡って所定時間（例えば１秒間、数秒間、１０秒間など）の間の各フレームを処理対象の画像として取得してもよい。

【0033】

球領域判定部１６１は、取得された各フレームの画像について、予め定められた判定対象領域の画像を取得する。球領域判定部１６１は、取得された複数のフレームのうち時系列で最初のフレームにおける判定領域の画像と、そのフレームに連続する他のフレームとの間で類似度を判定する。類似度は、例えば各判定対象領域の画像の差分に基づいて得られてもよい。類似度が所定の基準を超えて類似していないことを示す場合に、球領域判定部１６１は、その判定対象のフレームから時系列で後に位置しているフレームのセットを処理の対象として用いる。

【0034】

一方で、類似度が所定の基準を超えずに類似している場合には、球領域判定部１６１は、その次のフレームを判定対象のフレームとして用いて、同様の判定を行う。類似度が所定の基準を超えて類似しないことが示されるまで、又は、取得された最後のフレームに到達するまで、球領域判定部１６１は、この処理を繰り返し実行する。このように動作することで、球の領域を判定する処理に用いられるフレームの数を減らし、判定結果をより早く取得することが可能となる。

【0035】

球領域判定部１６１は、処理の対象として用いると判定されたフレームの判定領域において、球の領域を判定する。球領域判定部１６１は、例えば球判定学習済モデルを用いて球の領域を判定してもよい。具体的には、球領域判定部１６１は、球判定学習済モデルに対して判定領域の画像を入力することで、球の画像上の領域を示す情報を取得してもよい。球領域判定部１６１は、処理の対象として用いると判定された時系列の最初のフレームから順に球の領域を判定し、時系列の順で繰り返し判定処理を実行する。

【0036】

球領域判定部１６１は、所定の終了条件が満たされた場合に、処理の対象として用いられている連続したフレームのセットについて、球の領域の判定処理を終了する。終了条件は、例えば処理の対象として用いられている連続したフレームのセットにおいて、所定数（例えば３つ）以上のフレームにおいて連続して球が検出された（球の領域を示す情報が得られた）後に、所定数（例えば４つ）以上のフレームにおいて連続して球が検出されなかった（球の領域を示す情報が得られなかった）ことであってもよい。このように動作することで、球の領域を判定する処理の実行回数を減らし、判定結果をより早く取得することが可能となる。

【0037】

球領域判定部１６１は、球の領域を示す情報に基づいて、球の中心位置と直径を示す情報を取得する。球判定学習済モデルの出力として球の中心位置と直径を示す情報が得られる場合には、その情報がそのまま用いられてもよい。球判定学習済モデルの出力として得られる情報が球の中心位置と直径でない場合には、球領域判定部１６１は、その情報に基づいて球の中心位置と直径を示す情報を取得する。なお、以下の説明では球の情報として直径を用いる場合の処理を説明するが、直径に変えて半径が得られてもよいし円周長が得られてもよいし、同種の他の値が用いられてもよい。また、直径は画像上の長さの単位で表される。

【0038】

球移動情報判定部１６２は、球領域判定部１６１によって得られた球の中心位置と直径を用いて、対象画像に写っている球の実空間における移動に関する情報を判定する。球移動情報判定部１６２は、球の領域の大きさ（例えば直径）の変化に基づいて、球の奥行き方向（画像平面に対して垂直な方向）での球の移動量も含めて速さを判定する。以下、球移動情報判定部１６２の動作について詳細に説明する。

【0039】

球移動情報判定部１６２は、例えば時系列で連続する二つのフレームが処理対象のフレームセットとして用いられる。以下の説明では、フレームセットに含まれる２つのフレームのうち時系列で前のフレームを「前フレーム」といい、後のフレームを「後フレーム」という。球移動情報判定部１６２は、例えば時系列の順で各フレームセットに対して処理を行う。このとき、球移動情報判定部１６２は、処理の対象とするフレームセットと、処理の対象としないフレームセットとを判別してもよい。処理の対象とするフレームセットのみに対して球移動情報判定部１６２は、処理を行う。

【0040】

例えば、フレームセットに含まれるフレームにおいて、判定対象領域に球の位置が入っていない場合には、処理の対象としないと判別されてもよい。

【0041】

図３～図７は、処理の対象とするフレームセットの判別の概略を示す図である。図３に示されるように、前フレームの球位置から後フレームの球位置への画像平面上での移動が所定の向きである場合には処理の対象となり、所定の向きでない場合には処理の対象としない、と判別されてもよい。より具体的には、前フレームの球の中心位置から後フレームの玉の中心位置へ向けたベクトルの向きが所定の範囲内であるか否かに基づいて判別されてもよい。

【0042】

例えば、図２に示されるように画像の左側に打者がいて右方向に向けて打撃を行うような画像が撮像される場合には、所定の向きとして左から右という向きが定められてもよい。このような判別が行われることによって、例えばトスされたボールのように打撃ではないボールが撮像されたフレームを処理の対象から除外することができる。

【0043】

図４に示されるように、判別対象のフレームセットの一つ前のフレームセット（例えばｆ１２）での球の移動を示すベクトル（例えばｖ１２）と、判別対象のフレームセット（例えばｆ２３）での球の移動方向を示すベクトル（例えばｖ２３）と、がなす画像平面上での角度が所定の角度（例えば５度）よりも小さい場合には、判別対象のフレームセットは処理の対象と判別されてもよい。

【0044】

一方で、判別対象のフレームセットの一つ前のフレームセット（例えばｆ２３）での球の移動を示すベクトル（例えばｖ２３）と、判別対象のフレームセット（例えばｆ３４）での球の移動方向を示すベクトル（例えばｖ３４）と、がなす画像平面上での角度が所定の角度（例えば５度）以上である場合には、判別対象のフレームセットは処理の対象としないと判別されてもよい。このように処理の対象としないと判断されたフレームセットが生じた場合、次に判別の対象とされるフレームセットはどのように決定されてもよい。

【0045】

例えば、図５に示されるように、処理の対象としないと判別されたフレームセット（例えばｆ３４）の後フレーム（例えばｎ４）を含むフレームセット（例えばｆ４５）を飛ばして、その次のフレームセット（ｆ５６）が判別の対象とされてもよい。

【0046】

例えば、図６に示されるように、処理の対象としないと判別されたフレームセット（例えばｆ３４）の前フレーム（例えばｎ３）をそのまま維持し、処理の対象としないと判別されたフレームセット（例えばｆ３４）の後フレーム（例えばｎ４）の次のフレーム（例えばｎ５）を後フレームとした新たなフレームセット（例えばｆ３５）が判別の対象とされてもよい。

【0047】

図７では、ｎ０～ｎ７はフレームのインデックスを示している。図７に示されるようにフレームのインデックスが連続していない（図７ではｎ３が飛んでいる）場合には、その連続していないインデックスの前と後とでグループを分け、いずれか一方のグループに含まれるフレームセットのみが処理の対象として判別される。例えば図７の例では、ｎ３が飛んでいて、その前のグループ（フレームｎ０～ｎ２）と、その後のグループ（フレームｎ４～ｎ７）とに分けられる。このようにして分けられた全てのグループのフレームセットが処理に用いられる。

【0048】

このように処理されることによって、撮像の制御処理において補間処理などによって実際の撮像とは異なる画像が含まれたフレームが挿入される等された場合に、そのようなフレームを処理の対象から省くことができ、結果として判定精度を高めることが可能となる。球移動情報判定部１６２は、以上のような判別処理の一つ又は複数を実行することによって、処理の対象となるフレームセットを判別してもよい。

【0049】

次に、球移動情報判定部１６２による球の移動に関する情報の判定処理について説明する。図８及び図９は、球移動情報判定部１６２の処理の具体例を示す図である。図８において、ｒｐは前フレームにおける半径、ｒは後フレームにおける半径をそれぞれ示す。θについては図９を用いて説明する。図９において、ｘ軸はフレームの画像平面上に沿った水平の軸を示す。ｘは、前フレームから後フレームとの間で球が画像平面上のｘ軸ｋに沿って移動した距離（長さ）を示す。ｄ軸は、前フレームから後フレームとの間で球が実空間において移動した軌跡を示す。ｄの値は、前フレームから後フレームとの間で球が実空間において移動した距離（長さ）を示す。θは、ｘ軸とｄ軸とが形成する角度を示す。

【0050】

例えば、ｒｐとｒとの比に基づいてａｒｃｃｏｓで角度θを求めることができる。角度θのｃｏｓを求めることによって、前フレームから後フレームの移動距離比ｐを求めることができる。求められた移動距離比ｐで、画像平面上の移動距離ｘを除することによって、実空間における移動距離であるｄの値を求めることができる。前フレームが撮像されてから後フレームが撮像されるまでの時間間隔と、ｄの値と、に基づいて、前フレームから後フレームの間の球の移動の速さを求めることができる。移動の速さは、例えば時速として求められてもよい。

【0051】

球移動情報判定部１６２は、このような処理を、処理対象となる各フレームセットに対して行うことで、各フレームセットにおける球の移動の速さ（球速）や実空間における球の移動の向きを判定する。図１０は、球移動情報判定部１６２が、球の速さを最終的に判定する際の処理の具体例を示す図である。球移動情報判定部１６２は、各フレームセットにおける球速の統計値に基づいて外れ値を除外する。例えば、球移動情報判定部１６２は、球速の平均値及び標準偏差を算出し、（平均値－標準偏差）と（平均値＋標準偏差）との間に位置する球速のフレームセットのみを処理対象のフレームセットとして用いる。

【0052】

そして、球移動情報判定部１６２は、処理対象のフレームセットに基づいて球速及び球の向きを判定する。例えば、球移動情報判定部１６２は、処理対象のフレームセットの中から球速が速いものから所定の順位まで（例えば１位と２位）のフレームセットを選択し、選択されたフレームセットから得られる球速及び球の向きの平均値を最終的な判定結果として取得してもよい。

【0053】

事象判定部１６３は、球移動情報判定部１６２によって得られた球移動情報（球速及び球の向き）を用いて、その球によって生じる事象を判定する。事象判定部１６３は、例えば事象判定学習済モデルを用いて事象を判定してもよい。具体的には、事象判定部１６３は、事象判定学習済モデルに対して球速及び球の向きを入力することで、事象を示す情報を取得してもよい。

【0054】

出力制御部１６４は、球移動情報判定部１６２によって判定された球移動情報（球速及び球の向き）と、事象判定部１６３によって判定された事象と、のうち一部又は全てを示す情報を表示部１４に表示する。図１１は、出力制御部１６４によって表示部１４に表示される画像の具体例を示す図である。図１１に示される例では、バッターのイラストのバット部分から広がる扇型の画像内に、結果を示す画像１４４（例えば白丸）を表示することによって、判定結果が示されている。扇型の付け根の部分である点１４５から、画像１４４が配置されている位置までの長さが球速を示し、画像１４４が配置されている位置と点１４５とを結ぶ直線と水平面とがなす角度が球の向き（水平面に対する打球の角度）を示している。ヒットゾーン及びホームランゾーンと記載された領域は、その領域における球速及び球の向きで打撃が行われた場合にはそれぞれヒットやホームランになる可能性が高いことを示している。

【0055】

図１２は、ユーザー端末１０の制御部１６が行う処理の流れの具体例を示すフローチャートである。まず、球領域判定部１６１は、対象画像のデータを取得する（ステップＳ１０１）。球領域判定部１６１は、対象画像において球領域を判定する（ステップＳ１０２）。球移動情報判定部１６２は、球領域判定部１６１の判定結果に基づいて、球の移動情報を判定する（ステップＳ１０３）。事象判定部１６３は、球の移動情報に基づいて事象を判定する（ステップＳ１０４）。そして、出力制御部１６４は、判定結果を示す情報を出力する（ステップＳ１０５）。

【0056】

このように構成されたユーザー端末１０では、撮像された球の実空間（三次元空間）での移動距離に基づいて球速が判定される。そのため、より精度高く球速を判定することが可能となる。また、構成されたユーザー端末１０では、撮像された球の実空間（三次元空間）での移動方向（球の向き）が判定される。そのため、より精度高く球の軌跡やその後に生じる事象を判定することが可能となる。

【0057】

図１３は、学習装置２０の機能構成の具体例を示す概略ブロック図である。学習装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。学習装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0058】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワークを介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0059】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えば教師データ記憶部２２１及び学習済モデル記憶部２２２として機能してもよい。

【0060】

教師データ記憶部２２１は、学習装置２０において実行される教師あり学習処理に用いられる教師データを記憶する。教師データ記憶部２２１が記憶する教師データは、上述した球判定学習済モデルの学習処理に用いられる教師データや、上述した事象判定学習済モデルの学習処理に用いられる教師データである。

【0061】

学習済モデル記憶部２２２は、制御部２３によって実行される教師あり学習処理によって得られる学習済モデル情報を記憶する。

【0062】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、情報制御部２３１及び学習制御部２３２として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0063】

情報制御部２３１は、情報の入出力を制御する。例えば、情報制御部２３１は、他の機器（情報処理装置や記憶媒体）から教師データを取得し、教師データ記憶部２２１に記録する。例えば、情報制御部２３１は、学習済モデル記憶部２２２に記憶されている学習済モデルを、他の装置（例えばユーザー端末１０や、アプリケーションの開発に用いられる情報処理装置）に対して送信する。

【0064】

学習制御部２３２は、教師データ記憶部２２１に記憶されている教師データを用いることで学習処理を実行する。例えば、学習制御部２３２は、教師あり学習によって識別器を生成又は更新するための機械学習技術が適用される。このような機械学習技術の具体例として、ＳＶＭ（Support Vector Machine）や決定木（Decision Tree）がある。他にも、学習制御部２３２には、ニューラルネットワークやＤＬ（Deep Learning）が適用されてもよい。学習制御部２３２は、学習処理の実行によって得られた学習済モデルを学習済モデル記憶部２２２に記録する。このような学習制御部２３２によって得られた学習済モデルは、アプリケーションの開発に用いられる情報処理装置に対して送信され、ユーザー端末１０にインストールされるアプリケーションに組み込まれてもよい。

【0065】

（変形例）
図１４は、本発明の実施形態の変形例を示す図である。変形例は、ユーザー端末１０と判定装置３０とを含む判定システム１００として構成される。判定システム１００には、学習装置２０が含まれてもよい。ユーザー端末１０と判定装置３０とは、ネットワーク９０を介して通信可能に接続される。判定装置３０と学習装置２０とは、ネットワーク９０を介して通信可能に接続されもよい。ネットワーク９０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク９０は、複数のネットワークが組み合わされて構成されてもよい。

【0066】

判定装置３０は、通信部、記憶部及び制御部を備える。通信部は、通信機器である。通信部は、例えばネットワークインターフェースとして構成されてもよい。通信部は、制御部の制御に応じて、ネットワークを介して他の装置とデータ通信する。通信部は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0067】

記憶部は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部は、制御部によって使用されるデータを記憶する。記憶部は、例えば上述したユーザー端末１０の記憶部１５が記憶する情報の一部又は全部を記憶する。

【0068】

制御部は、ＧＰＵ（Graphics Processing Unit）やＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。制御部は、上述したユーザー端末１０の制御部１６が行う処理の一部又は全部を実行する。

【0069】

この場合、ユーザー端末１０の記憶部１５及び制御部１６の機能のうち、判定装置３０に実装されている機能はユーザー端末１０において実装されていなくてもよい。ユーザー端末１０の制御部１６は、自装置に実装されていない部分の機能については、通信部１１を用いてネットワーク９０を介して判定装置３０に実行を依頼することによって、その実行結果を取得してもよい。

【0070】

例えば、ユーザー端末１０の制御部１６は、対象画像の動画像データを判定装置３０に送信してもよい。この場合、判定装置３０は球領域判定部１６１、球移動情報判定部１６２及び事象判定部１６３の処理を実行し、球の移動情報及び事象の判定結果を示す情報をユーザー端末１０に送信してもよい。ユーザー端末１０の出力制御部１６４は、これらの情報を受信すると、受信された情報に基づいて表示部１４に表示する画像を生成してもよい。

【0071】

例えば、ユーザー端末１０の制御部１６は、対象画像の動画像データに基づいて各フレームの球の中心位置及び直径を判定し、その判定結果の組み合わせを判定装置３０に送信してもよい。この場合、判定装置３０は球移動情報判定部１６２及び事象判定部１６３の処理を実行し、球の移動情報及び事象の判定結果を示す情報をユーザー端末１０に送信してもよい。ユーザー端末１０の出力制御部１６４は、これらの情報を受信すると、受信された情報に基づいて表示部１４に表示する画像を生成してもよい。
他にも、ユーザー端末１０の制御部１６と判定装置３０との間の機能の切り分けはどのように行われてもよい。

【0072】

学習装置２０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて学習装置２０が実装されてもよい。例えば、学習装置２０において、記憶部２２と制御部２３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、学習装置２０の記憶部２２が複数の情報処理装置に分散して実装されてもよい。

【0073】

判定装置３０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて判定装置３０が実装されてもよい。例えば、判定装置３０において、記憶部と制御部とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、判定装置３０の記憶部が複数の情報処理装置に分散して実装されてもよい。

【0074】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0075】

１００…判定システム， １０…ユーザー端末， ２０…学習装置， ３０…判定装置， １１…通信部， １２…操作部， １３…撮像部， １４…表示部， １５…記憶部， １５１…対象画像記憶部， １５２…学習済モデル記憶部， １６…制御部， １６１…球領域判定部， １６２…球移動情報判定部， １６３…事象判定部， １６４…出力制御部， ２１…通信部， ２２…記憶部， ２２１…教師データ記憶部， ２２２…学習済モデル記憶部， ２３…制御部， ２３１…情報制御部， ２３２…学習制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-01-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備え、
前記制御部は、第一フレームと、前記第一フレームと異なるフレームである第二フレームとで、前記画像平面上の位置の変化量と、前記画像平面上の大きさの変化と、に基づいて前記第一フレームと前記第二フレームとの間で前記球が実空間で奥行き方向も含めて移動した移動量を判定する、判定システム。

【請求項2】

前記制御部は、前記各フレームにおいて、前記位置情報と前記大きさ情報とを判定する、請求項１に記載の判定システム。

【請求項3】

前記制御部は、球が撮像された画像と、その画像における球の領域を示す領域情報と、を含む教師データを用いて予め学習処理を行うことによって得られた球判定学習済モデルを用いて前記領域情報を判定し、判定された前記領域情報に基づいて前記位置情報と前記大きさ情報とを判定する、請求項２に記載の判定システム。

【請求項4】

前記制御部は、球が撮像された画像と、その画像における位置情報及び大きさ情報と、を含む教師データを用いて予め学習処理を行うことによって得られた球判定学習済モデルを用いて前記位置情報と前記大きさ情報とを判定する、請求項２に記載の判定システム。

【請求項5】

コンピューターが、時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御ステップを有し、
前記制御ステップにおいて、第一フレームと、前記第一フレームと異なるフレームである第二フレームとで、前記画像平面上の位置の変化量と、前記画像平面上の大きさの変化と、に基づいて前記第一フレームと前記第二フレームとの間で前記球が実空間で奥行き方向も含めて移動した移動量を判定する、判定方法。

【請求項6】

時系列に並んだ各フレームにおいて、撮像された球の画像平面上の位置を示す位置情報と前記球の画像平面上の大きさを示す大きさ情報とに基づいて、前記球の実空間での移動に関する情報を判定する制御部を備え、
前記制御部は、第一フレームと、前記第一フレームと異なるフレームである第二フレームとで、前記画像平面上の位置の変化量と、前記画像平面上の大きさの変化と、に基づいて前記第一フレームと前記第二フレームとの間で前記球が実空間で奥行き方向も含めて移動した移動量を判定する、判定システムとしてコンピューターを機能させるためのコンピュータープログラム。