特許 7741595 プログラム、情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-09-09

(45)【発行日】2025-09-18

(54)【発明の名称】プログラム、情報処理システム及び情報処理方法

(51)【国際特許分類】

   A63B 69/00 20060101AFI20250910BHJP

   A63B 71/06 20060101ALI20250910BHJP

   G06N 3/0475 20230101ALI20250910BHJP

   G06N 3/10 20060101ALI20250910BHJP

【ＦＩ】

A63B69/00 505M

A63B69/00 A

A63B71/06 T

G06N3/0475

G06N3/10

【請求項の数】 7

(21)【出願番号】P 2025092330

(22)【出願日】2025-06-03

【審査請求日】2025-06-03

【早期審査対象出願】

(73)【特許権者】

【識別番号】523138563

【氏名又は名称】株式会社Ｋｎｏｗｈｅｒｅ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】今井 達也

(72)【発明者】

【氏名】伊藤 久史

【審査官】遠藤 孝徳

(56)【参考文献】

【文献】特開２０２５－５５６２４（ＪＰ，Ａ）

【文献】特開２００８－７３２０９（ＪＰ，Ａ）

【文献】特開２０２５－５５２４３（ＪＰ，Ａ）

【文献】特開２０１５－１６７６７６（ＪＰ，Ａ）

【文献】国際公開第２０２４／０５７９６５（ＷＯ，Ａ１）

【文献】特開２０２５－１７３１２（ＪＰ，Ａ）

【文献】特開平１０－３１４３６１（ＪＰ，Ａ）

【文献】特許第７３３９０５３（ＪＰ，Ｂ２）

【文献】特開２０２１－６９７０２（ＪＰ，Ａ）

【文献】特開２０１９－８３９６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ６９／００ － ７１／１６

Ｇ０６Ｎ ３／００ － ３／１２６

(57)【特許請求の範囲】

【請求項1】

コンピュータを、対話部及び表示処理部として機能させるプログラムであって、
前記対話部は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データについての、対象プレイヤーに対するアドバイスを要求するプロンプトと共に、前記飛行データの特徴を示す特徴量と、前記飛行データの球種と、を生成モデルに入力し、前記生成モデルから球種毎のアドバイスを取得し、
前記対話部は、異なるタイミングにおいて得られた複数の飛行データを前記生成モデルに入力し、前記複数の飛行データの間の時系列に沿った変化に関するアドバイスであって、球種毎のアドバイスを前記生成モデルから取得し、
前記表示処理部は、前記複数の飛行データの間の時系列に沿った変化に関するアドバイスであって、前記球種毎のアドバイスを表示部に表示させる、プログラム。

【請求項2】

前記対話部は、複数のプレイヤーの特徴量をさらに前記生成モデルに入力することで、前記生成モデルから複数のプレイヤーによる飛行データと比較したアドバイスを取得する、請求項１に記載のプログラム。

【請求項3】

前記複数のプレイヤーは、前記対象プレイヤーと同じ属性のプレイヤーである、請求項２に記載のプログラム。

【請求項4】

前記対話部は、プロのプレイヤーの特徴量をさらに前記生成モデルに入力することで、前記生成モデルからプロと比較したアドバイスを取得する、請求項１に記載のプログラム。

【請求項5】

前記対話部は、複数の飛行データに対する成績をさらに前記生成モデルに入力し、前記生成モデルから前記アドバイスを取得する、請求項１に記載のプログラム。

【請求項6】

対話部と、表示処理部と、を備える情報処理システムであって、
前記対話部は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データについての、前記対象プレイヤーに対するアドバイスを要求するプロンプトと共に、前記飛行データの特徴を示す特徴量と、前記飛行データの球種と、を生成モデルに入力し、前記生成モデルから球種毎のアドバイスを取得し、
前記対話部は、異なるタイミングにおいて得られた複数の飛行データを前記生成モデルに入力し、前記複数の飛行データの間の時系列に沿った変化に関するアドバイスであって、球種毎のアドバイスを前記生成モデルから取得し、
前記表示処理部は、前記複数の飛行データの間の時系列に沿った変化に関するアドバイスであって、前記球種毎のアドバイスを表示部に表示させる、情報処理システム。

【請求項7】

制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データについての、前記対象プレイヤーに対するアドバイスを要求するプロンプトと共に、前記飛行データの特徴を示す特徴量と、前記飛行データの球種と、を生成モデルに入力し、前記生成モデルから球種毎のアドバイスを取得する工程と、
前記制御部が、異なるタイミングにおいて得られた複数の飛行データを前記生成モデルに入力し、前記複数の飛行データの間の時系列に沿った変化に関するアドバイスであって、球種毎のアドバイスを前記生成モデルから取得する工程と、
前記制御部が、前記複数の飛行データの間の時系列に沿った変化に関するアドバイスであって、前記球種毎のアドバイスを表示部に表示させる工程と、
を含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

従来、野球の投手による投球を評価することが行われていた。また、特許文献１には、ピッチャーとバッターの対戦映像からピッチングを分析する技術が開示されている。詳しくは、特許文献１の技術においては、ピッチング動作を表す投球フォーム映像データにピッチャーの任意の位置に設定された少なくとも１本の縦軸を加え、縦軸に対する１球毎のピッチング動作の移動軌跡を表した合成データが表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１６７６７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

プレイヤーにより飛ばされた球の飛行データに基づいて、プレイヤーに対する適切なアドバイスを提供する技術が望まれている。

【課題を解決するための手段】

【0005】

本発明のプログラムは、
コンピュータを、対話部及び表示処理部として機能させるプログラムであって、
前記対話部は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データに対するアドバイスを要求するプロンプトと共に前記飛行データの特徴を示す特徴量を生成モデルに入力し、前記生成モデルからアドバイスを取得し、
前記表示処理部は、前記アドバイスを表示部に表示させる、ことを特徴とする。

【0006】

本発明のプログラムにおいては、
前記対話部は、複数のプレイヤーの特徴量をさらに前記生成モデルに入力することで、前記生成モデルから複数のプレイヤーによる飛行データと比較したアドバイスを取得してもよい。

【0007】

本発明のプログラムにおいては、
前記複数のプレイヤーは、前記対象プレイヤーと同じ属性のプレイヤーであってもよい。

【0008】

本発明のプログラムにおいては、
前記対話部は、プロのプレイヤーの特徴量をさらに前記生成モデルに入力することで、前記生成モデルからプロと比較したアドバイスを取得してもよい。

【0009】

本発明のプログラムにおいては、
前記対話部は、複数の飛行データに対する成績をさらに前記生成モデルに入力し、前記生成モデルから前記アドバイスを取得してもよい。

【0010】

本発明のプログラムにおいては、
前記対話部は、複数の飛行データそれぞれに対応付けられた球種をさらに前記生成モデルに入力し、前記アドバイスを取得してもよい。

【0011】

本発明のプログラムにおいては、
前記対話部は、異なるタイミングにおいて得られた複数の飛行データを前記生成モデルに入力し、前記飛行データの時系列に沿った変化に関するアドバイスを前記生成モデルから取得してもよい。

【0012】

本発明のプログラムは、
コンピュータを、特徴量抽出部及び表示処理部として機能させるプログラムであって、
前記特徴量抽出部は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データから特徴量を抽出し、
前記表示処理部は、前記特徴量に対応付けて記憶部に記憶されているアドバイスを表示部に表示させる、ことを特徴とする。

【0013】

本発明の情報処理システムは、
処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データに対するアドバイスを要求するプロンプトを生成モデルに入力し、前記生成モデルからアドバイスを取得する対話部と、
前記飛行データと共に前記アドバイスを表示部に表示させる表示処理部と、
を備える、ことを特徴とする。

【0014】

本発明の情報処理システムは、
処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データから特徴量を抽出する特徴量抽出部と、
前記特徴量に対応付けて記憶部に記憶されているアドバイスを表示部に表示させる表示処理部と、
を備える、ことを特徴とする。

【0015】

本発明の情報処理方法は、
制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データに対するアドバイスを要求するプロンプトを生成モデルに入力し、前記生成モデルからアドバイスを取得する工程と、
前記制御部が、前記飛行データと共に前記アドバイスを表示部に表示させる工程と、
を含む、ことを特徴とする。

【0016】

本発明の情報処理方法は、
制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データから特徴量を抽出する工程と、
前記制御部が、前記特徴量に対応付けて記憶部に記憶されているアドバイスを表示部に表示させる工程と、
を含む、ことを特徴とする。

【発明の効果】

【0017】

本発明のプログラム、情報処理システムおよび情報処理方法によれば、プレイヤーにより飛ばされた球の飛行データに基づいて、プレイヤーに対する適切なアドバイスを提供することができる。

【図面の簡単な説明】

【0018】

【図1】アドバイスシステムの全体構成図である。

【図2】特徴量抽出処理を示すフローチャートである。

【図3】位置推定処理の説明図である。

【図4】位置推定処理の説明図である。

【図5】アドバイス提示処理を示すフローチャートである。

【図6】平均値データ表を示す図である。

【図7】差分データ表を示す図である。

【図8】特徴表を示す図である。

【図9】改善案の表示例を示す図である。

【図10】推奨コースを示す図である。

【図11】推奨コースのナンバーを示す図である。

【図12】対象投手の各投球の縦の変化量及び横の変化量を示すグラフを示す図である。

【図13】第３実施形態のアドバイスシステムの全体構成図である。

【図14】アドバイスルールの一例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施形態について説明する。図１乃至図１３は、本実施形態に係るプログラム、情報処理システム及び情報処理方法等を示す図である。

【0020】

（第１実施形態）
図１は、本実施形態に係るアドバイスシステム１の全体構成図である。アドバイスシステム１は、アドバイス装置１０と、携帯装置２０と、生成モデルサーバ３０と、を備える。アドバイス装置１０、携帯装置２０及び生成モデルサーバ３０は、ネットワークＮを介して通信可能に接続されている。

【0021】

アドバイス装置１０は、携帯装置２０から投手により投げられた球の飛行状態を示す撮影画像を受信し、撮影画像に基づいて、投手に対するアドバイスを生成する。ここで、撮影画像は動画である。アドバイス装置１０は、コンピュータ等により構成され、制御部１００と、記憶部１１０と、通信部１２０と、を備えている。

【0022】

制御部１００は、ＣＰＵ（中央演算装置）等のプロセッサを含み、アドバイス装置１０の動作を制御する。

【0023】

記憶部１１０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含む。また、記憶部１１０は、アドバイス装置１０に内蔵されるものに限定されることはなく、アドバイス装置１０に着脱自在に装着可能な記憶媒体（例えば、ＵＳＢメモリ）等であってもよい。

【0024】

本実施形態では、記憶部１１０は、制御部１００により実行される各種プログラムや、各種データを記憶する。記憶部１１０は、例えば抽出モデル１１１を記憶している。抽出モデル１１１は、撮影画像から得られた軌道情報から特徴量を抽出するものであり、機械学習により学習された学習モデルである。軌道情報は、球の軌道を示す情報である。軌道情報は、球の飛行状態を示す飛行データの一例である。また、特徴量は、球の飛行の特徴を示すものであり、例えば、球の初速、回転数及び回転軸の向きを含む。抽出モデル１１１は、軌道情報と、当該軌道情報から得られる特徴量との組み合わせである学習データを生成し、複数の学習データで学習させることで生成される。なお、特徴量は、球の特徴を示す情報であればよく、実施形態に限定されるものではない。

【0025】

通信部１２０は、無線または通信により、外部装置との間で通信を行う通信インターフェースを含む。制御部１００は、通信部１２０を介して、携帯装置２０及び生成モデルサーバ３０との間でデータの送受信を行う。

【0026】

携帯装置２０は、携帯型の情報処理装置である。携帯装置２０は、スマートフォン、ＰＣタブレット等であってもよい。携帯装置２０は、制御部２００と、記憶部２１０と、表示部２２０と、カメラ２３０と、通信部２４０と、を備えている。制御部２００、記憶部２１０及び通信部２４０は、それぞれアドバイス装置１０の制御部１００、記憶部１１０及び通信部１２０と同様である。表示部２２０は、各種情報を表示する。本実施形態においては、携帯装置２０には、アドバイス表示のためのアプリケーションがインストールされているものとする。このアプリケーションにより、アドバイス装置１０との情報の送受信及びアドバイス装置１０から送信された情報の表示部２２０への表示等が行われる。

【0027】

生成モデルサーバ３０は、コンピュータ等である。生成モデルサーバ３０には、質問文（プロンプト）を入力、回答文を出力とする生成モデル３００が記憶されている。生成モデル３００は、機械学習により生成された学習モデルであり、ネットワークＮを介してアクセスしてきたユーザからの質問文（プロンプト）に応じた回答文を生成する。生成モデル３００は、Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ又はこれらに類似する言語モデルであればよい。生成モデル３００としては、例えば、ＯｐｅｎＡＩによるＣｈａｔＧＰＴ、ＧＰＴ－３、ＧＰＴ－４、ＥｌｅｕｔｈｅｒＡＩによるＧＰＴ－Ｊ等が挙げられる。また、生成モデル３００は、ＶＬＭ（Ｖｉｓｉｏｎ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）であってもよい。

【0028】

生成モデルサーバ３０は、大規模な自然言語処理タスクに対して使用され、例えば、機械翻訳、文章生成、文書分類、質問応答等を自動で行う。生成モデル３００は、膨大な量のデータを学習し、その後、新しい入力に対して予測を行う。生成モデルサーバ３０は、生成モデル３００をホストし、リクエストに応じて生成モデル３００を呼び出し、結果を返す。本実施形態に係る生成モデルサーバ３０は、アドバイス装置１０からプロンプトを受け付けると演算処理を行うことにより、回答文を生成する。そして、生成された回答文は、アドバイス装置１０に送信される。

【0029】

生成モデル３００は、膨大な量のデータを学習し、その後、新しい入力に対して予測を行う。生成モデルサーバ３０は、生成モデル３００をホストし、リクエストに応じて生成モデル３００を呼び出し、結果を返す。本実施形態に係る生成モデルサーバ３０は、アドバイス装置１０からプロンプトを受け付けると演算処理を行うことにより、回答文を生成する。そして、生成された回答文は、アドバイス装置１０に送信される。

【0030】

次に、アドバイス装置１０の制御部１００の構成について説明する。制御部１００は、記憶部１１０に記憶されているプログラムを実行することにより、特徴量抽出部１０１、対話部１０２及び表示処理部１０３として機能する。なお、以下において、特徴量抽出部１０１、対話部１０２及び表示処理部１０３が行うこととして記載する処理は、制御部１００がプログラムを実行することにより行う処理である。

【0031】

特徴量抽出部１０１は、通信部１２０を介して、処理対象となる対象投手により投げられた球の撮影画像を取得し、撮影画像に基づいて、投球の特徴を示す特徴量を抽出する。対話部１０２は、通信部１２０を介して生成モデルサーバ３０に対して、プロンプトを送信する。そして、対話部１０２は、通信部１２０を介して生成モデルサーバ３０から、生成モデル３００により得られた回答文を取得する。対話部１０２は、具体的には、対象投手に対するアドバイスを要求するプロンプトと共に、特徴量抽出部１０１により得られた特徴量を生成モデルサーバ３０に送信することで、生成モデルサーバ３０からアドバイスを取得する。表示処理部１０３は、通信部１２０を介して携帯装置２０にアドバイスを送信し、表示部２２０にアドバイスを表示させる。なお、各部の処理については後に詳述する。

【0032】

図２は、アドバイス装置１０による特徴量抽出処理を示すフローチャートである。アドバイス装置１０の特徴量抽出部１０１は、まず、対象投手による投球の撮影画像（動画）と撮影画像に対応付けられた球種とを携帯装置２０から取得する（ステップＳ１００）。なお、携帯装置２０は、例えばキャッチャー側から対象投手を見る向きを撮影方向として、撮影画像の撮影を行う。さらに、携帯装置２０において、撮影画像に映る投球の球種の申告がなされる。例えば、携帯装置２０の表示部２２０に撮影画像が表示され、撮影画像に対する球種が入力される。入力された球種は、撮影画像と共にアドバイス装置１０に送信される。

【0033】

次に、特徴量抽出部１０１は、撮影画像に含まれる各フレーム画像から、球の画像を検出し、さらに球の実空間における位置を推定する（ステップＳ１０２）。以下、位置推定の処理について、図３及び図４を参照しつつ説明する。図３（ａ）は、飛行状態の球の球画像４１０を含むフレーム画像４００を示す図である。特徴量抽出部１０１は、画像特徴量に基づいて、フレーム画像４００から、図３（ｂ）に示すような、球画像４１０を囲うバウンディングボックスとしての長方形４２０を生成する。このような長方形４２０の、フレーム画像４００における上辺および底辺のｙ座標は、それぞれ、球画像４１０の色の全ピクセルのうち最もｙ座標が小さいピクセルのｙ座標（ｙ１）および最もｙ座標が大きいピクセルのｙ座標（ｙ２）となる。また、長方形４２０のフレーム画像４００における左辺および右辺のｘ座標は、球画像４１０の色の全ピクセルのうち最もｘ座標が小さいピクセルのｘ座標（ｘ１）および最もｘ座標が大きいピクセルのｘ座標（ｘ２）となる。長方形３２０の四隅の座標は、（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ２）、（ｘ２、ｙ１）で表される。

【0034】

なお、他の例としては、特徴量抽出部１０１は、画像から球画像の長方形４２０の四隅の座標を推定する推定モデルを用いて、球画像４１０を囲う長方形４２０の四隅の座標を演算してもよい。このような推定モデルは、例えば、フレーム画像と、球画像と、球画像を囲う長方形の四隅の座標を含む教師データを用いることで、深層学習等の既知の様々な機械学習により生成される。

【0035】

特徴量抽出部１０１は、球画像４１０を囲う長方形４２０の四隅の座標と、カメラ２３０の画角（図４において参照符号５３０で示す）とから、カメラ２３０のレンズの焦点から球に向かう方向ベクトル（具体的には、推定対象の球の球画像４１０を囲った四隅の座標へ向かう方向ベクトル）を算出する。

【0036】

図４は、方向ベクトルを算出する処理の説明図である。図４は、図３に示すフレーム画像４００を真上から見た図である。図４に示すフレーム画像４００を上方から見たときの線分を図４では参照符号４００’で示す。また、図４では、説明のため、球画像４１０に対応する実際の球の、実空間における３次元座標を、カメラ２３０のレンズの焦点を原点として、右方向をｘ座標の正、紙面の奥行き方向をｙ座標の正、上方向をｚ座標の正、とする。また、方向ベクトルをｚ＝１ｍとなるようスケーリングする。すなわち、方向ベクトルの３次元座標上のｚ座標を１（単位：ｍ）とする。図３に示す長方形４２０の左辺全てのｘ座標がｘ１、右辺全てのｘ座標がｘ２となるため、図３に示す長方形４２０は、図３において座標ｘ１と座標ｘ２の間に存在する。図３に示す長方形４２０を上方から見たときの線分を図４では参照符号４２０’で示す。

【0037】

方向ベクトルをｚ＝１ｍとなるようスケーリングした場合、すなわち、方向ベクトルの３次元座標上のｚ座標を１（単位：ｍ）とした場合、画像の横幅（ピクセル数）をｗとすると、長方形３２０の右辺に向かう方向ベクトルの３次元座標上のｘ座標は、（（ｘ２／ｗ－０．５）×２×ｔａｎ（水平画角／２））（単位：ｍ）となる。同様に、長方形４２０の左辺に向かう方向ベクトルの３次元座標上のｘ座標は、（（ｘ１／ｗ－０．５）×２×ｔａｎ（水平画角／２））（単位：ｍ）となる。なぜならば、カメラ２３０のレンズの焦点から１ｍの距離においたフレーム画像４００の左右端のｘ座標は（±ｔａｎ（画角／２））（単位：ｍ）となるからである。なお、水平画角とは、カメラ２３０の水平方向における画角のことをいう。

【0038】

また、同様にして、カメラ２３０の視野を真横から見ることにより、長方形３２０の上辺に向かう方向ベクトルの３次元座標上のｙ座標および長方形４２０の下辺に向かう方向ベクトルの３次元座標上のｙ座標も算出することができる。具体的には、方向ベクトルの３次元座標上のｚ座標を１（単位：ｍ）とした場合、画像の高さ（ピクセル数）をｈとすると、長方形４２０の上辺に向かう方向ベクトルの３次元座標上のｙ座標は、（（ｙ１／ｈ－０．５）×２×ｔａｎ（垂直画角／２））（単位：ｍ）となる。同様に、長方形４２０の下辺に向かう方向ベクトルの３次元座標上のｘ座標は、（（ｙ２／ｈ－０．５）×２×ｔａｎ（垂直画角／２））（単位：ｍ）となる。なお、垂直画角とは、カメラ２３０の垂直方向における画角のことをいう。

【0039】

長方形４２０の四隅への方向ベクトルは、ｘ方向、ｙ方向、ｚ方向の３成分×４つ（四隅の座標）＝１２個であるが、ｚ＝１（単位：ｍ）にスケールされており、左上・左下ベクトルのｘ成分、右上・右下ベクトルのｘ成分、左上・右上ベクトルのｙ成分および左下・右下ベクトルのｙ成分は共通している。このため、カメラ２３０のレンズの焦点から球に向かう方向ベクトルの要素としては、以下の４つのデータで十分となる。
（ａ） （ｘ１／ｗ－０．５）×２×ｔａｎ（水平画角／２）
（ｂ） （ｘ２／ｗ－０．５）×２×ｔａｎ（水平画角／２）
（ｃ） （ｙ１／ｈ－０．５）×２×ｔａｎ（垂直画角／２）
（ｄ） （ｙ２／ｈ－０．５）×２×ｔａｎ（垂直画角／２）

【0040】

また、既知の方法により、カメラ２３０の画角ではなくカメラ２３０の焦点距離と、球画像４１０を囲う長方形４２０の四隅の座標とから、カメラ２３０のレンズの焦点から球に向かう方向ベクトルを演算してもよい。ここで、カメラ２３０の焦点距離とは、レンズの中心点からイメージセンサ（フイルム面）までの距離のことをいう。

【0041】

特徴量抽出部１０１は、さらに、方向ベクトルに基づいて、球画像に対応する球の実空間における３次元座標を推定する。例えば、特徴量抽出部１０１は、機械学習により得られた座標推定モデルを用いることで、方向ベクトルに基づいて、球の中心の３次元座標を推定する。より詳しくは、特徴量抽出部１０１は、球を撮影したカメラ２３０のレンズの焦点から球に向かう方向ベクトルと、球の実空間における３次元座標と、を含む教師データを用いた機械学習を行う。これにより、カメラ２３０のレンズの焦点から球に向かう方向ベクトルと、カメラ２３０の画角又は焦点距離とから球の実空間における３次元座標を推定する座標推定モデルを生成する。特徴量抽出部１０１は、このようにして得られた座標推定モデルを利用することにより、方向ベクトルに基づいて、球の実空間における３次元座標を推定する。

【0042】

次に、特徴量抽出部１０１は、動画に含まれる各フレーム画像から得られた球の３次元座標と、当該３次元座標が得られたフレーム画像の時刻とを対応付けた一連のデータを、球の軌道情報として生成する（ステップＳ１０４）。ここで、軌道情報は、飛行中の球の、時間変化に応じた位置変化を示す情報である。具体的には、軌道情報は、各時間における球の実空間における３次元座標を示す情報である。

【0043】

次に、特徴量抽出部１０１は、記憶部１１０に記憶されている抽出モデル１１１を用いて、軌道情報から特徴量を抽出する（ステップＳ１０６）。以上の処理が、処理対象の対象投手の複数の投球について実行されることで、複数の撮影画像それぞれに対応した、複数の特徴量が得られる。

【0044】

図５は、アドバイス提示処理を示すフローチャートである。制御部１００は、特徴量抽出処理により、対象投手の複数の撮影画像それぞれに対応した複数の特徴量の抽出が完了すると、アドバイス提示処理を開始する。

【0045】

アドバイス提示処理において、アドバイス装置１０の対話部１０２は、アドバイスを要求するアドバイス生成要求を含むプロンプトと共に、複数の特徴量と、各特徴量に対応する球種を生成モデルサーバ３０に送信する（ステップＳ２００）。ここで、アドバイス生成要求におけるアドバイスには、特徴量に対応付けられた球種毎の投球の特徴、投球の改善案、投球毎の投げるべきコース等が含まれることが指定される。なお、アドバイス生成要求には、さらに、投球の良い点や悪い点、投球の評価等のアドバイスの生成要求が含まれてもよい。

【0046】

生成モデルサーバ３０においては、アドバイス生成要求を含むプロンプトと、複数の特徴量とが、生成モデル３００に入力される。生成モデル３００は、プロンプト等が入力されると、プロンプトに対応する回答としてアドバイスを生成する。そして、生成モデルサーバ３０は、アドバイスをアドバイス装置１０に送信する。

【0047】

一方で、アドバイス装置１０においては、対話部１０２は、アドバイス生成要求の送信に対する返信として、アドバイスを受信する（ステップＳ２０２）。次に、表示処理部１０３は、アドバイスを携帯装置２０に送信することにより、携帯装置２０の表示部２２０に表示させる（ステップＳ２０４）。

【0048】

図６～図１０は、アドバイスの表示例を示す図である。図６は、対象投手の球種毎の平均値を示す平均値データ表を示す図である。平均値データ表には、球種毎の「球速」、「縦の変化量」、及び「横の変化量」それぞれの平均値が表形式で示されている。図７は、対象投手の球種毎の「球速」、「縦の変化量」、及び「横の変化量」それぞれの平均値の４シームとの差分を示す差分データ表を示す図である。差分データ表には、球種毎の平均値の４シームの平均値との差分値が表形式で示されている。

【0049】

図８は、対象投手の球種毎の球種の特徴表を示す図である。特徴表には、球種毎の投球の特徴がテキスト形式で示されている。図９は、対象投手の投球に対する改善案の表示例を示す図である。

【0050】

図１０は、推奨コースを示す図である。推奨コースとは、投手に推奨する投げるべきコースである。推奨コースの表示には、球種毎に、「被打率を下げる」、「空振りを狙う」、及び「見逃しを狙う」の３つのケースそれぞれに対応した推奨コース表と、推奨コースについてのテキスト形式の説明が含まれる。

【0051】

なお、推奨コース表においては、推奨コースは、予め定められたナンバーにより示されている。ここで、ストライクゾーンのナンバーとして、図１１に示すように、ストライクゾーンを９分割し、捕手目線で左上から順に１～９が割り当てられている。さらに、ストライクゾーンの左上（ナンバー１の左上）に１１、ストライクゾーンの右上（ナンバー３の右上）に１２、ストライクゾーンの左下（ナンバー７の左下）に１３、ストライクゾーンの右下（ナンバー９の右下）に１４が割り当てられている。

【0052】

なお、図６から図１０に示すアドバイスは、それぞれ異なる画面として、表示されてもよく、またこれらのアドバイスのうち２以上のアドバイスが同一画面に表示されてもよい。

【0053】

以上のように、本実施形態のアドバイスシステム１によれば、投手（プレイヤー）により飛ばされた球の飛行データに基づいて、投手（プレイヤー）に対する適切なアドバイスを提供する技術できる。

【0054】

第１実施形態の第１変形例としては、アドバイスは、携帯装置２０以外の装置に送信され、表示されてもよい。これにより、投手やその関係者等のユーザは、それぞれのユーザの所望の装置により、アドバイスを確認することができる。

【0055】

第２変形例について説明する。本実施形態のアドバイス装置１０は、撮影画像から軌道情報を生成したが、これに替えて、外部装置から軌道情報を取得してもよい。

【0056】

第３変形例としては、球種は、ユーザが携帯装置２０に入力するものとしたが、これに替えて、アドバイス装置１０が、抽出モデル１１１を用いることで、特徴量から球種を抽出することとしてもよい。

【0057】

第４変形例としては、アドバイス装置１０は、アドバイス生成要求を含むプロンプトと共に、対象投手の投球に対する成績を生成モデル３００へ入力してもよい。ここで、成績は、防御率や失点、自責点等であってもよく、三振、ゴロといった投球に対する打者の結果でもよい。この場合、プロンプトには、さらに、投球に対する成績を参照したアドバイスの生成要求が含まれるものとする。これにより、ユーザは、成績も考慮されたアドバイスを取得することができる。

【0058】

第５変形例としては、アドバイス装置１０は、アドバイス生成要求を含むプロンプトと共に、対象選手の異なるタイミングにおける投球に対応した軌道情報を生成モデル３００へ入力してもよい。この場合、プロンプトには、さらに、時系列に沿った軌道情報の変化に応じたアドバイス生成要求が含まれるものとする。ここで、異なるタイミングとは、例えば１か月の期間をあけたタイミングである。これにより、ユーザは、投球状態の時系列的な変化についてのアドバイスを取得することができる。

【0059】

第６変形例について説明する。本実施形態のアドバイス装置１０が処理対象とする、飛ばされた球は、球技のプレイヤーにより飛ばされた球であればよく、野球投手により投げられた球に限定されるものではない。飛ばされた球の他の例としては、テニス、バスケット等において飛行する球が挙げられ、これらの球の飛行データに基づいてアドバイスが表示されればよい。例えば、テニスにおいては、サーブやレシーブが球種として指定される。また、テニスにおける成績は、アウト、相手が打ち返せなかった、等が挙げられる。また、サッカーにおいては、球種としてゴールシュート、ＰＫ、等が挙げられる。また、サッカーにおける成績は、ゴールしたか否かなどが挙げられる。

【0060】

第７変形例について説明する。アドバイス装置１０は、情報処理システムの一例である。ここで、情報処理システムは、１つの装置で実現されてもよく、複数の装置で実現されてもよい。すなわち、アドバイス装置１０は、複数の装置により実現されてもよい。例えば、特徴量抽出部１０１と対話部１０２は、異なる装置により実現されてもよい。

【0061】

第８変形例について説明する。アドバイス装置１０は、さらに図１２に示すように対象投手の所定の球種の投球毎の縦の変化量と横の変化量を示すグラフを携帯装置２０の表示部２２０に表示させてもよい。アドバイス装置１０は、このようなグラフを球種毎に表示させてもよい。図１２に示すグラフの横軸は、投球の横の変化量、縦軸は、投球の縦の変化量を示す。図１２に示す丸は、対象投手の４シームの投球を示す。このようにグラフ表示が用いられることで、ユーザは、対象投手の投球の縦の変化量及び横の変化量のばらつきや特性を視覚的に把握することができる。また、他の例としては、図１２に示すグラフ上には、球種毎の投球の縦の変化量及び横の変化量を示す丸が、球種毎に異なる色で示されてもよい。

【0062】

第９変形例としては、ユーザは、アドバイスの表示を確認した後、利用する装置において、テキストや音声により、さらに細かいアドバイスを取得してもよい。この場合、アドバイス装置１０は、ユーザにより入力された情報を生成モデル３００への入力することにより、生成モデル３００から回答を取得し、これをユーザに提示する。このようなユーザからの入力としては、例えば、具体的なプロ野球選手と比較した場合のアドバイスの要求であってもよい。

【0063】

第１０変形例としては、特徴量は、撮影画像から特徴量を抽出する学習モデルにより取得されてもよい。この場合に利用される学習モデルは、撮影画像とこれに対応する特徴量を学習データとして予め学習されているものとする。これにより、軌道情報を経ることなく、撮影画像から特徴量を得ることができる。ここで、撮影画像は、飛行データの一例である。

【0064】

（第２実施形態）
次に、第２実施形態のアドバイスシステム１について、第１実施形態のアドバイスシステム１と異なる点を主に説明する。

【0065】

第２の実施形態のアドバイスシステム１においては、アドバイス装置１０は、プロンプトと共に、複数の投手（プレイヤー）の特徴量をさらに生成モデル３００に入力する。そして、アドバイス装置１０は、生成モデル３００から複数のプレイヤーによる軌道情報と比較したアドバイスを取得し、これを携帯装置２０の表示部２２０に表示させる。このようなアドバイスとしては、例えば、複数の投手の「球速」、「縦の変化量」及び「横の変化量」の平均値と、対象投手の「球速」、「縦の変化量」及び「横の変化量」の平均値との差分に応じた助言等が挙げられる。

【0066】

さらに、図１２に示すグラフには、対象投手の投球に加えて、複数の投手の平均値が示されてもよい。例えば、複数の投手の投球の４シームを示す丸に加えて、複数の投手の４シームの平均値を示す星印がグラフ上にプロットされてもよい。このようにグラフ表示が用いられることで、ユーザは、対象投手の投球と複数の投球の平均値とを視覚的に把握することができる。

【0067】

なお、図１２においては、４シームの投球のみを示したが、アドバイス装置１０は、さらに、球種毎に異なる色を用いて、同一グラフ上に、球種毎に、対象投手を示す丸と、複数の投手の平均を示す星印とを示してもよい。

【0068】

さらに、平均値の算出に利用される複数の投手は、対象投手と同じ属性の投手であってもよい。属性としては、例えば、年齢、性別、身長や体重によりレベル分けされた体格レベル、プロ選手であるか、アマチュア選手であるか、等が挙げられる。

【0069】

なお、第２実施形態のアドバイスシステム１のこれ以外の構成及び処理は、第１の実施形態のアドバイスシステム１の構成及び処理と同様である。

【0070】

第２実施形態の変形例としては、アドバイス装置１０は、プロンプトと共に、プロ野球選手の特徴量をさらに生成モデル３００に入力してもよい。この場合、アドバイス装置１０は、プロ野球選手の軌道情報と比較したアドバイスを取得し、これを携帯装置２０の表示部２２２０に表示させる。このようなアドバイスとしては、例えば、プロ野球選手の「球速」、「縦の変化量」及び「横の変化量」の平均値と、対象投手の「球速」、「縦の変化量」及び「横の変化量」の平均値との差分に応じた助言等が挙げられる。

【0071】

（第３実施形態）
次に、第３実施形態のアドバイスシステム１について、他の実施形態のアドバイスシステム１と異なる点を主に説明する。図１３は、第３実施形態のアドバイスシステム１の全体構成図である。

【0072】

第３実施形態のアドバイスシステム１は、アドバイス装置１０と、携帯装置２０を備える。アドバイス装置１０の制御部１００は、対話部１０２に替えてアドバイス特定部１０５を備える。さらに、記憶部１１０には、抽出モデル１１１の他にアドバイスルール１１２が記憶される。

【0073】

第３実施形態のアドバイスシステム１は、生成モデル３００を利用するのに替えて、記憶部１１０に記憶されるアドバイスルール１１２を利用することで、ルールベースでアドバイスを生成する。

【0074】

アドバイスルール１１２は、特徴量と、特徴量に対応するアドバイスと、を対応付けた情報である。アドバイス特定部１０５は、特徴量抽出部１０１により特徴量が抽出されると、球種毎の特徴量の平均値と求める。そして、アドバイス特定部１０５は、アドバイスルール１１２において球種毎の特徴量に対応付けられているアドバイスを特定する。表示処理部１０３は、アドバイス特定部１０５により特定されたアドバイスを携帯装置２０の表示部２２０に表示させる。

【0075】

さらに、アドバイスは、複数の投手により得られた軌道情報の特徴量と比較したものであってもよい。これにより、ユーザは、対象投手の投球の他者との比較結果を把握することができる。ここで、複数の投手は、対象投手と同じ属性の投手であってもよい。

【0076】

アドバイス特定部１０５は、例えば、対象投手の球種毎の平均値を算出する。そして、表示処理部１０３は、平均値を用いて、図６に示す平均値データ表を生成する。アドバイス特定部１０５はまた、対象投手の球種毎の平均値と、４シームにおける平均値との差分を算出する。そして、表示処理部１０３は、差分を用いて、図７に示す差分データ表を生成する。

【0077】

また、アドバイスルール１１２においては、図１４に示すように、投球グループと、特徴（アドバイス）と、が対応付けられている。ここで、投球グループは、軌道情報の特徴量により分類されるものであり、具体的には、球種、球速の範囲、横の変化量の範囲、縦の変化量の範囲により分類されている。例えば、第１投球グループは、「球速１２０ｋｍ／ｈ～１３０ｋｍ／ｈ、横４０ｃｍ～５０ｃｍ、縦２０ｃｍ～３０ｃｍ」であり、第１投球グループには、「シンカー系のフォーシームです。右バッターのインコースに投げましょう。」という特徴が対応付けられている。また、第２投球グループは、「球速１２０ｋｍ／ｈ～１３０ｋｍ／ｈ、横２０ｃｍ～３０ｃｍ、縦４０ｃｍ～４５ｃｍ」であり、第２投球グループには、「一般的なフォーシームです。球速とコントロールを改善していきましょう。」という特徴が対応付けられている。

【0078】

アドバイス特定部１０５は、対象投手の投球がいずれの投球グループに属するかを特定し、特定したグループに対応付けられている特徴を特定する。そして、表示処理部１０３は、図８に示す特徴表を生成する。

【0079】

また、アドバイスルール１１２においては、投球についての条件式と、改善案（アドバイス）とが対応付けられている。アドバイス特定部１０５は、対象投手の投球が条件式を満たす場合に、条件式に対応付けられている改善案を特定する。そして、表示処理部１０３は、図９に示す改善案を表示する。

【0080】

次に、図１０に示す推奨コースを表示する処理について説明する。アドバイス装置１０は、予めプロ選手のデータ等の外部データを取得しておく。そして、アドバイス装置１０は、これを図１４に示すような投球グループに分類し、投球グループ毎の被打率、空振り率などを集計しておく。アドバイス装置１０は、各グループの投球グループ毎の被打率等に基づいてグループ毎、かつ球種毎に、被打率を下げるコース、空振りを狙うコース及び見逃しを狙うコースを定める。さらに、アドバイス装置１０は、各投球グループに対する、推奨コースに関するアドバイスを定めておく。そして、アドバイス特定部１０５は、投球グループに基づいて、推奨コースを特定する。

【0081】

また、推奨コースについてのアドバイスは、アドバイスルール１１２において、条件式に対応付けられている。例えば、「ある球種の全コースの被打率がｘ％以上」という条件式に、「この成分の〔球種〕は、コースによらず被打率が非常に高いです。あまり投げないようにするか、改善を試みましょう。」というアドバイスが対応付けられている。また、「ある球種のコース別の被打率の１位と２位の差がｘ％以上」という条件式に、「この成分の〔球種〕は、１位のコースに投げた場合と、２位のコースに投げた場合とで、被打率が大きく異なります。コントロールを強化して確実に狙った位置に投げられるようにしましょう。」というアドバイスが対応付けられている。アドバイス特定部１０５は、アドバイスルール１１２を参照することで、条件式に合致した場合に、対応するアドバイスを特定する。そして、表示処理部１０３は、これらの情報に基づいて、図１０に示す推奨コースを表示する。

【0082】

なお、第３実施形態のアドバイスシステム１のこれ以外の構成及び処理は、他の実施形態のアドバイスシステム１の構成及び処理と同様である。

【0083】

以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えばある変形例を他の変形例に適用するなど、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。

【0084】

本発明のプログラム、情報処理システム及び情報処理方法等は、上述したような態様に限定されることはなく、様々な変更を加えることができる。

【0085】

以上のような構成からなる本実施形態のプログラム、情報処理システム及び情報処理方法によれば、対話部１０２は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データに対するアドバイスを要求するプロンプトと共に飛行データの特徴を示す特徴量を生成モデル３００に入力し、生成モデル３００からアドバイスを取得し、表示処理部１０３は、アドバイスを表示部２２０に表示させる。このように、プレイヤーにより飛ばされた球の飛行データに基づいて、プレイヤーに対する適切なアドバイスを提供することができる。

【0086】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、対話部１０２は、複数のプレイヤーの特徴量をさらに生成モデル３００に入力することで、生成モデル３００から複数のプレイヤーによる飛行データと比較したアドバイスを取得してもよい。これにより、他者と比較したアドバイスを提供することができる。

【0087】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、複数のプレイヤーは、前記対象プレイヤーと同じ属性のプレイヤーであってもよい。これにより、同じ属性の他者と比較したアドバイスを提供することができる。

【0088】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、対話部１０２は、プロのプレイヤーの特徴量をさらに生成モデル３００に入力することで、生成モデル３００からプロと比較したアドバイスを取得してもよい。すなわち、プロと比較したアドバイスを提供することができる。

【0089】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、対話部１０２は、複数の飛行データに対する成績をさらに生成モデル３００に入力し、生成モデル３００からアドバイスを取得してもよい。これにより、成績を加味したアドバイスを提供することができる。

【0090】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、対話部１０２は、複数の飛行データそれぞれに対応付けられた球種をさらに生成モデル３００に入力し、アドバイスを取得してもよい。これにより、球種毎のアドバイスを提供することができる。

【0091】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、対話部１０２は、異なるタイミングにおいて得られた複数の飛行データを生成モデル３００に入力し、飛行データの時系列に沿った変化に関するアドバイスを生成モデル３００から取得してもよい。これにより、時系列に沿った変化に関するアドバイスを提供することができる。

【0092】

また、本実施形態のプログラム、情報処理システム及び情報処理方法によれば、特徴量抽出部１０１は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データから特徴量を抽出し、表示処理部１０３は、特徴量に対応付けて記憶部１１０に記憶されているアドバイスを表示部２２０に表示させる。このように、プレイヤーにより飛ばされた球の飛行データに基づいて、プレイヤーに対する適切なアドバイスを提供することができる。

【符号の説明】

【0093】

１ アドバイスシステム
１０ アドバイス装置
２０ 携帯装置
３０ 生成モデルサーバ
１００ 制御部
１０１ 特徴量抽出部
１０２ 対話部
１０３ 表示処理部
１０５ アドバイス特定部
１１０ 記憶部
１１１ 抽出モデル
１１２ アドバイスルール
１２０ 通信部
２００ 制御部
２１０ 記憶部
２２０ 表示部
２３０ カメラ
２４０ 通信部
３００ 生成モデル

【要約】

【課題】プレイヤーにより飛ばされた球の飛行データに基づいて、プレイヤーに対する適切なアドバイスを提供する。
【解決手段】コンピュータを、対話部１０２及び表示処理部１０３として機能させるプログラムであって、対話部１０２は、処理対象の対象プレイヤーにより飛ばされた球の複数の飛行データに対するアドバイスを要求するプロンプトと共に飛行データの特徴を示す特徴量を生成モデル３００に入力し、生成モデル３００からアドバイスを取得し、表示処理部１０３は、アドバイスを表示部２２０に表示させる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】