特開 2023-44410 戦術分析装置およびその制御方法、並びに制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023044410

(43)【公開日】2023-03-30

(54)【発明の名称】戦術分析装置およびその制御方法、並びに制御プログラム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20230323BHJP

   A63B 71/06 20060101ALI20230323BHJP

   G06N 20/00 20190101ALI20230323BHJP

   G06T 19/00 20110101ALI20230323BHJP

   G06T 7/00 20170101ALI20230323BHJP

   G06T 7/246 20170101ALI20230323BHJP

【ＦＩ】

A63B69/00 A

A63B71/06 T

G06N20/00

G06T19/00 A

G06T7/00 660B

G06T7/246

G06T7/00 350B

G06T7/00 350A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021152431

(22)【出願日】2021-09-17

(71)【出願人】

【識別番号】399030060

【氏名又は名称】学校法人 関西大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】林 勲

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA07

5B050EA12

5B050EA13

5B050EA18

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5L096CA04

5L096FA10

5L096FA12

5L096GA59

5L096HA03

5L096HA05

5L096JA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

【課題】競技中にプレイヤの今後の戦術を予想できる戦術分析装置を実現する。
【解決手段】競技におけるプレイヤの戦術を分析する戦術分析装置（１０）は、競技の映像から、競技におけるプレイヤの戦術履歴を取得する戦術取得部（２２）と、過去の競技におけるプレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された学習モデルと、戦術取得部（２２）が取得した戦術履歴と、を用いて、競技のプレイヤの戦略を推定する戦略推定部（２３）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

競技におけるプレイヤの戦術を分析する戦術分析装置であって、
競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得部と、
過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された前記プレイヤの学習モデルと、前記戦術取得部が取得した前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定部と、を備える戦術分析装置。

【請求項2】

前記戦術取得部は、前記映像から戦術に関する代表点の時系列データを抽出し、前記抽出した時系列データを特異値分解することにより、前記プレイヤの戦術を取得する、請求項１に記載の戦術分析装置。

【請求項3】

前記戦術取得部は、前記競技の映像から移動体の軌跡を抽出し、前記抽出した移動体の軌跡に基づいて前記プレイヤの前記戦術を取得し、これを繰り返すことにより、前記プレイヤの戦術履歴を取得する、請求項１または２に記載の戦術分析装置。

【請求項4】

前記移動体は、前記プレイヤを含み、
前記戦術取得部は、前記競技の映像を用いて機械学習を行うことにより、前記プレイヤの骨格の軌跡を推定し、前記推定した骨格の軌跡に基づいて前記プレイヤの前記戦術の少なくとも一部を取得する、請求項３に記載の戦術分析装置。

【請求項5】

前記学習モデルは、複数のモデルを統合的に組み合わせて機械学習を行うことにより作成される、請求項１から４の何れか１項に記載の戦術分析装置。

【請求項6】

前記複数のモデルはファジィクラスタリングモデルである、請求項５に記載の戦術分析装置。

【請求項7】

前記学習モデルは、機械学習された前記複数のモデルの或るモデルによって推定された推定データに基づいて仮想データが生成され、前記仮想データと学習用データとを用いて、前記複数のモデルの別のモデルが機械学習されることにより作成される、請求項５または６に記載の戦術分析装置。

【請求項8】

競技におけるプレイヤの戦術を分析する戦術分析装置の制御方法であって、
競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得ステップと、
過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された学習モデルと、前記戦術取得ステップにて取得された前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定ステップと、を含む戦術分析装置の制御方法。

【請求項9】

請求項１に記載の戦術分析装置としてコンピュータを機能させるための制御プログラムであって、前記戦術取得部および前記戦略推定部としてコンピュータを機能させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、競技におけるプレイヤの戦術を分析する戦術分析装置、およびその制御方法、並びに制御プログラムに関する。

【背景技術】

【0002】

近年、スポーツ等の対戦競技の分野においても、コンピュータを利用した分析が盛んにおこなわれている。例えば、特許文献１には、団体スポーツ競技における選手の位置情報およびプレイ履歴に基づいて攻撃パターンを分析する攻撃パターン抽出装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－２０９２３７号公報

【特許文献2】特開２０２０－１８５３７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、過去の戦術（攻撃パターン）を特定しているに過ぎず、競技中にプレイヤの戦術履歴から今後の戦術を予想することは行われていない。また、野球中継では、解説者が試合中のピッチングの履歴に基づいて今後のピッチングを予想することがあるが、これは、解説者の長年の経験に基づくものであり、コンピュータを利用して自動的に行われるものではない。

【0005】

本発明の一態様は、競技中にプレイヤの今後の戦術を予想できる戦術分析装置などを実現することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る戦術分析装置は、競技におけるプレイヤの戦術を分析する戦術分析装置であって、競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得部と、過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された前記プレイヤの学習モデルと、前記戦術取得部が取得した前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定部と、を備える。

【0007】

ここで、戦術とは、前記競技において、或る行動単位における前記プレイヤの特徴的な行動内容をいう。例えば、野球の場合、前記行動単位は１回のピッチングであってもよく、前記特徴的な行動内容は、前記ピッチングのコース、球種、および球速のうちの少なくとも１つであってもよい。また、卓球の場合、前記行動単位は１回のラリーであってもよく、前記特徴的な行動内容は、前記ラリーにおけるラリー軌跡、サーブのスタイル、サーブのボールの位置および回転、並びに、プレイヤの位置および姿勢のうちの少なくとも１つであってもよい。

【0008】

上記の構成によると、競技の映像から、前記競技におけるプレイヤの戦術履歴を取得し、取得した戦術履歴と、前記プレイヤの学習モデルと、を用いて、前記競技の前記プレイヤの戦略を推定する。従って、ユーザは、競技中の映像から推定された戦略、すなわち戦術の時系列パターンを参照することができ、これにより、競技中の前記プレイヤの今後の戦術を予想することができる。なお、前記ユーザは、前記プレイヤの相手であってもよいし、該相手のコーチであってもよい。

【0009】

本態様に係る戦術分析装置では、前記戦術取得部は、前記映像から戦術に関する代表点の時系列データを抽出し、前記抽出した時系列データを特異値分解することにより、前記プレイヤの戦術を取得してもよい。この場合、前記代表点の時系列データの時間長さが異なっていても、前記プレイヤの戦術を取得することができる。

【0010】

本態様に係る戦術分析装置では、前記戦術取得部は、前記競技の映像から移動体の軌跡を抽出し、前記抽出した移動体の軌跡に基づいて前記プレイヤの前記戦術を取得し、これを繰り返すことにより、前記プレイヤの戦術履歴を取得してもよい。

【0011】

ここで、移動体は、前記競技において移動する物体であり、例えば、前記競技のプレイヤ、前記競技で利用されるボール等が挙げられる。また、前記戦術取得部は、前処理として、前記戦術の取得とは無関係のシーン（例えば、前記プレイヤのクローズアップ映像など）を、不要なシーンとして前記競技の映像から除去してもよい。

【0012】

本態様に係る戦術分析装置では、前記移動体は、前記プレイヤを含み、前記戦術取得部は、前記競技の映像を用いて機械学習を行うことにより、前記プレイヤの骨格の軌跡を推定し、前記推定した骨格の軌跡に基づいて前記プレイヤの前記戦術の少なくとも一部を取得してもよい。この場合、前記プレイヤの挙動を精度よく推定できるので、前記プレイヤの前記戦術を精度よく推定することができる。

【0013】

本態様に係る戦術分析装置では、前記学習モデルは、複数のモデルを統合的に組み合わせて機械学習を行うことにより作成されてもよい。この場合、他の学習モデルに比べて、前記戦略の推定精度を向上させることができる。

【0014】

本態様に係る戦術分析装置では、前記複数のモデルはファジィクラスタリングモデルであってもよい。この場合、推定された戦略は、ファジィルール（IF THENルール）で提供されることになる。従って、ユーザが今後の戦術を容易に予想することができる。

【0015】

本態様に係る戦術分析装置では、前記学習モデルは、機械学習された前記複数のモデルの或るモデルによって推定された推定データに基づいて仮想データが生成され、前記仮想データと学習用データとを用いて、前記複数のモデルの別のモデルが機械学習されることにより作成されてもよい。この場合、機械学習を行うためのデータを増加させることができるので、前記戦略の推定精度をさらに向上させることができる。

【0016】

本発明の別の態様に係る戦術分析装置の制御方法は、競技におけるプレイヤの戦術を分析する戦術分析装置の制御方法であって、競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得ステップと、過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された学習モデルと、前記戦術取得ステップにて取得された前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定ステップと、を含む制御方法である。

【0017】

上記の制御方法によれば、上述の戦術分析装置と同様の効果を奏することができる。

【0018】

本発明の各態様に係る戦術分析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記戦術分析装置が備える各部（ソフトウェア要素）として動作させることにより前記戦術分析装置をコンピュータにて実現させる戦術分析装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0019】

本発明の一態様によれば、競技中にプレイヤの今後の戦術を予想することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る戦術分析装置の概略構成を示すブロック図である。

【図2】上記戦術分析装置における学習モードでの処理の流れを示すフローチャートである。

【図3】上記戦術分析装置における競技モードでの処理の流れを示すフローチャートである。

【図4】放送用のカラー映像から変換された白黒映像を重畳して示す図である。

【図5】上記戦術分析装置における戦術取得部が取得する戦術情報を含む画像の一例を示す図である。

【図6】上記戦術分析装置における戦略推定部および戦術履歴記憶部の概略構成を示すブロック図である。

【図7】上記戦略推定部における学習処理の流れを示すフローチャートである。

【図8】上記戦術取得部が取得した戦術履歴の一例を表形式で示す図である。

【図9】本発明の別の実施形態に係る戦術分析装置において、映像からボールを抽出する処理の流れを示すフローチャートである。

【図10】上記処理における白色ブログ抽出過程により処理されたフレーム画像の一例を示す図である。

【図11】上記処理におけるフレーム間差分検出過程により処理されたフレーム画像の一例を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。

【0022】

〔実施形態１〕
本発明の一実施形態について、図１～図８を参照して説明する。

【0023】

（戦術分析装置の概要）
図１は、本実施形態に係る戦術分析装置の概略構成を示すブロック図である。本実施形態の戦術分析装置１０は、映像から対戦相手（プレイヤ）の戦術を取得し分析して、対戦相手の戦略を推定するものである。なお、以下では、上記競技が卓球である場合について説明しているが、これに限定されるものではない。また、卓球のルール等の詳細については、公知であるので、その説明を省略する。

【0024】

図１に示すように、戦術分析装置１０は、制御部１１、記憶部１２、および通信部１３を有している。制御部１１は、戦術分析装置１０の各種構成の動作を統括的に制御するものであり、例えばＣＰＵ（Central Processing Unit）及びメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。記憶部１２は、情報を記録するものであり、ハードディスク、フラッシュメモリ等の記憶デバイスによって構成される。通信部１３は、インターネット等の通信ネットワークを介して情報の送受信を行う通信デバイスによって構成される。

【0025】

制御部１１は、戦術取得部２２と、戦略推定部２３とを有している。また、記憶部１２は、戦術履歴のデータを記憶する戦術履歴記憶部３１を含んでいる。なお、本実施形態では、戦略推定部２３の学習モデルに機械学習させる学習モードＴＭと、機械学習された学習モデルを競技中に利用する競技モードＰＭと、を含んでいる。

【0026】

戦術取得部２２は、通信部１３を介して取得した映像のデータから、対戦相手の戦術履歴のデータ（戦術の時系列のデータ）を取得するものである。戦術取得部２２は、取得した戦術履歴のデータを戦術履歴記憶部３１に記憶する。

【0027】

具体的には、戦術取得部２２は、上記映像から不要なシーンを除去するように処理し、処理された映像から、ボール（移動体）の位置および回転、競技者（移動体）の位置および姿勢、などを特定し、戦術情報とする。次に、戦術取得部２２は、これらの戦術情報をラリーごとに取得し、複数のラリーにおける複数の戦術情報を戦術履歴とする。そして、戦術取得部２２は、取得した対戦相手の戦術履歴のデータを戦術履歴記憶部３１に記憶する。

【0028】

なお、上記映像は、放送用の映像でも可能である。この場合、特殊なカメラシステムを使用する必要が無い。また、上記映像は、１台のカメラで撮影された映像であってもよいし、複数台のカメラで撮影された複数の映像であってもよい。

【0029】

戦略推定部２３は、戦術履歴記憶部３１に記憶された戦術履歴のデータを用いて、対戦相手の戦略を推定するものである。具体的には、戦略推定部２３は、学習モデルを有しており、学習モードＴＭでは、対戦相手の過去の戦術履歴を用いて上記学習モデルに対し機械学習を行う。一方、競技モードＰＭでは、戦略推定部２３は、対戦相手の競技中の戦術履歴と、機械学習された上記学習モデルとを用いて、対戦相手の戦略を推定する。戦略推定部２３は、推定した戦略のデータを、通信部１３を介してユーザの端末等の外部の装置に出力する。

【0030】

（学習モードでの処理）
図２は、上記構成の戦術分析装置１０における学習モードＴＭでの処理の流れを示すフローチャートである。図２に示す処理は、プレイヤごとに実行される。

【0031】

図２に示すように、まず、戦術取得部２２は、或るプレイヤの過去の競技の映像を収集する（Ｓ１１）。次に、戦術取得部２２は、収集した映像から上記プレイヤの過去の戦術履歴を収集して、戦術履歴記憶部３１に記憶する（Ｓ１２）。

【0032】

次に、戦略推定部２３は、戦術履歴記憶部３１に記憶された過去の戦術履歴を用いて、学習モデルに対し機械学習を行う（Ｓ１３）。なお、戦略推定部２３は、上記過去の戦術履歴の一部と、機械学習された学習モデルとを用いて、上記プレイヤの戦略を推定し、推定した戦略のデータを、通信部１３を介して外部の装置に出力してもよい。その後、学習モードＴＭでの処理を終了する。

【0033】

図３は、上記構成の戦術分析装置１０における競技モードＰＭでの処理の流れを示すフローチャートである。図３に示す処理は、競技中に実行される。

【0034】

図３に示すように、まず、戦術取得部２２は、対戦相手（プレイヤ）の上記競技中の映像を取得する（Ｓ２１）。次に、戦術取得部２２は、取得した映像から上記対戦相手の競技中の戦術履歴を取得して、戦術履歴記憶部３１に記憶する（Ｓ２２、戦術取得ステップ）。

【0035】

次に、戦略推定部２３は、戦術履歴記憶部３１に記憶された競技中の戦術履歴と、図２のステップＳ１３にて機械学習された上記対戦相手の学習モデルとを用いて、上記対戦相手の本競技における戦略を推定する（Ｓ２３、戦略推定ステップ）。そして、戦略推定部２３は、推定した戦略のデータを、通信部１３を介して、対戦者またはそのコーチの端末（外部の装置）に出力する（Ｓ２４）。その後、競技モードＰＭでの処理を終了する。

【0036】

従って、本実施形態の戦術分析装置１０は、競技中の映像から、該競技における対戦相手の戦術履歴を取得し、取得した戦術履歴と、機械学習された対戦相手の学習モデルと、を用いて、競技中の対戦相手の戦略を推定する。推定された戦略、すなわち戦術の時系列パターンを参照することにより、対戦者またはそのコーチは、対戦相手の今後の戦術を予想することができる。

【0037】

（付記事項）
なお、戦略推定部２３は、予め機械学習された上記学習モデルを有してもよい。この場合、学習モードを省略することができる。

【0038】

（戦術取得部の詳細）
次に、戦術取得部２２および戦略推定部２３の詳細について説明する。

【0039】

戦術取得部２２は、まず、３０ｆｐｓの放送用の映像から、コマーシャル、競技者（プレイヤ）のクローズアップ画像、スローモーション再生画像等の不要なシーンを除去すると共に、ラリーごとの映像に分割する。次に、戦術取得部２２は、カラー映像を白黒映像に変換する。

【0040】

図４は、上記白黒映像を重畳して示す図である。図４から理解できるように、戦術取得部２２は、上記白黒映像から、動いている物体、すなわち、ボールおよび競技者の位置を特定して、該ボールおよび該競技者の軌跡を取得可能である。また、戦術取得部２２は、上記白黒映像から、競技者の姿勢を取得可能である。また、戦術取得部２２は、上記白黒映像から、卓球台の四隅の座標を取得可能である。また、戦術取得部２２は、上記白黒映像の左上部から、ゲーム番号、ラリー番号、および今回のラリー直前のスコアを特定可能である。

【0041】

次に、戦術取得部２２は、上記卓球台の四隅の座標を用いてアフィン変換を行うことにより、上記ボールおよび競技者の軌跡を、映像上の座標から、卓球台を上方から見た平面上の座標に変換する。次に、戦術取得部２２は、上記ボールの軌跡から、上記ボールが上記卓球台に着地した位置（着地点）を特定する。特定した位置を時系列順に直線で結ぶことにより、ラリー軌跡が取得される。

【0042】

また、戦術取得部２２は、上記ボールおよび上記競技者の軌跡と、上記競技者の姿勢とから、サーブのスタイルおよびボール回転を特定する。上記サーブのスタイルの一例としては、フォアハンド、バックハンド、フック等が挙げられる。上記サーブのボール回転の一例としては、右横回転および左横回転、上回転および下回転、これらの組合せ、ナックル（無回転）等が挙げられる。なお、上記フックとは、ボールを投げ上げ、落ちてくるボールに対してラケットを立てて、ラケットの何れかの面でボールを擦りサービングする技術をいう。

【0043】

そして、戦術取得部２２は、上記ラリー軌跡、上記サーブのスタイル、および上記サーブのボール回転を戦術情報としてラリーごとに取得し、複数のラリーにおける複数の戦術情報を戦術履歴とする。学習モードＴＭでは、戦術取得部２２は、過去の複数の試合における複数の戦術履歴のデータを、後述の学習用データとして、戦術履歴記憶部３１に記憶する。一方、競技モードＰＭでは、競技中の戦術履歴（例えば、１ゲームの戦術履歴）のデータを、後述の評価用データとして、戦術履歴記憶部３１に記憶する。実施例では、これらの処理を、Anaconda Python 3.5.2、OpenCV 3.1.0、easygui、およびtqdmのプログラムを用いて実現することができた。

【0044】

図５は、上記戦術情報を含む画像の一例を示す図である。図５に示すように、上記画像の左部には、卓球台を示す枠とラリー軌跡とが含まれ、上記画像の右中央部には上記ラリー軌跡の凡例が含まれている。上記画像では、サーブのラリー軌跡が実線で示され、最後のラリー軌跡が二点鎖線で示され、上記サーブのラリー軌跡と上記最後のラリー軌跡との間のラリー軌跡が一点鎖線で示されている。上記ラリー軌跡の下方にはサーブのボール回転が含まれている。図５の例では、上記サーブのボール回転は、右横下回転（Clockwise side back spin）である。

【0045】

上記画像の右上部には、サーバ（Server）の名前、レシーバ（Receiver）の名前、ゲーム（Game）番号、およびラリー（Rally）番号が上から順番に含まれている。また、上記画像の右下部には、本ラリー前のスコア（Score before the rally）、サーブのスタイル（Serve style）、および上記サーブのボール回転（Ball rotation of serve）が上から順番に含まれている。

【0046】

（戦略推定部の詳細）
図６は、戦略推定部２３および戦術履歴記憶部３１の概略構成を示すブロック図である。図６に示すように、戦略推定部２３は、学習器群４１、結果取得部４２、仮想データ生成部４３、および最終決定部４４を含んでいる。また、戦術履歴記憶部３１は、学習用データ記憶部５１、評価用データ記憶部５２、および仮想データ記憶部５３を含んでいる。

【0047】

学習用データ記憶部５１は、過去の戦術履歴のデータを学習用データＴＲＤとして記憶している。評価用データ記憶部５２は、競技中の戦術履歴のデータを評価用データＣＨＤとして記憶している。

【0048】

本実施形態では、上記学習モデルとして、アンサンブル学習型ファジィクラスタリングモデルが利用されている。このため、学習器群４１は、機械学習を行うｎ個の学習器を備えている（ｎは２以上の整数）。各学習器は、学習モデル（モデル）としてファジィクラスタリングモデルを利用している。ファジィクラスタリングとは、入力されたデータのセットを、if-then型のルールを用いて各クラスに分類し、該クラスの境界を推定するものである。

【0049】

学習モードＴＭでは、第１学習器４１ａは、学習用データ記憶部５１からの学習用データＴＲＤのセットを用いて学習を行い、推定したクラスのセットを結果として出力する。他の学習器４１ｂは、学習用データ記憶部５１からの学習用データＴＲＤのセットの一部と、仮想データ記憶部５３からの仮想データＶＤのセットとを用いて学習を行い、推定したクラスのセットを結果として出力する。

【0050】

また、競技モードＰＭでは、学習された全ての学習器４１ａ・４１ｂは、評価用データ記憶部５２からの評価用データＣＨＤのセットからクラスを推定し、推定したクラスのセットを結果として出力する。

【0051】

結果取得部４２は、学習器群４１の各学習器４１ａ・４１ｂによって推定されたクラスのセットを取得するものである。結果取得部４２は、推定されたクラスのセットを、学習モードでは仮想データ生成部４３に送出する一方、競技モードでは最終決定部４４に送出する。

【0052】

仮想データ生成部４３は、学習用データ記憶部５１からの学習用データＴＲＤのセットと、結果取得部４２からの推定したクラスのセットとを用いて、仮想データＶＤのセットを生成するものである。仮想データ生成部４３は、生成した仮想データを仮想データ記憶部５３に記憶する。

【0053】

具体的には、仮想データ生成部４３は、まず、学習用データＴＲＤのそれぞれについて、学習用データＴＲＤに含まれる実際のクラスと、上記推定されたクラスとを比較して、クラスの正誤を識別する。次に、誤って推定された学習用データＴＲＤ（誤推定データ）と、正しく推定された学習用データＴＲＤ（正推定データ）の少なくとも一部とに基づいて、仮想データＶＤのセットを生成し、生成した仮想データを仮想データ記憶部５３に記憶する。

【0054】

最終決定部４４は、評価用データＣＨＤのそれぞれについて、各学習器４１ａ・４１ｂによって推定されたクラスのセットのうち、最多のクラスを、推定したクラスとして最終決定する。最終決定部４４は、評価用データＣＨＤのセットに対し推定したクラスのセットを、通信部１３を介して外部の装置に送信する。

【0055】

～ （学習処理）
図７は、上記構成の戦略推定部２３における学習処理の流れを示すフローチャートである。図７に示すように、まず、変数ｉを１に初期化し（Ｓ３１）、第ｉ学習器（第１学習器４１ａ）は、学習用データ記憶部５１からの学習用データＴＲＤのセットを用いて学習を行う（Ｓ３２）。

【0056】

次に、仮想データ生成部４３は、学習用データＴＲＤのそれぞれについて、第ｉ学習器が推定したクラスと実際のクラスとを比較して、クラスの正誤を判定する（Ｓ３３）。次に、正しく推定された割合が閾値以上である場合（Ｓ３４にてＹＥＳ）、上記学習処理を終了する。

【0057】

一方、正しく推定された割合が閾値未満である場合（Ｓ３４にてＮＯ）、仮想データ生成部４３は、誤推定データを含む多次元での座標（空間）上の領域を第（ｉ＋１）低推定領域として設定する（Ｓ３５）。次に、仮想データ生成部４３は、第（ｉ＋１）低推定領域内に位置する誤推定データおよび正推定データのセットに基づいて、仮想データＶＤのセットを生成して仮想データ記憶部５３に記憶する（Ｓ３６）。

【0058】

次に、第（ｉ＋１）低推定領域内に位置する誤推定データおよび正推定データのセットと、上記仮想データＶＤのセットとを用いて、第（ｉ＋１）学習器（他の学習器４１ｂ）が学習を行う（Ｓ３７）。

【0059】

次に、変数ｉを１だけ増分する（Ｓ３８）。変数ｉが所定回数以下である場合（Ｓ３９にてＮＯ）、ステップＳ１２に戻って上記動作を繰り返す。そして、変数ｉが所定回数を超えた場合（Ｓ３９にてＹＥＳ）、上記学習処理を終了する。

【0060】

（実施例）
図８は、戦術取得部２２が取得した戦術履歴の一例を表形式で示す図である。図８に示す戦術履歴には、第１ゲーム～第４ゲームのそれぞれにおいて、対戦相手がサーバであり、かつ、ポイントを取得した場合の戦術情報が含まれている。すなわち、図８において戦術情報が記載されていない部分は、対戦者がサーバであり、かつ、対戦相手がポイントを取得した場合に該当する。また、図８の例では、戦術情報として、サーブの打法（フォアハンド、バックハンドなど）と、ボールの回転と、攻撃のタイプとを含んでいる。

【0061】

図８に示す戦術履歴を学習用データＴＲＤとして、戦略推定部２３が学習処理を行い、推定したクラスのセットの一例として、下記のものが挙げられる。

【0062】

If ゲーム番号 is Small and ラリー番号 is Small, then (フォア+右横下)サーブ is Large.
If ゲーム番号 is Small and ラリー番号 is Small, then (N or V)攻撃 is Large.
If ラリー番号 is Small, then (N or V)攻撃 is Large.
If ラリー番号 is Large, then (A or V)攻撃 is Large.
If ゲーム番号 is Large, then サーブ種類 is Large.
次に、戦術取得部２２が、第１ゲームおよび第２ゲームの映像から、図８における第１ゲームおよび第２ゲームの戦術履歴を取得したとする。そして、戦略推定部２３は、図８における第１ゲームおよび第２ゲームの戦術履歴を評価用データＣＨＤのセットとして、上記クラスのセットが推定されたとする。

【0063】

この場合、第２ゲームが終了した時点で、上記クラスのセットを対戦者またはそのコーチが参照すれば、対戦相手の第３ゲーム以降の戦略を下記（ａ）・（ｂ）のように予想することができる。

【0064】

（ａ）前半のラリーではＮ攻撃またはＶ攻撃を行う傾向にあり、後半のラリーではＡ攻撃またはＶ攻撃を行う傾向にある。

【0065】

（ｂ）ゲームが進むにつれて、サーブの種類が多くなる。

【0066】

上記（ａ）はゲーム内の戦略であり、上記（ｂ）はゲーム間の戦略である。このように、上記ゲーム内の戦略および上記ゲーム間の戦略を予想できるので、本試合における対戦相手の今後の戦略を良好に予想することができる。

【0067】

従って、本実施形態の戦術分析装置１０の学習器群４１では、複数の学習器４１ａ・４１ｂを統合的に組み合わせて、機械学習が行われているので、他の学習モデルに比べて、戦略の推定精度を向上させることができる。また、複数の学習器４１ａ・４１ｂのそれぞれは、学習モデルとしてファジィクラスタリングを利用しているので、推定された戦略は、ファジィルール（IF THENルール）で提供されることになる。従って、対戦者またはそのコーチは、今後の戦術を容易に予想することができる。

【0068】

また、機械学習された第（ｉ－１）学習器（ｉは２以上ｎ以下の整数）によって推定された推定データに基づいて仮想データＶＤが生成され、該仮想データＶＤと学習用データＴＲＤとを用いて、第ｉ学習器４１ｂが機械学習される。これにより、機械学習を行うためのデータを増加させることができるので、戦略の推定精度をさらに向上させることができる。

【0069】

〔実施形態２〕
本発明の別の実施形態について、図９～図１１を参照して説明する。本実施形態の戦術分析装置１０は、図１～図８に示す戦術分析装置１０に比べて、戦術取得部２２において、映像からボールおよび競技者の軌跡を取得する動作が異なり、その他は同様である。

【0070】

図９は、本実施形態の戦術分析装置１０の戦術取得部２２において、映像からボールを抽出する処理の流れを示すフローチャートである。本実施形態では、ボールの軌跡は、ラリーごとに自動分割された放送用映像から、白色ボールのための白色映像検出過程（Ｓ４０）とフレーム間差分検出過程（Ｓ４５）とにより推定される。

【0071】

図９に示すように、白色映像検出過程（Ｓ４０）では，まず，ＲＧＢのそれぞれのカラースケールに閾値処理を行うことによって、白色部分の映像を抽出する（Ｓ４１）。

【0072】

次に、CenterNetの学習によって競技者の骨格位置を推定する（Ｓ４２）。CenterNetへの入力は、ＭＰ４形式の動画であり、CenterNetからの出力は１７点の２次元の骨格位置座標と、骨格領域全体を指定する２点の２次元座標である。従って、２名の競技者の場合、出力変数の数は、（１７×２＋２×２）×２＝７６個となる。ステップＳ４２により、競技者の挙動を精度よく推定できるので、競技者の戦術を精度よく推定することができる。

【0073】

そして、競技者のラケット、テーピング、ゼッケン文字、靴等の白色ボール以外の白色ブログを消去することにより、白色ボールの白色ブログを検出する（Ｓ４３）。

【0074】

図１０は、白色ブログ抽出過程（Ｓ４０）により処理されたフレーム画像の一例を示す図である。図１０を参照すると、競技者の骨格および白色ボールだけでなく、卓球台の白枠、ネット上部の白色部分、得点枠の白色等、幾つかの白色ブログ部分が検出されていることが理解できる。

【0075】

一方、フレーム間差分検出過程（Ｓ４５）では、図９に示すように、まず、現フレームの画像と７フレーム前の画像との間でＲＧＢのカラースケールの差分を計算する（Ｓ４６）。次に、白色映像検出過程（Ｓ４０）のステップＳ４２と同様の処理を行う（Ｓ４７）。次に、ステップＳ４７にて推定された競技者の骨格位置座標から、競技者の上記白色ボール以外の白色ブログを消去することにより、骨格領域以外の白色ブログを検出する（Ｓ４８）。

【0076】

図１１は、フレーム間差分検出過程（Ｓ４５）により処理されたフレーム画像の一例を示す図である。図１１を参照すると、競技者の骨格および白色ボールのみが検出され、卓球台の白枠、ネット上部の白色部分、得点枠の白色等、他の白色ブログ部分が消去されていることが理解できる。従って、白色映像検出過程（Ｓ４０）とフレーム間差分検出過程（Ｓ４５）とにより、白色ボールの位置を検出することができる。

【0077】

白色映像検出過程（Ｓ４０）およびフレーム間差分検出過程（Ｓ４５）の後に、次フレームのボール位置を推定する（Ｓ５１）。この推定は、現フレームのボール位置から半径８０ピクセルの円領域内であり、かつ、卓球台の範囲から１０ピクセル分縮小した内部範囲における白色ブログ部分（ボール候補群）に限定して、白色ボールの白色ブログを抽出することにより行われる。なお、検出が不能の場合には、１フレームごとに上記半径を20ピクセルずつ拡大して、上記推定を行う。そして、カルマンフィルタ、バイキューブ補間法等を用いて、ボールが競技者の身体等に隠れている場合（オクルージョン）におけるボール位置の補間を行い、ボールの軌跡の位置座標を推定する（Ｓ５２）。その後の処理は、図１～図８に示す戦術分析装置１０と同様である。

【0078】

（付記事項）
ところで、ボールおよび競技者の軌跡は、位置（代表点）の時系列データで示されるが、該時系列データの長さは、ラリー回数、経過時間等によって異なる。そこで、戦術取得部２２は、上記時系列データを特異値分解することにより算出された特異値を、戦術情報としてラリーごとに取得してもよい。この場合、上記時系列データの時間長さが異なっていても、対戦相手の戦術を取得することができる。

【0079】

また、図３に示す競技モードＰＭを、競技後に実行してもよい。この場合、今回の試合における対戦者の戦略を推定して分析できるので、上記対戦者との次回の試合に活用することができる。

【0080】

また、上記実施形態では、卓球の競技に適用しているが、これに限定されるものではない。上記実施形態は、テニス、野球、サッカー等、ボールを用いた種々の対戦競技に適用可能である。なお、野球の場合、ピッチングの内容が戦術に該当する。また、サッカーの場合、戦術は、プレイヤ単位では無く、プレイヤが所属するチーム単位となる。また、上記実施形態は、レスリング、柔道等、格闘技にも適用可能である。また、上記実施形態では、対戦相手（敵）の戦略を推定しているが、対戦者（味方）の戦略を推定してもよい。

【0081】

〔ソフトウェアによる実現例〕
戦術分析装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0082】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0083】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0084】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0085】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0086】

本発明の態様によると、例えば、以下のような事が可能となる。すなわち、（１）放送映像から、対戦相手のこれまでのデータを分析し、対戦相手の次の戦略を予測できるので、対戦者は、どのような攻撃、防御をすればよいのかが認識できる。（２）第１ゲームの結果を即座に分析できる。そのために、対戦者のコーチは、第２ゲームでどのような攻撃をすればよいのかを、第２ゲームの途中で、対戦者にアドバイスすることができる。（３）トッププレイヤの戦略を参照できるので、選手の育成にも活用することができる。

【符号の説明】

【0087】

１０ 戦術分析装置
１１ 制御部
１２ 記憶部
１３ 通信部
２２ 戦術取得部
２３ 戦略推定部
３１ 戦術履歴記憶部
４１ 学習器群
４１ａ・４１ｂ 学習器
４２ 結果取得部
４３ 仮想データ生成部
４４ 最終決定部
５１ 学習用データ記憶部
５２ 評価用データ記憶部
５３ 仮想データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】