特許 7357258 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-28

(45)【発行日】2023-10-06

(54)【発明の名称】球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230929BHJP

   A63B 69/00 20060101ALI20230929BHJP

   A63B 71/06 20060101ALI20230929BHJP

【ＦＩ】

H04N7/18 K

A63B69/00 A

A63B71/06 T

【請求項の数】 10

(21)【出願番号】P 2021074233

(22)【出願日】2021-04-26

(65)【公開番号】P2022168633

(43)【公開日】2022-11-08

【審査請求日】2022-03-15

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】上田 純子

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０２０／２６２３３６（ＷＯ，Ａ１）

【文献】特開２００２－２４８１８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ７１／０６

(57)【特許請求の範囲】

【請求項1】

２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信する通信インタフェースと、
前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行い、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行するプロセッサと、を備え、
前記プロセッサは、
前記識別処理が完了すると、第１の音の出力を開始し、前記追跡処理が完了すると、前記第１の音の出力を停止する、
球技映像解析装置。

【請求項2】

前記プロセッサは、前記人物の識別が完了するまで、前記第１の音を出力させない、
請求項１に記載の球技映像解析装置。

【請求項3】

前記第１の音は、識別した前記人物に予め割り当てられているテーマ曲である、
請求項１又は２に記載の球技映像解析装置。

【請求項4】

前記プロセッサは、前記第１の音の出力を開始してから所定期間内に前記アクションを検出できない場合、第２の音を出力させる、
請求項１から３のいずれか１項に記載の球技映像解析装置。

【請求項5】

２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信する通信インタフェースと、
前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行い、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行するプロセッサと、を備え、
前記プロセッサは、
前記識別処理が完了すると、光の出力を開始し、前記追跡処理が完了すると、前記光の出力を停止する、
球技映像解析装置。

【請求項6】

前記プロセッサは、前記人物の識別が完了するまで、前記光を出力させない、
請求項５に記載の球技映像解析装置。

【請求項7】

前記光は、識別した前記人物に予め割り当てられている色またはパターン画像である、
請求項５又は６に記載の球技映像解析装置。

【請求項8】

前記プロセッサは、前記光の出力を開始してから所定期間内に前記検出処理によるアクションを検出できない場合、前記光を点滅させる、
請求項５から７のいずれか１項に記載の球技映像解析装置。

【請求項9】

装置において、
２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信し、
前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行い、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行する球技映像解析方法であって、
前記識別処理が完了すると、第１の音の出力を開始し、前記追跡処理が完了すると、前記第１の音の出力を停止する、
球技映像解析方法。

【請求項10】

コンピュータに、
２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信させ、
前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行わせ、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行させるコンピュータプログラムであって、
前記識別処理が完了すると、第１の音の出力を開始させ、前記追跡処理が完了すると、前記第１の音の出力を停止させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、球技映像解析装置、球技映像解析方法、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

従来、バレーボール分析ソフトウェアとして「Ｄａｔａ Ｖｏｌｌｅｙ」が市販され、このソフトウェアに精通したアナリストの主観的判断に基づいて、チームの選手の状況をデータ化する技術が知られている。近年では、アナリストの操作に頼ることなく、コートを見下ろす四隅にそれぞれカメラを設置し、これら４台のカメラを同期させてプレーを撮影した映像を取り込み、ボールの動きを追跡して、当該ボールの３次元の位置情報を求め、同時に選手の背番号やプレーに含まれるアクションの種類（サーブ、レセプション、ディグ、トス、アタック、ブロック）に関する解析データを出力する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／２２５４１５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、身近に存在する携帯端末（例えばスマートフォン又はタブレット）が備えるカメラで選手の練習（例えば、バレーボールのサーブ練習）を撮像し、当該撮像した映像を解析装置へ送信し、解析装置は、受信した映像に基づいて選手の練習の内容を解析するシステムが検討されている。解析装置が選手のアクションを適切に検出するためには、解析装置においてアクションの検出が可能な状況になってから、選手にアクションを開始してもらうことが好ましい。しかし、選手は、解析装置がアクションの検出が可能な状況であるか否かを認識できない。

【0005】

本開示の目的は、このような問題点に鑑みて為されたものであり、解析装置においてアクションの検出が可能な状況であることを選手に認識させることができる技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る球技映像解析装置は、２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信する通信インタフェースと、前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行い、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行するプロセッサと、を備え、前記プロセッサは、前記識別処理が完了すると、第１の音の出力を開始し、前記追跡処理が完了すると、前記第１の音の出力を停止する、構成とする。

【0007】

本開示の一態様に係る球技映像解析装置は、２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信する通信インタフェースと、前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行い、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行するプロセッサと、を備え、前記プロセッサは、前記識別処理が完了すると、光の出力を開始し、前記追跡処理が完了すると、前記光の出力を停止する、構成とする。

【0008】

本開示の一態様に係る球技映像解析方法は、装置において、２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信し、前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行い、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行する球技映像解析方法であって、前記識別処理が完了すると、第１の音の出力を開始し、前記追跡処理が完了すると、前記第１の音の出力を停止する、構成とする。

【0009】

本開示の一態様に係るコンピュータプログラムは、コンピュータに、２台の撮像装置がそれぞれ撮像する第１の動画及び第２の動画を受信させ、前記第１の動画及び前記第２の動画に基づき、球技用の移動体に対するアクションを行う人物の識別処理を行わせ、その識別処理により特定した人物に対応付けて前記アクションの検出処理と前記移動体の追跡処理とを順次実行させるコンピュータプログラムであって、前記識別処理が完了すると、第１の音の出力を開始させ、前記追跡処理が完了すると、前記第１の音の出力を停止させる、構成とする。

【0010】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示によれば、解析装置においてアクションを行ってもよいタイミングを選手ごとに認識させることができる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態に係る球技映像解析システムの構成例を示す図

【図2】ボールの位置の特定方法を説明するための図

【図3】本実施の形態に係る球技映像解析装置の構成例を示すブロック図

【図4】本実施の形態に係る携帯端末の構成例を示すブロック図

【図5】球技映像解析システムが選手Ａと選手Ｂのサーブを解析する処理の例を説明するための図

【図6】サーブ促進前期間及びサーブ検出期間を説明するための図

【図7】球技映像解析装置がサーブ検出に失敗した場合の処理の例を説明するための図

【図8】球技映像解析装置が実行する処理の一例を示すフローチャート

【図9】選手のテーマ曲の出力に代えて、選手に割り当てられた色を点灯させる変形例を説明するための図

【図10】ビープ音の出力に代えて、選手に割り当てられた色を点滅させる変形例を説明するための図

【発明を実施するための形態】

【0013】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0014】

（本実施の形態）
＜球技映像解析システムの構成＞
図１は、本実施の形態に係る球技映像解析システム１０の構成例を示す図である。図２は、ボールの位置の特定方法を説明するための図である。

【0015】

球技映像解析システム１０は、球技を撮影した映像を解析し、当該球技に用いられる移動体の軌跡を解析するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１０は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１０が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１０が対象とする移動体は、ボールに限らず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。

【0016】

球技映像解析システム１０は、第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００を備える。第１の携帯端末２０Ａ、第２の携帯端末２０Ｂ、表示端末３０、及び、球技映像解析装置１００は、通信ネットワークＮを通じて互いに情報を送受信できる。通信ネットワークＮは、例えば、無線通信網（無線ＬＡＮ（Local Area Network）、ＬＴＥ、４Ｇ、５Ｇ等）、インターネット網、又は、それらの組み合わせによって構成されてよい。

【0017】

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、カメラ及びスピーカを備える無線通信端末である。第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂの例は、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等である。

【0018】

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、球技を行う人物（以下「選手」という）のアクションを撮影する。本実施の形態では、選手のアクションの１つであるバレーボールのサーブを例に説明する。ただし、選手のアクションは、バレーボールのサーブに限らず、ディグ、レセプション、トス、アタック、ブロック等であってもよい。あるいは、球技を行う人物のアクションは、バレーボール以外の上記スポーツにおける特定のアクションであってもよい。

【0019】

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、例えば、選手のサーブの練習を、互いに異なる方向から動画で撮影し、それぞれ、第１の動画１２３Ａ（図３参照）及び第２の動画１２３Ｂ（図３参照）を生成する。例えば、図１に示すように、第１の携帯端末２０Ａは選手を右後方から撮影し、第２の携帯端末２０Ｂは選手を左後方から撮影する。

【0020】

第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂは、それぞれ、生成した第１の動画１２３Ａ及び第２の動画１２３Ｂを、通信ネットワークＮを通じて、球技映像解析装置１００に送信する。

【0021】

表示端末３０は、球技映像解析装置１００による解析結果を表示する。表示端末３０の例として、携帯電話、スマートフォン、タブレット又はモバイルＰＣ等が挙げられる。表示端末３０は、第３の携帯端末と読み替えられてもよい。なお、解析結果を表示する表示端末３０を別途設ける構成を例示したが、第１の携帯端末２０Ａ、又は、第２の携帯端末２０Ｂのいずれかを、解析結果を表示する端末として利用してもよい。

【0022】

球技映像解析装置１００は、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂからそれぞれ受信した第１の動画１２３Ａ及び第２の動画１２３Ｂに基づいて、３次元空間におけるボールの移動軌跡を解析する。３次元空間におけるボールの移動軌跡は、ボールの３次元座標を時系列に並べることで生成できる。

【0023】

時刻ｔのボールの３次元座標は、図２に示すように、第１の動画１２３Ａの中の時刻ｔのフレーム画像Ｆ１と、第２の動画１２３Ｂの中の時刻ｔのフレーム画像Ｆ２から算出できる。すなわち、図２に示すように、第１の携帯端末２０Ａ（撮像装置２０７（図４参照））の位置Ｕ１からフレーム画像Ｆ１におけるボールの位置Ｂ１へ伸ばしたベクトルＶ１と、第２の携帯端末２０Ｂ（撮像装置２０７（図４参照））の位置Ｕ２からフレーム画像Ｆ２におけるボールの位置Ｂ２へ伸ばしたベクトルＶ２との交点が、ボールの３次元座標Ｐａとなる。

【0024】

＜球技映像解析装置の構成＞
図３は、本実施の形態に係る球技映像解析装置１００の構成例を示すブロック図である。

【0025】

球技映像解析装置１００は、プロセッサ１０１、メモリ１０２、通信Ｉ／Ｆ（Interface）１０３、入力Ｉ／Ｆ１０４、出力Ｉ／Ｆ１０５、及び、ストレージ１０６を備える。

【0026】

メモリ１０２は、球技映像解析装置１００が取り扱うプログラム及びデータ等を記憶する。メモリ１０２は、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）を含んでよい。

【0027】

プロセッサ１０１は、他の構成要素１０２～１０６と協働しながら種々の処理を実行することにより、本実施の形態の球技映像解析装置１００が提供する機能を実現する。例えば、プロセッサ１０１は、メモリ１０２からプログラムを読み出して実行することにより、本実施の形態の球技映像解析装置１００が提供する機能を実現する。したがって、本実施の形態において球技映像解析装置１００を主体として説明する処理は、球技映像解析装置１００が備えるプロセッサ１０１を主体とする処理に読み替えられてよい。また、プロセッサ１０１は、ＣＰＵ（Central Processing Unit）、コントローラ、制御部、制御装置、制御回路といった他の用語に読み替えられてよい。

【0028】

通信Ｉ／Ｆ１０３は、球技映像解析装置１００を通信ネットワークＮに接続するためのインタフェースである。通信Ｉ／Ｆ１０３は、無線信号を送受信する無線通信Ｉ／Ｆ、及び、有線ケーブルが接続される有線通信Ｉ／Ｆのうちの少なくとも１つを含んでよい。無線通信Ｉ／Ｆが対応する通信方式の例として、Ｗｉ－Ｆｉ、ＬＴＥ、４Ｇ、５Ｇが挙げられる。有線通信Ｉ／Ｆが対応する通信方式の例として、Ｅｔｈｅｒｎｅｔ（登録商標）が挙げられる。

【0029】

入力Ｉ／Ｆ１０４は、球技映像解析装置１００に入力装置（図示しない）を接続するためのインタフェースである。入力装置の例として、キーボード、マウス、タッチパネル、マイク等が挙げられる。

【0030】

出力Ｉ／Ｆ１０５は、球技映像解析装置１００に出力装置（図示しない）を接続するためのインタフェースである。出力装置の例として、ディスプレイ、スピーカ等が挙げられる。

【0031】

ストレージ１０６は、不揮発性記憶媒体の一例であり、球技映像解析装置１００が取り扱うプログラム及びデータ等を格納する。ストレージ１０６の例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリが挙げられる。

【0032】

例えば、ストレージ１０６は、情報又はデータとして、選手ＩＤ１２１、顔特徴情報１２２、第１の動画１２３Ａ、第２の動画１２３Ｂ、テーマ曲１２４、及び、解析結果情報１２５を格納する。なお、これらの情報又はデータの少なくとも一部は、メモリ１０２に格納されてもよい。

【0033】

選手ＩＤ１２１は、選手を一意に識別する情報である。選手ＩＤ１２１には、選手の氏名等が対応付けられてよい。

【0034】

顔特徴情報１２２は、選手の顔の特徴を示す情報である。顔特徴情報１２２は、後述するように選手の顔認証に用いられる。顔特徴情報１２２には、当該顔特徴情報が示す選手の選手ＩＤ１２１が対応付けられてよい。

【0035】

第１の動画１２３Ａは、第１の携帯端末２０Ａから送信された、選手のサーブの練習を撮像した動画である。第２の動画１２３Ｂは、第２の携帯端末２０Ｂから送信された、選手のサーブの練習を撮像した動画である。球技映像解析装置１００は、第１の動画１２３Ａ及び第２の動画１２３Ｂに、当該第１の動画１２３Ａ及び第２の動画１２３Ｂに撮像されている選手の選手ＩＤを対応付けてよい。

【0036】

テーマ曲１２４は、選手ごとに異なる音楽データである。テーマ曲１２４の利用態様については後述する。テーマ曲１２４には、当該テーマ曲１２４が割り当てられている選手の選手ＩＤが対応付けられてよい。なお、テーマ曲１２４は、球技映像解析装置１００ではなく、後述する携帯端末２０に格納されてもよい。この場合、テーマ曲を再生するときは、球技映像解析装置１００が選手ＩＤを携帯端末２０に通知し、選手ＩＤの通知を受けた携帯端末２０が、その選手ＩＤと対応付けたテーマ曲を識別して再生することができる。また、球技映像解析装置１００には、テーマ曲に関する音楽データの格納することなく、テーマ曲ＩＤをのみを格納し、球技映像解析装置１００がテーマ曲ＩＤを携帯端末２０に通知し、テーマ曲ＩＤの通知を受けた携帯端末２０が、そのテーマ曲ＩＤに対応するテーマ曲を識別して再生することができる。これにより、球技映像解析装置１００から携帯端末２０にテーマ曲１２４の音楽データを送信する場合と比べて、通信データ量又は通信料を削減できる。

【0037】

解析結果情報１２５は、第１の動画１２３Ａ及び第２の動画１２３Ｂに基づくサーブの解析結果を示す情報である。解析結果情報１２５には、例えば、サーブのボールの移動軌跡を示す情報、手で打たれたボールが手から離れた瞬間のボールの高さ及び速度を示す情報、及び、ボールがネット上を通過する瞬間のボールの高さ及び速度を示す情報が含まれてよい。

【0038】

＜携帯端末の構成＞
図４は、本実施の形態に係る携帯端末２０の構成例を示すブロック図である。本実施の形態の説明において、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂを区別しないで説明する場合、単に携帯端末２０と称する場合がある。

【0039】

携帯端末２０は、プロセッサ２０１、メモリ２０２、無線通信Ｉ／Ｆ２０３、入力装置２０４、表示装置２０５、音出力装置２０６、撮像装置２０７、発光装置２０８、及び、ストレージ２０９を備える。

【0040】

メモリ２０２は、携帯端末２０が取り扱うプログラム及びデータ等を記憶する。メモリは２０２、ＲＯＭ及びＲＡＭを含んでよい。

【0041】

プロセッサ２０１は、他の構成要素２０２～２０９と協働しながら種々の処理を実行することにより、本実施の形態の携帯端末２０が提供する機能を実現する。例えば、プロセッサ２０１は、メモリ２０２からプログラムを読み出して実行することにより、本実施の形態の携帯端末２０が提供する機能を実現してよい。したがって、本実施の形態において携帯端末２０を主体として説明する処理は、携帯端末２０が備えるプロセッサ２０１を主体とする処理に読み替えられてよい。また、プロセッサ２０１は、ＣＰＵ、コントローラ、制御部、制御装置、制御回路といった他の用語に読み替えられてよい。

【0042】

無線通信Ｉ／Ｆ２０３は、携帯端末２０を通信ネットワークＮに接続し、無線信号を送受信するためのインタフェースである。無線通信Ｉ／Ｆ２０３が対応する通信方式の例として、Ｗｉ－Ｆｉ、ＬＴＥ、４Ｇ、５Ｇ、Ｂｌｕｅｔｏｏｔｈが挙げられる。

【0043】

入力装置２０４は、ユーザから携帯端末２０への入力操作を受け付ける装置である。入力装置２０４の例として、タッチパネル、ボタン、マイク等が挙げられる。

【0044】

表示装置２０５は、画像を表示するための装置である。表示装置２０５の例として、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。

【0045】

音出力装置２０６は、音を出力するための装置である。音出力装置２０６の例として、スピーカ、ヘッドフォン等が挙げられる。なお、携帯端末２０は、音出力装置２０６を備えなくてもよい。

【0046】

撮像装置２０７は、画像を撮像するための装置である。撮像装置２０７は、動画及び静止画のいずれも撮像できてよい。撮像装置２０７は、カメラと読み替えられてもよい。

【0047】

発光装置２０８は、様々な色の光を様々な発光パターン（例えば点灯、点滅）で発光するための装置である。発光装置２０８の例として、ＬＥＤ（Light Emitting Diode）が挙げられる。なお、携帯端末２０は、発光装置２０８を備えなくてもよい。

【0048】

ストレージ２０９は、不揮発性記憶媒体の一例であり、携帯端末２０が取り扱うプログラム及びデータ等を格納する。なお、ストレージ２０９は、球技映像解析装置１００にて格納されている選手ＩＤ１２１と対応付けられたテーマ曲１２４を格納してもよい。この場合、携帯端末２０のストレージ２０９に、容量の大きなテーマ曲に対応する音楽データを格納することで、テーマ曲１２４を再生する際のデータ通信量を削減する効果が得られる。ストレージ２０９の例として、フラッシュメモリが挙げられる。

【0049】

＜球技映像解析システムの動作例＞
図５は、球技映像解析システム１０が選手Ａと選手Ｂのサーブを解析する処理の例を説明するための図である。図５において、ｔは時刻を示す（図６、図７、図９、図１０も同様）。

【0050】

球技映像解析システム１０は、例えば、選手Ａと選手Ｂのサーブを次のように解析する。

【0051】

（Ｓ１１）選手Ａが、携帯端末２０の撮像装置２０７の前に立つ。
（Ｓ１２）携帯端末２０は、撮像装置２０７にて選手Ａの顔画像を撮像し、当該顔画像を球技映像解析装置１００へ送信する。
（Ｓ１３）球技映像解析装置１００は、選手識別処理を実行する。例えば、球技映像解析装置１００は、携帯端末２０から受信した顔画像を各顔特徴情報と照合することにより、顔画像に映っている選手が選手Ａであることを特定し、当該選手Ａの選手ＩＤを特定する。
（Ｓ１４）球技映像解析装置１００は、サーブ検出処理を実行する。例えば、球技映像解析装置１００は、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂからそれぞれストリーミングで送信される第１の動画１２３Ａ及び第２の動画１２３Ｂを解析し、選手Ａのサーブを検出する。
（Ｓ１５）選手Ａがサーブを打つと、サーブ検出処理によってサーブが検出される。
（Ｓ１６）球技映像解析装置１００は、ボール追跡処理を実行する。例えば、球技映像解析装置１００は、第１の携帯端末２０Ａ及び第２の携帯端末２０Ｂからそれぞれストリーミングで送信される第１の動画１２３Ａ及び第２の動画１２３Ｂから選手Ａが打ったサーブのボールの３次元座標を追跡し、解析結果情報１２５を生成する。球技映像解析装置１００は、当該解析結果情報１２５に、ステップＳ１３で特定した選手Ａの選手ＩＤを対応付けて管理する。
（Ｓ１７）球技映像解析装置１００による選手Ａのボール追跡処理が完了した後、選手Ｂが携帯端末２０の撮像装置２０７の前に立つ。
（Ｓ１８）携帯端末２０は、撮像装置２０７にて選手Ｂの顔画像を撮像し、当該顔画像を球技映像解析装置１００へ送信する。
（Ｓ１９）球技映像解析装置１００は、上記のステップＳ１３と同様に、選手識別処理を実行し、選手Ｂの選手ＩＤを特定する。
（Ｓ２０）球技映像解析装置１００は、上記のステップS１４と同様に、サーブ検出処理を実行し、選手Ｂのサーブを検出する。
（Ｓ２１）選手Ｂがサーブを打つと、サーブ検出処理によってサーブが検出される。

【0052】

球技映像解析システム１０は、上述の処理を繰り返すことにより、各選手のサーブの解析結果情報１２５を生成及び管理することができる。

【0053】

ここで、選手は、選手識別処理が完了したタイミング（上記のステップＳ１３（又はステップＳ１９）が完了したタイミング）がわからないと、いつサーブを打ち始めてよいかわからない。

【0054】

また、ボール追跡処理が完了したタイミング（上記のステップＳ１６が完了したタイミング）がわからないと、次の選手（上記では選手Ｂ）は、いつ前の選手（上記では選手Ａ）と交代してよいかわからない。

【0055】

そこで、本実施の形態の球技映像解析装置１００は、選手の識別を完了したタイミングから、当該選手が打ったサーブのサーブ検出及びボールの追跡を完了するタイミングまでの間、当該選手に割り当てられたテーマ曲１２４を携帯端末２０の音出力装置２０６から出力させる。例えば、図５に示すように、球技映像解析装置１００は、ステップＳ１３において選手Ａの選手ＩＤを特定したタイミングで、当該選手ＩＤ（つまり選手Ａ）に割り当てられているテーマ曲１２４（つまり選手Ａのテーマ曲１２４）を、携帯端末２０から出力させる。なお、球技映像解析装置１００は、選手の識別を完了する以前において、携帯端末２０から音を出力させなくてよい。これにより、選手Ａは、当該選手Ａのテーマ曲１２４が聞こえたら、サーブを打ち始めてよいことがわかる。

【0056】

加えて、図５に示すように、球技映像解析装置１００は、ステップＳ１６において選手Ａのサーブの検出及びボールの追跡が完了したタイミングで、携帯端末２０に、選手Ａのテーマ曲１２４の出力を停止させる。これにより、選手Ａは、当該選手Ａのテーマ曲１２４が聞こえなくなったら、先ほど打ったサーブの解析が完了したと認識できる。加えて、選手Ｂは、選手Ａのテーマ曲１２４が聞こえなくなったら、携帯端末２０の撮像装置２０７の前に立てばよいことがわかる。

【0057】

また、テーマ曲１２４が選手ごとに異なるため、選手は、当該選手に割り当てられたテーマ曲１２４が聞こえたら、自分が正しく識別されたと認識できる。別言すると、選手は、当該選手に割り当てられたものとは異なるテーマ曲１２４が聞こえたら、自分が正しく識別されなかったと認識できる。これにより、サーブを打った選手と異なる選手の選手ＩＤが誤って解析結果情報１２５に対応付けられてしまうことを防止できる。なお、確実の選手を識別できるように、テーマ曲１２４の再生する直前に、選手名を音声で出力するようにすると、スムーズに選手を誘導することができる。

【0058】

なお、例えば、ステップＳ１１にて選手Ａが撮像装置２７の前に立ったにも関わらず、選手Ｂのテーマ曲１２４が聞こえてきた場合、ステップＳ１５において、選手Ａに代えて選手Ｂがサーブを打ってもよい。これにより、ステップＳ１６のボール追跡処理において、誤って識別された選手Ｂの選手ＩＤ１２１を、選手Ｂが打ったサーブの解析結果情報１２５に対応付けることができる。つまり、選手ごとに異なるテーマ曲１２４を出力することにより、顔認証が誤った場合にも、選手側で簡単に対処することができ、各選手のサーブの練習及び解析を効率的に行うことができる。

【0059】

図６は、サーブ促進前期間及びサーブ検出期間を説明するための図である。なお、サーブ促進前期間は第１の閾値と、サーブ検出期間は第２の閾値と読み替えられてもよい。

【0060】

球技映像解析装置１００は、サーブ検出期間（例えば３０秒）と、当該サーブ検出期間よりも短いサーブ促進前期間（例えば２０秒）とを予め設定してよい。球技映像解析装置１００は、選手を識別してから状態通知のためのタイマーを開始し、当該タイマーがサーブ検出期間を超えた場合、サーブ検出処理をいったん終了してよい。

【0061】

加えて、球技映像解析装置１００は、タイマーがサーブ促進前期間を超えた場合、図６に示すように、選手Ａのテーマ曲１２４に代えて、ビープ音を携帯端末２０から出力させてよい。これにより、選手Ａは、ビープ音を聞いて、サーブ検出期間がもうすぐ終わることを認識できる。ビープ音が出力されている間に選手Ａがサーブを打ち、球技映像解析装置１００がサーブを検出した場合、球技映像解析装置１００は、携帯端末２０に、ビープ音の出力を停止させ、選手Ａのテーマ曲１２４を出力させてよい。この選手Ａのテーマ曲１２４は、選手Ａが打ったサーブのボール追跡処理が完了するまで出力されてよい。

【0062】

なお、タイマーがサーブ促進前期間を超えた場合に出力される音は、ビープ音に限られない。例えば、ビープ音に代えて、いずれの選手とも異なる所定の曲を出力してもよい。あるいは、ビープ音に代えて、選手のテーマ曲１２４の再生速度を上げて出力してもよい。また、選手のテーマ曲１２４は第１の音と、ビープ音は第２の音と読み替られてもよい。

【0063】

図７は、球技映像解析装置１００がサーブ検出に失敗した場合の処理の例を説明するための図である。

【0064】

図７に示すように、選手Ａのテーマ曲１２４が出力されている間に選手Ａがサーブを打ったものの、球技映像解析装置１００がサーブの検出に失敗した場合、タイマーがサーブ促進前期間を超えるので、携帯端末２０からビープ音が出力される。これにより、選手Ａは、球技映像解析装置１００がサーブの検出に失敗したことを認識でき、サーブを打ち直すことができる。打ち直したサーブが検出された場合、図６の場合と同様、ビープ音が停止され、選手Ａのテーマ曲１２４が出力されてよい。これにより、選手Ａは、打ち直したサーブが検出されたことを認識できる。

【0065】

＜球技映像解析装置の処理＞
図８は、球技映像解析装置１００が実行する処理の一例を示すフローチャートである。上記にて図５、図６、図７を参照して説明した処理は、図８に示す当該処理が実行されることにより実現されてよい。

【0066】

球技映像解析装置１００（プロセッサ１０１）は、携帯端末２０から送信された顔画像に基づき選手識別処理を実行し、当該顔画像に映っている選手の選手ＩＤ１２１を特定する（Ｓ１０１）。なお、選手識別処理は、球技映像解析装置１００とは別の装置で実行されてもよい。

【0067】

球技映像解析装置１００は、選手識別処理が選手ＩＤ１２１の特定を完了したか否かを判定する（Ｓ１０２）。球技映像解析装置１００は、選手識別処理が選手ＩＤ１２１の特定をまだ完了していない場合（Ｓ１０２：ＮＯ）、ステップＳ１０１の処理に戻り、選手識別処理が選手ＩＤ１２１の特定を完了した場合（Ｓ１０２：ＹＥＳ）、次のステップＳ１０３の処理に進む。

【0068】

球技映像解析装置１００は、状態通知のためのタイマーを開始する（Ｓ１０３）。球技映像解析装置１００は、ステップＳ１０１にて特定した選手ＩＤ１２１に割り当てられているテーマ曲１２４を、携帯端末２０に出力させる（Ｓ１０４）。これにより、選手は、選手識別処理が完了し、サーブを打ち始めてよいことを認識できる。

【0069】

球技映像解析装置１００は、第１の携帯端末２０及び第２の携帯端末２０からそれぞれ受信する第１の動画１２３Ａ及び第２の動画１２３Ｂを用いてサーブ検出処理を実行する（Ｓ１０５）。

【0070】

球技映像解析装置１００は、サーブ検出処理がサーブを検出できたか否かを判定する（Ｓ１０６）。球技映像解析装置１００は、サーブ検出処理がサーブをまだ検出できていない場合（Ｓ１０６：ＮＯ）、ステップＳ１０７の処理に進み、サーブ検出処理がサーブを検出した場合（Ｓ１０６：ＹＥＳ）、ステップＳ１１０の処理に進む。

【0071】

まず、サーブ検出処理がサーブをまだ検出てきていない場合（Ｓ１０６がＮＯの場合）について説明する。

【0072】

球技映像解析装置１００は、タイマーが予め定められたサーブ促進前期間（例えば２０秒）を超えたか否かを判定する（Ｓ１０７）。

【0073】

タイマーがまだサーブ促進前期間を超えていない場合（Ｓ１０７：ＮＯ）、球技映像解析装置１００は、ステップＳ１０５の処理に戻る。

【0074】

タイマーがサーブ促進前期間を超えた場合（Ｓ１０７：ＹＥＳ）、球技映像解析装置１００は、ビープ音を携帯端末２０に出力させる（Ｓ１０８）。このとき、携帯端末２０は、選手のテーマ曲１２４を出力中である場合、当該選手のテーマ曲１２４を停止し、ビープ音を出力してよい。携帯端末２０は、ビープ音を出力中である場合、当該ビープ音の出力を継続してよい。これにより、選手は、ビープ音を聞いて、サーブ検出期間がもうすぐ終了することを認識できる。

【0075】

球技映像解析装置１００は、タイマーが予め定められたサーブ検出期間（例えば３０秒）を超えたか否かを判定する（Ｓ１０９）。

【0076】

タイマーがまだサーブ検出期間を超えていない場合（Ｓ１０９：ＮＯ）、球技映像解析装置１００は、ステップＳ１０５の処理に戻る。タイマーがサーブ検出期間を超えた場合（Ｓ１０９：ＹＥＳ）、球技映像解析装置１００は、ステップＳ１１５の処理に進む。

【0077】

次に、サーブを検出できた場合（Ｓ１０６がＹＥＳの場合）について説明する。

【0078】

球技映像解析装置１００は、タイマーをリセットして開始する（Ｓ１１０）。

【0079】

球技映像解析装置１００は、ステップＳ１０１にて特定した選手ＩＤに割り当てられているテーマ曲１２４を、携帯端末２０に出力させる（Ｓ１１１）。このとき、携帯端末２０は、選手のテーマ曲１２４を出力中である場合、当該選手のテーマ曲１２４の出力を継続してよい。携帯端末２０は、ビープ音を出力中である場合、当該ビープ音を停止し、選手のテーマ曲１２４を出力してよい。このように、ビープ音から選手のテーマ曲１２４に切り替えることにより、選手は、図７にて説明したように、打ち直したサーブの検出が成功したことを認識できる。

【0080】

球技映像解析装置１００は、第１の動画１２３Ａ及び第２の動画１２３Ｂを用いてボール追跡処理を実行する（Ｓ１１２）。

【0081】

球技映像解析装置１００は、ボール追跡処理が完了したか否かを判定する（Ｓ１１３）。球技映像解析装置１００は、ボール追跡処理が完了した場合（Ｓ１１３：ＹＥＳ）、ステップＳ１１５の処理に進む。

【0082】

球技映像解析装置１００は、ボール追跡処理がまだ完了していない場合（Ｓ１１３：ＮＯ）、タイマーが予め定められたボール追跡期間を超えたか否かを判定する（Ｓ１１４）。なお、ボール追跡期間は第３の閾値と読み替えられてもよい。

【0083】

タイマーがまだボール追跡期間を超えていない場合（Ｓ１１４：ＮＯ）、球技映像解析装置１００は、ステップＳ１１２の処理に戻る。タイマーがボール追跡期間を超えた場合（Ｓ１１４：ＹＥＳ）、球技映像解析装置１００は、ステップＳ１１５の処理に進む。

【0084】

球技映像解析装置１００は、携帯端末２０に音の出力を停止させ（Ｓ１１５）、本処理を終了する。これにより、ステップＳ１０１にて識別した選手が打ったサーブのボール追跡が完了し、当該選手の選手ＩＤが対応付けられた解析結果情報１２５が生成される。

【0085】

そして、球技映像解析装置１００は、またステップＳ１０１から処理を開始する。このように、球技映像解析装置１００は、図８に示す処理を繰り返すことにより、各選手のサーブの解析結果情報１２５を生成することができる。

【0086】

＜変形例＞
図９は、選手のテーマ曲１２４の出力に代えて、選手に割り当てられた色を点灯させる変形例を説明するための図である。図１０は、ビープ音の出力に代えて、選手に割り当てられた色を点滅させる変形例を説明するための図である。

【0087】

球技映像解析装置１００は、図５にて説明した選手のテーマ曲１２４の出力に代えて（又は選手のテーマ曲１２４の出力と共に）、図９に示すように、携帯端末２０の発光装置２０８を、選手識別処理にて識別された選手に割り当てられた色の光にて点灯させてよい。また、球技映像解析装置１００は、選手識別処理を行っている間、携帯端末２０の発光装置２０８を消灯させ、選手識別処理が完了した後に発光装置２０８を点灯させてよい。これにより、選手は、携帯端末２０の発光装置２０８が当該選手に割り当てられた色で点灯したことを見て、サーブを打ち始めてよいことを認識できる。

【0088】

なお、複数の色を発光できるＬＥＤランプ等を携帯端末２０の所定の出力端子に接続することで、発光装置２０８を構成することができる。また、携帯端末２０のタッチパネル等の表示装置２０５を、選手に割り当てられた色の光にて点灯させてもよい。また、選手を識別できるものであれば、単色の色に限られず、表示装置２０５の画面に、多様なパターン画像（複数の配色、模様、アイコン、選手写真などを含む）を表示してもよい。さらに、点灯の開始時などに、選手名を音声で出力することにより、スムーズに選手を誘導することができる。

【0089】

また、球技映像解析装置１００は、図１０にて説明したビープ音の出力に代えて（又はビープ音の出力と共に）、図１０に示すように、携帯端末２０の発光装置２０８を、選手識別処理にて識別された選手に割り当てられた色にて点滅させてよい。これにより、選手は、携帯端末２０の発光装置２０８が当該選手に割り当てられた色で点滅したことを見て、サーブ検出期間がもうすぐ終わることを認識できる。なお、球技映像解析装置１００は、色の点滅に代えて、いずれの選手に割り当てられた色とも異なる所定の色（つまりサーブ促進前期間を超えたことを示す所定の色）で、携帯端末２０の発光装置２０８を点灯させてもよい。

【0090】

上述では、選手が交代でサーブを打つ場合の球技映像解析装置１００の動作例について説明した。しかし、球技映像解析装置１００は、同じ選手がサーブを打ち続ける場合にも対応できてよい。この場合、球技映像解析装置１００は、最初に一回だけ選手の選手識別処理を行って選手ＩＤを特定し、以降の選手識別処理（例えば図５での選手Ｂの選手識別（ステップＳ１９））を行わなくてよい。そして、球技映像解析装置１００は、識別した選手のテーマ曲１２４を出力し、その間に打たれたサーブのサーブ検出処理及びボール追跡処理が終了したタイミングで、いったん当該選手のテーマ曲１２４の出力を停止し、次のサーブ検出処理及びボール追跡処理の準備が整ったタイミングで当該選手のテーマ曲１２４の出力を開始（再開）してよい。これにより、選手が連続してサーブを打って、球技映像解析装置１００によるサーブ検出処理及びボール追跡処理が間に合わなくなったり、打ったサーブの検出漏れが発生したりすることを抑制できる。

【0091】

また、球技映像解析装置１００は、同じ選手がサーブを打ち続ける場合のモードと、選手が交代でサーブを打つ場合のモードとを切り替える設定を備えてよい。選手は、携帯端末２０を通じて、球技映像解析装置１００のこれらのモードの切り替えを設定できてよい。

【0092】

（本開示のまとめ）
本開示の内容は以下のように表現できる。

【0093】

＜表現１＞
球技映像解析装置１００は、２台の撮像装置２０７がそれぞれ撮像する第１の動画１２３Ａ及び第２の動画１２３Ｂを受信する通信インタフェース１０３と、第１の動画１２３Ａ及び第２の動画１２３Ｂに基づく球技用の移動体（例えばボール）に対する人物（例えば選手）のアクション（例えばサーブ）の検出が可能であることを示す第１の音（例えばテーマ曲１２４）を出力させるプロセッサ１０１と、を備える。
これにより、人物は、第１の音が聞こえた場合に、移動体に対するアクションを開始してよいことを認識できる。すなわち、第１の音の出力により、球技映像解析装置１００がアクションの検出が可能な状況であることを人物に認識させることができる。

【0094】

＜表現２＞
表現１に記載の球技映像解析装置１００において、プロセッサ１０１は、人物を識別した後、第１の音の出力を開始してよい。
これにより、人物は、第１の音が聞こえた場合に、当該人物の識別が完了したことを認識できる。

【0095】

＜表現３＞
表現２に記載の球技映像解析装置１００において、プロセッサ１０１は、人物の識別が完了するまで、第１の音を出力させなくてよい。
これにより、人物は、第１の音が聞こえない場合、当該人物の識別が完了していないことを認識できる。

【0096】

＜表現４＞
表現２又は３に記載の球技映像解析装置１００において、第１の音は、識別した人物に予め割り当てられているテーマ曲であってよい。
これにより、人物は、当該人物に割り当てられたテーマ曲が聞こえた場合に、当該人物の識別が完了し、移動体に対するアクションを開始してよいことを認識できる。

【0097】

＜表現５＞
表現２から４のいずれか１つに記載の球技映像解析装置１００において、プロセッサ１０１は、第１の音の出力を開始してから所定期間（例えばサーブ促進前期間）内にアクションを検出できない場合、第２の音（例えばビープ音）を出力させてよい。
これにより、球技映像解析装置１００は、第２の音を人物に聞かせて、人物にアクションの実行を促すことができる。

【0098】

＜表現６＞
表現２から５のいずれか１つに記載の球技映像解析装置１００において、プロセッサ１０１は、移動体の追跡処理が完了するまで第１の音の出力を継続させてよい。
これにより、人物は、第１の音が聞こえている間、移動体の追跡処理が行われていることを認識できる。

【0099】

＜表現７＞
球技映像解析装置１００は、２台の撮像装置２０７がそれぞれ撮像する第１の動画１２３Ａ及び第２の動画１２３Ｂを受信する通信インタフェース１０３と、第１の動画１２３Ａ及び第２の動画１２３Ｂに基づく球技用の移動体（例えばボール）に対する人物（例えば選手）のアクション（例えばサーブ）の検出が可能であることを示す光を出力させるプロセッサ１０１と、を備える。
これにより、人物は、光の出力が見えた場合に、移動体に対するアクションを開始してよいことを認識できる。すなわち、光の出力により、球技映像解析装置１００がアクションの検出が可能な状況であることを人物に認識させることができる。

【0100】

＜表現８＞
表現７に記載の球技映像解析装置１００において、プロセッサ１０１は、人物を識別した後、光の出力を開始してよい。
これにより、人物は、光の出力が見えた場合に、当該人物の識別が完了したことを認識できる。

【0101】

＜表現９＞
表現８に記載の球技映像解析装置１００において、プロセッサ１０１は、人物の識別が完了するまで、光を出力させなくてよい。
これにより、人物は、光の出力が見えない場合、当該人物の識別が完了していないことを認識できる。

【0102】

＜表現１０＞
表現８又は９に記載の球技映像解析装置１００において、光は、識別した人物に予め割り当てられている色またはパターン画像であってよい。
これにより、人物は、当該人物に割り当てられた色の光が見えた場合に、当該人物の識別が完了し、移動体に対するアクションを開始してよいことを認識できる。

【0103】

＜表現１１＞
表現８から１０のいずれか１項に記載の球技映像解析装置１００において、プロセッサ１０１は、光の出力を開始してから所定期間（例えばサーブ促進前期間）内にアクションを検出できない場合、光を点滅させてよい。
これにより、球技映像解析装置１００は、光の点滅を人物に見せて、人物にアクションの実行を促すことができる。

【0104】

＜表現１２＞
球技映像解析方法として、人物（例えば選手）を識別し、識別した人物に割り当てられている第１の音（例えばテーマ曲１２４）を出力し、２台の撮像装置２０７がそれぞれ撮像する第１の動画１２３Ａ及び第２の動画１２３Ｂを受信し、第１の動画１２３Ａ及び第２の動画１２３Ｂに基づいて、球技用の移動体（例えばボール）に対する識別した人物のアクション（例えばサーブ）を解析する。
これにより、人物は、第１の音が聞こえた場合に、移動体に対するアクションを開始してよいことを認識できる。すなわち、第１の音の出力により、球技映像解析装置１００がアクションの検出が可能な状況であることを人物に認識させることができる。

【0105】

＜表現１３＞
コンピュータプログラムは、人物（例えば選手０を識別し、識別した人物に割り当てられている第１の音（例えばテーマ曲１２４）を出力し、２台の撮像装置２０７がそれぞれ撮像する第１の動画１２３Ａ及び第２の動画１２３Ｂを受信し、第１の動画１２３Ａ及び第２の動画１２３Ｂに基づいて、球技用の移動体（例えばボール）に対する識別した人物のアクションを解析する、ことをコンピュータに実行させる。
これにより、人物は、第１の音が聞こえた場合に、移動体に対するアクションを開始してよいことを認識できる。すなわち、第１の音の出力により、球技映像解析装置１００がアクションの検出が可能な状況であることを人物に認識させることができる。

【0106】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0107】

本開示の技術は、移動体を用いるスポーツの解析に有用である。

【符号の説明】

【0108】

１０ 球技映像解析システム
１００ 球技映像解析装置
１０１ プロセッサ
１０２ メモリ
１０３ 通信Ｉ／Ｆ
１０４ 入力Ｉ／Ｆ
１０５ 出力Ｉ／Ｆ
１０６ ストレージ
１２１ 選手ＩＤ
１２２ 顔特徴情報
１２３Ａ 第１の動画
１２３Ｂ 第２の動画
１２４ テーマ曲
１２５ 解析結果情報
２０ 携帯端末
２０Ａ 第１の携帯端末
２０Ｂ 第２の携帯端末
２０１ プロセッサ
２０２ メモリ
２０３ 通信Ｉ／Ｆ
２０４ 入力装置
２０５ 表示装置
２０６ 音出力装置
２０７ 撮像装置
２０８ 発光装置
２０９ ストレージ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】