特許 7503768 解析情報修正装置、解析情報修正方法、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-13

(45)【発行日】2024-06-21

(54)【発明の名称】解析情報修正装置、解析情報修正方法、及び、コンピュータプログラム

(51)【国際特許分類】

   H04N 5/76 20060101AFI20240614BHJP

   H04N 21/231 20110101ALI20240614BHJP

   H04N 5/783 20060101ALI20240614BHJP

   H04N 5/93 20060101ALI20240614BHJP

   H04N 7/18 20060101ALI20240614BHJP

【ＦＩ】

H04N5/76

H04N21/231

H04N5/783

H04N5/93

H04N7/18 U

【請求項の数】 7

(21)【出願番号】P 2020045204

(22)【出願日】2020-03-16

(65)【公開番号】P2021150668

(43)【公開日】2021-09-27

【審査請求日】2023-02-16

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】井村 康治

(72)【発明者】

【氏名】上田 純子

(72)【発明者】

【氏名】齋藤 優麻

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００５－２８６３７８（ＪＰ，Ａ）

【文献】特開２０１１－２２８９１８（ＪＰ，Ａ）

【文献】特開２０１５－０７０５０３（ＪＰ，Ａ）

【文献】特開２０１７－０５５１７５（ＪＰ，Ａ）

【文献】特開２０１９－１７６２６０（ＪＰ，Ａ）

【文献】国際公開第２００６／０７７８０６（ＷＯ，Ａ１）

【文献】上山 嵩 、北原 格、亀田 熊成、太田 友一，選手動作に基づくバドミントン競技映像の分割手法，第１３回情報科学技術フォーラム 講演論文集，第３分冊 ，日本，情報処理学会，2014年08月19日，pp.113-114

【文献】田靡 雅基、古山 純子、冨田 裕人、濱田 匡夫，画像センシング技術を活用したスポーツICTの取組み，映像情報メディア学会誌，日本，一般社団法人映像情報メディア学会，2019年09月01日， 第７３巻 第５号 ，pp.871-876

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ －５／７７５

Ｈ０４Ｎ ５／７８２－５／７８４

Ｈ０４Ｎ ５／９１ －５／９５６

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

球技のプレイを行う選手が撮影された映像ストリームを受信する映像受信部と、
受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成する録画部と、
前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩ（User Interface）を表示するＵＩ制御部と、を備え、
前記ＵＩ制御部は、
前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、
前記ラリー内に前記所定のアクションが行われたと判定した場合、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する、
解析情報修正装置。

【請求項2】

前記ＵＩ制御部は、前記ラリー内に前記所定のアクションが行われていないと判定した場合、前記ラリー録画データを、通常の再生速度よりも高速に再生して表示する、
請求項１に記載の解析情報修正装置。

【請求項3】

前記ＵＩ制御部は、
前記ラリー録画データの映像の表示を操作するための操作用ＵＩを表示し、
前記解析情報に含まれる前記所定のアクションが行われたタイミングを、表示中の前記ラリー録画データの映像が撮影されたタイミングに修正するための修正情報を生成する、
請求項１又は２に記載の解析情報修正装置。

【請求項4】

前記映像受信部は、撮影方向が互いに異なる第１の映像ストリーム及び第２の映像ストリームを受信し、
前記録画部は、前記第１の映像ストリームをラリー単位で録画した第１のラリー録画データと、前記第２の映像ストリームをラリー単位で録画した第２のラリー録画データとを生成し、
前記ＵＩ制御部は、ユーザからの指示に応じて、前記第１のラリー録画データの映像の表示と前記第２のラリー録画データの映像の表示とを切り替える、
請求項１から３のいずれか１項に記載の解析情報修正装置。

【請求項5】

前記球技はバレーボールであり、
前記所定のアクションは、前記ラリー内に行われた最後のアタックである、
請求項１から４のいずれか１項に記載の解析情報修正装置。

【請求項6】

情報処理装置により、球技プレイに関する解析情報を修正する解析情報修正方法であって、
球技のプレイを行う選手が撮影された映像ストリームを受信し、
受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、
前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、
さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、
前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する、
解析情報修正方法。

【請求項7】

球技のプレイを行う選手が撮影された映像ストリームを受信し、
受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、
前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、
さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、
前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する、
処理をコンピュータに実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、解析情報修正装置、解析情報修正方法、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

従来、バレーボール分析ソフトウェアとして「Ｄａｔａ Ｖｏｌｌｅｙ」が知られている。Ｄａｔａ Ｖｏｌｌｅｙは、このソフトウェアに精通したアナリストによって使用され、当該アナリストが主観的判断に基づいて、バレーボールの選手のプレイに関する情報をＤａｔａ Ｖｏｌｌｅｙに入力する。

【0003】

また、特許文献１には、コートを見下ろす四隅にカメラを設置し、これら４台のカメラを同期させて選手のプレイを撮影し、各カメラの撮影映像に基づいて、ボールの移動軌跡、選手のアクションの種類（例えばバレーボールにおけるサーブ、レセプション、ディグ、トス、アタック、ブロック）、及び、アクションを行った選手の背番号を解析して解析情報を自動的に生成する技術が開示されている。特許文献１の技術によれば、アナリストの主観的判断に頼ることなく、自動的に解析情報を生成できる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１９／２２５４１５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示の技術によって生成された解析情報が常に正確とは限らない。特許文献１に開示の技術では、選手のユニフォームの背番号を画像認識して、アクションを行った選手の背番号を特定しているが、例えば、ユニフォームがよじれていたり、選手の髪が背番号を覆っていたりして、背番号を正しく画像認識できない場合がある。この場合、解析情報に、背番号が記録されなかったり、誤った背番号が記録されたりし得る。

【0006】

本開示の目的は、球技を行う選手のプレイを解析して生成された解析情報を効率的に確認及び修正できる技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示に係る解析情報修正装置は、球技のプレイを行う選手が撮影された映像ストリームを受信する映像受信部と、受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成する録画部と、前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩ（User Interface）を表示するＵＩ制御部と、を備え、前記ＵＩ制御部は、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、前記ラリー内に前記所定のアクションが行われたと判定した場合、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する。

【0008】

本開示に係る解析情報修正方法は、情報処理装置により、球技プレイに関する解析情報を修正する解析情報修正方法であって、球技のプレイを行う選手が撮影された映像ストリームを受信し、受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する。

【0009】

本開示に係るコンピュータプログラムは、球技のプレイを行う選手が撮影された映像ストリームを受信し、受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する。

【0010】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示によれば、球技を行う選手のプレイを解析して生成された解析情報から所定のアクションが行われたタイミングのフレーム画像を頭出して再生されるラリー録画データにより、解析情報を効率的に確認及び修正できる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態に係る球技映像解析システムの構成例を示す図

【図2】解析情報の構成例を示す図

【図3】ラリーとラリー録画データと解析情報の確認及び修正作業との関係を説明するための図

【図4】本実施の形態に係る解析情報修正装置の構成例を示すブロック図

【図5】解析情報修正装置における処理の一例を示すフローチャート

【図6】第１のラリー録画データの映像を表示した修正用ＵＩの例を示す図

【図7】第２のラリー録画データの映像を表示した修正用ＵＩの例を示す図

【図8】番号入力用ＵＩの例を示す図

【図9】本開示に係る装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図

【発明を実施するための形態】

【0013】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0014】

（本実施の形態）
＜球技映像解析システムの構成＞
図１は、本実施の形態に係る球技映像解析システム１の構成例を示す図である。

【0015】

球技映像解析システム１は、球技のプレイを撮影した映像を解析し、当該球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１が対象とする移動体は、ボールに限らず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。球技映像解析システム１は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。

【0016】

球技映像解析システム１は、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、確認用カメラ２０Ａ、２０Ｂ、球技映像解析装置３０、データサーバ４０、ハブ５０、及び、解析情報修正装置１００を含む。

【0017】

解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは、例えば有線ＬＡＮ（Local Area Network）又は無線ＬＡＮを通じて、球技映像解析装置３０に接続される。確認用カメラ２０Ａ、２０Ｂ、球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００は、例えば有線ＬＡＮ又は無線ＬＡＮを通じて、ハブ５０に接続される。これらの装置２０Ａ、２０Ｂ、３０、４０、１００は、ハブ５０を介して、データを送受信できる。なお、球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００のうちの少なくとも１つは、インターネット網に接続され、いわゆるクラウドサービスとして構成されてもよい。

【0018】

解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは、球技を行う選手のプレイを撮影し、解析用動画のデータを生成する。解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは、生成した解析用動画を球技映像解析装置３０へ送信する。

【0019】

球技映像解析装置３０は、例えば特許文献１に開示の技術によって、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄから受信した解析用動画に基づき、球技に用いられる移動体の一例であるボールの移動軌跡と、プレイ中に行われた選手のアクションと、アクションが行われた時刻と、アクションを行った選手のチーム及び背番号とを解析する。なお、アクションが行われた「時刻」は、「時間」又は「タイミング」といった他の用語に読み替えられてもよい。また、アクションの種類は、バレーボールの場合、サーブ、レセプション、ディグ、トス、アタック、ブロックであってよい。

【0020】

そして、球技映像解析装置３０は、その解析の結果に基づいて、図２に例示するように、アクションが行われた時刻と、当該アクションを行った選手のチーム及び背番号と、当該アクションの種類とを対応付けた解析情報２００を生成する。球技映像解析装置３０は、解析用動画及び解析情報２００をデータサーバ４０に送信する。データサーバ４０は、送信された解析用動画及び解析情報２００を対応付けて管理する。

【0021】

特許文献１に開示の技術は、選手のユニフォームの背番号を画像認識して、アクションを行った選手の背番号を特定する。したがって、特許文献１に開示の技術は、ユニフォームがよじれていたり、選手の髪が背番号を覆っていたりして、背番号を正しく画像認識できない場合がある。この場合、解析情報２００に、背番号が記録されなかったり、誤った背番号が記録されたりし得る。このように不正確な解析情報２００が生成された場合に、当該解析情報２００を効率的に修正できる技術が求められている。そこで、以下では、球技映像解析装置３０によって生成された解析情報２００を効率的に修正する技術の一例について説明する。

【0022】

第１の確認用カメラ２０Ａ及び第２の確認用カメラ２０Ｂは、選手の背番号を撮影できる位置に設置される。例えば、図１に示すように、第１の確認用カメラ２０Ａは、一方のチーム側のコートの後方に、ネット方向を撮影するように設置され、第２の確認用カメラ２０Ｂは、他方のチーム側のコートの後方に、ネット方向を撮影するように設置される。

【0023】

第１の確認用カメラ２０Ａ及び第２の確認用カメラ２０Ｂは、それぞれ、球技を行う選手のプレイを撮影し、映像ストリームを生成する。以下、第１の確認用カメラ２０Ａが生成する映像ストリームを第１の映像ストリーム、第２の確認用カメラ２０Ｂが生成する映像ストリームを第２の映像ストリームという。

【0024】

第１の確認用カメラ２０Ａは、生成した第１の映像ストリームを解析情報修正装置１００に送信する。第２の確認用カメラ２０Ｂは、生成した第２の映像ストリームを解析情報修正装置１００に送信する。

【0025】

解析情報修正装置１００は、第１の映像ストリームを受信し、ラリー単位の録画データ（以下「第１のラリー録画データ」という）１５０Ａ（図４参照）を生成する。同様に、解析情報修正装置１００は、第２の映像ストリームを受信し、ラリー単位の録画データ（以下「第２のラリー録画データ」という）１５０Ｂ（図４参照）を生成する。ラリーとは、バレーボールの場合、サーブから始まり、得点が決まるまでの一連のプレイを意味する。なお、本実施の形態の説明では、第１のラリー録画データ１５０Ａ及び第２のラリー録画データ１５０Ｂを区別しない場合、ラリー録画データと表現する。

【0026】

解析情報修正装置１００は、１回のラリーのラリー録画データを再生すると共に、ユーザが当該ラリーの解析情報２００を確認及び修正するためのＵＩ（以下「修正用ＵＩ」という）３００（図６～図８参照）を表示する。ユーザは、ラリー録画データの再生を見ながら、修正用ＵＩ３００を通じて、当該ラリーの解析情報２００を確認及び修正する。以下、解析情報２００を修正した情報を、修正情報２０１（図４参照）という。

【0027】

図３は、ラリーと、ラリー録画データと、解析情報２００の確認及び修正作業との関係を説明するための図である。

【0028】

例えば、図３に示すように、バレーボールのプレイにおいて、１回目のラリー、２回目のラリー、・・・が実際に行われた場合、解析情報修正装置１００には、１回目のラリーが撮影されたラリー録画データ、２回目のラリーが撮影されたラリー録画データ、・・・が格納される。

【0029】

解析情報修正装置１００は、１回目のラリー終了後、１回目のラリーのラリー録画データを再生し、１回目のラリーの解析情報２００を確認及び修正するための修正用ＵＩ３００を表示する。ユーザは、当該修正用ＵＩ３００を通じて、１回目のラリーの解析情報２００を確認及び修正できる。同様に、解析情報修正装置１００は、２回目のラリー終了後、２回目のラリーのラリー録画データを再生し、２回目のラリーの解析情報２００を確認及び修正するための修正用ＵＩ３００を表示する。ユーザは、当該修正用ＵＩ３００を通じて、２回目のラリーの解析情報２００を確認及び修正できる。これを繰り返すことによって、ユーザは、各ラリーの解析情報２００を確認及び修正できる。

【0030】

図３に示すように、ユーザが３回目のラリーの解析情報２００の確認及び修正に時間がかかったとしても、４回目以降のラリーを撮影した映像ストリームは録画されているので、ユーザは、落ち着いて４回目以降のラリーの解析情報２００を確認及び修正できる。

【0031】

また、本実施の形態によれば、確認用カメラ２０Ａ、２０Ｂは、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄと別の位置に設置される。よって、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの映像からはアクションを行った選手の背番号が認識しにくい場合であっても、ユーザは、確認用カメラ２０Ａ、２０Ｂの映像から当該選手の背番号を認識し得る。

【0032】

また、球技映像解析装置３０によって解析情報２００が生成された後に、反則が判明したり、チャレンジ（審判の判定に対する不服申し立て）が行われたりして、ラリーの結果が変わることもある。本実施の形態によれば、このような場合であっても、ユーザは、修正用ＵＩ３００を通じて、解析情報２００を素早く修正できる。

【0033】

以下、解析情報修正装置１００について詳細に説明する。

【0034】

＜解析情報修正装置の構成＞
図４は、解析情報修正装置１００の構成例を示すブロック図である。

【0035】

解析情報修正装置１００は、映像受信部１０１、録画部１０２、解析情報送受信部１０３、情報格納部１０４、及び、ＵＩ制御部１０５を備える。なお、解析情報修正装置１００は、例えば、モバイルＰＣ、タブレット端末又はスマートフォン等であってよい。

【0036】

映像受信部１０１は、第１の確認用カメラ２０Ａ及び第２の確認用カメラ２０Ｂからそれぞれ第１の映像ストリーム及び第２の映像ストリームを受信する。

【0037】

録画部１０２は、第１の映像ストリームから、ラリー単位の録画データ（第１のラリー録画データ１５０Ａ）を生成する。同様に、録画部１０２は、第２の映像ストリームから、ラリー単位の録画データ（第２のラリー録画データ１５０Ｂ）を生成する。なお、録画部１０２は、解析情報２００を参照して、ラリーの区切りを特定してよい。例えば、図２に示す解析情報２００において、「ｅｎｄ」の行は、ラリーの区切りを示す。

【0038】

解析情報送受信部１０３は、データサーバ４０から解析情報２００を受信し、情報格納部１０４に格納する。また、解析情報送受信部１０３は、情報格納部１０４に格納された修正情報２０１を、データサーバ４０へ送信する。データサーバ４０は、受信した修正情報２０１に基づいて、解析情報２００を修正してもよい。

【0039】

ＵＩ制御部１０５は、第１のラリー録画データ１５０Ａ又は第２のラリー録画データ１５０Ｂを再生し、当該ラリーの解析情報２００を修正するための修正用ＵＩ３００を提供する。修正用ＵＩ３００は、出力装置１００２（図９参照）の一例であるディスプレイに表示される。ユーザは、入力装置１００１（図９参照）の一例であるタッチパネルを通じて、修正用ＵＩ３００を操作することにより、情報格納部１０４に格納された解析情報２００を修正する。修正用ＵＩ３００は、解析情報２００を修正した修正情報２０１を、情報格納部１０４に格納する。なお、修正用ＵＩ３００の詳細については後述する。

【0040】

＜解析情報修正装置における処理＞
図５は、解析情報修正装置１００におけるアタックに関する処理の一例を示すフローチャートである。

【0041】

ＵＩ制御部１０５は、１ラリー分の修正用ＵＩ３００を表示する（Ｓ１０１）。

【0042】

ＵＩ制御部１０５は、解析情報２００を参照し、解析情報２００の中に所定のアクションの一例である「アタック」が存在するか否かを判定する（Ｓ１０２）。

【0043】

解析情報２００に「アタック」が存在する場合（Ｓ１０２：ＹＥＳ）、ＵＩ制御部１０５は、ラリー録画データにおける最後のアタックの時刻のフレーム画像を、頭出しして表示する（Ｓ１０３）。このとき、ＵＩ制御部１０５は、頭出ししたフレーム画像を一時停止の状態で表示してもよい。あるいは、ＵＩ制御部１０５は、頭出ししたフレーム画像から再生を開始してもよい。あるいは、ＵＩ制御部１０５は、最後のアタックの時刻のフレーム画像から所定時間以前のフレーム画像を頭出しし、そのフレーム画像から再生を開始してもよい。これにより、ユーザは、得点を決めたアタック（つまり最後のアタック）及び当該アタックを行った選手が撮影された映像を効率的に確認できる。

【0044】

解析情報２００に「アタック」が存在しない場合（Ｓ１０２：ＮＯ）、ＵＩ制御部１０５は、ラリー録画を先頭から通常の再生速度よりも高速に（例えば倍速で）再生する（Ｓ１０４）。これにより、ユーザは、解析情報２００におけるアタックの解析漏れ等を効率的に確認できる。

【0045】

ＵＩ制御部１０５は、Ｓ１０３又はＳ１０４の処理中、ラリー終了ボタン３１０（図６～図８参照）が押下されたか否か（Ｓ１０５）、及び、修正ボタン３０９（図６～図８参照）が押下されたか否か（Ｓ１０６）を判定する。

【0046】

例えば、ユーザは、表示されたラリー録画データの映像を見て、最後のアタックの時刻、及び／又は、最後のアタックを行った選手のチーム及び背番号の修正を不要と考えた場合、修正ボタン３０９を押下することなく（Ｓ１０６：ＮＯ）、ラリー終了ボタン３１０を押下する（Ｓ１０５：ＹＥＳ）。

【0047】

ラリー終了ボタン３１０が押下された場合（Ｓ１０５：ＹＥＳ）、ＵＩ制御部１０５は、本処理を終了し（ＥＮＤ）、次のラリー分の修正用ＵＩ３００を表示する（Ｓ１０１）。

【0048】

例えば、ユーザは、表示されたラリー録画データの映像を見て、最後のアタックの時刻、及び／又は、最後のアタックを行った選手のチーム及び背番号の修正を必要と考えた場合、ラリー終了ボタン３１０を押下せずに（Ｓ１０５：ＮＯ）、修正用ＵＩ３００に含まれる各ボタン３０３～３０８（図６～図８参照）を操作して、最後のアタックが撮影されたフレーム画像を表示させる。そして、ユーザは、修正ボタン３０９を押下する（Ｓ１０６：ＹＥＳ）。

【0049】

修正ボタン３０９が押下された場合（Ｓ１０６：ＹＥＳ）、ＵＩ制御部１０５は、番号入力用ＵＩ３３０（図８参照）を表示する（Ｓ１０７）。例えば、ユーザは、番号入力用ＵＩ３３０を操作して、最後のアタックを行った選手のチーム及び背番号を入力し、ラリー終了ボタンを押下する（Ｓ１０８：ＹＥＳ）。

【0050】

ＵＩ制御部１０５は、ラリー終了ボタン３１０が押下されるまで待機し（Ｓ１０８：ＮＯ）、ラリー終了ボタン３１０が押下された場合（Ｓ１０８：ＹＥＳ）、次のＳ１０９の処理を実行する。

【0051】

ＵＩ制御部１０５は、Ｓ１０６にて修正ボタン３０９が押下されたときに表示されたアタックのフレーム画像の時刻と、Ｓ１０８にてラリー終了ボタン３１０が押下されたときに番号入力用ＵＩ３３０に入力されたチーム及び背番号と、アクション「アタック」とを対応付けた修正情報２０１を生成し、情報格納部１０４に格納する（Ｓ１０９）。そして、ＵＩ制御部１０５は、本処理を終了し（ＥＮＤ）、次のラリー分の修正用ＵＩ３００を表示する（Ｓ１０１）。

【0052】

以上の処理によれば、ユーザは、修正用ＵＩ３００を通じて、解析情報２００に含まれるラリー中の最後のアタックを行った選手のチーム及び背番号が正しいかどうかを効率的に確認できる。加えて、解析情報２００に含まれるラリー中の最後のアタックを行った選手のチーム及び背番号が正しくない場合、ユーザは、修正用ＵＩ３００を通じて、当該チーム及び背番号を効率的に修正できる。加えて、ラリーの最後のアタックを行った選手がいるにも関わらず、解析情報２００において、当該最後のアタックを行った選手のチーム及び背番号が検出されていない場合、ユーザは、修正用ＵＩ３００を通じて、当該最後のアタックを行った選手のチーム及び背番号を効率的に修正できる。

【0053】

次に、修正用ＵＩ３００について詳細に説明する。

【0054】

＜修正用ＵＩの詳細＞
図６は、第１のラリー録画データ１５０Ａの映像を表示した修正用ＵＩ３００の例を示す図である。図７は、第２のラリー録画データ１５０Ｂの映像を表示した修正用ＵＩ３００の例を示す図である。

【0055】

修正用ＵＩ３００は、表示領域３０１、シークバー３０２、カメラ切替ボタン３０３、再生／一時停止ボタン３０４、１秒戻しボタン３０５、１秒進みボタン３０６、倍速再生ボタン３０７、コマ送りボタン３０８、修正ボタン３０９、ラリー終了ボタン３１０、及び、ＵＩ終了ボタン３１１を含む。なお、各ボタン３０３～３１１は、操作用ＵＩの一例である。

【0056】

ＵＩ制御部１０５は、表示領域３０１に、ラリー録画データの映像を表示する。シークバー３０２は、表示領域３０１に表示中のラリー録画データの再生時刻を示すバーである。

【0057】

カメラ切替ボタン３０３が押下された場合、ＵＩ制御部１０５は、表示領域３０１に表示する映像を別の確認用カメラの映像に切り替える。すなわち、ＵＩ制御部１０５は、第１のラリー録画データ１５０Ａの映像が表示されている場合、第２のラリー録画データ１５０Ｂの映像に切り替え、第２のラリー録画データ１５０Ｂの映像が表示されている場合、第１のラリー録画データ１５０Ａの映像の表示に切り替える。ユーザは、カメラ切替ボタン３０３を操作して、背番号を確認したい選手のチーム側の映像を確認できる。

【0058】

ラリー録画データの再生中に再生／一時停止ボタン３０４が押下された場合、ＵＩ制御部１０５は、ラリー録画データの再生を一時停止する。ラリー録画データの一時停止中に再生／一時停止ボタン３０４が押下された場合、ＵＩ制御部１０５は、一時停止を解除し、ラリー録画データの再生を再開する。

【0059】

１秒戻しボタン３０５が押下された場合、ＵＩ制御部１０５は、ラリー録画データを１秒分戻して再生する。１秒進みボタン３０６が押下された場合、ＵＩ制御部１０５は、ラリー録画データを１秒分進めて再生する。なお、戻す秒数及び進める秒数は、１秒に限られず、何秒であってもよい。また、戻す秒数及び進める秒数は、ユーザによって設定可能であってもよい。

【0060】

倍速再生ボタン３０７が押下された場合、ＵＩ制御部１０５は、ラリー録画データを倍速で再生する。なお、高速再生の速度は、倍速に限られず、何倍の速度であってもよい。また、高速再生の速度は、ユーザによって設定可能であってもよい。

【0061】

コマ送りボタン３０８が押下された場合、ＵＩ制御部１０５は、表示領域３０１の映像を、１コマ分（１フレーム分）進める。なお、進めるコマ数（フレーム数）は、１コマに限られず、何コマであってもよい。また、進めるコマ数は、ユーザによって設定可能であってもよい。

【0062】

修正ボタン３０９が押下された場合、ＵＩ制御部１０５は、修正用ＵＩ３００内に、図８に示す番号入力用ＵＩ３３０を表示する。例えば、図５のＳ１０３の処理によって頭出しされて表示領域３０１に表示されたフレーム画像が、得点を決めたアタック（最後のアタック）を撮影したフレーム画像でない場合、ユーザは、次の操作を行う。すなわち、ユーザは、各ボタン３０３～３０８を操作して、得点を決めたアタックを撮影したフレーム画像を表示領域３０１に表示させる。そして、ユーザは、修正ボタン３０９を押下する。これにより、図５のＳ１０７の処理が実行され、番号入力用ＵＩ３３０が表示される。なお、番号入力用ＵＩ３３０の詳細については後述する。

【0063】

ラリー終了ボタン３１０が押下された場合、ＵＩ制御部１０５は、当該ラリーの修正を完了し、次のラリーの修正の処理を開始する。例えば、図５のＳ１０３の処理によって頭出しされて表示領域３０１に表示されたフレーム画像が、得点を決めたアタック（最後のアタック）を撮影したフレーム画像である場合、ユーザは、ラリー終了ボタン３１０を押下してよい。これにより、図３に示す１つのラリーの処理が完了し、次のラリーの処理が開始される。

【0064】

ＵＩ終了ボタン３１１が押下された場合、ＵＩ制御部１０５は、解析情報２００に対する修正処理を終了する。

【0065】

＜番号入力用ＵＩの詳細＞
図８は、番号入力用ＵＩ３３０の一例を示す図である。番号入力用ＵＩ３３０は、上述の通り、修正ボタン３０９が押下された場合に表示される。

【0066】

番号入力用ＵＩ３３０は、チーム入力ボタン３３１、背番号入力ボタン３３２、背番号表示領域３３３、及び、ラリー終了ボタン３１０を含む。

【0067】

ユーザは、最後のアタックを行った選手のチームに対応するチーム入力ボタン３３１を押下（選択）する。ＵＩ制御部１０５は、押下されたチーム入力ボタン３３１がわかるように、押下された方のチーム入力ボタン３３１の色を変更してよい。

【0068】

次に、ユーザは、背番号入力ボタン３３２を操作して、最後のアタックを行った選手の背番号を入力する。ＵＩ制御部１０５は、背番号入力ボタン３３２を通じて入力された背番号を、背番号表示領域３３３に表示する。なお、ユーザは、入力装置１００１の一例であるキーボードを操作して、背番号表示領域３３３に直接背番号を入力してもよい。

【0069】

背番号を入力後、ユーザは、ラリー終了ボタン３１０を押下する。ＵＩ制御部１０５は、ラリー終了ボタン３１０が押下された場合、図５のＳ１０９の処理を実行し、修正情報２０１を生成する。

【0070】

このように、ユーザは、番号入力用ＵＩ３３０を通じて、最後のアタックを行った選手のチーム及び背番号を容易に修正できる。

【0071】

＜ハードウェア構成＞
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００の機能は、コンピュータプログラムにより実現され得る。

【0072】

図９は、球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

【0073】

このコンピュータ１０００は、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどの記憶装置１００７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークを介して有線又は無線にて通信を行う送受信装置１００９を備え、各部は、バス１０１０により接続される。

【0074】

そして、読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１００７に記憶させる。

【0075】

そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。

【0076】

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0077】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

【0078】

（本開示のまとめ）
本開示に係る解析情報修正装置（１００）は、球技のプレイを行う選手が撮影された映像ストリームを受信する映像受信部（１０１）と、受信した前記映像ストリームをプレイのラリー単位で録画したラリー録画データ（１５０Ａ、１５０Ｂ）を生成する録画部（１０２）と、ラリー録画データの映像を表示すると共に、ラリー内に行われたプレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手とを対応付けた解析情報（２００）を修正するための修正用ＵＩ（３００）を表示するＵＩ制御部（１０５）と、を備える。なお、球技はバレーボールであり、所定のアクションは、ラリー内に行われた最後のアタックであってよい。

【0079】

この構成によれば、ユーザは、ラリー終了後に、ラリー録画データの映像を見ながら、修正用ＵＩを通じて、当該ラリーの解析情報を効率的に確認及び修正できる。

【0080】

また、ＵＩ制御部は、解析情報に基づいて、ラリー内に所定のアクション（例えば最後のアタック）が行われたか否かを判定し、ラリー内に所定のアクションが行われたと判定した場合、所定のアクションが行われたタイミングのラリー録画データの映像を表示してよい。

【0081】

この構成によれば、ラリー内に所定のアクションが行われた場合、当該所定のアクションが行われたタイミングのラリー録画データの映像が表示される。よって、ユーザは、当該ラリーの解析情報における当該所定のアクション及び当該アクションが行われたタイミングが正しいか否かを素早く確認できる。

【0082】

また、ＵＩ制御部は、ラリー内に所定のアクションが行われていないと判定した場合、ラリー録画データを、通常の再生速度よりも高速に再生して表示してよい。

【0083】

この構成によれば、ラリー内に所定のアクションが行われていない場合、ラリー録画データは、通常の再生速度よりも高速に再生される。よって、ユーザは、当該ラリーの解析情報において当該所定のアクションの検出漏れが生じているか否かを短時間で確認できる。

【0084】

また、ＵＩ制御部は、前記ラリー録画データの映像の表示を操作するための操作用ＵＩを表示し、解析情報に含まれる所定のアクションが行われたタイミングを、表示中のラリー録画データの映像が撮影されたタイミングに修正するための修正情報（２０１）を生成してよい。

【0085】

この構成によれば、ユーザは、操作用ＵＩを操作して、所定のアクションが行われたタイミングのラリー録画データの映像を表示させることにより、解析情報に含まれる当該所定のアクションが行われたタイミングを、表示中のラリー録画データの映像が撮影されたタイミングに修正できる。すなわち、ユーザは、効率的に解析情報を修正できる。

【0086】

また、映像受信部は、撮影方向が互いに異なる第１の映像ストリーム及び第２の映像ストリームを受信し、録画部は、前記第１の映像ストリームをラリー単位で録画した第１のラリー録画データ（１５０Ａ）と、前記第２の映像ストリームをラリー単位で録画した第２のラリー録画データ（１５０Ｂ）とを生成し、ＵＩ制御部は、ユーザからの指示に応じて、第１のラリー録画データの映像の表示と第２のラリー録画データの映像の表示とを切り替えてよい。

【0087】

この構成によれば、ユーザは、撮影方向が互いに異なる第１のラリー録画データの映像の表示と第２のラリー録画データの映像の表示とを切り替えて、各チームの選手の番号を確認できる。

【0088】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0089】

本開示の技術は、移動体を用いたスポーツの解析に利用可能である。

【符号の説明】

【0090】

１ 球技映像解析システム
１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ 解析用カメラ
２０Ａ 第１の確認用カメラ
２０Ｂ 第２の確認用カメラ
３０ 球技映像解析装置
４０ データサーバ
５０ ハブ
１００ 解析情報修正装置
１０１ 映像受信部
１０２ 録画部
１０３ 解析情報送受信部
１０４ 情報格納部
１０５ ＵＩ制御部
１５０Ａ 第１のラリー録画データ
１５０Ｂ 第２のラリー録画データ
２００ 解析情報
２０１ 修正情報
３００ 修正用ＵＩ
３０１ 表示領域
３０２ シークバー
３０３ カメラ切替ボタン
３０４ 再生／一時停止ボタン
３０５ １秒戻しボタン
３０６ １秒進みボタン
３０７ 倍速再生ボタン
３０８ コマ送りボタン
３０９ 修正ボタン
３１０ ラリー終了ボタン
３１１ ＵＩ終了ボタン
３３０ 番号入力用ＵＩ
３３１ チーム入力ボタン
３３２ 背番号入力ボタン
３３３ 背番号表示領域
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＧＰＵ
１００５ ＲＯＭ
１００６ ＲＡＭ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】