特許 7289080 球技映像解析装置、及び、球技映像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-01

(45)【発行日】2023-06-09

(54)【発明の名称】球技映像解析装置、及び、球技映像解析方法

(51)【国際特許分類】

   G06T 7/292 20170101AFI20230602BHJP

   G06T 7/20 20170101ALI20230602BHJP

   H04N 7/18 20060101ALI20230602BHJP

【ＦＩ】

G06T7/292

G06T7/20 300Z

H04N7/18 K

H04N7/18 U

【請求項の数】 8

(21)【出願番号】P 2020521172

(86)(22)【出願日】2019-05-15

(86)【国際出願番号】 JP2019019212

(87)【国際公開番号】W WO2019225415

(87)【国際公開日】2019-11-28

【審査請求日】2022-04-12

(31)【優先権主張番号】P 2018097086

(32)【優先日】2018-05-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】上田 純子

(72)【発明者】

【氏名】片山 優麻

(72)【発明者】

【氏名】田靡 雅基

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００６－０１２０１２（ＪＰ，Ａ）

【文献】国際公開第２０１６／１３９９０６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

球技の映像を解析する球技映像解析装置であって、
球技を撮影した複数の動画フレームを受信する映像受信部と、
前記複数の動画フレームに基づいて、球技用の移動体に対して前記球技の選手によるアクションが発生したか否かを判定するアクション判定部と、
前記アクションが発生した場合、前記複数の動画フレームの中から、当該アクションが発生したタイミングにおける動画フレームを、アクションフレームとして選択するアクションフレーム選択部と、
前記アクションフレームに対して、前記アクションが発生したタイミングにおける前記移動体の３次元位置に応じた検出領域を設定する検出領域設定部と、
前記検出領域から、前記アクションを行った選手が撮影されているアクター領域を検出する選手検出部と、
前記アクションフレームにおける前記アクター領域から、前記アクションを行った選手を認識するアクター認識部と、
を備える、
球技映像解析装置。

【請求項2】

前記映像受信部は、異なる位置にある複数のカメラがそれぞれ前記球技を撮影した前記複数の動画フレームを受信し、
前記球技映像解析装置は、前記複数の動画フレームを用いて前記移動体の軌跡を算出する軌跡算出部を更に備え、
前記アクション判定部は、前記移動体の軌跡の変化に基づいて、前記移動体に対して前記球技の選手によるアクションが発生したか否かを判定する、
請求項１に記載の球技映像解析装置。

【請求項3】

前記検出領域設定部は、
前記アクションが発生したタイミングにおける前記移動体の３次元位置の高さが所定の閾値以上の場合、前記検出領域を、前記移動体の画像が当該検出領域の上端に位置するように設定し、
前記アクションが発生したタイミングにおける前記移動体の３次元位置の高さが所定の閾値未満の場合、前記検出領域を、前記移動体の画像が当該検出領域の中心に位置するように設定する、
請求項２に記載の球技映像解析装置。

【請求項4】

前記アクションフレーム選択部は、前記アクションが発生したタイミングに対応する動画フレームを第１のアクションフレームとして選択し、当該第１のアクションフレームと異なるタイミングに対応する動画フレームを第２のアクションフレームとして選択する、
請求項２に記載の球技映像解析装置。

【請求項5】

前記選手検出部は、
前記第１のアクションフレームに設定された検出領域から、選手が撮影されている領域を複数検出した場合、前記タイミングにおける移動体の位置に最も近い領域を、前記アクター領域に選択し、
前記第２のアクションフレームに設定された検出領域から、選手が撮影されている領域を複数検出した場合、前記第１のアクションフレームの前記アクター領域に最も近い領域を、前記アクター領域に選択する、
請求項４に記載の球技映像解析装置。

【請求項6】

前記アクションフレーム選択部は、前記アクションが発生したタイミングにおける前記移動体の３次元位置に近い方に位置する少なくとも２つのカメラが撮影した動画フレームの中から、前記アクションフレームを選択する、
請求項２から５の何れか１項に記載の球技映像解析装置。

【請求項7】

前記アクター認識部は、前記アクションを行った選手のユニフォーム番号を認識することによって前記アクションを行った選手を認識する、
請求項１から６の何れか１項に記載の球技映像解析装置。

【請求項8】

球技の映像を解析する球技映像解析方法であって、
球技を撮影した複数の動画フレームを受信し、
前記複数の動画フレームに基づいて、球技用の移動体に対して前記球技の選手によるアクションが発生したか否かを判定し、
前記アクションが発生した場合、前記複数の動画フレームの中から、当該アクションが発生したタイミングにおける動画フレームを、アクションフレームとして選択し、
前記アクションフレームに対して、前記アクションが発生したタイミングにおける前記移動体の３次元位置に応じた検出領域を設定し、
前記検出領域から、前記アクションを行った選手が撮影されているアクター領域を検出し、
前記アクションフレームにおける前記アクター領域から、前記アクションを行った選手を認識する、
球技映像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、球技映像解析装置、及び、球技映像解析方法に関する。

【背景技術】

【0002】

スポーツ競技中の選手の動きを追跡してデータ化し、チームの戦略立案、及びスポーツ観戦者への情報提供等に用いることが行われている。現状このデータ化は、アナリストによって手動で行われているが、手間がかかるため、装置による自動化が望まれている。例えば、非特許文献１には、スポーツ競技を撮影した映像から、複数の選手の動きを自動的に追跡する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Junliang Xing, Haizhou Ai, Liwei Liu, and Shihong Lao "Multiple Player Tracking in Sports Video: A Dual-Mode Two-Way Bayesian Inference Approach With Progressive Observation Modeling", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.20, NO.6, JUNE 2011

【文献】Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１のようにスポーツ競技中の全選手の動きを追跡することは、処理負荷が高く、誤検出が生じ易いという問題がある。一方で、球技の場合、ボールに対してアクションを行った選手を特定することが重要であり、必ずしも全選手の動きを追跡する必要がない場合も多い。

【0005】

本開示の非限定的な一態様は、球技を撮影した映像から、ボールに対してアクションを行った選手を認識する球技映像解析装置及び球技映像解析方法の提供に資する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る球技映像解析装置は、球技の映像を解析する球技映像解析装置であって、球技を撮影した複数の動画フレームを受信する映像受信部と、前記複数の動画フレームに基づいて、球技用の移動体に対して前記球技の選手によるアクションが発生したか否かを判定するアクション判定部と、前記アクションが発生した場合、前記複数の動画フレームの中から、当該アクションが発生したタイミングにおける動画フレームを、アクションフレームとして選択するアクションフレーム選択部と、前記アクションフレームに対して、前記アクションが発生したタイミングにおける前記移動体の３次元位置に応じた検出領域を設定する検出領域設定部と、前記検出領域から、前記アクションを行った選手が撮影されているアクター領域を検出する選手検出部と、前記アクションフレームにおける前記アクター領域から、前記アクションを行った選手を認識するアクター認識部と、を備える。

【0007】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示の一態様によれば、球技を撮影した映像から、ボールに対してアクションを行った選手を認識できる。

【0009】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】一実施の形態に係る球技映像解析システムの概要を示す図

【図2】一実施の形態に係る球技映像解析装置の構成の例を示す図

【図3】一実施の形態に係る解析結果情報の例を示す図

【図4】一実施の形態に係る検出領域及びアクター領域の一例を示す図

【図5】一実施の形態に係る検出領域及びアクター領域の他の一例を示す図

【図6A】一実施の形態に係る同一選手判定処理において同一の選手と判定される場合の図

【図6B】一実施の形態に係る同一選手判定処理において異なる選手と判定される場合の図

【図7】一実施の形態に係るアクション判定処理を示すフローチャート

【図8】一実施の形態に係るアクター認識処理を示すフローチャート

【図9】本開示の実施の形態に係るハードウェア構成の例を示す図

【発明を実施するための形態】

【0011】

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0012】

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0013】

また、同種の要素を区別して説明する場合には、「カメラ３Ａ」、「カメラ３Ｂ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「カメラ３」のように参照符号のうちの共通番号のみを使用することがある。

【0014】

（一実施の形態）
＜球技映像解析システム＞
まず、図１を参照しながら、一実施の形態に係る球技映像解析システムの概要について説明する。

【0015】

球技映像解析システム１は、球技を撮影した映像を解析し、球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。球技に用いられる移動体は、典型的にはボールであるが、バドミントンに用いられるシャトル等であってもよい。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１は、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、又はバドミントンなど、様々な球技に適用可能である。また、球技映像解析システム１は、アイスホッケーのパック等、「球」の概念に当てはまらない形状の移動体にも適用可能である。すなわち、球技映像解析システム１は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。

【0016】

球技映像解析システム１は、複数のカメラ３（３Ａ、３Ｂ、３Ｃ、３Ｄ）と、表示装置４と、操作装置５と、球技映像解析装置１００と、を備える。

【0017】

複数のカメラ３は、それぞれ異なる位置に設置される。例えば、図１に示すように、各カメラ３は、高所からコート１０を異なる視点（画角）で撮影できる位置に設置される。なお、図１ではカメラ３が４台であるが、本実施の形態はこれに限られず、カメラ３は、２台以上であれば何台でもよい。２台以上のカメラ３を用いることにより、ボールの３次元位置を算出できる

【0018】

各カメラ３は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されている。各カメラ３は、球技中の状況を撮影し、撮影画像を生成する。そして、各カメラ３は、複数の撮影画像から動画フレームを生成する。そして、各カメラ３は、動画フレームを球技映像解析装置１００へ送信する。動画フレーム２０１（図２参照）は、複数の撮影画像が、例えば、ＭＰ４、Ｈ．２６４、Ｈ．２６５、又は、Ｍｏｔｉｏｎ ＪＰＥＧ等の規格に基づいて圧縮されたものであってよい。

【0019】

表示装置４は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されており、球技映像解析装置１００から出力される画像を表示する。表示装置４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。

【0020】

操作装置５は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されており、ユーザからの操作を受け付け、その操作の情報を球技映像解析装置１００へ送信する。操作装置５は、例えば、キーボード、マウス、マイク及び／又はタッチパネル等である。なお、操作装置５及び表示装置４は一体型の装置であってもよい。

【0021】

球技映像解析装置１００は、各カメラ３が撮影した動画フレームを用いて、ボールに対してアクションを行った選手を特定する。バレーボールの場合、ボールに対して行われるアクションには、サーブ、レセプション、ディグ、トス、アタック、及びブロック等がある。以下、ボールに対してアクションを行った選手を、「アクター」と表現する場合がある。

【0022】

なお、本実施の形態では、図１に示すように、コート１０の床面の中心点を原点Ｏとし、コート１０の床面に平行かつネット１１に平行な軸をＸ軸、コート１０の床面に平行かつネット１１に対して垂直な軸をＹ軸、コート１０の床面に対して垂直な軸をＺ軸とする。Ｘ軸は、審判１２から離れる方向を正方向、審判１２に近づく方向を負方向とする。Ｙ軸は、コート１０を向いた審判１２から見て左方向を正方向、右方向を負方向とする。Ｚ軸は、コート１０の床面から離れる方向を正方向とする。つまりＺ軸の座標ｚは、コート１０の床面からの高さに相当する。

【0023】

＜球技映像解析装置＞
次に、図２を参照しながら、球技映像解析装置１００について説明する。

【0024】

球技映像解析装置１００は、映像受信部１０１と、軌跡算出部１０２と、アクション判定部１０３と、アクションフレーム選択部１０４と、検出領域設定部１０５と、選手検出部１０６と、番号認識部１０７と、結果出力部１０８と、記憶部１０９とを有する。

【0025】

映像受信部１０１は、各カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０９に格納する。

【0026】

軌跡算出部１０２は、記憶部１０９に格納された複数の動画フレーム２０１に対して、例えば非特許文献２に開示されている手法を適用し、動画フレーム２０１が撮影された時刻（以下「フレーム時刻」という）におけるボールの３次元位置（ｘ，ｙ，ｚ）及び速度を算出する。そして、軌跡算出部１０２は、フレーム時刻とボールの３次元位置と速度とを対応付けてボール軌跡情報２０２を生成し、記憶部１０９に格納する。

【0027】

アクション判定部１０３は、ボール軌跡情報２０２から、ボールに対するアクションが発生したか否かを判定する。アクション判定部１０３は、アクションが発生したと判定した場合、アクションが発生したフレーム時刻（以下「アクションフレーム時刻」という）と、その発生したアクションの種別とを対応付けてアクション情報２０３を生成し、記憶部１０９に格納する。なお、アクション判定部１０３の詳細については後述する。

【0028】

アクションフレーム選択部１０４は、記憶部１０９に格納されている複数の動画フレーム２０１の中から、アクション情報２０３に含まれるアクションフレーム時刻に対応する動画フレームと、当該アクションフレーム時刻の近傍のフレーム時刻に対応する動画フレームとを、アクションフレームとして選択する。なお、アクションフレーム選択部１０４の詳細については後述する。

【0029】

検出領域設定部１０５は、アクションフレーム選択部１０４によって選択されたアクションフレームに対して、選手の検出が行われる領域である検出領域を設定する。なお、検出領域設定部１０５の詳細については後述する。

【0030】

選手検出部１０６は、検出領域設定部１０５によって設定された検出領域内の画像から、選手が撮影されている領域（以下「選手領域」という）を検出する。そして、選手検出部１０６は、複数の選手領域を検出した場合、アクションを行った選手（アクター）が撮影されている選手領域を、アクター領域として選択する。なお、選手検出部１０６の詳細については後述する。

【0031】

番号認識部１０７は、選手検出部１０６によって検出されたアクター領域内の画像から、アクターのユニフォーム番号を認識する。そして、番号認識部１０７は、アクションフレーム時刻と、その認識したアクターのユニフォーム番号とを対応付けてアクター情報２０４を生成し、記憶部１０９に格納する。なお、番号認識部１０７の詳細については後述する。

【0032】

結果出力部１０８は、ボール軌跡情報２０２と、アクション情報２０３と、アクター情報２０４とを対応付けて、解析結果情報２０５を生成し、記憶部１０９に格納する。例えば、アクション情報２０３においてアクションフレーム時刻Ｔとアクション種別「アタック」とが対応付けられており、アクター情報２０４においてアクションフレーム時刻Ｔとアクターのユニフォーム番号「１４」とが対応付けられている場合、結果出力部１０８は、図３に示すような解析結果情報２０５を生成する。すなわち、結果出力部１０８は、図３に示すように、ボール軌跡情報２０２のフレーム時刻Ｔに対して、アクション種別「アタック」と、アクターのユニフォーム番号「１４」とを対応付けた解析結果情報２０５を生成する。これにより、ユーザ又は他の装置は、解析結果情報２０５を用いて、フレーム時刻Ｔにおいて、ユニフォーム番号「１４」の選手（アクター）が、３次元位置（ｘ_Ｔ，ｙ_Ｔ，ｚ_Ｔ）のボールに対して、速度「Ｓ_Ｔ（ｋｍ／ｈ）」の「アタック」を行ったことを知ることができる。

【0033】

＜アクション判定部の詳細＞
次に、アクション判定部１０３の詳細について説明する。

【0034】

アクション判定部１０３は、ボール軌跡情報２０２に含まれるフレーム時刻毎のボールの３次元位置及び速度からボールの軌跡を算出する。そして、アクション判定部１０３は、その算出したボールの軌跡変化が所定の条件に合致した場合、ボールに対するアクションが発生したと判定する。そして、アクション判定部１０３は、アクションが発生したと判定した場合、その条件に合致したフレーム時刻を、アクションフレーム時刻とする。

【0035】

なお、アクション判定部１０３は、ボールの軌跡変化、ボールの３次元位置及び速度、並びに、球技のルール等に基づいて、アクション種別を判定してもよい。バレーボールのアクション種別には、サーブ、レセプション、ディグ、トス、アタック、及びブロック等がある。例えば、アクション判定部１０３は、解析開始から初めて検出されたボールの軌跡がＹ軸方向（図１に示すコートの長辺方向）の移動成分を有し、当該Ｙ軸方向のボールの速度成分が所定の範囲内である場合、アクション種別を「サーブ」と判定する。他の例として、アクション判定部１０３は、「サーブ」後にボールの軌跡がＹ軸においてネット１１の存在する座標を跨ぎ、かつ、ボールの３次元位置の変化が下降から上昇に転じた場合（すなわち、Ｚ軸方向の座標の変化がプラスに転じた場合）、アクション種別を「レセプション」と判定する。バレーボールのルール上、「サーブ」を受けるアクションは「レセプション」であるので、このようなルールに基づく判定を行うことにより、「レセプション」と「ディグ」を区別できる。

【0036】

同様に、アクション判定部１０３は、ボールの軌跡変化等が所定の条件に合致する場合に、競技のルールに準じた判定基準によって他のアクション種別を判定する。

【0037】

なお、上記では、３次元の情報を用いてアクションの発生を判定しているが、２次元又は１次元の情報を用いてアクションの発生を判定してもよい。例えば、上述した条件で「サーブ」の発生を判定する場合、Ｘ軸方向とＺ軸方向の情報を用いずに、解析開始の時刻とＹ軸方向の情報とから判定可能である。

【0038】

また、アクション判定部１０３は、アクションフレーム時刻及びアクション種別に対して、さらに、当該アクションフレーム時刻に対応するボールの３次元位置を対応付けてアクション情報２０３を生成してもよい。ボールの３次元位置の情報が、後述するアクションフレーム選択部１０４等において使用されるためである。

【0039】

＜アクションフレーム選択部の詳細＞
次に、アクションフレーム選択部１０４の詳細について説明する。

【0040】

アクションフレーム選択部１０４は、まず、アクションフレーム時刻に対応するボールの３次元位置に近い方の少なくとも２つのカメラ３を選択する。例えば、アクションフレーム選択部１０４は、ボールのｙ座標が０以上の場合（図１のコート１０の左側にボールがある場合）、カメラ３Ａと３Ｂを選択し、ボールのｙ座標が０未満の場合（図１のコート１０の右側にボールがある場合）、カメラ３Ｃと３Ｄを選択する。これにより、選手のユニフォームのユニフォーム番号を撮影している可能性の高いカメラ３が選択される。

【0041】

また、アクションフレーム選択部１０４は、上述で選択した各カメラ３の動画フレーム２０１から、アクション情報２０３のアクションフレーム時刻Ｔに対応する動画フレーム２０１と、アクションフレーム時刻Ｔよりも前方のフレーム時刻（例えばフレーム時刻Ｔ－３）に対応する動画フレーム２０１と、アクションフレーム時刻Ｔよりも後方のフレーム時刻（例えばフレーム時刻Ｔ＋３）に対応する動画フレーム２０１とをアクションフレームとして選択する。

【0042】

このように、複数のアクションフレームを選択することにより、仮に１つのアクションフレームにおいてアクターのユニフォーム番号が認識できなかったとしても、他のアクションフレームにおいてアクターのユニフォーム番号を認識できる場合がある。すなわち、アクターのユニフォーム番号を認識できる可能性が高まる。

【0043】

また、このように、２フレーム以上離れている動画フレーム２０１をアクションフレームとして選択することにより、仮に１つのアクションフレームにおいてアクターのユニフォーム番号が認識できなかったとしても、他のアクションフレームではアクターの姿勢が変化しており、アクターのユニフォーム番号を認識できる場合がる。すなわち、アクターのユニフォーム番号を認識できる可能性が高まる。

【0044】

なお、アクションフレームとして選択される動画フレームを２フレーム以上離すことは、あくまでも一例に過ぎない。アクターの姿勢が変化しており、かつ、アクターが撮影されている可能性の高いフレームを複数抽出することができるのであれば、３フレーム以上離れた動画フレーム２０１または１フレームしか離れていない動画フレーム２０１を、アクションフレームとして抽出してもよい。ただし、アクションフレーム時刻Ｔから離れ過ぎると、アクションを行ったアクターが動画フレーム２０１から外れてしまう可能性が高まる。したがって、例えば、６０ｆｐｓの動画に対応する動画フレーム２０１の場合、フレームを離す間隔は、１０フレーム程度を上限とすることが好ましい。

【0045】

また、アクションフレーム選択部１０４は、動画フレームの元となる動画のフレームレートの高低に応じて、アクションフレーム時刻Ｔから何フレーム離れている動画フレーム２０１を、アクションフレームとして抽出するかを決定してもよい。例えば、６０ｆｐｓの２フレームは３０ｆｐｓの１フレームに相当するので、アクションフレーム選択部１０４は、６０ｆｐｓの場合は２フレーム離れた動画フレーム２０１を、３０ｆｐｓの場合は１フレーム離れた動画フレーム２０１を選択する。これにより、ｆｐｓが異なっていても同程度の実時間に対応する動画フレーム２０１をアクションフレームとして抽出できる。

【0046】

また、アクションフレーム選択部１０４は、アクション判定部１０３が判定したアクションの種類に応じて、何フレーム以上離れている動画フレーム２０１を、アクションフレームとして選択するかを切り替えてもよい。球技では様々なアクションが行われるため、アクターの姿勢の変わり易さはアクションによって異なる。そのため、姿勢が大きく変わるアクションについて選択されたアクションフレーム同士が離れ過ぎていると、アクターが撮影されていない動画フレーム２０１が、アクションフレームとして選択されるおそれがある。一方、姿勢が変わりにくいアクションについて選択されたアクションフレーム同士が近すぎると、ほぼ同じ姿勢のアクターが撮影されている動画フレーム２０１が、アクションフレームとして選択されてしまい、全てのアクションフレームにおいてユニフォーム番号が認識できないおそれがある。そこで、アクションフレーム選択部１０４は、アクターの姿勢の変化が大きいアクションほど、アクションフレーム時刻Ｔに近い動画フレーム２０１をアクションフレームとして選択し、アクターの姿勢の変化が小さいアクションほど、アクションフレーム時刻Ｔから離れている動画フレーム２０１をアクションフレームとして選択する。これにより、上記のような問題の発生を軽減できる。

【0047】

また、球技映像解析装置１００は、何フレーム以上離れている動画フレーム２０１をアクションフレームとして選択すべきかの設定を、ユーザから手動で受け付けてもよい。同じアクションであっても、アクターの姿勢の変化の大きさを自動で完全に予想することは難しいため、ユーザの判断によってアクションフレームの選択基準を変更できることは、有益である。

【0048】

なお、アクションフレーム選択部１０４が、アクションフレーム時刻Ｔよりも前方又は後方のフレーム時刻に対応する動画フレーム２０１をアクションフレームとして選択する処理を行わない構成であったとしても、本実施の形態は実現可能である。また、アクションフレーム選択部１０４は、より多くの動画フレーム２０１をアクションフレームとして選択してもよいし、より少ない動画フレーム２０１をアクションフレームとして選択してもよい。また、アクションフレーム選択部１０４は、アクションフレーム時刻Ｔよりも前方及び後方のフレーム時刻から均等に動画フレームを選択するのではなく、前方又は後方の一方のフレーム時刻に対応するアクションフレームを選択してもよい。

【0049】

＜検出領域設定部の詳細＞
次に、検出領域設定部１０５の詳細について説明する。

【0050】

検出領域設定部１０５は、アクションフレーム選択部１０４によって選択された各アクションフレームに対して、アクションフレーム時刻Ｔにおけるボールの３次元位置に応じた検出領域を設定する。次に、図４及び図５を参照しながら、バレーボールにおける検出領域の設定について説明する。

【0051】

検出領域設定部１０５は、アクションフレーム時刻Ｔにおけるボールの座標ｚ（高さ）が所定の閾値（例えば２ｍ）以上である場合、図４に示すように、ボールの画像３０１Ａが検出領域３００Ａの上辺（上端）中央に位置するように、アクションフレームに対して検出領域３００Ａを設定する。ボールの座標ｚ（高さ）が所定の閾値以上の場合、ボールの下にアクターが存在する可能性が高いからである。なお、検出領域３００Ａは、ボール画像３０１Ａが厳密な上辺中央から１～数ピクセルずれた位置に設定されてもよい。本明細書における「上辺中央」は、このような位置も含むものとする。

【0052】

一方、検出領域設定部１０５は、アクションフレーム時刻Ｔにおけるボールの座標ｚ（高さ）が所定の閾値（例えば２ｍ）未満である場合、図５に示すように、ボールの画像３０１Ｂが検出領域３００Ｂの中心に位置するように、アクションフレームに対して検出領域３００Ｂを設定する。ボールの座標ｚ（高さ）が所定の閾値未満の場合、ボールの近傍にアクターが存在する可能性が高いからである。なお、検出領域３００Ｂは、ボール画像３０１Ｂが厳密な中心から１～数ピクセルずれた位置に設定されてもよい。本明細書における「中心」は、このような位置も含むものとする。

【0053】

このように、検出領域設定部１０５において検出領域３００を設定し、選手検出部１０６において検出領域３００内からアクター領域４００を検出することにより、アクションフレーム全体からアクター領域を検出するよりも、処理負荷が低減し、延いては処理時間が短縮する。これにより、球技映像解析装置１００は、ほぼリアルタイムでアクターのユニフォーム番号を認識でき得る。

【0054】

なお、検出領域３００のサイズは、競技中の選手がカメラ３に最も近づいた場合に当該選手が動画フレームに占めるサイズよりも、少し大きいことが好ましい。競技中の選手は、足を大きく開いたり、スライディングしたりなど、多様な姿勢をとり、また、フレーム間における移動距離も大きいためである。

【0055】

＜選手検出部の詳細＞
次に、選手検出部１０６の詳細について説明する。

【0056】

まず、選手検出部１０６は、各検出領域３００内から、選手（人物）が撮影されている領域（以下「選手領域」という）を検出する。例えば、選手検出部１０６は、競技中の複数の選手画像をディープラーニングによって学習させた選手検出用のモデル（ニューラルネットワーク）を用いて、検出領域３００内から選手領域を検出する。

【0057】

次に、選手検出部１０６は、その検出した選手領域の中から、アクターが撮影されている選手領域を、アクター領域として選択する。例えば、選手検出部１０６は、検出した選手領域が１つである場合、当該選手領域をアクター領域４００として選択し、検出した選手領域が複数である場合、次の（Ａ１）及び（Ａ２）によって、１つの選手領域をアクター領域４００として選択する。

【0058】

（Ａ１）複数の選手領域を、アクションフレーム時刻Ｔのアクションフレームから検出した場合、選手検出部１０６は、３次元空間上において、アクションフレーム時刻Ｔにおけるボールの３次元位置と最も近い選手領域を、アクター領域４００として選択する。

【0059】

（Ａ２）複数の選手領域を、アクションフレーム時刻Ｔの前方（例えばフレーム時刻Ｔ－３）又は後方（例えばフレーム時刻Ｔ＋３）のアクションフレームから検出した場合、３次元空間上において、上記（Ａ１）で選択したアクター領域４００と最も近い選手領域を、アクター領域４００として選択する

【0060】

なお、選手検出部１０６は、アクター領域４００におけるアクターの姿勢を推定し、カメラ３に背中を向けている姿勢であると推定した場合、当該アクター領域４００を残し、他の姿勢であると推定した場合、当該アクター領域４００を破棄してもよい。これにより、ユニフォーム番号５００が撮影されているアクター領域４００が残り、ユニフォーム番号５００が撮影されていないアクター領域４００が破棄されるので、番号認識部１０７における番号の誤認識が低減する。

【0061】

＜＜同一選手判定＞＞
なお、選手検出部１０６は、上記のように各アクションフレームから検出したアクター領域４００について、それらのアクター領域４００が同一の選手のものであるか否かを判定してもよい。以下、この判定処理を「同一選手判定処理」と呼ぶ。

【0062】

次に、図６Ａ、図６Ｂを参照しながら、同一選手判定処理の一例について説明する。図６Ａは、同一選手と判定される場合の図であり、図６Ｂは、異なる選手と判定される場合の図である。

【0063】

まず、選手検出部１０６は、図６Ａに示すように、カメラ３Ａの位置から、当該カメラ３Ａがフレーム時刻ｔに撮影したアクションフレームから検出したアクター領域４００Ｃの上辺中央４０１Ａの位置へ延びるベクトル線４０２Ａを算出する。同様に、選手検出部１０６は、図６Ａに示すように、カメラ３Ｂの位置から、当該カメラ３Ｂがフレーム時刻ｔに撮影したアクションフレームから検出したアクター領域４００Ｄの上辺中央４０１Ｂの位置へ延びるベクトル線４０２Ｂを算出する。

【0064】

次に、選手検出部１０６は、ベクトル線４０２Ａとベクトル線４０２Ｂとの最小距離４０３Ａが所定の閾値未満である場合、アクター領域４００Ｃとアクター領域４００Ｄとは同一の選手のものであると判定し、当該最小距離４０３Ａが所定の閾値以上である場合、アクター領域４００Ｃとアクター領域４００Ｄとは異なる選手のものであると判定する。例えば、図６Ａの場合、最小距離４０３Ａが所定の閾値未満であるので、選手検出部１０６は、アクター領域４００Ｃとアクター領域４００Ｄとは同一の選手のものであると判定する。一方、図６Ｂの場合、最小距離４０３Ｂが所定の閾値以上であるので、選手検出部１０６は、アクター領域４００Ｄとアクター領域４００Ｅとは異なる選手のものであると判定する。

【0065】

この判定について、以下、より詳細に説明する。

【0066】

同一の選手の同一の部位は、同一の３次元座標に存在する。そのため、図６Ａのように、カメラ３Ａ、３Ｂの３次元座標が異なっていたとしても、ベクトル線４０２Ａと４０２Ｂは理想的には一点（同一の選手の同一の部位）で交わることになる。アクター領域４００Ｃおよび４００Ｄの抽出の精度によっては、多少ベクトル線がずれることはあり得るものの、同一の人物が検出されている限り、ベクトル線４０２Ａと４０２Ｂとが極端に離れる可能性は低い。そこで、選手検出部１０６は、ベクトル線４０２Ａと４０２Ｂの最短距離が閾値未満である場合には、アクター領域４００Ｃとアクター領域４００Ｄとは同一の選手のものであると判定する。

【0067】

一方、図６Ｂのように、アクター領域４００Ｄと４００Ｅで異なる選手が検出されている場合、同一であるかのように見える部位（４０１Ｂと４０１Ｃ）は、３次元空間内では明らかに異なる座標に存在する。その結果、ベクトル線４０２Ｂと４０２Ｃは、互いにねじれの位置を通過し、ベクトル線間の最小距離４０３Ｂは、同一の選手が検出されている場合よりも明らかに大きくなる。そこで、選手検出部１０６は、ベクトル線４０２Ｂと４０２Ｃの最短距離が閾値以上である場合には、アクター領域４００Ｄとアクター領域４００Ｅとは異なる選手のものであると判定する。例えば、図６Ｂでは、アクター領域４００Ｄでは、ユニフォーム番号「１３」の選手が検出され、アクター領域４００Ｅでは、ユニフォーム番号「１３」の手前に存在する、より背の高いユニフォーム番号「３３」の選手が検出されている。この場合、ベクトル線４０２Ｃはベクトル線４０２ＢよりもＺ軸方向において明らかに高い位置を通過する。そのため、ベクトル線４０２Ｂとベクトル線４０２Ｃとの間の最短距離は大きくなり、アクター領域４００Ｄとアクター領域４００Ｅとで異なる選手が検出されていることが判る。

【0068】

なお、選手検出部１０６は、同一の選手のものであると判定したアクター領域４００を残し、異なる選手のものであると判定したアクター領域４００を破棄してもよい。これにより、異なる選手がアクター領域４００として誤検出される可能性が低減するので、番号認識部１０７において、互いに異なるユニフォーム番号５００が認識される可能性が低減する。すなわち、アクターのユニフォーム番号の認識精度が向上する。

【0069】

＜番号認識部の詳細＞
次に、番号認識部１０７の詳細について説明する。

【0070】

番号認識部１０７は、各アクター領域４００から、アクターのユニフォームの番号５００を認識する。例えば、番号認識部１０７は、複数の選手のユニフォームの数字画像をディープラーニングによって学習させたユニフォーム番号検出用のモデル（ニューラルネットワーク）を用いて、アクター領域４００内から、アクターのユニフォーム番号５００を認識する。

【0071】

なお、番号認識部１０７は、各アクター領域４００から認識したユニフォーム番号５００が一致しない場合、多数決によってアクターのユニフォーム番号５００を決定してよい。例えば、６つのアクター領域４００から認識したユニフォーム番号５００のうち、４つのユニフォーム番号が「１３」、２つのユニフォーム番号が「１０」であった場合、番号認識部１０７は、一致した数が４つと最も多いユニフォーム番号「１３」を、アクターのユニフォーム番号に決定する。

【0072】

また、番号認識部１０７は、まず、アクター領域４００から番号の画像領域を検出し、次に、その検出した画像領域から番号自体を認識する、という２段階で処理を行ってもよい。

【0073】

また、番号認識部１０７は、各アクター領域４００について、認識されたユニフォーム番号の候補の確からしさを示す尤度（例えば０以上～１以下の値）を算出し、尤度を加算した結果が最も大きな候補を、アクターのユニフォーム番号と決定してもよい。上述した多数決の場合、認識した番号の確からしさは、決定に影響を与えないため、１つのアクター領域４００から認識されたユニフォーム番号「１６」が９０％正しいものであり、２つのアクター領域４００から認識されたユニフォーム番号「１０」が３０％正しいものであったとしても、正しいユニフォーム番号は、「１０」と決定されてしまう。一方、このように尤度を考慮した決定を行うことによって、認識した番号の確からしさを、番号の決定に反映することができる。

【0074】

＜処理フロー＞
次に、球技映像解析装置１００における処理フローについて説明する。処理フローは、アクション判定処理と、アクター認識処理とに大別される。

【0075】

＜＜アクション判定処理＞＞
次に、図７に示すフローチャートを参照しながら、アクション判定処理について説明する。

【0076】

映像受信部１０１は、カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０９に格納する（Ｓ１０１）。軌跡算出部１０２は、記憶部１０９に格納された複数の動画フレーム２０１から、各フレーム時刻におけるボールの３次元位置及び速度を算出し、ボール軌跡情報２０２を生成する（Ｓ１０２）。

【0077】

アクション判定部１０３は、ボール軌跡情報２０２から、ボールに対するアクションが発生したか否かを判定する（Ｓ１０３）。アクションが未発生と判定した場合（Ｓ１０３：ＮＯ）、本フローはＳ１０１に戻る。アクションが発生したと判定した場合（Ｓ１０３：ＹＥＳ）、アクション判定部１０３は、アクション情報２０３を生成し（Ｓ１０４）、アクター認識処理のスレッドを生成する（Ｓ１０５）。そして、本フローは、Ｓ１０１に戻る。

【0078】

＜＜アクター認識処理＞＞
次に、図８に示すフローチャートを参照しながら、アクター認識処理について説明する。当該アクター認識処理は、図７のＳ１０５において生成されるスレッドの処理に相当する。

【0079】

アクションフレーム選択部１０４は、アクション情報２０３に含まれるボールの３次元位置と、カメラ３の位置とに基づいて、少なくとも２つのカメラ３を選択する（Ｓ２０１）。

【0080】

次に、アクションフレーム選択部１０４は、Ｓ２０１で選択した各カメラ３の動画フレーム２０１から、アクションフレーム時刻に対応するアクションフレームと、当該アクションフレーム時刻の前後のフレーム時刻に対応するアクションフレームとを選択する（Ｓ２０２）。

【0081】

次に、検出領域設定部１０５は、Ｓ２０２で選択された各アクションフレームに対して、検出領域３００を設定する（Ｓ２０３）。

【0082】

次に、選手検出部１０６は、Ｓ２０３で設定された各検出領域３００から、選手領域を検出する（Ｓ２０４）。そして、選手検出部１０６は、Ｓ２０４で検出した各選手領域の中から、アクター領域４００を選択する（Ｓ２０５）。そして、選手検出部１０６は、Ｓ２０１で選択された各カメラ３のアクター領域４００を用いて、同一選手判定処理を行う（Ｓ２０６）。なお、当該同一選手判定処理は省略されてもよい。

【0083】

次に、番号認識部１０７は、各アクター領域４００からユニフォーム番号５００を認識し、アクターのユニフォーム番号を決定する（Ｓ２０７）。なお、番号認識部１０７は、認識したユニフォーム番号５００が一致しない場合、上述の通り、最も多いユニフォーム番号５００をアクターのユニフォーム番号に決定する。

【0084】

次に、番号認識部１０７は、アクションフレーム時刻Ｔと、Ｓ２０７で検出したアクターのユニフォーム番号とを対応付けたアクター情報２０４を生成し、記憶部１０９に格納する（Ｓ２０８）。そして、本フローは、終了する（ＥＮＤ）。

【0085】

このように、球技映像解析装置１００は、アクション判定処理を繰り返し実行し、アクションが発生したと判定した場合に、アクター認識処理のスレッドを生成し、アクターのユニフォーム番号を認識する。これにより、アクター認識処理は、ボールに対するアクションが発生した場合にのみ実行されるので、球技映像解析装置１００の処理負荷を低減できる。

【0086】

＜実施の形態のまとめ＞
本実施の形態では、球技映像解析装置１００は、カメラ３Ａ～３Ｄから動画フレーム２０１を受信し、それら受信した複数の動画フレーム２０１から、ボールの軌跡を算出し、その算出したボールの軌跡変化に基づいて、ボールに対して選手によるアクションが発生したか否かを判定し、アクションが発生した場合、複数の動画フレーム２０１の中から、当該アクションが発生したタイミングにおける動画フレームをアクションフレームとして選択し、当該アクションフレームからアクションを行った選手（アクター）を、例えばユニフォーム番号５００によって認識する。

【0087】

これにより、球技を撮影した動画フレームに基づいて、ボールに対してアクションを行った選手（アクター）を特定できる。

【0088】

また、本実施の形態では、上記アクションフレームに対して、アクションが発生したタイミングにおけるボールの３次元位置に応じた検出領域３００を設定し、その検出領域３００からアクターが撮影されているアクター領域４００を検出し、そのアクター領域４００から、アクターを認識してもよい。

【0089】

これにより、アクターの検出処理が、検出領域３００内に限定して行われ、ユニフォームの番号５００の認識処理が、アクター領域４００内に限定して行われる。したがって、動画フレーム全体に対してアクターの検出処理及びユニフォームの番号の認識処理を行う場合と比較して、処理負荷を低減できる。よって、球技映像解析装置１００は、ほぼリアルタイムでアクターを認識でき得る。

【0090】

以上、実施の形態について説明した。

【0091】

上述の実施の形態において説明してきた球技映像解析装置１００の機能は、コンピュータプログラムにより実現され得る。

【0092】

図９は、球技映像解析装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

【0093】

このコンピュータ２１００は、キーボード又はマウス、タッチパッドなどの入力装置２１０１（操作装置５に相当）、ディスプレイ又はスピーカーなどの出力装置２１０２（表示装置４に相当）、ＣＰＵ（Central Processing Unit）２１０３、ＧＰＵ（Graphics Processing Unit）２１０４、ＲＯＭ（Read Only Memory）２１０５、ＲＡＭ（Random Access Memory）２１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０８、ネットワークを介して通信を行う送受信装置２１０９を備え、各部はバス２１１０により接続される。

【0094】

そして、読取装置２１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０７に記憶させる。あるいは、送受信装置２１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０７に記憶させる。

【0095】

そして、ＣＰＵ２１０３が、記憶装置２１０７に記憶されたプログラムをＲＡＭ２１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

【0096】

例えば、球技映像解析装置１００の機能に相当する映像受信部１０１、軌跡算出部１０２、アクション判定部１０３、アクションフレーム選択部１０４、検出領域設定部１０５、選手検出部１０６、番号認識部１０７及び結果出力部１０８は、ＣＰＵ２１０３で実行されるプログラムであってよい。また、球技映像解析装置１００の記憶部１０９は、ＲＡＭ２１０６及び／又は記憶装置２１０７によって構成されてよい。

【0097】

また、汎用的な機能を持つＣＰＵ２１０３に替えて、ＧＰＵ２１０４によってプログラムに含まれる命令を実行することにより、上記各装置の機能を実現してもよい。

【0098】

また、上記の実施の形態で説明した球技映像解析システム１は、球技映像解析装置１００にカメラ３が接続されている構成であったが、球技映像解析システム１の構成は、これに限られない。例えば、球技映像解析システム１は、カメラ３が撮影した動画を、連続する静止画に分解する装置をさらに備え、当該装置によって静止画の集合に分解された結果を受け取った球技映像解析装置１００が解析を行う構成であってもよい。この場合、上述の「動画フレーム」は、分解された静止画の１枚に対応する。すなわち、本明細書における「動画フレーム」は、カメラ３から提供された動画を直接解析して得られるものであってもよいし、球技映像解析装置１００とは異なる装置から提供されるフレーム時刻と対応付けられた各静止画であってもよい。

【0099】

また、上記の実施の形態では、球技映像解析装置１００は、軌跡変化が所定の条件に合致した場合にアクションが発生したものと判定しているが、軌跡変化が物理法則と明らかに異なる場合にアクションが発生したものと判定してもよい。例えば、空中に存在するボールが地面に接する前に放物線軌道から外れた場合、何らかのアクションが発生したものと判定する。また、アクション発生の判定において、軌跡変化が物理法則と異なったか否かの判定と、特定のパターンに合致したか否かの判定との両方を考慮してもよい。

【0100】

また、上記の実施の形態では、球技映像解析装置１００は、アクターのユニフォーム番号５００を認識していたが、これはアクションに関連するアクターを特定するための一手段に過ぎない。最終的にアクターを認識することができるのであれば、ユニフォーム番号以外の情報を用いてもよい。例えば、アクターがカメラ３に対して正面を向いているのであれば、ユニフォーム番号を使用せずとも、顔認証によってアクターを特定することができる。もちろん、顔認証を用いる場合もユニフォーム番号を併用して認識の精度向上を図ってよい。したがって、番号認識部１０７は、「アクター認識部」と読み替えることもできる。

【0101】

また、上記の実施の形態の説明に用いた各機能は、集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0102】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

【0103】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0104】

本特許出願は２０１８年５月２１日に出願した日本国特許出願第２０１８－０９７０８６号に基づきその優先権を主張するものであり、日本国特許出願第２０１８－０９７０８６号の全内容を本願に援用する。

【産業上の利用可能性】

【0105】

本開示は、スポーツ競技を解析する装置及び方法に利用できる。

【符号の説明】

【0106】

３、３Ａ、３Ｂ、３Ｃ、３Ｄ カメラ
１ 球技映像解析システム
４ 表示装置
５ 操作装置
１００ 球技映像解析装置
１０１ 映像受信部
１０２ 軌跡算出部
１０３ アクション判定部
１０４ アクションフレーム選択部
１０５ 検出領域設定部
１０６ 選手検出部
１０７ 番号認識部
１０８ 結果出力部
１０９ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】