特許 7074727 スポーツ行動認識装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-16

(45)【発行日】2022-05-24

(54)【発明の名称】スポーツ行動認識装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220517BHJP

   A63B 69/00 20060101ALI20220517BHJP

【ＦＩ】

G06T7/20 300Z

A63B69/00 A

A63B69/00 517

【請求項の数】 10

(21)【出願番号】P 2019141201

(22)【出願日】2019-07-31

(65)【公開番号】P2021026292

(43)【公開日】2021-02-22

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】田坂 和之

(72)【発明者】

【氏名】徐 建鋒

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０１８／２０３４５３（ＷＯ，Ａ１）

【文献】特開２００８－１６７１２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ６９／００－６９／４０

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

競技者が壁を登る速さを競う登坂系競技のスポーツ行動認識装置において、
競技映像のフレーム画像を取得するフレーム画像取得手段と、
前記フレーム画像から登坂コースを抽出する登坂コース抽出手段と、
抽出した登坂コースごとに前記フレーム画像の下方から人物領域を抽出して上方へ追跡する人物領域抽出手段と、
各人物領域から骨格情報を抽出する骨格情報抽出手段と、
前記骨格情報に基づいて各競技者の行動を分析する行動分析手段と、
前記行動分析の結果を出力する手段とを具備したことを特徴とするスポーツ行動認識装置。

【請求項2】

前記行動分析手段は、登坂コースに設けられた各ホールドの位置と競技者の手関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析することを特徴とする請求項１に記載のスポーツ行動認識装置。

【請求項3】

前記行動分析手段は、何時、どのホールドに、いずれの手指でアクセスしているかを分析することを特徴とする請求項２に記載のスポーツ行動認識装置。

【請求項4】

前記行動分析手段は、登坂コースに設けられた各ホールドの位置と競技者の足関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析することを特徴とする請求項１ないし３のいずれかに記載のスポーツ行動認識装置。

【請求項5】

前記行動分析手段は、何時、どのホールドに、いずれの足指または足裏でアクセスしているかを分析することを特徴とする請求項４に記載のスポーツ行動認識装置。

【請求項6】

前記人物領域抽出手段は、一つの登坂コースから複数の人物領域が抽出されると、信頼度が所定の閾値以上の人物領域の中で大きさが最大の人物領域のみを残して他を破棄することを特徴とする請求項１ないし５のいずれかに記載のスポーツ行動認識装置。

【請求項7】

前記人物領域抽出手段は、信頼度が所定の閾値以上の人物領域が存在しないと、全ての人物領域の中で大きさが最大の人物領域のみを残して他を破棄することを特徴とする請求項６に記載のスポーツ行動認識装置。

【請求項8】

前記人物領域抽出手段は、人物領域の大きさをその外周長に基づいて判断することを特徴とする請求項６または７に記載のスポーツ行動認識装置。

【請求項9】

競技者が壁を登る速さを競う登坂系競技のスポーツ行動をコンピュータで認識する方法において、
競技映像のフレーム画像を取得する手順と、
前記フレーム画像から登坂コースを抽出する手順と、
抽出した登坂コースごとに前記フレーム画像の下方から人物領域を抽出して上方へ追跡する手順と、
各人物領域から骨格情報を抽出する手順と、
前記骨格情報に基づいて各競技者の行動を分析する手順と、
前記行動分析の結果を出力する手順とを含むことを特徴とするスポーツ行動認識方法。

【請求項10】

競技者が壁を登る速さを競う登坂系競技のスポーツ行動をコンピュータに認識させるプログラムにおいて、
競技映像のフレーム画像を取得する手順と、
前記フレーム画像から登坂コースを抽出する手順と、
抽出した登坂コースごとに前記フレーム画像の下方から人物領域を抽出して上方へ追跡する手順と、
各人物領域から骨格情報を抽出する手順と、
前記骨格情報に基づいて各競技者の行動を分析する手順と、
前記行動分析の結果を出力する手順とを、コンピュータに実行させることを特徴とするスポーツ行動認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スポーツ行動認識装置、方法およびプログラムに係り、特に、スピードクライミング等の登坂系競技における競技者の行動認識に好適なスポーツ行動認識装置、方法およびプログラムに関する。

【背景技術】

【0002】

カメラ映像のフレーム画像から人物領域を矩形のBounding Boxとして抽出する技術が非特許文献３に開示されている。また、人物領域から骨格情報を抽出して人物の行動を分析、認識する技術が非特許文献１，２および特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特願2018-514089号

【非特許文献】

【0004】

【文献】SSD：Single Shot Multi Detector https://arxiv.org/pdf/1512.02325.pdf

【文献】OpenPose：Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields https://arxiv.org/pdf/1812.08008.pdf

【文献】Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の行動分析技術は、人物の移動や体の大まかな動きを分析対象としており、手指や足指といった末梢部位の骨格については行動分析の情報として重要視しておらず、行動分析の対象として注目されていなかった。

【0006】

一方、スピードクライミングのような登坂系の競技では、手指や足指の使い方が初心者と上級者とで大きく異なる。したがって、スピードクライミングをテレビ中継する際は、競技者の手指や足指の動きを分析し、これをテレビ解説や競技者の学習に役立てるようにできれば、登坂系競技の活性化につながることが期待できる。

【0007】

さらに、スピードクライミングは競技時間が極めて短く（６秒弱）、短時間での行動分析が要求されることから、人物領域の抽出および骨格情報の分析を短時間で行う必要があった。

【0008】

本発明の目的は、上記の技術課題を解決し、人物領域および骨格情報の抽出を短時間で行い、手指や足指などの骨格情報に基づく行動認識を実現できるスポーツ行動認識装置、方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記の目的を達成するために、本発明は、競技者が壁を登る速さを競う登坂系競技のスポーツ行動認識装置において、以下の構成を具備した点に特徴がある。

【0010】

(1) 競技映像のフレーム画像を取得するフレーム画像取得手段と、フレーム画像の下方から人物領域を抽出して上方へ追跡する人物領域抽出手段と、各人物領域から骨格情報を抽出する骨格情報抽出手段と、前記骨格情報に基づいて各競技者の行動を分析する行動分析手段と、前記行動分析の結果を出力する手段とを具備した。

【0011】

(2) フレーム画像から登坂コースを抽出する登坂コース抽出手段を更に具備し、人物領域抽出手段は、登坂コースごとに下方から人物領域を抽出して上方へ追跡するようにした。

【0012】

(3) 行動分析手段は、登坂コースに設けられた各ホールドの位置と競技者の手関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析するようにした。

【0013】

(4) 行動分析手段は、何時、どのホールドに、いずれの手指でアクセスしているかを分析するようにした。

【0014】

(5) 行動分析手段は、登坂コースに設けられた各ホールドの位置と競技者の足関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析するようにした。

【0015】

(6) 行動分析手段は、何時、どのホールドに、いずれの足指または足裏でアクセスしているかを分析するようにした。

【0016】

(7) 人物領域抽出手段は、一つの登坂コースから複数の人物領域が抽出されると、信頼度が所定の閾値以上の人物領域の中で大きさが最大の人物領域のみを残して他を破棄するようにした。

【0017】

(8) 人物領域抽出手段は、一つの登坂コースから複数の人物領域が抽出されたとき、信頼度が所定の閾値以上の人物領域が存在しないと、全ての人物領域の中で大きさが最大の人物領域のみを残して他を破棄するようにした。

【発明の効果】

【0018】

本発明によれば、以下のような効果が達成される。

【0019】

(1) 競技映像のフレーム画像から競技者の人物領域を抽出する際、競技者が下方から上方へ移動するという登坂競技の特性に着目して、下方のスタート地点から上方へ人物領域の抽出およびその追跡を行うようにしたので、人物領域の探索範囲を予め絞ることができ、人物領域の抽出に係る処理負荷の軽減および時間短縮を実現できる。

【0020】

(2) フレーム画像から登坂コースを抽出し、人物領域の抽出およびその追跡を、登坂コースごとに下方から上方へ行うようにしたので、スピードクライミングのように、複数の競技者が同時に速度を競う競技においても、人物領域の探索範囲を予め絞ることができ、人物領域の抽出に係る処理負荷の軽減および時間短縮を実現できる。

【0021】

(3) 登坂コースに設けられた各ホールドの位置と競技者の手関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析できるので、競技者の手の使い方を分析、学習できるようになる。

【0022】

(4) 競技者が、何時、どのホールドに、いずれの手指でアクセスしているかを分析できるので、競技者の細かな指の使い方までも分析、学習できるようになる。

【0023】

(5) 登坂コースに設けられた各ホールドの位置と競技者の足関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析できるので、競技者の足の使い方を分析、学習できるようになる。

【0024】

(6) 競技者が、何時、どのホールドに、いずれの足指または足裏でアクセスしているかを分析できるので、競技者の細かな足指や足裏の使い方までも分析、学習できるようになる。

【0025】

(7) 一つの登坂コースから複数の人物領域が抽出されると、信頼度が所定の閾値以上の人物領域の中で大きさが最大の人物領域のみを残して他を破棄するので、競技者の影に対して誤って設定された人物領域を高い確度で排除できるようになる。

【0026】

(8) 一つの登坂コースから複数の人物領域が抽出されたとき、信頼度が所定の閾値以上の人物領域が存在しないと、全ての人物領域の中で大きさが最大の人物領域のみを残して他を破棄するようにしたので、相対的に競技者の影に対して誤って設定された可能性の高い人物領域を排除できるようになる。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係るスポーツ行動認識装置の主要部の構成を示した機能ブロック図である。

【図2】登坂コースの抽出例を示した図である。

【図3】登坂コースの抽出方法を示した図である。

【図4】競技者の影が原因で複数の人物領域が抽出される例を示した図である。

【図5】Bounding Boxの探索方法を示した図（その１）である。

【図6】Bounding Boxの探索方法を示した図（その２）である。

【図7】登坂コースごとに一つのBounding Boxのみを設定する手順を示したフローチャートである。

【図8】Bounding Boxから骨格情報を抽出する例を示した図である。

【図9】ディスプレイへの表示出力の例を示した図である。

【発明を実施するための形態】

【0028】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るスポーツ行動認識装置１の主要部の構成を示した機能ブロック図であり、ここでは、複数の競技者が壁を登る速さを競う登坂系競技の一つであるスピードクライミング（スピード）への適用を例にして説明する。

【0029】

スピードクライミングは、「リード」および「ボルダリング」と共にスポーツクライミング競技の一つに数えられ、図２を参照して後述するように、高さ１０メートルもしくは１５メートル、角度９５度に前傾した壁（スピードクライミングウォール）２０１で、予め多数のホールド（突起）の配置が周知されている登坂コース２０２をどれだけ早く登るかを複数の競技者が競う競技である。

【0030】

図１において、フレーム画像取得部１０１は、カメラCAから競技映像のフレーム画像を取得する。登坂コース抽出部１０２は、フレーム画像から各競技者に割り当てられた登坂コースを抽出する。人物領域抽出部１０３は、登坂コースごとにフレーム画像の下方から人物抽出を開始し、さらに下方から上方に向けて人物領域を追跡する。骨格情報抽出部１０４は、各競技者の人物領域から骨格情報を抽出する。行動分析部１０５は、抽出した骨格情報に基づいて各競技者のスポーツ行動を分析する。表示出力部１０６は、スポーツ行動分析の結果をディスプレイ２に出力して可視化する。

【0031】

このようなスポーツ行動認識装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

【0032】

図２は、前記登坂コース抽出部１０２がフレーム画像から登坂コースを抽出する例を示した図であり、本実施形態では、スピードクライミングウォール２０１や登坂コース２０２の画像を様々な環境下で撮影した多数の画像を機械学習することで学習モデルを予め構築し、取得したフレーム画像を学習モデルに適用することでスピードクライミングウォール２０１および各登坂コース２０２が抽出される。

【0033】

さらに具体的に説明すれば、本実施形態では、図３に示したように、初めにフレーム画像からスピードクライミングウォール２０１を抽出し、次いで、このスピードクライミングウォール２０１の画像から、各ホールドの周知の配置に基づいて各登坂コース２０２を抽出する。

【0034】

前記人物領域抽出部１０３は、抽出した登坂コースごとに人物オブジェクトを探索して人物領域を抽出する。本実施形態では、既知のBounding Boxアルルゴリズムを用いて矩形のBounding Boxを人物領域として設定する。このとき、当該Bounding Boxの信頼性の指標となる信頼度THを取得できる。

【0035】

なお、スピードクライミングでは各競技者のスタート位置が各登坂コース２０２の下方位置に限定されるので、人物領域抽出部１０３は登坂コース２０２ごとに、最初は下方のスタート地点のみを対象にBounding Boxの探索を実行する。また、スタート後は競技者が原則として上方へ徐々に移行することから、人物領域を上方へ追跡してBounding Boxを設定する処置を繰り返す。

【0036】

図４，５は、Bounding Boxの探索方法を示した図であり、本実施形態では、初めに矩形の処理領域を設定することで探索範囲を制限し、当該処理領域内でBounding Boxの探索が行われる。処理領域は、初めは登坂コース２０２の最下部に設定され、当該処理領域内でBounding Boxが見つかると、当該Bounding Boxとの相対的な位置関係に基づいて移動される。

【0037】

例えば、図４に示したように、処理領域の上辺とBounding Boxの上辺との距離が近付きすぎると処理領域の位置が上方へ移動される。本実施形態では、処理領域の上辺とBounding Boxの上辺との距離が当該処理領域の高さの0.15倍以下になると、処理領域がその高さの0.08倍だけ上方へ移動し、移動後の処理領域内でBounding Boxが改めて探索される。

【0038】

また、図５に示したように、処理領域の下辺とBounding Boxの下辺との距離が近付きすぎるか、あるいは処理領域の上辺とBounding Boxの上辺との距離が離れすぎると、処理領域の位置が下方へ移動し、移動後の処理領域内でBounding Boxが改めて探索される。なお、下方への移動量は処理領域の高さの0.03倍程度に制限される。さらに、競技者の肩関節の位置がBounding Boxの左辺（または右辺）に近付きすぎると、処理領域の位置が、その横幅の0.08倍だけ左方向（または、右方向）へ移動し、移動後の処理領域内でBounding Boxが改めて探索される。

【0039】

このように、本実施形態では競技者が下方から上方へ移動するという登坂競技の特性に着目して、下方のスタート地点から上方へ人物領域の抽出およびその追跡を行うようにしたので、人物領域の探索範囲を予め絞ることができ、人物領域の抽出に係る処理負荷の軽減および時間短縮を実現できる。

【0040】

一方、スピードクライミングが好天の屋外で行われた場合、図６に示したように、競技者にBounding Box（BB1）が設定されるのみならず競技者の影にも誤ってBounding Box（BB2）が設定され得る。しかしながら、競技者の影に対して設定されたBounding Box（BB2）の信頼度TH2は、一般的に競技者に対して設定されたBounding Box（BB1）の信頼度TH1に劣る（TH1＞TH2）。また、スピードクライミングでは一つの登坂コース２０２で複数の競技者が競うことはない。

【0041】

そこで、本実施形態ではBounding Boxの信頼度THに関して所定の閾値THrefを予め設定し、一つの登坂コースに複数のBounding Boxが設定された場合、各Bounding Boxの信頼度に基づいて一つのBounding Boxのみを残し、他のBounding Boxを破棄するようにしている。

【0042】

図７は、前記人物領域抽出部１０３が信頼度THに基づいて、登坂コースごとに一つのBounding Boxのみを登録する手順を示したフローチャートである。

【0043】

ステップＳ１では、一つの登坂コースから複数のBounding Box（BB）が抽出されているか否かが判断される。複数のBounding Boxが抽出されているとステップＳ２へ進み、抽出された全てのBounding Boxの信頼度THが閾値THrefと比較される。信頼度THが閾値THref以上のBounding Boxが一つでも存在すればステップＳ３へ進み、それらのBounding Boxの大きさが計算される。

【0044】

本実施形態では、人物領域の外周長でその大きさが代表される。人物領域を矩形のBounding Boxで定義した場合は、長辺と短辺との和でその大きさが代表される。ステップＳ４では、その中で大きさが最大のBounding Boxのみが登録され、他のBounding Boxは破棄される。

【0045】

このように、本実施形態では一つの登坂コースから複数の人物領域が抽出されると、信頼度THが所定の閾値THref以上の人物領域の中で大きさが最大の人物領域のみを登録して他を破棄するので、競技者の影に対して誤って設定された人物領域を高い確度で排除できるようになる。

【0046】

一方、信頼度THが閾値THref以上のBounding Boxが存在しなければステップＳ５へ進み、全てのBounding Boxの大きさが計算される。ステップＳ６では、その中で大きさが最大のBounding Boxのみが登録され、他のBounding Boxは破棄される。

【0047】

骨格情報抽出部１０４は、図８に示したように、登坂コース２０２ごとに抽出、登録されたBounding Boxから競技者の骨格情報２０４を抽出する。骨格情報の抽出には、既存の骨格抽出技術 (Cascaded Pyramid Network) を用いることができる。あるいは、非特許文献３に開示されるように、フレーム画像から抽出した特徴マップに対して、身体パーツの位置をエンコードするConfidence Mapおよび身体パーツ間の連結性をエンコードするPart Affinity Fields（PAFs）を用いた二つの逐次予測プロセスを順次に適用し、フレーム画像から抽出した人物オブジェクト（ユーザ）の身体パーツの位置および連結性をボトムアップ的アプローチにより一回の推論で推定することでスケルトンモデルを構築してもよい。

【0048】

行動分析部１０５は、ホールド分析部１０５ａおよび位置分析部１０５ｂを含み、前記骨格情報抽出部１０４が抽出した競技者の骨格情報に基づいて、当該競技者の両手指や両足指の位置、各骨格や関節の位置および向き、主要関節（肘関節や膝関節など）の角度等を把握し、これらを当該競技者の登坂コース上で位置情報と対応付けて記録する。

【0049】

前記ホールド分析部１０５ａは、各登坂コースに設けられた各ホールドの位置と両手の指関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析する。具体的には、何時（スタートからの経過時間）、どのホールドを、左右いずれの手の、いずれの指でアクセスしているかを分析する。

【0050】

同様に、各ホールドの位置と両足の指関節の骨格情報とに基づいて、競技者の各ホールドに対する行動を分析する。具体的には、何時、どのホールドを、左右いずれの足で、どのようにアクセスしているかを分析する。例えば、ホールドに足指のみでアクセスしているのか、足裏全体でアクセスしているのかを分析する。

【0051】

このように、本実施形態では競技者が、何時、どのホールドに、いずれの手指、足指または足裏でアクセスしているかを分析できるので、競技者の細かな手指、足指の使い方までも分析、学習できるようになる。

【0052】

位置分析部１０５ｂは、競技者の骨格情報に基づいて競技者の姿勢や重心位置を分析し、競技者の登坂コース上での現在位置、所定の位置に到達した時刻、登坂の軌跡などを分析する。例えば、各ホールドと左右の手の骨格情報に基づいて、各ホールドに競技者が最初にアクセスした時刻を分析することができる。

【0053】

図９は、ディスプレイ２への表示出力の例を示した図であり、競技者名表示部４０１、競技状況表示部４０２、世界記録表示部４０３および複数のスポンサ名表示部４０４が画面の所定の位置に確保されている。

【0054】

競技状況表示部４０２では、登坂コースおよび各モールドを模したアニメーションに、競技者５０３およびその登坂軌跡５０１が重畳表示されている。また、所定の高さ位置ごとに（2.8M、5.5M、8.5M）、世界記録樹立時の到達時刻および現競技者の到達時刻が重畳表示され、さらに世界記録樹立時の登坂ペース５０２がリアルタイムで重畳表示されている。

【0055】

さらに、ディスプレイ２への図示は省略するが、前記ホールド分析部１０５ａおよび位置分析部１０５ｂの分析結果がディスプレイ２または他のデバイスへ出力され、当該競技者または他の競技者の学習に活用される。

【符号の説明】

【0056】

１...スポーツ行動認識装置，２...ディスプレイ，１０１...フレーム画像取得部，１０２...登坂コース抽出部，１０３...人物領域抽出部，１０４...骨格情報抽出部，１０５...行動分析部，１０６...表示出力部，２０１...スピードクライミングウォール，２０２...登坂コース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】