特開 2024-108594 イベント推定装置、イベント推定システム、イベント推定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024108594

(43)【公開日】2024-08-13

(54)【発明の名称】イベント推定装置、イベント推定システム、イベント推定方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240805BHJP

   G06V 10/22 20220101ALI20240805BHJP

   G06T 7/00 20170101ALI20240805BHJP

【ＦＩ】

G06T7/20 300Z

G06V10/22

G06T7/00 660B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023013034

(22)【出願日】2023-01-31

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】阿江 数通

(72)【発明者】

【氏名】日下部 美樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA20

5L096FA02

5L096FA67

5L096FA72

5L096HA02

5L096JA03

(57)【要約】

【課題】スポーツにおけるイベントを推定すること。
【解決手段】イベント推定装置は、連続する画像を取得する画像取得部と、前記連続する画像から特徴点を抽出する特徴点抽出部と、前記特徴点から身体部位のなす角度を抽出する角度抽出部と、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

連続する画像を取得する画像取得部と、
前記連続する画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から身体部位のなす角度を抽出する角度抽出部と、
スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定部と、
を備えるイベント推定装置。

【請求項2】

前記身体部位のなす角度は、左右の関節点を結んだ線分の水平面における角度、左右骨格点を結んだ線分の水平面における角度、第１関節点と第２関節点とを結んだ第１線分および第３関節点と第４関節点とを結んだ第２線分がなす角度のいずれかである、
請求項１に記載のイベント推定装置。

【請求項3】

連続する画像を取得する画像取得部と、
前記連続する画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から身体部位のなす角度を抽出する角度抽出部と、
スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定部と、
を備えるイベント推定システム。

【請求項4】

コンピュータが、
連続する画像を取得する画像取得過程と、
前記連続する画像から特徴点を抽出する特徴点抽出過程と、
前記特徴点から身体部位のなす角度を抽出する角度抽出過程と、
スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定過程と、
を有するイベント推定方法。

【請求項5】

コンピュータに、
連続する画像を取得する画像取得ステップと、
前記連続する画像から特徴点を抽出する特徴点抽出ステップと、
前記特徴点から身体部位のなす角度を抽出する角度抽出ステップと、
スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベント推定装置、イベント推定システム、イベント推定方法、およびプログラムに関する。

【背景技術】

【0002】

スポーツにおいて、お手本データとユーザの骨格とのを比較することでトレーニング支援するシステムがある。
例えば、特許文献１には、運動に係わる指導を受ける人が利用可能な端末に対し、通信網を介して運動教育支援サービスを提供するサーバ装置であって、サーバ側標準動作データ取得手段と、改善点表示制御手段とを備え、サーバ側標準動作データ取得手段は、端末から送信され指導を受ける人の情報要素を含む指導要求を受信すると、情報要素に対応する標準動作データをデータベースから取得し、改善点表示制御手段は、端末により得られる人の動作状態を表す動作データと標準動作データとの比較結果に基づいて、人の動作状態に対する 改善点を端末に表示させるための表示データを生成し、表示データを端末に送信することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－４０７９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、スポーツにおいて、一連の動作には重要なポイントである局面がいくつか含まれる。例えば、ゴルフであれば、一連のスイング動作において、アドレス、バックスイング、トップ、ダウンスイング、インパクト、フォロースイングなどの局面が含まれる。当該局面は、イベントとも称される。
一連の動作を撮影した動画像においてこれらの局面を定義するためには、ユーザが手動で定義する必要があり、利便性が十分でないという課題があった。

【0005】

上述の課題を鑑み、本発明の目的は、スポーツにおけるイベントを推定することが可能なイベント推定装置、イベント推定システム、イベント推定方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述の課題を解決するために、本発明の一態様に係るイベント推定装置は、連続する画像を取得する画像取得部と、前記連続する画像から特徴点を抽出する特徴点抽出部と、前記特徴点から身体部位のなす角度を抽出する角度抽出部と、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定部と、を備えるイベント推定装置である。

【0007】

本発明の一態様に係るイベント推定システムは、連続する画像を取得する画像取得部と、前記連続する画像から特徴点を抽出する特徴点抽出部と、前記特徴点から身体部位のなす角度を抽出する角度抽出部と、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定部と、を備えるイベント推定装置である。

【0008】

本発明の一態様に係るイベント推定方法は、コンピュータが、連続する画像を取得する画像取得過程と、前記連続する画像から特徴点を抽出する特徴点抽出過程と、前記特徴点から身体部位のなす角度を抽出する角度抽出過程と、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定過程と、を有するイベント推定方法である。

【0009】

本発明の一態様に係るプログラムは、コンピュータに、連続する画像を取得する画像取得ステップと、前記連続する画像から特徴点を抽出する特徴点抽出ステップと、前記特徴点から身体部位のなす角度を抽出する角度抽出ステップと、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、前記特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、前記連続する画像における前記所定のイベントのタイミングを推定する推定ステップと、を実行させるためのプログラムである。

【発明の効果】

【0010】

本発明によれば、スポーツにおけるイベントを推定することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係るイベント推定装置の構成の一例を示すブロック図である。

【図2】本実施形態に係るスポーツにおけるイベントの骨格モデルの一例を示す図である。

【図3】本実施形態に係る身体部位がなす角度の一例を説明する説明図である。

【図4】本実施形態に係る身体部位がなす角度の他の一例を説明する説明図である。

【図5】本実施形態に係るイベント推定装置におけるイベント推定処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

【0013】

まず、図１を参照して、本実施形態に係るイベント推定装置１０の構成について説明する。
図１は、本実施形態に係るイベント推定装置１０の構成の一例を示すブロック図である。
イベント推定装置１０は、スポーツの一連の動作を撮影した連続する画像、例えば動画像などから、当該一連の動作における一または複数のイベントを推定する装置である。
具体的には、イベント推定装置１０は、連続する画像を取得し、連続する画像から特徴点を抽出し、特徴点から身体部位のなす角度を抽出し、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、特徴点から抽出された身体部位のなす角度との類似度に基づいて、連続する画像における所定のイベントのタイミングを推定する。

【0014】

イベント推定装置１０は、通信部１１０と、入力部１２０と、記憶部１３０と、制御部１４０と、出力部１５０と、を含んで構成される。通信部１１０と、入力部１２０と、記憶部１３０と、制御部１４０と、出力部１５０とは、バスを介して相互に接続される。

【0015】

通信部１１０は、各種情報の送受信を行う機能を有する。例えば、通信部１１０は、ネットワークＮＷを介して、他の装置と通信を行う。通信部１１０は、受信した各種情報を制御部１４０に出力する。また、通信部１１０は、制御部１４０から入力される各種情報を、ネットワークＮＷを介して、他の装置に送信する。

【0016】

入力部１２０は、入力を受け付ける機能を有する。入力部１２０は、例えば、イベント推定装置１０がハードウェアとして備えるマウス、キーボード、タッチパネルなどの入力装置によって入力された情報を受け付ける。入力部１２０は、入力された情報を制御部１４０に出力する。

【0017】

記憶部１３０は、各種情報を記憶する機能を有する。記憶部１３０は、イベント推定装置１０がハードウェアとして備える記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はこれらの記憶媒体の任意の組み合わせによって構成される。
図１に示すように、記憶部１３０は、モデルデータ記憶部１３１と、画像記憶部１３２と、を含んで構成される。

【0018】

モデルデータ記憶部１３１は、スポーツの種目ごとおよび一連の動作ごとのモデルデータを記憶する。モデルデータは、例えば、スポーツにおける一連の動作を時系列に三次元座標データ化したモデルである。

【0019】

画像記憶部１３２は、画像取得部１４２が取得したデータを記憶する。

【0020】

制御部１４０は、イベント推定装置１０の動作全般を制御する機能を有する。制御部１４０は、例えば、イベント推定装置１０がハードウェアとして備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にプログラムを実行させることによって実現される。
図１に示すように、制御部１４０は、種目特定部１４１と、画像取得部１４２と、特徴点抽出部１４３と、角度抽出部１４４と、イベント推定部１４５と、を備える。

【0021】

種目特定部１４１は、イベント推定する対象のスポーツをユーザに選択させることで種目を特定する。例えば、種目特定部１４１は、サッカー、ゴルフ、バスケットボールなどの種目を選択肢としてユーザに提示する。種目特定部１４１は、ユーザが選択した操作信号に応じて種目を特定する。

【0022】

画像取得部１４２は、スポーツの一連の動作を撮影した連続する画像を取得する。例えば、画像取得部１４２は、連続する画像として、動画像を取得する。画像取得部１４２は、取得した画像を表す画像データを画像記憶部１３２に記憶させる。また、画像取得部１４２は、取得したデータを入力データとして特徴点抽出部１４３に出力する。
なお、画像取得部１４２は、連続する画像に変えて、当該連続する画像を表す三次元座標データを取得してもよい。この場合、画像取得部１４２は、取得した三次元座標データを画像記憶部１３２に記憶させればよい。

【0023】

特徴点抽出部１４３は、画像取得部１４２が取得した画像データから人の動きを表す特徴点を抽出し、時系列の三次元座標データを生成する。時系列の三次元座標データの生成は、画像解析、モーションキャプチャ技術などによって生成される。

【0024】

角度抽出部１４４は、特徴点抽出部１４３が生成した時系列の三次元座標データから、身体部位のなす角度を抽出する。身体部位のなす角度は、左右の関節点を結んだ線分の水平面における角度、左右骨格点を結んだ線分の水平面における角度、第１関節点と第２関節点とを結んだ第１線分および第３関節点と第４関節点とを結んだ第２線分がなす角度のいずれかである。より具体的には、左右の肩関節点を無寸座線分が水平面においてなす角度、左右肋骨下端点を結ぶ線分が水平面においてなす角度や関節がなす角度である。関節がなす角度は、例えば、右肩関節点と右肘関節点とを結んだ線分と、右手首関節点と右肘関節点とを結んだ線分とがなす角度などである。角度抽出部１４４は、特徴点抽出部１４３が生成した時系列の三次元座標データから身体部位のなす角度を、イベントごとに抽出する。また、角度抽出部１４４は、モデルデータにおける身体部位のなす角度を、イベントごとに抽出する。

【0025】

イベント推定部１４５は、特徴点抽出部１４３が生成した時系列の三次元座標データから身体部位のなす角度と、モデルデータにおける身体部位のなす角度とを比較し、類似度の高いフレームを入力データにおけるイベントのタイミングと推定する。

【0026】

出力部１５０は、各種情報を出力する機能を有する。出力部１５０は、例えば、イベント推定装置１０がハードウェアとして備えるディスプレイやタッチパネルなどの表示装置、スピーカなどの音声出力装置によって実現される。出力部１５０は、制御部１４０からの入力に応じて、例えば画像や音声などを出力する。

【0027】

次いで、イベントの一例について説明する。
図２は、本実施形態に係るスポーツにおけるイベントの骨格モデルの一例を示す図である。
図示する例は、ゴルフのスイング動作におけるイベントを表す骨格モデルである。例えば、図示する例において、イベントＩ１はアドレスを表し、イベントＩ２はバックスイングを表し、イベントＩ３はトップを表し、イベントＩ４はダウンスイングを表し、イベントＩ５はインパクトを表し、イベントＩ６はフォロースイングを表す。
図示する例においては、各イベントの骨格モデルを示しているが、モデルデータは時系列データであり、イベントの前後の骨格モデルも含まれる。
角度抽出部１４４は、これらの骨格モデルを表す三次元座標データに基づいて、モデルデータおよび入力データの骨と平面がなす角度、あるいは関節がなす角度などの身体部位がなす角度を抽出する。

【0028】

次いで、身体部位のなす角度について説明する。
図３は、本実施形態に係る身体部位がなす角度の一例を説明する説明図である。また、図４は、本実施形態に係る身体部位がなす角度の他の一例を説明する説明図である。
上述するように、身体部位がなす角度は、左右関節点を結んだ線分が水平面においてなす角度、左右骨格点を結んだ線分が水平面においてなす角度、あるいは関節がなす角度などである。このうち、左右関節点を結んだ線分が水平面においてなす角度、左右骨格点を結んだ線分が水平面においてなす角度について説明する。

【0029】

左右関節点を結んだ線分は、左右肩関節を結んだ線分のように左右の関節点を結んだ線分である。また、左右骨格点を結んだ線分は、左右肋骨下端点を結んだ線分、左右骨盤点を結んだ線分などのように、左右の対応する骨格点を結んだ線分である。
図３に示す例において、左右関節点を結んだ線分あるいは左右骨格点を結んだ線分は、線分Ｌ１である。水平面をＭとした場合、線分Ｌ１が水平面Ｍにおいてなす角度は、線分Ｌ１がｘｙ平面に投影された線分Ｌ２とｘ軸がなす角度α、あるいは線分Ｌ２とｙ軸がなす角度βである。

【0030】

なお、身体部位がなす角度は、図４に示すように、図３に示す線分Ｌ１をベクトルＶとして、３次元空間における軸とベクトルＶがなす角度であってもよい。
具体的にはＸ軸とベクトルＶがなす角度α、Ｙ軸とベクトルＶがなす角度β、Ｚ軸とベクトルＶがなす角度γを、身体部位がなす角度として用いてもよい。

【0031】

次いで、イベント推定装置１０の処理の流れについて説明する。

【0032】

図５は、本実施形態に係るイベント推定装置１０のイベント推定処理の流れの一例を示すフローチャートである。
ステップＳ１０１において、イベント推定装置１０は、ユーザによる競技種目の選択を受け付ける。イベント推定装置１０は、ユーザによる競技種目の選択に応じてモデルデータを切り替える。
ステップＳ１０２において、イベント推定装置１０は、入力データを取得する。
ステップＳ１０３において、イベント推定装置１０は、入力データから特徴点を抽出し、三次元座標データを生成する。なお、イベント推定装置１０は、入力データとして三次元座標データを取得した場合には、ステップＳ１０３の処理を省略してステップＳ１０４の処理を実行する。
ステップＳ１０４において、イベント推定装置１０は、入力データおよびモデルデータのそれぞれから身体部位のなす角度をイベントごとに抽出する。
ステップＳ１０５において、イベント推定装置１０は、入力データの身体部位のなす角度とモデルデータの身体部位のなす角度が類似するフレームを入力データにおけるイベントのタイミングとして推定する。

【0033】

このように、本実施形態に係るイベント推定装置１０は、連続する画像を取得する画像取得部１４２と、連続する画像から特徴点を抽出する特徴点抽出部１４３と、特徴点から身体部位のなす角度を抽出する角度抽出部１４４と、スポーツにおける所定のイベント発生時のモデルデータにおける身体部位のなす角度と、特徴点から抽出された前記身体部位のなす角度との類似度に基づいて、連続する画像における所定のイベントのタイミングを推定する推定部（イベント推定部１４５）と、を備える。

【0034】

これにより、イベント推定装置は、入力データに対するスポーツにおけるイベントを推定することができる。そのため、イベント推定におけるユーザの利便性を向上させることができる。

【0035】

また、身体部位のなす角度は、左右の関節点を結んだ線分の水平面における角度、左右骨格点を結んだ線分の水平面における角度、第１関節点と第２関節点とを結んだ第１線分および第３関節点と第４関節点とを結んだ第２線分がなす角度のいずれかである。

【0036】

このようにすることで、身体部位のなす角度を用いて類似度を算出することができるため、イベントの推定制度を向上させることができる。

【0037】

なお、本実施形態では、類似度の算出に身体部位のなす角度を用いる場合の一例について説明したが、身体部位のなす角度に加えて、身体部位の位置座標、特徴点の移動速度、特徴点の加速度のいずれかまたは全てを用いて類似度を算出してもよい。
これにより、類似度の算出精度を向上させることができるため、イベントの推定制度を向上させることができる。

【0038】

なお、本実施形態では、競技種目をあらかじめ選択してイベント推定を行う場合の一例について説明したが、入力データに基づいていずれの競技種目であるかを特定してイベント推定を行ってもよい。
この場合、ユーザ操作を削減させることができるため、ユーザの利便性を向上させることができる。

【0039】

以上、本発明の実施形態および変形例について説明した。なお、変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

【0040】

なお、上述した実施形態および変形例におけるイベント推定装置１０の機能は、複数の装置によって実現されてもよい。また、イベント推定装置１０の一部又は全部をコンピュータで実現するようにしてもよい。このコンピュータには、量子コンピュータも含まれる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0041】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。

【0042】

また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0043】

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0044】

１０ イベント推定装置
１１０ 通信部
１２０ 入力部
１３０ 記憶部
１３１ モデルデータ記憶部
１３２ 画像記憶部
１４０ 制御部
１４１ 種目特定部
１４２ 画像取得部
１４３ 特徴点抽出部
１４４ 角度抽出部
１４５ イベント推定部
１５０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】