特許 7344510 動作分析システム、動作分析方法、および動作分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-06

(45)【発行日】2023-09-14

(54)【発明の名称】動作分析システム、動作分析方法、および動作分析プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230907BHJP

   A63B 69/00 20060101ALI20230907BHJP

   A63B 69/36 20060101ALI20230907BHJP

【ＦＩ】

G06T7/20 300Z

A63B69/00 A

A63B69/36 541W

【請求項の数】 10

(21)【出願番号】P 2019200458

(22)【出願日】2019-11-05

(65)【公開番号】P2021076887

(43)【公開日】2021-05-20

【審査請求日】2022-08-23

(73)【特許権者】

【識別番号】511108138

【氏名又は名称】テンソル・コンサルティング株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】鈴木 晴也

(72)【発明者】

【氏名】北川 正理

(72)【発明者】

【氏名】宮武 孝尚

(72)【発明者】

【氏名】藤本 浩司

(72)【発明者】

【氏名】田代 勇一

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１９－１３９５１７（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１７０５０（ＷＯ，Ａ１）

【文献】特開２０１３－１１８８７６（ＪＰ，Ａ）

【文献】特開２００４－１６４５６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ６９／３６

(57)【特許請求の範囲】

【請求項1】

人物が所定の用具を用いて行う所定の動作を分析する動作分析システムであって、
前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶する予測モデル記憶部と、
与えられた分析対象映像のフレーム間差分フレームを生成するフレーム間差分算出部と、
前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測する予測処理部と、
前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出する特定時点位置算出部と、
を有し、
前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、
前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点が含まれ、
前記特定時点位置算出部は、画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数が極値であるか否かに基づいて、前記フェーズ境界時点を特定する、
動作分析システム。

【請求項2】

人物が所定の用具を用いて行う所定の動作を分析する動作分析システムであって、
前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶する予測モデル記憶部と、
与えられた分析対象映像のフレーム間差分フレームを生成するフレーム間差分算出部と、
前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測する予測処理部と、
前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出する特定時点位置算出部と、
を有し、
前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、
前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点と、前記動作フェーズ内において前記計測部位の位置が所定の条件を満たすフェーズ内時点と、が含まれ、
前記特定時点位置算出部は、画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数に基づいて、前記フェーズ境界時点および前記動作フェーズを特定し、前記動作フェーズと前記計測部位の位置とに基づいて、前記フェーズ内時点を特定する、
動作分析システム。

【請求項3】

前記学習データに含まれる前記画像フレームは、前記動作における前記計測部位が動いている時間範囲の画像フレームである、
請求項１または２に記載の動作分析システム。

【請求項4】

前記特定時点位置算出部は、前記分析対象映像における画像フレーム間の前記計測部位の位置をスプライン曲線で補間し、前記動作フェーズと前記スプライン曲線とに基づき、前記スプライン曲線上の前記条件を満たす位置を、前記フェーズ内時点における前記計測部位の位置とする、
請求項２に記載の動作分析システム。

【請求項5】

前記特定時点位置算出部は、前記画像フレーム間の前記計測部位の位置と、前記計測部位の位置を取得できなかった画像フレームにおける前記計測部位の位置とを前記スプライン曲線で補間する、
請求項４に記載の動作分析システム。

【請求項6】

前記分析対象映像における前記計測部位の軌跡を描いた線である軌跡線と、前記軌跡線上にあり前記計測部位が特定された位置を所定の形状および色で示すマーカとを画面に表示する表示処理部を更に有する、
請求項１または２に記載の動作分析システム。

【請求項7】

人物が所定の用具を用いて行う所定の動作を分析するための動作分析方法であって、
前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶し、
与えられた分析対象映像のフレーム間差分フレームを生成し、
前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測し、
前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出することであり、
前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、
前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点が含まれ、
画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数が極値であるか否かに基づいて、前記フェーズ境界時点を特定する、
ことをコンピュータが実行する動作分析方法。

【請求項8】

人物が所定の用具を用いて行う所定の動作を分析するための動作分析方法であって、
前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶し、
与えられた分析対象映像のフレーム間差分フレームを生成し、
前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測し、
前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出することであり、
前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、
前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点と、前記動作フェーズ内において前記計測部位の位置が所定の条件を満たすフェーズ内時点と、が含まれ、
画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数に基づいて、前記フェーズ境界時点および前記動作フェーズを特定し、前記動作フェーズと前記計測部位の位置とに基づいて、前記フェーズ内時点を特定する、
ことをコンピュータが実行する動作分析方法。

【請求項9】

人物が所定の用具を用いて行う所定の動作を分析するための動作分析プログラムであって、
前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶し、
与えられた分析対象映像のフレーム間差分フレームを生成し、
前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測し、
前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出することであり、
前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、
前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点が含まれ、
画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数が極値であるか否かに基づいて、前記フェーズ境界時点を特定する、
ことをコンピュータに実行させるための動作分析プログラム。

【請求項10】

人物が所定の用具を用いて行う所定の動作を分析するための動作分析プログラムであって、
前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶し、
与えられた分析対象映像のフレーム間差分フレームを生成し、
前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測し、
前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出することであり、
前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、
前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点と、前記動作フェーズ内において前記計測部位の位置が所定の条件を満たすフェーズ内時点と、が含まれ、
画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数に基づいて、前記フェーズ境界時点および前記動作フェーズを特定し、前記動作フェーズと前記計測部位の位置とに基づいて、前記フェーズ内時点を特定する、
ことをコンピュータに実行させるための動作分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人物が用具を用いて行う動作を分析する技術に関する。

【背景技術】

【0002】

ゴルフの練習やゴルフクラブの選定において、スイング中の人物あるいはゴルフクラブの特定箇所の位置あるいは軌跡を分析することが有効である。例えば、ゴルフクラブを握っている人物の手（グリップ）あるいはゴルフクラブのヘッドの位置あるいは軌跡が分析対象とされる。

【0003】

特許文献１には、スポーツ動作のビデオを解析する技術が開示されている。具体的には、特許文献1には、ゴルフの動作を表示するビデオの複数のフレーム差分を算出し、そのフレーム差分を解析し、スイング動作における主要な位置を示す複数の画像フレームを特定する技術が開示されている。特許文献１には、更に、画像フレームにおけるゴルフクラブの位置を特定する際に、あるいはフレーム差分の測定値からスウィング動作における主要な位置を特定する際に、ルールベースモデルあるいはニューラルネットワークを使用することも記載されている。

【0004】

特許文献２には、ニューラルネットワークを用いた動作解析装置が開示されている。具体的には、物体の動作を定量的に表す動作値を出力とするニューラルネットワークに対して、ゴルフスイングを撮影した動画の時系列の深度画像（フレーム）が入力される。ニューラルネットワークから得られる動作値は、ゴルファーの腰や肩の回転角度、体重移動を表す値である。

【0005】

特許文献３には、フレーム間差分を用いたスイングフォーム診断装置が開示されている。具体的には、被験者が行う一連のスイング動作に関わるフレームをスイングデータとして抽出し、スイングデータにおける各フレームを用いたフレーム間差分によって、スイング動作中の特定動作点を判定する。特定動作点は、ゴルフクラブのヘッドがボールを叩くインパクトの瞬間のような、スイング動作中の重要な時点である。また、特許文献３には、差分画像処理によって、各フレームにおけるクラブヘッドの位置を特定して軌跡を表示する態様も記載されている。

【0006】

特許文献４には、時間区分における動作と当該動作に対応する結果との関係を表すモデルを用いたスポーツ動作解析支援システムが開示されている。具体的には、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数蓄積し、時間区分における動作と当該動作に対応する結果（成績あるいは事象）との関係を表すモデルを学習する。当該モデルを用いて予測を行ったとき、その予測精度を時間区分毎に算出する。ゴルフの成績として飛距離を例とし、ゴルフスイングの時間区分毎の動作から飛距離を予測する態様が記載されている。事象には、スポーツに用いる用具の動きに関する事象が含まれる。

【0007】

特許文献５には、サブフレーム単位でイベントを検出するモデルを学習することができるイベント検出装置が開示されている。具体的には、各フレームについて当該フレームの画像の特徴と当該フレームの前あるいは後に連なる任意個数のフレームの画像の特徴とを表現する画像特徴情報を抽出し、学習データである画像列に対応する画像特徴情報列を低次元空間にマッピングし、マッピングされた各座標間を所定の時間間隔で補間してモデルを学習する。

【先行技術文献】

【特許文献】

【0008】

【文献】特表２０１４－５２１１３９号公報

【文献】特開２０１８－２６１３１号公報

【文献】特開２００３－１１７０４５号公報

【文献】再公表２０１８－１２２９５６号

【文献】特開２０１８－１２０４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

上述したように特許文献１－５には、画像フレームや画像フレームの差分を分析する技術が開示されている。しかしながら、いずれも、人物が用具を用いて行う動作における人物と用具との関係性を考慮した手法で分析を行うものではなかった。

【0010】

本開示の目的は、人物が用具を用いて行う所定の動作を分析するのに好適な手法による分析を可能にする技術を提供することである。

【課題を解決するための手段】

【0011】

本開示のひとつの態様による動作分析システムは、人物が所定の用具を用いて行う所定の動作を分析する動作分析システムであって、前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶し、与えられた分析対象映像のフレーム間差分フレームを生成し、前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測する。

【発明の効果】

【0012】

本開示のひとつの態様によれば、人物が用具を用いて行う所定の動作を分析するのに好適な手法による分析が可能となる。

【図面の簡単な説明】

【0013】

【図1】本実施形態による動作分析システムのブロック図である。

【図2】モデル生成装置のブロック図である。

【図3】分析装置のブロック図である。

【図4】モデル生成処理のフローチャートである。

【図5】分析処理のフローチャートである。

【図6】特定時点位置算出処理のフローチャートである。

【図7】スイング動作中のモーション量の遷移の一例を示すグラフである。

【図8】画面の表示例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について図面を参照して説明する。

【0015】

図１は、本実施形態による動作分析システムのブロック図である。図１を参照すると、動作分析システム１は、モデル生成装置１０、撮像装置２０、および分析装置３０を有している。

【0016】

動作分析システム１は、人物が所定の用具を用いて行う所定の動作を分析する動作分析システムであり、具体的には、人物がゴルフクラブを用いて行うスイング動作を分析するシステムである。

【0017】

モデル生成装置１０は、人物がゴルフクラブを用いて行ったスイング動作の映像を学習データとしてディープラーニングにより学習を行い、分析対象とする人物のスイング動作の映像から計測部位の位置を測定するための予測モデルを生成する装置である。モデル生成装置１０は、例えば、記憶装置に格納されたソフトウェアプログラムをプロセッサにより実行するコンピュータにより実現することができる。計測部位とは、具体的にはゴルフクラブのヘッドである。

【0018】

撮像装置２０は、分析対象とする人物のスイング動作の映像を撮影する装置である。撮像装置２０は、例えばスマートホンである。

【0019】

分析装置３０は、モデル生成装置１０にて生成された予測モデルを用いて、撮像装置２０で撮影された分析対象の映像を分析し、人物のスイング動作におけるヘッドの軌跡とヘッドの特定時点での位置とを測定する装置である。分析装置３０は、例えば、記憶装置に格納されたソフトウェアプログラムをプロセッサにより実行するコンピュータにより実現することができる。本実施形態における特定時点とは、具体的には、アドレス時点、テイクバック終了時点、インパクト時点、フィニッシュ時点、および最上時点である。ただし、特定時点がこれらに限定されるものではない。

【0020】

スイング動作には、テイクバックフェーズ、ダウンスイングフェーズ、フォロースルーフェーズという複数の動作フェーズが含まれる。テイクバックフェーズは、ゴルフクラブのヘッドをボールの近くに位置させた状態からゴルフクラブを振り上げる動作フェーズである。ダウンスイングフェーズは、テイクバックフェーズの後にゴルフクラブを振り下ろし、ヘッドがボールを打撃するまでの動作フェーズである。フォロースルーフェーズは、ダウンスイングフェーズの後にゴルフクラブを降り抜く動作フェーズである。

【0021】

上記アドレス時点とは、ゴルフクラブのヘッドをボールに合わせて構えた状態からテイクバックを開始する時点である。テイクバック終了時点とは、テイクバックからダウンスイングに折り返す時点である。インパクト時点とは、ゴルフクラブのヘッドがボールを打撃する時点である。ダウンスイングからフォロースルーに切り替わる。フィニッシュ時点とは、フォロースルーが終わる時点である。アドレス時点、テイクバック終了時点、インパクト時点、およびフィニッシュ時点は、動作フェースの境界に位置するので、以下、フェーズ境界時点とも呼ぶ。上記最上時点とは、テイクバック終了時点からのダウンスイングにおいて、ヘッドが最も高い位置にくる時点である。最上時点は、動作フェーズの途中に位置するので、以下、フェーズ内時点とも呼ぶ。

【0022】

図２は、モデル生成装置１０のブロック図である。モデル生成装置１０は、学習元データ格納部１１、フレーム間差分算出部１２、および学習部１３を有している。モデル生成装置１０がコンピュータにより実現される場合、学習元データ格納部１１は記憶装置により実現でき、フレーム間差分算出部１２および学習部１３はソフトウェアプログラムにより実現できる。

【0023】

学習元データ格納部１１は、予測モデルを生成するための学習データの元になる学習元データを記憶する。学習元データは、人物が所定の用具を用いて行う所定の動作の映像データである。学習元データとして大量のデータを収集するのが望ましい。映像データは、時間的に連続する画像フレームからなる。本実施形態では、学習元データの画像フレームは、Ｒ成分の画像フレームと、Ｇ成分の画像フレームと、Ｂ成分の画像フレームを含む。学習元データとしては、所定動作において計測部位が動いている時間範囲の画像フレームが用いられる。具体的には、学習元データは、人物がゴルフクラブを用いてスイング動作を行っている、ゴルフクラブのヘッドが動いている時間範囲の画像フレームからなる映像データである。

【0024】

フレーム間差分算出部１２は、学習元データに基づき、学習元データの各画像フレームにおける動きのある領域と動きのない領域を区別して表示するフレーム間差分フレームを生成する。フレーム間差分算出部１２は、学習元データにおける時間的に連続する２つのフレームの各画素の画素値（例えば輝度値）の差分を算出し、差分の絶対値を所定の閾値と比較する。そして、フレーム間差分算出部１２は、差分の絶対値が閾値を超える画素は動きのある画素とし、差分の絶対値が閾値を超えない画素は動きの無い画素として、画像フレームの各画素を区別し、二値表示した画像フレームをフレーム間差分フレームとして生成する。なお、差分の絶対値が閾値を超える画素が動きのある画素なので、差分の絶対値が閾値を超える画素の個数は、画像フレームのモーション量を示すと言える。

【0025】

学習部１３は、学習元データの画像フレームと学習元データのフレーム間差分フレームとを対応付けたデータを学習データとして、ディープラーニングによる学習を行い、予測モデルを生成する。予測モデルは分析装置３０に提供される。

【0026】

図３は、分析装置３０のブロック図である。分析装置３０は、予測モデル記憶部３１、フレーム間差分算出部３２、予測部３３、特定時点位置算出部３４、および表示処理部３５を有している。分析装置３０がコンピュータにより実現される場合、予測モデル記憶部３１は記憶装置により実現でき、フレーム間差分算出部３２、予測部３３、特定時点位置算出部３４、および表示処理部３５は、ソフトウェアプログラムにより実現できる。

【0027】

予測モデル記憶部３１は、モデル生成装置１０で生成された予測モデルを記憶する。

【0028】

フレーム間差分算出部３２は、撮像装置２０から与えられた分析対象映像データのフレーム間差分フレームを生成する。本実施形態の分析対象映像データは、画像フレームとして、Ｒ成分の画像フレームと、Ｇ成分の画像フレームと、Ｂ成分の画像フレームを含む。フレーム間差分算出部３２が分析対象映像データに対して行う処理は、上述したフレーム間差分算出部１２が学習元データに対して行う処理と同様である。フレーム間差分算出部３２は、分析対処映像データに含まれる画像フレームにおける動きのある領域と動きのない領域とを特定し、二値表示した画像フレームをフレーム間差分フレームとして生成する。

【0029】

予測部３３は、予測モデル記憶部３１に記憶されている予測モデルを用いて、分析対象映像の画像フレーム（Ｒ成分の画像フレームと、Ｇ成分の画像フレームと、Ｂ成分の画像フレームを含む）と分析対象映像のフレーム間差分フレームとに基づいて、分析対象映像の画像フレームにおけるゴルフクラブのヘッドの位置を予測する。

【0030】

特定時点位置算出部３４は、スイング動作におけるゴルフクラブのヘッドが所定の条件を満たす特定時点におけるヘッドの位置を算出する。本実施形態における特定時点は、上述したように、アドレス時点、テイクバック終了時点、インパクト時点、フィニッシュ時点、および最上時点である。また、特定時点位置算出部３４は、分析対象映像における画像フレーム間のヘッドの位置をスプライン曲線で補間し、スプライン曲線上の所定の条件を満たす位置を、特定時点におけるヘッドの位置としてもよい。例えば、最上時点は、分析対象映像に含まれる画像フレームと画像フレームの間に特定されるかもしれない。

【0031】

表示処理部３５は、分析対象映像におけるヘッドの軌跡を描いた線である軌跡線と、軌跡線上にあり特定時点における計測部位の位置を所定の形状および色で示すマーカとを画面に表示する。画面は、分析装置３０自身が備えるものであっても良いし、他の装置が備えるものであってもよい。例えば、撮像装置２０がスマートホンであれば、スマートホンの画面であってもよい。

【0032】

図４は、モデル生成処理のフローチャートである。モデル生成処理はモデル生成装置１０が実行する処理である。

【0033】

モデル生成装置１０は、フレーム間差分算出部１２により、学習元データ格納部１１から学習元データを読み出し、学習元データの画像フレームに対応するフレーム間差分フレームを生成する（ステップＳ１０１）。

【0034】

次に、モデル生成装置１０は、学習部１３により、学習元データの画像データとそれに対応するフレーム間差分フレームとを学習データとして、ディープラーニングによる学習を行い、予測モデルを生成する（ステップＳ１０２）。

【0035】

図５は、分析処理のフローチャートである。分析処理は、分析装置３０が実行する処理である。

【0036】

分析装置３０は、フレーム間差分算出部３２により、撮像装置２０から与えられた分析対象映像データの画像フレームに対応するフレーム間差分フレームを生成する（ステップＳ２０１）。

【0037】

次に、分析装置３０は、予測部３３により、予測モデル記憶部３１に記録されている予測モデルに、分析対象映像データの画像フレームとそれに対応するフレーム間差分フレームとを入力することにより、各画像フレームのゴルフクラブのヘッドの位置を算出する（ステップＳ２０２）。

【0038】

次に、分析装置３０は、特定時点位置算出部３４により特定時点位置算出処理を実行する（ステップＳ２０３）。特定時点位置算出処理は、分析対象映像における特定時点と、その特定時点でのヘッドの位置とを算出する処理である。特定時点位置算出処理の詳細は後述する。

【0039】

次に、分析装置３０は、分析対象映像あるいはその画像フレームに、特定時点でのヘッドの位置を示す第１マーカと、各画像フレームにおけるヘッドの位置を示す第２マーカと、ヘッドの軌跡を示す軌跡曲線と、を重畳して表示する（ステップＳ２０４）。

【0040】

図６は、特定時点位置算出処理のフローチャートである。

【0041】

分析装置３０は、特定時点位置算出部３４により、分析対象映像の各画像フレームの、隣接フレームとの画素値の差分の絶対値が所定の閾値を超える画素の個数（モーション量）に基づいて、フェーズ境界時点およびその時点でのヘッドの位置を特定する（ステップＳ３０１）。上述したように、フェーズ境界時点とは、特定時点のうち、アドレス時点、テイクバック終了時点、インパクト時点、およびフィニッシュ時点である。

【0042】

図７は、スイング動作中のモーション量の遷移の一例を示すグラフである。横軸は、３０ｆｐｓで撮影された映像のフレーム数であり、時間に対応する。縦軸はモーション量である。モーション量は、最大値を１とするように正規化されている。図７に示されたようなモーション量の遷移の特徴からフェーズ境界時点を特定することができる。例えば、インパクト時点４０ｃでは、モーション量が極大となる。テイクバック終了時点４０ｂでは、テイクバックからスイングへの移行によりゴルフクラブのヘッドが折り返すので、モーション量が極小かつゼロあるいはそれに近い値となる。アドレス時点４０ａでは、テイクバック終了時点４０ｂよりも前にモーション量がゼロかあるいはそれに近い値となる。フィニッシュ時点４０ｄでは、インパクト時点４０ｃよりも後にモーション量がゼロあるいはそれに近い値となる。

【0043】

次に、分析装置３０は、特定時点位置算出部３４により、ヘッドの位置が特定できなかった画像フレームのヘッドの位置およびフレーム間でのヘッドの位置を補間する（ステップＳ３０２）。

【0044】

次に、分析装置３０は、特定時点位置算出部３４により、動作フェーズと補間されたものを含むヘッドの位置との遷移から、フェーズ内時点とその時点でのヘッドの位置を特定する（ステップＳ３０３）。

【0045】

上述したように、特定時点のうち最上時点はフェーズ内時点である。

【0046】

また、インパクト時点ではヘッドの速度が速いので、モーション量から特定したインパクト時点が正確でない可能性がある。例えば、モーション量からいずれかの画像フレームをインパクト時点のものと特定しているが、実際のインパクト時点は画像フレームと画像フレームの間に存在する可能性がある。そこで、本実施形態では、インパクト時点については、まずフェーズ境界時点として一旦特定し、その後、フェーズ内時点として再度特定を行う。

【0047】

具体的な処理例を以下に示す。まず、特定時点位置算出部３４は、インパクト時点をフェーズ境界時点として扱い、モーション量が極大となる連続する２つの画像フレームを特定し、その２つのうち後段の画像フレームを仮のインパクト時点として動作フェーズを区切る。こうすることで、実際のインパクト時点は、仮のインパクト時点かそれよりも前の時点に、すなわちダウンスイングフェーズ内に存在することになる。

【0048】

次に、特定時点位置算出部３４は、画像フレーム間のヘッドの位置を補間して軌跡線を算出する。そして、特定時点位置算出部３４は、インパクト時点をフェーズ内時点として扱い、ダウンスイングフェーズ内での軌跡線の最下点を、実際のインパクト時点のヘッドの位置とする。

【0049】

このようにすることで、ヘッドの速度が速い特定時点を、分析対象映像のフレームレートに依存せず、高い精度で特定することが可能となる。

【0050】

図８は、画面の表示例を示す図である。

【0051】

図８を参照すると、人物５０と、ゴルフクラブ６０と、第１マーカ７１と、第２マーカ７２と、軌跡曲線７３とが表示されている。軌跡曲線７３により、分析対象映像において人物５０がゴルフクラブ６０を用いてスイング動作を行うことにより、ゴルフクラブ６０のヘッド６１が軌跡曲線７３のように移動したことが示されている。第１マーカ７１により、特定時点において第１マーカ７１で示された位置にヘッド６１があったことが示されている。第１マーカ７１ａは、アドレス時点でのヘッド６１の位置を示している。第１マーカ７１ｂは、テイクバック終了時点でのヘッド６１の位置を示している。第１マーカ７１ｃは、インパクト時点でのヘッド６１の位置を示している。第１マーカ７１ｄは、フィニッシュ時点でのヘッド６１の位置を示している。第１マーカ７１ｅは、最上時点でのヘッド６１の位置を示している。第２マーカ７２により、分析対象映像の各画像フレームにおいてヘッド６１が第２マーカ７２で示された位置にあったことが示されている。

【0052】

以上説明した実施形態には、以下に示す構成が含まれている。ただし、本実施形態に含まれる構成が以下に示すものに限定されることはない。

【0053】

（構成１）
構成１は、人物が所定の用具を用いて行う所定の動作を分析する動作分析システムが、前記動作における人物の所定部位または前記用具の所定部位を計測部位とし、人物が前記動作を行っている動作映像の画像フレームと、前記動作映像における前記画像フレームと該画像フレームに隣接する隣接フレームの各画素のフレーム間の画素値の差分を示すフレーム間差分フレームとを含む学習データに基づく学習により生成された予測モデルを記憶する予測モデル記憶部と、与えられた分析対象映像のフレーム間差分フレームを生成するフレーム間差分算出部と、前記予測モデルを用いて、前記分析対象映像の画像フレームと前記分析対象映像のフレーム間差分フレームとに基づいて前記分析対象映像の画像フレームにおける前記計測部位の位置を予測する予測処理部と、を有するという構成である。
人物が行う所定の動作は、特に限定されないが、一例としてゴルフのスイング動作が挙げられる。人物が所定の動作を行うときに用いる用具は形状的な特徴を有する。また、人物が用具を用いて所定の動作を行うとき人物の行動の結果として用具が動き、またその一方で逆に、用具が動けば用具の形状、重さ、柔軟性などの性質が人物の動きに影響する。したがって、人物が用具を用いて所定の動作を行うとき人物の動きと用具の動きには相互に相関が生じる。本態様の動作分析手法は、これらのことを考慮したものである。本態様の動作分析手法では、人物および用具の形状が現れる画像フレーム自体に加え、人物と用具の両方の動きが反映されるフレーム間差分フレームをも学習データに用いることにより、画像フレームにおける人物あるいは用具の計測部位の位置を予測するための予測モデルとして、人物が用具を用いて行う所定の動作を分析するのに好適なモデルを生成することができる。その結果、人物が用具を用いて行う動作の分析に好適な手法により当該動作の分析を行うことが可能となる。

【0054】

（構成２）
構成２は、上記構成１において、前記学習データに含まれる前記画像フレームは、前記動作における前記計測部位が動いている時間範囲の画像フレームであるとした構成である。
学習データに含まれる画像フレームとして、計測部位が動いている時間範囲の画像フレームのみを用いることにより、計測部位の位置を画像フレームにおけるフレーム間差分が生じている領域内に限定することができる。計測部位が存在しうる範囲を限定することにより、計測部位の位置を精度よく予測することが可能な予測モデルを生成することが可能となる。

【0055】

（構成３）
構成３は、上記構成１において、前記動作における前記計測部位が所定の条件を満たす特定時点における前記計測部位の位置を算出する特定時点位置算出部を更に有するものとした構成である。

【0056】

（構成４）
構成４は、上記構成３において、前記所定の動作は、時間的に区切られ互いに異なる複数の動作フェーズを含み、前記特定時点には、前記動作フェーズの境界となるフェーズ境界時点が含まれ、前記特定時点位置算出部は、画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数に基づいて、前記フェーズ境界時点を特定する、とした構成である。
本構成に用いる、画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数は、画像の動きの量（モーション量）を示す。異なる動作フェーズの境界では、モーション量に特徴が現れるという性質がある。本構成では、この性質に着目することにより、画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数に基づいて、フェーズ境界時点を特定することを可能にしている。例えば、テイクバック終了時点は、輝度値の差の絶対値が所定の閾値を超える画素の個数が、極小でありかつ所定の閾値以下であるという条件により特定できる。

【0057】

（構成５）
構成５は、上記構成４において、前記特定時点には、前記動作フェーズ内において前記計測部位の位置が所定の条件を満たすフェーズ内時点が含まれ、前記特定時点位置算出部は、画像フレームと隣接フレームとの画素の輝度値の差の絶対値が所定の閾値を超える画素の個数に基づいて、前記分析対象映像における前記動作フェーズを特定し、前記動作フェーズと前記計測部位の位置とに基づいて、前記フェーズ内時点を特定する、とした構成である。
例えば、最上時点は、テイクバック終了時点からインパクト時点までのダウンスイングフェーズにおいて、ヘッドが最も高い位置にある時点である。最上時点のヘッドの位置は、フィニッシュ時点でのヘッドの位置に近くなることがある。このような場合にも、本態様によれば、フェーズ内時点を特定することができる。
特に、所定の動作の間に計測部位の移動方向が折り返す動きが含まれるような場合や、計測部位が円を描いて移動するような場合には、計測部位の位置が近い複数の画像フレームが映像に含まれることがある。その場合には計測部位の位置から特定時点を特定することが困難となる。これに対して、本構成のように、モーション量を用いて、所定の動作を複数の動作フェーズに分離し、動作フェーズとヘッドの位置とに基づいて特定時点を特定すれば、ヘッドの位置が近いような複数の特定時点を区別して特定することができる。

【0058】

（構成６）
構成６は、上記構成５において、前記特定時点位置算出部は、前記分析対象映像における画像フレーム間の前記計測部位の位置をスプライン曲線で補間し、前記動作フェーズと前記スプライン曲線とに基づき、前記スプライン曲線上の前記条件を満たす位置を、前記フェーズ内時点における前記計測部位の位置とする、とした構成である。
本構成によれば、画像フレームの間を補間し、そのスプライン曲線上にフェーズ内時点を特定するので、画像フレームの間に存在する特定時点における計測部位の位置を精度よく予測することが可能となる。

【0059】

（構成７）
構成７は、上記構成６において、前記特定時点位置算出部は、前記画像フレーム間の前記計測部位の位置と、前記計測部位の位置を取得できなかった画像フレームにおける前記計測部位の位置とを前記スプライン曲線で補間する、として構成である。
計測部位が特定されなかった画像フレームの計測部位の位置を補間するので、計測部位が特定できない画像フレームに存在する計測部位の位置を予測することが可能である。

【0060】

（構成８）
構成８は、上記構成１において、前記動作映像の画像フレームおよび前記分析対象映像の画像フレームは、Ｒ成分の画像フレームと、Ｇ成分の画像フレームと、Ｂ成分の画像フレームを含む、とした構成である。

【0061】

（構成９）
構成９は、上記構成３において、動作分析システムが、前記分析対象映像における前記計測部位の軌跡を描いた線である軌跡線と、前記軌跡線上にあり前記特定時点における前記計測部位の位置を所定の形状および色で示すマーカとを画面に表示する表示処理部を更に有する、とした構成である。

【0062】

上述した実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

【符号の説明】

【0063】

１…動作分析システム、１０…モデル生成装置、１１…学習元データ格納部、１２…フレーム間差分算出部、１３…学習部、２０…撮像装置、３０…分析装置、３１…予測モデル記憶部、３２…フレーム間差分算出部、３３…予測部、３４…特定時点位置算出部、３５…表示処理部、４０ａ…アドレス時点、４０ｂ…テイクバック終了時点、４０ｃ…インパクト時点、４０ｄ…フィニッシュ時点、５０…人物、６０…ゴルフクラブ、６１…ヘッド、７１、７１a、７１b、７１c、７１d、７１e…第１マーカ、７２…第２マーカ、７３…軌跡曲線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】