IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社インテックの特許一覧

特開2024-51354動作分析方法、動作分析プログラム及び動作分析システム
<>
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図1
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図2
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図3
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図4
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図5
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図6
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図7
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図8
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図9
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図10
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図11
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図12
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図13
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図14
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図15
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図16
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図17
  • 特開-動作分析方法、動作分析プログラム及び動作分析システム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024051354
(43)【公開日】2024-04-11
(54)【発明の名称】動作分析方法、動作分析プログラム及び動作分析システム
(51)【国際特許分類】
   G06V 40/20 20220101AFI20240404BHJP
   G06T 7/00 20170101ALI20240404BHJP
   G06T 7/20 20170101ALI20240404BHJP
【FI】
G06V40/20
G06T7/00 660B
G06T7/20 300Z
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022157482
(22)【出願日】2022-09-30
(71)【出願人】
【識別番号】391021710
【氏名又は名称】株式会社インテック
(74)【代理人】
【識別番号】100095430
【弁理士】
【氏名又は名称】廣澤 勲
(72)【発明者】
【氏名】青木 功介
(72)【発明者】
【氏名】神田 柚紀
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA08
5L096CA04
5L096DA02
5L096FA09
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096FA73
5L096GA51
5L096HA05
5L096HA11
5L096JA11
(57)【要約】
【課題】一般的なカメラの動画データを使用することができ、跳躍や身体の回転を伴う動作の分析に好適な動作分析方法、動作分析プログラム及び動作分析システムを提供する。
【解決手段】被検者HKを側方から撮像した動画データを取得する動画データ取得ステップS11(1)を備える。動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデル16を使用して被検者HKの身体の複数の特徴点を抽出し、各特徴点の二次元座標の時系列データである二次元座標情報を作成する二次元座標情報作成ステップS12(1)を備える。二次元座標情報を分析することによって特定の特徴点K**同士の相対的な位置関係の時間変化を検出し、その検出結果を基に、被検者HKが行った分析対象動作の特徴を示す数値情報を作成する動作分析ステップS13(1)を備える。特徴点には、左右の腰関節K4L,K4R、左右の膝関節K5L,K5R等の中の少なくとも2つの点が含まれている。
【選択図】図2
【特許請求の範囲】
【請求項1】
コンピュータが実行する動作分析方法であって、
分析対象動作を行う被検者を側方から撮像した動画データを取得する動画データ取得ステップと、
前記動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデルを使用して前記被検者の身体の複数の特徴点を抽出し、抽出した前記特徴点の二次元座標の時系列データである二次元座標情報を作成する二次元座標情報作成ステップと、
前記二次元座標情報を分析することによって特定の前記特徴点同士の相対的な位置関係の時間変化を検出し、その検出結果を基に、前記被検者が行った前記分析対象動作の特徴を示す数値情報を作成する動作分析ステップとを備え、
前記身体特徴点推定モデルを使用して抽出する前記特徴点には、左右の肩関節、左右の肘関節、左右の手首関節、左右の腰関節、左右の膝関節、及び左右の足首関節の中の少なくとも2つの点が含まれていることを特徴とする動作分析方法。
【請求項2】
前記分析対象動作は、前記被検者の身体が前方向又は後方向に回転する回転動作であり、
前記動作分析ステップにおいて、
前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出する処理、
又は、前記二次元座標情報から、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出する処理を行い、
この検出結果を基に、回転回数情報又は回転速度情報又はその両方を作成する請求項1記載の動作分析方法。
【請求項3】
前記分析対象動作は、前記被検者の身体が、上半身及び下半身を通過する仮想直線を軸に回転する軸回り動作であり、
前記動作分析ステップにおいて、
前記二次元座標情報から、前記左右の腰関節同士の間隔を認識し、当該間隔の時間変化を検出する処理、
又は、前記二次元座標情報から、前記左右の肩関節同士の間隔を認識し、当該間隔の時間変化を検出する処理を行い、
この検出結果を基に、軸回り回数情報、軸回り速度情報又はその両方を作成する請求項1記載の動作分析方法。
【請求項4】
前記分析対象動作を行っている前記被検者の姿勢が「伸身」と「非伸身」のどちらかを判定する場合、
前記動作分析ステップにおいて、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、
前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「伸身」と判定し、「伸身」に該当しない時は「非伸身」と判定する処理を行い、
この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する請求項1乃至3のいずれか記載の動作分析方法。
【請求項5】
前記分析対象動作を行っている前記被検者の姿勢が「抱え込み」と「非抱え込み」のどちらかを判定する場合、
前記動作分析ステップにおいて、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、
前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より小さい時に「抱え込み」と判定し、「抱え込み」に該当しない時は「非抱え込み」と判定する処理を行い、
この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する請求項1乃至3のいずれか記載の動作分析方法。
【請求項6】
前記分析対象動作を行っている前記被検者の姿勢が「屈身」と「非屈身」のどちらかを判定する場合、
前記動作分析ステップにおいて、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、
前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「屈身」と判定し、「屈身」に該当しない時は「非屈身」と判定する処理を行い、
この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する請求項1乃至3のいずれか記載の動作分析方法。
【請求項7】
前記分析対象動作は、前方向又は後方向の宙返りの途中で前記被検者の姿勢が「屈身」又は「抱え込み」から「伸身」に変化するキックアウト動作であり、
前記動作分析ステップでは、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出し、又は、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出し、この検出結果を基に、前記被検者の前方向又は後方向の回転動作を検出する回転動作検出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きがゼロ以下の値から正の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を跳躍期間とし、前記跳躍期間中に前記被検者の前記回転動作が検出され、その回転動作中に前記被検者の姿勢が「非伸身」から「伸身」に変化すると「キックアウト動作が行われた」と判定し、キックアウト動作検出情報を作成する請求項1記載の動作分析方法。
【請求項8】
前記分析対象動作は、跳躍中に前記被検者の姿勢が「伸身」から「非伸身」に変化してそのまま着床するダウン動作であり、
前記動作分析ステップでは、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きが正の値から負の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を身体下降期間とし、前記身体下降期間中に前記被検者の姿勢が「伸身」から「非伸身」に変化すると「ダウン動作が行われた」と判定し、ダウン動作検出情報を作成する請求項1又は7記載の動作分析方法。
【請求項9】
前記動作分析ステップにおいて、
「ダウン動作が行われた」と判定すると、この判定の根拠となる姿勢の変化が生じた時の、前記第一直線と仮想水平線又は仮想鉛直線との交差角を算出し、この算出結果に基に、交差角情報を作成する請求項8記載の動作分析方法。
【請求項10】
請求項1乃至9のいずれか記載の動作分析方法をコンピュータに実行させるための、各ステップ実行用プログラムから成る動作分析プログラム。
【請求項11】
コンピュータ内に設けられる動作分析システムであって、
分析対象動作を行う被検者を側方から撮像した動画データを取得する動画データ取得部と、
前記動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデルを使用して前記被検者の身体の複数の特徴点を抽出し、抽出した前記特徴点の二次元座標の時系列データである二次元座標情報を作成する二次元座標情報作成部と、
前記二次元座標情報を分析することによって特定の前記特徴点同士の相対的な位置関係の時間変化を検出し、その検出結果を基に、前記被検者が行った前記分析対象動作の特徴を示す数値情報を作成する動作分析部とを備え、
前記身体特徴点推定モデルを使用して抽出する前記特徴点には、左右の肩関節、左右の肘関節、左右の手首関節、左右の腰関節、左右の膝関節、及び左右の足首関節の中の少なくとも2つの点が含まれていることを特徴とする動作分析システム。
【請求項12】
前記分析対象動作は、前記被検者の身体が前方向又は後方向に回転する回転動作であり、
前記動作分析部は、
前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出する処理、
又は、前記二次元座標情報から、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出する処理を行い、
この検出結果を基に、回転回数情報又は回転速度情報又はその両方を作成する請求項11記載の動作分析システム。
【請求項13】
前記分析対象動作は、前記被検者の身体が、上半身及び下半身を通過する仮想直線を軸に回転する軸回り動作であり、
前記動作分析部は、
前記二次元座標情報から、前記左右の腰関節同士の間隔を認識し、当該間隔の時間変化を検出する処理、
又は、前記二次元座標情報から、前記左右の肩関節同士の間隔を認識し、当該間隔の時間変化を検出する処理を行い、
この検出結果を基に、軸回り回数情報、軸回り速度情報又はその両方を作成する請求項11記載の動作分析システム。
【請求項14】
前記分析対象動作を行っている前記被検者の姿勢が「伸身」と「非伸身」のどちらかを判定する場合、
前記動作分析部は、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、
前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「伸身」と判定し、「伸身」に該当しない時は「非伸身」と判定する処理を行い、
この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する請求項11乃至13のいずれか記載の動作分析システム。
【請求項15】
前記分析対象動作を行っている前記被検者の姿勢が「抱え込み」と「非抱え込み」のどちらかを判定する場合、
前記動作分析部は、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、
前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より小さい時に「抱え込み」と判定し、「抱え込み」に該当しない時は「非抱え込み」と判定する処理を行い、
この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する請求項11乃至13のいずれか記載の動作分析システム。
【請求項16】
前記分析対象動作を行っている前記被検者の姿勢が「屈身」と「非屈身」のどちらかを判定する場合、
前記動作分析部は、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、
前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「屈身」と判定し、「屈身」に該当しない時は「非屈身」と判定する処理を行い、
この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する請求項11乃至13のいずれか記載の動作分析システム。
【請求項17】
前記分析対象動作は、前方向又は後方向の宙返りの途中で前記被検者の姿勢が「屈身」又は「抱え込み」から「伸身」に変化するキックアウト動作であり、
前記動作分析部は、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出し、又は、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出し、この検出結果を基に、前記被検者の前方向又は後方向の回転動作を検出する回転動作検出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きがゼロ以下の値から正の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を跳躍期間とし、前記跳躍期間中に前記被検者の前記回転動作が検出され、その回転動作中に前記被検者の姿勢が「非伸身」から「伸身」に変化すると「キックアウト動作が行われた」と判定し、キックアウト動作検出情報を作成する請求項11記載の動作分析システム。
【請求項18】
前記分析対象動作は、跳躍中に前記被検者の姿勢が「伸身」から「非伸身」に変化してそのまま着床するダウン動作であり、
前記動作分析部は、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きが正の値から負の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を身体下降期間とし、前記身体下降期間中に前記被検者の姿勢が「伸身」から「非伸身」に変化すると「ダウン動作が行われた」と判定し、ダウン動作検出情報を作成する請求項11又は17記載の動作分析システム。
【請求項19】
前記動作分析部は、
「ダウン動作が行われた」と判定すると、この判定の根拠となる姿勢の変化が生じた時の、前記第一直線と仮想水平線又は仮想鉛直線との交差角を算出し、この算出結果に基に、交差角情報を作成する請求項18記載の動作分析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の分析対象動作を行っている被検者を撮像した動画データを分析し、動作の特徴を示す数値情報を作成する動作分析方法、動作分析プログラム及び動作分析システムに関する。
【背景技術】
【0002】
従来、例えば特許文献1に開示されているように、被検者の動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、複数の身体特徴点から定まる基準部位に相当する画像上の距離と基準長さとの比に基づき、被検者の動作の評価に用いる値として、身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、動作状態を示す値を出力する出力部とを備えた動作状態評価システムがあった。
【0003】
特許文献1の明細書及び図面には、スマートフォン等の情報端末で被検者のランニングフォームを撮像し、その動画データから被検者の身体特徴点を推定し、身体特徴点の位置とその時間変化を分析することによって、接地のタイミング及びランニングフォームパラメータ(速度、ストライド、ピッチ、上下動の幅、体幹の前傾角度、肩関節の可動域、股関節の可動域等)を分析することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2019/082376号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の動作状態評価システムは、ランニングフォームの分析以外に、野球やゴルフのスイングフォーム、水泳のフォーム、スキーのフォーム、ダンスやパフォーマンスなどの技芸のフォームの分析に応用できるとされている。しかし、トランポリン競技、体操競技、フィギュアスケートのように、跳躍、倒立転回や宙返り、ひねりやスピン等の動作が重要な要素となるスポーツ又は演技の分析に応用しようとしても、特許文献1には、実用性のある具体的な分析手法は開示されていない。
【0006】
本発明は、上記背景技術に鑑みて成されたものであり、一般的なカメラの動画データを使用することができ、跳躍や身体の回転を伴う動作の分析に好適な動作分析方法、動作分析プログラム及び動作分析システムを提供する。
【課題を解決するための手段】
【0007】
本発明は、コンピュータが実行する動作分析方法であって、分析対象動作を行う被検者を側方から撮像した動画データを取得する動画データ取得ステップと、前記動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデルを使用して前記被検者の身体の複数の特徴点を抽出し、抽出した前記特徴点の二次元座標の時系列データである二次元座標情報を作成する二次元座標情報作成ステップと、前記二次元座標情報を分析することによって特定の前記特徴点同士の相対的な位置関係の時間変化を検出し、その検出結果を基に、前記被検者が行った前記分析対象動作の特徴を示す数値情報を作成する動作分析ステップとを備え、前記身体特徴点推定モデルを使用して抽出する前記特徴点には、左右の肩関節、左右の肘関節、左右の手首関節、左右の腰関節、左右の膝関節、及び左右の足首関節の中の少なくとも2つの点が含まれている動作分析方法である。
【0008】
例えば、前記分析対象動作は、前記被検者の身体が前方向又は後方向に回転する回転動作であり、前記動作分析ステップにおいて、前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出する処理、又は、前記二次元座標情報から、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出する処理を行い、この検出結果を基に、回転回数情報又は回転速度情報又はその両方を作成する。
【0009】
例えば、前記分析対象動作は、前記被検者の身体が、上半身及び下半身を通過する仮想直線を軸に回転する軸回り動作であり、前記動作分析ステップにおいて、前記二次元座標情報から、前記左右の腰関節同士の間隔を認識し、当該間隔の時間変化を検出する処理、又は、前記二次元座標情報から、前記左右の肩関節同士の間隔を認識し、当該間隔の時間変化を検出する処理を行い、この検出結果を基に、軸回り回数情報、軸回り速度情報又はその両方を作成する。
【0010】
前記分析対象動作を行っている前記被検者の姿勢が「伸身」と「非伸身」のどちらかを判定する場合、前記動作分析ステップにおいて、前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「伸身」と判定し、「伸身」に該当しない時は「非伸身」と判定する処理を行い、この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する構成にすることが好ましい。
【0011】
また、前記分析対象動作を行っている前記被検者の姿勢が「抱え込み」と「非抱え込み」のどちらかを判定する場合、前記動作分析ステップにおいて、前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より小さい時に「抱え込み」と判定し、「抱え込み」に該当しない時は「非抱え込み」と判定する処理を行い、この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する構成にすることが好ましい。
【0012】
また、前記分析対象動作を行っている前記被検者の姿勢が「屈身」と「非屈身」のどちらかを判定する場合、前記動作分析ステップにおいて、前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「屈身」と判定し、「屈身」に該当しない時は「非屈身」と判定する処理を行い、この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する構成にすることが好ましい。
【0013】
例えば、前記分析対象動作は、前方向又は後方向の宙返りの途中で前記被検者の姿勢が「屈身」又は「抱え込み」から「伸身」に変化するキックアウト動作であり、前記動作分析ステップでは、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出し、又は、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出し、この検出結果を基に、前記被検者の前方向又は後方向の回転動作を検出する回転動作検出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きがゼロ以下の値から正の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を跳躍期間とし、前記跳躍期間中に前記被検者の前記回転動作が検出され、その回転動作中に前記被検者の姿勢が「非伸身」から「伸身」に変化すると「キックアウト動作が行われた」と判定し、キックアウト動作検出情報を作成する。
【0014】
例えば、前記分析対象動作は、跳躍中に前記被検者の姿勢が「伸身」から「非伸身」に変化してそのまま着床するダウン動作であり、前記動作分析ステップでは、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きが正の値から負の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を身体下降期間とし、前記身体下降期間中に前記被検者の姿勢が「伸身」から「非伸身」に変化すると「ダウン動作が行われた」と判定し、ダウン動作検出情報を作成する。この場合、前記動作分析ステップにおいて、「ダウン動作が行われた」と判定すると、この判定の根拠となる姿勢の変化が生じた時の、前記第一直線と仮想水平線又は仮想鉛直線との交差角を算出し、この算出結果に基に、交差角情報を作成する構成にすることができる。
【0015】
また、本発明は、上記の動作分析方法をコンピュータに実行させるための、各ステップ実行用プログラムから成る動作分析プログラムである。
【0016】
また、本発明は、コンピュータ内に設けられる動作分析システムであって、分析対象動作を行う被検者を側方から撮像した動画データを取得する動画データ取得部と、前記動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデルを使用して前記被検者の身体の複数の特徴点を抽出し、抽出した前記特徴点の二次元座標の時系列データである二次元座標情報を作成する二次元座標情報作成部と、前記二次元座標情報を分析することによって特定の前記特徴点同士の相対的な位置関係の時間変化を検出し、その検出結果を基に、前記被検者が行った前記分析対象動作の特徴を示す数値情報を作成する動作分析部とを備え、前記身体特徴点推定モデルを使用して抽出する前記特徴点には、左右の肩関節、左右の肘関節、左右の手首関節、左右の腰関節、左右の膝関節、及び左右の足首関節の中の少なくとも2つの点が含まれている動作分析システムである。
【0017】
例えば、前記分析対象動作は、前記被検者の身体が前方向又は後方向に回転する回転動作であり、前記動作分析部は、前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出する処理、又は、前記二次元座標情報から、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出する処理を行い、この検出結果を基に、回転回数情報又は回転速度情報又はその両方を作成する。
【0018】
例えば、前記分析対象動作は、前記被検者の身体が、上半身及び下半身を通過する仮想直線を軸に回転する軸回り動作であり、前記動作分析部は、前記二次元座標情報から、前記左右の腰関節同士の間隔を認識し、当該間隔の時間変化を検出する処理、又は、前記二次元座標情報から、前記左右の肩関節同士の間隔を認識し、当該間隔の時間変化を検出する処理を行い、この検出結果を基に、軸回り回数情報、軸回り速度情報又はその両方を作成する。
【0019】
前記分析対象動作を行っている前記被検者の姿勢が「伸身」と「非伸身」のどちらかを判定する場合、前記動作分析部は、前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「伸身」と判定し、「伸身」に該当しない時は「非伸身」と判定する処理を行い、この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する構成にすることが好ましい。
【0020】
また、前記分析対象動作を行っている前記被検者の姿勢が「抱え込み」と「非抱え込み」のどちらかを判定する場合、前記動作分析部は、前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より小さい時に「抱え込み」と判定し、「抱え込み」に該当しない時は「非抱え込み」と判定する処理を行い、この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する構成にすることが好ましい。
【0021】
また、前記分析対象動作を行っている前記被検者の姿勢が「屈身」と「非屈身」のどちらかを判定する場合、前記動作分析部は、前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より小さく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に「屈身」と判定し、「屈身」に該当しない時は「非屈身」と判定する処理を行い、この判定結果を基に、前記被検者の姿勢の時間変化を示す姿勢判定情報を作成する構成にすることが好ましい。
【0022】
例えば、前記分析対象動作は、前方向又は後方向の宙返りの途中で前記被検者の姿勢が「屈身」又は「抱え込み」から「伸身」に変化するキックアウト動作であり、前記動作分析部は、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と、前記膝関節又は前記足首関節又は前記肩関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記腰関節を原点として回転する動きとして検出し、又は、前記肩関節と、前記腰関節又は前記膝関節又は前記足首関節とを結ぶ直線を認識し、当該直線の位置の時間変化を、前記肩関節を原点として回転する動きとして検出し、この検出結果を基に、前記被検者の前方向又は後方向の回転動作を検出する回転動作検出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きがゼロ以下の値から正の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を跳躍期間とし、前記跳躍期間中に前記被検者の前記回転動作が検出され、その回転動作中に前記被検者の姿勢が「非伸身」から「伸身」に変化すると「キックアウト動作が行われた」と判定し、キックアウト動作検出情報を作成する。
【0023】
例えば、前記分析対象動作は、跳躍中に前記被検者の姿勢が「伸身」から「非伸身」に変化してそのまま着床するダウン動作であり、前記動作分析部は、
前記二次元座標情報から、前記被検者の身体の高さ位置を特定するための仮想の身体中心点の二次元座標を算出し、その算出結果を基に前記身体中心点の高さ位置の時間変化を示す連続関数を導出する、又は、前記二次元座標情報から、特定の前記特徴点の高さ位置の時間変化を示す連続関数を導出する連続関数導出処理と、
前記二次元座標情報から、前記腰関節と前記肩関節とを結ぶ第一直線と、前記腰関節と前記膝関節とを結ぶ第二直線と、前記膝関節と前記足首関節とを結ぶ第三直線とを認識し、前記第一直線と前記第二直線との交差角が第一基準値より大きく、前記第二直線と前記第三直線との交差角が第二基準値より大きい時に姿勢が「伸身」であると判定し、「伸身」に該当しない時に姿勢が「非伸身」であると判定する姿勢判定処理とを行い、
前記連続関数の傾きが正の値から負の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間を身体下降期間とし、前記身体下降期間中に前記被検者の姿勢が「伸身」から「非伸身」に変化すると「ダウン動作が行われた」と判定し、ダウン動作検出情報を作成する。この場合、前記動作分析部は、「ダウン動作が行われた」と判定すると、この判定の根拠となる姿勢の変化が生じた時の、前記第一直線と仮想水平線又は仮想鉛直線との交差角を算出し、この算出結果に基に、交差角情報を作成する構成にすることができる。
【発明の効果】
【0024】
本発明の動作分析方法、動作分析プログラム及び動作分析システムは、分析対象動作を行う被検者を撮像した動画データ(一般的ななカメラの動画データ)を基に、被検者の身体の複数の特徴点の二次元座標情報を自動的に抽出する。そして、二次元座標情報を分析することによって、複数の特徴点の相対的な位置関係の時間変化を検出し、その検出結果を基に、被検者が行った分析対象動作の特徴を示す数値情報を作成するという特徴がある。したがって、モーションキャプチャや3Dレーザセンサを用いた特殊な動作観測機器を使用しなくても、被検者が行った分析対象動作を的確に分析し、その動作の特徴を客観的に表した数値情報を容易に得ることができ、特に、跳躍や身体の回転を伴う動作の分析に非常に適したものである。
【図面の簡単な説明】
【0025】
図1】本発明の動作分析システムの一実施形態が設置された状況を示す図(a)、この実施形態の動作分析システムのシステム構成を示すブロック図(b)である。
図2図1の動作分析システムが行う回転動作の分析の流れ[本発明の動作分析方法の第一の実施形態]を示すフローチャート(a)、回転動作の分析の特徴を示す図表(b)である。
図3図2(a)の二次元座標情報作成ステップで使用する身体特徴点推定モデルを示す図(a)、任意の静止画データとして撮像された人間の身体と、身体の複数の特徴点との対応関係を示す図(b)である。
図4】被検者が回転動作を行った時の、腰関節と膝関節又は足首関節又は肩関節とを結ぶ直線の動きから回転角θを検出する方法を示す図(a)~(d)である。
図5】被検者が回転動作を行った時の、肩関節と膝関節又は足首関節又は腰関節とを結ぶ直線の動きから回転角θを検出する方法を示す図(a)~(d)である。
図6図2(a)の動作分析ステップで検出された回転角θの正弦関数の時間変化の一例を示すタイムチャートである。
図7図1の動作分析システムが行う回転動作及び姿勢の分析の流れ[本発明の動作分析方法の第二の実施形態]を示すフローチャート(a)、回転動作及び姿勢の分析の特徴を示す図表(b)である。
図8】被検者の姿勢の判定方法を示す図であって、「伸身」と判定される姿勢の例を示す図(a)、「屈身」と判定される姿勢の例を示す図(b)、「抱え込み」と判定される姿勢の例を示す図(c)である。
図9図7(a)の動作分析ステップで検出される回転角θの正弦関数の時間変化の一例を示すタイムチャート、及び、姿勢の判定の時間変化の一例を示すタイムチャートである。
図10図1の動作分析システムが行う軸回り動作の分析の流れ[本発明の動作分析方法の第三の実施形態]を示すフローチャート(a)、軸回り動作の分析の特徴を示す図表(b)である。
図11】軸回り動作を行っている被検者の身体の前面が上方を向いている時の左右の肩関節同士の間隔D及び腰関節同士の間隔Dを示す図(a)、側方を向いている時の左右の肩関節同士の間隔D及び腰関節同士の間隔Dを示す図(b)である。
図12図10(a)の動作分析ステップで検出された間隔Dの時間変化の一例を示すタイムチャートである。
図13図1の動作分析システムが行うキックアウト動作の分析の流れ[本発明の動作分析方法の第四の実施形態]を示すフローチャート(a)、キックアウト動作の分析の特徴を示す図表(b)である。
図14図13の動作分析ステップで行う連続関数導出処理の対象となる身体中心点の二次元座標の算出方法の2つの例を示す図である。
図15図13の動作分析ステップの、連続関数導出処理で導出された連続関数(身体中心点のyp座標の時間変化)の一例を示すタイムチャート、回転動作検出処理の検出結果の時間変化の一例を示すタイムチャート、及び、姿勢判定処理の判定結果の時間変化の一例を示すタイムチャートである。
図16図1の動作分析システムが行うダウン動作の分析の流れ[本発明の動作分析方法の第五の実施形態]を示すフローチャート(a)、ダウン動作の分析の特徴を示す図表(b)である。
図17図16の動作分析ステップの、連続関数導出処理で導出された連続関数(身体中心点のyp座標の時間変化)の一例を示すタイムチャート、及び、姿勢の判定の時間変化の一例を示すタイムチャートである。
図18】被検者がダウン動作を行った時の、第一直線と仮想鉛直線又は仮想水平線との交差角を示す図である。
【発明を実施するための形態】
【0026】
以下、本発明の動作分析システムの一実施形態、この動作分析システムが実行ずる動作分析方法(本発明の動作分析方法の第一から第五の実施形態)について説明する。なお、本発明の動作分析プログラムの実施形態は、上記動作分析方法を上記動作分析システムに実行させるための、各ステップ実行用プログラムである。
【0027】
<一実施形態の動作分析システム10>
本発明の一実施形態である動作分析システム10は、トランポリン競技の演技の中で行われる動作(又は発生する動作)を分析対象動作とし、トランポリン12のベッド12a上で演技を行う被検者HKを撮像した動画データを分析する。動画データは、図1(a)に示すように、トランポリン12の近くに一般的なカメラ14を設置し、被検者HKの動作を側方から撮像したものである。
【0028】
動作分析システム10は、コンピュータ内に設けられたシステムであり、図1(b)のブロック図に示すように、動画データ記憶部10a、動画データ取得部10b、二次元座標情報作成部10c、動作分析部10d及び表示部10eで構成される。
【0029】
動画データ記憶部10aは、カメラ14で撮像された動画データを保存したり、各ブロックの処理結果や分析結果を格納したりするためのブロックで、表示部10eは、動画データや分析結果を表示するためのディスプレイである。この2つのブロックは本発明の要部ではなく、その他の動画データ取得部10b、二次元座標情報作成部10c及び動作分析部10dが本発明の要部となる。
【0030】
動画データ取得部10bは、後述する動画データ取得ステップS11(1)~S11(5)を実行するブロックであり、概して言うと、分析対象動作を行う被検者を側方から撮像した動画データを取得する働きをする。
【0031】
二次元座標情報作成部10cは、後述する二次元座標情報作成ステップS12(1)~S12(5)を実行するブロックであり、概して言うと、動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデルを使用して被検者HKの身体の複数の特徴点を抽出し、抽出した特徴点の二次元座標の時系列データである二次元座標情報を作成する働きをする。
【0032】
動作分析部10dは、後述する動作分析ステップS13(1)~S13(5)を各々実行するブロックであり、概して言うと、二次元座標情報を分析することによって特定の特徴点同士の相対的な位置関係の時間変化を検出し、その検出結果を基に、被検者HKが行った分析対象動作の特徴を示す数値情報を作成する働きをする。
【0033】
動画データ取得部10b、二次元座標情報作成部10c及び動作分析部10dは、分析対象動作の種類に応じて様々な処理を行うので、詳しくは、本発明の動作分析方法の第一から第五の実施形態を説明する中で述べる。
【0034】
<第一の実施形態の動作分析方法(回転動作の分析)>
まず、動作分析システム10が実行する動作分析方法の第一の実施形態である回転動作の分析について、図2図6に基づいて説明する。回転動作とは、被検者HKの身体が前方向又は後方向に回転する動作のことであり、動作分析システム10は、図2(a)に示す動画データ取得ステップS11(1)、二次元座標情報作成ステップS12(1)及び動作分析ステップS13(1)を順に実行する。
【0035】
動作データ取得ステップS11(1)では、回転動作を行う被検者HKを側方から撮像した動画データを取得する。動画データは、動画データ記憶部10aに格納されたものを抽出してもよいし、カメラ14から送信される動画データをリアルタイムに取得してもよい。
【0036】
二次元座標情報作成ステップS12(1)では、まず図3(a)、(b)に示すように、動作データ取得ステップS11(1)で取得した動画データを構成する静止画データ毎に、機械学習によって作成された身体特徴点推定モデル16を使用して被検者HKの身体の複数の特徴点を抽出する。身体特徴点推定モデル16は、様々な姿勢の人間を撮像した複数の静止画データSDであって、人間の身体の複数の特徴点が各々ラベリングされたものを学習データとし、当該学習データに基づく機械学習によって作成された学習済みモデルである。複数の特徴点K**には、左右の肘関節K2L,K2R、左右の肩関節K3L,K3R、左右の腰関節K4L,K4R、左右の膝関節K5L,K5R、左右の足首関節K6L,K6Rの中の、少なくとも2つの点が含まれる。
【0037】
第一の実施形態の場合、「回転動作の分析に必要な特徴点」を抽出する。必要な特徴点の組み合わせは、図2(b)に示すように、大きく分けてcase1~case6の6通りが考えられる。case1は、「右腰関節K4R及び右膝関節K5R」の組み合わせ、又は「左腰関節K4L及び左膝関節K5L」の組み合わせである。右か左かという点については、例えば取得した動画データが、被検者HKを右半身の側から撮像したものであれば、前者の組み合わせを選択し、左半身の側から撮像したものであれば、後者の組み合わせを選択するとよい。
【0038】
例えばcase1の「右腰関節K4R及び右膝関節K5R」の組み合わせを選択する場合、動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の特徴点「右腰関節K4R及び右膝関節K5R」を抽出する。そして、抽出した各関節の二次元座標の時系列データである二次元座標情報を各々作成する。
【0039】
その他の組み合わせの中のcase2は、「右腰関節K4R及び右足首関節K6R」の組み合わせ、又は「左腰関節K4L及び左足首関節K6L」の組み合わせである。Case3は、「右腰関節K4R及び右肩関節K3R」の組み合わせ、又は「左腰関節K4L及び左肩関節K3L」の組み合わせである。case4は、「右肩関節K3R及び右膝関節K5R」の組み合わせ、又は「左肩関節K3L及び左膝関節K5L」の組み合わせである。case5は、「右肩関節K3R及び右足首関節K6R」の組み合わせ、又は「左肩関節K3L及び左足首関節K6L」の組み合わせである。そして、case6は、「右肩関節K3R及び右腰関節K4R」の組み合わせ、又は「左肩関節K3L及び左腰関節K4L」の組み合わせである。case2~case6を選択する場合も同様に、動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して対応する特徴点を抽出し、抽出した特徴点の二次元座標の時系列データである二次元座標情報を各々作成する。
【0040】
動作分析ステップS13(1)では、二次元座標情報作成ステップS12(1)で作成した二次元座標情報から、選択した2つの特徴点を結ぶ直線を認識し、この直線の位置の時間変化を、片方の特徴点を原点として回転する動きとして検出する処理を行う。
【0041】
ここで、図4(a)に示す回転動作が行われたとすると、case1の場合は、右腰関節K4R及び右膝関節K5Rを結ぶ直線を認識し、この直線が右腰関節K4Rを原点として回転する回転角θの時間変化を検出する。この場合、図4(b)に示すように、タイミングt0における回転角θ0を0deg(基準)とした時に、タイミングt1における回転角θ1が90deg、タイミングt2における回転角θ2が180degと検出される。
【0042】
case2の場合は、右腰関節K4R及び右足首関節K6Rを結ぶ直線を認識し、この直線が右腰関節K4Rを原点として回転する回転角θの時間変化を検出する。この場合、図4(c)に示すように、タイミングt0における回転角θ0を0deg(基準)とした時に、タイミングt1における回転角θ1がほぼ90deg、タイミングt2における回転角θ2がほぼ180degと検出される。
【0043】
Case3の場合は、右腰関節K4R及び右肩関節K3Rを結ぶ直線を認識し、この直線が右腰関節K4Rを原点として回転する回転角θの時間変化を検出する。この場合、図4(d)に示すように、タイミングt0における回転角θ0を0deg(基準)とした時に、タイミングt1における回転角θ1がほぼ90deg、タイミングt2における回転角θ2がほぼ180degと検出される。
【0044】
このように、case1~case3は、右腰関節K4Rを原点として各直線の回転角θの時間変化を検出する手法であり、ほぼ同様の検出結果が得られる。
【0045】
また、図5(a)に示す回転動作、すなわち図4(a)と同様の回転動作が行われたとすると、case4の場合は、右肩関節K3R及び右膝関節K5Rを結ぶ直線を認識し、この直線が右肩関節K3Rを原点として回転する回転角θの時間変化を検出する。この場合、図5(b)に示すように、タイミングt0における回転角θ0を0deg(基準)とした時に、タイミングt1における回転角θ1が90deg、タイミングt2における回転角θ2が180degと検出される。
【0046】
case5の場合は、右肩関節K3R及び右足首関節K6Rを結ぶ直線を認識し、この直線が右肩関節K3Rを原点として回転する回転角θの時間変化を検出する。この場合、図5(c)に示すように、タイミングt0における回転角θ0を0deg(基準)とした時に、タイミングt1における回転角θ1がほぼ90deg、タイミングt2における回転角θ2がほぼ180degと検出される。
【0047】
Case6の場合は、右肩関節K3R及び右腰関節K4Rを結ぶ直線を認識し、この直線が右肩関節K3Rを原点として回転する回転角θの時間変化を検出する。この場合、図5(d)に示すように、タイミングt0における回転角θ0を0deg(基準)とした時に、タイミングt1における回転角θ1がほぼ90deg、タイミングt2における回転角θ2がほぼ180degと検出される。
【0048】
このように、case4~case6は、右肩関節K3Rを原点として各直線の回転角θの時間変化を検出する手法であり、ほぼ同様の検出結果が得られる。
【0049】
図6のタイムチャートは、case3の方法で検出された回転角θの正弦関数sinθの時間変化の一例を示している。このタイムチャートから、跳躍1では回転回数が3回、次の跳躍2と跳躍3では回転回数が2回ずつであることが読み取れる。また、横軸が時間なので、回転速度も容易に算出することができる。
【0050】
動作分析ステップS13(1)のアウトプットは、図2(b)に示すように、回転回数情報又は回転速度情報又はその両方である。回転回数情報は、回転した回数を認識できる情報であればよく、単位は[回]や[deg(度)]等にすることができる。同様に、回転速度情報は、回転の速さを認識できる情報であればよく、単位は[回/時間]や[deg/時間]等にすることができる。
【0051】
以上説明したように、動作分析システム10が実行する動作分析方法の第一の実施形態によれば、被検者HKを一般的なカメラ14で撮像した動画データを使用して、被検者HKが行った回転動作を的確に分析し、その回転動作の特徴を客観的に表した数値情報を容易に得ることができる。
【0052】
なお、回転動作の分析を行う時にcase1~case6のどの手法を選択するかについては、被検者HKの回転動作を行う時の癖や熟練度に合わせて検討するとよい。また、被検者HKの姿勢が回転動作の途中で変化すると(例えば、屈身から伸身に移行したり、両足が左右に開いたりすると)、case1~case6で検出結果にバラツキが生じる可能性がある。しかし、例えばcase3のように、腰関節と肩関節とを結ぶ直線の動きから回転角θを検出する方法を選択すれば、姿勢の変化による回転角θの検出バラツキは小さくなりやすい。
【0053】
また、上記の説明では、回転角θを身体の右半身の関節(又は左半身の関節)だけに着目して検出するとしたが、検出バラツキを吸収するため、右半身の関節に着眼した検出と左半身の関節に着眼した検出の両方を行い、両方の検出結果を総合的に評価するようにしてもよい。あるいは、左右の同じ位置にある関節の中点同士を結んだ直線(例えば、一対の肩関節K3L,K3Rの中点と一対の腰関節K4L,K4Rの中点とを結んだ直線)の動きを基に、回転動作の分析を行ってもよい。
【0054】
<第二の実施形態の動作分析方法(回転動作及び姿勢の分析)>
次に、動作分析システム10が実行する動作分析方法の第二の実施形態である回転動作及び姿勢の分析について、図7図9に基づいて説明する。回転動作の分析とは、上記と同様に、被検者HKの身体が前方向又は後方向に回転する動作の分析のことで、姿勢の分析とは、「伸身」と「屈身」と「抱え込み」の中のどれに該当するかを判定することである。動作分析システム10は、図7(a)に示す動画データ取得ステップS11(2)、二次元座標情報作成ステップS12(2)及び動作分析ステップS13(2)を順に実行する。
【0055】
動作データ取得ステップS11(2)では、回転動作を行う被検者を側方から撮像した動画データを取得する。これは、上記の動作データ取得ステップS11(1)と同じ内容である。
【0056】
二次元座標情報作成ステップS12(2)では、まず、動作データ取得ステップS11(2)で取得した動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の複数の特徴点を抽出する。これは、図3(a)、(b)に示す手法と基本的に同じであるが、第二の実施形態の場合、「回転動作及び姿勢の分析に必要な特徴点」を抽出する。
【0057】
必要な特徴点の組み合わせは、図7(b)に示すように、「右肩関節K3R、右腰関節K4R、右膝関節K5R及び右足首関節K6R」の組み合わせ、又は「左肩関節K3L、左腰関節K4L、左膝関節K5L及び左足首関節K6L」の組み合わせである。右か左かという点については、例えば取得した動画データが、被検者HKを右半身の側から撮像したものであれば、前者の組み合わせを選択し、左半身の側から撮像したものであれば、後者の組み合わせを選択するとよい。
【0058】
前者の「右肩関節K3R、右腰関節K4R、右膝関節K5R及び右足首関節K6R」の組み合わせを選択する場合、動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の特徴点「右肩関節K3R、右腰関節K4R、右膝関節K5R及び右足首関節K6R」を抽出する。そして、抽出した各関節の二次元座標の時系列データである二次元座標情報を各々作成する。
【0059】
動作分析ステップS13(2)では、上記の動作分析ステップS13(1)と同様に、二次元座標情報作成ステップS12(2)で作成した二次元座標情報から、選択した2つの特徴点を結ぶ直線を認識し、この直線の位置の時間変化を、片方の特徴点を原点として回転する動きとして検出する処理、すなわち回転角θの時間変化を検出する処理を行う。ここでは、case1~case6の中のどの手法を使用してもよい。
【0060】
また、回転角θの時間変化を検出する処理と並行して、姿勢の分析を行う。まず、二次元座標情報から、右腰関節K4Rと右肩関節K3Rとを結ぶ第一直線CY1と、右腰関節K4Rと右膝関節K5Rとを結ぶ第二直線CY2と、右膝関節K5Rと右足首関節K6Rとを結ぶ第三直線CY3とを認識し、第一直線CY1と第二直線CY2との交差角αと、第二直線CY2と第三直線CY3との交差角βとを算出する。そして、交差角α,βと第一及び第二基準値αr,βr(例えば、αr=βr=135deg)とを比較することによって、姿勢を判定する。
【0061】
具体的には、図8(a)に示すように交差角α>αrで交差角β>βrの時は「伸身」と判定し、図8(b)に示すように交差角α<αrで交差角β>βrの時は「屈身」と判定し、図8(c)に示すように交差角α<αrで交差角β<βrの時は「抱え込み」と判定する。そして、この判定結果を基に、被検者HKの姿勢の時間変化を示す姿勢判定情報を作成する。
【0062】
図9の上段のタイムチャートは、回転角θの正弦関数sinθの時間変化の一例(図6と同じもの)であり、下段のタイムチャートは、姿勢の判定の時間変化を示している。このタイムチャートから、跳躍1では「抱え込み」の姿勢で3回の回転動作が行われ、次の跳躍2では「屈身」の姿勢で2回の回転動作が行われ、次の跳躍3は「伸身」の姿勢で2回の回転動作が行われたことが読み取れる。
【0063】
動作分析ステップS13(2)のアウトプットは、図7(b)に示すように、回転回数情報、回転速度情報及び姿勢判定情報である。姿勢判定情報は、姿勢の時間変化を示すものであればよく、例えば図9の下段のタイムチャートのように横軸を時間として姿勢の変化を表したものでも良いし、跳躍毎又は回転動作毎に姿勢の判定結果を表したものでも良い。
【0064】
以上説明したように、動作分析システム10が実行する動作分析方法の第二の実施形態においても、被検者HKを一般的なカメラ14で撮像した動画データを使用して、被検者HKが行った回転動作及び姿勢を的確に分析し、その回転動作及び姿勢の特徴を客観的に表した数値情報を容易に得ることができる。
【0065】
なお、動作分析ステップS13(2)の中の姿勢の分析について、上記の説明では、身体の右半身の関節(又は左半身の関節)だけに着目して交差角α,βを検出するとしているが、検出バラツキを吸収するため、右半身の関節に着眼して算出した交差角α,βと、左半身の関節に着眼して算出した交差α,βの両方を使用して、姿勢を総合的に評価するようにしてもよい。
【0066】
また、ここまで説明した姿勢の分析の手法は、回転動作以外の動作にも適用することでき、非常に汎用性が高いものである。例えば、後述する軸回り動作を行っている時の姿勢の分析にも使用することができる。また、後述するキックアウト動作の分析の中で行っているように「伸身」か「非伸身」かの判定、「屈身」か「非屈身」かの判定、「抱え込み」か「非抱え込み」かの判定も可能である。
【0067】
<第三の実施形態の動作分析方法(軸回り動作の分析)>
次に、動作分析システム10が実行する動作分析方法の第三の実施形態である軸回り動作の分析について、図10図12に基づいて説明する。軸回り動作とは、被検者HKの身体が、上半身及び下半身を通過する仮想直線18を軸に回転する動作のことであり、動作分析システム10は、図10(a)に示す動画データ取得ステップS11(3)、二次元座標情報作成ステップS12(3)及び動作分析ステップS13(3)を順に実行する。
【0068】
動作データ取得ステップS11(3)では、軸回り動作を行う被検者HKを側方から撮像した動画データを取得する。
【0069】
二次元座標情報作成ステップS12(3)では、まず、動作データ取得ステップS11(3)で取得した動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の複数の特徴点を抽出する。これは、図3(a)、(b)に示す手法と基本的に同じであるが、第三の実施形態の場合、「軸回り動作の分析に必要な特徴点」を抽出する。
【0070】
必要な特徴点の組み合わせは、図10(b)に示すように、case1とcase2の2通りが考えられる。case1は、「右肩関節K3R及び左肩関節K3L」の組み合わせ、case2は「右腰関節K4R及び左腰関節K4L」の組み合わせである。
【0071】
例えば、case1の「右肩関節K3R及び左肩関節K3L」の組み合わせを選択する場合、動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の特徴点「右肩関節K3R及び左肩関節K3L」を抽出する。そして、抽出した各関節の二次元座標の時系列データである二次元座標情報を各々作成する。
【0072】
また、case2の「右腰関節K4R及び左腰関節K4L」の組み合わせを選択する場合は、動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の特徴点「右腰関節K4R及び左腰関節K4L」を抽出する。そして、抽出した各関節の二次元座標の時系列データである二次元座標情報を各々作成する。
【0073】
動作分析ステップS13(3)では、二次元座標情報作成ステップS12(3)で作成した二次元座標情報から、選択した2つの特徴点同士の間隔Dを認識し、間隔Dの時間変化を検出する処理を行う。
【0074】
ここで、図11(a)、(b)に示す軸回り動作が行われたとすると、case1の場合、被検者HKの身体の前面が上方を向いているタイミングtaでは、間隔D(右肩関節K3Rと左肩関節K3Lとの間隔)が相対的に小さくなり、側方を向いているタイミングtbでは、間隔Dが相対的に大きくなる。Case2の場合も同様に、上方を向いているタイミングtaでは、間隔D(右腰関節K4Rと左腰関節K4Lとの間隔)が相対的に小さくなり、側方を向いているタイミングtbでは、間隔Dが相対的に大きくなる。
【0075】
図12のタイムチャートは、case2の手法で検出された間隔Dの時間変化の一例を示している。このタイムチャートから、跳躍1では軸回り回数が0.5回、次の跳躍2では軸回り回数が1.5回、次の跳躍3では軸回り回数が1.0回であることが読み取れる。また、横軸が時間なので、軸回り速度も容易に算出することができる。
【0076】
動作分析ステップS13(3)のアウトプットは、図10(b)に示すように、軸回り回数情報又は軸回り速度情報又はその両方である。軸回り回数情報は、回転した回数を認識できる情報であればよく、単位は[回]や[deg(度)]等にすることができる。同様に、軸回り速度情報は、回転の速さを認識できる情報であればよく、単位は[回/時間]や[deg/時間]等にすることができる。
【0077】
以上説明したように、動作分析システム10が実行する動作分析方法の第三の実施形態においても、被検者HKを一般的なカメラ14で撮像した動画データを使用して、被検者HKが行った軸回り動作を的確に分析し、その軸回り動作の特徴を客観的に表した数値情報を容易に得ることができる。
【0078】
なお、被検者HKの姿勢が回転の途中で変化すると(例えば、伸身から非伸身に変化したり、上半身と下半身とが捩じれたりすると)、case1とcase2で検出結果にバラツキが生じる可能性がある。したがって、上記の説明では、回転角θを肩関節K3R,K3Lだけで検出する又は腰関節K4R,K4Lだけで検出するとしたが、検出バラツキを吸収するため、肩関節K3R,K3Lによる検出と腰関節K4R,K4Lによる検出の両方を行い、両方の検出結果を総合的に評価するようにしてもよい。
【0079】
<第四の実施形態の動作分析方法(キックアウト動作の分析)>
次に、動作分析システム10が実行する動作分析方法の第四の実施形態であるキックアウト動作の分析について、図13図15に基づいて説明する。キックアウト動作とは、前方向又は後方向の宙返りの途中で被検者HKの姿勢が「屈身」又は「抱え込み」から「伸身」に変化する動作のことであり、動作分析システム10は、図13(a)に示す動画データ取得ステップS11(4)、二次元座標情報作成ステップS12(4)及び動作分析ステップS13(4)を順に実行する。
【0080】
動作データ取得ステップS11(4)では、宙返り等の一連の動作を行う被検者HKを側方から撮像した動画データを取得する。
【0081】
二次元座標情報作成ステップS12(4)では、まず、動作データ取得ステップS11(4)で取得した動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の複数の特徴点を抽出する。これは、図3(a)、(b)に示す手法と基本的に同じであるが、第四の実施形態の場合、「キックアウト動作の分析に必要な特徴点」を抽出する。
【0082】
ここでは、図13(b)に示すように、特徴点として、「左右の手首関節K1L,K1R、左右の肘関節K2L,K2R、左右の肩関節K3L,K3R、左右の腰関節K4L,K4R、左右の膝関節K5L,K5R、左右の足首関節K6L,K6R」の12点を抽出する。そして、抽出した各関節の二次元座標の時系列データである二次元座標情報を各々作成する。
【0083】
動作分析ステップS13(4)では、連続関数導出処理SR11、回転動作検出処理SR12及び姿勢判定処理SR13を並行して行う。
【0084】
連続関数導出処理SR11とは、二次元座標情報作成ステップS12(4)で作成した二次元座標情報から、被検者HKの身体の高さ位置を特定するための仮想の身体中心点Kpの二次元座標を算出し、その算出結果を基に身体中心点Kpの高さ位置の時間変化を示す連続関数RKを導出する処理である。
【0085】
図14に示すように、二次元座標の水平軸をX軸、鉛直軸をY軸とし、12個の特徴点の二次元座標を各々(x1,y1)、(x2,y2)、・・・(x12,y12)としたとき、身体中心点Kpの二次元座標(xp,yp)は、例えば、図中の例1に記載した数式を用いて算出すると、12個の特徴点の重心を身体中心点Kpに設定することができる。また、図中の例2に記載した数式を用いて算出すると、12個の特徴点の外接矩形の中心を身体中心点Kpに設定することができる。身体中心点Kpをどのように設定するかは、状況に応じて適宜決定すればよい。
【0086】
また、連続関数RKを導出する時は、時間に対するyp座標の変化の移動平均を取り、欠損値をスプライン補間することが好ましい。例えば、ラグランジュ補間を行うと欠損値の数が増えてくると近似の精度が低下する可能性があるが、スプライン補間を行うことによって、欠損値の点数が増えた時でも近似の精度を確保することができる。
【0087】
回転動作検出処理SR12は、上記の動作分析方法の第一の実施形態(回転動作の分析)と類似した処理である。つまり、二次元座標情報作成ステップS12(4)で作成した二次元座標情報から、特定の2つの特徴点を結ぶ直線を認識し、この直線の位置の時間変化を、片方の特徴点を原点として回転する動きとして検出する処理、すなわち回転角θの時間変化を検出する処理を行う。ここでは、図2(b)に示すcase1~case6の中のどの手法を使用してもよい。
【0088】
ただし、回転動作検出処理SR12の場合、回転動作が行われたことを検出することが目的であり、回転回数情報や回転速度情報を作成する処理は不要である。したがって、回転動作検出処理SR12では、例えば、回転回数が1/4回未満(θ<90deg)の時は「回転動作は検出されない」と判定し、回転回数が1/4回以上(θ≧90deg)になると「回転動作が検出された」と判定する処理を行う。判定の閾値は、状況に応じて適宜変更することができる。
【0089】
姿勢判定処理SR13は、上記の動作分析方法の第二の実施形態(回転動作及び姿勢の分析)の中の姿勢の分析と類似した処理である。つまり、身体の右半身の関節だけに着目するとすれば、二次元座標情報作成ステップS12(4)で作成した二次元座標情報から、右腰関節K4Rと右肩関節K3Rとを結ぶ第一直線CY1と、右腰関節K4Rと右膝関節K5Rとを結ぶ第二直線CY2と、右膝関節K5Rと右足首関節K6Rとを結ぶ第三直線CY3とを認識し、第一直線CY1と第二直線CY2との交差角αと、第二直線CY2と第三直線CY3との交差角βとを算出する。そして、交差角α,βと第一基準値αr及び第二基準値βrとを比較することによって、姿勢を判定する。
【0090】
ただし、姿勢判定処理SR13の場合、姿勢が「伸身」か「非伸身」かを判定することが目的であり、「屈身」か「抱え込み」かを区別する必要はない。したがって、姿勢判定処理SR13では、図8(a)に示すように、交差角α>αrで交差角β>βrの時に「伸身」と判定し、「伸身」に該当しない時に「非伸身」と判定する処理を行う。
【0091】
動作分析ステップS13(4)のアウトプットは、図13(b)に示すように、キックアウト動作検出情報である。以下、キックアウト動作検出情報が作成される条件と作成の手順を、図15に基づいて説明する。図15の上段のタイムチャートは、連続関数導出処理SR11で導出された連続関数RK(身体中心点Kpのyp座標の時間変化)の一例であり、中段のタイムチャートは、回転動作検出処理SR12の検出結果の時間変化の一例であり、下段のタイムチャートは、姿勢判定処理SR13の判定結果の時間変化の一例を示している。
【0092】
動作分析ステップS13(4)では、連続関数RKの傾きが負の値(又はゼロ)から正の値に転じた後、次に負の値から正の値(又はゼロ)に転じるまでの期間を跳躍期間とし、跳躍期間中に被検者HKの回転動作が検出され、その回転動作中に被検者HKの姿勢が「非伸身」から「伸身」に変化すると「キックアウト動作が行われた」と判定し、キックアウト動作検出情報を作成する。
【0093】
例えば、跳躍期間T2は、回転動作(宙返り)が検出され、その宙返り中に姿勢が「非伸身」から「伸身」に変化しているので、この姿勢の変化が発生した時に「キックアウト動作が行われた」と判定する。一方、跳躍期間T1は宙返りが行われておらず、跳躍期間T3は宙返りが「伸身」の姿勢を維持して行われているので、「キックアウト動作が行われた」とは判定されない。
【0094】
キックアウト動作検出情報は、キックアウト動作が検出されたことを示すフラグでもよいし、さらにキックアウト動作が検出された時間やタイミングを示す情報を付加したものでもよい。
【0095】
以上説明したように、動作分析システム10が実行する動作分析方法の第四の実施形態においても、被検者HKを一般的なカメラ14で撮像した動画データを使用して、被検者HKが行ったキックアウト動作を的確に検出し、キックアウト動作が検出されたことを示す客観的に表した数値情報を容易に得ることができる。
【0096】
なお、二次元座標情報作成ステップS12(4)では、図13(b)に示す12個の特徴点を抽出している。もし、身体中心点Kpをもっと高い精度で特定したい時は、さらに別の特徴点を追加するとよい。その一方で、12個の特徴点の中の左右の手首関節K1L,K1R及び左右の肘関節K2L,K2Rは、連続関数導出処理SR11で身体中心点Kpの精度を向上させるために使用し、その他の分析には使用していない。したがって、身体中心点Kpの精度を高くするよりも処理速度を高速化させることを優先したい時は、その他の分析に影響しない範囲で、特徴点の数を減らすことができる。
【0097】
例えば、特定の2つ特徴点(例えば、左腰関節K4Lと右腰関節K4R)を結ぶ直線の中間点を身体中心点Kpとすれば、二次元座標情報作成ステップS12(4)や連続関数導出処理SR11の処理時間を大幅に短縮することができる。また、身体のほぼ中心の位置にある1つの特徴点(例えば、左腰関節K4や右腰関節K4R)をそのまま身体中心点Kpとすることも可能である。
【0098】
<第五の実施形態の動作分析方法(ダウン動作の分析)>
次に、動作分析システム10が実行する動作分析方法の第五の実施形態であるダウン動作の分析について、図16図18に基づいて説明する。ダウン動作とは、跳躍中に被検者HKの姿勢が「伸身」から「非伸身」に変化してそのまま着床する動作のことであり、動作分析システム10は、図16(a)に示す動画データ取得ステップS11(5)、二次元座標情報作成ステップS12(5)及び動作分析ステップS13(5)を順に実行する。
【0099】
動作データ取得ステップS11(5)では、跳躍して一連の動作を行う被検者HKを側方から撮像した動画データを取得する。
【0100】
二次元座標情報作成ステップS12(5)では、まず、動作データ取得ステップS11(5)で取得した動画データを構成する静止画データ毎に、身体特徴点推定モデル16を使用して被検者HKの身体の複数の特徴点を抽出する。これは、図3(a)、(b)に示す手法と基本的に同じであるが、第五の実施形態の場合、「ダウン動作の分析に必要な特徴点」を抽出する。
【0101】
ここでは、図16(b)に示すように、特徴点として、「左右の手首関節K1L,K1R、左右の肘関節K2L,K2R、左右の肩関節K3L,K3R、左右の腰関節K4L,K4R、左右の膝関節K5L,K5R、左右の足首関節K6L,K6R」の12点を抽出する。この12個の特徴点は、キックアウト動作の分析で抽出した特徴点と同様である。そして、抽出した各関節の二次元座標の時系列データである二次元座標情報を各々作成する。
【0102】
動作分析ステップS13(5)では、キックアウト動作の分析の時と同様の連続関数導出処理SR11及び姿勢判定処理SR13を並行して行う。回転動作検出処理SR12は不要である。
【0103】
動作分析ステップS13(5)のアウトプットは、図16(b)に示すように、ダウン動作検出情報及び交差角情報である。以下、ダウン動作検出情報及び交差角情報が作成される条件と作成の手順を、図17に基づいて説明する。図17の上段のタイムチャートは、連続関数導出処理SR11で導出された連続関数RK(身体中心点Kpのyp座標の時間変化)の一例であり、下段のタイムチャートは、姿勢判定処理SR13の判定結果の時間変化の一例を示している。
【0104】
動作分析ステップS13(5)では、連続関数RKの傾きが正の値から負の値に転じた後、次に負の値から正の値(又はゼロ)に転じるまでの期間を身体下降期間とし、身体下降期間中に被検者HKの姿勢が「伸身」から「非伸身」に変化すると「ダウン動作が行われた」と判定し、ダウン動作検出情報及び交差角情報を作成する。
【0105】
例えば、身体下降期間Taは、着床する前に姿勢が「伸身」から「非伸身」に変化しているので、この姿勢の変化が発生した時に「キックアウト動作が行われた」と判定する。身体下降期間Tb,Tcも同様である。
【0106】
ダウン動作検出情報は、ダウン動作が検出されたことを示すフラグでもよいし、さらにダウン動作が検出された時間やタイミングを示す情報を付加したものでもよい。
【0107】
交差角情報は、図18に示すように、「ダウン動作が行われた」と判定する根拠となった姿勢の変化が生じた時の、第一直線CY1と仮想鉛直線20又は仮想水平線22との交差角を示す情報である。例えば、図の中の交差角φaは、第一直線CY1と仮想鉛直線20との交差角であり、一般にダウン角度と呼ばれている。ダウン角度は、トランポリン競技の採点に使用される指標の1つで、ダウン角度の大きさによって評価点が変化する。したがって、ダウン角度は、演技の採点を行う時は勿論のこと、演技の練習を行う時にもチェックしておきたい指標である。
【0108】
また、交差角φbは、交差角φaと同様に、第一直線CY1と仮想鉛直線20との交差角であり、180degからφbを差し引くことによってダウン角度を簡単に知得することができる。また、交差角φcは、第一直線CY1と仮想水平線22との交差角であり、φcに90degを加算することによって、ダウン角度を簡単に知得することができる。したがって、交差角情報は、算出した交差角φa又はφb又はφcの算出結果をそのまま表した情報でもよいし、ダウン角度に変換した値を表した情報でもよい。
【0109】
以上説明したように、動作分析システム10が実行する動作分析方法の第五の実施形態においても、被検者HKを一般的なカメラ14で撮像した動画データを使用して、被検者HKが行ったダウン動作を的確に検出し、ダウン動作が検出されたこと及びそのダウン動作の特徴を客観的に表した数値情報を容易に得ることができる。
【0110】
<その他の実施形態、変形例等>
なお、本発明の動作分析方法、動作分析プログラム及び動作分析システムは、上記実施形態に限定されるものではない。上記の各実施形態は、トランポリン競技で行われる4つの動作(回転動作、軸回り動作、キックアウト動作及びダウン動作)を分析対象とし、各動作を個別に分析する構成になっている。しかし、これらを組み合わせて4つの動作を同時並行的に分析する構成にすることも可能であり、これにより、例えば「屈身の2回宙返り1回ひねり」のような複雑な演技が行われた時、その演技を構成する個々の動作を、素早く的確に分析することができる。その他、上記4つの動作(回転動作、軸回り動作、キックアウト動作及びダウン動作)以外の動作を分析対象とすることも可能である。
【0111】
本発明が分析対象とする動作は、トランポリン競技で行われる動作に限定されない。例えば、上記の回転動作は、体操競技、ダンスやパフォーマンスなどの技芸の中でも行われる動作であり、上記の回転動作及び姿勢の分析方法を応用することができる。また、上記の軸回り動作は、体操競技やフィギュアスケートの中でも行われる動作であり、上記の軸回り回転動作及び姿勢の分析方法を応用することができる。
【0112】
また、キックアウト動作やダウン動作は、例えば体操競技の中で同様の動作が行われる場合があり、上記のキックアウト動作やダウン動作の分析方法を応用することができる。ただ、トランポリン競技は床面(マット12a)が弾性的に変形するのに対し、体操競技等では床面がほとんど変形しないという違いがあるので、体操競技等に応用する時は、跳躍期間や身体下降期間の認識方法を少し変更することが好ましい。
【0113】
詳しく説明すると、体操競技等は床面がほとんど変形しないので、被検者HKが跳躍して着床した後、次の跳躍で離床するまでの間、身体中心点Kpの高さ位置(yp座標)がほぼ一定となるので、この期間は連続関数RKの傾き(ypの時間変化の傾き)がゼロに保持されることになる。そのため、体操競技等でキックアウト動作の分析を行う場合、跳躍期間は、「連続関数の傾きがゼロ以下の値から正の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間」とすることが好ましい。また、体操競技等でダウン動作の分析を行う場合、身体下降期間は、「連続関数の傾きが正の値から負の値に転じた後、次に負の値からゼロ以上の値に転じるまでの期間」とすることが好ましい。
【0114】
上記の動作分析システム10は、必要に応じてカメラ14を外部接続する構成にしているが、カメラをシステムの一部として設けてもよい。また、動作分析システム10はディスプレイ等の表示部10eを有しているが、表示部12eを無くし、専用の表示装置を外部接続して表示する構成にしてもよい。また、動作分析部10dが作成した情報を、通信回線を通じて外部機器(プリンタ装置や管理サーバ等)に送信する構成にしてもよい。
【符号の説明】
【0115】
10 動画分析装置
10b 動画データ取得部
10c 二次元座標情報作成部
10d 動作分析部
16 身体特徴点推定モデル
18 仮想直線(軸回り動作の回転軸)
20 仮想鉛直線
22 仮想水平線
CY1 第一直線
CY2 第二直線
CY3 第三直線
HK 被検者
K1L~K6L、K1R~K6R 各部の関節(特徴点)
Kp 身体中心点
S11(1)~S11(5) 動画データ取得ステップ
S12(1)~S12(5) 二次元座標データ作成ステップ
S13(1)~S13(5) 動画分析ステップ
α 第一直線と第二直線との交差角
αr 第一基準値
β 第二直線と第三直線との交差角
βr 第二基準値
θ 回転角
φa,φb 第一直線と仮想鉛直線との交差角
φc 第一直線と仮想水平線との交差角
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18