特許 6862875 運動評価装置、運動評価方法及び運動評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6862875

(24)【登録日】2021年4月5日

(45)【発行日】2021年4月21日

(54)【発明の名称】運動評価装置、運動評価方法及び運動評価プログラム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20210412BHJP

   A63B 69/36 20060101ALI20210412BHJP

【ＦＩ】

   A63B69/00 A

   A63B69/36 541P

   A63B69/36 541W

【請求項の数】7

【全頁数】24

(21)【出願番号】特願2017-18198(P2017-18198)

(22)【出願日】2017年2月3日

(65)【公開番号】特開2018-8015(P2018-8015A)

(43)【公開日】2018年1月18日

【審査請求日】2019年12月23日

(31)【優先権主張番号】特願2016-128342(P2016-128342)

(32)【優先日】2016年6月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】相原 岳浩

【審査官】 田中 洋行

(56)【参考文献】

【文献】 特開２０１０−０８２４３０（ＪＰ，Ａ）

【文献】 特開２０１５−１１６２８８（ＪＰ，Ａ）

【文献】 特開２０１１−１２５４１７（ＪＰ，Ａ）

【文献】 特表２００８−５２８１９５（ＪＰ，Ａ）

【文献】 特開２０１４−０６４１０９（ＪＰ，Ａ）

【文献】 特開２００７−３１９３４７（ＪＰ，Ａ）

【文献】 特開２０１５−１１９８３３（ＪＰ，Ａ）

【文献】 米国特許第０８４６０００１（ＵＳ，Ｂ１）

【文献】 特開２００９−２４０７１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ａ６３Ｂ６９／００−７１／１６

Ｇ０６Ｔ ７／００− ７／９０

(57)【特許請求の範囲】

【請求項1】

動作中の被写体を連続的に撮像した複数の画像それぞれから、前記被写体部分を抽出し、前記抽出された画像である複数の抽出画像それぞれを重ね合わせた合成画像を生成する生成部と、
前記被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得するモーションデータ取得部と、
前記モーションデータ取得部に取得され、前記合成画像の基となる前記複数の画像が撮像されたタイミングに対応する前記モーションデータの時系列と、前記生成部に生成された前記合成画像とを表示部に表示させる表示制御部と、
前記表示部に表示された前記モーションデータの時系列における、ユーザによって指定された時間を取得する指定時間取得部と、を備え、
前記表示制御部は、前記表示部に表示された前記合成画像において、前記合成画像を構成する前記複数の抽出画像のうち、前記指定時間取得部に取得された前記指定された時間に対応する前記抽出画像と、前記指定された時間以外に対応する前記抽出画像を区別して表示させる、
ことを特徴とする運動評価装置。

【請求項2】

前記表示制御部は、前記表示部に表示された前記合成画像において、前記合成画像を構成する前記複数の抽出画像のうち、前記指定時間取得部に取得された前記指定された時間に対応する前記抽出画像の表示態様と、前記指定された時間以外に対応する前記抽出画像の表示態様を区別して表示させる、ことを特徴とする請求項１に記載の運動評価装置。

【請求項3】

前記表示制御部は、前記表示部に表示された前記合成画像において、前記合成画像を構成する前記複数の抽出画像のうち、前記指定時間取得部に取得された前記指定された時間に対応する前記抽出画像の透過度と、前記指定された時間以外に対応する前記抽出画像の透過度を区別して表示させる、
ことを特徴とする請求項１又は２に記載の運動評価装置。

【請求項4】

前記モーションデータは複数の軸方向を中心とする角速度データを含み、
前記モーションデータ及び前記複数の画像は、前記被写体の動作における一連の動作を対象としたものである、
ことを特徴とする請求項１から３のいずれか一項に記載の運動評価装置。

【請求項5】

前記生成部は、前記複数の抽出画像に含まれる前記被写体の位置を揃えて前記合成画像を生成する、
ことを特徴とする請求項１から４のいずれか一項に記載の運動評価装置。

【請求項6】

運動評価装置の運動評価方法であって、
動作中の被写体を連続的に撮像した複数の画像それぞれから、前記被写体部分を抽出し、前記抽出された画像である複数の抽出画像それぞれを重ね合わせた合成画像を生成する生成ステップと、
前記被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得するモーションデータ取得ステップと、
前記モーションデータ取得ステップに取得され、前記合成画像の基となる前記複数の画像が撮像されたタイミングに対応する前記モーションデータの時系列と、前記生成ステップに生成された前記合成画像とを表示部に表示させる表示制御ステップと、
前記表示部に表示された前記モーションデータの時系列における、ユーザによって指定された時間を取得する指定時間取得ステップと、を含み、
前記表示制御ステップは、前記表示部に表示された前記合成画像において、前記合成画像を構成する前記複数の抽出画像のうち、前記指定時間取得ステップに取得された前記指定された時間に対応する前記抽出画像と、前記指定された時間以外に対応する前記抽出画像を区別して表示させる、
ことを特徴とする運動評価方法。

【請求項7】

運動評価装置のコンピュータに、
動作中の被写体を連続的に撮像した複数の画像それぞれから、前記被写体部分を抽出し、前記抽出された画像である複数の抽出画像それぞれを重ね合わせた合成画像を生成する生成部、
前記被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得するモーションデータ取得部、
前記モーションデータ取得部に取得され、前記合成画像の基となる前記複数の画像が撮像されたタイミングに対応する前記モーションデータの時系列と、前記生成部に生成された前記合成画像とを表示部に表示させる表示制御部、
前記表示部に表示された前記モーションデータの時系列における、ユーザによって指定された時間を取得する指定時間取得部、として機能させ、
前記表示制御部は、前記表示部に表示された前記合成画像において、前記合成画像を構成する前記複数の抽出画像のうち、前記指定時間取得部に取得された前記指定された時間に対応する前記抽出画像と、前記指定された時間以外に対応する前記抽出画像を区別して表示させる、
ことを特徴とする運動評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運動評価装置、運動評価方法及び運動評価プログラムに関する。

【背景技術】

【0002】

従来、人体に加速度センサを取り付けた状態で歩行したときの、加速度センサの進行方向に対する出力結果と、鉛直方向に対する出力結果とから、例えば歩行時における着地タイミングや離地タイミング、接地時間等に関するデータを測定することのできる測定装置が開示されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１７９１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１に開示されている測定装置では、被測定者の実際の歩行動作と直感的に結び付けるような結果表示が行われないため、測定されたデータを理解し難いという問題があった。
そこで、本発明の課題は、被測定者の動作について測定されたデータを理解し易くすることである。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明に係る運動評価装置は、
動作中の被写体を連続的に撮像した複数の画像それぞれから、前記被写体部分を抽出し、前記抽出された画像である複数の抽出画像それぞれを重ね合わせた合成画像を生成する生成部と、
前記被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得するモーションデータ取得部と、
前記モーションデータ取得部に取得され、前記合成画像の基となる前記複数の画像が撮像されたタイミングに対応する前記モーションデータの時系列と、前記生成部に生成された前記合成画像とを表示部に表示させる表示制御部と、
前記表示部に表示された前記モーションデータの時系列における、ユーザによって指定された時間を取得する指定時間取得部と、を備え、
前記表示制御部は、前記表示部に表示された前記合成画像において、前記合成画像を構成する前記複数の抽出画像のうち、前記指定時間取得部に取得された前記指定された時間に対応する前記抽出画像と、前記指定された時間以外に対応する前記抽出画像を区別して表示させる、
ことを特徴とする。

【発明の効果】

【0006】

本発明によれば、被測定者の動作について測定されたデータを理解し易くすることができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施の形態の運動評価システムを示すブロック図である。

【図2】本実施形態に係る測定装置をユーザが装着した状態を示す図である。

【図3】（ａ）は運動評価装置の機能構成を示すブロック図であり、（ｂ）は測定装置の機能構成を示すブロック図であり、（ｃ）は撮像装置の機能構成を示すブロック図である。

【図4】実施形態１の運動評価処理を示すフローチャートである。

【図5】表示制御処理を示すフローチャートである。

【図6】（ａ）はワールド座標軸を示す図であり、（ｂ）、（ｃ）は測定装置を装着したユーザの姿勢変化を示す図であり、（ｄ）はＺ軸の加速度データの波形、及び、平滑化処理後のＺ軸の加速度データの波形を示す図であり、（ｅ）は接地位置の推定手順を示す図である。

【図7】ランニング中の各軸を中心とする角速度データの波形を示す図である。

【図8】離地位置の推定手順を示す図である。

【図9】ランニング周期の各局面を示す図である。

【図10】運動解析データの一例を示す図である。

【図11】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【図12】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【図13】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【図14】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【図15】運動解析データの一例を示す図である。

【図16】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【図17】運動解析データの一例を示す図である。

【図18】実施形態２の運動評価処理を示すフローチャートである。

【図19】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【図20】運動評価処理を実行した際の運動評価装置の表示画面の一例を示す図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

【0009】

［実施形態１］
図１〜図３を参照して、本実施の形態の装置構成を説明する。先ず、図１を参照して、本実施の形態の運動評価システム１を説明する。図１は、本実施の形態の運動評価システム１を示すブロック図である。

【0010】

運動評価システム１は、運動評価装置１０と、測定装置２０と、撮像装置３０と、を備える。

【0011】

運動評価装置１０は、被測定者に装着された測定装置２０からモーションデータを取得して運動解析を行うとともに、撮像装置３０からこの被測定者のランニング動作に係る画像データを取得して、時間経過毎の被測定者の複数の画像を経過時間に沿って並べた、多重露光状の合成画像を生成する。そして、運動評価装置１０は、ユーザの指示に応じて、上記解析結果と上記合成画像とを対応付けて表示する。

【0012】

測定装置２０は、図２に示すように、例えば被測定者の腰の位置に装着され、この被測定者がランニングを行ったときの３軸方向の加速度及び角速度を測定する。ここで、左右方向をＸ軸とし、前後方向をＹ軸とし、上下方向をＺ軸とする。Ｘ軸においては左手方向を正、右手方向を負とする。Ｙ軸においては進行方向逆向きを正とし、進行方向を負とする。Ｚ軸においては上方向を正、下方向を負とする。

【0013】

撮像装置３０は、測定装置２０を装着した被測定者のランニング動作を撮影するためのデジタルカメラである。

【0014】

次いで、図３（ａ）を参照して、運動評価装置１０の内部の機能構成を説明する。図３（ａ）は、運動評価装置１０の機能構成を示すブロック図である。

【0015】

図３（ａ）に示すように、運動評価装置１０は、生成部、運動解析部、表示制御部、第１の指定部、第２の指定部としてのＣＰＵ（Central Processing Unit）１１と、操作部
１２と、ＲＡＭ（Random Access Memory）１３と、表示部１４と、記憶部１５と、通信部１６と、を備える。運動評価装置１０の各部は、バス１７を介して接続されている。

【0016】

ＣＰＵ１１は、運動評価装置１０の各部を制御する。ＣＰＵ１１は、記憶部１５に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭ１３に展開し、当該プログラムとの協働で、各種処理を実行する。

【0017】

操作部１２は、キーボード等のキー入力部と、マウス等のポインティングデバイスとを有し、キー入力及び位置入力を受け付け、その操作情報をＣＰＵ１１に出力する。

【0018】

ＲＡＭ１３は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。表示部１４は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（ElectroLuminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に
従い各種表示を行う。

【0019】

記憶部１５は、ＨＤＤ（Hard Disk Drive）等により構成され、データ及びプログラム
を書き込み及び読み出し可能な記憶部である。特に、記憶部１５は、運動評価プログラム１５１を記憶している。

【0020】

通信部１６は、被測定者に装着された測定装置２０からモーションデータを受信するとともに、撮像装置３０からこの被測定者のランニング動作に係る画像データを受信するものであり、例えば、ＵＳＢ端子などの有線式の通信部や、ＷｉＦｉなどの無線ＬＡＮ規格を採用した通信部である。

【0021】

次いで、図３（ｂ）を参照して、測定装置２０の機能構成を説明する。図３（ｂ）は、測定装置２０の機能構成を示すブロック図である。

【0022】

測定装置２０は、ＣＰＵ２１と、操作部２２と、ＲＡＭ２３と、加速度センサ２４と、ジャイロセンサ２５と、記憶部２６と、通信部２７と、を備える。測定装置２０の各部は、バス２８を介して接続されている。

【0023】

ＣＰＵ２１及びＲＡＭ２３は、運動評価装置１０のＣＰＵ１１、ＲＡＭ１３と同様であるため、重複する説明を省略し、異なる部分を主として説明する。

【0024】

ＣＰＵ２１は、測定装置２０の各部を制御する。また、ＣＰＵ２１は、加速度センサ２４から出力される各軸の加速度の検出データ（モーションデータ）を記憶部２６に記憶する。また、ＣＰＵ２１は、ジャイロセンサ２５から出力される各軸を中心とする角速度の検出データ（モーションデータ）を記憶部２６に記憶する。

【0025】

操作部２２は、電源のＯＮ／ＯＦＦを切り替える電源ボタン（図示省略）、データ取得の開始／停止を指示する開始／停止ボタン（図示省略）等を備えており、この操作部２２からの指示に基づいてＣＰＵ２１は各部を制御するようになっている。

【0026】

加速度センサ２４は、互いに直交する３軸方向の加速度データを検出する。そして、加速度センサ２４は、検出された各軸の加速度データをＣＰＵ２１に出力する。
ジャイロセンサ２５は、互いに直交する３軸方向を中心とする角速度データを検出する。そして、ジャイロセンサ２５は、検出された各軸を中心とする角速度データをＣＰＵ２１に出力する。各軸の加速度データ及び各軸を中心とする角速度データは、所定のサンプリング周期（例えば、２００Ｈｚ）でサンプリングされているものとする。

【0027】

記憶部２６は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。

【0028】

通信部２７は、記憶部２６に記憶した各軸の加速度データ及び各軸を中心とする角速度データをＣＰＵ２１による制御に基づいて運動評価装置１０に出力するものであり、例えば、ＵＳＢ端子などの有線式の通信部や、ＷｉＦｉなどの無線ＬＡＮ規格を採用した通信部である。

【0029】

次いで、図３（ｃ）を参照して、撮像装置３０の機能構成を説明する。図３（ｃ）は、撮像装置３０の機能構成を示すブロック図である。

【0030】

撮像装置３０は、ＣＰＵ３１と、操作部３２と、ＲＡＭ３３と、撮像部３４と、表示部３５と、記憶部３６と、通信部３７と、を備える。撮像装置３０の各部は、バス３８を介して接続されている。

【0031】

ＣＰＵ３１及びＲＡＭ３３は、運動評価装置１０のＣＰＵ１１、ＲＡＭ１３と同様であるため、重複する説明を省略し、異なる部分を主として説明する。

【0032】

ＣＰＵ３１は、撮像装置３０の各部を制御する。また、ＣＰＵ３１は、撮像部３４により撮影された被写体（測定装置２０を装着した被測定者）の画像データを記憶部３６に記憶する。

【0033】

操作部３２は、例えば、シャッタキー、動作モードや機能等の選択指示に係る上下左右のカーソルボタン、決定ボタン等を備えている。ＣＰＵ３１は、操作部３２からの指示に基づいて撮像装置３０の各部を制御する。なお、操作部３２は、表示部３５と一体となって設けられたタッチパネル（図示略）を有して構成されていても良い。

【0034】

撮像部３４は、所定のフレームレート（例えば、２００ｆｐｓ）で動画像を撮影する機能を有しており、例えば、測定装置２０を装着した被測定者の一連のランニング動作（少なくとも、一方の足が接地した状態から再度この一方の足が接地した状態となるまでの期間のランニング動作）を撮影する。

【0035】

表示部３５は、記憶部３６から読み出され復号された所定サイズの画像を表示領域内に表示する。表示部３５は、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

【0036】

記憶部３６は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。

【0037】

通信部３７は、記憶部３６に記憶した画像データをＣＰＵ３１による制御に基づいて運動評価装置１０に出力するものであり、例えば、ＵＳＢ端子などの有線式の通信部や、ＷｉＦｉなどの無線ＬＡＮ規格を採用した通信部である。

【0038】

次に、図４を参照して、運動評価装置１０で実行される運動評価処理を説明する。運動評価装置１０において、操作部１２を介して、ユーザから運動評価処理の実行指示が入力されたことをトリガとして、ＣＰＵ１１は、記憶部１５から読み出して適宜ＲＡＭ１３に展開した運動評価プログラム１５１との協働で、運動評価処理を実行する。
なお、この運動評価処理では、処理の実行前に、モーションデータと画像データが記憶部１５に既に記憶されている場合を例示して説明する。

【0039】

先ず、ＣＰＵ１１は、ユーザによる操作部１２の操作によって指定された所望のモーションデータ（各軸の加速度データ、及び、各軸を中心とする角速度データ）を記憶部１５から読み出す（ステップＳ１）。

【0040】

次いで、ＣＰＵ１１は、各軸の加速度データ、及び、各軸を中心とする角速度データについて、軸補正処理を行う（ステップＳ２）。つまり、ＣＰＵ１１は、これらのモーションデータを、ランニング動作に対して不変なワールド座標軸を基準とするデータに変換し、当該データ（以下、補正データという）をＲＡＭ１３に記憶する。ここで、ワールド座標軸とは、図６（ａ）に示すように、Ｚ軸（Ｚｗ）が重力方向と一致し、Ｙ軸（Ｙｗ）がランニングの進行方向と逆の方向と一致し、Ｘ軸（Ｘｗ）がＺ軸とＹ軸に垂直な方向と一致する座標軸である。上記のように、モーションデータを、ワールド座標軸を基準とするデータに変換する理由は、測定装置２０が被測定者の腰の位置に装着された状態では、図６（ｂ），（ｃ）に示すように、ランニング中の姿勢変化によって、Ｙ軸（Ｙｓ）やＺ軸（Ｚｓ）の方向が変化してしまうことにある。具体的な変換方法としては、例えば、カルマンフィルタを用いて地軸方向を推定し、推定された地軸方向とＺ軸方向とが一致するように各軸を回転させることにより、モーションデータを、ワールド座標軸を基準とするデータに変換する方法や、Ｚ軸の加速度データに基づき当該加速度を平均した方向を地軸方向と推定し、推定された地軸方向とＺ軸方向とが一致するように各軸を回転させることにより、モーションデータを、ワールド座標軸を基準とするデータに変換する方法が挙げられる。

【0041】

次いで、ＣＰＵ１１は、ＲＡＭ１３に記憶された補正データに基づき、足が地面に接地した接地位置を推定する（ステップＳ３）。具体的には、先ず、ＣＰＵ１１は、補正データのうち、Ｚ軸の加速度データを用いて、接地位置の検索開始位置を特定する。図６（ｄ）の上段は、Ｚ軸の加速度データ（ＡｃｃＺ）の波形を示すグラフである。個人差により、また、ランニングの速度により、ＡｃｃＺの波形はさまざまな形状を示すが、接地後にその接地の衝撃で鉛直上向き（プラス方向）に値が大きく振れるため、１歩ごとに山なりの波形となる。ＣＰＵ１１は、Ｚ軸の加速度データ（ＡｃｃＺ）に対して移動平均等の平滑化フィルタをかけることにより、図６（ｄ）の下段に示すように、平滑化処理後のＺ軸の加速度データ（ＦＡｃｃＺ）の波形を導出し、当該波形の極大値を示す位置（接地位置から一定時間が経過した位置）を接地位置推定の検索開始位置とする。

【0042】

続けて、ＣＰＵ１１は、図６（ｅ）に示すように、上記検索開始位置から時間軸を遡る方向に、Ｙ軸の加速度データ（ＡｃｃＹ）の波形を一定時間分だけ走査し、極大値を検出する。足が接地した場合、進行方向後ろ向き（Ｙ軸プラス方向）にブレーキがかかり、ＡｃｃＹの値が大きく振れるため、検出された極大値の位置を接地基準位置とする。接地基準位置は、ブレーキのピーク位置であり、実際の接地から数ミリ秒経過後に発生するため、ＣＰＵ１１は、接地基準位置から数ミリ秒手前の位置を接地位置として推定する。

【0043】

次いで、ＣＰＵ１１は、ランニング周期の始まりを決定する（ステップＳ４）。具体的には、ＣＰＵ１１は、補正データのうち、Ｙ軸を中心とする角速度データを用いて、ステップＳ３で推定された接地位置が左右どちらの足による接地であるかを判定する。図７は、ランニング中の各軸を中心とする角速度データの波形を示す図であり、ステップＳ３で推定された接地位置が一点鎖線で示されている。ＣＰＵ１１は、図７に示すように、接地位置から一定時間（１００ミリ秒以下）の範囲において、Ｙ軸を中心とする角速度データ（ＧｙｒＹ）の波形を走査し、極値を検出する。そして、検出された極値Ｅ１の符号がプラスの場合、ＣＰＵ１１は、当該検出の基準となった接地位置は右足によるものと判定する。一方、検出された極値Ｅ２の符号がマイナスの場合、ＣＰＵ１１は、当該検出の基準となった接地位置は左足によるものと判定する。上記の判定方法は、接地した衝撃を和らげるために、骨盤が接地足の逆足側に一瞬下がって元に戻るような動きをするという現象を利用したものである。そして、ＣＰＵ１１は、右足による接地位置であると判定された位置をランニング周期の始まりとして決定する。なお、ＣＰＵ１１は、左足による接地位置であると判定された位置をランニング周期の始まりとして決定してもよい。

【0044】

次いで、ＣＰＵ１１は、測定装置２０の上下方向の位置の変化、すなわち被測定者の腰の高さの変化を算出する（ステップＳ５）。具体的には、ＣＰＵ１１は、補正データのうち、Ｚ軸の加速度データを用いて、当該Ｚ軸の加速度データを２回積分することにより、測定装置２０の上下方向の位置の変化を算出する。
なお、ここでは、測定装置２０の上下方向の位置の絶対値は必要ではなく、相対的な位置がわかればいいので、積分する際に積分定数は気にしなくてもよいが、積分することで誤差が蓄積することがある。そこで、ランニングの周期特性を利用して計算を行うことが望ましい。最初にＺ軸の加速度であるが、接地している間は加速度センサ２４により上方向の加速度が検出されるので、単純に積分すると上方向の速度が増すことになる。ここで、ランニングは周期運動であることから、周期のはじめと終わりの上下方向の速度は、本来、同じはずである。このことから、ランニング１周期分の全データの平均を求め、サンプリングされたＺ軸の加速度データそれぞれから平均値を引くことで、重力加速度及びノイズの成分を除去することができる。すなわち、ランニング１周期分のＺ軸の加速度データの積分値は、重力加速度がない仮想状態では、ゼロになるはずであり、重力加速度及びノイズが存在しているときには、当該積分値は、重力加速度の値とノイズによる値とを示すと考えることが出来ることから、上述のように重力加速度及びノイズの成分を除去する処理を行っている。そして、このＺ軸の加速度データを積分することで、Ｚ軸の速度データを算出する。そして、さらにＺ軸の速度データを積分することで、測定装置２０の上下方向の位置の変化を算出する。

【0045】

次いで、ＣＰＵ１１は、ＲＡＭ１３に記憶された補正データに基づき、足が地面から離れた離地位置を推定する（ステップＳ６）。足が地面から離れた場合、地面を蹴って得た加速度成分が無くなり減速するため、Ｙ軸の加速度データ（ＡｃｃＹ）のピーク値が発生する。ＣＰＵ１１は、このピーク値の位置を離地位置として推定する。具体的には、先ず、ＣＰＵ１１は、一の接地位置を特定し、この接地位置から１歩前の接地位置までの間における測定装置２０の上下方向の位置の変化を示すＺ軸の変位データを取得する。そして、ＣＰＵ１１は、このＺ軸の変位データの最大値を検出し、この最大値の位置を高さ変動最大位置とする（図８参照）。続けて、ＣＰＵ１１は、図８に示すように、上記一の接地位置の一歩前で求めた高さ変動最大位置から、当該一の接地位置を基準として求めた高さ変動最大位置までの間の６０〜９５％の範囲を離地位置の検索範囲とする。そして、ＣＰＵ１１は、この検索範囲内でＹ軸の加速度データ（ＡｃｃＹ）の波形を走査し、最初に検出された極大値の位置を離地位置として推定する。

【0046】

次いで、ＣＰＵ１１は、ステップＳ３で行われた接地位置の推定処理、ステップＳ４で行われたランニング周期の始まりの決定処理、ステップＳ５で行われた測定装置２０の上下方向の位置の算出処理、及び、ステップＳ６で行われた離地位置の推定処理に基づき、ランニング周期の各局面を推定する（ステップＳ７）。ここで、ランニング周期の局面とは、図９に示すように、右足が地面に触れた接地時、この足の接地中に測定装置２０、すなわち腰が最も低い位置を通過した最下時、この足が地面から離れた離地時、及び、この足が地面から離れた後、測定装置２０が最も高い位置を通過した最高時、並びに、逆の足（左足）が地面に触れた逆足接地時、この足の接地中に測定装置２０が最も低い位置を通過した逆足最下時、この足が地面から離れた逆足離地時、及び、この足が地面から離れた後、測定装置２０が最も高い位置を通過した逆足最高時を指す。

【0047】

次いで、ＣＰＵ１１は、ランニングの進行方向を推定する（ステップＳ８）。具体的には、ＣＰＵ１１は、Ｚ軸を中心とする角速度データを積分し、その平均値を体の正面方向、すなわちランニングの進行方向として推定する。ここで、上記角速度データには時間的に変化するオフセットが存在する。そこで、このオフセットを解消するため、上記角速度データを積分する前に、ランニング１周期分のサンプリングされた上記角速度データの平均を求め、元のデータから平均値を引いた後に積分することが望ましい。なお、上記角速度データの平均は、ランニング１周期分に限らず、その前後の数周期分のデータを対象としてもよい。

【0048】

次いで、ＣＰＵ１１は、補正データ（３軸の加速度データ）のノイズ低減のため、平均化処理を行う（ステップＳ９）。具体的には、先ず、ＣＰＵ１１は、各軸の加速度データを対象とし、ランニング１周期の時間を４００ポイントに変換（正規化）する。つまり、各周期の始まりを０ポイントとし、各周期の終わりを３９９ポイントとする。続けて、ＣＰＵ１１は、各周期の加速度データを平均した波形（平均波形）を生成し、各周期の波形とこの平均波形との差を０から３９９ポイントにわたって求める。そして、ＣＰＵ１１は、２乗平均を求め、０から３９９ポイントの２乗平均を足し合わせることでその周期の平均との差分を求める。そして、ＣＰＵ１１は、各周期の順番を上記差分の小さい順にソートして、平均化処理に用いる数の波形を選択する。例えば、１０個の波形の平均を求めるとした場合、上記のソートされた波形の先頭から１０波形を選択することとなる。そして、ＣＰＵ１１は、選択された波形の周期を求め、平均したポイント数（ｃｙｃ）を算出する。また、ＣＰＵ１１は、左足接地から右足接地までの時間を求め、平均したポイント数（ｃｙｃ_Ｌ）を算出するとともに、右足接地から左足接地までの時間を求め、平均した
ポイント数（ｃｙｃ_Ｒ）を算出する。
そして、ＣＰＵ１１は、左足ポイント数（ｒｏｕｎｄ_Ｌ）＝４００＊ｃｙｃ_Ｌ／ｃｙｃを算出するとともに、右足ポイント数（ｒｏｕｎｄ_Ｒ）＝４００＊ｃｙｃ_Ｒ／ｃｙｃを算出する。そして、ＣＰＵ１１は、算出された左足ポイント数（ｒｏｕｎｄ_Ｌ）と右
足ポイント数（ｒｏｕｎｄ_Ｒ）とをつなぎ、ランニング１周期分の平均化された加速度
データを導出する。

【0049】

なお、上述のような平均化処理を行う際に、正規化する前の周期（実周期時間）の平均を求め、この平均から一定以上周期がずれている周期はこの平均に加えない、また、一方の足の接地から逆足接地までの時間の平均を求め、この平均から一定以上周期がずれている周期は平均に加えない、といった処理を行うようにしてもよい。

【0050】

そして、ＣＰＵ１１は、平均化処理が施された各軸の加速度データを、正規化されたサンプル間隔Δｔで積分することにより、各軸の速度データを算出する。なお、ここでは、１周期分の全データの平均を求め、サンプリングされた加速度それぞれから平均値を引いた上で、上記の積分を行う。また、ＣＰＵ１１は、上記積分で導出された各軸の速度データを積分することで、各軸の変位データを導出する。

【0051】

また、ＣＰＵ１１は、ステップＳ９において、ステップＳ７で推定されたランニングの各局面の時間についても、０〜３９９ポイントに正規化した時間に変換する。

【0052】

次いで、ＣＰＵ１１は、ステップＳ９で平均化処理が施された各データ、及び、正規化されたランニングの各局面の時間の情報に基づき、図１０（ａ）に示すような運動解析データを生成する（ステップＳ１０）。
図１０（ａ）に示す運動解析データは、横軸に時間をとり、各サンプリングポイントの時間を原点に、Ｚ軸の加速度ベクトル（縦方向）とＹ軸の加速度ベクトル（横方向）との合成ベクトルを描いたデータとなっている。すなわち、経過時間毎の合成ベクトルの変化を示しており、合成ベクトルを示す線分の長さが加速度の大きさを示している。なお、図１０（ａ）に示す運動解析データは、あるタイミングにおける右足の接地局面から離地局面までのデータのみを示している。

【0053】

運動解析データは、図１０（ａ）に示すように、最大加速度、最大加速度角、最大加速度発生時間Ｔ１を指標として示している。
これらの指標は、以下のようにして求められる。すなわち、接地局面から離地局面までの区間であり、且つ、Ｙ軸の加速度データの値がマイナスである、すなわち進行方向に加速している区間のサンプリングデータを抜き出し、各サンプリングデータに対してＹ軸の加速度データの値の二乗とＺ軸の加速度データの値の二乗とを足し合わせ、平方根を求めることで、ＹＺ平面上での加速度の大きさを求める。そして、このなかで加速度の大きさが最大となる時間が最大加速度の発生時間となる。また、このときの加速度の大きさが最大加速度となる。さらに、このときの合成ベクトルとＹ軸とのなす角度が最大加速度角となる。なお、上記の例では、ＹＺ平面上での最大加速度を求めたが、Ｘ軸の加速度データも加味し、３次元での最大加速度を求めるようにしてもよい。

【0054】

また、運動解析データは、更に、図１０（ａ）に示すように、最大加速度発生時間Ｔ１と最下時Ｔ２との時間差ΔＴを指標として示している。この指標は、最下時の時間から最大加速度発生時間を引いたもので、運動解析を行うにあたり重要な指標となる。

【0055】

また、運動解析データは、更に、図１０（ａ）に示すように、最大ブレーキ、最大ブレーキ角、及び、最大ブレーキ発生時間Ｔ０を指標として示している。
これらの指標は、接地局面から離地局面までの区間であり、且つ、Ｙ軸の加速度データの値がプラスである、すなわち進行方向と逆方向に加速している区間のサンプリングデータを抜き出し、各サンプリングデータに対してＹ軸の加速度データの値の二乗とＺ軸の加速度データの値の二乗とを足し合わせ、平方根を求めることで、ＹＺ平面上での加速度の大きさを求める。そして、このなかで加速度の大きさが最大となる時間が最大ブレーキの発生時間となる。また、このときの加速度の大きさが最大ブレーキとなる。さらに、このときの合成ベクトルとＹ軸とがなす角度が最大ブレーキ角となる。なお、上記の例では、ＹＺ平面上での最大ブレーキを求めたが、Ｘ軸の加速度データも加味し、３次元での最大ブレーキを求めるようにしてもよい。また、更に、接地局面から離地局面までの区間における進行方向と逆方向に加速している区間のＹ軸の加速度を時間積分した値をトータルブレーキとして求めて、指標に加えてもよい。

【0056】

また、運動解析データは、更に、図１０（ａ）に示すように、最大前傾加速度、最大前傾加速度角、最大前傾加速度発生時間Ｔ３を指標として示している。
これらの指標は、接地局面から離地局面までの区間であり、且つ、Ｙ軸の加速度データの値がマイナスである、すなわち進行方向に加速している区間のサンプリングデータを抜き出し、各サンプリングデータに対して合成ベクトルとＹ軸とのなす角度を求める。そして、このなかで合成ベクトルとＹ軸とのなす角度が最小である（最も前傾している）時間が最大前傾加速度の発生時間となる。また、このときの加速度の大きさが最大前傾加速度となる。さらに、このときの合成ベクトルとＹ軸とのなす角度が最大前傾加速度角となる。

【0057】

次いで、ＣＰＵ１１は、図１１に示すように、ステップＳ１０で生成された運動解析データのうち、ユーザ所望の時間帯の運動解析結果Ｄ２と、その時間帯に対応する合成画像Ｄ１と、を表示部１４に表示させる表示制御処理を行い（ステップＳ１１）、運動評価処理を終了する。なお、表示制御処理の詳細については後述する。

【0058】

次に、図５を参照して、運動評価装置１０で実行される表示制御処理を説明する。
先ず、ＣＰＵ１１は、ユーザによる操作部１２の操作によって指定された画像データを記憶部１５から読み出す（ステップＳ１１１）。なお、この画像データは、ステップＳ１で読み出されたモーションデータを採取している間に撮影された一連のランニング動作に係る動画像の画像データであるものとする。

【0059】

次いで、ＣＰＵ１１は、ユーザによる操作部１２の操作によって、上記画像データを構成する各フレーム画像のうちのどのフレーム画像が接地位置に対応するかを指定する指定操作がなされたか否かを判定する（ステップＳ１１２）。
ステップＳ１１２において、接地位置に対応する指定操作がなされていないと判定された場合（ステップＳ１１２；ＮＯ）は、当該指定操作がなされるまでの間、ステップＳ１１２の判定処理が行われる。
そして、接地位置に対応する指定操作がなされたと判定された場合（ステップＳ１１２；ＹＥＳ）、ＣＰＵ１１は、指定されたフレーム画像を基準として、各フレーム画像に対して正規化された時間の情報を付与する（ステップＳ１１３）。

【0060】

ここで、正規化された時間の情報のうち、０から４００ポイントの期間において、各フレーム画像に対して正規化された時間の情報を付与する方法を説明する。なお、ステップＳ９の平均化処理において、この期間における左足の接地位置が０ポイント、右足の接地位置が１９３ポイント、次の左足の接地位置が４００ポイントに変換されているものとする。
例えば、左足の接地位置が１００フレーム目であり、右足の接地位置が１４５フレーム目であり、次の左足の接地位置が２００フレーム目であるとする指定操作がなされた場合、１００フレーム目から１４５フレーム目までの各フレーム画像間の間隔は、１９３ポイントを４５（＝１４５−１００）で除した値となる。従って、例えば、１２０フレーム目の正規化された時間の情報は、８６（≒（１２０−１００）＊１９３／４５）ポイントとなる。
また、１４５フレーム目から２００フレーム目までの各フレーム画像間の間隔は、２０７（＝４００−１９３）ポイントを５５（＝２００−１４５）で除した値となる。従って、例えば、１８０フレーム目の正規化された時間の情報は、３２５ポイント（≒（（１８０−１４５）＊２０７／５５）＋１９３）ポイントとなる。

【0061】

次いで、ＣＰＵ１１は、図１１に示すように、ステップＳ１０で生成された運動解析結果Ｄ２を表示部１４の下段に表示させる（ステップＳ１１４）。ここで、運動解析結果Ｄ２の０ポイント位置は、左足接地位置を示している。また、２７ポイントの位置は、減速から加速に切り替わる加速度切り替わり位置を示している。また、５５ポイントの位置は、最下点位置を示している。また、１０７ポイントの位置は、左足離地位置を示している。また、１９３ポイントの位置は、右足接地位置を示している。また、２１９ポイントの位置は、減速から加速に切り替わる加速度切り替わり位置を示している。また、２４９ポイントの位置は、最下点位置を示している。また、３０４ポイントの位置は、右足離地位置を示している。また、４００ポイントの位置は、再び左足接地位置を示している。つまり、０ポイントの位置から３９９ポイントの位置の間をランニング１周期としている。また、運動解析結果Ｄ２において、速度の値は解析した区間の平均速度を示し、周期の値は解析した区間のランニング１周期の時間、つまり０ポイントから３９９ポイントの間の実際の時間を示し、図中の56.1ｍ／ｓ^２ ４９等の表記は、最大加速度の大きさとそれが発生したタイミング（ポイントの位置）を示している。また、運動解析結果Ｄ２は、上述のように、経過時間毎の加速度ベクトルの向きと大きさを示しており、その線分の長さが加速度の大きさを示している。そして、図における縦軸の数値は、合成ベクトルの向きが垂直方向である場合の加速度の大きさを示している。

【0062】

そして、ＣＰＵ１１は、運動解析結果Ｄ２における時間（経過時間）の指定操作がなされたか否かを判定する（ステップＳ１１５）。ここで、運動解析結果Ｄ２における時間（経過時間）の指定操作について説明する。先ず、ユーザによる操作部１２の操作により、運動解析結果Ｄ２の表示範囲を指定する。この指定操作により、運動解析結果Ｄ２を左方向又は右方向にスライド表示させることが可能となる。そして、表示部１４の中段には、図１１に示すように、一定の位置に固定カーソルＣが表示されており、所望の時間（経過時間）の位置が固定カーソルＣの位置と合わさるように、運動解析結果Ｄ２をスライド表示させることにより、所望の時間（経過時間）の指定操作を行う。図１１の表示例では、右足接地位置（経過時間；１９３ポイント）と固定カーソルＣの位置とが合わさった状態を示している。

【0063】

ステップＳ１１５において、運動解析結果Ｄ２における時間（経過時間）の指定操作がなされていないと判定された場合（ステップＳ１１５；ＮＯ）は、当該指定操作がなされるまでの間、ステップＳ１１５の判定処理が行われる。
そして、運動解析結果Ｄ２における時間（経過時間）の指定操作がなされたと判定された場合（ステップＳ１１５；ＹＥＳ）、ＣＰＵ１１は、指定操作がなされた時間に対応するフレーム画像を中心画像とし、この中心画像を基準として所定間隔で複数（例えば、１２枚）のフレーム画像を抽出し、これらの複数のフレーム画像を合成した合成画像Ｄ１を生成する。そして、ＣＰＵ１１は、図１１に示すように、生成された合成画像Ｄ１を表示部１４の上段に表示させる（ステップＳ１１６）。

【0064】

次いで、ＣＰＵ１１は、ユーザによる操作部１２の操作により、表示制御処理の終了操作がなされたか否かを判定する（ステップＳ１１７）。
ステップＳ１１７において、表示制御処理の終了操作がなされていないと判定された場合（ステップＳ１１７；ＮＯ）、ステップＳ１１５に移行する。
一方、ステップＳ１１７において、表示制御処理の終了操作がなされたと判定された場合（ステップＳ１１７；ＹＥＳ）、表示制御処理を終了する。

【0065】

以上のように、本実施形態によれば、運動評価装置１０は、被写体（被測定者）のランニング動作を連続的に撮像した複数の画像を取得し、当該複数の画像に基づき合成画像Ｄ１を生成する。また、運動評価装置１０は、被写体のランニング動作がなされた際に当該被写体に装着された測定装置２０から出力されたモーションデータを取得し、当該モーションデータに基づき運動解析を行う。そして、運動評価装置１０は、合成画像Ｄ１のもととなる複数の画像の時系列と、解析された運動解析結果Ｄ２の時系列とを対応付けて、当該合成画像Ｄ１と当該運動解析結果Ｄ２とを表示部１４に表示させる。

【0066】

このため、ユーザは、一連のランニング動作を示す合成画像Ｄ１と、当該一連のランニング動作の運動解析結果Ｄ２と、を見比べることができるようになるので、運動評価装置１０による解析結果の持つ意味を理解し易くなる。

【0067】

また、運動評価装置１０は、表示部１４に表示された運動解析結果Ｄ２から所望のタイミングを指定し、当該タイミングに対応する画像を中心とする複数の画像に基づき合成画像Ｄ１を生成する。このため、ユーザ所望のタイミングにおける動作を撮影した画像を中心として合成画像を生成することができる。従って、一連のランニング動作のうちの所望の動作を中心に含む合成画像Ｄ１と、当該動作に関する運動解析結果Ｄ２と、を表示部１４に表示させることができるので、運動評価装置１０による解析結果を効率よく確認することができる。

【0068】

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

【0069】

例えば、上記実施形態では、最初の接地（左足接地）位置を０ポイントの位置とし、次の左足接地位置が４００ポイントの位置となるように時間の情報を正規化したが、正規化する際の時間の情報の値は一例であり、これに限定されるものではない。

【0070】

また、上記実施形態において、合成画像Ｄ１は、画像中、中心の被写体の透過性を低くし、中心から離れていくほど被写体の透過性を高くするようにしてもよい。

【0071】

また、上記実施形態では、表示制御処理（図５参照）のステップＳ１１２に記載されているように、接地位置に対応するフレーム画像の指定を、ユーザによる操作部１２の操作により行うようにしたが、画像処理により接地位置を自動検出することにより、当該接地位置に対応するフレーム画像を指定するようにしてもよい。

【0072】

また、上記実施形態では、運動解析結果Ｄ２の所望の時間（経過時間）の指定操作を行うことにより、合成画像Ｄ１を生成するようにしたが、これに限定されるものではない。例えば、図１２に示すように、運動解析結果Ｄ２の所望の時間（経過時間）の指定操作がなされた時間（例えば、１９３ポイント）を中心とするズーム範囲の指定操作を行うことができるようにする。そして、このズーム範囲にあるフレーム画像を一定間隔で選択し、これらのフレーム画像をそれぞれズームしたズーム画像に基づき合成画像Ｄ３を生成するようにしてもよい。なお、上記ズーム範囲から選択されるフレーム画像の枚数はズーム範囲の広さに応じて変更するようにしてもよいし、ズーム範囲の広さにかかわらず、選択されるフレーム画像の枚数を予め設定しておき、当該ズーム範囲内で等間隔となるように設定された枚数のフレーム画像を選択するようにしてもよい。

【0073】

また、上記実施形態では、運動解析結果Ｄ２は、横軸に時間をとり、各サンプリングポイントの時間を原点に、Ｚ軸の加速度ベクトル（縦方向）とＹ軸の加速度ベクトル（横方向）との合成ベクトルを描いた図としたが、接地角（図１０（ｂ）参照）、及び、離地角（図１０（ｃ）参照）を更に表示させるようにしてもよい。接地角は、接地位置における平均速度を加味したＹ軸の速度とＺ軸の速度とで求められる。また、離地角は、離地位置における平均速度を加味したＹ軸の速度とＺ軸の速度とで求められる。

【0074】

また、上記実施形態では、例えば、図１３に示すように、上記合成ベクトルを描いた運動解析結果Ｄ２ａに加えて、Ｘ軸（左右方向）の変位グラフＤ２ｂ、Ｙ軸（前後方向）の変位グラフＤ２ｃ、Ｚ軸（上下方向）の変位グラフＤ２ｄの全部又は一部を表示部１４に表示させるようにしてもよい。これにより、測定装置２０が装着された腰の位置の変位を確認することができるようになる。
また、図１４に示すように、上記合成ベクトルを描いた運動解析結果Ｄ２ａに加えて、Ｘ軸を中心とする回動角度（ピッチ角）グラフＤ２ｅ、Ｙ軸を中心とする回動角度（ロー角）グラフＤ２ｆ、Ｚ軸を中心とする回動角度（ヨー角）グラフＤ２ｇの全部又は一部を表示部１４に表示させるようにしてもよい。これにより、測定装置２０が装着された腰の回転量を確認することができるようになる。

【0075】

また、上記のＺ軸を中心とする回動角度（ヨー角）グラフＤ２ｇを加工することにより、図１５に示すように、ランニング中の腰の位置を俯瞰した状態を表す運動解析結果Ｄ２ｈを表示部１４に表示させるようにしてもよい。運動解析結果Ｄ２ｈでは、上側に示されている各線分Ｌａが左足を、下側に示されている各線分Ｌｂが右足を表しており、図中、左から右へランニングを行っていることを表している。さらに、この運動解析結果Ｄ２ｈと、上述したＸ軸（左右方向）の変位グラフＤ２ｂと、を組み合わせて表示部１４に表示させるようにしてもよい。具体的には、Ｘ軸の変位グラフＤ２ｂが示すグラフの線上が、上記運動解析結果Ｄ２ｈの中心（線分Ｌａと線分Ｌｂとの中間点）となるようにして、両者を表示させるようにする。

【0076】

また、上記実施形態では、一の被測定者を対象として、合成画像Ｄ１と運動解析結果Ｄ２とを表示部１４に表示させるようにしたが、これに限定されるものではない。例えば、図１６に示すように、二人の被測定者（Ａ氏とＢ氏）をそれぞれ対象として、Ａ氏の合成画像Ｄ１ａとＢ氏の合成画像Ｄ１ｂ、並びに、Ａ氏の運動解析結果Ｄ２ｉとＢ氏の運動解析結果Ｄ２ｊをそれぞれ表示部１４に表示させるようにしてもよい。この場合、他人の合成画像と自分の合成画像を見比べることができるとともに、他人の運動解析結果と自分の運動解析結果を見比べることができるようになるので、他人のランニング動作と比べて、どこが良くてどこが悪いのかを理解し易くなる。

【0077】

また、上記実施形態では、上記合成ベクトルを描いた運動解析結果Ｄ２ａに加えて、例えば、図１７に示すように、横軸を速度とし、縦軸を最大加速度発生時間と最下時との時間差とするグラフを表示部１４に表示させるようにしてもよい。なお、横軸及び縦軸に設定される指標は、これらに限定されるものではなく、当該運動解析結果Ｄ２ａに関する各指標（最大加速度、最大加速度角、最大加速度発生時間等；図１０（ａ）参照）を任意に設定することができる。

【0078】

また、上記実施形態では、動画像を構成する複数のフレーム画像に基づき合成画像を生成するようにしたが、これに限定されるものではない。例えば、一定時間の間隔で高速連写された複数の画像に基づき合成画像を生成するようにしてもよい。

【0079】

また、上記実施形態では、表示部１４の上段に表示される合成画像Ｄ１は、下段に表示される運動解析結果Ｄ２の一部を切り出した期間、即ち、合成画像Ｄ１の横幅に対応する時間は、運動解析結果Ｄ２の横幅に対応する時間の一部を切り出した時間であるが、合成画像Ｄ１の横幅に対応する時間と、下段に表示される運動解析結果Ｄ２の横幅に対応する時間を一致させて表示部１４に表示させるようにしてもよい。この場合、運動解析結果Ｄ２における指定された時間（経過時間）を示す固定カーソルＣの位置に対応する合成画像Ｄ１の位置がそのまま指定された時間（経過時間）における被写体の位置となり、上記実施形態のように、合成画像Ｄ１の横軸の中心位置に指定された時間（経過時間）に対応する被写体を配置する処理を省くことができる。

【0080】

［実施形態２］
続いて、実施形態２について説明する。なお、上記実施形態１と同様の構成要素には同一の符号を付し、その説明を省略する。
実施形態２の運動評価装置１０は、測定装置２０から取得したモーションデータそのものを表示する点、及び、被測定者の移動を伴わない運動動作を対象とし、当該運動動作に係る画像データを合成して表示する点で、上記実施形態１と異なっている。

【0081】

以下、実施形態２の運動評価装置１０について、図１８及び図１９を用いて説明する。図１８は、実施形態２の運動評価装置１０で実行される運動評価処理を示すフローチャートである。図１９は、一連のゴルフスイング動作を対象として運動評価処理を実行した際の運動評価装置１０の表示部１４に表示される表示画面の一例を示す図である。

【0082】

先ず、ＣＰＵ１１は、ユーザによる操作部１２の操作によって指定された所望のモーションデータ（Ｚ軸を中心とする角速度データ）を記憶部１５から読み出すとともに、当該モーションデータを採取している間に撮影された一連のゴルフスイング動作に係る動画像の画像データを記憶部１５から読み出す（ステップＳ２０１）。

【0083】

次いで、ＣＰＵ１１は、図１９に示すように、読み出されたモーションデータＤ２１を表示部１４の下段に表示させる（ステップＳ２０２）。そして、ＣＰＵ１１は、モーションデータＤ２１における時間（経過時間）の指定操作がなされたか否かを判定する（ステップＳ２０３）。ここで、モーションデータＤ２１における時間の指定操作については、図１９（ａ），（ｂ）に示すように、表示部１４の中段に表示されているカーソルＣの位置が所望の時間（経過時間）の位置と合わさるように、ユーザによる操作部１２の操作によってスライド表示させることによって、当該所望の時間の指定操作を行う。

【0084】

ステップＳ２０３において、モーションデータＤ２１における時間（経過時間）の指定操作がなされたと判定された場合（ステップＳ２０３；ＹＥＳ）、ＣＰＵ１１は、指定操作がなされた時間に対応するフレーム画像以外のフレーム画像の被写体の透過度を上げた状態で生成した合成画像（多重露光状の合成画像）Ｄ１１を、表示部１４の上段に表示させる（ステップＳ２０４）。具体的には、例えば、一連のゴルフスイング動作のうちのアドレス時に対応する時間の指定操作がなされた場合、図１９（ａ）に示すように、表示部１４の上段には、アドレス時の被写体の透過度を「０」とし、それ以外の被写体の透過度を上げた状態で生成した合成画像Ｄ１１を表示部１４の上段に表示させる。なお、図中では、アドレス時の被写体を実線で表すとともに、それ以外の被写体を破線で表している。また、例えば、一連のゴルフスイング動作のうちのトップ時に対応する時間の指定操作がなされた場合、図１９（ｂ）に示すように、表示部１４の上段には、トップ時の被写体の透過度を「０」とし、それ以外の被写体の透過度を上げた状態で生成した合成画像Ｄ１１を表示部１４の上段に表示させる。なお、図中では、トップ時の被写体を実線で表すとともに、それ以外の被写体を破線で表している。
また、ステップＳ２０３において、モーションデータＤ２１における時間（経過時間）の指定操作がなされていないと判定された場合（ステップＳ２０３；ＮＯ）、ステップＳ２０４をスキップして、ステップＳ２０５へ移行する。この場合、時間（経過時間）はデフォルト値、例えば、０．０［ｓ］を設定し、０．０［ｓ］に対応するフレーム画像の被写体の透過度を「０」とし、それ以外の被写体の透過度を上げた状態で生成した合成画像Ｄ１１を表示部１４の上段に表示させればよい。

【0085】

次いで、ＣＰＵ１１は、ユーザによる操作部１２の操作により、運動評価処理の終了操作がなされたか否かを判定する（ステップＳ２０５）。
ステップＳ２０５において、運動評価処理の終了操作がなされていないと判定された場合（ステップＳ２０５；ＮＯ）、ステップＳ２０３へ移行する。
一方、ステップＳ２０５において、運動評価処理の終了操作がなされたと判定された場合（ステップＳ２０５；ＹＥＳ）、運動評価処理を終了する。

【0086】

以上のように、本実施形態によれば、運動評価装置１０は、一連のゴルフスイング動作中の被写体を連続的に撮像した複数の画像から、時系列に応じて被写体の動作の変化が識別可能な合成画像を生成したこととなる。また、運動評価装置１０は、被写体に装着されたモーションセンサから出力される、一連のゴルフスイング動作に対応するモーションデータを取得したこととなる。また、運動評価装置１０は、合成画像の生成に用いられている複数の画像の時系列とモーションデータの時系列とを対応付けた状態で、合成画像とモーションデータとを表示部１４に表示させたこととなる。

【0087】

このため、ユーザは、一連のゴルフスイング動作を示す合成画像Ｄ１１と、当該一連のゴルフスイング動作に対応するモーションデータＤ２１と、を見比べることができるようになるので、モーションデータＤ２１の持つ意味を理解し易くなる。

【0088】

また、運動評価装置１０は、所定期間（アドレス時からフィニッシュ時）の間のモーションデータＤ２１を表示部１４に表示させる際に、当該所定期間の間に撮像された合成画像Ｄ１１の生成に用いられる複数の画像の時系列と、当該モーションデータＤ２１の時系列とを対応付けた状態で、合成画像Ｄ１１とモーションデータＤ２１とを表示部１４に表示させたこととなる。このため、ユーザ所望の所定期間の間の合成画像Ｄ１１とモーションデータＤ２１とを逐一一致させた状態で表示部１４に表示させることができる。この結果、一連のゴルフスイング動作を示す合成画像Ｄ１１と、当該一連のゴルフスイング動作に対応するモーションデータＤ２１と、を見比べ易くすることができるので、モーションデータＤ２１の持つ意味をより理解し易くなる。

【0089】

また、運動評価装置１０は、表示部１４に表示されたモーションデータＤ２１の時系列における所望の時点を指定する第１の指定部（ＣＰＵ１１、操作部１２）を備えたこととなる。また、運動評価装置１０は、合成画像Ｄ１１において、当該合成画像Ｄ１１の生成に用いられている複数の画像のうち、第１の指定部（ＣＰＵ１１、操作部１２）で指定された時点に対応する画像の被写体を、当該指定された時点以外の画像の被写体と区別した合成画像を生成したこととなる。このため、合成画像Ｄ１１に用いられた複数の画像の各被写体が重なり合ってしまうような場合でも、第１の指定部（ＣＰＵ１１、操作部１２）で指定された時点に対応する画像の被写体を目立たせることができる。この結果、一連のゴルフスイング動作を示す合成画像Ｄ１１と、当該一連のゴルフスイング動作に対応するモーションデータＤ２１と、を第１の指定部（ＣＰＵ１１、操作部１２）で指定された時点において見比べることができるようになる。

【0090】

以上、本発明の実施形態２について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
例えば、本実施形態の運動評価処理に伴い表示部１４の上段に表示させる合成画像は、図２０に示すように、一連のゴルフスイング動作において、各フレーム画像の被写体を経時時間に沿って並べた合成画像１２としてもよい。

【0091】

また、実施形態２では、運動評価処理の対象として一連のゴルフスイング動作を一例に挙げたが、例えば、トレッドミルを用いたランニング動作や野球のバッティング動作など被写体の移動を伴わない運動動作を対象とすることができる。

【0092】

また、本実施形態の運動評価処理に伴い表示部１４の上段に合成画像Ｄ１１を表示させるとともに、下段にモーションデータＤ２１を表示させるようにしたが、このモーションデータＤ２１の代わりに又はこのモーションデータＤ２１と一緒に、モーションデータＤ２１に基づき解析がなされた運動解析の結果を表示させるようにしてもよい。
一方、上記実施形態１では、表示部１４の上段に合成画像Ｄ１を表示させるとともに、下段に運動解析の結果Ｄ２を表示させるようにしたが、この運動解析の結果Ｄ２の代わりに又はこの運動解析の結果Ｄ２と一緒に、この運動解析の基となったモーションデータそのものを表示させるようにしてもよい。

【0093】

また、上記実施形態１及び２では、ユーザによる操作部２により固定カーソルＣの位置を操作したが、開始時間から終了時間まで自動的に固定カーソルＣの位置が動くようにしてもよい。

【0094】

以上、本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲をその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

【0095】

〔付記〕
＜請求項１＞
動作中の被写体を連続的に撮像した複数の画像から、時系列に応じて前記被写体の動作の変化が識別可能な合成画像を生成する生成部と、
当該被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得するモーションデータ取得部と、
表示部と、
前記合成画像の生成に用いられている前記複数の画像の時系列と前記モーションデータ取得部により取得された前記モーションデータの時系列とを対応付けた状態で、前記合成画像と前記モーションデータとを前記表示部に表示させる表示制御部と、
を備えることを特徴とする運動評価装置。
＜請求項２＞
前記表示制御部は、所定期間の間の前記モーションデータを前記表示部に表示させる際に、当該所定期間の間に撮像された前記合成画像の生成に用いられる前記複数の画像の時系列と、当該モーションデータの時系列とを対応付けた状態で、前記合成画像と前記モーションデータとを前記表示部に表示させることを特徴とする請求項１に記載の運動評価装置。
＜請求項３＞
前記生成部は、動作中の被写体を連続的に撮像した複数の画像から、前記複数の画像を経過時間に沿って並べた合成画像を生成し、
前記表示制御部は、前記合成画像の生成に用いられている前記複数の画像の時系列と前記モーションデータ取得部により取得された前記モーションデータの時系列とを対応付けた状態で、前記合成画像と前記モーションデータとを前記表示部に表示させる、
ことを特徴とする請求項１又は２に記載の運動評価装置。
＜請求項４＞
前記表示制御部は、前記合成画像の生成に用いられている前記複数の画像の時系列と前記モーションデータ取得部により取得された前記モーションデータの時系列とを一致させて、前記合成画像と前記モーションデータとを前記表示部に表示させる、
ことを特徴とする請求項３に記載の運動評価装置。
＜請求項５＞
前記生成部は、動作中の被写体を連続的に撮像した複数の画像から、前記複数の画像を重ねた合成画像を生成し、
前記表示制御部は、前記合成画像の生成に用いられている前記複数の画像の時系列と前記モーションデータ取得部により取得された前記モーションデータの時系列とを対応付けた状態で、前記合成画像と前記モーションデータとを前記表示部に表示させる、
ことを特徴とする請求項１又は２に記載の運動評価装置。
＜請求項６＞
前記表示部に表示された前記モーションデータの時系列における所望の時点を指定する第１の指定部を備え、
前記生成部は、前記第１の指定部により前記時点が指定された場合に、前記合成画像を、前記複数の画像における前記時点に対応する特定の画像を中心に配置した画像とすることを特徴とする請求項３に記載の運動評価装置。
＜請求項７＞
前記表示部に表示された前記モーションデータの時系列における所望の期間を指定する第２の指定部を備え、
前記生成部は、前記第２の指定部により前記期間が指定された場合に、前記複数の画像における前記期間に含まれる複数の前記画像に基づいて前記合成画像を生成することを特徴とする請求項３〜５のいずれか一項に記載の運動評価装置。
＜請求項８＞
前記表示部に表示された前記モーションデータの時系列における所望の時点を指定する第１の指定部を備え、
前記生成部は、前記合成画像において、当該合成画像の生成に用いられている前記複数の画像のうち、前記第１の指定部で指定された時点に対応する画像の被写体を、当該指定された時点以外の画像の被写体と区別した合成画像を生成することを特徴とする請求項１〜５、７のいずれか一項に記載の運動評価装置。
＜請求項９＞
前記生成部は、前記合成画像において、当該合成画像の生成に用いられている前記複数の画像のうち、前記第１の指定部で指定された時点に対応する画像の被写体を、当該指定された時点以外の画像の被写体と区別した合成画像を生成することを特徴とする請求項６に記載の運動評価装置。
＜請求項１０＞
前記表示制御部は、複数の被写体の各々に対応する複数の前記合成画像と複数の前記モーションデータとを前記表示部に表示させることを特徴とする請求項１〜９のいずれか一項に記載の運動評価装置。
＜請求項１１＞
前記モーションデータに基づく運動解析を行う運動解析部を備え、
前記表示制御部は、前記合成画像の生成に用いられている前記複数の画像の時系列と前記運動解析部による前記運動解析の結果の時系列とを対応付けた状態で、前記合成画像と前記運動解析の結果とを前記表示部に表示させることを特徴とする請求項１〜１０のいずれか一項に記載の運動評価装置。
＜請求項１２＞
前記モーションデータは複数の軸方向の加速度データを含み、
前記運動解析の結果は、前記複数の軸方向の加速度データに基づく前記複数の軸の加速度ベクトルの和である合成ベクトルを、前記モーションデータのサンプル周期ごとに示した図が含まれていることを特徴とする請求項１１に記載の運動評価装置。
＜請求項１３＞
前記モーションデータは複数の軸方向の加速度データを含み、
前記運動解析情報には、前記被写体の前記複数の軸の少なくとも何れかにおける変位を前記モーションデータのサンプル周期ごとに示した図が含まれていることを特徴とする請求項１１又は１２に記載の運動評価装置。
＜請求項１４＞
前記モーションデータは複数の軸方向を中心とする角速度データを含み、
前記運動解析情報には、前記被写体の前記複数の軸の少なくとも何れかにおける回動角度を前記モーションデータのサンプル周期ごとに示した図が含まれていることを特徴とする請求項１１〜１３のいずれか一項に記載の運動評価装置。
＜請求項１５＞
表示部を備えた運動評価装置の運動評価方法であって、
動作中の被写体を連続的に撮像した複数の画像から、時系列に応じて前記被写体の動作の変化が識別可能な合成画像を生成し、
当該被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得し、
前記合成画像の生成に用いられている前記複数の画像の時系列と、前記モーションデータの時系列と、を対応付けた状態で、前記合成画像と前記モーションデータとを前記表示部に表示させることを特徴とする運動評価方法。
＜請求項１６＞
表示部を備えた運動評価装置のコンピュータに、
動作中の被写体を連続的に撮像した複数の画像から、時系列に応じて前記被写体の動作の変化が識別可能な合成画像生成処理、
当該被写体に装着されたモーションセンサから出力される、前記被写体の動作に対応するモーションデータを取得するモーションデータ取得処理、
前記合成画像の生成に用いられている前記複数の画像の時系列と、前記モーションデータの時系列と、を対応付けた状態で、前記合成画像と前記モーションデータとを前記表示部に表示させる表示処理、
を実行させる運動評価プログラム。

【符号の説明】

【0096】

１ 運動評価システム
１０ 運動評価装置
１１ ＣＰＵ
１２ 操作部
１３ ＲＡＭ
１４ 表示部
１５ 記憶部
１６ 通信部
２０ 測定装置
３０ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】