(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
図1は、本発明の一実施形態に係る運動解析システムSのシステム構成を示すシステム構成図である。
【0011】
運動解析システムSは、
図1(a)に示すように、センサユニット1と、撮像装置2と、携帯端末3と、を含む。
センサユニット1は、被験者Hの姿勢をセンシングするセンシング機能と、他の装置(撮像装置2及び携帯端末3)との間で通信を行う通信機能と、を有する。
撮像装置2は、被験者を撮影する撮影機能と、他の装置(センサユニット1及び携帯端末3)との間で通信を行う通信機能と、を有する。
携帯端末3は、他の装置(センサユニット1及び撮像装置2)との間で通信を行う通信機能と、センサユニット1でセンシングされたセンサ情報と、撮像装置2で撮影された動画と、を解析する解析機能と、解析結果を出力する出力機能と、を有する。
【0012】
センサユニット1は、
図1(b)に示すように、被験者Hの背中側の体幹の腰付近にベルト等を介して固定され、一連の運動(本実施形態においては、ゴルフのスイング)において、被験者Hの姿勢変化や体幹の動き等をセンシングする。
【0013】
運動解析システムSにおいては、
図1(a)に示すように、撮像装置2を、ゴルフのスイングを行う被験者Hのスイング動作全体を撮影可能な対面の位置に設置するように構成する。
【0014】
図2は、本発明の一実施形態に係るセンサユニット1のハードウェアの構成を示すブロック図である。
【0015】
センサユニットは、
図2に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、センサ部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
【0016】
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。また、CPU11は、内部に備えるRTC(Real Time Clock)回路111によってもたらされる計時機能から現在の時刻情報を読み出し可能に構成される。
【0017】
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0018】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、センサ部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
【0019】
センサ部16は、センサ部16−1は、ジャイロセンサ、3軸角速度センサ等の各種センサにより構成され、少なくとも、ユーザの動作に応じて当該センサユニット1に生じた角速度及び加速度を検出して、センサ情報として出力する。
【0020】
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
【0021】
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
【0022】
図3は、本発明の一実施形態に係る撮像装置2及び携帯端末3のハードウェアの構成を示すブロック図である。
撮像装置2は、例えば、デジタルカメラとして構成される。
【0023】
撮像装置2は、
図3に示すように、(センサ部16を除く)CPU11乃至ドライブ21に加えて、さらに、撮像部22を備える。なお、撮像装置2のCPU11乃至ドライブ21は、センサユニット1のCPU11乃至ドライブ21とハードウェア構成が同一であるため説明を省略する。
【0024】
撮像部22は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【0025】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【0026】
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部22の出力信号として出力される。
このような撮像部22の出力信号である画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
【0027】
また、携帯端末3は、例えば、スマートフォンやタブレット端末等、通信部、表示部、及びタッチパネル等の操作入力部を備えるデバイスである。
携帯端末3のCPU11乃至撮像部22は、撮像装置2のCPU11乃至撮像部22とハードウェア構成が同一であるため、説明を省略する。
【0028】
なお、以下において、ハードウェア構成のうち、センサユニット1、撮像装置2又は携帯端末3の別を説明するときには、センサユニット1の場合には符号の後に「−1」を付し、撮像装置2の場合には符号の後に「−2」を付し、携帯端末3の場合には符号の後に「−3」を付す。即ち、センサユニット1の場合には、CPU11−1乃至ドライブ21−1となり、撮像装置2の場合には、CPU11−2乃至撮像部22−2となり、携帯端末3の場合には、CPU11−3乃至撮像部22−3となる。
【0029】
このように構成される運動解析システムSでは、スイング動作時のセンサ情報と、録画された動画において、スイング動作における所定のタイミングにおける、センサ情報から解析される姿勢と、動画から解析される姿勢の違いを判定して、スイング動作の評価を行う。
例えば、所定のタイミングにおいて、センサ情報から腰を回転させる動きがあり、対応する動画の被験者の姿勢から、そのスイング動作が適切か否かの評価を行う。
【0030】
図4は、
図2のセンサユニット1の機能的構成のうち、練習時取得データ送信処理を実行するための機能的構成を示す機能ブロック図である。
練習時取得データ送信処理とは、センサユニット1において、練習時にセンサ情報を取得し、センサユニット1のRTC回路111−1の値と撮像装置2から取得したRTC回路111−2の値との差分を計測して、この差分値を携帯端末3に送信する一連の処理をいう。
【0031】
練習時取得データ送信処理を実行する場合には、
図4に示すように、CPU11−1において、通信制御部51と、RTC差分値計測部52と、センサ情報解析部53と、が機能する。
【0032】
また、記憶部19−1の一領域には、RTC差分値記憶部71が設定される。
RTC差分値記憶部71には、後述する練習の開始・終了時のRTC差分値のデータが記憶される。
【0033】
通信制御部51は、撮像装置2及び携帯端末3との間で通信を行うように通信部20−1を制御する。
【0034】
具体的には、通信制御部51は、練習開始・終了の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。また、通信制御部51は、撮像装置2に対して、録画開始・終了コマンドを送信し、携帯端末3に対して、スイング動作と判定された区間のセンサ情報をスイング動作データとして送信し、携帯端末3に対して、RTC差分値記憶部71に記憶される開始・終了時のRTC差分値を送信するように通信部20−1を制御する。
【0035】
RTC差分値計測部52は、取得したセンサユニット1のRTC回路111−1の値と、受信した撮像装置2のRTC回路111−2の値を比較して、スイングの練習開始時と終了時とのRTC差分値を計測する。
【0036】
具体的には、RTC差分値計測部52は、練習の開始時と終了時とのRTC差分値を計測する。また、RTC差分値計測部52は、計測した開始と終了時とのRTC差分値をRTC差分値記憶部71に記憶させる。
【0037】
センサ情報解析部53は、センサ部16−1から取得したセンサ情報を解析する。詳細には、センサ情報解析部53は、センサ部16−1から逐次取得されるセンサ情報を解析して、スイングの開始時点(アドレス状態)や、スイング動作であることを解析により特定する。
【0038】
具体的には、センサ情報解析部53は、X軸の角度が20度以上であり、かつ、加速度の分散値がα以下である場合には、被験者の動作がアドレス状態であると判定する。また、センサ情報解析部53は、Z軸の角速度が200度/秒以上である場合には、被験者がスイング動作をしている状態であると判定する。
【0039】
図5は、
図3の携帯端末3の機能的構成のうち、データ解析処理を実行するための機能的構成を示す機能ブロック図である。
データ解析処理とは、センサ情報と、動画における所定の動作時の時刻の差分を解析して解析情報としてスイング動作の評価結果を表示する一連の処理をいう。
【0040】
データ解析処理を実行する場合には、
図5に示すように、CPU11−3において、センサ情報解析処理部91と、映像解析処理部92と、解析情報表示処理部93と、が機能する。
【0041】
また、記憶部19−3の一領域には、解析結果記憶部121が設定される。
解析結果記憶部121には、各種の解析結果のデータが記憶される。
【0042】
センサ情報解析処理部91は、センサ情報解析処理を実行する。センサ情報解析処理では、センサ情報から、1スイングにおけるテイクバック、腰の切り返しタイミング、ハーフスイング、及び、スイング動作の終了時点を判定する。
【0043】
具体的には、センサ情報解析処理部91は、角速度の変化に基づいて、テイクバック、腰の切り返し、ハーフスイング、及び、スイング動作の終了を判定する。テイクバックは、アドレス状態以降においてZ軸の角速度がマイナスとなったことをもって判定する。腰の切り返しは、テイクバック後にZ軸の角速度がプラスに転じたことをもって判定する。ハーフスイングは、Z軸の角速度が減少に転じたことをもって判定する。また、スイング動作の終了は、Z軸の角速度が10度/秒を下回ったことをもって判定する。
【0044】
映像解析処理部92は、映像解析処理を実行する。映像解析処理では、撮影された動画における各種のスイング動作の時刻等が判定される。
【0045】
具体的には、映像解析処理部92は、テイクバックの検出時刻前後の所定数のフレーム画像を解析対象とする。また、映像解析処理部92は、画像の下部中央付近で左に移動している被写体をクラブヘッドと認識して、移動開始時刻をテイクバックの開始時刻とする。また、映像解析処理部92は、発見したクラブヘッドの右側における丸い物体の位置を、ボール位置として特定する。また、映像解析処理部92は、クラブヘッドを追従し、クラブヘッドの移動方向が反転した場合には、クラブヘッドの移動方向が反転した時点をクラブヘッドの切り返しの時刻として判定する。また、映像解析処理部92は、検出したハーフスイング以降の画像でボールの移動が右方向である場合には、右方向にボールが移動した時点を、インパクトの時刻として判定する。
【0046】
解析情報表示処理部93は、解析結果表示処理を実行する。解析結果表示処理では、センサ情報及び映像の解析結果として、所定のスイング動作時の姿勢やクラブの状況、各種の腰の角度等を表示する。
【0047】
具体的には、解析情報表示処理部93は、各種スイング動作に対応するタイミングでのスイング動作データ及びスイング動作動画データにおける姿勢等からスイング動作の状態を評価して表示する。詳細には、解析情報表示処理部93は、スイング動作データから検出したテイクバック時刻(TBS)と、スイング動作動画データから検出したテイクバック時刻(TBM)の時間的な差分値がβ以上である場合には、「手が先行しています。」という表示を出力し、スイング動作データから検出した腰の回転の切り返し時刻(TRS)と、スイング動作動画データから検出したクラブヘッドの回転の切り返し時刻(TRM)の差分が0以上である場合には、「クラブが先行しています。」という表示を出力するように出力部18−3を制御する。また、解析情報表示処理部93は、腰の回転の切り返し時の腰の角度を算出し、算出した腰の回転の切り返し時の腰の角度をスイング動作におけるトップ時の腰角度としてその数値を表示出力するように出力部18−3を制御する。また、解析情報表示処理部93は、インパクト時の腰の角度を算出し、これをインパクト時の腰角度として数値を表示出力するように出力部18−3を制御する。
【0048】
図6は、運動解析システムSにおける運動解析に係る処理のやり取りを示すタイミングチャートである。
【0049】
運動解析システムSでは、
図7に示すように、練習開始に伴い、まず、携帯端末3からセンサユニット1及び撮像装置2に対して、開始コマンドを送信する。
【0050】
開始コマンドを受けた撮像装置2では、自機のRTCを取得し、センサユニット1に送信する。
同じく開始コマンドを受けたセンサユニット1では、RTC回路111−1の値を取得し、撮像装置2から取得したRTC回路111−2の値との差分値(開始時のRTC差分値)のデータを計測する。また、センサユニット1では、開始コマンドを受けたことを契機にセンシングを開始する。
【0051】
次に、センサユニット1では、センシングの結果、スイング動作の開始を検出した場合には、録画開始コマンドを撮像装置2に送信する。録画開始コマンドを受信した撮像装置2では録画を開始する。
【0052】
また、センサユニット1では、スイング動作の終了を検出した場合には、録画終了コマンドを撮像装置2に送信する。録画終了コマンドを受信した撮像装置2では、録画を終了する。
【0053】
その後、センサユニット1では、スイング動作と判定した期間のセンサ情報をスイング動作データとして携帯端末3に送信する。また、撮像装置2では、録画した動画データをスイング動作動画データとして携帯端末3に送信する。尚、これらの録画に関する処理は、練習中、スイングが行われる毎に繰り返し実行される。
【0054】
練習が終了した場合には、携帯端末3からセンサユニット1及び撮像装置2に対して、終了コマンドを送信する。
【0055】
終了コマンドを受けた撮像装置2では、RTC回路111−2から値を取得し、センサユニット1に送信する。
同じく終了コマンドを受けたセンサユニット1では、RTC111−1の値を取得し、撮像装置2から取得したRTC回路111−2の値との差分値(終了時のRTC差分値)のデータを計測する。そして、センサユニット1は、開始時と終了時のRTC差分値のデータを携帯端末3に送信する。
【0056】
その後、携帯端末3では、取得したスイング動作データ、スイング動作動画データ、及び、開始時と終了時のRTC差分値のデータに基づいて、解析が行われる。この解析は、RTCの差分値によって、スイング動作データとスイング動作動画データとの時間を一致させ、スイング動作データから解析した被験者の動きと、スイング動作動画データから検出された被験者の動きとに基づいたものなる。携帯端末3では、これらの解析の結果を、画面に表示する。
【0057】
図7は、
図4の機能的構成を有する
図2のセンサユニット1が実行する練習時取得データ送信処理の流れを説明するフローチャートである。
練習時取得データ送信処理は、ユーザによる入力部17−1への練習時取得データ送信処理開始の操作により開始される。
【0058】
ステップS11において、通信制御部51は、練習開始の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。
練習開始の指示を受信していない場合には、ステップS11においてNOと判定されて、処理は待機状態となる。
練習開始の指示を受信した場合には、ステップS11においてYESと判定されて、処理はステップS12に進む。
【0059】
ステップS12において、RTC差分値計測部52は、センサユニット1のRTC回路111−1の値、及び、撮像装置2のRTC回路111−2の値を取得し、互いのRTCの値の差分値を計測する。
【0060】
ステップS13において、RTC差分値計測部52は、計測した開始時のRTC差分値のデータをRTC差分値記憶部71に記憶させる。
【0061】
ステップS14において、センサ情報解析部53は、X軸の角度が20度以上であり、かつ、加速度の分散値がα以下であるか否かを判定する。
X軸の角度が20度以上であり、かつ、加速度の分散値がα以下でない場合には、ステップS14においてNOと判定されて、待機状態となる。
X軸の角度が20度以上であり、かつ、加速度の分散値がα以下の場合には、ステップS14においてYESと判定されて、処理はステップS15に進む。
【0062】
ステップS15において、センサ情報解析部53は、アドレス状態であると判定する。
【0063】
ステップS16において、通信制御部51は、撮像装置2に対して、録画開始コマンドを送信するように通信部20−1を制御する。その結果、撮像装置2では、録画が開始される。
【0064】
ステップS17において、センサ情報解析部53は、Z軸の角速度が200度/秒以上であるか否かを判定する。
Z軸の角速度が200度/秒以上でない場合には、ステップS17においてNOと判定されて、待機状態となる。
Z軸の角速度が200度/秒以上の場合には、ステップS14においてYESと判定されて、処理はステップS18に進む。
【0065】
ステップS18において、センサ情報解析部53は、解析対象(被験者)がスイング動作をしている状態であると判定する。
【0066】
ステップS19において、通信制御部51は、撮像装置2に対して、録画終了コマンドを送信するように通信部20−1を制御する。その結果、撮像装置2では、録画が終了される。
【0067】
ステップS20において、通信制御部51は、携帯端末3に対して、スイング動作をしていると判定された期間のセンサ情報をスイング動作データとして送信するように通信部20−1を制御する。通信制御部51は、スイング動作をしている状態であると判定される毎にその際のスイング動作データを携帯端末3に送信するように通信部20−1を制御する。
【0068】
ステップS21において、通信制御部51は、練習終了の指示を携帯端末3から通信部20−1を介して受信したか否かを判定する。
練習終了の指示を受信していない場合には、ステップS21においてNOと判定されて、処理はステップS14に戻る。
練習終了の指示を受信した場合には、ステップS21においてYESと判定されて、処理はステップS22に進む。
【0069】
ステップS22において、RTC差分値計測部52は、センサユニット1のRTC回路111−1の値及び撮像装置2のRTC回路111−2の値を取得し、互いのRTCの差分値を計測する。
【0070】
ステップS23において、RTC差分値計測部52は、計測した終了時のRTC差分値のデータをRTC差分値記憶部71に記憶させる。
【0071】
ステップS24において、通信制御部51は、携帯端末3に対して、RTC差分値記憶部71に記憶される開始時と終了時のRTC差分値のデータを送信するように通信部20−1を制御する。その後、処理はステップS11に戻る。
【0072】
図8は、
図5の機能的構成を有する
図3の携帯端末3が実行するデータ解析処理の流れを説明するフローチャートである。
データ解析処理は、ユーザによる入力部17−3へのデータ解析処理開始の操作により開始される。また、データ解析処理にあたり、携帯端末3では、センサユニット1からスイング動作データ及び開始時と終了時のRTC差分値データ、撮像装置2からスイング動作動画データを受信し、スイング動作データとスイング動作動画データにおける時刻を開始時と終了時のRTC差分値のデータによって一致させる。
【0073】
ステップS41において、センサ情報解析処理部91は、センサ情報解析処理を実行する。センサ情報解析処理の実行の結果、センサ情報において、各種のスイング動作が判定される。
【0074】
ステップS42において、映像解析処理部92は、映像解析処理を実行する。映像解析処理の実行の結果、各種のスイング動作の時刻等が判定される。
【0075】
ステップS43において、解析情報表示処理部93は、解析結果表示処理を実行する。解析結果表示処理の実行の結果、センサ情報及び映像の解析結果として、所定のスイング動作時の姿勢やクラブの状況、各種の腰の角度等を表示する。その後、データ解析処理は終了する。
【0076】
図9は、データ解析処理のうち、センサ情報解析処理の流れを説明するフローチャートである。本処理の開始時点において、携帯端末3は、センサユニット1から通信部20−3を介して、スイング動作データと、RTC差分値のデータが受信された状態となっている。
【0077】
ステップS61において、センサ情報解析処理部91は、スイング動作データを時系列的に順次解析し、Z軸の角速度がマイナスか否かを判定する。
Z軸の角速度がマイナスでない場合には、ステップS61においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度がマイナスの場合には、ステップS61においてYESと判定されて、処理はステップS62に進む。
【0078】
ステップS62において、センサ情報解析処理部91は、マイナスとなった時点の時刻をテイクバックのタイミングと判定する。
【0079】
ステップS63において、センサ情報解析処理部91は、Z軸の角速度がマイナスからプラスに転じたか否かを判定する。
Z軸の角速度がプラスに転じていない場合には、ステップS63においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度がプラスに転じた場合には、ステップS63においてYESと判定されて、処理はステップS64に進む。
【0080】
ステップS64において、センサ情報解析処理部91は、Z軸の角速度がマイナスからプラスに転じた時点の時刻を腰の回転の切り返しタイミングと判定する。
【0081】
ステップS65において、センサ情報解析処理部91は、Z軸の角速度がプラスに転じた以降に減少に転じたか否かを判定する。
Z軸の角速度が減少に転じていない場合には、ステップS65においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度が減少に転じた場合には、ステップS65においてYESと判定されて、処理はステップS66に進む。
【0082】
ステップS66において、センサ情報解析処理部91は、Z軸の角速度がプラスに転じた以降に減少に転じた時点の時刻をハーフスイングのタイミングと判定する。
【0083】
ステップS67において、センサ情報解析処理部91は、Z軸の角速度が10度/秒を下回ったか否かを判定する。
Z軸の角速度が10度/秒を下回っていない場合には、ステップS67においてNOと判定されて、処理は待機状態となり、スイング動作データにおける次の時点のデータを参照する。
Z軸の角速度が10度/秒を下回った場合には、ステップS67においてYESと判定されて、処理はステップS68に進む。
【0084】
ステップS68において、センサ情報解析処理部91は、Z軸の角速度が10度/秒を下回った時点の時刻をスイングの終了と判定する。その後、センサ情報解析処理は終了する。
【0085】
図10は、データ解析処理のうち、映像解析処理の流れを説明するフローチャートである。本処理の開始時点において、携帯端末3は、センサユニット1から通信部20−3を介して、スイング動作動画データが受信された状態となっている。
【0086】
ステップS81において、映像解析処理部92は、対応するスイング動作データから判定されたテイクバックのタイミングに一致する時刻の前後の所定数のフレーム画像を解析対象とする。
【0087】
ステップS82において、映像解析処理部92は、画像の下部中央付近で左方向に移動する被写体を探索する。
【0088】
ステップS83において、映像解析処理部92は、画像の下部中央付近で左方向に移動する被写体を発見したか否かを判定する。
画像の下部中央付近で左に移動する被写体を発見していない場合には、ステップS83においてNOと判定されて処理は、ステップS82に戻る。
画像の下部中央付近で左に移動する被写体を発見した場合には、ステップS83においてYESと判定されて処理は、ステップS84に進む。
【0089】
ステップS84において、映像解析処理部92は、移動している被写体をクラブヘッドと認識し、移動を開始した時刻をテイクバックの開始時刻と判定する。
【0090】
ステップS85において、映像解析処理部92は、クラブヘッドの右側で丸い物体を探索する。
【0091】
ステップS86において、映像解析処理部92は、クラブヘッドの右側で丸い物体を発見したか否かを判定する。
クラブヘッドの右側で丸い物体を発見していない場合には、ステップS86においてNOと判定されて処理は、ステップS85に戻る。
クラブヘッドの右側で丸い物体を発見した場合には、ステップS86においてYESと判定されて処理は、ステップS87に進む。
【0092】
ステップS87において、映像解析処理部92は、発見したクラブヘッドの右側における丸い物体の位置を、ボール位置と判定する。
【0093】
ステップS88において、映像解析処理部92は、クラブヘッドを追従する。
【0094】
ステップS89において、映像解析処理部92は、クラブヘッドの移動方向が反転したか否かを判定する。
クラブヘッドの移動方向が反転していない場合には、ステップS89においてNOと判定されて処理は、ステップS88に戻る。
クラブヘッドの移動方向が反転した場合には、ステップS89においてYESと判定されて処理は、ステップS90に進む。
【0095】
ステップS90において、映像解析処理部92は、クラブヘッドの移動方向が反転した時点をクラブヘッドの切り返しの時点の時刻と判定する。
【0096】
ステップS91において、映像解析処理部92は、ハーフスイング以降の画像でボールの移動を検出する。
【0097】
ステップS92において、映像解析処理部92は、ボールの移動が右方向であるか否かを判定する。
ボールの移動が右方向でない場合には、ステップS92においてNOと判定されて処理は、ステップS91に戻る。
ボールの移動が右方向の場合には、ステップS92においてYESと判定されて処理は、ステップS93に進む。
【0098】
ステップS93において、映像解析処理部92は、右方向にボールが移動した時点を、インパクトの時刻と判定する。その後、映像解析処理は終了する。
【0099】
図11は、データ解析処理のうち、解析結果表示処理の流れを説明するフローチャートである。
ステップS111において、解析情報表示処理部93は、センサ情報から判定したテイクバック時刻(TBS)と、動画から判定したテイクバック時刻(TBM)と、を比較する。
【0100】
ステップS112において、解析情報表示処理部93は、スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから検出したテイクバック時刻(TBM)の差分がβ以上であるか否かを判定する。なお、βは、理想的なスイングにおけるスイング動作データとスイング動作動画データとを解析した結果に割り出される閾値である。スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから判定したテイクバック時刻(TBM)の差分がβ以上でない場合には、ステップS112においてNOと判定されて、処理はステップS114に進む。
スイング動作データから判定したテイクバック時刻(TBS)と、スイング動作動画データから判定したテイクバック時刻(TBM)の差分がβ以上の場合には、ステップS112においてYESと判定されて、処理はステップS113に進む。
【0101】
ステップS113において、解析情報表示処理部93は、クラブよりも手が先に動いている旨のスイングの状況として「手が先行しています。」という表示を出力するように出力部18−3を制御する。
【0102】
ステップS114において、解析情報表示処理部93は、スイング動作データとスイング動作動画データそれぞれについて、腰の回転の切り返し時の腰の角度を算出する。
【0103】
ステップS115において、解析情報表示処理部93は、算出した腰の回転の切り返し時の腰の角度を、トップ時の腰の角度として数値を出力するように出力部18−3を制御する。
【0104】
ステップS116において、解析情報表示処理部93は、スイング動作データから判定した腰切り返し時刻(TRS)と、動画から判定したクラブヘッドの切り返し時刻(TRM)の差分を算出する。
【0105】
ステップS117において、解析情報表示処理部93は、スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転の切り返し時刻(TRM)の差分値が0以上であるか否かを判定する。
スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転時の切り返し時刻(TRM)の差分が0以上でない場合には、ステップS117においてNOと判定されて、処理はステップS119に進む。
スイング動作データから判定した腰の回転時の切り返し時刻(TRS)と、スイング動作動画データから判定したクラブヘッドの回転時の切り返し時刻(TRM)の差分が0以上の場合には、ステップS117においてYESと判定されて、処理はステップS118に進む。
【0106】
ステップS118において、解析情報表示処理部93は、回転時における腰の切り返しと同じく回転時のクラブヘッドの切り返しが同時タイミングであることがよいとされる状態下において、クラブヘッドの移動が早い旨のスイングの状況として「クラブが先行しています。」という表示を出力するように出力部18−3を制御する。
【0107】
ステップS119において、解析情報表示処理部93は、スイング動作データとスイング動作動画データそれぞれについて、インパクト時の腰の回転の角度を算出する。
【0108】
ステップS120において、解析情報表示処理部93は、算出したインパクト時の腰の角度を、インパクト時の腰角度として数値を出力するように出力部18−3を制御する。なお、各種算出等した解析結果のデータは、解析結果記憶部121に記憶される。
その後、解析結果表示処理は、終了する。
【0109】
以上のように構成される携帯端末3は、センサ情報解析処理部91と、映像解析処理部92と、解析情報表示処理部93と、を備える。
映像解析処理部92は、被験者に付けられ、被験者の所定の運動を記録した動画を取得するように通信部20−3を制御する。
センサ情報解析処理部91は、被験者の所定の運動時の姿勢の変化を取得するように通信部20−3を制御する。
解析情報表示処理部93は、センサ情報解析処理部91によって取得された動画と、映像解析処理部92によって取得された姿勢の変化と、を用いて、所定の運動の状態について評価する。
これにより、携帯端末3においては、ユーザに不便を強いることなく、より正確にスイング評価を行うことができる。
【0110】
解析情報表示処理部93は、映像解析処理部92によって取得された動画と、センサ情報解析処理部91によって取得された姿勢の変化との取得時間が一致するように調整する。
また、解析情報表示処理部93は、調整された結果と、予め用意された理想とする時間経過を伴った所定の運動と、を比較する。
また、解析情報表示処理部93は、比較結果を用いて、所定の運動の状態について評価する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
【0111】
また、センサユニット1は、RTC差分値計測部52を備える。
RTC差分値計測部52は、撮像装置2から所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する。
RTC差分値計測部52は、センサ部16−1から所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する。
RTC差分値計測部52は、記録の開始の時点の時刻情報と取得した場合は取得した変化の開始時点の時刻情報との、記録の終了の時点の時刻情報と取得した場合は取得した変化の終了時点の時刻情報との差分値を取得する。
RTC差分値計測部52は、差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
【0112】
映像解析処理部92は、取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報をセンサユニット1から取得する。
センサ情報解析処理部91は、取得された所定の運動の姿勢から、所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を取得する。
解析情報表示処理部93は、特定された所定の運動における複数の時点の姿勢と、特定された時刻情報と、に基づいて、所定の運動の状態について評価する。
これにより、携帯端末3においては、より正確にスイング評価を行うことができる。
【0113】
また、携帯端末3は、解析情報表示処理部93による所定の運動の状態についての評価を出力する出力部18−3を、さらに備える。
これにより、携帯端末3においては、例えば、表示等でスイング評価の結果を利用することができる。
【0114】
解析情報表示処理部93は、該携帯端末3とは別体に構成され、被験者の体幹付近に装着されるセンサユニット1から、姿勢の変化を取得するように通信部20−3を制御する。
これにより、携帯端末3においては、被験者の体幹部での姿勢変化を取得することができる。
【0115】
また、携帯端末3は、センサユニット1と、当該携帯端末3とを無線接続する通信部20−3を、さらに備える。
これにより、携帯端末3においては、センサユニット1との間で無線接続を行うことができ、ユーザに不便を強いることなく、より正確にスイング評価を行うことができる。
【0116】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0117】
上述の実施形態では、RTCの差分をセンサユニット1で計測するように構成したが、携帯端末3で行うように構成してもよい。センサユニット1はセンシングだけを行って、センシング結果及び開始・終了時のRTCを携帯端末3に送信するように構成してもよい。
【0118】
また、上述の実施形態では、テイクバック時刻(TBS)と、映像から検出したテイクバック時刻(TBM)の差分がα以上である場合には、「手が先行しています。」という適切ではない旨の表示を出力するように構成したが、適切だった場合に、その旨を表示するように構成してもよい。また、不適切であった場合に、適切となるようなアナウンスを行うようにしてもよい。
また、表示出力にかかわらず、音声出力等の各種出力を行うように構成してもよい。
【0119】
また、上述の実施形態では、センシングした姿勢の情報と、映像から割り出せる姿勢の情報とを比較して、所定のスイング動作でのセンシングした姿勢と、映像から割り出せる姿勢又は、所定の姿勢でのセンシング結果と映像でのズレから、事前に設定した所定の状態との対比からスイングの評価を行うように構成した。事前に設定した所定の状態は、理想的なスイングの解析結果であり、種々のスイング方法等があるため、ユーザ自身が所望する状態を事前に設定するように構成してもよいし、スイング方法別にユーザが選択するように構成してもよい。また、比較対象についても種々選択可能に構成してもよい。
【0120】
また、上述の実施形態では、データ解析を携帯端末3で行うように構成したが、外部サーバ等で行うように構成してもよい。この場合、携帯端末3では解析結果の表示のみ行う。
【0121】
また、上述の実施形態では、本発明が適用される撮像装置2及び携帯端末3は、デジタルカメラ及びスマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、練習時取得データ送信処理及びデータ解析処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートウォッチ、ポータブルゲーム機等に適用可能である。
【0122】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図4及び
図5の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が携帯端末3に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図4及び
図5の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
【0123】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0124】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図2及び
図3のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図2及び
図3のROM12や、
図2及び
図3の記憶部19に含まれるハードディスク等で構成される。
【0125】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
【0126】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0127】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
被験者の所定の運動を記録した動画を取得する動画取得手段と、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段と、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段と、
を備えることを特徴とする運動解析装置。
[付記2]
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化との取得時間が一致するように調整する調整手段と、
前記調整手段によって調整された結果と、予め用意された理想とする時間経過を伴った前記所定の運動と、を比較する比較手段と、を更に備え、
前記評価手段は、前記比較手段による比較結果を用いて、前記所定の運動の状態について評価する、
ことを特徴とする付記1に記載の運動解析装置。
[付記3]
前記動画取得手段における、前記所定の運動の記録の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第1の時刻情報取得手段と、
前記変化取得手段における、前記所定の運動時の姿勢の変化の開始又は終了の少なくとも何れかの時点の時刻情報を取得する第2の時刻情報取得手段と、
前記第1の時刻情報取得手段が記録の開始の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の開始時点の時刻情報との、前記第1の時刻情報取得手段が記録の終了の時点の時刻情報と取得した場合は前記第2の時刻情報取得手段が取得した変化の終了時点の時刻情報との差分値を取得する差分値取得手段と、
を更に備え、
前記調整手段は、前記差分値取得手段によって取得された差分値を用いて双方の取得時間が一致するよう調整することを特徴とする付記2記載の運動解析装置。
[付記4]
前記動画取得手段によって取得された所定の運動を記録した動画から、当該所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第1の時刻情報取得手段から取得する第1の検知時刻情報取得手段と、
前記変化取得手段によって取得された前記所定の運動の姿勢から、前記所定の運動における複数の時点の姿勢を特定するとともに、それらの姿勢を検知した時刻情報を前記第2の時刻情報取得手段から取得する第2の検知時刻情報取得手段と、
を更に備え、
前記評価手段は、前記特定された前記所定の運動における複数の時点の姿勢と、前記第1の検知時刻情報取得手段により特定された時刻情報と、前記第2の検知時刻情報取得手段により特定された時刻情報と、に基づいて、前記所定の運動の状態について評価することを特徴とする付記3に記載の運動解析装置。
[付記5]
前記評価手段による前記所定の運動の状態についての評価を出力する出力手段を、さらに備える、
ことを特徴とする付記1乃至4の何れか1つに記載の運動解析装置。
[付記6]
前記変化取得手段は、当該運動解析装置とは別体に構成され、前記被験者の体幹付近に装着されるセンサから、前記姿勢の変化を取得する、
ことを特徴とする付記1乃至5の何れか1つに記載の運動解析装置。
[付記7]
前記センサと、当該運動解析装置とを無線接続する通信手段を、さらに備える、
ことを特徴とする付記6に記載の運動解析装置。
[付記8]
被験者の所定の運動を記録した動画を取得する動画取得ステップと、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得ステップと、
前記動画取得ステップによって取得された前記動画と、前記変化取得ステップによって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価ステップと、
を含むことを特徴とする運動解析方法。
[付記9]
コンピュータを、
被験者の所定の運動を記録した動画を取得する動画取得手段、
前記被験者に付けられ、前記被験者の所定の運動時の姿勢の変化を取得する変化取得手段、
前記動画取得手段によって取得された前記動画と、前記変化取得手段によって取得された前記姿勢の変化と、を用いて、前記所定の運動の状態について評価する評価手段、
として機能させることを特徴とするプログラム。