特許 7614583 モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。

(51)【国際特許分類】

   H04N 23/00 20230101AFI20250108BHJP

   H04N 23/60 20230101ALI20250108BHJP

   G06T 7/55 20170101ALI20250108BHJP

   G06T 7/20 20170101ALI20250108BHJP

【ＦＩ】

H04N23/00

H04N23/60 500

G06T7/55

G06T7/20 300A

【請求項の数】 10

(21)【出願番号】P 2020089257

(22)【出願日】2020-05-22

(65)【公開番号】P2021184540

(43)【公開日】2021-12-02

【審査請求日】2023-04-11

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(73)【特許権者】

【識別番号】390021751

【氏名又は名称】株式会社ナックイメージテクノロジー

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(72)【発明者】

【氏名】中村 仁彦

(72)【発明者】

【氏名】池上 洋介

(72)【発明者】

【氏名】西川 晃平

(72)【発明者】

【氏名】赤瀬 稔尚

(72)【発明者】

【氏名】山嵜 康平

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０２０－０４２４７６（ＪＰ，Ａ）

【文献】国際公開第２００５／１２４６８７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／５５

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

１つあるいは複数の第１カメラからなる第１カメラセットと、
１つあるいは複数の第２カメラからなる第２カメラセットと、
を備えたモーションキャプチャ・カメラシステムであって、
前記第２カメラのフレームレートは前記第１カメラのフレームレートよりも高く、
前記第１カメラは、対象の動作を撮影して第１動画データを録画し、
前記第２カメラは、前記第１カメラによる対象の動作の撮影中における任意のタイミングで、少なくとも、対象の動作の部分、あるいは／および、当該動作に関連して生起する事象を撮影して第２動画データを録画し、
前記第１カメラと前記第２カメラの撮影タイミングを同期させる同期制御部を備え、
前記同期制御部は、同期信号生成部とトリガー信号生成部を備え、
前記同期信号生成部は、第１同期信号を生成して前記第１カメラに出力し、第２同期信号を生成して前記第２カメラに出力し、前記第１同期信号は前記第２同期信号を間引いて生成され、
前記トリガー信号生成部は、前記第１動画データの録画中に、前記第１カメラの第１同期信号に合わせてトリガー信号を前記第２カメラに出力し、
前記第２カメラは、前記トリガー信号に基づいて、前記第１動画データに同期して前記第２動画データを録画する、
モーションキャプチャ・カメラシステム。

【請求項2】

前記第１カメラの録画中に、前記第２カメラの撮影データはバッファに一時的に保存され、
前記トリガー信号に基づいて、前記保存された撮影データから所定の第２動画データを取り出して録画する、
請求項１に記載のモーションキャプチャ・カメラシステム。

【請求項3】

前記第２カメラの周期の整数倍が前記第１カメラの周期となるように前記第１同期信号、前記第２同期信号が生成される、
請求項１、２いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項4】

前記対象の動作は、器具、あるいは／および、物体の使用を伴うものであり、
前記動作に関連して生起する事象は、前記器具、あるいは／および、物体の動きないし挙動を含む、
請求項１～３いずれかに記載のモーションキャプチャ・カメラシステム。

【請求項5】

請求項１～４いずれか１項に記載のカメラシステムと、
前記第１カメラで録画した前記第１動画データの画像情報を３次元再構成することで対象の動作データを取得する動作データ取得部と、
前記第２カメラで録画した前記第２動画データの画像情報に基づいて事象データを取得する事象データ取得部と、
を備えたモーションキャプチャシステム。

【請求項6】

前記動作データを用いて対象の動作を分析する動作分析部と、
前記事象データを用いて事象を分析する事象分析部と、
を備えている、
請求項５に記載のモーションキャプチャシステム。

【請求項7】

前記動作分析部における動作データの分析において、前記事象データないし前記事象分析部で得られた情報が用いられる、
請求項６に記載のモーションキャプチャシステム。

【請求項8】

前記対象の動作は、器具、あるいは、身体の部分による物体のヒッティング動作を含み、
前記事象データは、ヒッティング時に前記物体に作用する撃力を含み、
前記動作分析部は、前記撃力の反作用力を用いて、器具、あるいは身体の部分に作用する力を分析する、
請求項７に記載のモーションキャプチャシステム。

【請求項9】

１つあるいは複数の第１カメラからなる第１カメラセットと、
１つあるいは複数の第２カメラからなる第２カメラセットと、
を備えたモーションキャプチャ・カメラシステムを用いた動画データ録画方法であって、
前記第２カメラのフレームレートは前記第１カメラのフレームレートよりも高く、
第１同期信号、第２同期信号を生成して、それぞれ、前記第１カメラ、前記第２カメラに出力するに、前記第１同期信号は前記第２同期信号を間引いて生成され、
前記第１カメラは、対象の動作を撮影して第１動画データを録画し、
前記第１動画データの録画中に、前記第１カメラの第１同期信号に合わせてトリガー信号を前記第２カメラに出力し、
前記第２カメラは、前記トリガー信号に基づいて、少なくとも、対象の動作の部分、あるいは／および、当該動作に関連して生起する事象の撮影を行うことで、前記第１動画データに同期した第２動画データを録画する、
動画データ録画方法。

【請求項10】

１つあるいは複数の第１カメラからなる第１カメラセットと、
１つあるいは複数の第２カメラからなる第２カメラセットと、
を備えたモーションキャプチャ・カメラシステムを用いた動画データ録画方法であって、
前記第２カメラのフレームレートは前記第１カメラのフレームレートよりも高く、
第１同期信号、第２同期信号を生成して、それぞれ、前記第１カメラ、前記第２カメラに出力するに、前記第１同期信号は前記第２同期信号を間引いて生成され、
前記第１カメラは、対象の動作を撮影して第１動画データを録画し、
前記第１動画データの録画中に、前記第２カメラは、少なくとも、対象の動作の部分、あるいは／および、当該動作に関連して生起する事象を撮影し、前記第２カメラの撮影データはバッファに一時的に保存され、
前記第１動画データの録画中に、前記第１カメラの第１同期信号に合わせてトリガー信号を前記第２カメラに出力し、
前記第２カメラは、前記トリガー信号に基づいて、前記保存された撮影データから所定の第２動画データを取り出して録画し、前記第２動画データと前記第１動画データは同期している、
動画データ録画方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モーションキャプチャ・カメラシステムに係り、詳しくは、フレームレートの異なる複数のカメラからなる複合カメラシステムおよび当該複合カメラシステムを用いた動画データ取得方法に関するものである。

【背景技術】

【0002】

従来のモーションキャプチャシステムでは再帰性反射材のマーカを対象の身体に付けてカメラでマーカ位置を計測し、運動の３次元再構成を行っていた。最近、マーカを用いずにカメラ画像から深層学習によって２次元関節位置を推定しそれらを総合して、運動を３次元再構成するビデオモーションキャプチャが実現されている（特許文献１、非特許文献１）。

【0003】

一方で、衝突現象を計測したり、野球やゴルフなどの打撃系スポーツでボールの運動を計測する際に、高速度カメラが使われてきた。

【0004】

しかしながら、モーションキャプチャのカメラ系と高速度カメラのカメラ系は独立に扱われてきた。

【0005】

高速度カメラは、高いフレームレートで撮影可能であるが、時間当たりのデータ量が大きくなるため、長時間の撮影データの記録が難しい。一方、ビデオカメラは、高速度カメラに比べてフレームレートは低いが、比較的長時間の撮影データの記録が可能である。特に、ビデオモーションキャプチャは、マーカにより対象の動きが制限されることがないため、対象の自然な動きのデータを取得することができる。モーションキャプチャのカメラ系と高速度カメラ系の計測データを補完的に用いることができれば、動作解析のバリエーションが広がると考えられる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－０４２４７６

【非特許文献】

【0007】

【文献】T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231.

【文献】Openpose. https://github.com/CMU-Perceptual-Computing-Lab/openpose.

【発明の開示】

【発明が解決しようとする課題】

【0008】

本発明は、フレームレートの異なる複数のカメラ系の計測データを補完的に用いること可能とするカメラシステムないし動画データ取得方法を提供することを目的とするものである。

【課題を解決するための手段】

【0009】

本発明が採用した技術手段は、
１つあるいは複数の第１カメラからなる第１カメラセットと、
１つあるいは複数の第２カメラからなる第２カメラセットと、
を備えたモーションキャプチャ・カメラシステムであって、
前記第２カメラのフレームレートは前記第１カメラのフレームレートよりも高く、
前記第１カメラと前記第２カメラの撮影タイミングを同期させる同期制御部を備え、
前記第１カメラは、対象の動作を撮影して第１動画データを取得し、
前記第２カメラは、少なくとも、対象の動作の部分、あるいは／および、当該動作に関連して生起する事象を撮影して第２動画データを取得し、
前記第１動画データと前記第２動画データは同期している、
モーションキャプチャ・カメラシステム、である。

【0010】

１つの態様では、前記同期制御部は、同期信号生成部を備え、前記同期信号生成器は、
前記第１カメラと前記第２カメラを同期させる第１同期信号、第２同期信号を生成し、第１同期信号を前記第１カメラに出力し、第２同期信号を第２カメラに出力することで、前記第１カメラと前記第２カメラを同期させる。
１つの態様では、前記同期制御部は、第２カメラ用の第２同期信号を間引いて前記第１カメラ用の第１同期信号を生成する。
また、同期信号生成器は、専用の外部装置である必要はなく、第１カメラ系、あるいは、第２カメラ系の機能として当該第１カメラ系、あるいは、当該第２カメラ系に組み込まれていてもよい。

【0011】

１つの態様では、前記第２カメラは、前記第１カメラの撮影中に生成されるトリガー信号に基づいて、前記第２動画データを取得する。
トリガー信号は、前記第２カメラのデータ取得タイミングを決定する。
１つの態様では、前記第２カメラの撮影データはバッファに一時的に保存され、
前記トリガー信号に基づいて、前記保存された撮影データから所定の第２動画データを取得する。
１つの態様では、前記システムは、トリガー信号生成部を備え、前記トリガー信号生成部は、
前記第１カメラの同期信号に合わせて、前記トリガー信号を前記第２カメラに出力する。

【0012】

１つの態様では、前記対象の動作は、器具、あるいは／および、物体の使用を伴うものであり、
前記動作に関連して生起する事象は、前記器具、あるいは／および、物体の動きないし挙動を含む。
１つの態様では、前記対象の動作は、器具を用いた物体のヒッティング動作を含み、
前記動作に関連して生起する事象は、前記物体の動きないし挙動を含む。
１つの態様では、前記対象の動作は、当該対象の動作に伴って、当該対象と物体との間で相互作用が生じるような動作であり、
前記動作に関連して生起する事象は、前記相互作用による前記物体の動きないし挙動を含む。

【0013】

本発明が採用した他の技術手段は、
上記カメラシステムと、
前記第１カメラで取得した画像情報、あるいは／および、前記第２カメラで取得した画像情報を３次元再構成することで、対象の動作データを取得する動作データ取得部と、
を備えたモーションキャプチャシステム、である。
１つの態様では、前記動作データ取得部は、各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する。
１つの態様では、対象の運動は、対象が器具を持って行う運動であり、動作データ取得部は、前記器具の運動データを取得する。
器具の運動データは、器具をマーカレスで取得してもよく、あるいは、器具に設けたマーカを用いて取得してもよい。

【0014】

１つの態様では、前記第２カメラで取得した画像情報に基づいて事象データを取得する事象データ取得部を備えている。
１つの態様では、前記事象データ取得部は、第２カメラで取得したが画像情報を３次元再構成して事象データを取得する。

【0015】

１つの態様では、前記動作データを用いて対象の動作を分析する動作分析部を備えている。
１つの態様では、前記事象データを用いて事象を分析する事象分析部を備えている。
１つの態様では、前記動作分析部における動作データの分析において、前記事象データないし前記事象分析部で得られた情報が用いられる。
１つの態様では、前記対象の動作は、器具、あるいは、身体の部分による物体のヒッティング動作を含み、
前記事象データは、ヒッティング時に前記物体に作用する撃力を含み、
前記動作分析部は、前記撃力を用いて、対象の身体に作用する力を分析する。

【0016】

本発明が採用した他の技術手段は、
１つあるいは複数の第１カメラからなる第１カメラセットと、
１つあるいは複数の第２カメラからなる第２カメラセットと、
を備えたモーションキャプチャ・カメラシステムを用いた動画データ取得方法であって、
前記第２カメラのフレームレートは前記第１カメラのフレームレートよりも高く、
前記第１カメラと前記第２カメラの撮影タイミングを同期させること、
前記第１カメラにより、対象の動作を撮影して第１動画データを取得すること、
前記第２カメラにより、少なくとも、対象の動作の部分、あるいは／および、当該動作に関連して生起する事象を撮影して第２動画データを取得すること、
を含み、
前記第１動画データと前記第２動画データは同期している、
動画データ取得方法、である。

【0017】

１つの態様では、前記第１カメラに第１同期信号を出力し、前記第２カメラに第２同期信号を出力することで、前記第１カメラと前記第２カメラの撮影タイミングを同期させる。
１つの態様では、前記第１同期信号は、前記第２同期信号を間引いて生成される。
１つの態様では、前記第２カメラは、前記第１カメラの撮影中に生成されるトリガー信号に基づいて、前記第２動画データを取得する。
１つの態様では、前記トリガー信号は、前記第１カメラの第１同期信号に合わせて、前記第２カメラに出力される。
本発明は、コンピュータに、上記方法を実行させるためのコンピュータプログラムとしても提供される。

【発明の効果】

【0018】

本発明は、フレームレートの異なる複数のカメラ系において、各カメラ系における撮影タイミングの同期を取ることによって、各カメラ系の計測データを補完的に用いること可能とするカメラシステムないし動画データ取得方法を提供する。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係るモーションキャプチャ・カメラシステムの概略図である。

【図2】本実施形態に係る同期制御部（同期信号生成器）の概念図である。

【図3】高速度カメラとビデオカメラの信号の同期を示す図である。

【図4】ビデオカメラにより取得した画像データの記録の流れを例示する図である。

【図5】高速度カメラにより取得した画像データの記録の流れを例示する図である。

【図6】ビデオカメラと高速度カメラの画像データの記録のタイミングを例示する図である。

【図7】本実施形態に係る同期制御手法の他の実施形態を説明する図である。

【図8】高速度カメララとビデオカメラの配置を示す図である。

【図9】高速度カメラとビデオカメラの配置を示す図である。

【図10】ビデオモーションキャプチャの概略図である。

【図11】ビデオモーションキャプチャの詳細図である。

【図12】ビデオモーションキャプチャの動作データの取得工程を示すフローチャートである。

【図13】多視点三角測量の概念を示す図である。

【図14】ボールとクラブの衝突モデルを示す図である。

【図15】高速度カメラ１、高速度カメラ２を用いた多視点三角測量を示す図である。

【図16】スイング時の左手の関節速度の時系列データである。

【図17】スイング時の右手の関節速度の時系列データである。

【発明を実施するための形態】

【0020】

［Ａ］モーションキャプチャ・カメラシステム
［Ａ－１］複合カメラシステム
図１を参照しつつ、本実施形態に係るモーションキャプチャ・カメラシステムについて説明する。本実施形態に係るモーションキャプチャ・カメラシステムは、第１カメラセットと第２カメラセットからなる複合カメラシステムである。第１カメラセットは、第１のフレームレートを備えた１つあるいは複数の第１カメラからなり、第２カメラセットは、第１のフレームレートよりも高い第２のフレームレートを備えた１つあるいは複数の第２カメラからなる。本実施形態では、第１カメラセットは、複数のビデオカメラからなり、第２カメラセットは、複数の高速度カメラ（ハイスピードカメラ）からなる。後述する実験例では、ビデオカメラのフレームレートは125fpsであり、高速度カメラのフレームレートは1000fpsである。

【0021】

第１カメラの第１フレームレートは、第２カメラの第２フレームレートに比べて低いため、本明細書では、高速度カメラ(HS-cam)からなる第２カメラに対して、第１カメラを低速カメラないしロースピードカメラ(LS-cam)と称する場合がある点に留意されたい。本明細書では、便宜上、撮影可能なフレームレートにより、以下のようにカメラを区別する。HS-cam：ハイスピードカメラ(≧150fps)；LS-cam：ロースピードカメラ(＜150fps)。もっとも、上記区別は例示であって、本発明はこの区分には限定されず、フレームレートの異なる第１カメラと第２カメラにおいて、フレームレートが高いカメラをハイスピードカメラと称し、フレームレートが低いカメラをロースピードカメラと称する。

【0022】

図１では、各カメラセットは、それぞれ４台のカメラから構成されているが、各カメラセットを構成するカメラの台数は限定されず、１台のカメラでもよく、あるいは、５台以上のカメラでもよい。また、複合カメラシステムは、第１フレームレート及び第２フレームレートと異なる第３のフレームレートを備えた１つあるいは複数の第３カメラからなる第３カメラセットを備えていてもよい。

【0023】

カメラシステムは、高速度カメラとビデオカメラの撮影タイミングを同期させる同期制御部を備えており、高速度カメラにより取得された動画データはビデオカメラにより取得された動画データと同期している。具体的には、第１カメラセットの各第１カメラ（ビデオカメラ１～４）の撮影タイミングは同期しており、第２カメラセットの各第２カメラ（高速度カメラ１～４）の撮影タイミングは同期しており、さらに、第１カメラ（ビデオカメラ１～４）の撮影タイミングと第２カメラ（高速度カメラ１～４）の撮影タイミングは同期している。

【0024】

第１カメラセットのビデオカメラ１～４によって撮影された画像の時系列データは、動画データ１～４として記憶部（メモリ）に格納される。動画データ１～４は同期している。図４に示すように、本実施形態では、動画データ１～４は、リアルタイムで、コンピュータに送信され、記憶部に格納される。

【0025】

第２カメラセットの高速度カメラ１～４によって撮影された画像の時系列データは、動画データ５～８として記憶部（メモリ）に格納される。動画データ５～８は同期している。１つの態様では、動画データは、リングバッファに格納され、リングバッファから取り出された動画データ５～８が、非リアルタイムでデータ取得部に送信される。高速度カメラ(HS-cam)は、１秒間に大量の画像データを撮影するため、リアルタイムにデータをコンピュータに転送することが困難な場合が多い。図５に示すように、本実施形態では、高速度カメラにより撮影された画像データをカメラ内蔵のメモリ（例えば、リングバッファ）に一時的に記憶し、その後コンピュータの記憶部にダウンロードする方式が採られる。例えば、後述する実験で用いた高速度カメラのカメラ内蔵メモリ(8GB)には、フレームサイズ1920x1080、フレームレート1000fpsで約3秒間の画像データを格納できる。なお、高速度カメラの動画データをコンピュータの記憶部に直接格納するようにしてもよい。

【0026】

動画データ１～８は同期している。第２カメラ（高速度カメラ）の周期の整数倍（図３では８倍）が第１カメラ（ビデオカメラ）の周期となっており、また、第１カメラ（ビデオカメラ）のシャッター時刻が第２カメラ（高速度カメラ）のシャッター時刻と一致している。図３に、ハイスピードカメラ（1000fps）とビデオカメラ（125fps）の同期を示す。図３はシャッターを切るタイミングを表しており、シャッターを切り始める瞬間について同期制御部（同期信号生成器）を用いて同期を行う。また、所定のタイミングでトリガー信号を入力することで、同時刻に撮影されたハイスピードカメラのフレーム番号とビデオカメラのフレーム番号を自動的に抽出する。同期制御部の構成については、後述する。

【0027】

ビデオカメラは対象の動作を撮影して動画データを取得するが、典型的には、ビデオカメラの視野には対象の全身が含まれている。すなわち、動画データ１～４には、対象の全身が含まれており、動画データ１～４から対象の全身のポーズの時系列データが取得される。なお、ビデオカメラが対象の身体の部分を撮影してもよい。

【0028】

高速度カメラは、少なくとも、対象の動作の部分、あるいは／および、対象の動作に関連して生起する事象を撮影して動画データを取得する。「対象の動作の部分」には、２つの意味がある。１つは、高速度カメラにより撮影した画像に対象の身体の一部のみが含まれている場合である。例えば、対象のゴルフスイングを撮影する場合に、ビデオカメラが対象の全身を撮影するのに対して、高速度カメラが、対象の下半身のみを撮影する場合である。この場合、対象の下半身を含む画像には、少なくとも、対象の両手首、ゴルフクラブ、ボールが含まれるであろう。なお、高速度カメラが対象の全身を撮影してもよい。

【0029】

もう１つは、ビデオカメラが対象のある纏まった動作を撮影するのに対して、高速度カメラが纏まった動作の部分を撮影するような場合である。この場合、ビデオカメラの動画データの長さに対して、高速度カメラの動画データの長さは短い。例えば、対象のゴルフスイングを撮影する場合に、ビデオカメラがアドレスからフィニッシュまでのスイング動作全体を撮影するのに対して、高速度カメラが、クラブヘッドとボールのインパクトの前後の所定時間のみを撮影する場合である。なお、高速度カメラとビデオカメラの録画時間が同じであってもよい。

【0030】

対象の動作に関連して生起する事象について説明する。対象の動作が、器具、あるいは／および、物体の使用を伴うものである場合に、前記動作に関連して生起する事象は、前記器具、あるいは／および、物体の動きないし挙動を含む。器具の動きないし挙動には、器具の変形（例えば、シャフトのしなり）が含まれる。物体の動きないし挙動には、物体の変形（例えば、ボールの変形）が含まれる。対象の動作に関連して生起する事象について、幾つかの具体例を挙げて説明する。以下に３つの態様及び具体例を挙げるが、これらは例示であって、対象の動作に関連して生起する事象を限定するものではない点に留意されたい。また、対象の動作もスポーツに限定されるものではない。

【0031】

第１の態様では、対象の動作は、器具を用いた物体のヒッティング動作を含み、前記動作に関連して生起する事象は、前記物体の動きないし挙動を含む。ヒッティング動作は、例えば、ゴルフや野球のスイングであり、対象の動作に関連して生起する事象には、器具（クラブやバット）と物体（ボール）のインパクト時のボールの運動ないし挙動が含まれる。ヒッティング動作はゴルフスイングや野球のバットスイングに限定されるものではなく、例えば、フィールドホッケーやアイスホッケーにおけるスティック操作、テニス、バドミントン、卓球におけるラケット操作が含まれる。これらの場合、対象の動作に関連して生起する事象には、ボール、パック、シャトルの運動ないし挙動（例えば、シャトルの変形を含む）が含まれる。

【0032】

第２の態様では、対象の動作は、対象の動作に伴って当該対象と物体との間で相互作用が生じるような動作であり、前記動作に関連して生起する事象は、前記相互作用による前記物体の動きないし挙動を含む。典型的には、前記動作に関連して生起する事象は、対象の動作に伴って、物体が、当該対象との接触状態から非接触状態となる時の物体の動きないし挙動である。例えば、野球の投球動作におけるピッチャーの指の動作、ボールの動き・挙動が、それぞれ、対象の動作の部分、当該動作に関連して生起する事象となる。また、物体の動きないし挙動には、投擲競技（砲丸投げ、円盤投げ、槍投げ、ハンマー投げ）の投擲具、新体操競技における手具、球技における球の動きないし挙動が含まれ得る。

【0033】

第３の態様では、前記対象の動作が器具を用いる場合に、前記動作に関連して生起する事象は、前記器具の動きないし挙動を含む。例えば、第１の態様における器具を用いた物体のヒッティング動作において、前記動作に関連して生起する事象には、器具（例えば、バット、クラブ、スティック、ラケット）の動きないし挙動が含まれ得る。また、器具の動きないし挙動には、器具を用いたスポーツ（例えば、フェンシング、剣道等）において、剣や竹刀の動きないし挙動が含まれ得る。

【0034】

ビデオカメラと高速度カメラの同期撮影の配置について説明する。図８は、ビデオカメラでゴルフスウィング動作全体を撮影し、そのうちのインパクトの瞬間を高速度カメラで撮影する複合カメラシステムを示す。複数台のビデオカメラLは、対象の全身が写るように画角とフォーカスを調整して配置する。ボール解析用のカメラ配置では、高速度カメラHの画角とフォーカスをボールに合わせて調整する。この複合カメラシステムを用いて、ビデオカメラ及びハイスピードカメラを用いたゴルフスウィング動作の計測実験を行った。

【0035】

図９に示す複合カメラシステムのカメラ配置において、複数台のビデオカメラLは、対象の全身が写るように画角とフォーカスを調整して配置されており、ビデオカメラHも、対象の全身が写るように画角とフォーカスを調整して配置されている。この態様では、高速度カメラで撮影した動画から、対象の全身のポーズの時系列データを取得することができる。

【0036】

第１カメラセットにおいて、ビデオカメラ１～４の各フレームのカメラ画像を３次元再構成するためのカメラパラメータ（内部パラメータ、外部パラメータ）が事前に取得されている。第２カメラセットにおいて、高速度カメラ１～４の各フレームのカメラ画像を３次元再構成するためのカメラパラメータ（内部パラメータ、外部パラメータ）が事前に取得されている。カメラパラメータを取得するためのカメラキャリブレーションは、例えば、キャリブレーション器具（マーカを付けたワンドやパターンボード）を複数台のカメラで撮影することで行うことで実行される。１つの態様では、ビデオカメラ１～４及び高速度カメラ１～４のキャリブレーションが同時に行われる。キャリブレーション時には、例えば、両カメラ系に対して、同時にマーカを付けたワンドやパターンボードを見せ、各カメラ系で撮影タイミング（シャッターを切る制御信号の立ち上がり時刻）を一致させて撮影することによって行う。こうすることで、同時刻で撮影された第１カメラの画像と第２カメラの画像を用いて、動作の３次元再構成することが可能となる。

【0037】

データ取得部は、第１カメラセットのビデオカメラ１～４から取得した画像データの時系列データを用いて３次元再構成することで、対象の動作データ（典型的に全身運動）を取得する。データ取得部は、第２カメラセットのビデオカメラ５～８から取得した画像データの時系列データを用いて３次元再構成することで、対象の動作データを取得するようにしてもよい。動作データは、３次元再構成によって得られるデータに限定されるものではなく、画像情報から３次元再構成を行わずに検出したデータを含んでいてもよい。

【0038】

データ取得部は、第２カメラセットのビデオカメラ５～８から取得した画像データの時系列データを用いて事象データを取得する。例えば、事象に物体の移動（運動）が含まれるような場合には、第２カメラセットのビデオカメラ５～８から取得した画像データの時系列データを用いて３次元再構成することで、物体の移動運動データを取得するようにしてもよい。事象データは、３次元再構成によって得られるデータに限定されるものではなく、画像情報から３次元再構成を行わずに検出したデータを含んでいてもよい。

【0039】

データ分析部には、動作データを用いて動作分析を行う動作分析部、事象データを用いて動作分析を行う事象分析部がある。動作分析部は、動作データに加えて、事象データを用いて動作分析を行ってもよい。データ取得部によって取得される動作データには、対象の３Ｄ姿勢（対象の関節角及び関節位置）の時系列データが取得される。動作分析部では、対象の３Ｄ姿勢の時系列データを用いて各種の動作分析を行う。動作分析としては、逆動力学計算による関節トルクの取得、関節トルクを用いた筋張力や筋活動度の取得を例示することができる。

【0040】

データ取得部で取得される動作データ、事象データには、３次元再構成を行わずに画像情報から検出したデータを含んでいてもよく、動作分析部及び事象分析部は、この画像情報を用いて、動作分析や事象分析を行ってもよい。

【0041】

データ分析部は、対象の動作データと対称の動作に関連して生起する事象のデータを統合して、対象の動作を分析してもよい。例えば、ヒッティング動作時、具体例では、野球においてバットでボールを打つ時、ゴルフにおいてクラブでボールを打つ時には、撃力が生じる。高速度カメラでボールのインパクト前後の動画データを取得することで、ボールの衝突前後の速度の変化、衝突での接触時間、クラブヘッド（バット）の回転速度の変化を計測することができる。ボールの初速度と質量から力積を計算し、接触時間で割ることで、撃力を求めることができ、この撃力をインパクト時にボールに作用する力、クラブヘッド（バット）に作用する力とみなすことができる。クラブヘッド（バット）に作用する力、クラブヘッド（インパクト地点）と対象の手首との距離、グラブヘッド（バット）の回転速度の変化から、対象の手首に作用する衝撃力を算出することができる。この衝撃力とビデオカメラで取得した対象のポーズ情報から逆動力学計算を実行することができる。

【0042】

図１に示すように、モーションキャプチャ・カメラシステムとデータ取得部とからモーションキャプチャシステムが構成される。また、モーションキャプチャシステムは、データ分析部を含んでいてもよい。動画データを格納する記憶部（メモリ）、データ取得部、データ分析部は、１つあるいは複数のコンピュータから構成することができる。コンピュータは、入力部、出力部、処理部（演算部）、記憶部を備えた汎用コンピュータであってもよい。モーションキャプチャ・カメラシステムは、さらに、ディスプレイを備えていてもよい。ディスプレイには、複合カメラシステムによって撮影した動画や、モーションキャプチャによって取得された対象のポーズを表す時系列骨格画像などを表示することができる。

【0043】

叙上のように、本実施形態に係るモーションキャプチャ・カメラシステムは、高速度カメラ系と低速カメラ系が混在する複合カメラ系において、同期計測を行うことによって、モーションキャプチャと高速運動の計測を複合した計測を可能にする。本実施形態は、ビデオカメラと高速度カメラを同期させた複合カメラシステムを採用することで、マーカーレスモーションキャプチャシステムにおいて、高速度カメラを活用した計測・解析システムを提供する。例えば、野球の投球動作におけるボールのリリースの瞬間やゴルフスウィング動作におけるクラブヘッドとボールのインパクトの瞬間を捉えるには、高いフレームレートの動画が要求される。そこで、高いフレームレートで撮影可能な高速度カメラを用いて動作を撮影する。フレームレートの異なるカメラ系を、同期させて計測することによって、打撃系スポーツ等における高速現象としてのボールの運動と、人間の運動とを同時計測する。ボールの打撃シーンにおいて、高速度カメラで、ヒッティング時のボール、クラブやバット、手首の動き等を計測し、モーションキャプチャカメラで全身を計測することができる。

【0044】

［Ａ－２］ビデオカメラと高速度カメラの撮影タイミングの同期
本実施形態では、ビデオカメラ(LS-cam)と高速度カメラ(HS-cam)からなる複合カメラシステムを採用することで、最も着目したい動作を高速度カメラで撮影し、それ以外のシーンをビデオカメラで撮影する。高速度カメラは、ビデオカメラによる対象の動作の撮影中における任意のタイミングで撮影を行う。例えば、ビデオカメラでゴルフスウィング動作全体を撮影して動画データを取得し、そのうちのインパクトの瞬間を高速度カメラで撮影して動画データを取得する。あるいは、ビデオカメラで投球動作全体を撮影して動画データを取得し、そのうちのボールリリースの瞬間を高速度カメラで撮影して動画データを取得する。

【0045】

本実施形態に係るビデオカメラ及び高速度カメラはデジタルカメラである。デジタルカメラは、レンズを通った光でイメージセンサーが露光した後、センサーデータをデジタル信号としてメモリに転送する。イメージセンサーの露光タイミングは、イメージセンサーに組み込まれた電子シャッターを開けるタイミングにより決まり、本実施形態のカメラシステムで使用するビデオカメラ及び高速度カメラは、シャッターを開けるタイミングを外部のパルス信号により制御可能である。

【0046】

録画データから対象の動作、対象の動作に関連して生起する事象を解析する際に、ビデオカメラ（LS-cam）と高速度カメラ（HS-cam）で露光タイミングが異なると、解析の際に両カメラのフレーム間の対応付けができないといった問題が生じる。そのため、LS-camとHS-camを同期して撮影する必要がある。本実施形態では、LS-camはPCの時刻、HS-camはHS-camシステムの時刻で画像データが記録されるため、時刻情報は両カメラシステムで一致せず、対応付けに使用できない。そのため、同期撮影した２つの画像データがどのフレームで対応するかを、トリガーフレームとして記録する必要がある。

【0047】

ビデオカメラと高速度カメラの撮影タイミングの同期は、同期制御部（同期信号生成器）によって行われる。同期制御部は、同期撮影のための同期信号及び録画トリガー信号を生成する。ビデオカメラ用の同期信号は、高速度カメラの露光開始と一致するように生成され、録画トリガー信号は、ビデオカメラの露光開始と一致するように生成される。トリガー信号が同期制御部から高速度カメラに出力されると、高速度カメラは、トリガー信号の入力に応じて、トリガー信号前後のあらかじめ指定した時間の動画データを取得する（図６参照）。高速度カメラの動画データとビデオカメラの動画データを組み合わせるために、トリガー信号（高速度カメラの撮影の指示）が与えられると、トリガー信号の入力時のフレーム（トリガーフレーム）から一定時間遡った時刻から高速度カメラがある設定時間の計測を行う。このときビデオカメラは既に計測を開始しており、その後も継続して計測を続ける。また、同時計測時間帯においてビデオカメラと高速度カメラは完全に同期している。すなわち、高速度カメラの周期の整数倍がビデオカメラの周期となるように同期信号が生成され、また、ビデオカメラのシャッター時刻と高速度カメラのシャッター時刻が一致するようにトリガー信号が生成されて、カメラ群が制御される。トリガーフレームで、高速度カメラとビデオカメラの録画タイミングを合わせる。

【0048】

図２を参照しつつ、本実施形態に係る同期制御部（同期信号生成器）について説明する。同期制御部は、マイクロコントローラユニット(MCU)と、同期信号生成部と、トリガー信号生成部と、を備えている。マイクロコントローラユニット(MCU)は、コンピュータとの間で通信可能であり、コンピュータからのコマンド応答や同期信号生成部へのコマンド送信（中継）を行う通信部として機能する。同期信号生成部は、ビデオカメラ用の第１同期信号、高速度カメラ用の第２同期信号を生成し、第１同期信号を各ビデオカメラに出力し、第２同期信号を各高速度カメラに出力する。トリガー信号生成部は、トリガー信号を生成し、各高速度カメラに出力する。マイクロコントローラユニット(MCU)は、トリガー記録部として機能する。

【0049】

同期信号生成部は、すべてのカメラで露光タイミングを一致させるための同期信号（パルス同期信号）を生成し、各カメラに出力する。同期信号生成部は、外部同期信号やクロックの入力に応じて、ビデオカメラ用の第１同期信号、高速度カメラ用の第２同期信号を生成し、第１同期信号を各ビデオカメラに出力し、第２同期信号を各高速度カメラに出力する。同期信号生成部は、高速度カメラ用の第２同期信号を間引いて、ビデオカメラ用の第１同期信号を生成する。例えば、高速度カメラが1000fps（１周期1msec）、ビデオカメラが50fps(１周期20msec)で録画するときは、高速度カメラ用の第２同期信号を1/20に間引いて、ビデオカメラ用の第１同期信号として出力する。高速度カメラの20フレームのパルスにつき、ビデオカメラの1フレームのパルスが生成される。

【0050】

トリガー信号生成部は、ビデオカメラ用の同期信号に合わせて高速度カメラにトリガー信号（トリガーパルス）を出力する。トリガー信号生成部は、任意のタイミングで外部トリガー信号入力を検出すると、ビデオカメラ用の第１同期信号の立ち上がりないし立ち下りと一致するようにトリガー信号を生成し、トリガー信号を高速度カメラに出力する。マイクロコントローラユニット(MCU)は、トリガーフレーム（トリガー信号が入ったフレーム）の記録を行う。トリガーフレームによる露光タイミングと一致するビデオカメラのフレーム番号を、ビデオカメラのトリガーフレームとして記録する。マイクロコントローラユニット(MCU)は、ビデオカメラの同期信号のフレームカウンタと一致するカウンタを備え、ビデオカメラの同期信号のパルス数をカウントし、これをビデオカメラのフレームカウンタ値として参照する。

【0051】

本実施形態に係る同期制御部（同期信号生成器）は、３つの同期信号生成モードを備えている。第１モードは、内部クロックによる信号生成モードである。第２モードは、外部クロックによる信号生成モードである。第３モードは、パススルーモードであり、外部入力されたクロックをそのまま同期信号として出力する。

【0052】

図２を参照しつつ、トリガー信号生成部を備えた同期制御部について説明した。本実施形態では、高速カメラの撮影データはリングバッファに記録され、バッファ容量に応じて、撮影データは逐次更新されるため、トリガー信号によってビデオカメラと高速度カメラの撮影時刻が一致するタイミングを記録している。しかしながら、ビデオカメラと高速度カメラの撮影タイミングを同期させる同期制御部は、図２に示すものに限定するものではない。例えば、高速度カメラの撮影データに対して、バッファの容量が十分大きい場合、あるいは、高速度カメラの撮影データを容量の大きい記憶装置に直接格納できる場合（例えば、高速度カメラの画像データの解像度を調整することで時間当たりのデータ通信量を削減する）には、録画開始時刻を一致させることで（例えば、ビデオカメラと高速度カメラの時刻を、タイマーで正確に一致させる）、トリガー信号を用いずに、同期した画像を得ることができる。

【0053】

［Ｂ］ビデオモーションキャプチャ
モーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。光学式モーションキャプチャは、再帰性反射材が塗布された複数の光学式マーカを対象の身体に取り付け、赤外線カメラなどの複数のカメラで対象の動作を撮影することで、光学式マーカの移動軌跡から対象の動作を取得する。光学式モーションキャプチャでは、対象の身体に複数のマーカを装着する必要があるため、動作計測の準備に時間や人手がかかる、対象の動きが制限されて、自然な動きを妨げるおそれがある、という欠点がある。本発明は、このようなモーションキャプチャの使用を排除するものではないが、上記欠点を解決するためには、いわゆるマーカレス・モーションキャプチャが有利である。なお、慣性センサを用いたモーションキャプチャにおいても、光学式モーションキャプチャと同様の欠点がある。

【0054】

本実施形態では、ビデオモーションキャプチャ技術を採用する。ビデオモーションキャプチャとは複数台のカメラを用いて対象となる人間の運動を同期撮影し、その運動の３次元再構成を行う手法である（特許文献１、非特許文献１）。システムの概要を図１０に示す。ビデオモーションキャプチャではまず複数台のカメラで同期撮影した連続静止画像をOpenPose（非特許文献２）に入力する。OpenPoseとは深層学習を用いて画像中に写った人間の身体の特徴点１８箇所(両目、両耳、鼻、首、両肩、両肘、両手首、両股関節、両膝、両足) の時系列に沿った２次元位置を推定するアルゴリズムである。各カメラにおける２次元上での関節の推定位置から３次元空間上での関節推定位置を計算し、逆運動学計算によって骨格モデルの各関節角を時系列に沿って求めることで運動の３次元再構成を行う。以下にビデオモーションキャプチャについて詳細に説明するが、本発明に係るモーションキャプチャ・カメラシステムによって取得された動画データに基づく動作計測手法は、ビデオモーションキャプチャに限定されない点に留意されたい。

【0055】

図１１に示すように、本実施形態に係るモーションキャプチャは、対象の動作を取得する動画取得部（ビデオカメラ）と、動画取得部で取得された画像に基づいて、関節位置を含む特徴点（Keypoints）の位置の確からしさの程度を色強度で表示するヒートマップ情報を取得するヒートマップ取得部と、ヒートマップ取得部で取得されたヒートマップ情報を用いて対象の関節位置を取得する関節位置取得部と、関節位置取得部で取得された関節位置を平滑化する平滑化処理部と、対象の身体の骨格構造、動画取得部で取得された画像の時系列データ、関節位置取得部で取得された関節位置の時系列データ等を記憶する記憶部と、動画取得部で取得された対象の画像や対象の姿勢に対応する骨格構造等を表示するディスプレイと、を備えている。

【0056】

動画取得部は、同期している複数のカメラからなり、同時刻で取得された各カメラ画像はヒートマップ取得部に送信され、ヒートマップ取得部によって各カメラ画像においてヒートマップが生成される。ヒートマップは、身体上の特徴点の位置の確からしさの尤度の空間分布を表す。生成されたヒートマップ情報は関節位置取得部に送信され、関節位置取得部によって関節位置が取得される。取得された関節位置データは、関節位置の時系列データとして記憶部に格納される。取得された関節位置データは、平滑化処理部に送信され、平滑化関節位置、関節角が取得される。平滑化された関節位置ないし関節角、及び、対象の身体の骨格構造によって対象の姿勢が決定され、姿勢の時系列データからなる対象の動作をディスプレイに表示する。

【0057】

記憶部には、計測データや処理データが格納される。例えば、動画取得部によって取得された画像の時系列データ、関節位置取得部によって取得された関節位置データ、関節角度データが格納される。記憶部には、さらに、平滑化処理部によって取得された平滑化関節位置データ、平滑化関節角度データ、ヒートマップ取得部により生成されたヒートマップデータ、その他処理過程で生成されたデータを格納してもよい。記憶部には、さらに、対象の身体の骨格構造を決定するデータが格納されている。

【0058】

ディスプレイには、動画取得部によって取得された対象の動画、モーションキャプチャによって取得された対象のポーズを表す時系列骨格画像などが表示される。例えば、コンピュータの処理部において、対象固有の骨格構造、算出された関節角及び関節位置の時系列データを用いて、フレーム毎に骨格画像（対象のポーズ）データが生成され、骨格画像データを所定のフレームレートで出力して動画としてディスプレイに表示する。

【0059】

ヒートマップ取得部は、入力画像に基づいて、各関節位置を含む身体上の特徴点（keypoints）の位置の確からしさの尤度の２次元あるいは３次元の空間分布を生成し、前記尤度の空間分布をヒートマップ形式で表示する。本実施形態では、ヒートマップ取得部で取得された尤度は、２次元の画像上の各ピクセルに与えられており、複数視点からのヒートマップ情報を総合して特徴点の３次元的な存在位置の確からしさの情報を得ることができる。ヒートマップ取得部は、典型的には、畳み込みニューラルネットワーク（CNN）を用いて、入力された単一の画像から対象の身体上の特徴点の位置（典型的には関節位置）を、ヒートマップとして推定する。畳み込みニューラルネットワーク（CNN）は入力層、中間層（隠れ層）、出力層を備え、中間層は、特徴点の画像上への２次元写像の存在位置の教師データを用いた深層学習によって構築されている。ヒートマップ取得部として、オープンソフトウェアであるOpenPose（非特許文献２）を用いることができるOpenPoseは、訓練された畳み込みニューラルネットワーク（CNN）を用いることで、１枚のRGB 画像から１８個の身体上の各特徴点（keypoints）のPart Confidence Maps(PCM)をオフラインあるいはリアルタイムで生成し、ヒートマップ形式で表示する。同期する複数のカメラから取得した各RGB画像に対し、OpenPoseによって１８個の特徴点のPart Condence Maps(PCM)が生成される。ヒートマップ取得部には、OpenPose以外の他の手法を用いることができる。

【0060】

関節位置取得部は、ヒートマップ取得部から取得されたヒートマップ情報を用いて関節位置候補を推定し、当該関節位置候補を用いて逆運動学に基づく最適化計算を実行することで骨格モデルの関節角、関節位置を更新する点に特徴を備えている。関節位置取得部は、ヒートマップデータに基づいて関節位置候補を推定する関節位置候補取得部と、関節位置候補を用いて逆運動学に基づく最適化計算を実行して関節角を算出する逆運動学計算部と、算出された関節角を用いて順運動学計算を実行して関節位置を算出する順運動学計算部と、を備えている。関節位置候補取得部の詳細については、特許文献１を参照することができる。

【0061】

平滑化処理部の平滑化関節位置取得部では、関節の時系列情報を用いて、時間的な連続性を考慮した平滑化処理を行う。次いで、平滑化後の関節位置を用いて、再度、対象の骨格構造を使った逆運動学に基づく最適化計算を行って、前記対象の各関節角を取得することで、リンク長を保存した平滑化を行う。

【0062】

図１２を参照しつつ、本実施形態に係る入力画像から関節角度、特徴点の位置を取得するまでの工程を説明する。複数の同期したカメラによって対象の動作が撮影され、各カメラから所定のフレームレートでRGB画像が出力される。ヒートマップ取得部は、入力画像を受信すると、対象の身体上の全特徴点において、該入力画像に基づいてヒートマップ（関節位置の確からしさの尤度の空間分布）を生成する。

【0063】

関節位置取得部では、各画像のヒートマップ情報を用いて、関節位置候補の探索が行われる。

【0064】

全関節位置候補に対して逆運動学に基づく最適化計算を実行する。関節位置候補と骨格モデルの関節が対応付けられており、骨格モデルは、対象者固有の骨格モデルに適合されている。特徴点の位置候補と重みを基に、逆運動学に基づく最適化計算、順運動学計算を実行して関節角、関節位置を取得する。

【0065】

取得された特徴点の位置に対して、過去のフレームにおける関節位置を用いて、平滑化処理を実行することで、関節位置の時間的な動きを滑らかにする。平滑化された特徴点の位置を用いて再度逆運動学に基づく最適化計算を実行して、対象の関節角を取得し、取得した関節角を用いて順運動学計算を実行して、対象の関節位置を取得する。

【0066】

［Ｃ］ゴルフスイングへの適用
［Ｃ－１］ゴルフスイングの運動データの取得及び解析
図８に示す複合カメラシステムを用いてゴルフスイングを撮影する。複合カメラシステムは、４台のビデオカメラLからなる第１カメラセットと、４台の高速度カメラHからなる第２カメラセット、とからなる。ビデオカメラ及び高速度カメラの仕様については、表１を参照することができる。マーカレス・モーションキャプチャであるビデオモーションキャプチャを使用する。まずOpenPose（非特許文献２）を用いて各ビデオカメラの時系列画像においてゴルフスイング時の対象の関節の２次元位置を推定し、推定された２次元位置から３次元位置を計算する。また、骨格情報を用いることで逆運動学計算を行い関節角の計算を行う。この手法を用いることによって対象に負担をかけることなくスイング中の身体情報を取得することができる。

【0067】

ゴルフスイングの動作分析では、身体情報に加え、インパクトの瞬間におけるボール情報を用いてスイング評価を行うことも可能である。具体的には、ゴルフボールの軌道予測を行うことでスイングを評価したり、インパクトでの衝撃力を求めることで身体に与える影響を考察することができる。本実施形態では、ビデオカメラを用いてゴルフスイングの動作を取得すると共に、ビデオカメラと同期したハイスピードカメラを用いてインパクト前後でのゴルフボールおよびクラブヘッドのトラッキングを行う。ボール初速とクラブヘッドスピードからインパクトの際にクラブヘッドにかかる衝撃力を計算し、クラブヘッドにかかる衝撃力から手首関節にかかる衝撃力を計算する。

【0068】

［Ｃ－２］高速度カメラによるゴルフボールトラッキング
衝撃力を計算するためにゴルフボールの初速度が必要となるため、高速度カメラでゴルフボールのトラッキングを行い、ボールの初速度や打ち出し角度を計算する。ボールの３次元位置を求めるために、以下のような流れで、各高速度カメラの同時刻におけるボールの画像中での２次元位置を取得する。

【0069】

1. 画像中に写るゴルフボールを円とみなし、初期時刻(インパクト直前) において検出すべき円の半径と中心位置を指定する。
2. 画像を２値化し、ガウシアンフィルタによってノイズを除去する。
3. Hough変換によって初期フレームにおける円を検出する。
4. 2フレーム目以降においては前フレームで検出された円から画像上で中心がもっとも近い円をそのフレームにおけるボール位置とする。

【0070】

取得した各カメラにおけるボールの２次元位置とカメラの内部パラメータおよび外部パラメータを用いて多視点三角測量(Multi-view triangulation) を行うことで、ボールの絶対座標系における３次元位置を求める。多視点三角測量とは図１３のように物体の３次元位置[X Y Z]^Tを複数台の位置、姿勢が既知のカメラにおける物体の画像中の２次元位置[u v]^Tから最小二乗法によって求める手法であり、以下の式のように表せる。

ここでK_i∈R^3×3は内部パラメータ行列、R_i∈R^3×3は回転行列、t_i∈R^3×1は並進ベクトルであり、s_i(= Z_Ci,物体のカメラ座標におけるカメラの面に垂直なz座標の値)はスケールを表す(1≦i≦n, nはカメラ台数)。

【0071】

以上の処理を行うことで、高速度カメラで取得した動画データの各フレームにおけるゴルフボールの３次元位置を得ることができる。インパクト直後の50フレーム程度(0.05秒)においてボールが等速直線運動をしていると仮定し、線形近似を行うことで初速v_bおよび打ち出し角度θを求める。

【0072】

［Ｃ－３］衝撃力計算
ゴルフボールとゴルフクラブの衝突をボールのばね定数およびクラブヘッドのばね定数を用いて図１４のようにモデル化する。ここで、mはボールの質量であり、Mはクラブヘッドの質量であり、V_bはインパクト前のクラブのヘッドスピードであり、k_bはボールのバネ定数、k_cはクラブヘッドのバネ定数である。なおゴルフボールのばね定数はHamada & Takemura（USPatent 5,833,5526）によると15～60Kgf/mmとなっており、本研究ではkb=60Kgf/mm≒5.9×10⁵N/mをボールのばね定数の値として用いる。またYamaguchi & Kurahashi（US Patent 4,809,978）によるとクラブヘッドのばね定数がゴルフボールの約4.4 倍となることから、クラブヘッドのばね定数をkc=4.4kb=2.6×10⁶N/mと定める。

【0073】

このモデルにおいてボールとクラブヘッドのばね定数は仮想的なばねが直列につながれていることから、

とまとめて１つのばね定数として表現することができる。インパクト開始から終了までのボールおよびクラブヘッドの運動方程式はそれぞれ、

となる。ボールの位置xとクラブヘッドの位置yの相対位置をX(≡x-y) として式3, 4 より、次のようになる。

ここで、インパクトの瞬間にはクラブは撓んでいないと仮定している。インパクトの間のその位置からの撓みをクラブヘッドの位置yとしている。
t=0においてX=0であることから、

と書ける。ただしω²≡k(1/m-1/M)である。またt=0において、

であることから、

となる。接触時間Δtはt=0の次にX=0となる時刻tを求めればよく、

と計算される。インパクト時にボールにかかる衝撃力F_bは力積を考えて、

と表される。ただしv₀はインパクト後のボール初速である。クラブヘッドにかかる衝撃力F_cは作用反作用の法則から、

である。

【0074】

クラブヘッドが手首を軸として回転していること、およびクラブの質量中心がクラブヘッドに存在していることを仮定することでクラブヘッドにかかる衝撃力から手首にかかる衝撃力を計算する。インパクトの前後において、クラブヘッドの角速度はそれぞれ、

と表される。ここでω_a, V_aはそれぞれインパクト直前でのクラブヘッドの角速度および速度あり、ω_b, V_bはインパクト直後でのクラブヘッドの角速度および速度であり、v_wrist, v′_wristはそれぞれインパクト前後での手首関節の速度を表す。またlは手首とクラブヘッドとの距離である。クラブヘッドとゴルフボールの衝突について運動量が保存していることを仮定し、MV_a=MV_b+mv₀が成り立つとする（なお、v₀, V_aは、ハイスピードカメラ画像から求めることが可能である）。クラブヘッドの慣性モーメントをI(=Ml²)、手首のトルクをNとすると、

が成り立つ。ここで手首にかかる衝撃力をfとすると、

である。よって手首にかかる衝撃力は

と計算される。

【0075】

［Ｃ－４］同期計測によるゴルフモーキャップ実験
［Ｃ－４－１］実験条件
本実験では被験者１名を対象としてビデオカメラ４台によるドライバーショットの撮影及びハイスピードカメラ４台によるゴルフボールのトラッキングを行った。ビデオカメラおよびハイスピードカメラはすべて同期を取って撮影した。本実験で使用したカメラを表１に示す。

【表1】

【0076】

［Ｃ－４－２］実験結果
画像の暗かったHS03(図6 の左下) を除いた3 台についてインパクトから39 フレームにわたりボールトラッキングを行った。各ハイスピードカメラでトラッキングしたボール２次元位置について、目視で確認した２次元位置の真値との誤差は平均してボール0.08個分となった。多視点三角測量によりボールの３次元位置を計算し線形近似した結果が図１５である。この結果からボール初速は32.9m/s, 打ち出し角度は22.7°となり進行方向に対して右に11.0°ずれていることが計算された。またクラブヘッドスピードは25.0m/sとなった。以上の結果を用いて接触時間とボールおよびクラブヘッドにかかる衝撃力を提案した手法で計算したところ、それぞれ1.1×10^-3s, 1.2×10³N となった。ただしゴルフボールの質量は0.046kg、クラブヘッドの質量は0.200kgとした。

【0077】

ビデオカメラによるモーションキャプチャにより手首関節の速度について時系列データを求めたものが図１６(左手)および図１７(右手)である。図の破線はそれぞれバックスイングの開始時刻、終了時刻、インパクト時刻およびスイングの終了時刻を表している。インパクトの前後では左手、右手の両方において関節の速度に変化がな4.5m/sとなった。この結果と先ほどのクラブヘッドにかかる衝撃力の結果から、手首にかかる衝撃力もクラブヘッドと同様に1.2×10³Nと計算された。

【0078】

ゴルフスイング動作の分析において、高速度カメラによるボールトラッキングは衝撃力を考慮するうえで有効である。衝撃力の計算については今回提案した手法では両手首にかかる衝撃力の合力が計算されており、左右の手首に対する配分を考慮することによって逆動力学計算を行うことが可能となる。逆動力学計算を解くことによって各関節の関節トルクを計算することができ、関節トルクからインパクトでの姿勢について定量的に評価することが可能となる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】