特許 6485964 モーションキャプチャー方法及びモーションキャプチャーシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6485964

(24)【登録日】2019年3月1日

(45)【発行日】2019年3月20日

(54)【発明の名称】モーションキャプチャー方法及びモーションキャプチャーシステム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20190311BHJP

   G01P 3/36 20060101ALI20190311BHJP

   G06T 7/20 20170101ALI20190311BHJP

【ＦＩ】

   G01B11/00 H

   G01P3/36 C

   G06T7/20

【請求項の数】2

【全頁数】7

(21)【出願番号】特願2015-178122(P2015-178122)

(22)【出願日】2015年9月10日

(65)【公開番号】特開2017-53739(P2017-53739A)

(43)【公開日】2017年3月16日

【審査請求日】2018年1月19日

(73)【特許権者】

【識別番号】515237795

【氏名又は名称】オプティトラック・ジャパン株式会社

(74)【代理人】

【識別番号】100133282

【弁理士】

【氏名又は名称】内野 春喜

(74)【代理人】

【識別番号】100116780

【弁理士】

【氏名又は名称】内野 雅子

(72)【発明者】

【氏名】佐藤 眞平

(72)【発明者】

【氏名】根本 幸一

【審査官】 齋藤 卓司

(56)【参考文献】

【文献】 特開２０１４−２１１４０４（ＪＰ，Ａ）

【文献】 特開２０１５−０４２２４１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２２８７１２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｇ０１Ｐ ３／３６

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

被検体の足首にマーカーを装着するステップと、該マーカーを、角度の異なる位置に配置した複数のカメラで時系列的に撮影するステップと、複数のカメラで時系列的に得られた撮影情報より、該マーカーの動きを三角測量の原理で計測してマーカーの三次元時系列位置情報を得るステップと、マーカーの三次元時系列位置情報より、該マーカーの時系列上の各位置における速度を算出するステップと、算出されたマーカーの速度と事前に指定した速度に基づく閾値とを比較判定するステップと、算出されたマーカーの速度が閾値以下と判定されたマーカーの三次元位置を着地位置とし、該マーカーの着地位置情報とマーカーの三次元時系列位置情報より、被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を算出するステップと、該被検体の着地位置と該算出された被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を表示するステップと、を含むモーションキャプチャー方法。

【請求項2】

足首にマーカーを装着した被検体と、角度の異なる位置に配置し、該マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、複数のカメラで時系列的に得られた撮影情報より、該マーカーの三次元時系列位置情報を得る画像処理装置と、マーカーの三次元時系列位置情報より、該マーカーの時系列上の各位置における速度を算出し、該速度と事前に指定した該マーカーの着地位置情報取得のための速度の閾値とを比較判定し、該マーカーの速度が閾値以下と判定されたマーカーの三次元位置を着地位置とし、該マーカーの着地位置情報とマーカーの三次元時系列位置情報より、被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を算出する特徴情報抽出部を含み、被検体の着地位置と被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を表示する表示装置と、を備えたモーションキャプチャーシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モーションキャプチャー方法及びモーションキャプチャーシステムに関し、特に光学式のモーションキャプチャー方法及びモーションキャプチャーシステムに関するものである。

【背景技術】

【0002】

モーションキャプチャー技術は、人物や物体等の被検体の動きをデジタル的に記録する技術であり、例えばスポーツ分野、医学分野などに適用されている。

【0003】

モーションキャプチャー技術のうち光学式のモーションキャプチャー技術では、被検体に複数のマークを装着し、これを角度の異なる複数のカメラで撮影し、カメラで得られた撮影情報よりマーカーの動きを三角測量の原理で計測し、三次元の位置情報を得る。そして、被検体の各特徴点の動きを三次元的に検出し、記録している。
また、モーションキャプチャー技術の改良技術についても、例えば特許文献１ないし３にも開示されているとおり、これまで多数の提案がなされている。

【0004】

従来のモーションキャプチャーシステムの一例の模式図を、図３に示す。
図３において１は被検体であり、運動する人体を例にとり示している。２は被検体１の特徴点に装着されたマーカーである。
３はマーカー２を時系列的に撮影するカメラであり、被検体１の可動範囲を囲むよう被検体１の周囲に複数台設けている。各カメラ３には撮像素子３ａと被検体１に光束を照射するＬＥＤ等の照明装置３ｂが装着されている。３ｃは、カメラ３に設けた撮影レンズである。

【0005】

カメラ３は、三脚やクランプ等、カメラ間の関係を保持し続けることができる治具に固定されている。複数のカメラは、被検体１に関する計測空間を中心にして、カメラ３間の距離が最低１５度以上の角度になるようにそれぞれ配置されている。
また、各カメラからの視野中心がほぼ同一になり、被検体１の移動に対して、カメラ３が水平に並ばないように考慮して配置されている。

【0006】

被検体１に装着したマーカー２をトラッキングするためには、複数のカメラ３を撮影視野が重複するように配置している。こうすることによって、「キャプチャーボリューム」と呼ばれるトラッキング可能な領域を作成している。カメラはしっかり固定し、動いてしまうことによるキャリブレーションのやり直しを防止している。また良好なキャリブレーションとトラッキング結果を得るために、すべてのカメラ３が同一平面上に配置されないようにしている。

【0007】

なお、照明装置３ｂからの光束であって、マーカー２からの反射光のみが撮像素子３ａで検出されるように、撮像素子３ａの光入射面には、照明装置３ｂから放射される光束の分光特性に対応した光学フィルターが装着されている。

【0008】

４はカメラ３で得られた撮影画像を時系列的に受信し、複数のカメラ３より得られた受信情報より被検体１に装着したマーカー２の各時間（フレーム毎）における三次元情報を求める画像処理装置である。算出方法は、二値化した画像に対してラベリングを行い、マーカー２の三次元空間内の座標を、例えばエピポーラマッチングアルゴリズムを利用して算出する。

【0009】

５は画像処理装置４で得られた被検体１のマーカー２に基づく特徴点の軌跡等を表示する表示装置である。
図４は、その表示例の写真である。各特徴点に装着されたマーカーの全体軌跡及び時系列の速度及び最大速度が表示されていることが分かる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２００５−３４５１６１号公報

【特許文献2】特開２０１４−９８５７６号公報

【特許文献3】特開２０１４−２１１４０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

従来のモーションキャプチャー技術では、連続した動きを忠実にデジタル化するため、一定のサンプリングでデジタル化する手法がモーションキャプチャーの前提であり、連続的なデータの取得はできるが、被検体の動作の特異点及び被検体の動作の特徴情報を自動で抽出することはできなかった。
例えば、歩行などの繰り返し動作における着地時間、歩幅、歩行全体の速度等の被検体の動作の特徴情報を直接とらえるには、データ取得後に改めて動作の切り出しや回数のカウント、着地点から着地点への計算を行う必要があった。
本発明は、被検体の動作の特異点及び被検体の動作の特徴情報を自動で抽出し、表示することができる、モーションキャプチャー方法及びモーションキャプチャーシステムを提供することを目的とする。
また、本発明は、被検体の着地位置と歩幅や歩行速度のような被検体の動作の特徴情報を自動で抽出し、表示することができるモーションキャプチャー方法及びモーションキャプチャーシステムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の課題を解決するための手段は、次のとおりである。
（１）被検体の足首にマーカーを装着するステップと、該マーカーを、角度の異なる位置に配置した複数のカメラで時系列的に撮影するステップと、複数のカメラで時系列的に得られた撮影情報より、該マーカーの動きを三角測量の原理で計測してマーカーの三次元時系列位置情報を得るステップと、マーカーの三次元時系列位置情報より、該マーカーの時系列上の各位置における速度を算出するステップと、算出されたマーカーの速度と事前に指定した速度に基づく閾値とを比較判定するステップと、算出されたマーカーの速度が閾値以下と判定されたマーカーの三次元位置を被検体の着地位置とし、該マーカーの着地位置情報とマーカーの三次元時系列位置情報より、被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を算出するステップと、該被検体の着地位置と該算出された被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を表示するステップと、を含むモーションキャプチャー方法。
（２）足首にマーカーを装着した被検体と、角度の異なる位置に配置し、該マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、複数のカメラで時系列的に得られた撮影情報より、該マーカーの三次元時系列位置情報を得る画像処理装置と、マーカーの三次元時系列位置情報より、該マーカーの時系列上の各位置における速度を算出し、該速度と事前に指定した該マーカーの着地位置情報取得のための速度の閾値とを比較判定し、該マーカーの速度が閾値以下と判定されたマーカーの三次元位置を着地位置とし、該マーカーの着地位置情報とマーカーの三次元時系列位置情報より、被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を算出する特徴情報抽出部を含み、被検体の着地位置と被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を表示する表示装置と、を備えたモーションキャプチャーシステム。

【発明の効果】

【0013】

本発明によれば、被検体の動作の特異点及び被検体の動作の特徴情報を自動で抽出し、表示することができる。
また、本発明によれば、被検体の着地位置と被検体の歩行速度や歩幅等を自動で抽出し、表示することができる。

【図面の簡単な説明】

【0014】

【図1】本発明のモーションキャプチャーシステムの模式図である。

【図2】本発明のモーションキャプチャーシステムに係る表示装置の表示例を示す写真である。

【図3】本発明の前提となるモーションキャプチャーシステムの模式図である。

【図4】従来のモーションキャプチャーシステムに係る表示装置の表示例を示す写真である。

【発明を実施するための形態】

【0015】

本発明に係るモーションキャプチャー技術は、被検体にマーカーを装着し、マーカーを、角度の異なる位置に配置した複数のカメラで時系列的に撮影し、複数のカメラで時系列的に得られた撮影情報より、マーカーの動きを三角測量の原理で計測してマーカーの三次元時系列位置情報を得て、マーカーの三次元時系列位置情報より、マーカーの時系列上の各位置における特定の物理量を算出し、特定の物理量と事前に指定したマーカーの特異点位置情報取得のための物理量の閾値とを比較判定し、マーカーの特定の物理量が閾値以下、閾値以上あるいは閾値以内と判定されたマーカーの三次元位置を特異点とし、マーカーの特異点位置情報とマーカーの三次元時系列位置情報より、被検体の動作の特徴情報を算出して、マーカーの特異点及び被検体の動作の特徴情報を表示することを要旨とするものである。

【0016】

以下、本発明のモーションキャプチャー方法及びモーションキャプチャーシステムについて、歩行分析を例示して詳細に説明する。
実施例のモーションキャプチャーシステムは、図１のモーションキャプチャーシステムの模式図に示すとおりであるが、図３に示す従来のモーションキャプチャーシステムと基本的には異なることはないので、前提になるシステム構成については簡略に説明する。また、図１の符号は、図３の符号と共通とする。
さらに、カメラ等に関する詳細説明は、従来のモーションキャプチャーシステムである図３のものと重複するので省略する。

【0017】

図１において１は被検体であり、運動する人体を例にとり示している。２は被検体１の特徴点に装着されたマーカーである。３はマーカー２を時系列的に撮影するカメラであり、被検体１の可動範囲を囲むよう被検体１の周囲に複数台設けている。各カメラ３には撮像素子３ａと被検体１に光束を照射するＬＥＤ等の照明装置３ｂが装着されている。３ｃはカメラ３に設けた撮影レンズである。

【0018】

４はカメラ３で得られた撮影画像を時系列的に受信し、複数のカメラ３より得られた受信情報より被検体１に装着したマーカー２の各時間（フレーム毎）における三次元情報を演算し求める画像処理装置である。

【0019】

画像処理装置４では、カメラ３の撮像素子３ａで受光した画像を用いて画像処理を行い被検体１に装着したマーカー２の三次元空間内の座標、すなわち三次元位置情報を算出する。算出方法は、二値化した画像に対してラベリングを行い、マーカー２の三次元空間内の座標を、例えばエピポーラマッチングアルゴリズムを利用して算出する。

【0020】

画像処理装置４からの情報は、表示装置５に入力される。
本発明では、表示装置５には特徴情報抽出部６が設けられている。
特徴情報抽出部６では、マーカーの三次元時系列位置情報より、マーカーの時系列上の各位置における特定の物理量、例えば、マーカーの時系列上の各位置における変位、速度及び加速度のうちから選定された一種以上の物理量を算出し、特定の物理量と事前に指定したマーカーの特異点位置情報取得のための特定の物理量の閾値とを比較し、マーカーの特定の物理量が閾値以下、閾値以上あるいは閾値以内と判定されたマーカーの三次元位置を特異点とし、マーカーの特異点位置情報とマーカーの三次元時系列位置情報より、被検体の動作の特徴情報を算出する

【0021】

本実施例では、マーカーの三次元時系列位置情報より、マーカーの時系列上の各位置における速度を算出し、速度と事前に指定したマーカーの特異点位置情報取得のための速度の閾値を１ｍ／ｓｅｃと設定し、これと比較し、マーカーの速度が閾値以下と判定されたマーカーの三次元位置を特異点（着地位置）とし、マーカーの特異点位置情報とマーカーの三次元時系列位置情報より、被検体の動作の特徴情報である被検体の歩幅、歩行速度及び着地時間のうちの少なくとも一種を算出する。

【0022】

表示装置５では、特徴情報抽出部６からの出力情報を表示する。
図２は、その表示例の写真である。
マーカーの特異点の軌跡（着地位置の軌跡）及び時系列の速度及び最大速度に加えて被検体の歩幅、着地時間等が表示されていることが分かる。

【0023】

なお、本明細書に開示した実施例は、本発明の理解を容易にするために例示したものであって、本発明はこれに限定されない。
すなわち、本発明は、特許請求の範囲を逸脱しない限り、モーションキャプチャー方法及びモーションキャプチャーシステムについて、適宜の設計変更が可能であることは言うまでもないことである。

【符号の説明】

【0024】

１ 被検体
２ マーカー
３ カメラ
３ａ 撮像素子
３ｂ 照明装置
３ｃ 撮影レンズ
４ 画像処理装置
５ 表示装置
６ 特徴情報抽出部

【図1】

【図2】

【図3】

【図4】