特開 2022-133212 位置推定センサを基準とした慣性計測センサによるモーションキャプチャ・キャリブレーション方法。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022133212

(43)【公開日】2022-09-13

(54)【発明の名称】位置推定センサを基準とした慣性計測センサによるモーションキャプチャ・キャリブレーション方法。

(51)【国際特許分類】

   G01P 15/18 20130101AFI20220906BHJP

   A63B 71/06 20060101ALI20220906BHJP

【ＦＩ】

G01P15/18

A63B71/06 M

【審査請求】未請求

【請求項の数】4

【出願形態】書面

(21)【出願番号】P 2021069353

(22)【出願日】2021-03-01

(71)【出願人】

【識別番号】521159403

【氏名又は名称】宮地 優悟

(72)【発明者】

【氏名】宮地 優悟

(72)【発明者】

【氏名】大岩 令奈季

(72)【発明者】

【氏名】園田 計二

(57)【要約】      （修正有）

【課題】人体又は動物や可動部を含む運動物体の姿勢と各関節・可動部位の位置情報を正確に捕捉し、デジタルデータとして収録する。
【解決手段】人体等対象物の各部位に配置された慣性計測センサ２ａ～２ｊによって得られる関節の姿勢データと骨格データを重ね合わせることで得られたモーションデータの位置基準として、人体など対象物の一部に座標の基準となる位置推定センサを取り付けたものを用いることで人体等対象物の各関節の位置情報を相対関係から正確に求める。人体等対象物が特性のモーションを取ることで、位置推定センサによって骨格のスケーリングを行い、コンピュータで骨格データの補正を即座に行うと同時に、慣性計測センサの方位情報を補正する。上記によって利用者は骨格データのスケール情報を数値入力することなく、人体等対象物の正確な位置情報を含んだモーションデータを瞬時に簡便にデジタルデータとして取得出来る。
【選択図】図１

【特許請求の範囲】

【請求項1】

位置推定センサを用いて、空間上の物体の一部の位置を推定し、そこを基準としたフォワードキネマティクスによって慣性計測センサの姿勢値と骨格データをもとに姿勢や各関節の位置を推定することを特徴とするモーションキャプチャ装置。

【請求項2】

前記位置推定センサを用いて対象物の骨格の長さ・身長を推定し、慣性計測による位置推定のための骨格データをスケーリング・生成することを特徴とするモーションキャプチャ装置。

【請求項3】

前記位置推定センサを基準として前記慣性計測センサの方位関係を推定し、慣性計測による位置推定のためのキャリブレーションを行うこと特徴とするモーションキャプチャ装置。

【請求項4】

前記慣性計測センサの消費電力の低減を目的とし、センサからの信号発信頻度を低減し、ソフトウェアでセンサの情報を線形補完することを特徴とするモーションキャプチャ装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明はモーションキャプチャ装置に関するものである。モーションキャプチャとは、映像制作において、人間のリアルな動きをコンピュータ上で再現するために用いられる。また、バーチャルリアリティにおいてバーチャル空間で手や足の動きを再現するために用いられる。解析分野では、人間の歩行運動の解析や、スポーツ選手の運動解析などにも用いることが可能である。さらに、例えば航空機のコンピュータ流体解析において、翼に複数のセンサ翼のしなりを位置情報含むデータとして取得することが出来、応用の可能性が広い技術である。

【背景技術】

【0002】

モーションキャプチャ技術としては、光学式・磁気式・慣性式などが提案されている。光学式においては、外部カメラによって対象物の関節・可動部に取り付けたマーカを補足し位置推定を行うアウトサイドイントラッキング方式と、対象物に取り付けたカメラによって外部情報から位置推定を行うインサイドアウト方式が存在する。磁気式は部屋に励磁コイルを設置し、対象物に磁気センサを取り付けてその情報から対象物のモーションデータを得る方法である。慣性式は対象物に取り付けた複数の慣性計測センサの値を骨格データに当てはめることによって、モーションデータを得る技術である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－２５６２３２号公報

【特許文献2】特開２０００－１４６５０９号公報

【特許文献3】ＷＯ２００８／０２６３５７

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された発明は、光学式のモーションキャプチャ装置であり、物体の可動部に取り付けたマーカを捕捉するため、光学カメラまたは光学センサを多数配置した専用の空間を用意する必要があった。

【0005】

また、位置推定センサとして対象物に取り付けた光学カメラまたは光学センサから周囲の測定によって位置推定するインサイドアウトトラッキング方式があるが、これによってモーションキャプチャを行う場合は対象物に多数の光学カメラまたは光学センサを取り付ける必要があり、現実的ではない。

【0006】

上記光学式モーションキャプチャ技術は、すべてのマーカがカメラから見えている必要又は、すべての対象物の光学カメラまたは光学センサから周りが見える状況でなければ正確なモーションデータを得られないという欠点がある。

【0007】

上記問題の解決のためにアウトサイドイン方式においては複数の光学カメラまたは光学センサを部屋に多数設置しなければならない、測定エリアが限定されるという欠点がある。

【0008】

特許文献２に記載された発明は、磁気式のモーションキャプチャ装置であり、測定のための磁場を発生させるために励磁コイルを設置する必要があるなど、大掛かりな設備となる欠点がある。

【0009】

特許文献３に記載された発明は、慣性式によるモーションキャプチャ装置である。慣性計測センサによって得られた可動部の回転角度情報から骨格データまたは数式に当てはめてコンピュータで処理することで測定対象物のモーションデータを得る技術であり、大掛かりな装置が不要であるが、これのみでは対象の実空間上の絶対的な位置情報を得ることが出来ないという欠点がある。

【0010】

慣性計測センサの加速度情報を用いて、慣性航法によって位置推定を行うことも可能であるが、この手法では誤差が蓄積し、長時間の利用で初期位置から大きく座標がずれていくドリフト問題が存在する。

【0011】

また、慣性計測センサを用いたモーションキャプチャでは、対象物の骨格データの数値を利用者が手入力する必要があり、また、入力した数値の誤差は、原理上収録されるデータの誤差となる。

【0012】

そこで、本発明は、外部に大掛かりな設備を必要とせず、かつ対象物の可動部の位置情報を正確にデータ化し、またそのキャリブレーション方法が簡便であるモーションキャプチャシステムを提供する。

【課題を解決するための手段】

【0013】

本発明のモーションキャプチャは、従来慣性式モーションキャプチャにおいて困難であった実空間上の絶対的な位置を補足するという問題を解決するために、位置推定センサを用い、これを測定対象の一部に取り付け、姿勢推定の位置基準とする。位置基準からフォワードキネマティクスによって体の各部位に取り付けた慣性計測センサの値を用いて関節位置を推定し、実空間上の絶対的な関節の位置を補足するモーションキャプチャ装置である。

【0014】

本発明で用いる慣性計測センサは、三軸加速度センサ、三軸ジャイロセンサから構成されるものである。また、前記センサに加え、キャプチャデータの正確度を増すために三軸磁気センサの情報が利用される場合もある。

【0015】

本発明で用いる位置推定センサは、アウトサイドイン方式か、あるいはインサイドアウト方式の光学式トラッキングセンサを用いることができるが、ＧＰＳまたは電波強度による位置推定など、種々の位置推定技術を用いることが可能である。

【0016】

慣性計測センサの値からモーションデータ生成するためには、骨格データを用意する必要がある。骨格データにおいては、対象物の関節の長さや身長いった複数の変数を必要とする。

【0017】

本発明は、位置推定センサの位置情報をもとに身長や腕の長さを推定し、人間の標準体型のデータと併せることで、関節の長さや身長といった変数に前記推定値を代入することにより、利用者が数値を入力する必要がない骨格データの高速な生成アルゴリズムを提供する。

【0018】

本発明において正しいモーションデータを取得するためには、複数の慣性計測センサの方位キャリブレーションと位置推定センサ、そして空間上の方位関係を揃える必要がある。

【0019】

本発明は位置推定センサの方位を基準にセンサのキャリブレーションを行うことで、慣性計測センサの方位と位置推定センサの方位と空間の相対的な関係を取得し、各慣性計測センサの正確な方位関係を得ることが可能となり、対象物の方位を含めたモーションデータを得ることが可能となる。

【0020】

上記キャリブレーション方法は、従来の慣性計測によるモーションキャプチャ装置では慣性計測センサ同士の相関関係を補正していたのに対し、位置推定センサの方位を基準に慣性計測センサの方位関係を補正するという点で、まったく新規性のある技術である。

【0021】

各慣性計測センサの値は、有線あるいは無線によってコンピュータなどの処理装置に送られる必要がある。対象物が移動し、その関節が可動することを考えれば、慣性計測センサ無線式であることが望ましいが、有線式であっても良い。

【0022】

本発明は、慣性計測センサの信号を間欠的に発信し、間欠データをコンピュータで補完することで、消費電力を改善する。センサの間欠データは、ソフトウェアで情報を線形補完することを特徴とした技術。

【本発明の効果】

【0023】

本発明によれば、利用者は最低１つの位置推定センサと、慣性計測センサから、体の複数の部位の位置情報を空間上の絶対座標として得ることができ、より正確なモーションデータを得ることが可能となる。また、対象物可動部の位置情報や方位情報を実空間に照らし合わせ正確に得られることから、従来慣性式では原理上困難であった、実空間上で動作する対象物に映像をリアルタイムで投影するなどの技術が利用可能となる。慣性式のモーションキャプチャにおいて、利用者はこれまで骨格データとして身長や手の長さ、足の長さといった変数情報を手入力または選択する必要があったが、本発明においては自動的にキャリブレーションされる。また、慣性計測センサの無線機の間欠データの線形補間によって、ユーザはなめらかかつ、また長時間の装置利用が可能となるなど、大きな利便性の向上がある。

【図面の簡単な説明】

【0024】

【図1】モーションキャプチャ対象とセンサ取り付け位置の関係の概略図である。

【図2】慣性計測センサの構成図である。

【図3】位置推定センサ並びに慣性計測センサとコンピュータ間のデータ処理に関する図である。

【発明を実施するための形態】

【0025】

以下、各実施例について、図面を参照しながら説明を行う。

【実施例0026】

図１はモーションキャプチャ対象とセンサ取り付け位置の関係の概略図である。位置推定センサ１によって測定対象３の一部（例えば頭部や、腰など）の位置を単数もしくは複数個所推定する。慣性計測センサ２ａ～ｊは測定対象３の複数の関節部に取り付けられ、角度・回転情報を推定する。

【0027】

図２は慣性計測センサ２の構成である。慣性計測センサ２は、電源部４とセンサ部５、信号処理部６と無線装置７から構成される。センサ部５には、三軸加速度センサ、三軸ジャイロセンサが搭載され、また三軸磁気センサが搭載されていても良い。センサ部５の情報は信号処理部６によって処理され、角度・回転情報として無線装置７によって無線伝送される。

【0028】

図３は位置推定センサ並びに慣性計測センサとコンピュータ間のデータ処理に関する図である。受信装置８は位置推定センサ１と慣性計測センサ２の情報を受信し、コンピュータ９へ伝送する。コンピュータ９は位置推定センサ１の値を位置・方位基準として慣性計測センサ２ａ～ｊの値からフォワードキネマティクスによって姿勢や各関節の位置を推定する。

【0029】

例えば位置推定センサ１としては光学式（たとえばＯｃｕｌｕｓ社ＱｕｅｓｔといったＶＲシステムや、Ｉｎｔｅｌ社Ｒｅａｌ Ｓｅｎｓｅ Ｔ２６５など）を用いることができ、慣性計測センサ２は、ＩｎｖｅｎＳｅｎｓｅ社ＭＰＵ６０５０やＢＯＳＣＨ社ＢＮＯ０５５などを用いる。

【0030】

例えば上記方法において、測定対象３を人間とし、位置推定センサ１としてＶＲヘッドマウントディスプレイを用いれば頭部の位置をＶＲシステムから推定することができる。頭部の位置を起点として慣性計測センサ２の角度情報を処理し、骨格データに慣性計測センサ２の情報をあてはめ計算処理を行えば測定対象の全体の姿勢と、空間上の位置を求めることができる。フォワードキネマティクスに求める方法としては、まずは位置推定センサ１と、慣性計測センサ２ａの情報から、頭と胴体の位置関係が判明する。さらに、慣性計測センサ２ａから、慣性計測センサ２ｂ、２ｃ、２ｄ…と順を追って計算処理することで、最終的に全身の関節の空間的な座標を含めた位置情報として推定することが可能となる。

【0031】

測定対象物３を人間とした場合、実際の身長と、あらかじめ用意した骨格データに入力した数値の身長が合っていない場合は、例えば体の一部が地面に埋まる、または地面から浮んだデータとして取得されるなどの問題が発生するため、骨格データの関節長や身長はキャリブレーションされる必要がある。

【0032】

骨格データの生成にあたり、たとえば位置推定センサ１としてＶＲヘッドマウントディスプレイを用いれば、測定対象３の人間が直立することによって、頭までの距離を前記ＶＲヘッドマウントディスプレイから取得し、身長を推定することができる。また、例えばハンドコントローラーを用いれば、手を広げることによって手の長さも取得できる。このように、利用者は身長や関節の長さといった数値をキーパッドなどで用いて入力をすることなく、瞬時に身長や骨格の長さを変数として骨格データへ適用することが可能となる。実際のモーションと異なって、キャプチャデータ上で人間の体の一部が地面に埋まる、あるいは地面から離れるといった問題はヘッドマウントディスプレイの情報を元に頭の位置を取得し、身長を推定することで骨格データを修正し、解決することが可能となる。

【0033】

位置推定センサ１としてＶＲヘッドマウントディスプレイを用いれば、その方位を基準とすることができる。測定対象３が特定のポーズ（たとえば屈伸や起立など）をすることで、位置推定センサ１の方位を基準として慣性計測センサ２の方位をキャリブレーションすることができ、位置推定センサと慣性計測センサの方位を瞬時にそろえることが可能となり、実空間と連動した自然なモーションデータが得られる。

【0034】

慣性計測センサ２を１００Ｈｚで情報を送る場合、１０Ｈｚで送信するほうが完成センサからの電波の送信頻度が減るために、より電源部４の電力消費が改善される。しかし、送信頻度を減らすとデータ量が減り、モーションの動きがぎこちなくなる。具体的には映像制作の用途では最低でも３０Ｈｚ程度のデータが必要である。これを解決するために、各姿勢データ点の間を受信機８あるいはコンピュータ９によって線形補完することによって、送信頻度を下げつつもなめらかな動きを提供する。

【図1】

【図2】

【図3】