特表 2017-503225 モーションキャプチャシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2017-503225(P2017-503225A)

(43)【公表日】2017年1月26日

(54)【発明の名称】モーションキャプチャシステム

(51)【国際特許分類】

   G06T 7/62 20170101AFI20170105BHJP

   A61B 5/11 20060101ALI20170105BHJP

   G01B 11/02 20060101ALI20170105BHJP

   G01B 11/24 20060101ALI20170105BHJP

   G06T 7/60 20170101ALI20170105BHJP

【ＦＩ】

   G06T7/60 150J

   A61B5/10 310A

   G01B11/02 H

   G01B11/24 K

   G06T7/60 180A

【審査請求】未請求

【予備審査請求】未請求

【全頁数】21

(21)【出願番号】特願2016-525957(P2016-525957)

(86)(22)【出願日】2014年10月24日

(85)【翻訳文提出日】2016年6月17日

(86)【国際出願番号】US2014062275

(87)【国際公開番号】WO2015061750

(87)【国際公開日】20150430

(31)【優先権主張番号】61/895,052

(32)【優先日】2013年10月24日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US

(71)【出願人】

【識別番号】516118648

【氏名又は名称】アリ コード

【氏名又は名称原語表記】Ａｌｉ Ｋｏｒｄ

(74)【代理人】

【識別番号】100073184

【弁理士】

【氏名又は名称】柳田 征史

(74)【代理人】

【識別番号】100090468

【弁理士】

【氏名又は名称】佐久間 剛

(72)【発明者】

【氏名】アリ コード

【テーマコード（参考）】

2F065

4C038

5L096

【Ｆターム（参考）】

2F065AA12

2F065AA21

2F065AA45

2F065AA52

2F065BB05

2F065BB15

2F065BB27

2F065CC16

2F065DD03

2F065DD04

2F065FF01

2F065FF04

2F065HH13

2F065JJ03

2F065JJ26

2F065MM02

2F065QQ04

2F065QQ28

2F065QQ31

4C038VA04

4C038VB35

4C038VC05

4C038VC20

5L096CA04

5L096DA03

5L096FA06

5L096FA12

5L096FA19

5L096FA60

5L096FA64

5L096FA67

5L096FA69

5L096FA73

(57)【要約】

実施形態は、スケールフレーム及びモーションキャプチャ被写体を含む複数の画像から、較正された生体運動学的骨格を形成する。生体運動学的骨格のリンク及び関節を、取り込んだ複数の画像のシーケンス中の各画像に関して生成されたシルエットに重ねあわせる。スケールフレームの真の寸法と、記録されたカメラ画像から得られた測定との比較から、各リンクの真の長さ、及び各生体運動学的基準場所の正確な位置を決定する。モーションキャプチャ被写体は、生体運動学的骨格中の関節の場所を、モーションキャプチャ被写体内の対応する骨格の関節に対して正確に位置決めできるようにするために、一連の較正用運動を実施してよい。生体運動学的骨格に関する正確なリンク長さは、画像中で測定されたリンク長さを、スケールフレームに含まれる支柱及び較正マーカの真の寸法で補償することによって決定してよい。

【特許請求の範囲】

【請求項1】

少なくとも３本の支柱及び少なくとも４つの較正マーカを備えるスケールフレームであって、前記少なくとも４つの較正マーカのそれぞれのうちの１つは、前記少なくとも３本の支柱のそれぞれの端部に取り付けられ、前記少なくとも３本の支柱は前記少なくとも４つの較正マーカのうちの１つにより互いに直角に接合される、スケールフレーム；
カメラ；
ハードウェアに実装されるコンピュータであって、前記コンピュータは前記カメラとデータ通信し、また前記コンピュータは前記カメラから画像を受信し、前記画像をシルエットに変換し、前記画像から生体運動学的骨格に関するパラメータを抽出するよう適合される、コンピュータ；
前記コンピュータとデータ通信するモーションキャプチャセンサ
を備える、装置。

【請求項2】

カメラ上のレンズの光軸が水平となり、かつスケールフレームの正面に向く状態で、前記カメラを前記スケールフレームに対面するように位置決めするステップ；
前記スケールフレームの内側にモーションキャプチャ被写体を位置決めするステップ；
それぞれが前記モーションキャプチャ被写体及び前記スケールフレームを含む、少なくとも２つの画像を記録するステップ；
前記モーションキャプチャ被写体の第１の画像を第１のシルエット画像に変換するステップ；
前記モーションキャプチャ被写体の第２の画像を第２のシルエット画像に変換するステップ；
前記第１のシルエット画像と前記第２のシルエット画像との比較から、第１の生体運動学的基準場所を生体運動学的骨格に割り当てるステップ；
前記第１のシルエット画像と前記第２のシルエット画像との比較から、第２の生体運動学的基準場所を前記生体運動学的骨格に割り当てるステップ；
前記生体運動学的骨格内において、前記第１の生体運動学基準場所と前記第２の生体運動学基準場所との間でリンクを接続するステップ；
前記モーションキャプチャ被写体の前記第１の画像及び前記第２の画像から測定された前記第１の生体運動学的基準場所及び前記第２の生体運動学的基準場所の位置から、前記リンクの投影長さを割り当てるステップ；
前記第１の画像及び前記第２の画像内の前記スケールフレーム上の、選択された支柱の投影長さを測定するステップ；
前記第１の画像内での前記リンクの前記投影長さ及び前記支柱の前記投影長さ、並びに前記第２の画像内での前記支柱の前記投影長さから、前記リンクの真の長さを決定するステップ；並びに
前記リンクの前記真の長さを前記生体運動学的骨格に割り当てるステップ
を有してなる、方法。

【請求項3】

前記第１の画像及び前記第２の画像から測定された投影長さから、前記生体運動学的骨格内の他のリンクに関する真の長さを決定するステップを更に有する、請求項２に記載の方法。

【請求項4】

前記モーションキャプチャ被写体が、前記カメラレンズの前記光軸に対して平行な軸の周りで手を振り動かすステップを更に含む、請求項３に記載の方法。

【請求項5】

前記モーションキャプチャ被写体が、前記カメラレンズの前記光軸に対して平行な軸の周りで腕を回転させるステップ；
前記腕を水平位置に上げるステップ；
前記腕を水平に維持したまま肩を上げるステップ；及び
前記肩を静止位置まで下げるステップ
を更に有する、請求項３に記載の方法。

【請求項6】

前記カメラレンズの前記光軸に対して平行な軸の周りで、前記腕を肘関節において回転させるステップを更に有する、請求項３に記載の方法。

【請求項7】

前記モーションキャプチャ被写体が、前記カメラレンズの前記光軸に対して平行な水平軸の周りでの頭及び首の回転を実施するステップを更に有する、請求項３に記載の方法。

【請求項8】

前記モーションキャプチャ被写体が、前記カメラレンズの前記光軸に対して平行な水平軸の周りでの胴の回転を実施するステップを更に有する、請求項３に記載の方法。

【請求項9】

前記モーションキャプチャ被写体が、ウエストから上の前記胴の運動を実施するステップであって、前記運動は、前記カメラレンズの前記光軸に対して平行な水平軸の周りでの回転である、ステップを更に有する、請求項３に記載の方法。

【請求項10】

前記モーションキャプチャ被写体が、右足に体重をかけ、左膝を曲げることによって前記スケールフレームの下から左足を滑り出させ、前記左足が左下前較正マーカを通過した後に前記左膝を真っ直ぐにするステップを更に有する、請求項３に記載の方法。

【請求項11】

前記モーションキャプチャ被写体が、前記カメラレンズの前記光軸に対して平行な水平軸の周りで左上大腿部を回転させて上げ下げするステップ；
わずかに左足を上げ、足首を回転させるステップ；
前記左足に体重をかけ、右膝を曲げることによって前記スケールフレーム下から右足を滑り出させ、前記右足が前記スケールフレーム上の上側較正マーカの後方を通過した後に前記右膝を真っ直ぐにするステップ；
前記カメラレンズの前記光軸に対して平行な水平軸の周りで右上大腿部を回転させて上げ下げするステップ；及び
前記スケールフレーム上の前部下の較正マーカよりもわずかに高く前記右足を上げ、左足首を回転させるステップ
を更に有する、請求項３に記載の方法。

【請求項12】

前記モーションキャプチャ被写体が、右腕を水平に維持し、かつ右手の親指を上に向けたまま、前記右腕を上げ、前記右腕の肘及び手首を硬直させた状態に保ち；次いで前記カメラレンズの前記光軸に対して平行な軸の周りで前記手首を回転させるステップ；並びに
前記右腕及び左腕を互いに対して平行に、かつ前記カメラの方向を向けて位置決めし、両肩を前記カメラに近づくように及び離れるように回転させ、鎖骨を前記カメラに対して前後に押すステップ
を更に有する、請求項３に記載の方法。

【請求項13】

前記モーションキャプチャ被写体が、前記ウエストにおいて前記カメラレンズに向かって前方に屈曲するステップを更に有する、請求項３に記載の方法。

【請求項14】

前記モーションキャプチャ被写体が、左足に体重をかけ、前記スケールフレームの前部下の支柱から右足を移動し、前記右脚を、前記右脚と骨盤との間の関節の周りで回転させて上げるステップを更に有する、請求項３に記載の方法。

【請求項15】

前記モーションキャプチャ被写体が、右膝関節を曲げずに右足の爪先を上に向けて右脚を上げ、前記右脚を、胴及び骨盤が静止状態のまま、前記カメラレンズの前記光軸に対して平行な軸の周りで回転運動させるステップを更に有する、請求項３に記載の方法。

【請求項16】

前記モーションキャプチャ被写体が、肘を固定した状態で両腕を回転させるステップを更に有する、請求項３に記載の方法。

【請求項17】

前記モーションキャプチャ被写体が、大腿部が水平になるまで右膝を上げ、次いで前記カメラレンズの前記光軸に対して平行な水平軸の周りで、前記右足の前記膝から下を回転させるステップを更に有する、請求項３に記載の方法。

【請求項18】

前記モーションキャプチャ被写体が、脚の遠位端を垂直に位置決めした状態で大腿部を水平に位置決めし、前記カメラレンズの前記光軸に対して平行な水平軸の周りで、足首関節を回転させるステップを更に有する、請求項３に記載の方法。

【請求項19】

複数のモデルセグメント内の不必要な運動が検出された場合に、前記モーションキャプチャ被写体に警告するステップを更に有する、請求項２に記載の方法。

【請求項20】

連続した画像を、前記モーションキャプチャ被写体が前記連続した画像それぞれの中のあるセグメントの遠位端について異なる回転位置を有しているかどうかについて比較することによって、前記セグメントの端部において生体運動学的基準場所の位置を計算するステップを更に有する、請求項２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は概して、カメラ画像から及び任意に位置センサから収集された情報から、モーションキャプチャ被写体のグラフィックモデルを生成するためのシステムに関し、より具体的には、スケールフレームを用いてモーションキャプチャ画像を正確に較正するための方法に関する。

【背景技術】

【0002】

人間の多関節可動グラフィックモデルは、歩く、腕又は脚を曲げる、頭を回転させる等の運動を実行するヒトの身体の移動を測定することによって生成できる。グラフィックモデルは生体運動学的骨格の形をとってよい。人間の四肢及び関節の位置を、生体運動学的骨格上に記録及びマッピングすることにより、ヒト又は他のモーションキャプチャ被写体の運動をシミュレーションしてよい。ビデオ、コンピュータゲーム又は映画のシーン中で、キャラクタの画像を生体運動学的骨格上に重ねてよい。生体運動学的骨格は、場合によってはより少ない関節をモデリングすることによって、又は手若しくは足等のいくつかの複雑な構造をより簡単な１つのモデルに統合することによって、ヒトの骨格とは異なる様式で関節接合されている場合がある。例えば、生体運動学的骨格の足は、独立して可動である足指を有しない場合がある。

【0003】

モーションキャプチャシステムは、被写体の運動を記録及び測定して、生体運動学的骨格等のモデルのパラメータを決定するための、いくつかの異なる手法を使用している。いくつかのモーションキャプチャシステムは、例えば同時に複数のカメラでシーンを記録し、各カメラによって取り込まれた画像を既知のカメラ位置、カメラ角度及び他の因子と比較することによって、三角測量を使用してカメラ画像内の四肢及び関節の位置を検出し、四肢長さ、四肢角度、関節位置、頭部位置、頭部傾き及び回転角度、ウエスト及び胴の位置及び角度等の骨格パラメータを計算する。三角測量を使用するモーションシステムは、取り込まれることになるシーンを表す視野の外側に、複数のカメラを設置するための空間を必要とする場合がある。係るシステムは設定にコストがかかり、較正が困難であり、操作が複雑である場合があり、また、シーン及びモーションキャプチャ被写体のビューがそれぞれ異なる、異なるカメラからの画像を処理するために、精密な取得後データ分析を必要とする場合がある。

【0004】

いくつかのモーションキャプチャシステムは、三角測定に基準位置又は基準点を提供するために、モーションキャプチャ被写体の上に１つ又は複数の標的を配置する。例えば、反射パッチ、反射半球、塗料ドット等のキャプチャ標的は、効果的であるために、強い照明、赤外線若しくはヒトの目には見えない他の周波数を用いた照明、赤外光に敏感なカメラ、又は他の特殊写真撮影設備を必要とし得る。キャプチャ標的は、モーションキャプチャ被写体の外観又は応答に干渉することがある。キャプチャ標的は、モーションキャプチャ被写体が動き回るとカメラの視界から遮断されることがあり、場合によっては正確なモーションキャプチャを損なう。例えば、１つ又は複数のキャプチャ標的が、別の標的によって、モーションキャプチャ被写体の四肢若しくは他の部分によって、又はモーションキャプチャ被写体に近接した物体によって、妨害されることがある。人間の胴の前部のキャプチャ標的は、人間がカメラに背を向けるとカメラの位置から見えなくなり得、正確なモーションキャプチャが妨げられる。標的妨害は先行技術のシステムにおける周知の問題であり、より多くのカメラの使用、より長い後処理、及び場合によっては生成できるシーンに関する芸術的な制約につながる。モーションキャプチャシステムがグラフィックモデルの形成のために使用するキャプチャ標的の数が多いほど、１つ又は複数のカメラからの標的妨害が発生し易くなる。キャプチャ標的の三角測量を使用するモーションキャプチャシステムは、設定及び操作があまりに複雑であり、あまりに高価であり、またシーンへの生体運動学的骨格又はキャラクタのマッピングが、コンピュータゲーム等の大衆消費市場での用途にはあまりに低速である。

【0005】

他のモーションキャプチャシステムは、モーションキャプチャ被写体のグラフィックモデル中に表されることになる四肢、関節、又は他の基準位置に、１つ又は複数の位置センサを取り付ける。当該技術分野において公知のモーションキャプチャシステムの場合、多関節モデルの別個に動かせる部分がそれぞれ別個の位置センサを使用して、被写体の身体の対応する部分の移動及び位置を測定する場合がある。１つのセンサによって集合的に表される被写体の身体の複数の部分は、得られるグラフィックモデルにおいて不正確に位置決めされることがある。例えば、被写体の手首に１つのセンサを配置すると、モデルの手首に被写体の運動を模倣させることができるが、モデルの肘は、別のセンサを被写体の肘に配置しない限り、被写体の肘と同様には運動できない。

【0006】

いくつかのモーションキャプチャシステムは、人間が、四肢、脊柱、胴の部分、又は人間の身体の他の部分の間の角度を測定するための多関節フレームを着用することを必要とする。多関節フレーム及び生体運動学的骨格の例は特許文献１に記載されているが、多関節フレーム及び生体運動学的骨格は他の形態であってよい。多関節フレームは、相対的な四肢角度の測定に有用であり得るが、四肢位置の並進変化、つまり運動の成分がモーションキャプチャ座標系の３つの従来の空間軸のうちの１つ又は複数に対して平行な変位の直接的な測定を実現しない。多関節フレームは、精力的な活動中に損傷を受けやすい場合があり、人間の運動の速度に干渉する、又は運動の完全な範囲を損なう場合があり、カメラ画像の好ましい美的効果を損なう外観を有する場合がある。

【0007】

生体運動学的骨格は、回転可能な関節により互いに接合された剛性リンクの組み合わせとしてモーションキャプチャ被写体をモデリングしてよい。カメラからのモーションキャプチャ被写体の画像を分析して、生体運動学的骨格内の関節及びリンクに、画像内の選択された場所をマッピングしてよい。画像を、慣性計測センサ、加速度計又は多関節フレームからのデータと結合することによって、リンクに対して位置及び長さを、関節に対して位置及び角度を、並びに生体運動学的骨格に対して位置及び姿勢を割り当ててよい。しかしながら、位置データ、運動の方向又は角度を測定するために使用されるセンサは、測定の誤差及びドリフトにさらされることがある。測定誤差は特に歩行等の反復運動の場合累積され得、他の物体に対する又は絶対位置基準に対する生体運動学的骨格の場所の累積誤差につながり、場合によっては骨格の部分間の相対的な位置若しくは角度の誤差につながる。累積誤差は、生体運動学的骨格の、又は足若しくは手等の骨格の部分の位置で突然の望ましくないジャンプを引き起こすことがある。あるいは累積誤差は、例えば、キャラクタの足の一部が床の表面の下にある、又はキャラクタの手がシーン内の別の剛性物体により占有されている容積を横切る等、シーン内での生体運動学的骨格の誤った位置決めを引き起こすことがある。累積誤差は、生体運動学的骨格が四肢の好ましい姿勢若しくは配置を達成するのを妨げる、又はシーンの他の物体に対して骨格を間違って配置することがある。例えば、モーションキャプチャ被写体は椅子から立ち上がり、テーブルの周りを歩き、椅子に戻るが、同じシーケンスを実行する生体運動学的骨格が、椅子の近くの空の空間の着席位置に止まることによって、又は骨格からの脚の部分が椅子の立体部分と同じ体積を占有する状態で一連の運動を終了してよい。

【0008】

例えば、生体運動学的骨格でのリンク長さ及び関節位置の正確な決定等のモーションキャプチャの精度は、モーションキャプチャ被写体からモーションキャプチャ被写体の画像を記録するために使用されたカメラまでの距離を決定することによって改善され得る。いくつかのモーションキャプチャシステムは、カメラとモーションキャプチャ被写体上の基準場所の分離距離を決定するために無線周波数パルス又は音響パルスの飛行の時間を測定する非接触距離測定計器を使用する。モーションキャプチャ被写体とカメラの距離は、カメラ−被写体距離又は物体距離と呼ばれることもある。距離測定システムは、基準場所が測定機器の視野から遮断されるときに、誤ったカメラ−被写体距離を報告することがある。三角測量を使用するシステムは、モーションキャプチャ被写体上のキャプチャ標的がモーションキャプチャカメラの視野角から見えないとき、誤ったカメラ−被写体距離を測定することがある。例えば、人間はモーションキャプチャカメラと人間の身体の基準位置との間に手を配置する場合があり、これはカメラが基準位置を見るのを妨げ、正確なモーションキャプチャを妨げる。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】米国特許第５，８２６，５７８号明細書

【発明の概要】

【課題を解決するための手段】

【0010】

装置実施形態の例は、少なくとも３本の支柱及び少なくとも４つの較正マーカを有するスケールフレームを含む。少なくとも４つの較正マーカのそれぞれのうちの１つは、少なくとも３本の支柱のそれぞれの端部に取り付けられ、少なくとも３本の支柱は少なくとも４つの較正マーカのうちの１つにより互いに直角に接合される。装置実施形態は、カメラ及びハードウェアに実装されるコンピュータを更に含む。コンピュータはカメラとデータ通信する。コンピュータはカメラから画像を受信し、画像をシルエットに変換し、画像から生体運動学的骨格に関するパラメータを抽出するよう適合される。装置実施形態は、任意にコンピュータとデータ通信するモーションキャプチャセンサを含む。

【0011】

方法実施形態の例は：カメラ上のレンズの光軸が水平となり、かつスケールフレームの正面に向く状態で、カメラをスケールフレームに対面するように位置決めするステップ；スケールフレームの内側にモーションキャプチャ被写体を位置決めするステップ；並びにそれぞれがモーションキャプチャ被写体及びスケールフレームを含む、少なくとも２つの画像を記録するステップを含む。方法実施形態の例は更に：モーションキャプチャ被写体の第１の画像を第１のシルエット画像に変換するステップ；モーションキャプチャ被写体の第２の画像を第２のシルエット画像に変換するステップ；第１のシルエット画像と第２のシルエット画像との比較から、第１の生体運動学的基準場所を生体運動学的骨格に割り当てるステップ；及び第１のシルエット画像と第２のシルエット画像との比較から、生体運動学的骨格のための第２の生体運動学的基準場所を割り当てるステップを含む。方法実施形態の例はまた：生体運動学的骨格内において、第１の生体運動学基準場所と第２の生体運動学基準場所との間でリンクを接続するステップ；モーションキャプチャ被写体の第１及び第２の画像から測定された第１及び第２の生体運動学的基準場所の位置からリンクの投影長さを割り当てるステップ；第１及び第２の画像内のスケールフレーム上の、選択された支柱の投影長さを測定するステップ；第１の画像内でのリンクの投影長さ及び支柱の投影長さ、並びに第２の画像内での支柱の投影長さから、リンクの真の長さを決定するステップ；並びにリンクの真の長さを生体運動学的骨格に割り当てるステップを含む。

【図面の簡単な説明】

【0012】

【図1】生体運動学骨格に関するパラメータを決定するように構成された装置実施形態の例を示し、モーションキャプチャ被写体に重ね合わされた生体運動学的骨格の例を更に示す図

【図2】膝が固定され、図１に比較してカメラ−被写体距離が変化した、図１の生体運動学的骨格の例を示す図

【図3】装置実施形態の例の透視図

【図4】被写体の右手が図の左側にある、スケールフレームの例で立っているモーションキャプチャ被写体、モーションキャプチャ被写体の画像に重ね合わされた生体運動学的骨格モデルの例、及びモーションキャプチャ被写体に位置決めされたモーションキャプチャセンサの例の前部に向かう透視図

【図5】スケールフレームが図４でのように位置決めされ、配向され、人間が自分の右側がカメラに向くように方向を変えた状態の図４の例のモーションキャプチャ被写体及びスケールフレームの斜視図

【図6】図４の例からの姿勢及びカメラ−被写体距離を表し、シルエットの上に重ねられる生体運動学的骨格の較正を実行するための四肢の代替位置を更に表す、シルエットの例の図

【図7】カメラ−被写体分離距離、及びモーションキャプチャ被写体の姿勢の変化に対応する、図６の例のシルエットの修正の例を示す図

【図8】装置実施形態と共に使用するのに適した位置センサの例を示す図（先行技術）

【図9】生体運動学的骨格及びモーションキャプチャ被写体のシルエットに対するモーションキャプチャセンサ場所の例を示す図

【図10】いくつかの実施形態に含まれるモーションキャプチャセンサと中央演算処理装置（ＣＰＵ）の間の接続のブロック図

【発明を実施するための形態】

【0013】

本明細書でモーションキャプチャシステム又はモキャップ（ｍｏｃａｐ）システムとも呼ばれる実施形態は、例えば人間等、モーションキャプチャ被写体の画像のシーケンスを記録するために１つのカメラを利用する。シーケンスからの画像を処理して、モーションキャプチャ被写体のシルエットの対応するシーケンスを生成してよい。各シルエットは、選択された身体の位置、姿勢、及びモーションキャプチャ被写体により実行される運動を正確にエミュレートできるグラフィックモデルのためのパラメータに値を割り当てるために処理される。生体運動学的骨格とも呼ばれるグラフィックモデルは、モーションキャプチャ被写体によって行われることになる運動を正確にシミュレーションするために装置実施形態によって較正される。各シルエットに関する正確なカメラ−被写体距離を、較正された生体運動学的骨格から決定してよい。奥行きキューを、生体運動学的骨格からのシルエットの異なる複数の部分に関して決定してよい。任意に１つ又は複数のモーションキャプチャセンサが含まれていてよく、これにより、あるシーンにおける生体運動学的骨格つまりグラフィックモデルの位置決め精度が改善される。モーションキャプチャセンサは、被写体の運動が取り込まれている間、モーションキャプチャ被写体のリアルタイム位置推定を提供してよい。

【0014】

装置実施形態は、フレーム内又はフレーム近くの物体の長さを測定するため、及びカメラからの画像を較正するための既知の線寸法を有するスケールフレームと、カメラによって収集された画像を分析するためにハードウェアとして実装されたコンピュータシステムとを含む。取り込まれた画像で測定された同じフレーム構成部品のサイズにスケールフレーム構成部品の既知のサイズを比較することにより、取り込まれた画像のフレーム内の、フレームに隣接した、又はフレームの既知の距離範囲内の物体の寸法、角度、及び位置は正確に決定されてよい。モーションキャプチャ被写体画像から正確に決定され得るパラメータの例は、四肢角度、四肢長さ、関節位置、絶対位置基準に対する四肢位置及び関節位置、四肢角度、並びにモーションキャプチャ被写体によって又は被写体の身体の部分によって横切られる距離を含むが、これに限定されるものではない。較正が実行された後、フレームはシーンから削除されてよく、モーションキャプチャ被写体によって横切られる距離、シーン内の他の物体に対する被写体の位置、並びに人間の身体の四肢及び他の部分の位置は高精度で決定され得る。

【0015】

実施形態は、カメラ画像のシーケンスでモーションキャプチャ被写体の各画像に関して、カメラ−被写体距離の新しい正確な測定を行うことができる。測定されたカメラ−被写体距離を、計算されたカメラ−被写体距離と比較することにより、生体運動学的骨格の位置又は姿勢の累積した誤差を検出し、削除し、それにより先行技術において公知のモーションキャプチャシステムに比べてモーションキャプチャ精度を改善できる。

【0016】

実施形態はマッピングされた画像のリアルタイムモーションキャプチャ及び表示によく適している。キャプチャステップ、処理ステップ、及び表示ステップは、テレビ画像、コンピュータゲーム、及びビデオ記録での従来のビデオ表示速度でストリーミングされた画像フレームのシーケンスの各フレームに対して実行できるため、実施形態はリアルタイムであると見なされる。

【0017】

動作主体ファイルとも呼ばれる実施形態で使用されるモデルは、生体運動学的基準場所で互いに接合された剛性リンクを備える多関節生体運動学的骨格として人間を表す。生体運動学的基準場所は、生体運動学的関節重心とも呼ばれることがある。いくつかの生体運動学的基準場所は、例えば、手首関節、膝関節、又は股関節の位置等、ヒトの骨格における関節の位置を表す。他の生体運動学的基準場所は、例えば、上腕の長さ又は脊柱上の２つの基準点間の分離距離等、ヒトの身体の部分の長さ、幅、又は厚さを表す。生体運動学的基準場所は、任意に複数の関節又は複数のリンクを備える複合構造を表すことがある。例えば、単一の生体運動学的基準場所はヒトの手を表すために割り当てられてよい。モデルで使用される生体運動学的骨格は、ヒトの骨格とは異なる関節結合及び場合によっては異なる関節間の接続部を有することがある。

【0018】

運動主体ファイルに供給されるパラメータは、スケールフレームに対する近接を維持しながら、運動主体ファイルに取り込まれる各肢腕に関する運動のシーケンスを辿る人間からの画像のシーケンスを記録することによって収集される。分離された複数の運動のシーケンスを辿ることにより、モデル精度が改善され、モデルで表される四肢及び他の身体の部分の位置及び角度での累積誤差が削減される。分析される各画像は、モーションキャプチャ被写体の四肢、胴、頭、及び被写体の身体の他の部分の端縁を表すシルエットに変換される。生体運動学的基準場所は、例えば、人間の頭の上部若しくは人間の踵の下部等の四肢の端部に、モーションキャプチャ被写体で骨格関節を表すと判断された各領域の重心に、手等の複雑な構造を表すために選択された位置に、又は座標軸の原点若しくはカメラの視野内の別の物体の位置等、何らかの外部位置基準に対する人間の身体の位置を表すために使用され得る生体運動学的骨格上の任意の場所に毎回配置されてよい。実施形態は、任意に画像を取り込み、市販の生体運動学的モデルで使用するためのパラメータを抽出するよう適合されてよい。

【0019】

実施形態による装置の例を図１に示す。モーションキャプチャシステム実施形態１００の例は、モーションキャプチャ被写体１４８として実行する人間の運動及び位置を取り込むことによって較正済みの生体運動学的骨格１５４を生成するための装置の配置の例に示されている。図１の例に示されるように、装置実施形態１００はカメラ１１４及びスケールフレーム１０２を含み、カメラ画像を分析し、生体運動学的骨格に関するパラメータを割り当てるためのコンピュータ１２２を任意に含んでよい。

【0020】

カメラ１１４は、ＸＹ平面に対して平行でありかつスケールフレーム１０２の底部側に接する水平基準面１５６の上方の高さ１２０に位置決めされた光軸１２８を有するレンズ１２６を含む。カメラは任意に、高さ調整可能三脚１１６又は類似するカメラ支持物の上に取り付けられてよい。カメラレンズ１２６は分離距離１１８分、スケールフレーム１０２の正面から分離される。図１の例の光軸は水平であり、Ｙ軸に対して平行であり、任意にＹ軸に一致する。図１の例のＺ軸はカメラレンズの光軸１２８に対して鉛直かつ垂直である。Ｘ軸はＹ軸及びＺ軸に対して垂直であり、床１５６又はより概して水平支持面に対して水平であり、水平支持面上にモーションキャプチャ被写体１４８が立ち、スケールフレーム１０２が載せられている。図の例では、Ｙ軸はカメラに向かって（−Ｙ）、カメラから離れて（＋Ｙ）配向される。

【0021】

モーションキャプチャ被写体１４８は、背中及び脚が図１のスケールフレーム１０２の例で、内側で真っ直ぐであり、カメラ−被写体距離１６０の例によってカメラ１１４から分離された状態で立っている。図２の例では、モーションキャプチャ被写体１４８は、真っ直ぐな背中及び曲げられた膝に対応する姿勢を有する生体運動学的骨格１５４によって表される。図２のカメラ−被写体距離１６０Ａは、図１のカメラ−被写体距離１６０と異なってよい。人間の膝は曲げられているため、床１５６から人間の頭の上部１５２Ｈまでの距離１５８Ｂは、図２で、図１の対応する距離１５８Ａよりも少ない。

【0022】

コンピュータ１２２は、データ通信接続１２４上でカメラ１１４によって取り込まれた画像１６２を受信する。ハードウェアに実装された計算装置であるコンピュータは、揮発性メモリ及び不揮発性メモリ、半導体デバイスを含む中央演算処理装置（ＣＰＵ）、キーボード又はマウス等の少なくとも１つのデータ入力装置、並びに例えば液晶ディスプレイ、プラズマディスプレイ、又は発光ダイオードディスプレイ等の画像ディスプレイを含む。コンピュータ１２２とカメラ１１４の間のデータ通信接続の例は、有線接続、無線接続、ローカルエリアネットワーク等のコンピュータネットワーク、及びインターネットを含むが、これに限定されるものではない。代わりに、コンピュータ１２２は、光ディスク、磁気ディスク、磁気テープ、メモリスティック、ソリッドステートディスク等の不揮発性コンピュータ可読媒体上でカメラ１１４からの画像を受信してよい。

【0023】

図３の例では、スケールフレーム１０２は、支柱１０４によって接続された少なくとも４つの較正マーカ１０６を含む。各支柱１０４は好ましくは、較正マーカ１０６のうちの１つに共通で取り付けられた他の支柱に対して垂直である。図３の例では、スケールフレーム１０２の（Ｚ軸の方向に一致する）高さ寸法１０８、（Ｘ軸の方向に一致する）幅寸法１１０、及び（Ｙ軸の方向に一致する）奥行き寸法１１２は全て互いに等しく、８つの較正マーカ１０６は立方体の角に位置決めされる。スケールフレーム１０２の代替実施形態では、長さ寸法、幅寸法、及び奥行き寸法は互いと異なってよい。後処理ソフトウェアがカメラ画像のｘ軸、ｙ軸、及びｚ軸の方向を自動的に識別し、取り込まれた画像からスケールフレームの画像を場合によっては自動的に削除できるようにするために、異なる空間軸上の較正マーカ１０６は任意に異なる色を割り当てられることもあれば、テキスト、番号、又はバーコード等の表面印で記されることもある。

【0024】

スケールフレームの各角の較正マーカ１０６は、全て同じ直径１３０を有することもあれば、代わりに異なる直径を有することもある。直径１０６は、人間の足が支柱１０４の下で摺動することができ、それによって人間が自分の脚及び胴をスケールフレームの正面の平面に可能な限り近く位置決めできるようにするほど十分にスケールフレームの底面を持ち上げるように選択されてよく、スケールフレームの正面はカメラ１１４に最も近く、カメラレンズ１２６の光軸１２８にほぼ垂直な側である。

【0025】

図３〜４の例のスケールフレーム１０２は１２本の支柱、及び右上前較正マーカ１３２、左上前較正マーカ１３４、右下前較正マーカ１３６、及び左下前較正マーカ１３８を含む８つの較正マーカを含み、左右はモーションキャプチャ被写体１４８の右手（名前なし）及び左手１５２Ａに関して名前を付けられている。スケールフレーム１０２の背面で続行すると、右上後較正マーカ１４０、左上後較正マーカ１４２、右下後較正マーカ１４４、及び左下後較正マーカ１４６が、支柱によって互いに、及び前部較正マーカに接合される。スケールフレーム内における各支柱の既知の長さ及び各較正マーカの既知の直径を、スケールフレームのカメラ画像内におけるこれら寸法と比較して、例えばスケールフレームの内側に立っている人間等、画像内の別の物体の寸法、角度、及び位置を決定できる。既知の焦点距離のカメラレンズ１２６の場合、カメラによって記録された画像から測定されるスケールフレーム１０２の寸法及び角度は、カメラレンズとスケールフレームとの間の分離距離１１８を決定するために使用されてよい。代わりに、カメラ−被写体距離は、モーションキャプチャセンサ１７０によって測定された位置をカメラレンズ１２６の位置に比較することによって決定されてよい。

【0026】

カメラによって取り込まれる画像は、運動主体ファイルのためのパラメータを抽出するために処理されてよい。図４〜５は、スケールフレーム１０２内に立っているモーションキャプチャ被写体１４８の画像上に重ねられた生体運動学的骨格１５４の例の異なる図を示す。モーションキャプチャ被写体は、四肢長さ、関節場所、及び記録された画像から抽出される他のパラメータを決定するために使用される位置の精度を改善するために、好ましくはぴったり体に合った衣服１８６を着用する。図４の例で示唆されるように、モーションキャプチャ被写体１４８の画像は、人間１４８の頭、胴、及び四肢の外郭線の形でシルエットを形成するためにコンピュータ（図１を参照）によって処理される。人間が移動するにつれ、カメラは、例えば毎秒３０コマで記録されるビデオ画像のシーケンス等、画像を収集する。各画像はコンピュータによってシルエットに変換される。個々のシルエット画像をコンピュータで互いに比較して、生体運動学的骨格１５４上の各生体運動学的基準場所１５２に対して場所を割り当てる。２つの生体運動学的基準場所１５２間の分離距離は、生体運動学的骨格内におけるリンクの長さを画定してよい。

【0027】

生体運動学的基準場所１５２Ａは、リンク及び関節の複雑な組み合わせを表すことがある。例えば、図５の基準場所１５２Ａは右手を表す。手の各指と関連付けられた関節及びリンクは１つの基準場所１５２Ａによって集合的に表されることもあれば、各リンク及び関節が別個にモデリングされることもある。生体運動学的基準場所を割り当てることによって、座標原点、運動主体ファイル内におけるモデルの位置を表す便宜的な基準、被写体のための「ルート」位置、つまりそこから以後の運動が行われる基準位置、被写体１４８に関係する物体の位置、又は運動主体ファイルを形成又は使用する上での便宜上の他の選択を任意に表すことができる。生体運動学的基準場所１５２の位置の他の例は、肩関節１５２Ｃ、股関節１５２Ｄ、膝関節１５２Ｅ、及び足関節１５２Ｊ、足の端部１５２Ｇ、頭の上部１５２Ｈを含むが、これに限定されるものではない。リンクは、例えば膝関節１５２Ｅと股関節１５２Ｄの間のリンク１６４又は膝関節１５２Ｅと足関節１５２Ｊの間の別のリンク１６６等、リンクは、関係付けられた関節の組の間に位置決めされてよい。

【0028】

長さ寸法は、リンクの両端の生体運動学的基準場所の座標から各リンクに割り当てられてよい。較正された生体運動学的骨格は、場合によっては骨格のためにルート位置に言及される、骨格の生体運動学的基準場所ごとの測定された座標位置を含み、各リンクの長さ及び向きの特性、並びに任意に各リンク及び関節の角運動の範囲を含んでよい。位置は、モーションキャプチャ被写体が連続画像のそれぞれにセグメントの遠位端の異なる回転位置を有する場合に連続画像を比較することによってセグメントの端部にある生体運動学的基準場所ごとに計算されてよい。

【0029】

実施形態は任意に、生体運動学的骨格を較正するために、以下のステップのうちのいずれの１つ又は複数を含んでよく、これらのステップでは、空間方向は図１〜３に示されるｘ軸、ｙ軸、及びｚ軸の向きに関して画定され、ｘ−ｙ平面は水平かつ地面に対して平行であり、カメラレンズの光軸はｙ軸に対して平行である：
モーションキャプチャ被写体１４８をカメラの視野の中に収めるために選択された距離１１８に、ｙ軸に沿ってカメラ１１４を位置決めするステップ；
被写体１４８の高さの約半分の高さ１２０にカメラ１１４を位置決めするステップ；
コンピュータ１２２用の画像ディスプレイ上で、カメラ１１４から出力されたビデオ画像を見るステップ；
図４の例に示すように、カメラの視界の中心にモーションキャプチャ被写体１４８を位置決めし、くつろいだ姿勢で、所望される画像解像度を達成するために十分にカメラに近接して（これは初期設定ポーズあるいはマスタポーズとも呼ばれる）カメラ１１４に対面するステップ；
右足の右端縁がスケールフレーム１０２上の右下前較正マーカ１３６と接触し、右上前較正マーカ１３２がカメラ画像内で視認可能であり、被写体の胴、手及び脚の前部が可能な限りスケールフレームの正面の平面に近い状態で、モーションキャプチャ被写体１４８を位置決めするステップ；
被写体の画像から区別可能な、スケールフレーム１０２上の少なくとも３つの較正マーカ１０６を用いて、モーションキャプチャ被写体の画像（例えば図１の画像１６２）をシルエット１５０（例えば図６〜７のシルエット１５０）に変換するステップ；
運動主体ファイル、任意にシルエット上のＢｉｏｖｉｓｉｏｎ Ｈｉｅｒａｒｃｈｉｃａｌ Ｄａｔａ（ＢＶＨ）等の慣用のデータフォーマットに対応する運動主体ファイルを重ね合わせるステップ；
シルエット１５０上の生体運動学的基準場所の位置決めを最適化するステップ；
図５の例に示すように、スケールフレーム１０２内のモーションキャプチャ被写体１４８をｚ軸の周りで９０°回転させて、被写体の側部、例えば図３において提案されているように被写体の右側をカメラレンズの光軸に向けるステップ；並びに
生体運動学的基準場所の位置決めを最適化するステップを繰り返すステップ。

【0030】

ここで上記最適化するステップは更に、以下のステップのうちのいずれの１つ又は複数を、単独で又は組み合わせて含み、これらのステップは任意に、胴の右側がカメラに対面した状態であるいは被写体が初期設定ポーズである状態で任意に実行される：
カメラレンズの光軸に対して平行な軸の周りで手を振り動かすステップ；
カメラレンズの光軸に対して平行な軸の周りで上腕を振り動かすステップ；
「Ｔ＝ポーズ」とも呼ばれる水平位置に腕を上げ、腕を地面に対して平行に保ちながら、カメラレンズの光軸に対して平行な軸に沿って肩先端（ｃｌａｖｉｏｓｃａｐｕｌａｒ）を上げるステップ；
肩先端を弛緩させ（下げる）ステップ；
鎖骨を使用せずにＴポーズに戻り、次いでカメラレンズの光軸に対して平行な軸の周りで肘だけを回転させるステップ；
初期設定ポーズに戻るステップ；
カメラレンズの光軸に対して平行な水平軸の周りで頭及び首を回転させるステップ；
カメラレンズの光軸に対して平行な水平軸の周りで胸郭を回転させるステップ；
ウエストから上の胴を運動させるステップであって、上記運動はカメラレンズの光軸に対して平行な水平軸の周りでの回転である、ステップ；
右足に体重をかけ、左膝を曲げることによってスケールフレームの前部において支柱の下から左足を滑り出させ、左足が左下前較正マーカを通過した後に左膝を真っ直ぐにするステップ；
カメラレンズの光軸に対して平行な水平軸の周りで左上大腿部を回転させて上げ下げするステップ；
左下前較正マーカよりもわずかに高く左足を上げ、足首を回転させるステップ；
左足に体重をかけ、右膝を曲げることによってスケールフレームの前部において支柱の下から右足を滑り出させ、右足が右上前較正マーカの後方を通過した後に右膝を真っ直ぐにするステップ；
カメラレンズの光軸に対して平行な水平軸の周りで右上大腿部を回転させて上げ下げするステップ；
右下前較正マーカよりもわずかに高く右足を上げ、足首を回転させるステップ；
腕を地面に対して平行に保ち、かつ親指を上に向けたまま、鎖骨関節を弛緩させ、肘を硬直させ、かつ手首を硬直させた状態で右上腕を上げ、次いでカメラレンズの光軸に対して平行な軸の周りで手首を回転させるステップ；
鎖骨を上げることによって、肩甲骨をカメラレンズの光軸に対して平行な水平軸の周りで回転させるステップ；
腕を地面に対して平行な、かつ前方を指した状態に維持し、ｚ軸の周りでの回転に対応して鎖骨を前後に押すステップ；
前方に屈むことによって、カメラレンズの光軸に対して平行な水平軸の周りで胸郭を回転させるステップ；
カメラレンズの光軸に対して平行な水平軸の周りで頭及び首を前後に回転させるステップ；
カメラレンズの光軸に対して平行な水平軸の周りで前方にウエストから屈むステップ；
左足に体重をかけ、前部下の支柱から右足を移動させ、右脚を後方から上げ、右上腿の骨盤関節の周りで、他の四肢を移動させることなく可能な限り遠くに脚を上げるステップ；
スケールフレームにぶつかることなく、膝関節を曲げずに爪先を上に向けて右脚を上げ、好ましくはカメラレンズの光軸に対して平行な軸の周りで脚を回転運動させ、好ましくは胴及び骨盤を静止状態に維持するステップ；
肘を固定した状態で、カメラレンズの光軸に対して平行な水平軸の周りで両腕を回転させるステップ；
右膝を上げて大腿部を地面に対して平行にして静止させ、次いでカメラレンズの光軸に対して平行な水平軸の周りで下腿を回転させるステップ；
脚全体の運動の半径から下腿の運動の半径を差し引くステップ；
下腿を脱力した状態で大腿部を地面に対して平行に保ち、カメラレンズの光軸に対して平行な水平軸の周りで足関節を回転させるステップ；
複数のモデルセグメント内で不必要な運動が検出された場合に、被写体に対する警告を起動するステップ；
各セグメントの遠位端の回転によって生成される半径から、各関節の位置を計算するステップ；並びに
各関節の位置を計算した後に、関節間の測定距離をスケールフレーム上の既知の寸法と比較することによって、隣接する関節間の各リンクに長さを割り当てるステップ。

【0031】

従来の光学原理は、物体の画像内における対応する寸法の測定値、及び画像を生成するために使用された光学システムのパラメータからの、既知の寸法を有する物体のカメラ−被写体距離の値の計算を可能にする。例えば、（「物体距離」とも呼ばれる）カメラ−被写体距離の値は、画像距離、画像高さ、及び物体高さの値から、又は画像センサのピクセルサイズ、ピクセル計数及びレンズ焦点距離の特定の組み合わせに適用可能な角解像度値から決定できる。カメラ−被写体距離は、例えば背中、脚、及び首が真っ直ぐの姿勢等、初期設定ポーズで立っているモーションキャプチャ被写体の既知の高さにカメラ画像のシルエットの高さを比較することによって計算できる。ただし、モーションキャプチャ被写体が、走っている間、座っている間、飛び跳ねている等の間に発生することがある、膝が曲がり、首が傾き、又は胴が傾いた状態の姿勢であるとき、先行技術のモーションキャプチャシステムで収集された画像のシルエットの測定高さは、被写体が直立していたときに測定された高さに関連しないことがある。モーションキャプチャ標的の妨害は、先行技術のモーションキャプチャシステムが四肢及び関節の位置を決定するのを妨げることがあり、したがってカメラ−被写体距離の決定を妨げるだろう。

【0032】

実施形態は、較正された生体運動学的骨格を使用してモーションキャプチャ被写体の姿勢を、被写体のシルエットに重ね合わされた生体運動学的骨格内でのリンク長さの測定された値から物体の高さの正確な値を計算することで補償することによってカメラ−被写体距離の値を決定できる。モーションキャプチャ被写体の特定の姿勢に適用する物体高さの値を、シルエットから測定された画像高さ、及びカメラ−被写体距離を計算するためにカメラパラメータによって決定された画像距離と共に従来のレンズ式に入力してよい。換算係数は、較正された生体運動学的骨格内の対応するリンクの長さでシルエットに重ね合わされた生体運動学的骨格内のリンクの測定された長さを除算することによって決定できる。別個の換算係数を、シルエットに重ね合わされた生体運動学的骨格内の各リンクに適用してよい。画像内の各リンクのｚ軸成分（つまり、高さに貢献する成分）の長さの測定値は、被写体−レンズ距離を計算するためにシルエットから測定された画像高さと共に使用できるモーションキャプチャ被写体のｚ軸の方向における全体的な寸法を示すために測定され、合計されてよい。

【0033】

図６及び７は、実施形態によるカメラ−被写体距離の決定に適用され得る物体高さを計算するために使用された生体運動学的骨格の例を示す。図６で、モーションキャプチャ被写体は、首、背中、及び脚が真っ直ぐな状態の初期設定ポーズで床１５６の上に立っている人物のシルエット１５０で表される。生体運動学的骨格１５４はシルエットの上にマッピングされ、関節及びリンクの位置は上述された方法ステップにより決定される。真の高さ寸法１５８Ａは、初期設定ポーズの生体運動学的骨格から、又は直接的な測定によって決定できる。

【0034】

図６は、生体運動学的骨格を較正するための代替の四肢位置の例を更に示す。実線の外郭線で示されるシルエット１５０は、手首関節１５２Ｋが肩関節１５２Ｃの下方に位置決めされた状態で、左側で被写体に沿って真っ直ぐな被写体の右腕を有する。被写体の右腕の代替位置は、腕がほぼ水平な状態で肩１５２Ｃから側面方向に外向きに腕が伸ばされた状態で、破線で示される。被写体は、手首関節がＸＺ平面に対して平行かつカメラの光軸に対して垂直である平面内にある孤１８８を辿るように、２つの示されている位置の間で腕を移動させるように指示され得る。生体運動学的骨格のための肩関節１５２Ｃの位置は、２つの腕の位置を比較し、肩に近いシルエットの静止部分の重心を決定することによって推定できる。より一般的には、生体運動学的な関節位置に一致する任意の関節の重心は、カメラレンズの光軸に対して垂直な平面にある孤を通して関節の両側で身体の部分を回転させ、連続シルエットを比較して関節位置を推定することによって決定できる。同様に、生体運動学的骨格内の剛性リンクごとの長さ及び運動の範囲は、例えば前部に向かう図及び被写体の側面に向かう別の図等、モーションキャプチャ被写体の異なる図で対応する生体運動学的基準位置を比較することによって決定できる。

【0035】

図７では、モーションキャプチャ被写体は膝を曲げ、頭及び首をカメラに向かって傾けている。シルエット１５０が形成されたモーションキャプチャ被写体は、図７では、図６とは異なったカメラ−被写体距離に位置することがある。上腿リンク１６４Ｂ及び下腿リンク１６６Ｂの投影長さは、図６のシルエット１５０Ａに重ね合わされた上腿リンク１６４Ａ及び下腿リンク１６６Ａよりも、図７のシルエット１５０Ｂに重ね合わされた生体運動学的骨格１５４において短い。頭の上部１５２Ｈから首関節までのリンク１６８Ａの投影長さは、図６で、図７の同じリンクの投影長さ１６８Ｂよりも長い。図７の床１５６からシルエットの上部１５２Ｈまでの寸法は、カメラ−被写体距離計算で使用され得る画像高さ１５８Ｂの例である。図７の各リンクの垂直成分を測定し、合計することで、カメラ−被写体距離計算で使用される物体高さが与えられる。画像距離はカメラ設計パラメータから決定できる。カメラ−被写体距離とも呼ばれる物体距離は、周知の光学的な式に従って画像高さ、物体高さ、及び画像距離の値から計算できる。

【0036】

代替方法実施形態は、以下のステップのうちの１つ又は複数を含む：
モーションキャプチャ被写体の画像の第１のシーケンスを取り込むステップ；
第１のシーケンスの各画像に関して、モーションキャプチャ被写体のシルエットを決定するステップ；
シルエットのシーケンスから較正された生体運動学的骨格を決定するステップ；
モーションキャプチャ被写体の画像の第２のシーケンスを取り込むステップであって、各画像が任意に異なるカメラ−被写体距離にあり、各画像が任意にモーションキャプチャ被写体の、先行する画像とは異なる姿勢を表す、第２のシーケンスを取り込むステップ；並びに
画像の第２のシーケンスの各画像に関して：
モーションキャプチャ被写体のシルエットを形成するステップ；
シルエットの上に画像生体運動学的骨格をマッピングするステップ；
画像生体運動学的骨格から画像高さを決定するステップ；
画像生体運動学的骨格及び較正された生体運動学的骨格から物体高さを決定するステップ；並びに
各画像に関して画像高さ及び物体高さからカメラ−被写体距離を計算するステップ。

【0037】

図９は、シーンで生体運動学的骨格の正確な位置決めを妨げる、又は移動する骨格の位置でジャンプ（切れ目）を生じさせることがあるシルエット画像を解釈する上での不明瞭さの例として使用できる。例として、図９のシルエットからモーションキャプチャ被写体の実際の姿勢を決定することが困難な場合があることを考える。例えば、単にシルエット１５０を調べるだけでは、被写体がカメラに向いているのか、それともカメラに背を向けているのかを判断するのが困難な場合がある。更に、曲げられた脚の外郭線が複数の身体の姿勢に一致していることがある。例えば、両膝がカメラに向かって曲げられていてよい。又は、モーションキャプチャ被写体は、一方の足が胴の前方にあり、他方が胴の後方にあるように、上腿が（カメラに向かって）前方にあり、他の脚が上腿を（カメラから離れて）ひきずる状態で曲げられた状態で、片足を曲げて立っていてよい。シルエットの外郭線の形状及び生体運動学的骨格内のリンクの長さは、これらの位置を区別しないことがある。同様に、左腕が胴の前方に、右腕が後方に位置決めされ、又はその逆となる場合があるが、図９の例に示される左腕及び右腕の投影リンク長さを生じさせるだろう。人間の頭の傾きは、シルエット１５０での潜在的に不明瞭な条件の別の例を示す。頭のリンク１６８の同じ投影長さは頭を前方に（カメラにより近く）又は後方に（カメラから離れて）倒すことによって生じるだろう。リンクの投影長さを、生体運動学的骨格の較正から引き出されたその実際の長さに比較することが、全ての位置決めの不明瞭さを解決しないことがある。

【0038】

いくつかの実施形態は、モーションキャプチャ被写体によって着用される少なくとも１つのモーションキャプチャセンサからの測定値に生体運動学的基準場所１５２を比較することによって異なる身体の姿勢について類似したリンク突起から生じる位置決めの不明瞭さを解決できる。実施形態によるモーションキャプチャセンサ１７０の例は、図８の先行技術の図に示されている。モーションキャプチャセンサ１７０は、他のセンサに又はデータ取得システムに電気的な接続を行うための電気コネクタ１７２を含むことがあり、運動の方向及び場合によっては回転角度を報告するためのセンサによって使用された空間軸の方向を示すために、方向基準１７４又は類似する印を含んでよい。実施形態との使用に適したモーションキャプチャセンサの例は、完成計測センサ、傾きセンサ、角度センサ、加速度計、及びモーションキャプチャ被写体によって着用される多関節モーションキャプチャリンケージを含むが、これに限定されるものではない。実施形態との使用に適した多関節モーションキャプチャリンクの例が、に見られる。モーションキャプチャセンサは、弾性バンド、又は例えば衣服１８６（図５を参照）、帽子又はキャップ、一組の手袋、一足の靴等の衣類の商品に取り付けられてよい。図８のモーションキャプチャセンサ１７０の例は、約１平方ｃｍかける厚さ約３ｍｍである。ただし、他のサイズのセンサを使用してもよい。

【0039】

モーションキャプチャセンサは、生体運動学的基準場所に一致する位置において、モーションキャプチャ被写体によって着用され得る。例えば、モーションキャプチャセンサ１７０は、図９の生体運動学的基準場所１５２Ｈに示される。別のセンサ１７０は、右膝関節１５２Ｅに示される。モーションキャプチャセンサは、例えば、図５の基準場所１５２Ｂに示されるように関節から既知の分離距離の位置等、モーションキャプチャ被写体上の任意の位置に配置されてよい。モデルに取り込まれる各関節及びリンクの位置を測定するためにセンサを使用することがある先行技術のシステムと比較すると、実施形態は、類似する投影リンク長さから生じる位置決めの不明瞭さを解決するのを支援するそれらのセンサしか含まないことがある。例えば、各脚の単一のセンサにより、実施形態は、両脚の上部生体運動学的骨格及び下部生体運動学的骨格に位置を正しく割り当てることができるようになる。各腕の単一のセンサは、リンク長さが不明瞭であるときにどの腕が前方にあり、どの腕が後方にあるのかを解決する。頭の１つのセンサは、頭が前方に傾いているのか、それとも後方に傾いているのか等を解決する。センサは四肢長さを決定する必要はない。モーションキャプチャ被写体に少なくとも１つのセンサを有することで、カメラ−被写体距離の正確な決定が可能になる。実施形態は、シーンで生体運動学的骨格を正確に位置決めするために先行技術よりも少ないセンサを必要とする。

【0040】

図１０は、モーションキャプチャ被写体に取り付けられたモーションキャプチャ（モキャップ）センサから位置情報を読み取るための回路の例の簡略化されたブロック図を示す。モーションキャプチャ被写体によって着用される複数のモキャップセンサ１７０はそれぞれ、電気コネクタ１７２により、ＣＰＵ１７６に電気接続１８４で結合される。ＣＰＵ１７６の例は、マイクロコントローラ、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、ゲートアレイ、及びプログラマブルロジックデバイス（ＰＬＤ）のハードウェア実装を含むが、これに限定されるものではない。ＣＰＵは、不揮発性メモリ１７８、例えばネットワークインタフェース、パラレルインタフェース又はシリアルインタフェースといった任意の有線通信インタフェース１８０、及び場合によってはＷｉＦｉインタフェース又はＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースといった任意の無線通信インタフェース１８２とデータ通信する。ＣＰＵ、不揮発性メモリ、及び通信インタフェース回路は、任意にモーションキャプチャ被写体によって着用されることもあれば、代わりに被写体によって着用されたモキャップセンサから分離され、センサデータが読み取られ、モーションキャプチャでの使用のために記憶されるときにセンサに接続されることがある。ＣＰＵ１７６は、任意に、シルエットを生成するステップ、生体運動学的骨格の較正を実行するステップ、カメラから取り込まれた画像に生体運動学的骨格を重ねるステップ、及び１つ又は複数のモーションキャプチャセンサによって測定された位置データと一致するために生体運動学的骨格を移動するステップのうちのいずれか１つ又は複数を実行するために使用された同じＣＰＵであってよい。

【0041】

本明細書においてそうでないことが特に明記されていない限り、一般的用語は、それが見られる各文脈内において、その用語に対応する一般的な意味を有し、一般的な技術用語はその用語に対応する通常の意味を有する。

【符号の説明】

【0042】

１００ モーションキャプチャシステム実施形態
１０２ スケールフレーム
１０４ 支柱
１０６ 較正マーカ
１０８ スケールフレーム１０２の高さ寸法
１１０ スケールフレーム１０２の幅寸法
１１２ スケールフレーム１０２の奥行き寸法
１１４ カメラ
１１６ 三脚
１１８ カメラレンズ１２６とスケールフレーム１０２との間の分離距離
１２０ カメラ１１４の高さ
１２２ コンピュータ
１２４ データ通信接続
１２６ カメラレンズ
１２８ 光軸
１３０ 較正マーカ１０６の直径
１３２ 右上前較正マーカ
１３４ 左上前較正マーカ
１３６ 右下前較正マーカ
１３８ 左下前較正マーカ
１４０ スケールフレーム
１４２ 左上後較正マーカ
１４４ 右下後較正マーカ
１４６ 左下後較正マーカ
１４８ モーションキャプチャ被写体、人間
１５０、１５０Ａ、１５０Ｂ シルエット
１５２ 生体運動学的基準場所
１５２Ａ 左手、右手
１５２Ｃ 肩関節
１５２Ｄ 股関節
１５２Ｅ 膝関節、右膝関節
１５２Ｇ 脚の端部
１５２Ｈ 頭の上部
１５２Ｊ 足関節
１５２Ｋ 手首関節
１５４ 生体運動学的骨格
１５６ 水平基準面、床
１５８Ａ 真の高さ寸法
１５８Ｂ 画像高さ
１６０、１６０Ａ カメラ−被写体距離
１６２ 画像
１６４ リンク
１６４Ａ、１６４Ｂ 上腿リンク
１６６ リンク
１６６Ａ、１６６Ｂ 下腿リンク
１６８ 頭のリンク
１６８Ａ、１６８Ｂ 頭の上部１５２Ｈから首関節までのリンク
１７０ モーションキャプチャセンサ
１７２ 電気コネクタ
１７４ 方向基準
１７６ ＣＰＵ
１７８ 不揮発性メモリ
１８０ 有線通信インタフェース
１８２ 無線通信インタフェース
１８４ 電気接続
１８６ 衣服

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】