特開 2023-57498 画像の重ね合わせ比較による運動姿勢評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023057498

(43)【公開日】2023-04-21

(54)【発明の名称】画像の重ね合わせ比較による運動姿勢評価システム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20230414BHJP

   G06T 13/40 20110101ALI20230414BHJP

   G06T 7/70 20170101ALI20230414BHJP

   G06T 7/00 20170101ALI20230414BHJP

   A61B 5/11 20060101ALI20230414BHJP

   A61B 5/107 20060101ALI20230414BHJP

【ＦＩ】

A63B69/00 A

G06T13/40

G06T7/70 Z

G06T7/00 660B

A61B5/11 200

A61B5/107 300

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021167073

(22)【出願日】2021-10-11

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】721009690

【氏名又は名称】リアルビジョンスポーツ株式会社

(72)【発明者】

【氏名】阿部秀司

【テーマコード（参考）】

4C038

5B050

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA06

4C038VB01

4C038VC05

5B050AA10

5B050BA08

5B050BA09

5B050BA12

5B050CA08

5B050DA01

5B050EA06

5B050EA18

5B050EA24

5B050EA26

5B050FA02

5L096CA02

5L096FA67

5L096FA69

5L096HA05

(57)【要約】

【課題】一般的なカメラを使って場所の制約もなく、誰でもが手軽に運動姿勢の評価を行えるようにする。
【解決手段】一般的なカメラで被験者の運動姿勢を撮影し、その画像３と、撮影カメラと同じ視野角を持つ仮想カメラ２０と、被験者を模した３次元キャラクター１０とを、３次元空間に配置し（Ｓ１３０）、キャラクターの座標とボーン角度を調整し（Ｓ１５１，Ｓ１５３）、仮想カメラ２から観た被験者像と、キャラクターの姿勢とが一致するときの各ボーン角度と位置座標を、複数のフレームにわたって取得する（Ｓ１７０）ことで、被験者の運動姿勢の動きを３次元キャプチャーする。次に、角度や位置の時間変化を近似する関数を作成し、関数で計算した角度や位置データを使い滑らかな動きのキャラクターの３次元アニメーションを描く。
【選択図】図１

【特許請求の範囲】

【請求項1】

被験者の身体の運動姿勢の情報を取得する光学式モーションキャプチャシステムであって、
３次元コンピュータグラフィクスの仮想空間内に、
被験者を撮影した映像をスクリーンに投影した画像と
前記被験者を模した３次元キャラクターと
仮想カメラとを備え、
３次元キャラクターのボーンの角度を変化させる機能を備え、
仮想カメラから観たスクリーンに投影された被験者の姿勢と
キャラクターの姿勢が合致するときのボーンの角度を推定する手順と、
を含むことを特徴とする運動姿勢評価システム。

【請求項2】

少なくとも、前記仮想カメラの視野角が撮影カメラの視野角と一致するとき、
スクリーンに投影された画像の画角が、
仮想カメラの視野角が作る画角と一致する
ことを特徴とする請求項１に記載の運動姿勢評価システム。

【請求項3】

仮想カメラから観た画像において、
３次元キャラクターと映像上の被験者像との大きさが一致していること
を特徴とする請求項１又は請求項２に記載の運動姿勢評価システム。

【請求項4】

仮想空間内に、複数のカメラで異なる方向から撮影した複数の画像が
複数のスクリーンに投影され、
それぞれに対応する複数の仮想カメラと、
１つの３次元キャラクターとを備え、
それぞれの撮影画像に対応した仮想カメラと３次元キャラクターは、
請求項１又は請求項２又は請求項３に記載の機能を備えており、
各仮想カメラから観た各被験者の姿勢と３次元キャラクター像の姿勢が
同時に合致するボーンの角度を推定する手段を含むことを
特徴とする運動姿勢評価システム。

【請求項5】

複数フレームにわたって撮影した動画の各画像を、
請求項１、又は請求項２、又は請求項３、又は請求項４に記載のシステムにより
推定した各ボーンの角度の時間変化を近似し記憶保管された関数
を用いて取得した角度をキャラクターのボーンの角度に代入し、
キャラクターをアニメーションとして描画する機能を
含むことを特徴とした運動姿勢評価システム。

【請求項6】

周期性をもつ運動の場合において、
前記近似関数が周期性を持つことを
特徴とする請求項５に記載の運動姿勢評価システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学式モーションキャプチャーによる運動姿勢評価システムに関する。

【背景技術】

【0002】

趣味や健康のためランニングをする人が増えている。それにともない、記録更新を目指し速く走りたいと色々な練習を取り入れたり、そのせいで膝や足に故障を抱えたり怪我をするランナーも増加している。そしてプロアマ問わず、記録更新や怪我のリスクを下げるには、よいランニングフォームが重要であり、自分に適したフォームを身につけたいと思うランナーは多い。

【0003】

そのニーズに応えるように、各種のランニングスクールが増え、ランニングに関する書籍やテレビ番組でもフォームに関して話題になる機会が増えている。又、インターネット上に動画コンテンツとしても多数存在し、手軽に学ぶ環境は存在している。しかし、活字、イラスト、画像、さらには動画であっても、ほとんどは２次元情報であるため、ランニング歴が少なく、ランニングフォームを学んでいない一般ランナーには理解することが難しい。

【0004】

また、教える側のコーチやトレーナーは、受講者のフォームをビデオ撮影し、本人にフォームの動きを解説することもたびたび行われている。この場合も、２次元動画を観つつ言葉による解説だけでは、受講者に理解してもらうのは難しいのが現状である。

【0005】

そもそもランニングフォームは３次元の動きなので、２次元の画像で観て、頭の中で３次元の動きに変換して捉える必要があるが、これは知識と経験が豊富にないと難しいと考えられる。そこで、ランナー本人のフォームを直接３次元で動くアニメーションとして観せることや、他のランナーのフォームも同じように観て比較ができれば、自分のフォームを客観的に理解することが容易になると考える。

【0006】

ところで、現在、３次元モーションキャプチャーの技術を用いたランニングフォーム解析や診断は、学術研究の領域ではある程度確立されている。たとえば、特許文献1に示される方法を利用した運動解析では、ランニングフォームの分析を３次元で非常に高精度に行うことができる。しかし、この方法では１０台を超える専用の時間同期のカメラを必要とし、撮影現場の制約が大きいうえ、専門家による３次元データに変換する作業にも多大の時間がかかっている。

【0007】

そこで、非特許文献1ではカメラの台数を４台にまで少なくし、データ処理をＡＩで補助することにより精度劣化を防ぎ、よりコンパクトなモーションキャプチャーを提案している。しかし、前述のどちらの方法でも、あくまで特殊な研究用途までであり、人件費含め利用コストが高価であることとカメラを設置するための場所の制約があるため、一般のランナーが利用することは事実上できていない。

【0008】

そこで、特許文献２に基づく、より簡易な３次元モーションキャプチャーを用いて、一般ランナー向けにフォーム診断が行われている。被験者は体にマーキングしトレッドミル上を走り、数台の同期カメラで主要な関節位置の動作を数台のカメラでキャプチャーし、３次元の動作解析により専門的な視点からの評価指標でフォームの良し悪しを数字で提示している。
しかしながら、フォームの相対的な比較を個々に数字で提示されても、ランナー側としてはそもそもランニングフォームの全体像を動きとして知らないか又は理解していないため、その評価項目の優劣から自身のランニングフォームの改善に落とし込むのは依然として難しい。また、サービスを提供する側としても、この診断システムは店舗内に常設するために場所を占有し、装置の扱いとフォームの解説もできる担当者を常駐させなければならず、運用コストは高くなる。実際サービスを展開する店舗は非常に少なく、国内でも数えるほどしかない。

【0009】

一方、ゲームや仮想現実、３次元アニメーション映画などでは、人や動物、ロボットなどの立体の動きを３次元コンピュータグラッフィクスにより、３次元アニメーションで表現することがすでに一般的に行われている。それらは、３次元的な皮膚表面の形状をもつ人物・擬人化した動物や物体（いわゆるキャラクター）を、多数の三角形の面の集まりで表すアバターと、骨格を模したスケルトン構造からなりアニメーションを実現する技術が一般に利用されている。それにも変わらず、スポーツにおいて３Ｄアニメーションを一般の競技者向けに提供することは殆ど行われていない。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１４－２１１４０４号公報

【特許文献2】特許５３１４２２４号公報

【非特許文献】

【0011】

【非特許文献1】中村仁彦,外１名，“5/15ビデオモーションキャプチャシステムＶＭｏｃａｐに関する記者会見”, ［online］,２０１８年５月１６日,Dynamics Control System Labプレスリリース記事,［令和３年１０月１１日検索］,インターネット ＜URL:https://shiropen.com/seamless/vmocap＞

【発明の概要】

【発明が解決しようとする課題】

【0012】

従来の光学式モーションキャプチャーは、身体に装着したすべてのマーカーが影にならない様に多数のカメラで被験者を囲むよう設置する必要があった。また、運動姿勢で主に必要な情報は各関節の角度情報であるが、従来は各関節の３次元位置を三角測量の原理で求めたのち角度を計算している。そのため、カメラの設置位置や向きなどの僅かな誤差や測定ばらつきが、関節の角度としては誤差が大きく拡大される。その誤差を減らすため、すべてのカメラの位置と向きは事前に詳細に計画され、設計図にしたがい厳格に設置しなければならない。これには、専門知識と熟練した技術も必要である。加えて複数のカメラはそれぞれ時間同期撮影ができる特殊なカメラでなければならなかった。その結果、撮影は特殊なスタジオ内に限定されて、場所の制約の問題も大きかった。

【0013】

このように、運動姿勢の光学式モーションキャプチャーには、三角測量の原理であるがために、誰でもが手軽に運動姿勢の評価をすることが困難であった。その結果、利用者が限られるため、運動姿勢評価の結果出力も一般の人向けではなく、数字やグラフ中心であって、３次元のアニメーションで動く形での提供は少なく、３次元的な運動を３次元として理解することが非常に難しかった。

【0014】

本発明が解決しようとする課題は、一般のカメラを使用し、場所の制約も少ない環境で撮影した画像を使ったモーションキャプチャーにより、だれでも利用可能な運動姿勢評価システムを提供することにある。

【課題を解決するための手段】

【0015】

本発明は、前記課題を解決するためになされたもので、
３次元コンピュータグラフィクス（３ＤＣＧ）の仮想空間内に、
被験者の運動姿勢を第１カメラで撮影した画像と、
被験者を模した３次元キャラクターと、
仮想カメラとを配置し、
仮想カメラから観察した３次元キャラクターの像と、
映像上の被験者像の姿勢とが合致するときの関節角度を推定することを特徴とする運動姿勢評価システムである。

【0016】

前記の運動姿勢を撮影した画像は、仮想カメラから任意の距離に設置して構わないが、仮想カメラの光軸が撮影画像の中心を垂直に貫く位置で、仮想カメラの視野角を撮影カメラと同じ視野角とした際に、撮影画像の縦横の大きさが視野角の画角の大きさと一致する距離に設置されていることを特徴とする運動姿勢評価システムである。

【0017】

また前記３次元キャラクターの、例えば身長などの大きさは任意でいいが、仮想カメラの視野角に入る位置に配置し、仮想カメラから観察した映像上で、３次元キャラクターの身体的な大きさが画像上の被験者の映像と等しくなるように、仮想カメラからの距離に配置されていることを特徴とする運動姿勢評価システムである。

【0018】

一般に制約の少ない撮影では、カメラは傾いたりあおりを持ったりするが、本発明では、仮想空間上に配置するキャラクターの向きや撮影画像を回転させることなどにより、撮影カメラの状況を容易に再現し、先に示した方法に従い姿勢推定をすることが可能である。

【0019】

第１のカメラに追加して、同一の被験者を第２のカメラで別の角度から撮影した画像を、第２の仮想カメラとともに、第１のカメラの場合と共通の３次元空間に配置し、第１仮想カメラと第２の仮想カメラからの像と、共用する１つのキャラクターの姿勢像が同時に合致する角度を推定することで、異なる方角のカメラからの関節角度が自動的に合成されることを特徴とする運動姿勢評価システムである。

【0020】

一つのフレームの画像についての重ね合わせによる姿勢推定の手段により、キャラクターの位置、各関節の角度、そして各骨格の比率を取得でき、フレーム毎にそれらデータを取得し、平滑化処置をすれば、キャラクターの運動姿勢を滑らかな動きのアニメーションとして描くことができる。

【発明の効果】

【0021】

開示された内容によれば、１台のカメラで主たる姿勢情報である関節の角度、骨格の長さ、被写体の位置を直接推定できるため、従来のように複数台の特殊カメラは不要かつ、カメラの設置も厳密である必要はなく、場所の制約もないため、誰でも自分の持っているスマホなどのカメラを用いて、自由に運動姿勢の撮影が可能となる。

【0022】

より精度を求めて２台のカメラで撮影する場合でも、２台のカメラは時間同期をとる必要もなく、解像度や視野角などのカメラの光学的仕様も同じである必要がないため、デジカメやスマホ、タブレットなど、世代も異なるカメラから適宜選べるため、複数台用意することが容易である。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係るモーションキャプチャーの処理フロー図。

【図2】上記一実施形態におけるランニングフォームを横から撮影している図

【図3】上記一実施形態において採用しているスケルトン構造をもつアバターとボーンからなる３次元キャラクターの図。

【図4】上記一実施形態において採用しているスケルトン構造におけるボーンの親子関係を示す図。

【図5】上記一実施形態における３次元空間に仮想カメラと撮影映像が投影されている状況の俯瞰図。

【図6】上記一実施形態における３次元空間に仮想カメラと撮影映像とキャラクターが配置されている状況を示す俯瞰図。

【図7】上記一実施形態における仮想カメラから観察したランナーの撮影画像とキャラクター像の画像。

【図8】上記一実施形態における走行方向とカメラ向きが直交してない場合の３次元空間の上からの俯瞰図。

【図9】上記一実施形態において２台の異なる方向から撮影した場合２方向からのボーンの表示。

【図10】上記一実施形態における上脚のＺ軸回転角度の時間変化の推定値とその周期近似曲線のグラフ。

【図11】上記一実施形態における周期近似曲線が３つの周期関数の合成を説明するグラフ。

【図12】上記一実施形態におけるインターネットを介した３次元アニメーション描画するシステムのブロックダイヤグラム。

【発明を実施するための形態】

【0024】

以下、本発明の一実施形態である、被験者のランナーが走行する際の運動姿勢、いわゆるランニングフォームをモーションキャプチャーするシステムについて、以下図面に基づいて説明する。
図１に示すフローチャートは、本発明による第１の実施例であり、ランナーのランニングフォームを１台のカメラで撮影し、撮像画像とランナーを模した３次元キャラクターの姿勢を一致させることで、運動の姿勢を決定しアニメーションに使うデータとして保管するところまでの全体のフローの実施例を表している。

【0025】

初めに、ステップＳ１００でランナーのランニングの様子を動画撮影し、得られた画像３と、コンピュータグラフィクスで作成した人体を模した３次元キャラクター１０及び、撮影カメラと等価な撮影条件を持つ仮想カメラ２０を、ステップＳ１３０で３次元の仮想空間に配置する。

【0026】

次にステップＳ１４０で仮想カメラ２０から観た画像を表示するが、最初はキャラクター１０とランナー像は、位置も合わず、大きさも重ならない（Ｓ１４５０）。そのため、頭部の３次元空間の座標の調整（Ｓ１５１）と、各骨格の長さの調整（Ｓ１５２）と、関節の角度の調整（Ｓ１５３）を、該当する角度や座標の変数を外部から代入して、再びステップＳ１４０で仮想カメラからの画像を更新表示させて、キャラクターとランナー像の重なりを評価する（Ｓ１５０）。この一連のステップを像が重なるまで行う。

【0027】

像が一致したら、ステップＳ１６０とＳ１６１で、他のフレーム画像についても前記と同じように変数を可変していき、画像が重なるまでＳ１５１，Ｓ１５２，Ｓ１５３、Ｓ１４０を繰り返す。

【0028】

最終的にランニング１周期分にわたって、全関節（ボーン角）角度と頭の位置座標のデータおよび、ボーン長が得られたら（Ｓ１６０）、データ１７０として保管する。

【0029】

このデータを用いて、ランニングフォームをアニメーションとして動かすことも可能であるが、得られたデータは時間的に飛び飛びの値であることや、ばらつきなどのノイズを減らすため、ステップＳ１８０で、すべての角度と位置座標の時間変化を周期関数で近似する。それらのデータ２００を保存する。以上のステップにより、ランニングフォームの１周期分の動作を３次元の動きとして滑らかに再現するためのデータ推定を完了する。
以下、個別に詳細に内容を説明していく。

【0030】

［真横からランニングフォームを撮影する］
ランニングフォームは横から観察することで、身体の矢状面上での脚、胴体、腕振りなどの主要な動きを観察することができ、各関節の前額軸の回転角を捉えることが出来る最も重要な指標取得になる。そこで、ステップS１００で、ランニングフォームを真横から撮影する例を図２に示す。ここでランナー１が右から左に向かって走っている姿を、位置の変化を分かり易くするため３フレーム分重ねて描いている。実際は、１つのフレーム画像にランナー像は１つである。

【0031】

ここで、カメラ２は走行方向に対して左側の真横（紙面の手前）に設置し、紙面の奥方向を向いている。なお、ここでは便宜上、カメラ２は走行方向に垂直で、地面に対しても画面の傾きは無いように設置されている場合を描いているが、カメラの傾きやあおりがあっても問題はないことを後に説明する。

【0032】

また、３はこのカメラによって撮影される画像範囲を示しており、実際の撮像画像を示す。撮影においては、最低でもランニング動作の基本の繰り返しを含む動作が左右の視野の範囲に入るように撮影する。つまり片方の足が1回着地しもう一方の足が２回着地するフォームを最低限含むフレーム数が撮影できればよく、通常は余裕を持って左右の足の着地が合わせて５回前後の着地シーンが入るような撮影が望ましい。

【0033】

［アバターとボーンからなるスケルトン構造］
ここで、本発明で使用するコンピュータグラフィクスについて事前に簡単に説明する。ゲーム分野のＵｎｉｔｙなどで使われる３次元の人体などのキャラクターは、図３に示すように人物の全身の皮膚や服に該当するアバター１０と、骨格の骨にあたるボーン（図３の実線で５０から６５）と、関節にあたる図の白抜きの円（５０ａから６５ａ）から構成されている。

【0034】

各ボーンはその長さと位置座標とその片端の関節部に３次元の角度成分（Ｘ軸回りの回転、Ｙ軸回りの回転、Ｚ軸回りの回転）を個々に持っている（吹き出しの図の腕のボーン６３と６４の参照）。そして、例えば下腕に当たるボーン６４は、肘関節６４aの例えばＺ軸方向に回転させることで、肘の曲がる動きが表現できる。そのとき、下腕と肘部分の皮膚にあたるアバター１０は細分化された多数三角形平面のから構成されており、各頂点の座標がボーン６４の角度や位置に連動する形で変形する。この機能を持つ構造を一般にスケルトンと呼んでいる。

【0035】

［スケルトン構造におけるボーンの親子関係］
さらに、スケルトン構造を持つ各ボーンは、親子関係が設定できる。本発明で用いるスケルトンの構成例について図４で説明する。ここで数字はボーンを表している。頭部に当たるボーン５０が全体の親であり、矢印の先にあるボーン５１が子となり、またそこから、５２と６０及び６３がそれぞれ５１の子となっている。以下順に手や脚も同様の定義で構成される。

【0036】

親子関係においては、子のボーンの位置や角度は、親を基準とした値で定義される。よって、子は直前の親でも数世代前の親でも角度や位置が変化すれば子への変更が一斉に反映される。つまり、頭ボーン５０の座標を変えると、キャラクター全体が姿勢を変えることなく移動する。角度に関しても、５０の角度を変更すれば、そのままの姿勢が保存されたまま、全体のキャラクターは５０ａを中心に回転する。なお、ここで説明したスケルトンの構成例は一般的なものであり、詳細な動きを再現するためには、ボーンの数を増やしたりすればよい。

【0037】

本発明によるモーションキャプチャーは、このスケルトン構造において、全部の各ボーンの角度の時間変化、頭部ボーン５０の座標の時間変化、および身体的特徴を示す各ボーンの長さを推定することである。

【0038】

従来の光学式モーションキャプチャーでは、カメラ撮影からすべての関節の３次元の座標を求めたのち、角度に変換したが、本発明は頭頂部などの基準となる一つの座標しか必要とせず、他はボーン角度を直接推定するということが特徴である。本発明のこの特徴により、カメラ撮影の自由度が上がり、撮影場所にも制約が無いというシステムを提供できる。
以降、本発明によるそれらの値の推定の方法の例を順に詳細に説明する。

【0039】

［仮想カメラ］
本発明では、図１のフローチャートで説明したように、仮想カメラ２０と撮影画像３とキャラクター１０を３次元空間への配置するステップＳ１３０に第一の特徴があるので手順を追って説明する。

【0040】

３次元作成したキャラクターを人が観察できるようにするためには、現実のカメラで撮影するのと同じように、仮想カメラを３次元空間に配置して、仮想の光源から光を当て３次元キャラクターの立体を構成する微小な三角形平面で反射する光を、光線追跡して、仮想カメラに入射した光ときに光の強度と飛んできた方向を記憶し、映像としてモニターに再生することにより、実際の３次元の物体像として観ることができる。

【0041】

また、仮想カメラには、正投影（Ｏｒｔｈｏｇｒａｐｈｉｃ）と透視投影（Ｐｅｒｓｐｅｃｔｉｖｅｇｒａｐｈｉｃｓ）の２種類が用意されているが、本発明では、現実の撮影カメラと等価な見え方をする透視投影カメラを採用している。単なるビュアーとして観察する場合は正投影法に切り替えてもよいが、モーションキャプチャーする場合は透視投影法に設定する。

【0042】

［撮影画像を仮想空間内に配置し仮想カメラで像として観察する］
図５は、３次元空間上に、仮想カメラ２０と先に撮影されたランナー１が写っている画像３が、仮想カメラ２０から距離２５に配置した仮想スクリーン上に映写されている状態を３次元的に俯瞰したものである。

【0043】

ここで仮想カメラ２０の縦方向の視野角２３と横方向の視野角２４は、撮影に使用したカメラ２のそれぞれの縦横の視野角と同じであり、仮想スクリーンに映写された画像３は、仮想カメラの光軸に垂直で任意の距離２５に設置するが、距離に応じて比例拡大縮小して、画像３の縦横の画角が仮想カメラの視野角が作る画角（縦２１Ｈと横２１Ｗ）と一致するようにする。ここで画像３の中心は、仮想カメラの光軸と一致している。こうすることにより、仮想カメラから観た撮影画像は、視野角が同じならばスクリーンがどこにあっても常に同じ大きさとして観察される。

【0044】

［３次元キャラクターを仮想空間に適切な位置を推定し配置］
次に、図６に示すように、コンピュータグラフィクスで発生させたキャラクター１０を仮想空間内の仮想カメラ２０と画像３の間で縦の視野角２３と横の視野角２４内に収まるように配置する。なお、キャラクター１０は、アバターと、アバターに内包されるため描いていないボーンから構成されている。

【0045】

ここで、初期の基本となるキャラクター１０のアバターやボーンの全体の大きさ３３はランナー１の実寸などに合わせる必要はなく任意の大きさでもよいが、３３とランナー１の大きさ２３との比率が、仮想カメラからキャラクター１０までの距離３２とランナー１までの距離２２の比率と一致させておく。また、キャラクター内部の各ボーンの長さの比率が、ランナー１の各骨格の比率一致するようにこのステップで調整を行う（図１のステップＳ１５２）とその後の骨格角度の重ね合わせが良くなる。これは、最初に一度すればよいが、後の繰り返しの合わせ込みでより正確な値に修正して精度を上げていくことが可能である。

【0046】

キャラクターの３次元空間上の位置は、ボーン全体の親となる前述のボーン５０の頭部の５０ａのＸ、Ｙ，Ｚの値であるが（図１のステップＳ１５１）、仮想カメラ２０から観察したときに、キャラクター１０がランナー像１とその大きさ２３が重なり、画像内の縦横方向の位置も合う点を求めばよい。具体的には、大きさを合わせるため、奥行きＺ方向を調整したのち、画面上のＸ、Ｙ方向を調整することを数回繰り返すことで十分な精度の位置座標を求めることができる。

【0047】

従来のモーションキャプチャーでは、このような３次元位置を高精度に求める必要があったがために、多数の特殊カメラを使用せざるを得なかったが、本発明では、キャラクターとランナー像を重ねるためにキャラクター全体の空間位置が必要なだけなので、キャラクターに１個の三次元座標を求め、かつその値の厳密さは従来に比べ遥かに寛容である。

【0048】

［各関節のボーン角度の推定］
ここまでで、大きさと位置が大体決まったので、次にボーンの角度の推定を行う（ステップＳ１５３）。図７は、仮想カメラ２０から観た、ランナー１が写っている画像３とキャラクター１０の映像であり、関節のボーン角度を合わせるステップＳ１５３の例を示す。

【0049】

この図では、すでにキャラクター１０は、親である頭部ボーン５０の３次元空間の位置と、骨格比率の合わせこみが終わり、ボーン角度の合わせこみを頭部から親から子へと順に行ってきて、左上脚５４と左下脚５５を残すのみとなった状態を示している。上脚のボーン５４の関節５４ａをＺ軸の周りに角度Ａ度回転し、ランナー１の上脚５４ｂに重ねる。次に、同じように下脚５５も膝関節５５ａを回転させて、５５ｂに重なるように角度を調節する。この作業を頭部から行ってきている。

【0050】

以上のように、仮想カメラ２０を視点とする画像を観ながらボーンの３次元の角度を変化させながら、姿勢が一致する角度を求めていく。以上、ボーン５０の位置と全ボーンの角度、ボーン長の合わせこみ順番を問わず何度もやり直すことが出来、調整を重ねることで次第に運動姿勢を精度よく一致させていくことが可能である。なお、ここでキャラクターとランナーの像を重ね合わせるとき、スティック状のボーンで合わせても、アバターの輪郭で合わせてもどちらでもよい。

【0051】

また、カメラ撮影の反対側の肩や骨盤の大転子などは写っていないが、それでも上腕や上脚が観えれば、ボーンの角度として求めることができる。このように、ボーンの角度合わせによる手法は、片側撮影でも死角が圧倒的に少ないため、カメラの台数が少なくても、モーションキャプチャーができることが本発明の特徴でもある。

【0052】

［走行方向に対し撮影カメラが斜めの場合］
ここまでは、撮影時のカメラの向きが走行方向に直行する場合で説明したが、カメラが傾いていても、あおりがある場合でも、本発明では簡単な方法でモーションキャプチャーが可能なことを示す。
図８は、ランナー１の走行方向が撮影カメラ２の光軸に直行せず斜め方向１Ｂにずれている場合における、仮想空間上での画像３と仮想カメラ２０とキャラクター１０とを上部から俯瞰したものである。なお、ランナー１はここでは本来は存在しないが、分かり易くするために補助的に描いてある。

【0053】

このとき、ランナー１の姿が仮想カメラに直行した画像３には、斜めに走行する姿勢として写っている。この様子をキャラクターで再現するには、1Ｂと並行した角度１０Ｂ方向を向いて走行するように、キャラクター１０の頭部のボーン５０のＹ軸の回転角を１０Ｂにすることで、キャラクター全身の向く方向を変えることができる。

【0054】

この図の場合、フレーム番号が後ろ、つまり時間が経つと、画像３に映るランナー１の像はカメラに近づくので徐々に大きくなる。これは、キャラクター１０の位置が、Ｘ方向に移動するに伴い、Ｚ方向が手前（マイナス方向）に移動するし、仮想カメラに近づくため１０の像が大きくなることを意味している。そこで、仮想カメラ２０から観た画像上でキャラクターの位置と大きさが重なるように、キャラクター１０のＸ、Ｙ、Ｚ座標を調整する。これは、走行方向がカメラと直行する場合で説明した方法と全く同じ方向で可能である。そして、そのうえで、各ボーンの角度を順に前述の手順で推定していくことも同様である。つまり、真横からの姿勢推定の場合と基本的に同じ手順であることを示している。

【0055】

なお、斜めに走行する場合の走行方向は、着地位置をたどって直線で結ぶことにより該当するフレーム毎に位置を簡単に求めることができる。また、姿勢の傾き（走行方向）は一旦仮で値を推定したのち、複数のフレーム間で映像の重なり誤差が小さくなるように、角度を再び微調整して合わせることで、手間を省いて求めることができる。

【0056】

また、撮影時にランナーの身体の垂直に対してカメラがあおりをもってしまった場合は、キャラクターのボーン５０にＸ軸やZ軸の回転角度を入れてキャラクターの姿勢を倒してあげることで実現できる。

【0057】

また、撮影カメラが地面に対して水平でなく、つまり回転した場合は、画像３をＺ軸回りに回転させてもいい。

【0058】

以上述べたように、撮影時のカメラが色んな角度成分を持ってしまった場合でも、キャラクターを傾けたり、あおりを持たせたり、スクリーンを回転させたりすることで、最終的に撮影カメラで撮った映像とキャラクターの姿勢を重ねることができるので、撮影カメラの設置の自由度が非常に高い方法である。

【0059】

［異なる撮影角度の２台のカメラによる角度の合成］
一般的にランニングフォームをビデオで撮ってフォーム診断する場合の多くは、側面から撮影したビデオ画像のみで行うことが多い。これはランニングの特徴的な指標が、着地の様子や手足の振り方など矢状面上の動きであると考えるためである。加えて、これまで説明したように側面からの１台のカメラによる映像からでも、死角になっている反対側の関節があっても、体の一部が観察できれば、そのボーン角度を推定できるので、１台のカメラでもモーションキャプチャーを完結して行うことが可能である。

【0060】

しかしながら、３次元で精度ある動作解析評価を行うためや、前額面上の胴体や手足の振り方のデータも併せて評価したいという場合、第１のカメラに追加して、第２のカメラで異なる方向から撮影した画像も用いた方がよい。その場合の角度推定の方法を説明する。

【0061】

図９（Ａ）は側面から撮影した画像から推定したボーンを示し、同様に（Ｂ）は後方から撮影した画像から推定したボーンを示す。後方からの角度推定も、前述した横からの角度推定と同じ考え方で行うが、角度合成のための手段に特徴がある。

【0062】

仮想カメラ２０と画像３をそれぞれ側面用と後方用の２組用意し、３次元仮想空間に設置する。それぞれの仮想カメラ２０の視野角は側面と後方それぞれの対応した撮影カメラの視野角に設定し、それぞれの画像３は、それぞれのカメラの光軸方向に記述の同じ方法で設置する。

【0063】

次に、３次元キャラクターは両カメラに対し、基本１つだけとし、仮想カメラの映像を側面と後方で切り替えながら、もしくは２画面で同時に観ながら、それぞれの方向から見たキャラクターのボーン角度が同時に合致する条件を探し見つけることで角度推定を行う。

【0064】

例えば下腕の３次元の角度を求めるには、側面からの映像で下腕ボーン６４にＺ軸回転角度６４Ｚを入れて一旦映像を合わせた後、後方からの仮想カメラ映像を観てＸ軸回転角６４Ｘ（Ｘ軸回転）を入れて映像を合致させる。再び側面画像で観察しずれて居たら、Ｚ軸回転角度を調整し、再び後方画像で重なりを確認する。これを繰り返すことで正確な角度に収束させることが可能である。

【0065】

実際は、真横、真後ろ（又は真ん前）から観たときのそれぞれのボーンの主要な角度は、交絡が少ない場合が多いので、Ｘ軸回転、Ｚ軸回転はそれぞれ独立した値として一回で決定されることが多く、その場合手間はかからない。
また、カメラが３台以上になっても同様の方法で合成した角度の推定が可能である。

【0066】

［ボーンのＹ軸の回転角度］
ここまでであまり言及しなかったボーンのＹ軸回転は、主に肩５１や胴体５２、骨盤５３において発生する。肩の回転を考えると、側面から観た映像において、キャラクターの右腕６０と左腕６３の映像の重なり具合から判別でき、ランナー１の肩が回転しているのに、キャラクターのボーン５１が回転していないと、６０と６３の付け根である肩関節の位置が重ならない。

【0067】

そのため、ボーン５１の関節５１ａにＹ軸回転角を入れながら、左右の腕の重なりがランナーの左右の腕と重なる時を求めれば、Ｙ軸回転の角度が推定できる。なお、スケルトンの仕組み上、腕６０と６３のＹ軸回転は肩５１のＹ軸回転成分が乗るので、打ち消すために逆方向のＹ軸回転を与える。

【0068】

その結果、腕６０と６３のＺ回転角やＸ回転角がやや修正が必要になる場合もあるが、再度映像と合うように微調整を行う。骨盤５３と両足５４，５７に関しても肩と同様の処理でＹ軸回転を求める。

【0069】

以上、一つのフレーム画像について、仮想カメラから観た映像上のランナーの姿勢と３次元キャラクターの姿勢が合致するように、画像を観ながら、頭部の３次元座標と各ボーンの角度、および骨格のボーンの長さ比率をもとめることで３次元のキャラクターの姿勢データを取得できることを示した。

【0070】

これを、ランニングという動作であれば１周期分にわたってフレーム毎に、繰り返し姿勢データを取得することで、ランニングフォームのアニメーションのためのデータを取得すればよい。

【0071】

［滑らかな動作を実現するための処理］
しかしながら、前述の方法のままでは、各フレームの単位でデータを取得しているため、データは飛び飛びであり、推定時のばらつきも発生している。そのため、フレーム単位の生データをそのまま採用しアニメーションとして描画すると、僅かな不連続性でも動きはがたがたとなり見苦しいものになる。

【0072】

そこで、本発明では最後にデータの平滑化（図１ステップS１８０）を行い、それらの結果データ２００を記憶保管しておき、アニメーションを実行する際に関数から読み出してボーンに代入して描画する手段をとる。
図１０は、上脚のボーン５４のＺ軸回転のフレーム単位で得た値を黒点（例として６１０）で１周期分をプロットしている。それを滑らかな実線６００で近似している。

【0073】

この近似関数は、図１１に示す３つの周期関数６０１，６０２，６０３の和で示され、具体的な関数はそれぞれ次の数式１、２、３で表される。ここで、１周期のフレーム数をcycleとし、フレーム番号をframeとしている。

【0074】

【数1】

【0075】

【数2】

【0076】

【数3】

【0077】

また、着地時の足首の角度は時間変化が急激であり、適切な関数が選べない場合もある。このときには、直線を含む種々の関数の組み合わせとして表わし、全体としては１周期で繰り返すようにプログラミングすることで実質的に周期関数と同等の働きをする式も周期関数とみなしている。

【0078】

この連続的な周期関数で表現する利点は、データが滑らかであること。データの取得時にフレームを間引いても、全体の形が変化しないので、撮影の全フレームのうちの半分以上間引いてキャプチャーすることが可能となり、最も時間のかかる個々の推定作業の回数を削減でき、全体の時間の大幅な短縮が図れる。

【0079】

また、２方向のカメラからの角度データなどを合成する際は、時間同期していない場合、同じフレームレートで撮影した場合なら最大１フレームの半分の時間のズレはあるはずだが、関数で近似することにより、その時間差に当たる位相を変化させることで誤差を事実上キャンセルするため問題にならないという利点がある。

【0080】

また、アニメーションにおいてスローモーションで再生する場合は、１フレーム時間よりもずっと短い時間間隔、例えば１０分の１の場合でも、関数式からその時間の角度を求めるため、滑らかなデータ変化が保証される。

【0081】

加えて、１周期の最後と最初のデータのつなぎが、周期関数であるため原理的に差分が発生しないので、切れ目の無い滑らかなアニメーションの再生が可能である。
なお、周期性の無い運動の場合は、周期関数である必要はない。

【0082】

［インターネットを介した３次元アニメーションの描画］
本発明によれば、姿勢推定作業において、すでに人物を模したキャラクターの３次元動作をアニメーション化して利用しているため、そのまま流用して結果をランニングフォームの３次元アニメーションとして提供するのは簡単である。図１２に本発明により得たデータ（図１の２００）を基に、キャラクターの３次元アニメーション描画を外部端末で行うシステムのブロックダイヤグラムを示す。

【0083】

Ｗｅｂサーバー７００には、本発明による運動姿勢評価システムで取得した各ボーンの角度の時間変化を表す近似関数７１３と、頭頂部の座標の時間変化の近似関数７１４と、骨格を形成するボーン長７１２と、キャラクターのアバターのデータ７１１が７１０に記憶されている。そして、それら一連のデータと、ｈｔｍｌファイルとｔｈｒｅｅ．ｊｓライブラリーとアニメーションの計算手順を既述したｊａｖａｓｃｒｉｐｔファイル、７０１が、インターネット９００を介してスマートホン８１０のＷｅｂブラウザー８００により読み出され、８０１，８０２，８０２で計算処理され、ランニングフォームの３次元アニメーション８０４をスマホ８１０に描画している。これは、ユーザー端末側で関数を元に計算して描画することにより、サーバーのｃｐｕに負荷がかからないメリットがある。

【0084】

特に、ユーザー側にとっては、専用ソフトも必要とせず、いつでも自身のスマートホンやタブレット又はＰＣなどで閲覧できることで利便性が上がり、３次元アニメであるため、自由視点や再生法も自由なので、３次元の動きをじっくりと観察して、自身のフォームを考察し改善につなげることができる。また、コーチ・インストラクターなどの指導者にとっては、従来の言葉や２次元平面のビデオによる説明でなく、受講者と一緒に３次元アニメーションを観ながら、３次元の動きを解説も交えて説明することが出来るため、受講者の理解が増し、指導の質の大幅な向上につなげられる。

【0085】

以上、スポーツの中でも特にランニングのフォームを評価する例で示したが、本発明は、ゴルフ、野球、テニス、各種陸上競技など多くのスポーツの運動評価を初めとし、歩行やリハビリなどの運動機能の評価から、ゲームなどの手軽な光学３次元モーションキャプチャーとしても安価で手軽に適用することのできる運動姿勢評価システムである。

【産業上の利用可能性】

【0086】

従来の光学式モーションキャプチャーは特殊なカメラと環境の制約があったが、誰でもが持つ一般のカメラを利用できるため撮影の制約が無くなり、運動姿勢を評価したい各種のスポーツやリハビリ、その他多くの用途に適用できる。

【符号の説明】

【0087】

１ 被験者
２ 撮影カメラ
３ 被験者の運動を撮影した動画像
１０ 被験者を模した仮想空間内の３次元キャラクター
２０ 仮想カメラ
２１Ｗ 仮想カメラの横方向の視野角が作る横方向の画角の長さ
２１Ｈ 仮想カメラの縦方向の視野角が作る縦方向の画角の長さ
２２ 仮想カメラの光軸と撮影画像の面が直角に交わるときの距離
２３ 仮想カメラの縦方向視野角
２４ 仮想カメラの横方向視野角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】