特許 7370198 処理システム、情報処理装置、プログラム及び処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-19

(45)【発行日】2023-10-27

(54)【発明の名称】処理システム、情報処理装置、プログラム及び処理方法

(51)【国際特許分類】

   G06T 13/40 20110101AFI20231020BHJP

【ＦＩ】

G06T13/40

【請求項の数】 14

(21)【出願番号】P 2019164169

(22)【出願日】2019-09-10

(65)【公開番号】P2021043611

(43)【公開日】2021-03-18

【審査請求日】2022-09-08

(73)【特許権者】

【識別番号】000134855

【氏名又は名称】株式会社バンダイナムコエンターテインメント

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】森本 直彦

【審査官】益戸 宏

(56)【参考文献】

【文献】特開平９－３３０４２４（ＪＰ，Ａ）

【文献】特開２０１８－２８８１３（ＪＰ，Ａ）

【文献】特開２０１１－２５３３０８（ＪＰ，Ａ）

【文献】特開２００２－３１９０３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ａ６３Ｆ １３／５５

(57)【特許請求の範囲】

【請求項1】

反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理を行うリターゲット処理部と、
前記リターゲット処理後の前記反映先モデルのモーションの補正処理を行う補正処理部と、
を含み、
前記補正処理部は、
前記反映先モデルの第１基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第１接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第２接触関節位置を通過するように、前記第１基準関節位置を回転中心として、前記反映先モデルの前記第１接触関節位置を含む関節位置群を回転移動させる回転処理と、
前記関節位置群に対応する骨群のスケールを変更するスケーリング処理を、
前記補正処理として行うことを特徴とする処理システム。

【請求項2】

請求項１において、
前記補正処理部は、
前記第１基準関節位置と前記第１接触関節位置の距離と、前記第１基準関節位置と前記第２接触関節位置の距離との比に応じたスケーリング率で、前記骨群の前記スケーリング処理を行うことを特徴とする処理システム。

【請求項3】

請求項１又は２において、
前記リターゲット処理部は、
時系列に入力される前記反映元モデルのモーションを前記反映先モデルのモーションに反映させる前記リターゲット処理を行い、
前記補正処理部は、
前記リターゲット処理後の時系列の前記反映先モデルのモーションに対して、前記補正処理を行うことを特徴とする処理システム。

【請求項4】

請求項１乃至３のいずれかにおいて、
前記反映元モデルのモーションは、人物のモーションキャプチャにより取得されたモーションであり、前記反映先モデルのモーションは、仮想的なキャラクタのモーションであることを特徴とする処理システム。

【請求項5】

請求項１乃至４のいずれかにおいて、
前記リターゲット処理部、前記補正処理部は、時系列に入力される前記反映元モデルのモーションに基づいて、リアルタイムに前記リターゲット処理、前記補正処理を行うことを特徴とする処理システム。

【請求項6】

請求項１乃至５のいずれかにおいて、
前記補正処理部は、
前記反映先モデル又は前記反映元モデルの骨群の屈伸状態を判定し、前記屈伸状態に応じて、前記補正処理として、前記回転処理及び前記スケーリング処理を行うか否かを判断することを特徴とする処理システム。

【請求項7】

請求項６において、
前記補正処理部は、
前記屈伸状態が、第１状態であると判定された場合には、前記補正処理として、前記回転処理及び前記スケーリング処理を行い、前記屈伸状態が、前記第１状態よりも屈曲した状態である第２状態であると判定された場合には、前記補正処理として、前記第１接触関節位置を前記対象面に設定するインバースキネマティクス処理を行うことを特徴とする処理システム。

【請求項8】

請求項７において、
前記補正処理部は、
前記屈伸状態が、前記第１状態と前記第２の状態の間の第３状態であると判定された場合には、前記骨群のスケールを変更する第２スケーリング処理を行い、前記第２スケーリング処理の後に前記インバースキネマティクス処理を行うことを特徴とする処理システム。

【請求項9】

請求項７において、
前記補正処理部は、
前記屈伸状態が、前記第２状態であると判定された場合には、前記骨群のスケールを変更する第２スケーリング処理を行い、前記第２スケーリング処理の後に前記インバースキネマティクス処理を行うことを特徴とする処理システム。

【請求項10】

請求項８又は９のいずれかにおいて、
前記補正処理部は、
前記第２スケーリング処理における前記骨群のスケーリング率を、前記屈伸状態に応じて変化させることを特徴とする処理システム。

【請求項11】

請求項６乃至１０のいずれかにおいて、
前記補正処理部は、
前記反映先モデルの前記第１基準関節位置と前記第１接触関節位置との距離、前記第１基準関節位置と前記第１接触関節位置との間の関節での関節角、前記反映元モデルの第２基準関節位置と前記第２接触関節位置との距離、又は前記第２基準関節位置と前記第２接触関節位置との間の関節での関節角に基づいて、前記屈伸状態を判定することを特徴とする処理システム。

【請求項12】

請求項１乃至１１のいずれかに記載の処理システムを含むことを特徴とする情報処理装置。

【請求項13】

反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理を行うリターゲット処理部と、
前記リターゲット処理後の前記反映先モデルのモーションの補正処理を行う補正処理部として、
コンピュータを機能させ、
前記補正処理部は、
前記反映先モデルの第１基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第１接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第２接触関節位置を通過するように、前記第１基準関節位置を回転中心として、前記反映先モデルの前記第１接触関節位置を含む関節位置群を回転移動させる回転処理と、
前記関節位置群に対応する骨群のスケールを変更するスケーリング処理を、
前記補正処理として行うことを特徴とするプログラム。

【請求項14】

反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理と、
前記リターゲット処理後の前記反映先モデルのモーションの補正処理と、
を行い、
前記補正処理において、
前記反映先モデルの第１基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第１接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第２接触関節位置を通過するように、前記第１基準関節位置を回転中心として、前記反映先モデルの前記第１接触関節位置を含む関節位置群を回転移動させる回転処理と、
前記関節位置群に対応する骨群のスケールを変更するスケーリング処理と、
を行うことを特徴とする処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理システム、情報処理装置、プログラム及び処理方法等に関する。

【背景技術】

【0002】

従来より、モーションキャプチャにより取得されたモーションデータに基づいて、仮想空間に配置される仮想的なキャラクタを動作させるシステムが知られている。このようなシステムの従来技術としては、例えば特許文献１に開示される技術がある。特許文献１では、基準モーションにしたがって仮想的なキャラクタを動作させる場合に、音楽データに基づいて基準モーションの補正処理を行うことで、楽曲に合うようにキャラクタを動作させている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１０－３１２４６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

モーションキャプチャなどを用いて取得された反映元モデルのモーションを、仮想的なキャラクタなどの反映先モデルのモーションに反映させる場合に、反映元モデルの骨格形状と反映先モデルの骨格形状とが異なることが多々ある。このため、反映元モデルのモーションをそのまま反映先モデルに適用すると、反映先モデルの動きや表示に違和感が生じてしまうという問題があった。

【0005】

本開示によれば、反映元モデルのモーションを反映先モデルのモーションに適用した場合に、反映先モデルの動きや表示に違和感が生じるのを抑制できる処理システム等を提供できる。

【課題を解決するための手段】

【0006】

本開示の一態様は、反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理を行うリターゲット処理部と、前記リターゲット処理後の前記反映先モデルのモーションの補正処理を行う補正処理部と、を含み、前記補正処理部は、前記反映先モデルの第１基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第１接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第２接触関節位置を通過するように、前記第１基準関節位置を回転中心として、前記反映先モデルの前記第１接触関節位置を含む関節位置群を回転移動させる回転処理と、前記関節位置群に対応する骨群のスケールを変更するスケーリング処理を、前記補正処理として行う処理システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

【0007】

本開示の一態様によれば、反映元モデルのモーションを反映先モデルのモーションに反映させるリターゲット処理が行われる。そして反映先モデルの第１基準関節位置と第１接触関節位置とを通る線が、反映元モデルの第２接触関節位置を通過するように、反映先モデルの関節位置群を回転移動させる回転処理と、関節位置群に対応する骨群のスケールを変更するスケーリング処理とが、リターゲット処理後の反映先モデルのモーションの補正処理として行われる。このような回転処理及びスケーリング処理が行われることで、第１接触関節位置と対象面との位置関係が不適切な位置関係になってしまう事態を抑制できる。従って、反映元モデルのモーションを反映先モデルのモーションに適用した場合に、反映先モデルの動きや表示に違和感が生じるのを抑制できる処理システム等が提供が可能になる。

【0008】

また本開示の一態様では、前記補正処理部は、前記第１基準関節位置と前記第１接触関節位置の距離と、前記第１基準関節位置と前記第２接触関節位置の距離との比に応じたスケーリング率で、前記骨群の前記スケーリング処理を行ってもよい。

【0009】

このようなスケーリング率でスケーリング処理を行うことで、第１接触関節位置を第２接触関節位置の場所に設定することが可能になり、反映先モデルの動きや表示に違和感が生じるのを抑制できるようになる。

【0010】

また本開示の一態様では、前記リターゲット処理部は、時系列に入力される前記反映元モデルのモーションを前記反映先モデルのモーションに反映させる前記リターゲット処理を行い、前記補正処理部は、前記リターゲット処理後の時系列の前記反映先モデルのモーションに対して、前記補正処理を行ってもよい。

【0011】

このようにすることで、時系列に入力される反映元モデルのモーションを利用して、当該反映元モデルの動きに連動して動く反映先モデルのモーションを生成できるようになる。

【0012】

また本開示の一態様では、前記反映元モデルのモーションは、人物のモーションキャプチャにより取得されたモーションであり、前記反映先モデルのモーションは、仮想的なキャラクタのモーションであってもよい。

【0013】

このようにすることで、人物の動きに連動して動く仮想的なキャラクタの画像を視聴者に対して表示できるようになる。

【0014】

また本開示の一態様では、前記リターゲット処理部、前記補正処理部は、時系列に入力される前記反映元モデルのモーションに基づいて、リアルタイムに前記リターゲット処理、前記補正処理を行ってもよい。

【0015】

このようにすることで、反映元モデルのモーションを反映先モデルのモーションに即時に反映させることができ、反映元モデルの動きに応じて反映先モデルをリアルタイムに動かすことが可能になる。

【0016】

また本開示の一態様では、前記補正処理部は、前記反映先モデル又は前記反映元モデルの骨群の屈伸状態を判定し、前記屈伸状態に応じて、前記補正処理として、前記回転処理及び前記スケーリング処理を行うか否かを判断してもよい。

【0017】

このようにすれば、骨群の屈伸状態が、回転処理及びスケーリング処理による補正処理が必要な状態であると判定されときに、当該補正処理を実行して、反映先モデルの動きや表示に違和感が生じるのを抑制できるようになる。

【0018】

また本開示の一態様では、前記補正処理部は、前記屈伸状態が、第１状態であると判定された場合には、前記補正処理として、前記回転処理及び前記スケーリング処理を行い、前記屈伸状態が、前記第１状態よりも屈曲した状態である第２状態であると判定された場合には、前記補正処理として、前記第１接触関節位置を前記対象面に設定するインバースキネマティクス処理を行ってもよい。

【0019】

こうすれば、屈伸状態の各状態に応じた適切な補正処理を実現できるようになる。

【0020】

また本開示の一態様では、前記補正処理部は、前記屈伸状態が、前記第１状態と前記第２の状態の間の第３状態であると判定された場合には、前記骨群のスケールを変更する第２スケーリング処理を行い、前記第２スケーリング処理の後に前記インバースキネマティクス処理を行ってもよい。

【0021】

このようにすれば、屈伸状態が第３状態であるときに、インバースキネマティクス処理が原因で反映先モデルが不自然な屈伸状態になるのを、第２スケーリング処理を行うことで抑制できるようになる。

【0022】

また本開示の一態様では、前記補正処理部は、前記屈伸状態が、前記第２状態であると判定された場合には、前記骨群のスケールを変更する第２スケーリング処理を行い、前記第２スケーリング処理の後に前記インバースキネマティクス処理を行ってもよい。

【0023】

このようにすれば、屈伸状態が第２状態であるときに、インバースキネマティクス処理が原因で反映先モデルが不自然な屈伸状態になるのを、第２スケーリング処理を行うことで抑制できるようになる。

【0024】

また本開示の一態様では、前記補正処理部は、前記第２スケーリング処理における前記骨群のスケーリング率を、前記屈伸状態に応じて変化させてもよい。

【0025】

このようにすることで、屈伸状態の各状態の切り替わり時に不自然な表示になってしまう事態の発生を抑制できるようになる。

【0026】

また本開示の一態様では、前記補正処理部は、前記反映先モデルの前記第１基準関節位置と前記第１接触関節位置との距離、前記第１基準関節位置と前記第１接触関節位置との間の関節での関節角、前記反映元モデルの第２基準関節位置と前記第２接触関節位置との距離、又は前記第２基準関節位置と前記第２接触関節位置との間の関節での関節角に基づいて、前記屈伸状態を判定してもよい。

【0027】

このようにすることで、距離や関節角を用いて、屈伸状態が伸びた状態であるか、屈曲状態であるかを適切に判定できるようになる。

【0028】

また本開示の一態様は、上記に記載の処理システムを含む情報処理装置に関係する。

【0029】

また本開示の一態様は、反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理と、前記リターゲット処理後の前記反映先モデルのモーションの補正処理と、を行い、前記補正処理において、前記反映先モデルの第１基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第１接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第２接触関節位置を通過するように、前記第１基準関節位置を回転中心として、前記反映先モデルの前記第１接触関節位置を含む関節位置群を回転移動させる回転処理と、前記関節位置群に対応する骨群のスケールを変更するスケーリング処理と、を行う処理方法に関係する。

【図面の簡単な説明】

【0030】

【図1】本実施形態の処理システムの構成例を示すブロック図。

【図2】反映元モデルのモーションの取得処理の一例の説明図。

【図3】反映元モデルのモーションを反映先モデルに反映させるリターゲット処理の説明図。

【図4】モーションデータの説明図。

【図5】本実施形態の処理システムの適用例についての説明図。

【図6】反映元モデル、反映先モデルの例。

【図7】ＦＫの説明図。

【図8】ＦＫによるリターゲット処理の説明図。

【図9】ＦＫによるリターゲット処理の説明図。

【図10】腰骨の位置を調整する手法の説明図。

【図11】ＦＫを用いた手法の問題点の説明図。

【図12】ＦＫを用いた手法の問題点の説明図。

【図13】ＦＫを用いた手法の問題点の説明図。

【図14】ＦＫを用いた手法の問題点の説明図。

【図15】ＩＫを用いた手法の問題点の説明図。

【図16】ＩＫを用いた手法の問題点の説明図。

【図17】ＩＫを用いた手法の問題点の説明図。

【図18】ＩＫを用いた手法の問題点の説明図。

【図19】本実施形態の手法の説明図。

【図20】本実施形態の手法の説明図。

【図21】本実施形態の手法の説明図。

【図22】本実施形態の手法の説明図。

【図23】本実施形態の手法の説明図。

【図24】ＦＫを用いた手法で表示されるキャラクタ画像の例。

【図25】ＦＫを用いた手法で表示されるキャラクタ画像の例。

【図26】ＩＫを用いた手法で表示されるキャラクタ画像の例。

【図27】ＩＫを用いた手法で表示されるキャラクタ画像の例。

【図28】本実施形態の手法で表示されるキャラクタ画像の例。

【図29】本実施形態の手法で表示されるキャラクタ画像の例。

【図30】図３０（Ａ）～図３０（Ｃ）は屈伸状態に応じた補正処理の説明図。

【図31】図３１（Ａ）、図３１（Ｂ）はＩＫ処理による補正処理の説明図。

【図32】図３２（Ａ）～図３２（Ｃ）は第２スケーリング処理及びＩＫ処理による補正処理の説明図。

【図33】屈伸状態の判定手法の説明図。

【図34】本実施形態の詳細な処理例を説明するフローチャート。

【図35】本実施形態の詳細な処理例を説明するフローチャート。

【発明を実施するための形態】

【0031】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。

【0032】

１．処理システム
図１は、本実施形態の処理システム（情報処理装置、アトラクション用装置、ゲーム装置）の構成例を示すブロック図である。なお、本実施形態の処理システムは図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0033】

操作部１６０は、オペレータ（ユーザ、プレーヤ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えばキーボード、操作ボタン、方向指示キー、ジョイスティック、レバー又はタッチパネル型ディスプレイ等により実現できる。

【0034】

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、モーションデータ記憶部１７２、オブジェクト情報記憶部１７４、描画バッファ１７８を含む。モーションデータ記憶部１７２は、キャラクタ等のモデルのモーション再生を行うためのモーションデータを記憶する。オブジェクト情報記憶部１７４は、モデルを構成するオブジェクトや仮想空間を構成するオブジェクトについての各種の情報（形状情報、位置情報等）を記憶する。描画バッファ１７８は、フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファである。

【0035】

情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

【0036】

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（Head Mounted Display）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホン等により実現できる。

【0037】

Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、プレーヤが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。

【0038】

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

【0039】

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。

【0040】

処理部１００（プロセッサ）は、操作部１６０からの操作入力情報やプログラムなどに基づいて、情報取得処理、リターゲット処理、補正処理、画像生成処理、或いは音生成処理などを行う。

【0041】

処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

【0042】

処理部１００は、情報取得部１０２、リターゲット処理部１０４、補正処理部１０６、画像生成部１２０、音生成部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0043】

情報取得部１０２は、各種の情報の取得処理を行う。例えばモーションキャプチャなどにより反映元モデルである人物（アクター）のモーションデータが検出された場合に、当該モーションデータを取得する処理を行う。具合的には、例えばモーションキャプチャのシステムからの検出情報を通信部１９６を介して受信することで、モーションデータを取得する。或いは反映元モデルが仮想的なキャラクタであった場合には、当該キャラクタのモーションデータを反映元モデルのモーションデータとして取得する。取得された反映元モデルのモーションデータは、モーションデータ記憶部１７２に記憶される。なお、モーションキャプチャのシステムから検出情報を受信した場合だけでなく、ユーザによる取得開始操作などの取得要求をトリガーとして、モーションキャプチャのシステムからモーションデータを取得するようにしてもよい。

【0044】

リターゲット処理部１０４は、異なるモデルに対してモーションを反映させるリターゲット処理を行い、補正処理部１０６は、モーションの補正処理を行う。これらのリターゲット処理、補正処理によりモーション再生処理が実現される。モーション再生処理は、モデルのスケルトンの姿勢を変化させて、モデルを動かすための処理であり、アニメーション処理とも呼ばれる。リターゲット処理部１０４、補正処理部１０６の詳細については後述する。

【0045】

画像生成部１２０は、画像の生成処理を行う。例えば処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に表示する。具体的には画像生成部１２０は、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理を行い、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を作成する。そして画像生成部１２０は、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８に描画する。これにより、仮想空間において仮想カメラから見える仮想空間画像が生成される。なお画像生成部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。

【0046】

音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音の生成処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などを生成し、音出力部１９２に出力させる。

【0047】

また処理部１００は、ゲーム処理、仮想空間設定処理、仮想カメラ設定処理、移動体処理などを行ってもよい。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。仮想空間設定処理は、例えば、移動体（車、人、ロボット、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、アイテム、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理である。例えば仮想空間設定処理では、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する処理が行われる。具体的には、記憶部１７０のオブジェクト情報記憶部１７４には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度又は移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。仮想空間設定処理では、例えば各フレーム毎に、仮想空間情報であるオブジェクト情報の更新処理が行われる。また仮想カメラ設定処理は、仮想空間での仮想カメラの位置や方向を設定する処理である。例えば仮想カメラ設定処理では、移動体（キャラクタ）の位置や方向の情報や、或いは仮想カメラの位置や方向の設定情報に基づいて、仮想空間での仮想カメラの位置や方向を設定する処理が行われる。移動体処理は、仮想空間での移動体の移動情報を演算する処理である。例えば移動体処理では、仮想空間において移動体を移動させるための処理が行われる。

【0048】

そして本実施形態の処理システムは、図１に示すように、リターゲット処理部１０４と補正処理部１０６を含む。

【0049】

リターゲット処理部１０４は、反映元モデルのモーション（モーションデータ）を反映先モデルのモーション（モーションデータ）に反映させるリターゲット処理（リターゲッティング）を行う。例えば、反映元モデルのモーションを、反映元モデルとは骨格形状（関節位置）が異なる反映先モデルのモーションに反映させるリターゲット処理を行う。例えば反映元モデルのスケルトンの姿勢（モーション）が変化した場合に、反映元モデルのスケルトンと同様の姿勢変化になるように、反映先モデルのスケルトンの姿勢（モーション）を変化させる。例えば、反映元モデルのモーションデータに基づいて反映先モデルのスケルトンのフォワードキネマティクス処理を行うことで、反映元モデルと同様の姿勢変化で反映先モデルの姿勢を変化させるリターゲット処理を実現できる。例えば反映元モデルと反映先モデルは、同様の骨の階層構造を共有しており、モーション（アニメーション）を共有できるモデルになっている。

【0050】

補正処理部１０６は、リターゲット処理後の反映先モデルのモーションの補正処理を行う。例えば反映元モデルのモーションを反映先モデルのモーションに適用することで生じた反映先モデルの動きや表示の不具合や不自然さを解消するための補正処理を実行する。

【0051】

補正処理部１０６は、補正処理として回転処理とスケーリング処理を行う。この場合に回転処理を行った後にスケーリング処理を行ってよいし、スケーリング処理を行った後に回転処理を行ってもよい。

【0052】

具体的には補正処理部１０６は、反映先モデルの第１基準関節位置と反映先モデルの第１接触関節位置とを通る線が、反映元モデルの第２接触関節位置を通過するように、第１基準関節位置を回転中心として、反映先モデルの第１接触関節位置を含む関節位置群を回転移動させる回転処理を行う。第１基準関節位置は、反映先モデルの関節位置群の回転移動の基準となる関節位置である。第２基準関節位置は、反映先モデルの第１基準関節位置に対応する反映元モデルの関節位置である。第１接触関節位置は、反映先モデルの対象面への接触部位の関節位置である。即ち第１接触関節位置は、反映先モデルの複数の部位のうち、対象面に接触する接触部位の関節位置である。第２接触関節位置は、反映元モデルの対象面への接触部位の関節位置である。即ち第２接触関節位置は、反映元モデルの複数の部位のうち、対象面に接触する接触部位の関節位置である。対象面への接触部位は、例えばスケルトンのエンドエフェクタの部位である。対象面は、当該接触部位の接触対象となる面であり、例えば地面、壁面又は天井面などである。関節位置群は、第１接触関節位置と、第１基準関節位置と第１接触関節位置の間にある１又は複数の関節位置である。

【0053】

また補正処理部１０６は、関節位置群に対応する骨群のスケールを変更するスケーリング処理を行う。例えば骨群の骨の少なくとも長辺方向でのスケールを変更するスケーリング処理を行う。骨のスケールを変更するとは、骨のスケールを縮小したり、拡大することである。具体的には第１接触関節位置と第２接触関節位置が同じ位置に設定されるようなスケールで、関節位置群に対応する骨群のスケールを変更（縮小又は拡大）する。例えば反映先モデルの接触部位が、対象面にめり込んでしまうような状況では、補正処理部１０６は、関節位置群に対応する骨群のスケールを縮小するスケーリング処理を行う。一方、反映先モデルの接触部位が、対象面から離れて浮いてしまうような状況では、補正処理部１０６は、関節位置群に対応する骨群のスケールを拡大するスケーリング処理を行う。

【0054】

また補正処理部１０６は、第１基準関節位置と第１接触関節位置の距離と、第１基準関節位置と第２接触関節位置の距離との比に応じたスケーリング率（縮小率又は拡大率）で、骨群のスケーリング処理を行う。第１基準関節位置と第１接触関節位置の距離をＬＤ１とし、第１基準関節位置と第２接触関節位置の距離をＬＤ２とした場合に、例えばＬＤ２／ＬＤ１の比に応じたスケーリング率で、骨群のスケーリング処理を行う。例えばＬＤ２／ＬＤ１＜１である場合には、骨群の骨のスケールを縮小するスケーリング処理を行い、ＬＤ２／ＬＤ１＞１である場合には、骨群の骨のスケールを拡大するスケーリング処理を行う。

【0055】

またリターゲット処理部１０４は、時系列に入力される反映元モデルのモーションを反映先モデルのモーションに反映させるリターゲット処理を行う。そして補正処理部１０６は、リターゲット処理後の時系列の反映先モデルのモーションに対して、補正処理を行う。例えば情報取得部１０２により、時系列の反映元モデルのモーション（モーションデータ）が取得される。そして、このように時系列に取得されたモーションを、反映先モデルのモーション（モーションデータ）に反映させるリターゲット処理が実行される。そして、このようなリターゲット処理により得られた時系列の反映先モデルのモーションに対して、上述した回転処理及びスケール処理による補正処理が実行される。

【0056】

また反映元モデルのモーションは、例えば人物のモーションキャプチャにより取得されたモーションである。一方、反映先モデルのモーションは、例えば仮想的なキャラクタのモーションである。例えば人物であるアクターが、モーションキャプチャ用のスーツなどを装着して、姿勢を変化させるなどの動作を行うと、アクターのモーションが、反映元モデルのモーションとして取得される。例えば情報取得部１０２が、通信部１９６を介してモーションキャプチャのシステムでの検出情報を受信することで、反映元モデルのモーションが取得される。そしてモーションについてのリターゲット処理及び補正処理が行われて、反映先モデルのモーションとして、仮想空間に登場する仮想的なキャラクタのモーションが求められる。そして求められたモーションによりキャラクタが動作するキャラクタ画像が、画像生成部１２０により生成されて、表示部１９０に表示される。

【0057】

またリターゲット処理部１０４、補正処理部１０６は、時系列に入力される反映元モデルのモーションに基づいて、リアルタイムにリターゲット処理、補正処理を行う。例えばモーションキャプチャなどにより、反映元モデルの時系列のモーションが検出され、検出された反映元モデルの時系列のモーションに対して、リアルタイムにリターゲット処理及び補正処理が実行される。例えば反映元モデルのモーションとして第１姿勢が検出されると、第１姿勢に対するリターゲット処理及び補正処理が行われて、反映先モデルの第１姿勢に対応する姿勢がリアルタイムに求められる。次に反映元モデルのモーションとして第２姿勢が検出されると、第２姿勢に対するリターゲット処理及び補正処理が行われて、反映先モデルの第２姿勢に対応する姿勢がリアルタイムに求められる。このようにして、反映元モデルのモーションとして、第１姿勢、第２姿勢・・・・第ｍ姿勢が検出されると、これらの各姿勢に対応する反映先モデルのモーションがリアルタイム（順次）に求められる。

【0058】

また補正処理部１０６は、反映先モデル又は反映元モデルの骨群の屈伸状態を判定する。そして屈伸状態に応じて、補正処理として、回転処理及びスケーリング処理を行うか否かを判断する。例えば補正処理として、回転処理及びスケーリング処理を常に実行するのではなく、反映先モデル又は反映元モデルの骨群の屈伸状態に応じて、補正処理として、回転処理及びスケーリング処理を実行したり、実行しないようにする。例えば反映元モデルの骨群（スケルトン）の屈伸状態が、回転処理及びスケーリング処理が必要とされる状態であると判定される場合には、補正処理として、回転処理及びスケーリング処理を実行する。一方、屈伸状態が、回転処理及びスケーリング処理が必要とされない状態であると判定される場合には、補正処理として、回転処理及びスケーリング処理を実行しないようにする。

【0059】

例えば補正処理部１０６は、屈伸状態が、第１状態であると判定された場合には、補正処理として、回転処理及びスケーリング処理を行う。一方、屈伸状態が、第１状態よりも屈曲した状態である第２状態であると判定された場合には、補正処理として、第１接触関節位置を対象面に設定するインバースキネマティクス処理を行う。即ち補正処理として、回転処理及びスケーリング処理を行わずに、第１接触関節位置に対応する接触部位が対象面に接触するようにするインバースキネマティクス処理を実行する。例えば接触部位であるエンドエフェクタの部位が、対象面に接触（接地）するように、第１接触関節位置と第１基準関節位置の間の関節の関節角等を決定するインバースキネマティクス処理を実行する。

【0060】

また補正処理部１０６は、屈伸状態が、第１状態と第２の状態の間の第３状態であると判定された場合には、骨群のスケールを変更する第２スケーリング処理を行い、第２スケーリング処理の後にインバースキネマティクス処理を行う。例えば骨群の骨のスケールを拡大又は縮小する第２スケーリング処理を行い、その後に、第１接触関節位置を対象面に設定するインバースキネマティクス処理を行う。例えばインバースキネマティクス処理を行った場合にも自然な関節角になるように、骨群の骨の長辺方向等でのスケールを拡大又は縮小した後に、インバースキネマティクス処理を実行する。

【0061】

或いは補正処理部１０６は、屈伸状態が、第２状態であると判定された場合には、骨群のスケールを変更する第２スケーリング処理を行い、第２スケーリング処理の後にインバースキネマティクス処理を行う。即ち屈伸状態が第２状態であると判断された場合には、インバースキネマティクス処理の単体の補正処理ではなく、第２スケーリング処理及びインバースキネマティクス処理の両方を行う補正処理を実行する。即ち、インバースキネマティクス処理を行った場合にも自然な関節角になるように、骨群の骨の長辺方向でのスケールを拡大又は縮小した後にインバースキネマティクス処理を行うというような補正処理を実行する。

【0062】

また補正処理部１０６は、第２スケーリング処理における骨群のスケーリング率を、屈伸状態に応じて変化させる。例えば第２スケーリング処理が、骨群の骨のスケールを拡大するスケーリング処理である場合には、スケーリング率である拡大率を、屈伸状態に応じて変化させる。例えば拡大率を、１．０より大きい所与の値から１．０へと、屈伸状態に応じて変化させる。また第２スケーリング処理が、骨群の骨のスケールを縮小するスケーリング処理である場合には、スケーリング率である縮小率を、屈伸状態に応じて変化させる。例えば縮小率を、１．０より小さい所与の値から１．０へと、屈伸状態に応じて変化させる。

【0063】

また補正処理部１０６は、反映先モデルの第１基準関節位置と第１接触関節位置との距離、又は第１基準関節位置と第１接触関節位置との間の関節での関節角に基づいて、屈伸状態を判定する。或いは補正処理部１０６は、反映元モデルの第２基準関節位置と第２接触関節位置との距離、又は第２基準関節位置と第２接触関節位置との間の関節での関節角に基づいて、屈伸状態を判定する。例えば補正処理部１０６は、上記の距離が長いほど、或いは関節角が大きいほど、骨群（スケルトン）の屈伸状態は伸びた状態であると判定する。また上記の距離が短いほど、或いは関節角が小さいほど、骨群（スケルトン）の屈伸状態は屈曲した状態であると判定する。

【0064】

２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。なお、以下では、反映元モデルが人物であるアクターであり、反映先モデルが仮想的なキャラクタである場合について主に例にとり説明するが、本実施形態の手法はこれに限定されない。例えば反映元モデルも仮想的なキャラクタであってもよい。また反映先モデル等のモデルとしては、オブジェクトにより構成される種々の形状、形態のモデルオブジェクトを想定できる。

【0065】

２．１ リターゲット処理
まずリターゲット処理について説明する。図２では人物であるアクターＡＣＴが、モーションキャプチャ用のスーツＳＴを体に装着している。モーションキャプチャ用のスーツＳＴには複数のマーカーＭＫが取り付けられており、これらのマーカーＭＫの位置を測定することで、アクターのモーションを検出する。この場合の検出方式としては、光学式、慣性センサ式、機械式、磁気式などの種々の方式がある。光学式では、反射板等により実現されるマーカーＭＫが取り付けられたモーションキャプチャ用のスーツＳＴを着用したアクターＡＣＴの動きを、カメラで撮影する。その際に複数のカメラで撮影し、複数の撮影画像での画像のズレに基づいて対象までの距離を、三角測量の原理で計算することで、アクターＡＣＴの姿勢であるモーションを検出する。この場合にマーカーＭＫとして赤外線マーカーなどを用いてもよい。慣性センサ式では、マーカーとして、ジャイロセンサや加速度センサなどにより実現される慣性センサを設け、慣性センサの検出結果に基づいて、アクターＡＣＴのモーションを検出する。機械式では、ポテンションメータやエンコードなどの機械的な回転角や変位を測定するセンサを利用する。磁気式では受信器である磁気センサを設け、それに対して送出機である磁気発生装置から磁場を送る。或いは、Kinect（登録商標）と呼ばれる方式のように、デプスセンサやＲＧＢセンサを利用して、アクターＡＣＴのモーションを検出してもよい。

【0066】

このように図２では、人物であるアクターＡＣＴのモーションが、反映元モデルのモーションＭＴＳとして検出される。このモーションＭＴＳは、アクターＡＣＴに対応するスケルトンの姿勢を規定するものであり、スケルトンは、関節ＪＡ、ＪＢ、ＪＣや、これらの関節で規定される骨ＢＡ、ＢＢを有する。そして図３に示すように、反映元モデルのモーションＭＴＳを、反映先モデルのモーションＭＴＤに反映させるリターゲット処理が行われる。図３では反映先モデルは、仮想的なキャラクタＣＨであり、反映先モデルのモーションＭＴＤは、キャラクタＣＨのスケルトンの姿勢を規定するものである。反映元モデルのモーションＭＴＳと反映先モデルのモーションＭＴＤとで骨格形状が異なっている。具体的には、例えばスケルトンの関節ＪＡ、ＪＢ、ＪＣなどの位置が異なっており、骨ＢＡ、ＢＢの長さも異なっているが、スケルトンの階層構造（親子構造）などは共通になっている。例えば反映元モデルと反映先モデルは体格は異なるが、反映元モデルのスケルトンの関節位置と反映先モデルのスケルトンの関節位置はリンクされて対応づけられている。

【0067】

図２、図３のようなリターゲット処理が行われることで、反映元モデルの姿勢が変化すると、反映先モデルの姿勢もそれに応じて変化するようになる。例えば反映元モデルがしゃがむ姿勢になると、反映先モデルもしゃがむ姿勢になり、反映元モデルが足を上げる姿勢になると、反映先モデルも足を上げる姿勢になる。これにより、例えば反映元モデルであるアクターＡＣＴの動きに連動して、反映先モデルである仮想空間のキャラクタＣＨも動くようになり、アクターＡＣＴの動きをキャラクタＣＨに反映させることが可能になる。

【0068】

図４はモーションデータについての説明図である。モーションデータは、例えば図４の親の骨ＢＰＡに対する子の骨ＢＣＨの、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角度α、β、γなどの情報を含むことができる。或いはモーションデータは、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向での骨のスケーリング率などの情報を含んでもよい。例えばモーションデータは、回転角度α、β、γ等が行列要素となる行列情報などにより実現される。

【0069】

図５は本実施形態の処理システムの適用例についての説明図である。図５では処理システムは情報処理装置により実現される。即ち、この場合には情報処理装置が本実施形態の処理システムを含む構成になる。情報処理装置は、モーションデータなどの各種の情報を処理する装置であり、プロセッサ等により実現される。情報処理装置は、例えばパーソナルコンピュータや、スマートフォンなどの携帯型情報端末装置や、或いはゲーム装置などの端末装置である。或いは情報処理装置はサーバ装置であってもよい。また処理システムは端末装置とサーバ装置の分散処理により実現されてもよい。この場合には処理システムは複数の情報処理装置により実現される。この場合に端末装置は情報の入力処理や受信処理や送信処理や表示処理などだけを行うものであってもよい。

【0070】

例えば図５のアクターエリアにおいて、アクターがモーションキャプチャ用のスーツを装着して、踊りなどの動きをする。すると情報処理装置により実現される本実施形態の処理システムが、モーションキャプチャ用のスーツからの検出情報により、アクターのモーションデータを取得する。そして処理システムは、アクターのモーションを仮想的なキャラクタのモーションに反映させるリターゲット処理や補正処理を行って、アクターの動きに連動して動くキャラクタの画像を生成する。これにより、観客席の前に設けられたステージのスクリーンに、アクターの動きに連動して動く仮想的なキャラクタが表示されるようになり、仮想的なキャラクタによるライブコンサートなどを実現できる。或いは本実施形態の処理システムは、ライブコンサートに限らず、ＳＮＳや動画配信サイトなどに対して、動画配信者が仮想的なキャラクタの動画を配信する用途に用いてもよい。そして仮想的なキャラクタは、現実世界の人物の動きと同様の動きをするため、予めプログラミングされた動きをするキャラクタに比べて、動きのリアル度を高めることができ、高い演出効果のモーション再生を実現できる。なおキャラクタ画像を表示する場合には、反映先モデルのモーションデータに基づいて、キャラクタを構成する部位オブジェクトの頂点を、重み付け係数を用いてスケルトンのモーションに追従させて移動させるスキニング処理を行えばよい。

【0071】

このように本実施形態では、リアルタイムにアクターのモーションを取得して、取得されたモーションを、仮想キャラクタのモデルに対してリアルタイムに反映させて動かすようにしている。これにより、時系列に取得したモーションデータにしたがって、リアルタイムに進行する仮想的なキャラクタのライブコンサートや動画配信サイトへの動画配信などを実現できる。なお本実施形態は、ゲーム制作やアニメーション制作における仮想的なキャラクタのモーション設定などにも適用可能である。この場合に、リアルタイムに取得したモーションデータを仮想的なキャラクタのモデルに反映させてもよいし、予め取得しておいたモーションデータを仮想的なキャラクタのモデルに反映させるようにしてもよい。また、ゲームやアニメーションの制作過程において、第１のキャラクタに対応付けられたモーションを、第１のキャラクタとは骨格形状（体格等）が異なる第２のキャラクタに反映させるような場合にも、本実施形態の手法は適用可能である。

【0072】

以上のように本実施形態では、時系列に入力される反映元モデルのモーションを反映先モデルのモーションに反映させるリターゲット処理を行い、リターゲット処理後の時系列の反映先モデルのモーションに対して、後述するような補正処理を行う。例えばアクターエリアでのアクターの動きにより取得された反映元モデルのモーションが、処理システムに時系列に入力される。処理システムは、時系列に入力される反映元モデルのモーションを、反映先モデルのモーションに反映させるリターゲット処理を行い、リターゲット処理後の時系列の反映先モデルのモーションに対して補正処理を行う。このようにすれば、時系列に入力される反映元モデルのモーションを利用して、当該反映元モデルの動きに連動して動く反映先モデルのモーションを生成できるようになる。

【0073】

また本実施形態では、反映元モデルのモーションは、例えば人物のモーションキャプチャにより取得されたモーションであり、反映先モデルのモーションは、仮想的なキャラクタのモーションである。例えば図２、図３では、人物であるアクターＡＣＴのモーションがモーションキャプチャにより取得される。そして処理システムは、アクターＡＣＴのモーションを仮想的なキャラクタＣＨに反映させるリターゲット処理や、補正処理を実行する。このようにすることで、図５に示すように、アクターＡＣＴの動きに連動して動く仮想的なキャラクタＣＨの画像をスクリーンなどに表示できるようになる。

【0074】

また本実施形態では、時系列に入力される反映元モデルのモーションに基づいて、リアルタイムにリターゲット処理及び補正処理を行う。例えば図５において、アクターエリアのアクターの動きにより取得された反映元モデルのモーションが、時間経過に応じて時系列に処理システムに入力される。そして処理システムは、入力された反映元モデルのモーションに対してリアルタイムに順次にリターゲット処理及び補正処理を実行して、反映先モデルのモーションを生成する。このようにすることで、反映元モデルのモーションを反映先モデルのモーションに即時に順次に反映させることができ、反映元モデルの動きに応じて反映先モデルをリアルタイムに動かすことが可能になる。

【0075】

２．２ 補正処理
本実施形態では、反映元モデルに対応づけられたモーションを、反映元モデルとは骨格形状が異なる反映先モデルに適用する場合に、反映先モデルの動き（手や足の動き）や表示が、視聴者に対して見た目上の違和感を与えるような動きにならないようにする補正処理を行う。特に本実施形態では、反映先モデルの動きや表示に違和感が出ないようにするために、反映先モデルのスケルトンのスケール自体を変更している。

【0076】

例えば図６に反映元モデルＭＳと反映先モデルＭＤのスケルトンの例を示す。なお以下では説明の簡素化のために、スケルトンの腰から下の部分だけを示して説明を行う。また以下では、反映先モデルＭＤの方が反映元モデルＭＳよりも体格が大きい場合を例にとり説明するが、反映元モデルＭＳの方が反映先モデルＭＤよりも体格が大きくてもよい。

【0077】

図６に示すように反映元モデルＭＳと反映先モデルＭＤではスケルトンの関節位置が異なっており、関節間の骨の長さも異なっている。本実施形態では、図２、図３で説明したように、反映元モデルＭＳから、反映元モデルＭＳとは骨格形状が異なる反映先モデルＭＤにモーションを移し替えるリターゲット処理を行う。

【0078】

３Ｄでのスケルトンの計算には、一般的には、フォワードキネマティクスと呼ばれる手法が用いられる。なお、以下では、フォワードキネマティクスを、適宜、ＦＫと記載する。ＦＫでは、図７に示すように、例えば腰骨を基準に足先の骨に向けて相対的な位置関係を順次に計算して、各骨の姿勢を求めて行く。具体的には図４で説明した各骨のＸ軸、Ｙ軸、Ｚ軸回りの回転角度α、β、γを行列要素とする行列を、腰骨から足先の骨へと順次に乗算して行くことで、ＦＫが実現される。

【0079】

例えば図８では、反映元モデルＭＳのモーションが、両足の膝を曲げてかがむ姿勢のモーションになっている。この反映元モデルＭＳのモーションを反映先モデルＭＤのモーションに反映させるリターゲット処理を行うことで、反映先モデルＭＤのモーションも、両足の膝を曲げてかがむ姿勢のモーションになる。また図９では、反映元モデルＭＳのモーションが、両足を開いて膝を伸ばす姿勢のモーションになっている。この反映元モデルＭＳのモーションを反映先モデルＭＤのモーションに反映させるリターゲット処理を行うことで、反映先モデルＭＤのモーションも、両足を開いて膝を伸ばす姿勢のモーションになる。具体的には反映元モデルＭＳのモーションデータに基づくＦＫの処理を、反映先モデルＭＤのスケルトンに対して行うことで、図８、図９に示すようなリターゲット処理を実現できる。

【0080】

しかし、ＦＫを用いて、例えば腰骨の位置を基準として骨の回転情報（α、β、γ）のみを反映元モデルＭＳから反映先モデルＭＤに移し替えるリターゲット処理を行った場合、ポーズとしては同じになるが、脚の長さの違いにより、地面との位置関係に矛盾が生じてしまう。具体的には、足が完全に浮いてしまったり、足が地面に大幅にめり込んでしまう現象が生じる。基準となる腰骨の位置が、反映先モデルＭＤの脚の長さに相応しくないため、このような現象が生じてしまう。

【0081】

ここで図１０に示すように、反映元モデルＭＳの脚の長さ（ａｓ＋ｂｓ）は、反映元モデルＭＳの腰骨の高さｃｓに対応する。従って、反映先モデルＭＤの脚の長さを（ａｄ＋ｂｄ）とすると、反映元モデルＭＳの腰骨の高さｃｓに対して、脚の長さの比率である（ａｄ＋ｂｄ）／（ａｓ＋ｂｓ）を乗算することで、反映先モデルＭＤにある程度相応しい腰骨の高さｃｄを求めることができる。そして、求められた腰骨の高さｃｄに反映先モデルＭＤの腰骨の位置を設定することで、足が完全に浮いてしまったり、足が地面に大幅にめり込んでしまう現象が発生するのを防止できる。

【0082】

しかしながら、反映元モデルＭＳと反映先モデルＭＤでは、対応する各骨の比率が同じではないため、足先の接地位置に問題が生じてしまう。例えば図１１は、ＦＫの場合における第１ポーズの反映元モデルＭＳ及び反映先モデルＭＤを、前方から見た図であり、図１２は横から見た図である。図１３は、ＦＫの場合における第２ポーズの反映元モデルＭＳ及び反映先モデルＭＤを、前方から見た図であり、図１４は横から見た図である。図１１、図１２の第１ポーズでは、図１２のＡ１に示すように右足が地面に少しめり込んでおり、Ａ２に示すように左足が地面から少し浮いてしまっている。このように、ＦＫを用いた手法では、図１０のような腰骨の位置合わせを行ったとしても問題を解決できない。

【0083】

このようなＦＫの問題を解決するために、インバースキネマティクスを用いる手法が考えられる。なお、以下では、インバースキネマティクスを、適宜、ＩＫと記載する。ＩＫでは、スケルトンの末端である足先を地面の位置に設定し、そのように足先が接地した状態での膝の関節角等を自動計算する。例えば図１５は、ＩＫの場合における第１ポーズの反映元モデルＭＳ及び反映先モデルＭＤを、前方から見た図であり、図１６は横から見た図である。図１７は、ＩＫの場合における第２ポーズの反映元モデルＭＳ及び反映先モデルＭＤを、前方から見た図であり、図１８は横から見た図である。ＩＫを用いた手法では、図１８のＢ１、Ｂ２に示すように、第２ポーズのように脚が伸びるにしたがって、反映元モデルＭＳと反映先モデルＭＤとで、膝の関節角の差が大きくなり、ポーズの印象が異なったものになってしまうという問題が生じる。その原因としては、ＩＫでは、直立時の骨の比で腰骨の位置を決めているため、反映先モデルＭＤの腰骨の位置がうまく定まらないためであると考えられる。即ち、ＩＫを用いた場合であっても問題を解決できない。

【0084】

このような問題を解決するために本実施形態では、リターゲット処理後の反映先モデルＭＤの補正処理として、回転処理とスケーリング処理を行う。具体的には反映先モデルＭＤの第１基準関節位置と第１接触関節位置とを通る線が、反映元モデルＭＳの第２接触関節位置を通過するように、第１基準関節位置を回転中心として、反映先モデルの第１接触関節位置を含む関節位置群を回転移動させる回転処理を行う。また関節位置群に対応する骨群のスケールを変更するスケーリング処理を行う。これらの回転処理とスケーリング処理の順番は任意である。

【0085】

まず、図１９に示すように、ＦＫのリターゲット処理の手法により、反映元モデルＭＳから反映先モデルＭＤにモーション（ポーズ）を移し替える処理を行う。これにより反映元モデルＭＳと反映先モデルＭＤにおける膝の関節角は同じになる。

【0086】

次に図１９に示すように、反映先モデルＭＤの第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１を通る線ＬＮを求める。第１基準関節位置ＪＲ１は、本実施形態の補正処理の基準となる関節位置であり、例えば股関節（腰骨）に対応する関節位置である。第１接触関節位置ＪＴ１は、反映先モデルＭＤの対象面への接触部位の関節位置である。対象面が地面である場合には、第１接触関節位置ＪＴ１（第１接地関節位置）は、例えば反映先モデルＭＤの足関節に対応する関節位置である。線ＬＮは、第１基準関節位置ＪＲ１から第１接触関節位置ＪＴ１へと向かうレイに対応する。

【0087】

そして図２０のＲＴに示すように、第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１とを通る線ＬＮが、反映元モデルＭＳの第２接触関節位置ＪＴ２を通過するように、第１基準関節位置ＪＲ１を回転中心として、反映先モデルＭＤの関節位置群を回転移動させる回転処理を行う。即ち反映先モデルＭＤの脚全体を回転させる。例えば対象面が地面である場合には、図２０では関節位置群として、足関節に対応する第１接触関節位置ＪＴ１と、膝関節に対応する関節位置ＪＫ１が回転移動している。なお、第２接触関節位置ＪＴ２（第２接地関節位置）は、例えば反映元モデルＭＳの足関節に対応する関節位置である。

【0088】

次に図２１に示すように、反映先モデルＭＤの脚全体に適切なスケールをかける。即ち、反映先モデルＭＤの関節位置群に対応する骨群のスケールを変更するスケーリング処理を行う。例えば第１基準関節位置ＪＲ１と膝の関節位置ＪＫ１の間の骨や、膝の関節位置ＪＫ１と第１接触関節位置ＪＴ１の間の骨のスケールを縮小又は拡大するスケーリング処理を行う。具体的には、反映先モデルＭＤの第１接触関節位置ＪＴ１が反映元モデルＭＳの第２接触関節位置ＪＴ２に一致するようなスケーリング率でスケーリング処理を行う。例えば図２１では縮小のスケーリング処理を行うことで、第１接触関節位置ＪＴ１と第２接触関節位置ＪＴ２を一致させている。これにより足が地面にめり込むような状況が発生してしまうのを防止できる。なお足が地面にめり込むような状況では、縮小のスケーリング処理を行うが、足が地面から離れて浮いてしまうような状況では、拡大のスケーリング処理を行えばよい。また本実施形態では、第１接触関節位置ＪＴ１と第２接触関節位置ＪＴ２を一致させることが目的であるため、例えばスケーリング処理の後に回転処理を行うというように、処理の順番を入れ替えてもよい。

【0089】

例えば本実施形態では、第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１の距離ＬＤ１と、第１基準関節位置ＪＲ１と第２接触関節位置ＪＴ２の距離ＬＤ２との比に応じたスケーリング率で、骨群のスケーリング処理を行う。例えばスケーリング率ＳＣは、ＳＣ＝ＬＤ２／ＬＤ１と表すことができる。具体的には、図４において、少なくとも骨の長辺方向であるＸ軸方向での骨のスケーリング率ＳＣＸを変更する。或いは、Ｘ軸方向での骨のスケーリング率ＳＣＸのみならず、Ｙ軸方向でのスケーリング率ＳＣＹやＺ軸方向でのスケーリング率ＳＣＺを変更してもよい。このように、距離ＬＤ１と距離ＬＤ２の比に応じたスケーリング率で、骨群のスケーリング処理を行うことで、第１接触関節位置ＪＴ１を第２接触関節位置ＪＴ２の場所に設定することが可能になり、反映先モデルＭＤの動きや表示に違和感が生じるのを抑制できるようになる。なお、このように骨のスケーリング率を変更するスケーリング処理を行うと、脚の大きさが、例えば数パーセント程度、変わってしまうが、その差異は非常に小さいため人間の目には殆どの場合、認知できない。また、動画を視聴する人間は、主として仮想的なキャラクタの動きに注意が向く傾向があるため、脚の大きさの変化を認識しにくい。逆に、仮想的なキャラクタの動きが不適切になっている場合には、視聴する人間の注意が動きに向いているため、人間が違和感を感じやすいため、本実施形態の手法は有効である。

【0090】

図２２は、本実施形態の補正処理（回転処理及びスケーリング処理）を行った場合における第１ポーズの反映元モデルＭＳ及び反映先モデルＭＤを、前方から見た図である。図２３は、本実施形態の補正処理を行った場合における第２ポーズの反映元モデルＭＳ及び反映先モデルＭＤを、前方から見た図である。このように本実施形態の手法によれば、骨格形状が異なるモデル間でモーションを適用させる場合であっても、ポーズの印象に大きく影響する膝関節等のなす角度を維持したまま、両モデル間のリターゲット処理を行うことができる。即ち、骨格形状の異なるモデル間でモーションを適用させる場合であっても、反映先モデルに自然な動きをさせることが可能になる。

【0091】

なお以上では、対象面が地面である場合を例にとり説明したが、対象面としては、例えば壁面や天井面などの種々の面を想定できる。例えば対象面が壁面である場合には、腕の付け根に対応する肩関節を回転中心として上述したような回転処理を行うと共に、腕全体に適切なスケールをかけるスケーリング処理を行えばよい。また逆立ちの姿勢の場合には、地面が対象面になり、肩関節を回転中心とした回転処理と腕についてのスケーリング処理を行えばよい。

【0092】

図２４、図２５は、図１１～図１４で説明したＦＫを用いた手法を適用した場合において、キャラクタＣＨが踊っている様子を示す表示画像の例である。ＦＫを用いた手法では、図２４のＣ１や図２５のＣ２に示すように足が地面から不自然に浮いてしまったり、或いは、足が地面にめり込んでしまうような事態が発生してしまう。

【0093】

図２６、図２７は、図１５～図１８で説明したＩＫを用いた手法を適用した場合において、キャラクタＣＨが踊っている様子を示す表示画像の例である。ＩＫを用いた手法では、図２６のＣ３や図２７のＣ４に示すように、足が地面から浮いてしまったり、足が地面にめり込んでしまうような事態が発生するのを防止できる。しかしながら、図２７のＣ５に示すように、膝の関節部分において脚が不自然に伸びてしまうような画像が表示されてしまい、視聴者に違和感を与えてしまう。例えばキャラクタＣＨが踊っている映像では、膝が伸びてピョンピョンと跳ねているかのように見える不自然な画像になってしまう。

【0094】

図２８、図２９は、図１９～図２３で説明した本実施形態の手法を適用した場合において、キャラクタＣＨが踊っている様子を示す表示画像の例である。本実施形態の手法によれば、図２８のＣ６や図２９のＣ７に示すように、足が地面から浮いてしまったり、足が地面にめり込んでしまうような事態が発生するのを防止できる。更に図２９のＣ８に示すように、ＩＫの場合の図２７のＣ５に比べて、脚の膝の曲がり方が自然な曲がり具合になり、膝が伸びてピョンピョンと跳ねているかのように見える不自然な画像が表示されるのを防止できるようになる。

【0095】

２．３ 屈伸状態に応じた補正処理
本実施形態ではモデルの屈伸状態に応じた補正処理を行う。具体的には反映先モデル又は反映元モデルの骨群の屈伸状態を判定し、屈伸状態に応じて、補正処理として上述した回転処理及びスケーリング処理を行うか否かを判断する。このようにすれば、骨群の屈伸状態が、回転処理及びスケーリング処理による補正処理が必要な状態であると判定されたときに、当該補正処理を実行して、反映先モデルの動きや表示に違和感が生じるのを抑制できるようになる。

【0096】

そして本実施形態では、屈伸状態が、第１状態であると判定された場合には、補正処理として、回転処理及びスケーリング処理を行い、屈伸状態が、第１状態よりも屈曲した状態である第２状態であると判定された場合には、補正処理として、第１接触関節位置を対象面に設定するＩＫ処理を行う。

【0097】

例えば図３０（Ａ）の屈伸状態パラメータＰＴは、モデルの屈伸状態を表すパラメータである。例えば脚が直立して伸びきった状態での屈伸状態パラメータＰＴの値を１００（１００％）とする。脚が屈曲するにつれて、屈伸状態パラメータＰＴの値は、最大値である１００から、最小値である０へと減少して行く。即ち屈伸状態パラメータＰＴが大きいほど、脚が伸びた状態であることを表し、屈伸状態パラメータＰＴが小さいほど、脚が屈曲した状態であることを表している。

【0098】

そして図３０（Ａ）において、屈伸状態パラメータＰＴが７０～１００（７０％～１００％）であるときを第１状態ＳＴ１とし、屈伸状態パラメータＰＴが０～４０（０％～４０％）であるときを第２状態ＳＴ２とする。また屈伸状態パラメータＰＴが４０～７０（４０％～７０％）であるときを第３状態ＳＴ３とする。第２状態ＳＴ２は第１状態ＳＴ１よりも、補正処理の対象部位である脚が屈曲した状態である。第３状態ＳＴ３は第１状態ＳＴ１と第２状態ＳＴ２の間の状態である。すると図３０（Ａ）に示すように、屈伸状態が第１状態ＳＴ１である場合には、補正処理として、図１９～図２３で説明した回転処理及びスケーリング処理を行う。即ち図１９、図２０に示すように線ＬＮが、反映元モデルの第２接触関節位置ＪＴ２を通過するように、脚の関節位置群を回転移動させる回転処理と、脚の骨群のスケールを変更するスケーリング処理を行う。

【0099】

一方、屈伸状態が、第１状態ＳＴ１よりも屈曲した状態である第２状態ＳＴ２である場合には、補正処理としてＩＫ処理を行う。図３１（Ａ）、図３１（Ｂ）はＩＫ処理の一例の説明図である。図３１（Ａ）では、脚の第１接触関節位置ＪＴ１は、地面である対象面ＳＦに設定されていない。即ち対象面ＳＦに接地していない。そこで図３１（Ｂ）では、第１接触関節位置ＪＴ１を対象面ＳＦに設定するＩＫ処理を行う。ＩＫ処理では、第１基準関節位置ＪＲ１と膝の関節位置ＪＫ１を結ぶ骨ＢＭの長さ、及び関節位置ＪＫ１と第１接触関節位置ＪＴ１を結ぶ骨ＢＮの長さについてはＩＫ処理の前後で不変としながら、関節位置ＪＫ１に対応する膝の関節角が変更される。例えば第１接触関節位置ＪＴ１を対象面ＳＦに接地させることで、第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１との距離が決まり、骨ＢＭ、ＢＮの長さが不変であり決まっていることから、膝の関節角が一意に決まる。なおＩＫ処理は図３１（Ａ）、図３１（Ｂ）の手法に限定されない。例えば第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１との間に複数の関節がある場合には、第１接触関節位置ＪＴ１が対象面ＳＦに接地するという条件を満たす複数の関節の最適な関節角を、例えばヤコビアンを用いた逆運動学やクォータニオン逆運動学などの公知のアルゴリズムにより求めればよい。

【0100】

例えばＩＫにおいて不自然な事態が生じるのは、図１８のＢ１、Ｂ２や図２７のＣ５に示すように脚が伸びた状態になっているときである。そこで本実施形態では図３０（Ａ）に示すように、屈伸状態が、第２状態ＳＴ２よりも伸びた状態である第１状態ＳＴ１であるときには、本実施形態の回転処理及びスケール処理による補正処理を行う。一方、屈伸状態が、第１状態ＳＴ１よりも屈曲した状態である第２状態ＳＴ２であるときには、図１８のＢ１、Ｂ２や図２７のＣ５のように脚が伸びた状態にはなっていないため、ＩＫによる補正処理を行う。こうすることで、屈伸状態の各状態に応じた適切な補正処理を実現できるようになり、反映先モデルの動きや表示に違和感が生じるのを抑制できるようになる。

【0101】

また本実施形態では、図３０（Ａ）に示すように、屈伸状態が、第１状態ＳＴ１と前記第２状態ＳＴ２の間の第３状態ＳＴ３であると判定された場合には、骨群のスケールを変更する第２スケーリング処理を行い、第２スケーリング処理の後にＩＫ処理を行う。第３状態ＳＴ３は、第１状態ＳＴ１よりも脚（対象部位）が屈曲した状態であり、且つ、第２状態ＳＴ２よりも脚が伸びた状態である。

【0102】

図３２（Ａ）～図３２（Ｃ）は第２スケーリング処理及びＩＫ処理による補正処理の説明図である。図３２（Ａ）では、第１接触関節位置ＪＴ１が対象面ＳＦから離れて浮いている状況になっている。そこで、まず図３２（Ｂ）に示すように、第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１の間の骨群である骨ＢＭ、ＢＮのスケールを変更する第２スケーリング処理を行う。例えば図４において少なくともＸ軸方向でのスケールを変更する。図３２（Ｂ）では拡大のスケール変更を行っている。なお、第１接触関節位置ＪＴ１が対象面ＳＦから浮いてしまうような状況では拡大のスケール変更を行えばよいが、第１接触関節位置ＪＴ１が対象面ＳＦにめり込んでしまうような状況では、縮小のスケール変更を行えばよい。またＸ軸方向のみならずＹ軸方向やＺ軸方向でのスケールを変更してもよい。そして図３２（Ｂ）の第２スケーリング処理の後に、図３２（Ｃ）に示すように、第１接触関節位置ＪＴ１を対象面ＳＦに設定するＩＫ処理を行う。このようにすれば、屈伸状態が第３状態ＳＴ３であるときに、ＩＫ処理が原因で反映先モデルが不自然な屈伸状態になるのを、第２スケーリング処理を行うことで抑制できるようになる。従って、図１８のＢ１、Ｂ２や図２７のＣ５のように膝の関節部分において脚が不自然に伸びてしまうなどの事態の発生を防止しながら、第１接触関節位置ＪＴ１が対象面ＳＦから浮いてしまったり、めり込んでしまう事態の発生を防止できるようになる。

【0103】

また本実施形態では、第２スケーリング処理における骨群のスケーリング率を、屈伸状態に応じて変化させる。即ちスケーリング率である拡大率又は縮小率を、屈伸状態に応じて変化させる。

【0104】

例えば図３０（Ｂ）では、屈伸状態パラメータＰＴが１００～７０となる第１状態ＳＴ１でのスケーリング処理でのスケーリング率ＳＣ（拡大率）が１．２になっている。例えば第１接触関節位置ＪＴ１が対象面ＳＦから浮いてしまうのを防止するために、前述したように関節群の回転処理と、スケーリング率ＳＣが１．２となるスケーリング処理を行っている。この場合に、屈伸状態パラメータＰＴが７０のときには、第２スケーリング処理でのスケーリング率ＳＣも１．２に設定する。このようにすることでスケーリング率ＳＣの連続性が保たれるようになるため、第１状態ＳＴ１から第３状態ＳＴ３への切り替わり時に不自然な表示になってしまう事態が発生するのを抑制できる。そして図３０（Ｂ）では、屈伸状態パラメータＰＴが小さくなるにつれて、第２スケーリング処理でのスケーリング率ＳＣを減少させる。具体的には、屈伸状態パラメータＰＴが７０から４０へと小さくなるにつれて、スケーリング率ＳＣを１．２から１．０へと減少させる。そして屈伸状態パラメータＰＴが４０のときのスケーリング率ＳＣを１．０とすることで、スケーリング率ＳＣの連続性が保たれるようになるため、第３状態ＳＴ３から第２状態ＳＴ２への切り替わり時に不自然な表示になってしまう事態が発生するのを抑制できる。

【0105】

なお図３０（Ａ）では、屈伸状態が第２状態ＳＴ２であると判定された場合にＩＫ処理を行っているが、図３０（Ｃ）に示すように、屈伸状態が第２状態ＳＴ２であると判定された場合に、骨群のスケールを変更する第２スケーリング処理を行い、第２スケーリング処理の後にＩＫ処理を行ってもよい。即ち屈伸状態が第２状態ＳＴ２であるときに、単なるＩＫ処理を行うのではなく、第２スケーリング処理及びＩＫ処理による補正処理を行う。このようにすれば、屈伸状態が第２状態ＳＴ２であるときに、ＩＫ処理が原因で反映先モデルが不自然な屈伸状態になるのを、第２スケーリング処理を行うことで抑制できるようになる。従って、膝の関節部分において脚が不自然に伸びてしまうなどの事態が発生するのを防止しながら、第１接触関節位置ＪＴ１を対象面ＳＦから浮いてしまったり、めり込んでしまうような事態の発生を防止できるようになる。なお図３０（Ｃ）においても、図３０（Ｂ）で説明したように、第２スケーリング処理における骨群のスケーリング率ＳＣを、屈伸状態に応じて変化させるようにする。

【0106】

図３３は屈伸状態の判定処理の説明図である。図３３において、基準関節位置ＪＲは、反映先モデルの第１基準関節位置ＪＲ１又は反映元モデルの第２基準関節位置ＪＲ２である。接触関節位置ＪＴは、反映先モデルの第１接触関節位置ＪＴ１又は反映元モデルの第２接触関節位置ＪＴ２である。本実施形態では図３３において、基準関節位置ＪＲと接触関節位置ＪＴとの距離ＬＤに基づいて、屈伸状態を判定する。即ち、反映先モデルの第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１との距離、或いは反映元モデルの第２基準関節位置ＪＲ２と第２接触関節位置ＪＴ２との距離に基づいて、屈伸状態を判定する。例えば距離ＬＤが大きいほど、屈伸状態が伸びた状態であると判定し、距離ＬＤが小さいほど、屈伸状態が屈曲した状態であると判定する。或いは本実施形態では基準関節位置ＪＲと接触関節位置ＪＴの間の関節での関節角θに基づいて、屈伸状態を判定してもよい。即ち、反映先モデルの第１基準関節位置ＪＲ１と第１接触関節位置ＪＴ１との間の関節での関節角、或いは反映元モデルの第２基準関節位置ＪＲ２と第２接触関節位置ＪＴ２との間の関節での関節角に基づいて、屈伸状態を判定する。例えば関節角θが大きいほど、屈伸状態が伸びた状態であると判定し、関節角θが小さいほど、屈伸状態が屈曲した状態であると判定する。このようにすることで、距離ＬＤや関節角θを用いて、屈伸状態が伸びた状態であるか、屈曲状態であるかを適切に判定できるようになる。

【0107】

２．４ 処理例
次に本実施形態の処理例の詳細について図３４、図３５のフローチャートを用いて説明する。

【0108】

図３４では、まず反映元モデルのモーションを取得する（ステップＳ１）。図２を例にとれば、モーションキャプチャにより、反映元モデルであるアクターＡＣＴのモーションを検出して取得する。そして反映元モデルのモーションを反映先モデルのモーションに反映させるリターゲット処理を実行する（ステップＳ２）。例えば図３、図８、図９で説明したようにＦＫ処理等により反映元モデルのモーションを反映先モデルのモーションに移し替えるリターゲット処理を実行する。

【0109】

次に反映先モデルの第１基準関節位置と第１接触関節位置とを通る線が、反映元モデルの第２接触関節位置を通過するように、第１基準関節位置を回転中心として、反映先モデルの関節位置群を回転移動させる回転処理を実行する（ステップＳ３）。例えば図１９、図２０のＲＴに示すように、関節位置ＪＫ１、第１接触関節位置ＪＴ１を回転移動する回転処理を実行する。また関節位置群に対応する骨群のスケールを変更するスケーリング処理を実行する（ステップＳ４）。例えば図２１に示すように骨のスケールを縮小したり、或いは拡大するなどのスケーリング処理を実行する。そして回転処理及びスケーリング処理による補正処理後の反映先モデルのモーションに基づいて、反映先モデルの画像を生成する（ステップＳ５）。例えば反映先モデルのスケルトンに、反映先モデルを構成するオブジェクトの頂点を追従させるスキニング処理や、スキニング処理後のオブジェクトの描画処理を行うことで、仮想的なキャラクタなどの反映先モデルの画像を生成して表示する。このようにすることで、例えば図５において、アクターの動きに連動して動作する仮想的なキャラクタの画像を、視聴者に対して表示できるようになる。

【0110】

図３５では、まず反映先モデル又は反映元モデルの骨群の屈伸状態を判定する（ステップＳ１１）。例えば図３３の距離ＬＤや関節角θなどに基づいて屈伸状態を判定する。そして屈伸状態が第１状態である場合には、補正処理として回転処理及びスケーリング処理を実行する（ステップＳ１２、Ｓ１３）。例えば屈伸状態が図３０（Ａ）の第１状態ＳＴ１である場合には、図１９～図２１で説明した回転処理及びスケーリング処理を実行する。一方、屈伸状態が、第１状態ではなく第２状態である場合には、第１接触関節位置を対象面に設定するＩＫ処理を実行する（ステップＳ１４、Ｓ１５）。例えば図３１（Ａ）、図３１（Ｂ）で説明したようなＩＫ処理を実行する。また屈伸状態が第１状態及び第２状態ではなく第３状態である場合には、骨群のスケールを変更する第２スケーリング処理を実行し、その後に第１接触関節位置を対象面に設定するＩＫ処理を実行する（ステップＳ１６、Ｓ１７）。例えば図３２（Ａ）～図３２（Ｂ）で説明したような第２スケーリング処理及びＩＫ処理を実行する。

【0111】

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（対象部位等）と共に記載された用語（脚等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また情報取得処理、リターゲット処理、補正処理、回転処理、スケーリング処理、ＦＫ処理、ＩＫ処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。

【符号の説明】

【0112】

１００…処理部、１０２…情報取得部、１０４…リターゲット処理部、
１０６…補正処理部、１２０…画像生成部、１３０…音生成部、１６０…操作部、
１７０…記憶部、１７２…モーションデータ記憶部、１７４…オブジェクト情報記憶部、
１７８…描画バッファ、１８０…情報記憶媒体、１９０…表示部、１９２…音出力部、
１９４…Ｉ／Ｆ部、１９５…携帯型情報記憶媒体、１９６…通信部、
ＭＴＳ…反映元モデルのモーション、ＭＴＤ…反映先モデルのモーション、
ＭＳ…反映元モデル、ＭＤ…反映先モデル、ＡＣＴ…アクター、ＳＴ…スーツ、
ＭＫ…マーカー、ＣＨ…キャラクタ、ＪＡ、ＪＢ、ＪＣ…関節、ＢＡ、ＢＢ…骨、
ＪＲ１…第１基準関節位置、ＪＴ１…第１接触関節位置、ＪＫ１…関節位置、
ＪＲ２…第２基準関節位置、ＪＴ２…第２接触関節位置、ＪＫ２…関節位置、
ＬＮ…線、ＳＦ…対象面、ＳＣ…スケーリング率、ＰＴ…屈伸状態パラメータ、
ＳＴ１…第１状態、ＳＴ２…第２状態、ＳＴ３…第３状態、
ＪＲ…基準関節位置、ＪＴ…接触関節位置、ＪＫ…関節位置、ＬＤ…距離、θ…角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】