特表 2023-554226 作用因子が具現化された骨格アニメーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-27

(54)【発明の名称】作用因子が具現化された骨格アニメーション

(51)【国際特許分類】

   G06T 13/40 20110101AFI20231220BHJP

【ＦＩ】

G06T13/40

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023528098

(86)(22)【出願日】2021-11-22

(85)【翻訳文提出日】2023-05-10

(86)【国際出願番号】 IB2021060792

(87)【国際公開番号】W WO2022107087

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】770157

(32)【優先日】2020-11-20

(33)【優先権主張国・地域又は機関】NZ

(81)【指定国・地域】

(71)【出願人】

【識別番号】519327490

【氏名又は名称】ソウル マシーンズ リミティド

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】サガー、マーク

(72)【発明者】

【氏名】ハットン、ジョー

(72)【発明者】

【氏名】ウー、ティム

(72)【発明者】

【氏名】リベイロ、ティアゴ

(72)【発明者】

【氏名】スメック、パヴェル

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA08

5B050EA07

5B050EA12

5B050EA24

(57)【要約】

骨格アニメーションは、仮想キャラクタ又はデジタルエンティティをアニメーション化するための作動システムを使用して改善され、本作動システムは、仮想キャラクタ又はデジタルエンティティの骨格に関連付けられた複数の関節と、第１の骨格姿勢に対する骨格姿勢を規定する少なくとも１つの作動ユニット記述子とを含む。作動ユニット記述子は、回転パラメータを使用して表され、骨格の関節のうちの１つ以上は、対応する作動ユニット記述子を使用して駆動される。
【選択図】図１

【特許請求の範囲】

【請求項1】

仮想キャラクタ又はデジタルエンティティをアニメーション化するための作動システムであって、
前記仮想キャラクタ又はデジタルエンティティの骨格に関連付けられた複数の関節と、第１の骨格姿勢に対する骨格姿勢を規定する少なくとも１つの作動ユニット記述子とを含み、回転パラメータ及び前記骨格の１つ以上の前記関節を使用して表される前記作動ユニット記述子は、対応する作動ユニット記述子を使用して駆動される、作動システム。

【請求項2】

前記第１の骨格姿勢は、骨格基本姿勢である、請求項１に記載の作動システム。

【請求項3】

回転パラメータは、線形結合するように構成された回転の表現である、請求項１又は２に記載の作動システム。

【請求項4】

回転パラメータは、回転ベクトルである、請求項３に記載の作動システム。

【請求項5】

回転ベクトルは、小さく、ゼロ次であるか、又は共線である、請求項４に記載の作動システム。

【請求項6】

各作動ユニット記述子は、単一の関節を駆動するように構成されている、請求項１～５のいずれか一項に記載の作動システム。

【請求項7】

各作動ユニット記述子は、複数の関節を駆動するように構成されている、請求項１～５のいずれか一項に記載の作動システム。

【請求項8】

各作動ユニット記述子の回転変換を前記骨格に適用することは、前記仮想キャラクタ又はデジタルエンティティの骨格トポロジに類似する前記骨格トポロジを有する生物学的システムにおける１つ以上の筋肉の収縮又は弛緩を反映する骨格部分の動きを生み出す、請求項１～７のいずれか一項に記載の作動システム。

【請求項9】

仮想キャラクタ又はデジタルエンティティアニメーションを制御するための作動ユニット記述子結合器であって、前記作動ユニット記述子結合器は、線形方程式を使用して、請求項１～８のいずれか一項に記載の複数の作動ユニット記述子を結合するように構成されている、作動ユニット記述子結合器。

【請求項10】

関節角度に関してパラメータ化された所与の姿勢について、請求項９に記載の作動ユニット記述子結合器のパラメータ値を推定するための作動ユニット記述子写像器であって、前記作動ユニット記述子写像器は、
ａ．所与の姿勢パラメータを、特定の関節の周りの骨格部分の回転に関連付けられた一組の回転ベクトル値に変換するステップと、
ｂ．前記骨格の各関節に関連付けられた前記回転パラメータを含む構造Ｐ＊を構築するステップと、
ｃ．最小二乗問題を解くことによって作動ユニット記述子重みを取得するステップと、を含む、作動ユニット記述子写像器。

【請求項11】

仮想キャラクタ又はデジタルエンティティの骨格のアニメーションを生成する方法であって、
ａ．前記骨格の１つ以上の関節の回転値及び／又は並進値を変更するように構成されたアニメーション制御部として複数の作動ユニット記述子を規定するステップと、
ｂ．前記複数の作動ユニット記述子を回転パラメータに変換するステップと、
ｃ．２つ以上の入力アニメーションを融合し、作動ユニット記述子空間に変換するために、前記回転パラメータを使用するステップと、
ｄ．任意の回転表現を使用して、関節駆動型骨格上で、（ｃ）によって生成された前記アニメーションを構成及び再生するステップと、を含む、方法。

【請求項12】

仮想キャラクタ又はデジタルエンティティにおける腕の到達をアニメーション化する方法であって、補間ノードとして事前作成された例を使用して姿勢を補間するステップを含み、補間は、パラメータとしてエンドエフェクタの座標と、値として姿勢作動ユニット記述子とを有するパラメータ空間において実行される、方法。

【請求項13】

補間は、補間ノード値の重み付けされた結合によって解を表す、メッシュレス又はメッシュベースの技法を使用する、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、コンピュータグラフィックスキャラクタアニメーションに関する。より詳細には、限定はしないが、本発明の実施形態は、骨格アニメーションに関する。

【背景技術】

【0002】

アニメータによってコンピュータグラフィックスキャラクタの動作を制御する既知の方法の１つは、キャラクタの骨格のパラメータを使用してその動作を駆動することである。骨格が骨及び骨を接続する関節からなる場合、パラメータは、隣接する骨に対する特定の骨の局所的な回転を規定する関節角度を表す。これらの角度及び骨の長さの値が規定されると、各骨格構成要素の結果として生じる空間位置は、順運動学法を使用して計算することができる。

【0003】

アニメーションにおいて骨格パラメータを規定することの問題は、全身モーションキャプチャ技法を通して取り組むか、又はアニメータによって手動で指定することができる。

【0004】

アニメータが、キャプチャされた動きに何らかの変更（物理法則に従わない二次的な動き又は動作）を導入したい場合、アニメータは、骨格パラメータの新しい値を規定するためにデータを操作しなければならない。これは、通常、アニメーションオーサリングと呼ばれるプロセスを通して手動で行われ、パラメータのいかなる変更も動作メカニクスに従うべきであるので、多くの余分な労力を必要とする。

【0005】

行列形式の運動学的方程式は、骨格の動きメカニクスを特定する。これらは、順運動学計算を実行するために使用される骨格骨連鎖のための方程式を含む。パラメータの変更は、骨位置の非線形変更をもたらし、アニメータは、どのタイプの動きが特定のパラメータの結果であるかを事前に推測する必要がある。

【0006】

他の手法は、逆運動学を使用し、アニメータが骨格骨連鎖における最後の骨の空間位置及び／又は向きを指定する（ロボットアナロジにおけるエンドエフェクタ）。しかしながら、この手法は、一連の骨にわたるパラメータの計算を必要とし、骨連鎖内の特定の関節に対するパラメータ値を個々に変更したい場合、依然として手動で行われなければならない。

【0007】

関節パラメータを通して骨格アニメーションを直接制御することは、ある特定の欠点及び複雑さを有する。関節角度を手動で規定することは、多くの試行錯誤の繰り返しを必要とし、これは、通常、経験豊富なアーティストによってのみ達成することができる。骨格骨構造において特定の骨を回転させるには、関連する関節のパラメータ値（２Ｄでは２つのパラメータ、３Ｄでは３つのパラメータ）を変更する必要がある。アーティストにとってこのプロセスの最も困難な部分は、２つ以上のパラメータを同時に変更した結果を予測し、直感的に想像することが困難であることである。言い換えれば、アーティストは、骨を所望の位置に配置するために動きメカニクスの関係を心に留めておく必要がある。

【0008】

別の問題は、例えば、いくつかの生理学的に現実的な挙動を満たすために、骨格動きが制約されなければならないときに生じる。これは、すべてのパラメータについて個々の境界を指定することを必要とし、いかなる変更もこれらの制約を満たさなければならない。

【0009】

更に、角度に関するパラメータを用いて操作することは、関節角度の異なる値が対応する骨の同じ空間位置に対応し得るので、曖昧さにつながる。これは、骨格アニメーションのプロセスに追加の複雑さを導入し得る。

【発明の概要】

【0010】

本発明の目的は、骨格アニメーションを改善すること、又は少なくとも公衆若しくは業界に有用な選択肢を提供することである。

【図面の簡単な説明】

【0011】

【図1】作動ユニット記述子制御部がゼロに設定されている例の骨格基本姿勢。

【図2】「ａｒｍＡｂｄｕｃｔＲ」作動ユニット記述子の完全なアクティブ化を示している例示的な姿勢。

【図3】「ａｒｍＡｂｄｕｃｔＲ」作動ユニット記述子の部分的なアクティブ化を示している例示的な姿勢。

【図4】「ｐｏｓｅＰｅａｃｅＳｉｇｎ」及び「ｐｏｓｅＳｉｔ０１」の２つの例示的な姿勢であり、姿勢ごとに複数の作動ユニット記述子値を使用して生成されている。

【図5】「ｐｏｓｅＰｅａｃｅＳｉｇｎ」及び「ｐｏｓｅＳｉｔ０１」の２つの姿勢をブレンドした結果を示す姿勢例。融合することは、姿勢ごとの作動ユニット記述子値を使用して実行される。

【図6】骨格姿勢と作動ユニット記述子との間の対応。骨格システムの各関節は、対応する回転パラメータ（回転ベクトル）に関連付けられる。

【図7】一組の骨格姿勢Ｐｏｓｅ＿１～Ｐｏｓｅ＿ｍ（様々な姿勢例）と作動システムとの間の対応。

【図8】作動ユニット記述子結合器の概略図。

【図9】作動ユニット記述子写像器１５の概略図。

【図10】アニメーション混合器の概略図。

【図11】作動ユニット記述子ベースの動き補間器及び予測器の概略図。

【発明を実施するための形態】

【0012】

本発明の実施形態は、骨格アニメーションに関する。本発明の実施形態は、作動システム、結合器、写像器、アニメーション混合器、及び動き補間器及び予測器に関する。

【0013】

作動システム
作動システムは、骨格パラメータを操作することによって、デジタルキャラクタ（例えば、仮想キャラクタ又はデジタルエンティティ）のアニメーションを制御する問題に対処する。角度に関して直接パラメータを扱うのではなく、作動システムは、作動ユニット記述子を使用して仮想キャラクタ又はデジタルエンティティの骨格を制御する方法を提供する。

【0014】

作動ユニット記述子は、骨格システムにおける１つ以上の関節の回転及び／又は並進値を変更するために適用されるアニメーション制御である。作動ユニット記述子は、骨格の関節の運動学的構成によって表される骨格姿勢であってもよい。特定の作動ユニット記述子をアクティブ化させることによって、アニメータは、骨格アニメーションを制御することができる。

【0015】

骨格システムの可動関節は、以下を含む。
●すべての方向への動作を可能にする球窩関節、例としては、肩関節及び股関節が挙げられる。
●１つの平面に沿って１つの方向に開閉することを可能にする蝶番関節、例としては、肘関節及び膝関節が挙げられる。
●動作を可能にするが回転を可能にしない顆状関節、例としては、指関節及び顎が挙げられる。
●回転関節又はトロコイド関節とも呼ばれる車軸関節は、１つの骨が第２の骨から形成されたリング内で旋回することを可能にし、例としては、前腕を回転させる尺骨と橈骨との間の関節、及び首の第１の椎骨と第２の椎骨との間の関節が挙げられる。
●滑走関節は、例えば、手首の関節である。
●鞍関節は、例えば、親指の付け根の関節である。

【0016】

作動ユニット記述子は、骨格アニメーションにおいて一般的に使用されるグローバル又は相対的な回転表現の直接操作の代わりに使用され得る。作動ユニット記述子は、屈曲、伸展、外転などであるが、これらに限定されない、特定の解剖学的動作を行う運動学的結果と考えられ得、それとして設計され得る。

【0017】

作動ユニット記述子は、いくつかの中間状態を達成するために、０．０～１．０の範囲内のアクティブ化重みによって安全に乗算されるように規定され得る。そのような重みの範囲が０．０～１．０に保たれる限り、ＡＵＤの使用は、所与のＡＵＤに対する１．０の重みが、対応する関節に対して、特定の方向における動作の最大限度をもたらすことになるため、結果として生じる骨格動きに対して関節制限を適用することを回避することを可能にする。

【0018】

図２に示す、肩甲上腕関節の最大外転の姿勢を指定する「ａｒｍＡｂｄｕｃｔＲ」のＡＵＤを例として考えると、０．０の重みは外転が全くないことを表することになり（図１）、１．０は、関節の最大外転に対応する姿勢に腕をもってくることになり（図２）、０．５は、腕を途中まで持ち上げることになる（図３）。

【0019】

所与の実施形態では、単一の作動ユニット記述子のアクティブ化は、単一の浮動小数点値によって表され、これは、典型的な行列又は四元数表現と比較してコンパクトなフォーマットで１つ又は複数の関節の２Ｄ及び３Ｄの回転を表すことを可能にする。

【0020】

いくつかの実施形態では、作動ユニット記述子は、生物学的に着想される、すなわち、生物学的有機体（例えば、動物、哺乳動物、又はヒト）の筋肉又は筋肉群に類似又は模倣する。他の実施形態では、作動ユニット記述子は、生物学的有機体の筋肉を可能な限り厳密に複製するように構成され得る。作動ユニット記述子の効果は、単一の筋肉又は筋肉群のいずれかのアクティブ化によって単一又は複数の関節が駆動される実際の解剖学的動作に基づき得る。

【0021】

作動ユニット記述子は、関節ユニット、筋肉ユニット、又は筋肉ユニット群であってもよい。

【0022】

関節ユニットは、単一の腕、前腕、脚、指の骨、椎骨などの単一の肢又は骨の単一の解剖学的動作を表す数学的関節モデルである。関節ユニットは、所与の肢又は骨によって意図的かつ解剖学的に正確な方法で個々に行うことができる動作に対応してもしなくてもよい。

【0023】

筋肉ユニットは、単一又は複数の関節上の筋肉又は筋肉群によって行われる単一の解剖学的動作を表し、解剖学的に正確な動作に対応する概念モデルである。

【0024】

筋肉ユニット群は、複数の関節にわたって特定の解剖学的に正確な動きを駆動するために共に機能するいくつかの筋肉ユニットの活動を表す。

【0025】

これにより、作動ユニット記述子は、以下のうちの１つ以上として構成され得る。
●単一の関節の動き（例えば、単一の指節間屈曲、単一の椎骨回転）、この場合、作動ユニット記述子は関節ユニットを表す。
●単一の関節を動かす単一又は複数の筋肉（例えば、肘屈曲、腕外転）、この場合、作動ユニット記述子は筋肉ユニット群を表す。
●複数の関節を動かす単一又は複数の筋肉（例えば、深指屈筋、首屈曲）、この場合、作動ユニット記述子は筋肉ユニットを表す。
●複数の関節を動かす複数の筋肉ユニット（例えば、全脊椎、肩甲上腕骨リズム）、この場合、作動ユニット記述子は筋肉ユニット群を表す。

【0026】

所与の作動ユニット記述子は、筋肉ユニット群が１つ以上の筋肉ユニットを結合すること、かつ筋肉ユニットが関節ユニットの特殊化であることを前提として、関節ユニット及び筋肉ユニット、又は筋肉ユニット及び筋肉ユニット群を同時に表し得る。

【0027】

所与の実施形態では、骨格の各関節は、作動ユニット記述子の対応する回転パラメータと関連付けられる。

【0028】

所与の実施形態では、骨格がｎ関節を含む場合、骨格を駆動するために用いられる各作動ユニット記述子３は、ｎセクタを有する構造として表され、各セクタは、回転パラメータに関する各関節の作動ユニット記述子構成要素を含む。

【0029】

本明細書に記載の回転パラメータθは、一次的に回転ベクトルであるが、本発明はこの点で限定されない。限定はしないが、オイラー角又は回転ベクトルを含む、線形結合され得る任意の好適な回転表現が使用され得る。

【0030】

回転パラメータが回転ベクトルとして表される場合、ベクトルの大きさは、回転角度であり、その方向は、回転が生じる線である。ベクトルνが与えられると、変化δνは、δν＝ｒ×νによって回転ベクトルｒに関係付けられる。

【0031】

図６は、一組の関節、関節_１～関節_ｎを有する骨格姿勢と、各関節（関節_１～関節_ｎ）に対応する回転パラメータ４からなる作動ユニット記述子との間の対応を示す。

【0032】

数学的観点から、作動ユニット記述子は、任意の姿勢が分解され得る基礎と見なされ得る。図７は、一組の骨格姿勢、姿勢_１～姿勢_ｍと作動システム２との間の対応を示す。

【0033】

作動システムは、アニメータが、直観的に意味のあるパラメータを使用して、改善されたインターフェースを介して骨格姿勢を制御することを可能にする。例えば、仮想キャラクタ又はデジタルエンティティの腕を持ち上げるために、特定の関節に対してどの角度ベースのパラメータが指定される必要があるかを把握するのではなく、アニメータは、所定の作動ユニット記述子に対するアクティブ化重みである単一のパラメータのみを変更することができる。作動ユニット記述子で操作することは、骨格アニメーションを制御するプロセスを著しく簡略化する。

【0034】

作動システムのためのデータベースは、所与の骨格システムのための一組の回転パラメータを記憶し得る。

【0035】

結合器
結合器１０は、複雑な骨格姿勢を生成するために、個々の作動ユニット記述子を結合する。図８は、新しい骨格姿勢を生成するためにアクティブ化重みを使用するＡＵＤ結合器の表現を示す。

【0036】

一組の作動ユニット記述子が作成されると、アニメータは、以下のような線形モデルを通して任意の複雑な姿勢を構成することができる：

【0037】

【数1】

ここで、Ｐは結果として生じる姿勢であり、Ｕ_０は骨格基本姿勢であり、Ｕ_ｋは回転パラメータ（回転ベクトル）ｒ_ｊを有する作動ユニット記述子であり、ｗ_ｋは重みである。アニメータは、パラメータｗ_ｋ及びＰ＝Ｐ（ｗ）を通して新しい骨格姿勢を制御する。

【0038】

作動ユニット記述子の総和は、回転特性を有するベクトルを生み出す回転ベクトルの総和と等価である。回転ベクトルは、加法的特性及び均質的特性で線形化することができ、そのため、２つの回転ベクトルを一緒に加算すると、別の回転ベクトルが得られる。これは、回転行列及び四元数の場合には当てはまらない。一般に、このベクトル和は、一連の連続する回転を適用することと必ずしも等価ではない。ベクトルｖ並びに２つの回転ベクトルｒ_１及びｒ_２が与えられると、２つの連続する回転をベクトルｖに適用した結果は、以下の式を通して得られる：

【0039】

【数2】

ここで、最後の行では、二次項が削除されている。

【0040】

線形近似では、２つの回転の結合は２つの回転ベクトルの和として表すことができ、したがって、本モデルは、線形性の仮定の下で適用可能である。この仮定を満たすために、回転ベクトルは小さく、すなわち、ゼロ次であるか又は共線である。

【0041】

所与の実施形態では、作動ユニット記述子は、各個々の作動ユニット記述子が、他の作動ユニット記述子と重複しない１つの非ゼロ行のみを含むように指定され、これは、関連付けられた汎用筋肉が１つの単一の関節のみを駆動し、モデルが正確になることを意味する。

【0042】

それにもかかわらず、この仮定が当てはまらない場合であっても、本モデルは、依然として、適用されたときに意味のある回転ベクトルによって規定される姿勢を生成し、したがって、いくつかの関節を駆動する作動ユニット記述子を規定することは許容可能である。

【0043】

提案されたモデルの１つの利点は、骨格パラメータｗ_ｋ（写像器１５など）で操作するために様々な線形法を適用することを可能にするその線形性である。本モデルは、生成された姿勢に生理学的限界を適用するために使用することができる。例えば、ＡＵＤアクティブ化重み（重み）を０≦ｗ_ｋ≦１に制約するによって、作動ユニット記述子の任意の結合が、作動ユニット記述子において指定された値を超えることが防止される。

【0044】

加えて、このように結合された結果として生じる骨格姿勢は、アーティストによってより直観的に知覚され、その可換特性のために作業がより容易であるという結果を生み出す。

【0045】

例えば、Ｍ＝Ｒ（ｒ_１＋ｒ_２）＝Ｒ（ｒ_２＋ｒ１）は、Ｍ＝Ｒ１×Ｒ２又はＭ＝Ｒ２×Ｒ１よりも直感的な結果を生み出し、ここでＭは結果として生じる回転行列であり、Ｒ_１及びＲ_２は考慮中の２つの回転であり、ｒ_１及びｒ_２はそれらの回転ベクトル形式であり、Ｒは回転ベクトルから回転行列への変換である。

【0046】

作動ユニット記述子結合器コンピュータベースのソフトウェアライブラリは、作動ユニット記述子データセット及び一組の対応するアクティブ化重み値を取る。作動ユニット記述子結合器ライブラリは、所与のアクティブ化重み値に基づいて、所与の作動ユニット記述子を線形結合するための関数を実装する。本結合器は、結合された骨格姿勢回転を、行列、四元数、オイラー角などの任意の形式をとり得る一組の回転表現として出力する。

【0047】

他の実施形態では、上記の線形モデルは、増分及び結合作動ユニット記述子からなる非線形方程式によって置換される。例えば、国際公開第２０２００８９８１７号「ＭＯＲＰＨ ＴＡＲＧＥＴ ＡＮＩＭＡＴＩＯＮ」に記載されているモデルが使用され得、当該特許もまた、本出願人によって所有され、参照により本明細書に組み込まれる。

【0048】

写像器１５
図９は、写像器１５の概略図を示す。本写像器は、回転パラメータθに関して表現される既存の骨格姿勢を、筋肉アクティブ化ｗ_ｋ、すなわち、作動ユニット記述子のパラメータに関して表現される姿勢に変換する。本写像器１５は、モーションキャプチャ技法から得られた姿勢、又はキャラクタアニメーション若しくは他の骨格姿勢処理ソフトウェアを使用して作成された姿勢を変換し得る。

【0049】

本写像器１５は、最小二乗問題を解く。任意の回転表現Ｐ^＊（θ）を通して表現された姿勢が与えられると、それを回転パラメータ（回転ベクトル）に変換するために変換が実行される。これにより、ｎ個のセクタを有する構造Ｐ^＊（ｒ）が得られ、各セクタは、対応する関節に関連付けられた回転ベクトルである。次いで、以下の形式の最小二乗問題を解く

【0050】

【数3】

ここで、ΔＵｋ＝Ｕ_ｋ－Ｕ_０は作動ユニット記述子であり、ΔＰ^＊＝Ｐ^＊－Ｕ_０は目標姿勢と基本姿勢との間の差である。係数λｉは、指定された作動ユニット記述子重みにペナルティを課すハイパーパラメータである。最小二乗問題を解くことによって、姿勢Ｐ^＊は、作動ユニット記述子に分解され、ＡＵＤアクティブ化重みｗ_ｋが得られる。筋肉アクティブ化重みは、骨格姿勢を制御するパラメータであり、したがってＰ^＊＝Ｐ^＊（ｗ）である。第２の項は、最終的な解にスパース性を課すＬ１正則化項である。

【0051】

本写像器１５は、作動システムデータセット、最小二乗解答器設定、重みに対する制約、及びＡＵＤデータセットに対するものと同じトポロジを有する骨格に対する回転パラメータに関して表される目標姿勢を含む入力を受信する。

【0052】

本写像器１５は、最初に、任意の回転表現における目標骨格姿勢回転パラメータを回転ベクトル表現に変換するための関数と、最小二乗問題を解くための第２の関数とを実装する。本写像器１５は、結果として一組の作動ユニット記述子を出力し得る。

【0053】

図１～図５は、作動ユニット記述子制御部を使用してアニメーションフレームを融合する例を示す（各例について示す）。

【0054】

アニメーション混合器
図１０は、アニメーション混合器の概略図を示す。アニメーション混合器は、作動ユニット記述子によっても表される新しい融合されたアニメーションを生成するために、複数のソースアニメーションからの作動ユニット記述子を一緒に融合することを可能にする。

【0055】

キャラクタ動作の連続的な姿勢を表す一連のキーフレームの形式のアニメーションが与えられると、各フレームは、作動モデルを通して特定の姿勢を規定する一組の作動ユニット記述子重みとして指定される。いくつかのアニメーションを混合することは、これらのアニメーションからの対応するキーフレームの作動ユニット記述子重みを結合することによって実装され得る。フレーム重み結合は、様々な式を通して実行され得る。例えば、Ｍ_ｎフレームのＮ個のアニメーションを各々有し、各フレームｋは一組のｍ個の重みであり、アニメーションｉのフレームｋの各重みｊは、^ｉｗ_ｋ ^ｊとして表され、結果として生じる混合アニメーション重みＷは、以下の式のうちの１つを使用して計算することができる：

【0056】

【数4】

【0057】

係数ｃ_ｉは、例えば次のような異なる形式であってもよく、

【0058】

【数5】

ここでα_ｉは、混合アニメーションへの特定のアニメーションの寄与を制御するパラメータである。

【0059】

本アニメーション混合器は、入力として、キーフレームごとに１つのセクタを含む構造を通して各々表され得るアニメーションを受信し、各セクタは、その所与のフレーム上の各ＡＵＤに適用されるＡＵＤ重みを含む。行列要素を混合するための式を実装する１つの関数が実装され得る。本アニメーション混合器は、混合キーフレームごとに１つのセクタを含む構造を出力し得、各セクタは、対応するフレームに対する、結果として生じる作動ユニット記述子重みを含む。システムの各構成要素は、他のアルゴリズムと組み合わせて単独で使用することができる。本アニメーション混合器は、本開示以外の様々なフレーム混合式を組み込むことができる。

【0060】

作動ユニット記述子は、顕著な融合アーチファクトを引き起こすことなく、アニメーション混合器の使用を通じて無期限に一緒に融合することができる。

【0061】

動き補間器及び予測器
図１１は、動き補間器の概略図を示す。ここで、目標点の場所及び所望点の場所は、例えば、三次元空間におけるエンドエフェクタの場所の座標であり得る。ＡＵＤベースの手法は、動き補間技法において、例えば、キャラクタが腕を到達距離内のユーザ指定のオブジェクトに向けることを可能にする腕の到達動きにおいて使用され得る。腕の動きは、例示的な姿勢を補間することによって生成される。アーティストは、腕が様々な目標空間場所を指している状態で、一組の例示的な姿勢を作成する。実際には、これは、腕が届く距離内のキャラクタの周囲空間をまばらにカバーする点の配列であり得る。結果として、各例示的な姿勢は、以下の対に関連付けられる。特定の姿勢の作動ユニット記述子と、三次元空間内のエンドエフェクタ場所の座標である点ｐ＝（ｘ；ｙ；ｚ）（指さしする指の頂点位置）。

【0062】

こうして、例示的な動きは、点Ｐによって三次元空間においてパラメータ化される。これらの点は、作動ユニット記述子の値を有する補間グリッドのノードを表す。到達動きを制御するために、ユーザは、パラメータ空間におけるエンドエフェクタの所望の場所（キャラクタが指さしする点座標）を指定する。ランタイム段階は、近くの例を融合することによって到達姿勢を生み出す。補間システムは、ＡＵＤ結合器のためのアクティブ化重みとして使用される、補間重みを計算する。作動ユニット記述子は、これらのアクティブ化重みを使用して結合され、指定された場所を指さすキャラクタに対応する姿勢構成をもたらす。補間システムとして、例えば、メッシュレス法（放射基底関数手法）又はメッシュベース法（テンソルスプライン補間）を使用することができる。

【0063】

作動ユニット記述子の線形性及び可換特性の両方は、それらが様々なモデル構成及び訓練戦略を適用することを可能にするので、動き整合モデル及び予測機械学習（Machine Learning、ＭＬ）モデルにとって望ましい。例えば、上記の到達動きは、以下のようにＭＬを通して実装することができる。入力特徴ベクトル、隠れ層、及び出力ベクトルからなるＭＬモデル構成を有する場合、目標点の場所を入力特徴ベクトルとして使用し、対応する作動ユニット記述子を出力として使用することができる。事前作成された姿勢例でモデルを訓練することによって、モデルは、三次元空間（入力）内のエンドエフェクタ場所を姿勢構成（出力）とどのように関連付けるかを学習する。いったん訓練されると、モデルは、所望の目標点の場所を骨格姿勢構成に整合させることができる。

【0064】

解釈
本明細書に記載の本発明は、骨格パラメータを用いた操作に基づくすべての形状制御に適用することができる。本明細書に提示する例に加えて、本発明は、非ヒトのキャラクタ及び生き物の姿勢を制御するために使用することができる。システムの各構成要素は、単独で、又は他のアルゴリズムと組み合わせて使用することができる。記載の方法及びシステムは、任意の好適な電子コンピューティングシステム上で利用されてもよい。以下に記載される実施形態によれば、電子コンピューティングシステムは、様々なモジュール及びエンジンを使用して本発明の方法論を利用する。電子コンピューティングシステムは、少なくとも１つの処理装置、１つ以上のメモリデバイス、又は１つ以上のメモリデバイスに接続するためのインターフェースと、システムが１人以上のアニメータ又は１つ以上の外部システムからの命令を受信し、かつそれに応じて動作することを可能にするために外部デバイスに接続するための入力及び出力インターフェースと、様々な構成要素間の内部及び外部通信用のデータバスと、好適な電源と、を含んでもよい。更に、電子コンピューティングシステムは、外部及び内部デバイスと通信するための１つ以上の通信デバイス（有線又は無線）と、ディスプレイ、ポインティングデバイス、キーボード、又は印刷デバイスなどの１つ以上の入出力デバイスと、を含んでもよい。処理装置は、メモリデバイス内のプログラム命令として記憶されたプログラムのステップを実行するように構成される。プログラム命令は、本明細書に記載されるような本発明を実行する様々な方法が実行されることを可能にする。プログラム命令は、例えば、Ｃベースの言語及びコンパイラなどの任意の好適なソフトウェアプログラミング言語及びツールキットを使用して開発又は実装されてもよい。更に、プログラム命令は、例えば、コンピュータ可読媒体上に記憶されるなど、メモリデバイスに転送される又は処理装置によって読み取られることが可能であるように、任意の好適な様式で記憶されてもよい。コンピュータ可読媒体は、例えば、ソリッドステートメモリ、磁気テープ、コンパクトディスク（ＣＤ－ＲＯＭ又はＣＤ－Ｒ／Ｗ）、メモリカード、フラッシュメモリ、光ディスク、磁気ディスク、又は任意の他の好適なコンピュータ可読媒体などのプログラム命令を有形に記憶するための任意の好適な媒体であってもよい。電子コンピューティングシステムは、関連データを取得するために、データ記憶システム又はデバイス（例えば、外部データ記憶システム又はデバイス）と通信するように構成される。本明細書に記載されるシステムは、本明細書に記載される様々な機能及び方法を実行するように構成された１つ以上の要素を含むことが理解されよう。本明細書に記載される実施形態は、システムの要素を構成する様々なモジュール及び／又はエンジンが、機能の実装を可能にするためにどのように相互接続され得るかを示す例を読者に提供することを目的とする。更に、記載される実施形態は、システム関連詳細において、本明細書に記載される方法のステップがどのように実行され得るかを説明する。概念図は、様々な異なるモジュール及び／又はエンジンによって様々なデータ要素が異なる段階でどのように処理されるかを読者に示すために提供される。モジュール又はエンジンの配置及び構成は、様々な機能が本明細書に記載するものとは異なるモジュール又はエンジンによって実行され得るように、システム及びユーザ要件に応じて適宜適合されてもよいこと、及び、ある特定のモジュール又はエンジンが単一のモジュール又はエンジンに組み合わされてもよいことが理解されよう。記載されるモジュール及び／又はエンジンは、任意の好適な形態の技術を使用して実装され、命令を提供され得ることが理解されよう。例えば、モジュール又はエンジンは、任意の好適な言語で書かれた任意の好適なソフトウェアコードを使用して実装又は作成されてもよく、コードはその後、任意の好適なコンピューティングシステム上で実行され得る実行可能プログラムを生成するようにコンパイルされる。代替的に、又は実行可能プログラムと併せて、モジュール又はエンジンは、ハードウェア、ファームウェア、及びソフトウェアの任意の好適な組み合わせを使用して実装されてもよい。例えば、モジュールの一部分は、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、システムオンチップ（system-on-a-chip、ＳｏＣ）、フィールドプログラマブルゲートアレイ（field programmable gate arrays、ＦＰＧＡ）、又は任意の他の好適な適応可能若しくはプログラム可能な処理デバイスを使用して実装されてもよい。本明細書に記載される方法は、記載されたステップを実行するように具体的にプログラムされた汎用コンピューティングシステムを使用して実装されてもよい。代替的に、本明細書に記載される方法は、データソート及び可視化コンピュータ、データベースクエリコンピュータ、グラフィック分析コンピュータ、データ分析コンピュータ、製造データ分析コンピュータ、ビジネスインテリジェンスコンピュータ、人工知能コンピュータシステムなど、特定の分野と関連付けられた環境からキャプチャされた特異的なデータに対して、記載されたステップを実行するように具体的に適合されている、特定の電子コンピュータシステムを使用して実装されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2022-09-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

仮想キャラクタ又はデジタルエンティティをアニメーション化するための作動システムであって、
前記仮想キャラクタ又はデジタルエンティティの骨格に関連付けられた複数の関節と、第１の骨格姿勢に対する骨格姿勢を規定する少なくとも１つの作動ユニット記述子とを含み、回転パラメータ及び骨格の１つ以上の関節を使用して表される前記作動ユニット記述子は、対応するアクティブ化重みによって乗算される対応する作動ユニット記述子を使用して駆動される、作動システム。

【請求項2】

前記第１の骨格姿勢は、骨格基本姿勢である、請求項１に記載の作動システム。

【請求項3】

回転パラメータは、線形結合するように構成された回転の表現である、請求項１又は２に記載の作動システム。

【請求項4】

各作動ユニット記述子は、単一の関節を駆動するように構成されている、請求項１～３のいずれか一項に記載の作動システム。

【請求項5】

各作動ユニット記述子は、複数の関節を駆動するように構成されている、請求項１～３のいずれか一項に記載の作動システム。

【請求項6】

各作動ユニット記述子の回転変換を前記骨格に適用することは、前記仮想キャラクタ又はデジタルエンティティの骨格トポロジに類似する前記骨格トポロジを有する生物学的システムにおける１つ以上の筋肉の収縮又は弛緩を反映する骨格部分の動きを生み出す、請求項１～５のいずれか一項に記載の作動システム。

【請求項7】

仮想キャラクタ又はデジタルエンティティアニメーションを制御するための作動ユニット記述子結合器であって、前記作動ユニット記述子結合器は、線形方程式を使用して、請求項１～６のいずれか一項に記載の複数の作動ユニット記述子を結合するように構成されている、作動ユニット記述子結合器。

【請求項8】

関節角度に関してパラメータ化された所与の姿勢について、請求項７に記載の作動ユニット記述子結合器のパラメータ値を推定するための作動ユニット記述子写像器であって、前記作動ユニット記述子写像器は、
ａ．所与の姿勢パラメータを、特定の関節の周りの骨格部分の回転に関連付けられた一組の回転ベクトル値に変換するステップと、
ｂ．前記骨格の各関節に関連付けられた前記回転パラメータを含む構造Ｐ＊を構築するステップと、
ｃ．最小二乗問題を解くことによって作動ユニット記述子重みを取得するステップと、を含む、作動ユニット記述子写像器。

【請求項9】

仮想キャラクタ又はデジタルエンティティの骨格のアニメーションを生成する方法であって、
ａ．前記骨格の１つ以上の関節の回転値及び／又は並進値を変更するように構成されたアニメーション制御部として複数の作動ユニット記述子を規定するステップと、
ｂ．前記複数の作動ユニット記述子を回転パラメータに変換するステップと、
ｃ．２つ以上の入力アニメーションを融合し、作動ユニット記述子空間に変換するために、前記回転パラメータを使用するステップと、
ｄ．任意の回転表現を使用して、関節駆動骨格上で、（ｃ）によって生成された前記アニメーションを構成及び再生するステップと、を含む、方法。

【請求項10】

仮想キャラクタ又はデジタルエンティティにおける腕の到達をアニメーション化する方法であって、
パラメータ空間において仮想キャラクタ又はデジタルエンティティの腕のエンドエフェクタの所望の場所を受信するステップと、各々がエンドエフェクタの座標及び姿勢作動ユニット記述子に関連付けられた、例示的な姿勢を取り出すステップと、
前記例示的な姿勢を補間ノードとして使用して姿勢を補間することによって、補間された姿勢を生成するステップであって、補間は、パラメータとしてエンドエフェクタの座標と、値として姿勢作動ユニット記述子と、を有するパラメータ空間において実行される、生成するステップと、
前記補間された姿勢を使用して前記腕の到達をアニメーション化するステップと、を含む、方法。

【請求項11】

補間は、補間ノード値の重み付けされた組み合わせによって解を表すメッシュレス又はメッシュベースの技法を使用する、請求項１０に記載の方法。

【国際調査報告】