(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-24
(45)【発行日】2023-04-03
(54)【発明の名称】細かいしわを有する顔メッシュ変形
(51)【国際特許分類】
G06T 19/20 20110101AFI20230327BHJP
G06T 17/20 20060101ALI20230327BHJP
【ＦＩ】
G06T19/20
G06T17/20
【請求項の数】
20
(21)【出願番号】P 2022551385
(86)(22)【出願日】2021-02-10
(65)【公表番号】
(43)【公表日】2023-02-09
(86)【国際出願番号】 IB2021051051
(87)【国際公開番号】W WO2021171118
(87)【国際公開日】2021-09-02
【審査請求日】2022-08-25
(31)【優先権主張番号】762119
(32)【優先日】2020-02-26
(33)【優先権主張国・地域又は機関】NZ
【早期審査対象出願】
(73)【特許権者】
【識別番号】519327490
【氏名又は名称】ソウル マシーンズ リミティド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ホッジス、コリン
(72)【発明者】
【氏名】グールド、デイヴィッド
(72)【発明者】
【氏名】サガー、マーク
(72)【発明者】
【氏名】ウー、ティム
(72)【発明者】
【氏名】ファン ホーフェ、シビル
(72)【発明者】
【氏名】ネジャティ、アリレザ
(72)【発明者】
【氏名】オレワゲン、ヴェルナー
(72)【発明者】
【氏名】チャン、シュエユアン
【審査官】橘 高志
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０１３０２５６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１８８４１５（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１０６１００５０（ＣＮ，Ａ）
【文献】特開２００７－２６５３９６（ＪＰ，Ａ）
【文献】中国特許出願公開第１０１８２６２１７（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／２０
Ｇ０６Ｔ １７／２０
(57)【特許請求の範囲】
【請求項1】
細かいしわを有する顔メッシュ変形を提供するための方法であって、前記方法は、コンピュータシステムによって実行され、前記方法は、ニュートラルメッシュ及び前記ニュートラルメッシュ上の複数の初期制御点位置を受信することであって、前記ニュートラルメッシュは、顔の三次元スキャン画像に基づいている、ことと、
非ニュートラルな顔表情に対応する複数のユーザ定義の制御点位置を受信することと、
前記初期制御点位置及び前記ユーザ定義の制御点位置のＲＢＦ補間に基づいて、放射基底関数（ＲＢＦ）変形メッシュを生成することと、
前記ＲＢＦ変形メッシュ及び前記ユーザ定義の制御点に基づいて、予測しわ変形データを生成することであって、前記予測しわ変形データは、１つ以上のカスケード型リグレッサネットワークによって生成される、ことと、
クライアントデバイス上でユーザインターフェース内に表示するために、前記予測しわ変形データに基づいて、しわを有する最終変形メッシュを提供することと、を含む、方法。
【請求項2】
前記ＲＢＦ補間は、前記初期制御点位置と前記ニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルを表す計算された拡散流に対応する、請求項１に記載の方法。
【請求項3】
前記ＲＢＦ変形メッシュは、前記初期制御点位置及び前記ユーザ定義の制御点位置のスプライン補間に更に基づいており、前記スプライン補間は、前記ＲＢＦ補間の前に実行される、請求項１に記載の方法。
【請求項4】
前記１つ以上のカスケード型リグレッサネットワークは、複数の訓練例で訓練され、前記訓練例のそれぞれは、例示的なＲＢＦ変形メッシュを含む、請求項１に記載の方法。
【請求項5】
前記訓練例のそれぞれは、前記例示的なＲＢＦ変形メッシュを複数の固有な顔領域にセグメント化することによって生成されたセグメンテーションマスクを更に含み、カスケード型リグレッサネットワークは、それぞれの固有な顔領域で訓練される、請求項４に記載の方法。
【請求項6】
前記１つ以上のカスケード型リグレッサネットワークは、初期頂点変位データを予測するように構成された変位リグレッサを含む、請求項１に記載の方法。
【請求項7】
前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記予測初期頂点変位データに基づいて、しわを含むプレビュー変形メッシュを提供することであって、前記プレビュー変形メッシュは、前記変位リグレッサが前記初期頂点変位データを予測すると、リアルタイムで又は実質的にリアルタイムで表示するために提供される、ことを更に含む、請求項６に記載の方法。
【請求項8】
前記ユーザ定義の制御点位置の周辺の局所変形勾配テンソルを計算することと、前記局所変形勾配テンソルをＬｉｅテンソルに変換することと、を更に含み、
前記１つ以上のカスケード型リグレッサネットワークは、前記Ｌｉｅテンソルに基づいて変形勾配テンソルを予測するように構成された変形勾配リグレッサを含む、請求項１に記載の方法。
【請求項9】
前記予測変形勾配テンソルを前記ＲＢＦ変形メッシュの頂点座標に変換することを更に含む、請求項８に記載の方法。
【請求項10】
前記初期制御点位置を、複数の前のＲＢＦ変形メッシュから画定された超空間にマッピングすることと、マッピングされた前記初期制御点位置と前記ユーザ定義の制御点位置との間の距離を計算することと、
前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記距離及びマッピングされた前記初期制御点位置を視覚的フィードバックガイダンスとして提供することと、を更に含む、請求項１に記載の方法。
【請求項11】
追加の顔の三次元スキャン画像に基づいて、前記しわ変形データを１つ以上の追加のメッシュにマッピングすることを更に含む、請求項１に記載の方法。
【請求項12】
前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記最終変形メッシュに基づいて、１つ以上の顔面動作符号化システム（ＦＡＣＳ）正規化メッシュを提供することであって、前記予測しわ変形データは独立しており、前記１つ以上のＦＡＣＳ正規化メッシュのそれぞれから除去される、ことを更に含む、請求項１に記載の方法。
【請求項13】
前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、複数の交換可能な顔テクスチャを提供することであって、前記交換可能な顔テクスチャはそれぞれ、前記しわ変形データ及び前記最終変形メッシュのうちの少なくとも１つと位置合わせされたしわを含む、ことを更に含む、請求項１に記載の方法。
【請求項14】
細かいしわを有する顔メッシュ変形を提供するための命令を含む非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムによって実行されるものであり、前記非一時的コンピュータ可読媒体は、ニュートラルメッシュ及び前記ニュートラルメッシュ上の複数の初期制御点位置を受信するための命令であって、前記ニュートラルメッシュは、顔の三次元スキャン画像に基づく、命令と、
非ニュートラルな顔表情に対応する複数のユーザ定義の制御点位置を受信するための命令と、
前記初期制御点位置及び前記ユーザ定義の制御点位置のＲＢＦ補間に基づいて、放射基底関数（ＲＢＦ）変形メッシュを生成するための命令と、
前記ＲＢＦ変形メッシュ及び前記ユーザ定義の制御点に基づいて予測しわ変形データを生成するための命令であって、前記予測しわ変形データは、１つ以上のカスケード型リグレッサネットワークによって生成される、命令と、
クライアントデバイス上でユーザインターフェース内に表示するために、前記予測しわ変形データに基づいて、しわを含む最終変形メッシュを提供するための命令と、を含む、非一時的コンピュータ可読媒体。
【請求項15】
前記ＲＢＦ補間は、前記初期制御点位置と前記ニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルを表す計算された拡散流に対応する、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記１つ以上のカスケード型リグレッサネットワークは、複数の訓練例で訓練され、前記訓練例のそれぞれは、例示的なＲＢＦ変形メッシュを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記訓練例のそれぞれは、前記例示的なＲＢＦ変形メッシュを複数の固有な顔領域にセグメント化することによって生成されたセグメンテーションマスクを更に含み、カスケード型リグレッサネットワークは、それぞれの固有な顔領域で訓練される、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記１つ以上のカスケード型リグレッサネットワークは、初期頂点変位データを予測するように構成された変位リグレッサを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記予測初期頂点変位データに基づいて、しわを含むプレビュー変形メッシュを提供するための命令であって、前記プレビュー変形メッシュは、前記変位リグレッサが前記初期頂点変位データを予測すると、リアルタイムで又は実質的にリアルタイムで表示するために提供される、命令を更に含む、請求項１８に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記ユーザ定義の制御点位置の周辺で局所変形勾配テンソルを計算するための命令と、前記局所変形勾配テンソルをＬｉｅテンソルに変換するための命令と、を更に含み、
前記１つ以上のカスケード型リグレッサネットワークは、前記Ｌｉｅテンソルに基づいて変形勾配テンソルを予測するように構成された変形勾配リグレッサを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、コンピュータグラフィックスに関し、より具体的には、細かいしわを有する顔メッシュ変形を提供するための方法及び装置に関する。
【背景技術】
【0002】
コンピュータグラフィックス及びコンピュータアニメーションの分野において、急速に関心が高まっている領域は、写実的な、生きているようなデジタルアバター、デジタルアクター、及び本物の人間のデジタル表現（以下、総称して「デジタルアバター」又は「デジタル人間」とする）の製作である。そのようなアバターは、とりわけ、映画及びビデオゲーム業界内で高い需要がある。近年、そのようなデジタルアバターを、時間、労力、及び処理コストを抑えつつ、より広い規模で生成することが技術的に可能になったことから、この関心が高まっている。
【0003】
そのような経験は何年にもわたって確立され、消費者にとって可能であるが、デジタルアバターがスカルプティングアーティストによる最小限の手作業量で大規模に生成され得るところまで、これらのコストを下げるには、課題が残されている。典型的なアプローチは、人の何百ものスキャンを取ることであり、次いでこれらのスキャンから、スキャンごとに顔メッシュを用いてメッシュトポロジーが作製され得る。それぞれの顔メッシュは典型的に、アーティストのチームが、メッシュをスカルプトして、顔メッシュ上に誤って配置された、存在しない、又は不要な制御点をもたらす数々のエラー及び不正確さを補正することを必要とする。顔メッシュは、その後、必要に応じてテクスチャ及び特徴（例えば、皮膚、唇、毛）を追加した後に、ゲーム及び映画での使用に適応され得る。
【0004】
しかしながら、このアプローチの問題は、非常に時間がかかることである。スキャン部分が比較的安価である場合であっても、生成されるメッシュに引き継がれる不正確さとアーチファクトで定期的に満たされるため、多くの場合は、数人のデジタルアーティストがスキャンデータをクリーンアップすることを必要とされる。加えて、最終結果として単に１つのデジタル人間を作製するのではなく、数十又は数百の潜在的なデジタル人間用のテンプレートを潜在的に作製することへの需要が高まってきている。既存の方法を使用して、異なるアバター間で同様の品質、表現、及びジェスチャとの一貫性をもつことは困難である。
【0005】
異なるアバターを標準化するための一般的な方法は、固定された顔表情及び顔の基本的な動きを可能にする顔面動作符号化システム（Facial Coding Action System、ＦＡＣＳ）である。しかしながら、ＦＡＣＳでは、全てのアバター間で表情及び顔を標準化する上で潜在的に大きな管理タスクが発生する。人間の顔の変化量は、下にある骨構造内の解剖学的特徴を区別するのに困難をもたらす。ＦＡＣＳでは、固有な顔が全て同じ表情を有することを可能にするために、人の固有な骨及び組織構造（すなわち、固有な顔面同一性）ではなく生理学的な動きのみを記述することが目標である。しかしながら、ある顔のそれぞれの顔表情には、筋肉収縮だけでなく、顔の筋肉が顔の下にある骨構造上を摺動する特定の方法がある。ＦＡＣＳ標準化に基づいて不正確さが生じる１つの主な領域は、顔表情の変化に基づいたしわ及び皮膚のひだがどのように顔に現れるかを捉えることである。したがって、デジタルアーティストは、これらの生理学的な動きを、標準化された顔表情にわたる異なる顔の細かいしわ及び皮膚のひだを含むように、その動きが表す骨構造に基づいた固有な方法に適応させる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
このように、コンピュータグラフィックスの分野において、細かいしわ及び皮膚のひだのある現実的に変形した顔メッシュを提供するための新しく有用なシステム及び方法を創造する必要がある。本発明者らが発見したように、問題の原因は、詳細な方法で顔表情の変形を捉えるための正確な自動化方法の欠如である。
【0007】
一実施形態は、細かいしわを有する顔メッシュ変形を提供することに関する。システムは、顔のスキャンに基づいたニュートラルメッシュと、ニュートラルメッシュ上の初期制御点位置とを受信する。システムはまた、非ニュートラルな顔表情に対応するいくつかのユーザ定義の制御点位置を受信する。システムは、最初に、初期制御点位置及びユーザ定義の制御点位置のＲＢＦ補間に基づいて、放射基底関数（radial basis function、ＲＢＦ）変形メッシュを生成する。システムは、次いで、ＲＢＦ変形メッシュ及びユーザ定義の制御点に基づいて予測しわ変形データを生成し、予測しわ変形データは、１つ以上のカスケード型リグレッサネットワークによって生成される。最後に、システムは、クライアントデバイス上のユーザインターフェース内に表示するために、予測しわ変形データに基づいて、しわを有する最終の変形メッシュを提供する。
【0008】
別の実施形態は、ニュートラルメッシュ内の初期制御点位置と他の全ての頂点との間の測地距離のガウスカーネルを表す拡散流を計算し、次いで、計算された拡散流に基づいて、初期制御点位置及びユーザ定義の制御点位置のＲＢＦ補間を決定することに関する。
【0009】
別の実施形態は、いくつかの例示的なＲＢＦ変形メッシュのそれぞれを、いくつかの固有な顔領域にセグメント化し、次いで、例示的なＲＢＦ変形メッシュのそれぞれの固有な顔領域でカスケード型リグレッサネットワークを訓練することに関する。次いで、これらの訓練されたリグレッサネットワークが使用されて、ＲＢＦ変形メッシュ及びユーザ定義の制御点に基づいて予測しわ変形データが生成される。
【0010】
別の実施形態は、１つ以上のカスケード型リグレッサネットワークのそれぞれの一部として変位リグレッサを使用して、初期頂点変位データを予測することに関する。システムは、次いで、クライアントデバイス上でユーザインターフェース内に表示するために、予測初期頂点変位データに基づいて、しわを有するプレビュー変形メッシュを提供する。システムは、次いで、１つ以上のカスケード型リグレッサネットワークのそれぞれの一部として変形勾配リグレッサを使用して、変形勾配テンソルを予測する。
【0011】
これらの実施形態の特徴及び構成要素は、以下の説明において更に詳細に記載される。追加の特徴及び利点はまた、以下の説明に記載されており、説明から一部推測されるか、又は実施形態の実施によって習得され得る。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本明細書では、本発明の特定の実施形態を詳細に参照する。実施形態又はそれらの態様のいくつかは、図面に示されている。
【0014】
説明を明確にするために、本発明は、特定の実施形態を参照して説明されているが、本発明は、記載された実施形態に限定されないことを理解されたい。反対に、本発明は、任意の特許請求の範囲によって定義されるその範囲内に含まれ得る代替、修正、及び等価物を包含する。本発明の以下の実施形態は、特許請求される発明の一般性が損なわれることなく、かつ特許請求される発明に制限を課すことなく記載されている。以下の説明では、本発明の完全な理解を提供するために、具体的な詳細が記載されている。本発明は、これらの具体的な詳細の一部又は全部を伴わずに実施され得る。加えて、本発明を不必要に不明瞭にすることを避けるために、周知の特徴は詳細に記載されていない場合がある。
【0015】
加えて、この例示的な特許に記載される例示的な方法の工程は、本明細書に提示される順序とは異なる順序で実行されてもよいことを理解されたい。更に、例示的な方法のいくつかの工程は、順次実行されるのではなく、並行して実行されてもよい。また、例示的な方法の工程は、いくつかの工程がネットワーク化された環境内の異なるコンピュータによって実行されるネットワーク環境内で実行されてもよい。
【0016】
いくつかの実施形態は、細かいしわを有する顔メッシュ変形を提供することに関する。本明細書で使用されるとき、「顔メッシュ」は、例えば、顔、頭、体、体の部分、物体、解剖学的構造、テクスチャ、テクスチャオーバーレイ、及び任意の他の好適なメッシュ構成要素又は要素に関係するメッシュなどを含む、デジタルアバターに関連する様々なコンピュータグラフィックス及びコンピュータアニメーションメッシュを企図することが理解されるものとする。本明細書で使用されるとき、「変形」は、顔表情、ジェスチャ、動き、何らかの外力若しくは体の影響、解剖学的変化、又はメッシュへの任意の他の好適な変形若しくは変化の結果として引き起こされる変形を含む、メッシュに対する様々な変形及び変化を企図することが理解されるものとする。本明細書で使用されるとき、「細かいしわ」及び「しわ」は、様々なしわ、皮膚のひだ、深いしわ、隆起、小じわ、へこみ、及びそうでなければ平滑又は半平滑な表面の他の中断部を企図することが理解されるものとする。典型的な例としては、例えば、加齢によるしわ又は皮膚のひだ、並びに、一般的に様々な方法で皮膚を伸ばす、ないしは別の方法で動かす顔表情によってほじる顔の皮膚のくぼみ、目元のしわ、水に晒されることによって生じる皮膚のしわ、並びに「笑いじわ」、すなわち、典型的にほほ笑むこと又は笑うことによって生じる口及び目の外角周辺の小じわ若しくはしわが挙げられる。多くの他のそのような可能性が企図され得る。
【0017】
Ｉ．例示的な環境
図１Ａは、いくつかの実施形態が動作し得る例示的な環境を示す図である。例示的な環境１００では、クライアントデバイス１２０及び任意選択のスキャンデバイス１１０は、変形エンジン１０２に接続されている。変形エンジン１０２及び任意選択のスキャンデバイス１１０は、任意選択的に、スキャンデータベース１３０、メッシュデータベース１３２、制御点データベース１３４、及び／又は例データベース１３６を含む１つ以上の任意選択のデータベースに接続される。データベースのうちの１つ以上は、組み合わされるか、又は複数のデータベースに分割されてもよい。この環境内のスキャンデバイス及びクライアントデバイスは、コンピュータであり得る。
図１Ａは、いくつかの実施形態が動作し得る例示的な環境を示す図である。例示的な環境１００では、クライアントデバイス１２０及び任意選択のスキャンデバイス１１０は、変形エンジン１０２に接続されている。変形エンジン１０２及び任意選択のスキャンデバイス１１０は、任意選択的に、スキャンデータベース１３０、メッシュデータベース１３２、制御点データベース１３４、及び／又は例データベース１３６を含む１つ以上の任意選択のデータベースに接続される。データベースのうちの１つ以上は、組み合わされるか、又は複数のデータベースに分割されてもよい。この環境内のスキャンデバイス及びクライアントデバイスは、コンピュータであり得る。
【0018】
例示的な環境１００は、簡略化のために１つのスキャンデバイス、クライアントデバイス、及び変形エンジンのみで示されているが、実際には、より多くの又はより少ないスキャンデバイス、クライアントデバイス、及び／又は変形エンジンが存在し得る。いくつかの実施形態では、スキャンデバイス及びクライアントデバイスは、互いに、並びに変形エンジンと通信し得る。いくつかの実施形態では、スキャンデバイス、クライアントデバイス、及び変形エンジンのうちの１つ以上は、同じコンピュータ又はデバイスの一部であり得る。
【0019】
一実施形態では、変形エンジン１０２は、方法２００又は本明細書の他の方法を実行し、その結果、細かいしわを有するメッシュ変形を提供し得る。いくつかの実施形態では、これは、クライアントデバイス１２０又は他のデバイス（複数可）とアプリケーションサーバ又はいくつかの他のネットワークサーバとの間のネットワーク上でのクライアントデバイス又は他のデバイス（複数可）との通信を介して達成され得る。いくつかの実施形態では、変形エンジン１０２は、コンピュータ若しくは同様のデバイス上でホストされるアプリケーションであるか、又はそれ自体が、本明細書の方法及び実施形態のいくつかを実行するためにアプリケーションをホストするように構成されたコンピュータ若しくは同様のデバイスである。
【0020】
スキャンデバイス１１０は、アクター又は他の人間からスキャンした画像データをキャプチャするためのデバイスである。いくつかの実施形態では、スキャンデバイスは、カメラ、コンピュータ、スマートフォン、スキャナ、又は同様のデバイスであり得る。いくつかの実施形態では、スキャンデバイスは、人間対象の三次元（以下「３Ｄ」）スキャンの生成を実行する又はその実行を容易にするように構成されたアプリケーションをホストするものであり、かつ／又はそのようなアプリケーションをホストするデバイスと通信可能である。いくつかの実施形態では、プロセスは、３Ｄ撮像、スキャン、再構成、モデリング、及びスキャンを生成するための任意の他の好適な又は必要な技術を含み得る。スキャンデバイスは、３Ｄ顔スキャンを含む、人間の３Ｄ画像をキャプチャするように機能する。いくつかの実施形態では、スキャンデバイス１１０は、スキャンされた画像及び関連するスキャンデータを任意選択のスキャンデータベース１３０に送信する。スキャンデバイス１１０はまた、スキャンされた画像及び関連するスキャンデータを、処理及び分析のために変形エンジン１０２に送信する。いくつかの実施形態では、スキャンデバイスは、写真測量、断層撮影、光検出、及びライダー（light detection and ranging、ＬＩＤＡＲ）、赤外線若しくは構造光、又は任意の他の好適な技術を含む様々な技術を使用し得る。いくつかの実施形態では、スキャンデバイスは、いくつかのセンサ、カメラ、加速度計、ジャイロスコープ、慣性計測装置（inertial measurement unit、ＩＭＵ）、及び／又はスキャンプロセスを実行するために必要な他の構成要素若しくはデバイスを含むか、又は該構成要素若しくはデバイスと通信可能である。いくつかの実施形態では、３Ｄ座標データ、６軸データ、点群データ、及び／又は任意の他の好適なデータなど、スキャンに関連するメタデータが追加的に生成される。
【0021】
クライアントデバイス１２０は、変形エンジン１０２との間で情報を送受信するデバイスである。いくつかの実施形態では、クライアントデバイス１２０は、コンピュータグラフィック及びコンピュータアニメーションコンテキスト内でスカルプティングアーティストなどのデジタルアーティストにユーザインターフェースを提供するアプリケーションをホストし、実行することができるコンピューティングデバイスである。いくつかの実施形態では、クライアントデバイス１２０は、コンピュータデスクトップ若しくはラップトップ、携帯電話、仮想現実若しくは拡張現実デバイス、ウェアラブル、又は情報を送受信することができる任意の他の好適なデバイスであり得る。いくつかの実施形態では、変形エンジン１０２は、クライアントデバイス１２０上で実行されるアプリケーションとして全体的又は部分的にホストされ得る。
【0022】
スキャンデータベース１３０、メッシュデータベース１３２、制御点データベース１３４、及び例データベース１３６のうちの１つ以上を含む任意選択のデータベースは、それぞれに、スキャンされた画像及びスキャンメタデータと、メッシュ及びメッシュメタデータと、制御点及び制御点位置データを含む制御点メタデータと、例えば、例示的なメッシュ、セグメンテーションマスク、及び／又は変形例を含む例示的なデータ及びメタデータと、を格納及び／又は維持するように機能する。任意選択のデータベース（複数可）はまた、変形エンジン１０２が本明細書の方法及びシステムの要素を実行するための任意の他の好適な情報を格納及び／又は維持し得る。いくつかの実施形態では、任意選択のデータベース（複数可）は、システム１００の１つ以上の構成要素によって（例えば、変形エンジン１０２によって）クエリされ得、データベース（複数可）に格納された特定のデータを取得し得る。
【0023】
図１Ｂは、本明細書に記載の機能のいくつかを実行し得るソフトウェアモジュールを備えた例示的なコンピュータシステム１５０を示す図である。
【0024】
制御点モジュール１５２は、ニュートラルメッシュ及び初期制御点位置を受信するように、並びにユーザ定義の制御点位置を受信するように機能する。いくつかの実施形態では、制御点モジュール１５２は、例えば、任意選択の制御点データベース１３４及び／又はメッシュデータベース１３２などの１つ以上のデータベースから上記を取得する。いくつかの実施形態では、制御点モジュール１５２は、制御点データベース１３４などの１つ以上のデータベース内に、更新された制御点位置などの制御点情報を追加的に格納し得る。
【0025】
補間モジュール１５４は、初期制御点位置及びユーザ定義の制御点位置の放射基底関数補間に基づいて、放射基底関数変形メッシュを生成するように機能する。いくつかの実施形態では、補間は、補間モジュール１５４が、初期制御点位置とユーザ定義の制御点位置との間の１つ以上の距離を計算することに基づく。いくつかの実施形態では、距離は、初期制御点位置とニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルとして表される。
【0026】
任意選択の拡散流モジュール１５６は、初期制御点位置とニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルを表す拡散流を計算するように機能する。
【0027】
任意選択的な訓練モジュール１５８は、１つ以上のカスケード型リグレッサネットワークを訓練するように機能する。いくつかの実施形態では、訓練モジュール１５８は、例えば、例示的なメッシュ、放射基底関数変形メッシュ、及びセグメンテーションマスクの形態で訓練データを受信し、１つ以上のリグレッサのための入力として訓練データを使用して、予測データを出力することを含む様々なタスクを実行するようにレグレッサを訓練する。
【0028】
予測モジュール１６０は、１つ以上のカスケード型リグレッサネットワークから出力する予測データを生成するように機能する。いくつかの実施形態では、予測モジュール１６０は、予測しわデータ、予測初期頂点変位、予測変形勾配テンソル、又はシステム内の任意の他の好適な予測データ若しくはプレビューデータのうちの１つ以上を出力し得る。
【0029】
任意選択的な変形モジュール１６２は、システム内で変形メッシュを生成するように機能する。いくつかの実施形態では、変形モジュール１６２は、ユーザ（例えば、スカルプティングアーティスト）が様々な用途に適応するためにユーザインターフェースに表示される最終変形メッシュを生成する。いくつかの実施形態では、変形モジュール１６２は、ユーザが、最終変形メッシュが生成される前に迅速に（例えば、リアルタイムで又は実質的にリアルタイムで）生成され得る変形メッシュのプレビューバージョンを有するように、ユーザインターフェースに表示されるプレビュー変形メッシュを生成する。
【0030】
表示モジュール１６４は、クライアントデバイスのユーザインターフェース内の１つ以上の出力された要素を表示するように機能する。いくつかの実施形態では、表示モジュール１６４は、ユーザインターフェース内に最終変形メッシュを表示し得る。いくつかの実施形態では、表示モジュール１６５は、ユーザインターフェース内にプレビュー変形メッシュを表示し得る。いくつかの実施形態では、表示モジュール１６４は、本明細書のシステム及び方法に基づいて好適である又は必要とされるユーザインターフェース内の１つ以上の追加のデータ又は対話型要素を表示し得る。
【0031】
上記のモジュール及びそれらの機能は、以下の例示的な方法に関連して更に詳細に記載される。
【0032】
ＩＩ．例示的な方法
図２Ａは、いくつかの実施形態で実行され得る例示的な方法を示すフロー図である。
図２Ａは、いくつかの実施形態で実行され得る例示的な方法を示すフロー図である。
【0033】
工程２０２で、システムは、顔のスキャンに基づいたニュートラルメッシュと、ニュートラルメッシュ上の初期制御点位置とを受信する。いくつかの実施形態では、スキャンデバイス１１０は、アクター又は他のスキャン対象の顔のスキャン画像を生成し、次いで、生成されたスキャン画像を、変形エンジン１０２又はスキャンデータベース１３０などのシステムの１つ以上の他の要素に送信し得る。いくつかの実施形態では、スキャンは、クライアントデバイス１２０上に記憶され、ニュートラルメッシュは、スキャン画像に基づいて、ユーザによって手動で、自動的に、又は半自動的に生成される。ニュートラルメッシュは、三次元オブジェクトを構築し、かつ／又はアニメーション化するためにコンピュータグラフィックス及びコンピュータアニメーションツールで使用するための、ニュートラルな顔表情を有するアクターの顔のスキャン画像の三次元メッシュである。いくつかの実施形態では、初期制御点位置は、ニュートラルメッシュを生成するプロセスの一部として生成される。初期制御点位置は、顔メッシュの表面上にある三次元空間内の選択された位置である。初期制御点位置は、顔及び顔表情を制御、変形、ないしは別の方法で修正することに関して、顔の際立った又は重要な関心点を集合的に指定する。次いで、このニュートラルメッシュ及び初期制御点位置は、変形エンジン１０２、制御点データベース１３４、又はメッシュデータベース１３２などのシステムの１つ以上の要素に送信される。
【0034】
工程２０４で、システムはまた、非ニュートラルな顔表情に対応するいくつかのユーザ定義の制御点位置を受信する。いくつかの実施形態では、ユーザ定義の制御点位置は、ユーザがクライアントデバイスで１つ以上の制御点位置を選択又は承認することによって生成される。いくつかの実施形態では、ユーザ定義の制御点位置は、ユーザが初期制御点位置のうちの１つ以上を移動又は調整して、非ニュートラルな顔表情（例えば、幸せな表情、悲しい表情、又はニュートラルメッシュの基礎的なニュートラルな表情以外の任意の他の表情）を形成することによって生成される。いくつかの実施形態では、制御点位置は、ニュートラルメッシュの基礎となる顔と同じ顔の非ニュートラルな顔表情のスキャン画像に基づく。ユーザ定義の制御点位置は、非ニュートラルな顔表情の重要な又は際立った特徴を表す。いくつかの実施形態では、ユーザ定義の制御点のうちの１つ以上は、自動的に生成され、ユーザによって承認される。いくつかの実施形態では、ユーザ定義の制御点のうちの１つ以上は、ユーザインターフェースでユーザによって作製される。いくつかの実施形態では、ユーザ定義の制御点のうちの１つ以上は、ユーザインターフェースで自動的に生成され、次いでユーザインターフェースでユーザによって調整される。ユーザ定義の制御点は、次いで、変形エンジン１０２及び／又は制御点データベース１３４などのシステムの１つ以上の要素に送信される。
【0035】
工程２０６で、システムは、初期制御点位置及びユーザ定義の制御点位置のＲＢＦ補間に基づいて、放射基底関数（以下「ＲＢＦ」）変形メッシュを生成する。本明細書で使用されるＲＢＦ補間は、放射基底関数ネットワークを使用することによって新しいメッシュ変形を構築することを指す。例示的な一実施形態では、上記のような初期制御点のセットが与えられた場合、ユーザ又はアーティストは、所望に応じてこれらの初期制御点のうちの１つ以上を移動させて（又は移動することを承認して）、ユーザ定義の制御点のセットを生成する。結果として生じるメッシュの変形は、次いで、メッシュの残りの部分に補間される。
【0036】
図４Ａは、本明細書のシステム及び方法のいくつかによる、初期制御点位置を有するニュートラルメッシュの一例を示す画像である。画像は、アクターからスキャンされたニュートラルな表情を有する３Ｄ顔メッシュを示す。いくつかの初期制御点位置が生成され、顔メッシュの表面に重ね合わされている。初期制御点位置は、手動、自動、又はそれらの組み合わせのいずれかで生成されている。
【0037】
図４Ｂは、本明細書のシステム及び方法のいくつかによる、半径インジケータを有するニュートラルメッシュの一例を示す画像である。いくつかの実施形態では、半径インジケータは、図４Ａに示されるメッシュの制御点位置の上に重ね合わされ得る。半径インジケータは、制御点位置ごとに小さな半径を提供し、これは、アーティストがメッシュ上の制御点をスカルプトし、調整するための有用な視覚的ガイダンスであり得る。
【0038】
図４Ｃは、本明細書のシステム及び方法のいくつかによる、ＲＢＦ補間に基づいて放射基底関数（ＲＢＦ）変形メッシュを生成するためのプロセスの一例を示す画像である。画像では、左側の顔メッシュは、ターゲットの顔のスキャン画像である。右側の顔メッシュは、ＲＢＦ変形された顔メッシュであり、制御マーカは、スキャンされたターゲットの顔によって表される位置にそれらを移動させることによって調整される。メッシュ頂点の残りは、ＲＢＦデフォーマを使用して補間され、予測される。ＲＢＦデフォーマが制御マーカ間の領域に平滑な補間を作製し、その結果、しわのない補間が生成されるため、左側のメッシュは右側のメッシュより多くのしわを含む。
【0039】
図４Ｄは、本明細書のシステム及び方法のいくつかによる、ＲＢＦ補間に基づいて放射基底関数（ＲＢＦ）変形メッシュを生成するためのプロセスの追加の例を示す画像である。画像は、図４Ｃと似ているが、異なる表情を有する。ＲＢＦデフォーマは、唇のいくつかの態様を補正するため、制御マーカ間の領域に平滑な補間を作製する。
【0040】
いくつかの実施形態では、ＲＢＦ補間は、距離関数の使用を伴う。いくつかの実施形態では、採用されるより伝統的なユークリッド距離メトリックと比較して、採用される距離関数は、メッシュ上を動くように拘束された場合に移動するのに必要とされる相対距離と同等である。次いで、補間される点から制御点のそれぞれまでの相対距離に基づいて、加重補間が作製される。いくつかの実施形態では、測地距離は、ＲＢＦ補間のための距離関数として用いられ、ＲＢＦカーネル（又はガウスカーネル）は、結果として得られる距離に適用される。本明細書で使用されるとき、測地距離は、表面上にあるように拘束された経路上の、ある点から別の点までの最短距離を指す。例えば、球体（例えば、地球）上の２つの点間の測地距離は、円形の大円弧の断面となる。測地距離を計算するために測地アルゴリズムが用いられ得る。
【0041】
いくつかの実施形態では、ＲＢＦ補間は、測地距離を直接計算することでは実行されず、代わりに、メッシュの表面上の制御点位置間の拡散流を計算することによって実行される。制御点が拡散源として設定され、拡散プロセス（例えば、熱）が、限られた時間の間に表面上に拡散することが可能である場合、結果として生じる表面上の温度マップは、測地距離に基づくガウスカーネルの直接表現となる。このように、いくつかの実施形態では、熱流は、測地距離を計算することなく直接計算され、ＲＢＦ補間の前述のより伝統的な方法よりも速く、より数値的に安定した補間プロセスをもたらす。
【0042】
いくつかの実施形態では、計算された拡散流は、拡散流方程式に基づく。いくつかの実施形態では、拡散流方程式は、メッシュの熱源を設定し、熱源に基づいて熱拡散を決定することを伴う標準的な熱拡散と、熱拡散を勾配に変換するラプラシアン源と、を含み、勾配はその後、測地線源を見つけるために使用され得る。他の実施形態では、拡散流方程式は、ラプラシアン源を計算することを除去し、測地アルゴリズムを用いて補間を実行するために拡散源のみを使用するように変更される。いくつかの実施形態では、より速い補間のためにＲＢＦ補間のための非線形基底が追加される。
【0043】
図４Ｅは、本明細書のシステム及び方法のいくつかによる、計算された拡散流の一例を示す画像である。温度マップは、ＲＢＦ変形顔メッシュの上に重ね合わされる。温度は、ユーザ定義の制御点間の計算された拡散流を伴う勾配として示されている。
【0044】
ＲＢＦ補間が実行された後、制御点の加重補間が使用されて、ＲＢＦ変形メッシュが生成される。ＲＢＦ変形メッシュは、ユーザ定義の制御点位置によって修正されるように、調整された制御点に基づいてニュートラルメッシュの特徴が変形されることから生じるメッシュである。
【0045】
いくつかの実施形態では、ＲＢＦ変形メッシュは、初期制御点位置及びユーザ定義の制御点位置のスプライン補間を実行するシステムに更に基づいており、スプライン補間は、ＲＢＦ補間の前に実行される。測地距離のガウスカーネルの表現に基づく補間の１つの一般的な特徴は、補間が包括的であることであり、これにより、平滑な輪郭を表す局所的な制御点は、補間で正確にキャプチャされなくなる。最終結果として、典型的には、輪郭が位置する領域にアーチファクトが生じる。これを補正する１つの方法は、メッシュ内の一次元曲線を補間するためにスプライン補間を用いることである。メッシュのある特定の部分、例えば、眼瞼、口、及び顔の他の部分周辺の輪郭などは、スプラインを使用して記述され得る。スプライン補間は、これらの輪郭を補間して、それらが平滑かつ現実的であることを確実にする。いくつかの実施形態では、スプライン関数を使用してメッシュの１つ以上の部分を事前補間するスプライン補間が、システムによって実行される。これは、例えば、平滑な輪郭を生成するためにスプライン補間を用いて部分を事前補間することによって、放射基底のアーチファクトを補正することを伴う。スプラインは、輪郭部分の縁に沿って画定され、スプラインの制御点は、これらの縁に存在する制御点位置に対応する。これらのスプラインを構成する頂点（すなわち、非制御点）の変位が補間され、次いで、これらの頂点は、顔全体にＲＢＦ補間を実行するために使用される制御点位置の完全なセットに追加される。いくつかの実施形態では、システム及び／又はユーザは、主要な顔のひだを、それらのひだが補間されることを確実にするためのスプライン補間の目的で更に画定し得る。結果として生じるＲＢＦ変形メッシュは、このようにして、メッシュ内で正確に表される平滑な輪郭を含む。
【0046】
図４Ｆは、本明細書のシステム及び方法のいくつかによる、スプライン補間を提供するためのプロセスの一例を示す画像である。画像では、目のひだ（上瞼のたるみ）を含む目の周辺の輪郭は、スプライン補間の結果として現実的な方法で平滑化される。目領域の周辺の主要な顔のひだは、それらの特定のひだの正確で平滑な輪郭を確実にするために画定される。
【0047】
図４Ｇは、本明細書のシステム及び方法のいくつかによる、スプライン補間を提供するためのプロセスの追加の例を示す画像である。左側の顔メッシュは、スプライン補間前のＲＢＦ変形メッシュを示す。目の周辺の顔のひだは、不自然かつ非現実的であるように見える顕著なアーチファクトを含む。画定された目領域の周辺の顔のひだを用いたスプライン補間が実行されて、目の周辺の顔のひだの平滑な輪郭が提供される。
【0048】
工程２０８で、システムは、ＲＢＦ変形メッシュ及びユーザ定義の制御点に基づいて予測しわ変形データを生成し、予測しわ変形データは、集合的に「しわデフォーマ」プロセスを含む１つ以上のカスケード型リグレッサネットワークによって生成される。カスケード型リグレッサネットワークは、一緒にカスケード接続された２つ以上のリグレッサを表す。リグレッサは、予測出力が連続的であり（すなわち、値がカテゴリに分類されるのではなく連続範囲内で予測される）、一定の傾斜を有する、教師あり機械学習アルゴリズムである線形回帰を用い得る。いくつかの実施形態では、しわデフォーマは、顔の皮膚が局所的にどのように伸び、縮み、剪断されるかを示す例で訓練された教師あり機械学習モデルによって、変形の予測を可能にする。
【0049】
いくつかの実施形態では、カスケード型リグレッサネットワークの第１のリグレッサは、メッシュ頂点の初期変位を予測し、予測に基づいて予測データを生成するように構成された変位リグレッサである。いくつかの実施形態では、多層線形回帰アルゴリズムが用いられる。初期制御点からのユーザ定義の制御点の動きにより、システムは、線形リグレッサを介してユーザ定義の制御点間の全ての頂点変位を補間する。いくつかの実施形態では、変位リグレッサは、ユーザ定義の制御点及びＲＢＦ変形メッシュを使用して、それぞれのメッシュ頂点上の平滑な例に基づいた変位場を予測する。いくつかの実施形態では、変位リグレッサは、最適な速度のために正則化線形リグレッサを使用して訓練されるが、他のリグレッサが企図され得る。
【0050】
いくつかの実施形態では、変位リグレッサは、顔の異なる部分上の局所的な符号化に基づいて予測データを生成するように訓練される。いくつかの実施形態では、システムは、訓練データとして使用される訓練例のそれぞれについてセグメンテーションマスクを受信する。セグメンテーションマスクは、例示的なＲＢＦ変形メッシュを複数の固有な顔領域にセグメント化することによって生成される。いくつかの実施形態では、セグメンテーションは、検出又はラベル付けされた制御点領域に基づいて自動的に実行されるか、ユーザ定義のセグメンテーションマスクを使用して手動で実行されるか、又は両方の組み合わせを使用して半自動的に実行される。いくつかの実施形態では、セグメンテーションは、顔の解剖学的特徴に基づいて実行される。例えば、「脂肪体」は顔の上に形成され得、靭帯が皮膚の付着点としての役割を果たし、個々の脂肪区画を形成する。脂肪体は、顔領域をセグメンテーションマスクにセグメント化するための解剖学的基礎として使用され得る。
【0051】
図４Ｉは、本明細書のシステム及び方法のいくつかによる、セグメント化されたマスクを提供するためのプロセスの一例を示す画像である。画像には、顔の一方の眉毛領域の周辺に特定のセグメンテーションを有するセグメンテーションマスクが示されている。
【0052】
図４Ｊは、本明細書のシステム及び方法のいくつかによる、セグメント化されたマスクを提供するためのプロセスの追加の例を示す画像である。画像には、上唇と鼻との間の顔部分の周辺に特定のセグメンテーションを有するセグメンテーションマスクが示されている。
【0053】
いくつかの実施形態では、セグメント化されている顔の固有の顔領域のそれぞれについて、システムは、変位ベースのリグレッサを訓練する。いくつかの実施形態では、セグメント化された変位リグレッサは、顔の実際のスキャン画像とＲＢＦ変形例との間の差で訓練される。実際のスキャンは、顔の微細なしわをキャプチャするが、ＲＢＦ変形例は、ニュートラルメッシュからの平滑なＲＢＦ補間を表すことになる。スキャンとＲＢＦ変形例との間の差で訓練されるリグレッサは、平滑な補間と細かいしわとの間の差を予測するように訓練されることになる。
【0054】
いくつかの実施形態では、視覚的フィードバックガイダンスが、ユーザインターフェース内に提供される。ユーザ定義の制御点のユーザによる調整又は作製、カスケード型リグレッサネットワークの訓練、又は方法の他の工程において、ユーザ又はアーティストは、制御点位置を、訓練空間又は制御点が制限されることを意味する他の領域から大きく外れた場所に制御点位置を移動させる可能性があり得る。例えば、訓練データ内の表情が「幸せ」の表情を含まない場合、ユーザが、口を上向きに動かすように制御点を調整すると、ユーザは依然として、プロセスのデータ操作を使用して平滑なジオメトリを生成することができ得るが、リグレッサは、「幸せ」の表情に関する情報で訓練されていないため、意味のあるしわを生成することができない。いくつかの実施形態では、視覚的フィードバックガイダンスは、特定の調整が、意味のあるしわデータを生成するために訓練空間又は許容可能な調整の空間の内側又は外側にあることを視覚的に示すように設計された仮想マーカを生成する。視覚的マーカは、ユーザが制御点を遠くに移動させすぎたときにメッシュ上に重ね合わされる制御点の二次セットのようなものである。この視覚的フィードバックガイダンスは、最適なしわ推定を可能にする。
【0055】
いくつかの実施形態では、リグレッサの訓練中に、初期制御点位置は、いくつかの前のＲＢＦ変形メッシュを含む訓練例の全て又はサブセットから画定される超空間上にマッピングされる。マッピングされた初期制御点位置とユーザ定義の制御点位置との間の距離が計算される。次いで、距離は、上記のような視覚的フィードバックガイダンスを提供するために、ユーザインターフェース内に視覚的マーカと共に提供される。いくつかの実施形態では、視覚的マーカは、計算された距離に基づいて生成される。
【0056】
図４Ｈは、本明細書のシステム及び方法のいくつかによる、視覚的フィードバックガイダンスを提供するためのプロセスの一例を示す画像である。画像には、顔メッシュの一部分が、口領域の周辺の視覚的マーカと共に示されている。視覚的マーカは、ユーザ又はアーティストが、視覚的マーカの外側に制御点を移動させることを回避するようにメッシュをスカルプトすることを可能にするために表示され得る。このようにして、より正確なしわデータが確保される。
【0057】
いくつかの実施形態では、変位リグレッサがメッシュ頂点の変位に関する予測データを生成した後、システムは、予測初期頂点変位データから取得可能な幾何学的データから、プレビュー変形メッシュを生成し得る。いくつかの実施形態では、プレビュー変形メッシュは、しわデータを有する変形メッシュの大まかなプレビューとして、クライアントデバイスのユーザインターフェース上に表示するために提供され得る。最終変形メッシュほど正確ではないが、プレビュー変形メッシュは迅速に生成され、短時間でアーティストに有用なデータを提供し得る。いくつかの実施形態では、プレビュー変形データは、ユーザが、システムに送信されるユーザ定義の制御点を生成すると、リアルタイム又は実質的にリアルタイムで生成され得る。
【0058】
いくつかの実施形態では、カスケード型リグレッサネットワークは、変位リグレッサに加えて又は変位リグレッサの代わりに、変形勾配リグレッサを含む。いくつかの実施形態では、変位リグレッサは、変位リグレッサと「カスケード接続」（すなわち、連結）され、変形勾配リグレッサは、未加工の予測データ及び／又は変位リグレッサのプレビュー変形メッシュを入力として取得し、それらを改良する。いくつかの実施形態では、変形勾配リグレッサは、プレビュー変形メッシュを使用して、予測データを生成する際にそのプロセスの一部として局所変形勾配テンソルを評価する。
【0059】
いくつかの実施形態では、変形勾配リグレッサは、ユーザ定義の制御点の周りで局所変形勾配テンソルを受信及び／又は決定し、ＲＢＦ変形メッシュのそれぞれのメッシュセル上の変形勾配テンソルを予測するように構成されている。顔のそれぞれの部分は、典型的には、伸長テンソル、回転テンソル、及び剪断テンソルに関して記述され得る。本明細書で使用される変形勾配テンソルは、並進構成要素を含まない３つ全てのテンソルの組み合わせであり、顔の皮膚の局所的パッチの変形を表す。いくつかの実施形態では、いったん予測された変形勾配テンソルは、解かれて、その頂点変位に変換される。
【0060】
いくつかの実施形態では、この変形勾配回帰は、その数値的な品質及び安定性のために部分的最小二乗リグレッサ（partial least squares regressor、ＰＬＳＲ）を使用して訓練されるが、多くの他のリグレッサが企図され得る。
【0061】
いくつかの実施形態では、変形勾配テンソルは、変形Ｌｉｅ群、すなわち行列空間内の変形変換のセットに変換される。Ｌｉｅ群は、幾何学的空間の微分可能な（すなわち、局所的に平滑な）多次元多様性として機能し、群の要素は、幾何学的空間内の任意の小さな局所領域にわたって群演算が平滑な構造に適合するように、連続的かつ平滑に編成される。いくつかの実施形態では、変形勾配テンソルを変形Ｌｉｅ群に変換することは、変形テンソルの行列指数を取得することを伴う。これは、例えば、行列をまたいだ２つの行列回転を適用する際に、変換間で行列を乗算する場合の演算の順序が重要でなくなるように、直線性及び均質性を提供する。例えば、顔の頬領域で「幸せ」の表情から局所的な変形を取り、次いで、「怒り」の表情から変形テンソルを取る場合、行列を乗算することによって２つの変形テンソルを組み合わせる必要があり、これには、正しい演算順序の知識が必要となる。しかしながら、２つのテンソルの行列指数を取る場合、順序は特性の均質性に起因しない。行列指数を取り、それらを足し合わせ、次いで、その結果を、テンソルの対数次元を取って元の行列に戻すことによって、２つの元の行列を組み合わせた行列である元の勾配ジオメトリに変換することが可能である。得られたテンソルは、２つのテンソルの平均である。この意味で、いくつかの実施形態では、システムは、変形がそれぞれ個々の表情のいくつかの構成要素を有し、そのそれぞれが等しく加重されるような表情である、複数のテンソルの単純加重和を作製するために、乗法演算を線形加法演算に変換する。線形解釈は、このように、スケーリングの観点から達成される。
【0062】
工程２１０で、システムは、クライアントデバイス上でユーザインターフェース内に表示するために、予測しわ変形データに基づいて、しわを有する最終変形メッシュを提供する。いくつかの実施形態では、最終変形メッシュは、アーティスト及び他のユーザが、様々なコンテキスト及びアプリケーションで適応させるためにスカルプトするためのツールセットの一部として提供される。いくつかの実施形態では、１つのアプリケーションは、ターゲットモデルの解剖学的構造を損なうことなく、ソースモデルからターゲットモデルにしわを転送するためのものである。これは、例えば、しわがジオメトリ及びテクスチャの両方で位置合わせされるように、皮膚交換が行われることを可能にする。いくつかの実施形態では、クライアントデバイス上でユーザインターフェース内に表示するために、いくつかの交換可能な顔テクスチャが提供され得る。交換可能な顔テクスチャは、しわの変形データ、最終的な変形メッシュ、又はその両方と位置合わせされるしわを含む。顔のテクスチャは、異なる顔が、それぞれの顔に位置合わせされた同じしわ及び皮膚のひだを伴って現れ得るように、迅速に交換され得る。いくつかの実施形態では、全てのターゲットモデルが、それぞれのアバターに固有な特徴及びしわを失うことなく、一貫した予測可能な様式で挙動することを可能にする顔面動作符号化システム（ＦＡＣＳ）正規化が達成され得る。いくつかの実施形態では、小さい形状セットからはるかに大きい形状セットへの拡張性が達成され得、アーティストによる手動のスカルプティングを必要とせずに正確な変形が生成され、形状ネットワークの複雑さの自動的な向上を可能にする。多くの他の用途が企図され得る。
【0063】
いくつかの実施形態では、ユーザインターフェースは、クライアントデバイスでホストされるソフトウェアアプリケーションによって提供される。ソフトウェアアプリケーションは、例えば、３Ｄモデリング、３Ｄオブジェクトスカルプティング、３Ｄメッシュの変形、又は、本明細書の方法及び実施形態と合わせて使用され得る任意の他の好適なコンピュータグラフィック若しくはコンピュータアニメーション技術若しくはプロセスに関連するか又はこれらを容易し得る。
【0064】
図２Ｂは、いくつかの実施形態に従って実行され得る追加の工程を示すフロー図である。工程は、図２Ａの工程と同様又は同一であり、詳細に上述されるように、システムが、初期制御点位置とニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルを表す拡散流を計算する任意選択の工程２１２と、システムが、計算された拡散流に基づいて初期制御点位置及びユーザ定義の制御点位置のＲＢＦ補間を決定する任意選択の工程２１４と、が追加される。
【0065】
図２Ｃは、いくつかの実施形態に従って実行され得る追加の工程を示すフロー図である。工程は、図２Ａの工程と同様又は同一であり、詳細の上述されるように、システムが、いくつかの例示的なＲＢＦ変形メッシュのそれぞれをいくつかの固有な顔領域にセグメント化する任意選択の工程２１６と、システムが、例示的なＲＢＦ変形メッシュのそれぞれの固有な顔面領域でカスケード型リグレッサネットワークを訓練する任意選択の工程２１８と、が追加される。
【0066】
図２Ｄは、いくつかの実施形態に従って実行され得る追加の工程を示すフロー図である。工程は、図２Ａの工程と同様又は同一であり、任意選択の工程が追加される。任意選択の工程２２０では、システムは、１つ以上のカスケード型リグレッサネットワークのそれぞれの一部として変位リグレッサを使用して初期頂点変位データを予測する。任意選択の工程２２２では、システムは、クライアントデバイス上でユーザインターフェース内に表示するために、予測初期頂点に基づいて、しわを有するプレビュー変形メッシュを提供する。任意選択の工程２２４では、システムは、１つ以上のカスケード型リグレッサネットワークのそれぞれの一部として変形勾配リグレッサを使用して、変形勾配テンソルを予測する。これらの工程は、上で更に詳細に記載されている。
【0067】
ＩＩＩ．例示的なユーザインターフェース
図３Ａは、本明細書のシステム及び方法のいくつかによる、カスケード型リグレッサネットワークを訓練するためのプロセスの例示的な一実施形態３００を示す図である。３０４で、いくつかの例示的なメッシュ３０３が受信され、マーカ位置（すなわち、制御点位置）は、受信されたユーザ定義の制御点位置３０２に基づいて例示的なメッシュごとに決定される。３０６で、ニュートラルメッシュ３０８及び初期制御点位置３０９を使用して、ユーザ定義の制御点が、ＲＢＦデフォーマを使用して初期制御点位置で補間される。
図３Ａは、本明細書のシステム及び方法のいくつかによる、カスケード型リグレッサネットワークを訓練するためのプロセスの例示的な一実施形態３００を示す図である。３０４で、いくつかの例示的なメッシュ３０３が受信され、マーカ位置（すなわち、制御点位置）は、受信されたユーザ定義の制御点位置３０２に基づいて例示的なメッシュごとに決定される。３０６で、ニュートラルメッシュ３０８及び初期制御点位置３０９を使用して、ユーザ定義の制御点が、ＲＢＦデフォーマを使用して初期制御点位置で補間される。
【0068】
３１０で、カスケード型リグレッサネットワークは、以下の様式で訓練される（ブロック３１２～３２４）：システムは、ＲＢＦ変形例３１２及びセグメンテーションマスク３１３を受信し、次いで３１４で、ＲＢＦ変形例及びセグメンテーションマスクに基づいて変異レグレッサを訓練する。３１６で、それぞれのＲＢＦ変形例の初期頂点変位が予測される。３１８で、ＲＢＦ変形例について局所変形勾配テンソルが計算され、同時に３２０で、変形勾配テンソルが例示的なメッシュから計算される。３２２で、変形勾配リグレッサが、ＲＢＦ変形例の計算された局所変形勾配テンソル及び例示的なメッシュの変形勾配テンソルから訓練される。最後に、３２６で、訓練されたカスケード型リグレッサネットワークが使用されて、本明細書に記載の方法及び実施形態のいくつかが実行される。
【0069】
図３Ｂは、本明細書のシステム及び方法のいくつかによる、細かいしわを有する顔の変形を提供するためのプロセスの例示的な一実施形態３３０を示す図である。ユーザ定義の制御点位置３０２、ニュートラルメッシュ３０８、及び初期制御点位置３０９は、３０６で受信及び使用され、ＲＢＦデフォーマを使用して初期制御点位置及びユーザ定義の制御点位置で補間が実行される。
【0070】
３３２で、予測しわ変形データは、次の様式でカスケード型リグレッサネットワークを使用して生成される（ブロック３３４～３４４）：ＲＢＦ変形メッシュ３３４が受信され、ユーザ定義の制御点位置３０２と共に使用されて、変位リグレッサ３３６を使用して初期頂点変位が予測される。３３８で、制御点の周辺の局所変形勾配テンソルが計算され、Ｌｉｅテンソルに変換される。３４０で、セグメント化された変形勾配リグレッサを使用して、変形勾配テンソルが予測される。３４２で、変形勾配テンソルが、前のＲＢＦ変形メッシュの全て又はサブセットの超空間上にマッピングされ、次いで３４４で、変形勾配テンソルが元の頂点座標に変換される。
【0071】
図３Ｃは、本明細書のシステム及び方法のいくつかによる、メッシュスカルプティングアーティストに視覚的フィードバックガイダンスを提供するためのプロセスの例示的な一実施形態を示す図である。３０２で、ユーザ定義の制御点位置が受信される。３５２で、ユーザ定義の制御点位置が、前の例示的なメッシュの全て又はサブセットの超空間上にマッピングされる。３５４で、マッピングされた制御点位置とユーザ定義の位置との間の距離が計算される。３５６で、この距離は、上述のように、マッピングされた制御点位置と同様に変位されて、ユーザ又はアーティストのユーザインターフェースに視覚的フィードバックガイダンスが提供される。
【0072】
図５は、いくつかの実施形態で処理を実行し得る例示的なコンピュータを示す図である。例示的なコンピュータ５００は、いくつかの実施形態と一貫した動作を実行し得る。コンピュータ５００のアーキテクチャは、例示的なものである。コンピュータは、様々な他の方法で実装され得る。本明細書の実施形態に従って多種多様なコンピュータが使用され得る。
【0073】
プロセッサ５０１は、コンピュータプログラムを実行するなどのコンピューティング機能を実行し得る。揮発性メモリ５０２は、プロセッサ５０１のためのデータの一時的なストレージを提供し得る。ＲＡＭは、揮発性メモリの一種である。揮発性メモリは、典型的には、その記憶された情報を維持するための電力を必要とする。記憶装置５０３は、データ、命令、及び／又は任意の情報のためのコンピュータ記憶装置を提供する。電力供給されていないときでもデータを保存し得る、ディスク及びフラッシュメモリを含む不揮発性メモリは、記憶装置の一例である。記憶装置５０３は、ファイルシステム若しくはデータベースとして、又は他の方法で編成され得る。データ、命令、及び情報は、プロセッサ５０１による処理のために、記憶装置５０３から揮発性メモリ５０２に読み込まれ得る。
【0074】
コンピュータ５００は、周辺機器５０５を含み得る。周辺機器５０５は、キーボード、マウス、トラックボール、ビデオカメラ、マイクロフォン、及び他の入力デバイスなどの入力周辺機器を含み得る。周辺機器５０５はまた、ディスプレイなどの出力デバイスを含み得る。周辺機器５０５は、ＣＤ－Ｒ及びＤＶＤ－Ｒレコーダー／プレーヤーなどの取り外し可能なメディアデバイスを含み得る。通信デバイス５０６は、コンピュータ１００を外部媒体に接続し得る。例えば、通信デバイス５０６は、ネットワークへの通信を提供するネットワークアダプタの形態をとり得る。コンピュータ５００はまた、様々な他のデバイス５０４を含み得る。コンピュータ５００の様々な構成要素は、バス、クロスバー、又はネットワークなどの接続媒体５１０によって接続され得る。
【0075】
本発明は、その特定の実施形態を参照して特に示され説明されてきたが、本発明の範囲から逸脱することなく、開示された実施形態の形態及び詳細の変更が行われ得ることを理解されたい。本発明の様々な利点、態様、及び目的は、様々な実施形態を参照して本明細書で論じられてきたが、本発明の範囲は、そのような利点、態様、及び目的を参照することによって限定されるべきではないことが理解されよう。むしろ、本発明の範囲は、特許請求の範囲を参照して決定されるべきである。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図4I】
【図4J】
【図5】
