知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-12
(45)【発行日】2024-09-24
(54)【発明の名称】デジタルキャラクタブレンディング及び生成のシステム及び方法
(51)【国際特許分類】
G06T 13/40 20110101AFI20240913BHJP
G06T 7/00 20170101ALI20240913BHJP
G06T 1/00 20060101ALI20240913BHJP
G06T 5/50 20060101ALI20240913BHJP
【ＦＩ】
G06T13/40
G06T7/00 660A
G06T7/00 350C
G06T1/00 340A
G06T5/50
【請求項の数】
19
(21)【出願番号】P 2021522403
(86)(22)【出願日】2019-10-25
(65)【公表番号】
(43)【公表日】2022-01-14
(86)【国際出願番号】 NZ2019050142
(87)【国際公開番号】W WO2020085922
(87)【国際公開日】2020-04-30
【審査請求日】2022-10-24
(31)【優先権主張番号】747626
(32)【優先日】2018-10-26
(33)【優先権主張国・地域又は機関】NZ
(73)【特許権者】
【識別番号】519327490
【氏名又は名称】ソウル マシーンズ リミティド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】セイガー，アンドリュー マーク
(72)【発明者】
【氏名】ウ，ティム ス－シェン
(72)【発明者】
【氏名】オレワゲン，ワーナー
(72)【発明者】
【氏名】タン，シアニ
【審査官】三沢 岳志
(56)【参考文献】
【文献】米国特許出願公開第２００９／０１５３５５２（ＵＳ，Ａ１）
【文献】特開２００７－２６５３９６（ＪＰ，Ａ）
【文献】特表２０１７－５０１５１４（ＪＰ，Ａ）
【文献】特表２０１６－５３２９５３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３２８８７４（ＵＳ，Ａ１）
【文献】韓国公開特許第１０－２００５－０００９５０４（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １３／４０
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ５／５０
(57)【特許請求の範囲】
【請求項1】
仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成する方法であって、少なくとも一つのモデルのために一つまたは複数のテクスチャマップを受信する工程、
前記テクスチャマップの各々の上の複数のユニバーサルフィーチャロケータを識別する工程、
前記テクスチャマップを各々が少なくとも一つの特徴を含む複数のレイヤに分離する工程、
前記テクスチャマップに行われるべき１つまたは複数の修正を指定する複数の指定された修正変数を受信する工程、
前記指定された１つまたは複数の修正を適用する工程、及び
前記レイヤをブレンドし、少なくとも一つのモデルのための一つまたは複数の修正されたテクスチャマップを作成する工程、
を含む方法であって、
前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、目の色、歯の白さ、皮膚の色素、斑点、入れ墨、及び傷痕からなるグループから選択される少なくとも一つの修正変数を含み、
前記複数のユニバーサルフィーチャロケータは、手動、半自動的、又は自動的に識別される、方法。
【請求項2】
少なくとも一つのモデルのための一つ以上のテクスチャマップを受信する工程は、複数のモデルのための一つ以上のテクスチャマップを受信する工程を含み、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを生成するために、前記レイヤをブレンドする工程は、少なくとも二つのモデルからレイヤをブレンドし、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを生成することを更に含む、請求項１に記載の方法。
【請求項3】
前記テクスチャマップは、一貫した照明条件を有する、請求項１に記載の方法。
【請求項4】
前記複数のテクスチャマップの各々に対して、ポイントどうしの対応を有する、請求項１に記載の方法。
【請求項5】
各モデルのための前記複数のテクスチャマップ上の個々の画素は、同じ顔面の解剖学的位置を示す、請求項１に記載の方法。
【請求項6】
前記複数のモデルの全てのための前記複数のテクスチャマップの全ては、同じサイズである、請求項１に記載の方法。
【請求項7】
前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、メイクアップレイヤを追加するための修正を指定する修正変数を含む、請求項１に記載の方法。
【請求項8】
前記テクスチャマップは、シェーディングモデルによって使用される前記仮想オブジェクト又はデジタルエンティティの空間的に変化するグラフィックを表す、請求項１に記載の方法。
【請求項9】
前記モデルの各々に対して、前記複数のテクスチャマップを、請求項１に記載の方法によって生成された複数の修正された基本形状に適用することを更に含む、請求項１に記載の方法。
【請求項10】
仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成する方法であって、
少なくとも一つのモデルのために一つまたは複数のテクスチャマップを受信する工程、
前記テクスチャマップの各々の上の複数のユニバーサルフィーチャロケータを識別する工程、
前記テクスチャマップを各々が少なくとも一つの特徴を含む複数のレイヤに分離する工程、
前記テクスチャマップに行われるべき１つまたは複数の修正を指定する複数の指定された修正変数を受信する工程、
前記指定された１つまたは複数の修正を適用する工程、
前記レイヤをブレンドし、少なくとも一つのモデルのための一つまたは複数の修正されたテクスチャマップを作成する工程、及び
メイクアップレイヤを生成する工程、
を含む方法であって、
前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、目の色、歯の白さ、皮膚の色素、斑点、入れ墨、及び傷痕からなるグループから選択される少なくとも一つの修正変数を含み、
前記少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成するために前記レイヤをブレンドする工程は前記メイクアップレイヤをブレンドする工程を含む、方法。
【請求項11】
仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを生成するシステムであって、少なくとも一つのプロセッサ、及び
前記少なくとも一つのプロセッサと通信しているメモリ、を備え、
前記プロセッサは、
少なくとも一つのモデルのための一つ以上のテクスチャマップを受信し、
前記一つ以上のテクスチャマップの各々の上の複数のユニバーサルフィーチャロケータを識別し、
各々が少なくとも一つの特徴を含む前記一つ以上のテクスチャマップの各々を複数のレイヤに分離し、
前記一つ以上のテクスチャマップに対して行われるべき一つまたは複数の修正を指定する複数の指定された修正変数を受信し、
前記指定された一つまたは複数の修正を適用し、レイヤをブレンドし、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを生成する、
ようにプログラムされているシステムであって、
前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、目の色、歯の白さ、皮膚の色素、斑点、入れ墨、及び傷痕からなるグループから選択される少なくとも一つの修正変数を含み、
前記複数のユニバーサルフィーチャロケータは、手動、半自動的、又は自動的に識別される、システム。
【請求項12】
少なくとも一つのモデルのための一つ以上のテクスチャマップを受信することは、複数のモデルのための一つ以上のテクスチャマップを受信することを更に含み、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成するためにレイヤをブレンドすることは、少なくとも二つのモデルからレイヤをブレンドし、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成することを更に含む、請求項１１に記載のシステム。
【請求項13】
前記テクスチャマップは、一貫した照明条件を有する、請求項１１に記載のシステム。
【請求項14】
各モデルのための前記複数のテクスチャマップは、ポイントどうしの対応を有する、請求項１１に記載のシステム。
【請求項15】
各モデルに対する前記複数のテクスチャマップ上の個々の画素は、同じ顔面の解剖学的位置を示す、請求項１１に記載のシステム。
【請求項16】
前記複数のモデルの全てのための前記複数のテクスチャマップの全ては、同じサイズである、請求項１１に記載のシステム。
【請求項17】
前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、メイクアップレイヤを追加するための修正を指定する修正変数を含む、請求項１１に記載のシステム。
【請求項18】
前記プロセッサは、メイクアップレイヤを生成するように更にプログラムされ、前記レイヤをブレンドするとき、前記プロセッサは、前記メイクアップレイヤをブレンドして、前記少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成するようにプログラムされる、請求項１１に記載のシステム。
【請求項19】
前記テクスチャマップは、シェーディングモデルによって使用される前記仮想オブジェクト又はデジタルエンティティの空間的に変化するグラフィックを表す、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルキャラクタブレンディング及び生成のシステム及び方法に関する。
【背景技術】
【0002】
ゲーム又はデジタルヒューマンＡＩシステムのために使用するためのコンピュータアバター又はデジタルキャラクタを生成することは、周知である。コンピュータアバター又はデジタルキャラクタを生成するための従来技術のシステムは、品質を妥協する可能性がある費用効果の高いテクスチャ及び幾何学的形状の生成に焦点を当てている。複数の頭部画像のブレンディングは、典型的にはデジタルキャラクタ全体の線形結合によって実行される。幾何学的形状及びテクスチャの両方に線形の組み合わせを使用するのは、一般的である。
【0003】
しかしながら、それらがブレンドするために使用するキャラクタが多いほど、得られるテクスチャはよりぼやけてしまい、細かい細部が失われてしまう。同様に、幾何学的形状については、より多くの面をブレンドするために使用するほど、得られる幾何学的形状はより滑らかになる。結局、顔は、平均的な顔モデルのように見えるようになってしまうだろう。
【0004】
さらに、従来技術のシステムは、静的な顔のみをブレンドし、動的な表現は生成されない。人口統計学的推定も、通常は線形回帰に基づいて行われる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、デジタルキャラクタブレンディング及び生成に対するアプローチを提供すること、又は少なくとも公衆又は産業に有用な選択肢を提供することである。
【課題を解決するための手段】
【0006】
一例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティのモデルを作成するための方法が提供され、本方法は、以下を含む：
複数のモデルのための複数の基本形状をインプットとして受信する工程；
基本形状に行うべき修正を指定する少なくとも一つの修正変数をインプットとして受信する工程；及び
指定された修正を複数の基本形状に適用し、少なくとも一つのモデルのための複数の修正された基本形状を生成する工程。
複数のモデルのための複数の基本形状をインプットとして受信する工程；
基本形状に行うべき修正を指定する少なくとも一つの修正変数をインプットとして受信する工程；及び
指定された修正を複数の基本形状に適用し、少なくとも一つのモデルのための複数の修正された基本形状を生成する工程。
【0007】
さらなる例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティのモデルを作成するためのシステムが提供され、システムは、
少なくとも一つのプロセッサ；及び
前記少なくとも一つのプロセッサと通信しているメモリを備える。
少なくとも一つのプロセッサ；及び
前記少なくとも一つのプロセッサと通信しているメモリを備える。
【0008】
前記プロセッサは、
複数のモデルに対して複数の基本形状を受信し；
前記基本形状に対して行われるべき修正を指定する少なくとも一つの修正を受信し；且つ
指定された修正を複数の基本形状に適用し、少なくとも一つのモデルのために複数の修正された基本形状を生成する
ようにプログラムされている。
複数のモデルに対して複数の基本形状を受信し；
前記基本形状に対して行われるべき修正を指定する少なくとも一つの修正を受信し；且つ
指定された修正を複数の基本形状に適用し、少なくとも一つのモデルのために複数の修正された基本形状を生成する
ようにプログラムされている。
【0009】
別の一例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用される領域マスクを作成するための方法が提供され、方法は、以下を含む：
基本形状は、筋肉変形記述子の集合として表され、複数のモデルのための複数の基本形状を受信する工程；
各筋肉変形記述子をそれらの影響領域に基づいてグループに分類する工程；及び
影響領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する工程。
基本形状は、筋肉変形記述子の集合として表され、複数のモデルのための複数の基本形状を受信する工程；
各筋肉変形記述子をそれらの影響領域に基づいてグループに分類する工程；及び
影響領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する工程。
【0010】
更に別の例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用される領域マスクを作成するためのシステムが提供され、システムは、
少なくとも一つのプロセッサ；及び
前記少なくとも一つのプロセッサと通信しているメモリ、を備える
前記プロセッサは、
筋肉変形記述子の集合として表される基本形状であって、少なくとも一つのモデルのための複数の基本形状を受け取り；
各筋肉変形記述子を、それらの影響領域に基づいてグループに分類し；且つ
影響領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する
ようにプログラムされている。
少なくとも一つのプロセッサ；及び
前記少なくとも一つのプロセッサと通信しているメモリ、を備える
前記プロセッサは、
筋肉変形記述子の集合として表される基本形状であって、少なくとも一つのモデルのための複数の基本形状を受け取り；
各筋肉変形記述子を、それらの影響領域に基づいてグループに分類し；且つ
影響領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する
ようにプログラムされている。
【0011】
更に別の例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成する方法が提供され、方法は、
少なくとも一つのモデルのための一つ以上のテクスチャマップをインプットとして受信する工程；
手動、半自動、又は自動で、一つ以上のテクスチャマップの各々上で複数のユニバーサルフィーチャロケータを識別する工程；
テクスチャマップを複数のレイヤに分離し、各レイヤは、少なくとも一つの特徴を含む工程；
テクスチャマップに対して行われるべき修正を指定する複数の指定された修正変数をインプットとして受信する工程；
指定された修飾を適用する工程；及び
レイヤをブレンドし、少なくとも一つのモデルの一つ以上のテクスチャマップを作成する工程、を含む。
少なくとも一つのモデルのための一つ以上のテクスチャマップをインプットとして受信する工程；
手動、半自動、又は自動で、一つ以上のテクスチャマップの各々上で複数のユニバーサルフィーチャロケータを識別する工程；
テクスチャマップを複数のレイヤに分離し、各レイヤは、少なくとも一つの特徴を含む工程；
テクスチャマップに対して行われるべき修正を指定する複数の指定された修正変数をインプットとして受信する工程；
指定された修飾を適用する工程；及び
レイヤをブレンドし、少なくとも一つのモデルの一つ以上のテクスチャマップを作成する工程、を含む。
【0012】
更なる例示としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成するためのシステムが提供され、システムは、 少なくとも一つのプロセッサ；及び
少なくとも一つのプロセッサと通信しているメモリ、を備える。
少なくとも一つのプロセッサと通信しているメモリ、を備える。
【0013】
前記プロセッサは：
少なくとも一つのモデルのために一つ以上のテクスチャマップを受信し；
一つ以上のテクスチャマップの各々の上で複数のユニバーサルフィーチャロケータを識別し、
各々少なくとも一つの特徴を含む一つ以上のテクスチャマップの各々を複数のレイヤに分離し、
一つ以上のテクスチャマップに対して行われるべき修正を指定する複数の修正変数を受け取り；且つ
指定された修正を適用し、レイヤをブレンドし、少なくとも一つのモデルのための一つ以上のテクスチャマップを生成する、
ようにプログラムされている。
少なくとも一つのモデルのために一つ以上のテクスチャマップを受信し；
一つ以上のテクスチャマップの各々の上で複数のユニバーサルフィーチャロケータを識別し、
各々少なくとも一つの特徴を含む一つ以上のテクスチャマップの各々を複数のレイヤに分離し、
一つ以上のテクスチャマップに対して行われるべき修正を指定する複数の修正変数を受け取り；且つ
指定された修正を適用し、レイヤをブレンドし、少なくとも一つのモデルのための一つ以上のテクスチャマップを生成する、
ようにプログラムされている。
【図面の簡単な説明】
【0014】
本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施形態を示し、上記で与えられた本発明の一般的な説明、及び以下で与えられる実施形態の詳細な説明と共に、本発明の原理を説明する役割を果たす。
【発明を実施するための形態】
【0015】
＜システム＞
一実施形態において、アバター又はデジタルキャラクタを含んでいるデジタルヒューマンのモデルをブレンドするためのシステム及び方法は、典型的には少なくとも一つのＣＰＵ、メモリ、及び典型的にはデータベースである記憶装置を有する一つ以上のコンピュータシステム上で実行される。更に、ＧＰＵ実装形態は、システムの性能を大幅に改善することができる。
一実施形態において、アバター又はデジタルキャラクタを含んでいるデジタルヒューマンのモデルをブレンドするためのシステム及び方法は、典型的には少なくとも一つのＣＰＵ、メモリ、及び典型的にはデータベースである記憶装置を有する一つ以上のコンピュータシステム上で実行される。更に、ＧＰＵ実装形態は、システムの性能を大幅に改善することができる。
【0016】
図１２１２を参照すると、一例としての実施形態であるシステム１２００が示されている。第１のサーバシステム１２１０は、データ記憶装置１２２０に接続される。データ記憶装置１２２０は、データベースであってよい。そして、第１のサーバシステム１２１０は、一つ以上のサーバを含む。第１のサーバシステム１２１０は、インターネット１２４０に接続される。モデルのユーザの少なくとも一つの他のサーバシステム１２５０は、第１のサーバシステム１２１０に接続可能である。複数のユーザシステム１２３０、１２６０、１２７０は、様々なサーバシステム１２１０、１２５０に接続する。
【0017】
一実装形態において、ブレンディングに使用されるデータベースは、好ましくは１０以上の様々な民族性、性別、年齢層及び体型にまたがる頭部モデル（Ｍ１、Ｍ２、．．．、Ｍｎ∈Ｍ）を含む。提供されるモデルが多ければ多いほど、ブレンディングシステムはより良好に機能する。１０個の頭部モデルは、好ましいが、より少ない数のモデルを使用することもできる。図４を参照すると、欠落した形状４１０を有する一例としての頭部モデルグリッドは、図示される。
【0018】
好ましくは、各頭部モデル（キャラクタＡ～Ｄ）４２５は、少なくともニュートラルな顔面形状を含む必要があり、ニュートラルな形状は、同じメッシュトポロジーであり、ブレンド可能である。各頭部モデルは、筋肉変形記述子の集合を表す任意の数のブレンド形状、例えば、顔面動作分析システム（ＦＡＣＳ）によって識別される動作ユニット（ＡＵ）４２０を有することができる。動作ユニットの一例は、「眉の内側を上げる」、「眉の外側を上げる」、「唇を横に引っ張る」、「顎を開ける」及び「唇を横に引っ張る及び顎を開ける」を含む。
【0019】
筋肉変形記述子は、統計的に計算することもできる。例えば、アニメーションにおけるフレームのメッシュ形状変化の主成分は、主成分分析（ＰＣＡ）を使用して計算することができる。関心のある筋肉のみがアニメーションに関与する場合、計算された主成分は、筋肉変形記述子として使用されてもよい。
【0020】
頭部に関連して説明したが、システム及び方法は、身体、身体の一部、上半身、顔面、顔面の一部、又は頭部の一部に同様に使用することができる。身体の他の部分の場合、これらの記述子は、筋肉駆動骨格運動、姿勢、又は皮膚表面の変形によって表すことができる。
【0021】
データベースにおいて、各筋肉変形記述子は、好ましくは少なくとも一つの頭部モデルによって表される。各筋肉変形記述子について、その筋肉変形記述を表す少なくとも一つの頭部モデルを有する必要がある。筋肉変形記述子は、頭部モデルのいずれかから得ることができる。図４に示すＦＡＣＳベースの一例としての頭部モデルセットでは、「キャラクタＣ」のみが「眉の外側を上げる」ＡＵを有する。
【0022】
更に、各頭部モデル（キャラクタ）は、筋肉変形記述子の組み合わせ又は中間点として表される任意の数の表情ブレンド形状を有することができる。
【0023】
各頭部モデル（キャラクタ）に関する情報には、民族性、性別、年齢グループ、及び体格などの人口統計学的情報、又はユーザが制御したい他の任意のものを含むメタデータがラベル付けされる。メタデータはまた、鼻の形状（例えば、ワシ鼻、肉厚、上向き鼻等）、瞼の構造（例えば、深い瞼、一重瞼、二重瞼等）、唇の形状（例えば、薄い、厚い等）のような物理的特徴を記述することができる。メタデータは、その他の物理的機能に関する情報も含むことができる。
【0024】
頭部に関連する全ての解剖学的アセットを含む基準の頭部モデルが、選択される。解剖学的アセットは、頭蓋骨、歯、舌、眼球、角膜、及び詳細で現実的なデジタルヒューマン／アバターを構成する他の重要なメッシュモデルが含まれる。モデル（キャラクタ）は独自のヘアスタイル、まつげスタイル、顔面の毛を有することができ、モデルは、イヤリングなどの他のアクセサリを含むことができる。これらのアクセサリは、異なるメッシュトポロジーであってよい。
【0025】
初期のデータベースは、まばらであってよく、多くの頭部モデル（キャラクタ）が欠落したブレンド形状を有する。顔ポーティングは、欠落したブレンド形状を生成して、ブレンド形状グリッドを完成させるために使用されてよく、又は代替的に、グリッド上の各ブレンド形状は、ユーザによって手動で彫られてもよい。
【0026】
図１を参照すると、開始ライブラリ１００からのシステムは、安定化された頭部モデル１３０の集合を生成する。これは欠落した筋肉変形記述子１０５を生成することによって、又はユーザによって彫られた筋肉変形記述子を有することによって行われ、それによって、各モデルについて筋肉変形記述子の完全に充填されたライブラリが存在する。欠落したアセットがある場合、それらは、ステップ１１５において生成する又はユーザが手動で作成することができる。アセットが完全に充填されると、システムは、全ての頭部モデルを基準の頭部モデルに対して安定化することができるため、頭部モデル１３０の安定化された集合が存在する。
【0027】
＜領域区分及び再構成＞
領域分割は、各頭部モデルのために異なる顔領域を区分するために使用される。これらの領域マスクは例えば、前頭骨、左右の眼窩ソケット周囲、鼻部周囲、頸部領域、及び顔面下部の筋肉の位置に基づいて、筋肉変形記述子をグループ化することによって区分される。顔面下部の筋肉変形記述子は更に、唇、頬部の塊及び顎骨を動かすものに分類される。異なる顔領域にまたがる筋肉変形記述子の組み合わせは、無視される。これらのグループ分けから、前頭部、左眼窩、右眼窩、鼻部、左頬部、右頬部、口部、頸部、及び残りの頭部といった顔面領域マスクが導出される。顔領域は、図７Ａ～７Ｆに示される。各グループの領域マスクは、各グループ内の各筋肉変形記述子上の各頂点の変位の大きさにガウス分布を当てはめることによって計算することができ（変形勾配をここで使用することもできる）、領域どうしは、重なり合うことができる。筋肉変形記述子ベースの区分を使用することには、この区分が筋肉の活動及び影響に基づくため、本方法を使用して抽出された領域は、動的に変形可能な顔（静止した顔だけでなく）上で最適なカバー率及び滑らかさを有するという利点がある。同様に、図１１に示す腕１１００の筋肉１１１０を選択するといったように、身体の一部について領域マスクを計算することができる。
領域分割は、各頭部モデルのために異なる顔領域を区分するために使用される。これらの領域マスクは例えば、前頭骨、左右の眼窩ソケット周囲、鼻部周囲、頸部領域、及び顔面下部の筋肉の位置に基づいて、筋肉変形記述子をグループ化することによって区分される。顔面下部の筋肉変形記述子は更に、唇、頬部の塊及び顎骨を動かすものに分類される。異なる顔領域にまたがる筋肉変形記述子の組み合わせは、無視される。これらのグループ分けから、前頭部、左眼窩、右眼窩、鼻部、左頬部、右頬部、口部、頸部、及び残りの頭部といった顔面領域マスクが導出される。顔領域は、図７Ａ～７Ｆに示される。各グループの領域マスクは、各グループ内の各筋肉変形記述子上の各頂点の変位の大きさにガウス分布を当てはめることによって計算することができ（変形勾配をここで使用することもできる）、領域どうしは、重なり合うことができる。筋肉変形記述子ベースの区分を使用することには、この区分が筋肉の活動及び影響に基づくため、本方法を使用して抽出された領域は、動的に変形可能な顔（静止した顔だけでなく）上で最適なカバー率及び滑らかさを有するという利点がある。同様に、図１１に示す腕１１００の筋肉１１１０を選択するといったように、身体の一部について領域マスクを計算することができる。
【0028】
図３を参照すると、領域分割及び再構成のプロセスが示される。本プロセスは、筋肉変形記述の区分を伴う様々な頭部モデルのライブラリから開始する（３１０）。各筋肉変形記述子は、影響領域に基づいてグループに分類される。次に頭部モデルは、筋肉変形記述子の形状に基づいてグループ化される（３２０）。次にシステムは、ニュートラル形状に対する各筋肉変形記述子の形状について頂点ごとの変形勾配を計算する。変形勾配の分布が計算され（３２５）、各頭部モデル（キャラクタ）に対する各領域グループに対する変形勾配分布マップが計算される。閾値は、分布を平滑化されるマスクに変換するために使用される（３３５）。この結果、各モデルに固有の領域マスクが得られる（３４０）。
【0029】
＜幾何学形状モデルのブレンディング＞
平均頭部モデル（
平均頭部モデル（
【0030】
【数1】
【0031】
）は、全ての頭部モデル（Ｍ）を平均することによって計算される。頭部デルタは、定義され、頭部モデルと平均頭部モデルの違い
【0032】
【数2】
【0033】
である。
【0034】
ブレンド形状方程式を用いて新しい頭部を再構成できる：
【0035】
【数3】
【0036】
は、デルタの組み合わせが実行可能な解決策であることを保証するために実施される。
【0037】
好ましい実施形態において、ｓは、出力頭部モデルのカリカチュアを変更するために使用することができるユーザが定義する値である。
【0038】
上述したブレンディングプロセスは、頭部モデルのグローバルブレンディング工程であり、表現ブレンド形状グリッドにおけるニュートラル形状及び全ての表現形状を結果として生じる。
【0039】
＜領域ブレンディング＞
各領域は、グローバルブレンディングとは独立してブレンドされ、共に結合され、グローバルブレンドヘッドモデルに適用されて、最終的なブレンドモデルを形成することができる。領域ブレンディング及び再構成は、以下のように達成される。
各領域は、グローバルブレンディングとは独立してブレンドされ、共に結合され、グローバルブレンドヘッドモデルに適用されて、最終的なブレンドモデルを形成することができる。領域ブレンディング及び再構成は、以下のように達成される。
【0040】
頭部モデル及び静的領域マスクは、ユーザが提供したブレンドの重みに基づいて、共に混合される。グローバルブレンディングに適用されるように、上述した同じコンベックス制約は、領域ブレンディングに適用される。
【0041】
再び図１を参照して、領域に基づいてブレンドすると、システムは、各筋肉変形記述子のセグメント化された領域モデル（１４５）を生成するために、前述したブレンドされた静的領域マスク（１４０）を使用することによって、各領域をセグメント化する（１３５）。
【0042】
次にシステムは、プロクラステス変換を実行し（１５０）、各セグメント化された頂点を、平均頭部モデル上のそれぞれの位置に整列させる。この工程において、各頂点ポイントは、領域マスクに基づいて異なって重み付けされる。プロクラステス変換は、ニュートラル形状を使用して計算され、ニュートラル形状及び表現形状に適用される。その結果、表現形状は、ニュートラル形状と同じ配置を有する。
【0043】
領域の各ニュートラル形状は、有限要素法（ＦＥＭ）を用いて共に結合される（１５５）。ＦＥＭの目標は、以下の目的関数を最小化することである：
【0044】
【数4】
【0045】
ここで、Ｅｒｅｇｉｏｎ、Ｅｓｍｏｏｔｈ及びＥｃｅｎｔｒｏｉｄは、領域ブレンド項、平滑化項、及び重心制約項である：
【0046】
【数5】
【0047】
ここで、Ｗｒは、領域ｒのブレンドされたマスクの重み、Ｒは、ブレンドされる領域の合計数、ｙｒは、整列された領域セグメンテーションのターゲット頂点座標、ｘは、グローバルにブレンドされた頂点座標である。Ｅｓｍｏｏｔｈは、２次ソボレフ平滑化関数であり、領域から領域への移行が平滑及び現実的であることを保証する。
【0048】
【数6】
【0049】
ここで、ａ１及びａ２は、輪郭及び表面の曲率の滑らかさをそれぞれ制御する平滑化パラメータであり、ｙは、結果の頂点座標である。Ｅｃｏｎｔｒｏｉｄは、結果として得られるブレンドされた領域がグローバルブレンドされたメッシュ内のそれぞれの位置に留まることを保証する弱い制約を導入する。
【0050】
【数7】
【0051】
ここで、ｃは、メッシュ内の各要素の重心を返す重心関数である。目的関数Ｅを最小化することは、有限要素設定において線形化されることができる。本問題を解くことは、方程式のスパース線形のシステムを解くことを含む。
【0052】
表現形状の領域メッシュを結合するために、上述したプロセスが適用される。しかしながら、領域ブレンド項は、頂点位置ではなく変形勾配テンソルに作用するように変更される。
【0053】
【数8】
【0054】
ここで、
【0055】
【数9】
【0056】
は、グローバルブレンドされた表現形状（ｙｇ）のそれぞれの頂点位置及びグローバルブレンドされたニュートラル形状（ｘｇ）に対応する頂点位置から計算された変形勾配テンソルである。そして、
【0057】
【数10】
【0058】
は、領域ブレンドされた表現形状（ｙｒ）のそれぞれの頂点位置及び領域ブレンドされたニュートラル形状（ｘｒ）に対応する頂点位置から計算された変形勾配テンソルである。ＦＥＭフィッティングの目的関数は次のようになる：
【0059】
【数11】
【0060】
結果として得られるモデルの解剖学的アセットアクセサリは、ＲＢＦ補間又はリベットリギングのいずれかを介して生成される。ＲＢＦ補間は、頭蓋骨、歯、眼球などといった、顔面メッシュに取り付けられていないアセットに適用される。一方、リベットリギングは、まつげや顔面の毛といった、顔面のメッシュ上に結合点を有するアセットに適用される。
【0061】
領域頭部モデルが一旦、計算されると、モデルは圧縮され(１７０)、ブレンディングモデルに追加され得る。上記の工程は、標準的には準備中に予め計算される(１９５)。オンラインにおいて、ブレンディングの重みは、ブレンドモデルに適用し(１９８)、ブレンドされた頭部モデルをリアルタイムで作成することができる。一例は、デジタルヒューマンが対話しているユーザに基づいて、ブレンドされたデジタルヒューマンを作成することであり得る。
【0062】
＜骨構造保存＞
システムは、領域区分を全体的にブレンドされた顔モデルに配置させるので、システムは、顔の特徴のサイズ及び異なる顔の特徴間の相対位置を維持する。識別を変更するとき、これは、アイデンティティを変えるときに、顔の骨構造を（全体的にブレンドされた頭部モデルに対して）維持することと同等である。また、配置比率を変更するときに、頭部モデルの骨構造を変えることができる。この関係に基づいて、システムは、骨構造を変更するために配置比率を変えることができる。図５Ａ～５Ｃを参照すると、ブレンドする特徴の例が示されている。全ての場合において、５１０、５３０、５５０で示される開始モデルは、同じである。図５Ａにおいて、グローバルブレンディングは、モデルに適用される（５２０）。図５Ｂにおいて、骨構造が保存されている新しいアイデンティティへの領域ブレンディングが適用される。図５Ｃにおいて、骨構造が保存されていない新しいアイデンティティへの領域ブレンディングが適用される。
システムは、領域区分を全体的にブレンドされた顔モデルに配置させるので、システムは、顔の特徴のサイズ及び異なる顔の特徴間の相対位置を維持する。識別を変更するとき、これは、アイデンティティを変えるときに、顔の骨構造を（全体的にブレンドされた頭部モデルに対して）維持することと同等である。また、配置比率を変更するときに、頭部モデルの骨構造を変えることができる。この関係に基づいて、システムは、骨構造を変更するために配置比率を変えることができる。図５Ａ～５Ｃを参照すると、ブレンドする特徴の例が示されている。全ての場合において、５１０、５３０、５５０で示される開始モデルは、同じである。図５Ａにおいて、グローバルブレンディングは、モデルに適用される（５２０）。図５Ｂにおいて、骨構造が保存されている新しいアイデンティティへの領域ブレンディングが適用される。図５Ｃにおいて、骨構造が保存されていない新しいアイデンティティへの領域ブレンディングが適用される。
【0063】
＜人口統計学的予測＞
システムは、人口統計学的パラメータの集合から人口統計学的予測を学習し、予測し（１６７）、頭部モデルに適用することもできる。人口統計学的パラメータは、二次予測子変換を伴う部分最小二乗回帰（ＰＬＳＲ）を使用して、年齢、性別、民族性、及び体格を含む。
システムは、人口統計学的パラメータの集合から人口統計学的予測を学習し、予測し（１６７）、頭部モデルに適用することもできる。人口統計学的パラメータは、二次予測子変換を伴う部分最小二乗回帰（ＰＬＳＲ）を使用して、年齢、性別、民族性、及び体格を含む。
【0064】
【数12】
【0065】
【数13】
【0066】
ここで、Ｘは、人口統計学的パラメータであり、Ｙは、メッシュ頂点の推定座標である。Φ（Ｘ）は、Ｘの二次変換関数である。Ｔ＝ΦＶは、ΦとＹの間の説明された共分散を最大にする重みマトリックスＶによって得られる、Φから抽出されたスコアベクトルのマトリックスである。マトリックスＰ及びＱは、ローディングマトリックスである。Ｅ及びＦは、それぞれＸ及びＹの説明されていない分散をカプセル化する残差マトリックスである。
【0067】
ＰＬＳＲは、人口統計学的パラメータ（Ｘ）及び頭部モデル（Ｙ）における頂点の座標との間の最適な関係を推定し、一方、人口統計学的パラメータ（Ｘ）において説明される分散のレベルを保存する。これは、ΦとＹとの間の関係をモデル化することによって、ＴがＹとの関連性が高くなるようにＴが抽出されるためである。本出願において、ＰＬＳＲは、人口統計学的パラメータを共に変化させることによって引き起こされる幾何学的変化を推定する複雑な多変量問題をモデル化するために、単純な関係（潜在空間において定義される）を使用することを可能にする。例えば、老化の影響は、異なる性別、民族性、又は体格について変化し得る。
【0068】
リアルタイム性能を確保するために、領域ブレンディング、変形移転、及び平滑化を含む高度な計算を事前に計算してもよい（１９５）。次に、ブレンドシェイプ補間システムを使用して、リアルタイムにおいて変形を再補間する。
【0069】
あるいは、ＰＬＳＲモデルは、ブレンディングシステムをエミュレートするように訓練することもできる。ＰＬＳＲは、ブレンディングモデルに最適な圧縮を提供し、リアルタイムブレンディングコスト及びメモリフットプリントを低減することができる。
【0070】
＜カスタマイズ＞
図８Ａに示されるブレンディングシステムへのユーザインターフェースは、ユーザが幾何学形状アセットの操作によってデジタルヒューマンの幾何学形状に関連する特徴８１０、８２０、８３０をカスタマイズする能力を有することを可能にし得る。これは、リアルタイムであってもよい。操作することができるアセットは、まつげ、虹彩、歯、舌、髪、アクセサリ、及び衣服を切り替えることが含まれる。
図８Ａに示されるブレンディングシステムへのユーザインターフェースは、ユーザが幾何学形状アセットの操作によってデジタルヒューマンの幾何学形状に関連する特徴８１０、８２０、８３０をカスタマイズする能力を有することを可能にし得る。これは、リアルタイムであってもよい。操作することができるアセットは、まつげ、虹彩、歯、舌、髪、アクセサリ、及び衣服を切り替えることが含まれる。
【0071】
身体部分をブレンドするとき、体型のタイプ、筋肉量、及び領域の特徴のカスタマイズ、例えば、広い肩及び大きな足をブレンドすることができる。上記の概要に続いて、身体の一部又は身体へのブレンドは、筋肉モデルに基づく、領域ブレンディングを再び含む身体の一部又は身体へのブレンディングについて説明する。
【0072】
＜テクスチャブレンディング＞
各トレーニングアバターからの皮膚テクスチャは、双方向ガウスフィルタの階層を通過する。階層の各レイヤは、顔の毛、しわ、ほくろ、そばかす、及び皮膚の孔などの特定の種類のテクスチャの細部を抽出するように設計される。レイヤが一旦、抽出されると、次に各レイヤを独立してブレンドし、合成して、新しいテクスチャマップを形成することができる。このレイヤリングアプローチの利点は、ブレンディングプロセスの間、皮膚の細部を保存することができることである。
各トレーニングアバターからの皮膚テクスチャは、双方向ガウスフィルタの階層を通過する。階層の各レイヤは、顔の毛、しわ、ほくろ、そばかす、及び皮膚の孔などの特定の種類のテクスチャの細部を抽出するように設計される。レイヤが一旦、抽出されると、次に各レイヤを独立してブレンドし、合成して、新しいテクスチャマップを形成することができる。このレイヤリングアプローチの利点は、ブレンディングプロセスの間、皮膚の細部を保存することができることである。
【0073】
テクスチャをブレンドする場合、システムはｎ（ｎ＞＝２）個のデジタルキャラクタの顔テクスチャのデータベースを持つことができる。顔テクスチャの各々の集合は、テクスチャマップ（Ｔ１、Ｔ２、．．．、Ｔｍ）のコレクションとして定義され、俳優／女優の写真から再構成される。集合内のすべてのデジタルキャラクタのためのテクスチャマップの集合は、一貫した照明条件及び色空間を有するべきである。
【0074】
テクスチャマップは、最終画像をレンダリングするために照明モデル内で使用されることができる、空間的に変化する特徴を表す。複数のテクスチャマップは、レンダリングするためにシェーディングモデルによって使用される、被写体の空間的に変化するグラフィック品質を表すことができる。テクスチャマップの例は、アルベドマップ、拡散マップ、シェーディングマップ、バンプマップ、又はスペキュラマップを含む。別の実施形態において、レンダリングテクスチャマップは、ディープアピアランスモデル（Ｓ・Ｌｏｍｂａｒｄｉ－２０１８）などの深層学習モデルから生成することができる。
【0075】
好ましくは、テクスチャマップの集合上の個々の画素は、各デジタルキャラクタについて同じ顔面の解剖学的位置を示す。ポイントどうしの対応は、異なるデジタルキャラクタの間で厳密には必要とされないが、顔の特徴は、テクスチャマップの集合上の同様の位置を占めるべきである。テクスチャマップのサイズは、すべてのデジタルキャラクタで同じにする必要がある。
【0076】
図２を参照すると、顔の特徴を概説するユニバーサルフィーチャロケータ（ｐ１、ｐ２、・・・、ｐｎ）が、識別される（２１５）。これらのユニバーサルフィーチャロケータ（アルベドマップ上のピクセル位置として）は、各デジタルキャラクタに対して手動、半自動的、又は自動的に識別することができる。機械学習アルゴリズムを用いてユニバーサルフィーチャロケータを自動的に識別するために、アルベドマップ上で識別されるユニバーサルフィーチャロケータの複数の例が必要とされる。これらの例は、アルベドマップの画像特徴とユニバーサルフィーチャロケータの位置との間の関係を学習するために、適切な機械学習アルゴリズムに供給される。このような関係が、一旦確立されると、ユニバーサルフィーチャロケータの位置は、新しいデジタルキャラクタのアルベドマップ上で自動的に検出されてもよい。デジタルキャラクタ毎のテクスチャマップ（Ｔ１、Ｔ２、．．．、Ｔｍ）は、ベースレイヤとｌ－１の特徴レイヤを妥協するｌレイヤに分離される。ベースレイヤ（Ｔ１１、Ｔ２１、．．．、Ｔｍ１）は、デジタルキャラクタの最も一般的でユニバーサルフィーチャ、たとえば、皮膚の複雑さ及び顔面の全体的な形状などを含む。各特徴のレイヤは、異なるサイズ及びコントラストの顔面の特徴（Ｔｉ１、Ｔｉ２、．．．、Ｔｉｌ、ｊ＝２、３、．．．、ｌ）を含み、ここで、
【0077】
【数14】
【0078】
個々の特徴レイヤ（Ｔｉｊ、ｊ＝２、３、．．．、ｌ）は元のテクスチャマップとバイラテラルガウスフィルタテクスチャマップ間の差分／デルタとして計算され、他の特徴レイヤによって考慮されていた特徴は削除される。基本レイヤ及びデジタルキャラクタのテクスチャマップの全ての特徴レイヤの合計は、元のテクスチャマップを再構築するべきである。
【0079】
双方向ガウスフィルタが必要とするパラメータは、領域及び範囲の標準偏差を含む領域フィルタの標準偏差は、ピクセル単位の特徴の幅によって決まる。より小さな特徴は、抽出するためにより小さなドメイン標準偏差を必要とし、より大きな特徴は、抽出するためにより大きなドメイン標準偏差を必要とする。標準偏差の範囲は、特徴のコントラストによって決定される。標準偏差の範囲を大きくすると、より大きいコントラストを持つ隣接するピクセルの平滑化を結果として生じる。
【0080】
ユニバーサルフィーチャロケータ２１５の画素位置に基づいて計算される、放射状基準補間のための重みマトリックス２２５は、各デジタルキャラクタに対して計算される。
【0081】
テクスチャマップを生成するために、エンドユーザは一連のブレンディングの重み２０５（ｗｉｊ、ここでｉ＝１、２、．．．ｎ及びｊ＝１、２、．．．、ｌ）をシステムに提供する。ブレンディングの重みの数は、デジタルキャラクタの数及びテクスチャマップが分離されるレイヤの数の積である。重みは、０と１の間にあるように制限される。テクスチャマップのベースレイヤ（Ｔ１１、Ｔ２１、．．．Ｔｍ１）の全てのデジタルキャラクタのブレンディングの重みの合計は１であるべきである。この制約は、特徴レイヤには必要とされない。
【0082】
出力テクスチャマップ内のユニバーサルフィーチャロケータ（ｑ、２２０）のピクセル位置は、デジタルキャラクタの重み付けされたユニバーサルフィーチャロケータ位置の線形結合として計算される（２１０）。
【0083】
【数15】
【0084】
次に、ユニバーサルフィーチャロケータ（ｑ）は、ブレンドされたユニバーサルフィーチャロケータ（ｑ）２２０として使用される。
【0085】
放射状基準補間を用いて各デジタルキャラクタ２３０に対してｑとｐｉ（ｉ＝１、２、．．．、ｎ）の間に変位マップ２３５が作成され、次にレイヤに分離されたテクスチャマップの集合は、出力されるユニバーサルフィーチャロケータｑの位置を反映するために、変位マップに基づいてワープされる（Ｔ’ｊｋ、ｊ＝１、２、．．．、ｌ；ｍ＝１、２、．．．、ｍ）（２５０）。これは、各キャラクタにＲＢＦを使用して行うことができる。
【0086】
出力されるテクスチャマップ（Ｓ１、Ｓ２、．．．、Ｓｍ）２７０は、重み付けされたテクスチャマップを線形結合することによって生成される。
【0087】
【数16】
【0088】
ブレンディングマスクは、テクスチャマップの各領域に対して作成される。ブレンディングマスクにおける重みは、０と１の間である。任意のピクセルに対する全ての領域ブレンディングマスクの重みの合計は、１である。各領域について、テクスチャマップ内の関連ピクセルは、ブレンディングマスクに基づいて識別される。
【0089】
領域テクスチャマップの生成は、上記のセクションで説明したような同じプロセスを用いて実行される。個々の領域テクスチャマップは、ブレンディングマスクを用いて、完全なテクスチャマップを形成するために共に結合される。
【0090】
幾何学形状の正規化の一部として、テクスチャは、ＵＶベースの移転方法を必要とする自動化されたプロセスによって、新しい正規化されたトポロジーに移転されてもよい。
【0091】
テクスチャは、テクスチャのブレンディングが一貫したままであることを可能にするために、周囲のレベルを含む、光強度及び色空間に基づく正規化を受けることができる。これは、ライブラリに追加する前に、ターゲットテクスチャの最良の露出を予測するコンピュータビジョンシステムを使用して行うことができる。
【0092】
一実施形態において、出力するテクスチャマップは、機械学習又は敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）若しくは変分自動エンコーダのような深層学習フレームワークによって生成される。これは、以下の工程を使用して生成される可能性がある：
１．各デジタルキャラクタに、あらかじめ定義されたテクスチャマップの集合を抽出する工程。テクスチャマップからの特徴レイヤは、双方向ガウスフィルタ、又は他の手動、若しくは自動画像特徴フィルタリング技術を含む、任意の適切な方法を使用して抽出されてよい。
１．各デジタルキャラクタに、あらかじめ定義されたテクスチャマップの集合を抽出する工程。テクスチャマップからの特徴レイヤは、双方向ガウスフィルタ、又は他の手動、若しくは自動画像特徴フィルタリング技術を含む、任意の適切な方法を使用して抽出されてよい。
【0093】
２．各特徴レイヤに、各デジタルキャラクタからの対応する特徴レイヤを使用して、機械学習又は深層学習モデルをトレーニングする工程。これは、各特徴レイヤのために機械学習モデル、例えば、ベーストーンのための一つの機械学習又は深層学習モデル、皮膚の斑点のための別のモデルなどを、結果として生じる。使用することができる機械学習モデルの例は、敵対的生成ネットワーク、変分自動エンコーダ、又は深層畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。
【0094】
３．リアルタイムテクスチャ再構成の間、モデル推論によって各特徴レイヤを個別に合成し、個別の再構成された特徴レイヤを組み合わせて、レンダリングの準備ができた出力するテクスチャマップを形成する。
【0095】
更なる実施形態において、顔にメイクアップを適用又は除去して、デジタルヒューマンの外観をカスタマイズするために、顔を強調及び／又は身体を強調することができるメイクアップレイヤシステムを追加することができる。目の色、歯の白さ、皮膚の色素、斑点、刺青、及び傷痕などといったテクスチャに関連する特徴も、デジタルヒューマンのリアリズム又は所望のカスタムな外観を向上させるために操作することができる。
【0096】
ＰＬＳＲは、幾何学性状ブレンディングプロセスにおいて説明したのと同様のワークフローを使用して、テクスチャマップの人口統計学的変化を予測するために使用することができる。
【0097】
＜皮膚欠陥の追加と除去＞
テクスチャブレンディングのセクションで説明したレイヤ分離ワークフローを使用して、皮膚の細部及び不完全性を除去することができる。例えば、フィルタパラメータ（領域及び範囲の標準偏差）を調整することによって、バイラテラルガウスフィルタを使用して、他の細部を保存しながら、特徴、例えば皮膚の孔、しわ、斑点、にきび、又は顔面の毛を抽出することができる。これらの特徴をカプセル化するレイヤの、テクスチャマップの出力する集合への寄与は、デジタルキャラクタに対して、低減され、誇張され、又は完全に除去され得る。
テクスチャブレンディングのセクションで説明したレイヤ分離ワークフローを使用して、皮膚の細部及び不完全性を除去することができる。例えば、フィルタパラメータ（領域及び範囲の標準偏差）を調整することによって、バイラテラルガウスフィルタを使用して、他の細部を保存しながら、特徴、例えば皮膚の孔、しわ、斑点、にきび、又は顔面の毛を抽出することができる。これらの特徴をカプセル化するレイヤの、テクスチャマップの出力する集合への寄与は、デジタルキャラクタに対して、低減され、誇張され、又は完全に除去され得る。
【0098】
同様に、これらの特徴をカプセル化するレイヤは、視覚的外観を変えるために他のデジタルキャラクタに移転することができる。
【0099】
＜デジタルメイクアップ＞
レイヤ分離ワークフローの別のアプリケーションは、デジタルメイクアップの適用又は除去である。メイクアップ処理の効果、例えば、スキンファンデーション、唇の色、ブラッシャー、顔面の輪郭、アイライナー、アイシャドウ、及びハイライターの適用は、デジタルキャラクタから抽出することができる。そのような効果は、デジタルキャラクタから低減、強化、又は除去されてもよい。デジタルメイクアップの効果は、他のデジタルキャラクタにも適用することができる。
レイヤ分離ワークフローの別のアプリケーションは、デジタルメイクアップの適用又は除去である。メイクアップ処理の効果、例えば、スキンファンデーション、唇の色、ブラッシャー、顔面の輪郭、アイライナー、アイシャドウ、及びハイライターの適用は、デジタルキャラクタから抽出することができる。そのような効果は、デジタルキャラクタから低減、強化、又は除去されてもよい。デジタルメイクアップの効果は、他のデジタルキャラクタにも適用することができる。
【0100】
デジタルメイクアップの適用は、メイクアップの有無によるテクスチャマップ間のピクセル対応の識別において、高いレベルの精度を必要とする。画像位置合わせ精度アルゴリズム、例えば、オプティカルフロー又はテンプレートマッチングを使用して、デジタルキャラクタのテクスチャマップ間のポイントどうしの対応の精度を改善することができる。
【0101】
メイクアップの有無にかかわらず、テクスチャマップ間のポイントどうしの対応の精度を改善するために、ユニバーサルフィーチャロケータに加えて、個々の特定のフィーチャロケータを含めることもできる。例えば、メイクアップの有無にかかわらず、テクスチャマップの両方に存在するスキンモルをマーキングするために、個人固有の特徴ロケータを作成することができる。
【0102】
入れ墨、誕生マーク、又は他の大きな皮膚の特徴もまた、デジタルメイクアップと同様の方法で、適用、除去、又は強度を低減され得る。
【0103】
モデルに適用されるテクスチャシステムの一例を図９Ａ～図１０Ｃに示す。図９Ａは、元のテクスチャを有する頭部モデルを示し、図９Ｂは皮膚の欠陥を有するテクスチャを追加した頭部モデルを示し、図９Ｃは、しわ及び顔の毛を有するテクスチャを追加した頭部モデルの一例を示す。
【0104】
テクスチャシステムはまた、図１０Ａ～１０Ｃに示される目の例のために、他のアセットに適用され得る。図１０Ａは、基準テクスチャを有する眼を示し、図１０Ｂは、新しいベースレイヤテクスチャを有する同じ眼を示し、図１０Ｃは、新しい細部のレイヤテクスチャを有する図１０Ａの眼を示す。
【0105】
図８Ｂ～図８Ｃに示されるシステムへのユーザインターフェース８００は、ユーザがキャラクタのテクスチャ及び色の操作によって、デジタルヒューマンのテクスチャに関連した特徴８５０、８６０及び色８７０をカスタマイズする能力を有することを可能にし得る。
【0106】
〔解釈〕
説明した方法及びシステムは、任意の適切な電子計算システム上で利用することができる。以下に説明する実施形態によれば、電子計算システムは、様々なモジュール及びエンジンを使用して本発明の方法を利用する。
説明した方法及びシステムは、任意の適切な電子計算システム上で利用することができる。以下に説明する実施形態によれば、電子計算システムは、様々なモジュール及びエンジンを使用して本発明の方法を利用する。
【0107】
電子計算システムは、少なくとも一つのプロセッサ、一つ以上のメモリデバイス、又は一つ以上のメモリデバイスに接続するためのインターフェース、システムが一つ以上のユーザ又は外部システムからの指示を受信し、それに基づいて動作することを可能にするために外部装置に接続するためのインプット及びアウトプットインターフェース、様々な構成要素間の内部及び外部通信のためのデータバス、及び適切な電源を備えてもよい。更に電子計算システムは、外部及び内部装置と通信するための一つ以上の通信装置（有線又は無線）と、ディスプレイ、ポインティングデバイス、キーボード又は印刷装置などの一つ以上のインプット／アウトプット装置とを備えてもよい。
【0108】
プロセッサは、メモリデバイス内にプログラム命令として記憶されたプログラムの工程を実行するようにアレンジされる。プログラム命令は、本明細書に記載されるような本発明を実行する様々な方法が実行されることを可能にする。プログラム命令は、任意の適切なソフトウェアプログラミング言語及びツールキット、例えば、Ｃベース言語及びコンパイラを使用して開発又は実行することができる。更に、プログラム命令は例えば、コンピュータ読み取り可能な媒体に記憶されるような、メモリデバイスに転送されたり、プロセッサによって読み出されたりすることができるように、任意の適切な方法で記憶することができる。コンピュータ読み取り可能な媒体は例えば、ソリッドステートメモリ、磁気テープ、コンパクトディスク（ＣＤ－ＲＯＭ又はＣＤ－Ｒ／Ｗ）、メモリカード、フラッシュメモリ、光ディスク、磁気ディスク、又は任意の他の適切なコンピュータ読み取り可能な媒体などの、プログラム命令を有形に記憶するための任意の適切な媒体であってよい。
【0109】
電子計算システムは、関連データを検索するために、データ記憶システム又はデバイス（例えば、外部データ記憶システム又はデバイス）と通信するようにアレンジされる。
【0110】
本明細書で説明されるシステムは、本明細書で説明される様々な機能及び方法を実行するようにアレンジされた一つ以上の要素を含むことが理解されるであろう。本明細書で説明される実施形態は、システムの要素を構成する様々なモジュール及び／又はエンジンが機能が実装されることを可能にするためにどのように相互接続され得るかの例を読者に提供することを目的とする。更に、本明細書の実施形態は、システム関連の詳細において、本明細書に記載された方法の工程がどのように実行され得るかを説明する。概念図は、様々なデータ要素が様々な異なるモジュール及び／又はエンジンによって様々な段階でどのように処理されるかを読者に示すために提供される。
【0111】
モジュール又はエンジンの配置及び構造は、システム及びユーザの要件に応じて適宜適合され得ることが理解されるであろう。様々な機能が本明細書で説明されるものとは異なるモジュール又はエンジンによって実行されてもよく、特定のモジュール又はエンジンは、単一のモジュール又はエンジンに組み合わされてもよい。
【0112】
説明されたモジュール及び／又はエンジンは、任意の適切な形態の技術を使用して実装され、命令を提供され得ることが理解されるであろう。例えば、モジュール又はエンジンは、任意の適切な言語で書かれた任意の適切なソフトウェアコードを使用して実装又は作成することができ、そこでコードは、任意の適切なコンピューティングシステム上で動作することができる実行可能プログラムを生成するようにコンパイルされる。代替として、又は実行可能プログラムと併せて、モジュール又はエンジンは、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な混合を使用して実装され得る。例えば、モジュールの部分は、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は任意の他の適切な適応可能又はプログラマブルプロセス装置を用いて実装することができる。
【0113】
本明細書で説明する方法は、説明する工程を実行するように特にプログラムされた汎用コンピューティングシステムを使用して実装することができる。代替として、本明細書に記載の方法は、人工知能コンピュータシステムなどの特定の電子コンピュータシステムを使用して実行することができ、この場合、コンピュータは、特定のフィールドに関連する環境から取り込まれた特定のデータに対して、記載された工程を実行するように特に適合されている。
【0114】
リアルタイム性能及びタイミング制御；ユーザ入力に対するエージェントのリアルタイム応答。システムの各部の待ち時間は、最低限に抑える必要があり、一方で動作のオンタイムな実行を保証する必要がある。したがって、厳密な時間モデルが必要である。
【0115】
多くの方法が上述されている。これらの方法のいずれも、一連の命令によって具現化され得ることが理解されるであろう。一連の命令は、コンピュータプログラムを形成することができる。これらの命令又はこのコンピュータプログラムは、コンピュータ読み取り可能な媒体に記憶することができる。コンピュータ読み取り可能な媒体は、非一時的な場合がある。実行されるとき、これらの命令又はこのプログラムは、プロセッサが説明されている方法を実行する場合がある。いくつかのケースにおいて、各モジュールが上述の工程のうちの一つ以上を実行するように構成されたモジュールを提供する装置又はシステムが提供されてもよい。
【0116】
上記の方法は、特定の順序で説明されてきたが、これは単に例示として解釈されるべきである。すなわち、文脈上、特に必要でない限り（依存性など）、工程は、異なる実施形態において任意の順序で、又は並行して実行され得る。
【0117】
その上、いくつかのケースにおいて、文脈が別段の要求をしない限り、方法全体から工程を省略することができる。
【0118】
用語「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、及び「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用され、特に断らない限り、包括的な意味を有することが意図される。すなわち、それらは、直接参照する列挙された構成要素又は要素、及び可能性として他の特定されていない構成要素又は要素の包含を意味すると解釈される。
【0119】
本明細書中のいずれかの文献への言及は、それが従来技術であること、他の文献と有効に組み合わせ可能であること、又はそれが技術常識の一部を構成することを認めるものではない。
【0120】
本発明は、その実施形態の説明によって説明され、実施形態は細部に渡って説明されてきたが、添付の特許請求の範囲をそのような細部に限定することは出願人の意図ではなく、また、いかなる方法によっても限定することはできない。付加的な利点及び改良は、当業者にとっては容易に想到されるものである。したがって、本発明は、その広範な態様において、特定の詳細、代表的な装置及び方法、並びに示され及び説明された図の例に限定されない。従って、本発明と相違する発明であっても、本発明の技術的思想や技術的範囲から逸脱するものではない。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11】
【図12】