特表 2022-528999 動画キャラクターの駆動方法並びにその、装置、機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-16

(54)【発明の名称】動画キャラクターの駆動方法並びにその、装置、機器及びコンピュータプログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20220609BHJP

【ＦＩ】

G06T13/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021560989

(86)(22)【出願日】2020-07-30

(85)【翻訳文提出日】2021-10-14

(86)【国際出願番号】 CN2020105673

(87)【国際公開番号】W WO2021036665

(87)【国際公開日】2021-03-04

(31)【優先権主張番号】201910816780.X

(32)【優先日】2019-08-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】王 盛

(72)【発明者】

【氏名】季 ▲興▼

(72)【発明者】

【氏名】朱 展▲圖▼

(72)【発明者】

【氏名】林 祥▲凱▼

(72)【発明者】

【氏名】暴 林超

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA08

5B050BA08

5B050BA09

5B050CA08

5B050EA24

5B050EA26

5B050FA02

(57)【要約】

本出願の実施例は、人工知能に基づく動画キャラクターの駆動方法を開示し、一方の動画キャラクターが対応する顔カスタマイズベースを有し、他方の動画キャラクターが対応する顔カスタマイズベースを有しない場合、顔カスタマイズベースを有するものを駆動側キャラクターとし、顔カスタマイズベースを有しないものを被駆動側キャラクターとすることができる。駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得し、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、表情パラメータ間のマッピング関係を決定し、該マッピング関係に応じて、駆動側キャラクターの既知の表情パラメータ及び前記マッピング関係を用い被駆動側キャラクターを駆動することで、被駆動側キャラクターに、該既存の表情パラメータで標識される実際の表情をさせる。それにより、新規動画キャラクターに対応する顔カスタマイズベースを取得するための処理を行わなくても、ほかの動画キャラクターの既知の表情パラメータによって該新規動画キャラクターを直接駆動することができ、新規動画キャラクターの創出速度を高める。

【特許請求の範囲】

【請求項1】

処理機器が実行する動画キャラクターの駆動方法であって、
駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得するステップであって、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有しない、ステップと、
前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、
前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動するステップと、を含む動画キャラクターの駆動方法。

【請求項2】

前記駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、前記被駆動側キャラクターは、前記第１キャラクター及び前記第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターであり、
前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する前記ステップは、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定するステップであって、前記第１表情パラメータは、表情ベースの次元数が第１次元数の表情パラメータを駆動し、前記第１表情ベースの次元数が前記第１次元数であり、前記ターゲットメッシュは、ターゲット頂点トポロジーを有し、前記第１表情パラメータに対応する表情をする時の前記第１キャラクターを標識するものである、ステップと、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得するステップであって、前記ターゲット表情ベースの次元数が第２次元数であり、前記ターゲット表情ベースは、前記第２キャラクターに対応する第２表情ベースに応じて決定される、ステップと、
前記ターゲットメッシュ及び前記ターゲット表情ベースに応じて、前記第１キャラクターに対応する第２表情パラメータを決定するステップであって、前記第２表情パラメータは、前記第１キャラクターの前記ターゲットメッシュに対する表情変化度を表すものである、ステップと、
前記第１表情パラメータ及び前記第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、を含む請求項１に記載の方法。

【請求項3】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定する前記ステップは、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じて初期メッシュを決定するステップであって、前記初期メッシュは、前記第１表情ベースに対応する第１頂点トポロジーを有する、ステップと、
前記第１頂点トポロジーと前記第２頂点トポロジーとの対応関係に応じて前記ターゲットメッシュを生成するステップと、を含み、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得する前記ステップは、
前記第１表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、前記第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定するステップと、
前記第１キャラクターに対応する無表情メッシュ及び前記第２キャラクターに対応する無表情メッシュに応じて調整メッシュを決定するステップであって、前記調整メッシュは、前記第２頂点トポロジーを有し、無表情にある時の第１キャラクターを標識するものである、ステップと、
前記調整メッシュ及び前記第２表情ベースにおけるメッシュ変形関係に応じて前記ターゲット表情ベースを生成するステップと、を含む請求項２に記載の方法。

【請求項4】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定する前記ステップは、
前記第２キャラクターに対応する第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定するステップと、
前記第２キャラクターに対応する無表情メッシュ及び前記第１キャラクターに対応する第１表情ベースに応じて、前記第２頂点トポロジーを有する前記第１キャラクターに対応する調整表情ベースを決定するステップであって、前記調整表情ベースの次元数が第１次元数である、ステップと、
前記第１表情パラメータ及び前記調整表情ベースに応じて前記ターゲットメッシュを決定するステップと、を含み、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得する前記ステップは、
前記調整表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定するステップと、
前記第１キャラクターに対応する無表情メッシュ及び前記第２表情ベースにおけるメッシュ変形関係に応じて、前記ターゲット表情ベースを生成するステップと、を含む請求項２に記載の方法。

【請求項5】

前記第１キャラクターは、対応する顔カスタマイズベースを有せず、前記第２キャラクターは、対応する顔カスタマイズベースを有し、前記第１表情パラメータは、ランダム表情パラメータであり、又は、
前記第１キャラクターは、対応する顔カスタマイズベースを有し、前記第２キャラクターは、対応する顔カスタマイズベースを有しない、請求項３又は４に記載の方法。

【請求項6】

前記第１表情パラメータ及び第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する前記ステップは、
複数対の前記第１表情パラメータと前記第２表情パラメータを取得するステップと、
複数の前記第１表情パラメータからなる第１行列及び複数の前記第２表情パラメータからなる第２行列に応じて前記マッピング関係を決定するステップと、を含む、請求項２～４のいずれか一項に記載の方法。

【請求項7】

前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する前記ステップは、
前記駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、前記駆動側キャラクターに対応する第１点群データを決定するステップと、
前記被駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、前記被駆動側キャラクターに対応する第２点群データを決定するステップと、
前記第１点群データ及び前記第２点群データの変換パラメータを決定するステップであって、前記変換パラメータは、前記第２点群データと前記第１点群データとの変換関係を標識するものである、ステップと、
前記第１点群データ、前記第２点群データ及び前記変換パラメータに基づいて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、を含む請求項１に記載の方法。

【請求項8】

処理機器が実行する動画キャラクターの駆動方法であって、
駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得するステップであって、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものであるステップ、と、
前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定するステップと、
前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動するステップと、を含む動画キャラクターの駆動方法。

【請求項9】

取得ユニット、決定ユニット及び駆動ユニットを含む動画キャラクターの駆動装置であって、
前記取得ユニットは、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得し、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有せず、
前記決定ユニットは、前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定し、
前記駆動ユニットは、前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する、動画キャラクターの駆動装置。

【請求項10】

前記駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、前記被駆動側キャラクターは、前記第１キャラクター及び前記第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターであり、前記決定ユニットは、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定し、前記第１表情パラメータは、表情ベースの次元数が第１次元数の表情パラメータを駆動し、前記第１表情ベースの次元数が前記第１次元数であり、前記ターゲットメッシュがターゲット頂点トポロジーを有し、前記第１表情パラメータに対応する表情をする時の前記第１キャラクターを標識するものであり、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得し、前記ターゲット表情ベースの次元数が第２次元数であり、前記ターゲット表情ベースが前記第２キャラクターに対応する第２表情ベースに応じて決定され、
前記ターゲットメッシュ及び前記ターゲット表情ベースに応じて、前記第１キャラクターに対応する第２表情パラメータを決定し、前記第２表情パラメータが前記第１キャラクターの前記ターゲットメッシュに対する表情変化度を表すものであり、
前記第１表情パラメータ及び前記第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する請求項９に記載の装置。

【請求項11】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、前記決定ユニットは、さらに、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じて初期メッシュを決定し、前記初期メッシュが前記第１表情ベースに対応する第１頂点トポロジーを有し、
前記第１頂点トポロジーと前記第２頂点トポロジーとの対応関係に応じて前記ターゲットメッシュを生成し、
また、前記決定ユニットは、
前記第１表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、前記第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定し、
前記第１キャラクターに対応する無表情メッシュ及び前記第２キャラクターに対応する無表情メッシュに応じて調整メッシュを決定し、前記調整メッシュが前記第２頂点トポロジーを有し、無表情にある時の第１キャラクターを標識するものであり、
前記調整メッシュ及び前記第２表情ベースにおけるメッシュ変形関係に応じて前記ターゲット表情ベースを生成する、請求項１０に記載の装置。

【請求項12】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、前記決定ユニットは、さらに、
前記第２キャラクターに対応する第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定し、
前記第２キャラクターに対応する無表情メッシュ及び前記第１キャラクターに対応する第１表情ベースに応じて、前記第２頂点トポロジーを有する前記第１キャラクターに対応する調整表情ベースを決定し、前記調整表情ベースの次元数が第１次元数であり、
前記第１表情パラメータ及び前記調整表情ベースに応じて前記ターゲットメッシュを決定し、
また、前記決定ユニットは、
前記調整表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、
前記第１キャラクターに対応する無表情メッシュと前記第２表情ベースにおけるメッシュ変形関係に応じて、前記ターゲット表情ベースを生成する、請求項１０に記載の装置。

【請求項13】

取得ユニット、決定ユニット及び駆動ユニットを含む動画キャラクターの駆動装置であって、
前記取得ユニットは、駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得し、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものであり、
前記決定ユニットは、前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定し、
前記駆動ユニットは、前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する、動画キャラクターの駆動装置。

【請求項14】

プロセッサ及びメモリを含む機器であって、
前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサは、前記プログラムコード中の命令に応じて請求項１～８のいずれか一項に記載の方法を実行する、機器。

【請求項15】

請求項１～８のいずれか一項に記載の方法を実行するためのプログラムコードを記憶する、コンピュータ可読記憶媒体。

【請求項16】

命令を含むコンピュータプログラム製品であって、
コンピュータで実行されると、コンピュータに請求項１～８のいずれか一項に記載の方法を実行させるコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年８月３０日に中国特許庁に提出された、出願番号が２０１９１０８１６７８０．Ｘであり、出願名称が「人工知能に基づく動画キャラクターの駆動方法及び装置」である中国特許出願について優先権を主張し、その内容の全てが本出願の一部として援用される。

【0002】

本出願は、データ処理分野に関し、特に人工知能に基づく動画キャラクター駆動技術に関する。

【背景技術】

【0003】

現在、ヒューマンコンピュータインタラクションは一般的であり、ユーザーは動画キャラクターとインタラクションを行うことができる。インタラクションの際に、ユーザーが任意の音声を入力することに応じて、駆動メッシュが一方の動画キャラクターを駆動してこの音声に対応する口の形をさせることができる。このシーンでは、動画キャラクターの存在は、リアリティを大幅に向上させ、表現力を向上させ、ユーザーに没入型の体験をもたらすことができる。動画キャラクターは様々な方式で得ることができ、例えばデザイナーにより手動で設計される。

【0004】

駆動メッシュによって動画キャラクターを駆動するとき、この動画キャラクターが対応する表情ベース及び顔カスタマイズベースを有する必要があることが多い。表情ベースは、異なる表情を表す変形可能なメッシュからなり、各変形可能なメッシュは、いずれも、この動画キャラクターの３Ｄモデルが異なる表情で変化してなり、顔カスタマイズベースは、異なる顔型を表す変形可能なメッシュからなり、各変形可能なメッシュは、いずれも、平均顔型に対して大きく変化した顔であり、顔カスタマイズベースにおける顔がこの動画キャラクターに関連している。

【0005】

新しく作成された一部の動画キャラクターの場合、デザイナーは、動画キャラクターの３Ｄメッシュを手動で設計することができ、表情ベースが目閉じや口閉じの制御などの厳しいセマンティクス情報を有するため、デザイナーが便利で手動でモデリングして取得できる。しかし、顔カスタマイズベース自体は、大量の顔データを主成分分析して解析して得られ、明確なセマンティクス情報がなく、且つモデルのメッシュ頂点との関連が正確ではなく、手動で設計して得ることが困難である。複雑なデータ処理により対応する顔カスタマイズベースを決定するしかなく、新規動画キャラクターの創出が延滞された。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記技術課題を解決するために、本出願は、人工知能に基づく動画キャラクターの駆動方法及び装置を提供し、新規動画キャラクターに対応する顔カスタマイズベースを取得するための処理を行わなくてもよく、他の動画キャラクターの既知の表情パラメータによって新規動画キャラクターを直接駆動することができ、新規動画キャラクターの創出速度を高める。

【課題を解決するための手段】

【0007】

本出願の実施例は、以下の技術案を開示する。

【0008】

第１態様によれば、本出願の実施例は、処理機器が実行する、人工知能に基づく動画キャラクターの駆動方法を提供し、前記方法は、
駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得するステップであって、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有しない、ステップと、
前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、
前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動するステップと、を含む。

【0009】

第２態様によれば、本出願の実施例は、人工知能に基づく動画キャラクターの駆動装置を提供し、前記装置は、取得ユニット、決定ユニット及び駆動ユニットを含み、
前記取得ユニットは、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得し、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有せず、
前記決定ユニットは、前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定し、
前記駆動ユニットは、前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する。

【0010】

第３態様によれば、本出願の実施例は、処理機器が実行する、人工知能に基づく動画キャラクターの駆動方法を提供し、前記方法は、
駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得するステップであって、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものである、ステップと、
前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定するステップと、
前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動するステップとを含む。

【0011】

第４態様によれば、本出願の実施例は、人工知能に基づく動画キャラクターの駆動装置を提供し、前記装置は、取得ユニット、決定ユニット及び駆動ユニットを含み、
前記取得ユニットは、駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得し、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものであり、
前記決定ユニットは、前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定し、
前記駆動ユニットは、前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する。

【0012】

第５態様によれば、本出願の実施例は、プロセッサ及びメモリを含む機器を提供し、
前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサは、前記プログラムコード中の命令に応じて第１態様又は第３態様に記載の方法を実行する。

【0013】

第６態様によれば、本出願の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は、第１態様又は第３態様に記載の方法を実行するプログラムコードを記憶する。

【0014】

第７態様によれば、本出願の実施例は、命令を含むコンピュータプログラム製品を提供し、コンピュータで実行されると、コンピュータに第１態様又は第３態様に記載の方法を実行させる。

【0015】

上記技術案から分かるように、一方の動画キャラクターが対応する顔カスタマイズベースを有し、他方の動画キャラクターが対応する顔カスタマイズベースを有しない場合、顔カスタマイズベースを有する動画キャラクターを駆動側キャラクターとし、顔カスタマイズベースを有しない動画キャラクターを被駆動側キャラクターとすることができる。駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとがマッピング関係を有するべきであるため、このマッピング関係を決定すると、被駆動側キャラクターが顔カスタマイズベースを有しなくても、駆動側キャラクターに対応する表情パラメータを用い被駆動側キャラクターを直接駆動することができる。駆動側キャラクターに対応する実際の表情パラメータが被駆動側キャラクターを駆動して実際の表情をさせることができ、この実際の表情パラメータは、この実際の表情とその表情ベースとの異なる次元での関連度を表すことができ、すなわち、被駆動側キャラクターに対応する実際の表情パラメータは、被駆動側キャラクターの実際の表情とその表情ベースとの異なる次元での関連度を表すことができる。従って、上記表情パラメータと表情ベースとの関連関係に基づいて、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、表情パラメータ間のマッピング関係を決定し、このマッピング関係に応じて、駆動側キャラクターの既知の表情パラメータ及び前記マッピング関係を用い、被駆動側キャラクターを駆動することで、被駆動側キャラクターに、該既存の表情パラメータで標識される実際の表情をさせる。それにより、新規動画キャラクターに対応する顔カスタマイズベースを取得するための処理を行わなくても、ほかの動画キャラクターの既知の表情パラメータによって該新規動画キャラクターを直接駆動することができ、新規動画キャラクターの創出速度を高める。

【図面の簡単な説明】

【0016】

【図1】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法の適用シーンの模式図である。

【図2】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図3】本出願の実施例に係る３ＤＭＭライブラリＭの各次元の分布及び意味を例示する図である。

【図4】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図5】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図6】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図7】本出願の実施例に係る駆動動画キャラクターの効果図である。

【図8】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図9】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図10】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図11】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図12a】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法のフローチャートである。

【図12b】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動装置の構造図である。

【図13a】本出願の実施例に係る人工知能に基づく動画キャラクターの駆動装置の構造図である。

【図13b】本出願の実施例に係る端末機器の構造図である。

【図14】本出願の実施例に係るサーバの構造図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら、本出願の実施例について説明する。

【0018】

関連技術では、新しく作成された一部の動画キャラクターの場合、通常、デザイナーは、動画キャラクターの３Ｄメッシュを手動で設計することができ、例えば、デザイナーは、手動でモデリングすることで表情ベースを得ることができる。しかし、顔カスタマイズベースは、明瞭なセマンティクス情報がなく、且つモデルのメッシュ頂点との関連が正確ではないため、手動で設計して得ることが困難である。

【0019】

また、異なる動画キャラクターの３Ｄメッシュの頂点トポロジー（例えば、頂点の数及び頂点間の三角トポロジーを含む）、表情ベースの次元数が異なる可能性があり、顔カスタマイズベースを有する動画キャラクターの特定の表情ベースでの表情パラメータを用いると、通常、他の動画キャラクターの表情ベースを直接駆動することが困難である。従って、他の動画キャラクターの表情ベースを駆動し、新規動画キャラクターを創出するために、対応する顔カスタマイズベースを決定するための複雑なデータ処理を行うしかなく、新規動画キャラクターの創出が遅くなる。

【0020】

そのために、本出願の実施例は、人工知能に基づく動画キャラクターの駆動方法を提供し、この方法は、異なる動画キャラクターの表情ベースの間の表情パラメータ遷移を実現することができ、すなわち、一方の動画キャラクターが対応する顔カスタマイズベースを有し、他方の動画キャラクターが対応する顔カスタマイズベースを有しない場合、顔カスタマイズベースを有する動画キャラクターを駆動側キャラクターとし、顔カスタマイズベースを有しない動画キャラクターを被駆動側キャラクターとし、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定し、それにより、被駆動側キャラクターに対応する顔カスタマイズベースを取得するための処理を行わなくても、駆動側キャラクターの既知の表情パラメータ及び前記マッピング関係を用い、被駆動側キャラクターを駆動することができる。

【0021】

本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法は、動画キャラクター作成能力を有する処理機器に適用することができ、この処理機器は、端末機器であってもよいし、サーバであってもよい。

【0022】

この処理機器は、コンピュータ視覚技術を実施する能力を有する。本出願の実施例では、処理機器は、上記コンピュータ視覚技術を実施することで、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、表情パラメータ間のマッピング関係を決定することを実現でき、それにより、このマッピング関係に応じて、駆動側キャラクターの既知の表情パラメータ及び前記マッピング関係を用い、被駆動側キャラクターを駆動することで、新規動画キャラクターを迅速に創出するなどの機能を実現する。

【0023】

処理機器が端末機器であると、端末機器は、インテリジェント端末、コンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、タブレットＰＣなどであってもよい。

【0024】

この処理機器がサーバであると、サーバは、独立したサーバであってもよいし、クラスターサーバであってもよい。サーバは、この人工知能に基づく動画キャラクターの駆動方法を実施すると、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、表情パラメータ間のマッピング関係を決定し、駆動側キャラクターの既知の表情パラメータ及び前記マッピング関係を用い被駆動側キャラクターを駆動することで、新規動画キャラクターを取得し、新規動画キャラクターを端末機器に表示し、創出することができる。

【0025】

なお、本出願の実施例の動画キャラクターは、２Ｄ動画キャラクター及び３Ｄ動画キャラクターを含むことができ、具体的に、この動画キャラクターの顔領域又は頭部領域のみを表現してもよいし、全身領域を表現してもよい、また、具体的には、この動画キャラクターを、漫画キャラクターとして表現してもよいし、実際の人物又は動物をベースとして構築された仮想キャラクターとして表現してもよいが、本出願は、ここで、動画キャラクターの表現形式を何ら限定しない。なお、本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法は、手動で設計された動画キャラクターを駆動する必要がある適用シーン、例えば、ニュース放送、天気予報、ゲーム解説及びゲームシーンにおける仮想ゲームのキャラクターなどに適用することができ、さら、動画キャラクターにプライベートサービスを行わせる適用シーン、例えば、心理医師、仮想アシスタントなどの個人向けの１対１のサービスにも適用することができる。これらの適用シーンでは、本出願の実施例に係る方法を用いることで、動画キャラクターに対応する顔カスタマイズベースを取得するための処理を行わらずに、動画キャラクターを駆動することができる。

【0026】

本出願の技術案をより理解しやすくするために、以下、実際の適用シーンを用いて本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法について説明する。

【0027】

図１を参照すると、図１は、本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法の適用シーンの模式図である。この適用シーンは、処理機器が端末機器であることを例として説明し、この適用シーンは、端末機器１０１を含み、端末機器１０１は、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得することができる。駆動側キャラクターとは、表情ベース及び顔カスタマイズベースを有する動画キャラクターであり、被駆動側キャラクターとは、表情ベースを有するが、顔カスタマイズベースを有しない動画キャラクターである。

【0028】

なお、表情ベースは、動画キャラクターの顔の表情特徴を標識するものであり、異なる表情を表す変形可能なメッシュからなり、各変形可能なメッシュは、いずれも、この動画キャラクターの３Ｄモデルが異なる表情で変化してなる。顔カスタマイズベースは、動画キャラクターの顔の基本特徴を標識するものであり、異なる顔型を表す変形可能なメッシュからなり、各変形可能なメッシュは、いずれも、平均の顔型に比べて大きく変化した顔であり、顔カスタマイズベースにおける顔がこの動画キャラクターに関連している。

【0029】

駆動側キャラクターに対応する表情パラメータと、被駆動側キャラクターに対応する表情パラメータとがマッピング関係を有するため、このマッピング関係を決定できれば、被駆動側キャラクターが顔カスタマイズベースを有さなくても、駆動側キャラクターに対応する表情パラメータを用い、被駆動側キャラクターを直接駆動することができる。表情パラメータの１つの表現形式は、係数であり得、例えば、ある次元数を有するベクトルであり得る。マッピング関係は、線形マッピング関係であってもよいし、非線形マッピング関係であってもよいが、本実施例では、これについて限定しない。

【0030】

駆動側キャラクターに対応する実際の表情パラメータは、被駆動側キャラクターを駆動して実際の表情をさせることができ、この実際の表情パラメータは、この実際の表情とその表情ベースとの異なる次元での関連度を表すものであってもよいし、同様に、被駆動側キャラクターに対応する実際の表情パラメータは、被駆動側キャラクターの実際の表情とその表情ベースとの異なる次元での関連度を表すものであってもよい。従って、端末機器１０１は、上記表情パラメータと表情ベースとの関連関係に基づいて、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定することができる。

【0031】

端末機器１０１は、このマッピング関係及び駆動側キャラクターに対応する表情パラメータに応じて、被駆動側キャラクターに対応する表情パラメータを算出でき、算出された被駆動側キャラクターの表情パラメータと被駆動側キャラクターの表情ベースの次元数が同じであり、それにより、算出された被駆動側キャラクターの表情パラメータを用い被駆動側キャラクターを駆動して表情をさせることができる。従って、端末機器１０１は、駆動側キャラクターに対応する表情パラメータ及びこのマッピング関係に応じて、被駆動側キャラクターを直接駆動することができる。

【0032】

図１に示す適用シーンは、例に過ぎず、実際の適用では、本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法は、さらに、他の適用シーンにも適用することができ、ここで、本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法が適用される適用シーンを何ら限定しないことが理解され得る。

【0033】

次に、図面を参照しながら、本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法について詳細に説明する。図２を参照すると、前記方法は、Ｓ２０１～Ｓ２０３を含む。

【0034】

Ｓ２０１において、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得する。

【0035】

一部の動画キャラクターにおいて、表情ベース及び顔カスタマイズベースを有する創出された動画キャラクターもあり、表情ベースを有するが、顔カスタマイズベースを有しない新規動画キャラクターもある。本実施例では、駆動側キャラクターは、対応する顔カスタマイズベースを有する動画キャラクターであり、被駆動側キャラクターは、対応する顔カスタマイズベースを有しない動画キャラクターである。

【0036】

なお、本出願の実施例の動画キャラクターは、モデルライブラリにおけるモデルであってもよいし、モデルライブラリにおけるモデルの線形を組み合わせて得られるものであってもよい。このモデルライブラリは、三次元顔変形モデル（３ＤＭＭ）ライブラリであってもよいし、他のモデルライブラリであってもよいが、本実施形態では、これについて限定しない。駆動側キャラクター及び被駆動側キャラクターなどの動画キャラクターは、３Ｄメッシュであり得る。

【0037】

３ＤＭＭライブラリを例とすると、３ＤＭＭライブラリは、大量の高精度な顔データを主成分分析方法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）で処理して得られるものであり、高次元の顔型及び表情の平均顔に対する主要な変化を記述し、テクスチャ情報も記述するものである。

【0038】

一般的には、３ＤＭＭライブラリが無表情の顔型を記述するものである場合、ｍｕ＋Σ（Ｐｆａｃｅ_ｉ－ｍｕ）＊α_ｉにより得ることができる。ただし、ｍｕは、中性表情での平均顔、Ｐｆａｃｅ_ｉは、ｉ番目の顔型の主成分、α_ｉは、ｉ番目の顔型の主成分の加重、すなわち、顔カスタマイズパラメータである。

【0039】

３ＤＭＭライブラリにおける動画キャラクターに対応するメッシュをＭで表し、すなわち、Ｍが３ＤＭＭライブラリにおける顔型と、表情と、頂点との関係を表すものとする。Ｍは、[ｍ×ｎ×ｄ]の三次元行列であり、次元の各々は、それぞれメッシュの頂点座標（ｍ）、顔型の主成分（ｎ）、表情主成分（ｄ）である。３ＤＭＭライブラリのＭの各次元の分布及び意味は、図３に示す。ｍは、ｘｙｚの３つの座標の値を表し、従って、メッシュの頂点の数は、ｍ／３であり、ｖとする。動画キャラクターの顔型又は表情が決定されると、Ｍは、２次元行列であり得る。

【0040】

本出願の実施例では、３ＤＭＭライブラリにおけるテクスチャ次元を考慮せず、動画キャラクターの駆動をＦとすると、式（１）によりＦを決定することができる。

【0041】

【数1】

ただし、Ｍは、動画キャラクターのメッシュであり、αは、顔カスタマイズパラメータであり、βは、表情パラメータであり、ｄは、表情ベースにおける表情メッシュの数であり、ｎは、顔カスタマイズベースにおける顔カスタマイズメッシュの数であり、Ｍ_{ｋ，ｊ，ｉ}は、ｉ番目の表情メッシュ、ｊ番目の顔カスタマイズメッシュを有するｋ番目のメッシュであり、α_ｊは、１組の顔カスタマイズパラメータ中のｊ番目の次元であり、ｊ番目の顔型の主成分の加重を表し、β_ｉは、１組の表情パラメータ中のｉ番目の次元であり、ｉ番目の表情主成分の加重を表す。

【0042】

顔カスタマイズパラメータを決定するプロセスは、顔カスタマイズアルゴリズムであり、表情パラメータを決定するプロセスは、表情カスタマイズアルゴリズムである。顔カスタマイズパラメータを顔カスタマイズベースと線形組み合わせて対応する顔型を得、例えば、５０個の顔カスタマイズメッシュ（変形可能なメッシュに属し、例えば、ｂｌｅｎｄｓｈａｐｅ）を含む顔カスタマイズベースが存在し、この顔カスタマイズベースに対応する顔カスタマイズパラメータは、５０次元のベクトルであり、次元の各々は、この顔カスタマイズパラメータに対応する顔型と１つの顔カスタマイズメッシュとの関連度を標識するものである。顔カスタマイズベースに含まれる顔カスタマイズメッシュは、それぞれ、異なる顔型を表し、各顔カスタマイズメッシュは、いずれも平均顔に対して大きく変化した顔キャラクターであり、大量の顔をＰＣＡ解析して得られた異なる次元の顔型の主成分であり、且つ同じ顔カスタマイズベースにおける異なる顔カスタマイズメッシュに対応する頂点番号が一致する。

【0043】

表情パラメータを表情ベースと線形組み合わせして対応する表情を得、例えば、５０個（次元数が５０であることに相当）の表情メッシュ（変形可能なメッシュに属し、例えば、ｂｌｅｎｄｓｈａｐｅ）を含む表情ベースが存在し、この表情ベースに対応する表情パラメータは、５０次元のベクトルであり、次元の各々は、この表情パラメータに対応する表情と１つの表情メッシュとの関連度を標識するものである。表情ベースに含まれる表情メッシュは、それぞれ、異なる表情を表し、各表情メッシュは、いずれも同じ３Ｄモデルが異なる表情で変化してなり、同じ表情ベースにおける異なる表情メッシュに対応する頂点番号が一致する。

【0044】

単一の前記変形可能なメッシュを予め設定された形状に変形させ、任意の数のメッシュを得ることができる。

【0045】

Ｓ２０２において、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する。

【0046】

本実施例の方法によれば、表情パラメータ間のマッピング関係によって、駆動側キャラクターの表情パラメータを用い被駆動側キャラクターを駆動するシーンでは、顔カスタマイズベースを不変に維持し、すなわち、顔型が一定であり、表情ベースのみを調節すればよい。

【0047】

そのため、上記式（１）に基づいて、動画キャラクターの駆動は、さらに式（２）に表されてもよい。

【0048】

【数2】

ただし、Ｍ_ｋは、顔型が一定の動画キャラクターの駆動であり、Ｍ_ｋ，ｉは、ｉ番目の表情メッシュであり、β_ｉは、ｉ番目の表情メッシュに対応する表情パラメータであり、ｎは、表情ベースにおける表情メッシュの数である。

【0049】

動画キャラクターａが表情ベース及び顔カスタマイズベースを有し、動画キャラクターｂが表情ベースを有するが、顔カスタマイズベースを有せず、動画キャラクターａが表情カスタマイズアルゴリズムによって一部の表情パラメータを得た場合、動画キャラクターａを駆動側キャラクターとし、動画キャラクターｂを被駆動側キャラクターとすることができる。表情パラメータと表情ベースを線形組み合わせし、式（３）に基づいて、動画キャラクターａの駆動を得ることができる。

【0050】

【数3】

ただし、

【数4】

は、動画キャラクターａの駆動であり、

【数5】

は、動画キャラクターａのｉ番目の表情メッシュであり、

【数6】

は、動画キャラクターａのｉ番目の表情メッシュに対応する表情パラメータであり、ｎ^ａは、動画キャラクターａの表情ベースに含まれる表情メッシュの数である。

【0051】

同様に、動画キャラクターｂの駆動は、式（４）である。

【0052】

【数7】

ただし、

【数8】

は、動画キャラクターｂの駆動であり、

【数9】

は、動画キャラクターｂのｉ番目の表情メッシュであり、

【数10】

は、動画キャラクターｂのｉ番目の表情メッシュに対応する表情パラメータであり、ｎ^ｂは、動画キャラクターｂの表情ベースにおける表情メッシュの数である。

【0053】

駆動側キャラクターに対応する表情パラメータと、被駆動側キャラクターに対応する表情パラメータとがマッピング関係を有するため、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を関数ｆ（）で表し、駆動側キャラクターに対応する表情パラメータによって、被駆動側キャラクターに対応する表情パラメータを計算する式（５）は、以下のとおりである。

【0054】

β^ｂ＝ｆ（β^ａ） （５）
ただし、β^ｂは、被駆動側キャラクターに対応する表情パラメータであり、β^ａは、駆動側キャラクターに対応する表情パラメータであり、ｆ（）は、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を表す。

【0055】

従って、このマッピング関係を決定すると、式（４）及び（５）を組み合わせ、駆動側キャラクター（動画キャラクターａ）に対応する表情パラメータを用い、被駆動側キャラクター（動画キャラクターｂ）を直接駆動することができる。

【0056】

駆動側キャラクターに対応する実際の表情パラメータは、被駆動側キャラクターを駆動して実際の表情をさせることができ、この実際の表情パラメータは、この実際の表情とその表情ベースとの異なる次元での関連度を表すことができ、すなわち、被駆動側キャラクターに対応する実際の表情パラメータは、被駆動側キャラクターの実際の表情とその表情ベースとの異なる次元での関連度を表すことができる。従って、上記表情パラメータと表情ベースとの関連関係に基づいて、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、表情パラメータ間のマッピング関係を決定することができる。

【0057】

Ｓ２０３において、駆動側キャラクターに対応する表情パラメータ及びマッピング関係に応じて被駆動側キャラクターを駆動する。

【0058】

引き続き、上記動画キャラクターａ及び動画キャラクターｂを例とし、このマッピング関係が線形関係であると、上記式（５）は、式（６）であってもよい。

【0059】

β^ｂ＝ｆ＊β^ａ （６）
ただし、β^ｂは、被駆動側キャラクターに対応する表情パラメータであり、β^ａは、駆動側キャラクターに対応する表情パラメータであり、ｆは、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を表す。

【0060】

駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係ｆを決定すると、式（６）を組み合わせて動画キャラクターｂの表情パラメータβ^ｂを計算することができる。β^ａの次元数と動画キャラクターｂの表情ベースの次元数とは異なるが、マッピング関係によって得られたβ^ｂの次元数と動画キャラクターｂの表情ベースの次元数とは同じであり、動画キャラクターｂを駆動して表情をさせることができる。従って、β^ｂを用い、式（６）により動画キャラクターｂを駆動し、すなわち、動画キャラクターｂの顔カスタマイズベースを決定することなく、動画キャラクターａに対応する表情パラメータβ^ａを用い、動画キャラクターｂを直接駆動することができる。

【0061】

なお、本出願の実施例に係る動画キャラクターの駆動方法は、異なる動画キャラクターに対応する表情ベース（顔に対する）の間の遷移に適用することができ、すなわち、駆動側キャラクターに対応する表情パラメータを用い、被駆動側キャラクターを直接駆動し、口の形、微笑み、哭などなどの表情をさせる。本出願の実施例に係る動画キャラクターの駆動方法は、さらに、手足の動作などの他のオブジェクトの遷移にも適用することができ、すなわち、駆動側キャラクターに対応する動作パラメータを用い、被駆動側キャラクターを直接駆動して動作させる。

【0062】

上記技術案から分かるように、一方の動画キャラクターが対応する顔カスタマイズベースを有し、他方の動画キャラクターが対応する顔カスタマイズベースを有しない場合、顔カスタマイズベースを有する動画キャラクターを駆動側キャラクターとし、顔カスタマイズベースを有しない動画キャラクターを被駆動側キャラクターとする。駆動側キャラクターに対応する表情パラメータと、被駆動側キャラクターに対応する表情パラメータとがマッピング関係を有するため、このマッピング関係を決定すると、被駆動側キャラクターが顔カスタマイズベースを有さなくても、このマッピング関係に基づいて、駆動側キャラクターに対応する表情パラメータを用い、被駆動側キャラクターを直接駆動することができる。駆動側キャラクターに対応する実際の表情パラメータは、被駆動側キャラクターを駆動して実際の表情をさせることができ、この実際の表情パラメータは、この実際の表情とその表情ベースとの異なる次元での関連度を表すことができ、すなわち、被駆動側キャラクターに対応する実際の表情パラメータも、被駆動側キャラクターの実際の表情とその表情ベースとの異なる次元での関連度を表すことができる。従って、上記表情パラメータと表情ベースとの関連関係に基づいて、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースに応じて、表情パラメータ間のマッピング関係を決定し、このマッピング関係に応じて、駆動側キャラクターの既知の表情パラメータ及びこのマッピング関係を用い、被駆動側キャラクターを駆動することで、被駆動側キャラクターに、該既存の表情パラメータで標識される実際の表情をさせる。それにより、新規動画キャラクターに対応する顔カスタマイズベースを取得するための処理を行わなくても、他の動画キャラクターの既知の表情パラメータによって、この新規動画キャラクターを直接駆動することができ、新規動画キャラクターの創出速度を高めることができる。

【0063】

次に、Ｓ２０２で如何に駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するかについて詳細に説明する。次の実施例では、主にマッピング関係が線形マッピング関係であることについて説明する。

【0064】

本実施例は、マッピング関係を提供する２つの方法を主に提供する。第１の方法の思想は、一方の既知の表情パラメータ、例えば、第１表情パラメータに応じて、他方の表情パラメータ、例えば、第２表情パラメータを決定し、第１表情パラメータと第２表情パラメータとがマッピング関係を有し、それにより、第１表情パラメータ及び第２表情パラメータに応じてマッピング関係を求めることである。第２の方法の思想は、解析表現式に基づくマッピング関係決定方法であり、駆動側キャラクターの表情ベースと被駆動側キャラクターの表情ベースとが変換により完全に同一の点群データを得ることができ、点群データの間の等式関係に基づいてマッピング関係を求めることである。

【0065】

第１の方法のフローチャートは、図４に示す。第１表情パラメータは、表情ベースの次元数が第１次元数の表情パラメータを駆動し、第１表情ベースの次元数が第１次元数であり、第１表情パラメータを用い第１キャラクターに対応する表情ベースを駆動し、それにより、第１表情パラメータ及び第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定する。このターゲットメッシュは、ターゲット頂点トポロジーを有し、第１表情パラメータに対応する表情をする時の第１キャラクターを標識するものである。ターゲット頂点トポロジーを有する第１キャラクターに対応するターゲット表情ベースを取得し、ターゲット表情ベースの次元数が第２次元数であり、ターゲット表情ベースは、第２キャラクターに対応する第２表情ベースに応じて決定される。そして、ターゲットメッシュ及びターゲット表情ベースに応じて、第１キャラクターに対応する第２表情パラメータを決定し、第２表情パラメータは、第１キャラクターの、ターゲットメッシュに対する表情変化度を表す。第１表情パラメータ及び第２表情パラメーに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する。左側の破線ブロックには、ターゲットメッシュの決定プロセスが示され、右側の破線ブロックには、ターゲット表情ベースの決定プロセスが示される。

【0066】

なお、第１キャラクター及び第２キャラクターのうちの一方は、対応する顔カスタマイズベースを有し、他方は、対応する顔カスタマイズベースを有せず、駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、被駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターである。

【0067】

図４に対応する実施例に基づいて、本出願の実施例は、複数種の異なるターゲットメッシュの決定方式を提供する。ターゲット頂点トポロジーが第２表情ベースに対応する第２頂点トポロジーである場合、第１表情ベースが第１頂点トポロジーに対応するため、通常に、第１表情パラメータを用いて第１表情ベースを駆動して得られたメッシュがこの第１頂点トポロジーを有すべきであることが理解され得る。第１頂点トポロジーと第２頂点トポロジーとが同じではない場合、第２頂点トポロジーを有するターゲットメッシュを得るために、第１頂点トポロジーを有するメッシュを第２頂点トポロジーを有するターゲットメッシュに変換する必要がある。

【0068】

本出願の実施例に記載された頂点トポロジー、例えば、第１頂点トポロジー、第２頂点トポロジー、ターゲット頂点トポロジーは、メッシュにおける一部の頂点トポロジーであり得、この一部の頂点トポロジーは、動画キャラクターの駆動に係る頂点トポロジーである。例えば、動画キャラクターが頭部であり、動画キャラクターを駆動して顔表情をさせるときに係る頂点トポロジーは、頭部を表すメッシュにおける顔に対応する頂点トポロジーである。

【0069】

よって、１つの可能な実施形態では、図５を参照すると、ターゲットメッシュの決定方式は、第１表情パラメータ及び第１キャラクターに対応する第１表情ベースに応じて初期メッシュを決定し、初期メッシュが第１表情ベースに対応する第１頂点トポロジーを有するため、第１頂点トポロジーと第２頂点トポロジーとの対応関係（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）に応じて、ターゲットメッシュを生成できることである。

【0070】

この場合、ターゲット表情ベースの決定方式は、第１表情ベースから無表情の第１キャラクターに対応する無表情メッシュを決定し、第２表情ベースから無表情の第２キャラクターに対応する無表情メッシュを決定し、次に、第１キャラクターに対応する無表情メッシュ及び第２キャラクターに対応する無表情メッシュに応じて、調整メッシュを決定することであり、調整メッシュは、第２頂点トポロジーを有し、無表情にある時の第１キャラクターを標識するものである。調整メッシュと第２表情ベースにおけるメッシュの変形関係が既知であるため、調整メッシュと第２表情ベースにおけるメッシュの変形関係に応じて、ターゲット表情ベースを生成することができる。このメッシュの変形関係は、表情ベースにおける表情ありメッシュの、無表情メッシュに対する変形関係を表すことができる。

【0071】

頂点トポロジーと動画キャラクターとが所定の関係を有するが、両者が強い関連関係ではなく、すなわち、動画キャラクターが同一であると、頂点トポロジーが必ず同じである一方、頂点トポロジーが同じであると、動画キャラクターが異なってもよい（例えば、頂点トポロジーを変形させる）。調整メッシュを決定する具体的な方式は、第２キャラクターに対応する無表情メッシュを顔カスタマイズアルゴリズムによって第１キャラクターに対応する無表情メッシュに貼ることであり、顔カスタマイズアルゴリズムは、例えば、ｎｒｉｃｐアルゴリズムを用いることができ、それにより、新規メッシュすなわち調整メッシュを得ることができる。当然ながら、ｎｒｉｃｐアルゴリズムを用いるほか、他の顔カスタマイズアルゴリズムを用いてもよいが、本実施例では、これについて限定しない。

【0072】

第１頂点トポロジーと第２頂点トポロジーが同じである場合、第１表情パラメータを用い第１表情ベースを駆動して得られたメッシュは、初期メッシュではなく、ターゲットメッシュであり、初期メッシュをターゲットメッシュに変換する上記ステップが不要となる。

【0073】

なお、第１キャラクターに対応する第２表情パラメータと、第１キャラクターに対応する既存の大量表情パラメータとが同一のデータ分布を有する場合、図５に対応する実施例に係る方法によって、ターゲットメッシュ及びターゲット表情ベースを正確に決定し、さらにマッピング関係を正確に決定することができ、それにより、マッピング関係及び駆動側キャラクターの表情パラメータに応じて、被駆動キャラクターをうまく駆動することができる。

【0074】

しかし、場合によっては、図５に対応する実施例で決定された第１キャラクターに対応する第２表情パラメータと、第１キャラクターに対応する既存の大量の表情パラメータとは、必ずしもなく、同一のデータ分布を有するわけではない。両者のデータ分布が異なるため、マッピング関係を正確に決定できず、さらに駆動側キャラクターに対応する表情パラメータを用い被駆動側キャラクターを駆動するとき、表現が不十分であり、正確な表情をマッピングできないなどの問題を回避するために、本出願の実施例は、別のターゲットメッシュの決定方式をさらに提供する。

【0075】

図６に示すように、この方式では、第２キャラクターに対応する第２表情ベースから無表情の第２キャラクターに対応する無表情メッシュを決定し、第２キャラクターに対応する無表情メッシュ及び第１キャラクターに対応する第１表情ベースに応じて、第２頂点トポロジーを有する第１キャラクターに対応する調整表情ベースを決定し、調整表情ベースの次元数が第１次元数である。第１表情パラメータを用い調整表情ベースを駆動し、それにより、第１表情パラメータ及び調整表情ベースに応じて、ターゲットメッシュを決定する。この場合、ターゲット表情ベースの決定方式は、調整表情ベースから無表情の第１キャラクターに対応する無表情メッシュを決定し、第１キャラクターに対応する無表情メッシュと第２表情ベースにおけるメッシュの変形関係に応じて、ターゲット表情ベースを生成することであり得る。

【0076】

調整表情ベースの決定方式は、顔カスタマイズアルゴリズムによって、第２キャラクターに対応する無表情メッシュを第１表情ベースにおける各表情メッシュに貼り、それにより、新規表情ベース、例えば、調整表情ベースを得ることであってもよい。これは、非剛体レジスト方法であり、顔カスタマイズアルゴリズムは、例えば、ｎｒｉｃｐアルゴリズムであってもよい。

【0077】

図６に対応する実施例に係る方法によって、データ分布が異なるため、マッピング関係を正確に決定できない問題を回避し、マッピング品質を顕著に向上させる。

【0078】

図７は、図５及び図６に対応する実施例に係る方法によって、動画キャラクターを駆動する効果図である。左側は、図５に対応する実施例に係る方法によって動画キャラクターを駆動する効果図であり、右側は、図６に対応する実施例に係る方法によって動画キャラクターを駆動する効果図である。それで分かるように、右側の効果図における唇の周りのしわが少なく、話している口の正常な形に似ている。

【0079】

なお、図５と図６におけるターゲットメッシュの決定方式を互いに置き換えることができ、同様に、図５と図６におけるターゲット表情ベースの決定方式も互いに置き換えることができる。

【0080】

第１の方法を用いる場合、第１表情パラメータ及び第２表情パラメータに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する方式は、複数対の第１表情パラメータ及び第２表情パラメータを取得し、次に、複数の第１表情パラメータからなる第１行列及び複数の第２表情パラメータからなる第２行列に応じて、マッピング関係を決定することであってもよい。

【0081】

図５及び図６に対応する任意の実施例では、第１キャラクター及び第２キャラクターのうちの一方は、対応する顔カスタマイズベースを有し、他方は、対応する顔カスタマイズベースを有しないことが理解され得る。第１キャラクターが対応する顔カスタマイズベースを有ない場合、第２キャラクターが対応する顔カスタマイズベースを有し、第１表情パラメータがランダム表情パラメータである。又は、第１キャラクターが対応する顔カスタマイズベースを有する場合、第２キャラクターが対応する顔カスタマイズベースを有しない。図５及び図６に対応する実施例に基づいて、第１キャラクターが顔カスタマイズベースを有する場合、及び第２キャラクターが顔カスタマイズベースを有する場合の動画キャラクターの駆動方法について説明する。

【0082】

図５に対応する実施例で第１キャラクターが対応する顔カスタマイズベースを有せず、第２キャラクターが対応する顔カスタマイズベースを有し、第１表情パラメータがランダム表情パラメータである場合、駆動側キャラクターは、第２キャラクター、被駆動側キャラクターは、第１キャラクターである。駆動側キャラクターは、動画キャラクターａであり、被駆動側キャラクターは、動画キャラクターｂであり、第１表情パラメータは、ランダム表情パラメータＢｂであり、ランダム表情パラメータＢｂは、形がＦｂであり、頂点トポロジーが第１頂点トポロジーＴｂであり、次元数がＮｂであり、つまり、このランダム表情パラメータＢｂは、第１表情ベースＥｂを直接駆動することができ、第１表情ベースＥｂは、形がＦｂであり、頂点トポロジーが第１頂点トポロジーＴｂであり、次元数が第１次元数Ｎｂである。動画キャラクターａの第２表情ベースＥａは、形がＦａであり、頂点トポロジーが第２頂点トポロジーＴａであり、次元数が第２次元数Ｎａであり、第２表情ベースＥａを駆動する大量の表情パラメータＢａが存在している。ＦａがＦｂと同じではなく、ＴａがＴｂと同じではなく、ＮａがＮｂと同じではない。

【0083】

この場合、図５に対応する実施例の具体的な実施形態については、図８を参照することができる。ランダム表情パラメータＢｂを用い第１表情ベースＥｂを直接駆動して初期メッシュを得、Ｍｅｓｈ_ｍｉｄとし、Ｍｅｓｈ_ｍｉｄは、形がＦｂであり、頂点トポロジーが第１頂点トポロジーＴｂである。そして、第１頂点トポロジーと第２頂点トポロジーとの対応関係によって、Ｍｅｓｈ_ｍｉｄをターゲットメッシュに変化させ、ターゲットメッシュは、頂点トポロジーが第２頂点トポロジー（ターゲット頂点トポロジー）Ｔａであり、形がＦｂに維持され、ターゲットメッシュをＭｅｓｈ_ｃとする。ｎｒｉｃｐアルゴリズムによって、第２表情ベースＥａから決定された無表情メッシュを第１表情ベースＥｂから決定された無表情メッシュに貼り、空間最近傍探索方法によって、点対の関係を得、それにより、調整メッシュを得、Ｎｅｗｂとし、Ｎｅｗｂは、形がＦｂであり、頂点メッシュが第２頂点トポロジーＴａである。また、１組の新規表情ベース、例えば、ターゲット表情ベースＥａ’を得る必要があり、ターゲット表情ベースＥａ’は、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴａ、次元数がＮａである。調整メッシュＮｅｗｂ及び第２表情ベースＥａにおける各次元の表情の、中性表情（無表情）のメッシュに対する変形関係は、既知であるため、調整メッシュＮｅｗｂと第２表情ベースＥａにおけるメッシュの変形関係に応じて、Ｎｅｗｂから変形してターゲット表情ベースＥａ’を得ることができる。それにより、ターゲット表情ベースＥａ’を用い、表情カスタマイズアルゴリズムによってターゲットメッシュＭｅｓｈ_ｃを作成することができるとともに、次元数がＮａの第２表情パラメータＢａ’を得る。

【0084】

それにより、１組のＢｂとＢａ’のマッピング関係が作成される。大量の第１表情パラメータＢｂがランダムに生成されると、対応する大量の第２表情パラメータＢａ’が生成される。第１表情パラメータＢｂ及び第２表情パラメータＢａ’がそれぞれＬ個であり、Ｌ個の第１表情パラメータＢｂが第１行列を構成し、Ｌ個の第２表情パラメータＢａ’が第２行列を構成し、それぞれＢＢ及びＢＡ’とする。式（７）に示される。

【0085】

ＢＡ’＝［Ｌ×Ｎａ］、ＢＢ＝［Ｌ×Ｎｂ］ （７）
本技術案の第１表情パラメータと第２表情パラメータとが満たす線形マッピング関係は、例えば、式（６）に示され、マッピング関係の決定式は、式（８）に示される。

【0086】

ｆ＝ＢＢ＊ｉｎｖ（ＢＡ’） （８）
ただし、ｆは、マッピング関係、ＢＢは、第１行列、ＢＡ’は、第２行列、ｉｎｖは、行列反転計算である。

【0087】

マッピング関係ｆを得ると、大量のＢａが存在しており、Ｂａ及びＢａ’に対応する表情ベースの次元数がいずれもＮａであり、各次元数のセマンティクス情報が同じであり、従って、ＢａとＢａ’が等価である。それにより、任意の１組のＢａに対して、対応するＢｂ＝ｆ＊Ｂａを得ることができ、それにより、表情パラメータＢａに応じて表情パラメータＢｂを得ることで、動画キャラクターｂを駆動する。

【0088】

図５に対応する実施例での第１キャラクターが対応する顔カスタマイズベースを有し、第２キャラクターが対応する顔カスタマイズベースを有しない場合、駆動側キャラクターは、第１キャラクターであり、被駆動側キャラクターは、第２キャラクターである。駆動側キャラクターは、動画キャラクターａであり、被駆動側キャラクターは、動画キャラクターｂであり、第１表情パラメータは、表情パラメータＢａであり、表情パラメータＢａは、形がＦａ、頂点トポロジーが第１頂点トポロジーＴａ、次元数がＮａであり、つまり、この表情パラメータＢａは、第１表情ベースＥａを直接駆動することができ、第１表情ベースＥａは、形がＦａ、頂点トポロジーが第１頂点トポロジーＴａ、次元数が第１次元数Ｎａである。動画キャラクターｂの第２表情ベースＥｂは、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴｂ、次元数が第２次元数Ｎｂであり、第１表情ベースＥａを駆動するための大量の表情パラメータＢａが存在している。ＦａがＦｂと同じではなく、ＴａがＴｂと同じではなく、ＮａがＮｂと同じではない。

【0089】

この場合、図５に対応する実施例の具体的な実施形態は、図９に示す。表情パラメータＢａを用い第１表情ベースＥａを直接駆動して初期メッシュを得、Ｍｅｓｈ_ｍｉｄとする。Ｍｅｓｈ_ｍｉｄは、形がＦａ、頂点トポロジーが第１頂点トポロジーＴａである。そして、第１頂点トポロジーと第２頂点トポロジーとの対応関係によって、Ｍｅｓｈ_ｍｉｄをターゲットメッシュに変化させ、ターゲットメッシュは、頂点トポロジーが第２頂点トポロジー（ターゲット頂点トポロジー）Ｔｂであり、形がＦａに維持され、ターゲットメッシュをＭｅｓｈ_ｃとする。ｎｒｉｃｐアルゴリズムによって、第２表情ベースＥｂから決定された無表情メッシュを第１表情ベースＥａから決定された無表情メッシュに貼り、空間最近傍探索方法によって、点対の関係を得、それにより、調整メッシュを得、Ｎｅｗｂとし、Ｎｅｗｂは、形がＦａ、頂点トポロジーが第２頂点トポロジーＴｂである。また、１組の新規表情ベース、例えば、ターゲット表情ベースＥｂ’を得る必要があり、ターゲット表情ベースＥｂ’は、形がＦａ、頂点トポロジーが第２頂点トポロジーＴｂ、次元数がＮｂである。調整メッシュＮｅｗｂと第２表情ベースＥｂにおけるメッシュの変形関係が既知であるため、調整メッシュＮｅｗｂと第２表情ベースＥｂにおけるメッシュの変形関係に応じて、Ｎｅｗｂから変形してターゲット表情ベースＥｂ’を得ることができる。それにより、ターゲット表情ベースＥｂ’を用い、表情カスタマイズアルゴリズムによってターゲットメッシュＭｅｓｈ_ｃを作成することができるとともに、次元数がＮｂの第２表情パラメータＢｂを得る。

【0090】

既存の大量の第１表情パラメータＢａを用いれば、対応する大量の第２表情パラメータＢｂを生成することができる。同様に、上記式（７）及び（８）の方法で、第１表情パラメータと第２表情パラメータとのマッピング関係を決定することができる。

【0091】

それにより、任意の１組のＢａに対して、対応するＢｂ＝ｆ＊Ｂａを得ることができ、それにより、表情パラメータＢａに応じて表情パラメータＢｂを得ることで、動画キャラクターｂを駆動する。

【0092】

図６に対応する実施例での第１キャラクターが対応する顔カスタマイズベースを有し、第２キャラクターが対応する顔カスタマイズベースを有しない場合、駆動側キャラクターは、第１キャラクター、被駆動側キャラクターは、第２キャラクターである。駆動側キャラクターは、動画キャラクターａであり、被駆動側キャラクターは、動画キャラクターｂであり、第１表情パラメータは、表情パラメータＢａであり、表情パラメータＢａは、形がＦａ、頂点トポロジーが第１頂点トポロジーＴａ、次元数がＮａであり、つまり、この表情パラメータＢａは、第１表情ベースＥａを直接駆動することができる。動画キャラクターｂの第２表情ベースＥｂは、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴｂ、次元数が第２次元数Ｎｂであり、第１表情ベースＥａを駆動するための大量の表情パラメータＢａが存在している。ＦａがＦｂと同じではなく、ＴａがＴｂと同じではなく、ＮａがＮｂと同じではない。

【0093】

この場合、図６に対応する実施例の具体的な実施形態は、図１０に示す。ターゲット頂点トポロジーが第２頂点トポロジーＴｂである場合、先ず、頂点トポロジーが第２頂点トポロジーＴｂの調整表情ベースＥａ’を構築し、第１表情パラメータＢａがこの第２頂点トポロジーＴｂの調整表情ベースＥａ’を駆動できることを確保する。調整表情ベースＥａ’の構築方式は、複数種あり、第１方式は、ｎｒｉｃｐアルゴリズムなどの顔カスタマイズアルゴリズムによって、第２表情ベースＥｂから決定された無表情メッシュを第１表情ベースＥａにおける各表情メッシュに貼り、調整表情ベースＥａ’を得ることである。第２方式は、顔カスタマイズアルゴリズムによって、第２表情ベースＥｂから決定された無表情メッシュを第１表情ベースＥａにおける無表情メッシュに貼り、頂点トポロジーがＥｂにおけるメッシュと同じ、形がＦａの無表情メッシュを得、次に、Ｅａにおける各表情メッシュの、無表情メッシュに対する変形に応じて、上記得られた形がＦａ、頂点トポロジーがＴｂの無表情メッシュを変化させ、それにより、調整表情ベースＥａ’を得ることで、貼るとき、ＥａとＥｂにおける頂点対の間の対応関係が唯一であることを確保する。調整表情ベースＥａ’は、形がＦａ、頂点トポロジーが第２頂点トポロジーＴｂ、次元数が第１次元数Ｎａである。

【0094】

第１表情パラメータＢａが第１表情ベースＥａを直接駆動でき、調整表情ベースＥａ’と第１表情ベースＥａの次元数が同じであり、且つ各次元のセマンティクス情報が同じであり、従って、第１表情パラメータＢａを用いて調整表情ベースＥａ’を直接駆動し、ターゲットメッシュを得ることができる。ターゲットメッシュは、形がＦａ、頂点トポロジーが第２頂点トポロジーＴｂであり、ターゲットメッシュをＭｅｓｈ_ｃとする。

【0095】

ターゲットメッシュ及びターゲット表情ベースに応じて、次元数が第２次元数Ｎｂの第２表情パラメータＢｂを決定するために、形がＦａ、頂点トポロジーが第２頂点トポロジーＴｂ、次元数がＮｂのターゲット表情ベースを構築する必要がある。従って、調整表情ベースＥａ’から無表情の第１キャラクターに対応する無表情メッシュを決定し、第１キャラクターに対応する無表情メッシュと第２表情ベースにおけるメッシュの変形関係に応じて、ターゲット表情ベースＥｂ’を生成し、ターゲット表情ベースＥｂ’は、形がＦａ、頂点トポロジーが第２頂点トポロジーＴｂ、次元数がＮｂである。それにより、ターゲット表情ベースＥｂ’を用い、表情カスタマイズアルゴリズムによってターゲットメッシュＭｅｓｈ_ｃを作成することができるとともに、次元数がＮｂの第２表情パラメータＢｂを得る。

【0096】

既存の大量の第１表情パラメータＢａを用いれば、対応する大量の第２表情パラメータＢｂを生成することができる。同様に、上記式（７）及び（８）の方法を用い、第１表情パラメータと第２表情パラメータのマッピング関係を決定することができる。

【0097】

それにより、任意の１組のＢａに対して、対応するＢｂ＝ｆ＊Ｂａを得ることができ、それにより、表情パラメータＢａに応じて表情パラメータＢｂを得ることで、動画キャラクターｂを駆動する。

【0098】

図６に対応する実施例での第１キャラクターが対応する顔カスタマイズベースを有せず、第２キャラクターが対応する顔カスタマイズベースを有し、第１表情パラメータがランダム表情パラメータである場合、駆動側キャラクターは、第２キャラクター、被駆動側キャラクターは、第１キャラクターである。駆動側キャラクターは、動画キャラクターａであり、被駆動側キャラクターは、動画キャラクターｂであり、第１表情パラメータは、ランダム表情パラメータＢｂであり、ランダム表情パラメータＢｂは、形がＦｂ、頂点トポロジーが第１頂点トポロジーＴｂ、次元数がＮｂであり、つまり、このランダム表情パラメータＢｂは、第１表情ベースＥｂを直接駆動することができ、第１表情ベースＥｂは、形がＦｂ、頂点トポロジーが第１頂点トポロジーＴｂ、次元数が第１次元数Ｎｂである。動画キャラクターａの第２表情ベースＥａは、形がＦａ、頂点トポロジーが第２頂点トポロジーＴａ、次元数が第２次元数Ｎａであり、第２表情ベースＥａを駆動するための大量の表情パラメータＢａが存在している。ＦａがＦｂと同じではなく、ＴａがＴｂと同じではなく、ＮａがＮｂと同じではない。

【0099】

この場合、図６に対応する実施例の具体的な実施形態は、図１１に示す。ターゲット頂点トポロジーが第２頂点トポロジーＴａである場合、先ず、第１表情パラメータＢｂが駆動できることを確保するように、頂点トポロジーが第２頂点トポロジーＴａの調整表情ベースＥｂ’を構築する。調整表情ベースＥｂ’の構築方式は、複数種あり、第１の方式は、ｎｒｉｃｐアルゴリズムなどの顔カスタマイズアルゴリズムによって、第２表情ベースＥａから決定された無表情メッシュを第１表情ベースＥｂにおける各表情メッシュに貼り、調整表情ベースＥｂ’を得ることである。第２方式は、顔カスタマイズアルゴリズムによって、第２表情ベースＥａから決定された無表情メッシュを第１表情ベースＥｂにおける無表情メッシュに貼り、頂点トポロジーがＥａにおけるメッシュと同じであり、形がＦｂの無表情メッシュを得、次にＥｂにおける各表情メッシュの、無表情メッシュに対する変形に応じて、上記得られた形がＦｂ、頂点トポロジーがＴａの無表情メッシュを変化させ、それにより、調整表情ベースＥｂ’を得、貼るとき、ＥａとＥｂにおける頂点対の間の対応関係が唯一であることを確保する。調整表情ベースＥｂ’は、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴａ、次元数が第１次元数Ｎｂである。

【0100】

第１表情パラメータＢｂが第１表情ベースＥｂを直接駆動でき、調整表情ベースＥｂ’と第１表情ベースＥｂの次元数が同じであり、且つ各次元のセマンティクス情報が同じであり、従って、第１表情パラメータＢｂを用い調整表情ベースＥｂ’を直接駆動し、ターゲットメッシュを得ることができる。ターゲットメッシュは、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴａであり、ターゲットメッシュをＭｅｓｈ_ｃとする。

【0101】

ターゲットメッシュ及びターゲット表情ベースに応じて、次元数が第２次元数Ｎａの第２表情パラメータＢａ’を決定するために、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴａ、次元数がＮａのターゲット表情ベースを構築する必要がある。従って、調整表情ベースＥｂ’から無表情の第１キャラクターに対応する無表情メッシュを決定し、第１キャラクターに対応する無表情メッシュと第２表情ベースにおけるメッシュの変形関係に応じて、ターゲット表情ベースＥａ’を生成し、ターゲット表情ベースＥａ’は、形がＦｂ、頂点トポロジーが第２頂点トポロジーＴａ、次元数がＮａである。それにより、ターゲット表情ベースＥａ’を用い、表情カスタマイズアルゴリズムによってターゲットメッシュＭｅｓｈ_ｃを作成することができるとともに、次元数がＮａの第２表情パラメータＢａ’を得る。

【0102】

大量の第１表情パラメータＢｂがランダムに生成されると、対応する大量の第２表情パラメータＢａ’が生成される。同様に、上記式（７）及び（８）の方法を用い、第１表情パラメータと第２表情パラメータのマッピング関係を決定することができる。

【0103】

マッピング関係ｆを得ると、大量のＢａが存在しており、Ｂａ及びＢａ’に対応する表情ベースの次元数がいずれもＮａであり、各次元数のセマンティクス情報が同じであり、従って、ＢａとＢａ’が等価である。それにより、任意の１組のＢａに対して、対応するＢｂ＝ｆ＊Ｂａを得ることができ、それにより、表情パラメータＢａに応じて表情パラメータＢｂを得ることで、動画キャラクターｂを駆動する。

【0104】

以上に説明された第１方法は、主に、サンプリングして得られた既存の第１表情パラメータに基づいて第２表情パラメータを決定し、さらに第１表情パラメータと第２表情パラメータとのマッピング関係を決定する。サンプリング不均一性による、第２表情パラメータの分布が不均一である問題を回避するために、本出願の実施例は、第２方法をさらに提供し、第２方法の実施形態は、被駆動キャラクターに対応する表情ベース及び表情パラメータに応じて、駆動側キャラクターに対応する第１点群データを決定し、被駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、被駆動側キャラクターに対応する第２点群データを決定することである。第１点群データを変換することで、第２点群データを得ることができ、又は、第２点群データを変換することで、第１点群データを得ることができ、第１点群データ及び第２点群データの変換パラメータを決定すると、第１点群データ、第２点群データ及び変換パラメータに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定することができる。変換は、例えば、回転、並進、拡大縮小などを含むことができる。変換パラメータは、第２点群データを第１点群データに変換する変換関係を標識するものである。

【0105】

次に、点群データ（例えば、第１点群データ及び第２点群データ）の決定原理について説明する。

【0106】

無表情の動画キャラクターがｍｕ、表情ベースがＥ、表情ベースＥの次元数がｎである場合、Ｂは、ｎ＊１のベクトル、Ｅは、表情ベース行列であり、与えられたｎ次元のパラメータＢに対して、式（９）により点群データＲを得ることができる。

【0107】

Ｒ＝ｍｕ＋Ｅ＊Ｂ （９）
駆動側キャラクターの表情ベースがＥ_ａ、駆動側キャラクターの表情パラメータがＢ_ａ、無表情の駆動側キャラクターがｍｕ_ａ、被駆動側キャラクターの表情ベースがＥ_ｂ、被駆動側キャラクターの表情パラメータがＢ_ｂ、無表情の駆動側キャラクターがｍｕ_ｂである場合、第１点群データは、Ｒ_ａ＝ｍｕ_ａ＋Ｅ_ａ＊Ｂ_ａ、第２点群データは、Ｒ_ｂ＝ｍｕ_ｂ＋Ｅ_ｂ＊Ｂ_ｂである。

【0108】

理解できるように、本実施例は、複数種の方法によって変換パラメータを決定することができ、例えば、反復最接近点アルゴリズム（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ、ＩＣＰ）によって変換パラメータを計算でき、変換パラメータは、式（１０）に示される。

【0109】

ｔｒａｎｓ＝|ｓＲ ｓＴ| （１０）
ただし、ｔｒａｎｓは、変換パラメータであり、ｓは、拡大縮小を表し、Ｒは、回転を表し、Ｔは、並進を表す。

【0110】

変換パラメータを用い第１点群データを第２点群データに変換することを例として、第１点群データ、第２点群データ及び変換パラメータに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定することについて説明する。

【0111】

変換パラメータで処理された第１点群データと第２点群データとは、完全に同じであり、変換パラメータで処理された第１点群データと第２点群データとは、以下の式（１１）に示す関係を有する。

【0112】

ｍｕ_ｂ＋Ｅ_ｂ＊Ｂ_ｂ＝ｔｒａｎｓ＊（ｍｕ_ａ＋Ｅ_ａ＊Ｂ_ａ） （１１）
ｔｒａｎｓが主に表情ベースに作用するため、式（１１）は、式（１２）に変わることができる。

【0113】

ｍｕ_ｂ＋Ｅ_ｂ＊Ｂ_ｂ＝ｍｕ_ａ＋Ｅ_ｃ＊Ｂ_ｃ （１２）
ただし、Ｅｃは、ｔｒａｎｓで表情ベースＥ_ａを処理して得られた新規表情ベースである。ｔｒａｎｓは、表情パラメータに影響を与えず、主に表情ベースに作用し、従って、Ｂｃ＝Ｂａ。また、式（１２）をベースとし、２組の表情ベースが完全に同一であり、無表情のキャラクターも完全に同一であり、従って、ｍｕ_ｂ＝ｍｕ_ａ。それにより、式（１２）を式（１３）に簡略化することができる。

【0114】

Ｅ_ｂ＊Ｂ_ｂ＝Ｅ_ｃ＊Ｂ_ａ （１３）
本実施例は、駆動側キャラクターに対応する表情パラメータＢａと被駆動側キャラクターに対応する表情パラメータＢｂとのマッピング関係ｆを決定し、Ｂ_ｂ＝ｆ＊Ｂ_ａにすることを目的とし、式（１３）を組み合わせてｆ＝Ｅ_ｂ ^－１＊Ｅ_ｃを得ることができる。

【0115】

第２方法は、数学上の誤差がより小さく、得られたｆは、サンプリングされた解ではなく、解析された解であり、サンプリングに起因する分布不均一性の問題を回避する。

【0116】

また、この方法では、計算結果ｆは、表情ベースのみに依存し、オリジナルの点群データの分布が不均一である可能性があるため、ｍｅｓｈのダウンサンプリングによって、均一な点ｉｎｌｉｎｅｒを取得して表情ベースを構成し、効果が得られる。また、使用する部分を制御すでき（例えば、口又は目の点のみ用いる）、このように、動画キャラクターの、駆動すべき部分を正確に制御でき、不重要部分に起因する干渉（例えば、頬など）を回避する。

【0117】

本実施例では、動画キャラクターの顔を駆動できるとともに、動画キャラクターの様々な構造も駆動できる。駆動された様々な構造は、動画キャラクターの変形可能な構成部分であり、動画キャラクターが人であることを例とすると、人の手、足などが変形する（例えば、曲がる）ことができ、被駆動構造は、手、足などであってもよいことが理解され得る。

【0118】

よって、本出願の実施例は、動画キャラクターの駆動方法を提供し、図１２ａを参照すると、前記方法は、Ｓ１２０１～Ｓ１２０３を含む。

【0119】

Ｓ１２０１において、駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得する。

【0120】

駆動側キャラクターは、対応する構造ベースを有し、被駆動側キャラクターは、対応する構造ベースを有せず、構造ベースは、対応するキャラクターの構造特徴を標識するものであり、変形ベースは、対応するキャラクターの変形特徴を標識するものである。対応するキャラクターが手であることを例とすると、構造ベースは、指の長さ、指の太さ、掌の幅及び厚さ、指の位置などの構造特徴を表すことができ、変形ベースは、指の曲がり度などの変形特徴を表すことができる。当然ながら、対応するキャラクターが顔であると、構造ベースは、前記実施例に記載された顔カスタマイズベースであり、変形ベースは、表情ベースである。

【0121】

Ｓ１２０２において、駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースに応じて、駆動側キャラクターに対応する変形パラメータと被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定する。

【0122】

変形パラメータは、対応するキャラクターの外観変化度を標識するものである。対応するキャラクターが手であることを例とすると、変形パラメータは、指の曲がり度などを表す。当然ながら、対応するキャラクターが顔であると、変形パラメータは、前記実施例に記載された表情パラメータである。

【0123】

Ｓ１２０３において、駆動側キャラクターに対応する変形パラメータ及びマッピング関係に応じて被駆動側キャラクターを駆動する。

【0124】

本実施例の各ステップの具体的な実施形態については、図２に対応する実施例の実施形態を参照することができ、ここで繰り返し説明しない。

【0125】

次に、実際の適用シーンを組み合わせて本出願の実施例に係る人工知能に基づく動画キャラクターの駆動方法について説明する。

【0126】

この適用シーンでは、動画キャラクターは、年始のあいさつ用のものであり、動画キャラクターａは、存在しており、動画キャラクターａは、顔カスタマイズベースを有し、動画キャラクターａの表情ベースＥａは、形がＦａ、頂点トポロジーがＴａ、次元数がＮａである。年始のあいさつ用の新規動画キャラクターｂを創出しようとすると、動画キャラクターｂの表情ベースＥｂは、形がＦｂ、頂点トポロジーがＴｂ、次元数がＮｂである。ＦａがＦｂと同じではなく、ＴａがＴｂと同じではなく、ＮａがＮｂと同じではない。

【0127】

動画キャラクターａの表情パラメータＢａが既知のものであると、動画キャラクターｂの創出速度を加速するために、既知の表情パラメータＢａの動画キャラクターａを駆動側キャラクターとし、動画キャラクターｂを被駆動側とし、駆動側キャラクターに対応する表情ベースＥａ及び被駆動側キャラクターに対応する表情ベースＥｂに応じて、駆動側キャラクターに対応する表情パラメータＢａと被駆動側キャラクターに対応する表情パラメータＢｂとのマッピング関係を決定する。このように、駆動側キャラクターの表情パラメータＢａが既知のものであると、動画キャラクターｂに対応する顔カスタマイズベースを取得するための処理を行わなくても、既知の表情パラメータＢａ及びマッピング関係によって、被駆動側キャラクターに対応する表情パラメータＢｂを決定でき、それにより、この新規動画キャラクターを駆動し、動画キャラクターｂの創出速度を加速する。

【0128】

前記実施例に係る方法によれば、本実施例は、人工知能に基づく動画キャラクターの駆動装置をさらに提供する。図１２ｂを参照すると、前記装置は、取得ユニット１２０１、決定ユニット１２０２及び駆動ユニット１２０３を含み、
前記取得ユニット１２０１は、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得し、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有しない。

【0129】

前記決定ユニット１２０２は、前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する。

【0130】

前記駆動ユニット１２０３は、前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する。

【0131】

１つの可能な実施形態では、前記駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、前記被駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターであり、前記決定ユニット１２０２は、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定し、前記第１表情パラメータは、表情ベースの次元数が第１次元数の表情パラメータを駆動し、前記第１表情ベースの次元数が前記第１次元数であり、前記ターゲットメッシュがターゲット頂点トポロジーを有し、前記第１表情パラメータに対応する表情をする時の前記第１キャラクターを標識するものである。

【0132】

前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得し、前記ターゲット表情ベースの次元数が第２次元数であり、前記ターゲット表情ベースが前記第２キャラクターに対応する第２表情ベースに応じて決定され、
前記ターゲットメッシュ及び前記ターゲット表情ベースに応じて、前記第１キャラクターに対応する第２表情パラメータを決定し、前記第２表情パラメータが前記第１キャラクターの前記ターゲットメッシュに対する表情変化度を表すものであり、
前記第１表情パラメータ及び第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する。

【0133】

１つの可能な実施形態では、前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、前記決定ユニット１２０２は、さらに、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じて初期メッシュを決定し、前記初期メッシュが前記第１表情ベースに対応する第１頂点トポロジーを有し、
第１頂点トポロジーと第２頂点トポロジーの対応関係に応じて、前記ターゲットメッシュを生成し、
また、前記決定ユニット１２０２は、
前記第１表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、前記第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定し、
前記第１キャラクターに対応する無表情メッシュ及び前記第２キャラクターに対応する無表情メッシュに応じて、調整メッシュを決定し、前記調整メッシュが前記第２頂点トポロジーを有し、無表情にある時の第１キャラクターを標識するものであり、
前記調整メッシュと前記第２表情ベースにおけるメッシュの変形関係に応じて、前記ターゲット表情ベースを生成する。

【0134】

１つの可能な実施形態では、前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、前記決定ユニット１２０２は、さらに、
第２キャラクターに対応する第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定し、
前記第２キャラクターに対応する無表情メッシュ及び前記第１キャラクターに対応する第１表情ベースに応じて、第２頂点トポロジーを有する前記第１キャラクターに対応する調整表情ベースを決定し、前記調整表情ベースの次元数が第１次元数であり、
前記第１表情パラメータ及び前記調整表情ベースに応じて、前記ターゲットメッシュを決定し、
また、前記決定ユニット１２０２は、
前記調整表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、
前記第１キャラクターに対応する無表情メッシュと前記第２表情ベースにおけるメッシュの変形関係に応じて、前記ターゲット表情ベースを生成する。

【0135】

１つの可能な実施形態では、前記第１キャラクターは、対応する顔カスタマイズベースを有せず、前記第２キャラクターは、対応する顔カスタマイズベースを有し、前記第１表情パラメータは、ランダム表情パラメータであり、又は、
前記第１キャラクターは、対応する顔カスタマイズベースを有し、前記第２キャラクターは、対応する顔カスタマイズベースを有しない。

【0136】

１つの可能な実施形態では、前記決定ユニット１２０２は、さらに、
複数対の前記第１表情パラメータ及び前記第２表情パラメータを取得し、
複数の前記第１表情パラメータからなる第１行列及び複数の前記第２表情パラメータからなる第２行列に応じて、前記マッピング関係を決定する。

【0137】

１つの可能な実施形態では、前記決定ユニット１２０２は、
前駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、前記駆動側キャラクターに対応する第１点群データを決定し、
前記被駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、前記被駆動側キャラクターに対応する第２点群データを決定し、
前記第１点群データ及び第２点群データの変換パラメータを決定し、前記変換パラメータが前記第２点群データと前記第１点群データとの変換関係を標識するものであり、
前記第１点群データ、前記第２点群データ及び前記変換パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する。

【0138】

本実施例は、人工知能に基づく動画キャラクターの駆動装置をさらに提供する。図１３ａを参照すると、前記装置は、取得ユニット１３０１、決定ユニット１３０２及び駆動ユニット１３０３を含む。

【0139】

前記取得ユニット１３０１は、駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得し、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものである。

【0140】

前記決定ユニット１３０２は、前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定する。

【0141】

前記駆動ユニット１３０３は、前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて前記被駆動側キャラクターを駆動する。

【0142】

本出願の実施例は、機器をさらに提供し、この機器は、人工知能駆動動画キャラクターに基づくものである。以下、図面を組み合わせてこの機器について説明する。図１３ｂに示すように、本出願の実施例は、機器１３００を提供し、この機器１３００は、さらに、端末機器であってもよく、この端末機器は、携帯電話、タブレットＰＣ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、販売端末（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ、ＰＯＳと略称）、車載コンピュータなどの任意のインテリジェント端末を含むことができ、端末機器が携帯電話であることを例とすると、
図１３ｂは、本出願の実施例に係る端末機器に関連する携帯電話の一部の構造のブロック図を示す。図１３ｂを参照すると、携帯電話は、高周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）回路１３１０、メモリ１３２０、入力ユニット１３３０、表示ユニット１３４０、センサ１３５０、オーディオ回路１３６０、ワイヤレス・フィデリティー（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉと略称）モジュール１３７０、プロセッサ１３８０、及び電源１３９０などの部材を含む。当業者は、図１３ｂに示す携帯電話の構造が携帯電話を限定するものではなく、図示より多く又は少ない部材を備え、又はいくつかの部材を組み合わせ、又は異なる部材を配置してもよいと理解される。

【0143】

メモリ１３２０は、ソフトウェアプログラム及びモジュールを記憶することができ、プロセッサ１３８０は、メモリ１３２０に記憶されたソフトウェアプログラム及びモジュールを実行することによって、携帯電話の様々な機能アプリケーション及びデータ処理を実行する。メモリ１３２０は、主に、プログラム記憶エリアおよびデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能によって要求されるアプリケーションプログラム（例えば、声再生機能、画像再生機能など）などを記憶し、データ記憶エリアは、携帯電話の使用に応じて作成されたデータ（例えば、オーディオデータ、電話帳）などを記憶し得る。また、メモリ１３２０は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスクメモリおよびフラッシュメモリのような不揮発性メモリ、または、他の揮発性ソリッドステートメモリを含み得る。

【0144】

プロセッサ１３８０は、携帯電話のコントロールセンターであり、様々なインタフェース及び回線を介して、携帯電話全体の各部分を接続し、メモリ１３２０に記憶されたソフトウェアプログラム及び／又はモジュールを運転又は実行し、メモリ１３２０に記憶されたデータを呼び出すことで、携帯電話の様々な機能及び処理データを実行し、それにより、携帯電話全体を監視する。任意選択的には、プロセッサ１３８０は、１つ又は複数の処理ユニットを含んでもよく、好適には、プロセッサ１３８０には、アプリケーションプロセッサ及び変復調プロセッサが集積されてもよく、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザーインタフェース及びアプリケーションプログラムなどを処理し、変復調プロセッサは、主に無線通信を処理する。上記変復調プロセッサは、プロセッサ１３８０に集積されなくてもよいことが理解され得る。

【0145】

本実施例では、この端末機器に含まれるプロセッサ１３８０は、
駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得し、前記駆動側キャラクターが対応する顔カスタマイズベースを有し、前記被駆動側キャラクターが対応する顔カスタマイズベースを有しない機能と
前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する機能と、
前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する機能、
又は、
駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得する機能であって、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものである機能と、
前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定する機能と、
前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する機能とをさらに有する。

【0146】

本出願の実施例は、サーバをさらに提供し、図１４に示すように、図１４は、本出願の実施例に係るサーバ１４００の構造図であり、サーバ１４００は、構成又は性能が異なるため、大きな差異が生じることがあり、１つ以上の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、ＣＰＵと略称）１４２２（例えば、１つ以上のプロセッサ）と、メモリ１４３２と、アプリケーションプログラム１４４２又はデータ１４４４を記憶する１つ以上の記憶媒体１４３０（例えば、１つ以上の大量の記憶デバイス）とを含むことができる。メモリ１４３２及び記憶媒体１４３０は、一時記憶又は永続的記憶であってもよい。記憶媒体１４３０に記憶されるプログラムは、１つ以上のモジュール（図示せず）を含んでもよく、各モジュールは、サーバサーバにおける一連の命令を操作する。さらに、中央処理装置１４２２は、記憶媒体１４３０と通信するように構成されており、サーバ１４００において記憶媒体１４３０における一連の命令操作を実行する。

【0147】

サーバ１４００は、１つ以上の電源１４２６、１つ以上の有線又は無線のネットワークインタフェース１４５０、１つ以上の入出力インタフェース１４５８、及び／又は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、 ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどの１つ以上のオペレーティングシステム１４４１を含むことができる。

【0148】

上記実施例では、サーバにより実行されたステップは、この図１４に示すサーバ構造に基づいて実現される。

【0149】

本出願の実施例は、コンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体は、プログラムコードを記憶し、前記プログラムコードは、前記各実施例に記載の人工知能に基づく動画キャラクターの駆動方法を実行する。

【0150】

本出願の実施例は、命令を含むコンピュータプログラム製品をさらに提供し、コンピュータに実行されると、コンピュータに前記各実施例に記載の人工知能に基づく動画キャラクターの駆動方法を実行させる。

【0151】

前記のように、以上の実施例は本出願の技術案を説明するものに過ぎず、限定するものではない。前述の実施例を参照して本出願を詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術案を修正するか、又はそのうちの一部の技術的特徴に対して同等置換を行うことができることを理解できる。これらの修正又は置換は、対応する技術案の本質を本出願の各実施例の技術的解決手段の精神及び範囲から逸脱させない。

【符号の説明】

【0152】

１０１ 端末機器
１２００ 動画キャラクターの駆動装置
１２０１ 取得ユニット
１２０２ 決定ユニット
１２０３ 駆動ユニット
１３００ 動画キャラクターの駆動装置
１３０１ 取得ユニット
１３０２ 決定ユニット
１３０３ 駆動ユニット
１３１０ 高周波回路
１３２０ メモリ
１３３０ 入力ユニット
１３４０ 表示ユニット
１３５０ センサ
１３６０ オーディオ回路
１３７０ ワイヤレスフィデリティーモジュール
１３８０ プロセッサ
１３９０ 電源
１４００ サーバ
１４２２ 中央処理装置
１４２６ 電源
１４３０ 記憶媒体
１４３２ メモリ
１４４１ オペレーティングシステム
１４４２ アプリケーションプログラム
１４４４ データ
１４５０ ネットワークインタフェース
１４５８ 入出力インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13a】

【図13b】

【図14】

【手続補正書】

【提出日】2021-10-14

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正の内容】

【0065】

第１の方法のフローチャートは、図４に示す。第１表情パラメータは、次元数が第１次元数である表情ベースを駆動するために用いられ、第１表情ベースの次元数が第１次元数であり、第１表情パラメータを用い第１キャラクターに対応する表情ベースを駆動し、それにより、第１表情パラメータ及び第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定する。このターゲットメッシュは、ターゲット頂点トポロジーを有し、第１表情パラメータに対応する表情をする時の第１キャラクターを標識するものである。ターゲット頂点トポロジーを有する第１キャラクターに対応するターゲット表情ベースを取得し、ターゲット表情ベースの次元数が第２次元数であり、ターゲット表情ベースは、第２キャラクターに対応する第２表情ベースに応じて決定される。そして、ターゲットメッシュ及びターゲット表情ベースに応じて、第１キャラクターに対応する第２表情パラメータを決定し、第２表情パラメータは、第１キャラクターの、ターゲットメッシュに対する表情変化度を表す。第１表情パラメータ及び第２表情パラメーに応じて、駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する。左側の破線ブロックには、ターゲットメッシュの決定プロセスが示され、右側の破線ブロックには、ターゲット表情ベースの決定プロセスが示される。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０１３１

【補正方法】変更

【補正の内容】

【0131】

１つの可能な実施形態では、前記駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、前記被駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターであり、前記決定ユニット１２０２は、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定し、前記第１表情パラメータは、次元数が第１次元数である表情ベースを駆動するために用いられ、前記第１表情ベースの次元数が前記第１次元数であり、前記ターゲットメッシュがターゲット頂点トポロジーを有し、前記第１表情パラメータに対応する表情をする時の前記第１キャラクターを標識するものである。

【手続補正4】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

処理機器が実行する動画キャラクターの駆動方法であって、
駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得するステップであって、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有しない、ステップと、
前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、
前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動するステップと、を含む動画キャラクターの駆動方法。

【請求項2】

前記駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、前記被駆動側キャラクターは、前記第１キャラクター及び前記第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターであり、
前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する前記ステップは、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定するステップであって、前記第１表情パラメータは、次元数が第１次元数である表情ベースを駆動するために用いられ、前記第１表情ベースの次元数が前記第１次元数であり、前記ターゲットメッシュは、ターゲット頂点トポロジーを有し、前記第１表情パラメータに対応する表情をする時の前記第１キャラクターを標識するものである、ステップと、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得するステップであって、前記ターゲット表情ベースの次元数が第２次元数であり、前記ターゲット表情ベースは、前記第２キャラクターに対応する第２表情ベースに応じて決定される、ステップと、
前記ターゲットメッシュ及び前記ターゲット表情ベースに応じて、前記第１キャラクターに対応する第２表情パラメータを決定するステップであって、前記第２表情パラメータは、前記第１キャラクターの前記ターゲットメッシュに対する表情変化度を表すものである、ステップと、
前記第１表情パラメータ及び前記第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、を含む請求項１に記載の方法。

【請求項3】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定する前記ステップは、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じて初期メッシュを決定するステップであって、前記初期メッシュは、前記第１表情ベースに対応する第１頂点トポロジーを有する、ステップと、
前記第１頂点トポロジーと前記第２頂点トポロジーとの対応関係に応じて前記ターゲットメッシュを生成するステップと、を含み、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得する前記ステップは、
前記第１表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、前記第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定するステップと、
前記第１キャラクターに対応する無表情メッシュ及び前記第２キャラクターに対応する無表情メッシュに応じて調整メッシュを決定するステップであって、前記調整メッシュは、前記第２頂点トポロジーを有し、無表情にある時の第１キャラクターを標識するものである、ステップと、
前記調整メッシュ及び前記第２表情ベースにおけるメッシュ変形関係に応じて前記ターゲット表情ベースを生成するステップと、を含む請求項２に記載の方法。

【請求項4】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定する前記ステップは、
前記第２キャラクターに対応する第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定するステップと、
前記第２キャラクターに対応する無表情メッシュ及び前記第１キャラクターに対応する第１表情ベースに応じて、前記第２頂点トポロジーを有する前記第１キャラクターに対応する調整表情ベースを決定するステップであって、前記調整表情ベースの次元数が第１次元数である、ステップと、
前記第１表情パラメータ及び前記調整表情ベースに応じて前記ターゲットメッシュを決定するステップと、を含み、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得する前記ステップは、
前記調整表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定するステップと、
前記第１キャラクターに対応する無表情メッシュ及び前記第２表情ベースにおけるメッシュ変形関係に応じて、前記ターゲット表情ベースを生成するステップと、を含む請求項２に記載の方法。

【請求項5】

前記第１キャラクターは、対応する顔カスタマイズベースを有せず、前記第２キャラクターは、対応する顔カスタマイズベースを有し、前記第１表情パラメータは、ランダム表情パラメータであり、又は、
前記第１キャラクターは、対応する顔カスタマイズベースを有し、前記第２キャラクターは、対応する顔カスタマイズベースを有しない、請求項３又は４に記載の方法。

【請求項6】

前記第１表情パラメータ及び第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する前記ステップは、
複数対の前記第１表情パラメータと前記第２表情パラメータを取得するステップと、
複数の前記第１表情パラメータからなる第１行列及び複数の前記第２表情パラメータからなる第２行列に応じて前記マッピング関係を決定するステップと、を含む、請求項２～４のいずれか一項に記載の方法。

【請求項7】

前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する前記ステップは、
前記駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、前記駆動側キャラクターに対応する第１点群データを決定するステップと、
前記被駆動側キャラクターに対応する表情ベース及び表情パラメータに応じて、前記被駆動側キャラクターに対応する第２点群データを決定するステップと、
前記第１点群データ及び前記第２点群データの変換パラメータを決定するステップであって、前記変換パラメータは、前記第２点群データと前記第１点群データとの変換関係を標識するものである、ステップと、
前記第１点群データ、前記第２点群データ及び前記変換パラメータに基づいて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定するステップと、を含む請求項１に記載の方法。

【請求項8】

処理機器が実行する動画キャラクターの駆動方法であって、
駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得するステップであって、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものであるステップ、と、
前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定するステップと、
前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動するステップと、を含む動画キャラクターの駆動方法。

【請求項9】

取得ユニット、決定ユニット及び駆動ユニットを含む動画キャラクターの駆動装置であって、
前記取得ユニットは、駆動側キャラクターに対応する表情ベース及び被駆動側キャラクターに対応する表情ベースを取得し、前記駆動側キャラクターは、対応する顔カスタマイズベースを有し、前記被駆動側キャラクターは、対応する顔カスタマイズベースを有せず、
前記決定ユニットは、前記駆動側キャラクターに対応する表情ベース及び前記被駆動側キャラクターに対応する表情ベースに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定し、
前記駆動ユニットは、前記駆動側キャラクターに対応する表情パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する、動画キャラクターの駆動装置。

【請求項10】

前記駆動側キャラクターは、第１キャラクター及び第２キャラクターのうち対応する顔カスタマイズベースを有するキャラクターであり、前記被駆動側キャラクターは、前記第１キャラクター及び前記第２キャラクターのうち対応する顔カスタマイズベースを有しないキャラクターであり、前記決定ユニットは、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じてターゲットメッシュを決定し、前記第１表情パラメータは、次元数が第１次元数である表情ベースを駆動するために用いられ、前記第１表情ベースの次元数が前記第１次元数であり、前記ターゲットメッシュがターゲット頂点トポロジーを有し、前記第１表情パラメータに対応する表情をする時の前記第１キャラクターを標識するものであり、
前記ターゲット頂点トポロジーを有する前記第１キャラクターに対応するターゲット表情ベースを取得し、前記ターゲット表情ベースの次元数が第２次元数であり、前記ターゲット表情ベースが前記第２キャラクターに対応する第２表情ベースに応じて決定され、
前記ターゲットメッシュ及び前記ターゲット表情ベースに応じて、前記第１キャラクターに対応する第２表情パラメータを決定し、前記第２表情パラメータが前記第１キャラクターの前記ターゲットメッシュに対する表情変化度を表すものであり、
前記第１表情パラメータ及び前記第２表情パラメータに応じて、前記駆動側キャラクターに対応する表情パラメータと前記被駆動側キャラクターに対応する表情パラメータとのマッピング関係を決定する請求項９に記載の装置。

【請求項11】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、前記決定ユニットは、さらに、
第１表情パラメータ及び前記第１キャラクターに対応する第１表情ベースに応じて初期メッシュを決定し、前記初期メッシュが前記第１表情ベースに対応する第１頂点トポロジーを有し、
前記第１頂点トポロジーと前記第２頂点トポロジーとの対応関係に応じて前記ターゲットメッシュを生成し、
また、前記決定ユニットは、
前記第１表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、前記第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定し、
前記第１キャラクターに対応する無表情メッシュ及び前記第２キャラクターに対応する無表情メッシュに応じて調整メッシュを決定し、前記調整メッシュが前記第２頂点トポロジーを有し、無表情にある時の第１キャラクターを標識するものであり、
前記調整メッシュ及び前記第２表情ベースにおけるメッシュ変形関係に応じて前記ターゲット表情ベースを生成する、請求項１０に記載の装置。

【請求項12】

前記ターゲット頂点トポロジーは、前記第２表情ベースに対応する第２頂点トポロジーであり、前記決定ユニットは、さらに、
前記第２キャラクターに対応する第２表情ベースから無表情の前記第２キャラクターに対応する無表情メッシュを決定し、
前記第２キャラクターに対応する無表情メッシュ及び前記第１キャラクターに対応する第１表情ベースに応じて、前記第２頂点トポロジーを有する前記第１キャラクターに対応する調整表情ベースを決定し、前記調整表情ベースの次元数が第１次元数であり、
前記第１表情パラメータ及び前記調整表情ベースに応じて前記ターゲットメッシュを決定し、
また、前記決定ユニットは、
前記調整表情ベースから無表情の前記第１キャラクターに対応する無表情メッシュを決定し、
前記第１キャラクターに対応する無表情メッシュと前記第２表情ベースにおけるメッシュ変形関係に応じて、前記ターゲット表情ベースを生成する、請求項１０に記載の装置。

【請求項13】

取得ユニット、決定ユニット及び駆動ユニットを含む動画キャラクターの駆動装置であって、
前記取得ユニットは、駆動側キャラクターに対応する変形ベース及び被駆動側キャラクターに対応する変形ベースを取得し、前記駆動側キャラクターは、対応する構造ベースを有し、前記被駆動側キャラクターは、対応する構造ベースを有せず、前記構造ベースは、対応するキャラクターの構造特徴を標識するものであり、前記変形ベースは、対応するキャラクターの変形特徴を標識するものであり、
前記決定ユニットは、前記駆動側キャラクターに対応する変形ベース及び前記被駆動側キャラクターに対応する変形ベースに応じて、前記駆動側キャラクターに対応する変形パラメータと前記被駆動側キャラクターに対応する変形パラメータとのマッピング関係を決定し、
前記駆動ユニットは、前記駆動側キャラクターに対応する変形パラメータ及び前記マッピング関係に応じて、前記被駆動側キャラクターを駆動する、動画キャラクターの駆動装置。

【請求項14】

プロセッサ及びメモリを含む機器であって、
前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサは、前記プログラムコード中の命令に応じて請求項１～８のいずれか一項に記載の方法を実行する、機器。

【請求項15】

コンピュータに請求項１～８のいずれか一項に記載の方法を実行させるコンピュータプログラム。

【国際調査報告】