特許 7268071 バーチャルアバターの生成方法及び生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-24

(45)【発行日】2023-05-02

(54)【発明の名称】バーチャルアバターの生成方法及び生成装置

(51)【国際特許分類】

   G06T 13/40 20110101AFI20230425BHJP

   G06T 7/00 20170101ALI20230425BHJP

【ＦＩ】

G06T13/40

G06T7/00 350C

【請求項の数】 21

【外国語出願】

(21)【出願番号】P 2021030671

(22)【出願日】2021-02-26

(65)【公開番号】P2021144706

(43)【公開日】2021-09-24

【審査請求日】2021-06-17

(31)【優先権主張番号】202010156571.X

(32)【優先日】2020-03-09

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】ロン シャン

(72)【発明者】

【氏名】リー シン

(72)【発明者】

【氏名】ジャン ファナン

(72)【発明者】

【氏名】スン ハオ

【審査官】山口 大志

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０３６２０９１（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０１６－００６１０８１（ＫＲ，Ａ）

【文献】米国特許出願公開第２０１２／０１３０７１７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１４８０４１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３３６７１４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０２３５０４５（ＵＳ，Ａ１）

【文献】Alexandru Eugen Ichim, Sofien Bouaziz, Mark Pauly，"Dynamic 3D Avatar Creation from Hand-held Video Input"，ACM Transactions on Graphics，Volume 34 Issue 4，米国，ACM，2015年07月27日，p.1-14，[検索日: 2022年03月16日] インターネット <URL: https://doi.org/10.1145/2766974>

【文献】岡田朋子 , 滝口哲也 , 有木康雄，AAMのモデル選択による方位に頑健な不特定人物の顔表情認識，電子情報通信学会大会講演論文集 (電子情報通信学会ソサイエティ大会講演論文集)，第2009号 情報・システム2，日本，電子情報通信学会，2009年03月04日，p.132

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

バーチャルアバターの生成装置により実行される方法であって、
第１のアバターを取得し、前記第１のアバターの表情パラメータを確定し、ここで、前記第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含むことと、
前記五官のうちの少なくとも１つの表情パラメータに基づいて、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有するターゲットバーチャルアバターを確定するターゲットバーチャルアバター確定ステップと、
を含み、
前記ターゲットバーチャルアバター確定ステップは、前記第１のアバターの属性に関連するプリセットバーチャルアバターが存在する場合に、
各プリセット表情パラメータから、前記第１のアバターの表情パラメータとの差分が最小であるプリセット表情パラメータを選択することと、
前記第１のアバターの属性に関連し且つ選択されたプリセット表情パラメータに対応する表情を有するプリセットバーチャルアバターを取得することと、
前記プリセットバーチャルアバターに基づいて、前記ターゲットバーチャルアバターを確定することと、
前記第１のアバターの表情パラメータと選択したプリセット表情パラメータとの差分及び前記プリセットバーチャルアバターを、予め訓練された第４の生成対抗ネットワークに入力することにより、前記第４の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有するターゲットバーチャルアバターを得ることと、を含む動作を実行する、
方法。

【請求項2】

前記ターゲットバーチャルアバター確定ステップは、前記第１のアバターの属性に関連するプリセットバーチャルアバターが存在しない場合に、
前記第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することと、
前記基準バーチャルアバターと前記五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有する第１のバーチャルアバターを得ることと、
前記第１のバーチャルアバターに基づいて、前記ターゲットバーチャルアバターを生成することと、を含む動作を実行する、
請求項１に記載の方法。

【請求項3】

前記前記基準バーチャルアバターと前記五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有する第１のバーチャルアバターを得ることは、
前記基準バーチャルアバターと前記五官のうちの少なくとも１つの表情パラメータを、予め訓練された第１の生成対抗ネットワークに入力することにより、前記第１の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有する第１のバーチャルアバターが得られることを含む、
請求項２に記載の方法。

【請求項4】

前記第１のアバターの表情パラメータは、頭部角度をさらに含み、
前記前記第１のバーチャルアバターに基づいて、前記ターゲットバーチャルアバターを生成することは、
前記第１のバーチャルアバターと前記頭部角度を予め訓練された第２の生成対抗ネットワークに入力することにより、前記第２の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターを得ることを含む、
請求項２に記載の方法。

【請求項5】

前記五官のうちの少なくとも１つの表情パラメータは、眼部パラメータと口部パラメータとを含み、
前記前記第１のアバターの表情パラメータを確定することは、
前記第１のアバターの表情関連キーポイントを検出することにより、検出結果が得られ、ここで、前記表情関連キーポイントは、眼部キーポイントと口部キーポイントとを含むことと、
前記検出結果に基づいて、前記第１のアバターの眼部パラメータ、口部パラメータ、及び頭部角度を確定することと、
を含む、
請求項４に記載の方法。

【請求項6】

前記前記第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することは、
前記第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、前記第３の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連した無表情な基準バーチャルアバターを得ることと、
または、
前記第１のアバターの属性を検出することと、予め設定された３次元アバターモデルに基づいて、検出された属性に関連した無表情なバーチャルアバターを確定し、当該バーチャルアバターを前記第１のアバターの属性に関連した無表情な基準バーチャルアバターとすることと、
を含む、
請求項２に記載の方法。

【請求項7】

前記第１のアバターの表情パラメータは、頭部角度をさらに含み、
前記ターゲットバーチャルアバター確定ステップは、
前記第４の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターを得る、
請求項１に記載の方法。

【請求項8】

前記第１のアバターを取得することは、
１つの処理待ちアバターを取得することと、
前記処理待ちアバターを補正することにより、前記処理待ちアバターの正面アバターが得られ、前記正面アバターを前記第１のアバターとすることと、
を含む、
請求項１に記載の方法。

【請求項9】

前記第１のアバターに対応する表情カテゴリを確定することと、
前記ターゲットバーチャルアバターに対して、前記表情カテゴリに対応する特効を追加することと、
をさらに含む、
請求項１に記載の方法。

【請求項10】

第１のアバターを取得し、前記第１のアバターの表情パラメータを確定するように配置され、ここで、前記第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含む取得ユニットと、
前記五官のうちの少なくとも１つの表情パラメータに基づいて、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有するターゲットバーチャルアバターを確定するように配置された確定ユニットと、
を含み、
前記確定ユニットは、前記第１のアバターの属性に関連するプリセットバーチャルアバターが存在する場合に、
各プリセット表情パラメータから、前記第１のアバターの表情パラメータとの差分が最小であるプリセット表情パラメータを選択することと、
前記第１のアバターの属性に関連し且つ選択されたプリセット表情パラメータに対応する表情を有するプリセットバーチャルアバターを取得することと、
前記プリセットバーチャルアバターに基づいて、前記ターゲットバーチャルアバターを確定することと、
前記第１のアバターの表情パラメータと選択したプリセット表情パラメータとの差分及び前記プリセットバーチャルアバターを、予め訓練された第４の生成対抗ネットワークに入力することにより、前記第４の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有するターゲットバーチャルアバターを得ることと、を含む動作を実行するように配置される、
バーチャルアバターの生成装置。

【請求項11】

前記確定ユニットは、さらに、
前記第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することと、
前記基準バーチャルアバターと前記五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有する第１のバーチャルアバターを得ることと、
前記第１のバーチャルアバターに基づいて、前記ターゲットバーチャルアバターを生成することとを含む動作を実行するように配置される、
請求項１０に記載の装置。

【請求項12】

前記確定ユニットは、さらに、前記前記基準バーチャルアバターと前記五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有する第１のバーチャルアバターが得られることを以下のように実行するように配置され、
即ち、前記基準バーチャルアバターと前記五官のうちの少なくとも１つの表情パラメータを、予め訓練された第１の生成対抗ネットワークに入力することにより、前記第１の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情を有する第１のバーチャルアバターが得られる、
請求項１１に記載の装置。

【請求項13】

前記第１のアバターの表情パラメータは、頭部角度をさらに含み、
前記確定ユニットは、さらに、前記前記第１のバーチャルアバターに基づいて、前記ターゲットバーチャルアバターを生成することを以下のように実行するように配置され、
即ち、前記第１のバーチャルアバターと前記頭部角度を予め訓練された第２の生成対抗ネットワークに入力することにより、前記第２の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターを得る、
請求項１１に記載の装置。

【請求項14】

前記五官のうちの少なくとも１つの表情パラメータは、眼部パラメータと口部パラメータとを含み、
前記取得ユニットは、さらに、前記第１のアバターの表情パラメータを確定することを以下のように実行するように配置され、
即ち、前記第１のアバターの表情関連キーポイントを検出することにより、検出結果が得られ、ここで、前記表情関連キーポイントは、眼部キーポイントと口部キーポイントとを含み、
前記検出結果に基づいて、前記第１のアバターの眼部パラメータ、口部パラメータ、及び頭部角度を確定する、
請求項１３に記載の装置。

【請求項15】

前記確定ユニットは、さらに、前記前記第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することを以下のように実行するように配置され、
即ち、前記第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、前記第３の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連した無表情な基準バーチャルアバターを得、
または、
前記第１のアバターの属性を検出し、予め設定された３次元アバターモデルに基づいて、検出された属性に関連した無表情なバーチャルアバターを確定し、当該バーチャルアバターを前記第１のアバターの属性に関連した無表情な基準バーチャルアバターとする、
請求項１１に記載の装置。

【請求項16】

前記第１のアバターの表情パラメータは、頭部角度をさらに含み、
前記確定ユニットは、さらに、
前記第４の生成対抗ネットワークから出力された、前記第１のアバターの属性に関連し且つ前記第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターを得る、
請求項１０に記載の装置。

【請求項17】

前記第１のアバターに対応する表情カテゴリを確定するように配置されたカテゴリ確定ユニットと、
前記ターゲットバーチャルアバターに対して、前記表情カテゴリに対応する特効を追加するように配置された追加ユニットと、
をさらに含む、
請求項１０に記載の装置。

【請求項18】

前記第１のアバターを取得することは、
１つの処理待ちアバターを取得することと、
前記処理待ちアバターを補正することにより、前記処理待ちアバターの正面アバターが得られ、前記正面アバターを前記第１のアバターとすることと、
を含む、
請求項１０に記載の装置。

【請求項19】

１つ以上のプロセッサと、
１つ以上のプログラムを記憶するための記憶装置と、
を含み、
前記１つ以上のプログラムが、請求項１から９のいずれか１項に記載の方法を前記１つ以上のプロセッサに実現させることに用いられる、
電子機器。

【請求項20】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から９のいずれか１項に記載の方法を実現する、
コンピュータ可読記憶媒体。

【請求項21】

コンピュータプログラムであって、
プロセッサによって実行されると、請求項１から９のいずれか１項に記載の方法を実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、コンピュータ技術の分野に関し、具体的にはインターネット技術の分野に関し、特にバーチャルアバターの生成方法及び生成装置に関する。

【背景技術】

【0002】

インターネット技術の発展に伴って、ますます多くのライブ配信プラットフォームと動画配信プラットフォームが出現している。ユーザーは、携帯電話などを通じて自分で撮影した動画をアップロードすることができる。自撮りやライブ配信などのシーンにおいて、電子機器は、ユーザーの顔の特徴と表情を２次元または３次元の動画像にマッピングすることにより、画面の面白さと豊かさを効果的に向上させることができる。

【0003】

関連技術では、上記のマッピングは、一般にユーザーの顔の特徴と表情を固定された動画像にマッピングする。実際の人間に似た動画を生成するには、時間がかかる。

【発明の概要】

【0004】

本発明の実施例は、バーチャルアバターの生成方法及び生成装置を提案する。

【0005】

第１の態様において、本発明の実施例は、第１のアバターを取得し、第１のアバターの表情パラメータを確定し、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含むことと、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することと、を含むバーチャルアバターの生成方法に関する。

【0006】

いくつかの実施例において、方法は、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することをさらに含み、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することは、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られることと、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成することと、を含む。

【0007】

いくつかの実施例において、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られることは、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練された第１の生成対抗ネットワークに入力することにより、第１の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られることを含む。

【0008】

いくつかの実施例において、第１のアバターの表情パラメータは、頭部角度をさらに含み、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成することは、第１のバーチャルアバターと頭部角度を予め訓練された第２の生成対抗ネットワークに入力することにより、第２の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られることを含む。

【0009】

いくつかの実施例において、五官のうちの少なくとも１つの表情パラメータは、眼部パラメータと口部パラメータとを含み、第１のアバターの表情パラメータを確定することは、第１のアバターの表情関連キーポイントを検出することにより、検出結果が得られ、ここで、表情関連キーポイントは、眼部キーポイントと口部キーポイントとを含むことと、検出結果に基づいて、第１のアバターの眼部パラメータ、口部パラメータ、及び頭部角度を確定することと、を含む。

【0010】

いくつかの実施例において、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することは、第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、第３の生成対抗ネットワークから出力された、第１のアバターの属性に関連した無表情な基準バーチャルアバターが得られることと、または、第１のアバターの属性を検出することと、予め設定された３次元アバターモデルに基づいて、検出された属性に関連した無表情なバーチャルアバターを確定し、当該バーチャルアバターを第１のアバターの属性に関連した無表情な基準バーチャルアバターとすることと、を含む。

【0011】

いくつかの実施例において、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することは、各プリセット表情パラメータから、第１のアバターの表情パラメータとの差分が最小であるプリセット表情パラメータを選択することと、第１のアバターの属性に関連し且つ選択されたプリセット表情パラメータに対応する表情を有するプリセットバーチャルアバターを取得することと、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定することと、を含む。

【0012】

いくつかの実施例において、第１のアバターの表情パラメータは、頭部角度をさらに含み、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定することは、第１のアバターの表情パラメータと選択されたプリセット表情パラメータとの差分及びプリセットバーチャルアバターを、予め訓練された第４の生成対抗ネットワークに入力することにより、第４の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られ、ここで、第４の生成対抗ネットワークのパラメータの数は、第１の生成対抗ネットワークのパラメータの数より小さく、かつ第２の生成対抗ネットワークのパラメータの数より小さいことを含む。

【0013】

いくつかの実施例において、第１のアバターを取得することは、１つの処理待ちアバターを取得することと、処理待ちアバターを補正することにより、処理待ちアバターの正面アバターが得られ、正面アバターを第１のアバターとすることと、を含む。

【0014】

いくつかの実施例において、方法は、第１のアバターに対応する表情カテゴリを確定することと、ターゲットバーチャルアバターに対して、表情カテゴリに対応する特効を追加することと、をさらに含む。

【0015】

第２の態様において、本発明の実施例は、第１のアバターを取得し、第１のアバターの表情パラメータを確定するように配置され、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含む取得ユニットと、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定するように配置された確定ユニットと、を含むバーチャルアバターの生成装置に関する。

【0016】

いくつかの実施例において、装置は、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成するように配置された生成ユニットをさらに含み、確定ユニットは、さらに、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することを以下のように実行するように配置され、即ち、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られ、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成する。

【0017】

いくつかの実施例において、確定ユニットは、さらに、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られることを以下のように実行するように配置され、即ち、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練された第１の生成対抗ネットワークに入力することにより、第１の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られる。

【0018】

いくつかの実施例において、第１のアバターの表情パラメータは、頭部角度をさらに含み、確定ユニットは、さらに、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成することを以下のように実行するように配置され、即ち、第１のバーチャルアバターと頭部角度を予め訓練された第２の生成対抗ネットワークに入力することにより、第２の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られる。

【0019】

いくつかの実施例において、五官のうちの少なくとも１つの表情パラメータは、眼部パラメータと口部パラメータとを含み、取得ユニットは、さらに、第１のアバターの表情パラメータを確定することを以下のように実行するように配置され、即ち、第１のアバターの表情関連キーポイントを検出することにより、検出結果が得られ、ここで、表情関連キーポイントは、眼部キーポイントと口部キーポイントとを含み、検出結果に基づいて、第１のアバターの眼部パラメータ、口部パラメータ、及び頭部角度を確定する。

【0020】

いくつかの実施例において、生成ユニットは、さらに、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することを以下のように実行するように配置され、即ち、第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、第３の生成対抗ネットワークから出力された、第１のアバターの属性に関連した無表情な基準バーチャルアバターが得られ、または、第１のアバターの属性を検出し、予め設定された３次元アバターモデルに基づいて、検出された属性に関連した無表情なバーチャルアバターを確定し、当該バーチャルアバターを第１のアバターの属性に関連した無表情な基準バーチャルアバターとする。

【0021】

いくつかの実施例において、確定ユニットは、さらに、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することを以下のように実行するように配置され、即ち、各プリセット表情パラメータから、第１のアバターの表情パラメータとの差分が最小であるプリセット表情パラメータを選択し、第１のアバターの属性に関連し且つ選択されたプリセット表情パラメータに対応する表情を有するプリセットバーチャルアバターを取得し、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定する。

【0022】

いくつかの実施例において、第１のアバターの表情パラメータは、頭部角度をさらに含み、確定ユニットは、さらに、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定することを以下のように実行するように配置され、即ち、第１のアバターの表情パラメータと選択されたプリセット表情パラメータとの差分及びプリセットバーチャルアバターを、予め訓練された第４の生成対抗ネットワークに入力することにより、第４の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られ、ここで、第４の生成対抗ネットワークのパラメータの数は、第１の生成対抗ネットワークのパラメータの数より小さく、かつ第２の生成対抗ネットワークのパラメータの数より小さい。

【0023】

いくつかの実施例において、装置は、第１のアバターに対応する表情カテゴリを確定するように配置されたカテゴリ確定ユニットと、ターゲットバーチャルアバターに対して、表情カテゴリに対応する特効を追加するように配置された追加ユニットと、をさらに含む。

【0024】

いくつかの実施例において、第１のアバターを取得することは、１つの処理待ちアバターを取得することと、処理待ちアバターを補正することにより、処理待ちアバターの正面アバターが得られ、正面アバターを第１のアバターとすることと、を含む。

【0025】

第３の態様において、本発明の実施例は、１つ以上のプロセッサと１つ以上のプログラムを記憶するための記憶装置とを含み、１つ以上のプログラムが１つ以上のプロセッサによって実行されるとき、バーチャルアバターの生成方法のいずれかの実施例に記載の方法を１つ以上のプロセッサに実現させる電子機器に関する。

【0026】

第４の態様において、本発明の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されるとき、バーチャルアバターの生成方法のいずれかの実施例に記載の方法を実現するコンピュータ可読記憶媒体に関する。

【0027】

第５の態様において、本発明の実施例は、コンピュータプログラムであって、プロセッサによって実行されるとき、バーチャルアバターの生成方法のいずれかの実施例に記載の方法を実現するコンピュータプログラムに関する。

【0028】

本発明の実施例によるバーチャルアバターの生成方法では、まず、第１のアバターを取得し、第１のアバターの表情パラメータを確定し、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含む。この後、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定する。本発明の実施例は、第１のアバターを用いて表情パラメータを生成することにより、表情パラメータに基づいて、第１のアバターの属性、表情の両方に対応するターゲットバーチャルアバターを効率的かつ比較的正確に生成することができる。

【図面の簡単な説明】

【0029】

本発明のその他の特徴、目的および利点をより明確にするために、以下の図面を参照してなされた非限定的な実施例の詳細な説明を参照する。

【図1】本発明のいくつかの実施例が適用可能な例示的なシステムアーキテクチャ図である。

【図2】本発明によるバーチャルアバターの生成方法の一実施例のフローチャートである。

【図3】本発明によるバーチャルアバターの生成方法の一応用シーンを示す概略図である。

【図4】本発明によるバーチャルアバターの生成方法の別の実施例のフローチャートである。

【図5】本発明によるバーチャルアバターの生成装置の一実施例の概略構成図である。

【図6】本発明のいくつかの実施例を実現するために適用される電子機器のコンピュータシステムの概略構成図である。

【発明を実施するための形態】

【0030】

以下、図面及び実施例を参照して本発明についてより詳細に説明する。ここで説明された具体的な実施例は、関連する発明を説明するためだけのものであり、この発明を制限するものではないことを理解できる。なお、説明を容易にするために、図面には関連する発明に関連する部分のみを示している。

【0031】

なお、矛盾しない場合には、本発明の実施例及び実施例における特徴が互いに組み合わせることができる。以下、図面を参照して、実施例に合わせて本発明を詳細に説明する。

【0032】

図１には、本発明が適用され得る、バーチャルアバターの生成方法又はバーチャルアバターの生成装置の実施例の例示的なシステムアーキテクチャ１００が示されている。

【0033】

図１に示すように、システムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４およびサーバー１０５を含むことができる。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバー１０５との間に通信リンクの媒体を提供するために使用される。ネットワーク１０４は、例えば有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。

【0034】

ユーザは、端末機器１０１、１０２、１０３を使用してネットワーク１０４を介してサーバー１０５とインタラクティブすることにより、メッセージなどを送受信することができる。端末機器１０１、１０２、１０３には、例えばバーチャルアバター生成アプリケーション、動画系アプリケーション、ライブ配信アプリケーション、即時通信ツール、メールクライアント、ソーシャルプラットフォームソフトウェアなどの様々な通信クライアントアプリケーションがインストールされることができる。

【0035】

ここでの端末機器１０１、１０２、１０３は、ハードウェアでもソフトウェアでもよい。端末機器１０１、１０２、１０３がハードウェアである場合、ディスプレイを有する様々な電子機器であってもよく、スマートフォン、タブレット、電子書籍リーダー、ラップトップパソコン、デスクトップコンピュータなどを含むがこれらに限定されない。端末機器１０１、１０２、１０３がソフトウェアである場合、上記に挙げられた電子機器にインストールされることができる。それは、複数のソフトウェアまたはソフトウェアモジュール（例えば分散型サービスを提供するための複数のソフトウェアまたはソフトウェアモジュール）として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここで、具体的に限定しない。

【0036】

サーバー１０５は、様々なサービスを提供するサーバーであってもよく、例えば、端末機器１０１、１０２、１０３に対しサポートを提供するバックグラウンドサーバーである。バックグラウンドサーバーは、第１のアバターなどのデータに対し解析などの処理を行い、処理結果（例えば第１のバーチャルアバター）を端末機器にフィードバックすることができる。

【0037】

なお、本発明の実施例によるバーチャルアバターの生成方法は、サーバー１０５または端末機器１０１、１０２、１０３によって実行されてもよく、これに対応して、バーチャルアバターの生成装置は、サーバー１０５または端末機器１０１、１０２、１０３に配置されてもよい。

【0038】

図１の端末機器、ネットワーク、およびサーバーの数は単なる例示であることを理解すべきである。必要に応じて、任意の数の端末機器、ネットワーク、およびサーバーを備えることができる。

【0039】

続けて図２を参照すると、本発明によるバーチャルアバターの生成方法の一実施例のフロー２００が示されている。当該バーチャルアバターの生成方法は、以下のステップを含む。

【0040】

ステップ２０１において、第１のアバターを取得し、第１のアバターの表情パラメータを確定し、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含む。

【0041】

本実施例において、バーチャルアバターの生成方法の実行主体（例えば図１に示されたサーバーまたは端末機器）は、第１のアバターを取得することができる。ここでのアバターは、顔だけでなく、首や肩などを含むことができる。ちなみに、上記実行主体は、上記第１のアバターの表情パラメータを確定することができる。表情パラメータは、第１のアバターの表情を反映するパラメータである。具体的には、表情パラメータは、眉毛（２つの眉毛）パラメータ、眼部（２つの眼）パラメータ、および/または口部パラメータのような五官のうちの少なくとも１つの表情パラメータを含むことができる。具体的には、表情パラメータにおける各パラメータは、例えば０から１の範囲のような対応するプリセット値の範囲内であってもよい。眉毛パラメータは、眉毛の位置のオフセットを表すことができる。例えば、眉毛が元の位置にある場合、眉毛パラメータは０.５であり、眉毛が高いアバターにおいて、眉毛パラメータは０.７５であり、眉毛が低いアバターにおいて、眉毛パラメータは０.３である。眼部パラメータは、目の開閉の度合いを示すことができる。例えば、目が大きく開いているアバターにおいて、眼部パラメータは０.８であり、目を細くしたアバターにおいて、眼部パラメータは０.１５である。口部パラメータは、画像における口型を表すことができ、具体的には１つの分類結果であってもよく、例えば、タイプとしては、口を尖らせたり、口を大きく開けたり、口を閉じたり、含み笑いをしたり、左利き、右利きなどがある。また、口部パラメータは、口を開く度合いを示す数値であってもよく、例えば、口を大きく開けたアバターにおける口部パラメータは０.８であり、口を閉じたアバターにおける口部パラメータは０.２である。

【0042】

実践において、上記実行主体は、プリセットモデルまたはプリセットされた対応関係テーブルを用いて、第１のアバターに対応する表情パラメータを確定することができる。ここでのプリセットモデルとプリセットされた対応関係テーブルは、アバターと当該アバターの表情パラメータとの対応関係を特徴付けるために使用されてもよい。

【0043】

本実施例のいくつかの選択可能な実施形態において、ステップ２０１における第１のアバターを取得することは、１つの処理待ちアバターを取得することと、処理待ちアバターを補正することにより、処理待ちアバターの正面アバターが得られ、正面アバターを第１のアバターとすることと、を含むことができる。

【0044】

これらの選択可能な実施形態において、上記実行主体は、ローカルまたは他の電子機器から、単一の処理待ちアバターを取得することができる。上記実行主体は、処理待ちアバターに対し位置合わせ及び補正を行うことにより、処理待ちアバターを正面アバター、すなわち正顔アバターに変換することができる。上記実行主体は、当該正面アバターを第１のアバターとすることにより、正面の第１のバーチャルアバターを生成することができる。

【0045】

これらの実施形態は、大量のアバターを必要とせず、１枚のアバターのみを利用して、正面のバーチャルアバターを生成することを実現できる。

【0046】

ステップ２０２において、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定する。

【0047】

本実施例において、上記実行主体は、五官のうちの少なくとも１つの表情パラメータに基づいて、ターゲットバーチャルアバターを確定することができる。ターゲットバーチャルアバターは、２次元画像であってもよく、場合によっては、ターゲットバーチャルアバターは、３次元画像であってもよい。具体的には、当該ターゲットバーチャルアバターは、第１のアバターの属性に関連するだけでなく、第１のアバターの表情を有する。

【0048】

具体的には、属性とは、第１のアバターの特徴を反映した、表情の変化によって変化しない性質を指す。例えば、属性は、顔形、顔の太さ、ヘアスタイル、五官のうちの少なくとも１つの大きさおよび／または形状、アバターにおける各部分の色のうちの少なくとも１つを含むことができる。上記のバーチャルアバターと第１のアバターの属性に関連することは、生成されたバーチャルアバターの属性（または一部の属性）が、第１のアバターの属性（または一部の属性）と完全に同じまたは類似（類似度がプリセット閾値より大きい）であることを指してもよく、バーチャルアバターの属性（または一部の属性）が、第１のアバターの属性（または一部の属性）と似ていないが、形状および／または大きさが対応関係を持つことを指してもよい。例えば、第１のアバターの鼻の幅は２センチであり、関連するバーチャルアバターの鼻の幅は１センチであり、第１のアバターの鼻の幅は１.５センチであり、関連するバーチャルアバターの鼻の幅は０.７５センチである。

【0049】

実践において、上記実行主体は、様々な方法で五官のうちの少なくとも１つの表情パラメータに基づいて、ターゲットバーチャルアバターを確定することができる。例えば、上記実行主体は、予め設定されたモデルを用いて、第１のアバター及び五官のうちの少なくとも１つの表情パラメータを当該モデルに入力することにより、当該モデルから出力されるターゲットバーチャルアバターを得ることができる。当該モデルは、第１のアバター及び表情パラメータの両方とターゲットバーチャルアバターとの対応関係を特徴付けるために使用されることができる。

【0050】

本発明の上記実施例による方法は、第１のアバターを用いて表情パラメータを生成することにより、表情パラメータに基づいて、第１のアバターの属性、表情の両方に対応するターゲットバーチャルアバターを効率的かつ比較的正確に生成することができる。

【0051】

本実施例のいくつかの選択可能な実施形態において、上記方法は、第１のアバターに対応する表情カテゴリを確定することと、ターゲットバーチャルアバターに対して、表情カテゴリに対応する特効を追加することと、をさらに含むことができる。

【0052】

これらの選択可能な実施形態において、上記実行主体は、第１のアバターの表情パラメータだけでなく、第１のアバターに対応する表情カテゴリも確定することができる。異なる表情カテゴリは、異なる特効に対応することができる。例えば、泣いている表情カテゴリは、涙の特効に対応でき、媚びてる表情カテゴリは、目頭に桃心や五角星を追加する特効に対応できる。

【0053】

実践において、上記実行主体は、様々な方法で表情カテゴリを確定することができる。例えば、上記実行主体は、アバターを指定されたモデルに入力することにより、当該指定されたモデルから出力される表情カテゴリを得ることができる。ここで指定されたモデルは、アバターと表情カテゴリとの間の対応関係を特徴付けるために使用されることができる。また、上記実行主体は、例えば表情関連キーポイントなどの第１のアバターにおけるキーポイントを検出し、例えばある関数、あるモデル、またはある対応関係テーブルなどのキーポイント座標と表情カテゴリとの間の対応関係を用いることにより、表情カテゴリを得ることもできる。

【0054】

これらの実施形態は、表情カテゴリを確定することができ、これによって、ターゲットバーチャルアバターに特効を追加することにより、バーチャルアバターをより生き生きとさせ、バーチャルアバターの面白さを増加させることができる。

【0055】

本実施例のいくつかの選択可能な実施形態において、ステップ２０２は、各プリセット表情パラメータから、第１のアバターの表情パラメータとの差分が最小であるプリセット表情パラメータを選択することと、第１のアバターの属性に関連し且つ選択されたプリセット表情パラメータに対応する表情を有するプリセットバーチャルアバターを取得することと、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成することと、を含むことができる。

【0056】

これらの選択可能な実施形態において、上記実行主体は、予めユーザのアバターを取得し、プリセット表情パラメータの表情を有するターゲットバーチャルアバターを、プリセットバーチャルアバターとして確定することができる。実践において、プリセット表情パラメータの数は、複数であってもよく、これに応じて、上記実行主体は、複数のプリセットバーチャルアバターを確定することができる。そして、上記実行本体が同一人物の第１のアバター（すなわち、上記プリセットバーチャルアバターと第１のアバターが同一人物のアバター）を取得した場合、当該第１のアバターの表情パラメータを確定し、差分が最小であるプリセット表情パラメータを選択することができる。この後、上記実行主体は、当該プリセット表情パラメータに対応するプリセットバーチャルアバターを取得し、取得されたプリセットバーチャルアバターに基づいてターゲットバーチャルアバターを生成することができる。

【0057】

実践において、上記実行主体は、様々な方法でターゲットバーチャルアバターを生成することができる。例えば、上記実行主体は、取得されたプリセットバーチャルアバターをターゲットバーチャルアバターとして直接に確定することができる。

【0058】

これらの実施形態では、上記実行主体又は他の電子装置は、ユーザに対して予めプリセットバーチャルアバターを生成しておくことができ、このようにすると、後で当該ユーザのバーチャルアバターを生成する必要がある場合には、プリセットバーチャルアバターを直接に利用することにより、現在のユーザのアバターのバーチャルアバターを迅速かつ正確に得ることができる。

【0059】

これらの実施形態のいくつかの選択可能な応用シーンにおいて、第１のアバターの表情パラメータは、頭部角度をさらに含み、これらの実施形態におけるプリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定することは、第１のアバターの表情パラメータと選択されたプリセット表情パラメータとの差分及びプリセットバーチャルアバターを、予め訓練された第４の生成対抗ネットワークに入力することにより、第４の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られ、ここで、第４の生成対抗ネットワークのパラメータの数は、第１の生成対抗ネットワークのパラメータの数より小さく、かつ第２の生成対抗ネットワークのパラメータの数より小さいことを含むことができる。

【0060】

これらの選択可能な応用シーンにおいて、上記実行主体は、第１のアバターの表情パラメータと選択されたプリセット表情パラメータとの差分、及び取得されたプリセットバーチャルアバターを、第４の生成対抗ネットワークに入力することにより、当該ネットワークから出力された、上記第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られる。当該第４の生成対抗ネットワークは、入力された表情パラメータの差分を用いて、バーチャルアバターの五官(五官のうちの少なくとも１つ)の姿勢および頭部角度を調整するために使用されることができ、具体的には、以下の入力と出力との間の対応関係を特徴付けるために使用されることができ、即ち、当該入力は、第１のアバターの表情パラメータとプリセット表情パラメータとの差分、及び当該プリセット表情パラメータに対応する表情を有するターゲットバーチャルアバターであり、当該出力は、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターである。実践において、ここでの第４の生成対抗ネットワークは、条件生成対抗ネットワークであってもよい。

【0061】

これらの実施形態において、上記実行主体又は他の電子装置は、ユーザに対して予めプリセットバーチャルアバターを生成しておくことができ、このようにすると、後で当該ユーザのバーチャルアバターを生成する必要がある場合には、パラメータが少なく、演算速度が速い第４の生成対抗ネットワークを利用して、プリセットバーチャルアバターのもとで修正を行うことにより、現在のユーザのアバターのバーチャルアバターを迅速かつ正確に得ることができる。

【0062】

続けて図３を参照すると、図３は、本実施例によるバーチャルアバターの生成方法の応用シーンを示す概略図である。図３の応用シーンにおいて、実行主体３０１は、張三のアバター３０２を取得し、上記アバター３０２の表情パラメータ３０３を確定することができ、ここで、表情パラメータ３０３は、五官のうちの少なくとも１つの表情パラメータ３０４を含み、五官のうちの少なくとも１つの表情パラメータ３０４に基づいて、上記アバター３０２の属性に関連し且つ上記アバター３０２の表情を有するターゲットバーチャルアバター３０５を確定する。

【0063】

さらに図４を参照して、バーチャルアバターの生成方法の別の実施例のフロー４００が示されている。当該バーチャルアバターの生成方法のフロー４００は、以下のステップを含む。

【0064】

ステップ４０１において、第１のアバターを取得し、第１のアバターの表情パラメータを確定し、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含む。

【0065】

本実施例において、バーチャルアバターの生成方法の実行主体（例えば図１に示されたサーバーまたは端末機器）は、第１のアバターを取得することができる。ここでのアバターは、顔だけでなく、首や肩などを含むことができる。ちなみに、上記実行主体は、上記第１のアバターの表情パラメータを確定することができる。表情パラメータは、第１のアバターの表情を反映するパラメータである。

【0066】

ステップ４０２において、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成する。

【0067】

本実施例において、上記実行主体は、基準バーチャルアバターとして、当該第１のアバターの属性に関連した無表情なバーチャルアバターを生成することもできる。基準バーチャルアバターが生成され、すなわち第１のアバターに似たアバターが得られた。ここでの基準バーチャルアバターは、仮想的な２次元アバターであってもよいし、仮想的な３次元アバターであってもよい。第１のアバターの角度と正面アバターの角度との差がプリセット角度の範囲内にある。

【0068】

実践において、上記実行主体は、様々な方法で上記基準バーチャルアバターを生成することができる。例えば、上記実行主体は、予め訓練された畳み込みニューラルネットワークを取得することができ、当該畳み込みニューラルネットワークは、アバターと当該アバターの属性に関連した無表情なバーチャルアバターとの対応関係を特徴付けるために使用されることができる。この後、上記実行主体は、第１のアバターを上記畳み込みニューラルネットワークに入力し、当該畳み込みニューラルネットワークから出力されたバーチャルアバターを得ることができる。このようにすると、上記実行主体は、出力された当該バーチャルアバターを基準バーチャルアバターとすることができる。

【0069】

本実施例のいくつかの選択可能な実施形態において、ステップ４０２は、第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、第３の生成対抗ネットワークから出力された、第１のアバターの属性に関連した無表情な基準バーチャルアバターが得られることと、または、第１のアバターの属性を検出することと、予め設定された３次元アバターモデルに基づいて、検出された属性に関連した無表情なバーチャルアバターを確定し、当該バーチャルアバターを第１のアバターの属性に関連した無表情な基準バーチャルアバターとすることと、を含むことができる。

【0070】

これらの選択可能な実施形態において、上記実行主体は、第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、基準バーチャルアバターとして、当該第３の生成対抗ネットワークから出力されたバーチャルアバターを得ることができる。具体的には、当該第３の生成対抗ネットワークは、条件生成対抗ネットワーク（ｃｏｎｄｉｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ）であってもよい。具体的には、当該第３の生成対抗ネットワークは、アバターと当該アバターの属性に関連した無表情なバーチャルアバターとの対応関係を特徴付けるために使用されることができる。実践において、上記実行主体または他の電子機器は、入力として複数の等身大のアバターを取得し、これらの等身大のアバターに対応する参照バーチャルアバターをターゲットとして出力し、訓練待ちの第３の生成対抗ネットワークを訓練することにより、上記第３の生成対抗ネットワークを得ることができる。

【0071】

実践において、上記実行主体は、頬をつねることにより、基準バーチャルアバターを確定することができ、具体的なステップは、以下の通りである。

【0072】

まず、上記実行主体は、プリセットモデルにより、またはキーポイントを検出してキーポイント間の位置関係を確定することにより、第１のアバターの顔形、ヘアスタイル、各部分の色等を確定することができる。具体的には、上記実行主体は、予めプリセットされた様々な顔型、様々なヘアスタイル、及び様々な色を取得してから、第１のアバターがどのプリセットされた顔型、どのプリセットされたヘアスタイルに属するか、及び各部分がどのプリセットされた色であるかを確定することができる。また、上記実行主体は、プリセットされた顔型毎に予め設定された五官（例えば眼、鼻、および／または口）の形状を予め取得することができる。この後、上記実行主体は、指定モデルにより、またはキーポイントを検出してキーポイント間の位置関係を確定することにより、顔の太さの数値範囲内で１つの数値を確定し、眼の大きさの数値範囲、鼻の大きさの数値範囲と口の大きさの数値範囲内で、眼の大きさの数値、鼻の大きさの数値と口の大きさの数値をそれぞれ確定することができる。上記の数値範囲は、例えば０から１までのように任意に設定されることができる。例を挙げると、より太いアバターにおいて、顔の太さの数値は０.７であってもよく、より細いアバターにおいて、顔の太さの数値は０.４５であってもよい。

【0073】

このようにして、上記実行主体は、第１のアバターの属性、すなわち、第１のアバターがどのプリセットされた顔型、どのプリセットされたヘアスタイルに属するか、各部分がどのプリセットされた色であるか、および顔の太さの数値、五官のうちの少なくとも１つの大きさの数値を得る。上記実行主体は、得られた属性をプリセットされた３次元アバターモデルに追加して、第１のアバターの属性に関連するバーチャルアバターを取得し、且つ基準バーチャルアバターとすることにより、頬をつねることを実現できる。

【0074】

これらの実施形態は、生成対抗ネットワークを利用してバーチャルアバターを効率的かつ正確に得ることができ、また、頬をつねることにより正確な基準バーチャルアバターを得ることもできる。

【0075】

ステップ４０３において、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られる。

【0076】

本実施例において、上記実行主体は、生成された基準バーチャルアバターと上記表情パラメータのうちの１つ以上の表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、当該モデルから出力された第１のバーチャルアバターを得ることができる。実践において、第１のバーチャルアバターは、２次元画像または３次元画像であってもよい。具体的には、当該第１のバーチャルアバターは、第１のアバターの属性に関連するだけでなく、第１のアバターの表情を有する。実践において、ディープニューラルネットワークは、例えば畳み込みニューラルネットワークのような様々なものであることができる。ここでのディープニューラルネットワークは、基準バーチャルアバターに表情を追加するために使用されることができ、具体的には、基準バーチャルアバター及び表情パラメータの両方と当該表情パラメータに対する表情を有する当該基準バーチャルアバターとの対応関係を特徴付けるために使用されることができる。

【0077】

本実施例のいくつかの選択可能な実施形態において、ステップ４０３は、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練された第１の生成対抗ネットワークに入力することにより、第１の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られることを含むことができる。

【0078】

これらの選択可能な実施形態において、上記実行主体は、ディープニューラルネットワークは、例えば条件生成対抗ネットワークのような生成対抗ネットワークであってもよい。上記実行主体は、当該生成対抗ネットワーク、即ち第１の生成対抗ネットワークを利用して、入力された基準バーチャルアバターに入力された表情パラメータに対する表情を追加することができる。

【0079】

これらの実施形態は、生成対抗ネットワークを利用して、第１のアバターの表情を有するより正確な第１のバーチャルアバターを生成することができる。

【0080】

ステップ４０４において、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成する。

【0081】

本実施例において、上記実行主体は、様々な方法で第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成することができる。例えば、上記実行主体は、直接に第１のバーチャルアバターをターゲットバーチャルアバターとすることができる。

【0082】

本発明の上記実施例による方法では、第１のアバターを利用して無表情な基準バーチャルアバター及び表情パラメータを生成することにより、生成されたこれらの両者とディープニューラルネットワークに基づいて、第１のアバターの属性と表情の両方に対応する第１のバーチャルアバターを生成する効率および正確さをさらに向上させることができる。

【0083】

本実施例のいくつかの選択可能な実施形態において、第１のアバターの表情パラメータは、頭部角度をさらに含み、ステップ４０４は、第１のバーチャルアバターと頭部角度を予め訓練された第２の生成対抗ネットワークに入力することにより、第２の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られることを含むことができる。

【0084】

これらの選択可能な実施形態において、上記実行主体は、第１のバーチャルアバターと第１のアバターにおける頭部角度を、第２の生成対抗ネットワークに入力することにより、当該ネットワークから出力されたターゲットバーチャルアバターを得ることができる。当該ターゲットバーチャルアバターは、第１のアバターの属性に関連するだけでなく、第１のアバターの表情及び頭部角度を有する。具体的には、第２の生成対抗ネットワークは、条件生成対抗ネットワークであってもよく、バーチャルアバターに頭部角度を追加することができ、具体的には、バーチャルアバター及び頭部角度の両方と当該頭部角度を有する当該バーチャルアバターとの対応関係を特徴付けるために使用されることができる。

【0085】

実践において、表情パラメータは、五官のうちの少なくとも１つの表情パラメータだけでなく、頭部角度を含んでもよい。具体的には、頭部角度は、第１のアバターを撮影するカメラに対する頭部の角度を指すことができ、現在の頭部がその正面の角度からずれた角度であってもよく、具体的には、ｘ、ｙ、ｚの３つの座標軸の回転角度を用いて表現することができる。

【0086】

これらの実施形態では、バーチャルアバターに頭部角度を追加することにより、バーチャルアバターが、人物の属性に対応し且つ人物の表情を持つだけでなく、人物の頭部の姿勢を有することができ、この結果、より生き生きとしたバーチャルアバターを提示することができる。

【0087】

さらに図５を参照して、上記の各図に示された方法の実現として、本発明はバーチャルアバターの生成装置の一実施例を提供し、当該装置の実施例は、図２に示す方法実施例に対応し、以下に記載される特徴に加えて、当該装置の実施例は、図２に示す方法実施例と同じまたは対応する特徴または効果を含むことができる。当該装置は、具体的に様々な電子機器に適用できる。

【0088】

図５に示すように、本実施例に係るバーチャルアバターの生成装置５００は、取得ユニット５０１と確定ユニット５０２とを含む。ここで、取得ユニット５０１は、第１のアバターを取得し、第１のアバターの表情パラメータを確定するように配置され、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含み、確定ユニット５０２は、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定するように配置される。

【0089】

本実施例において、バーチャルアバターの生成装置５００の取得ユニット５０１及び確定ユニット５０２の具体的な処理およびそれによる技術的効果について、図２の対応する実施例におけるステップ２０１およびステップ２０２の関連説明をそれぞれ参照することができ、ここでは説明を省略する。

【0090】

本実施例のいくつかの選択可能な実施形態において、装置は、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成するように配置された生成ユニットをさらに含み、確定ユニットは、さらに、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することを以下のように実行するように配置され、即ち、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られ、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成する。

【0091】

本実施例のいくつかの選択可能な実施形態において、確定ユニットは、さらに、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練されたディープニューラルネットワークに入力することにより、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られることを以下のように実行するように配置され、即ち、基準バーチャルアバターと五官のうちの少なくとも１つの表情パラメータを、予め訓練された第１の生成対抗ネットワークに入力することにより、第１の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情を有する第１のバーチャルアバターが得られる。

【0092】

本実施例のいくつかの選択可能な実施形態において、第１のアバターの表情パラメータは、頭部角度をさらに含み、確定ユニットは、さらに、第１のバーチャルアバターに基づいて、ターゲットバーチャルアバターを生成することを以下のように実行するように配置され、即ち、第１のバーチャルアバターと頭部角度を予め訓練された第２の生成対抗ネットワークに入力することにより、第２の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られる。

【0093】

本実施例のいくつかの選択可能な実施形態において、五官のうちの少なくとも１つの表情パラメータは、眼部パラメータと口部パラメータとを含み、取得ユニットは、さらに、第１のアバターの表情パラメータを確定することを以下のように実行するように配置され、即ち、第１のアバターの表情関連キーポイントを検出することにより、検出結果が得られ、ここで、表情関連キーポイントは、眼部キーポイントと口部キーポイントとを含み、検出結果に基づいて、第１のアバターの眼部パラメータ、口部パラメータ、及び頭部角度を確定する。

【0094】

本実施例のいくつかの選択可能な実施形態において、生成ユニットは、さらに、第１のアバターの属性に関連した無表情な基準バーチャルアバターを生成することを以下のように実行するように配置され、即ち、第１のアバターを予め訓練された第３の生成対抗ネットワークに入力することにより、第３の生成対抗ネットワークから出力された、第１のアバターの属性に関連した無表情な基準バーチャルアバターが得られ、または、第１のアバターの属性を検出し、予め設定された３次元アバターモデルに基づいて、検出された属性に関連した無表情なバーチャルアバターを確定し、当該バーチャルアバターを第１のアバターの属性に関連した無表情な基準バーチャルアバターとする。

【0095】

本実施例のいくつかの選択可能な実施形態において、確定ユニットは、さらに、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定することを以下のように実行するように配置され、即ち、各プリセット表情パラメータから、第１のアバターの表情パラメータとの差分が最小であるプリセット表情パラメータを選択し、第１のアバターの属性に関連し且つ選択されたプリセット表情パラメータに対応する表情を有するプリセットバーチャルアバターを取得し、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定する。

【0096】

本実施例のいくつかの選択可能な実施形態において、第１のアバターの表情パラメータは、頭部角度をさらに含み、確定ユニットは、さらに、プリセットバーチャルアバターに基づいて、ターゲットバーチャルアバターを確定することを以下のように実行するように配置され、即ち、第１のアバターの表情パラメータと選択されたプリセット表情パラメータとの差分及びプリセットバーチャルアバターを、予め訓練された第４の生成対抗ネットワークに入力することにより、第４の生成対抗ネットワークから出力された、第１のアバターの属性に関連し且つ第１のアバターの表情及び頭部角度を有するターゲットバーチャルアバターが得られ、ここで、第４の生成対抗ネットワークのパラメータの数は、第１の生成対抗ネットワークのパラメータの数より小さく、かつ第２の生成対抗ネットワークのパラメータの数より小さい。

【0097】

本実施例のいくつかの選択可能な実施形態において、装置は、第１のアバターに対応する表情カテゴリを確定するように配置されたカテゴリ確定ユニットと、ターゲットバーチャルアバターに対して、表情カテゴリに対応する特効を追加するように配置された追加ユニットと、をさらに含む。

【0098】

本実施例のいくつかの選択可能な実施形態において、第１のアバターを取得することは、１つの処理待ちアバターを取得することと、処理待ちアバターを補正することにより、処理待ちアバターの正面アバターが得られ、正面アバターを第１のアバターとすることと、を含む。

【0099】

図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているプログラムまたは記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って各種の適切な動作と処理を行うことができる処理装置（例えば中央処理装置、グラフィックスプロセッサなど）６０１を含むことができる。ＲＡＭ６０３には、電子機器６００の操作に必要な様々なプログラムとデータが記憶されている。処理装置６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４によって相互に接続されている。入力/出力(Ｉ/Ｏ)インターフェース６０５もバス６０４に接続されている。

【0100】

通常、Ｉ/Ｏインターフェース６０５には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、加速度計、ジャイロなどを含む入力装置６０６と、例えば液晶ディスプレイ（ＬＣＤ）、スピーカー、振動器などを含む出力装置６０７と、例えば磁気テープ、ハードディスクなどを含む記憶装置６０８と、通信装置６０９とが接続されている。通信装置６０９は、データを交換するために電子機器６００が他の機器と無線通信または有線通信することを許可できる。図６は、様々な装置を有する電子機器６００を示しているが、図示されたすべての装置を実施または備えることが要求されないことを理解されたい。代わりに、より多くまたはより少ない装置を実施または備えることができる。図６に示した各ブロックは、１つの装置を表してもよく、必要に応じて複数の装置を表してもよい。

【0101】

特に、本開示の実施例によると、上記のフローチャートを参照して説明されたプロセスは、コンピュータソフトウェアのプログラムとして実現されることができる。例えば、本開示の実施例は、コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含む。このような実施例では、このコンピュータプログラムは、通信装置７０９を介してネットワークからダウンロードされてインストールされ、または記憶装置７０８からインストールされ、またはＲＯＭ７０２からインストールされることができる。このコンピュータプログラムが処理装置７０１によって実行されるときに、本開示の実施例の方法で限定された上記の機能を実行する。なお、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体、あるいはコンピュータ可読記憶媒体、または上記の両方の任意の組合せであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、あるいは半導体のシステム、装置またはデバイス、あるいは上記の任意の組合せであってもよいが、これらに限らない。コンピュータ可読記憶媒体のより具体的な例には、１本以上のワイヤによる電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、または上記の任意の組み合わせが含まれるが、これらに限らない。本開示の実施例では、コンピュータ可読記憶媒体は、プログラムを含むかまたは記憶する任意の有形の媒体であることができ、このプログラムは、指令実行システム、装置またはデバイスによって使用され、またはそれらと組み合わせて使用されることができる。本開示の実施例では、コンピュータが読み取り可能な信号媒体は、コンピュータが読み取り可能なプログラムコードを担持した、ベースバンド内でまたは搬送波の一部として伝播されるデータ信号を含んでもよい。このような伝播されたデータ信号は、多種の形式を採用でき、電磁気信号、光信号、または上記の任意の適切な組み合わせを含むが、これらに限らない。コンピュータが読み取り可能な信号媒体は、コンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、このコンピュータ可読信号媒体は、指令実行システム、装置またはデバイスによって使用され、またはそれらと組み合わせて使用されるためのプログラムを送信、伝播または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体で伝送されることができ、ワイヤ、光ファイバケーブル、ＲＦ（無線周波数）など、または上記の任意の適切な組み合わせを含むが、これらに限らない。

【0102】

図の中のフローチャートおよびブロック図には、本発明の様々な実施例によるシステム、方法とコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および操作が示されている。この点で、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラミングのセグメント、またはコードの一部を代表でき、当該モジュール、プログラミングのセグメント、またはコードの一部は、所定のロジック機能を実現するための１つ以上の実行可能指令を含む。また、いくつかの代替の実施例では、ブロックに示されている機能は、図面に示された順序と異なる順序で発生してもよいことに留意されたい。例えば、連続して示す２つのブロックは実際に並行して実行されてもよく、それらは係る機能に応じて時に逆の順序で実行されてもよい。ブロック図および／またはフローチャートの各ブロック、およびブロック図および／またはフローチャートのブロックの組み合わせは、特定の機能または操作を実行する専用のハードウェアによるシステムによって実現されてもよく、または専用ハードウェアとコンピュータ指令の組み合わせによって実現されてもよいことにも留意されたい。

【0103】

本発明の実施例に係るユニットは、ソフトウェアによって実現されてもよく、ハードウェアによって実現されてもよい。説明されたユニットは、プロセッサに設置されてもよく、例えば、「取得ユニットと確定ユニットとを含むプロセッサである」と記載してもよい。ここで、これらのユニットの名は、ある場合にはそのユニット自体を限定しなくて、例えば、取得ユニットを「第１のアバターを取得し、前記第１のアバターの表情パラメータを確定するユニット」と記載してもよい。

【0104】

別の態様として、本発明は、コンピュータ可読媒体をさらに提供し、当該コンピュータ可読媒体は、上記実施例で説明された装置に含まれてもよく、個別に存在し当該装置に組み込まれなくてもよい。上記のコンピュータ可読媒体は、１つ以上のプログラムを担持し、上記の１つ以上のプログラムが当該装置によって実行されたとき、当該装置は、第１のアバターを取得し、第１のアバターの表情パラメータを確定し、ここで、第１のアバターの表情パラメータは、五官のうちの少なくとも１つの表情パラメータを含み、五官のうちの少なくとも１つの表情パラメータに基づいて、第１のアバターの属性に関連し且つ第１のアバターの表情を有するターゲットバーチャルアバターを確定する。

【0105】

上記の説明は、本発明の好ましい実施例および応用された技術の原理の説明にすぎない。本発明の実施例に係る発明の範囲が、上記の技術的特徴を組み合わせて得られた技術案に限定されず、同時に上記の発明の概念から逸脱しない場合に、上記の技術的特徴またはこれと同等の技術的特徴を任意に組み合わせて得られた他の技術案を含むべきであることを当業者は理解すべきである。例えば、上記の特徴が本発明において開示されているもの（しかしこれに限らず）と類似した機能を有する技術的特徴と相互に入れ替わって形成された技術案が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】