(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-13
(54)【発明の名称】顔情報の処理方法、装置、電子デバイス及び記憶媒体
(51)【国際特許分類】
G06T 17/00 20060101AFI20231106BHJP
【ＦＩ】
G06T17/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023525017
(86)(22)【出願日】2021-07-23
(85)【翻訳文提出日】2023-04-25
(86)【国際出願番号】 CN2021108105
(87)【国際公開番号】W WO2022110851
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】202011339595.5
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】陳 祖凱
(72)【発明者】
【氏名】徐 勝偉
(72)【発明者】
【氏名】林 純沢
(72)【発明者】
【氏名】王 権
(72)【発明者】
【氏名】銭 晨
【テーマコード（参考）】
5B080
【Ｆターム（参考）】
5B080AA00
5B080CA00
5B080FA02
5B080GA00
(57)【要約】
本発明は、顔情報の処理方法、装置、電子デバイス及び記憶媒体を提供し、ここで、当該処理方法は、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するステップと、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するステップと、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、
前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するステップと、を含む、
顔情報の処理方法。
【請求項2】
前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップは、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とを抽出するステップであって、前記顔パラメータ値は、顔の形状を表現するパラメータ値と、顔の表情を表現するパラメータ値とを含む、ステップと、
前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、を含む、
ことを特徴とする請求項１に記載の処理方法。
【請求項3】
前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップは、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を決定するステップと、
前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと前記線形フィッティング係数とに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、を含む、
ことを特徴とする請求項２に記載の処理方法。
【請求項4】
前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を決定するステップは、現在の線形フィッティング係数を取得するステップであって、前記現在の線形フィッティング係数は、予め設定された初期線形フィッティング係数を含む、ステップと、
前記現在の線形フィッティング係数と前記複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、前記第１の顔画像の現在の顔パラメータ値を予測するステップと、
予測して得られた前記現在の顔パラメータ値と前記第１の顔画像の顔パラメータ値とに基づいて、現在の損失値を決定するステップと、
前記現在の損失値と予め設定された前記線形フィッティング係数に対応する制約範囲とに基づいて、前記現在の線形フィッティング係数を調整し、調整された線形フィッティング係数を得るステップと、
調整された線形フィッティング係数を前記現在の線形フィッティング係数として、前記現在の線形フィッティング係数に対する調整操作が調整カットオフ条件を満たすまで、前記現在の顔パラメータ値を予測するステップの実行に戻り、前記調整カットオフ条件を満たしている場合、前記現在の線形フィッティング係数に基づいて前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を得るステップと、を含む、
ことを特徴とする請求項３に記載の処理方法。
【請求項5】
前記高密度点群データは、対応する複数の高密度点の座標値を含み、前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと前記線形フィッティング係数とに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップは、前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値に基づいて、平均的な高密度点群データにおける対応する点の座標値を決定するステップと、
前記複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、前記平均的な高密度点群データにおける対応する点の座標値とに基づいて、前記複数の第２の顔画像のそれぞれに対応する座標差異値を決定するステップと、
前記複数の第２の顔画像のそれぞれに対応する前記座標差異値と前記線形フィッティング係数とに基づいて、前記第１の顔画像に対応する座標差異値を決定するステップと、
前記第１の顔画像に対応する座標差異値と前記平均的な高密度点群データにおける対応する点の座標値とに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、を含む、
ことを特徴とする請求項３又は４に記載の処理方法。
【請求項6】
スタイル更新のトリガ操作に応答して、変更されたスタイルの複数の第２の顔画像の高密度点群データを取得するステップと、前記第１の顔画像と前記変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記変更されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、
前記変更されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記変更されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれか１項に記載の処理方法。
【請求項7】
前記第１の顔画像に対応する装飾情報と肌色情報とを取得するステップと、前記装飾情報と、前記肌色情報と、生成された前記第１の顔画像の仮想顔モデルとに基づいて、前記第１の顔画像に対応する仮想顔画像を生成するステップと、をさらに含む、
ことを特徴とする請求項１～６のいずれか１項に記載の処理方法。
【請求項8】
前記顔パラメータ値は、予め訓練されたニューラルネットワークにより抽出され、前記ニューラルネットワークは、顔パラメータ値で予めラベル付けされたサンプル画像に基づいて訓練して得られる、ことを特徴とする請求項２又は３に記載の処理方法。
【請求項9】
前記ニューラルネットワークは、複数のサンプル画像と各サンプル画像に対応するラベル顔パラメータ値とを含むサンプル画像セットを取得し、
前記複数のサンプル画像を訓練対象のニューラルネットワークに入力し、各サンプル画像に対応する予測顔パラメータ値を得、
各サンプル画像に対応する予測顔パラメータ値とラベル顔パラメータ値とに基づいて、前記訓練対象のニューラルネットワークのネットワークパラメータ値を調整し、訓練済みのニューラルネットワークを得ることにより予め訓練される、
ことを特徴とする請求項８に記載の処理方法。
【請求項10】
第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するための取得モジュールと、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するための決定モジュールと、
前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するための生成モジュールと、を含む、
顔情報の処理装置。
【請求項11】
プロセッサと、メモリと、バスとを含む電子デバイスであって、前記メモリは、前記プロセッサにより実行可能な機械可読命令を記憶しており、電子デバイスが動作する時、前記プロセッサと前記メモリはバスを介して通信し、前記機械可読命令が前記プロセッサにより実行されると、請求項１～９のいずれか１項に記載の処理方法のステップが実行される、電子デバイス。
【請求項12】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサにより実行されると、請求項１～９のいずれか１項に記載の処理方法のステップが実行される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術の分野に関し、具体的には、顔情報の処理方法、装置、電子デバイス及び記憶媒体に関する。
【背景技術】
【0002】
人工知能技術の発展に伴い、ゲーム、アニメーション及びソーシャルなどのアバターの応用シナリオに画像処理技術がますます応用されるようになっている。異なる応用シナリオにおいて、クラシックスタイル、現代スタイル、西洋スタイル、中国風スタイルなどの異なるスタイルの仮想顔モデルを構築することができる。一般的には、各応用スタイルに対応する仮想顔モデルの構築方式を設定する必要があり、柔軟性が悪くて効率が低い。
【発明の概要】
【0003】
本発明の実施例は、少なくとも１つの顔情報の処理手段を提供する。
【0004】
第１の態様において、本発明の実施例にて提供される顔情報の処理方法は、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するステップと、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するステップと、を含む。
【0005】
本発明の実施例において、異なるスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データに基づいて、対応するスタイルにおける第１の顔画像の仮想顔モデルを迅速に決定することができ、それにより仮想顔モデルの生成過程をより柔軟にし、予め設定されたスタイルにおける顔画像の仮想顔モデルの生成効率を向上させる。
【0006】
１つの可能な実施形態において、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップは、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とを抽出するステップであって、前記顔パラメータ値は、顔の形状を表現するパラメータ値と、顔の表情を表現するパラメータ値とを含む、ステップと、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、を含む。
【0007】
本発明の実施例において、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する過程において、第１の顔画像及び予め設定されたスタイルの複数の第２の顔画像の顔パラメータ値と組み合わせて決定することができることが提案され、顔パラメータ値により顔を表す時に使用されるパラメータ値の数が比較的少ないため、予め設定されたスタイルにおける第１の顔画像の高密度点群データをより迅速に決定することができる。
【0008】
１つの可能な実施形態において、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップは、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を決定するステップと、前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと前記線形フィッティング係数とに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、を含む。
【0009】
本発明の実施例において、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像との間の関連関係を表す線形フィッティング係数を、少ない数の顔パラメータ値で迅速に得ることを提案することができ、さらに、当該線形フィッティング係数に基づいて予め設定されたスタイルの複数の第２の顔画像の高密度点群データを調整することができ、予め設定されたスタイルにおける第１の顔画像の高密度点群データを迅速に得ることができる。
【0010】
１つの可能な実施形態において、前記第１の顔画像の顔パラメータ値と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を決定するステップは、現在の線形フィッティング係数を取得するステップであって、前記現在の線形フィッティング係数が初期線形フィッティング係数である場合、前記初期線形フィッティング係数は予め設定される、ステップと、前記現在の線形フィッティング係数と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、前記第１の顔画像の現在の顔パラメータ値を予測するステップと、予測して得られた前記現在の顔パラメータ値と前記第１の顔画像の顔パラメータ値とに基づいて、現在の損失値を決定するステップと、前記現在の損失値と予め設定された前記線形フィッティング係数に対応する制約範囲とに基づいて、前記現在の線形フィッティング係数を調整し、調整された線形フィッティング係数を得るステップと、調整された線形フィッティング係数を前記現在の線形フィッティング係数として、前記現在の線形フィッティング係数に対する調整操作が調整カットオフ条件を満たすまで、前記現在の顔パラメータ値を予測するステップの実行に戻り、前記調整カットオフ条件を満たしている場合、前記現在の線形フィッティング係数に基づいて前記線形フィッティング係数を得るステップと、を含む。
【0011】
本発明の実施例において、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を調整する過程において、損失値及び／又は調整回数により線形フィッティング係数を複数回調整し、線形フィッティング係数の精度を向上させることができ、一方、調整過程において、予め設定された線形フィッティング係数の制約範囲により調整制約を行い、このようにして得られた線形フィッティング係数は、予め設定されたスタイルにおける第１の顔画像の高密度点群データをより合理的に決定することができる。
【0012】
１つの可能な実施形態において、前記高密度点群データは、対応する複数の高密度点の座標値を含み、前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと前記線形フィッティング係数とに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップは、前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値に基づいて、平均的な高密度点群データにおける対応する点の座標値を決定するステップと、前記複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、前記平均的な高密度点群データにおける対応する点の座標値とに基づいて、前記複数の第２の顔画像のそれぞれに対応する座標差異値を決定するステップと、前記複数の第２の顔画像のそれぞれに対応する前記座標差異値と前記線形フィッティング係数とに基づいて、前記第１の顔画像に対応する座標差異値を決定するステップと、前記第１の顔画像に対応する座標差異値と前記平均的な高密度点群データにおける対応する点の座標値とに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、を含む。
【0013】
本発明の実施例において、第２の顔画像が比較的少ない場合、多様性のある第２の顔画像の高密度点群データで予め設定されたスタイルにおける異なる第１の顔画像の高密度点群データを正確に表すことができる。
【0014】
１つの可能な実施形態において、前記処理方法は、さらに、スタイル更新のトリガ操作に応答して、変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを取得するステップと、前記第１の顔画像と前記変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記変更されたスタイルにおける前記第１の顔画像の高密度点群データを決定するステップと、前記変更されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記変更されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するステップと、を含む。
【0015】
本発明の実施例において、スタイル更新のトリガ操作を検出した後、直接に、予め記憶した変更されたスタイルの複数の第２の顔画像の高密度点群データに基づき、変更されたスタイルにおける第１の顔画像の仮想顔モデルを迅速に得ることができ、それにより異なるスタイルにおける第１の顔画像に対応する仮想顔モデルを決定する効率を向上させる。
【0016】
１つの可能な実施形態において、前記処理方法は、さらに、前記第１の顔画像に対応する装飾情報と肌色情報とを取得するステップと、前記装飾情報と、前記肌色情報と、生成された前記第１の顔画像の仮想顔モデルとに基づいて、前記第１の顔画像に対応する仮想顔画像を生成するステップと、を含む。
【0017】
本発明の実施例において、ユーザにより選定された装飾情報と肌色情報とに基づいて、第１の顔画像に対応する仮想顔画像を生成することができ、ユーザとのインタラクションを向上させ、ユーザエクスペリエンスを向上させる。
【0018】
１つの可能な実施形態において、前記顔パラメータ値は、予め訓練されたニューラルネットワークにより抽出され、前記ニューラルネットワークは、顔パラメータ値で予めラベル付けされたサンプル画像に基づいて訓練して得られる。
【0019】
本発明の実施例において、予め訓練されたニューラルネットワークにより顔画像の顔パラメータ値を抽出することが提案され、顔パラメータ値の抽出効率と精度を向上させることができる。
【0020】
１つの可能な実施形態において、前記ニューラルネットワークは、複数のサンプル画像と各サンプル画像に対応するラベル顔パラメータ値とを含むサンプル画像セットを取得し、前記複数のサンプル画像を訓練対象のニューラルネットワークに入力し、各サンプル画像に対応する予測顔パラメータ値を得、各サンプル画像に対応する予測顔パラメータ値とラベル顔パラメータ値とに基づいて、前記訓練対象のニューラルネットワークのネットワークパラメータ値を調整し、訓練済みのニューラルネットワークを得ることにより予め訓練される。
【0021】
本発明の実施例において、顔パラメータ値を抽出するためのニューラルネットワークを訓練する過程において、各サンプル画像のラベル顔パラメータ値により、ニューラルネットワークのネットワークパラメータ値を連続的に調整することが提案され、それにより精度の高いニューラルネットワークを得ることができる。
【0022】
第２の態様において、本発明の実施例にて提供される顔情報の処理装置は、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するための取得モジュールと、前記第１の顔画像と前記予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データを決定するための決定モジュールと、前記予め設定されたスタイルにおける前記第１の顔画像の高密度点群データに基づいて、前記予め設定されたスタイルにおける前記第１の顔画像の仮想顔モデルを生成するための生成モジュールと、を含む。
【0023】
第３の態様において、本発明の実施例にて提供される電子デバイスは、プロセッサと、メモリと、バスとを含み、前記メモリは、前記プロセッサにより実行可能な機械可読命令を記憶しており、電子デバイスが動作する時、前記プロセッサと前記メモリはバスを介して通信し、前記機械可読命令が前記プロセッサにより実行されると、第１の態様に記載の処理方法のステップが実行される。
【0024】
第４の態様において、本発明の実施例にて提供されるコンピュータ可読記憶媒体は、コンピュータプログラムを記憶しており、当該コンピュータプログラムがプロセッサにより実行されると、第１の態様に記載の処理方法のステップが実行される。
【0025】
本発明の上記目的、特徴及び利点をより明白かつ理解しやすくするために、以下、添付図面とともに好ましい実施例を詳細に説明する。
【図面の簡単な説明】
【0026】
本発明の実施例の技術的解決手段をより明瞭に説明するために、以下、実施例において使用する必要のある図面を簡単に紹介する。これらの図面は、本発明に合致する実施例を示し、明細書とともに本発明の技術的解決手段を説明するために用いられる。理解すべきものとして、以下の図面は、本発明のいくつかの実施例のみを示し、したがって、範囲を限定するものと見なされるべきではなく、当業者にとっては、創造的な労力を費やさずに、これらの図面を基に他の関連する図面を得ることができる。
【図1】本発明の実施例にて提供される顔情報の処理方法のフローチャートである。
【図2】本発明の実施例にて提供される高密度点群データで顔の３次元モデルを表す概略図である。
【図3】本発明の実施例にて提供される予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する方法のフローチャートである。
【図4】本発明の実施例にて提供されるニューラルネットワークを訓練する方法のフローチャートである。
【図5】本発明の実施例にて提供される予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する具体的な方法のフローチャートである。
【図6】本発明の実施例にて提供される変更されたスタイルにおける第１の顔画像の仮想顔モデルを決定する方法のフローチャートである。
【図7】本発明の実施例にて提供される第１の顔画像に対応する仮想顔画像を生成する方法のフローチャートである。
【図8】本発明の実施例にて提供される第１の顔画像に対応する仮想顔モデルを決定する概略図である。
【図9】本発明の実施例にて提供される顔情報の処理装置の構造の概略図である。
【図10】本発明の実施例にて提供される電子デバイスの概略図である。
【発明を実施するための形態】
【0027】
本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を併せて、本発明の実施例における技術的解決手段を明確かつ完全に記述し、明らかに、記述された実施例は、本発明の一部の実施例に過ぎず、全ての実施例ではない。通常、ここでの図面において記述され示される本発明の実施例の構成要素は、様々な異なる構成で配置及び設計され得る。したがって、以下、図面において提供される本発明の実施例の詳細な記述は、保護が要求される本発明の範囲を限定することを意図せず、本発明の選定された実施例のみを表す。本発明の実施例に基づいて、当業者であれば、創造的な労力を費やさずに得られた全ての他の実施例は、いずれも本発明の保護範囲に属する。
【0028】
なお、以下の図面において、類似の符号及び文字は、類似の項目を示し、したがって、ある項目は、１つの図面において定義されると、以降の図面においてさらに定義され、解釈される必要がない。
【0029】
本明細書における「及び／又は」という用語は、単に関連関係を記述するだけであり、３つの関係が存在し得ることを表し、例えば、Ａ及び／又はＢは、Ａのみの存在と、ＡおよびＢの両方の存在と、Ｂのみの存在との３つの場合を表し得る。また、本明細書における「少なくとも１つ」という用語は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択される任意の１つ又は複数の要素を含むことを表し得る。
【0030】
ゲーム及び仮想的なソーシャルにおいて、顔モデリング技術がよく使用され、それは、異なるシナリオにおいて、通常、クラシックスタイル、現代スタイル、西洋スタイル、中国風スタイルなどの異なる顔スタイルが必要とされるからである。異なる顔スタイルに対して、異なるスタイルに対応する顔モデリング方式を構築する必要があり、例えばクラシックスタイルの顔モデリング方式に対して、大量の顔画像及びそれぞれに対応するクラシックスタイルの顔モデルを収集する必要があり、次いで、それに基づいてクラシックスタイルを構築するための仮想顔モデルを訓練し、他のスタイルを変更する必要がある場合、他のスタイルの仮想顔モデルを再訓練する必要があるため、当該過程の柔軟性が悪くて効率が低い。
【0031】
上記研究に基づいて、本発明は、顔情報の処理方法を提供し、異なる第１の顔画像に対して、異なるスタイルにおける複数の第２の顔画像のそれぞれに対応する高密度点群データに基づいて、対応するスタイルにおける第１の顔画像の仮想顔モデルを迅速に決定することができ、それにより仮想顔モデルの生成過程をより柔軟にし、予め設定されたスタイルにおける顔画像の仮想顔モデルの生成効率を向上させる。
【0032】
本実施例を理解しやすくするために、まず、本発明の実施例により開示される顔情報の処理方法を詳細に紹介し、本発明の実施例にて提供される処理方法の実行主体は、一般に、一定のコンピューティング能力を有するコンピュータ装置であり、当該コンピュータ装置は、例えば、端末デバイス、サーバ又は他の処理デバイスを含み、端末デバイスは、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイルデバイス、ユーザ端末、端末、ハンドヘルドデバイス、コンピューティングデバイス、ウェアラブルデバイスなどであってもよい。いくつかの可能な実現形態において、当該顔情報の処理方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことにより実施され得る。
【0033】
図１に示すように、本発明の実施例にて提供される顔情報の処理方法は、以下のステップＳ１１～Ｓ１３を含む。
【0034】
Ｓ１１において、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得する。
【0035】
例示的に、第１の顔画像は、画像収集デバイスにより収集されたカラー顔画像であってもよく、グレースケールの顔画像であってもよく、ここで具体的に限定しない。
【0036】
例示的に、複数の第２の顔画像は、予め選択されたいくつかの特徴を有する画像であり、これらの第２の顔画像により異なる第１の顔画像を表現することができ、例えば、ｎ枚の第２の顔画像を選択し、各第１の顔画像に対して、これらｎ枚の第２の顔画像及び線形フィッティング係数により当該第１の顔画像を表現してもよい。例示的に、複数の第２の顔画像がほとんどの第１の顔画像をフィッティングで表現できるようにするために、平均的な顔よりもいくつかの顕著な特徴を有する顔の画像を第２の顔画像として選択してもよく、例えば、平均的な顔よりも顔のサイズが小さい顔の画像を第２の顔画像として選択したり、平均的な顔よりも口のサイズが大きい顔の画像を第２の顔画像として選択したり、平均的な顔よりも目のサイズが大きい顔の画像を第２の顔画像として選択したりしてもよい。
【0037】
例示的に、カートゥーンスタイルを有する第２の顔画像に対応する高密度点群データや、サイエンスフィクションスタイルを有する第２の顔画像に対応する高密度点群データなどの異なるスタイルを有する複数の第２の顔画像のそれぞれに対応する高密度点群データを予め取得して保存すると、異なるスタイルにおける第１の顔画像の仮想顔モデルを容易に決定することができ、例示的に、仮想顔モデルは、仮想３次元顔モデル又は仮想２次元顔モデルを含み得る。
【0038】
例示的に、各第２の顔画像に対して、当該第２の顔画像に対応する高密度点群データ、及び当該第２の顔画像の顔パラメータ値を抽出してもよく、顔パラメータ値は、３次元モーファブルモデル（３Ｄ Ｍｏｒｐｈａｂｌｅ Ｆａｃｅ Ｍｏｄｅｌ、３ＤＭＭ）パラメータ値を含むが、これに限定されず、次いで、顔パラメータ値に基づいて高密度点群における点の座標値を調整し、複数のスタイルにおける各スタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを得、例えば、クラシックスタイルの各第２の顔画像の高密度点群データ、カートゥーンスタイルの各第２の顔画像の高密度点群データを得てもよく、次いで、異なるスタイルの各第２の顔画像の高密度点群データを保存する。
【0039】
例示的に、高密度点群データは、顔の３次元モデルを表してもよく、具体的に、高密度点群データは、顔の表面の複数の頂点の予め構築された３次元座標系における座標値を含み得、複数の頂点が接続されて形成された３次元メッシュ（３Ｄ－ｍｅｓｈ）及び複数の頂点の座標値は、顔の３次元モデルを表すために用いられてもよく、図２に示すように、異なる高密度点群データにより表される顔の３次元モデルの概略図を示し、高密度点群における点の数が多いほど、高密度点群データは顔の３次元モデルをより詳細に表す。
【0040】
例示的に、顔パラメータ値は、顔の形状を表すパラメータ値と、顔の表情を表すパラメータ値とを含み、例えば、顔パラメータ値は、顔の形状を表すためのＫ次元のパラメータ値と、顔の表情を表すためのＭ次元のパラメータ値とを含み得、ここで、顔の形状を表すためのＫ次元のパラメータ値はともに、当該第２の顔画像の顔の形状を表し、顔の表情を示すためのＭ次元のパラメータ値はともに、当該第２の顔画像の顔の表情を表す。
【0041】
例示的に、Ｋの次元数の範囲は、一般的に１５０～４００の間であり、Ｋ次元が小さいほど、表現できる顔の形状はより簡単となり、Ｋ次元が大きいほど、表現できる顔の形状はより複雑となり、Ｍの範囲は、一般的に１０～４０の間であり、Ｍ次元が少ないほど、表現できる顔の表情はより簡単となり、Ｍ次元が多いほど、表現できる顔の表情はより複雑となり、したがって、本発明の実施例では、範囲が比較的小さい顔パラメータ値により１つの顔を表すことができることが提案され、それにより、その後に第１の顔画像に対応する仮想顔モデルの決定が便利となる。
【0042】
例示的に、顔パラメータ値の意味と組み合わせて、上記で言及した顔パラメータ値に基づいて高密度点群データに対応する各高密度点の座標値を調整し、複数のスタイルにおける各スタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを得ることは、顔パラメータ値及び複数のスタイルのそれぞれに対応する特徴属性（例えば、カートゥーンスタイルの特徴属性、クラシックスタイルの特徴属性など）に基づいて、予め構築された３次元座標系における頂点の座標値を調整することで、複数のスタイルの第２の顔画像のそれぞれに対応する高密度点群データを得ると理解されてもよい。
【0043】
Ｓ１２において、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する。
【0044】
例示的に、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像との間の関連関係を求めることにより、例えば、線形フィッティングの方式により、予め設定されたスタイルの複数の第２の顔画像と第１の顔画像との間の線形フィッティング係数を決定してもよく、さらに、当該線形フィッティング係数と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定してもよい。
【0045】
Ｓ１３において、予め設定されたスタイルにおける第１の顔画像の高密度点群データに基づいて、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを生成する。
【0046】
予め設定されたスタイルにおける第１の顔画像の高密度点群データが決定された後、当該入力顔に含まれる複数の頂点の予め構築された３次元座標系における３次元座標値を得ることができるため、複数の頂点の３次元座標系における３次元座標値に基づいて、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを得ることができる。
【0047】
本発明の実施例において、異なる複数のスタイルに対して、対応するスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データに基づいて、対応するスタイルにおける第１の顔画像の仮想顔モデルを迅速に決定することができ、それにより仮想顔モデルの生成過程をより柔軟にし、予め設定されたスタイルにおける顔画像の仮想顔モデルの生成効率を向上させる。
【0048】
以下、上記Ｓ１１～Ｓ１３を具体的な実施例と組み合わせて説明する。
【0049】
上記Ｓ１２について、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するにあたり、図３に示すように、以下のステップＳ１２１～Ｓ１２２を含み得る。
【0050】
Ｓ１２１において、第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とを抽出し、ここで、顔パラメータ値は、顔の形状を表現するパラメータ値と、顔の表情を表現するパラメータ値とを含む。
【0051】
例示的に、ここでは予め訓練されたニューラルネットワークにより第１の顔画像の顔パラメータ値と複数の第２の顔画像のそれぞれに対応する顔パラメータ値とをそれぞれ抽出してもよく、例えば、第１の顔画像と各第２の顔画像を予め訓練されたニューラルネットワークにそれぞれ入力して、それぞれに対応する顔パラメータ値を得てもよい。
【0052】
Ｓ１２２において、第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する。
【0053】
顔パラメータ値及び高密度点群データが同一の顔を表現する際に対応関係を有することを考慮すると、第１の顔画像及び予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値により、第１の顔画像と複数の第２の顔画像との間の関連関係を決定し、次いで、当該関連関係と複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することができる。
【0054】
本発明の実施例において、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する過程において、第１の顔画像及び予め設定されたスタイルの複数の第２の顔画像の顔パラメータ値と組み合わせて決定することができることが提案され、顔パラメータ値により顔を表す時に使用されるパラメータ値の数が比較的少ないため、予め設定されたスタイルにおける第１の顔画像の高密度点群データをより迅速に決定することができる。
【0055】
例示的に、上記で言及した顔パラメータ値は予め訓練されたニューラルネットワークにより抽出されてもよいことについて、ニューラルネットワークは、顔パラメータ値で予めラベル付けされたサンプル画像に基づいて訓練して得られる。
【0056】
本発明の実施例において、予め訓練されたニューラルネットワークにより顔画像の顔パラメータ値を抽出することが提案され、顔パラメータ値の抽出効率と精度を向上させることができる。
【0057】
具体的には、以下の方式でニューラルネットワークを予め訓練してもよく、図４に示すように、Ｓ２０１～Ｓ２０３を含む。
【0058】
Ｓ２０１において、複数のサンプル画像と各サンプル画像に対応するラベル顔パラメータ値とを含むサンプル画像セットを取得する。
【0059】
Ｓ２０２において、複数のサンプル画像を訓練対象のニューラルネットワークに入力し、各サンプル画像に対応する予測顔パラメータ値を得る。
【0060】
Ｓ２０３において、各サンプル画像に対応する予測顔パラメータ値とラベル顔パラメータ値とに基づいて、訓練対象のニューラルネットワークのネットワークパラメータ値を調整し、訓練済みのニューラルネットワークを得る。
【0061】
例示的に、大量の顔画像及び各顔画像に対応するラベル顔パラメータ値をここでのサンプル画像セットとして収集してもよく、各サンプル画像を訓練対象のニューラルネットワークに入力し、訓練対象のニューラルネットワークにより出力された当該サンプル画像に対応する予測顔パラメータ値を得ることができ、さらにサンプル画像に対応するラベル顔パラメータ値と予測顔パラメータ値とに基づいて訓練対象のニューラルネットワークに対応する損失値を決定し、次いで、調整回数が予め設定された回数に達し、及び／又は損失値が予め設定された閾値よりも小さくなるまで、当該損失値に基づいて訓練対象のニューラルネットワークのネットワークパラメータ値を調整し、訓練済みのニューラルネットワークを得てもよい。
【0062】
本発明の実施例において、顔パラメータ値を抽出するためのニューラルネットワークを訓練する過程において、各サンプル画像のラベル顔パラメータ値により、ニューラルネットワークのネットワークパラメータ値を連続的に調整することが提案され、それにより精度の高いニューラルネットワークを得ることができる。
【0063】
具体的に、上記Ｓ１２２について、第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するにあたり、図５に示すように、以下のステップＳ１２３１～Ｓ１２３２を含み得る。
【0064】
Ｓ１２３１において、第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像と複数の第２の顔画像との間の線形フィッティング係数を決定する。
【0065】
Ｓ１２３２において、予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと線形フィッティング係数とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する。
【0066】
例示的に、顔パラメータ値が３ＤＭＭパラメータ値であることを例にし、第１の顔画像の３ＤＭＭパラメータ値が、当該第１の顔画像に対応する顔の形状及び表情を表現することができ、同様に、各第２の顔画像に対応する３ＤＭＭパラメータ値が、当該第２の顔画像に対応する顔の形状及び表情を表現することができることを考慮すると、第１の顔画像と複数の第２の顔画像との間の関連関係は、３ＤＭＭパラメータ値により決定され得、具体的に、複数の第２の顔画像がｎ枚の第２の顔画像を含むと仮定すると、第１の顔画像と複数の第２の顔画像との間の線形フィッティング係数もｎ個の線形フィッティング係数値を含み、第１の顔画像の顔パラメータ値と複数の第２の顔画像のそれぞれに対応する顔パラメータ値との間の関連関係は、以下の式（１）により表され得る。
【数1】
【0067】
ここで、ＩＮ３ＤＭＭは、第１の顔画像に対応する３ＤＭＭパラメータ値を表し、αｘは、第１の顔画像とｘ枚目の第２の顔画像との間の線形フィッティング係数値を表し、ＢＡＳＥ３ＤＭＭ（ｘ）は、ｘ枚目の第２の顔画像に対応する顔パラメータ値を表し、Ｌは、第１の顔画像に対応する顔パラメータ値を決定する際に使用される第２の顔画像の数を表し、ｘは、ｘ枚目の第２の顔画像を指示するために用いられ、ここで、ｘ∈（１,Ｌ）である。
【0068】
本発明の実施例において、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像との間の関連関係を表す線形フィッティング係数を、少ない数の顔パラメータ値で迅速に得ることを提案することができ、さらに、当該線形フィッティング係数に基づいて予め設定されたスタイルの複数の第２の顔画像の高密度点群データを調整することができ、予め設定されたスタイルにおける第１の顔画像の高密度点群データを迅速に得ることができる。
【0069】
具体的には、第１の顔画像の顔パラメータ値と複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像と複数の第２の顔画像との間の線形フィッティング係数を決定するにあたり、以下のＳ１２３１１～Ｓ１２３１４を含み得る。
【0070】
Ｓ１２３１１において、現在の線形フィッティング係数を取得し、ここで、現在の線形フィッティング係数は、予め設定された初期線形フィッティング係数を含む。
【0071】
現在の線形フィッティング係数は、以下のステップＳ１２３１２～Ｓ１２３１４に従って少なくとも１回調整された線形フィッティング係数であってもよく、初期線形フィッティング係数であってもよく、当該現在の線形フィッティング係数が初期線形フィッティング係数である場合、当該初期線形フィッティング係数は、経験に基づいて予め設定されたものであってもよい。
【0072】
Ｓ１２３１２において、現在の線形フィッティング係数と複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像の現在の顔パラメータ値を予測する。
【0073】
例示的に、複数の第２の顔画像のそれぞれに対応する顔パラメータ値は、上記で言及した予め訓練されたニューラルネットワークにより抽出されてもよく、次いで、現在の線形フィッティング係数と複数の第２の顔画像のそれぞれに対応する顔パラメータ値とを上記式（１）に入力し、第１の顔画像の現在の顔パラメータ値を予測してもよい。
【0074】
Ｓ１２３１３において、予測して得られた現在の顔パラメータ値と第１の顔画像の顔パラメータ値とに基づいて、現在の損失値を決定する。
【0075】
線形フィッティング係数を調整する過程において、予測して得られた第１の顔画像の現在の顔パラメータ値と、上記で言及した予め訓練されたニューラルネットワークにより抽出された第１の顔画像の顔パラメータ値との間には一定の差があり、当該差に基づいて現在の損失値を決定してもよい。
【0076】
Ｓ１２３１４において、現在の損失値と予め設定された線形フィッティング係数に対応する制約範囲とに基づいて、現在の線形フィッティング係数を調整し、調整された線形フィッティング係数を得、調整された線形フィッティング係数を現在の線形フィッティング係数として、現在の線形フィッティング係数に対する調整操作が調整カットオフ条件を満たすまで、現在の顔パラメータ値を予測するステップの実行に戻り、前記調整カットオフ条件を満たしている場合、現在の線形フィッティング係数に基づいて線形フィッティング係数を得る。
【0077】
例示的に、顔パラメータ値が顔の形状及びサイズを表すために用いられることを考慮すると、その後に仮想顔モデルを表現する際に線形フィッティング係数により決定された第１の顔画像の高密度点群データの歪みを回避するために、ここでは現在の損失値に基づいて現在の線形フィッティング係数を調整する過程において、予め設定された線形フィッティング係数の制約範囲と組み合わせる必要があることを提案する。例えば、ここでは大量のデータ統計により、予め設定された線形フィッティング係数に対応する制約範囲を－０．５～０．５の間に設定することを決定してもよく、すると、現在の損失値に基づいて現在の線形フィッティング係数を調整する過程において、各調整された線形フィッティング係数を－０．５～０．５の間になるようにすることができる。
【0078】
例示的に、現在の損失値と予め設定された線形フィッティング係数に対応する制約範囲とに基づいて、現在の線形フィッティング係数を調整することで、予測して得られた現在の顔パラメータ値とニューラルネットワークに基づいて抽出された顔パラメータ値をより近くにし、次いで、調整された線形フィッティング係数を現在の線形フィッティング係数とし、現在の損失値が予め設定された閾値よりも小さくなり、及び／又は繰り返しの調整回数が予め設定された回数に達するまで、Ｓ１２３１２に戻り、調整カットオフ条件を満たしている場合、線形フィッティング係数を得る。
【0079】
本発明の実施例において、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を調整する過程において、損失値及び／又は調整回数により線形フィッティング係数を複数回調整し、線形フィッティング係数の精度を向上させることができ、一方、調整過程において、予め設定された線形フィッティング係数の制約範囲により調整制約を行い、このようにして得られた線形フィッティング係数は、予め設定されたスタイルにおける第１の顔画像の高密度点群データをより合理的に決定することができる。
【0080】
具体的には、高密度点群データは、対応する複数の高密度点の座標値を含み、上記Ｓ１２３２について、予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと線形フィッティング係数とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するにあたり、以下のステップＳ１２３２１～Ｓ１２３２４を含み得る。
【0081】
Ｓ１２３２１において、予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値に基づいて、平均的な高密度点群データにおける対応する点の座標値を決定する。
【0082】
例示的に、予め設定されたスタイルの複数の第２の顔画像に対応する平均的な高密度点群データにおける各点の座標値を決定する際、複数の第２の顔画像のそれぞれに対応する各高密度点の座標値、及び複数の第２の顔画像の枚数に基づいて決定してもよい。例えば、複数の第２の顔画像は、１０枚を含み、各第２の顔画像に対応する高密度点群データは、１００点の３次元座標値を含み、１つ目の点について、１０枚の第２の顔画像における１つ目の点に対応する３次元座標値を加算し、加算結果を１０で割った値を平均的な高密度点群データにおける対応する１つ目の点の座標値としてもよい。同様の方式で、複数の第２の顔画像に対応する平均的な高密度点群データにおける各点の３次元座標系における座標値を得ることができる。言い換えれば、複数の第２の顔画像のそれぞれの高密度点群データにおいて互いに対応する複数点の座標の平均値が、ここでの平均的な高密度点群データにおける対応する点の座標値を構成する。
【0083】
Ｓ１２３２２において、複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、平均的な高密度点群データにおける対応する点の座標値とに基づいて、複数の第２の顔画像のそれぞれに対応する座標差異値を決定する。
【0084】
例示的に、平均的な高密度点群データにおける各点の座標値は、複数の第２の顔画像に対応する平均的な仮想顔モデルを表し得、例えば、平均的な高密度点群データにおける各点の座標値により表された五官のサイズが、複数の第２の顔画像に対応する平均的な五官のサイズであってもよく、平均的な高密度点群データにおける各点の座標値により表された顔のサイズが、複数の第２の顔画像に対応する平均的な顔のサイズであってもよいなどである。
【0085】
例示的に、複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、平均的な高密度点群データにおける対応する点の座標値との差を求めることで、平均的な高密度点群データにおける対応する点の座標値に対する複数の第２の顔画像のそれぞれに対応する各高密度点の座標値の座標差異値（本明細書では、単に「第２の顔画像に対応する座標差異値」ともいう）を得ることができ、それにより上記で言及した平均的な顔画像に対する当該第２の顔画像の差異性を表現することができる。
【0086】
Ｓ１２３２３において、複数の第２の顔画像のそれぞれに対応する座標差異値と線形フィッティング係数とに基づいて、第１の顔画像に対応する座標差異値を決定する。
【0087】
例示的に、線形フィッティング係数は、第１の顔画像に対応する顔パラメータ値と複数の第２の顔画像のそれぞれに対応する顔パラメータ値との間の関連関係を表し得、顔画像に対応する顔パラメータ値と当該顔画像に対応する高密度点群データとの間には対応関係を有するため、線形フィッティング係数は、第１の顔画像に対応する高密度点群データと複数の第２の顔画像のそれぞれに対応する高密度点群データとの間の関連関係を表し得る。
【0088】
同一の平均的な高密度点群データに対応する場合、当該線形フィッティング係数は、さらに第１の顔画像に対応する座標差異値と複数の第２の顔画像のそれぞれに対応する座標差異値との間の関連関係を表し得るため、ここでは複数の第２の顔画像のそれぞれに対応する座標差異値と線形フィッティング係数とに基づいて、平均的な高密度点群データに対する第１の顔画像に対応する高密度点群データの座標差異値を決定し得る。
【0089】
Ｓ１２３２４において、第１の顔画像に対応する座標差異値と平均的な高密度点群データにおける対応する点の座標値とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する。
【0090】
第１の顔画像に対応する座標差異値と平均的な高密度点群データにおける対応する点の座標値を加算すると、第１の顔画像に対応する高密度点群データを得ることができ、具体的には、第１の顔画像に対応する各高密度点の座標値を含み、当該高密度点群データに基づいて、当該第１の顔画像に対応する仮想顔モデルを表し得る。
【0091】
具体的に、ここでは第１の顔画像に対応する高密度点群データを決定し、高密度点群データと３ＤＭＭとの間の関係を考慮すると、第１の顔画像に対応する高密度点群データは、ＯＵＴ３ｄｍｅｓｈで表され得、具体的には、以下の式（２）に従って決定され得る。
【数2】
【0092】
ここで、ＢＡＳＥ３ｄｍｅｓｈ（ｘ）は、ｘ枚目の第２の顔画像に対応する高密度点の座標値を表し、ＭＥＡＮ３ｄｍｅｓｈは、複数の第２の顔画像に基づいて決定された平均的な高密度点群データにおける対応する点の座標値を表し、
は、平均的な高密度点群データにおける対応する点の座標値に対する第１の顔画像に対応する高密度点の座標値の座標差異値を表し得る。
【数3】
は、平均的な高密度点群データにおける対応する点の座標値に対する第１の顔画像に対応する高密度点の座標値の座標差異値を表し得る。
【0093】
ここでは第１の顔画像の高密度点群データを決定する時、ステップＳ１２３２１～Ｓ１２３２４の方式で決定し、即ち、上記式（２）の方式で決定することは、複数の第２の顔画像のそれぞれに対応する高密度点群データと線形フィッティング係数とにより第１の顔画像に対応する高密度点群データを決定する方式と比較し、以下の利点を含み得る。
【0094】
本発明の実施例において、線形フィッティング係数は、複数の第２の顔画像のそれぞれに対応する座標差異値を線形フィッティングするために用いられることを考慮すると、平均的な高密度点群データにおける対応する点の座標値に対する第１の顔画像に対応する高密度点の座標値の座標差異値（本明細書では、単に「第１の顔画像に対応する座標差異値」ともいう）が得られるため、これらの線形フィッティング係数の和が１となることを限定する必要がなく、第１の顔画像に対応する座標差異値と平均的な高密度点群データにおける対応する点の座標値を加算すれば、正常な顔を表現する高密度点群データを得ることができる。
【0095】
また、第２の顔画像が比較的少ない場合、本発明の実施例により提供される方式で、線形フィッティング係数を合理的に調整することで、比較的少ない数の第２の顔画像を使用して第１の顔画像に対応する高密度点群データを決定する目的を達成することができる。例えば、第１の顔画像の目のサイズが小さい目である場合、上記方式によると、複数の第２の顔画像の目のサイズを限定する必要がなく、調整された座標差異値と平均的な高密度点群データにおける対応する点の座標値を重ね合わせると、小さい目を表す高密度点群データを得ることができるように線形フィッティング係数により座標差異値を調整してもよい。具体的には、複数の第２の顔画像がいずれも大きい目である場合であっても、対応する平均的な高密度点群データにより表された目も大きい目であり、依然として、調整された座標差異値と平均的な高密度点群データにおける対応する点の座標値を加算すると、小さい目を表す高密度点群データを得ることができるように線形フィッティング係数を調整してもよい。
【0096】
したがって、本発明の実施例は、異なる第１の顔画像に対して、当該第１の顔画像の五官特徴と類似する第２の顔画像を選んで当該第１の顔画像に対応する高密度点群データを決定する必要がなく、当該方式は、第２の顔画像が比較的少ない場合、多様性のある第２の顔画像の高密度点群データにより予め設定されたスタイルにおける異なる第１の顔画像の高密度点群データを正確に表すことができる。
【0097】
上記方式で、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを得ることができ、例えば、クラシックスタイルにおける第１の顔画像の仮想顔モデルを得ることができ、第１の顔画像に対応する仮想顔モデルのスタイルを調整する必要がある場合、例えば、現代スタイルにおける当該第１の顔画像の仮想顔モデルを生成する必要がある場合、１つの実施形態において、図６に示すように、本発明の実施例により提供される処理方法は、スタイル更新のトリガ操作に応答して、変更されたスタイルにおける前記第１の顔画像の仮想顔モデルを取得することをさらに含み、具体的に以下のステップＳ３０１～Ｓ３０３を含む。
【0098】
Ｓ３０１において、スタイル更新のトリガ操作に応答して、変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを取得する。
【0099】
例示的に、複数のスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを予め保存することができるため、ここではスタイル更新のトリガ操作を受信した後、変更されたスタイルの各第２の顔画像の高密度点群データを直接取得することができる。
【0100】
Ｓ３０２において、第１の顔画像と変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、変更されたスタイルにおける第１の顔画像の高密度点群データを決定する。
【0101】
ここでの変更されたスタイルにおける第１の顔画像の高密度点群データを決定する方式は、上記予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定する方式と類似し、ここではその説明を省略する。
【0102】
Ｓ３０３において、変更されたスタイルにおける第１の顔画像の高密度点群データに基づいて、変更されたスタイルにおける第１の顔画像の仮想顔モデルを生成する。
【0103】
同様に、ここでの変更されたスタイルにおける第１の顔画像の仮想顔モデルを生成する方式は、上記で言及した予め設定されたスタイルにおける第１の顔画像の高密度点群データに基づいて、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを生成する過程と類似し、ここではその説明を省略する。
【0104】
本発明の実施例において、スタイル更新のトリガ操作を検出した後、直接に、予め記憶した変更されたスタイルの複数の第２の顔画像の高密度点群データに基づき、変更されたスタイルにおける第１の顔画像の仮想顔モデルを迅速に得ることができ、それにより異なるスタイルにおける第１の顔画像に対応する仮想顔モデルを決定する効率を向上させることができる。
【0105】
いくつかのシナリオにおいて、仮想顔モデルを得た後、第１の顔画像に対応する仮想顔画像を生成する必要があり、当該仮想顔画像は、３次元顔画像であってもよく、２次元顔画像であってもよく、１つの実施形態において、図７に示すように、本発明の実施例により提供される処理方法は、さらに、以下を含む。
【0106】
Ｓ４０１において、第１の顔画像に対応する装飾情報と肌色情報とを取得する。
【0107】
Ｓ４０２において、装飾情報と、肌色情報と、生成された第１の顔画像の仮想顔モデルとに基づいて、第１の顔画像に対応する仮想顔画像を生成する。
【0108】
例示的に、装飾情報は、髪型、髪飾りなどを含み得、当該装飾情報及び肌色情報は、第１の顔画像を画像認識することで取得されてもよく、ユーザの選択に応じて取得されてもよく、例えば、仮想顔画像生成インタフェースに装飾情報及び肌色情報の選択欄が提供され、当該選択欄におけるユーザの選択結果に応じて第１の顔画像に対応する装飾情報と肌色情報とを決定してもよい。
【0109】
さらに、第１の顔画像に含まれる装飾情報と肌色情報とを決定した後、当該第１の顔画像の仮想顔モデルと組み合わせて、第１の顔画像に対応する仮想顔画像を生成してもよく、ここでの第１の顔画像の仮想顔モデルは、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルであってもよく、変更されたスタイルにおける第１の顔画像の仮想顔モデルであってもよく、このようにして生成された仮想顔画像は、特定のスタイルを有する仮想顔画像であってもよい。
【0110】
本発明の実施例において、ユーザにより選定された装飾情報と肌色情報とに基づいて、第１の顔画像に対応する仮想顔画像を生成することができ、ユーザとのインタラクションを向上させ、ユーザエクスペリエンスを向上させる。
【0111】
以下、具体的な実施例により、顔情報の処理過程を説明し、以下のステップＳ５０１～Ｓ５０７を含む。
【0112】
Ｓ５０１において、複数のサンプル画像と各サンプル画像に対応する３ＤＭＭパラメータ値とを含むサンプル画像セットを用意する。
【0113】
Ｓ５０２において、サンプル画像セットに基づいてニューラルネットワークを訓練し、顔画像に対応する３ＤＭＭパラメータ値を予測できるニューラルネットワークを得る。
【0114】
Ｓ５０３において、訓練済みのニューラルネットワークを用いて第１の顔画像に対応する３ＤＭＭパラメータ値ＩＮ３ＤＭＭ及び複数の第２の顔画像に対応する３ＤＭＭパラメータ値ＢＡＳＥ３ＤＭＭを決定する。
【0115】
Ｓ５０４において、ＩＮ３ＤＭＭ及びＢＡＳＥ３ＤＭＭにより、ＢＡＳＥ３ＤＭＭでＩＮ３ＤＭＭを表す時の重み値αを決定し、ＩＮ３ＤＭＭ＝αＢＡＳＥ３ＤＭＭによりαを決定することができ、当該αは、第１の顔画像と複数の第２の顔画像との間の線形フィッティング係数を表し得る。
【0116】
Ｓ５０５において、機械学習アルゴリズムを用いてＳ５０４におけるαを連続的に最適化し、ＩＮ３ＤＭＭとαＢＡＳＥ３ＤＭＭをできるだけ近くなるようにし、最適化の過程において、αの値を制約することで、αの範囲を－０．５～０．５の間にする。
【0117】
Ｓ５０６において、複数の第２の顔画像のそれぞれに対応する３Ｄ－ｍｅｓｈ（ＢＡＳＥ３ｄｍｅｓｈにより表されてもよい）に基づいて、平均的な顔画像に対応する３Ｄ－ｍｅｓｈ（ＭＥＡＮ３ｄｍｅｓｈにより表されてもよい）を決定し、ここで、３Ｄ－ｍｅｓｈは、高密度点群データにより決定されてもよく、３Ｄ－ｍｅｓｈと高密度点群データとの関係は、図２に対する上記の説明に詳しく示されている。
【0118】
Ｓ５０７において、複数の第２の顔画像に対応するＢＡＳＥ３ｄｍｅｓｈ、平均的な顔画像に対応するＭＥＡＮ３ｄｍｅｓｈ、及び
により、第１の顔画像の３Ｄ－ｍｅｓｈ、即ち、ＯＵＴ３ｄｍｅｓｈを決定することができる。
【数4】
により、第１の顔画像の３Ｄ－ｍｅｓｈ、即ち、ＯＵＴ３ｄｍｅｓｈを決定することができる。
【0119】
ここで、上記ステップＳ５０１～Ｓ５０２は、第１の顔画像に対して顔処理を行う前に完了されてもよく、受信した新たな第１の顔画像に対する顔処理を行う度に、Ｓ５０３から実行してもよく、当然ながら、変更されたスタイルにおける第１の顔画像の仮想顔モデルのみを決定する場合、Ｓ５０６から実行してもよい。したがって、顔画像に対応する３ＤＭＭパラメータ値を予測するニューラルネットワークを得た後、予め設定されたスタイルにおける毎回取得した第１の顔画像の仮想顔モデルを迅速に決定することができる。ここで、第１の顔画像と異なるスタイルの複数の第２の顔画像との間の線形フィッティング係数を得た後、指定された第１の顔画像に対してスタイルを変更する必要がある時、異なるスタイルにおける第１の顔画像の仮想顔モデルを迅速に得ることができる。
【0120】
図８は、第１の顔画像８１に対応する仮想顔モデルを決定する過程の概略図であり、図８に示すように、予め設定されたスタイルの複数の第２の顔画像８２により平均的な顔画像８３を決定することができ、次いで、第１の顔画像８１、複数の第２の顔画像８２及び平均的な顔画像８３により、予め設定されたスタイルにおける第１の顔画像の仮想顔モデル８４を決定する。
【0121】
当業者であれば理解されるように、具体的な実施形態の上記方法において、各ステップの記載順序は、厳密な実行順序を意味するものではなく、実施過程に対するいかなる限定を構成せず、各ステップの具体的な実行順序は、その機能及び可能な内部ロジックにより決定されるべきである。
【0122】
同じ技術的思想に基づいて、本発明の実施例は、さらに、顔情報の処理方法に対応する顔情報の処理装置を提供し、本発明の実施例における課題を解決するための装置の原理は、本発明の実施例の上記処理方法と類似するため、装置の実施が方法の実施を参照してもよく、重複内容についてはその説明を省略する。
【0123】
図９に示すように、本発明の実施例にて提供される顔情報の処理装置６００は、
第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するための取得モジュール６０１と、
第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するための決定モジュール６０２と、
予め設定されたスタイルにおける第１の顔画像の高密度点群データに基づいて、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを生成するための生成モジュール６０３と、を含む。
第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するための取得モジュール６０１と、
第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するための決定モジュール６０２と、
予め設定されたスタイルにおける第１の顔画像の高密度点群データに基づいて、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを生成するための生成モジュール６０３と、を含む。
【0124】
１つの可能な実施形態において、決定モジュール６０２は、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するために用いられる場合、
第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とを抽出し、ここで、顔パラメータ値は、顔の形状を表現するパラメータ値と、顔の表情を表現するパラメータ値とを含む、ことと、
第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することと、を含む。
第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とを抽出し、ここで、顔パラメータ値は、顔の形状を表現するパラメータ値と、顔の表情を表現するパラメータ値とを含む、ことと、
第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することと、を含む。
【0125】
１つの可能な実施形態において、決定モジュール６０２は、第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値及び高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するために用いられる場合、
第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像と複数の第２の顔画像との間の線形フィッティング係数を決定することと、
予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、平均的な高密度点群データにおける対応する点の座標値と、線形フィッティング係数とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することと、を含む。
第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像と複数の第２の顔画像との間の線形フィッティング係数を決定することと、
予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、平均的な高密度点群データにおける対応する点の座標値と、線形フィッティング係数とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することと、を含む。
【0126】
１つの可能な実施形態において、決定モジュール６０２は、第１の顔画像の顔パラメータ値と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像との間の線形フィッティング係数を決定するために用いられる場合、
現在の線形フィッティング係数を取得することであって、現在の線形フィッティング係数は、予め設定された初期線形フィッティング係数を含む、ことと、
現在の線形フィッティング係数と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像の現在の顔パラメータ値を予測することと、
予測して得られた現在の顔パラメータ値と、第１の顔画像の顔パラメータ値と、予め設定された線形フィッティング係数に対応する制約範囲とに基づいて、現在の損失値を決定することと、
現在の損失値に基づいて、現在の線形フィッティング係数を調整し、調整された線形フィッティング係数を得ることと、
調整された線形フィッティング係数を現在の線形フィッティング係数として、現在の線形フィッティング係数に対する調整操作が調整カットオフ条件を満たすまで、現在の顔パラメータ値を予測するステップの実行に戻り、前記調整カットオフ条件を満たしている場合、現在の線形フィッティング係数に基づいて線形フィッティング係数を得ることと、を含む。
現在の線形フィッティング係数を取得することであって、現在の線形フィッティング係数は、予め設定された初期線形フィッティング係数を含む、ことと、
現在の線形フィッティング係数と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する顔パラメータ値とに基づいて、第１の顔画像の現在の顔パラメータ値を予測することと、
予測して得られた現在の顔パラメータ値と、第１の顔画像の顔パラメータ値と、予め設定された線形フィッティング係数に対応する制約範囲とに基づいて、現在の損失値を決定することと、
現在の損失値に基づいて、現在の線形フィッティング係数を調整し、調整された線形フィッティング係数を得ることと、
調整された線形フィッティング係数を現在の線形フィッティング係数として、現在の線形フィッティング係数に対する調整操作が調整カットオフ条件を満たすまで、現在の顔パラメータ値を予測するステップの実行に戻り、前記調整カットオフ条件を満たしている場合、現在の線形フィッティング係数に基づいて線形フィッティング係数を得ることと、を含む。
【0127】
１つの可能な実施形態において、高密度点群データは、対応する複数の高密度点の座標値を含み、決定モジュール６０２は、予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データと線形フィッティング係数とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するために用いられる場合、
予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値に基づいて、平均的な高密度点群データにおける対応する点の座標値を決定することと、
複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、平均的な高密度点群データにおける対応する点の座標値とに基づいて、複数の第２の顔画像のそれぞれに対応する座標差異値を決定することと、
複数の第２の顔画像のそれぞれに対応する座標差異値と線形フィッティング係数とに基づいて、第１の顔画像に対応する座標差異値を決定することと、
第１の顔画像に対応する座標差異値と平均的な高密度点群データにおける対応する点の座標値とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することと、を含む。
予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する各高密度点の座標値に基づいて、平均的な高密度点群データにおける対応する点の座標値を決定することと、
複数の第２の顔画像のそれぞれに対応する各高密度点の座標値と、平均的な高密度点群データにおける対応する点の座標値とに基づいて、複数の第２の顔画像のそれぞれに対応する座標差異値を決定することと、
複数の第２の顔画像のそれぞれに対応する座標差異値と線形フィッティング係数とに基づいて、第１の顔画像に対応する座標差異値を決定することと、
第１の顔画像に対応する座標差異値と平均的な高密度点群データにおける対応する点の座標値とに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定することと、を含む。
【0128】
１つの可能な実施形態において、処理装置は、さらに、更新モジュール６０４を含み、更新モジュール６０４は、
スタイル更新のトリガ操作に応答して、変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを取得し、
第１の顔画像と変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、変更されたスタイルにおける第１の顔画像の高密度点群データを決定し、
変更されたスタイルにおける第１の顔画像の高密度点群データに基づいて、変更されたスタイルにおける第１の顔画像の仮想顔モデルを生成するために用いられる。
スタイル更新のトリガ操作に応答して、変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データを取得し、
第１の顔画像と変更されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、変更されたスタイルにおける第１の顔画像の高密度点群データを決定し、
変更されたスタイルにおける第１の顔画像の高密度点群データに基づいて、変更されたスタイルにおける第１の顔画像の仮想顔モデルを生成するために用いられる。
【0129】
１つの可能な実施形態において、生成モジュール６０３は、さらに、
第１の顔画像に対応する装飾情報と肌色情報とを取得し、
装飾情報と、肌色情報と、生成された第１の顔画像の仮想顔モデルとに基づいて、第１の顔画像に対応する仮想顔画像を生成するために用いられる。
第１の顔画像に対応する装飾情報と肌色情報とを取得し、
装飾情報と、肌色情報と、生成された第１の顔画像の仮想顔モデルとに基づいて、第１の顔画像に対応する仮想顔画像を生成するために用いられる。
【0130】
１つの可能な実施形態において、顔パラメータ値は、予め訓練されたニューラルネットワークにより抽出され、ニューラルネットワークは、顔パラメータ値で予めラベル付けされたサンプル画像に基づいて訓練して得られる。
【0131】
１つの可能な実施形態において、処理装置は、さらに、訓練モジュール６０５を含み、訓練モジュール６０５は、
複数のサンプル画像と各サンプル画像に対応するラベル顔パラメータ値とを含むサンプル画像セットを取得することと、
複数のサンプル画像を訓練対象のニューラルネットワークに入力し、各サンプル画像に対応する予測顔パラメータ値を得ることと、
各サンプル画像に対応する予測顔パラメータ値とラベル顔パラメータ値とに基づいて、訓練対象のニューラルネットワークのネットワークパラメータ値を調整し、訓練済みのニューラルネットワークを得ることと、によりニューラルネットワークを予め訓練するために用いられる。
複数のサンプル画像と各サンプル画像に対応するラベル顔パラメータ値とを含むサンプル画像セットを取得することと、
複数のサンプル画像を訓練対象のニューラルネットワークに入力し、各サンプル画像に対応する予測顔パラメータ値を得ることと、
各サンプル画像に対応する予測顔パラメータ値とラベル顔パラメータ値とに基づいて、訓練対象のニューラルネットワークのネットワークパラメータ値を調整し、訓練済みのニューラルネットワークを得ることと、によりニューラルネットワークを予め訓練するために用いられる。
【0132】
装置における各モジュールの処理のフロー、及び各モジュールの間のインタラクションのフローの説明は、上記方法の実施例における関連する説明を参照すればよく、ここではその説明を省略する。
【0133】
図１における顔情報の処理方法に対応して、本発明の実施例は、さらに、電子デバイス７００を提供し、図１０に示すように、当該電子デバイス７００は、プロセッサ７１と、メモリ７２と、バス７３とを含み、メモリ７２は、実行命令を記憶するために用いられ、内部メモリ７２１と外部メモリ７２２とを含み、ここでの内部メモリ７２１は、内臓メモリとも呼ばれ、プロセッサ７１における計算データ、及びハードディスクなどの外部メモリ７２２と交換されるデータを一時的に格納するために用いられ、プロセッサ７１は、内部メモリ７２１により外部メモリ７２２とデータのやり取りを行い、電子デバイス７００が動作する時、プロセッサ７１とメモリ７２はバス７３を介して通信し、プロセッサ７１に、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとを取得するステップと、第１の顔画像と予め設定されたスタイルの複数の第２の顔画像のそれぞれに対応する高密度点群データとに基づいて、予め設定されたスタイルにおける第１の顔画像の高密度点群データを決定するステップと、予め設定されたスタイルにおける第１の顔画像の高密度点群データに基づいて、予め設定されたスタイルにおける第１の顔画像の仮想顔モデルを生成するステップと、を実行させる。
【0134】
本発明の実施例は、さらに、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体に記憶されているコンピュータプログラムがプロセッサにより実行されると、上記方法の実施例に記載の顔情報の処理方法のステップを実行する。ここで、当該記憶媒体は、揮発性又は不揮発性のコンピュータ可読記憶媒体であってもよい。
【0135】
本発明の実施例は、さらに、プログラムコードを有するコンピュータプログラム製品を提供し、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の顔情報の処理方法のステップを実行するために用いられてもよく、具体的には上記方法の実施例を参照すればよく、ここではその説明を省略する。
【0136】
ここで、上記コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア、又はそれらの組み合わせの方式により実現され得る。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的に、コンピュータ記憶媒体として具現化され、別の選択可能な実施例において、コンピュータプログラム製品は、具体的に、ソフトウェア製品、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などとして具現化される。
【0137】
当業者であれば、記述の便宜及び簡潔のために、上述したシステム及び装置の具体的な動作過程は、前述方法の実施例における対応する過程を参照すればよいことを明確に了解することができ、ここではその説明を省略する。本発明により提供されるいくつかの実施例において、開示されているシステム、装置、及び方法は、他の方式で実現されてもよいことが理解されるべきである。上記で記述した装置の実施例は、単に例示的なものであり、例えば、前記ユニットの分割は、単に論理的機能の分割であり、実際に実現される際、別の分割方式もあり得、また、例えば、複数のユニット又はコンポーネントが別のシステムに組み合わせられてもよく、又は統合されてもよく、又は、いくつかの特徴が無視されてもよく、又は、実行されなくてもよい。他方、表示又は討論された相互間の結合又は直接結合又は通信接続は、電気的、機械的、又は他の形態であり得るいくつかの通信インタフェース、装置又はユニットを介した間接的な結合又は通信接続であってもよい。
【0138】
前記分離部材として説明されたユニットは、物理的に分離されていてもよく、又は物理的に分離されていなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもよく、又は物理的なユニットでなくてもよく、即ち、一箇所に位置していてもよく、又は複数のネットワークユニットに分散されていてもよい。実際の需要に応じて、その一部又は全部のユニットを選択して本実施例の手段の目的を実現してもよい。
【0139】
また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されていてもよく、各ユニットが物理的に別々に存在していてもよく、２つ以上のユニットが１つのユニットに統合されていてもよい。
【0140】
前記機能は、ソフトウェア機能ユニットの形態で実現され、独立した製品として販売又は使用される時、プロセッサにより実行可能な１つの不揮発性のコンピュータ可読記憶媒体に記憶されていてもよい。このような理解に基づいて、本発明の技術的解決手段は本質的に、又は、従来技術に貢献する部分、又は、当該技術的解決手段の一部はソフトウェア製品の形態で具体化されてもよく、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶されており、本発明の各実施例に記載の方法の全て又は一部のステップを、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワークデバイスなどであってもよい）に実行させるための複数の命令を含む。また、前述記憶媒体は、ＵＳＢメモリ、ポータブルハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、又は光ディスクなどの各種のプログラムコードを記憶できる媒体を含む。
【0141】
最後に説明すべきことは、上述の実施例は、本発明の具体的な実施形態に過ぎず、本発明の技術的解決手段を説明するために用いられ、限定するものではなく、本発明の保護範囲は、これに限定されるものではなく、前述実施例を参照して本発明を詳細に説明したが、当業者であれば理解されるように、当業者であれば、本発明に開示された技術範囲内において、依然として、前述実施例に記載された技術的解決手段を修正したり、容易に変化を想到したり、又は、その技術的特徴の一部を均等に置換したりすることができ、これらの修正、変化又は置換は、対応する技術的解決手段の本質を本発明の実施例の技術的解決手段の精神及び範囲から逸脱させるものではなく、いずれも本発明の保護範囲に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に準拠するものとする。
【0142】
本特許出願は、２０２０年１１月２５日に提出された、出願番号２０２０１１３３９５９５．５、発明の名称「顔情報の処理方法、装置、電子デバイス及び記憶媒体」の中国特許出願の優先権を主張し、当該出願が参照により本明細書に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】