特許7191213顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体
(51)【国際特許分類】
G06T 17/00 20060101AFI20221209BHJP
G06T 19/20 20110101ALI20221209BHJP
【ＦＩ】
G06T17/00
G06T19/20
【請求項の数】
12
(21)【出願番号】P 2021516410
(86)(22)【出願日】2020-02-21
(65)【公表番号】
(43)【公表日】2022-01-04
(86)【国際出願番号】 CN2020076134
(87)【国際公開番号】W WO2020228389
(87)【国際公開日】2020-11-19
【審査請求日】2021-03-22
(31)【優先権主張番号】201910403884.8
(32)【優先日】2019-05-15
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520291939
【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １１０１－１１１７，１１ｔｈ Ｆｌｏｏｒ Ｎｏ．５８ Ｎｏｒｔｈｗｅｓｔ ４ｔｈ Ｒｉｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】徐 ▲勝▼▲偉▼
(72)【発明者】
【氏名】王 ▲權▼
(72)【発明者】
【氏名】朴 ▲鏡▼潭
(72)【発明者】
【氏名】▲錢▼ 晨
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１４－１９９５３６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １７／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップと、
前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するステップと、を含み、
所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するステップであって、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含むステップを更に含み、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、
前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップを含むことを特徴とする顔モデルの生成方法。
【請求項2】
前記所定数量の顔画像サンプルと前記基準３次元顔モデルにより前記参照モデルデータベースを決定するステップは、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するステップであって、前記顔画像サンプル集合は、少なくとも１つの局所的顔領域を表す多種の画像形式を含むステップと、
各前記顔画像サンプルについて、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するステップであって、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含むステップと、
各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するステップと、を含み、
前記参照モデルデータベースは、各前記局所的顔領域の各種の前記画像形式を表す前記参照キーポイント特徴と前記参照骨格パラメータとの対応関係を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する前記参照顔モデルを生成するステップは、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するステップであって、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であるステップと、
前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するステップであって、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含むステップと、
各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップは、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するステップと、
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するステップと、を含むことを特徴とする請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表す前記キーポイント特徴を決定するステップは、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するステップであって、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであるステップ、及び／又は、
当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするステップを含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップと、
前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するステップと、を含むことを特徴とする請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップは、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、
類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するステップと、を含むことを特徴とする請求項６に記載の方法。
【請求項8】
前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップは、前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するステップと、
前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、を含むことを特徴とする請求項７に記載の方法。
【請求項9】
前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の１つの顔画像サンプルの対応の参照キーポイント特徴との類似度を決定するステップは、前記局所的顔領域中の各前記サブ領域について、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するステップと、
各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するステップと、を含むことを特徴とする請求項７又は８に記載の方法。
【請求項10】
現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュールと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュールと、
前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュールと、を含み、
データベース作成モジュールを更に含み、
前記データベース作成モジュールは、所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するために用いられ、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含み、
前記パラメータマッチングモジュールは、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するために用いられることを特徴とする顔モデルの生成装置。
【請求項11】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるときに上記請求項１～９のいずれか一項に記載の方法が実現されるコンピュータ可読記憶媒体。
【請求項12】
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサ上で作動可能なコンピュータプログラムとを含み電子機器であって、前記プロセッサが前記プログラムを実行するときに上記請求項１～９のいずれか一項に記載の方法を実現する電子機器。【発明の詳細な説明】
【技術分野】
【0001】
本願は、３次元モデリング技術に関し、特に、顔モデルの生成方法、装置及び電子機器に関する。
【背景技術】
【0002】
携帯端末やコンピュータ技術が発展するにつれて、ゲームアプリ、バーチャルソーシャルアプリ等のユーザが徐々に増えている。ゲームアプリやバーチャルソーシャルアプリにおいて、仮想キャラクターの個別化設計が求められており、それによってフェースカスタマイズに対する需要が大幅に高まっている。フェースカスタマイズとは、仮想キャラクターの３次元顔モデルを生成することである。フェースカスタマイズの効率及び正確率をどのように向上させるかは当業者に研究されている技術となっている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本願の実施例は、顔モデルの生成方法、装置及び電子機器を提供する。
【課題を解決するための手段】
【0004】
本願の実施例の第１態様によれば、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップと、前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するステップと、を含むことを特徴とする顔モデルの生成方法を提供する。
【0005】
本願で提供されたいずれか１つの方法の実施例によれば、前記方法は、所定数量の顔画像サンプルと前記基準３次元顔モデルにより、参照モデルデータベースを決定するステップであって、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含むステップを更に含む。それに対応するように、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップを含む。
【0006】
本願で提供されたいずれか１つの方法の実施例によれば、前記所定数量の顔画像サンプルと前記基準３次元顔モデルにより前記参照モデルデータベースを決定するステップは、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するステップであって、前記顔画像サンプル集合は、少なくとも１つの局所的顔領域を表す多種の画像形式を含むステップと、各前記顔画像サンプルについて、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するステップであって、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含むステップと、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するステップと、を含む。ここで、前記参照モデルデータベースは各前記局所的顔領域の各種の前記画像形式を表す前記参照キーポイント特徴と前記参照骨格パラメータとの対応関係を含む。
【0007】
本願で提供されたいずれか１つの方法の実施例によれば、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する前記参照顔モデルを生成するステップは、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するステップであって、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であるステップと、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するステップであって、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含むステップと、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するステップと、を含む。
【0008】
本願で提供されたいずれか１つの方法の実施例によれば、前記現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップは、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するステップと、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するステップと、を含む。
【0009】
本願で提供されたいずれか１つの方法の実施例によれば、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表す前記キーポイント特徴を決定するステップは、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定してステップであって、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであるステップ、及び／又は、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするステップを含む。
【0010】
本願で提供されたいずれか１つの方法の実施例によれば、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップと、前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するステップと、を含む。
【0011】
本願で提供されたいずれか１つの方法の実施例によれば、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップは、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するステップと、を含む。
【0012】
本願で提供されたいずれか１つの方法の実施例によれば、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップは、前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するステップと、前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、を含む。
【0013】
本願で提供されたいずれか１つの方法の実施例によれば、前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の１つの顔画像サンプルの対応の参照キーポイント特徴との類似度を決定するステップは、前記局所的顔領域中の各前記サブ領域について、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴の類似度を決定して、前記サブ領域に対応する局所的類似度を取得するステップと、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するステップと、を含む。
【0014】
本願の実施例の第２態様によれば、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュールと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュールと、前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュールと、を含む顔モデルの生成装置を提供する。
【0015】
本願で提供されたいずれか１つの装置の実施例によれば、前記装置は、データベース作成モジュールを更に含む。前記データベース作成モジュールは、所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するために用いられ、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。このような場合に、前記パラメータマッチングモジュールは、具体的には、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するために用いられる。
【0016】
本願で提供されたいずれか１つの装置の実施例によれば、前記データベース作成モジュールは、サンプル取得サブモジュールと、参照モデル生成サブモジュールと、データベース決定サブモジュールとを含む。前記サンプル取得サブモジュールは、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するために用いられ、前記顔画像サンプル集合は、少なくとも１種の局所的顔領域を表す多種の画像形式を含み、前記参照モデル生成サブモジュールは、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するために用いられ、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含み、前記データベース決定サブモジュールは、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するために用いられる。ここで、前記参照モデルデータベースは各前記局所的顔領域の各種の前記画像形式を表す前記キーポイント特徴と前記参照骨格パラメータとの対応関係を含む。
【0017】
本願で提供されたいずれか１つの装置の実施例によれば、前記参照モデル生成サブモジュールは、画像前処理ユニットと、キーポイント検出ユニットと、参照モデル生成ユニットとを含む。前記画像前処理ユニットは、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するために用いられ、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であり、前記キーポイント検出ユニットは、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するために用いられ、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含み、前記参照モデル生成ユニットは、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するために用いられる。
【0018】
本願で提供されたいずれか１つの装置の実施例によれば、前記キーポイント検出モジュールは、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するためのキーポイント位置決定サブモジュールと、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するためのキーポイント特徴決定サブモジュールと、を含む。
【0019】
本願で提供されたいずれか１つの装置の実施例によれば、前記キーポイント特徴決定サブモジュールは、座標組合せ決定ユニット及び／又は特徴曲線決定ユニットを含む。前記座標組合せ決定ユニットは、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するために用いられ、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであり、前記特徴曲線決定ユニットは、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするために用いられる。
【0020】
本願で提供されたいずれか１つの装置の実施例によれば、前記パラメータマッチングモジュールは、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するための特徴マッチングサブモジュールと、前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するための骨格パラメータ決定サブモジュールと、を含む。
【0021】
本願で提供されたいずれか１つの装置の実施例によれば、前記特徴マッチングサブモジュールは、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定ユニットと、類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するための目標特徴決定ユニットと、を含む。
【0022】
本願で提供されたいずれか１つの装置の実施例によれば、前記類似度決定ユニットは、前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するための曲線フィッティングサブユニットと、前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定サブユニットと、を含む。
【0023】
本願で提供されたいずれか１つの装置の実施例によれば、前記類似度決定ユニットは、１つの前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域中の各前記サブ領域について、前記参照モデルデータベース中の各顔画像サンプルに対して、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するための局所的類似度決定サブユニットと、前記参照モデルデータベース中の各顔画像サンプルについて、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するための全体的類似度決定サブユニットと、を含む。
【0024】
本願の実施例の第３態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるときに上記第１態様のいずれか一項に記載の方法が実現されるコンピュータ可読記憶媒体を提供する。
【0025】
本願の実施例の第４態様によれば、メモリと、プロセッサと、メモリに記憶されてプロセッサ上で作動可能なコンピュータプログラムとを含む電子機器であって、前記プロセッサが前記プログラムを実行するときに上記第１態様のいずれか一項に記載の方法を実現することを特徴とする電子機器を提供する。
【発明の効果】
【0026】
本願の実施例で提供された顔モデルの生成方法によれば、コンピュータシステムは、局所的顔領域を表すキーポイント特徴に基づいて顔画像に対応する目標骨格パラメータを自動的に取得し、上記目標骨格パラメータに基づいて基準３次元顔モデルの骨格パラメータを自動的に調整することで、前記現在顔画像に適合する仮想３次元顔モデルを自動的に生成できる。モデル生成全過程で、ユーザは自ら主観的に判断することにより、複雑な骨格パラメータを絶え間なく手動で調整してみることがなく、ユーザの操作難度が低くなった。
【0027】
いくつかの実施例では、コンピュータシステムは参照モデルデータベースを事前に設置することで、参照モデルデータベースから顔画像に対応する目標骨格パラメータを高速に見出すことができる。顔局所領域特徴の規則性のため、参照モデルデータベースのデータ量が大きくなく、それによってコンピュータシステムは現在顔画像のキーポイント特徴により上記参照モデルデータベースからマッチング可能な目標骨格パラメータを高速に見出すことができ、更に該目標骨格パラメータに基づいて効率的且つ比較的正確に現在顔画像とマッチングする仮想３次元顔モデルを生成することができる。
【0028】
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本願を制限できないことを理解すべきである。
【図面の簡単な説明】
【0029】
ここの図面は明細書に組み込まれて本明細書の一部を構成し、本願に合致する実施例を示し、明細書と共に本願の原理を解釈するために用いられる。
【0030】
【図1】本願の例示的な一実施例に係る顔モデルの生成方法のフローチャートである。
【図2】本願の例示的な一実施例に係る眉の形の模式図である。
【図3-1】
本願の例示的な一実施例に係る基準３次元顔モデルの模式図である。
【図3-2】
本願の別の例示的な実施例に係る顔モデルの生成の応用シナリオの模式図
である。
【図4】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図5】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図6】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図7】
本願の例示的な一実施例に係るキーポイントの座標位置の模式図である。
【図8】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図9-1】
本願の例示的な一実施例に係る左眉領域のキーポイント特徴の模式図であ
る。
【図9-2】
本願の別の例示的な実施例に係る左眉領域のキーポイント特徴の模式図で
ある。
【図9-3】
本願の例示的な一実施例に係る左目のキーポイント特徴の模式図である。
【図10】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図11】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図12】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図13】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図14】本願の例示的な一実施例に係る顔モデルの生成装置のブロック図である。
【図15】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図16】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図17】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図18】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図19】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図20】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図21】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図22】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図23】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図24】本願の別の例示的な実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【0031】
ここで、例示的な実施例を詳述し、その例を図面に示す。以下、図面に関連して説明する時に、特に断らない限り、異なる図面における同じ数字が同じな要素又は類似する要素を表す。以下の例示的な実施例に記載の実施形態は本願と一致する全ての実施形態を表すものではない。逆に、それらは添付の特許請求の範囲に詳述された本願のいくつかの態様と一致する装置と方法の例に過ぎない。
【0032】
本願において使用された用語は、単に特定の実施例を説明するためのものにすぎず、本願を限定するものではない。本願および添付の特許請求の範囲において使用された単数形「一種」、「前記」および「該」は、文脈に特に示さない限り、複数形も含むことを意図する。なお、本明細書において使用された用語「および／または」は、関連して列挙された項目の一つ以上の任意のまたは全ての可能な組み合わせを意味し、かつこれらの組み合わせを含むことを理解すべきである。
【0033】
なお、本願において用語第一、第二、第三などを使用して各種の情報を説明することがあるが、これらの情報はこれらの用語に限定されないことを理解されたい。これらの用語は同一タイプの情報を互いに区別するためのものにすぎない。例えば、本願の範囲から逸脱することなく、第一情報は第二情報と呼ばれてもよく、同様に、第二情報は第一情報と呼ばれてもよい。文脈によって、ここで使用された字句「場合」は、「時」または「にあたり」または「決定に応じて」という意味に解釈され得る。
【0034】
ゲーム業界と仮想現実に推進されていることで、デジタル化仮想キャラクターは広く応用されている。ゲームの応用シナリオを例とすると、「仮想キャラクター」はすでに単一な仮想キャラクターからプレーヤーが自ら設計可能なキャラクターに変化し、このように個別的なキャラクターを生成することが可能になった。
【0035】
本願の実施例では、仮想骨格制御手法に基づいて仮想キャラクターの３次元顔モデルを生成する方法を提供する。この方法に係る実行主体はコンピュータシステムを含んでもよいし、顔画像を取得するカメラを含んでもよい。
【0036】
上記コンピュータシステムは、サーバ、サーバークラスター又はクラウドプラットフォームに設置されてもよく、パーソナルコンピュータ、携帯端末等の電子機器に設置されてもよい。上記携帯端末は、具体的には、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、携帯情報端末）、タブレット、ゲーム機等の電子機器であってもよい。具体的な実現過程で、カメラとコンピュータシステムはそれぞれ独立したものでありながら、本願の実施例で提供された顔モデルの生成方法を共同で実現するように相互に関連している。
【0037】
図１に例示的な一実施例に係る顔モデルの生成方法のフローチャートを示し、この方法は、以下のステップを含んでよい。
【0038】
ステップ１１０、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得する。各前記キーポイント特徴は前記現在顔画像における１つ又は複数の局所的顔領域を表してもよい。
【0039】
ゲームシナリオを例とすると、ゲームアプリの画面にユーザ操作インタフェースがあってもよい。そのようにして、ゲームプレーヤーがこのユーザ操作インタフェースによって１枚の顔画像を入力することで、コンピュータシステムのバックグラウンドプログラムによりこの顔画像に基づいて対応する仮想３次元顔モデルが生成されることは期待する。言い換えると、コンピュータシステムは、フェースカスタマイズ機能によってゲームプレーヤーの入力した顔画像に基づいて仮想３次元顔モデルを生成して、ゲームプレーヤーのゲームキャラクターに対する個別化要求を満たすことができる。
【0040】
上記現在顔画像はゲームプレーヤーが撮影したものであってもよいし、ゲームプレーヤーが写真データベースから選択したものであってもよい。上記現在顔画像は実世界中の人物を撮影した画像であってもよいし、手動又は作図ソフトウェアで設計された仮想人物画像であってもよい。本願の実施例は現在顔画像の取得手法及び画像中の人物の実世界での実在性を限定するものではない。
【0041】
それに対応するように、コンピュータシステムは、ユーザの入力した現在顔画像を受信した後、先に現在顔画像に対して規範化処理を行って特定頭部姿勢と特定画像サイズの顔領域画像を取得するようにしてよい。例えば、事前に訓練されたニューラルネットワークを用いて顔検出、顔姿勢補正、画像縮小拡大等の処理を行って、特定頭部姿勢に合致する特定画像サイズの顔画像を取得する。
【0042】
続いて、コンピュータシステムは、当業者に知られている任意の顔キーポイント検出方法を利用して上記前処理された顔領域画像に対してキーポイント検出を行い、現在顔画像のキーポイント特徴を取得することができる。
【0043】
本願では、現在顔画像のキーポイント特徴は、キーポイントの位置座標情報を含んでもよく、複数のキーポイントの位置座標情報に基づいてフィッティングを介して得られる、局所的顔領域を表す特徴曲線、例えばまぶた線、唇線等の輪郭線を含んでもよい。
【0044】
ステップ１２０、前記キーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得する。
【0045】
一例によれば、ステップ１２０は具体的には、前記キーポイント特徴により、参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するようになってよい。ここで、参照モデルデータベースは所定数量の顔画像サンプルから決定される参照キーポイント特徴及び前記参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。
【0046】
本願では、面部の五官が高い規則性を有することに鑑みて、各部位を限りのある画像形式で表してよい。例えば、限りのあるいくつかの目の形によって大部分の人の目の特徴を表すことができ、限りのある眉形式画像で大部分の人の眉の特徴を表すことができる。図２に示すように、１２種の眉の形で大部分の人の顔の眉特徴を表すことができる。
【0047】
それに基づければ、本願の実施例では、コンピュータシステムは事前に所定数量の顔画像サンプルにより参照モデルデータベースを決定してよい。ここで、参照モデルデータベースには顔画像サンプルから決定される参照キーポイント特徴及び参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含み、前記参照骨格パラメータは前記顔画像サンプルの参照顔モデルを生成（ｒｅｎｄｅｒ）することに利用可能である。
【0048】
コンピュータシステムは、現在顔画像のキーポイント特徴を取得した後、前記キーポイント特徴に最も似ている参照キーポイント特徴を、目標参照キーポイント特徴として検出して、続いて、参照モデルデータベースから上記目標参照キーポイント特徴に対応する参照骨格パラメータを、前記現在顔画像に適合する目標骨格パラメータとして取得することができる。
【0049】
本願では参照モデルデータベースのデータ構成が限定されないことに説明すべきである。例えば、参照モデルデータベースは、顔画像サンプルの参照顔モデルの生成のための参照骨格パラメータ、及び前記顔画像サンプルから取得される参照キーポイント特徴と前記参照骨格パラメータの対応関係を含んでよい。
【0050】
現在顔画像のキーポイント特徴が決定された後、特定局所的顔領域を表すキーポイント特徴に基づいて参照モデルデータベースとマッチングして、その中から該キーポイント特徴に対応する参照骨格パラメータを取得して、現在顔画像中のこの局所的顔領域の目標骨格パラメータとするようにしてよい。上記手法によれば、現在顔画像中の各局所的顔領域の目標骨格パラメータ、例えば目部、口部、眉、鼻、顔輪郭等の領域の目標骨格パラメータを取得して、現在顔画像に適合する１セットの目標骨格パラメータを取得することができる。
【0051】
ステップ１３０、前記目標骨格パラメータと基準３次元顔モデルに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成する。
【0052】
現在顔画像に対応する目標骨格パラメータが決定された後、コンピュータシステムは上記目標骨格パラメータに基づいて基準３次元顔モデル中の骨格のパラメータを調整して、現在顔画像の顔特徴を反映する仮想３次元顔モデルを生成することができる。
【0053】
この仮想３次元顔モデルは真実の人物の顔特徴に近似する仮想３次元顔モデルであってもよく、人物の表情や態度を反映するアニメ化仮想３次元顔モデルであってもよい。本願の実施例は最後に出力される３次元顔モデルが必ず実世界の人物の顔特徴に近似するものでなければならないように限定するものではない。
【0054】
一例として、図３－１に例示的な一実施例に係る基準３次元顔モデルの模式図を示し、この基準３次元顔モデルはアニメ化仮想３次元顔モデルである。それに対応するように、図３－２に上記基準顔３次元モデルの骨格模式図を示す。モデル全体は所定数量の骨格、例えば６１本の骨格で構成される。図３－２における２点ずつの連結線は１本の骨格を表す。各部位は１本又は複数本の骨格に関連し、例えば、鼻部位は３本の骨格に関連し、この３本の骨格のパラメータを調整することによって様々の３次元鼻モデルを生成できる。
【0055】
以上から分かるように、本願の実施例では、コンピュータシステムは、局所的顔領域を表すキーポイント特徴に基づいて顔画像に対応する目標骨格パラメータを自動的に取得し、上記目標骨格パラメータに基づいて基準３次元顔モデルの骨格パラメータを自動的に調整することで、前記現在顔画像に適合する仮想３次元顔モデルを自動的に生成できる。モデル生成の全過程では、ユーザが自ら主観的に判断することにより複雑な骨格パラメータを絶え間なく手動で調整してみる必要はなく、ユーザにとって操作難度が低くなった。
【0056】
また、いくつかの実施例では、コンピュータシステムは参照モデルデータベースを事前に設置することで、参照モデルデータベースから顔画像に対応する目標骨格パラメータを高速に見出すことができる。ここで、顔局所領域特徴の規則性のため、参照モデルデータベースのデータ量が大きくなく、それによってコンピュータシステムは現在顔画像のキーポイント特徴により参照モデルデータベースからマッチング可能な目標骨格パラメータを高速に見出すことができ、更に該目標骨格パラメータに基づいて効率的且つ比較的正確に現在顔画像とマッチングする仮想３次元顔モデルを生成することができ、優れた一般性を有する。
【0057】
システムにおいて参照モデルデータベースが作成されていない場合に、例えば、システムの初回作動又はシステムの初期化の時に、上記方法は参照モデルデータベースを作成するステップを更に含む。
【0058】
図４に示すように、上記ステップ１１０の前に、前記顔モデルの生成方法は、所定数量の顔画像サンプルと基準３次元顔モデルにより参照モデルデータベースを決定するステップ１００を更に含んでもよい。前記参照モデルデータベースは所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。更に、ステップ１２０は、前記少なくとも１つのキーポイント特徴により、上記参照モデルデータベースから現在顔画像とマッチングする目標骨格パラメータを取得するステップを含んでよい。
【0059】
本願の実施例では、所定数量の顔画像サンプルを取得し、手動の注釈付きを介して上記顔画像サンプル中の各部位の画像形式を得るようにしてよい。続いて、上記注釈付きの顔画像サンプルと基準３次元顔モデルとに基づいて、骨格制御手法を介して対応する仮想３次元顔モデルを生成する。本願の実施例では、顔画像サンプルと基準３次元顔モデルにより生成した仮想３次元顔モデルを参照顔モデルと称する。
【0060】
一例として、２０１個の顔画像サンプルを有すると仮定すれば、コンピュータシステムは対応するように２０１個の参照顔モデルを生成し、この２０１個の参照顔モデルの関連データに基づいて上記参照モデルデータベースを生成する。
【0061】
参照モデルデータベースを作成する実行主体とその後で参照モデルデータベースを利用して顔モデルを生成する実行主体は、必ず同一のコンピュータシステムでなければならいというわけではないことを説明する必要がある。例えば、参照モデルデータベースを作成する実行主体は、例えばクラウドサーバのようなクラウドコンピュータシステムであってよく、上記ステップ１１０～１３０の実行主体は端末装置となるコンピュータシステムであってよい。現在の端末装置の計算能力が増加しており、そして本願の実施例で大きい数量の顔画像サンプルデータを必要としないことに鑑みて、本願の別の実施例では、参照モデルデータベースの決定過程と後続の顔モデル生成過程はいずれも端末装置のコンピュータシステムによって実行されてもよい。
【0062】
図５に示すように、上記ステップ１００には、以下のステップを含んでよい。
【0063】
ステップ１０１、所定数量の顔画像サンプルを含む顔画像サンプル集合を取得する。前記顔画像サンプル集合は少なくとも１つの局所的顔領域を表す多種の画像形式を含む。
【0064】
本願の実施例では、顔画像サンプル集合には所定数量の顔画像サンプルを含んでよい。ここで、対応的に生成される参照モデルデータベースにはできる限り全面的な参照データ、例えば参照キーポイント特徴、参照骨格パラメータ等を含むことを確保するために、上記所定数量の顔画像サンプルには例えば額部、目部、鼻部、唇部等の各顔部位の様々の画像形式をできる限り全面的に含む。
【0065】
顔画像サンプル集合に含まれる顔画像サンプルの数量は以下の条件を満たしてよい。ランダムに取得された１枚の２次元顔画像Ａに対して、上記顔画像サンプル集合に含まれる各顔部位の画像形式から、上記画像Ａにおける別々の局所的顔領域に対応する画像形式を見出すことができる。又は、上記所定数量の顔画像サンプルから別々の局所的顔領域、例えば五官部位の画像形式を選択的に抽出して組み合わせることで、上記画像Ａと類似する顔画像を大体形成できるという。
【0066】
本願の実施例では、実世界に存在する一般の五官の形に応じて所定数量の顔画像サンプルを収集して顔画像サンプル集合を取得するようにしてよい。
【0067】
本願の一実施例では、実世界での異なる人の眉、目、鼻、口、顔輪郭の形に応じて、２０１枚の顔画像サンプルを収集して上記顔画像サンプル集合の決定に用いた。この２０１個の顔画像サンプルは各局所的顔領域の多種の画像形式を含んでよい。ここで、局所的顔領域とは２次元顔画像から認識された眉領域、目領域、鼻領域、顔輪郭等の領域を指す。
【0068】
例えば、この２０１個の顔画像サンプルには上記図２に示す眉領域に対応する１２種の眉の形を含む。これによって類推すると、この２０１個の顔画像サンプルは口部、目部、鼻、顔輪郭等の局所的顔領域のそれぞれに対応する多種の画像形式を含む。
【0069】
ステップ１０２、基準３次元顔モデルに基づいて各顔画像サンプルに対応する基準３次元顔モデルを生成する。
【0070】
本願の実施例では、各顔画像サンプルに対して生成した仮想３次元顔モデルを参照３次元顔モデルと称する。それぞれの基準３次元顔モデルはそれぞれ１セットの骨格制御パラメータに対応する。
【0071】
どのように基準３次元顔モデルと顔画像サンプルに基づいて参照３次元顔モデルを生成するかについて、図６を参照してよく、上記ステップ１０２には、以下のステップを含んでよい。
【0072】
ステップ１０２１、顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得する。基準顔画像は基準３次元顔モデルに対応する２次元顔画像である。
【0073】
本願では、参照モデルデータベースを作成する工程で、それぞれの顔画像サンプルに対して顔領域検出、頭部姿勢補正、画像縮小拡大等の規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するようにしてよい。この前処理顔画像は、基準顔画像と比べると、同一のカメラが同じ画像取得パラメータで、同じ撮影距離での同じ頭部姿勢の２人をそれぞれ撮影して取得した顔画像と理解してよい。
【0074】
基準顔画像は、基準３次元顔モデルの特定画像座標系での投影画像と理解してよい。言い換えると、基準３次元顔モデルは、コンピュータシステムが基準顔画像に対してキーポイント検出を行った後、取得されたキーポイント集合、例えば２４０個のキーポイントの位置座標、及び所定数量の骨格、例えば６１本の骨格により生成した仮想３次元顔モデルである。
【0075】
ステップ１０２２、前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得する。前記参照キーポイント集合は、前記顔画像サンプルにおける各局所的顔領域を表す参照キーポイント組合せを含む。
【0076】
前処理顔画像が取得された後、当業者に知られている任意のキーポイント検出方法によって、この前処理顔画像から６８個のキーポイント、１０６個のキーポイント又は２４０個のキーポイントのような所定数量のキーポイントを抽出してよい。抽出されたキーポイントの数量が多いほど、局所的顔領域を詳細に表すことができる。
【0077】
顔領域画像のキーポイント検出の過程で、例えばエッジ検出ｒｏｂｅｒｔアルゴリズム、ソーベルｓｏｂｅｌアルゴリズム等の特定アルゴリズムを用いてもよく、例えば動的輪郭ｓｎａｋｅモデル等の関連モデルによってキーポイント検出を行ってもよい。
【0078】
本願の別の実施例では、顔キーポイント検出のためのニューラルネットワークによってキーポイントの位置を決定してもよい。更にサードパーティアプリによって顔キーポイント検出を行ってもよく、図７に示すように、例えばサードパーティツールキットＤｌｉｂによって顔キーポイントの位置を決定し、６８個の顔キーポイントを検出した。更に、２４０顔キーポイント位置決定技術を用いて２４０個のキーポイントの位置座標を決定して、現在顔画像及び／又は顔画像サンプルにおける眉、目、鼻、唇、顔輪郭、面部表情等の重要部位の細部特徴の位置決定を実現するようにしてもよい。
【0079】
参照キーポイント組合せについては、本願の別の実施例では、予め設定された規則で各参照キーポイントの番号を決定し、且つ各局所的顔領域を表す参照キーポイント組合せを決定するようにしてよい。例えば、図７に示す例において、顔画像サンプルから６８個のキーポイントが抽出され、１８～２２番目の参照キーポイントで構成された参照キーポイント組合せが左眉領域を表す。それによって類推して、異なるキーポイント組合せで異なる局所的顔領域を表す。
【0080】
本願では、各キーポイントの情報はそれぞれ番号と座標位置を含む。異なる顔画像サンプルにおいて、同一の局所的顔領域を表すキーポイントは番号、数量が同じであるが、座標位置が異なる。上記の例に示すように、基準顔画像から抽出された１８～２２番目のキーポイント組合せが基準顔画像における左眉領域も表すが、各キーポイントの座標位置が図７に示す例における１８～２２番目のキーポイントの座標位置と異なる。
【0081】
キーポイントの座標位置とは、図７に示すＸＯＹ座標系のような予め設定された画像座標系でのキーポイントの位置を指すことを説明する必要がある。前処理顔画像のサイズが同じなので、各前処理顔画像については、後続の距離計算の便宜上、異なる前処理顔画像中のキーポイントの位置座標を同じ画像座標系で表してもよい。
【0082】
ステップ１０２３、各前記参照キーポイント組合せに基づいて基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する参照顔モデルを生成する。そのように、顔画像サンプルに対応する参照顔モデルは顔画像サンプルに対応する参照骨格パラメータを含む。言い換えると、参照骨格パラメータは顔画像サンプルの参照顔モデルの生成（ｒｅｎｄｅｒ）に利用可能である。
【0083】
本願の実施例では、システムにおいて、キーポイント組合せと骨格とのマッピング関係が事前に設定されている。該マッピング関係は、対応する３次元顔モデル中のキーポイント組合せで表される局所的顔領域を生成する時に、どの骨格のパラメータを調整する必要があるかを示すことができる。
【0084】
一例として、前記基準３次元顔モデルにおける鼻領域がＧ１～Ｇ３で示す３本の骨格に関連すると仮定すれば、上記３本の骨格のパラメータを調整することによって、生成された鼻の３次元モデルが顔画像サンプル中の鼻の形状に近似するようになったと判断されると、鼻部位の３次元モデルの生成が完了したとすることができる。それに対応するように、現在の３本の骨格の骨格制御パラメータは前記顔画像サンプル中の鼻の画像形式に対応する参照骨格パラメータである。
【0085】
それによって類推して、各局所的顔領域の骨格パラメータを調整することによって、生成した仮想３次元顔モデルがユーザの期待に応えられる時に、参照顔モデルの生成が完了する。また、現在顔画像サンプル中の各参照キーポイント組合せに対応する参照骨格パラメータ、即ち前記顔画像サンプル中の各局所的顔領域の画像形式に対応する参照骨格パラメータを決定して、現在顔画像サンプルに対応する参照顔モデルデータを取得することができる。この参照顔モデルデータは各局所的顔領域の参照キーポイント組合せと参照骨格パラメータとの対応関係を含んでよい。
【0086】
本願の実施例では、１つの顔画像サンプルに対して仮想３次元顔モデル、即ち参照顔モデルを生成した後、各局所的顔領域を表す参照キーポイント組合せと参照骨格パラメータとの対応関係により、１つの顔画像サンプルに対応する参照顔モデルデータを取得してよい。
【0087】
上記ステップ１０２１～ステップ１０２３で１枚の顔画像サンプルに基づいて対応する参照顔モデルを生成する過程を説明した。
【0088】
ステップ１０３、各顔画像サンプルに対応する参照顔モデルにより参照モデルデータベースを決定する。参照モデルデータベースは各局所的顔領域の各種の画像形式を表す参照キーポイント特徴と参照骨格パラメータとの対応関係を含む。
【0089】
本願の実施例では、図６に示す方法でそれぞれの顔画像サンプルに対応する参照顔モデルを生成し、更にそれぞれの顔画像サンプルに対応する参照顔モデルデータを決定するようにしてよい。
【0090】
それぞれの顔画像サンプルの参照顔モデルデータが取得された後、参照モデルデータベースを作成してよい。この参照モデルデータベースは、各局所的顔領域の画像形式を表す参照キーポイント組合せと参照骨格パラメータとの対応関係、各顔画像サンプルの参照キーポイント特徴データ、及び各参照顔モデルの参照骨格パラメータを含んでよい。骨格に基づくモデル生成手法において、骨格に親子骨格関係があることを説明する必要があり、親骨格が移動すると、子骨格もそれに伴って移動し、例えば、手首の骨格の運動に伴って掌の骨格も運動する。１つの局所的顔領域の骨格パラメータが調整されると、顔モデル全体における他の骨格の調整パラメータに関連することがある。従って、本願の実施例では、参照モデルデータベースにおいて、参照顔モデル全体に対応する１セットの参照骨格パラメータでデータを記憶する。
【0091】
以上、参照モデルデータベースをどのように作成するかについて詳細に説明した。
【0092】
実際に応用する段階で、コンピュータシステムは入力された現在顔画像に対してキーポイント検出を行ってキーポイント特徴を取得した後、自動的に現在顔画像のキーポイント特徴に基づいて参照モデルデータベースで検索して、参照モデルデータベースからマッチング可能な別々の局所的顔領域の目標骨格パラメータを見出す。
【0093】
上記ステップ１１０の実施については、図８に示すように、上記ステップ１１０は、以下のステップを含んでよい。
【0094】
ステップ１１０１、現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得する。
【0095】
上述したように、コンピュータシステムは現在顔画像に対して、顔領域検出、頭部姿勢補正、画像縮小拡大等の規範化処理を行って、基準顔画像のサイズと同じ前処理画像を取得してよい。続いて、顔キーポイント位置決定技術で前処理画像に対してキーポイント検出を行ってよい。例えば、２４０顔キーポイント位置決定技術で前処理画像に対してキーポイント検出を行って２４０個の顔キーポイントの位置座標を取得してよい。
【0096】
ステップ１１０２、前記所定数量のキーポイントの位置座標により前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定する。
【0097】
本願の実施例では、現在顔画像のキーポイント位置座標が取得された後、現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定できる。
【0098】
例えば、眉領域のような局所的顔領域について、そのキーポイント特徴は以下の少なくとも２種の表現方式を含んでよい。
【0099】
方式１、キーポイントの位置座標組合せを利用して局所的顔領域のキーポイント特徴を表す。例えば、１つの局所的顔領域を表すキーポイント座標組合せをこの局所的顔領域のキーポイント特徴としてよい。例えば、図９－１に示すように、１８～２２番目のキーポイントの座標位置組合せを左眉領域のキーポイント特徴とする。
【0100】
本願では、相対的に一定したキーポイント（キーポイント数量と各キーポイントの番号を含む）で局所的顔領域を表すが、異なる顔画像において同一番号のキーポイントの画像座標系での座標位置が異なる。例えば、第１顔画像において、キーポイント１８の座標位置が（８０，１５）、即ち８０行目１５列目の画素で決まった位置である。第２顔画像において、キーポイント１８の座標位置が（１００，２０）、即ち１００行目２０列目の画素で決まった位置であってよい。従って、キーポイント組合せの位置座標で別々の人の顔特徴を効果的に区別できる。
【0101】
方式２、キーポイント座標組合せのフィッティング曲線を利用して局所的顔領域のキーポイント特徴を表す。例えば、１つの局所的顔領域を表すキーポイント座標組合せにより、この局所的顔領域を表す特徴曲線をフィッティングし、且つこの特徴曲線をこの局所的顔領域のキーポイント特徴とするようにしてよい。図９－２に示すように、１８～２２番目のキーポイントの座標位置によりフィッティングした特徴曲線を左眉領域のキーポイント特徴とする。同様に図９－３に示すように、目部キーポイント１～１２の位置座標によりまぶた特徴曲線をフィッティングして、左目のキーポイント特徴とする。
【0102】
別々の人の顔の各キーポイントの位置座標が異なるので、キーポイント位置座標によりフィッティングした曲線の形状も異なる。従って、上記特徴曲線を現在顔画像中の局所的顔領域を表すキーポイント特徴として別々の人の顔を区別することができる。
【0103】
上記ステップ１２０の実施について、キーポイント特徴同士の類似度によって参照モデルデータベースから現在顔画像とマッチングする目標骨格パラメータを検索してよい。図１０に示すように、上記ステップ１２０には、以下のステップを含んでよい。
【0104】
ステップ１２１、現在顔画像中の各局所的顔領域については、参照モデルデータベース中の、該局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、この局所的顔領域の目標参照キーポイント特徴として決定する。
【0105】
図１１に示すように、現在顔画像中の各局所的顔領域について、上記ステップ１２１では、以下のステップを含んでよい。
【0106】
ステップ１２１１、局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定する。参照モデルデータベース中の対応の参照キーポイント特徴は、参照モデルデータベースにおける該局所的顔領域の位置に対応する参照キーポイント特徴であってよい。
【0107】
本願の実施例では、キーポイント特徴の表現形式によっては、異なる判定方式で参照モデルデータベースからマッチング可能な参照キーポイント特徴を検索してよい。
【0108】
例えば、参照モデルデータベースに記憶された参照キーポイント特徴が参照キーポイント座標組合せである場合に、キーポイント座標組合せ同士のユークリッド距離により局所的顔領域のキーポイント特徴と参照キーポイント特徴との類似度を決定してよい。
【0109】
図９－１に示すように、現在顔画像中のキーポイント１８～２２の位置座標と任意の顔画像サンプル中のキーポイント１８～２２の位置座標との間のユークリッド距離をそれぞれ計算してよく、それぞれｌ１８、ｌ１９、ｌ２０、ｌ２１、ｌ２２で表す。ｌ１８は現在顔画像のキーポイント１８の位置座標と顔画像サンプル中のキーポイント１８の位置座標との間のユークリッド距離を表し、それによって類推する。２つの画像中の左眉領域の類似度はキーポイント１８～２２のユークリッド距離の和Ｌで表してよい。一実施例では、Ｌは以下の式で表してよい。
Ｌ＝ｌ１８＋ｌ１９＋ｌ２０＋ｌ２１＋ｌ２２
Ｌ＝ｌ１８＋ｌ１９＋ｌ２０＋ｌ２１＋ｌ２２
【0110】
本願の別の実施例では、上記類似度は更にキーポイント間のユークリッド距離の加重値で表してもよい。再度上記の例を参照し、実際の応用シナリオに応じて各キーポイントに所定の重みを設置してよく、例えば、キーポイント１８～２２にそれぞれ重みα１、α２、α３、α４、α５を設置すれば、Ｌは以下の式で表してよい
Ｌ＝α１＊ｌ１８＋α２＊ｌ１９＋α３＊ｌ２０＋α４＊ｌ２１＋α５＊ｌ２２
Ｌ＝α１＊ｌ１８＋α２＊ｌ１９＋α３＊ｌ２０＋α４＊ｌ２１＋α５＊ｌ２２
【0111】
２つのキーポイント座標組合せ間のユークリッド距離が小さいほど、これら２つのキーポイント座標組合せで表される局所的顔領域間の類似度が高いことを示す。
【0112】
参照モデルデータベースに記憶された参照キーポイント特徴が参照特徴曲線である場合に、図１２に示すように、上記ステップ１２１１には、以下のステップを含んでよい。
【0113】
ステップ１２１１１、局所的顔領域のキーポイント座標組合せにより、フィッティングを介して該局所的顔領域を表す特徴曲線を取得する。
【0114】
【0115】
ステップ１２１１２、前記特徴曲線と参照モデルデータベース中の対応の参照特徴曲線との距離により、該局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定する。
【0116】
本願の実施例では、フレシェｆｒｅｃｈｅｔ距離値でキーポイント特徴間の類似性を判定してよい。２本の特徴曲線間のｆｒｅｃｈｅｔ距離値が小さいほど、２本の特徴曲線の形状が近似し、即ち、類似度が高いことを示し、それに対応するように、２本の特徴曲線のそれぞれに対応する局所的顔領域間の類似度が大きい。
【0117】
本願の別の実施例では、二者を組み合わせることで上記目標参照キーポイント特徴を決定してもよい。具体的には、現在顔画像における任意の局所的顔領域のキーポイント座標組合せについて、該キーポイント座標組合せと参照モデルデータベースにおけるそれぞれの対応参照キーポイント座標組合せとのユークリッド距離をそれぞれ計算してよい。前記参照モデルデータベースにおける少なくとも２つの参照キーポイント座標組合せと該キーポイント座標組合せとのユークリッド距離値が同じであれば、更に前記少なくとも２つの参照キーポイント座標組合せのうちの各前記参照キーポイント組合せと前記キーポイント座標組合せとの間のｆｒｅｃｈｅｔ距離値を計算し、それによって現在顔画像中の該キーポイント座標組合せに対応する特徴曲線の形状に最も近似する目標参照キーポイント特徴を効果的に識別する。
【0118】
本願の別の実施例では、更に局所的顔領域の分布特徴により、対応するポリシーを用いて前記局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定してもよい。
【0119】
例えば、局所的顔領域が少なくとも２つのサブ領域を含み、即ち該局所的顔領域が少なくとも２つのサブ領域のキーポイント特徴で表されることが可能である場合に、図１３に示すように、該局所的顔領域のキーポイント特徴と参照モデルデータベースにおける１つの顔画像サンプルに対応する参照キーポイント特徴との類似度を決定する時に、上記ステップ１２１１には、以下のステップを含んでよい。
【0120】
ステップ１２１１－１、該局所的顔領域中の各サブ領域について、該サブ領域のキーポイント特徴と参照モデルデータベース中の該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、該サブ領域に対応する局所的類似度を取得する。
【0121】
該顔画像サンプルの対応のサブ領域とは、該顔画像サンプルにおける、該局所的顔領域の処理中のサブ領域の位置に対応するサブ領域をいう。例えば、目領域のキーポイント特徴は左目領域と右目領域のそれぞれに対応するキーポイント特徴を含む。眉領域のキーポイント特徴は左眉領域と右眉領域のそれぞれに対応するキーポイント特徴を含む。口領域のキーポイント特徴は上唇領域と下唇領域のそれぞれに対応するキーポイント特徴を含む。
【0122】
目領域を例とすると、上記のいずれか１種の決定方法で左目領域のキーポイント特徴と参照モデルデータベース中の各左目参照キーポイント特徴との類似度、及び右目領域のキーポイント特徴と参照モデルデータベース中の各右目参照キーポイント特徴との類似度を決定することができる。本願の実施例では、１つのサブ領域のキーポイント特徴と参照モデルデータベース中の対応のサブ領域の参照キーポイント特徴との類似度を局所的類似度と称する。現在顔画像中の左、右目領域のキーポイント特徴を参照モデルデータベース中の１つの参照顔モデルの左、右目領域の参照キーポイント特徴と比較した後、１対の局所的類似度が得られる。
【0123】
上記の例によれば、２０１個の顔画像サンプルで生成した参照モデルデータベースについて、現在顔画像中の目部領域のキーポイント特徴に対して２０１対の局所的類似度が得られる。
【0124】
ステップ１２１１－２、各サブ領域に対応する局所的類似度により、前記局所的顔領域と該顔画像サンプルの対応の局所的顔領域との全体的な類似度を、該局所的顔領域のキーポイント特徴と参照モデルデータベース中の該顔画像サンプルの対応参照キーポイント特徴との類似度として決定する。
【0125】
例えば目、口、眉等の２つのサブ領域のキーポイント特徴で表せる局所的顔領域について、各サブ領域の対応の局所的類似度が計算された後、２つの局所的類似度の和又は加重和を求めて、現在顔画像と１つの顔画像サンプルの対応領域の類似度としてよい。
【0126】
本願の実施例では、局所的顔領域が複数のサブ領域を含む場合に、複数のサブ領域の局所的類似度に基づいて上記目、眉、口等のこの局所的顔領域の全体的な類似度をより正確に比較し、更に参照モデルデータベースからより正確にこの局所的顔領域の目標骨格パラメータを決定することができる。
【0127】
ステップ１２１２、類似度が最も高い参照キーポイント特徴を前記局所的顔領域の目標参照キーポイント特徴とする。
【0128】
上記ステップ１２１１に記載のいずれか１種の方法で、現在顔画像中の局所的顔領域のキーポイント特徴と参照モデルデータベース中の各顔画像サンプルの対応の参照キーポイント特徴との類似度をそれぞれ計算し、且つ類似度が最も高い参照キーポイント特徴を現在顔画像中の該局所的顔領域の目標参照キーポイント特徴とする。
【0129】
ステップ１２２、現在顔画像中の各局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、現在顔画像の目標骨格パラメータを決定する。
【0130】
本願の一実施例では、参照モデルデータベースには、各局所的顔領域の各種画像形式に対応する参照キーポイント特徴、及び上記参照キーポイント特徴と参照骨格パラメータとの間の対応関係が記憶されている。
【0131】
各顔画像からそれぞれＭ個の局所的顔領域、例えば、眉、目、鼻、口、顔輪郭の５つの局所的顔領域を区画できると仮定する。
【0132】
１つの局所的顔領域に対応する画像形式の数をｎとすれば、上記参照モデルデータベースには少なくともＮ個の参照キーポイント特徴が記憶されており、Ｎ＝ｎ１＋ｎ２＋……＋ｎＭ、ここで、ｎｉは局所的顔領域の画像形式の数を表し、ｉは１つの局所的顔領域を表し、ｉ∈（１，Ｍ）である。一例として、数字１が眉を表すとすれば、ｎ１は眉の形の数を表し、それに対応するように、図２に示す例において、ｎ１＝１２。
【0133】
各参照キーポイント特徴はそれぞれ１セットの参照骨格パラメータに対応し、従って、上記参照モデルデータベースには少なくともＮ個の参照キーポイント特徴に対応するＮセットの参照骨格パラメータが記憶されている。
【0134】
上記参照キーポイント特徴が参照キーポイントの座標位置によりフィッティングを介して得られる参照特徴曲線であれば、上記参照モデルデータベースには少なくともＮ本の参照特徴曲線に対応するＮセットの参照骨格パラメータが記憶されている。
【0135】
上記参照キーポイント特徴が参照キーポイントの座標位置組合せ、即ち参照キーポイント座標組合せであれば、上記参照モデルデータベースには少なくともＮ個の参照キーポイント座標組合せに対応するＮセットの参照骨格パラメータが記憶されている。
【0136】
コンピュータシステムは、現在顔画像から局所的顔領域のキーポイント特徴を取得した後、参照モデルデータベースからこのキーポイント特徴とマッチングする参照キーポイント特徴、例えば最も近似する参照キーポイント特徴を、目標参照キーポイント特徴として決定し、更に目標参照キーポイント特徴に対応する参照骨格パラメータにより、上記キーポイント特徴に適合する目標骨格パラメータを決定することができる。例えば、直接に、目標参照キーポイント特徴に対応する参照骨格パラメータを、現在顔画像における上記キーポイント特徴に対応する局所的顔領域に適合する目標骨格パラメータとする。
【0137】
本願の実施例では、キーポイント特徴の表現方式に応じてユークリッド距離又はｆｒｅｃｈｅｔ距離を利用して、現在顔画像における局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を判定することで、比較的正確で且つ高速に参照モデルデータベースに基づいて現在顔画像における局所的顔領域の目標骨格パラメータを決定し、生成すべき顔モデルの骨格調整パラメータを決定することができ、それによって、例えばゲームシナリオのような特定の応用シナリオでのフェースカスタマイズ機能の用途のユーザ体験を効果的に向上させることができる。
【0138】
本明細書における様々な実施例は漸進的に説明され、各実施例間の同一または類似の部分については相互に参照すればよく、各実施例は他の実施例との相違点に集中して説明した。特に、データ処理装置の実施例については、それは基本的に方法実施例と類似するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【0139】
上述した各方法の実施例については、簡単に説明するために、シリーズ的な動作組合せとして説明したが、本開示に基づければ一部のステップを他の順序で実行してもよく、又は同時に実行してもよいので、本開示が記述された動作順序に限定されないことが当業者に知られている。
【0140】
そして、明細書に記述された実施例は全て選択可能な実施例であり、関連する動作やモジュールは必ず本開示に不可欠なものであるというわけでないことも当業者に知られている。
【0141】
前記の応用機能の実現方法の実施例に対応するように、本開示は応用機能の実現装置及び対応端末の実施例を更に提供する。
【0142】
それに対応するように、本願の実施例は、顔モデルの生成装置を提供する。図１４に示すように、前記装置は、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュール２１と、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュール２２と、前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュール２３とを含んでよい。
【0143】
本願の装置の実施例では、前記モデル生成モジュール２３が出力する前記現在顔画像に対応する仮想３次元顔モデルは、前記現在顔画像に対応するアニメ化仮想３次元顔モデルであってよい。
【0144】
本願の別の装置の実施例では、前記モデル生成モジュール２３の出力する前記現在顔画像に対応する仮想３次元顔モデルは、前記現在顔画像中の真実の顔に似ている仮想３次元顔モデル、即ち真実の顔に見える仮想３次元顔モデルであってもよい。
【0145】
図１５に示すように、図１４に示す装置の実施例を基礎として、前記装置は、更に、所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するためのデータベース作成モジュール２０を含んでよい。前記参照モデルデータベースは所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。このような場合に、前記パラメータマッチングモジュール２２は、具体的には、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するために用いられる。
【0146】
図１６に示すように、図１５に示す装置の実施例を基礎として、前記データベース作成モジュール２０は、サンプル取得サブモジュール２０１と、参照モデル生成サブモジュール２０２と、データベース決定サブモジュール２０３とを含んでよい。前記サンプル取得サブモジュール２０１は、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するために用いられ、前記顔画像サンプル集合は、少なくとも１種の局所的顔領域を表す多種の画像形式を含み、前記参照モデル生成サブモジュール２０２は、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するために用いられ、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含み、前記データベース決定サブモジュール２０３は、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するために用いられ、前記参照モデルデータベースは、各前記局所的顔領域の各種の前記画像形式を表す前記キーポイント特徴と前記参照骨格パラメータとの対応関係を含む。
【0147】
図１７に示すように、図１６に示す装置の実施例を基礎として、前記参照モデル生成サブモジュール２０２は、画像前処理ユニット２０２１とキーポイント検出ユニット２０２２と参照モデル生成ユニット２０２３とを含んでよい。前記画像前処理ユニットは２０２１、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するために用いられ、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であり、前記キーポイント検出ユニット２０２２は、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するために用いられ、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含み、前記参照モデル生成ユニット２０２３は、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するために用いられる。
【0148】
図１８に示すように、図１４～図１７のいずれか一項に示す装置の実施例を基礎として、前記キーポイント検出モジュール２１は、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するためのキーポイント位置決定サブモジュール２１１と、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するためのキーポイント特徴決定サブモジュール２１２と、を含んでよい。
【0149】
本願の実施例では、前記キーポイント特徴はキーポイント座標組合せ及び／又は特徴曲線を含んでよい。
【0150】
それに対応するように、図１９に示すように、図１８に示す装置の実施例を基礎として、前記キーポイント特徴決定サブモジュール２１２は、座標組合せ決定ユニット２１２１と特徴曲線決定ユニット２１２２とを含んでよい。前記座標組合せ決定ユニット２１２１は、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するために用いられ、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであり、前記特徴曲線決定ユニット２１２２は、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするために用いられる。
【0151】
本願では、前記少なくとも１種の局所的顔領域は、眉、目、鼻、口、顔輪郭の少なくとも一項を含む。
【0152】
上記の図１９に示す装置の実施例はキーポイント特徴決定サブモジュール２１２が座標組合せ決定ユニット２１２１と特徴曲線決定ユニット２１２２を含む場合に対応する。本願の別の装置の実施例では、キーポイント特徴決定サブモジュール２１２は座標組合せ決定ユニット２１２１又は特徴曲線決定ユニット２１２２を含んでもよい。
【0153】
図２０に示すように、図１４～図１９のいずれか一項に示す装置の実施例を基礎として、前記パラメータマッチングモジュール２２は、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するための特徴マッチングサブモジュール２２１と、前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するための骨格パラメータ決定サブモジュール２２２と、を含んでよい。
【0154】
図２１に示すように、図２０に示す装置の実施例を基礎として、前記特徴マッチングサブモジュール２２１は、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定ユニット２２１１と、類似度が最も高い前記参照キーポイント特徴を前記局所的顔領域の前記目標参照キーポイント特徴として決定するための目標特徴決定ユニット２２１２と、を含んでよい。
【0155】
本願の装置の実施例では、前記キーポイント特徴は、キーポイント位置座標によりフィッティングを介して得られる特徴曲線であってよい。それに対応するように、図２２に示すように、図２１に示す装置の実施例を基礎として、前記類似度決定ユニット２２１１は、局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するための曲線フィッティングサブユニット２２０１と、前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線の距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定サブユニット２２０２とを含んでよい。
【0156】
本願の実施例では、前記距離はユークリッド距離又はフレシェｆｒｅｃｈｅｔ距離を含んでよい。それに対応するように、前記目標特徴決定ユニット２２１２は、前記距離値が最も小さい参照特徴曲線を前記目標参照キーポイント特徴とすることに利用可能である。
【0157】
図２３に示すように、図２１に示す装置の実施例を基礎として、前記類似度決定ユニット２２１１は、１つの前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域中の各前記サブ領域について、前記参照モデルデータベース中の各顔画像サンプルに対して、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するための局所的類似度決定サブユニット２２１１１と、前記参照モデルデータベース中の各顔画像サンプルについて、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するための全体的類似度決定サブユニット２２１１２と、を含んでよい。
【0158】
装置実施例は、基本的に方法実施例に対応するので、関連部分については方法実施例の一部の説明を参照すればよい。上述した装置実施例は単に例示的なものであり、そのうち、前記の分離部材として説明したユニットは物理的に分離されたものであってもなくてもよく、ユニット表示の部材としては物理ユニットであってもなくてもよく、一箇所に位置してもよく、または複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部または全てのモジュールを選択して本願の解決手段の目的を実現できる。当業者であれば、創造的な労力を要することなく、理解し実施することができる。
【0159】
上記の顔モデルの生成方法に対して、本願の実施例は、本願に係る例示的な一実施例の電子機器の構造模式図を更に提供する。図２４に示すように、ハードウェアの面で、この電子機器はプロセッサ２４１、内部バス２４２、ネットワークインタフェース２４３、メモリ２４５及び非揮発性メモリ２４６を含み、勿論、更に他の業務に必要なハードウェアを含むこともできる。プロセッサ２４１は非揮発性メモリ２４６から対応するコンピュータプログラムをメモリ２４５に読み取ってから作動させ、論理の面で知能化運転制御装置を形成する。勿論、ソフトウェアによる実現形態の他に、本願は、例えばロジックデバイス又はソフトウェアとハードウェアの組合せのような他の実現形態等で実現されてもよく、つまり、以下の処理プロセスの実行主体は各ロジックユニットに限定されず、ハードウェア又はロジックデバイスであってもよい。
【0160】
本明細書の１つ又は複数の実施例は方法、システム又はコンピュータプログラム製品として提供可能であることが当業者に理解されるべきである。従って、本明細書の１つ又は複数の実施例は、完全ハードウェア実施例、完全ソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を採用してもよい。また、本明細書の１つ又は複数の実施例は、コンピュータ利用可能プログラムコードを含む１つ又は複数のコンピュータ利用可能記憶媒体（磁気ディスク記憶装置、ＣＤ－ＲＯＭ、光学記憶装置等を含むが、それらに限定されない）上で実施されるコンピュータプログラム製品の形態を採用してもよい。
【0161】
本明細書の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行される時に本明細書の図１～図１３のいずれか１つの実施例で提供された顔モデルの生成方法のステップを実現するコンピュータ可読記憶媒体を更に提供する。
【0162】
本明細書で説明された主旨及び機能操作の実施例は、デジタル電子回路、具形化したコンピュータソフトウェア又はファームウエア、本明細書で開示された構造及びその構造上同等な物を含むコンピュータハードウェア、或いはそれらの１つ又は複数の組合せで実現可能である。本明細書で説明された主旨の実施例は、１つ又は複数のコンピュータプログラムとして実現可能であり、即ち、有形非一時的プログラムキャリアに符号化されてデータ処理装置により実行されるか又はデータ処理装置の操作を制御するコンピュータプログラムコマンド中の１つ又は複数のモジュールとして実現可能である。人工で生成する伝播信号、例えば機械で生成する電気、光又は電磁信号にプログラムコマンドが符号化されるような代替又は追加は可能であり、該当信号が生成されて情報を符号化して適切な受信装置に伝送してデータ処理装置により実行させる。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダム又はシリアルアクセス記憶装置、或いはそれらの１つ又は複数の組合せであってもよい。
【0163】
本明細書に記載の処理及び論理フローは１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータにより実行されて、入力データにより操作し出力を生成することによって対応する機能を実行してもよい。前記処理及び論理フローは、更に専用論理回路、例えばＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）又はＡＳＩＣ（専用集積回路）によって実行されてもよく、また、装置は専用論理回路として実現されてもよい。
【0164】
コンピュータプログラムを実行するのに適するコンピュータは、例えば汎用及び／又は専用マイクロプロセッサ、又は任意の他の種類の中央処理装置を含む。一般的には、中央処理装置は読出し専用メモリ及び／又はランダムアクセスメモリからコマンドやデータを受信する。コンピュータの基本的なコンポーネントは、コマンドを実施又は実行するための中央処理装置及びコマンドやデータを記憶するための１つ又は複数の記憶装置を含む。一般的には、コンピュータは更にデータを記憶するための１つ又は複数の大容量記憶装置、例えば磁気ディスク、光磁気ディスク又は光ディスク等を含み、又は、コンピュータは操作可能にこの大容量記憶装置に接続されてそのものに対するデータ受信又はデータ伝送を行い、又は、それらの両方が考えられている。しかしながら、コンピュータはこのような装置を有しなければならないということではない。なお、コンピュータは、例えば携帯電話、携帯用情報端末（ＰＤＡ）、携帯型オーディオ又はビデオプレーヤ、遊戯操作部、全地球測位システム（ＧＰＳ）受信装置、又は例えば汎用シリアルバス（ＵＳＢ）フラッシュドライブの携帯型記憶装置のような別の装置に嵌め込まれてもよく、それらは例に過ぎない。
【0165】
コンピュータプログラムコマンドやデータを記憶するのに適するコンピュータ可読媒体は全ての形態の不揮発性メモリ、媒体及び記憶装置を含み、例えば、半導体記憶装置（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュ装置）、磁気ディスク（例えば、内蔵ハードディスク又はリムーバブルハードディスク）、光磁気ディスク及びＣＤ ＲＯＭとＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは専用論理回路によって補充されるか、専用論理回路に組み合わせられることが可能である。
【0166】
本明細書に具体的な実施詳細を多く含むが、それらは発明の範囲又は保護しようとする範囲に何の制限を与えるものと解釈してもならなく、主に特定の発明の具体的な実施例の特徴を説明するためのものである。本明細書においては複数の実施例で説明された幾つかの特徴は単一の実施例で組み合わせて実施してもよい。一方、単一の実施例で説明された様々な特徴は、複数の実施例で別々に実施してもよいし、いかなる適切なサブ組合せで実施してもよい。なお、特徴は以上のとおり幾つかの組合せで作用を発揮することができ、更に最初にそのように保護しようしていたが、保護しようとする組合せからの１つ又は複数の特徴はこの組合せから除去してもよいことがあり、また保護しようとする組合せはサブ組合せ又はサブ組合せの変形であってもよい。
【0167】
類似的に、図面において特定の順序で操作を説明したが、所望の結果を遂げるために、これらの操作を示された特定の順序で実行したり、順に実行したりすることを要求し、又は全ての例示的な操作を実行することを要求すると理解してならない。マルチタスクや並列処理は役立つものになることがある。なお、上記実施例における様々のシステムモジュールとコンポーネントの分離は全ての実施例に必要なものとなると理解してならなく、説明されたプログラムコンポーネントとシステムは一般的には単一のソフトウェア製品に統合するか、複数のソフトウェア製品として実装することができるのを理解すべきである。
【0168】
以上のとおり、主旨となる特定の実施例を説明した。他の実施例は添付した特許請求の範囲内にある。特許請求の範囲に記載の動作を異なる順序で実行しても所望の結果を実現できることがある。なお、図面に記載の処理は、所望の結果を遂げるために、必ず示された特定の順序又は順次順序によるというわけでない。マルチタスクと並列処理は役立つものになる実施形態がある。
【0169】
上述したのは本明細書の１つ又は複数の実施例の好ましい実施例に過ぎず、本明細書の１つ又は複数の実施例を限定するものではなく、本明細書の１つ又は複数の実施例の主旨と原則から逸脱しない限り行った修正、同等な取替、改良等は、全て本明細書の１つ又は複数の実施例の保護する範囲に含まれるものである。
【図1】
【図2】
【図3-1】
【図3-2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9-1】
【図9-2】
【図9-3】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
