特表2023-507862顔再構築方法、装置、コンピュータデバイス、及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-28
(54)【発明の名称】顔再構築方法、装置、コンピュータデバイス、及び記憶媒体
(51)【国際特許分類】
G06T 17/00 20060101AFI20230220BHJP
G06T 7/00 20170101ALI20230220BHJP
G06T 13/40 20110101ALI20230220BHJP
【ＦＩ】
G06T17/00
G06T7/00 660A
G06T13/40
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022519295
(86)(22)【出願日】2021-06-25
(85)【翻訳文提出日】2022-03-25
(86)【国際出願番号】 CN2021102404
(87)【国際公開番号】W WO2022110790
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】202011342169.7
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520291939
【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １１０１－１１１７，１１ｔｈ Ｆｌｏｏｒ Ｎｏ．５８ Ｎｏｒｔｈｗｅｓｔ ４ｔｈ Ｒｉｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】徐 勝偉
(72)【発明者】
【氏名】王 権
(72)【発明者】
【氏名】銭 晨
【テーマコード（参考）】
5B050
5B080
5L096
【Ｆターム（参考）】
5B050AA08
5B050AA09
5B050BA08
5B050BA09
5B050BA12
5B050CA01
5B050DA04
5B050EA24
5B050EA26
5B050FA02
5B050FA05
5B080AA00
5B080CA00
5B080FA02
5B080GA00
5L096AA02
5L096AA06
5L096CA02
5L096DA02
5L096FA69
5L096HA11
(57)【要約】
本発明では、顔再構築方法、装置、コンピュータデバイス、及び記憶媒体が提案されており、該方法は、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む、
ことを特徴とする顔再構築方法。
【請求項2】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、
前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、を含む、
ことを特徴とする請求項１に記載の顔再構築方法。
【請求項3】
前記目標骨格データに基づいて前記目標仮想顔モデルを生成することは、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、
前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、を含む、
ことを特徴とする請求項２に記載の顔再構築方法。
【請求項4】
前記仮想顔モデルに対応する骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、
骨格位置データ、及び
骨格スケールデータのうちの少なくとも１つのデータを含み、
前記目標骨格データは、
目標骨格位置データ、
目標骨格スケールデータ、及び
目標骨格回転データのうちの少なくとも１つのデータを含む、
ことを特徴とする請求項２または３に記載の顔再構築方法。
【請求項5】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することを含む、
ことを特徴とする請求項４に記載の顔再構築方法。
【請求項6】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することを含む、
ことを特徴とする請求項４または５に記載の顔再構築方法。
【請求項7】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、を含む、
ことを特徴とする請求項４乃至６の何れか一項に記載の顔再構築方法。
【請求項8】
前記目標画像に基づいて第１実顔モデルを生成するステップは、初期顔を含む目標画像を取得することと、
前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む、
ことを特徴とする請求項１乃至７の何れか一項に記載の顔再構築方法。
【請求項9】
前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、
前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する、
ことを特徴とする請求項１乃至８の何れか一項に記載の顔再構築方法。
【請求項10】
前記予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップは、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することを含む、
ことを特徴とする請求項１乃至９の何れか一項に記載の顔再構築方法。
【請求項11】
目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される第２生成モジュールと、を含む、
ことを特徴とする顔再構築装置。
【請求項12】
プロセッサ及びメモリを含むコンピュータデバイスであって、前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行されるとき、前記プロセッサは、請求項１乃至１０の何れか一項に記載の顔再構築方法を実施する、コンピュータデバイス。
【請求項13】
コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ・プログラムがコンピュータデバイスで実行されるとき、前記コンピュータデバイスは、請求項１乃至１０の何れか一項に記載の顔再構築方法を実施する、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理の技術分野に関し、具体的には、顔再構築方法、装置、コンピュータデバイス、及び記憶媒体に関する。
【背景技術】
【0002】
通常、実顔や自分の好みに基づいて仮想的な顔３次元モデルを確立して顔の再構築を実現できるということは、ゲーム、アニメ、仮想ソーシャル等の分野で広く適用されている。例えば、ゲームでは、ゲームプログラムが提供する顔再構築システムは、プレイヤーから提供された画像に含まれる実顔に基づいて仮想的な顔３次元モデルを生成し、プレイヤーは、生成された仮想的な顔３次元モデルを利用し、より没入感を持ってゲームに参加することができる。
【0003】
現在、人物画像における実顔に基づいて顔の再構築を行う場合には、一般的に、顔画像に基づいて顔輪郭特徴を抽出し、抽出した顔輪郭特徴を予め生成された仮想３次元モデルとマッチング・融合することで、実顔に対応する仮想的な顔３次元モデルを生成する。しかしながら、顔輪郭特徴と予め生成された仮想３次元モデルとのマッチング度が低いことから、生成された仮想的な顔３次元モデルと実顔画像との類似度が低い。
【発明の概要】
【0004】
本発明の実施例では、少なくとも顔再構築方法、装置、コンピュータデバイス、及び記憶媒体が提案されている。
【0005】
本発明の実施例の第１態様により、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む、顔再構築方法が提案されている。
【0006】
本実施例では、フィッティング係数を媒介として複数の第２実顔モデルと第１実顔モデルとの関連関係が確立され、この関連関係は、第２実顔モデルに基づいて確立された仮想顔モデルと第１実顔モデルに基づいて確立された目標仮想顔モデルとの関連を特徴付けることができ、フィッティング係数に基づいて確立された目標仮想顔モデルは、予め設定されたスタイルに加えて、第１実顔モデルに対応する初期顔の特徴も有し、さらに、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が一層高くなる。
【0007】
選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、を含む。
【0008】
選択的な一実施形態では、前記目標骨格データに基づいて前記目標仮想顔モデルを生成するスことは、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成するステップと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成するステップと、を含む。
【0009】
この実施形態では、目標スキンデータ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係により、得られた目標仮想顔モデルでは、目標骨格データと目標スキンデータがより良くフィットするようになり、さらに、目標骨格データを利用して確立された目標仮想顔モデルにおいて、骨格データの変化に起因する目標仮想顔モデルに異常な隆起または凹みが表されることが低減される。
【0010】
選択的な一実施形態では、前記仮想顔モデルに対応する骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含み、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つのデータを含む。
【0011】
この実施形態では、骨格データによれば、複数の顔骨格のそれぞれに対応する骨格データをより精確に特徴付けることができ、目標骨格データによれば、目標仮想顔モデルをより精確に確立することができる。
【0012】
選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、目標骨格位置データを取得することを含む。
【0013】
選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得することを含む。
【0014】
選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、目標骨格回転データを取得することと、を含む。
【0015】
この実施形態では、目標骨格データにより仮想顔モデルをより精確に調整することができ、その結果、得られた目標仮想顔モデルにおける骨格の細部がより細かくなり、初期顔における骨格の細部とより類似するようになり、さらに目標仮想顔モデルと初期顔との類似度がより高くなる。
【0016】
選択的な一実施形態では、前記目標画像に基づいて第１実顔モデルを生成するステップは、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む。
【0017】
この実施形態では、初期顔に対して３次元の顔再構築を行うことで取得した第１実顔モデルによれば、目標画像における初期顔の顔特徴をより正確かつ全面的に特徴付けることができる。
【0018】
選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて前記参照画像に含まれる前記参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する。
【0019】
この実施形態では、複数枚の参照画像を利用して、できるだけ広範な顔の外形特徴をカバーすることができるため、複数枚の参照画像のそれぞれに基づいて３次元の顔再構築を行うことで取得した第２実顔モデルは同様に、できるだけ広範な顔の外形特徴をカバーすることができる。
【0020】
選択的な一実施形態では、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップは、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することを含む。
【0021】
この実施形態では、フィッティング係数によれば、複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行う際のフィッティング状況を精確に特徴付けることができる。
【0022】
本発明の実施例の第２態様により、顔再構築装置が提案されており、前記装置は、
【0023】
目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、
【0024】
予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、
【0025】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される第２生成モジュールと、を含む。
【0026】
選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、に用いられる。
【0027】
選択的な一実施形態では、前記第２生成モジュールは、前記目標骨格データに基づいて前記目標仮想顔モデルを生成する際に、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、に用いられる。
【0028】
選択的な一実施形態では、前記仮想顔モデルに対応する骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含み、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つのデータを含む。
【0029】
選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することに用いられる。
【0030】
選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することに用いられる。
【0031】
選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、に用いられる。
【0032】
選択的な一実施形態では、前記第１生成モジュールは、前記目標画像に基づいて第１実顔モデルを生成する際に、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、に用いられる。
【0033】
選択的な一実施形態では、前記処理モジュールは、前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する。
【0034】
選択的な一実施形態では、前記処理モジュールは、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することに用いられる。
【0035】
本発明の第３態様により、選択的な一実施形態として、プロセッサ及びメモリを含むコンピュータデバイスであって、前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行される際に、上記した第１態様または第１態様における任意１つの実施可能な形態に記載のステップが実施されることとなる、コンピュータデバイスが提案されている。
【0036】
本発明の第４態様により、選択的な一実施形態として、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータ・プログラムが実行される際に、上記した第１態様または第１態様における任意１つの実施可能な形態に記載のステップが実施されることとなる、コンピュータ読み取り可能な記憶媒体が提案されている。
【0037】
上記した顔再構築装置、コンピュータデバイス、およびコンピュータ読み取り可能な記憶媒体の効果に関する記述は、上記した顔再構築方法に関する記述を参照でき、ここで重複に説明しないものとする。
【0038】
本発明の上記した目的、特徴、及びメリットをより明確かつ理解され易いものにするために、以下では、好適な実施例を挙げて、添付図面に合わせて詳細に説明する。
【図面の簡単な説明】
【0039】
本発明の実施例に係る技術案をより明晰に説明するために、以下では、実施例に用いられる図面を簡単に説明する。ここでの図面は明細書に合併されて本明細書の一部を構成し、これらの図面は本発明に符合する実施例を示し、明細書に合わせて本発明に係る技術案を説明するためのものである。以下の図面は、本発明の幾つかの実施例のみを図示するので、範囲への限定として見なされるべきではなく、当分野の通常の技術者にとっては、創造的な労働をせずにこれらの図面から他の相関図面を得ることもできるとは、理解されるべきであろう。
【図1】本発明の一実施例で提案される顔再構築方法を示すフローチャートである。
【図2】本発明の実施例で提案される目標画像に対応する目標仮想顔モデルを生成するための方法を示すフローチャートである。
【図3】本発明の実施例で提案される目標骨格データに基づいて第１実顔モデルに対応する目標仮想顔モデルを生成するための具体的な方法を示すフローチャートである。
【図4】本発明の実施例で提案される顔再構築方法に係る複数の顔及び顔モデルの例示を示す図である。
【図5】本発明の実施例で提案される顔再構築装置を示す概略図である。
【図6】本発明の実施例で提案されるコンピュータデバイスを示す概略図である。
【発明を実施するための形態】
【0040】
本発明の実施例の目的、技術案、及びメリットをより明晰にするために、以下では、本発明の実施例に係る技術案について本発明の実施例に係る図面を参照しながら明晰かつ完全に説明する。明らかには、本明細書に記述される実施例は、本発明の実施例の全部ではなく、その一部に過ぎない。通常、ここで記述や図示される本発明の実施例に係る構成要素は、様々な異なる構成で配置や設計されることができる。したがって、本発明の実施例に関する以下の詳細な記述は、保護が請求する本発明の範囲を限定することを主旨とするものではなく、本発明に選定された実施例のみを示すものである。本発明の実施例に基づき、当分野の技術者が創造的な労働をせずに得られた全ての他の実施例は、本発明の保護範囲内に含まれるものとする。
【0041】
顔再構築方法によれば、実顔や自分の好みに基づいて仮想的な顔３次元モデルを確立できることがわかった。人物画像における実顔に基づいて顔の再構築を行う際に、人物画像における実顔に対して特徴抽出を行って顔輪郭特徴を取得してから、顔輪郭特徴を予め生成された仮想３次元モデルにおける特徴とマッチングし、マッチング結果に基づいて顔輪郭特徴を仮想３次元モデルと融合することで、人物画像における実顔に対応する仮想的な顔３次元モデルを取得することは、一般的なことである。顔輪郭特徴を予め生成された仮想３次元モデルにおける特徴とマッチングする際に、マッチングの精度が低いことから、仮想３次元モデルと顔輪郭特徴とのマッチングの誤差が大きく、マッチング結果に基づいて顔輪郭特徴と顔の仮想３次元モデルとを融合して得られた仮想的な顔３次元モデルと、人物画像における顔との類似度が低いという問題が生じやすい。
【0042】
上記した技術案の欠点に対して、本発明の実施例では、予め設定されたスタイルを有し且つ実顔との類似度が高い目標仮想顔モデルを生成可能な顔再構築方法が提案されている。
【0043】
本実施例の理解を容易にするために、先ず、本発明の実施例に開示された顔再構築方法について詳しく説明する。本発明の実施例で提案される顔再構築方法の実行主体は一般的には所定の計算能力を持つコンピュータデバイスであり、当該コンピュータデバイスは、例えば端末デバイスやサーバ又は他の処理デバイスを備え、端末デバイスとしては、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち機器、計算機器、車載機器、ウェアラブル機器等が挙げられる。幾つかの実施可能な形態では、当該顔再構築方法は、プロセッサによってメモリに格納されたコンピュータ読み取り可能な命令を呼び出すという方式で実現することができる。
【0044】
以下では、本発明の実施例で提案される顔再構築方法について説明する。
【0045】
【0046】
Ｓ１０１：目標画像に基づいて第１実顔モデルを生成する。
【0047】
Ｓ１０２：予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する。
【0048】
Ｓ１０３：複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標画像に対応する目標仮想顔モデルを生成する。
【0049】
本発明の実施例では、予め生成された複数の実顔モデルを利用して第１実顔モデルのフィッティングを行うプロセスにおいて、第２実顔モデルのそれぞれに対応するフィッティング係数を取得してから、フィッティング係数を媒介として複数の第２実顔モデルと第１実顔モデルとの関連関係を確立し、その後、当該フィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルを利用して、前記目標画像に対応する目標仮想顔モデルを生成する。この方法によれば、フィッティング係数及び仮想顔モデルに基づいて確立された目標仮想顔モデルは、予め設定されたスタイルに加えて、第１実顔モデルに対応する初期顔の特徴も有し、換言すると、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が高くなる。
【0050】
以下では、上記したステップＳ１０１～Ｓ１０３について詳しく説明する。
【0051】
上記したステップＳ１０１について、目標画像は、例えば顔を含む画像、例えば、カメラ等の撮像装置を用いてある対象を撮像する際に取得される顔を含む画像であり、しかも、画像に含まれる何れかの顔が初期顔として決定されることができる。
【0052】
本発明の実施例で提案される顔再構築方法が異なるシーンに用いられる場合、目標画像の取得方法も異なる。
【0053】
例えば、当該顔再構築方法がゲームに用いられる場合、ゲームデバイスにインストールされている画像取得装置によってゲームプレイヤーの顔を含む画像を取得したり、ゲームデバイスのアルバムからゲームプレイヤーの顔を含む画像を選択したりすることができ、そして、取得したゲームプレイヤーの顔を含む画像を目標画像として決定する。
【0054】
また例えば、顔再構築方法が携帯電話等の端末デバイスに用いられる場合、端末デバイスのカメラによってユーザの顔を含む画像を収集したり、端末デバイスのアルバムからユーザの顔を含む画像を選択したり、端末デバイスにインストールされている他のアプリプログラムからユーザの顔を含む画像を受信したりすることができる。
【0055】
さらに例えば、顔再構築方法がライブ配信のシーンに用いられる場合、ライブ配信の装置のビデオストリームに含まれる複数フレームのビデオフレーム画像から、顔を含むビデオフレーム画像を取得することができ、そして、顔を含むビデオフレーム画像を目標画像として決定する。ここで、目標画像は例えば複数フレームであってよい。複数フレームの目標画像は例えばビデオストリームをサンプリングして得られたものであってよい。
【0056】
目標画像に基づいて第１実顔モデルを生成する際に、例えば、初期顔を含む目標画像を取得し、目標画像に含まれる初期顔に対して３次元の顔再構築を行って第１実顔モデルを取得するという方法を利用することができる。
【0057】
ここでは、目標画像に含まれる初期顔に対して３次元の顔再構築を行う場合、例えば、変形可能な３次元顔モデル(３ Ｄｉｍｅｎｓｉｏｎｓ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌｓ，３ＤＭＭ)を利用して、初期顔に対応する第１実顔モデルを取得する。また、第１実顔モデルは、例えば、目標画像における初期顔の複数のキーポイントのうち各キーポイントの予め設定されたカメラ座標系における位置情報を含む。
【0058】
上記したステップＳ１０２について、第２実顔モデルは、参照顔を含む参照画像に基づいて生成されたものである。ここで、異なる参照画像における参照顔は、異なるものであってよい。例示的には、性別、年齢、肌色、太り具合等のうちの少なくとも１つが異なる複数の人物を選択し、複数の人物のそれぞれについてその顔画像を取得し、取得した顔画像を参照画像とする。このように、複数枚の参照画像に基づいて取得した複数の第２実顔モデルは、できるだけ広範な顔の外形特徴をカバーすることができる。
【0059】
参照顔は、例えば、Ｎ個の異なる個体オブジェクトに対応するＮ個の顔を含む(Ｎは１より大きい整数)。参照顔を含む参照画像を複数枚取得したい際に、例示的には、Ｎ個の異なる個体オブジェクトをそれぞれ撮影することでＮ個の異なる個体オブジェクトのそれぞれに対応するＮ枚のピクチャを取得し、１枚のピクチャ毎に１つの参照顔が対応され、このＮ枚のピクチャを参照画像とすることができる。あるいは、予め撮影された異なる顔を含む複数枚の画像からＮ枚の参照画像を特定してもよい。
【0060】
例示的には、前記複数の第２実顔モデルのそれぞれに対して、第２実顔モデルを生成する方法は、参照顔を含む複数枚の参照画像を取得することと、複数枚の参照画像のそれぞれについて前記参照画像に含まれる参照顔に対して３次元の顔再構築を行うことで、当該参照画像に対応する第２実顔モデルを取得することと、を含む。
【0061】
、参照顔に対して３次元の顔再構築を行う方法は、上記した初期顔に対して３次元の顔再構築を行う方法と類似するので、ここで重複に説明しないものとする。取得した第２実顔モデルは、参照画像における参照顔の複数のキーポイントのうちの各キーポイントの予め設定されたカメラ座標系における位置情報を含む。ここで、この第２実顔モデルの座標系と第１実顔モデルの座標系は、同一の座標系であってもよい。
【0062】
予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、例えば、複数の第２実顔モデル及び第１実顔モデルに対して最小二乗処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するという方式を利用することができる。
【0063】
例示的には、Ｎ個の第２実顔モデルが予め生成された場合、第１実顔モデルに対応するモデルデータをＤa、第２実顔モデルに対応するモデルデータをＤbi（ｉ∈［１，Ｎ］）として表すことができ、ここで、ＤbiはＮ個の第２実顔モデルのうちｉ番目の第２実顔モデルを示す。
【0064】
Ｄaを利用してＤb1～ＤbNのそれぞれに対して最小二乗処理を行うことで、Ｎ個のフィッティング値を取得することができ、このフィッティング値をαi（ｉ∈［１，Ｎ］）として表す。ここで、αiはｉ番目の第２実顔モデルに対応するフィッティング値を示す。Ｎ個のフィッティング値を利用してフィッティング係数Ａｌｐｈａを決定することができ、例えば係数行列として表すことができ、即ち、Ａｌｐｈａ＝[α1，α2，…，αN]である。
【0065】
ここでは、複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行うプロセスにおいて、複数のフィッティング係数により複数の第２実顔モデルを重み付け加算して得られたデータは、第１実顔モデルのデータにできるだけ近づくことが可能である。
【0066】
このフィッティング係数は、複数の第２実顔モデルを利用して第１実顔モデルを表現する際の各第２実顔モデルの表現係数として見なされてもよい。換言すると、表現係数における、複数の第２実顔モデルのそれぞれに対応するフィッティング値を利用して、第２実顔モデルを第１実顔モデルに変換やフィッティングすることができる。
【0067】
上記したステップＳ１０３について、予め設定されたスタイルは、例えば、カートゥーンスタイル、古代スタイル、又は抽象スタイル等であってもよく、実際の必要に応じて具体的に設定することができる。例示的には、予め設定されたスタイルがカートゥーンスタイルである場合、予め設定されたスタイルを有する仮想顔モデルは、例えば、あるカートゥーンスタイルを有する仮想顔モデルである。
【0068】
さらに、複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する複数の仮想顔モデルを取得するための方法は、例えば、次の(ａ1)と(ａ２)のうちの少なくとも１つを含む。
【0069】
(ａ1)１つの第２実顔モデルに対応する仮想顔モデルを取得することを例に取ると、参照画像に基づいて参照顔の特徴を有し且つ予め設定されたスタイルを有する仮想顔画像を設計作成し、仮想顔画像における仮想顔に対して３次元モデリングを行うことで、仮想顔画像における仮想顔モデルの骨格データ及びスキンデータを取得することができる。
【0070】
ここで、この骨格データは、仮想顔に対して予め設定された複数の骨格の予め設定された座標系における骨格回転データ、骨格スケールデータ、及び骨格位置データを含む。ここで、複数の骨格は、例えば複数の階層に分けられることができ、例えば、ルート(ｒｏｏｔ)骨格、五官骨格、及び五官細部骨格を含む。五官骨格は、眉骨、鼻骨、頬骨、顎骨、口骨等を含んでもよい。五官細部骨格は、例えば異なる五官骨格をさらに詳細に分けることができる。異なるスタイルを有する仮想画像のニーズに応じて具体的に設定することができ、ここでは限定されない。
【0071】
スキンデータは、仮想顔の表面の複数の位置ポイントの予め設定された座標系における位置情報、及び各位置ポイントと複数の骨格のうちの少なくとも一つの骨格との関連関係情報を含む。
【0072】
仮想顔画像における仮想顔に対して３次元モデリングを行って得られた仮想モデルを、第２実顔モデルに対応する仮想顔モデルとする。
【0073】
（ａ２）予め設定されたスタイルを有する標準仮想顔モデルを予め生成する。この標準仮想顔モデルは同様に、標準骨格データ、標準スキンデータ、及び標準骨格データと標準スキンデータとの関連関係を含む。設計修正済みの標準的仮想顔モデルが予め設定されたスタイルを有すると同時に、参照画像における参照顔の特徴も含むように、参照顔に基づいて標準的仮想顔モデルにおける標準骨格データを設計修正する。その次に、標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータを調整するとともに、標準スキンデータに参照顔の特徴情報を追加することもでき、そして、修正済みの標準骨格データと修正済みの標準スキンデータに基づいて、第２実顔モデルに対応する仮想顔モデルを生成する。
【0074】
ここでは、仮想顔モデルの具体的なデータの表現は、上記した（ａ１）での記述を参照でき、ここで重複に説明しないものとする。
【0075】
図２に示すように、本発明の実施例ではさらに、複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルの骨格データに基づいて、目標画像に対応する目標仮想顔モデルを生成する方法が提案されており、該方法は、次のステップを含む。
【0076】
Ｓ２０１：複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する。
【0077】
骨格データは、仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含む。
【0078】
１つの実施可能な形態では、複数の第２実顔に対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格データを補間処理することで、目標骨格データを取得することができる。取得した目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含む。
【0079】
ここでは、目標骨格位置データは、例えば、骨格中心点のモデル座標系における３次元座標値を含み、目標骨格スケールデータは、例えば、目標骨格の標準仮想顔モデルにおける骨格に対するスケール比例を含み、目標骨格回転データは、例えば、骨格軸線のモデル座標系における回転角度を含む。
【0080】
例示的には、複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、例えば次の（ｂ１）～（ｂ３）のうちの少なくとも１つによって実現することができる。
【0081】
（ｂ１）複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、目標骨格位置データを取得する。
【0082】
（ｂ２）複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得する。
【0083】
（ｂ３）複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数(Ｑｕａｔｅｒｎｉｏｎ)データに変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで正規化四元数を取得し、そして、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、目標骨格回転データを取得する。
【0084】
具体的な実施プロセスにおいて、上記した方法(ｂ１)及び(ｂ２)について、骨格位置データ及び骨格スケールデータを取得する際に、複数の第２実顔モデルに基づいて、各階層骨格及び各階層骨格に対応する局所座標系を決定することをさらに含む。顔モデルの骨格階層化を行う際に、例えば、生物学的骨格階層化方法に従って骨格階層を決定してもよいし、顔再構築の要求に応じて骨格階層を決定してもよく、具体的な階層化方法は、実際の状況に応じて決定することができ、ここで重複に説明しないものとする。
【0085】
各骨格階層を決定した後、各骨格階層に基づいて各骨格階層に対応する骨格座標系を確立することができる。例示的には、各階層骨格をＢｏｎｅiとして表すことができる。
【0086】
この場合、骨格位置データは、仮想顔モデルにおける各階層骨格Ｂｏｎｅiのそれに対応する骨格座標系における３次元座標値を含み、骨格スケールデータは、仮想顔モデルにおける各階層骨格Ｂｏｎｅiのそれに対応する骨格座標系における骨格スケール程度を示す百分比を含み、例えば８０％、９０％又は１００％であってよい。
【0087】
１つの実施可能な形態では、ｉ番目の仮想顔モデルに対応する骨格位置データをＰｏｓi、ｉ番目の仮想顔モデルに対応する骨格スケールデータをＳｃａｌｉｎｇiとして表す。この場合、骨格位置データＰｏｓiは、複数の階層の骨格のそれぞれに対応する骨格位置データを含み、骨格スケールデータＳｃａｌｉｎｇiは、複数の階層の骨格のそれぞれに対応する骨格スケールデータを含む。
【0088】
この場合に対応するフィッティング係数は、αiである。Ｍ個の第２実顔モデルに対応するフィッティング係数に基づいてＭ個の仮想顔モデルに対応する骨格位置データＰｏｓiを補間処理することで、目標骨格位置データを取得する。
【0089】
例示的には、例えばフィッティング係数を各仮想顔モデルに対応する重みとして、仮想顔モデルに対応する骨格位置データＰｏｓiを重み付け加算処理することで、補間処理プロセスを実現することができる。この場合、目標骨格位置データＰｏｓnewは、以下の数式(１)を満たす。
【数1】
【0090】
同様に、Ｍ個の第２実顔モデルに対応するフィッティング係数に基づいてＭ個の仮想顔モデルに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得する。ここで、ｉ番目の仮想顔モデルに対応する骨格スケールデータをＳｃａｌｉｎｇiとして表し、Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数を、仮想顔モデルに対応する重みとして、Ｍ個の仮想顔モデルのそれぞれに対応する骨格スケールデータを重み付け加算処理することで、Ｍ個の仮想顔モデルの補間処理を実現することができる。この場合、目標骨格スケールデータＳｃａｌｉｎｇnewは、以下の数式(２)を満たす。
【数2】
【0091】
上記した方法(ｂ３)について、骨格回転データは、仮想顔モデルにおける各骨格のそれに対応する骨格座標系における、骨格回転座標変換程度を示すためのベクトル値を含み、例えば、回転軸と回転角とを含む。１つの実施可能な形態では、ｉ番目の仮想顔モデルに対応する骨格回転データをＴｒａｎｓiとして表す。骨格回転データに含まれる回転角にはジンバルロック（Ｇｉｍｂａｌ Ｌｏｃｋ）問題があるため、骨格回転データを四元数に変換し、四元数を直接に重み付け加算処理する際のオーバーフィッティング（ｏｖｅｒｆｉｔｔｉｎｇ）現象の発生を防止するために、四元数を正規化することで正規化四元数データを取得することとなり、そのデータがＴｒａｎｓ′iとして表される。
【0092】
Ｍ個の第２実顔モデルに対応するフィッティング係数に基づいてＭ個の仮想顔モデルに対応する正規化四元数Ｔｒａｎｓ′iを補間処理する場合、Ｍ個の第２実顔モデルに対応するフィッティング係数を重みとして、Ｍ個の仮想顔モデルに対応する正規化四元数を重み付け加算することもできる。この場合、目標骨格回転データＴｒａｎｓnewは、以下の数式(３)を満たす。
【数3】
【0093】
上記した(ｂ１)、(ｂ２)、及び(ｂ３)で取得した目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewによれば、Ｂｏｎｅnewとして表す目標骨格データを決定することができる。例示的には、この目標骨格データをベクトル形態で(Ｐｏｓnew，Ｓｃａｌｉｎｇnew，Ｔｒａｎｓnew)として表すことができる。
【0094】
目標画像に対応する目標仮想顔モデルを生成する方法は、上記したＳ２０１に続く次のステップをさらに含む。
【0095】
Ｓ２０２：目標骨格データに基づいて目標仮想顔モデルを生成する。
【0096】
図３に示すように、本発明の実施例で提案される目標骨格データに基づいて第１実顔モデルに対応する目標仮想顔モデルを生成するための具体的な方法であり、該方法は、次のステップを含む。
【0097】
Ｓ３０１：目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成する。
【0098】
Ｓ３０２：目標骨格データ及び目標スキンデータに基づいて目標仮想顔モデルを生成する。
【0099】
ここでは、標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係は、例えば、各階層の骨格に対応する標準骨格データと標準スキンデータとの関連関係である。この関連関係に基づき、仮想顔モデルにおける骨格にスキンをバインドすることができる。
【0100】
生成される目標スキンデータ中の階層骨格に対応する位置が対応する目標骨格データ中の位置と一致するように、目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して、複数の階層の骨格に対応する位置のスキンデータに対して位置変換処理を行ってもよい。
【0101】
ここでは、標準仮想顔モデルにおける骨格データと標準スキンデータとの関連関係は、標準スキン変形データ中の各位置ポイントのモデル座標系における座標値と、骨格の骨格位置データ、骨格スケールデータ、及び骨格回転データのうちの少なくとも１つとの関連関係を含む。
【0102】
目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して複数の階層の骨格に対応する位置でのスキンデータの位置変換処理を行う際に、目標骨格データが決定された場合、即ち目標骨格の目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つが決定された場合、上記した関連関係を利用して、骨格が標準骨格データから目標骨格データに変換された後の、標準スキンデータ中の各位置ポイントのモデル座標系における新しい座標値を決定し、さらに、標準スキンデータ中の各位置ポイントのモデル座標系における新しい座標値に基づいて、目標仮想顔モデルの目標スキンデータを取得することができる。
【0103】
目標骨格データを利用して目標仮想顔モデルを確立するための各階層骨格を決定することができ、目標スキンデータを利用してモデルが骨格にバインドされるスキンを決定することができ、さらに、目標仮想顔モデルを確立することができる。
【0104】
目標仮想顔モデルを確立する方法としては、目標骨格データ及び目標スキンデータに基づいて目標仮想顔モデルを直接確立してもよいし、各階層骨格に対応する目標骨格データを利用して、第１実顔モデルにおける対応する各階層骨格データを置き換えてから、目標スキンデータを利用して目標仮想顔モデルを確立してもよい。目標仮想顔モデルを確立するための具体的な方法は、実際の状況に応じて決定することができ、ここで重複に説明しないものとする。
【0105】
本発明の実施例ではさらに、本発明の実施例で提案される顔再構築方法を利用して目標画像ＰｉｃAにおける初期顔Ａに対応する目標仮想顔モデルＭｏｄAimを取得する具体的なプロセスに関する説明が提供されている。
【0106】
目標仮想顔モデルＭｏｄAimの確立は、次のステップ（ｃ１）～（ｃ５）を含む。
【0107】
（ｃ１）素材を用意する。具体的には、標準仮想顔モデルの素材を用意することと、仮想ピクチャの素材を用意することと、を含む。
【0108】
標準仮想顔モデルの素材を用意する際に、予め設定されたスタイルとしてカートゥーンスタイルを選択することを例にとって説明すると、先ずカートゥーンスタイルを有する標準仮想顔モデルＭｏｄBaseを設定する。
【0109】
仮想ピクチャの素材を用意する際に、２４枚の仮想ピクチャＰｉｃ1～Ｐｉｃ24を収集する。収集した２４枚の仮想ピクチャは、仮想顔Ｂ1～Ｂ24に対応する男女の数が平衡しており、できるだけ広範な五官特徴分布を含んでいる。
【0110】
（ｃ２）顔モデルを再構築する。具体的には、目標画像ＰｉｃAにおける初期顔Ａを利用して第１実顔モデルＭｏｄfstを生成することと、仮想ピクチャ中の仮想顔Ｂ1～Ｂ24を利用して第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を生成することと、を含む。
【0111】
初期顔Ａを利用して第１実顔モデルＭｏｄfstを生成する際に、先ず目標画像における顔の向きを正しくして切り取って、その次に予めトレーニングされたＲＧＢ再構築ニューラルネットワークを利用して、初期顔Ａに対応する第１実顔モデルＭｏｄfstを生成する。同様に、予めトレーニングされたＲＧＢ再構築ニューラルネットワークを利用して、仮想顔Ｂ1～Ｂ24のそれぞれに対応する第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を確立することができる。
【0112】
第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を確立した後、予め設定されたスタイルを利用して、手動調整で、第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24のそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24を確立することをさらに含む。
【0113】
（ｃ３）フィッティング処理を行う。具体的には、複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数ａｌｐｈａ＝［ａｌｐｈａsnd-1，ａｌｐｈａsnd-2，・・・，ａｌｐｈａsnd-24］を取得することを含む。
【0114】
複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行う際に、最小二乗法を選択してフィッティングを行うことで、２４次元係数ａｌｐｈａを取得する。
【0115】
（ｃ４）目標骨格データを決定する。具体的には、目標骨格データを決定する際に、次のステップ(ｃ４-１)及び(ｃ４-２)を含む。
【0116】
（ｃ４-１）骨格データを読み取る。ここで、骨格データは、各階層骨格Ｂｏｎｅiにおける予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24のそれぞれに対応する骨格位置データＰｏｓi、骨格スケールデータＳｃａｌｉｎｇi、及び骨格回転データＴｒａｎｓiを含む。
【0117】
（ｃ４-２）フィッティング係数ａｌｐｈａを利用して予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24に対応する骨格データの補間処理を行うことで、目標骨格データＢｏｎｅnewを生成する。この目標骨格データは、目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewを含む。
【0118】
（ｃ５）目標仮想顔モデルを生成する。
【0119】
目標骨格データを利用して目標仮想顔モデルを確立するための各階層骨格を決定し、目標骨格データを標準仮想顔モデルＭｏｄBaseに代入するとともに、目標スキンデータを利用してモデルが骨格にバインドされるスキンを決定し、そして予め確立された標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して、第１実顔モデルに対応する目標仮想顔モデルを生成する。
【0120】
図４に示すように、本発明の実施例で提案される上記した具体的な例示に含まれる複数のプロセスにおいて使用される具体的なデータの例示である。具体的には、図４のａは、目標画像を示し、４１は、初期顔Ａを示し、図４のｂは、カートゥーンスタイルを有する標準仮想顔モデルを示す概略図であり、図４のｃは、第１実顔モデルに対応して生成された目標仮想顔モデルを示す概略図である。
【0121】
ここでは、上記したステップ(ｃ１)～(ｃ５)は、顔再構築方法の具体的な一例示に過ぎず、本発明の実施例で提案される顔再構築方法を制限するものではない点に留意すべきである。
【0122】
当分野の技術者にとっては、具体的な実施形態で記載された上記した方法において、各ステップの記載順序は、実施プロセスを制限するような厳密な実行順序を意味するものではなく、各ステップの具体的な実行順序は、その機能及び可能的な固有ロジックによって決定されるとは、理解されるべきであろう。
【0123】
本発明の実施例ではさらに、上記と同じ発明の構想に基づく、顔再構築方法に対応する顔再構築装置が提案されている。本発明の実施例における装置に係る問題解決原理は、本発明の実施例における上記した顔再構築方法と類似するので、装置の実施は、方法の実施を参照でき、重複点についてこれ以上説明しないものとする。
【0124】
図５に示すように、本発明の実施例では顔再構築装置が提案されており、前記装置は、第１生成モジュール５１、処理モジュール５２、及び第２生成モジュール５３を含む。
【0125】
第１生成モジュール５１：目標画像に基づいて第１実顔モデルを生成するように構成される。
【0126】
処理モジュール５２：予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される。
【0127】
第２生成モジュール５３：前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する複数の仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される。
【0128】
選択的な一実施形態では、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、に用いられる。
【0129】
選択的な一実施形態では、前記第２生成モジュール５３は、前記目標骨格データに基づいて前記目標仮想顔モデルを生成する際に、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、に用いられる。
【0130】
選択的な一実施形態では、前記仮想顔モデルの骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含み、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つのデータを含む。
【0131】
選択的な一実施形態では、前記目標骨格データは、前記目標骨格位置データを含み、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することに用いられる。
【0132】
選択的な一実施形態では、前記目標骨格データは、前記目標骨格スケールデータを含み、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することに用いられる。
【0133】
選択的な一実施形態では、前記目標骨格データは、前記目標骨格回転データを含み、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、に用いられる。
【0134】
選択的な一実施形態では、前記第１生成モジュール５１は、目標画像に基づいて第１実顔モデルを生成する際に、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、に用いられる。
【0135】
選択的な一実施形態では、前記処理モジュール５２は、前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する。
【0136】
選択的な一実施形態では、前記処理モジュール５２は、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することに用いられる。
【0137】
装置に係る各モジュールの処理プロセス及び各モジュール間の相互作用プロセスに関する記述は、上記した方法実施例における関連記述を参照でき、ここでは詳しく説明しないものとする。
【0138】
図６に示すように、本発明の実施例ではさらに、プロセッサ６１及びメモリ６２を含むコンピュータデバイスが提案されている。
【0139】
メモリ６２には、プロセッサ６１で実行できる機械読み取り可能な命令が格納されており、プロセッサ６１は、メモリ６２に格納された機械読み取り可能な命令を実行するように構成され、当該機械読み取り可能な命令がプロセッサ６１で実行される際に、プロセッサ６１は、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を実行することとなる。
【0140】
上記したメモリ６２は、内部メモリ６２１及び外部メモリ６２２を含む。ここでの内部メモリ６２１は、内蔵メモリとも呼ばれ、プロセッサ６１における演算データ、及びハードディスク等の外部メモリ６２２との交換データを一時的に格納するように構成され、プロセッサ６１は、内部メモリ６２１を介して外部メモリ６２２とのデータ交換を行うように構成される。
【0141】
上記した命令の具体的な実行プロセスは、本発明の実施例で説明した顔再構築方法を参照でき、ここで重複に説明しないものとする。
【0142】
本発明の実施例ではさらに、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータ・プログラムがプロセッサで実行される際に、上記した方法実施例で説明した顔再構築方法が実施されることとなる、コンピュータ読み取り可能な記憶媒体が提案されている。また、当該記憶媒体は、揮発性もしくは不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。
【0143】
本発明の実施例ではさらに、プログラムコードを含むコンピュータ・プログラム製品が提案されており、前記プログラムコードに含まれる命令によって上記した方法実施例で説明した顔再構築方法を実施することができる。具体的には上記した方法実施例を参照でき、ここで重複に説明しないものとする。
【0144】
また、上記したコンピュータ・プログラム製品は具体的に、ハードウェア、ソフトウェア又はそれらの組み合わせで実現することができる。選択的な一実施例では、前記コンピュータ・プログラム製品は、コンピュータ記憶媒体として具現化しているが、選択的な別の一実施例では、コンピュータ・プログラム製品は、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ)等のソフトウェア製品として具現化している。
【0145】
記述の便利及び簡潔のため、上記したシステム及び装置の具体的な作業プロセスは、上記した方法実施例における対応プロセスを参照できるとは、当分野の技術者には明白であろう。ここでは、重複に説明しないものとする。本発明で提案される幾つかの実施例では、披露されたシステム、装置、及び方法が他の形態で実現され得ることは、理解されるべきであろう。上記した装置実施例は、単なる例示的なものに過ぎず、例えば、上記したユニットの区画は、単なる論理的な機能の区画に過ぎず、実際の実施時、他の区画方法が存在してもよく、また例えば、複数のユニットまたは構成要素が別のシステムに組み合わせられたり集成されたりすることができ、一部の特徴が無視されたり実行されなかったりすることもできる。また、表示または討論される相互結合または直接結合または通信接続は、幾つかのインターフェース、装置またはユニットを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0146】
分離部品として説明する前記ユニットは、物理的に分離したものであってもなくてもよく、ユニットとして表される部品は、物理ユニットであってもなくてもよく、即ち、同一の箇所に位置しても、複数のネットワークユニットに配置されてもよい。本実施例に係る技術案の目的を実現するために、実際の必要に応じて上記したユニットから一部または全部を選択することができる。
【0147】
また、本発明の各実施例における各機能ユニットについては、全てのユニットが１つの処理ユニットに集成されてもよいし、各ユニットが単独で物理的に存在してもよいし、２つ以上のユニットが１つのユニットに集成されてもよい。
【0148】
上記した機能は、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売されるかまたは使用される場合、プロセッサで実行できる不揮発性のコンピュータ読み取り可能な記憶媒体に格納され得る。このような理解を基に、本発明に係る技術案は本質的に、換言すれば従来技術に貢献する部分又は当該技術案の一部がソフトウェア製品の形態で体現でき、当該コンピュータソフトウェア製品は、記憶媒体に格納され、１台のコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイス等であってもよい）に本発明の各実施例で説明した方法におけるステップの全部又は一部を実行させるための若干の命令を含む。上記した記憶媒体としては、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを記憶可能な各種媒体が挙げられる。
【0149】
最後に説明したいこととして、上記した実施例は、単なる本発明の具体的な実施形態に過ぎず、本発明に係る技術案を説明するためのものであり、それを制限するものでなく、本発明の保護範囲は、上記した実施例に制限されるものではない。上記した実施例を参照して本発明について詳しく説明したが、当分野の通常の技術者にとっては、本技術分野に熟知する任意の技術者であれば、本発明に披露された技術範囲内で、上記した実施例に記載された技術案を補正したり、その変更に容易に想到したり、その一部の技術特徴について同等な置換を行ったりすることができ、これらの修正、変更または置換は、関連する技術案の本質が本発明の実施例に係る技術案の精神及び範囲から逸脱したことを招来するものでないため、本発明の保護範囲内に含まれるとは、理解されるべきであろう。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲を基準とするものとする。
【0150】
本特許出願は、２０２０年１１月２５日に提出された、出願番号が２０２０１１３４２１６９.７、発明の名称が「顔再構築方法、装置、コンピュータデバイス、及び記憶媒体」である中国特許出願の優先権を主張しており、当該中国特許出願が援用により本明細書に組み込まれるものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2022-03-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む、
ことを特徴とする顔再構築方法。
【請求項2】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、
前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、を含む、
ことを特徴とする請求項１に記載の顔再構築方法。
【請求項3】
前記目標骨格データに基づいて前記目標仮想顔モデルを生成することは、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、
前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、を含む、
ことを特徴とする請求項２に記載の顔再構築方法。
【請求項4】
前記仮想顔モデルに対応する骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、
骨格位置データ、及び
骨格スケールデータのうちの少なくとも１つのデータを含み、
前記目標骨格データは、
目標骨格位置データ、
目標骨格スケールデータ、及び
目標骨格回転データのうちの少なくとも１つのデータを含み、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することを含む、
ことを特徴とする請求項２または３に記載の顔再構築方法。
【請求項5】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することを含む、
ことを特徴とする請求項４に記載の顔再構築方法。
【請求項6】
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、を含む、
ことを特徴とする請求項４または５に記載の顔再構築方法。
【請求項7】
前記目標画像に基づいて第１実顔モデルを生成するステップは、初期顔を含む目標画像を取得することと、
前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む、
ことを特徴とする請求項１乃至６の何れか一項に記載の顔再構築方法。
【請求項8】
前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、
前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する、
ことを特徴とする請求項１乃至７の何れか一項に記載の顔再構築方法。
【請求項9】
目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される第２生成モジュールと、を含む、
ことを特徴とする顔再構築装置。
【請求項10】
プロセッサ及びメモリを含むコンピュータデバイスであって、前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行されるとき、前記プロセッサは、請求項１乃至８の何れか一項に記載の顔再構築方法を実施する、コンピュータデバイス。
【請求項11】
コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ・プログラムがコンピュータデバイスで実行されるとき、前記コンピュータデバイスは、請求項１乃至８の何れか一項に記載の顔再構築方法を実施する、コンピュータ読み取り可能な記憶媒体。
【国際調査報告】