ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特表2022-541569単色画像及び深度情報を使用した顔テクスチャマップ生成
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-26
(54)【発明の名称】単色画像及び深度情報を使用した顔テクスチャマップ生成
(51)【国際特許分類】
G06T 15/04 20110101AFI20220915BHJP
【ＦＩ】
G06T15/04
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022503565
(86)(22)【出願日】2020-07-09
(85)【翻訳文提出日】2022-01-18
(86)【国際出願番号】 IB2020056482
(87)【国際公開番号】W WO2021009630
(87)【国際公開日】2021-01-21
(31)【優先権主張番号】16/515,263
(32)【優先日】2019-07-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＢＬＵＥＴＯＯＴＨ
３．ＷＣＤＭＡ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100151987
【弁理士】
【氏名又は名称】谷口 信行
(72)【発明者】
【氏名】フー ジエ
(72)【発明者】
【氏名】ガラヴィ－アルクハンサリ モハメド
【テーマコード（参考）】
5B080
【Ｆターム（参考）】
5B080AA18
5B080CA08
5B080DA06
5B080FA02
5B080FA08
5B080GA22
(57)【要約】
単色画像及び深度情報を使用した顔テクスチャマップ生成のための電子装置を提供する。電子装置は、顔の第１のカラー画像及び対応する深度情報、顔のテクスチャリングされていない３次元（３Ｄ）顔モデル、及び基準顔テクスチャモデルを記憶する。電子装置は、テクスチャリングされていない３Ｄ顔モデル、第１のカラー画像及び深度情報に基づいて、顔の第１のテクスチャマップを生成する。電子装置は、第１のテクスチャマップ上の複数の第１の有効点上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって第２のテクスチャマップをさらに生成する。電子装置は、第２のテクスチャマップの目的関数の最小化に基づいて第２のテクスチャマップを精細化し、第１のテクスチャマップ及び精細化された第２のテクスチャマップに基づいて最終テクスチャマップを生成する。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
回路を備えた電子装置であって、前記回路は、ユーザの顔のテクスチャリングされていない３Ｄ顔モデル、第１のカラー画像及び対応する深度情報に基づいて、前記ユーザの前記顔の第１のテクスチャマップを生成し、
前記生成された第１のテクスチャマップ上の、前記第１のカラー画像において観察される前記ユーザの前記顔に属する点に対応する複数の第１の有効点上で、前記ユーザの前記顔とは異なる複数の顔の複数の顔テクスチャマップの主成分分析（ＰＣＡ）モデルである基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、前記ユーザの前記顔の第２のテクスチャマップを生成し、
前記生成された第２のテクスチャマップの目的関数の最小化に基づいて、前記生成された第２のテクスチャマップを精細化し、
前記生成された第１のテクスチャマップ及び前記精細化された第２のテクスチャマップに基づいて、前記ユーザの前記顔の最終テクスチャマップを生成する、
ように構成される、
ことを特徴とする電子装置。
【請求項2】
前記テクスチャリングされていない３Ｄ顔モデルは、前記ユーザの前記顔の形状改善された３Ｄ顔モデルである、請求項１に記載の電子装置。
【請求項3】
前記ＰＣＡモデルは、前記ユーザの前記顔とは異なる前記複数の顔の前記複数の顔テクスチャマップ上におけるＰＣＡの適用によって抽出される固有ベクトルと固有値との組み合わせに対応する、請求項１に記載の電子装置。
【請求項4】
前記ユーザの前記顔の第１の複数のカラー画像と、前記第１の複数のカラー画像に対応する第１の深度情報とを取り込むように構成されたスキャニング装置をさらに備え、前記第１の複数のカラー画像及び前記対応する第１の深度情報は、前記第１のカラー画像及び前記対応する深度情報を含む、
請求項１に記載の電子装置。
【請求項5】
前記回路は、前記取り込まれた第１の複数のカラー画像及び対応する第１の深度情報に基づいて、前記ユーザの前記顔の前記テクスチャリングされていない３Ｄ顔モデルを生成するようにさらに構成される、請求項４に記載の電子装置。
【請求項6】
前記ユーザの前記顔とは異なる前記複数の顔の第２の複数のカラー画像と、対応する第２の深度情報とを取り込むように構成されたスキャニング装置をさらに備え、前記複数の顔の前記取り込まれる第２の複数のカラー画像は、一般的周囲照明条件下で取り込まれる、
請求項１に記載の電子装置。
【請求項7】
前記回路は、前記取り込まれた第２の複数のカラー画像に基づいて、互いに位置合わせされた前記複数の顔の各々の顔メッシュを生成し、
前記複数の顔のうちの対応する顔の前記生成された顔メッシュをＵ－Ｖ座標マップ上でアンラップ処理することに基づいて、前記複数の顔のうちの前記対応する顔の前記複数の顔テクスチャマップの各顔テクスチャマップを生成する、
ようにさらに構成される、請求項６に記載の電子装置。
【請求項8】
前記回路は、前記ユーザの前記顔とは異なる前記複数の顔の前記複数の顔テクスチャマップ上における主成分分析（ＰＣＡ）の適用によって、前記基準顔テクスチャモデルを生成するようにさらに構成される、請求項７に記載の電子装置。
【請求項9】
前記回路は、前記第１のカラー画像上の第１の複数の三角形を決定し、
３Ｄ空間内で前記テクスチャリングされていない３Ｄ顔モデル上に前記第１のカラー画像を透視投影することに基づいて、前記第１のカラー画像上の前記第１の複数の三角形の各三角形を、前記テクスチャリングされていない３Ｄ顔モデル上の第２の複数の三角形のうちの対応する三角形にマッピングする、
ようにさらに構成される、請求項１に記載の電子装置。
【請求項10】
前記回路は、Ｕ－Ｖ座標マップ上における前記第２の複数の三角形のＵ－Ｖ座標マッピングによって、前記Ｕ－Ｖ座標マップ上の第３の複数の三角形を決定するようにさらに構成される、請求項９に記載の電子装置。
【請求項11】
前記回路は、前記Ｕ－Ｖ座標マップ上の前記第３の複数の三角形と、前記第１のカラー画像上の前記第１の複数の三角形との間のアフィン変換を計算し、
前記第３の複数の三角形の各三角形に対するテクスチャの適用によって、テクスチャリングされたＵ－Ｖ座標マップを決定する、
ようにさらに構成され、
各三角形に対するテクスチャの前記適用は、前記計算されたアフィン変換に基づき、
前記テクスチャリングされたＵ－Ｖ座標マップは、前記第１のテクスチャマップである、
請求項１０に記載の電子装置。
【請求項12】
前記Ｕ－Ｖ座標マップ上の前記第３の複数の三角形の各三角形に対する前記テクスチャの前記適用は、前記第１のカラー画像上の前記第１の複数の三角形のうちの対応する三角形からの色情報の補間にさらに基づく、請求項１１に記載の電子装置。
【請求項13】
前記回路は、反射率モデル、前記第１のテクスチャマップ及び前記テクスチャリングされていない３Ｄ顔モデルに基づいて、前記第１のテクスチャマップの周囲光及び拡散光の各々の照明強度、照明方向及び正反射率を繰り返し推定するようにさらに構成され、
前記反射率モデルは、前記周囲光及び前記拡散光の各々の前記照明強度と、前記照明方向と、前記正反射率との間の関係を含む、
請求項１に記載の電子装置。
【請求項14】
前記回路は、前記テクスチャモデルフィッティングにおいて、前記基準顔テクスチャモデル、前記推定される前記周囲光及び前記拡散光の各々の照明強度、前記照明方向及び前記正反射率に基づいて、前記第１のテクスチャマップ上の複数の点のアルベド値の組を推定するように構成される、請求項１３に記載の電子装置。
【請求項15】
前記生成された第１のテクスチャマップ上の前記複数の第１の有効点の各有効点は、前記第１のカラー画像から対応する点が観察される点である、請求項１に記載の電子装置。
【請求項16】
前記回路は、前記第１のテクスチャマップ上の前記複数の点と、前記第２のテクスチャマップ上の前記複数の点との間の第１の複数の対応についての第１の関係に基づいて、前記第２のテクスチャマップ上の複数の点のオフセット項を計算し、
前記第２のテクスチャマップ上の前記複数の点のうちの隣接する点間の第２の複数の対応についての第２の関係に基づいて、前記第２のテクスチャマップ上の複数の点の平滑化項を計算する、
ようにさらに構成される、請求項１に記載の電子装置。
【請求項17】
前記回路は、前記計算されたオフセット項及び前記計算された平滑化項に基づいて、前記目的関数を最小化するようにさらに構成される、請求項１６に記載の電子装置。
【請求項18】
前記回路は、前記生成された第１のテクスチャマップからの照明影響の除去にさらに基づいて、前記第２のテクスチャマップを精細化するようにさらに構成される、請求項１７に記載の電子装置。
【請求項19】
前記回路は、前記精細化された第２のテクスチャマップに前記第１のテクスチャマップの照明影響を追加するようにさらに構成される、請求項１８に記載の電子装置。
【請求項20】
前記回路は、前記ユーザの前記顔の第１のマスクに基づいて、前記第１のテクスチャマップの第１の部分を抽出し、
前記ユーザの前記顔の第２のマスクに基づいて、前記精細化された第２のテクスチャマップの第２の部分を抽出し、
前記抽出された第１の部分と前記抽出された第２の部分との組み合わせに基づいて、前記最終テクスチャマップを生成する、
ようにさらに構成される、請求項１に記載の電子装置。
【請求項21】
前記第１の部分は、前記ユーザの前記顔の正面顔部分に対応し、前記第２の部分は、前記ユーザの前記顔の残りの顔部分に対応する、請求項２０に記載の電子装置。
【請求項22】
前記回路は、前記テクスチャリングされていない３Ｄ顔モデル上に前記生成された最終テクスチャマップをレンダリングすることによって、前記ユーザの前記顔のテクスチャリングされた３Ｄ顔モデルを生成するようにさらに構成される、請求項１に記載の電子装置。
【請求項23】
メモリ及び回路を備えた電子装置において、ユーザの顔のテクスチャリングされていない３次元（３Ｄ）顔モデル、第１のカラー画像及び対応する深度情報に基づいて、前記ユーザの前記顔の第１のテクスチャマップを生成することと、
前記生成された第１のテクスチャマップ上の、前記第１のカラー画像において観察される前記ユーザの前記顔に属する点に対応する複数の第１の有効点上で、前記ユーザの前記顔とは異なる複数の顔の複数の顔テクスチャマップの主成分分析（ＰＣＡ）モデルである基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、前記ユーザの前記顔の第２のテクスチャマップを生成することと、
前記生成された第２のテクスチャマップの目的関数の最小化に基づいて、前記生成された第２のテクスチャマップを精細化することと、
前記生成された第１のテクスチャマップ及び前記精細化された第２のテクスチャマップに基づいて、前記ユーザの前記顔の最終テクスチャマップを生成することと、
を含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照／引用による組み入れ〕
なし。
なし。
【0002】
本開示の様々な実施形態は、３次元（３Ｄ）モデリング技術、仮想人間技術及び仮想現実（ＶＲ）技術に関する。具体的には、本開示の様々な実施形態は、単色画像及び深度情報を使用した顔テクスチャマップ生成のための電子装置及び方法に関する。
【背景技術】
【0003】
３次元（３Ｄ）コンピュータグラフィクス及び３Ｄモデリング分野の進歩は、３Ｄコンピュータグラフィックス環境において３Ｄモデルを作成して実物体を視覚化するのに役立つ複数の技術を提供してきた。アニメ映画、ゲーム及び仮想現実システムでは、ユーザ体験を向上させるために３Ｄキャラクタモデルなどの３Ｄモデルがますます使用されている。人の顔の３Ｄ顔モデルは、実際の人の顔に類似することができる３Ｄグラフィカルモデルとすることができる。従来、人に関連する顔テクスチャを３Ｄ顔モデル上にレンダリングするにはテクスチャマップが必要となり得る。このレンダリングは、レンダリング後の３Ｄ顔モデルが人の顔のようであって観察者にリアルに見えることを確実にするために実行することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
いくつかの従来の手法では、限られた数の視点から取り込まれた限られた数の顔画像に基づいてしかテクスチャマップを生成できない場合がある。このような手法では、限られた数の顔画像からの色情報をＵ－Ｖ座標マップ上に直接マッピングすることによってテクスチャマップを生成することができる。しかしながら、限られた数の視点によって生じるオクルージョンに起因して、生成されたテクスチャマップが人の顔の全体的テクスチャを表さないこともある。例えば、顔の正面像から画像が取り込まれた場合、顔の側面、耳及び首などの顔のいくつかの領域のテクスチャがテクスチャマップ内に存在しないことがある。このような３Ｄ顔モデルのテクスチャマップは不完全であり、望ましくないと考えられる。
【0005】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【0006】
実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、単色画像及び深度情報を使用した顔テクスチャマップ生成のための電子装置及び方法を提供する。
【0007】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0008】
【図1】本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的なネットワーク環境を示すブロック図である。
【図2】本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的な電子装置を示すブロック図である。
【図3】本開示の実施形態による、基準顔テクスチャモデルの生成のための例示的な動作を示す図である。
【図4】本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的な動作を示す図である。
【図5】本開示の実施形態による、ユーザの顔の第１のテクスチャマップの生成のための例示的な動作を示す図である。
【図6】本開示の実施形態による、精細化された第２のテクスチャマップの生成のための例示的な動作を示す図である。
【図7】本開示の実施形態による、ユーザの顔の最終テクスチャマップの生成のための例示的な動作を示す図である。
【図8】本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【0009】
開示する単色画像及び深度情報を使用した顔テクスチャマップ生成のための装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、メモリ及び回路を含むことができる電子装置を提供する。メモリは、ユーザの顔の第１の色画像及び対応する深度情報と、ユーザの顔のテクスチャリングされていない３次元（３Ｄ）顔モデルと、基準顔テクスチャモデルとを記憶するように構成することができる。具体的には、第１のカラー画像及び対応する深度情報は、ユーザの顔の正面像を表すことができる。基準顔テクスチャモデルの例は、ユーザの顔とは異なる複数の顔の主成分分析（ＰＣＡ）テクスチャモデルとすることができる。
【0010】
開示する電子装置は、２つのテクスチャマップ、すなわち第１のテクスチャマップと第２のテクスチャマップとの組み合わせに基づいてユーザの顔のテクスチャマップを生成するように構成することができる。第１のテクスチャマップは、ユーザの顔の単一の高解像度カラー画像と、テクスチャリングされていない３Ｄ顔モデルとに基づいて生成することができる。単一の高解像度カラー画像は、ユーザの顔の正面像を表すことができる。テクスチャリングされていない３Ｄ顔モデルは、ユーザの顔の形状改善された（ｓｈａｐｅ－ｒｅｆｉｎｅｄ）３Ｄモデルとすることができ、ユーザの顔の複数の形状特徴を正確に表すことができる。従って、生成された第１のテクスチャマップは、テクスチャリングされていない３Ｄ顔モデルの成形部分に正確にマッピングされたテクスチャを有することができ、形状改善されていない３Ｄ顔モデルに基づいて生成できるテクスチャマップよりも信頼することができる。第１のテクスチャマップは、顔の全ての正面顔領域のテクスチャ情報を取り込むことができ、単一の高解像度カラー画像では、顔の残りの顔領域のテクスチャ情報が隠れる場合があるので、第１のテクスチャマップには顔の残りの顔領域が存在せず、又は不正確に表現されることがある。
【0011】
開示する電子装置は、第１のテクスチャマップ上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることに基づいて、第２のテクスチャマップを生成するようにさらに構成することができる。基準顔テクスチャモデルは、ユーザの顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡに基づいて生成できる顔テクスチャモデルとすることができる。生成された第２のテクスチャマップは、顔の残りの顔領域のテクスチャ情報を含むことができる。開示する電子装置は、第１のテクスチャマップと第２のテクスチャマップとの組み合わせに基づいて、最終テクスチャマップを生成するようにさらに構成することができる。最終テクスチャマップは、第１のテクスチャマップからの眼、鼻及び唇などの正面顔領域と、第２のテクスチャマップからの耳及び首の側面などの残りの顔領域のテクスチャ情報とを含むことができる。生成された最終テクスチャマップは、ユーザの顔の完全なテクスチャを表現することができる。
【0012】
図１は、本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、電子装置１０２、スキャニング装置１０４及びサーバ１０６を含むことができる。スキャニング装置１０４は、イメージセンサ１０４Ａ及び深度センサ１０４Ｂをさらに含むことができる。電子装置１０２、スキャニング装置１０４及びサーバ１０６は、通信ネットワーク１０８を介して互いに通信可能に結合することができる。スキャニング装置１０４は、ユーザ１１６に関連することができる。電子装置１０２は、ユーザ１１６の顔の第１のカラー画像１１０と、ユーザ１１６の顔の深度情報１１２と、ユーザ１１６の顔のテクスチャリングされていない３次元（３Ｄ）顔モデル１１４とを記憶するように構成することができる。
【0013】
電子装置１０２は、基準顔テクスチャモデルを記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。基準顔テクスチャモデルは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出される複数の固有値及び複数の固有ベクトルとすることができる。電子装置１０２は、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４と、第１のカラー画像１１０と、深度情報１１２とに基づいて、ユーザ１１６の顔の第１のテクスチャマップを生成するようにさらに構成することができる。電子装置１０２は、生成された第１のテクスチャマップ上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることに基づいて、ユーザ１１６の顔の第２のテクスチャマップを生成するようにさらに構成することができる。電子装置１０２は、生成された第２のテクスチャマップを精細化し、第１のテクスチャマップ及び精細化された第２のテクスチャマップに基づいて、ユーザ１１６の顔の最終テクスチャマップを生成するようにさらに構成することができる。電子装置１０２の例としては、以下に限定するわけではないが、コンピュータ装置、スマートフォン、ビデオ会議システム、拡張現実ベースの装置、ゲーム装置、メインフレームマシン、サーバ、コンピュータワークステーション及び／又は消費者電子（ＣＥ）装置を挙げることができる。
【0014】
スキャニング装置１０４は、ユーザ１１６の顔をスキャンするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。スキャニング装置１０４は、１又は２以上の視野角からユーザ１１６の顔の複数のカラー画像及び対応する深度情報を取り込むように構成することができる。スキャニング装置１０４は、取り込まれた複数のカラー画像及び対応する深度情報を、通信ネットワーク１０８を介して電子装置１０２及びサーバ１０６に送信するようにさらに構成することができる。スキャニング装置１０４は、様々な視野角からユーザ１１６の顔を取り込むことができる（イメージセンサ１０４Ａなどの）イメージセンサ、（深度センサ１０４Ｂなどの）深度センサ、（赤色－緑色－青色（ＲＧＢ）センサなどの）カラーセンサ及び／又は赤外線（ＩＲ）センサの組み合わせなどの複数のセンサを含むことができる。スキャニング装置１０４の例としては、以下に限定するわけではないが、深度センサ、ＲＧＢセンサ、ＩＲセンサ、３Ｄメッシュ構造生成器、イメージセンサ又は動き検出装置を挙げることができる。
【0015】
サーバ１０６は、スキャニング装置１０４によって取り込まれた複数のカラー画像及び対応する深度情報を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態によれば、サーバ１０６は、ユーザ１１６の顔とは異なる複数の顔の基準顔テクスチャモデルを記憶するようにさらに構成することができる。サーバ１０６の例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、クラウドサーバ、アプリケーションサーバ、メインフレームサーバ又はその他のタイプのサーバを挙げることができる。
【0016】
通信ネットワーク１０８は、電子装置１０２、スキャニング装置１０４及びサーバ１０６が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１０８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィディリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。
【0017】
動作中、スキャニング装置１０４は、１又は２以上の視野角からのユーザ１１６の顔の第１の複数のカラー画像と、第１の複数のカラー画像に対応する第１の深度情報とを取り込むように構成することができる。ユーザ１１６は、スキャニング装置１０４の正面に位置することができる。スキャニング装置１０４のイメージセンサ１０４Ａは、スキャニング装置１０４の正面に位置できるユーザ１１６の顔の第１の複数のカラー画像を取り込むように構成することができる。深度センサ１０４Ｂは、ユーザ１１６の顔の第１の複数のカラー画像に対応する第１の深度情報を取り込むように構成することができる。取り込まれたユーザ１１６の顔の第１の深度情報は、３Ｄ空間内のユーザ１１６の顔上の点の「Ｚ」座標に関する情報を含むことができる。例えば、ほくろ、鼻の盛り上がり、額領域に対する頬領域の深さ、及び顔の異なる領域の異なる深さなどの突出の量を、ユーザ１１６の顔の各領域の第１の深度情報に基づく精度で推定することができる。
【0018】
ユーザ１１６の顔の第１の複数のカラー画像及び対応する第１の深度情報は、これらが互いに同時に取り込まれて同じ視野を表すことができるように互いに同期することができる。第１の複数のカラー画像と対応する第１の深度情報との同期は、３次元視点から見た顔の各領域の形状、異なる顔特徴及び深さの理解の向上をもたらすことができる。スキャニング装置１０４は、第１の複数のカラー画像及び対応する深度情報を、通信ネットワーク１０８を介して電子装置１０２及びサーバ１０６に送信するようにさらに構成することができる。いくつかの実施形態では、スキャニング装置１０４を電子装置１０２の一部とすることができる。このような場合、第１の複数のカラー画像及び対応する第１の深度情報は、直接電子装置１０２に記憶することができる。
【0019】
電子装置１０２は、第１の複数のカラー画像のうちの第１のカラー画像１１０と、第１のカラー画像１１０に対応する深度情報１１２とを記憶するように構成することができる。第１のカラー画像１１０は、深度情報１１２に同期することができる。第１のカラー画像１１０は、ユーザ１１６の顔の実際のテクスチャを描写できる高解像度画像とすることができる。第１のカラー画像１１０は、ユーザ１１６の顔の正面像から取り込むことができる。
【0020】
電子装置１０２は、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４を記憶するようにさらに構成することができる。テクスチャリングされていない３Ｄ顔モデル１１４は、３Ｄ空間におけるユーザ１１６の顔の数学的表現とすることができる。テクスチャリングされていない３Ｄ顔モデル１１４は、ユーザ１１６の顔の形状改善された３Ｄ顔モデルとすることができる。テクスチャリングされていない３Ｄ顔モデル１１４の形状は、ユーザ１１６の顔の形状と同一又はほぼ同一とすることができる。テクスチャリングされていない３Ｄ顔モデル１１４上の複数のランドマーク領域の形状は、ユーザ１１６の顔上の複数のランドマーク領域の実際の形状と同一又はほぼ同一とすることができる。複数のランドマーク領域は、眼、鼻、唇及び人間の顔を定める他の同様の特徴などの、ユーザ１１６の顔の際立った特徴に対応することができる。テクスチャリングされていない３Ｄ顔モデル１１４には、ユーザ１１６の顔のテクスチャ情報が存在しないことがある。
【0021】
ある実施形態によれば、電子装置１０２は、第１の複数のカラー画像及び対応する第１の深度情報に基づいて、テクスチャリングされていない３Ｄ顔モデル１１４を生成するように構成することができる。テクスチャリングされていない３Ｄ顔モデル１１４を生成するための例示的な動作については本明細書で説明する。電子装置１０２は、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４を生成するために、例えば１００～３００個の複数の顔についての主成分分析（ＰＣＡ）に基づいて生成できる３Ｄ顔モデルを記憶するように構成することができる。記憶される３Ｄ顔モデルの形状は、複数の顔の平均形状とすることができる。電子装置１０２は、第１の複数のカラー画像及び対応する第１の深度情報に基づいて、ユーザ１１６の顔の点群（ｐｏｉｎｔ ｃｌｏｕｄ）を生成するようにさらに構成することができる。点群は、眼、鼻及び唇などの複数の特徴点を含むユーザ１１６の顔の外面を表すように生成することができる。
【0022】
電子装置１０２は、生成された点群を記憶された３Ｄ顔モデルと位置合わせするようにさらに構成することができる。電子装置１０２は、ユーザ１１６の顔上の複数の特徴点上で剛性位置合わせ動作（ｒｉｇｉｄ ａｌｉｇｎｍｅｎｔ ｏｐｅｒａｔｉｏｎ）を適用し、ユーザ１１６の顔上の残りの全ての特徴点上で非剛性位置合わせ動作（ｎｏｎ－ｒｉｇｉｄ ａｌｉｇｎｍｅｎｔ ｏｐｅｒａｔｉｏｎ）を適用するようにさらに構成することができる。剛性位置合わせ動作では、電子装置１０２を、ユーザ１１６の顔の眼、鼻、唇及び／又はその他の特徴点などの複数の特徴点を記憶された３Ｄ顔モデルと位置合わせして剛性位置合わせ済み点群（ｒｉｇｉｄ ａｌｉｇｎｅｄ ｐｏｉｎｔ ｃｌｏｕｄ）を生成するように構成することができる。非剛性位置合わせ動作では、ユーザ１１６の顔上の残りの全ての特徴点を記憶された３Ｄ顔モデルと位置合わせすることができる。
【0023】
電子装置１０２は、記憶された３Ｄ顔モデル上での剛性及び非剛性位置合わせ動作の適用に基づいて、中立表現（ｎｅｕｔｒａｌ ｅｘｐｒｅｓｓｉｏｎ）の変形した平均形状顔モデル（ｄｅｆｏｒｍｅｄ ｍｅａｎ－ｓｈａｐｅ ｆａｃｅ ｍｏｄｅｌ）を生成するようにさらに構成することができる。記憶された３Ｄ顔モデルは、ユーザ１１６の顔を異なる基本形状成分（ｂａｓｉｃ ｓｈａｐｅ ｃｏｍｐｏｎｅｎｔｓ）の組み合わせとして表現することができる。電子装置１０２は、記憶された３Ｄ顔モデルの異なる基本形状成分の重みを推定するようにさらに構成することができる。電子装置１０２は、推定された重みに基づいて、生成された点群を使用して、記憶された３Ｄ顔モデル上での形状ベースのモデルフィットメント（ｓｈａｐｅ－ｂａｓｅｄ ｍｏｄｅｌ－ｆｉｔｍｅｎｔ）によってユーザ１１６の顔の第１の３Ｄ顔モデルを生成するようにさらに構成することができる。電子装置１０２は、ユーザ１１６の顔の第１の３Ｄ顔モデルの形状を精細化するようにさらに構成することができる。
【0024】
電子装置１０２は、第１の３Ｄ顔モデルの形状を精細化するために、ユーザ１１６の顔の第１の３Ｄ顔モデルにユーザ固有の外観属性（ｕｓｅｒ－ｓｐｅｃｉｆｉｃ ａｐｐｅａｒａｎｃｅ ａｔｔｒｉｂｕｔｅｓ）を含めるように構成することができる。電子装置１０２は、第１の３Ｄ顔モデルの形状改善に基づいて、ユーザ１１６の顔の精細化された第１の３Ｄ顔モデルを生成するようにさらに構成することができる。生成された精細化されたユーザ１１６の顔の第１の３Ｄ顔モデルは、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４に対応することができる。
【0025】
電子装置１０２は、基準顔テクスチャモデルを記憶するようにさらに構成することができる。基準顔テクスチャモデルは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出された複数の固有ベクトル及び固有値とすることができる。例えば、異なるテクスチャを有する異なる人間の何百もの顔。これらの複数の顔の各顔は、年齢、顔特徴、色及び滑らかさの面で互いに異なることができる。ユーザの顔の顔テクスチャマップは、そのユーザの顔の外観を表現できる２Ｄマップ（例えば、Ｕ－Ｖ座標マップ）とすることができる。基準顔テクスチャモデルは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上での主成分分析（ＰＣＡ）に基づいて生成できる顔テクスチャモデルとすることができる。
【0026】
いくつかの実施形態では、電子装置１０２を、サーバ１０６などのサーバから基準顔テクスチャモデルを検索するように構成することができる。他のいくつかの実施形態では、スキャニング装置１０４を、ユーザ１１６の顔とは異なる複数の顔の第２の複数のカラー画像と、対応する第２の深度情報とを取り込むように構成することができる。第２の複数のカラー画像及び対応する第２の深度情報は、複数の視点から取り込むことができる。例えば、スキャニング装置１０４は、１又は２以上の高解像度カメラとすることができ、従って取り込まれた第２の複数のカラー画像は、複数の視点から取り込むことができる複数の顔の高解像度画像とすることができる。取り込まれた第２の複数のカラー画像及び対応する第２の深度情報は、ユーザ１１６の顔とは異なる複数の顔の顔部分全体を表すことができる。１又は２以上の高解像度カメラは、高解像度テクスチャマップ上でのＰＣＡの適用によって基準顔テクスチャモデルを取得するように、より多くの顔の視点を取り込むのに役立つことができる。スキャニング装置１０４は、白色光背景などの一般的周囲照明条件下で第２の複数のカラー画像を取り込むように構成することができる。電子装置１０２は、取り込まれた第２の複数のカラー画像に基づいて、複数の顔の各々の顔メッシュを生成するようにさらに構成することができる。複数の顔の各々の顔メッシュは、（三角形などの）複数の多角形で構成される３Ｄメッシュとすることができる。
【0027】
電子装置１０２は、複数の顔の各顔の各顔メッシュをＵ－Ｖ座標マップ上でアンラップ処理（ｕｎｗｒａｐ）するようにさらに構成することができる。Ｕ－Ｖ座標マップは、３Ｄモデルのテクスチャの２Ｄ表現とすることができる。電子装置１０２は、Ｕ－Ｖ座標マップ上での顔メッシュのアンラップ処理に基づいて、ユーザ１１６の顔とは異なる複数の顔の各顔の顔テクスチャマップを生成するようにさらに構成することができる。電子装置１０２は、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上での主成分分析（ＰＣＡ）の適用によって基準顔テクスチャモデルを生成するようにさらに構成することができる。ＰＣＡは、相関する大規模データ構成要素セットからいくつかの重要な相関しないデータ構成要素を識別して抽出するために利用することができる。基準顔テクスチャモデルの生成については、例えば図３でさらに詳細に説明する。
【0028】
電子装置１０２は、第１のカラー画像１１０上の第１の複数の三角形と、テクスチャリングされていない３Ｄ顔モデル１１４上の第２の複数の三角形とを決定するようにさらに構成することができる。電子装置１０２は、第１のカラー画像１１０上の第１の複数の三角形の各三角形を、テクスチャリングされていない３Ｄ顔モデル１１４上の第２の複数の三角形のうちの対応する三角形にマッピングするようにさらに構成することができる。第１の複数の三角形の各三角形は、テクスチャリングされていない３Ｄ顔モデル１１４上に第１のカラー画像１１０を透視投影することに基づいて、第２の複数の三角形のうちの対応する三角形にマッピングすることができる。電子装置１０２は、Ｕ－Ｖ座標マップ上の第３の複数の三角形を決定するようにさらに構成することができる。Ｕ－Ｖ座標マップは、３Ｄモデルのテクスチャマップを表すことができる２Ｄ特徴画像とすることができる。Ｕ－Ｖ座標マップの「Ｕ」及び「Ｖ」は、ユーザ１１６の顔からのテクスチャ値の２Ｄ座標を表すことができる。電子装置１０２は、テクスチャリングされていない３Ｄ顔モデル１１４の第２の複数の三角形の各々を、Ｕ－Ｖ座標マップ上の第３の複数の三角形のうちの対応する三角形にマッピングすることに基づいて、Ｕ－Ｖ座標マップ上の第３の複数の三角形を決定するようにさらに構成することができる。
【0029】
電子装置１０２は、Ｕ－Ｖ座標マップ上の第３の複数の三角形と第１のカラー画像１１０上の第１の複数の三角形との間のアフィン変換を計算するようにさらに構成することができる。アフィン変換は、画像内の点、直線及び面を維持する関数を意味することができる。アフィン変換は、Ｕ－Ｖ座標マップ上の第３の複数の三角形を第１のカラー画像１１０上の第１の複数の三角形と位置合わせするために推定することができる。
【0030】
電子装置１０２は、計算されたアフィン変換に基づいて、第１のカラー画像１１０上の第１の複数の三角形のうちの対応する三角形から、Ｕ－Ｖ座標マップ上の第３の複数の三角形の各々に色情報を適用するようにさらに構成することができる。電子装置１０２は、Ｕ－Ｖ座標マップ上の第３の複数の三角形の各々に色情報を適用することに基づいて、ユーザ１１６の顔の第１のテクスチャマップを生成するようにさらに構成することができる。第１のテクスチャマップは、第１のカラー画像１１０の色情報に基づいてユーザ１１６の顔のテクスチャを表すことができる。第１のテクスチャマップは、ユーザ１１６の顔の正面顔部分の正確なテクスチャを表すことができる。しかしながら、第１のテクスチャマップには、耳及び首の側面などのユーザ１１６の顔のいくつかの部分のテクスチャが存在せず、又は不正確に表現されることがある。第１のテクスチャマップにおけるこのような部分の不在又は不正確な表現は、第１のカラー画像１１０におけるこのような部分のオクルージョンの結果と考えることができる。第１のテクスチャマップの生成については、例えば図５でさらに詳細に説明する。
【0031】
電子装置１０２は、生成された第１のテクスチャマップ上の複数の第１の有効点上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、ユーザ１１６の顔の第２のテクスチャマップを生成するようにさらに構成することができる。複数の第１の有効点は、第１のカラー画像１１０内で観察できるユーザ１１６の顔領域に属する複数の点とすることができる。基準顔テクスチャモデルは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用に基づいて生成されるので、基準顔テクスチャモデルの照明条件は、ユーザ１１６の顔の照明条件とは異なることができる。
【0032】
第１のカラー画像１１０は、ユーザ１１６の顔に対する外部光源からの照明影響などの何らかの外部照明影響を含むことができる。第１のテクスチャマップは、第１のカラー画像１１０に基づいて生成されるので、外部光源からの照明影響を含むことができる。電子装置１０２は、第１のテクスチャマップから照明影響を除去することに基づいて第２のテクスチャマップを精細化するようにさらに構成することができる。照明影響のない第１のテクスチャマップは、第２のテクスチャマップを精細化するための基準として使用することができる。電子装置１０２は、生成された第２のテクスチャマップの目的関数の最小化に基づいて第２のテクスチャマップを精細化するようにさらに構成することができる。目的関数は、オフセット項及び平滑化項（ｓｍｏｏｔｈｅｎｉｎｇ ｔｅｒｍ）を含むことができる。電子装置１０２は、オフセット項及び平滑化項を計算するように構成することができる。目的関数の最小化については、例えば図６で詳細に説明する。精細化された第２のテクスチャマップは、第１のカラー画像１１０で隠れていた顔部分のテクスチャを含むことができ、第１のテクスチャマップには、このような顔部分の対応するテクスチャが存在せず又は不正確に表現されることがある。第２のテクスチャマップ及び精細化された第２のテクスチャマップの生成については、例えば図６で詳細に説明する。
【0033】
電子装置１０２は、ユーザ１１６の顔の第１のマスクに基づいて、第１のテクスチャマップの第１の部分を抽出するようにさらに構成することができる。第１のテクスチャマップの第１の部分は、ユーザ１１６の顔の正面の顔部分のために抽出することができる。電子装置１０２は、ユーザ１１６の顔の第２のマスクに基づいて、精細化された第２のテクスチャマップの第２の部分を抽出するようにさらに構成することができる。第２のテクスチャマップの第２の部分は、ユーザ１１６の顔の残りの顔部分のために抽出することができる。電子装置１０２は、第１のテクスチャマップの第１の部分と第２のテクスチャマップの第２の部分とのブレンドに基づいて、最終テクスチャマップを生成するようにさらに構成することができる。第１のテクスチャマップの第１の部分を第２のテクスチャマップの第２の部分とブレンドすると、最終テクスチャマップに再び照明影響を追加することができる。最終テクスチャマップは、ユーザ１１６の顔の完全なテクスチャを表すことができ、最終テクスチャマップのテクスチャは、ユーザ１１６の顔の実際のテクスチャと同一又はほぼ同一とすることができる。
【0034】
ある実施形態によれば、電子装置１０２は、生成された最終テクスチャマップをテクスチャリングされていない３Ｄ顔モデル１１４上にレンダリングすることによって、ユーザ１１６の顔のテクスチャリングされた３Ｄ顔モデルを生成するようにさらに構成することができる。電子装置１０２は、テクスチャリングされた３Ｄモデルをディスプレイ装置上にレンダリングするようにさらに構成することができる。ユーザ１１６の顔のテクスチャリングされた３Ｄ顔モデルは、ユーザ１１６の顔を写実的に表現することができる。テクスチャリングされた３Ｄ顔モデルは、仮想現実（ＶＲ）又は拡張現実（ＡＲ）環境においてユーザ１１６の顔を表現するためにさらに利用することができる。ユーザ１１６の顔のテクスチャリングされた３Ｄ顔モデルの応用としては、ビデオゲーム内のアニメーション、視覚効果（ＶＦＸ）、コンピュータ生成画像（ＣＧＩ）、及び３Ｄモデルベースのビデオ会議を挙げることもできる。
【0035】
図２は、本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的な電子装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２には、電子装置１０２のブロック図２００を示す。電子装置１０２は、回路２０２を含むことができる。回路２０２は、プロセッサ２０４をさらに含むことができる。電子装置１０２は、メモリ２０６及び入力／出力（Ｉ／Ｏ）装置２０８をさらに含むことができる。Ｉ／Ｏ装置２０８は、グラフィカルユーザインターフェイス（ＧＵＩ）２１２をレンダリングできるディスプレイ装置２１０を含むことができる。電子装置１０２は、ネットワークインターフェイス２１４をさらに含むことができる。回路２０２は、メモリ２０６及びＩ／Ｏ装置２０８に通信可能に結合することができる。回路２０２は、ネットワークインターフェイス２１４を使用してスキャニング装置１０４及びサーバ１０６と通信するように構成することができる。
【0036】
プロセッサ２０４は、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４、第１のカラー画像１１０及び深度情報１１２に基づいてユーザ１１６の顔の第１のテクスチャマップを生成するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。プロセッサ２０４は、生成された第１のテクスチャマップ上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、ユーザ１１６の顔の第２のテクスチャマップを生成するようにさらに構成することができる。プロセッサ２０４は、生成された第２のテクスチャマップを精細化し、第１のテクスチャマップと精細化された第２のテクスチャマップとのブレンドに基づいてユーザ１１６の顔の最終テクスチャマップを生成するようにさらに構成することができる。プロセッサ２０４は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ技術の例としては、以下に限定するわけではないが、中央処理装置（ＣＰＵ）、Ｘ８６ベースプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、グラフィカルプロセッシングユニット（ＧＰＵ）、及びその他のプロセッサを挙げることができる。
【0037】
メモリ２０６は、第１のカラー画像１１０、深度情報１１２及びテクスチャリングされていない３Ｄ顔モデル１１４を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。メモリ２０６は、ユーザ１０６の顔とは異なる複数の顔からの顔テクスチャマップのＰＣＡモデルなどの基準顔テクスチャモデルを記憶するようにさらに構成することができる。メモリ２０６の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【0038】
Ｉ／Ｏ装置２０８は、ユーザ（ユーザ１０６など）から入力を受け取り、ユーザから受け取られた入力に基づいてユーザに出力を提供するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。様々な入力及び出力装置を含むことができるＩ／Ｏ装置２０８は、回路２０２と通信するように構成することができる。Ｉ／Ｏ装置２０８の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、ディスプレイ装置（例えば、ディスプレイ装置２１０）、及びスピーカを挙げることができる。
【0039】
ディスプレイ装置２１０は、ユーザ１１６の顔のテクスチャリングされた３Ｄ顔モデルを表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。いくつかの実施形態では、ディスプレイ装置２１０を、電子装置１０２に関連する外部ディスプレイ装置とすることができる。ディスプレイ装置２１０は、ユーザ１１６などのユーザがディスプレイ装置２１０を介してユーザ入力を提供することを可能にすることができるタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面、又は熱タッチ画面のうちの少なくとも１つとすることができる。ディスプレイ装置２１０は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、或いはその他のディスプレイ装置などの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置２１０は、頭部装着型装置（ＨＭＤ）、スマートグラス装置、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイのディスプレイ画面を意味することができる。
【0040】
ＧＵＩ２１２は、ディスプレイ装置２１０などのディスプレイ装置上にレンダリングされるユーザインターフェイス（ＵＩ）に対応することができる。ＧＵＩ２１２は、ユーザ１１６の顔のテクスチャリングされた３Ｄ顔モデルを表示するように構成することができる。また、ＧＵＩ２１２は、ビュー選択、ディスプレイ制御及びその他の相互作用的ユーザオプションのためのユーザ選択可能オプションに対応できるグラフィカル要素を表示するようにさらに構成することができる。いくつかの実施形態では、ＧＵＩ２１２を、電子装置１０２に通信可能に結合された外部ディスプレイ画面上にレンダリングすることができる。
【0041】
ネットワークインターフェイス２１４は、通信ネットワーク１０８を介して電子装置１０２、スキャニング装置１０４及びサーバ１０６間の通信を容易にするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ネットワークインターフェイス２１４は、電子装置１０２と通信ネットワーク１０８との有線又は無線通信をサポートする様々な既知の技術を使用することによって実装することができる。ネットワークインターフェイス２１４は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。ネットワークインターフェイス２１４は、インターネット、イントラネットなどのネットワーク、又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び都市エリアネットワーク（ＭＡＮ）などの無線ネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、長期進化（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィディリティ（Ｗｉ－Ｆｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（Ｗｉ－ＭＡＸ）、電子メール用プロトコル、インスタントメッセージング及びショートメッセージサービス（ＳＭＳ）などの複数の通信規格、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。回路２０２の動作については、例えば図３、図４、図５、図６及び図７で詳細に説明する。
【0042】
図３に、本開示の実施形態による、基準顔テクスチャモデルの生成のための例示的な動作を示す。図３の説明は、図１及び図２の要素に関連して行う。図３には、基準顔テクスチャモデルの生成のための動作セットを含む処理パイプライン３００を示す。
【0043】
３０２において、スキャン動作が実行される。スキャン動作では、（スキャニング装置１０４と同じ又は異なる）スキャニング装置を、ユーザ１１６の顔と異なることができる複数の顔をスキャンするように構成することができる。スキャニング装置は、複数の顔を複数の視点から、例えば一般的な白色光背景などの一般的周囲照明条件下でスキャンするように構成することができる。複数の顔は、複数の顔の各顔の均一なテクスチャが取り込まれるように一般的周囲照明条件下で取り込むことができる。複数の顔の各顔は、対応する顔の主要顔特徴のために均一な照明で取り込むことができる。
【0044】
一例として、スキャニング装置は高解像度カメラとすることができる。スキャニング装置のイメージセンサは、複数の顔の第２の複数の画像を取り込むように構成することができ、深度センサは、第２の複数のカラー画像に対応する第２の深度情報を取り込むようにさらに構成することができる。別の例として、複数のスキャニング装置３１０は、顔３１２を複数の視点からスキャンするように構成することができる。複数のスキャニング装置３１０の各々は、複数の顔の各々の顔部分全体が取り込まれるように複数の視点から第２の複数のカラー画像を取り込むように構成できる高解像度カメラとすることができる。第２の複数のカラー画像は、ユーザ１１６の顔とは異なる複数の顔の高解像度カラー画像とすることができ、第２の複数のカラー画像の各々は、ユーザ１１６の顔とは異なる複数の顔の各々の顔部分全体の表現とすることができる。顔３１２は、ユーザ１１６の顔と異なることができる。プロセッサ２０４は、取り込まれた第２の複数のカラー画像及び対応する第２の深度情報に基づいて、複数の顔の（顔３１２などの）各顔の顔メッシュを生成するように構成することができる。複数の顔の各々の顔メッシュは、複数の顔のうちの対応する顔の顔詳細を表すことができる。複数の顔の各々の顔メッシュは、複数の三角形で構成できる３Ｄメッシュとすることができる。複数の顔の各顔の顔メッシュは、顔メッシュの複数の三角形の三角形の組を接続できる複数の頂点を含むことができる。複数の顔の各顔の顔メッシュは、互いに位置合わせされるべきである。換言すれば、複数の顔の各顔の生成された顔メッシュは、等しい数の三角形及び頂点を含むべきである。また、第１の顔の第１の顔メッシュ上の第１の位置における頂点、及び第２の顔の第２の顔メッシュ上の対応する位置における対応する頂点は、それぞれ第１の顔メッシュ及び第２の顔メッシュ上の同じ顔の点を表すことができる。
【0045】
３０４において、アンラッピング動作が実行される。アンラッピング動作では、プロセッサ２０４を、複数の顔の各顔の生成された顔メッシュをＵ－Ｖ座標マップ３１４に対してアンラップ処理するように構成することができる。プロセッサ２０４は、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ３１６を生成するように構成することができる。複数の顔テクスチャマップ３１６の各顔テクスチャマップは、Ｕ－Ｖ座標マップ３１４に対して生成することができる。複数の顔テクスチャマップ３１６の各顔テクスチャマップは、複数の顔のうちの対応する顔の顔テクスチャを表すことができる２Ｄ Ｕ－Ｖ座標マップとすることができる。例えば、第１の顔テクスチャマップ３１６Ａは、顔３１２の皮膚及び顔特徴（例えば、眼、鼻、唇、耳など）の色及び外観などの顔テクスチャを表すことができる。複数の顔テクスチャマップ３１６の各顔テクスチャマップは、互いに位置合わせすることができる。
【0046】
３０６において、主成分分析（ＰＣＡ）動作を実行することができる。ＰＣＡ動作では、プロセッサ２０４を、複数の顔テクスチャマップ３１６上でＰＣＡを適用するように構成することができる。ＰＣＡは、相関する大規模データ構成要素セットからいくつかの重要な相関しないデータ構成要素を識別及び抽出するために利用できる統計的手順である。具体的には、ＰＣＡを利用して、複数の顔テクスチャマップ３１６からいくつかの重要な相関しない顔構成要素のテクスチャ情報を抽出することができる。プロセッサ２０４は、複数の顔テクスチャマップ３１６に基づいて平均顔テクスチャを推定するように構成することができる。平均顔テクスチャは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャの平均とすることができる。複数の顔の顔テクスチャは、複数の顔テクスチャマップ３１６によって表すことができる。例えば、「ｔ1」は第１の顔テクスチャマップ３１６Ａを表すことができ、「ｔ2」は第２の顔テクスチャマップ３１６Ｂを表すことができ、「ｔ３」は第３の顔テクスチャマップ３１６Ｃを表すことができる。平均顔テクスチャは、例えば以下のような方程式（１）によって推定することができ、
ここでＴ’は平均顔テクスチャを表し、
ｔnは、複数の顔テクスチャマップ３１６の第ｎの顔テクスチャマップを表す。
ｔnは、複数の顔テクスチャマップ３１６の第ｎの顔テクスチャマップを表す。
【0047】
プロセッサ２０４は、複数の顔テクスチャマップ３１６の各顔テクスチャマップの固有ベクトルセット及び固有値セットを計算するようにさらに構成することができる。固有ベクトルセット及び固有値セットは、例えば以下のような方程式（２）及び（３）によって計算することができ、
ここで、
Ｕtは固有ベクトルを表し、ｔはテクスチャを表す（すなわち、固有ベクトル及び固有値はテクスチャのためのものである）。これは、各列が１つの固有ベクトルを表す行列であり、
Σは、対角線における各値が１つの固有値を表す対角行列である。
Ｕtは固有ベクトルを表し、ｔはテクスチャを表す（すなわち、固有ベクトル及び固有値はテクスチャのためのものである）。これは、各列が１つの固有ベクトルを表す行列であり、
Σは、対角線における各値が１つの固有値を表す対角行列である。
【0048】
３０８において、基準顔テクスチャモデルを生成することができる。プロセッサ２０４は、複数の顔テクスチャマップ３１６上でのＰＣＡに適用に基づいて基準顔テクスチャモデルを生成するように構成することができる。基準顔テクスチャモデルは、ユーザ１１６の顔とは異なる複数の顔に対応するＰＣＡモデルとすることができる。
【0049】
図４に、本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的な動作を示す。図４の説明は、図１、図２及び図３の要素に関連して行う。図４には、４０２～４１０の動作を使用した顔テクスチャマップの生成を示す処理パイプライン４００を示す。
【0050】
４０２において、データ取得動作が実行される。データ取得動作では、プロセッサ２０４を、メモリ２０６からユーザ１１６の顔の第１のカラー画像１１０と、第１のカラー画像１１０に対応する深度情報１１２とを検索するように構成することができる。プロセッサ２０４は、メモリ２０６からユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４を検索するようにさらに構成することができる。いくつかの実施形態では、第１のカラー画像１１０、深度情報１１２及びテクスチャリングされていない３Ｄ顔モデル１１４をサーバ１０６に記憶することができる。このような場合、プロセッサ２０４は、通信ネットワーク１０８を介してサーバ１０６から第１のカラー画像１１０、深度情報１１２及びテクスチャリングされていない３Ｄ顔モデル１１４を検索するように構成することができる。第１のカラー画像、及び第１のカラー画像１１０に対応する深度情報１１２は、互いに同時に取り込まれて同じ視野を表すことができるように同期することができる。
【0051】
４０４において、第１のテクスチャマッピング動作を実行することができる。第１のテクスチャマッピング動作では、プロセッサ２０４を、検索された第１のカラー画像１１０、深度情報１１２及びテクスチャリングされていない３Ｄ顔モデル１１４に基づいて、ユーザ１１６の顔の第１のテクスチャマップ４０４Ａを生成するように構成することができる。プロセッサ２０４は、テクスチャリングされていない３Ｄ顔モデル１１４を使用することによって、第１のカラー画像１１０上の複数の三角形の各三角形を変換してＵ－Ｖ座標マップ上の対応する三角形にマッピングするように構成することができる。Ｕ－Ｖ座標マップは、２Ｄレイアウト上に３Ｄモデルのテクスチャ情報を示すことができる。第１のテクスチャマップ４０４Ａは、検索された第１のカラー画像１１０からのテクスチャ（又は色情報）を直接適用することによって生成することができる。第１のテクスチャマップ４０４Ａの生成については、例えば図５でさらに詳細に説明する。生成された第１のテクスチャマップ４０４Ａは、いくつかの隠れた顔領域のテクスチャ情報が第１のカラー画像１１０内に存在せず又は利用できないいくつかの領域を含むことができる。例えば、隠れた顔領域は、耳の後ろの領域、鼻の周囲の領域、又は首の周囲の側方領域を含むことができる。
【0052】
４０６において、第２のテクスチャマッピング動作を実行することができる。第２のテクスチャマッピング動作では、プロセッサ２０４を、メモリ２０６から基準顔テクスチャモデル４０６Ａを検索するように構成することができる。基準顔テクスチャモデル４０６Ａは、図３の基準顔テクスチャモデルに対応することができる。プロセッサ２０４は、ユーザ１１６の顔の第２のテクスチャマップ４０６Ｂを生成するようにさらに構成することができる。プロセッサ２０４は、生成された第１のテクスチャマップ４０４Ａ上の複数の第１の有効点上で基準顔テクスチャモデル４０６Ａをテクスチャモデルフィッティングすることによって、第２のテクスチャマップ４０６Ｂを生成するようにさらに構成することができる。第１のテクスチャマップ４０４Ａ上の複数の第１の有効点上での基準顔テクスチャモデル４０６Ａのテクスチャモデルフィッティングについては、例えば図６でさらに詳細に説明する。
【0053】
４０８において、第２のテクスチャマップ精細化動作が実行される。第２のテクスチャマップ精細化動作では、プロセッサ２０４を、第２のテクスチャマップ４０６Ｂを精細化するようにさらに構成することができる。プロセッサ２０４は、第２のテクスチャマップ４０６Ｂの目的関数の最小化に基づいて、精細化された第２のテクスチャマップ４０８Ａを生成するように構成することができる。プロセッサ２０４は、生成された第１のテクスチャマップ４０４Ａからの照明影響の除去にさらに基づいて、精細化された第２のテクスチャマップ４０８Ａを生成するようにさらに構成することができる。第１のテクスチャマップ４０４Ａ内の照明影響は、第１のカラー画像１１０内に存在し得る外部光源からの照明影響とすることができる。プロセッサ２０４は、精細化された第２のテクスチャマップ４０８Ａに取り込まれたテクスチャがユーザ１１６の顔の実際のテクスチャとほぼ同じであるように、ユーザ１１６の顔の精細化された第２のテクスチャマップ４０８Ａを生成するように構成することができる。
【0054】
（テクスチャモデルは複数の顔から抽出されるので、）テクスチャモデルフィッティングに基づく第２のテクスチャマップ４０６Ｂの生成は、より一般的なテクスチャの情報を示す。精細化は、精細化された第２のテクスチャマップ４０８Ａに顔のテクスチャが現れることを確実にするために適用される。例えば、ほくろを有する顔もあれば、同じ位置にほくろを有していない顔もある。第２のテクスチャマップ４０６Ｂの精細化については、例えば図６でさらに詳細に説明する。
【0055】
４１０において、テクスチャマップブレンディング動作が実行される。テクスチャマップブレンディング動作では、プロセッサ２０４を、第１のテクスチャマップ４０４Ａと精細化された第２のテクスチャマップ４０８Ａとをブレンドするように構成することができる。プロセッサ２０４は、第１のテクスチャマップ４０４Ａと精細化された第２のテクスチャマップ４０８Ａとのブレンディングに基づいて最終テクスチャマップ４１０Ａを生成するようにさらに構成することができる。プロセッサ２０４は、ユーザ１０６の顔の正面顔部分の第１のテクスチャマップ４０４Ａから第１の部分を抽出し、ユーザ１１６の顔の残りの顔部分の精細化された第２のテクスチャマップ４０８Ａから第２の部分を抽出するように構成することができる。プロセッサ２０４は、第１のテクスチャマップ４０４Ａの第１の部分と精細化された第２のテクスチャマップ４０８Ａの第２の部分とをブレンドすることによって最終テクスチャマップ４１０Ａを生成するようにさらに構成することができる。最終テクスチャマップ４１０Ａの生成については、例えば図７でさらに詳細に説明する。
【0056】
図５に、本開示の実施形態による、ユーザの顔の第１のテクスチャマップの生成のための例示的な動作を示す。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５には、第１のカラー画像５０２、テクスチャリングされていない３Ｄ顔モデル５０４、Ｕ－Ｖ座標マップ５０６、及び第１のテクスチャマップ５０８を示す。また、第１のカラー画像５０２上の第１の三角形５０４Ａ、テクスチャリングされていない３Ｄ顔モデル５０４上の第２の三角形５０４Ａ、及びＵ－Ｖ座標マップ５０６上の第３の三角形５０６Ａも示す。第１のカラー画像５０２は、（図１に示すような）第１のカラー画像１１０に対応することができる。テクスチャリングされていない３Ｄ顔モデル５０４は、（図１に示すような）テクスチャリングされていない３Ｄ顔モデル１１４に対応することができる。第１のテクスチャマッピング動作の詳細については、本明細書において説明した。
【0057】
プロセッサ２０４は、第１のカラー画像５０２上の第１の複数の三角形を決定するように構成することができる。第１のカラー画像５０２上の第１の複数の三角形は、第１の三角形５０２Ａを含むことができる。テクスチャリングされていない３Ｄ顔モデル５０４は、第２の三角形５０４Ａを含む第２の複数の三角形を含むことができる。プロセッサ２０４は、第１のカラー画像５０２上の第１の複数の三角形の各三角形を、テクスチャリングされていない３Ｄ顔モデル５０４上の第２の複数の三角形のうちの対応する三角形にマッピングするようにさらに構成することができる。第１のカラー画像５０２上の第１の複数の三角形は、３Ｄ空間内で第１のカラー画像５０２をテクスチャリングされていない３Ｄ顔モデル５０４上に透視投影することに基づいて、テクスチャリングされていない３Ｄ顔モデル５０４上の対応する第２の複数の三角形にマッピングすることができる。テクスチャリングされていない３Ｄ顔モデル５０４上の第２の複数の三角形のうちの対応する三角形への第１のカラー画像５０２上の第１の複数の三角形の各々の透視投影は、イメージセンサ１０４Ａの焦点距離、投影中心、及びイメージセンサ１０４Ａとユーザ１０６との間の距離に基づくことができる。例えば、第１のカラー画像５０２上の第１の三角形５０２Ａは、この透視投影に基づいて、テクスチャリングされていない３Ｄ顔モデル５０４上の第２の三角形５０４Ａにマッピングすることができる。
【0058】
プロセッサ２０４は、テクスチャリングされていない３Ｄ顔モデル５０４の第２の複数の三角形をＵ－Ｖ座標マップ５０６上でＵ－Ｖ座標マッピングすることによって、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形を決定するようにさらに構成することができる。プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６の各頂点のＵＶ座標に基づいて、テクスチャリングされていない３Ｄ顔モデル５０４の第２の複数の三角形をＵ－Ｖ座標マップ５０６上でマッピングするようにさらに構成することができる。ＵＶ座標は、テクスチャリングされていない３Ｄ顔モデル５０４の複数の頂点のＸ－Ｙ－Ｚ座標の２Ｄ空間での投影を表す。Ｕ－Ｖ座標マップ５０６上の決定された第３の複数の三角形は、第３の三角形５０６Ａを含むことができる。
【0059】
プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形と、第１のカラー画像５０２上の第１の複数の三角形との間の対応を推定するようにさらに構成することができる。プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形の各三角形と、第１のカラー画像５０２上の第１の複数の三角形のうちの対応する三角形との間のアフィン変換を計算するようにさらに構成することができる。Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形の各三角形と、第１のカラー画像５０２上の第１の複数の三角形のうちの対応する三角形との間のアフィン変換は、例えば以下のような方程式（４）を使用することによって計算することができ、
ここでＲ及びＴはアフィン変換を表し、
（ａi，ｂi）は、Ｕ－Ｖ座標マップ５０６上の頂点の座標を表し、
（ｘi，ｙi）は、第１のカラー画像５０２上の頂点の座標を表す。
（ａi，ｂi）は、Ｕ－Ｖ座標マップ５０６上の頂点の座標を表し、
（ｘi，ｙi）は、第１のカラー画像５０２上の頂点の座標を表す。
【0060】
一例として、プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６上の第３の三角形５０６Ａと、第１のカラー画像５０２上の第１の三角形５０２Ａとの間のアフィン変換を計算するように構成することができる。第１の三角形５０２Ａは、頂点（ａ１，ｂ１）、（ａ２，ｂ２）及び（ａ３，ｂ３）によって表すことができる。第３の三角形５０６Ａは、頂点（ｘ１，ｙ１）、（ｘ２，ｙ２）及び（ｘ３，ｙ３）によって表すことができる。計算されたアフィン変換は、Ｕ－Ｖ座標マップ５０６上の第３の三角形５０６Ａの各頂点に適用することができる。プロセッサ２０４は、第１のカラー画像５０２上の第１の複数の三角形の各三角形からの色情報を、Ｕ－Ｖ座標マップ５０６上の対応する三角形に補間するようにさらに構成することができる。例えば、プロセッサ２０４は、第１の三角形５０２Ａからの色情報を、対応する第３の三角形５０６Ａに補間するように構成することができる。
【0061】
プロセッサ２０４は、計算されたアフィン変換、及び第１のカラー画像５０２上の第１の複数の三角形のうちの対応する三角形からの色情報の補間に基づいて、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形の各三角形にテクスチャを適用するようにさらに構成することができる。例えば、プロセッサ２０４は、第３の三角形５０６Ａと第１の三角形５０２Ａとの間の計算されたアフィン変換に基づいて、第３の三角形５０６Ａにテクスチャを適用するように構成することができる。プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６上の第３の三角形５０６Ａに対する第１のカラー画像５０２上の第１の三角形５０２Ａの色情報の補間にさらに基づいて、第３の三角形５０６Ａにテクスチャを適用するように構成することができる。同様に、プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形の各三角形に対するテクスチャの適用に基づいて、第１のテクスチャマップ５０８に対応するテクスチャリングされたＵ－Ｖ座標マップを決定するようにさらに構成することができる。
【0062】
ユーザ１１６の顔の第１のテクスチャマップ５０８を利用して、ユーザ１１６の顔の３Ｄ顔モデルのテクスチャを決定することができる。しかしながら、第１のカラー画像５０２は、ユーザ１１６の顔の正面像しか示さない場合があるので、第１のテクスチャマップ５０８は、ユーザ１１６の顔の全体的顔テクスチャを表さない場合がある。顔のいくつかの隠れた領域のテクスチャは、第１のカラー画像５０２に取り込まれないことがあり、従って第１のテクスチャマップ５０８内に存在しないこともある。例えば、第１のテクスチャマップ５０８は、ユーザ１１６の顔の隠れた領域の失われたテクスチャを示す（パターンで示す）いくつかの領域を含むことができる。
【0063】
図６に、本開示の実施形態による、精細化された第２のテクスチャマップの生成のための例示的な動作を示す。図６の説明は、図１、図２、図３、図４及び図５の要素に関連して行う。図６には、６０２～６０８の動作を使用した精細化された第２のテクスチャマップの生成を示す処理パイプライン６００を示す。
【0064】
６０２において、照明方向の推定のための動作が実行される。この動作では、プロセッサ２０４を、第１のテクスチャマップ５０８などの第１のテクスチャマップ上の複数の第１の有効点の照明方向を繰り返し推定するように構成することができる。推定される照明方向は、第１のテクスチャマップ上の複数の第１の有効点の照明方向とすることができる。複数の第１の有効点の各有効点は、対応する三角形がテクスチャリングされていない３Ｄ顔モデル１１４上に存在する可能性がある第１のテクスチャマップ５０８上の点とすることができる。また、複数の第１の有効点の各有効点は、対応する点を第１のカラー画像１１０から観察できる第１のテクスチャマップ５０８上の点とすることもできる。
【0065】
なお、対応する三角形が第１のカラー画像１１０から観察されない場合もある。第１のテクスチャマップ５０８及び第２のテクスチャマップ（例えば、図６の第２のテクスチャマップ６０６Ａ）は、テクスチャリングされていない３Ｄ顔モデル１１４上に対応を有する同じ点及び三角形の組のテクスチャを表すことができる。第１のテクスチャマップ５０８上の複数の第１の有効点は、テクスチャリングされていない３Ｄ顔モデル１１４上の頂点、及び第１のカラー画像１１０上の観察される領域にマッピングすることができる。観察されない領域では、第１のテクスチャマップ５０８上の情報が有効でない場合がある。
【0066】
プロセッサ２０４は、反射率モデル、第１のテクスチャマップ５０８及びテクスチャリングされていない３Ｄ顔モデル１１４に基づいて、第１のテクスチャマップ５０８上の複数の第１の有効点の照明方向を推定するように構成することができる。反射率モデルは、表面上の点の照明の経験的モデルとすることができる。反射率モデルの例は、フォンの反射率モデル（Ｐｈｏｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ）とすることができる。反射率モデルは、表面（例えば、ユーザ１１６の顔）が周囲光、拡散光及び正反射率の組み合わせとして光を反射できる方向を示すことができる。反射率モデルは、周囲光及び拡散光の各々の照明強度と、照明方向と、正反射率との間の関係を含むことができる。反射率モデルは、例えば以下のような方程式（５）、方程式（６）、方程式（７）及び方程式（８）を使用して表すことができ、
ここで、
Ｉaは、複数の点の赤色－緑色－青色（ＲＧＢ）チャネルでの周囲光の照明強度を表し、
Ｉdは、複数の点のＲＧＢチャネルでの拡散光の照明強度を表し、
Ｉ（ｗ）は、ユーザ１１６の顔のレンダリングされたテクスチャを表し、
ｎは、テクスチャＩ（ｗ）の点の数を表し、
ρは、複数の点の各々のアルベド値（ａｌｂｅｄｏ ｖａｌｕｅ）を表し、
ｄは、照明方向を表し、
Ｎは、複数の点の各点の法線を表し、
ｅは、複数の点の各点の正反射率を表し、
*は、要素による積を表す。
Ｉaは、複数の点の赤色－緑色－青色（ＲＧＢ）チャネルでの周囲光の照明強度を表し、
Ｉdは、複数の点のＲＧＢチャネルでの拡散光の照明強度を表し、
Ｉ（ｗ）は、ユーザ１１６の顔のレンダリングされたテクスチャを表し、
ｎは、テクスチャＩ（ｗ）の点の数を表し、
ρは、複数の点の各々のアルベド値（ａｌｂｅｄｏ ｖａｌｕｅ）を表し、
ｄは、照明方向を表し、
Ｎは、複数の点の各点の法線を表し、
ｅは、複数の点の各点の正反射率を表し、
*は、要素による積を表す。
【0067】
第１の複数の有効点の各有効点における法線は、そのテクスチャリングされていない３Ｄ顔モデル１１４上の対応する三角形の法線とすることができる。プロセッサ２０４は、第１のカラー画像１１０から複数の第１の有効点の照明方向を繰り返し推定するようにさらに構成することができる。第１の反復では、正反射率及び周囲光を考慮せずに照明方向を推定することができる。第１の反復では、基準顔テクスチャモデル４０６Ａの平均顔テクスチャが、複数の第１の有効点の各々のアルベド値「ρ」とみなされる。さらに、第１の反復では、（「ｌd」としても表される）拡散光の赤色チャネル、緑色チャネル及び青色チャネルの照明強度が「１」などの同じ値を有するものとみなすことができる。第１の反復における照明方向は、例えば以下のような方程式（９）によって示される目的関数などの第１の目的関数の最小化に基づいて推定することができ、
ここでＩrefは、第１のカラー画像１１０の基準色情報（例えば、ＲＧＢ情報）を表し、
Ａ＝［Ｌd *ρ，Ｌd *ρ，Ｌd *ρ］∈Ｒ3n×3であり、行列の連結を表す。「Ａ」は、他の反復にも使用することができる。各列では、「Ａ」が、拡散光の３つのチャネルの強度を全ての頂点についてアルベドの３つチャネル（３ｎ）に増殖させた結果を記憶する。そして、「Ａ」は、このような列を３回だけ複製する。
Ａ＝［Ｌd *ρ，Ｌd *ρ，Ｌd *ρ］∈Ｒ3n×3であり、行列の連結を表す。「Ａ」は、他の反復にも使用することができる。各列では、「Ａ」が、拡散光の３つのチャネルの強度を全ての頂点についてアルベドの３つチャネル（３ｎ）に増殖させた結果を記憶する。そして、「Ａ」は、このような列を３回だけ複製する。
【0068】
第１の反復では、方程式（９）によって示すような第１の目的関数を再フォーマットして、以下のような方程式（１０）によって表すことができ、
ここではＬd＝［１，１，１］の時にＢ＝［ρ，ρ，ρ］であり、
Ｎは、複数の第１の有効点の各有効点の法線を表し、
Ｎ３は、Ｎの各行を３回複製し、
ｄ＝（（Ｂ*Ｎ3）Ｔ（Ｂ*Ｎ3））-1（Ｂ*Ｎ3）TＩrefであり、複数の第１の有効点の照明方向を表す。
Ｎは、複数の第１の有効点の各有効点の法線を表し、
Ｎ３は、Ｎの各行を３回複製し、
ｄ＝（（Ｂ*Ｎ3）Ｔ（Ｂ*Ｎ3））-1（Ｂ*Ｎ3）TＩrefであり、複数の第１の有効点の照明方向を表す。
【0069】
プロセッサ２０４は、方程式（９）によって表される第１の目的関数を最小化しながら第１の制約を適用するようにさらに構成することができる。第１の制約は、光の方向が顔の外側から顔の表面に向かうと考えることができる。第１の制約は、「Ｎ3
*ｄ＞０」によって表すことができる。プロセッサ２０４は、方程式（９）によって表される第１の目的関数を最小化しながら第２の制約を適用するようにさらに構成することができる。第２の制約は、照明強度が正又は「０」よりも大きいと考えることができる。第２の制約は、「ｌa＞０」によって表すことができる。方程式（１０）によって表される再フォーマットされた第１の目的関数では、第２の制約を「ｌa＝０」として表すことができる。
【0070】
その後の反復では、プロセッサ２０４を、第２の目的関数の最小化に基づいて照明方向を推定するようにさらに構成することができる。例えば、第２の目的関数は、以下のような方程式（１１）によって表すことができる。
その後の反復におけるｌa、ｌd、ρ、ｄ及びｅの値は、以前の反復から考察される。例えば以下のような方程式（１２）によって、第２の目的関数の閉形式解（ｃｌｏｓｅｄ ｆｏｒｍ ｓｏｌｕｔｉｏｎ）を与えることができ、
ここでｄは、特定の反復についての第１のカラー画像からの複数の第１の有効点の照明方向を表す。
【0071】
プロセッサ２０４は、推定された照明方向に基づいて複数の第１の有効点の各有効点の正反射率を推定するようにさらに構成することができる。正反射率は、ユーザ１１６の顔の表面上の複数の第１の有効点からの複数の光波の鏡面反射とすることができる。正反射率は、例えば以下のような方程式（１３）を使用することによって推定することができ、
ここでｅiは、有効点「ｉ」における正反射率を表し、
ｋsは、正反射率の定数であり、
ｖiは、有効点「ｉ」の観察方向を表し、
ｙは、第１のカラー画像１１０内の顔表面の輝かしさ（ｓｈｉｎｉｎｅｓｓ）の定数を表し、
（，）は、内積を表し、
ｒi＝２〈ｎi，ｄ〉ｎi－ｄであり、有効点「ｉ」の反射方向を表し、
ｄは、有効点「ｉ」の推定される照明方向を表し、
ｎｉは、有効点「ｉ」の法線を表す。ｋｓ及びγは、顔の皮膚反射特性によって決定され、異なる人々について同様である。これらは、顔領域全体にわたって一定であると仮定される。発明者らは、単純化のために３つの色チャネルについてｋｓ及びｙが同じものであると仮定する。
ｋsは、正反射率の定数であり、
ｖiは、有効点「ｉ」の観察方向を表し、
ｙは、第１のカラー画像１１０内の顔表面の輝かしさ（ｓｈｉｎｉｎｅｓｓ）の定数を表し、
（，）は、内積を表し、
ｒi＝２〈ｎi，ｄ〉ｎi－ｄであり、有効点「ｉ」の反射方向を表し、
ｄは、有効点「ｉ」の推定される照明方向を表し、
ｎｉは、有効点「ｉ」の法線を表す。ｋｓ及びγは、顔の皮膚反射特性によって決定され、異なる人々について同様である。これらは、顔領域全体にわたって一定であると仮定される。発明者らは、単純化のために３つの色チャネルについてｋｓ及びｙが同じものであると仮定する。
【0072】
６０４において、照明強度を推定する動作が実行される。この動作では、プロセッサ２０４を、複数の第１の有効点の周囲光及び拡散光の照明強度を推定するようにさらに構成することができる。複数の有効点の周囲光及び拡散光の各々の照明強度は、少なくとも各反復で推定された照明方向に基づいて推定することができる。プロセッサ２０４は、周囲光及び拡散光の各々の複数の色チャネルの照明強度を推定するようにさらに構成することができる。照明強度は、第１のテクスチャマップ５０８上の複数の第１の有効点の各有効点が反射できる光の強度とすることができる。例えば、複数の第１の有効点の各有効点の周囲光及び拡散光の各々の赤色チャネルの照明強度は、第１の目的関数の最小化に基づいて推定することができる。第１の目的関数は、例えば以下のような方程式（１４）を使用することによって表すことができ、
ここでＩref,rは、第１のカラー画像１１０の赤色チャネルの基準色情報を表し、
Ｃ＝［ρr，ρr*（Ｎd）＋ｅr］∈Ｒn×2であり、特定の意味を含まない式を単純化するための行列の連結を表し、
ｐrは、複数の第１の有効点の各々のアルベド（ρ）の赤色チャネルを表し、
ｅrは、複数の第１の有効点の各々の正反射率（ｅ）の赤色チャネルを表し、
は、周囲光及び拡散光の各々の赤色チャネルの照明強度である。例えば以下のような方程式（１５）によって、第１の目的関数の閉形式解を与えることができる。
Ｃ＝［ρr，ρr*（Ｎd）＋ｅr］∈Ｒn×2であり、特定の意味を含まない式を単純化するための行列の連結を表し、
ｐrは、複数の第１の有効点の各々のアルベド（ρ）の赤色チャネルを表し、
ｅrは、複数の第１の有効点の各々の正反射率（ｅ）の赤色チャネルを表し、
【0073】
プロセッサ２０４は、複数の第１の有効点の周囲光及び拡散光の各々の緑色チャネル及び青色チャネルの照明強度を推定するようにさらに構成することができる。例えば、緑色チャネルの照明強度は、第２の目的関数の最小化に基づいて推定することができる。第２の目的関数は、例えば以下のような方程式（１６）を使用することによって表すことができ、
ここでＩref,gは、第１のカラー画像１１０の緑色チャネルの基準色情報を表し、
Ｃ＝［ρg，ρg*（Ｎd）＋ｅg］∈Ｒn×2であり、行列の連結を表し、
ρgは、複数の第１の有効点の各々のアルベド（ｐ）の緑色チャネルを表し、
ｅgは、複数の第１の有効点の各々の正反射率（ｅ）の緑色チャネルを表し、
は、周囲光及び拡散光の各々の緑色チャネルの照明強度である。例えば以下のような方程式（１７）によって、第２の目的関数の閉形式解を与えることができる。
Ｃ＝［ρg，ρg*（Ｎd）＋ｅg］∈Ｒn×2であり、行列の連結を表し、
ρgは、複数の第１の有効点の各々のアルベド（ｐ）の緑色チャネルを表し、
ｅgは、複数の第１の有効点の各々の正反射率（ｅ）の緑色チャネルを表し、
【0074】
一例として、複数の第１の有効点の各有効点の周囲光及び拡散光の各々の青色チャネルの照明強度は、第３の目的関数の最小化に基づいて推定することができる。第３の目的関数は、例えば以下のような方程式（１８）によって表すことができ、
ここでＩref,bは、第１のカラー画像１１０の青色チャネルの基準色情報を表し、
Ｃ＝［ρb，ρb*（Ｎd）＋ｅb］∈Ｒn×2であり、行列の連結を表し、
ρbは、複数の第１の有効点の各々のアルベド（ｐ）の青色チャネルを表し、
ｅbは、複数の第１の有効点の各々の正反射率（ｅ）の青色チャネルを表し、
は、周囲光及び拡散光の各々の青色チャネルの照明強度である。例えば以下のような方程式（１９）によって、第３の目的関数の閉形式解を与えることができる。
Ｃ＝［ρb，ρb*（Ｎd）＋ｅb］∈Ｒn×2であり、行列の連結を表し、
ρbは、複数の第１の有効点の各々のアルベド（ｐ）の青色チャネルを表し、
ｅbは、複数の第１の有効点の各々の正反射率（ｅ）の青色チャネルを表し、
【0075】
６０６において、テクスチャモデルフィッティング動作が実行される。この動作では、プロセッサ２０４を、第１のテクスチャマップ５０８上の複数の点のアルベド値の組を推定するようにさらに構成することができる。アルベド値の組は、基準顔テクスチャモデル４０６Ａ、周囲光及び拡散光の各々の推定される照明強度、照明方向、並びに正反射率に基づいて推定することができる。推定されるアルベド値の組は、ユーザ１１６の顔のリアルな顔テクスチャに対応できる再構築されたアルベド値の組とすることができる。アルベド値の組は、基準顔テクスチャモデル４０６Ａ及び第１のテクスチャマップ５０８から再構築することができる。基準顔テクスチャモデル４０６Ａは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出される複数の固有ベクトルと固有値との組み合わせとすることができる。アルベド値の組は、例えば以下のような方程式（２０）を使用することによって推定することができ、
ここでρは、有効点のアルベド値を表し、
は、複数の顔の複数の顔テクスチャマップの平均顔テクスチャを表し、
ＵTは、正規直交基底を表し、
ΣTは、複数の顔の複数の顔テクスチャマップの固有値を表し、
βは、基準顔テクスチャモデル４０６Ａを生成するために利用される複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出された固有ベクトルの係数を表す。
ＵTは、正規直交基底を表し、
ΣTは、複数の顔の複数の顔テクスチャマップの固有値を表し、
βは、基準顔テクスチャモデル４０６Ａを生成するために利用される複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出された固有ベクトルの係数を表す。
【0076】
プロセッサ２０４は、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出された複数の固有ベクトルの各々の係数を推定するようにさらに構成することができる。複数の顔テクスチャマップの各々の係数は、推定される照明方向、推定される照明強度及び正反射率に基づいて推定することができる。複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出される複数の固有ベクトルの各々の係数は、目的関数の最小化に基づいて推定することができる。目的関数は、例えば以下のように与えられる方程式（２１）によって表すことができ、
ここでＴは、目標テクスチャを表し、
λは、固有ベクトルに関連する重みのパラメータを表し、
σtは、（複数の顔テクスチャマップ上のＰＣＡからの）ΣTの対角線の値であるＰＣＡモデルの固有値を表す。例えば以下のような方程式（２２）によって、目的関数の閉形式解を与えることができ、
ここでａ’＝（Ｉref－Ｉd
*ｅ）／（ｌa＋ｌd
*（Ｎ3ｄ））であり、
である。
λは、固有ベクトルに関連する重みのパラメータを表し、
σtは、（複数の顔テクスチャマップ上のＰＣＡからの）ΣTの対角線の値であるＰＣＡモデルの固有値を表す。例えば以下のような方程式（２２）によって、目的関数の閉形式解を与えることができ、
【0077】
プロセッサ２０４は、決定されたアルベド値の組に基づいて第２のテクスチャマップ６０６Ａを生成するようにさらに構成することができる。生成される第２のテクスチャマップ６０６Ａは、決定されたアルベド値の組を含むことができる。生成される第２のテクスチャマップ６０６Ａは、第１のテクスチャマップ５０８内にテクスチャが存在せず又は不正確に表される場合がある複数の隠れた領域の再構築テクスチャを含むことができる。
【0078】
６０８において、第２のテクスチャマップ６０６Ａの精細化のための動作が実行される。この動作では、プロセッサ２０４を、生成された第１のテクスチャマップ５０８上の複数の第１の有効点からの照明影響の除去に基づいて、生成された第２のテクスチャマップ６０６Ａを精細化するようにさらに構成することができる。第１のテクスチャマップ５０８は、第１のカラー画像５０２に基づいて生成されるので、第１のカラー画像５０２内に存在し得るいくつかの外部光源からの照明影響を含むことができる。プロセッサ２０４は、第１のテクスチャマップ５０８から照明影響を除去し、第１のテクスチャマップを基準として利用して第２のテクスチャマップ６０６Ａを精細化するようにさらに構成することができる。プロセッサ２０４は、照明影響のない第１のテクスチャマップ５０８に基づいて第２のテクスチャマップ６０６Ａを精細化して、ユーザ１１６の顔のリアルなアルベド値と同一又はほぼ同一の第２のテクスチャマップ６０６Ａのアルベド値を再構築するようにさらに構成することができる。第１のテクスチャマップ５０８上の複数の第１の有効点の各々からの照明影響は、例えば以下のように与えられる方程式（２３）を使用することによって除去することができ、
ここでａ’は、照明影響を除去した後の第１のテクスチャマップ５０８上の複数の第１の有効点のテクスチャを表す。
【0079】
精細化（すなわち、６０８）の目的は、例えばほくろ又はその他のいくつかの特定の外観的特徴に対処するために、顔のリアルなアルベドに近いアルベドのための第２のテクスチャマップ６０６Ａを作成することである。ａ’は、方程式（２３）から、６０８における精細化の基準として推定することができる。照明影響の除去は、基準の照明影響を除去して第２のテクスチャマップ６０６Ａが基準に近くなることを確実にするために実行することができる。
【0080】
プロセッサ２０４は、第２のテクスチャマップ６０６Ａ上の複数の点のオフセット項を計算するようにさらに構成することができる。オフセット項は、第１のテクスチャマップ５０８上の複数の点と第２のテクスチャマップ６０６Ａ上の複数の点との間の第１の複数の対応についての第１の関係に基づいて計算することができる。オフセット項は、例えば以下のように与えられる方程式（２４）を使用することによって計算することができ、
ここでΔｔiは、第２のテクスチャマップ６０６Ａ上の点「ｉ」と、精細化された第２のテクスチャマップ上の対応する点との客観的なアルベドの差分（ｏｂｊｅｃｔｉｖｅ ｄｉｆｆｅｒｅｎｃｅ ｏｆ ａｎ ａｌｂｅｄｏ）を表し、
ａ’iは、照明影響を除去した後の第１のテクスチャマップ５０８上の点「ｉ」のテクスチャを表し、
ρiは、第２のテクスチャマップ６０６Ａ上の点「ｉ」のアルベドを表し、
ｎは、点の数を表す。
ａ’iは、照明影響を除去した後の第１のテクスチャマップ５０８上の点「ｉ」のテクスチャを表し、
ρiは、第２のテクスチャマップ６０６Ａ上の点「ｉ」のアルベドを表し、
ｎは、点の数を表す。
【0081】
プロセッサ２０４は、第２のテクスチャマップ６０６Ａ上の複数の点の平滑化項を計算するようにさらに構成することができる。平滑化項は、第２のテクスチャマップ６０６Ａ上の複数の点のうちの隣接する点間の第２の複数の対応についての第２の関係に基づいて計算することができる。平滑化項は、例えば以下のように与えられる方程式（２５）を使用することによって計算することができ、
ここで、
Δｔi は、第２のテクスチャマップ６０６Ａ上の点「ｉ」と、精細化された第２のテクスチャマップ上の対応する点との客観的なアルベドの差分を表し、
Δｔj は、第２のテクスチャマップ６０６Ａ上の有効点「ｊ」と、精細化された第２のテクスチャマップ上の対応する有効点との客観的なアルベドの差分を表し、
ｗは、重みのためのパラメータを表し、
ｉ，ｊ∈Ｎは、有効点「ｉ」と有効点「ｊ」とが隣接していることを表す。
Δｔi は、第２のテクスチャマップ６０６Ａ上の点「ｉ」と、精細化された第２のテクスチャマップ上の対応する点との客観的なアルベドの差分を表し、
Δｔj は、第２のテクスチャマップ６０６Ａ上の有効点「ｊ」と、精細化された第２のテクスチャマップ上の対応する有効点との客観的なアルベドの差分を表し、
ｗは、重みのためのパラメータを表し、
ｉ，ｊ∈Ｎは、有効点「ｉ」と有効点「ｊ」とが隣接していることを表す。
【0082】
プロセッサ２０４は、オフセット項と平滑化項との組み合わせである目的関数の最小化に基づいて、精細化された第２のテクスチャマップ６１０を生成するようにさらに構成することができる。精細化された第２のテクスチャマップ６１０は、以下のような方程式（２６）によって与えられる目的関数によって生成することができ、
ここでＮは、第２のテクスチャマップ６０６Ａ上の点の数を表す。
精細化された第２のテクスチャマップ６１０は、テクスチャが第１のテクスチャマップ５０８内に存在しなかった又は不正確に表されていたユーザ１１６の顔の複数の隠れた領域の精細化されたテクスチャを含むことができる。プロセッサ２０４は、精細化された第２のテクスチャマップ６１０に第１のテクスチャマップ５０８の照明影響を追加するようにさらに構成することができる。第１のテクスチャマップ５０８の照明影響を含む精細化された第２のテクスチャマップ６１０は、第１のカラー画像１１０に取り込むことができるユーザ１１６の顔の実際のテクスチャを表すことができる。
精細化された第２のテクスチャマップ６１０は、テクスチャが第１のテクスチャマップ５０８内に存在しなかった又は不正確に表されていたユーザ１１６の顔の複数の隠れた領域の精細化されたテクスチャを含むことができる。プロセッサ２０４は、精細化された第２のテクスチャマップ６１０に第１のテクスチャマップ５０８の照明影響を追加するようにさらに構成することができる。第１のテクスチャマップ５０８の照明影響を含む精細化された第２のテクスチャマップ６１０は、第１のカラー画像１１０に取り込むことができるユーザ１１６の顔の実際のテクスチャを表すことができる。
【0083】
図７に、本開示の実施形態による、ユーザの顔の最終テクスチャマップの生成のための例示的な動作を示す。図７の説明は、図１、図２、図３、図４、図５及び図６の要素に関連して行う。図７には、ユーザ１１６の顔の最終テクスチャマップの生成のための処理パイプライン７００を示す。さらに、第１のテクスチャマップ７０４Ａ、第１のマスク７０４Ｂ、精細化された第２のテクスチャマップ７０６Ａ、第２のマスク７０６Ｂ、及び最終テクスチャマップ７０８も示す。第１のテクスチャマップ７０４Ａは、図５の第１のテクスチャマップ５０８に対応することができる。精細化された第２のテクスチャマップ７０６Ａは、図６の精細化された第２のテクスチャマップ６１０に対応することができる。（図４に示す）テクスチャマップブレンディング動作の詳細については、本明細書でさらに提示している。
【0084】
プロセッサ２０４は、第１のテクスチャマップ７０４Ａ上での第１のマスク７０４Ｂの適用に基づいて、第１のテクスチャマップ７０４Ａの第１の部分を抽出するように構成することができる。第１の部分は、ユーザ１１６の顔の眼、鼻及び唇などの正面顔部分に対応することができる。第１のテクスチャマップ７０４Ａは、第１のカラー画像１１０に基づいて生成されるので、ユーザ１１６の顔の正面顔部分の正確又はほぼ正確なテクスチャを表すことができる。プロセッサ２０４は、ユーザ１１６の顔の眼、鼻及び唇などの正面顔部分のテクスチャのための第１のテクスチャマップ７０４Ａの第１の部分を抽出するようにさらに構成することができる。プロセッサ２０４は、精細化された第２のテクスチャマップ７０６Ａ上での第２のマスク７０６Ｂの適用に基づいて、精細化された第２のテクスチャマップ７０６Ａの第２の部分を抽出するようにさらに構成することができる。第２の部分は、ユーザ１１６の顔の残りの顔部分に対応することができる。残りの顔部分のテクスチャは、第１のカラー画像１１０における耳及び首などの残りの顔部分のオクルージョンに起因して、第１のテクスチャマップ７０４Ａ内に存在せず又は不正確に表される場合がある。精細化された第２のテクスチャマップ７０６Ａは、ユーザ１１６の顔の残り部分の再構築されたテクスチャを含むことができる。プロセッサ２０４は、耳及び首などの残りの顔部分のテクスチャのための精細化された第２のテクスチャマップ７０６Ａの第２の部分を抽出するようにさらに構成することができる。
【0085】
プロセッサ２０４は、第１のマスク７０４Ｂ及び第２のマスク７０６Ｂに重みを割り当てて最終テクスチャマップ７０４を生成するようにさらに構成することができる。最終テクスチャマップ７０８は、例えば以下のように与えられる方程式（２７）を使用することによって生成することができ、
ここでＭ（ｉ）は、最終テクスチャマップ７０８上のピクセル「ｉ」のテクスチャの値を表し、
Ｔ1は、第１のテクスチャマップ７０４Ａのテクスチャを表し、
Ｔ2は、精細化された第２のテクスチャマップ７０６Ａのテクスチャを表し、
ｗiは、割り当てられた重みを表す。一例として、第１のテクスチャマップ７０４Ａの第１の部分を抽出すべき時には、ｗiの値を「１」に設定することができる。同様に、精細化された第２のテクスチャマップ７０６Ａの第２の部分を抽出すべき時には、ｗiの値を「０」に設定することができる。ｗiの値は、正面顔部分と残りの顔部分との境界とすることができる顔の領域について徐々に変化することができる。生成された最終テクスチャマップ７０８は、ユーザ１１６の顔の実際のテクスチャを表すことができ、或いはユーザ１１６の顔の実際のテクスチャをほぼ表すことができる。
Ｔ1は、第１のテクスチャマップ７０４Ａのテクスチャを表し、
Ｔ2は、精細化された第２のテクスチャマップ７０６Ａのテクスチャを表し、
ｗiは、割り当てられた重みを表す。一例として、第１のテクスチャマップ７０４Ａの第１の部分を抽出すべき時には、ｗiの値を「１」に設定することができる。同様に、精細化された第２のテクスチャマップ７０６Ａの第２の部分を抽出すべき時には、ｗiの値を「０」に設定することができる。ｗiの値は、正面顔部分と残りの顔部分との境界とすることができる顔の領域について徐々に変化することができる。生成された最終テクスチャマップ７０８は、ユーザ１１６の顔の実際のテクスチャを表すことができ、或いはユーザ１１６の顔の実際のテクスチャをほぼ表すことができる。
【0086】
図８に、本開示の実施形態による、単色画像及び深度情報を使用した顔テクスチャマップ生成のための例示的な方法を示すフローチャートを示す。図８の説明は、図１、図２、図３、図４、図５、図６及び図７からの要素に関連して行う。図８にはフローチャート８００を示す。フローチャート８００の動作は、電子装置１０２において実行することができる。動作は８０２から開始して８０４に進むことができる。
【0087】
８０４において、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４、第１のカラー画像１１０及び対応する深度情報１１２に基づいて、ユーザ１１６の顔の第１のテクスチャマップ５０８を生成することができる。プロセッサ２０４は、第１のカラー画像１１０上の第１の複数の三角形の各々を、テクスチャリングされていない３Ｄ顔モデル１１４上の第２の複数の三角形のうちの対応する三角形にマッピングすることに基づいて、第１のテクスチャマップ５０８を生成するように構成することができる。プロセッサ２０４は、（Ｕ－Ｖ座標マップ５０６などの）Ｕ－Ｖ座標マップ上の第３の複数の三角形と、第１のカラー画像１１０上の第１の複数の三角形との間のアフィン変換を計算するようにさらに構成することができる。プロセッサ２０４は、Ｕ－Ｖ座標マップ５０６の第３の複数の三角形の各々におけるテクスチャの適用によって第１のテクスチャマップ５０８を生成するようにさらに構成することができる。テクスチャは、計算されたアフィン変換と、第１のカラー画像１１０の第１の複数の三角形の各々の色情報の補間とに基づいて、第３の複数の三角形の各々に適用することができる。第１のテクスチャマップ５０８の生成については、例えば図５で説明した。
【0088】
８０６において、生成された第１のテクスチャマップ５０８上の複数の第１の有効点上で基準顔テクスチャモデル４０６Ａをテクスチャモデルフィッティングすることによって、ユーザ１１６の顔の第２のテクスチャマップ６０６Ａを生成することができる。複数の第１の有効点は、第１のカラー画像１１０内で観察される顔に属する点に対応することができる。プロセッサ２０４は、生成された第１のテクスチャマップ５０８上の複数の第１の有効点上で基準顔テクスチャモデル４０６Ａをテクスチャモデルフィッティングすることによって、ユーザ１１６の顔の第２のテクスチャマップ６０６Ａを生成するように構成することができる。第２のテクスチャマップ６０６Ａの生成については、例えば図６で説明した。
【0089】
８０８において、生成された第２のテクスチャマップ６０６Ａの目的関数の最小化に基づいて、生成された第２のテクスチャマップ６０６Ａを精細化することができる。プロセッサ２０４は、第２のテクスチャマップ６０６Ａの目的関数の最小化に基づいて、第２のテクスチャマップ６０６Ａを精細化するようにさらに構成することができる。プロセッサ２０４は、生成された第１のテクスチャマップ５０８からの照明影響の除去に基づいて、第２のテクスチャマップ６０６Ａを精細化するようにさらに構成することができる。精細化された第２のテクスチャマップ６１０の生成については、例えば図６で説明した。プロセッサ２０４は、精細化された第２のテクスチャマップ６１０に再び第１のテクスチャマップ５０８の照明影響を追加するようにさらに構成することができる。
【0090】
８１０において、生成された第１のテクスチャマップ５０８及び精細化された第２のテクスチャマップ６１０に基づいて、ユーザ１１６の顔の最終テクスチャマップ７０８を生成することができる。プロセッサ２０４は、生成された第１のテクスチャマップ５０８及び精細化された第２のテクスチャマップ６１０に基づいて、最終テクスチャマップ７０８を生成するように構成することができる。プロセッサ２０４は、ユーザ１１６の顔の第１のマスク７０４Ｂに基づいて、第１のテクスチャマップ５０８の第１の部分を抽出するようにさらに構成することができる。プロセッサ２０４は、ユーザ１１６の顔の第２のマスク７０６Ｂに基づいて、精細化された第２のテクスチャマップ６１０の第２の部分を抽出するようにさらに構成することができる。最終テクスチャマップ７０８は、ユーザ１１６の顔の実際のテクスチャと同一又はほぼ同一とすることができるテクスチャマップを表すことができる。ユーザ１１６の顔の最終テクスチャマップ７０８の生成については、例えば図７で説明した。制御は終了に進むことができる。
【0091】
本開示の様々な実施形態は、単色画像及び深度情報を使用した顔テクスチャマップ生成のための電子装置などの機械及び／又はコンピュータが実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。少なくとも１つのコードセクションが、ユーザの顔の第１のカラー画像及び対応する深度情報、ユーザの顔のテクスチャリングされていない３次元（３Ｄ）顔モデル及び基準顔テクスチャモデルの記憶を含む動作を機械及び／又はコンピュータに実行させることができる。基準顔テクスチャモデルは、ユーザの顔とは異なる複数の顔の複数の顔テクスチャマップの主成分分析（ＰＣＡ）モデルとすることができる。これらの動作は、ユーザの顔のテクスチャリングされていない３Ｄ顔モデル、第１のカラー画像及び対応する深度情報に基づいてユーザの顔の第１のテクスチャマップを生成することをさらに含む。これらの動作は、生成された第１のテクスチャマップ上の複数の第１の有効点上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることによってユーザの顔の第２のテクスチャマップを生成することをさらに含む。複数の第１の有効点は、第１のカラー画像内で観察されるユーザの顔に属する点に対応する。これらの動作は、生成された第２のテクスチャマップの目的関数の最小化に基づいて、生成された第２のテクスチャマップを精細化することをさらに含む。これらの動作は、生成された第１のテクスチャマップ及び精細化された第２のテクスチャマップに基づいて、ユーザの顔の最終テクスチャマップを生成することをさらに含む。
【0092】
本開示の例示的な態様は、回路２０２及びメモリ２０６を含む電子装置１０２を含むことができる。メモリ２０６は、ユーザ１１６の顔の第１の色情報１１０及び対応する深度情報１１２、ユーザ１１６の顔のテクスチャリングされていない３次元（３Ｄ）顔モデル１１４、及び基準顔テクスチャモデルを記憶するように構成することができる。基準顔テクスチャモデルは、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップの主成分分析（ＰＣＡ）モデルとすることができる。回路２０２は、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４、第１のカラー画像１１０及び対応する深度情報１１２に基づいて、ユーザ１１６の顔の第１のテクスチャマップ５０８を生成するように構成することができる。回路２０２は、生成された第１のテクスチャマップ５０８上の複数の第１の有効点上で基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、ユーザ１１６の顔の第２のテクスチャマップ６０６Ａを生成するようにさらに構成することができる。複数の第１の有効点は、第１のカラー画像１１０内のユーザ１１６の顔に属する点に対応することができる。回路２０２は、生成された第２のテクスチャマップ６０６Ａの目的関数の最小化に基づいて、生成された第２のテクスチャマップ６０６Ａを精細化するようにさらに構成することができる。回路２０２は、生成された第１のテクスチャマップ５０８及び精細化された第２のテクスチャマップ６１０に基づいて、ユーザ１１６の顔の最終テクスチャマップ７０８を生成するようにさらに構成することができる。
【0093】
ある実施形態によれば、テクスチャリングされていない３Ｄ顔モデル１１４は、ユーザ１１６の顔の形状改善された３Ｄ顔モデルとすることができる。ＰＣＡモデルは、ユーザの顔とは異なる複数の顔の複数の顔テクスチャマップ上でのＰＣＡの適用によって抽出される固有ベクトルと固有値との組み合わせに対応することができる。電子装置１０２は、ユーザ１１６の顔の第１の複数のカラー画像と、第１の複数のカラー画像に対応する第１の深度情報とを取り込むように構成されたスキャニング装置１０４をさらに含むことができる。第１の複数のカラー画像及び対応する第１の深度情報は、第１のカラー画像１１０及び対応する深度情報１１２を含む。回路２０２は、取り込まれた第１の複数のカラー画像及び対応する第１の深度情報に基づいて、ユーザ１１６の顔のテクスチャリングされていない３Ｄ顔モデル１１４を生成するようにさらに構成することができる。
【0094】
ある実施形態によれば、スキャニング装置１０４は、ユーザ１１６の顔とは異なる複数の顔の第２の複数のカラー画像及び対応する第２の深度情報を取り込むようにさらに構成することができる。取り込まれる複数の顔の第２の複数のカラー画像は、一般的周囲照明条件下で取り込まれる。回路２０２は、取り込まれた第２の複数のカラー画像に基づいて、互いに位置合わせされた複数の顔の各々の顔メッシュを生成するようにさらに構成することができる。回路２０２は、Ｕ－Ｖ座標マップ上の複数の顔のうちの対応する顔の生成された顔メッシュのアンラップ処理に基づいて、複数の顔のうちの対応する顔の複数の顔テクスチャマップの各顔テクスチャマップを生成するようにさらに構成することができる。回路２０２は、ユーザ１１６の顔とは異なる複数の顔の複数の顔テクスチャマップ上での主成分分析（ＰＣＡ）の適用によって、基準顔テクスチャモデルを生成するようにさらに構成することができる。
【0095】
ある実施形態によれば、回路２０２は、第１のカラー画像１１０上の第１の複数の三角形を決定するようにさらに構成することができる。回路２０２は、第１のカラー画像１１０上の第１の複数の三角形の各三角形を、テクスチャリングされていない３Ｄ顔モデル１１４上の第２の複数の三角形のうちの対応する三角形にマッピングするようにさらに構成することができる。このマッピングは、３Ｄ空間内でテクスチャリングされていない３Ｄ顔モデル１１４上に第１のカラー画像１１０を透視投影することに基づくことができる。回路２０２は、Ｕ－Ｖ座標マップ５０６上で第２の複数の三角形をＵ－Ｖ座標マッピングすることによって、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形を決定するようにさらに構成することができる。回路２０２は、Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形と、第１のカラー画像１１０上の第１の複数の三角形との間のアフィン変換を計算するようにさらに構成することができる。回路２０２は、第３の複数の三角形の各三角形にテクスチャを適用することによって、テクスチャリングされたＵ－Ｖ座標マップを決定するようにさらに構成することができる。各三角形に対するテクスチャの適用は、計算されたアフィン変換に基づくことができ、テクスチャリングされたＵ－Ｖ座標マップは、第１のテクスチャマップ５０８とすることができる。Ｕ－Ｖ座標マップ５０６上の第３の複数の三角形の各三角形に対するテクスチャの適用は、第１のカラー画像１１０上の第１の複数の三角形のうちの対応する三角形からの色情報の補間にさらに基づくことができる。
【0096】
ある実施形態によれば、回路２０２は、第１のテクスチャマップ５０８の周囲光及び拡散光の各々の照明強度、照明方向及び正反射率を繰り返し推定するようにさらに構成することができる。第１のテクスチャマップ５０８の周囲光及び拡散光の照明強度、照明方向、及び正反射率は、反射率モデル、第１のテクスチャマップ５０８、及びテクスチャリングされていない３Ｄ顔モデル１１４に基づいて推定することができる。反射率モデルは、周囲光及び拡散光の各々の照明強度と、照明方向と、正反射率との間の関係を含むことができる。回路２０２は、基準顔テクスチャモデル、推定された周囲光及び拡散光の各々の照明強度、照明方向及び正反射率に基づいて、第１のテクスチャマップ５０８上の複数の点のアルベド値の組を推定するようにさらに構成することができる。生成された第１のテクスチャマップ５０８上の複数の第１の有効点の各有効点は、テクスチャリングされていない３Ｄ顔モデル１１４上の対応する位置において三角形が観察される点とすることができる。
【0097】
ある実施形態によれば、回路２０２は、第１のテクスチャマップ５０８上の複数の点と第２のテクスチャマップ６０６Ａ上の複数の点との間の第１の複数の対応についての第１の関係に基づいて、第２のテクスチャマップ６０６Ａ上の複数の点のオフセット項を計算するようにさらに構成することができる。回路２０２は、第２のテクスチャマップ６０６Ａ上の複数の点の隣接する点間の第２の複数の対応についての第２の関係に基づいて、第２のテクスチャマップ６０６Ａ上の複数の点の平滑化項を計算するようにさらに構成することができる。回路２０２は、計算されたオフセット項及び計算された平滑化項に基づいて、目的関数を最小化するようにさらに構成することができる。回路２０２は、生成された第１のテクスチャマップ５０８からの照明影響の除去にさらに基づいて、第２のテクスチャマップ６０６Ａを精細化するようにさらに構成することができる。回路２０２は、精細化された第２のテクスチャマップに第１のテクスチャマップの照明影響を追加するようにさらに構成することができる。
【0098】
ある実施形態によれば、回路２０２は、ユーザ１１６の顔の第１のマスク７０４Ｂに基づいて、第１のテクスチャマップ５０８の第１の部分を抽出するようにさらに構成することができる。回路２０２は、ユーザ１１６の顔の第２のマスク７０６Ｂに基づいて、精細化された第２の顔テクスチャマップ６１０の第２の部分を抽出するようにさらに構成することができる。回路２０２は、抽出された第１の部分と抽出された第２の部分との組み合わせに基づいて、最終テクスチャマップ７０８を生成するようにさらに構成することができる。第１の部分は、ユーザ１１６の顔の正面顔部分に対応することができ、第２の部分は、ユーザ１１６の顔の残りの顔部分に対応することができる。回路２０２は、テクスチャリングされていない３Ｄ顔モデル１１４上に生成された最終テクスチャマップ７０８をレンダリングすることによって、ユーザ１１６の顔のテクスチャリングされた３Ｄ顔モデルを生成するようにさらに構成することができる。
【0099】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【0100】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、いずれかの言語、コード又は表記法におけるいずれかの表現を意味する。
【0101】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】