5773323 画像に基づくマルチビュー３Ｄ顔生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5773323

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】画像に基づくマルチビュー３Ｄ顔生成

(51)【国際特許分類】

   G06T 17/00 20060101AFI20150813BHJP

   G06T 15/04 20110101ALI20150813BHJP

   G06T 13/40 20110101ALI20150813BHJP

【ＦＩ】

   G06T17/00

   G06T15/04

   G06T13/40

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2014-524234(P2014-524234)

(86)(22)【出願日】2011年8月9日

(65)【公表番号】特表2014-525108(P2014-525108A)

(43)【公表日】2014年9月25日

(86)【国際出願番号】CN2011001306

(87)【国際公開番号】WO2013020248

(87)【国際公開日】20130214

【審査請求日】2014年3月20日

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】トーン、シァオフェン

(72)【発明者】

【氏名】リ、ジャングオ

(72)【発明者】

【氏名】フー、ウェイ

(72)【発明者】

【氏名】ドゥ、ヤンチョウ

(72)【発明者】

【氏名】ジャン、イミン

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−０３９８６９（ＪＰ，Ａ）

【文献】 特表２００９−５２５５４３（ＪＰ，Ａ）

【文献】 特表２００９−５２３２８８（ＪＰ，Ａ）

【文献】 原朋也, 外３名，”複数顔向き画像に基づく３次元顔モデル生成”，ＳＳＩＩ２０１０ 第１６回 画像センシングシンポジウム講演論文集 ［ＣＤ−ＲＯＭ］，日本，画像センシング技術研究会，２０１０年 ６月 ９日，p.(IS3-20-1)-(IS3-20-8)

【文献】 倉立尚明，”顔形状データベースを用いた写真からの三次元表情推定と顔アニメーションへの応用”，画像電子学会誌，日本，画像電子学会，２００５年 ７月２５日，第３４巻, 第４号，p.344-355

【文献】 町野太一, 外１名，”ビデオ映像による人物間対話解析のための顔領域抽出と顔方向の推定”，情報処理学会研究報告，日本，社団法人情報処理学会，２００３年 ５月３０日，第２００３巻, 第５９号，p.57-64

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００−１５／８７，１７／００

Ｇ０６Ｔ １／００，１３／００−１３／８０，１９／００−１９／２０

Ｇ０６Ｆ ３／０１，３／０４８−３／０４８９

Ｇ０６Ｔ ７／００，７／２０−７／６０

(57)【特許請求の範囲】

【請求項1】

３Ｄ顔モデル化の方法であって、
複数の２Ｄ顔画像を受信する段階と、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元する段階と、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成する段階と、
前記高密度アバターメッシュを３Ｄモーフィング可能顔モデルにフィッティングして再構成された３Ｄモーフィング可能顔メッシュを生成する段階と、
前記高密度アバターメッシュを前記再構成された３Ｄモーフィング可能顔メッシュにアラインメントして３Ｄ顔モデルを構成する段階と
を備え、
前記高密度アバターメッシュを前記３Ｄモーフィング可能顔モデルにフィッティングして前記再構成された３Ｄモーフィング可能顔メッシュを生成する段階は、
前記３Ｄモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義する段階と、
前記３Ｄモーフィング可能顔モデルのための前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成する段階と
を有し、
前記高密度アバターメッシュを前記再構成された３Ｄモーフィング可能顔メッシュにアラインメントして前記３Ｄ顔モデルを構成する段階は、
エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行する段階
を有する、
方法。

【請求項2】

前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階をさらに備える請求項１に記載の方法。

【請求項3】

前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階は、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する段階を有する請求項２に記載の方法。

【請求項4】

前記３Ｄ顔モデルをスムージングする段階をさらに備える請求項１から３の何れか１項に記載の方法。

【請求項5】

前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成する段階と、
最終３Ｄ顔モデルを生成するべく、前記スムージングされた３Ｄ顔モデルと前記テクスチャ画像とを組み合わせる段階とをさらに備える請求項４に記載の方法。

【請求項6】

前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成する段階と、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定する段階と、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する段階と
をさらに備える、請求項１から５の何れか１項に記載の方法。

【請求項7】

プロセッサと、
前記プロセッサに結合されているメモリと
を備え、
前記メモリ内の命令は、
複数の２Ｄ顔画像を受信し、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成し、
前記高密度アバターメッシュを３Ｄモーフィング可能顔モデルにフィッティングして再構成された３Ｄモーフィング可能顔メッシュを生成し、
前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして３Ｄ顔モデルを構成するように
前記プロセッサを設定し、
前記高密度アバターメッシュを前記３Ｄモーフィング可能顔モデルにフィッティングして前記再構成された３Ｄモーフィング可能顔メッシュを生成することは、
前記３Ｄモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義することと、
前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成することと
を有し、
前記高密度アバターメッシュを前記再構成された３Ｄモーフィング可能顔メッシュにアラインメントして前記３Ｄ顔モデルを構成することは、
エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行することと
を有する、
システム。

【請求項8】

前記メモリ内の命令はさらに、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行するように前記プロセッサを設定する請求項７に記載のシステム。

【請求項9】

前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することは、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定することを有する
請求項８に記載のシステム。

【請求項10】

前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記メモリ内の命令は、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成するように
前記プロセッサを設定する、請求項７から９の何れか１項に記載のシステム。

【請求項11】

複数の２Ｄ顔画像を受信し、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成し、
前記高密度アバターメッシュを３Ｄモーフィング可能顔モデルにフィッティングして再構成された３Ｄモーフィング可能顔メッシュを生成し、
前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして３Ｄ顔モデルを構成する
処理手段を備え、
前記高密度アバターメッシュを前記３Ｄモーフィング可能顔モデルにフィッティングして前記再構成された３Ｄモーフィング可能顔メッシュを生成することは、
前記３Ｄモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義することと、
前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成することと
を有し、
前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして前記３Ｄ顔モデルを構成することは、
エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行することと
を有する、
デバイス。

【請求項12】

前記処理手段は、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する請求項１１に記載のデバイス。

【請求項13】

前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することを目的として、前記複数の２Ｄ顔画像のそれぞれについて、前記処理手段は、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する請求項１２に記載のデバイス。

【請求項14】

前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、
前記処理手段は、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する
請求項１１から１３の何れか１項に記載のデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

人間の顔の特徴を３Ｄモデル化することは、３Ｄで写実的に人々を表現するために広く用いられている。例えば、アバター等の人間の仮想表現は大抵、このような３Ｄモデルを利用している。３Ｄで顔を生成するための従来の用途では、特徴点を手作業で分類する必要がある。このような技術はモーフィング可能モデルフィッティングを利用するが、自動顔特徴検出が可能になること、および、マルチビューステレオ（ＭＶＳ）技術を利用することが望ましい。

【図面の簡単な説明】

【0002】

本明細書で説明する内容は、添付図面において一例として挙げているものであり、限定を目的としたものではない。図示を簡潔かつ明瞭にするべく、図面に図示する構成要素は必ずしも実寸に即したものではない。例えば、一部の構成要素の寸法は、他の構成要素に比べて、分かり易いように、強調されていることもある。さらに、適切と見なされる場合には、参照符号は複数の図面にわたって繰り返し用いて、対応する構成要素または同様の構成要素を示す。図面は以下の通りである。

【図1】システムの一例を示す図である。

【図2】３Ｄ顔モデル生成プロセスの一例を示す図である。

【図3】バウンディングボックスおよび特定された顔特徴の一例を示す図である。

【図4】複数の復元されたカメラおよび対応する高密度アバターメッシュの一例を示す図である。

【図5】再構成されたモーフィング可能顔メッシュを高密度アバターメッシュに融合させる例を示す図である。

【図6】モーフィング可能顔メッシュの三角形の一例を示す図である。

【図7】角度重み付けされたテクスチャ合成方法の一例を示す図である。

【図8】テクスチャ画像と、対応するスムージングされた３Ｄ顔モデルとを組み合わせて、最終３Ｄ顔モデルを生成する例を示す図である。

【図9】本開示の少なくとも一部の実施形態に応じて全ての構成要素が配置されているシステムの一例を示す図である。

【発明を実施するための形態】

【0003】

添付した図面を参照しつつ１以上の実施形態または実施例を以下で説明する。具体的な構成および配置を説明したが、これは例示を目的としたものに過ぎないと理解されたい。当業者であれば、以下の説明の意図および範囲から逸脱することなく、他の構成および配置を利用し得ると認めるであろう。当業者には、本明細書で説明する技術および／または構成はさらに、本明細書で説明する以外の多岐にわたる他のシステムおよび用途でも採用し得ることが明らかである。

【0004】

以下に記載する説明は、例えばシステムオンチップ（ＳｏＣ）アーキテクチャ等のアーキテクチャで見られるさまざまな実施形態についてであるが、本明細書で説明する技術および／または構成の実施形態は特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的を実現するべく任意のアーキテクチャおよび／またはコンピューティングシステムによって実現され得る。例えば、複数の集積回路（ＩＣ）チップおよび／またはパッケージ、および／または、さまざまなコンピューティングデバイスおよび／または、セットトップボックス、スマートフォン等の消費者向け電子（ＣＥ）機器を利用するさまざまなアーキテクチャが、本明細書で説明する技術および／または構成を実現するとしてよい。さらに、以下の説明は、論理実装、システムコンポーネントの種類および相関関係、論理上のパーティション化／統合の選択肢等、具体的且つ詳細な内容を数多く記載しているが、請求の対象となる主題はこのような具体的且つ詳細な内容を利用することなく実施するとしてもよい。また、例えば、制御構造および完全ソフトウェア命令シーケンス等の一部の開示内容は、本明細書の開示内容をあいまいにしないよう、詳細な説明を省略するとしてよい。

【0005】

本明細書の開示内容は、ハードウェア、ファームウェア、ソフトウェアまたはこれらの任意の組み合わせで実現されるとしてよい。本明細書の開示内容はさらに、１以上のプロセッサによって読み出して実行される、機械可読媒体に格納される命令として実現するとしてもよい。機械可読媒体は、機械（例えば、コンピューティングデバイス）が読出可能な形式で情報を格納または送信する任意の媒体および／またはメカニズムを含むとしてよい。例えば、機械可読媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス、電流、光、音波またはその他の形態の伝搬信号（例えば、搬送波、赤外信号、デジタル信号等）等を含むとしてよい。

【0006】

本明細書において「一実施形態」、「実施形態」、「実施形態例」等の表現は、当該実施形態が特定の特徴、構造または特性を含み得るが、全ての実施形態が必ずしもその特定の特徴、構造または特性を含むものではないことを意味する。さらに、このようなフレーズは必ずしも同じ実施形態を意味するものではない。さらに、ある実施形態に関連付けて特定の特徴、構造または特性を説明する場合、本明細書で明示的に説明しているか否かに関わらず、当該特徴、構造または特性を他の実施形態と組み合わせて実施することは当業者の想到の範囲内であると考えられる。

【0007】

図１は、本開示に係るシステム１００の一例を示す図である。さまざまな実施形態によると、システム１００は、撮像モジュール１０２、および、本明細書で説明するように顔テクスチャを含む３Ｄ顔モデルを生成することができる３Ｄ顔シミュレーションモジュール１１０を備えるとしてよい。さまざまな実施形態によると、システム１００は、キャラクターのモデル化および作成、コンピュータグラフィクス、ビデオカンファレンス、オンラインゲーム、バーチャルリアリティ用途等に利用し得る。さらに、システム１００は、知覚コンピューティング、デジタルホームエンターテインメント、消費者向け電子機器等の用途に適切であるとしてよい。

【0008】

撮像モジュール１０２は、１以上の撮像デバイス１０４、例えば、スチールカメラまたはビデオカメラを有する。一部の実施形態によると、一のカメラ１０４を、被写体の顔１０８を中心として、円弧またはトラック１０６に沿って移動させて、顔１０８の一連の画像を生成するとしてよい。以下でより詳細に説明するが、顔１０８に対する各画像の視点は異なる。他の実施形態によると、複数の撮像デバイス１０４を利用して、顔１０８に対してさまざまな角度に配置するとしてよい。一般的に、撮像モジュール１０２には、画像シーケンスを生成するべく任意の数の公知の撮像システムおよび／または撮像技術を用いてもよい（例えば、「Ｓｅｉｔｚ ｅｔ ａｌ．，"Ａ Ｃｏｍｐａｒｉｓｏｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ，" Ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６」（以下では「Ｓｅｉｔｚ ｅｔ ａｌ．」と引用する）を参照のこと）。

【0009】

撮像モジュール１０２は、シミュレーションモジュール１１０に画像シーケンスを供給するとしてよい。シミュレーションモジュール１１０は、少なくとも、顔検出モジュール１１２、マルチビューステレオ（ＭＶＳ）モジュール１１４、３Ｄモーフィング可能顔モジュール１１６、アラインメントモジュール１１８、および、テクスチャモジュール１２０を有する。これらの構成要素の機能はより詳細に後述する。一般的に、より詳細に後述するが、シミュレーションモジュール１１０は、撮像モジュール１０２が供給する画像から画像を選択して、選択された画像に対して顔検出を実行して顔バウンディングボックスおよび顔特徴を取得して、カメラパラメータを復元し、疎な重要点を取得し、マルチビューステレオ技術を実行して高密度アバターメッシュを生成し、当該メッシュをモーフィング可能３Ｄ顔モデルにフィッティングさせ、アラインメントおよびスムージングによって３Ｄ顔モデルを改善し、当該顔モデル用のテクスチャ画像を合成するべく用いられるとしてよい。

【0010】

さまざまな実施形態によると、撮像モジュール１０２およびシミュレーションモジュール１１０は、互いに隣接しているか、または、互いに近接しているとしてよい。例えば、撮像モジュール１０２は、撮像デバイス１０４としてビデオカメラを利用するとしてよく、シミュレーションモジュール１１０は、直接デバイス１０４から画像シーケンスを受信して、画像を処理して３Ｄ顔モデルおよびテクスチャ画像を生成するコンピューティングシステムによって実現されるとしてよい。他の実施形態によると、撮像モジュール１０２およびシミュレーションモジュール１１０は、互いから離れているとしてもよい。例えば、撮像モジュール１０２から離れた位置にある１以上のサーバーコンピュータがシミュレーションモジュール１１０を実現し、シミュレーションモジュール１１０は、例えば、インターネットを介して、モジュール１０２から画像シーケンスを受信するとしてよい。さらに、さまざまな実施形態によると、シミュレーションモジュール１１０は、複数の異なるコンピューティングシステムに分散して設けられているか、または、分散させていないソフトウェア、ファームウェアおよび／またはハードウェアを任意に組み合わせることで提供されるとしてよい。

【0011】

図２は、本開示のさまざまな実施形態に応じた、３Ｄ顔モデルを生成するためのプロセス２００の例を説明するためのフローチャートである。プロセス２００は、図２のブロック２０２、２０４、２０６、２０８、２１０、２１２、２１４および２１６のうち１以上で説明する１以上の処理、機能または動作を含むとしてよい。プロセス２００は、これらに限定されることなく一例として挙げるが、図１のシステムの例に基づいて本明細書で説明する。プロセス２００は、ブロック２０２で開始されるとしてよい。

【0012】

ブロック２０２において、顔の複数の２Ｄ画像を撮像するとしてよく、これらの画像のうちさまざまな画像をさらなる処理のために選択するとしてよい。さまざまな実施形態によると、ブロック２０２は、複数の異なる視点から人間の顔のビデオ画像を録画するべく、一般的な商業用カメラを利用することを含むとしてよい。例えば、ビデオは、約１０秒間にわたって人間の頭部の前面を中心として約１８０度にわたる複数の異なる向きで、顔は静止させたまま、淡々とした表情を維持しながら、録画されるとしてよい。この結果、約３００枚もの２Ｄ画像が撮像されるとしてよい（標準的なビデオフレームレートである毎秒当たり３０フレームを仮定する）。結果として得られるビデオはこの後、デコードされて、約３０枚程度の顔画像を含むサブ群を、手作業で、または、自動選択方法（例えば、「Ｒ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎ，"Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，"Ｃｈａｐｔｅｒ １２，Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ，Ｓｅｃｏｎｄ Ｖｅｒｓｉｏｎ（２００３）」を参照のこと）を用いて選択するとしてよい。一部の実施形態によると、選択された画像のうち隣接する画像同士の間の角度（撮像されている被写体に対して測定される）は、１０度以下であるとしてよい。

【0013】

この後、ブロック２０４において、選択された画像に対して顔検出および顔特徴特定を実行して、対応する顔バウンディングボックスおよび当該顔バウンディングボックス内の特定された特徴を生成するとしてよい。さまざまな実施形態によると、ブロック２０４は、公知の自動マルチビュー顔検出技術（例えば、Ｋｉｍ ｅｔ ａｌ．，"Ｆａｃｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ Ｖｉｓｕａｌ Ｃｏｎｓｔｒａｉｎｔｓ ｉｎ Ｒｅａｌ− Ｗｏｒｌｄ Ｖｉｄｅｏｓ"，Ｉｎ ＩＥＥＥ Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （２００８）を参照のこと）を適用して、特徴を特定する領域を限定するべく、そして、外部のバックグラウンド画像コンテンツを削除するべく、顔バウンディングボックスを利用して、各画像における顔輪郭および顔特徴を概略的に示すことを含むとしてよい。例えば、図３は、人間の顔３０８の２Ｄ画像３０６に対するバウンディングボックス３０２および特定された顔特徴３０４の例を示す図であるが、これに限定されない。

【0014】

ブロック２０６において、カメラパラメータを画像毎に決定するとしてよい。さまざまな実施形態によると、ブロック２０６は、画像毎に、安定した重要点を抽出して、公知の自動カメラパラメータ復元技術、例えば、Ｓｅｉｔｚ ｅｔ ａｌ．に記載されている技術を利用して、カメラ射影マトリクスを含むカメラパラメータおよび特徴点の疎な集合を取得することを含むとしてよい。一部の例によると、システム１００の顔検出モジュール１１２は、ブロック２０４および／またはブロック２０６を実行するとしてよい。

【0015】

ブロック２０８において、マルチビューステレオ（ＭＶＳ）技術を適用して、特徴点の疎な集合およびカメラパラメータから高密度アバターメッシュを生成するとしてよい。さまざまな実施形態によると、ブロック２０８は、顔画像の複数の対について、公知のステレオホモグラフィーおよびマルチビューアラインメントおよびインテグレーション技術を実行することを含むとしてよい。例えば、国際公開公報第２０１０１３３００７号（Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｒａｐｉｄ Ｓｔｅｒｅｏ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅｓ）に記載されているように、一対の画像について、ホモグラフィーフィッティングによって取得された画像点の対は、最適化された後、既知のカメラパラメータで三角法を用いて、高密度アバターメッシュにおける３次元点を生成するとしてよい。例えば、図４は、これに限定するものではないが、ブロック２０６で取得する複数の復元されたカメラ４０２（例えば、復元したカメラパラメータが特定するもの）、および、ブロック２０８で取得する、対応する高密度アバターメッシュ４０４の例を示す図である。一部の例では、システム１００のＭＶＳモジュール１１４がブロック２０８を実行するとしてよい。

【0016】

図２の説明に戻ると、ブロック２０８で取得する高密度アバターメッシュは、ブロック２１０において３Ｄモーフィング可能モデルにフィッティングさせて、再構成された３Ｄモーフィング可能顔メッシュを生成するとしてよい。高密度アバターメッシュはこの後、ブロック２１２において再構成されたモーフィング可能顔メッシュにアラインメントされて改善され、スムージングされた３Ｄ顔モデルを生成する。一部の例では、システム１００の３Ｄモーフィング可能モデルモジュール１１６およびアラインメントモジュール１１８はそれぞれ、ブロック２１０および２１２を実行するとしてよい。

【0017】

さまざまな実施形態によると、ブロック２１０は、モーフィング可能顔モデルを顔データセットから学習することを含むとしてよい。例えば、顔データセットは、形状データ（例えば、デカルト座標系における（ｘ、ｙ、ｚ）メッシュ座標）、および、高密度アバターメッシュにおける各点または頂点を特定するテクスチャデータ（赤色、緑色および青色の強度値）を含むとしてよい。形状およびテクスチャは、対応する列ベクトルで表すとしてよい。（ｘ_１，ｙ_１，ｚ_１，ｘ_２，ｙ_２，ｚ_２，・・・，ｘ_ｎ，ｙ_ｎ，ｚ_ｎ)^ｔおよび（Ｒ_１，Ｇ_１，Ｂ_１，Ｒ_２，Ｇ_２，Ｂ_２，・・・Ｒ_ｎ，Ｇ_ｎ，Ｚ_ｎ）^ｔ（尚、ｎは、顔における特徴点または頂点の数）を示す。

【0018】

一般的な顔は、以下の式を用いて３Ｄモーフィング可能顔モデルとして表されるとしてよい。

【数1】

式中、Ｘ_０は平均列ベクトルであり、λ_ｉはｉ番目の固有値であり、Ｕ_ｉはｉ番目の固有ベクトルであり、α_ｉは、ｉ番目の固有値の、再構成されたメトリック係数である。数１で表されるモデルは、係数群｛α｝_ｎを調整することでさまざまな形状にモーフィングされるとしてよい。

【0019】

高密度アバターメッシュを数１の３Ｄモーフィング可能顔モデルにフィッティングすることは、モーフィング可能モデルの頂点Ｓ_ｍｏｄを数２として解析的に定義することを含むとしてよい。

【数2】

式中、

【数3】

は、モーフィング可能モデルの頂点の全てを含む一群Ｋから、特徴点に対応するｎ個の頂点を選択する射影である。数２において、ｎ個の特徴点を用いて再構成されたエラーを測定する。

【0020】

フィッティングにおいて、事前モデルを適用すると、以下のコスト関数が得られるとしてよい。

【数4】

数４は、適切な形状を表す確率は、ノルムに直接的に左右されると仮定する。αの値が大きくなると、再構成された顔と平均的な顔との差分が大きくなることを意味する。パラメータ「η」は、数４の事前確率およびフィッティング品質との間でトレードオフの関係にあり、以下のコスト関数を最小限に抑えることによって繰り返し決定するとしてよい。

【数5】

式中、

【数6】

が成り立つ。特異値分解をＡに適用すると、以下のようになる

【数7】

式中、ｗ_ｉはＡの特異値である。

【0021】

数５は、以下の条件が満たされる場合に最小化されるとしてよい。

【数8】

数８を利用して、αはα＝α＋δαとして繰り返し更新されるとしてよい。また、一部の実施形態によると、ηは繰り返し調整するとしてよい。尚、ηは最初、

【数9】

（例えば、最大特異値）に設定されるとしてよく、より小さい特異値の二乗値へと低減するとしてよい。

【0022】

さまざまな実施形態によると、ブロック２１０において再構成されたモーフィング可能顔メッシュとして提供される再構成された３Ｄ点を考えると、ブロック２１２におけるアラインメントは、顔のポージング、および、再構成された３Ｄ点からモーフィング可能顔メッシュまでの距離を最小にするために必要なメトリック係数の両方を検索することを含むとしてよい。顔のポージングは、中立顔モデルの座標フレームから高密度アバターメッシュの座標フレームへの変換Ｔによって提供されるとしてよい。尚、Ｒは３×３の回転行列であり、ｔは並進であり、ｓはグローバルスケールである。変換Ｔは以下の数１０で表される。

【数10】

どの３Ｄベクトルｐについても、Ｔ（ｐ）＝ｓＲｐ＋ｔを利用するとしてよい。

【0023】

カメラフレーム内の顔メッシュの頂点座標は、メトリック係数および顔のポージングの両方の関数である。メトリック係数｛α_１，α_２，・・・，α_ｎ｝およびポージングＴの場合、カメラフレーム内の顔形状は以下の数１１で表されるとしてよい。

【数11】

【0024】

顔メッシュが三角メッシュである例では、三角形上の任意の点は、重心座標で測定される３個の三角形の頂点の一次結合として表現されるとしてよい。このように、三角形上の任意の点は、Ｔおよびメトリック係数の関数として表現されるとしてよい。さらに、Ｔが一定の場合、本明細書で説明するメトリック係数の一次関数として表現されるとしてよい。

【0025】

この後、ポージングＴおよびメトリック係数｛α_１，α_２，・・・，α_ｎ｝は、以下の数１２を最小化することによって得られるとしてよい。

【数12】

式中、（ｐ_１，ｐ_２，・・・，ｐ_ｎ）は、再構成された顔メッシュの点を表しており、ｄ（ｐ_ｉ，Ｓ）は、点ｐ_ｉから顔メッシュＳまでの距離を表す。数１２は、イテレーションクローズドポイント（ＩＣＰ）方式を利用して解を求めるとしてよい。例えば、イテレーションの度に、Ｔは一定であるとしてよく、点ｐ_ｉ毎に、現在の顔メッシュＳ上の最も近い点ｇ_ｉを特定するとしてよい。エラーＥは最小化されるとしてよく（数１２）、再構成されたメトリック係数は、数１、数２、数４、数５および数８を用いて得られる。そして、顔のポージングＴは、メトリック係数｛α_１，α_２，・・・，α_ｎ｝を固定することによって、得られるとしてよい。さまざまな実施形態によると、これは、高密度アバターメッシュの点についてｋｄ木を構築すること、高密度点におけるクローズド点においてモーフィング可能顔モデルを検索すること、および、最小二乗法を用いてポージング変換Ｔを得ることを含むとしてよい。ＩＣＰは継続して行われ、エラーＥが収束して、再構成されたメトリック係数およびポージングＴが安定化するまで、さらにイテレーションが行われるとしてよい。

【0026】

高密度アバターメッシュ（ブロック２０８におけるＭＶＳ処理で得られたもの）と再構成されたモーフィング可能顔メッシュ（ブロック２１０で得られたもの）とをアラインメントさせ、高密度アバターメッシュを再構成されたモーフィング可能顔メッシュに融合することによって結果を改善またはスムージングするとしてよい。例えば、図５は、再構成されたモーフィング可能顔メッシュ５０２を高密度アバターメッシュ５０４に融合してスムージングされた３Ｄ顔モデル５０６を得る例を、これに限定しないが、説明する図である。

【0027】

さまざまな実施形態によると、３Ｄ顔モデルをスムージングすることは、顔メッシュの周囲に円筒平面を作成すること、および、モーフィング可能顔モデルおよび高密度アバターメッシュの両方を当該平面にアンラップすることを含むとしてよい。高密度アバターメッシュの頂点毎に、当該頂点を含む、モーフィング可能顔メッシュの三角形を特定するとしてよい。そして、当該三角形内の当該頂点の重心座標を求めるとしてよい。そして、高密度点と、モーフィング可能顔メッシュ内の対応する点とを重み付け結合した結果として、改善された点を生成するとしてよい。高密度アバターメッシュ内の点ｐ_ｉの改善は、以下の数１３によって行われるとしてよい。

【数13】

式中、αおよびβは重みであり、（ｑ_１，ｑ_２，ｑ_３）は、点ｐ_ｉを含むモーフィング可能顔メッシュの三角形の３つの頂点であり、（ｃ_１，ｃ_２，ｃ_３）は、図６に図示されているように３個のサブ三角形の面積を正規化したものである。さまざまな実施形態によると、ブロック２１２の少なくとも一部分は、システム１００のアラインメントモジュール１１８によって実行されるとしてよい。

【0028】

ブロック２１２においてスムージングされた３Ｄ顔メッシュを生成した後、ブロック２１４において、カメラ射影マトリクスを用いて、マルチビューテクスチャ合成を適用することによって対応する顔テクスチャを合成するとしてよい。さまざまな実施形態によると、ブロック２１４は、角度重み付けテクスチャ合成方法を利用して最終顔テクスチャ（例えば、テクスチャ画像）を決定することを含むとしてよい。ブロック２１４では、高密度アバターメッシュにおける各点または各三角形について、対応する射影マトリクスを用いてさまざまな２Ｄ顔画像における投影点または投影三角形を取得するとしてよい。

【0029】

図７は、本開示に応じた、ブロック２１４で適用され得る角度重み付けテクスチャ合成方法７００の一例を示す図である。さまざまな実施形態によると、ブロック２１４は、高密度アバターメッシュの各三角形について、一連の顔画像から得られた投影三角形の全てのテクスチャデータの重み付け結合を求めることを含むとしてよい。図７の例に示すように、３Ｄ点Ｐは、高密度アバターメッシュ７０２内の三角形に対応付けられており、点Ｐにおいてメッシュ７０２に正接している平面７０４の表面に対して定義される法線Ｎを持つ。当該３Ｄ点Ｐが、一例である２つのカメラＣ_１およびＣ_２（カメラ中心Ｏ_１およびＯ_２）に向かって投影されると、カメラＣ_１およびＣ_２が撮像する顔画像７０６および７０８において２Ｄ投影点Ｐ_１およびＰ_２が得られるとしてよい。

【0030】

そして、点Ｐ_１およびＰ_２のテクスチャ値は、法線Ｎと、各カメラの主軸との間の角度のコサイン値によって重み付けするとしてよい。例えば、点Ｐ_１のテクスチャ値は、法線ＮとカメラＣ_１の主軸Ｚ_１との間に形成されている角度７１０のコサイン値で重み付けするとしてよい。同様に、図７には分かり易いように図示していないが、点Ｐ_２のテクスチャ値は、法線ＮとカメラＣ_２の主軸Ｚ_２との間に形成されている角度のコサイン値で重み付けするとしてよい。画像シーケンス中の全てのカメラについて同様の処理を行って、重み付けされたテクスチャ値の結合結果を用いて点Ｐおよび対応する三角形のテクスチャ値を生成するとしてよい。ブロック２１４は、高密度アバターメッシュ内の全ての点について同様の処理を実行して、ブロック２１２で生成されたスムージングされた３Ｄ顔モデルに対応するテクスチャ画像を生成することを含むとしてよい。さまざまな実施形態によると、ブロック２１４はシステム１００のテクスチャモジュール１２０によって実行されるとしてよい。

【0031】

プロセス２００は、スムージングされた３Ｄ顔モデルおよび対応するテクスチャ画像を公知の技術を利用して結合して最終３Ｄ顔モデルを生成するブロック２１６において終了するとしてよい。例えば、図８は、テクスチャ画像８０２と、対応するスムージングされた３Ｄ顔モデル８０４とを結合させて、最終３Ｄ顔モデル８０６を生成する例を示す図である。さまざまな実施形態によると、最終顔モデルは任意の標準的な３Ｄデータ形式（例えば、．ｐｌｙ、．ｏｂｊ等）で提供されるとしてよい。

【0032】

図２に図示している一例であるプロセス２００の実施形態は図示した順序で図示した全てのブロックを実行することを含むが、本開示はこれに限定されず、さまざまな例によると、プロセス２００の実施形態は、図示した全ブロックのうち一部のみを実行すること、および／または、図示した以外の順序で実行することを含むとしてよい。また、図２に図示したブロックのうち１以上は、１以上のコンピュータプログラム製品によって提供される命令に応じて実行するとしてよい。このようなプログラム製品は、例えば、１以上のプロセッサコアによって実行されると本明細書で説明している機能を実現する命令を提供する信号保持媒体を含むとしてよい。コンピュータプログラム製品は、任意の形式のコンピュータ可読媒体で提供するとしてよい。このように、例えば、１以上のプロセッサコアを含むプロセッサは、コンピュータ可読媒体によってプロセッサに提供される命令に応じて、図２に示すブロックのうち１以上を実行するか、または、実行するように構成されているとしてよい。

【0033】

図９は、本開示に応じたシステム９００の例を示す図である。システム９００は、本明細書で説明するさまざまな機能のうち一部または全てを実行するべく利用されるとしてよく、本開示のさまざまな実施形態に応じた画像に基づくマルチビュー３Ｄ顔生成を実行可能な任意のデバイスまたはデバイス群を含むとしてよい。例えば、システム９００は、本開示はこれに限定されないが、デスクトップコンピュータ、モバイルコンピュータまたはタブレットコンピュータ等のコンピューティングプラットフォームまたはコンピューティングデバイス、スマートフォン、セットトップボックス等のうち選択されたコンポーネントを備えるとしてよい。一部の実施形態によると、システム９００は、ＣＥデバイス用のＩｎｔｅｌ（登録商標）アーキテクチャ（ＩＡ）に基づくコンピューティングプラットフォームまたはＳｏＣであってよい。当業者であれば、本明細書で説明する実施形態は、本開示の範囲から逸脱することなく、他の処理システムでも利用し得ることに容易に想到するであろう。

【0034】

システム９００は、１以上のプロセッサコア９０４を含むプロセッサ９０２を備える。プロセッサコア９０４は、少なくとも一部分が、ソフトウェアを実行し、および／または、データ信号を処理することが可能な任意の種類のプロセッサロジックであってよい。さまざまな例によると、プロセッサコア９０４は、ＣＩＳＣプロセッサコア、ＲＩＳＣマイクロプロセッサコア、ＶＬＩＷマイクロプロセッサコア、および／または、命令セットを任意に組み合わせて実装している任意の数のプロセッサコア、または、デジタルシグナルプロセッサまたはマイクロコントローラ等の任意のその他のプロセッサデバイスを含むとしてよい。

【0035】

プロセッサ９０２はさらに、例えば、表示プロセッサ９０８および／またはグラフィクスプロセッサ９１０が受信した命令を、制御信号および／またはマイクロコードエントリポイントにデコードするために用いられるデコーダ９０６を備える。システム９００ではコア９０４とは別個のコンポーネントとして図示されているが、当業者であれば、コア９０４のうち１以上がデコーダ９０６、表示プロセッサ９０８、および／または、グラフィクスプロセッサ９１０を実現し得るものと認めるであろう。一部の実施形態によると、プロセッサ９０２は、図２を参照しつつ説明したプロセスの例を含む、本明細書で説明したプロセスのいずれかを実行するように構成されているとしてよい。さらに、制御信号および／またはマイクロコードエントリポイントに応じて、デコーダ９０６、表示プロセッサ９０８、および／または、グラフィクスプロセッサ９１０は、対応する処理を実行するとしてよい。

【0036】

プロセッサコア９０４、デコーダ９０６、表示プロセッサ９０８および／またはグラフィクスプロセッサ９１０は、システムインターコネクト９１６を介して、互いに、および／または、さまざまな他のシステムデバイスと通信可能および／または動作可能に結合されているとしてよい。さまざまな他のシステムデバイスは、これらに限定されないが、例えば、メモリコントローラ９１４、オーディオコントローラ９１８および／または周辺機器９２０を含むとしてよい。周辺機器９２０は、例えば、ユニファイドシリアルバス（ＵＳＢ）ホストポート、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスポート、シリアルペリフェラルインターフェース（ＳＰＩ）インターフェース、拡張バス、および／または、その他の周辺機器を含むとしてよい。図９ではインターコネクト９１６によってデコーダ９０６およびプロセッサ９０８および９１０に結合されているものとしてメモリコントローラ９１４を図示しているが、さまざまな実施形態によると、メモリコントローラ９１４は、デコーダ９０６、表示プロセッサ９０８、および／または、グラフィクスプロセッサ９１０に直接結合されているとしてよい。

【0037】

一部の実施形態によると、システム９００は、図９に図示していないさまざまなＩ／Ｏデバイスとの間でＩ／Ｏバス（これも不図示）を介して通信を行うとしてよい。このようなＩ／Ｏデバイスは、これらに限定されないが、例えば、ユニバーサルアシンクロナス受信機／送信機（ＵＡＲＴ）デバイス、ＵＳＢデバイス、Ｉ／Ｏ拡張インターフェースまたはその他のＩ／Ｏデバイスを含むとしてよい。さまざまな実施形態によると、システム９００は、モバイル通信、ネットワーク通信および／または無線通信を実行するシステムの少なくとも一部分を表しているとしてよい。

【0038】

システム９００はさらに、メモリ９１２を備えるとしてよい。メモリ９１２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリデバイスまたはその他のメモリデバイス等の１以上の個別のメモリコンポーネントであってよい。図９はメモリ９１２がプロセッサ９０２の外部にあるものとして図示しているが、さまざまな実施形態によると、メモリ９１２はプロセッサ９０２の内部にあるとしてもよい。メモリ９１２は、図２を参照しつつ説明したプロセスの一例を含む本明細書に記載のプロセスのいずれかを実行する際にプロセッサ９０２が実行するデータ信号によって表現される命令および／またはデータを格納するとしてよい。例えば、メモリ９１２は、本明細書で説明したカメラパラメータ、２Ｄ顔画像、高密度アバターメッシュ、３Ｄ顔モデル等を表すデータを格納するとしてよい。一部の実施形態によると、メモリ９１２は、システムメモリ部分およびディスプレイメモリ部分を含むとしてよい。

【0039】

本明細書で説明するデバイスおよび／またはシステム、例えば、一例として挙げたシステム１００は、本開示に応じた多くの可能なデバイス構成、アーキテクチャまたはシステムのうちいくつかを表している。一例として挙げたシステム１００の変形例等、システムの数多くの変形例を本開示に応じて実現することが可能である。

【0040】

上述したシステム、および、本明細書で説明したように上記のシステムが実行する処理は、ハードウェア、ファームウェアもしくはソフトウェア、または、これらの任意の組み合わせで実現されるとしてよい。また、本明細書で開示した任意の１以上の特徴は、ハードウェア、ソフトウェア、ファームウェアおよびこれらの組み合わせ、例えば、個別および集積化した回路ロジック、特定用途向け集積回路（ＡＳＩＣ）ロジックおよびマイクロコントローラで実現するとしてよく、ドメイン固有集積回路パッケージの一部として、または、集積化回路パッケージの組み合わせとして実現されるとしてよい。本明細書で用いる場合、「ソフトウェア」という用語は、本明細書に開示した１以上の特徴および／または特徴の組み合わせをコンピュータシステムに実行させるためのコンピュータプログラムロジックを格納しているコンピュータ可読媒体を含むコンピュータプログラム製品を意味する。

【0041】

さまざまな実施形態に基づき特定の特徴を本明細書で記載しているが、本明細書は限定的に解釈されるべきものではない。このため、本明細書に説明する実施形態のさまざまな変形例、ならびに、他の実施形態は、本開示内容が関する技術分野の当業者には明らかであり、本開示の意図および範囲内にあるとする。
［項目１］
３Ｄ顔モデル化の方法であって、
複数の２Ｄ顔画像を受信する段階と、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元する段階と、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用する段階と、
３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングする段階と、
前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用する段階と
を備える方法。
［項目２］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階をさらに備える項目１に記載の方法。
［項目３］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階は、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する段階を有する項目２に記載の方法。
［項目４］
前記３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングする段階は、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングする段階と、
前記３Ｄ顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントする段階と
を有する項目１から３の何れか１項に記載の方法。
［項目５］
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングする段階は、イテレーションクローズドポイント技術を適用する段階を含む項目４に記載の方法。
［項目６］
スムージングされた３Ｄ顔モデルを生成するべく、前記３Ｄ顔モデルを改善する段階をさらに備える項目４または５に記載の方法。
［項目７］
最終３Ｄ顔モデルを生成するべく、前記スムージングされた３Ｄ顔モデルと前記テクスチャ画像とを組み合わせる段階をさらに備える項目６に記載の方法。
［項目８］
前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用する段階は、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成する段階と、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定する段階と、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する段階と
を有する項目１から７の何れか１項に記載の方法。
［項目９］
プロセッサと、
前記プロセッサに結合されているメモリと
を備え、
前記メモリ内の命令は、
複数の２Ｄ顔画像を受信し、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用し、
３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングし、
前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用するように
前記プロセッサを設定するシステム。
［項目１０］
前記メモリ内の命令はさらに、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行するように前記プロセッサを設定する項目９に記載のシステム。
［項目１１］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することは、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定することを有する
項目１０に記載のシステム。
［項目１２］
前記３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングすることは、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることと、
前記３Ｄ顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントすることと
を有する項目９から１１の何れか１項に記載のシステム。
［項目１３］
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることは、イテレーションクローズドポイント技術を適用することを含む項目１２に記載のシステム。
［項目１４］
前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用することは、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成することと、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定することと、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成することと
を有する項目９から１３の何れか１項に記載のシステム。
［項目１５］
複数の２Ｄ顔画像を受信し、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用し、
３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングし、
前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用する
処理手段を備えるデバイス。
［項目１６］
前記処理手段は、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する項目１５に記載のデバイス。
［項目１７］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することを目的として、前記複数の２Ｄ顔画像のそれぞれについて、前記処理手段は、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する項目１６に記載のデバイス。
［項目１８］
前記３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングすることを目的として、前記処理手段は、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングし、
前記３Ｄ顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントする項目１５から１７の何れか１項に記載のデバイス。
［項目１９］
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることを目的として、前記処理手段は、イテレーションクローズドポイント技術を適用する項目１８に記載のデバイス。
［項目２０］
前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用することを目的として、前記処理手段は、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する
項目１５から１９の何れか１項に記載のデバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】