特表 2024-522287 三次元人体再構成方法、装置、デバイスおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-13

(54)【発明の名称】三次元人体再構成方法、装置、デバイスおよび記憶媒体

(51)【国際特許分類】

   G06T 17/10 20060101AFI20240606BHJP

   G06T 7/00 20170101ALI20240606BHJP

   G06V 10/82 20220101ALI20240606BHJP

【ＦＩ】

G06T17/10

G06T7/00 350C

G06V10/82

G06T7/00 660A

G06T7/00 660B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023574335

(86)(22)【出願日】2021-08-27

(85)【翻訳文提出日】2023-11-30

(86)【国際出願番号】 CN2021115122

(87)【国際公開番号】W WO2022205760

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】202110352199.4

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521520371

【氏名又は名称】深▲セン▼市慧▲鯉▼科技有限公司

【氏名又は名称原語表記】Ｓｈｅｎｚｈｅｎ Ｔｅｔｒａｓ．ＡＩ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｌｏｃｋ Ａ， Ｎｏ．１， Ｑｉａｎｗａｎ Ｒｏａｄ １， Ｑｉａｎｈａｉｓｈｅｎ Ｐｏｒｔ Ｃｏｏｐｅｒａｔｉｖｅ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， ＧＵＡＮＧＤＯＮＧ Ｃｈｉｎａ． （Ｓｈｅｎｚｈｅｎ Ｑｉａｎｈａｉ Ｃｏｍｍｅｒｃｅ Ｓｅｃｒｅｔａｒｉａｔ Ｃｏ．， Ｌｔｄ．）

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】宋 勃宇

(72)【発明者】

【氏名】▲デン▼ 又▲銘▼

(72)【発明者】

【氏名】▲劉▼ 文▲タオ▼

(72)【発明者】

【氏名】▲錢▼ 晨

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096FA09

5L096GA40

5L096HA11

5L096KA04

(57)【要約】

本発明の実施例は、三次元人体再構成方法、装置、デバイスおよび記憶媒体を提供する。当該方法は、目標人体の人体画像に基づいて人体幾何再構成を行い、目標人体の三次元メッシュモデルを取得するステップと、人体画像に基づいて、目標人体の局所部位に対して局所幾何再構成を行い、局所部位の三次元メッシュモデルを取得するステップと、局所部位の三次元メッシュモデルと目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップと、初期三次元モデルと人体画像とに基づいて人体テクスチャの再構成を行い、目標人体の三次元人体モデルを取得するステップとを含んでもよい。本発明の実施例によると、目標人体の三次元メッシュモデルにおける局所部位がより鮮明且つ正確になり、局所部位の再構成効果が向上する。

【特許請求の範囲】

【請求項1】

目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するステップと、
前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するステップと、
前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップと、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するステップと、を含むことを特徴とする三次元人体再構成方法。

【請求項2】

前記目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するステップは、
第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得するステップと、
第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得するステップと、
前記第１人体モデルと前記第２人体モデルとを融合し、融合人体モデルを取得するステップと、
前記融合人体モデルに対してメッシュ化処理を行い、前記目標人体の三次元メッシュモデルを取得するステップと、を含み、
前記局所画像は、前記目標人体の局所領域を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記第１深層ニューラルネットワークブランチは、グローバル特徴サブネットワークと第１フィッティングサブネットワークとを含み、前記第２深層ニューラルネットワークブランチは、局所特徴サブネットワークと第２フィッティングサブネットワークとを含み、
前記第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得するステップは、前記グローバル特徴サブネットワークを介して前記人体画像に対して特徴抽出を行い、第１画像特徴を取得するステップと、前記第１フィッティングサブネットワークを介して前記第１画像特徴に基づいて前記第１人体モデルを取得するステップと、を含み、
前記第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得するステップは、前記局所特徴サブネットワークを介して前記局所画像に対して特徴抽出を行い、第２画像特徴を取得するステップと、前記第２フィッティングサブネットワークを介して、前記第２画像特徴と前記第１フィッティングサブネットワークから出力された中間特徴とに基づいて、前記第２人体モデルを取得するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するステップは、
前記目標人体の人体画像に対して特徴抽出を行い、第３画像特徴を取得するステップと、
前記第３画像特徴と前記局所部位の三次元トポロジーテンプレートとに基づいて、前記局所部位の三次元メッシュモデルを特定するステップと、を含むことを特徴とする請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップは、
前記目標人体の人体画像に基づいて、前記局所部位の複数のキーポイントを取得するステップと、
前記目標人体の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第１モデルキーポイントの情報を特定し、且つ、前記局所部位の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第２モデルキーポイントの情報を特定するステップと、
前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップと、を含むことを特徴とする請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップは、
前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記目標人体の三次元メッシュモデルと前記局所部位の三次元メッシュモデルとの間の座標変換関係を特定するステップと、
前記座標変換関係に基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルの座標系に変換するステップと、
変換後の座標系において前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップと、を含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記人体画像は、前記目標人体の正面テクスチャと背景画像とを含み、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するステップは、
前記人体画像に対して人体分割を行い、第１分割マスクと、第２分割マスクと、前記目標人体の正面テクスチャとを取得するステップと、
前記正面テクスチャと、前記第１分割マスクと、前記第２分割マスクとをテクスチャ生成ネットワークに入力し、前記目標人体の裏面テクスチャを取得するステップと、
前記裏面テクスチャと前記正面テクスチャとに基づいて、前記目標人体に対応する、テクスチャを有する三次元人体モデルを取得するステップと、を含み、
前記第１分割マスクは、前記正面テクスチャのマスク領域に対応し、前記第２分割マスクは、前記目標人体の裏面テクスチャのマスク領域に対応することを特徴とする請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記テクスチャ生成ネットワークのトレーニングは、
トレーニングサンプル画像セットにおける人体サンプルの画像に対して人体分割を行い、第１サンプル分割マスクと、第２サンプル分割マスクと、前記人体サンプルの正面テクスチャとを取得する処理と、
前記人体サンプルの画像の解像度を低減することで取得された支援人体画像中の人体の正面テクスチャと、第３サンプル分割マスクと、第４サンプル分割マスクとに基づいて、支援テクスチャ生成ネットワークをトレーニングする処理と、
前記支援テクスチャ生成ネットワークのトレーニングが完了した後、前記人体サンプルの正面テクスチャと、前記第１サンプル分割マスクと、前記第２サンプル分割マスクとに基づいて、前記テクスチャ生成ネットワークをトレーニングする処理と、を含み、
前記第１サンプル分割マスクは、前記人体サンプルの正面テクスチャのマスク領域に対応し、前記第２サンプル分割マスクは、前記人体サンプルの裏面テクスチャのマスク領域に対応し、
前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の人体の裏面テクスチャのマスク領域に対応し、
前記テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記目標人体の局所部位は、前記目標人体の顔であり、および／または、
前記人体画像は、ＲＧＢ画像であることを特徴とする請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記目標人体の人体画像に基づいて人体幾何再構成を行うときに、前記目標人体の人体骨格構造を取得するステップと、
前記目標人体の三次元人体モデルが取得された後、前記三次元人体モデルと前記人体骨格構造とに基づいて、前記三次元人体モデルを駆動するためのスキニング重みを特定するステップと、をさらに含むことを特徴とする請求項１から９のいずれか一項に記載の方法。

【請求項11】

目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するための全体再構成モジュールと、
前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するための局所再構成モジュールと、
前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するための融合処理モジュールと、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するためのテクスチャ再構成モジュールと、を備えることを特徴とする三次元人体再構成装置。

【請求項12】

前記全体再構成モジュールは、前記目標人体の三次元メッシュモデルを取得するときに、具体的に、
第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得し、
第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得し、
前記第１人体モデルと前記第２人体モデルとを融合し、融合人体モデルを取得し、
前記融合人体モデルに対してメッシュ化処理を行い、前記目標人体の三次元メッシュモデルを取得するために用いられ、
前記局所画像は、前記目標人体の局所領域を含むことを特徴とする請求項１１に記載の装置。

【請求項13】

前記局所再構成モジュールは、具体的に、
前記目標人体の人体画像に対して特徴抽出を行い、第３画像特徴を取得し、
前記第３画像特徴と前記局所部位の三次元トポロジーテンプレートとに基づいて、前記局所部位の三次元メッシュモデルを特定するために用いられることを特徴とする請求項１１または１２に記載の装置。

【請求項14】

前記融合処理モジュールは、具体的に、
前記目標人体の人体画像に基づいて、前記局所部位の複数のキーポイントを取得し、
前記目標人体の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第１モデルキーポイントの情報を特定し、且つ、前記局所部位の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第２モデルキーポイントの情報を特定し、
前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するために用いられることを特徴とする請求項１１から１３のいずれか一項に記載の装置。

【請求項15】

前記融合処理モジュールは、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するときに、具体的に、
前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記目標人体の三次元メッシュモデルと前記局所部位の三次元メッシュモデルとの間の座標変換関係を特定し、
前記座標変換関係に基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルの座標系に変換し、
変換後の座標系において前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するために用いられることを特徴とする請求項１４に記載の装置。

【請求項16】

前記テクスチャ再構成モジュールは、具体的に、
前記人体画像に対して人体分割を行い、第１分割マスクと、第２分割マスクと、前記目標人体の正面テクスチャとを取得し、
前記正面テクスチャと、前記第１分割マスクと、前記第２分割マスクとをテクスチャ生成ネットワークに入力し、前記目標人体の裏面テクスチャを取得し、
前記裏面テクスチャと前記正面テクスチャとに基づいて、前記目標人体に対応する、テクスチャを有する三次元人体モデルを取得するために用いられ、
前記第１分割マスクは、前記正面テクスチャのマスク領域に対応し、前記第２分割マスクは、前記目標人体の裏面テクスチャのマスク領域に対応することを特徴とする請求項１１から１５のいずれか一項に記載の装置。

【請求項17】

前記三次元人体再構成装置は、前記テクスチャ生成ネットワークのトレーニングを行うためのモデルトレーニングモジュールをさらに備え、
前記モデルトレーニングモジュールは、具体的に、
トレーニングサンプル画像セットにおける人体サンプルの画像に対して人体分割を行い、第１サンプル分割マスクと、第２サンプル分割マスクと、前記人体サンプルの正面テクスチャとを取得し、
前記人体サンプルの画像の解像度を低減することで取得された支援人体画像中の人体の正面テクスチャと、第３サンプル分割マスクと、第４サンプル分割マスクとに基づいて、支援テクスチャ生成ネットワークをトレーニングし、
前記支援テクスチャ生成ネットワークのトレーニングが完了した後、前記人体サンプルの正面テクスチャと、前記第１サンプル分割マスクと、前記第２サンプル分割マスクとに基づいて、前記テクスチャ生成ネットワークをトレーニングするために用いられ、
前記第１サンプル分割マスクは、前記人体サンプルの正面テクスチャのマスク領域に対応し、前記第２サンプル分割マスクは、前記人体サンプルの裏面テクスチャのマスク領域に対応し、前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の前記人体の裏面テクスチャのマスク領域に対応し、前記テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含むことを特徴とする請求項１６に記載の装置。

【請求項18】

電子デバイスであって、
メモリと、プロセッサとを備え、
前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータ命令を呼び出すことにより、請求項１から１０のいずれか一項に記載の方法を実施するために用いられることを特徴とする電子デバイス。

【請求項19】

コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１０のいずれか一項に記載の方法が実施されることを特徴とするコンピュータ可読記憶媒体。

【請求項20】

コンピュータプログラムを含むコンピュータプログラム製品であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１０のいずれか一項に記載の方法が実施されることを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互引用］
本願は、２０２１年３月３１日に提出された、出願番号２０２１１０３５２１９９．４、発明の名称が「三次元人体再構成方法、装置、デバイスおよび記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の内容が引用によって本願に組み込まれる。

【0002】

本発明は、画像処理技術に関し、具体的に三次元人体再構成方法、装置、デバイスおよび記憶媒体に関する。

【背景技術】

【0003】

三次元人体再構成は、コンピュータビジョンおよびコンピュータグラフィックス分野における重要な問題である。再構成された人体デジタルモデルは、人体測定、仮想試着、仮想ライバー、ゲームキャラクタのカスタムデザイン、仮想現実ソーシャルなど、多くの分野において重要な応用を有する。その中、如何にして実世界の人体を仮想世界に投影して三次元人体デジタルモデルを取得するかは、重要な問題となっている。しかし、三次元人体のデジタル化再構成は、非常に複雑であり、スキャン者がスキャン対象に対して複数の角度で死角なく連続的にスキャンする必要があり、再構成結果には、局所再構成効果が十分に繊細ではないという問題も存在する。

【発明の概要】

【0004】

これに鑑みて、本発明の実施例は、少なくとも三次元人体再構成方法、装置、デバイスおよび記憶媒体を提供する。

【0005】

第１態様は、三次元人体再構成方法を提供する。前記三次元人体再構成方法は、
目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するステップと、
前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するステップと、
前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップと、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するステップと、を含む。

【0006】

一例において、前記目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するステップは、第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得するステップと、第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得するステップと、前記第１人体モデルと前記第２人体モデルとを融合し、融合人体モデルを取得するステップと、前記融合人体モデルに対してメッシュ化処理を行い、前記目標人体の三次元メッシュモデルを取得するステップと、を含み、前記局所画像は、前記目標人体の局所領域を含む。

【0007】

一例において、前記第１深層ニューラルネットワークブランチは、グローバル特徴サブネットワークと第１フィッティングサブネットワークとを含み、前記第２深層ニューラルネットワークブランチは、局所特徴サブネットワークと第２フィッティングサブネットワークとを含み、前記第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得するステップは、前記グローバル特徴サブネットワークを介して前記人体画像に対して特徴抽出を行い、第１画像特徴を取得するステップと、前記第１フィッティングサブネットワークを介して前記第１画像特徴に基づいて前記第１人体モデルを取得するステップと、を含み、前記第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得するステップは、前記局所特徴サブネットワークを介して前記局所画像に対して特徴抽出を行い、第２画像特徴を取得するステップと、前記第２フィッティングサブネットワークを介して、前記第２画像特徴と前記第１フィッティングサブネットワークから出力された中間特徴とに基づいて、前記第２人体モデルを取得するステップと、を含む。

【0008】

一例において、前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するステップは、前記目標人体の人体画像に対して特徴抽出を行い、第３画像特徴を取得するステップと、前記第３画像特徴と前記局所部位の三次元トポロジーテンプレートとに基づいて、前記局所部位の三次元メッシュモデルを特定するステップと、を含む。

【0009】

一例において、前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップは、前記目標人体の人体画像に基づいて、前記局所部位の複数のキーポイントを取得するステップと、前記目標人体の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第１モデルキーポイントの情報を特定し、且つ、前記局所部位の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第２モデルキーポイントの情報を特定するステップと、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップと、を含む。

【0010】

一例において、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップは、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記目標人体の三次元メッシュモデルと前記局所部位の三次元メッシュモデルとの間の座標変換関係を特定するステップと、前記座標変換関係に基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルの座標系に変換するステップと、変換後の座標系において前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップと、を含む。

【0011】

一例において、前記人体画像は、前記目標人体の正面テクスチャと背景画像とを含み、前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するステップは、前記人体画像に対して人体分割を行い、第１分割マスクと、第２分割マスクと、前記目標人体の正面テクスチャとを取得するステップと、前記正面テクスチャと、前記第１分割マスクと、前記第２分割マスクとをテクスチャ生成ネットワークに入力し、前記目標人体の裏面テクスチャを取得するステップと、前記裏面テクスチャと前記正面テクスチャとに基づいて、前記目標人体に対応する、テクスチャを有する三次元人体モデルを取得するステップと、を含み、前記第１分割マスクは、前記正面テクスチャのマスク領域に対応し、前記第２分割マスクは、前記目標人体の裏面テクスチャのマスク領域に対応する。

【0012】

一例において、前記テクスチャ生成ネットワークのトレーニングは、トレーニングサンプル画像セットにおける人体サンプルの画像に対して人体分割を行い、第１サンプル分割マスクと、第２サンプル分割マスクと、前記人体サンプルの正面テクスチャとを取得する処理と、前記人体サンプルの画像の解像度を低減することで取得された支援人体画像中の人体の正面テクスチャと、第３サンプル分割マスクと、第４サンプル分割マスクとに基づいて、支援テクスチャ生成ネットワークをトレーニングする処理と、前記支援テクスチャ生成ネットワークのトレーニングが完了した後、前記人体サンプルの正面テクスチャと、前記第１サンプル分割マスクと、前記第２サンプル分割マスクとに基づいて、前記テクスチャ生成ネットワークをトレーニングする処理と、を含み、前記第１サンプル分割マスクは、前記人体サンプルの正面テクスチャのマスク領域に対応し、前記第２サンプル分割マスクは、前記人体サンプルの裏面テクスチャのマスク領域に対応し、前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の人体の裏面テクスチャのマスク領域に対応し、前記テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含む。

【0013】

一例において、前記目標人体の局所部位は、前記目標人体の顔であり、および／または、前記人体画像は、ＲＧＢ画像である。

【0014】

一例において、前記三次元人体再構成方法は、前記目標人体の人体画像に基づいて人体幾何再構成を行うときに、前記目標人体の人体骨格構造を取得するステップと、前記目標人体の三次元人体モデルが取得された後、前記三次元人体モデルと前記人体骨格構造とに基づいて、前記三次元人体モデルを駆動するためのスキニング重みを特定するステップと、をさらに含む。

【0015】

第２態様は、三次元人体再構成装置を提供する。前記三次元人体再構成装置は、
目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するための全体再構成モジュールと、
前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するための局所再構成モジュールと、
前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するための融合処理モジュールと、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するためのテクスチャ再構成モジュールと、を備える。

【0016】

一例において、前記全体再構成モジュールは、前記目標人体の三次元メッシュモデルを取得するときに、具体的に、第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得し、第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得し、前記第１人体モデルと前記第２人体モデルとを融合し、融合人体モデルを取得し、前記融合人体モデルに対してメッシュ化処理を行い、前記目標人体の三次元メッシュモデルを取得するために用いられ、前記局所画像は、前記目標人体の局所領域を含む。

【0017】

一例において、前記局所再構成モジュールは、具体的に、前記目標人体の人体画像に対して特徴抽出を行い、第３画像特徴を取得し、前記第３画像特徴と前記局所部位の三次元トポロジーテンプレートとに基づいて、前記局所部位の三次元メッシュモデルを特定するために用いられる。

【0018】

一例において、前記融合処理モジュールは、具体的に、前記目標人体の人体画像に基づいて、前記局所部位の複数のキーポイントを取得し、前記目標人体の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第１モデルキーポイントの情報を特定し、且つ、前記局所部位の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第２モデルキーポイントの情報を特定し、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するために用いられる。

【0019】

一例において、前記融合処理モジュールは、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するときに、具体的に、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記目標人体の三次元メッシュモデルと前記局所部位の三次元メッシュモデルとの間の座標変換関係を特定し、前記座標変換関係に基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルの座標系に変換し、変換後の座標系において前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するために用いられる。

【0020】

一例において、前記テクスチャ再構成モジュールは、具体的に、前記人体画像に対して人体分割を行い、第１分割マスクと、第２分割マスクと、前記目標人体の正面テクスチャとを取得し、前記正面テクスチャと、前記第１分割マスクと、前記第２分割マスクとをテクスチャ生成ネットワークに入力し、前記目標人体の裏面テクスチャを取得し、前記裏面テクスチャと前記正面テクスチャとに基づいて、前記目標人体に対応する、テクスチャを有する三次元人体モデルを取得するために用いられ、前記第１分割マスクは、前記正面テクスチャのマスク領域に対応し、前記第２分割マスクは、前記目標人体の裏面テクスチャのマスク領域に対応する。

【0021】

一例において、前記三次元人体再構成装置は、前記テクスチャ生成ネットワークのトレーニングを行うためのモデルトレーニングモジュールをさらに備え、前記モデルトレーニングモジュールは、具体的に、トレーニングサンプル画像セットにおける人体サンプルの画像に対して人体分割を行い、第１サンプル分割マスクと、第２サンプル分割マスクと、前記人体サンプルの正面テクスチャとを取得し、前記人体サンプルの画像の解像度を低減することで取得された支援人体画像中の人体の正面テクスチャと、第３サンプル分割マスクと、第４サンプル分割マスクとに基づいて、支援テクスチャ生成ネットワークをトレーニングし、前記支援テクスチャ生成ネットワークのトレーニングが完了した後、前記人体サンプルの正面テクスチャと、前記第１サンプル分割マスクと、前記第２サンプル分割マスクとに基づいて、前記テクスチャ生成ネットワークをトレーニングするために用いられ、前記第１サンプル分割マスクは、前記人体サンプルの正面テクスチャのマスク領域に対応し、前記第２サンプル分割マスクは、前記人体サンプルの裏面テクスチャのマスク領域に対応し、前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の前記人体の裏面テクスチャのマスク領域に対応し、前記テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含む。

【0022】

第３態様は、電子デバイスを提供する。当該電子デバイスは、メモリと、プロセッサとを備え、前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータ命令を呼び出すことにより、本発明のいずれかの実施例に記載の方法を実施するために用いられる。

【0023】

第４態様は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本発明のいずれかの実施例に記載の方法が実施される。

【0024】

第５態様は、コンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行されると、本発明のいずれかの実施例に記載の方法が実施される。

【0025】

本発明の実施例に係る三次元人体再構成方法、装置、デバイスおよび記憶媒体では、目標人体の局所部位に対して局所幾何再構成を行い、当該局所幾何再構成で得られた局所部位の三次元メッシュモデルと目標人体の三次元メッシュモデルとを融合することにより、目標人体の三次元メッシュモデル中の局所部位がより鮮明、繊細且つ正確になり、局所部位の再構成効果が向上する。また、当該方法では、目標人体の単一の人体画像に基づいて再構成を行うことができるため、ユーザの協力手順が簡素化され、三次元人体再構成がより簡便になる。

【図面の簡単な説明】

【0026】

本発明の１つもしくは複数の実施例または関連技術における技術案がより明瞭に説明されるように、以下では、本発明の実施例または関連技術の記述に使用必要な図面を簡単に紹介する。明らかに、以下の記述に係る図面が単に本発明の１つまたは複数の実施例に記載のいくつかの実施例に過ぎず、当業者であれば、創造的な労力を掛けずにこれらの図面から他の図面を取得可能である。

【図1】本発明の少なくとも１つの実施例に係る三次元人体再構成方法のフローチャートを示す。

【図2】本発明の少なくとも１つの実施例に係る単一の人体画像に基づいて三次元メッシュモデルを取得する方式の模式図を示す。

【図3】本発明の少なくとも１つの実施例に係る初期三次元モデルの取得手順の模式図を示す。

【図4】本発明の少なくとも１つの実施例に係るテクスチャ再構成手順の模式図を示す。

【図5】本発明の少なくとも１つの実施例に係るスキニング重みの特定手順の模式図を示す。

【図6】本発明の少なくとも１つの実施例に係る単一の人体画像に基づいて三次元メッシュモデルを取得する方式の模式図を示す。

【図7】本発明の少なくとも１つの実施例に係るテクスチャ生成の原理模式図を示す。

【図8】本発明の少なくとも１つの実施例に係るテクスチャ生成ネットワークのトレーニング手順の模式図を示す。

【図9】本発明の少なくとも１つの実施例に係る人体画像の模式図を示す。

【図10】本発明の少なくとも１つの実施例に係る三次元人体再構成装置の構成図を示す。

【図11】本発明の少なくとも１つの実施例に係る三次元人体再構成装置の構成図を示す。

【発明を実施するための形態】

【0027】

本発明の１つまたは複数の実施例における技術案が当業者によってより良好に理解されるように、以下では、本発明の１つまたは複数の実施例における図面を組み合わせて本発明の１つまたは複数の実施例における技術案を明瞭かつ完全に記述する。明らかに、記述される実施例は、単に本発明の一部の実施例であり、全部の実施例ではない。本発明の１つまたは複数の実施例に基づいて当業者が創造的な労力を掛けずに得た全ての他の実施例は、いずれも本発明の保護範囲に含まれるべきである。

【0028】

三次元人体再構成は、多くの分野において重要な応用を有し、以下の応用シーンを含むが、それに限定されない。

【0029】

例えば、三次元人体再構成により、いくつかの仮想現実応用シーンの現実感を強化することができる。仮想現実応用シーンとして、例えば、仮想試着、仮想クラウド会議、仮想授業などがある。

【0030】

さらに例えば、三次元人体再構成によって得られた三次元人体モデルをゲームデータに導入して、パーソナライズされた人物キャラクタを作成してもよい。

【0031】

よりさらに例えば、現在、ＳＦ映画の作成には、グリーンスクリーン、モーションキャプチャなどの様々な科学技術を使用する必要があり、ハードウェアデバイスは高価であり、全体的なフローは時間がかかって煩雑である。三次元人体再構成によって仮想的な三次元人体モデルを取得することにより、フローを簡略化し、リソースを節約することができる。

【0032】

どのような応用シーンにもかかわらず、三次元人体再構成は、以下の需要が存在する。一方では、ユーザの協力手順をできるだけ簡素化し、例えば、ユーザーが多角度のスキャンを協力する必要があり、ユーザに多くの協力を提供させるため、ユーザにとって体験が悪い。他方では、精度のより高い三次元人体モデルをできるだけ取得する必要があり、例えば、仮想クラウド会議またはＡＲ仮想インタラクションシーンにおいて、三次元人体再構成で得られた三次元人体モデルは、より高い現実感および没入感の需要を有する。

【0033】

上記問題を解決するために、本発明の実施例は、三次元人体再構成方法を提供する。当該方法は、ユーザの１枚の写真に基づいて当該ユーザの三次元人体再構成を行うことを要旨とし、ユーザの協力フローを簡素化し、高精度の再構成効果を達成する。

【0034】

図１に示すように、図１は、本発明の少なくとも１つの実施例に係る三次元人体再構成方法のフローチャートを示す。当該方法は、ステップ１００～ステップ１０６を含んでもよい。

【0035】

ステップ１００では、目標人体の単一の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得する。

【0036】

目標人体は、三次元人体再構成の基礎ユーザである。例えば、ユーザの張さんに対して三次元人体再構成を行い、張さんは、目標人体と呼ばれてもよく、再構成された三次元人体モデルも張さんの体を基にして得られたものであり、張さんの体勢、容貌、服装および髪型などと高い類似性を有する。

【0037】

前記単一の人体画像は、当該目標人体の１枚の人体画像である。本発明の実施例では、当該人体画像の収集方式、フォーマットに関して特別な要求がない。１つの例示的な方式において、当該単一の人体画像は、目標人体の１枚の人体全身正面写真であってもよい。さらに例えば、当該単一の人体画像は、ＲＧＢカラー画像であってもよい。このようなＲＧＢフォーマットの画像の入手コストが低い。例えば、画像収集時には、被写界深度カメラなどのコストの高いデバイスを使用する必要がなく、通常の撮影デバイスで収集することができる

【0038】

本ステップでは、目標人体の単一の人体画像に基づいて人体幾何再構成を行い、三次元メッシュモデルを取得してもよい。当該三次元メッシュモデルは、人体幾何形状を表す三次元メッシュＭｅｓｈであり、当該メッシュは、いくつかの頂点および面を含む。

【0039】

一例示において、本実施例では、さらに、上記再構成によって得られた三次元メッシュＭｅｓｈと予め記憶された１つのパラメータ化された人体モデルとに対して姿勢と体型との整列フィッティングを行ってもよい。具体的に、当該パラメータ化人体モデルは、１つの人体表面のｍｅｓｈおよび１グループの骨格構造を含み、それらは、１グループの姿勢、体型パラメータによって制御され、人体の骨格位置および表面形状は、パラメータ値の変化とともに変化する。本ステップ１００の再構成で得られた三次元メッシュＭｅｓｈと当該パラメータ化された人体モデルとに対して幾何整列を行った後、本ステップ１００の再構成で得られた三次元メッシュＭｅｓｈに対応する骨格構造を取得する。当該骨格構造は、後のステップにおけるスキニング重みの算出に用いられる。

【0040】

図２は、単一の人体画像の再構成に基づいて三次元メッシュモデルを取得する方式を例示する。図２に示すように、目標人体の単一の人体画像２１を第１深層ニューラルネットワークブランチ２２に入力して三次元再構成を行わせてもよい。１つの例示的な実施形態において、当該第１深層ニューラルネットワークブランチ２２は、グローバル特徴サブネットワーク２２１および第１フィッティングサブネットワーク２２２を含んでもよい。

【0041】

グローバル特徴サブネットワーク２２１を介して単一の人体画像２１に対して特徴抽出を行い、当該単一の人体画像２１のハイレベル画像特徴を取得してもよい。当該ハイレベル画像特徴は、第１画像特徴と呼称されてもよい。例えば、当該グローバル特徴サブネットワーク２２１は、１つのＨｏｕｒＧｌａｓｓ畳み込みネットワークであってもよい。当該第１画像特徴は、第１フィッティングサブネットワーク２２２に入力される。当該第１フィッティングサブネットワーク２２２は、第１画像特徴に基づいて、三次元空間の各ボクセルブロックが目標人体の内部に属するか否かを予測してもよい。例えば、当該第１フィッティングサブネットワーク２２２は、１つの多層パーセプトロン構造であってもよい。当該第１フィッティングサブネットワーク２２２は、第１人体モデルを出力し、当該第１人体モデルは、目標人体内部に位置する各三次元ボクセルブロックを含む。

【0042】

次に、当該第１人体モデルに対してメッシュ化処理を行ってもよい。例えば、当該メッシュ化処理は、当該第１人体モデルについてボクセル空間においてＭａｒｃｈｉｎｇＣｕｂｅｓアルゴリズムを用いて、目標人体の三次元メッシュモデルを取得することであってもよい。

【0043】

ステップ１０２では、前記目標人体の単一の人体画像に基づいて前記目標人体の局所部位に対して局所ハイビジョン幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得する。

【0044】

ステップ１００における再構成で得られた目標人体の三次元メッシュモデルは、目標人体の局所部位においてぼやけている可能性がある。例えば、当該局所部位は、顔であってもよく、他の局所部位、例えば、手部などの細部特徴を体現する必要のある部位であってもよい。上記三次元メッシュモデルが目標人体の顔の細部においてぼやけており、顔が一般的にユーザの注目する領域であるため、本ステップでは、目標人体の局所部位に対して個別に幾何再構成を行ってもよい。

【0045】

前記局所部位が顔であることを例とする。人体の顔に対する再構成は、固定トポロジーの微細再構成を採用してもよく、即ち、目標人体の単一の人体画像に対して特徴抽出を行って得られた画像特徴に基づいて、顔の三次元トポロジーテンプレートにおける各頂点の位置に対してフィッティングを行い、顔の三次元メッシュモデルを取得してもよい。具体的に、人体の顔の意味構造が一致性を有するため、１つの固定のトポロジー構造を持つ三次元顔をテンプレートとして採用してもよい。当該テンプレートは、顔の三次元トポロジーテンプレートと呼称されてもよい。当該テンプレートに複数の頂点があり、各頂点は、１つの顔意味に固定的に対応し、例えば、１つの頂点が鼻先を表し、もう１つの頂点が目尻を表す。顔再構成時に、１つの深層ニューラルネットワークを介して上記顔の三次元トポロジーテンプレートの各頂点位置を回帰によって取得してもよい。

【0046】

例えば、当該深層ニューラルネットワークは、１つの深層畳み込みネットワークと１つのグラフ畳み込みネットワークとを含んでもよい。目標人体の単一の人体画像を前記深層畳み込みネットワークに入力して画像特徴を抽出してもよい。抽出された特徴は、第３画像特徴と呼称されてもよい。さらに、当該第３画像特徴と顔の三次元トポロジーテンプレートとをグラフ畳み込みネットワークの入力として、最終的にグラフ畳み込みネットワークから出力された１つの顔の三次元メッシュモデルを取得してもよい。当該三次元メッシュモデルは、目標人体の顔に近い。オプションで、深層畳み込みネットワークの入力は、目標人体の単一の人体画像から切り出された、顔を含む一部の画像領域であってもよい。

【0047】

ステップ１０４では、前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得する。

【0048】

ステップ１００における再構成で得られた目標人体の三次元メッシュモデルは、人体の局所部位において多少ぼやけている可能性がある。当該局所部位は顔であることを例とする。ステップ１０２では、顔の個別幾何再構成によって顔の三次元メッシュモデルを取得した。本ステップでは、顔の三次元メッシュモデルでステップ１００における目標人体の三次元メッシュモデル中の対応部分を置き換えてもよい。このように、目標人体の三次元メッシュモデルにおける頭型、体型、体勢などの情報を保留しつつ、顔の五感構造をより繊細且つ正確にすることができ、より良好な再構成効果を達成する。もちろん、理解できるように、ここで単に局所部位が顔であることを例としたが、実際の実施において他の局所部位を個別に再構成してより鮮明にしてもよい。

【0049】

具体的に、目標人体の単一の人体画像を予めトレーニングされたキーポイント検出モデルに入力し、当該キーポイント検出モデルを介して画像中の目標人体の局所部位の複数のキーポイントを特定してもよい。図３を参照し、依然として局所部位が顔であることを例とすると、顔の複数のキーポイント３１が取得された後、これらのキーポイント３１の顔における座標に基づいて、キーポイントの、前記目標人体の三次元メッシュモデルと顔の三次元メッシュモデルとにおける、対応するモデルキーポイントをそれぞれ特定してもよい。具体的に、顔の複数のキーポイントの、目標人体の三次元メッシュモデルにおける対応する複数の第１モデルキーポイントの情報を特定してもよい。例えば、当該情報は、各第１モデルキーポイントのキーポイント識別子と、対応するキーポイント位置とを含んでもよい。さらに、当該顔の複数のキーポイントの、顔の三次元メッシュモデルにおける対応する第２モデルキーポイントの情報を特定してもよい。例えば、当該情報は、各第２モデルキーポイントのキーポイント識別子と対応するキーポイント位置とを含んでもよい。

【0050】

上記第１モデルキーポイントの情報と第２モデルキーポイントの情報とが取得された後、当該第１モデルキーポイントの情報と第２モデルキーポイントの情報とに基づいて、顔の三次元メッシュモデルを目標人体の三次元メッシュモデルと融合して初期三次元モデルを取得してもよい。

【0051】

本発明の実施例において、顔の三次元メッシュモデルを目標人体の三次元メッシュモデルと融合するステップは、第１モデルキーポイントの情報と第２モデルキーポイントの情報とに基づいて、この２つのモデルのカメラ外部パラメータを用いて、目標人体の三次元メッシュモデルと顔の三次元メッシュモデルとの間の座標変換関係を特定するステップと、当該座標変換関係に基づいて、顔の三次元メッシュモデルを目標人体の三次元メッシュモデルの座標系に変換するステップと、変換後の座標系において、顔の三次元メッシュモデルを目標人体の三次元メッシュモデルと融合するステップと、を含んでもよい。例えば、目標人体の三次元メッシュモデル上の顔の幾何構造を除去し、顔の三次元メッシュモデルで補完し、ポアソン再構成の方式によって顔の三次元メッシュモデルと目標人体の三次元メッシュモデルとを１つの全体として融合してもよい。取得されたモデルは、初期三次元モデルと呼称されてもよい。当該初期三次元モデルは、鮮明な五感構造および類似する頭型、体勢などの情報を有し、精度が高い。

【0052】

ステップ１０６では、前記初期三次元モデルと前記単一の人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の、カラーテクスチャを有する三次元人体モデルを取得する。

【0053】

本実施例は、目標人体の単一の人体画像に基づいて三次元人体再構成を行うため、一部の人体領域が不可視である。例えば、目標人体の正面人体画像を用いて再構成を行う場合に、当該目標人体の裏面が不可視であるため、テクスチャ欠落の問題を引き起こす。したがって、本ステップでは、初期三次元モデルと目標人体の単一の人体画像とに基づいて、目標人体の不可視領域の人体テクスチャの予測および補完を行い、前記単一の人体画像中の人体テクスチャと融合し、テクスチャ完全な三次元人体モデルを生成してもよい。

【0054】

図４に示すように、目標人体の単一の人体画像が正面画像であることを例とすると、ディープラーニングネットワークを用いて人体裏面テクスチャ４１の予測を行い、当該人体裏面テクスチャ４１と単一の人体画像中の人体正面テクスチャ４２とを用いて、初期三次元モデルに対してテクスチャマッピングを行い、即ち、初期三次元モデルに対してテクスチャ再構成を行ってもよい。図４における三次元モデル４３には、既に上記人体裏面および正面テクスチャを初期三次元モデルにマッピングした。ステップ１０４で得られた初期三次元モデルは、人体幾何構造のメッシュＭｅｓｈである。本ステップでは、当該メッシュモデルを基に、モデルに人体テクスチャを付加する。また、残りのいくつかの不可視の人体部位領域について、補間技術を用いてモデルのいくつかの隙間にテクスチャの充填を行うことで初期三次元モデルのテクスチャを補完し、目標人体の三次元人体モデル４４を取得してもよい。

【0055】

本実施例の三次元人体再構成方法では、目標人体の局所部位に対して局所幾何再構成を行い、当該局所幾何再構成で得られた局所部位の三次元メッシュモデルと目標人体の三次元メッシュモデルとを融合することにより、目標人体の初期三次元モデル中の局所部位がより鮮明、繊細且つ正確になり、局所部位の再構成効果が向上する。また、当該方法では、目標人体の単一の人体画像に基づいて再構成を行うため、ユーザの協力手順が簡素化され、三次元人体再構成がより簡便になる。

【0056】

また、人体の三次元人体モデルが取得された後、前記三次元人体モデルと目標人体の人体骨格構造とに基づいて、前記三次元人体モデルを駆動するためのスキニング重みを特定してもよい。当該スキニング重みは、構築された三次元人体モデルを駆動するために用いられる。例えば、三次元人体モデルの各種の動作を駆動しようとする場合に、モデルを人体骨格構造にバインディングする必要がある。このようにモデルを骨格にバインディングすることは、スキニングである。次に、骨格の運動によってモデルを動かすことができる。スキニング重みは、モデルの頂点への骨格の関節点の影響の大きさを表すために用いられる。当該スキニング重みに基づいて、三次元人体モデルにおける各頂点が各骨格の関節点から受ける影響の大きさを制御可能であるため、モデルの運動をより良好に制御する。

【0057】

具体的に、当該三次元人体モデルのスキニング重みを算出することは、以下の処理を含んでもよい。ステップ１００において目標人体の単一の人体画像に基づいて人体骨格構造を取得した。本ステップでは、当該人体骨格構造と上記取得された三次元人体モデルとをディープラーニングネットワークに入力し、ディープラーニングネットワークを介してモデルのスキニング重みを自動的に取得してもよい。

【0058】

図５の例示を参照すると、まず、三次元人体モデル５１と人体骨格構造５２とに基づいて前記三次元人体モデル５１中の各頂点に対応する属性特徴を生成してもよい。当該属性特徴は、各頂点と人体骨格構造との空間位置関係を用いて構築されたものであってもよい。例えば、その中の１つの頂点にとって、当該頂点の属性特徴は、以下の４つの特徴を含んでもよい。
１）当該頂点の位置座標。
２）当該頂点に最も近いＫ個の骨格の関節点の位置座標。
３）当該頂点の位置から上記Ｋ個の骨格の関節点のうちの各骨格の関節点のそれぞれまでの測地線距離。
４）上記Ｋ個の骨格の関節点のうちの各骨格の関節点を始点とし、当該始点から前記頂点を指すベクトルと前記骨格の関節点の所在する骨格との間の角度。
ただし、Ｋは、正の整数である。

【0059】

引き続き図５を参照すると、各頂点の属性特徴が取得された後、当該各頂点の属性特徴、および各頂点の間の隣接関係特徴をディープラーニングネットワークのうちの空間グラフ畳み込みアテンションネットワークの入力としてもよい。これらの特徴を空間グラフ畳み込みアテンションネットワークに入力する前に、１つの多層パーセプトロンによって上記特徴を隠れ層特徴に変換してもよい。空間グラフ畳み込みアテンションネットワークは、上記隠れ層特徴に基づいて各頂点が上記Ｋ個の骨格の関節点のうちの各骨格の関節点から受ける影響の重みを予測してもよい。ディープラーニングネットワークにおける後の１つの多層パーセプトロンは、当該重みに対して正規化処理を行うために用いられ、ある頂点にとって、当該頂点への各骨格の関節点の影響の重みの和が１となるようにしてもよい。最後に得られた三次元人体モデル中の各頂点に対応する、各骨格の関節点から受ける影響の重みは、当該頂点のスキニング重みである。

【0060】

本実施例の三次元人体再構成方法では、目標人体の単一の人体画像に基づいて人体骨格構造を取得し、当該人体骨格構造と再構成して得られた三次元人体モデルとに基づいてスキニング重みを自動的に算出可能であるため、異なる入力画像での骨格の意味構造の一致性を保証するだけでなく、異なる衣類・服飾形状を考慮して適切なスキニング重みを迅速に生成することができる。ここで、骨格の意味一致性は、モデルと既存の動作ライブラリの登録を容易にすることができ、意味が一致する利点は、生成されたモデルおよび骨格を動作ライブラリに適用（登録）しやすくなることである。動作ライブラリには、人のいくつかの動作シーケンス、例えばダンス、ボクシングなどが予め記憶されてもよい。動作ライブラリは、一連の運動する骨格を記憶する。動作ライブラリにおけるこれらの骨格の意味および構造は、一致している。生成された骨格がランダム性（関節意味が不確定である）を有すると、動作ライブラリにおける動作を適用することは、生成されたモデルにとって不利になる。したがって、本実施例では、生成された骨格の意味構造の一致性を保証することにより、動作ライブラリの登録をより容易にする。具体的な形状に応じて計算して生成されたスキニング重みにより、異なる人体モデルの運動の視覚効果をより自然にすることができる。

【0061】

本発明の別の実施例は、三次元人体再構成の方法を提供する。本実施例の再構成フローは、図１の実施例と比較すると、その相違点が、ステップ１００において目標人体の単一の人体画像に基づいて人体幾何再構成を行うフローを改良することで再構成で得られた目標人体の三次元メッシュモデルの幾何再構成精度を向上させることにある。本実施例では、図１の実施例と同じ処理ステップについて詳細に記述せず、相違点のみを重点的に記述する。

【0062】

図６に示すように、図２に示すネットワーク構造に加えて、第２深層ニューラルネットワークブランチ６１を追加する。当該第２深層ニューラルネットワークブランチ６１は、局所特徴サブネットワーク６１１および第２フィッティングサブネットワーク６１２を含んでもよい。目標人体の単一の人体画像２１から局所領域の画像を抽出して局所画像６２を取得してもよい。第２深層ニューラルネットワークは、当該局所画像６２に対して三次元再構成を行うためのものである。

【0063】

説明すべきことは、ここでの局所画像に含まれる目標人体の人体領域は、ステップ１０２における局所幾何再構成に対応する局所部位と完全に同じでなくてもよい。例えば、ここでの局所画像が目標人体の肩部以上の領域範囲を含んでもよい一方、ステップ１０２における再構成の局所部位は、目標人体の顔であってもよい。もちろん、図６において目標人体の肩部以上に対して再構成を行うことは、単に例示であり、目標人体の他の人体領域に対して微細化幾何再構成を行ってもよい。

【0064】

具体的に、引き続き図６を参照すると、第１深層ニューラルネットワークブランチ２２を介して再構成を行って第１人体モデルを取得し、局所画像６２を第２深層ニューラルネットワークブランチ６１に入力し、局所特徴サブネットワーク６１１を介して前記局所画像に対して特徴抽出を行い、第２画像特徴を取得する。次に、第２フィッティングサブネットワーク６１２を介して、前記第２画像特徴と第１フィッティングサブネットワーク２２２から出力された中間特徴とに基づいて、第２人体モデルを取得する。前記中間特徴は、第１フィッティングサブネットワーク２２２における一部のネットワーク構造から出力された特徴であってもよい。例示として、第１フィッティングサブネットワーク２２２が一定の数の全結合層を含むとすれば、その中の一部の数の全接続層の出力を前記中間特徴として第２フィッティングサブネットワーク６１２に入力してもよい。

【0065】

例示として、第２深層ニューラルネットワークブランチ６１の構造は、第１深層ニューラルネットワークブランチ２２の構造と基本的に同じであってもよい。例えば、第１深層ニューラルネットワークブランチ２２におけるグローバル特徴サブネットワーク２２１は、４つのＢｌｏｃｋを含んでもよく、各Ｂｌｏｃｋは、一定の数の畳み込み層、プーリング層などの特徴抽出層を含んでもよい一方、第２深層ニューラルネットワークブランチ６１における局所特徴サブネットワーク６１１は、１つの上記Ｂｌｏｃｋを含んでもよい。第１人体モデルと第２人体モデルとが取得された後、次に、第１人体モデルと第２人体モデルとを融合し、融合人体モデルを取得してもよい。引き続き、当該融合人体モデルに対してメッシュ化処理を行い、目標人体の三次元メッシュモデルを取得する。

【0066】

本実施例の三次元人体再構成方法では、目標人体の局所部位に対して局所幾何再構成を行って局所部位の再構成効果を向上させるだけでなく、目標人体の単一の人体画像に基づいて再構成を行ってユーザの協力手順を簡素化する。また、さらに第２深層ニューラルネットワークを介して局所画像を再構成するため、目標人体の局所人体領域に対する再構成効果を向上させた。

【0067】

本発明のさらに別の実施例は、三次元人体再構成の方法を提供する。当該さらに別の実施例の再構成フローは、図１の実施例と比較すると、具体的なディープラーニングネットワークを介して人体裏面テクスチャの予測を行う方式を提供する。本実施例では、図１の実施例と同じ処理ステップについて詳細に記述せず、相違点のみを重点的に記述する。

【0068】

図７に示すように、目標人体の単一の人体画像が背景画像と人体の正面テクスチャとを含む場合がある。この場合に、まず画像分割を行って人体の正面テクスチャを切り出して、次に当該正面テクスチャに基づいて人体の裏面テクスチャを予測してもよい。例えば、目標人体の正面画像７１に対して人体分割を行い、第１分割マスク７２と、分割後の目標人体の正面テクスチャ７３とを取得してもよい。また、当該第１分割マスク７２を水平反転して第２分割マスク７４を取得し、正面テクスチャ７３と、第１分割マスク７２と、第２分割マスク７４とをテクスチャ生成ネットワーク７５に入力し、当該テクスチャ生成ネットワーク７５から出力された目標人体の裏面テクスチャを最終的に取得する。

【0069】

また、図７は、第１分割マスク７２を水平反転して第２分割マスク７４を取得することを例としたが、実際の実施においてこれに限定されない。例えば、目標人体の正面画像を予めトレーニングされた１つのニューラルネットワークに入力して、当該ニューラルネットワークが第１分割マスクおよび第２分割マスクを直接出力してもよい。目標人体の正面テクスチャおよび裏面テクスチャが取得された後、当該正面テクスチャおよび裏面テクスチャを人体の初期三次元モデルにマッピングすることにより、目標人体の三次元人体モデルを取得してもよい。

【0070】

上記テクスチャ生成ネットワーク７５のトレーニング手順は、以下の処理を含んでもよい。図８を参照すると、支援テクスチャ生成ネットワーク７６を用いてもよい。当該支援テクスチャ生成ネットワーク７６は、一部のテクスチャ生成ネットワーク７５のネットワーク構造を含んでもよい。例えば、テクスチャ生成ネットワーク７５は、支援テクスチャ生成ネットワーク７６を基に一定の数の畳み込み層を追加したものであってもよい。

【0071】

トレーニング時に、トレーニングサンプル画像セットにおける支援人体画像、第３サンプル分割マスクおよび第４サンプル分割マスクに基づいて、支援テクスチャ生成ネットワークをトレーニングし、当該支援テクスチャ生成ネットワークのトレーニングが完了した後、支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータをテクスチャ生成ネットワークの一部の初期化ネットワークパラメータとし、人体サンプルの正面テクスチャ、第１サンプル分割マスクおよび第２サンプル分割マスクに基づいて、前記テクスチャ生成ネットワークをトレーニングしてもよい。ここで、支援人体画像は、人体サンプルの単一の画像に対して解像度を低減することで取得されたものである。第１サンプル分割マスクは、人体サンプルの正面テクスチャのマスク領域に対応し、第２サンプル分割マスクは、人体サンプルの裏面テクスチャのマスク領域に対応し、第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の人体の裏面テクスチャのマスク領域に対応する。

【0072】

引き続き図８を参照すると、支援人体画像８１に対して画像分割を行い、支援人体画像８１中の人体の正面テクスチャ８２、第３サンプル分割マスク８３および第４サンプル分割マスク８４を取得し、それらを支援テクスチャ生成ネットワーク７６に入力して支援人体画像８１中の人体の裏面テクスチャの第１予測値を取得し、さらに第１予測値と前記支援人体画像８１中の人体の裏面テクスチャの第１真の値とに基づいて、前記支援テクスチャ生成ネットワーク７６のネットワークパラメータを調整してもよい。複数回繰り返せば、トレーニングが完了した支援テクスチャ生成ネットワーク７６を取得することができる。ここで、支援テクスチャ生成ネットワークに対するトレーニング監督は、第１予測値および第１真の値に基づいて算出された損失Ｌｏｓｓの他に、第１予測値に基づく他の損失、例えば、支援人体画像および第１予測値のテクスチャ特徴に基づいて算出された特徴損失なども含んでもよい。前記支援人体画像は、図７における人体正面画像７１に対して解像度を低減することで取得されてもよい。従って、支援人体画像８１中の人体の正面テクスチャ８２の解像度も図７中の正面テクスチャ７３の解像度よりも低い。前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、支援人体画像中の人体の裏面テクスチャのマスク領域に対応する。

【0073】

前記支援テクスチャ生成ネットワークのトレーニングが完了した後、支援テクスチャ生成ネットワークのネットワークパラメータをテクスチャ生成ネットワークの一部のネットワークパラメータの初期化としてもよい。即ち、テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含む。即ち、支援テクスチャ生成ネットワークとテクスチャ生成ネットワークとは、一部のネットワーク重みを共有する。その後、テクスチャ生成ネットワークをトレーニングするためのトレーニングサンプル画像セットにおける人体正面テクスチャ、第１サンプル分割マスクおよび第２サンプル分割マスクを前記テクスチャ生成ネットワークに入力し、人体サンプルの裏面テクスチャの第２予測値を取得する。前記第２予測値と前記裏面テクスチャの第２真の値とに基づいて、テクスチャ生成ネットワークのネットワークパラメータを調整する。前記第２真の値の解像度は、第１真の値の解像度よりも高く、即ち、テクスチャ生成ネットワークから出力された裏面テクスチャの解像度は、支援テクスチャ生成ネットワークから出力された裏面テクスチャの解像度よりも若干高い。

【0074】

本実施例の三次元人体再構成方法では、目標人体の局所部位に対して局所幾何再構成を行って局所部位の再構成効果を向上させるだけでなく、目標人体の単一の人体画像に基づいて再構成を行ってユーザの協力手順を簡素化する。また、さらに、ニューラルネットワークを介してテクスチャの予測を自動的に行うことにより、生成されたテクスチャ効果をより良好にする。例えば、人体全身のテクスチャをより均一にし、色をよりリアルにする。そして、支援テクスチャ生成ネットワークをトレーニングしてからテクスチャ生成ネットワークをトレーニングする方式により、テクスチャ生成ネットワークのトレーニング手順がより安定になり、より収束しやすくなる。

【0075】

他の実施例において、再構成の効果を向上させるために、目標人体の複数枚の異なる角度の画像を取得して当該目標人体の三次元再構成を総合的に行ってもよい。例えば、当該目標人体の３枚の画像を取得したことを例とすると、この３枚の画像は、異なる角度で収集されたものであってもよい。図２を参照すると、この３枚の画像をそれぞれグローバル特徴サブネットワーク２２１の入力として、グローバル特徴サブネットワーク２２１から出力された、この３枚の画像にそれぞれ対応する１つの第１画像特徴を取得してもよい。その後、３つの第１画像特徴を融合し、融合された画像特徴を第１フィッティングサブネットワーク２２２の入力として引き続き処理する。

【0076】

三次元人体再構成が図６に示すネットワーク構造を採用するときに、上記３枚の画像をそれぞれグローバル特徴サブネットワーク２２１の入力とする以外、当該３枚の画像から局所領域を抽出して局所画像を取得し、３つの局所画像をそれぞれ局所特徴サブネットワーク６１１の入力として、局所特徴サブネットワーク６１１から出力された、この３枚の局所画像にそれぞれ対応する第２画像特徴を取得してから、３つの第２画像特徴を融合し、融合で得られた画像特徴を第２フィッティングサブネットワーク６１２の入力として引き続き処理してもよい。

【0077】

以上のように、目標人体の複数枚の異なる角度の画像を取得して当該目標人体の三次元人体再構成を総合的に行うことにより、当該目標人体に対応するより繊細な三次元人体モデルを取得することができる。

【0078】

また、さらに説明すべきことは、本発明のいずれかの実施例に記述された三次元人体再構成方法の各フローステップにおいて、係るニューラルネットワークモデルのいずれについて、個別にトレーニングされてもよい。例えば、第１深層ニューラルネットワークブランチとテクスチャ生成ネットワークとは、それぞれ個別にトレーニングされてもよい。

【0079】

以下では、１つの三次元人体再構成フローの例示を記述する。なお、上記いずれかの方法実施例に記述された手順と同じ処理について、ここで簡単に説明し、詳細な手順は、上記実施例を参照すればよい。

【0080】

当該例において、ユーザＵ１の単一の人体画像に基づいて当該Ｕ１の三次元人体モデルを構築しようとすると仮定すると、前記単一の人体画像は、ユーザＵ１の正面画像であってもよく、ユーザＵ１の正面テクスチャおよび背景画像を含む。図９を参照すると、ユーザＵ１の単一の人体画像９１は、当該ユーザの正面テクスチャ９２および背景画像９３を含む。

【0081】

まず、ユーザＵ１の単一の人体画像９１に基づいて２態様の再構成をそれぞれ行ってもよい。

【0082】

一態様の再構成は、単一の人体画像９１に基づいて人体幾何再構成を行ってＵ１の三次元メッシュモデルおよび人体骨格構造を取得することである。例示として、図６に示すネットワークを介して単一の人体画像９１を処理し、第１深層ニューラルネットワークブランチにおけるグローバル特徴サブネットワークおよび第１フィッティングサブネットワークを介して単一の人体画像９１を処理し、第１人体モデルを取得し、且つ、第２深層ニューラルネットワークブランチにおける局所特徴サブネットワークおよび第２フィッティングサブネットワークを介して単一の人体画像９１中の人体肩部以上の領域の画像を処理し、第２人体モデルを取得してもよい。第１人体モデルと第２人体モデルとを融合した後、融合人体モデルを取得する。融合人体モデルに対してメッシュ化処理を行い、ユーザＵ１の三次元メッシュモデル（ｍｅｓｈ）を取得する。

【0083】

もう一つの態様の再構成は、単一の人体画像９１に基づいてユーザＵ１の顔に対して局所幾何再構成を行って顔の三次元メッシュモデルを取得することである。具体的に、単一の人体画像９１に対して特徴抽出を行い、抽出された画像特徴および顔三次元トポロジーテンプレートをグラフ畳み込みニューラルネットワークに入力し、当該ユーザＵ１の顔ｍｅｓｈを取得してもよい。

【0084】

次に、上記再構成で得られた顔ｍｅｓｈ（顔の三次元メッシュモデル）とユーザＵ１の人体ｍｅｓｈ（Ｕ１人体の三次元メッシュモデル）とを組み合わせ、両者の融合を行い、Ｕ１の初期三次元モデルを取得してもよい。

【0085】

具体的に、図３の模式的なフローに基づいて、顔部のキーポイントを考慮し、キーポイントの、顔ｍｅｓｈと人体ｍｅｓｈとのそれぞれにおける対応する各モデルキーポイントの識別子および位置を特定し、これらのモデルキーポイントの識別子および位置、モデルのカメラ外部パラメータなどのパラメータに基づいて、モデルの間の座標変換関係を特定してもよい。当該座標変換関係に基づいて、顔ｍｅｓｈを人体ｍｅｓｈの座標系に変換し、顔ｍｅｓｈで人体ｍｅｓｈ中の顔を置き換え、ポアソン再構成によって顔ｍｅｓｈと人体ｍｅｓｈとを融合し、ユーザＵ１の初期三次元モデルを取得する。

【0086】

その後、上記初期三次元モデルとユーザＵ１の単一の人体画像９１とに基づいて、Ｕ１の人体テクスチャの再構成を行う。ここで、単一の人体画像９１がユーザＵ１の正面テクスチャであるため、当該正面テクスチャに基づいてＵ１の裏面テクスチャを予測してもよい。

【0087】

具体的に、単一の人体画像９１に対して人体分割を行い、背景画像が除去された人体正面テクスチャと、人体正面テクスチャ領域を表すための第１分割マスクとを取得し、第１分割マスクを反転して、人体裏面テクスチャ領域を表すための第２分割マスクを取得してもよい。次に、当該人体正面テクスチャ、第１分割マスクおよび第２分割マスクを予めトレーニングされたテクスチャ生成ネットワークに入力してユーザＵ１の裏面テクスチャを取得する。最後に、当該正面テクスチャおよび裏面テクスチャに基づいて初期三次元モデルに対してテクスチャマッピングを行い、モデルの隙間領域にテクスチャの充填および補完を行い、テクスチャを有するＵ１の三次元人体モデルを最終的に取得する。

【0088】

構築された三次元人体モデルに対してモデル駆動を便利に行うために、さらに、再構成で得られたＵ１の三次元人体モデルと、Ｕ１の三次元メッシュモデルを再構成するときに得られた人体骨格構造とを使用し、三次元人体モデルのスキニング重みを算出してもよい。後は、当該スキニング重みにより、モデルが動作を実行するように駆動してもよい。

【0089】

図１０は、三次元人体再構成装置の構造模式図を例示する。図１０に示すように、当該装置は、全体再構成モジュール１００１、局所再構成モジュール１００２、融合処理モジュール１００３およびテクスチャ再構成モジュール１００４を備えてもよい。

【0090】

全体再構成モジュール１００１は、目標人体の単一の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得する。

【0091】

局所再構成モジュール１００２は、前記目標人体の単一の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得する。

【0092】

融合処理モジュール１００３は、前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得する。

【0093】

テクスチャ再構成モジュール１００４は、前記初期三次元モデルと前記単一の人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得する。

【0094】

一例において、全体再構成モジュール１００１は、前記目標人体の三次元メッシュモデルを取得するときに、具体的に、第１深層ニューラルネットワークブランチを介して前記目標人体の単一の人体画像に対して三次元再構成を行い、第１人体モデルを取得し、第２深層ニューラルネットワークブランチを介して前記単一の人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得し、前記第１人体モデルと前記第２人体モデルとを融合し、融合人体モデルを取得し、前記融合人体モデルに対してメッシュ化処理を行い、前記目標人体の三次元メッシュモデルを取得するために用いられる。前記局所画像は、前記目標人体の局所領域を含む。

【0095】

一例において、局所再構成モジュール１００２は、具体的に、前記目標人体の単一の人体画像に対して特徴抽出を行い、第３画像特徴を取得し、前記第３画像特徴と前記局所部位の三次元トポロジーテンプレートとに基づいて、前記局所部位の三次元メッシュモデルを特定するために用いられる。

【0096】

一例において、融合処理モジュール１００３は、具体的に、前記目標人体の単一の人体画像に基づいて、前記局所部位の複数のキーポイントを取得し、前記目標人体の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第１モデルキーポイントの情報を特定し、且つ、前記局所部位の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第２モデルキーポイントの情報を特定し、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するために用いられる。

【0097】

一例において、融合処理モジュール１００３は、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するときに、具体的に、前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記目標人体の三次元メッシュモデルと前記局所部位の三次元メッシュモデルとの間の座標変換関係を特定し、前記座標変換関係に基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルの座標系に変換し、変換後の座標系において前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するために用いられる。

【0098】

一例において、テクスチャ再構成モジュール１００４は、具体的に、前記単一の人体画像に対して人体分割を行い、第１分割マスクと、第２分割マスクと、目標人体の正面テクスチャとを取得し、前記正面テクスチャと、前記第１分割マスクと、前記第２分割マスクとをテクスチャ生成ネットワークに入力し、前記目標人体の裏面テクスチャを取得し、前記裏面テクスチャと前記正面テクスチャとに基づいて、前記目標人体に対応する、テクスチャを有する三次元人体モデルを取得するために用いられ、前記第１分割マスクは、前記正面テクスチャのマスク領域に対応し、前記第２分割マスクは、目標人体の裏面テクスチャのマスク領域に対応する。

【0099】

一例において、図１１に示すように、当該装置は、モデルトレーニングモジュール１００５をさらに備えてもよい。

【0100】

モデルトレーニングモジュール１００５は、前記テクスチャ生成ネットワークのトレーニングを行うためのものであり、具体的に、トレーニングサンプル画像セットにおける人体サンプルの単一の画像に対して人体分割を行い、第１サンプル分割マスクと、第２サンプル分割マスクと、前記人体サンプルの正面テクスチャとを取得し、前記人体サンプルの単一の画像の解像度を低減することで取得された支援人体画像中の人体の正面テクスチャと、第３サンプル分割マスクと、第４サンプル分割マスクとに基づいて、支援テクスチャ生成ネットワークをトレーニングし、前記支援テクスチャ生成ネットワークのトレーニングが完了した後、前記人体サンプルの正面テクスチャと、前記第１サンプル分割マスクと、前記第２サンプル分割マスクとに基づいて、前記テクスチャ生成ネットワークをトレーニングするために用いられる。前記第１サンプル分割マスクは、前記人体サンプルの正面テクスチャのマスク領域に対応し、前記第２サンプル分割マスクは、前記人体サンプルの裏面テクスチャのマスク領域に対応し、前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の人体の裏面テクスチャのマスク領域に対応し、前記テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含む。

【0101】

いくつかの実施例において、上記装置は、上述したいずれかの方法を実行することが可能であり、簡潔のために、ここで繰り返し説明しない。

【0102】

本発明の実施例は、電子デバイスをさらに提供する。前記電子デバイスは、メモリと、プロセッサとを備え、前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータ命令を呼び出すことにより、本明細書のいずれかの実施例の方法を実施するために用いられる。

【0103】

本発明の実施例は、コンピュータ可読記憶媒体をさらに提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本明細書のいずれかの実施例の方法が実施される。

【0104】

当業者であれば理解できるように、本発明の１つまたは複数の実施例は、方法、システムまたはコンピュータプログラム製品として提供され得る。当該コンピュータプログラム製品は、コンピュータプログラムを含み、当該コンピュータプログラムがプロセッサによって実行されると、本明細書のいずれかの実施例の方法が実施され得る。したがって、本発明の１つまたは複数の実施例は、１００％ハードウェアの実施例、１００％ソフトウェアの実施例、またはソフトウェアとハードウェアとを組み合わせた態様の実施例の形式を採用してもよい。また、本発明の１つまたは複数の実施例は、１つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、それらに限定されない）上で実施されるコンピュータプログラム製品の形式を採用してもよい。

【0105】

本発明の実施例に記載の「および／または」は、両者のうちの１つを少なくとも有することを表す。例えば、「Ａおよび／またはＢ」は、Ａ、Ｂ、および「ＡとＢ」という３つの形態を含む。

【0106】

本発明における各実施例は、いずれも漸進の方式で記述され、各実施例は、他の実施例との相違点を重点的に説明し、各実施例同士の同じまたは類似する部分は互いに参照すればよい。特にデータ処理デバイスの実施例は、方法実施例に基本的に類似するため、記述が相対的に簡単であり、関連箇所については方法実施例の一部の説明を参照すればよい。

【0107】

以上、本発明の特定の実施例について記述した。他の実施例は、添付する特許請求の範囲の範囲内に含まれる。いくつかの場合において、特許請求の範囲に記載の行為またはステップは、実施例における順番と異なる順番で実行してもよく、依然として所望の結果を得ることができる。また、図面に描かれた手順は、示された特定の順番または連続順番でないと所望の結果を得られないことを要求するとは限らない。いくつかの実施形態において、マルチタスク処理および並行処理も可能または有利である。

【0108】

本発明に記述されたテーマおよび機能操作の実施例は、デジタル電子回路、タンジブルに具現化されたコンピュータソフトウェアもしくはファームウェア、本発明に開示された構造およびその構造的均等物を含むコンピュータハードウェア、またはそれらのうちの１つまたは複数の組み合わせにおいて実現され得る。本明細書に記述されたテーマの実施例は、１つまたは複数のコンピュータプログラム、即ち、有形の非一時的なプログラムキャリア上にコーディングされることでデータ処理装置によって実行され、またはデータ処理装置の操作を制御するコンピュータプログラム命令における１つまたは複数のモジュールとして実現され得る。代替的にまたは追加的に、プログラム命令は、人工で生成された伝送信号、例えば機器で生成された電気、光または電磁的信号にコーディングされてもよい。当該信号は、生成されることで情報を符号化して適切な受信機装置へ伝送してデータ処理装置に実行させる。コンピュータ記憶媒体は、機器可読記憶デバイス、機器可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらのうちの１つまたは複数の組み合わせであってもよい。

【0109】

本発明に記述された処理および論理フローは、入力データに応じて操作を行って出力を生成して対応する機能を実行する、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルコンピュータによって実施され得る。前記処理および論理フローは、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行されてもよく、装置も専用論理回路として実現されてもよい。

【0110】

コンピュータプログラムの実行に適するコンピュータは、例えば、汎用および／または専用マイクロプロセッサ、またはいかなる他のタイプの中央処理装置を含む。通常、中央処理装置は、読み出し専用メモリおよび／またはランダムアクセスメモリから命令およびデータを受信する。コンピュータの基本コンポーネントは、命令を実施や実行するための中央処理ユニットと、命令およびデータを記憶するための１つまたは複数のメモリデバイスとを備える。通常、コンピュータは、さらに、データを記憶するための１つまたは複数の大容量記憶デバイス、例えば、磁気ディスク、磁光ディスクまたは光ディスクなどを含み、または、コンピュータは、この大容量記憶デバイスに操作可能にカップリングされてデータを受信したり伝送したりし、または、２種の状況を兼ね備える。しかし、コンピュータは、このようなデバイスを必ず有するとは限らない。また、コンピュータは、別のデバイス、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリドライバの携帯型記憶デバイスに組み込まれてもよい。以上は、単にいくつかの例である。

【0111】

コンピュータプログラム命令およびデータを記憶するのに適するコンピュータ可読媒体は、あらゆる形態の不揮発性メモリと、メディアと、メモリデバイスとを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス）、磁気ディスク（例えば、内部ハードディスクまたはリムーバブルディスク）、磁光ディスクおよびＣＤ ＲＯＭとＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補充されまたは専用論理回路に統合されてもよい。

【0112】

本発明が大量の具体的な実施詳細を含むが、これらの詳細は、いかなる開示範囲または保護請求される範囲を制限するとは解釈されるべきではなく、主に特定の開示された具体的な実施例の特徴を記述するために用いられる。本発明の複数の実施例に記述されたいくつかの特徴は、単一の実施例において組み合わせて実施されてもよい。その一方、単一の実施例に記述された各種の特徴は、複数の実施例に分けて実施され、または、いかなる適切なサブ組み合わせとして実施されてもよい。また、特徴が上記のようにいくつかの組み合わせにおいて役割を果たし、当初はそのようなものとして保護を主張するが、保護請求される組み合わせからの１つまたは複数の特徴は、いくつかの場合において当該組み合わせから除去されてもよく、さらに、保護請求される組み合わせは、サブ組み合わせまたはサブ組み合わせの変形を指してもよい。

【0113】

類似的に、図面に特定の順番で操作が描かれたが、これらの操作が示された特定の順番で実行されまたは順に実行されまたは全ての例示の操作が実行されて所望の結果を得ることを要求するとして理解されるべきではない。いくつかの場合に、マルチタスクおよび並行処理は、有利である可能性がある。また、上記実施例における各種のシステムモジュールとユニットの分離は、全ての実施例においてこのような分離を必要とすると理解されるべきではない。さらに、理解できるように、記述されるプログラムユニットおよびシステムは、通常、単一のソフトウェア製品に統合されてもよく、または複数のソフトウェア製品としてパッケージ化されてもよい。

【0114】

このように、テーマの特定実施例が記述されている。他の実施例は、添付する特許請求の範囲の範囲内に含まれる。いくつかの場合において、特許請求の範囲に記載の行為は、異なる順番で実行され、且つ依然として所望の結果を得ることができる。また、図面に描かれた処理が必ずしも示された特定の順番または連続順番で所望の結果を得るとは限らない。いくつかの実施形態において、マルチタスク処理および並行処理は、有利である可能性がある。

【0115】

上述したのは、本発明の１つまたは複数の実施例の好適な実施例に過ぎず、本発明の１つまたは複数の実施例を制限するためのものではない。本発明の１つまたは複数の実施例の精神および原則内でなされたいかなる変更、等価置換、改良なども、本発明の１つまたは複数の実施例の保護範囲内に含まれるべきである。

【符号の説明】

【0116】

２１ 人体画像
２２ 第１深層ニューラルネットワークブランチ
３１ キーポイント
４１ 人体裏面テクスチャ
４２ 人体正面テクスチャ
４３ 三次元モデル
４４ 三次元人体モデル
５１ 三次元人体モデル
５２ 人体骨格構造
６１ 第２深層ニューラルネットワークブランチ
６２ 局所画像
７１ 正面画像
７２ 第１分割マスク
７３ 正面テクスチャ
７４ 第２分割マスク
７５ テクスチャ生成ネットワーク
８１ 支援人体画像
８２ 正面テクスチャ
８３ 第３サンプル分割マスク
８４ 第４サンプル分割マスク
９１ 人体画像
９２ 正面テクスチャ
９３ 背景画像
２２１ グローバル特徴サブネットワーク
２２２ 第１フィッティングサブネットワーク
６１１ 局所特徴サブネットワーク
６１２ 第２フィッティングサブネットワーク
１００１ 全体再構成モジュール
１００２ 局所再構成モジュール
１００３ 融合処理モジュール
１００４ テクスチャ再構成モジュール
１００５ モデルトレーニングモジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2023-12-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するステップと、
前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するステップと、
前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップと、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するステップと、を含むことを特徴とする三次元人体再構成方法。

【請求項2】

前記目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するステップは、
第１深層ニューラルネットワークブランチを介して前記目標人体の人体画像に対して三次元再構成を行い、第１人体モデルを取得するステップと、
第２深層ニューラルネットワークブランチを介して前記人体画像中の局所画像に対して三次元再構成を行い、第２人体モデルを取得するステップと、
前記第１人体モデルと前記第２人体モデルとを融合し、融合人体モデルを取得するステップと、
前記融合人体モデルに対してメッシュ化処理を行い、前記目標人体の三次元メッシュモデルを取得するステップと、を含み、
前記局所画像は、前記目標人体の局所領域を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するステップは、
前記目標人体の人体画像に対して特徴抽出を行い、第３画像特徴を取得するステップと、
前記第３画像特徴と前記局所部位の三次元トポロジーテンプレートとに基づいて、前記局所部位の三次元メッシュモデルを特定するステップと、を含むことを特徴とする請求項１または２に記載の方法。

【請求項4】

前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するステップは、
前記目標人体の人体画像に基づいて、前記局所部位の複数のキーポイントを取得するステップと、
前記目標人体の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第１モデルキーポイントの情報を特定し、且つ、前記局所部位の三次元メッシュモデルにおける、前記複数のキーポイントに対応する第２モデルキーポイントの情報を特定するステップと、
前記第１モデルキーポイントの情報と前記第２モデルキーポイントの情報とに基づいて、前記目標人体の三次元メッシュモデルと前記局所部位の三次元メッシュモデルとの間の座標変換関係を特定するステップと、
前記座標変換関係に基づいて、前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルの座標系に変換するステップと、
変換後の座標系において前記局所部位の三次元メッシュモデルを前記目標人体の三次元メッシュモデルと融合し、前記初期三次元モデルを取得するステップと、を含むことを特徴とする請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記人体画像は、前記目標人体の正面テクスチャと背景画像とを含み、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するステップは、
前記人体画像に対して人体分割を行い、第１分割マスクと、第２分割マスクと、前記目標人体の正面テクスチャとを取得するステップと、
前記正面テクスチャと、前記第１分割マスクと、前記第２分割マスクとをテクスチャ生成ネットワークに入力し、前記目標人体の裏面テクスチャを取得するステップと、
前記裏面テクスチャと前記正面テクスチャとに基づいて、前記目標人体に対応する、テクスチャを有する三次元人体モデルを取得するステップと、を含み、
前記第１分割マスクは、前記目標人体の正面テクスチャのマスク領域に対応し、前記第２分割マスクは、前記目標人体の裏面テクスチャのマスク領域に対応することを特徴とする請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記テクスチャ生成ネットワークのトレーニングは、
トレーニングサンプル画像セットにおける人体サンプルの画像に対して人体分割を行い、第１サンプル分割マスクと、第２サンプル分割マスクと、前記人体サンプルの正面テクスチャとを取得する処理と、
前記人体サンプルの画像の解像度を低減することで取得された支援人体画像中の人体の正面テクスチャと、第３サンプル分割マスクと、第４サンプル分割マスクとに基づいて、支援テクスチャ生成ネットワークをトレーニングする処理と、
前記支援テクスチャ生成ネットワークのトレーニングが完了した後、前記人体サンプルの正面テクスチャと、前記第１サンプル分割マスクと、前記第２サンプル分割マスクとに基づいて、前記テクスチャ生成ネットワークをトレーニングする処理と、を含み、
前記第１サンプル分割マスクは、前記人体サンプルの正面テクスチャのマスク領域に対応し、前記第２サンプル分割マスクは、前記人体サンプルの裏面テクスチャのマスク領域に対応し、
前記第３サンプル分割マスクは、前記支援人体画像中の人体の正面テクスチャのマスク領域に対応し、前記第４サンプル分割マスクは、前記支援人体画像中の人体の裏面テクスチャのマスク領域に対応し、
前記テクスチャ生成ネットワークのネットワークパラメータは、トレーニングが完了した前記支援テクスチャ生成ネットワークの少なくとも一部のネットワークパラメータを含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記目標人体の人体画像に基づいて人体幾何再構成を行うときに、前記目標人体の人体骨格構造を取得するステップと、
前記目標人体の三次元人体モデルが取得された後、前記三次元人体モデルと前記人体骨格構造とに基づいて、前記三次元人体モデルを駆動するためのスキニング重みを特定するステップと、をさらに含むことを特徴とする請求項１から６のいずれか一項に記載の方法。

【請求項8】

目標人体の人体画像に基づいて人体幾何再構成を行い、前記目標人体の三次元メッシュモデルを取得するための全体再構成モジュールと、
前記目標人体の人体画像に基づいて前記目標人体の局所部位に対して局所幾何再構成を行い、前記局所部位の三次元メッシュモデルを取得するための局所再構成モジュールと、
前記局所部位の三次元メッシュモデルと前記目標人体の三次元メッシュモデルとを融合し、初期三次元モデルを取得するための融合処理モジュールと、
前記初期三次元モデルと前記人体画像とに基づいて前記目標人体の人体テクスチャの再構成を行い、前記目標人体の三次元人体モデルを取得するためのテクスチャ再構成モジュールと、を備えることを特徴とする三次元人体再構成装置。

【請求項9】

電子デバイスであって、
メモリと、プロセッサとを備え、
前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータ命令を呼び出すことにより、請求項１から７のいずれか一項に記載の方法を実施するために用いられることを特徴とする電子デバイス。

【請求項10】

コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から７のいずれか一項に記載の方法が実施されることを特徴とするコンピュータ可読記憶媒体。

【請求項11】

コンピュータ可読命令を含むコンピュータプログラムであって、
前記コンピュータ可読命令がプロセッサによって実行されると、請求項１から７のいずれか一項に記載の方法が実施されることを特徴とするコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正の内容】

【0024】

第５態様は、コンピュータプログラムを提供する。当該コンピュータプログラムは、コンピュータ可読命令を含み、前記コンピュータ可読命令がプロセッサによって実行されると、本発明のいずれかの実施例に記載の方法が実施される。

【国際調査報告】