特開 2024-70840 ３次元人体動的着装モデル推定装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070840

(43)【公開日】2024-05-23

(54)【発明の名称】３次元人体動的着装モデル推定装置及び方法

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240516BHJP

   G06T 7/00 20170101ALI20240516BHJP

【ＦＩ】

G06T13/40

G06T7/00 660B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023191191

(22)【出願日】2023-11-08

(31)【優先権主張番号】202211410258.X

(32)【優先日】2022-11-11

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】フゥ・シチェヌ

(72)【発明者】

【氏名】タヌ・ジミン

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA08

5B050BA09

5B050BA12

5B050BA13

5B050CA00

5B050DA04

5B050EA04

5B050EA24

5B050EA26

5B050FA02

5L096DA01

5L096EA14

5L096FA67

5L096FA69

(57)【要約】

【課題】本発明は、３次元人体動的着装モデル推定装置及び方法を提供する。
【解決手段】かかる方法は、第一モデルを用いて２次元人体画像に基づいて３次元人体静的着装モデル及びそれにマッチした第二モデルのパラメータを出力し；出力された第二モデルのパラメータに基づいて第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、第一モデル化ユニットから出力された３次元人体静的着装モデルとの重ね合わせを行い、人体骨骼位置を調整した第二モデルにおける骨骼を３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力し；及び、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを得ることを含む。
【選択図】図１０

【特許請求の範囲】

【請求項1】

３次元人体動的着装モデルを推定する装置であって、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力する第一モデル化ユニットであって、前記第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼を含むパラメータ化モデルである、第一モデル化ユニット；
前記第一モデル化ユニットから出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力する第二モデル化ユニット；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得する動的ユニットを含む、装置。

【請求項2】

請求項１に記載の装置であって、
前記第二モデルのパラメータは、前記第一モデルから出力される前記第二モデルにおける人体の体型情報及び姿勢情報を含む、装置。

【請求項3】

請求項２に記載の装置であって、
前記第二モデル化ユニットは前記姿勢情報に基づいて、前記第二モデルにおける人体骨骼の初期位置を前記姿勢情報に対応する位置に調整し、前記人体骨骼位置を調整した第二モデルを得る、装置。

【請求項4】

請求項１に記載の装置であって、
人体の姿勢変化を含むビデオから、前記人体骨骼位置が時間とともに変化するパラメータシーケンスを抽出するシーケンス抽出ユニットをさらに含む、装置。

【請求項5】

請求項１に記載の装置であって、
前記動的ユニットは前記人体骨骼位置が時間とともに変化するパラメータシーケンスに基づいて、前記人体骨骼が組み立てられた３次元静的着装モデルにおける各骨骼点の位置を変更し、前記パラメータシーケンスにおける人体骨骼位置変化に対応する姿勢変化を有する３次元人体動的着装モデルを得る、装置。

【請求項6】

請求項１に記載の３次元人体動的着装モデル推定装置を含む電子機器。

【請求項7】

３次元人体動的着装モデルを推定する方法であって、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力し、前記第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼を含むパラメータ化モデルであり；
出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力し；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得することを含む、方法。

【請求項8】

請求項７に記載の方法であって、
前記第二モデルのパラメータは、前記第一モデルから出力される前記第二モデルにおける人体の体型情報及び姿勢情報を含む、方法。

【請求項9】

請求項８に記載の方法であって、
前記姿勢情報に基づいて、前記第二モデルにおける人体骨骼の初期位置を前記姿勢情報に対応する位置に調整し、前記人体骨骼位置を調整した第二モデルを得る、方法。

【請求項10】

請求項７に記載の方法であって、
人体の姿勢変化を含むビデオから、前記人体骨骼位置が時間とともに変化するパラメータシーケンスを抽出することをさらに含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報技術の分野に関する。

【背景技術】

【0002】

近年、３次元（３Ｄ）人体モデルが人気の研究テーマになっている。３次元人体モデルは様々な場面、例えば、仮想現実、映画の特殊効果及びエンターテイメントに適用できる。３次元人体モデルを構築する従来の方法では通常、３次元コンピュータグラフィックソフトウェアの使用が必要であり、また、正確な３次元モデルを生成するには、高価な３次元スキャン装置も必要である。

【0003】

今のところ、１枚のカラーピクチャ（画像）を用いて３次元人体モデルを構築する既存の方法によって構築される人体着装モデルは、ほとんど、静的人体着装（着衣／ドレッシング）モデルであり、このようなモデルは、一般に、人体の服飾の細部、例えば、髪型やアクセサリーの復元に重点を置いている。

【0004】

なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の既存の３次元人体モデルの構築方法によって構築されるのは静的人体着装モデルであり、３次元構造の着衣人体を動的に表現できない。よって、このような静的モデルの適用範囲が限定され、かつ、高価な３次元スキャン装置が必要となるため、モデルを構築するコストは高くなる恐れがある。

【0006】

上述の問題のうちの少なくとも１つを解決するために、本発明の実施例は、高精度な動的３次元人体動的ドレッシングモデルを簡単かつ低コストで構築可能な３次元人体動的着装モデル推定装置及び方法の提供を課題とする。

【課題を解決するための手段】

【0007】

本発明の実施例の第一側面によれば、３次元人体動的着装モデル推定装置が提供され、前記装置は、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力する第一モデル化ユニットであって、そのうち、前記第一モデルは人体表面を暗黙的に表し（ｉｍｐｌｉｃｉｔｌｙ ｒｅｐｒｅｓｅｎｔ）、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼（骨格）を含むパラメータ化モデルである、第一モデル化ユニット；
前記第一モデル化ユニットから出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ（ｏｖｅｒｌａｐ）、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた（ａｓｓｅｍｂｌｉｎｇ）３次元静的着装モデルを出力する第二モデル化ユニット；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得する動的ユニットを含む。

【0008】

本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は本発明の実施例の第一側面に記載の装置を含む。

【0009】

本発明の実施例の第三側面によれば、３次元人体動的着装モデル推定方法が提供され、前記方法は、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力し、そのうち、前記第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼を含むパラメータ化モデルであり；
出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力し；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得することを含む。

【発明の効果】

【0010】

本発明の実施例の有利な効果は少なくとも次のとおりである。

【0011】

人体表面を暗黙的に表し、かつ人体骨骼を含むパラメータ化モデル即ち第二モデルを先験的モデルとして使用する第一モデルを利用することで、２次元人体画像に基づいて、人体表面細部を表現する３次元人体静的着装モデル及び該３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力でき、また、出力された該第二モデルのパラメータに基づいて第二モデルにおける人体骨骼位置に対して調整を行い、第一モデルが第二モデルを先験的モデルとしてそのパラメータを出力するため、直接、人体骨骼位置を調整した第二モデルと、上述の３次元人体静的着装モデルと、を重ね合わせ、第二モデルにおける骨骼を上述の３次元人体静的着装モデルにバインドすることで、マッチ度が非常に高い、人体骨骼が組み立てられた３次元静的着装モデルを取得でき、これによって、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得できる。よって、３次元スキャン装置が必要にあらず、処理プロセス全体がシンプルであり、かつ、高精度な３次元人体動的着装モデルを簡単かつ低コストで構築できる。

【0012】

また、１つの実施例について説明した及び／又は示した特徴は、同じ又は類似した方式で１つ又は複数の他の実施例に使用し、他の実施例における特徴と組み合わせ、又は他の実施例における特徴を置換することもできる。

【0013】

なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在若しくは付加を排除しないということも指す。

【図面の簡単な説明】

【0014】

本発明の１つの図面又は１つの実施例に記載の要素及び特徴は、１つ又は複数の他の図面又は実施例に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つかの図面における対応部品を示し、複数の実施例に用いられる対応部品を示すためにも用いられる。

【図1】本発明の実施例１における３次元人体動的着装モデル推定装置を示す図である。

【図2】本発明の実施例１における２次元人体画像を示す図である。

【図3】本発明の実施例１において第一モデルにより推定された第二モデルを示す図である。

【図4】本発明の実施例１において第一モデルから出力された３次元人体静的着装モデルを示す図である。

【図5】本発明の実施例１において人体骨骼位置を調整した第二モデルを示す図である。

【図6】人体骨骼位置を調整した第二モデルと３次元人体静的着装モデルとのオーバーラップを示す図である。

【図7】人体骨骼が組み立てられた３次元静的着装モデルを示す図である。

【図8】本発明の実施例２における電子機器を示す図である。

【図9】本発明の実施例２における電子機器のシステム構成を示すブロック図である。

【図10】本発明の実施例３における３次元人体動的着装モデル推定方法を示す図である。

【発明を実施するための形態】

【0015】

添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付した特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。

【0016】

以下、図面を参照しながら本発明の実施例について説明する。

【実施例0017】

本発明の実施例では３次元人体動的着装モデル推定装置が提供される。図１は本発明の実施例１における３次元人体動的着装モデル推定装置を示す図である。

【0018】

図１に示すように、３次元人体動的着装モデル推定装置１００は以下のものを含む。

【0019】

第一モデル化ユニット１０１：第一モデル１０を用いて、入力された２次元人体画像に基づいて、３次元人体静的着装モデル３０及び該３次元人体静的着装モデルにマッチした第二モデル２０のパラメータを出力し、そのうち、該第一モデル１０は人体表面を暗黙的に表し、かつ第二モデル２０を先験的モデルとして使用するモデルであり、該第二モデル２０は人体骨骼を含むパラメータ化モデルであり；
第二モデル化ユニット１０２：該第一モデル化ユニット１０１から出力された該第二モデル２０のパラメータに基づいて、第二モデル２０における人体骨骼位置を調整し、人体骨骼位置を調整した第二モデル２０と、該第一モデル化ユニットから出力された該３次元人体静的着装モデル３０と、を重ね合わせ、人体骨骼位置を調整した第二モデル２０における骨骼を３次元人体静的着装モデル３０にバインドし、人体骨骼が組み立てられた３次元静的着装モデル４０を出力し；及び
動的ユニット１０３：人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデル４０に基づいて、３次元人体動的着装モデル５０を取得する。

【0020】

このように、人体表面を暗黙的に表し、かつ人体骨骼を含むパラメータ化モデル即ち第二モデルを先験的モデルとして使用する第一モデルを利用することで、２次元人体画像に基づいて、人体表面細部を表現する３次元人体静的着装モデル及び該３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力でき、また、出力された該第二モデルのパラメータに基づいて第二モデルにおける人体骨骼位置に対して調整を行い、第一モデルが第二モデルを先験的モデルとしてそのパラメータを出力するため、直接、人体骨骼位置を調整した第二モデルと、上述の３次元人体静的着装モデルと、を重ね合わせ、第二モデルにおける骨骼を上述の３次元人体静的着装モデルにバインドすることで、マッチ度が非常に高い、人体骨骼が組み立てられた３次元静的着装モデルを取得でき、これによって、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得できる。よって、３次元スキャン装置が必要にあらず、処理プロセス全体がシンプルであり、かつ、高精度な３次元人体動的着装モデルを簡単かつ低コストで構築できる。

【0021】

幾つかの実施例において、２次元人体画像は人体全体を含む２次元カラー画像である。

【0022】

以下、各ユニット及びその具体的な処理プロセスについて説明する。

【0023】

第一モデル化ユニット１０１では、第一モデル１０に入力されるのが２次元人体画像であり、第一モデル１０から出力されるのが３次元人体静的着装モデル３０及び該３次元人体静的着装モデルにマッチした第二モデル２０のパラメータである。

【0024】

該第一モデル１０は人体表面を暗黙的に表し、かつ第二モデル２０を先験的モデルとして使用するモデルであり、該第二モデル２０は人体骨骼を含むパラメータ化モデルである。例えば、該第一モデル１０はＰａＭＩＲ（ｐａｒａｍｅｔｒｉｃ ｍｏｄｅｌ－ｃｏｎｄｉｔｉｏｎｅｄ ｉｍｐｌｉｃｉｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）モデルであり、第二モデル２０はＳＭＰＬ（ｓｋｉｎｎｅｄ ｍｕｌｔｉ－ｐｅｒｓｏｎ ｌｉｎｅａｒ）モデルである。なお、第一モデル１０及び第二モデル２０は類似機能を有する他のモデルであっても良いが、本発明の実施例はこれらのモデルについて限定しない。また、ＰａＭＩＲモデル及びＳＭＰＬモデルの具体的な構造については関連技術を参照でき、ここではその詳しい説明を省略する。

【0025】

第一モデルがＰａＭＩＲモデル、第二モデルがＳＭＰＬモデルであることを例にして説明を行う。

【0026】

例えば、ＰａＭＩＲモデルでは、１つの姿勢推定モデル、例えば、ＧＣＭＲモデルを用いて、該２次元人体画像に基づいて、人体の体型及び姿勢を含むＳＭＰＬモデルを推定し、即ち、先験的モデルとしてのＳＭＰＬモデルのパラメータを出力し、該パラメータは例えば、人体の体型情報及び姿勢情報を含む。また、ＰａＭＩＲモデルでは、２次元人体画像から２次元特徴マップを抽出し、ピクセルアライメントされた（ｐｉｘｅｌ－ａｌｉｇｎｅｄ）特徴を形成し、また、推定された上述の人体の体型及び姿勢に基づいて３次元特徴を抽出し、ボクセルアライメントされた（ｖｏｘｅｌ－ａｌｉｇｎｅｄ）特徴を形成し、そして、ピクセルアライメントされた特徴とボクセルアライメントされた特徴とを組み合わせてカスケード特徴を取得し、該カスケード特徴に基づいて陰関数（ｉｍｐｌｉｃｉｔ ｆｕｎｃｔｉｏｎ）を使用し、即ち、人体表面を暗黙的に表し、３次元人体静的着装モデルを取得し、そのうち、該３次元人体静的着装モデル及び推定されたＳＭＰＬモデルが同一の２次元人体画像に基づいて推定されたので、該３次元人体静的着装モデルは推定されて該ＳＭＰＬモデルにマッチしている。

【0027】

図２は本発明の実施例１における２次元人体画像を示す図である。図３は本発明の実施例１において第一モデルにより推定された第二モデルを示す図である。図４は本発明の実施例１において第一モデルから出力された３次元人体静的着装モデルを示す図である。

【0028】

図３及び図４に示すように、推定された第二モデル及び３次元人体静的着装モデルは同一の２次元人体画像に基づいて推定されたので、同じ人体の体型及び姿勢を有し、即ち、推定された第二モデルは３次元人体静的着装モデルにマッチしている。

【0029】

第二モデル化ユニット１０２では、該第一モデル化ユニット１０１から出力された該第二モデル２０のパラメータに基づいて第二モデル２０における人体骨骼位置を調整し、人体骨骼位置を調整した第二モデル２０と、該第一モデル化ユニットから出力された該３次元人体静的着装モデル３０と、を重ね合わせ、人体骨骼位置を調整した第二モデル２０における骨骼を３次元人体静的着装モデル３０にバインドし、人体骨骼が組み立てられた３次元静的着装モデル４０を出力する。

【0030】

例えば、第一モデル化ユニット１０１から出力されたＳＭＰＬモデルの人体の体型情報及び姿勢情報に基づいて、１つの初期状態下のＳＭＰＬモデルにおける人体骨骼位置を調整し、例えば、該第二モデル化ユニット１０２は該姿勢情報に基づいて、該ＳＭＰＬモデルにおける人体骨骼の初期位置を該姿勢情報に対応する位置に調整することで、該人体骨骼位置を調整したＳＭＰＬモデルを取得し、その後、人体骨骼位置を調整したＳＭＰＬモデルと、上述の３次元人体静的着装モデルとの重ね合わせを行い、また、人体骨骼位置を調整したＳＭＰＬモデルにおける骨骼を上述の３次元人体静的着装モデルにバインドし、例えば、骨骼のバインドの過程では、ＳＭＰＬモデルにおける骨骼を上述の３次元人体静的着装モデルにトランスファーし、また、ＳＭＰＬモデルの３次元メッシュ（３Ｄ ｍｅｓｈ）に付加されたスキンウェイト（ｓｋｉｎ ｗｅｉｇｈｔ）をも３次元人体静的着装モデルにコピーし、そのうち、該スキンウェイトとは、３次元メッシュにおける各頂点（ｖｅｒｔｅｘ）が関節点の影響を受ける度合いを指す。例えば、肘を曲げた場合に、肘の関節部分の変形が最も大きくなるはずであり、肘から離れた部分、例えば、肩などは基本的に影響を受けることがない。該スキンウェイトはＳＭＰＬモデルに固有のパラメータであり、ここで３次元人体静的着装モデルに直接コピーされる。

【0031】

このように、３次元人体静的着装モデルと、人体骨骼位置を調整したＳＭＰＬモデルが同じ人体の体型及び姿勢を有するので、位置の変換又は調整を行う必要がなく、両者を直接重ね合わせて骨骼のバインドを行うことができ、これによって、ＳＭＰＬモデルにおける骨骼をＰａＭＩＲモデルから出力された３次元人体静的着装モデルに良くトランスファーできるため、マッチ度が非常に高い、重ね合わせ及び骨骼のバインドを経たモデル、即ち、人体骨骼が組み立てられた３次元静的着装モデルを容易に得ることができる。

【0032】

図５は本発明の実施例１において人体骨骼位置を調整した第二モデルを示す図である。図６は人体骨骼位置を調整した第二モデルと３次元人体静的着装モデルとの重ね合わせを示す図である。図７は人体骨骼が組み立てられた３次元静的着装モデルを示す図である。

【0033】

図５に示すように、第一モデル化ユニット１０１から出力された第二モデルのパラメータに基づいて、初期状態下の第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルを取得し、その人体の体型及び姿勢は図３及び図４に示すモデルの人体の体型及び姿勢に一致している。よって、図４に示す３次元静的着装モデルと、図５に示す人体骨骼位置調整後の第二モデルと、を重ね合わせ（図６参照）、かつ骨骼を３次元静的着装モデルにバインドした後に、マッチ度が非常に高い、人体骨骼が組み立てられた３次元静的着装モデルを得ることができる（図７参照）。

【0034】

このように、該３次元静的着装モデルに人体骨骼が組み立てられたので、人体骨骼の位置、例えば、関節の位置を変えることで、動的な３次元人体着装モデルを得ることができる。

【0035】

動的ユニット１０３では、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデル４０に基づいて、３次元人体動的着装モデル５０を取得する。例えば、該動的ユニットは、該人体骨骼位置が時間とともに変化するパラメータシーケンスに基づいて、該人体骨骼が組み立てられた３次元静的着装モデルにおける各骨骼点の位置を変えることで、該パラメータシーケンスにおける人体骨骼位置変化に対応する姿勢変化（姿勢が変化する）の３次元人体動的着装モデルを取得する。

【0036】

幾つかの実施例において、人体骨骼位置が時間とともに変化するパラメータシーケンスとは、第二モデルにおける各骨骼点の位置の変化シーケンスを指し、骨骼位置の変化により、骨骼位置変化に対応する姿勢の変化を得ることができるため、動的な３次元人体着装モデルを取得できる。

【0037】

幾つかの実施例において、人体骨骼位置が時間とともに変化するパラメータシーケンスの具体的な内容は、３次元人体動的着装モデル５０が表すべき動画の内容、例えば、人体のどのような動作及び姿勢の変化を表すべきかに基づいて決定され得る。

【0038】

幾つかの実施例において、人体骨骼位置が時間とともに変化するパラメータシーケンスにおけるパラメータの数は実際のニーズに応じて確定されても良く、例えば、３次元人体動的着装モデル５０が表す必要のある動画の長さに基づいて確定されても良い。

【0039】

幾つかの実施例において、図１に示すように、該装置１００はさらに次のようなものを含んでも良い。

【0040】

シーケンス抽出ユニット１０４：人体の姿勢変化を含むビデオから、該人体骨骼位置が時間とともに変化するパラメータシーケンスを抽出する。

【0041】

幾つかの実施例において、人体の姿勢変化を含むビデオは予め録画されていても良く、該人体の姿勢変化は３次元人体動的着装モデル５０が表すべき動画における人体の姿勢変化に対応する。

【0042】

また、該ビデオが人体の姿勢の変化を提供するので、該ビデオにおける人体は上述の２次元人体画像における人体とは異なる人体であっても良く、又は、同一の人体であっても良い。

【0043】

幾つかの実施例において、シーケンス抽出ユニット１０４はモデルを使用してビデオから、人体の骨骼位置が時間とともに変化するパラメータシーケンスを抽出でき、例えば、該モデルは正規化直交マッチング追跡（ＲＯＭＰ）モデルである。なお、該モデルは類似機能を有する他のモデルであっても良いが、本発明の実施例ではこれについて限定しない。また、ＲＯＭＰモデルの具体的な構造については関連技術を参照でき、ここではその詳しい説明を省略する。

【0044】

幾つかの実施例において、シーケンス抽出ユニット１０４はオプションであっても良い。

【0045】

上述の実施例から分かるように、人体表面を暗黙的に表し、かつ人体骨骼を含むパラメータ化モデル即ち第二モデルを先験的モデルとして使用する第一モデルを利用することで、２次元人体画像に基づいて、人体表面細部を表現する３次元人体静的着装モデル及び該３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力でき、また、出力された該第二モデルのパラメータに基づいて第二モデルにおける人体骨骼位置に対して調整を行い、第一モデルが第二モデルを先験的モデルとしてそのパラメータを出力するため、直接、人体骨骼位置を調整した第二モデルと、上述の３次元人体静的着装モデルと、を重ね合わせ、第二モデルにおける骨骼を上述の３次元人体静的着装モデルにバインドすることで、マッチ度が非常に高い、人体骨骼が組み立てられた３次元静的着装モデルを取得でき、これによって、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得できる。よって、３次元スキャン装置が必要にあらず、処理プロセス全体がシンプルであり、かつ、高精度な３次元人体動的着装モデルを簡単かつ低コストで構築できる。

【実施例0046】

本発明の実施例では電子機器がさらに提供されル。図８は本発明の実施例２における電子機器を示す図である。図８に示すように、電子機器８００は３次元人体動的着装モデル推定装置８０１を含み、３次元人体動的着装モデル推定装置８０１の構造及び機能は実施例１における３次元人体動的着装モデル推定装置１００と同じであり、具体的な内容については実施例１における記載を参照でき、ここではその詳しい説明を省略する。

【0047】

図９は本発明の実施例２における電子機器のシステム構成を示すブロック図である。図９に示すように、電子機器９００は処理器９０１及び記憶器９０２を含んでも良く、該記憶器９０２は該処理器９０１に接続される。なお、該図は例示に過ぎず、さらに他の類型の構造を用いて該構造に対して補充又は代替を行うことで電気通信機能又は他の機能を実現しても良い。

【0048】

幾つかの実施例において、処理器９０１は中央処理ユニット（ＣＰＵ）及びグラフィックスプロセッシングユニット（ＧＰＵ）のうちの少なくとも１つを含む。

【0049】

図９に示すように、電子機器９００はさらに、入力装置９０３、表示器９０４、電源９０５などを含んでも良い。

【0050】

１つ実施方式において、実施例１に記載の３次元人体動的着装モデル推定装置の機能は処理器９０１に統合できる。処理器９０１は次のようなことを行うように構成されても良く、即ち、第一モデルを使って、入力された２次元人体画像に基づいて、３次元人体静的着装モデル及び該３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力し、そのうち、該第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、該第二モデルは人体骨骼を含むパラメータ化モデルであり、出力された該第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、該第一モデル化ユニットから出力された該３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を該３次元人体静的着装モデルバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力し；及び、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得する。

【0051】

例えば、該第二モデルのパラメータは、第一モデルから出力された該第二モデルにおける人体の体型情報及び姿勢情報を含む。

【0052】

例えば、該姿勢情報に基づいて、該第二モデルにおける人体骨骼の初期位置を該姿勢情報に対応する位置に調整し、該人体骨骼位置を調整した第二モデルを取得し得る。

【0053】

例えば、処理器９０１はさらに、人体の姿勢変化を含むビデオから、該人体骨骼位置が時間とともに変化するパラメータシーケンスを抽出するように構成されても良い。

【0054】

例えば、該人体骨骼位置が時間とともに変化するパラメータシーケンスに基づいて、該人体骨骼が組み立てられた３次元静的着装モデルにおける各骨骼点の位置を変更し、該パラメータシーケンスにおける人体骨骼位置変化に対応する姿勢変化の３次元人体動的着装モデルを取得する。

【0055】

もう１つの実施方式において、実施例１に記載の３次元人体動的着装モデル推定装置は該処理器９０１と別々で配置されても良く、例えば、該３次元人体動的着装モデル推定装置を、処理器９０１に接続されるチップとして構成し、処理器９０１の制御により該３次元人体動的着装モデル推定装置の機能を実現しても良い。

【0056】

なお、本実施例における電子機器９００は図９に示す全部の部品を含む必要がない。

【0057】

図９に示すように、処理器９０１は制御器又は操作コントロールと称される場合があり、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでも良く、処理器９０１は入力を受信し、電子機器９００の各部品の操作を制御できる。

【0058】

該記憶器９０２は例えば、バッファ、フレッシュメモリ、ＨＤＤ、可移動媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの１つ又は複数であっても良い。また、該処理器９０１は該記憶器９０２に記憶されているプログラムを実行して情報の記憶や処理などを実現できる。なお、他の部品の機能は従来と同様であり、ここではその詳しい説明を省略する。また、電子機器９００の各部品は専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されて良いが、そのすべては本発明の範囲に属する。

【0059】

上述の実施例から分かるように、人体表面を暗黙的に表し、かつ人体骨骼を含むパラメータ化モデル即ち第二モデルを先験的モデルとして使用する第一モデルを利用することで、２次元人体画像に基づいて、人体表面細部を表現する３次元人体静的着装モデル及び該３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力でき、また、出力された該第二モデルのパラメータに基づいて第二モデルにおける人体骨骼位置に対して調整を行い、第一モデルが第二モデルを先験的モデルとしてそのパラメータを出力するため、直接、人体骨骼位置を調整した第二モデルと、上述の３次元人体静的着装モデルと、を重ね合わせ、第二モデルにおける骨骼を上述の３次元人体静的着装モデルにバインドすることで、マッチ度が非常に高い、人体骨骼が組み立てられた３次元静的着装モデルを取得でき、これによって、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び該人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得できる。よって、３次元スキャン装置が必要にあらず、処理プロセス全体がシンプルであり、かつ、高精度な３次元人体動的着装モデルを簡単かつ低コストで構築できる。