特許 7370527 衣服の３次元モデルデータを生成するための方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-20

(45)【発行日】2023-10-30

(54)【発明の名称】衣服の３次元モデルデータを生成するための方法およびコンピュータプログラム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20231023BHJP

【ＦＩ】

G06T19/20

【請求項の数】 16

(21)【出願番号】P 2022504554

(86)(22)【出願日】2020-07-28

(65)【公表番号】

(43)【公表日】2022-10-05

(86)【国際出願番号】 EP2020071280

(87)【国際公開番号】W WO2021018894

(87)【国際公開日】2021-02-04

【審査請求日】2022-03-16

(31)【優先権主張番号】19189134.0

(32)【優先日】2019-07-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】522029763

【氏名又は名称】リアクティブ リアリティ アクチエンゲゼルシヤフト

【氏名又は名称原語表記】ＲＥＡＣＴＩＶＥ ＲＥＡＬＩＴＹ ＡＧ

【住所又は居所原語表記】Ｗａｌｔｅｎｄｏｒｆｅｒ Ｈａｕｐｔｓｔｒａｓｓｅ ３２ａ， Ｇｒａｚ， Ａｕｓｔｒｉａ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ハウスヴィースナー シュテファン

(72)【発明者】

【氏名】グラスマグ フィリップ

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０００－３３１０５８（ＪＰ，Ａ）

【文献】特開平１１－２９６５７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１９７３３１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００ － １９／２０

Ｇ０６Ｆ ３０／００ － ３０／２８

(57)【特許請求の範囲】

【請求項1】

ターゲット衣服サイズを有する衣服の３次元モデルデータを生成するためのコンピュータにより実施される方法であって、
コンピュータシステムにおいて、ベース衣服サイズに関連付けられ、中間ジオメトリデータと、前記中間ジオメトリデータに関連付けられた複数の要素を有する少なくとも１つの中間テクスチャマップとを含む、前記衣服の中間モデルデータを記憶することと、
前記コンピュータシステムにおいて、前記中間テクスチャマップの各要素を、前記衣服のセグメントであって、各セグメントが関連するサイズ変更ルールを有する前記セグメントのセットのそれぞれの１つに関連付けるラベルマップを生成するための前記中間テクスチャマップのセマンティックセグメンテーションを実行することと、
前記コンピュータシステムにおいて、前記ラベルマップ、前記セグメントに関連付けられた前記サイズ変更ルール、前記衣服に関連付けられた身体モデル、および、前記ベース衣服サイズと前記ターゲット衣服サイズとの間の複数のスケーリング要因であって、特に、それぞれの前記スケーリング要因が前記身体モデルのそれぞれの部分に関連付けられている２以上の前記スケーリング要因のセットに基づいて前記中間ジオメトリデータをサイズ変更することによって、前記衣服のモデルデータのためのジオメトリデータを生成することと、
前記コンピュータシステムにおいて、前期中間テクスチャマップ、前記ラベルマップ、前記セグメントに関連付けられた前記サイズ変更ルール、および前記スケーリング要因の前記セットに基づいて、前記衣服のモデルデータのためのテクスチャマップを生成することと、
を含む、方法。

【請求項2】

前記中間テクスチャマップの前記セマンティックセグメンテーションは、前記中間テクスチャマップの前記複数の要素と前記中間ジオメトリデータとの関連付けにさらに基づいて実行される、
請求項１に記載の方法。

【請求項3】

前記身体モデルは、前記身体モデルのそれぞれの部分と前記中間ジオメトリデータのそれぞれの部分との間の関連付けを定義する情報をさらに含む、
請求項１または２に記載の方法。

【請求項4】

前記ジオメトリデータを生成することは、前記サイズ変更ルールに基づいて、前記身体モデルによって定義されるように、前記中間ジオメトリデータのそれぞれの部分をスケーリングまたは反復することによって、前記中間ジオメトリデータをサイズ変更することを含む、
請求項３に記載の方法。

【請求項5】

前記テクスチャマップを生成することは、前記サイズ変更ルールに基づいて、前記中間テクスチャマップのパターンをスケーリング、反復、または切断することによって、前記中間テクスチャマップをサイズ変更することを含む、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記テクスチャマップを生成することは、
照明マップおよび色マップを提供するために、前記中間テクスチャマップの照明情報を前記中間テクスチャマップの色情報から分離することと、
前記色マップをサイズ変更することと、
前記テクスチャマップを提供するために、前記照明マップをサイズ変更された前記色マップに適用することと、
を含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記分離することは、前記中間モデルデータに関連付けられた布地パッチまたは材料パッチの画像に基づく、
請求項６に記載の方法。

【請求項8】

前記中間テクスチャマップに基づいて透明度マップを生成することをさらに含み、
前記透明度マップを生成することは、
前記中間テクスチャマップの各要素について、前記中間テクスチャマップに基づいて背景色を決定することと、
前記中間テクスチャマップの各要素を、前記要素の透明度値を決定するための前記要素のそれぞれの背景色と比較することと、
前記中間テクスチャマップの各要素について、前記要素のそれぞれの前記透明度値に基づいて、前記要素の前記背景色を前記要素のそれぞれの前景色から減算することと、
を含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記身体モデルは、
前記中間モデルデータと共に、前記中間モデルデータに対応するように記憶される、または、
前記中間ジオメトリデータに標準身体モデルを位置合わせおよび／またはマッピングすることによって生成される、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

複数の視角からの前記衣服を示す画像のセットに基づいて前記中間モデルデータを生成および記憶することをさらに含み、
前記中間モデルデータを生成することは、前記中間テクスチャマップを生成するための前記中間ジオメトリデータおよびテクスチャマッピングを生成するための３Ｄ再構成を含み、
前記画像は、マネキンまたは人に着用されている前記衣服の写真、着用状態の前記衣服のＣＡＤモデルのレンダリングされた画像のうちの１つである、
請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記中間モデルデータを生成することは、さらに、複数の視角からの前記衣服を示すさらなる画像のセットに基づいており、前記さらなる画像のセットの前記画像は、前記衣服の表面に、追加された視覚的に特有の特徴、特に、仮想的または現実的なパターン、および／またはステッカー、および／またはテープを有する前記衣服を示している、
請求項１０に記載の方法。

【請求項12】

前記中間モデルデータを生成することは、
前記さらなる画像のセットに基づいて３Ｄ再構成を実行することによって補助ジオメトリデータを生成することと、
前記中間ジオメトリデータを前記補助ジオメトリデータに位置合わせすることによって、前記中間テクスチャマップを前記補助ジオメトリデータに位置合わせすることと、
を含む、請求項１１に記載の方法。

【請求項13】

前記画像は写真であり、
前記中間モデルデータを生成することは、特に、１つまたは複数のパッシブまたはアクティプな奥行きセンサで記録された、前記衣服の表面の奥行き情報にさらに基づく、
請求項１０から１２のいずれか一項に記載の方法。

【請求項14】

前記画像はレンダリングされた画像であり、
前記３Ｄ再構成の処理を容易にするために、前記レンダリングされた画像をレンダリングすることは、
前記ＣＡＤモデルの最前面層のみをレンダリングすること、
部分的または完全に不透明になるように前記衣服の材料を変更すること、
前記衣服の透明性を考慮せずにレンダリングすること、
部分的または完全に前記衣服の透明性を無視してレンダリングすること、
拡散、均一、および明るい仮想的な照明を使用すること、
異方性材料や光沢材料を前記衣服の拡散させる材料に置き換えること、
前記衣服の材料特性をレンダリングして画像チャネルを分離し、それらを使用して前記中間モデルを作成すること、
のうちの少なくとも１つを含む、請求項１０から１３のいずれか一項に記載の方法。

【請求項15】

前記画像はレンダリングされた画像であり、
前記中間モデルデータを生成することは、
前記画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている輝度情報、
前記画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている透明度情報、
前記画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている視界依存材料特性、
特に前記ＣＡＤモデルの頂点および／または法線である、前記衣服の前記ＣＡＤモデルからのジオメトリ情報、
前記画像をレンダリングするために使用されるカメラ投影行列、
のうちの少なくとも１つにさらに基づく、
請求項１０から１４のいずれか一項に記載の方法。

【請求項16】

ターゲット衣服サイズを有する衣服の３次元モデルデータを生成するためのコンピュータプログラムであって、コンピュータシステムに請求項１から１５のいずれか一項に記載の方法を実行することを可能とさせるコンピュータプログラム命令を含む、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、衣服の３次元、３Ｄモデルデータを生成するためにコンピュータにより実行される方法およびコンピュータプログラム製品に関する。

【背景技術】

【0002】

視覚化とフィットシミュレーションのために衣服の３Ｄモデルを作成することは、手動モデリングや衣服のＣＡＤモデルの変換など、さまざまな方法で行うことができる。オンライン小売業者は通常、非常に多数のアイテムを有しており、製品範囲は頻繁に変化する。したがって、手動モデリングは合理的なアプローチではない。衣服の設計および製造に通常使用されるＣＡＤモデルは、専用ソフトウェアを使用して３Ｄモデルに変換することができる。しかしながら、例えばジオメトリックプリミティブカウント（geometric primitive count）のように通常は非常に詳細レベルが高いため、かつ、例えば分断されたパーツのように位相幾何学的品質が劣るため、結果として得られるモデルは、リアルタイムの可視化やシミュレーションには適さない。さらに、ＣＡＤモデルは製造プロセスのために、最終製品に完全に対応しないことが多い。製造時には、ある種の修正を行わなければならず、ファブリックの属性が結果の外観および形状に影響を及ぼす。これらの変化は、元のＣＡＤモデルによっては、反映されない。

【発明の概要】

【0003】

さらに、従来の解決策では、１つの衣服の１つの３Ｄモデルについて、１つのサイズのみが一度に生成される。異なるサイズの３Ｄモデルが必要とされる場合、それらの全ては別々に生成されなければならない。小売業者は、この経費を回避する要望を有する。達成されるべき目的は、様々なサイズの衣服の３次元モデルデータの生成を可能とする、改善されたモデリング概念を提供することである。

【0004】

この目的は、独立請求項の主題によって達成される。実施形態および発展形態は、従属請求項に由来する。

【0005】

改善されたモデリング概念は、衣服が一様にスケーリングされないという洞察に基づいている。これは、例えば、サイズがＭサイズからＬサイズになるとき、衣服の異なる部分のスケール要因が異なることを意味する。例えば、衣服の袖の長さのスケール要因は、袖の周囲のスケール要因とは異なる。製造目的のために、衣服スケーリングの仕方は、等級付けテーブルによって記述される。このテーブルは、異なるパーツがサイズごとにどのようにスケーリングするかを記述する。改善されたモデリング概念によれば、この情報は、とりわけ、１つまたは複数の所望のサイズのためのモデルのジオメトリを調整するために使用される。

【0006】

この目的のために、異なるサイズのモデルデータが、衣服の単一の３Ｄモデルおよび衣服の等級付けテーブルからアルゴリズム的に生成される。これは、例えば、衣服の様々なセグメントを決定するために、衣服の中間モデルデータのセマンティックセグメンテーション（Semantic Segmentation）を実行することを含む。そして、この情報は、衣服のジオメトリデータ（例えばメッシュなど）と、衣服の可視テクスチャに関する情報を伝える関連テクスチャマップとを別々にスケーリングするために使用される。このプロセスでは、衣服に関連付けられた身体モデルも使用され、例えば、ジオメトリおよび／またはテクスチャマップのどの部分が衣服を着用した状態の身体のどの部分に対応するかについての情報を提供する。

【0007】

例えば、衣服のテクスチャ（例えば、クロス、ファブリック、およびプリントを表すもの）も、一様にはスケーリングされず、むしろ通常は反復される。したがって、使用されたファブリックの知識を用いて、この挙動をシミュレートすることができる。ボタンまたはポケットのような要素もまた、通常、スケーリングしない、または縫い目またはジッパーが一方向にスケーリングするように、特定の制約の下でのみスケーリングする。衣服上のプリントは、通常、ファブリックのパターンとは独立してスケールする。基本となるロジックは、通常、一組のグローバルルールでは記述できない。ある程度、衣服の等級付けは、デザイナーおよび製造要件の創造的自由に依存する。したがって、改良されたモデリング概念はこれらの設計選択を反映するために、各要素またはセグメントに対するスケーリング挙動を独立に修正する方法を提供する。

【0008】

中間モデルデータは外部から提供されてもよく、例えば、従来の方法で生成されてもよい。しかしながら、改良されたモデリング概念によれば、中間モデルデータは、３次元再構成を用いて、複数の視角から衣服を示す画像のセットに基づいて生成されてもよい。画像は、マネキンまたは人に着用されている衣服の写真、または、着用状態にある衣服のＣＡＤモデルのレンダリングされた画像であってもよい。

【0009】

改善されたモデリング概念の一実施形態によれば、例えば、ターゲット衣服サイズを有する衣服の３次元モデルデータを生成するためにコンピュータにより実行される方法は、例えばコンピュータシステムにおいて、衣服の中間モデルデータを記憶することを含み、中間モデルデータは、ベース衣服サイズに関連付けられており、中間ジオメトリデータと、中間ジオメトリデータに関連付けられた複数の要素を有する少なくとも１つの中間テクスチャマップとを含む。例えば、中間ジオメトリデータは、表面点であってもよく、衣服の３Ｄジオメトリを決定する３Ｄ点のリストを含む。いくつかの実装では、３Ｄ点がメッシュ構造を定義することができるが、３Ｄ表面を記述する他の実装形態は除外されない。中間テクスチャマップは、複数の要素を含む２次元テクスチャの形式であってもよい。例えば、要素はテクセルを表すことができる。各要素は、中間ジオメトリデータの３Ｄ点のうちの１つに関連付けられた座標の対（例えばＵＶ座標）によって定義することができる。

【0010】

この方法にしたがって、中間テクスチャマップのセマンティックセグメンテーションが例えば、ラベルマップを生成するために、コンピュータシステムにおいて実行される。ラベルマップは、中間テクスチャマップの各要素を衣服のセグメントのセットのそれぞれの１つに関連付ける。各セグメントには、サイズ変更ルールが関連付けられている。さらに、衣服のモデルデータのジオメトリデータは、例えばコンピュータシステムにおいて、ラベルマップ、セグメントに関連付けられたサイズ変更ルール、衣服に関連する身体モデル、および、ベース衣服サイズとターゲット衣服サイズとの間の複数のスケーリング要因のセットに基づいて、中間ジオメトリデータをサイズ変更することによって生成される。スケーリング要因の各々は、身体モデルのそれぞれの部分に関連付けられている。例えば、スケーリング要因のセットは、例えば身体モデルのいくつかの部分に対応する、２つ以上のスケーリング要因を含む。

【0011】

さらに、衣服のモデルデータのテクスチャマップは、例えばコンピュータシステムにおいて、中間テクスチャマップ、ラベルマップ、セグメントに関連付けられたサイズ変更ルール、およびスケーリング要因のセットに基づいて、生成される。

【0012】

いくつかの実装では、中間テクスチャマップのセマンティックセグメンテーションは、中間テクスチャマップの複数の要素と中間ジオメトリデータとの関連付けにさらに基づいて実行される。

【0013】

本方法によって生成されたモデルデータは中間モデルデータと同じまたは少なくとも同様のフォーマット、すなわち、ジオメトリデータと、例えば２Ｄ構造に構造化されたそれぞれのテクスチャ要素とによって構成される３Ｄ点のセットを有し、各要素は、例えばそれぞれのＵＶ座標によって、３Ｄ点のうちの少なくとも１つに関連付けられている。

【0014】

例えば、セマンティックセグメンテーションは、機械学習アルゴリズムを使用して実行される。例えば、このプロセスによって生成されるラベルマップは、中間テクスチャマップのどの要素が衣服のどのセマンティック領域に属するか、またはそのような割り当ての尤度を記述する。例えば、この処理において、セマンティックな意味を、衣服の襟、継ぎ目、ボタンなどに属するそれぞれの要素（例えば、テクセル（texel））に割り当てる。いくつかの実装形態では、同じアルゴリズムが、除去のため、例えば中間モデルデータの以前の生成の結果としての、中間テクスチャマップの一部である、背景テクセルおよび／またはマネキンテクセルにラベル付けを行うことができる。例えば、ラベルマップは、特に各要素を衣服の特定のセグメントに割り当てることによって、中間テクスチャマップの各要素に挙動ルールを割り当てる。ラベルマップは中間テクスチャマップと同じフォーマットを有してもよく、したがって、各要素のそれぞれのセマンティックミーニングは、中間ジオメトリデータ（例えばテクスチャマップ内のそれぞれのＵＶ座標を介した３Ｄ表面または３Ｄ点）に容易に転送される。

【0015】

例えば、身体モデルは、身体モデルのそれぞれの部分と中間ジオメトリデータのそれぞれの部分との間の関連付けを定義する情報をさらに含む。ジオメトリデータを生成することは、サイズ変更ルールに基づく身体モデルによって定義された中間ジオメトリデータのそれぞれの部分をスケーリングまたは反復することによる、中間ジオメトリデータのサイズ変更を含んでもよい。

【0016】

スケーリング要因に基づいて衣服のジオメトリデータおよびテクスチャマップをスケーリングすることは技術的に正しいかもしれないが、あらゆるタイプの衣服に対して衣服の製造中に何が起こるかを反映ししていない。例えば、ボタンおよびポケットのような要素は通常、スケーリングせず、ジッパーまたは縫い目のような要素は特定の方向にのみスケーリングする。さらに、実際には、ファブリックは通常、引き伸ばすことによってはスケーリングされず、むしろ、より多くのファブリックが使用される。これは、技術的には材料を反復することに対応する。したがって、サイズ変更ルールは、衣服のモデルデータを生成するときに、衣服の異なるセグメントがどのようにスケーリングするかを定義する。例えば、サイズ変更ルールは、衣服の特定のセグメントが以下のうちの１つにしたがってサイズ変更されるかどうかを決定してもよい：
・特にあらゆる方向においてスケーリングすること；
・特にジオメトリ構造および／またはテクスチャを反復することによって反復すること；
・制約を伴って反復すること、なお、反復は例えば一方向でのみ実行され、スケーリングは別の方向で防止または制限される；または、
・例えばボタンなど、サイズ変更不可能な要素のために、サイズを変更しないこと。

【0017】

いくつかの実装では、テクスチャマップを生成することは、サイズ変更ルールに基づいて中間テクスチャマップのパターンをスケーリングする、反復する、または切断することによって、中間テクスチャマップをサイズ変更することを含む。このため、セグメント毎にテクスチャを生成する適切な方法を個別に選択することができる。

【0018】

いくつかの実装では、テクスチャマップを生成することは、照明マップおよび色マップを生成するために、中間テクスチャマップの照明情報を中間テクスチャマップの色情報から分離することを含む。そして、色マップはサイズ変更され、照明マップはテクスチャマップを生成するためにサイズ変更された色マップに適用される。このような分離アプローチでは、テクスチャマップは、例えば、ジオメトリにおけるしわ、凹部、凸部などによって生じるライティングおよび／またはシェーディング効果を不正確に扱うことなく、サイズ変更することができる。したがって、ターゲット衣服サイズにおけるテクスチャマップのより現実的なテクスチャを達成することができる。

【0019】

このプロセスは、テクスチャに関する情報を別々に提供することによってさらにサポートされうる。例えば、分離することは、中間モデルデータに関連付けられたファブリックパッチまたは材料パッチの画像に基づく。例えば、ファブリックパッチおよび／または材料パッチは白色、拡散、かつ均質な照明条件下でキャプチャされてもよく、これはシェーディング情報を含むテクスチャマップのテクスチャと、一様に照明されたファブリックサンプルまたは材料サンプルとの差分を計算することを可能にする。

【0020】

いくつかの実装では、テクスチャのアルファマッティング（alpha matting）も使用することができる。例えば、本方法は中間テクスチャマップと、任意選択でラベルマップとに基づいて透明度マップを生成することをさらに含み、透明度マップを生成することは、中間テクスチャマップの各要素について、中間テクスチャマップに基づく背景色を決定することと、要素の透明度値を決定するために、中間テクスチャマップの各要素を要素のそれぞれの背景色と比較することと、要素のそれぞれの透明度値に基づいて、要素のそれぞれの前景色から要素の背景色を減算することと、を含む。透明度マップは、例えば同じアルゴリズムによって、ターゲット衣服サイズのテクスチャマップと同じサイズにすることができる。したがって、透明度マップは、テクスチャマップと同じジオメトリデータへの関連付けを有する。透明度マップは複雑な衣服をレンダリングすることの現実的な効果を、特に、縞、レースなどのような透明または複雑な輪郭において増大させることを可能にする。

【0021】

本方法の様々な実装では、身体モデルは、中間モデルデータとともに記憶され、かつ、中間モデルデータに対応する、または、標準的な身体モデルを中間ジオメトリデータに位置合わせおよび／またはマッピングすることによって生成される。

【0022】

身体モデルが中間モデルデータと共に記憶される場合、例えば、中間ジオメトリデータの３Ｄ点を、身体モデルによって定義される基礎的マネキンのリグ（rig）に割り当てることができる。このような割り当てのプロセスは、「スキンニング（skinning）」または「リギング（rigging）」と呼ばれうる。例えば、スキンニングプロセスは、「頂点」とも呼ぶことができる３Ｄ点を、特定の重みを有するリグのそれぞれの骨に割り当てる。この割り当ては、身体モデルによって定義された骨格または骨にそれぞれのスケーリング要因の情報を適用するときに、中間ジオメトリデータのそれぞれの部分をスケーリングまたは反復するために使用されうる。そのような実装では、身体モデルがリギングされたマネキンモデルであってもよい。身体モデルはまた、マネキン、リグなどに対応するＣＡＤモデルからエクスポートされたフィット情報を含んでもよく、フィット情報は、中間モデルデータの生成中に使用されていてもよい。

【0023】

中間モデルデータとともに身体モデルが記憶されていない場合、身体モデルを生成するために、骨格およびリグ情報が自動的に計算されうる。例えば、モデルの骨格およびリグを計算するための自動化された方法は、人間の形状のモデルで最もよく機能する。いくつかのタイプの衣服、例えばスカートまたはチューブトップなどでは、対応するリギングアルゴリズムの機械学習方法によって、人間型の形状を認識することが困難である。いくつかの実装によれば、標準的な身体モデルが中間モデルデータとともに入力として使用され、これによってロバストな自動化されたリギングが可能となる。例えば、人間型の形状は標準的な身体モデルの結果として与えられ、マネキン上の衣服の相対的な位置はその全体的なフィット性を記述する。サイズ変更ルールは、スケーリング要因とサイズ変更後の骨格の修正との間のマッピングを定義してもよい。

【0024】

例えば、修正は粗い修正から開始され、細かい修正で終了する。例えば、シャツの場合、最初に、所望の肩幅が、全体的なスケーリングにより確定される。そして、高さがスケーリングされ、正しい胴体長さを達成する。その後、奥行きがスケーリングされ、正しい腰周りが達成され、続いてリグを使用して腕がスケーリングされる。同様のサイズ変更ルールは、他の種類の衣服それぞれについて発見される。

【0025】

前の実施形態では、中間モデルデータが衣服のいわゆる最終的な３次元モデルデータを生成するための開始点として既に利用可能である、と仮定されていた。しかしながら、本方法のいくつかの実装では、中間モデルデータが複数の視角から衣服を示す画像のセットに基づいて生成され、記憶される。この目的のために、中間モデルデータを生成することは、中間ジオメトリデータを生成するための３Ｄ再構成と、中間テクスチャマップを生成するためのテクスチャマッピングとを含む。画像は、マネキンに着せられている衣服の写真、または着用状態の衣服のＣＡＤモデルの人物またはレンダリングされた画像のうちの１つとなりうる。

【0026】

写真は例えば、３６０°をカバーする写真のセットが利用可能となるように、例えばターンテーブル上のマネキンに着せられた衣服の製品写真を通してキャプチャされうる。さらに、水平または基本的に水平な向きの写真を撮ることができるだけでなく、衣服の種類に応じて、水平面に対して異なる視角、すなわち正および負の視角からも撮ることができる。自由に言えば、画像のセットは３Ｄ再構成およびテクスチャマッピングのための良好な基礎を持たせるために、全ての側から衣服を示すべきである。

【0027】

画像が衣服のＣＡＤモデルのレンダリングされた画像である場合にも、同様のアプローチをとることができる。両方の場合において、製品、すなわち衣服は現実のカメラまたは仮想カメラの前で回転され、またはその逆であり、可能な限り多くの視角で画像をキャプチャするために異なる高さで移動される。

【0028】

いくつかの実装では、中間モデルデータを生成することは複数の視角から衣服を示すさらなる画像セットにさらに基づいており、さらなる画像セットの画像は衣服の表面に、追加された視覚的に特有の特徴、例えば、特に、仮想的または現実的なパターン、および／またはステッカー、および／またはテープを有する衣服を示している。

【0029】

例えば、３Ｄ再構成は通常、いくつかの画像にわたる画像の特徴を識別するために、滑らかな表面ではなく、テクスチャ化された表面を仮定する。単色の、滑らかな、大きな表面は、理想的な結果を提供しない場合がある。したがって、画像のさらなるセットについて、それぞれの表面は視覚的に特有の特徴を追加することによって修正され、これにより信頼性のある３Ｄ再構成が可能となる。中間ジオメトリデータを生成するために、オリジナルの画像のセットから得られる３Ｄモデル、および、さらなる画像のセットから得られる３Ｄモデルは、例えば反復的な最接近点アルゴリズムを介して、位置合わせされる。そして、さらなる画像セットから得られた３Ｄジオメトリデータは、オリジナルの画像セットにテクスチャマッピングされ、オリジナルの画像セットは、メッシュアライメントまたは同様の手順を通じて同じ座標系にもたらされてもよい。その結果、両方の画像セットのうちの最良のもの、すなわち、修正されたさらなる画像セットからの良好なジオメトリ、および修正されていない画像セットからのオリジナルの衣服外観が使用される。

【0030】

本方法のいくつかの実装では、画像は写真であって、中間モデルデータを生成することは、例えば、１つまたは複数のパッシブまたはアクティブな奥行きセンサで記録された、衣服の表面の奥行き情報にさらに基づく。そのような奥行きセンサは、構造化された光センサまたはＴＯＦ（Time Of Flight）センサ、ＬＩＤＡＲなどを含むことができる。３Ｄ再構成およびテクスチャマッピングは、標準的な写真測量法を使用してもよい。画像が描画されるいくつかの実装では、３Ｄ再構成プロセスを容易にするため、レンダリングされた画像をレンダリングすることは、以下の少なくとも１つを含む：
・ＣＡＤモデルの最前面層のみをレンダリングすること；
・部分的または完全に不透明になるように衣服の材料を変更すること；
・衣服の透明性を考慮せずにレンダリングすること；
・部分的または完全に衣服の透明性を無視してレンダリングすること；
・拡散、均一、および明るい仮想的な照明を使用すること；
・異方性材料や光沢材料を衣服の拡散させる材料に置き換えること；
・衣服の材料特性をレンダリングして画像チャネルを分離し、それらを使用して中間モデルを作成すること。

【0031】

画像がレンダリングされた画像である本方法のいくつかの実装では、中間モデルデータの生成は、さらに以下のうちの少なくとも１つに基づく：
・画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている輝度情報、
・画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている透明度情報、
・画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている視界依存材料特性、
・特にＣＡＤモデルの頂点および／または法線である、衣服のＣＡＤモデルからのジオメトリ情報、
・画像をレンダリングするために使用されるカメラ投影行列。

【0032】

改善されたモデリング概念の一実施形態によれば、ターゲット衣服サイズを有する衣服の３次元モデルデータを生成するためのコンピュータプログラム製品は、非一時的なコンピュータ可読記憶媒体と、コンピュータシステムが、上述の実装の１つによる方法を実行することを可能とする、記憶されたコンピュータプログラム命令とを含む。

【0033】

さらに、コンピュータシステムはプロセッサと、その中に記憶されたコンピュータプログラム命令を有する記憶媒体とを有することができ、プロセッサは、上述の実装の１つによる方法を実行することができる。

【0034】

改良されたモデリング概念は、図面を用いて以下により詳細に説明される。同一または類似の機能を有する素子および機能ブロックは、図面を通して同一の参照番号を有する。したがって、以下の図面において、それらの説明は必ずしも繰り返されない。

【図面の簡単な説明】

【0035】

【図1】衣服の３次元モデルデータを生成する方法の例示的なブロック図を示す

【図2】異なるセグメントを有する衣服の例を示す

【図3】関連付けられた衣服を有する等級付けテーブルの一例を示す

【図4】身体モデル上の衣服の一例を示す

【図5】テクスチャ合成プロセスのブロック図の一例を示す

【図6】サイズ変更の例を示す

【図7】色情報と照明情報の分離の例を示す

【図8】テクスチャマップの例を示す

【図9】衣服の３次元モデルデータの適用例を示す

【図10】中間モデルデータを生成するプロセスの例示的なブロック図を示す

【図11】カメラの構成例を示す

【図12】衣服の３Ｄモデルデータの出願の例示的なブロック図を示す

【図13】改善されたモデリング概念にしたがって出力画像を生成するための例示的なシステムを示す

【発明を実施するための形態】

【0036】

図１は、ターゲット衣服サイズを有する衣服の３次元モデルデータを生成するための方法の例示的なブロック図を示す。この方法は、特に、様々な種類の情報を記憶し、処理することができるコンピュータシステム上で実行される。以下において、Ｄから始まり、数字が続く参照番号はコンピュータシステムに記憶されたデータ構造を指し、ＳまたはＧから始まり、数字が続く参照番号は、コンピュータシステムによって実行されるプロセスステップを指す。

【0037】

例えば、中間モデルデータＤ１０は、中間ジオメトリデータＤ１１および１つまたは複数の中間テクスチャマップＤ１２を含むコンピュータシステムに記憶される。各中間テクスチャマップは、中間ジオメトリデータＤ１１に関連付けられた複数の要素を有する。中間モデルデータＤ１０は３Ｄモデルを表し、中間ジオメトリデータＤ１１は例えば、３Ｄ点または面点のリストを用いて、３Ｄモデルの頂点、面、または法線のようなジオメトリ情報を記述し、中間テクスチャマップＤ１２は、例えば２次元以上の画像の形式の３Ｄモデルのテクスチャ情報に対応する。例えば、テクスチャマップ内の各ピクセルは「テクセル」と呼ばれる。例えば、ピクセルまたはテクセルは、テクスチャマップＤ１２の要素である。

【0038】

中間テクスチャマップＤ１２の要素と中間ジオメトリデータＤ１１との間の関連付けは、例えば、中間ジオメトリデータの各頂点が、「ＵＶ座標」と呼ばれる、各テクスチャマップのための追加の画像座標のセットを取得することで実施される。したがって、中間テクスチャマップＤ１２は、中間ジオメトリデータＤ１１によって定義されるジオメトリにマッピングされる。中間モデルデータＤ１０は、ベース衣服サイズに関連付けられている。したがって、中間モデルデータＤ１０によって表される衣服の実際の寸法は既知である。

【0039】

ステップＳ１０において、ラベルマップＤ２０を生成するために、中間テクスチャマップＤ１２のセマンティックセグメンテーションが実行される。ラベルマップＤ２０は、中間テクスチャマップＤ１２の各要素（例えば、テクセル）を、衣服のセグメントのセットのそれぞれの１つに関連付ける。各セグメントは、サイズ変更ルールＤ３０に含まれる、関連付けられたサイズ変更ルールを有する。いくつかの実装では、中間テクスチャマップＤ１２のセマンティックセグメンテーションＳ１０は、中間ジオメトリデータＤ１１、例えば、中間テクスチャマップＤ１２の要素と中間ジオメトリデータＤ１１との関連付けにさらに基づいて、実行される。ラベルマップＤ２０は、例えば中間テクスチャマップＤ１２のどのピクセルがどのセマンティック領域に割り当てられるかを記述する、またはそのような割り当ての尤度（likelihood）を記述する画像である。

【0040】

このステップＳ１０では、衣服の中間ジオメトリデータＤ１１および中間テクスチャマップＤ１２の形式のそのテクスチャ、または中間テクスチャマップＤ１２のみが、テクスチャマップの各要素、例えば各テクセルにセマンティックミーニングを割り当てる機械学習アルゴリズムに入力される。例えば、セマンティックミーニングは、２、３例を挙げると、襟、縫い目、ボタン、袖のように、それぞれの要素が衣服のどの部分に属するかを定義する。このステップＳ１０では、同じまたは類似のアルゴリズムを用いて、背景テクセルおよび／またはマネキンテクセルに関連する中間テクスチャマップの要素が、除去のためにラベル付けされうる。マネキンテクセルは、例えば中間モデルデータＤ１０を生成するためにマネキンが使用され、例えばマネキンが衣服の完全に不透明でない部分を通して可視である場合に現れうる。

【0041】

したがって、ラベルマップＤ２０は、セグメンテーションを通じて各テクセルに挙動ルールを割り当てる衣服に作成される。人間のオペレータがラベルマップＤ２０を手動で調整して、潜在的な誤分類を訂正するか、またはルールを調整することは可能であるが、必須ではない。図２を参照すると、衣服、ここではシャツのセグメント化の例が示されている。例えば、シャツのモデルの中間テクスチャマップＤ１２は、数例を挙げると、袖２１、襟２２、袖口２３、ボタンストリップ２４、ボタン２５、および縫い目２６のセグメントについてラベル付けされている。識別された各セグメントまたは識別されたセグメントのそれぞれの要素は、例えばセグメントのタイプに応じて、サイズ変更ルールＤ３０のうちの１つに関連付けられる。例えば、襟２２、袖口２３、およびボタン２５は、衣服の異なるサイズに合わせたスケーリングをしない。ボタンストリップ２４は、通常垂直方向にのみスケーリングし、縫い目２６は、水平方向にのみスケーリングする。さらに、例えば、衣服の平坦な部分と比較して異なってスケーリングする、識別されたしわに対しては、より複雑なルールが適用されてもよい。さらに、ルールは、特にテクスチャに関して、セグメントが実際にスケーリングするか、または衣服のそれぞれの部分を切断または反復することによってサイズ変更できるかどうかを定義してもよい。例えば、いくつかのセグメントは、限定された方向にのみ反復されてもよく、したがって、いくつかの制約を伴う。

【0042】

サイズ変更ルールＤ３０の適用のさらなる例は、以下のジオメトリサイズ決定ステップＳ２０およびテクスチャ合成ステップＳ３０の説明に関連して与えられる。

【0043】

ステップＳ２０では、衣服のターゲット３ＤモデルデータＤ６０のジオメトリデータＤ６１を生成するために、ジオメトリのサイズ決定が実行される。このステップは、ラベルマップＤ２０、セグメントに関連付けられたサイズ変更ルールＤ３０、衣服に関連付けられた身体モデルＤ５０、およびベース衣服サイズとターゲット衣服サイズとの間の複数のスケーリング要因Ｄ４０のセット、例えば２つ以上のスケーリング要因に基づいて、中間ジオメトリデータＤ１１をサイズ変更することで行われる。ここで、スケーリング要因Ｄ４０のそれぞれは、身体モデルＤ５０のそれぞれの部分に関連付けられる。

【0044】

３ＤモデルデータＤ６０は中間モデルデータＤ１０と同じ、または少なくとも同様の構造を有し、すなわち、ジオメトリデータＤ６１は衣服の３Ｄジオメトリを表す３Ｄ点または表面点のリストを表し、一方、テクスチャマップＤ６２は、ジオメトリデータＤ６１のそれぞれの３Ｄ点に関連付けられたテクセルのようなそれぞれの要素を有する２次元以上の画像によって表される衣服のテクスチャを表す。

【0045】

中間ジオメトリデータをスケーリングするための基礎はターゲット衣服サイズに関連付けられており、例えば、衣服の部分のための等級付けテーブルの少なくとも一部を表しているスケーリング要因Ｄ４０である。図３を参照すると、シャツのための例示的な等級付けテーブルが示されている。この表は、胸周り、ウエスト周り、ヒップ周り、二頭筋周、背中の幅、背中の長さ、袖の長さなどの様々な要素が衣服の１つのサイズから次のサイズまでどのようにスケーリングするかを記述する。例えば、等級付けテーブルの各欄には、サイズが異なる実測値が定められている。したがって、スケーリング要因Ｄ４０は、中間モデルデータのベース衣服サイズとターゲット３Ｄモデルデータのターゲット衣服サイズとの間の比を考慮に入れる。

【0046】

説明を容易にするために、図３は、それぞれの行の値と実際の衣服との間のそれぞれの関連付けを示す例示的なシャツの正面図および背面図も含む。

【0047】

図１に戻ると、ジオメトリのサイズ決定ステップＳ２０においてスケーリング情報を適用するために、衣服の別個の領域またはセグメントのセマンティックな知識が利用可能である。例えば、このようなセマンティックな知識は、衣服の幾何学的形状と実際の身体部分との関連付けを含む。このような情報は例えば、衣服の３Ｄ表面の頂点を、ジオメトリデータＤ１１によって定義される、衣服の下にあるマネキンのリグに割り当てることによって抽出することができる。このようなプロセスは、「スキンニング」と呼ばれうる。お福の下にあるマネキン、すなわち衣服を着せられたマネキンのリグに関する情報は例えば、身体モデルＤ５０において定義される。したがって、身体モデルは、衣服の各部分が身体のどの部分に着用されているかに関する情報を提供する。例えば、この情報は、体内の骨または骨格の位置に関する情報も含む。

【0048】

いわゆるスキンニングプロセスは、特定の重量を有するリグの骨に頂点を割り当てることができ、この特定の重量は、例えば図４の概略図に示されている。図４は、連結された小球によって示される身体モデルのリグ、さらに、リグ上に着用される衣服の一例としてのシャツを示す。ジオメトリデータの頂点に割り当てられた特定の重みは、異なるシェーディングを有する右腕の例として示されている。図１に戻ると、この割り当ては、スケーリング要因Ｄ４０からの情報を、身体モデルＤ５０によって定義されるリグまたは骨格に適用するときに、ジオメトリデータのそれぞれの部分をスケーリングまたは反復するために使用される。

【0049】

なお、身体モデルＤ５０は、中間モデルデータＤ１０とともに提供されてもよい。しかしながら、このような身体モデルＤ５０が予め利用可能でない場合には、骨格およびリグ情報も自動的に計算されてもよい。例えば、モデルの骨格およびリグを計算するための自動化された方法を、人間の形状のモデルに適用することができる。例えば、身体モデルは、標準的な身体モデルを中間ジオメトリデータに位置合わせ、および／またはマッピングすることによって生成される。幾つかのタイプの衣服、例えばスカート、チューブトップなどでは、人間型の形状は、ジオメトリデータをリグに関連付けるアルゴリズムの機械学習方法によっては認識することができない。例えば、衣服とマネキンとを組み合わせたジオメトリデータが、身体モデルＤ５０を生成するロバストなアルゴリズムを達成するための入力として使用されうる。このようにして、人間型の形状が与えられ、マネキン上の衣服の相対的な位置が、その全体的な適合を記述する。

【0050】

セグメントに関連するサイズ変更ルールＤ３０は、ジオメトリのサイズ決定Ｓ２０を実行するときにスケーリング要因Ｄ４０がどのようにどの順序で適用されるかを定義することもできる。例えば、粗い修正から細かい変更が行われる。例えば、シャツでは、最初に全体的にスケーリングすることによって、所望の肩幅が確定される。そして、高さがスケーリングされて正しい胴体長さを達成し、次いで、深さがスケーリングされて正しい腰周りを達成し、次いで、リグを用いて腕がスケーリングされる。

【0051】

身体モデルは、例えば、身体モデルのそれぞれの部分と中間ジオメトリデータのそれぞれの部分との間の関連を定義する情報を含む。ジオメトリデータを生成することは、サイズ変更ルールに基づいて身体モデルによって定義された中間ジオメトリデータのそれぞれの部分をスケーリングまたは反復することによって、中間ジオメトリデータのサイズ変更をすることを含みうる。

【0052】

テクスチャ合成ステップＳ３０では、衣服のモデルデータＤ６０のテクスチャマップＤ６２が、中間テクスチャマップＤ１２、ラベルマップＤ２０、セグメントに関連付けられたサイズ変更ルールＤ３０、およびスケーリング要因Ｄ４０のセットに基づいて生成される。

【0053】

衣服のジオメトリのサイズを単に適合させるとき、テクスチャはそれに応じてスケーリングする。これは技術的に正しいかもしれないが、第１サイズの衣服の製造中に起こっていることを通常は反映していない。したがって、改善されたモデリング概念によれば、ラベルマップＤ２０およびサイズ変更ルールＤ３０もステップＳ３０において適用される。

【0054】

図５を参照すると、テクスチャ合成ステップＳ３０は、テクスチャサイズ決定ステップＳ３１と、任意選択で、テクスチャ再照明ステップＳ３２と、テクスチャアルファマッティングステップＳ３３とを含んでもよい。

【0055】

テクスチャサイズ決定ステップＳ３１の入力は、１つまたは複数の中間テクスチャマップＤ１２、ラベルマップＤ２０、サイズ変更ルールＤ３０、および上記定義したスケーリング要因Ｄ４０である。テクスチャサイズ決定は、サイズ変更ルールに基づいて中間テクスチャマップのパターンをスケーリング、反復、または切断することによって、中間テクスチャマップをサイズ変更することを含んでもよい。上述したように、衣服のいくつかの部分は、完全にはスケーリングせず、または部分的にのみスケーリングする。さらに、実際には、ファブリックは、通常スケーリングにより引き伸ばされず、むしろ、より多くのファブリックが使用される。図６を参照すると、この挙動が示されている。左側の画像ａ）には、満たされるべき矩形のテクスチャパッチの例が表示されている。真ん中の画像ｂ）において、テクスチャパッチがスケーリングされるだけの場合に何が起こるか、すなわち、画像ａ）の波形パターンの異なる誤った痕跡が示される。したがって、代わりに、右側の画像ｃ）に示されるように、テクスチャパターンが繰り返される必要がある。技術的には、これは材料を反復することに相当する。均質なファブリックについては、差が視覚的に目立たないことがあるので、スケーリングは技術的に十分である。そのため、テクスチャのサイズ決定方法は、サイズ変更ルールＤ３０で定義される。

【0056】

上述したように、この相違は、衣服のテクスチャにとって大部分重要であるが、細かい詳細となるとジオメトリにとっても重要でありうる。例えば、しわは、伸ばされると不自然に見える。また、そのような場合、正しい処理はジオメトリを繰り返し、それによってジオメトリパターンを反復することを必要としてもよい。例えば、反復挙動を再現できるように、使用済みのファブリックのテクスチャに関する情報が、画像の形式でシステムに提供されてもよい。テクスチャのサイズ変更の際、ファブリックのそれぞれの画像がテクスチャに登録され、追加された領域が外挿法によって推定されうる。同じまたは類似のロジックは、一方向のみにおいて反復し、他方向においては固定される要素に適用される。テクスチャサイズ決定のための反復挙動は、いくつかの方法、例えばテクスチャ合成、インペインティングおよびタイリングアルゴリズムを含む方法、並びに、好ましくは中間モデルデータＤ１０とともに提供される、別々に写真撮影されたファブリックパッチを介して達成することができる。

【0057】

１つまたは複数の中間テクスチャマップがインプリントを含む場合、下にあるファブリックとインプリントとの分離を実行する必要がある場合がある。これは、ファブリックの提供された画像を使用してインペイントおよび抽出を行い、それによって装飾要素を含む領域を除去することによって行われうる。これにより、ファブリックとインプリントとを独立して処理することができる。

【0058】

図５に戻ると、ステップＳ３２において、テクスチャ再照明が適用されてもよい。例えば、ジオメトリのしわ、凹面、凸面などによって引き起こされるライティングおよび／またはシェーディング効果を不正確に取り扱うことなくテクスチャサイズ変更を達成するために、テクスチャの色情報は、最終結果に再適用される照明情報から分離されてもよい。例えば、色情報は、材料の基本色を表す「アルベド（albedo）」と呼ばれうる。したがって、テクスチャマップを生成することは、照明マップおよび色マップを生成するために中間テクスチャマップの色情報から中間テクスチャマップの照明情報を分離することと、色マップのサイズ変更と、テクスチャマップを生成するためにサイズ変更された色マップに照明マップを適用することとを含んでもよい。

【0059】

色情報、それぞれの材料情報、および照明情報を分離する別の理由は、同じタイプの衣服が異なる色で、または異なる布地からしばしば生成されうることである。したがって、このステップでは、サイズ変更ステップを適用し、照明マップをサイズ変更された色マップに適用する前に、色マップを変更することも可能である。これにより、異なる色または材料で同じタイプの衣服の全てのバリエーションをスキャンしなければならないことを回避できる。照明情報から色を分離するための２つの一般的なアプローチがある。すなわち、照明が既知である、または、ファブリック、それぞれ材料が既知であることである。この情報は、テクスチャ再照明ステップＳ３２において、照明またはファブリック／材料情報Ｄ７０として提供されてもよい。

【0060】

第１のケースでは、中間モデルデータＤ１０の生成中の照明条件が既知であり、照明条件は、例えば、環境マップまたは照明モデルの形式でデジタル化される。第２のケースでは、分離することは、中間モデルデータＤ１０に関連付けられたファブリックパッチ／材料パッチの画像に基づいてもよい。例えば、これらのパッチは、白色、拡散、および均質な照明条件下でキャプチャされる。シェーディング情報を含むテクスチャと均一に照らされたファブリックサンプルとの差を計算することによって、シェーディングを色から分離することができる。非拡散材料の場合、材料特性および環境マップは、中間モデルデータＤ１０の生成中に再構成される必要がある。これについては後でより詳細に説明する。

【0061】

図７を参照すると、左側の画像ａ）は、中間テクスチャマップに見られるようなファブリックの表現を示す。真ん中の画像ｂ）には照明情報を示す画像が示され、一方、右側の画像ｃ）には、ファブリックの色情報のみが示されている。

【0062】

材料を交換する際、提供されたファブリックサンプルは、好ましくはオリジナルのサンプルと同じ縮尺および向きでキャプチャされる。この場合、実際のファブリックの計算された登録により、テクスチャを異なる材料で置き換えることができる。最後に、以前に分離されたシェーディング／ライティング情報が新しいテクスチャに再適用される。

【0063】

図５に戻ると、ステップＳ３３において、テクスチャアルファマッティングが適用されうる。衣服が、フリンジ、レースなどのように、透明な部分または複雑な輪郭を有する場合、衣服のテクスチャを現実的に再現するためにアルファマットが必要とされうる。アルファマッティングは、各テクセルの色の前景色の比率を記述するテクスチャマップの各テクセルに、不透明度値を割り当てるプロセスである。例えば、中間モデルデータＤ１０の生成中に、コントラストがあるマネキンまたは人物、および背景の上に、衣服がキャプチャされる、またはレンダリングされる場合に有用である。例えば、テクスチャマップでは、１つの色を高い不透明度に割り当て、別の色を低い不透明度に割り当てることができる。不透明度のいくつかのレベルを記述するために、分数値または色の組み合わせが可能である。

【0064】

例えば、ステップＳ３３の基礎となるマッティングアルゴリズムは、以下のように動作してもよい。第１に、マネキンおよび背景色は、例えばヒストグラムを構築することによって、例えばセマンティックセグメンテーションステップＳ１０の間に、対応するテクスチャセグメントから導出される。次に、衣服の要素またはテクセルの各々を背景ヒストグラムと比較して、その透明度を決定する。最後に、衣服のテクセルまたは要素の前景色から背景色を減算するために使用される透明度値が、図８に示されるような外観を有しうる透明度マップをもたらす。なお、透明度マップは、例えば中間および／または最終テクスチャマップと同じ構造および寸法を有し、例えば、それぞれのＵＶ座標を介して、同じ方法でジオメトリデータに関連付けられる。

【0065】

結果として得られるジオメトリデータＤ６１、テクスチャマップＤ６２、および任意選択で透明度マップを使用して、複雑な衣服であってもリアルにレンダリングすることができる。例えば、図９は例えば、図８の透明度を基礎とする透明要素を有するパンティストッキングをレンダリングした例を示す。最終的な３次元モデルデータＤ６０を適用するさらなる応用については、図１２と合わせて、後でより詳細に説明する。

【0066】

言い換えれば、改善されたモデリング概念による方法は、中間テクスチャマップと、任意選択でラベルマップとに基づいて透明度マップを生成することをさらに含むことができ、中間テクスチャマップのそれぞれの要素毎に、中間テクスチャマップに基づいて背景色を決定し、中間テクスチャマップの各要素を要素のそれぞれの背景色と比較して要素の透明度を決定し、要素のそれぞれの透明度値に基づいて、要素のそれぞれの前景色から要素の背景色を減算することと、を含む。

【0067】

前述の図面の説明では、中間モデルデータＤ１０は、最終的な３ＤモデルデータＤ６０を達成するように処理されるのに適したフォーマットで既に提供されたことが、多少仮定されている。しかしながら、以下では、中間モデルデータＤ１０が生成される方法のいくつかの実装が提示される。

【0068】

したがって、図１０を参照すると、改良されたモデリング概念に従った方法は、衣服を複数の視角から示す画像のセットに基づいて中間モデルデータＤ１０を生成して記憶することをさらに含む。これにより、中間モデルデータＤ１０を生成するステップは、中間ジオメトリデータＤ１１を生成するための３Ｄ再構成ステップＧ２１と、中間テクスチャマップＤ１２を生成するためのテクスチャマッピングステップＧ２２とを含む。両方のステップは例えば、画像のセットに作用する。例えば、画像は、キャプチャリングステップＧ１１でキャプチャされるような、マネキンまたは人に着用されている衣服の写真である。代わりの実装では、画像は、例えばレンダリングステップＧ１２で提供されるように、着用状態にある衣服のＣＡＤモデルのレンダリング画像である。

【0069】

したがって、キャプチャリングステップＧ１１または代わりのレンダリングステップＧ１２の両方を用いて、衣服を示す、いわばすべての側面からの製品画像Ｄ１１０のセットが生成される。いずれの場合も、製品、すなわちそれぞれの衣服は、現実のカメラまたは仮想カメラ、またはその逆の前で旋回され、異なる仰角まで移動されてできるだけ多くの視角でキャプチャされる。

【0070】

図１１は、図１１の左側に衣服の上面図を、右側に衣服の側面図を有するこのようなプロセスの実装例を示している。上面図における約１０°の差分角度の例は単に一例として使用されており、衣服の複雑さに応じて、より高くても、より低くてもよい。同様に、衣服の側面図の右側に示された視角も、単に例として採用されているだけである。図１０に戻ると、例えば、キャプチャリングステップＧ１１は、ターンテーブルを用いて実施することができ、ターンテーブル上には、マネキンに着せられた衣服が異なる視角を達成するために配置される。あるいは、カメラが、マネキンに着せられた衣服の周りを移動しうる。

【0071】

図１０に戻ると、特にステップＧ１１において、以下のような、写真撮影によって衣服をキャプチャするためのいくつかの推奨が与えられる。推奨されるポーズに関して、変形を回避するため、衣服はマネキンに着せられるべきであり、衣服のサイズはマネキンのサイズと一致するべきであり、またはその逆である。マネキンは、好ましくはマネキンのアームがＡ字形状を形成するＡポーズであるべきである。このようなポーズは通常、セルフオクルージョンが非常に少なく、また、例えばＴポーズのように、衣服を著しく歪ませることがない。使用されたマネキンは、一度閉じることなくキャプチャされることもできる。例えば、図１に合わせて上述したジオメトリサイズ決定ステップＳ２０では、衣服のジオメトリを修正するために使用されうるマネキンに、骨格、それぞれのリグが適合されうる。例えば、身体モデルＤ５０を提供するために、マネキン自体の画像およびリグが使用されうる。

【0072】

３Ｄ再構成Ｇ２１は、通常、画像特徴マッチングによって動作し、いくつかの画像における画像特徴を可能な限り正確に識別し、区別することができる必要がある。これを支援するために、キャプチャされた画像は、例えば少なくとも６メガピクセルの解像度で、ほとんどまたは全く圧縮させるべきではない。

【0073】

衣服の透明性の識別を改善するために、すなわち、透明または半透明の衣服をキャプチャするために、マネキンおよび背景の色は、好ましくは衣服に対して高いコントラストを有する。

【0074】

照明に関して、強い指向性光源はしばしばドロップシャドウと反射とを生じさせ、これは３Ｄ再構成Ｇ２１にとって望ましくない。したがって、明るい、拡散する光の設定が好適である。

【0075】

写真のキャプチャリングは、人間のオペレータによって達成することができる、または、電動ターンテーブル、１つまたは複数のカメラ、フラッシュおよび制御ユニット、例えば、コンピュータから成る機械によって自動化されうる。

【0076】

キャプチャリングは、標準的なＤＳＬＲカメラまたはスマートフォンカメラを用いて行われうる。ステップＧ２１、Ｇ２２で採用されているような写真測量の欠点の幾つかを扱う選択、例えば、構造化された光センサまたはＴＯＦ（Time Of Flight）センサ、ＬＩＤＡＲなどのアクティブまたはパッシブ奥行きセンサが使用されうる。カメラからの高品質画像は、奥行きセンサがシステムに追加された場合でも、常に必要とされる。

【0077】

代替として、レンダリングステップＧ１２において衣服のＣＡＤモデルをレンダリングする際、このステップは、写真のキャプチャリングと同様に行われてもよく、衣服はすべての側面から、異なる仰角で見えるべきである。レンダリングされた画像は以下の任意選択であるが推奨される列挙に従うべきである。ポーズに関して、写真キャプチャリングのために上述したものと同じポーズ、およびオクルージョン原理が適用される、特に、長袖の衣服は、仮想マネキン上にＡポーズでレンダリングされるべきである。

【0078】

レンダリングされた画像の解像度に関して、ステップＧ２１の３Ｄ再構成アルゴリズムは、画像特徴マッチングによって動作し、いくつかの画像内の画像特徴を正確に識別し、区別することができる必要がある。これを可能にするために、レンダリングされた画像は、好ましくはａ）ＣＡＤモデルに存在する全ての幾何学的およびテクスチャの詳細を反映するのに十分に高い解像度、およびｂ）目に見える画素境界およびエイリアシングを回避するのに十分に高い解像度を有する、ＰＮＧのような可逆的な画像フォーマットである。同時に、解像度は、３Ｄ再構成Ｇ２１およびテクスチャマッピングＧ２２のステップ、およびそのあとのサイズ変更における、不必要な計算の複雑さを回避するために、より高くされるべきではない。

【0079】

透明性に関して、３Ｄ再構成は、通常、信頼性がある画像特徴マッチングを可能にするために、不透明な、すなわち透明でない、表面を仮定する。しかしながら、衣服は、部分的にまたは完全に透明であることが多い。これは、レンダリングされた画像内のいくつか、またはすべての衣服ピクセルが、衣服の下にある層、その裏面、およびマネキン部分または背景の色の混合からなることを意味する。これは、画像特徴が検出されない、または誤って検出されることにつながるかもしれない。この状況を回避するために、改善されたモデリング概念は、モデルの最前部の奥行き層のみをレンダリングし、画素の透明度を別のチャネル、すなわち画像のアルファチャネル、例えばＰＮＧ画像に保存することが好ましい。このように、各画素のＲＧＢ色は、下にある画素の色に汚染されず、透明度は後にリアルなレンダリングに使用されうる。

【0080】

３Ｄ再構成は、通常、拡散性を有する、すなわち非反射性の表面を仮定する。強く反射する表面は、異なる視角から異なるように見えてしまうので、画像特徴マッチングプロセスが複雑になる。したがって、光沢のない材料とともに、明るく、拡散する光の設定が使用される。３Ｄ再構成およびテクスチャマッピング、および図１に記載されたサイズ変更プロセス全体の間、光沢のある、または他の視界依存材料を保存し、これらの効果を有する最終レンダリングを可能にするために、各ピクセルの光沢係数、および任意選択で他の視界依存材料特性が、ＣＡＤモデルレンダリングの間、別の画像チャネルに格納される。これらのチャネルは、ＲＧＢチャネルと同様に、プロセスステップＧ２１、Ｇ２２、Ｓ１０、Ｓ２０、およびＳ３０において変換されてもよく、後に図１２のステップＳ４０に合わせてより詳細に説明されるシェーダに、オリジナルの材料特性を再現させることを可能にしてもよい。

【0081】

上述の画像キャプチャリングステップＧ１１で説明したように、強い指向性光源は、ドロップシャドウおよび反射を生じ、これらは望ましくない。したがって、レンダリングＧ１２中にも、アンビエント照明／シェーディング、またはアンビエントオクルージョンとともに、明るく、拡散する照明の設定がリアル化のために使用される。

【0082】

さらなる情報は、レンダリング処理の間に、または少なくとも３Ｄ再構成Ｇ２１で使用可能なレンダリング処理と合わせて、生成されうる。例えば、そのような情報は、以下のうちの１つまたは複数を含む：
・画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている輝度情報、
・画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている透明度情報、
・画像のうちの１つまたは複数の関連付けられたチャネルに記憶されている視界依存材料特性、
・特にＣＡＤモデルの頂点および／または法線である、衣服のＣＡＤモデルからのジオメトリ情報、
・画像をレンダリングするために使用されるカメラ投影行列。

【0083】

例えば、ＣＡＤモデルの頂点と法線は、ストラクチャー・フロム・モーションプロセス（structure-from-motion process）および３Ｄ再構成ステップＧ２１中のベース形状として使用することができ、エクスポートされたカメラ投影行列は、基礎的な問題の複雑さを低減するために使用することができる。このような改良により、光沢がある表面を有し、かつテクスチャの詳細度が低い衣服などの処理が難しい衣服であっても、ロバストで高品質な再構成結果が保証される。

【0084】

レンダリング処理は、人間のオペレータによって駆動されてもよいし、所定の仕様にしたがって、記述されたレンダリングを作成するスクリプトまたはプログラムなどによって、完全に自動化されてもよい。

【0085】

ステップＧ２１で実行される３Ｄ再構成は、通常、いくつかの画像にわたる画像特徴を識別するために、テクスチャ化され、滑らかではない表面を仮定する。したがって、単色に着色され、滑らかで、かつ大きな表面は、再構成の結果を劣化させる。この目的のために、中間モデルデータＤ１０を生成するステップは、さらに、複数の視角から衣服を示すさらなる画像セットＤ１１１に基づいてもよい。さらなる画像セットＤ１１１の画像は、追加された視覚的に特有の特徴、例えば、衣服の表面における仮想的または現実的なパターン、および／またはステッカー、および／またはテープを有する衣服を示す。

【0086】

ステップＧ１１に合わせて説明された、キャプチャされた画像の場合、正規の画像セットＤ１１０が上述したようにキャプチャされる。さらに、マネキンに着させられた衣服の全ての滑らかな表面は、ステッカー、テープ、構造化された光パターン、または他の視覚的に特有の特徴を追加することによって修正される。修正された衣服は、以前の修正されていない衣服と同じ方法でキャプチャされる。この結果、２つの別の画像セットＤ１１０、Ｄ１１１が得られ、両方とも、ステップＧ２１に含まれる別の３Ｄ再構成ステップに入力される。

【0087】

例えば、中間モデルデータを生成するステップは、さらなる画像セットＤ１１０に基づいて３Ｄ再構成を実行することによって補助ジオメトリデータを生成するステップと、中間ジオメトリデータを補助ジオメトリデータに位置合わせすることによって中間テクスチャマップを補助ジオメトリデータに位置合わせするステップとを含む。例えば、両方の結果の３Ｄモデルは、反復最接近点アルゴリズムなどを介して整列される。最後に、修正された画像セットからの良好な３Ｄメッシュは、例えばメッシュアライメントを通じて、同じ座標系にもたらされたオリジナルの画像セットにテクスチャマッピングされる。その結果、両方の画像セットのうちの最良のもの、すなわち、修正されたセットからの良好なジオメトリと、修正されていないセットからのオリジナルの衣服の外観とが達成される。

【0088】

ＣＡＤモデルからレンダリングされた画像の場合、ＣＡＤモデルのすべての滑らかな材料に、ランダムなドットやノイズパターンなどの高周波パターンが追加されてもよい。修正されたＣＡＤモデルからレンダリングされた画像、例えば、修正されていないＣＡＤモデルと同じカメラ位置からレンダリングされた画像は、上述したように、画像Ｄ１１１のさらなるセットを形成する。キャプチャされた画像と同様に、３Ｄ再構成は、中間モデルデータＤ１０を達成するために、両方の画像セットＤ１１０、Ｄ１１１に対して実行されうる。

【0089】

３Ｄ再構成Ｇ２１およびテクスチャマッピングＧ２２のステップは、好ましくは完全に自動化される。入力は、キャプチャＧ１１およびレンダリングＧ１２プロセスに合わせて上述したように、１つまたは複数の画像セットおよび任意のメタデータである。出力は、例えば、３Ｄ表面点の形式の頂点、面、法線などのようなジオメトリ情報と、上述したようなテクスチャ情報とからなる３Ｄモデルである。

【0090】

３Ｄ再構成Ｇ２１は、（同時）定位およびマッピング、ＳＬＡＭ、ストラクチャー・フロム・モーション、ＳＦＭなどのような従来の写真測量法に基づくことができる。これらのアプローチは、いわゆる画像特徴をマッチングすることによって、画像の１つのセットまたは複数のセット内の共通部分を見つけ出し、識別する。画像特徴は、画像中の特有の点またはパッチ、例えば、特定の色勾配またはパターンである。これらの特徴をマッチングし、対応する３Ｄ点を三角測量することによって、３Ｄ表面仮説が再構成される。結果を改善するために、表面のある程度の平滑性を強制する最適化方法を使用することが可能である

【0091】

このプロセスをより信頼できるものにするために、いくつかの修正、例えば、上述したように、追加された視覚的に特有の特徴を有する第２の画像セットの提供が可能である。従来の写真測量の欠点のいくつかを扱う別の選択は、パッシブまたはアクティブな奥行きセンサ、例えば、構造化された光またはＴＯＦ（Time-Of-Flight）センサ、ＬＩＤＡＲなどである。この場合、３Ｄ再構成ステップＧ２１は、写真測量の代わりに、例えば奥行きマップ融合アルゴリズムに基づいてもよい。

【0092】

テクスチャマップは、２以上の次元の画像であり、テクスチャマップの各画素は、例えばテクセルと呼ばれる。３ＤジオメトリＤ２１０または第２の３ＤジオメトリＤ２１１で定義された各モデル頂点は、各テクスチャマップについて、しばしばＵＶ座標と呼ばれる画像座標の追加のセットを取得する。

【0093】

３Ｄ再構成Ｇ２１の後、入力画像は、テクスチャマッピングステップＧ２２において、モデルに対し１つまたは複数のテクスチャマップを生成するために使用される。例えば、生成は、投影テクスチャマッピング、可視性チェック、テクスチャマップアライメント、および／または、望ましくない視界依存効果を低減し、再構成されたジオメトリの欠陥を補償する融合方法を介して行われる。追加された視覚的に特有の特徴を伝える、上述した画像の第２のセットに関して、テクスチャマップ生成のために使用される画像は、３Ｄ再構成のために使用される画像セットまたは奥行きマップセットとは異なりうる。

【0094】

図１２を参照すると、改善されたモデリング概念の結果の可能な応用が記述されている。上記にてより詳細に説明したように、改良されたモデリング概念のプロセスは、最終的には、ジオメトリデータＤ６１およびテクスチャマップＤ６２を含む、ターゲット衣服サイズの衣服の３ＤモデルデータＤ６０を提供する。次の応用ステップＳ４０では、結果として得られる衣服モデルは、例えば３Ｄ製品鑑賞に使用されうる。例えば、３Ｄモデルデータは、潜在的な電子商取引の顧客がより良い購入決定を行うことを可能にするために、ウェブサイト上の３Ｄモデルビューア、アプリなどに表示されうる。

【0095】

別の応用では、３Ｄモデルデータは、衣服の仮想試着およびミックスおよびマッチング用アプリケーションに使用されうる。例えば、異なるサイズの結果として得られる衣服モデルは、任意の新たな望ましい身体ポーズにリギングされ、例えば差分メッシュの編集によって、ユーザの身体にフィットされうる。このような、フィットしたメッシュは、電子商取引の顧客に衣服のフィット感およびサイズをより良く判断させ、適切な定型サイズを選択させることができる。さらに、ユーザは、複数の衣服を一緒に組み合わせることができる。

【0096】

３ＤモデルデータＤ６０の別の応用は、任意のサイズを作成することに関する。記載されたプロセスは、例えば、衣服の一組の別個の装飾サイズを作成する。さらに、システムは、上述のような処理の一部として、衣服のスケーリング挙動を学習する。したがって、学習は、任意の数の中間サイズを作成するために使用されうる。これにより、顧客ごとに完璧なサイズを個別に計算し、製造することによって、新規のあつらえで作られた（maid-to-measure）、特注の衣服の使用ケースが可能となる。

【0097】

図１３は、改善された概念による実施形態を組み入れてもよいコンピュータシステムのブロック図である。図１３は、改善された概念を組み入れた実施形態の単なる例示であり、特許請求の範囲に記載された本発明の範囲を限定しない。当業者は、他の変形形態、修正形態、および代替形態を認識しうる。

【0098】

一実施形態では、コンピュータシステム７００は、典型的にはモニタ７１０、コンピュータ７２０、ユーザ出力デバイス７３０、ユーザ入力デバイス９９９、通信インターフェース７５０などを含む。

【0099】

図１３に示すように、コンピュータ７２０は、バスサブシステム７９０を介して多数の周辺装置と通信するプロセッサ７６０を含んでもよい。これらの周辺装置は、ユーザ出力デバイス７３０、ユーザ入力デバイス７４０、通信インターフェース７５０、およびランダムアクセスメモリ（RAM）７７０およびディスクドライブ７８０のような記憶サブシステムを含みうる。

【0100】

ユーザ入力デバイス７４０は、コンピュータシステム７２０に情報を入力するためのすべての可能なタイプのデバイスおよびメカニズムを含む。これらは、キーボード、キーパッド、ディスプレイに組み込まれたタッチスクリーン、音声認識システムなどのオーディオ入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含んでもよい。様々な実施形態では、ユーザ入力デバイス７４０は、典型的にはコンピュータマウス、トラックボール、トラックパッド、ジョイスティック、ワイヤレスリモート、ドローイングタブレット、ボイスコマンドシステム、アイトラッキングシステムなどとして具現化される。ユーザ入力デバイス７４０は、典型的にはユーザがボタンのクリックなどのコマンドを介して、モニタ７１０上に現れるオブジェクト、アイコン、テキストなどを選択することを可能にする。また、ユーザ入力デバイス７４０は、色および／または奥行きカメラ、身体形状および／またはポーズトラッキングセンサ、手部トラッキングデバイス、頭部トラッキングデバイスなどを含んでもよい。ユーザ入力デバイス７４０は、特に、例えばＤＳＬＲカメラまたはスマートフォンなどのカメラのような種々のタイプのカメラを含んでもよい。このようなカメラまたはスマートフォンまたは他のモバイルデバイスは、通信インターフェース７５０を介して接続された通信ネットワークを介してコンピュータ７２０に接続されてもよい。

【0101】

ユーザ出力デバイス７３０は、コンピュータ７２０から情報を出力するためのすべての可能なタイプのデバイスおよびメカニズムを含む。これらは、ディスプレイ（例えば、モニタ７１０）、オーディオ出力デバイスなどの非ビジュアルディスプレイなどを含むことができる。

【0102】

通信インターフェース７５０は、他の通信ネットワークおよび装置へのインターフェースを提供する。通信インターフェース７５０は、他のシステムとの間でデータを受信したり、他のシステムにデータを送信したりするためのインターフェースとして機能してもよい。通信インターフェース７５０の実施形態は、典型的には、イーサネットカード、モデム（電話、衛星、ケーブル、ＩＳＤＮ）、（非同期）デジタル加入者線（ＤＳＬ）ユニット、ＦｉｒｅＷｉｒｅインターフェース、ＵＳＢインターフェース、Ｗｉ－Ｆｉ（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）のような無線接続などを含む。例えば、通信インターフェース７５０は、コンピュータネットワーク、ＦｉｒｅＷｉｒｅバスなどに結合されてもよい。他の実施形態では、通信インターフェース７５０は、コンピュータ７２０のマザーボード上に物理的に統合されてもよく、ソフトＤＳＬなどのソフトウェアプログラムであってもよい。

【0103】

様々な実施形態において、コンピュータシステム７００は、ＨＴＴＰ、ＴＣＰ／ＩＰ、ＲＴＰ／ＲＴＳＰプロトコルなどのネットワークを介した通信を可能にするソフトウェアも含んでもよい。

【0104】

ＲＡＭ７７０およびディスクドライブ７８０は、実行可能なコンピュータコード、人間が読み取ることができるコードなどを含む、データを記憶するように構成された有形媒体の例である。他のタイプの有形媒体には、ソリッドステートドライブ、ＳＳＤ、フロッピー（登録商標）ディスク、リムーバブルハードディスク、ＣＤ－ＲＯＭ、ＤＶＤおよびバーコードなどの光記憶媒体、フラッシュメモリなどの半導体メモリ、リードオンリーメモリ（ＲＯＭＳ）、バッテリバックアップ揮発性メモリ、ネットワーク化された記憶装置などが含まれる。ＲＡＭ７７０およびディスクドライブ７８０は、改善されたモデリング概念の機能性を提供する基本プログラミングおよびデータ構成を記憶するように構成されうる。

【0105】

改善された概念の機能性を提供するソフトウェアコードモジュールおよび命令は、ＲＡＭ７７０およびディスクドライブ７８０に記憶されてもよい。これらのソフトウェアモジュールは、プロセッサ７６０によって実行されてもよい。ＲＡＭ７７０およびディスクドライブ７８０は、本発明にしたがって使用されるデータを格納するためのリポジトリも提供ししてもよい。

【0106】

ＲＡＭ７７０およびディスクドライブ７８０は、プログラム実行中の命令およびデータを記憶するためのメインランダムアクセスメモリ（ＲＡＭ）と、固定命令が記憶されるリードオンリーメモリ（ＲＯＭ）とを含む多数のメモリを含んでもよい。ＲＡＭ７７０およびディスクドライブ７８０は、プログラムおよびデータファイルのための永続的（不揮発性）記憶領域を提供するファイル記憶サブシステムを含んでもよい。ＲＡＭ７７０およびディスクドライブ７８０は、また、リムーバブルフラッシュメモリのようなリムーバブル記憶システムを含んでもよい。

【0107】

バスサブシステム７９０は、コンピュータ７２０の様々な構成要素およびサブシステムが意図したとおりに互いに通信できるようにするメカニズムを提供する。バスサブシステム７９０は、単一のバスとして概略的に示されているが、バスサブシステムの代替実施形態は複数のバスを利用してもよい。

【0108】

図１３は、改良されたモデリング概念を具体化することができるコンピュータシステムを表す。多くの他のハードウェアおよびソフトウェア構成がこのような使用に適していることは、当業者には容易に明らかであろう。例えば、コンピュータは、モバイルデバイス、特に携帯電話、またはデスクトップ、ポータブル、ラックマウントまたはタブレット構成であってもよい。さらに、コンピュータは、一連のネットワーク化されたコンピュータであってもよい。

【0109】

改善された概念の様々な実施形態は、ソフトウェアまたはハードウェア、または両方の組み合わせのロジックの形式で実装されうる。ロジックは、コンピュータシステムのプロセッサに、改善された概念の実施形態で開示されたステップのセットを実行するように指示するように適合された命令のセットとして、コンピュータ可読または機械可読記憶媒体に記憶されうる。ロジックは、改善されたモデリング概念の実施形態において開示されたステップのセットを自動的に実行するように情報処理装置に指示するように適合されたコンピュータプログラム製品の一部を形成してもよい。

【0110】

したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。しかし、特許請求の範囲に記載された本発明の範囲から逸脱することなく、様々な修正および変更を加えることができることは明らかであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】